CN111708367A - 一种多功能智能随行系统 - Google Patents
一种多功能智能随行系统 Download PDFInfo
- Publication number
- CN111708367A CN111708367A CN202010641472.0A CN202010641472A CN111708367A CN 111708367 A CN111708367 A CN 111708367A CN 202010641472 A CN202010641472 A CN 202010641472A CN 111708367 A CN111708367 A CN 111708367A
- Authority
- CN
- China
- Prior art keywords
- camera
- module
- intelligent
- trolley
- wheel driving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004891 communication Methods 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims description 9
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 abstract description 3
- 238000012549 training Methods 0.000 description 14
- 230000008859 change Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000032683 aging Effects 0.000 description 2
- 208000000059 Dyspnea Diseases 0.000 description 1
- 206010013975 Dyspnoeas Diseases 0.000 description 1
- 206010024453 Ligament sprain Diseases 0.000 description 1
- 240000007651 Rubus glaucus Species 0.000 description 1
- 235000011034 Rubus glaucus Nutrition 0.000 description 1
- 235000009122 Rubus idaeus Nutrition 0.000 description 1
- 208000010040 Sprains and Strains Diseases 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003863 physical function Effects 0.000 description 1
- 208000013220 shortness of breath Diseases 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/0285—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using signals transmitted via a public communication network, e.g. GSM network
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Acoustics & Sound (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明涉及一种多功能智能随行系统，包括智能随行小车及控制终端，智能随行小车包括车身及安装在车身上的电源、摄像头、多个车轮、车轮驱动模块及控制模块；摄像头可转动地安装在车身的顶部，用于获取随行目标及周围的图像信息；车轮驱动模块与多个车轮连接，用于控制车轮的运动；控制模块分别与电源、摄像头及车轮驱动模块电连接，并与控制终端无线通信连接。本发明提供的多功能智能随行系统，能够有效解决老人、小孩、残疾人等群体的日常户外步行安全问题，提高出行安全系数；该系统可结合手机app中的心率监测、计步等功能使用，以辅助人们的健康出行。
Description
技术领域
本发明涉及智能小车领域，具体涉及一种多功能智能随行系统。
背景技术
据国家统计局发布的人口数据，2019年我国60周岁及以上人口25388万人，占总人口的18.1％。随着我国逐步进入老龄社会，老年人的出行安全已经成为社会普遍关注的一个重要话题。加之现在的交通环境越来越复杂，老年人的出行安全也应该受到足够的重视。老年人由于身体机能出现老化现象，肢体反应慢，灵活性差，容易发生摔、碰、扭伤等意外，他们的一次跌倒倘若得不到及时的救助，往往会造成更加严重的后果。不同于年轻人的血气旺盛，老年人容易疲劳，活动量过大会出现头晕眼花、呼吸短促、心跳加快等。
对于老年人、儿童、残疾人等有出行安全隐患或出行障碍的人群，他们在跌倒或遭遇其他意外后若得不到及时的救助，往往会造成更加严重的后果。因此，有必要研发一种多功能智能随行系统，以降低上述特殊人群出行的风险。
发明内容
针对背景技术中的问题，本发明的目的在于提供一种多功能智能随行系统。
为了解决上述技术问题，本发明采取的技术方案为：
一种多功能智能随行系统，包括智能随行小车及控制终端，所述智能随行小车包括车身及安装在车身上的电源、摄像头、多个车轮、车轮驱动模块及控制模块；
所述摄像头可转动地安装在所述车身的顶部，用于获取随行目标及周围的图像信息；
所述车轮驱动模块与多个车轮连接，用于控制车轮的运动；
所述控制模块分别与电源、摄像头及车轮驱动模块电连接，并与所述控制终端无线通信连接；
摄像头用于获取出行者的图像信息；
控制模块用于管理电源以及用于将摄像头获取的图像信息发送至控制终端进行处理，以及接收控制终端对摄像头获取的图像信息经过处理后发送回来的控制信号，并根据控制信号控制摄像头的转动及车轮驱动模块的工作；
控制终端用于处理摄像头拍摄到的目标图像信息，以产生控制信号来控制智能随行小车实现目标的随行跟踪。
在一些实施例中，所述车身上还设置有与所述控制模块电连接的超声波测距模块，超声波测距模块设置于智能随行小车的前端，用于向前方发射超声波并接收反射的超声波，以获得智能随行小车与前方障碍物的距离信息；控制模块还用于根据智能随行小车与前方障碍物的距离信息，自动控制智能随行小车避开障碍物。
在一些实施例中，所述车身上还设置有与所述控制模块电连接的语音报警模块，语音报警模块用于在摄像头拍摄到的出行者的图像信息出现异常时，发出语音警报。
在一些实施例中，所述车轮驱动模块包括车轮驱动电机及车轮舵机。
与现有技术相比，本发明的优点是：本发明提供的多功能智能随行系统，能够有效解决老人、小孩、残疾人等群体的日常户外步行安全问题，提高出行安全系数；该系统可结合手机app中的心率监测、计步等功能使用，以辅助人们的健康出行。
附图说明
通过下文中参照附图对本发明所作的描述，本发明的其它目的和优点将显而易见，并可帮助对本发明有全面的理解。
图1为本发明提供的多功能智能随行系统中的智能随行小车的外观示意图；
图2为本发明提供的多功能智能随行系统的模块连接示意图；
附图标记说明：
1、车身；2、电源；3、摄像头；4、车轮；5、车轮驱动模块；6、控制模块；7、超声波测距模块；8、语音报警模块；9、控制终端。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。
参照图1和图2，本发明提供了一种多功能智能随行系统，包括智能随行小车及控制终端9(如智能手机或计算机)，智能随行小车包括车身1及安装在车身1上的电源2、摄像头3、多个车轮4、车轮驱动模块5及控制模块6。
摄像头3可转动地安装在车身1的顶部，用于获取随行目标及周围的图像信息；车轮驱动模块5与多个车轮4连接，用于控制车轮4的运动。
如图2所示，控制模块6分别与电源2、摄像头3及车轮驱动模块5电连接，并与控制终端9无线通信连接。
进一步地，该多功能智能随行系统工作时，摄像头3用于获取出行者的图像信息。控制模块6用于管理电源2以及用于将摄像头3获取的图像信息发送至控制终端9进行处理，以及接收控制终端9对摄像头3获取的图像信息经过处理后发送回来的控制信号，并根据控制信号控制摄像头3的转动及车轮驱动模块5的工作。控制终端9用于处理摄像头3拍摄到的目标图像信息，以产生控制信号来控制智能随行小车实现目标的随行跟踪。
优选地，车身1上还设置有与控制模块6电连接的超声波测距模块7，超声波测距模块7设置于智能随行小车的前端，用于向前方发射超声波并接收反射的超声波，以获得智能随行小车与前方障碍物的距离信息；控制模块6还用于根据智能随行小车与前方障碍物的距离信息，自动控制智能随行小车避开障碍物。
优选地，车身1上还设置有与控制模块6电连接的语音报警模块8，语音报警模块8用于在摄像头拍摄到的出行者的图像信息出现异常时，发出语音警报。
该多功能智能随行系统可供老年人、儿童、残疾人等有出行安全隐患或出行障碍的人群使用，出行前将需要跟随的人定为目标，智能随行小车跟随目标运动并不断拍摄图片，并通过控制模块6将图片发送至控制终端9；当检测到目标的图像发生异常变化，如图片中目标的位置及姿态在短时间内出现大幅度变化时，譬如发生了意外摔倒或其他意外情况，则智能随行小车可以在此时通过语音报警模块8发出语音警报，以向附近人群求救；同时，还可通过控制终端9(智能手机)向出行者的亲属发出提示信号，譬如自动拨打系统预存的亲属手机号或自动发送短信至系统预存的亲属手机，以提示其亲属进行救援；若事故是由其他人的责任引起，则智能随行小车即时拍摄的视频图像信息能够作为责任判定的证据。
进一步地，车轮驱动模块5包括车轮驱动电机及车轮舵机。
在一个具体实施例中，控制模块6可基于树莓派4b主板构建，并通过其I/O口与摄像头3、车轮驱动模块5、超声波测距模块7、语音报警模块8等模块电连接，通过蓝牙芯片、WIFI芯片或4G/5G网络与控制终端9实现无线通信连接；车轮驱动模块5中的车轮驱动电机可采用L293D电机驱动芯片来控制，车轮舵机可采用SG90舵机。
具体地，智能随行小车根据如下步骤实现目标随行跟踪：S1、开始随行跟踪前，先通过智能随行小车的摄像头3获取多组被跟踪目标(即出行者)的视频图像信息，再利用这些视频图像信息训练得到被跟踪目标的跟踪模型；S2、开始跟踪后，利用当前的跟踪模型，使智能随行小车的摄像头检测到被跟踪目标，并不断实时获取被跟踪目标的图像信息；S3、根据被跟踪目标的图像信息变化调整智能随行小车的运动及摄像头3的朝向；S4，重复步骤S2和S3，以实现智能随行小车对目标的视觉跟踪。
其中，步骤S2中，将实时获取的每一帧的图像信息均储存入训练集中，并利用训练集中的图像信息训练新的跟踪模型，当训练集中储存的图像信息的帧数达到预设的阈值时，使用新的跟踪模型代替原有的跟踪模型以作为当前的跟踪模型，并清空训练集中的图像信息。
进一步地，步骤S1中，通过单图多检测框探测器(SingleShot multiboxDetector，SSD)算法训练得到被跟踪目标的跟踪模型；步骤S2中，通过SSD算法使智能随行小车的摄像头3检测到被跟踪目标，且通过SSD算法训练得新的跟踪模型。SSD算法进行目标检测时，首先产生多个不同尺度、不同长宽比的矩形的假设目标框；然后，再将多个不同的卷积滤波器应用于各个卷积层上，从而得出各个假设目标框的分值和位置偏移，确定一系列候选目标框；然后再通过非极大值抑制策略来从候选目标框中确定最终的检测结果，即得到了最优的矩形目标框。
SSD算法可在控制终端9中执行，具体地，步骤S1中，开始跟踪前，先在控制终端9中创建训练集(可基于Python实现)，将多组图像信息储存入训练集中，然后通过单图多检测框探测器(Single Shot multibox Detector，SSD)算法对训练集中的每一帧图像信息进行处理，并综合考虑后得到跟踪模型。步骤S2中，通过SSD算法对实时采集的图像信息进行处理，并与跟踪模型进行对比，使智能随行小车的摄像头3检测到被跟踪目标，同时，在控制终端9中创建新的训练集，将实时获取的每一帧的图像信息均储存入新的训练集中，并通过SSD算法，利用新的训练集中的图像信息训练新的跟踪模型，当新的训练集中储存的图像信息的帧数达到预设的阈值时，即使用新的跟踪模型代替原有的跟踪模型以作为当前的跟踪模型，并清空训练集中的图像信息。步骤S3中，通过SSD算法对最新一帧的图像信息进行处理，并与当前跟踪模型进行对比，若该帧图像对应的矩形目标框变小或变大，即说明目标距离智能随行小车变远或变近，则发出控制信号，控制智能随行小车对于被跟踪目标向前或向后运动；若该帧图像对应的矩形目标框的位置向左或向右偏移，即说明被跟踪目标的位置发生变化，若偏移幅度小于预设阈值，则仅控制摄像头3旋转，改变摄像头3的朝向，若偏移幅度大于预设阈值，则控制智能随行小车转向，使被跟踪目标对应的矩形目标框接近于不变。另外，若矩形目标框的变化程度超过了预设的最大阈值，则说明可能已发生了意外(如摔倒)，则发出报警信息。
此外，通过SSD算法，还能检测出摄像头3所拍摄到的画面中被跟踪目标周围的行人、车辆等，此时可通过语音报警模块8，发出“前方有人”、“附近有人”、“前方有车”、“附近有车”等语音提示，以让用户更安全地行走。
另外，当超声波测距模块7检测到智能随行小车前方出现障碍物时，控制模块6自动控制车轮驱动模块5工作，改变小车的运动方向以绕开障碍物，同时控制摄像头3朝小车转弯的反方向旋转，以避免丢失跟踪目标。
综上，本发明提供的多功能智能随行系统，能够有效解决老人、小孩、残疾人等群体的日常户外步行安全问题，提高出行安全系数；该系统可结合手机app中的心率监测、计步等功能使用，以辅助人们的健康出行。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。
Claims (4)
1.一种多功能智能随行系统，其特征在于，包括智能随行小车及控制终端(9)，所述智能随行小车包括车身(1)及安装在车身(1)上的电源(2)、摄像头(3)、多个车轮(4)、车轮驱动模块(5)及控制模块(6)；
所述摄像头(3)可转动地安装在所述车身(1)的顶部，用于获取随行目标及周围的图像信息；
所述车轮驱动模块(5)与多个车轮(4)连接，用于控制车轮(4)的运动；
所述控制模块(6)分别与电源(2)、摄像头(3)及车轮驱动模块(5)电连接，并与所述控制终端(9)无线通信连接；
摄像头(3)用于获取出行者的图像信息；
控制模块(6)用于管理电源(2)以及用于将摄像头(3)获取的图像信息发送至控制终端(9)进行处理，以及接收控制终端(9)对摄像头(3)获取的图像信息经过处理后发送回来的控制信号，并根据控制信号控制摄像头(3)的转动及车轮驱动模块(5)的工作；
控制终端(9)用于处理摄像头(3)拍摄到的目标图像信息，以产生控制信号来控制智能随行小车实现目标的随行跟踪。
2.根据权利要求1所述的多功能智能随行系统，其特征在于，所述车身(1)上还设置有与所述控制模块(6)电连接的超声波测距模块(7)，超声波测距模块(7)设置于智能随行小车的前端，用于向前方发射超声波并接收反射的超声波，以获得智能随行小车与前方障碍物的距离信息；控制模块(6)还用于根据智能随行小车与前方障碍物的距离信息，自动控制智能随行小车避开障碍物。
3.根据权利要求1所述的多功能智能随行系统，其特征在于，所述车身(1)上还设置有与所述控制模块(6)电连接的语音报警模块(8)，语音报警模块(8)用于在摄像头拍摄到的出行者的图像信息出现异常时，发出语音警报。
4.根据权利要求1所述的多功能智能随行系统，其特征在于，所述车轮驱动模块(5)包括车轮驱动电机及车轮舵机。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010641472.0A CN111708367A (zh) | 2020-07-06 | 2020-07-06 | 一种多功能智能随行系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010641472.0A CN111708367A (zh) | 2020-07-06 | 2020-07-06 | 一种多功能智能随行系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111708367A true CN111708367A (zh) | 2020-09-25 |
Family
ID=72545929
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010641472.0A Pending CN111708367A (zh) | 2020-07-06 | 2020-07-06 | 一种多功能智能随行系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111708367A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109703607A (zh) * | 2017-10-25 | 2019-05-03 | 北京眸视科技有限公司 | 一种智能行李车 |
| CN109823441A (zh) * | 2019-03-15 | 2019-05-31 | 绍兴文理学院 | 一种智能超市购物车 |
| CN110103237A (zh) * | 2019-05-13 | 2019-08-09 | 湖北经济学院 | 基于视觉目标跟踪的跟随型伙伴机器人 |
| CN111208831A (zh) * | 2020-02-24 | 2020-05-29 | 吉林大学 | 一种基于计算机视觉的无人跟随运载小车 |
-
2020
- 2020-07-06 CN CN202010641472.0A patent/CN111708367A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109703607A (zh) * | 2017-10-25 | 2019-05-03 | 北京眸视科技有限公司 | 一种智能行李车 |
| CN109823441A (zh) * | 2019-03-15 | 2019-05-31 | 绍兴文理学院 | 一种智能超市购物车 |
| CN110103237A (zh) * | 2019-05-13 | 2019-08-09 | 湖北经济学院 | 基于视觉目标跟踪的跟随型伙伴机器人 |
| CN111208831A (zh) * | 2020-02-24 | 2020-05-29 | 吉林大学 | 一种基于计算机视觉的无人跟随运载小车 |
Non-Patent Citations (1)
| Title |
|---|
| 杭州市科学技术协会主编: "《第三十一届杭州市表少年科技创新大赛优秀作品集》", 30 November 2017, 浙江工商大学出版社 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110077414B (zh) | 一种基于驾驶员状态监测的车辆行驶安全保障方法及系统 | |
| EP3141234A1 (en) | Spectacles for blind person | |
| US10667980B2 (en) | Motorized robotic walker guided by an image processing system for human walking assistance | |
| CN105411820B (zh) | 一种助行器系统及其工作方法 | |
| CN212569546U (zh) | 一种智能随行小车 | |
| CN216725005U (zh) | 一种基于树莓派的智能防上坡侧翻电动轮椅 | |
| Haque et al. | Head motion controlled wheelchair for physically disabled people | |
| CN209879303U (zh) | 一种多功能智能轮椅系统 | |
| CN111708367A (zh) | 一种多功能智能随行系统 | |
| CN209519003U (zh) | 一种智能轮椅机构及其控制系统 | |
| CN205268515U (zh) | 助行器系统 | |
| CN109808711B (zh) | 自动驾驶车辆控制方法及系统、自动驾驶车辆及视觉假体 | |
| CN107432793A (zh) | 安全型双轮驱动轮椅 | |
| Giri et al. | IoT-based smart wheelchair for disabled people and patient monitoring | |
| KR20130101777A (ko) | 노약자의 안전 보행을 지원하는 전동 보행기 | |
| CN102662378A (zh) | 基于物联网技术的远程交互系统 | |
| JP2018095194A (ja) | 自動運転装置 | |
| Romero et al. | A low-cost electric power wheelchair with manual and vision-based control systems | |
| CN110687922B (zh) | 一种无人机的视觉跟踪方法及具有视觉跟踪功能的无人机 | |
| Cui et al. | Design of a health care platform for the elderly | |
| WO2019024010A1 (zh) | 一种图像处理方法、系统以及智能导盲装置 | |
| Hussam et al. | Intelligent control system of a wheelchair for people with quadriplegia paralysis | |
| CN219680970U (zh) | 基于物联网的智能安康轮椅 | |
| CN111839925A (zh) | 一种智能轮椅控制系统 | |
| CN215021835U (zh) | 一种基于机器视觉的障碍物提醒的路径规划拐杖 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200925 |