CN115123141A - 一种基于视觉的乘员安全带提醒装置及方法 - Google Patents

一种基于视觉的乘员安全带提醒装置及方法 Download PDF

Info

Publication number
CN115123141A
CN115123141A CN202210832921.9A CN202210832921A CN115123141A CN 115123141 A CN115123141 A CN 115123141A CN 202210832921 A CN202210832921 A CN 202210832921A CN 115123141 A CN115123141 A CN 115123141A
Authority
CN
China
Prior art keywords
safety belt
fastened
safety
judging whether
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210832921.9A
Other languages
English (en)
Inventor
黄浩伟
高虹
汤鹏飞
洪志强
张海培
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongfeng Motor Group Co Ltd
Original Assignee
Dongfeng Motor Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongfeng Motor Group Co Ltd filed Critical Dongfeng Motor Group Co Ltd
Priority to CN202210832921.9A priority Critical patent/CN115123141A/zh
Publication of CN115123141A publication Critical patent/CN115123141A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • B60R2022/4808—Sensing means arrangements therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • B60R2022/4808—Sensing means arrangements therefor
    • B60R2022/485—Sensing means arrangements therefor for sensing belt anchor position, belt orientation, or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • B60R2022/4866—Displaying or indicating arrangements thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视觉的乘员安全带提醒装置及方法，实时检测车速，当车速大于零时，采集座舱内的实时图像，通过目标检测算法对实时图像中的人脸和安全带进行识别，根据识别结果判断是否有系安全带，当判断未系安全带时，进行安全提醒。本发明图像采集模块采集座舱图像，并对图像通过目标检测算法进行识别，从而判断车内是否有人、安全带是否有系，并进行主驾、副驾的区分，最后结合车速信号综合进行安全带提醒判断，判断结果准确、可靠性高。

Description

一种基于视觉的乘员安全带提醒装置及方法
技术领域
本发明属于汽车技术领域，具体涉及一种基于视觉的乘员安全带提醒装置及方法。
背景技术
安全带提醒装置是通过多种传感器来判断安全带是否系好，座椅是否有乘员，然后结合车速信号综合判断判断是否进行未系提醒。
现有的安全带提醒装置主要由安全带触发开关、座椅压力传感器、扬声器以及电源组成。当座椅有乘员时，乘员自身的重量会触发压力传感器；车辆启动后，若未系安全带，则安全带触发开发被触发引发扬声器报警。将安全带系好之后，扬声器停止报警。
现有安全带提醒装置主要根据压力传感器是否触发、安全带锁舌与插锁是否锁止和当前车速来判定是否报警。通过压力传感器判断座椅是否有乘员的方法实际上是一种“间接式”的方法，存在一些缺点：
1、当座椅上的乘员为体重较轻的儿童时，压力可能不足以触发压力传感器，存在漏报的情况。
2、当座椅上放置其他较重的物体时，压力可能触发压力传感器，存在误报的情况。
3、当座椅上有乘员乘坐时，可能使用单独的锁舌与插锁锁止，此时安全带并未系好，存在漏报的情况。
发明内容
本发明的目的就是为了解决上述背景技术存在的不足，提供一种基于视觉的乘员安全带提醒装置及方法。
本发明采用的技术方案是：一种基于视觉的乘员安全带提醒装置，包括
车速检测模块，用于检测车速；
图像采集模块，用于在车速大于零时采集座舱内的实时图像；
图像识别模块，用于通过目标检测算法对实时图像中的人脸和安全带进行识别，根据识别结果判断是否有系安全带，当判断未系安全带时，发送提醒信号至提醒模块；
提醒模块，用于在接收到提醒模块后进行安全提醒。
进一步地，所述图像采集模块包括安装于车内的一个或多个红外摄像头。
进一步地，所述图像识别模块对实时图像中的人脸和安全带进行识别，得到若干人脸边界框、安全带边界框，以及对应边界框的置信度和中心坐标，根据边界框的置信度和中心坐标判断是否有系安全带。
进一步地，判断是否有系安全带包括判断主驾是否有系安全带，过程为：对每一个安全带边界框均进行判断，若至少有一个安全带边界框的判断结果为有系安全带，则确定主驾有系安全带，若所有安全带边界框的判断结果均为未系安全带，则确定主驾未系安全带。
进一步地，对安全带边界框进行判断的过程为：判断安全带边界框的置信度是否大于阈值，若置信度大于阈值，则继续判断安全带边界框的中心坐标是否大于标定值，若置信度小于等于阈值，则确定未系安全带；若中心坐标大于标定值，则确定有系安全带，若中心坐标小于等于标定值，则确定未系安全带。
进一步地，判断是否有系安全带包括判断副驾是否有系安全带，过程为：先判断副驾是否有人，若无人，则结束；若有人，则对每一个安全带边界框均进行判断，当至少有一个安全带边界框的判断结果为有系安全带时，则确定副驾有系安全带，若所有安全带边界框的判断结果均为未系安全带，则确定副驾未系安全带。
进一步地，对安全带边界框进行判断的过程为：判断安全带边界框的置信度是否大于阈值，若置信度大于阈值，则继续判断安全带边界框的中心坐标是否小于等于标定值，若置信度小于等于阈值，则确定未系安全带；若中心坐标小于等于标定值，则确定有系安全带，若中心坐标大于标定值，则确定未系安全带。
进一步地，判断副驾是否有人的过程为：对每一个人脸边界框均进行判断，当至少有一个人脸边界框的判断结果为有人时，则确定副驾有人，若所有人脸边界框的判断结果均为无人，则确定副驾无人。
更进一步地，对人脸边界框进行判断的过程为：判断人脸边界框的中心坐标是否小于预设值，若中心坐标小于预设值，则继续判断人脸边界框的置信度是否大于阈值，若中心坐标大于等于预设值，则确定无人；若置信度大于阈值，则确定有人，若置信度小于等于阈值，则确定无人。
一种基于视觉的乘员安全带提醒方法，实时检测车速，当车速大于零时，采集座舱内的实时图像，通过目标检测算法对实时图像中的人脸和安全带进行识别，根据识别结果判断是否有系安全带，当判断未系安全带时，进行安全提醒。
本发明的有益效果是：
a)、本发明图像采集模块采集座舱图像，并对图像通过目标检测算法进行识别，从而判断车内是否有人、安全带是否有系，并进行主驾、副驾的区分，最后结合车速信号综合进行安全带提醒判断，判断结果准确、可靠性高。
b)、本发明使用一个摄像头实现主驾、副驾安全带未系提醒，可以取代传统安全带提醒装置的主驾/副驾安全带触发开关、副驾压力传感器，降低零部件成本。
c)、本发明能够避免副驾人员体重较轻、副驾座椅放重物时，传统安全带提醒装置可能出现的漏报情况。
d)、本发明能够避免车内人员使用单独的安全带锁舌与插锁结合来逃避系安全带的问题。
e)、本发明可扩展功能非常丰富，可与驾驶员状态监测、人脸识别、手势识别、车内物品检测等功能进行集成，通用性强。
附图说明
图1为本发明乘员安全带提醒装置的原理示意图。
图2为本发明乘员安全带提醒方法的流程图。
图3为本发明识别的人脸边界框、安全带边界框的示意图。
图4为本发明判断安全带是否有系的流程图。
图5为本发明判断副驾是否有人的流程图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本发明，但并不构成对本发明的限定。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以互相结合。
如图1所示，本发明提供一种基于视觉的乘员安全带提醒装置包括包括
车速检测模块，用于检测车速；
图像采集模块，用于在车速大于零时采集座舱内的实时图像；
图像识别模块，用于通过目标检测算法对实时图像中的人脸和安全带进行识别，根据识别结果判断是否有系安全带，当判断未系安全带时，发送提醒信号至提醒模块；
提醒模块，用于在接收到提醒模块后进行安全提醒。
上述方案中，所述图像采集模块包括安装于车内中控台区域或后视镜区域的一个或多个红外摄像头。
基于上述的乘员安全带提醒装置，如图2所示，本发明还提供一种基于视觉的乘员安全带提醒方法，过程为：通过车速检测模块实时检测车速，当车速大于零时，图像采集模块采集座舱内的实时图像，图像识别模块通过目标检测算法对实时图像中的人脸和安全带进行识别，所述目标检测算法为faster-rcnn或yolo或ssd，根据识别结果判断是否有系安全带，当判断未系安全带时，进行安全提醒。
上述方案中，所述图像识别模块对实时图像中的人脸和安全带进行识别，如图3所示，得到若干人脸边界框、安全带边界框，以及对应边界框的置信度P和角坐标(x1,y1,x2,y2)，根据角坐标确定边框中心坐标x等于(x1+x2)/2，y等于(y1+y2)/2，根据边界框的置信度和中心坐标判断是否有系安全带。
以yolo V4为例进行说明得到边界框中心坐标的过程为：先将图像缩放到固定大小，如608x608x3，然后通过神经网络进行特征提取，得到特征图y1(19x19x255)、y2(38x38x255)、y3(76x76x255)。特征图y1中，19x19是特征图大小，255是特征图通道数，由3x(1+4+80)组成，其中3代表特征图中每个单元格对应3个bbox，1代表是否包含物体的置信度，4代表边界框的中心坐标(x,y)和高h、宽w的调整参数，80代表所要检测的80个物体的置信度。将特征图中每个单元格中心坐标映射到原图后的坐标为bbox中心点，以3组经验获得的高h、宽w作为bbox的高h、宽w，在获得bbox的中心坐标、高h和宽w之后，结合特征图输出的边界框调整参数可获得最终边界框的坐标输出。
上述方案中，如图4所示，判断是否有系安全带包括判断主驾是否有系安全带，过程为：对每一个安全带边界框均进行判断，若至少有一个安全带边界框的判断结果为有系安全带，则确定主驾有系安全带，若所有安全带边界框的判断结果均为未系安全带，则确定主驾未系安全带。对安全带边界框进行判断的过程为：判断安全带边界框的置信度是否大于阈值，若置信度大于阈值，则继续判断安全带边界框的中心坐标是否大于标定值，若置信度小于等于阈值，则确定未系安全带；若中心坐标大于标定值(即x、y分别与对应的标定x、y比较)，则确定有系安全带，若中心坐标小于等于标定值，则确定未系安全带。
上述方案中，判断是否有系安全带包括判断副驾是否有系安全带，过程为：先判断副驾是否有人，若无人，则结束；若有人，则对每一个安全带边界框均进行判断，当至少有一个安全带边界框的判断结果为有系安全带时，则确定副驾有系安全带，若所有安全带边界框的判断结果均为未系安全带，则确定副驾未系安全带。对安全带边界框进行判断的过程为：判断安全带边界框的置信度是否大于阈值，若置信度大于阈值，则继续判断安全带边界框的中心坐标是否小于等于标定值，若置信度小于等于阈值，则确定未系安全带；若中心坐标小于等于标定值，则确定有系安全带，若中心坐标大于标定值，则确定未系安全带。
上述方案中，如图5所示，判断副驾是否有人的过程为：对每一个人脸边界框均进行判断，当至少有一个人脸边界框的判断结果为有人时，则确定副驾有人，若所有人脸边界框的判断结果均为无人，则确定副驾无人。对人脸边界框进行判断的过程为：判断人脸边界框的中心坐标是否小于预设值，若中心坐标小于预设值，则继续判断人脸边界框的置信度是否大于阈值，若中心坐标大于等于预设值，则确定无人；若置信度大于阈值，则确定有人，若置信度小于等于阈值，则确定无人。
上述方案中，各判断过程中的阈值可以相同也可以不同，标定值可以相同或不同。
以上仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本领域的技术人员在本发明所揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (10)

1.一种基于视觉的乘员安全带提醒装置，其特征在于：包括
车速检测模块，用于检测车速；
图像采集模块，用于在车速大于零时采集座舱内的实时图像；
图像识别模块，用于通过目标检测算法对实时图像中的人脸和安全带进行识别，根据识别结果判断是否有系安全带，当判断未系安全带时，发送提醒信号至提醒模块；
提醒模块，用于在接收到提醒模块后进行安全提醒。
2.根据权利要求1所述的基于视觉的乘员安全带提醒装置，其特征在于：所述图像采集模块包括安装于车内的一个或多个红外摄像头。
3.根据权利要求1所述的基于视觉的乘员安全带提醒装置，其特征在于：所述图像识别模块对实时图像中的人脸和安全带进行识别，得到若干人脸边界框、安全带边界框，以及对应边界框的置信度和中心坐标，根据边界框的置信度和中心坐标判断是否有系安全带。
4.根据权利要求3所述的基于视觉的乘员安全带提醒装置，其特征在于：判断是否有系安全带包括判断主驾是否有系安全带，过程为：对每一个安全带边界框均进行判断，若至少有一个安全带边界框的判断结果为有系安全带，则确定主驾有系安全带，若所有安全带边界框的判断结果均为未系安全带，则确定主驾未系安全带。
5.根据权利要求4所述的基于视觉的乘员安全带提醒装置，其特征在于：对安全带边界框进行判断的过程为：判断安全带边界框的置信度是否大于阈值，若置信度大于阈值，则继续判断安全带边界框的中心坐标是否大于标定值，若置信度小于等于阈值，则确定未系安全带；若中心坐标大于标定值，则确定有系安全带，若中心坐标小于等于标定值，则确定未系安全带。
6.根据权利要求3所述的基于视觉的乘员安全带提醒装置，其特征在于：判断是否有系安全带包括判断副驾是否有系安全带，过程为：先判断副驾是否有人，若无人，则结束；若有人，则对每一个安全带边界框均进行判断，当至少有一个安全带边界框的判断结果为有系安全带时，则确定副驾有系安全带，若所有安全带边界框的判断结果均为未系安全带，则确定副驾未系安全带。
7.根据权利要求6所述的基于视觉的乘员安全带提醒装置，其特征在于：对安全带边界框进行判断的过程为：判断安全带边界框的置信度是否大于阈值，若置信度大于阈值，则继续判断安全带边界框的中心坐标是否小于等于标定值，若置信度小于等于阈值，则确定未系安全带；若中心坐标小于等于标定值，则确定有系安全带，若中心坐标大于标定值，则确定未系安全带。
8.根据权利要求6所述的基于视觉的乘员安全带提醒装置，其特征在于：判断副驾是否有人的过程为：对每一个人脸边界框均进行判断，当至少有一个人脸边界框的判断结果为有人时，则确定副驾有人，若所有人脸边界框的判断结果均为无人，则确定副驾无人。
9.根据权利要求8所述的基于视觉的乘员安全带提醒装置，其特征在于：对人脸边界框进行判断的过程为：判断人脸边界框的中心坐标是否小于预设值，若中心坐标小于预设值，则继续判断人脸边界框的置信度是否大于阈值，若中心坐标大于等于预设值，则确定无人；若置信度大于阈值，则确定有人，若置信度小于等于阈值，则确定无人。
10.一种基于视觉的乘员安全带提醒方法，其特征在于：实时检测车速，当车速大于零时，采集座舱内的实时图像，通过目标检测算法对实时图像中的人脸和安全带进行识别，根据识别结果判断是否有系安全带，当判断未系安全带时，进行安全提醒。
CN202210832921.9A 2022-07-14 2022-07-14 一种基于视觉的乘员安全带提醒装置及方法 Pending CN115123141A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210832921.9A CN115123141A (zh) 2022-07-14 2022-07-14 一种基于视觉的乘员安全带提醒装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210832921.9A CN115123141A (zh) 2022-07-14 2022-07-14 一种基于视觉的乘员安全带提醒装置及方法

Publications (1)

Publication Number Publication Date
CN115123141A true CN115123141A (zh) 2022-09-30

Family

ID=83383626

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210832921.9A Pending CN115123141A (zh) 2022-07-14 2022-07-14 一种基于视觉的乘员安全带提醒装置及方法

Country Status (1)

Country Link
CN (1) CN115123141A (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004161087A (ja) * 2002-11-12 2004-06-10 Nissan Motor Co Ltd シートベルト警報装置
CN102717773A (zh) * 2012-06-01 2012-10-10 浙江吉利汽车研究院有限公司杭州分公司 一种汽车安全带的检测控制方法及装置
CN105667450A (zh) * 2014-12-04 2016-06-15 通用汽车环球科技运作有限责任公司 车辆中安全带位置的检测
CN105730392A (zh) * 2016-04-05 2016-07-06 上海汽车集团股份有限公司 安全带未系提醒系统及方法
CN105946786A (zh) * 2016-05-06 2016-09-21 厦门理工学院 一种安全带规范佩戴的检测方法、提醒系统及控制方法
CN106446767A (zh) * 2016-07-30 2017-02-22 桐城市祥瑞机动车辆检测有限公司 一种基于视频分析的未系安全带行为检测方法
CN109624918A (zh) * 2019-01-18 2019-04-16 重庆长安汽车股份有限公司 一种安全带未系提醒系统及方法
CN109886205A (zh) * 2019-02-25 2019-06-14 苏州清研微视电子科技有限公司 安全带实时监测方法和系统
CN110084184A (zh) * 2019-04-25 2019-08-02 浙江吉利控股集团有限公司 一种基于图像处理技术的安全带未系探测系统和方法
CN111582077A (zh) * 2020-04-23 2020-08-25 广州亚美智造科技有限公司 基于人工智能软件技术的安全带佩戴检测方法和装置
CN112132040A (zh) * 2020-09-24 2020-12-25 明见(厦门)软件开发有限公司 基于视觉的安全带实时监测方法、终端设备及存储介质
CN113887291A (zh) * 2021-08-31 2022-01-04 际络科技(上海)有限公司 安全带检测方法及装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004161087A (ja) * 2002-11-12 2004-06-10 Nissan Motor Co Ltd シートベルト警報装置
CN102717773A (zh) * 2012-06-01 2012-10-10 浙江吉利汽车研究院有限公司杭州分公司 一种汽车安全带的检测控制方法及装置
CN105667450A (zh) * 2014-12-04 2016-06-15 通用汽车环球科技运作有限责任公司 车辆中安全带位置的检测
CN105730392A (zh) * 2016-04-05 2016-07-06 上海汽车集团股份有限公司 安全带未系提醒系统及方法
CN105946786A (zh) * 2016-05-06 2016-09-21 厦门理工学院 一种安全带规范佩戴的检测方法、提醒系统及控制方法
CN106446767A (zh) * 2016-07-30 2017-02-22 桐城市祥瑞机动车辆检测有限公司 一种基于视频分析的未系安全带行为检测方法
CN109624918A (zh) * 2019-01-18 2019-04-16 重庆长安汽车股份有限公司 一种安全带未系提醒系统及方法
CN109886205A (zh) * 2019-02-25 2019-06-14 苏州清研微视电子科技有限公司 安全带实时监测方法和系统
CN110084184A (zh) * 2019-04-25 2019-08-02 浙江吉利控股集团有限公司 一种基于图像处理技术的安全带未系探测系统和方法
CN111582077A (zh) * 2020-04-23 2020-08-25 广州亚美智造科技有限公司 基于人工智能软件技术的安全带佩戴检测方法和装置
CN112132040A (zh) * 2020-09-24 2020-12-25 明见(厦门)软件开发有限公司 基于视觉的安全带实时监测方法、终端设备及存储介质
CN113887291A (zh) * 2021-08-31 2022-01-04 际络科技(上海)有限公司 安全带检测方法及装置

Similar Documents

Publication Publication Date Title
CN113556975B (zh) 检测车辆中的对象并获得对象信息的系统、装置和方法
US10339401B2 (en) System and methods of monitoring driver behavior for vehicular fleet management in a fleet of vehicles using driver-facing imaging device
CN113147664B (zh) 检测车辆中是否使用了安全带的方法和系统
US9662977B2 (en) Driver state monitoring system
EP1816589B1 (en) Detection device of vehicle interior condition
US10369926B2 (en) Driver state sensing system, driver state sensing method, and vehicle including the same
US6493620B2 (en) Motor vehicle occupant detection system employing ellipse shape models and bayesian classification
WO2019109412A1 (zh) 事故主动呼叫救援的方法及车载自动求救系统
US7308349B2 (en) Method of operation for a vision-based occupant classification system
US11256936B2 (en) Vehicle occupant count monitoring system
CN107415602A (zh) 用于车辆的监测方法、设备和系统、计算机可读存储介质
US20080021616A1 (en) Occupant Information Detection System, Occupant Restraint System, and Vehicle
JP2008269496A (ja) 乗員情報検出システム、乗員拘束システム、車両
CN107310518B (zh) 一种儿童锁未锁止提醒系统
CN110949311B (zh) 安全带检测装置、方法、系统、车辆和存储介质
CN111597974A (zh) 一种基于tof相机车厢内人员活动的监控方法及系统
CN105730392A (zh) 安全带未系提醒系统及方法
CN110654343A (zh) 安全带监控系统和方法以及车辆和存储介质
CN112989915A (zh) 用于检测自主载具中的异常乘客行为的系统和方法
CN115123141A (zh) 一种基于视觉的乘员安全带提醒装置及方法
CN210760742U (zh) 智能车辆辅助驾驶系统
KR101684020B1 (ko) 사각 지대에 있는 차량을 검출하는 장치 및 방법
CN115892031A (zh) 一种汽车乘员安全姿态调整方法及系统
CN106347280A (zh) 一种多功能汽车辅助驾驶系统及方法
CN108460355A (zh) 驾驶员状态及行为检测系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220930