CN108973918A - 一种实现车辆盲区监测的装置及方法 - Google Patents
一种实现车辆盲区监测的装置及方法 Download PDFInfo
- Publication number
- CN108973918A CN108973918A CN201810846956.1A CN201810846956A CN108973918A CN 108973918 A CN108973918 A CN 108973918A CN 201810846956 A CN201810846956 A CN 201810846956A CN 108973918 A CN108973918 A CN 108973918A
- Authority
- CN
- China
- Prior art keywords
- module
- target
- described image
- outline border
- blind zone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
- B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供实现车辆盲区监测的装置及方法,装置包括:图像获取模块、目标识别模块、图像驱动模块、判断模块、报警模块、显示模块,所述图像获取模块与所述目标识别模块、所述图像驱动模块连接,所述目标识别模块还与所述图像驱动模块、所述判断模块连接,所述图像驱动模块还与所述判断模块、所述显示模块连接,所述判断模块还与所述报警模块连接。本发明提高了车辆盲区监测系统的实时性。
Description
技术领域
本发明涉及车辆驾驶安全领域,尤其涉及一种实现车辆盲区监测的装置及方法。
背景技术
车辆传统的物理外后视镜因影响风阻系数,其面积有限,且因为车辆B柱、C柱的存在,因此对于驾驶员而言,后方左右两侧的视野存在较大的盲区,从而导致事故频发。随着技术发展,传统的车辆后视镜逐渐被电子后视镜取代。电子后视镜通过摄像头拍摄车辆后方的图像,并显示在液晶屏上,能有效避免因为车辆B柱、C柱而导致的视野盲区。但是,如果驾驶员不主动关注电子后视镜的显示画面也无法避免可能发生的事故。因此,对盲区进行实时检测,如果有车辆或行人进入视野盲区即进行报警,提醒驾驶员注意,可大大减小事故的发生。
目前的盲区检测技术的基本方法是:先通过对摄像头获取的图像进行分析,如果检测到有障碍物,然后对障碍物的位置进行标注,这些操作都是由图像处理器以串行的方式完成处理。这种串行式的处理方法导致系统响应速度较慢,针对高速行驶的车辆,画面延时会增加,不能满足实时性要求。
因此,现有技术有待进一步改进。
发明内容
本发明提供一种实现车辆盲区监测的装置及方法,旨在解决现有技术中的缺陷,提高车辆盲区监测系统的实时性。
为达到上述目的,本发明所采取的技术方案为:
本发明一方面提供一种实现车辆盲区监测的装置,包括:图像获取模块、目标识别模块、图像驱动模块、判断模块、报警模块、显示模块。
所述图像获取模块与所述目标识别模块、所述图像驱动模块连接,所述目标识别模块还与所述图像驱动模块、所述判断模块连接,所述图像驱动模块还与所述判断模块、所述显示模块连接,所述判断模块还与所述报警模块连接。
所述图像获取模块,用于获取盲区图像数据。
所述目标识别模块,用于对图像进行目标类型及目标位置进行识别,并将位置信息发送给所述图像驱动模块及所述判断模块。
所述图像驱动模块,用于将所述图像获取模块传来的信号转换为所述显示模块可识别的数据格式,接收目标位置信息并在对应位置标注目标外框。
所述判断模块,用于判断目标当前位置的危险指数,并将危险指数发送给所述图像驱动模块及所述报警模块。
所述报警模块,用于进行语音提醒报警。
所述显示模块,用于接收所述图像驱动模块发送的图像数据并进行显示。
具体地,所述目标识别模块、图像驱动模块、判断模块、报警模块、显示模块集成为电子后视镜的主体。
具体地,所述图像获取模块包括摄像头、串化芯片及解串芯片。
本发明另一方面提供一种车辆盲区监测装置的实现方法,包括:
步骤10、图像获取模块获取盲区图像数据,发送给目标识别模块及图像驱动模块。
步骤20、所述目标识别模块判断盲区图像中是否存在预设目标,是则进入下一步,否则重复执行本步骤。
步骤30、所述目标识别模块确定所述预设目标的位置及大小。
步骤40、所述目标识别模块将目标位置、目标大小发送给所述图像驱动模块,将目标位置发送给所述判断模块。
步骤50、所述判断模块根据所述目标位置判断目标当前位置的危险指数,并发送所述危险指数给所述图像驱动模块,若所述危险指数大于预设阈值,通知报警模块报警。
步骤60、所述图像驱动模块根据目标位置、目标大小在对应位置标注矩形目标外框。
步骤70、所述显示模块接收所述图像驱动模块发送的图像数据并进行显示。
进一步地,所述步骤6之后还包括:
步骤61、所述图像驱动模块根据所述危险指数标注不同颜色的目标外框。
进一步地,所述步骤6之后还包括:
步骤62、所述图像驱动模块根据所述危险指数以不同频率闪烁目标外框。
具体地,所述图像驱动模块根据下式标注矩形目标外框:
Xl=X0-Dh/2,Yl=Y0+Dv/2;
Xr=X0+Dh/2,Yr=Y0-Dv/2;
其中,Xl表示目标外框的左上角横坐标,Yl表示目标外框的左上角纵坐标,X0表示目标的中心像素横坐标,Y0表示目标的中心像素纵坐标,Dh表示目标水平像素大小,Dv表示目标垂直像素大小。
具体地,所述步骤61包括:若危险指数小于预设阈值,标注第一颜色外框,否则标注第二颜色外框。
具体地,所述第一颜色外框为绿色外框,所述第二颜色外框为红色外框。
具体地,所述步骤62包括:若危险指数小于预设阈值,不闪烁目标外框,否则以与距离成反比的频率闪烁目标外框。
本发明的有益效果在于:本发明通过将盲区图像中的预设目标的识别、目标外框标识分开并行处理,提高了车辆盲区监测系统的实时性。
附图说明
图1是本发明的实现车辆盲区监测的装置的结构示意图;
图2是本发明的车辆盲区监测装置的实现方法的流程示意图。
具体实施方式
下面结合附图具体阐明本发明的实施方式,附图仅供参考和说明使用,不构成对本发明专利保护范围的限制。
如图1所示,本发明的实施例一方面提供一种实现车辆盲区监测的装置,包括图像获取模块、目标识别模块、图像驱动模块、判断模块、报警模块、显示模块。
所述图像获取模块与所述目标识别模块、所述图像驱动模块连接,所述目标识别模块还与所述图像驱动模块、所述判断模块连接,所述图像驱动模块还与所述判断模块、所述显示模块连接,所述判断模块还与所述报警模块连接。
所述图像获取模块,用于获取盲区图像数据。
所述目标识别模块,用于对图像进行目标类型及目标位置进行识别,并将位置信息发送给所述图像驱动模块及所述判断模块。
所述图像驱动模块,用于将所述图像获取模块传来的信号转换为所述显示模块可识别的数据格式,接收目标位置信息并在对应位置标注目标外框。
所述判断模块,用于判断目标当前位置的危险指数,并将危险指数发送给所述图像驱动模块及所述报警模块。
所述报警模块,用于进行语音提醒报警。
所述显示模块,用于接收所述图像驱动模块发送的图像数据并进行显示。
在本发明的一个实施例中,所述目标识别模块、图像驱动模块、判断模块、报警模块、显示模块集成为电子后视镜的主体。
在本发明的一个实施例中,所述图像获取模块包括摄像头、串化芯片及解串芯片。
如图2所示,本发明的实施例另一方面提供一种车辆盲区监测装置的实现方法,包括:
步骤10、图像获取模块获取盲区图像数据,发送给目标识别模块及图像驱动模块。
所述摄像头一般安装在车辆后方中部位置,以保证车辆后方视野不被B柱、C柱遮挡为原则。由于所述摄像头一般距离所述目标识别模块较远,因此所述摄像头将采集到的图像信号通过所述串化芯片将并行数字信号转换为串行数字信号,再通过同轴线远距离传送给所述解串芯片,以避免传输过程中的干扰。所述解串芯片将接收到的所述串行数字信号还原为并行信号,然后发送给所述目标识别模块及所述图像驱动模块。
步骤20、所述目标识别模块判断盲区图像中是否存在预设目标,是则进入下一步,否则重复执行本步骤。
所述目标识别模块通常是一个SoC(System-on-Chip)芯片,具有较高的集成度,内嵌了复杂的图像处理算法。
在本实施例中,所述目标识别模块通过harris角点检测、L-K光流法识别盲区图像是否有预设目标。此为现有技术,在此不再赘述。
步骤30、所述目标识别模块确定所述预设目标的位置及大小。
目标的位置及大小可以如下方式获得:对摄像头进行标定(例如张正友标定算法),获取世界坐标系到图像坐标系的映射关系,根据这一映射关系,把图像中识别出来的目标像素位置转换为世界坐标位置,同时可以根据位置计算物体大小。此为现有技术,在此不再赘述。
步骤40、所述目标识别模块将目标位置、目标大小发送给所述图像驱动模块,将目标位置发送给所述判断模块。
当所述目标识别模块识别到盲区图像中存在第一个预设目标时,并不会对第一个预设目标进行目标外框的标识,而是将第一个预设目标的位置、目标大小发送给所述图像驱动模块进行并行处理,所述目标识别模块继续下一个目标的识别,从而大大降低了所述目标识别模块的运算量,使得所述目标识别模块有更多的资源进行其它目标的识别。与此同时,所述图像驱动模块通过OSD的方式对所述第一个预设目标进行外框标识,同理,当目标识别模块识别到盲区图像中存在第二个预设目标时,并不会对第二个预设目标进行目标外框的标识,而是将目标外框的标识的工作交给所述图像驱动模块处理。以此类推,第三个、第四个、第N个预设目标的识别、外框标识流程皆是如此。这样,整个系统的实时性大大提高。
步骤50、所述判断模块根据所述目标位置判断目标当前位置的危险指数,并发送所述危险指数给所述图像驱动模块,若所述危险指数大于预设阈值,通知报警模块报警。
所述判断模块根据所述目标当前位置与车身的距离确定所述目标当前位置的危险指数,如果所述目标当前位置的危险指数大于预设阈值(即与车身的距离小于预设值),所述报警模块通过语音等方式进行报警,提醒驾驶员注意车辆盲区存在危险目标,应立即采取相应措施。
步骤60、所述图像驱动模块根据目标位置、目标大小在对应位置标注矩形目标外框。
在本实施例中,所述图像驱动模块根据下式标注矩形目标外框:
Xl=X0-Dh/2,Yl=Y0+Dv/2;
Xr=X0+Dh/2,Yr=Y0-Dv/2。
其中,Xl表示目标外框的左上角横坐标,Yl表示目标外框的左上角纵坐标,X0表示目标的中心像素横坐标,Y0表示目标的中心像素纵坐标,Dh表示目标水平像素大小,Dv表示目标垂直像素大小。
通过目标的中心像素坐标(X0,Y0)、目标外框的左上角坐标(Xl、Yl)、右下角坐标(Xr、Yr),即可描绘出矩形的目标外框。
步骤70、所述显示模块接收所述图像驱动模块发送的图像数据并进行显示。
当所述目标识别模块完成目标识别的同时,所述图像驱动模块也完成了目标外框的标识,所述显示模块就能根据所述目标识别模块的目标识别结果、所述图像驱动模块的标识结果进行显示,提高了系统响应的实时性。
在本发明的另一个实施例中,所述步骤6之后还包括:
步骤61、所述图像驱动模块根据所述危险指数标注不同颜色的目标外框。
具体是:若危险指数小于预设阈值,标注第一颜色外框(例如绿色外框),否则标注第二颜色外框(例如红色外框)。
通过根据不同的危险指数标注不同颜色的目标外框,可以更好地提醒驾驶员关注需要注意的预设目标,进一步提高了车辆盲区监测的效果。
在本发明的另一个实施例中,所述步骤6之后还包括:
步骤62、所述图像驱动模块根据所述危险指数以不同频率闪烁目标外框。
具体是:若危险指数小于预设阈值,不闪烁目标外框,否则以与距离成反比的频率闪烁目标外框。
通过根据不同的危险指数以不同频率闪烁目标外框,可以更好地提醒驾驶员关注需要注意的预设目标,进一步提高了车辆盲区监测的效果。
以上所揭露的仅为本发明的较佳实施例,不能以此来限定本发明的权利保护范围,因此依本发明申请专利范围所作的等同变化,仍属本发明所涵盖的范围。
Claims (10)
1.一种实现车辆盲区监测的装置,其特征在于,包括:图像获取模块、目标识别模块、图像驱动模块、判断模块、报警模块、显示模块。
所述图像获取模块与所述目标识别模块、所述图像驱动模块连接,所述目标识别模块还与所述图像驱动模块、所述判断模块连接,所述图像驱动模块还与所述判断模块、所述显示模块连接,所述判断模块还与所述报警模块连接。
所述图像获取模块,用于获取盲区图像数据。
所述目标识别模块,用于对图像进行目标类型及目标位置进行识别,并将位置信息发送给所述图像驱动模块及所述判断模块。
所述图像驱动模块,用于将所述图像获取模块传来的信号转换为所述显示模块可识别的数据格式,接收目标位置信息并在对应位置标注目标外框。
所述判断模块,用于判断目标当前位置的危险指数,并将危险指数发送给所述图像驱动模块及所述报警模块。
所述报警模块,用于进行语音提醒报警。
所述显示模块,用于接收所述图像驱动模块发送的图像数据并进行显示。
2.根据权利要求1所述的实现车辆盲区监测的装置,其特征在于,所述目标识别模块、图像驱动模块、判断模块、报警模块、显示模块集成为电子后视镜的主体。
3.根据权利要求1或2所述的实现车辆盲区监测的装置,其特征在于,所述图像获取模块包括摄像头、串化芯片及解串芯片。
4.一种车辆盲区监测装置的实现方法,其特征在于,包括:
步骤10、图像获取模块获取盲区图像数据,发送给目标识别模块及图像驱动模块。
步骤20、所述目标识别模块判断盲区图像中是否存在预设目标,是则进入下一步,否则重复执行本步骤。
步骤30、所述目标识别模块确定所述预设目标的位置及大小。
步骤40、所述目标识别模块将目标位置、目标大小发送给所述图像驱动模块,将目标位置发送给所述判断模块。
步骤50、所述判断模块根据所述目标位置判断目标当前位置的危险指数,并发送所述危险指数给所述图像驱动模块,若所述危险指数大于预设阈值,通知报警模块报警。
步骤60、所述图像驱动模块根据目标位置、目标大小在对应位置标注矩形目标外框。
步骤70、所述显示模块接收所述图像驱动模块发送的图像数据并进行显示。
5.根据权利要求4所述的车辆盲区监测装置的实现方法,其特征在于,所述步骤6之后还包括:
步骤61、所述图像驱动模块根据所述危险指数标注不同颜色的目标外框。
6.根据权利要求4所述的车辆盲区监测装置的实现方法,其特征在于,所述步骤6之后还包括:
步骤62、所述图像驱动模块根据所述危险指数以不同频率闪烁目标外框。
7.根据权利要求4所述的车辆盲区监测装置的实现方法,其特征在于,所述图像驱动模块根据下式标注矩形目标外框:
Xl=X0-Dh/2,Yl=Y0+Dv/2;
Xr=X0+Dh/2,Yr=Y0-Dv/2;
其中,Xl表示目标外框的左上角横坐标,Yl表示目标外框的左上角纵坐标,X0表示目标的中心像素横坐标,Y0表示目标的中心像素纵坐标,Dh表示目标水平像素大小,Dv表示目标垂直像素大小。
8.根据权利要求5所述的车辆盲区监测装置的实现方法,其特征在于,所述步骤61包括:若危险指数小于预设阈值,标注第一颜色外框,否则标注第二颜色外框。
9.根据权利要求8所述的车辆盲区监测装置的实现方法,其特征在于,所述第一颜色外框为绿色外框,所述第二颜色外框为红色外框。
10.根据权利要求6所述的车辆盲区监测装置的实现方法,其特征在于,所述步骤62包括:若危险指数小于预设阈值,不闪烁目标外框,否则以与距离成反比的频率闪烁目标外框。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810846956.1A CN108973918B (zh) | 2018-07-27 | 2018-07-27 | 一种实现车辆盲区监测的装置及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810846956.1A CN108973918B (zh) | 2018-07-27 | 2018-07-27 | 一种实现车辆盲区监测的装置及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108973918A true CN108973918A (zh) | 2018-12-11 |
CN108973918B CN108973918B (zh) | 2020-09-01 |
Family
ID=64552025
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810846956.1A Active CN108973918B (zh) | 2018-07-27 | 2018-07-27 | 一种实现车辆盲区监测的装置及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108973918B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109902624A (zh) * | 2019-02-27 | 2019-06-18 | 百度在线网络技术(北京)有限公司 | 用于呈现信息的方法和装置 |
CN112633258A (zh) * | 2021-03-05 | 2021-04-09 | 天津所托瑞安汽车科技有限公司 | 一种目标确定方法及装置、设备、计算机可读存储介质 |
CN113823107A (zh) * | 2021-08-31 | 2021-12-21 | 武汉工程大学 | 一种弯路拐角交通警示仪 |
CN117315601A (zh) * | 2023-11-28 | 2023-12-29 | 湖南天烽科技有限公司 | 基于遥感技术的车辆危险行为ai识别报警系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101844542A (zh) * | 2008-09-10 | 2010-09-29 | 财团法人交大思源基金会 | 智能型车辆行驶安全辅助系统 |
CN102081861A (zh) * | 2009-11-30 | 2011-06-01 | 富士通天株式会社 | 车载装置及认知支援系统 |
CN103287331A (zh) * | 2012-02-29 | 2013-09-11 | 深圳光启创新技术有限公司 | 一种提醒装置及汽车 |
CN203854604U (zh) * | 2013-12-12 | 2014-10-01 | 中山菲柯特电子电器有限公司 | 一种汽车智能监测盲点装置 |
-
2018
- 2018-07-27 CN CN201810846956.1A patent/CN108973918B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101844542A (zh) * | 2008-09-10 | 2010-09-29 | 财团法人交大思源基金会 | 智能型车辆行驶安全辅助系统 |
CN102081861A (zh) * | 2009-11-30 | 2011-06-01 | 富士通天株式会社 | 车载装置及认知支援系统 |
CN103287331A (zh) * | 2012-02-29 | 2013-09-11 | 深圳光启创新技术有限公司 | 一种提醒装置及汽车 |
CN203854604U (zh) * | 2013-12-12 | 2014-10-01 | 中山菲柯特电子电器有限公司 | 一种汽车智能监测盲点装置 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109902624A (zh) * | 2019-02-27 | 2019-06-18 | 百度在线网络技术(北京)有限公司 | 用于呈现信息的方法和装置 |
CN112633258A (zh) * | 2021-03-05 | 2021-04-09 | 天津所托瑞安汽车科技有限公司 | 一种目标确定方法及装置、设备、计算机可读存储介质 |
CN112633258B (zh) * | 2021-03-05 | 2021-05-25 | 天津所托瑞安汽车科技有限公司 | 一种目标确定方法及装置、电子设备、计算机可读存储介质 |
WO2022183682A1 (zh) * | 2021-03-05 | 2022-09-09 | 天津所托瑞安汽车科技有限公司 | 一种目标确定方法及装置、电子设备、计算机可读存储介质 |
CN113823107A (zh) * | 2021-08-31 | 2021-12-21 | 武汉工程大学 | 一种弯路拐角交通警示仪 |
CN113823107B (zh) * | 2021-08-31 | 2023-10-20 | 武汉工程大学 | 一种弯路拐角交通警示仪 |
CN117315601A (zh) * | 2023-11-28 | 2023-12-29 | 湖南天烽科技有限公司 | 基于遥感技术的车辆危险行为ai识别报警系统 |
CN117315601B (zh) * | 2023-11-28 | 2024-02-23 | 湖南天烽科技有限公司 | 基于遥感技术的车辆危险行为ai识别报警系统 |
Also Published As
Publication number | Publication date |
---|---|
CN108973918B (zh) | 2020-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108973918A (zh) | 一种实现车辆盲区监测的装置及方法 | |
CN104933409B (zh) | 一种基于全景图像点线特征的车位识别方法 | |
US9704060B2 (en) | Method for detecting traffic violation | |
US9269263B2 (en) | Vehicle top clearance alert system | |
CN103264663B (zh) | 车辆变道盲区检测方法和装置 | |
CN104900088A (zh) | 一种用于弯道会车预警的预警系统 | |
TW201010888A (en) | Intelligent vehicle traffic safety supply system | |
CN108027976A (zh) | 行驶支援装置以及基于行驶支援装置的行驶支援方法 | |
CN106143308B (zh) | 基于智能后视镜的车道偏离预警系统 | |
CN103192829A (zh) | 一种基于环视的道路偏离预警方法和装置 | |
CN108725365B (zh) | 一种实现夜间行车安全监控的摄像头系统及方法 | |
CN104527520B (zh) | 一种基于led灯组的障碍物车载预警显示方法 | |
JP2007288657A (ja) | 車両用表示装置、車両用表示装置の表示方法 | |
TWI522257B (zh) | 車用安全系統及其運作方法 | |
CN204667643U (zh) | 一种用于弯道会车预警的预警系统 | |
CN108021849B (zh) | 一种行人预警方法及装置 | |
CN106476695A (zh) | 用于可视性增强的系统和方法 | |
KR101169338B1 (ko) | 차선 인식 장치 및 차선 인식 방법 | |
CN104134350A (zh) | 一种交通违法行为识别智能球机系统 | |
CN106853794A (zh) | 运用结构光感测物体距离的内轮差警示方法及系统 | |
TW201724052A (zh) | 車輛監控系統及其方法 | |
JP2011227657A (ja) | 車両の周辺を監視する装置 | |
JP2006341713A (ja) | ヘッドライト照射方向変更システム、及びヘッドライト照射方向変更方法 | |
CN109685083A (zh) | 驾驶员开车违规使用手机的多尺度检测方法 | |
JP2008077154A (ja) | 車両周辺監視装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |