CN115424120A - 一种驾驶员监控系统控制方法、装置及车辆 - Google Patents
一种驾驶员监控系统控制方法、装置及车辆 Download PDFInfo
- Publication number
- CN115424120A CN115424120A CN202211080737.XA CN202211080737A CN115424120A CN 115424120 A CN115424120 A CN 115424120A CN 202211080737 A CN202211080737 A CN 202211080737A CN 115424120 A CN115424120 A CN 115424120A
- Authority
- CN
- China
- Prior art keywords
- monitoring system
- driver monitoring
- image data
- system control
- control method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/96—Management of image or video recognition tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Ophthalmology & Optometry (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种驾驶员监控系统控制方法、装置及车辆,涉及车辆技术领域。本发明所述的驾驶员监控系统控制方法,包括:基于第一进程,通过驾驶员监控系统获取图像数据,对图像数据进行预处理得到预处理图像,从预处理图像的预设区域抽取局部图像数据;基于第二进程,采用卷积神经网络对局部图像数据进行推理得到推理结果;基于第一进程,结合推理结果对预处理图像进行分析,若分析结果满足预设条件,则发送告警数据。本发明采用双进程方案,一个进程用于获取图像数据并进行预处理,另一个进程可以进行卷积神经网络推理,并在推理结束后返回推理结果到前一进程中,进而能够结合预设条件判断是否发送告警数据,有效降低驾驶员监控系统算力消耗。
Description
技术领域
本发明涉及车辆技术领域,具体而言,涉及一种驾驶员监控系统控制方法、装置及车辆。
背景技术
驾驶员监控系统(driver monitor system,dms)作为高级驾驶辅助系统,主要实现对驾驶员的身份识别、驾驶员疲劳监测、驾驶员注意力监测以及危险驾驶行为的监测功能,例如通过面向驾驶员的摄像头来实时监测驾驶员的头部、眼部、面部等细节,然后将获取到的信息数据进行模式识别,进而做出疲劳或分神等状态判断。
现有驾驶员监控系统通常利用纯CPU的方案进行视觉软件开发,导致视觉算法在初步功能实现后达到整个CPU资源约8%的空间占用率,而视觉占用的CPU百分比过高会造成运行卡顿的风险增加,可能影响车辆其他正常功能。
发明内容
本发明解决的问题是如何降低驾驶员监控系统的算力消耗。
为解决上述问题,本发明提供一种驾驶员监控系统控制方法、装置及车辆。
第一方面,本发明提供一种驾驶员监控系统控制方法,包括:
基于第一进程,通过驾驶员监控系统获取图像数据,对所述图像数据进行预处理得到预处理图像,从所述预处理图像的预设区域抽取局部图像数据;
基于第二进程,采用卷积神经网络对所述局部图像数据进行推理得到推理结果;
基于所述第一进程,结合所述推理结果对所述预处理图像进行分析,若分析结果满足预设条件,则发送告警数据。
可选地,所述通过驾驶员监控系统获取图像数据包括:
向DMA控制器发送任务指令,以使所述DMA控制器获得总线控制权;
通过所述DMA控制器从所述驾驶员监控系统的驾驶员监控摄像头获取所述图像数据。
可选地,所述对所述图像数据进行预处理得到预处理图像包括:
将从所述驾驶员监控摄像头获取的YUV422格式的图像数据转换为YUV420格式的预处理图像。
可选地,所述采用卷积神经网络对所述局部图像数据进行推理得到推理结果包括:
将所述局部图像数据输入到训练好的卷积神经网络的输入层中;
依次经过卷积层、池化层和全连接层对所述局部图像数据进行处理;
根据处理结果从输出层输出所述推理结果。
可选地,所述驾驶员监控系统控制方法还包括:采用单线程串行执行双眼处理逻辑。
可选地,所述驾驶员监控系统控制方法还包括:建立公共内存池,通过所述公共内存池为所述图像数据分配内存。
可选地,所述驾驶员监控系统控制方法还包括:结合车身信息对所述预设条件进行调整。
可选地,所述结合所述推理结果对所述预处理图像进行分析,若分析结果满足预设条件,则发送告警数据包括:
当所述分析结果触发告警阈值时发送所述告警数据;
所述结合车身信息对所述预设条件进行调整包括:
通过车速设定不同的告警阈值。
第二方面,本发明提供一种驾驶员监控系统控制装置,包括存储有计算机程序的计算机可读存储介质和处理器,所述计算机程序被所述处理器读取并运行时,实现如上驾驶员监控系统控制方法。
第三方面,本发明提供一种车辆,包括上述驾驶员监控系统控制装置。
本发明采用双进程方案对驾驶员监控系统进行算力优化,一个进程用于获取图像数据并进行预处理,另一个进程可以采用纯静态编译对从预处理图像的预设区域抽取的局部图像数据进行卷积神经网络推理,并在推理结束后返回推理结果到前一进程中,进而能够结合预设条件判断是否发送告警数据,由于采取双进程方案,可以有效降低驾驶员监控系统算力消耗。
附图说明
图1为本发明实施例的驾驶员监控系统控制方法的流程示意图;
图2为本发明实施例的驾驶员监控系统控制方法的进程示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂,下面结合附图对本发明的具体实施例做详细的说明。
如图1所示,本发明实施例提供一种驾驶员监控系统控制方法,包括:
基于第一进程,通过驾驶员监控系统获取图像数据,对所述图像数据进行预处理得到预处理图像,从所述预处理图像的预设区域抽取局部图像数据。
具体地,结合图2所示,进程dms在接收到图像数据后,对图像数据进行处理分析,由于图像数据来自摄像头,摄像头所采集的图像格式并不能被算法直接应用,因此需要对图像数据进行预处理,得到预处理图像,从预设区域抽取局部图像数据。
基于第二进程,采用卷积神经网络(convolutional neural networks,cnn)对所述局部图像数据进行推理得到推理结果。
具体地,结合图2所示,进程dms按照算法的感知情况从预设区域抽取局部图像数据后,发送到进程cnn_server,即将处理过程中需要执行的cnn推理操作交给进程cnn_server处理,由进程cnn_server执行进程dms提交过来的推理操作,并将推理结果返回到进程dms。
基于所述第一进程,结合所述推理结果对所述预处理图像进行分析,若分析结果满足预设条件,则发送告警数据。
具体地,进程dms结合推理结果对告警进行逻辑策略判断,若预处理图像的分析结果满足告警的预设条件,则向应用层APP发送告警数据等。
在上述图像数据处理过程中,至少需要进程dms和进程cnn_server这两个进程,进程dms负责调用系统动态库取图,进程cnn_server纯静态编译负责cnn推理;按双进程方案进行编码、移植和转模式测试,可以降低1.25%算力消耗。
其中,本实施例中采用新版本CNN算法模块,至少包括上述进程dms和进程cnn_server;新版本CNN算法模块在采用本实施例的算力优化方案前由于工具链问题无法使用,仅QNX710支持到armv8.2的汇编,当前QNX700仅支持armv8.0的汇编。
其中,现有部分算力优化方案采用高通8155平台,即采用cDSP模块降低对CPU资源的占用,但会产生额外的人工投入,且如果短时间无法利用cDSP和GPU两大8155模块时,需要挤占CPU资源,同样会带来算力紧张的问题。
可选地,所述通过驾驶员监控系统获取图像数据包括:
向DMA控制器发送任务指令,以使所述DMA控制器获得总线控制权。
具体地,在实现DMA传输时,由DMA控制器直接掌管总线,因此DMA传输前,CPU要把总线控制权交给DMA控制器,由CPU向DMA控制器发送任务指令,从而使DMA控制器获得总线控制权;而在结束DMA传输后,DMA控制器立即把总线控制权再交回给CPU。
通过所述DMA控制器从所述驾驶员监控系统的驾驶员监控摄像头获取所述图像数据。
具体地,在CPU进行大块内存拷贝的时候,如果没有DMA进行辅助,则CPU需要一点一点地对源地址进行读取,并一点一点地写入目的地址。而有了DMA之后,CPU在需要拷贝大块数据时,只需要为DMA提供源地址、目的地址以及要拷贝的数据的大小,DMA就可以代替CPU完成数据的拷贝(拷贝期间不占用CPU),拷贝完成后再通知CPU即可,DMA在进行数据拷贝时,CPU可以执行其他程序任务。
经过测试,将CPU拷贝方式改为DMA拷贝方式后,可以降低1%算力消耗。
可选地,所述对所述图像数据进行预处理得到预处理图像包括:
将从所述驾驶员监控摄像头获取的YUV422格式的图像数据转换为YUV420格式的预处理图像。
具体地,从驾驶员监控摄像头获取到YUV422格式的图像数据,由于算法无法直接应用该格式,因此需要将YUV422转换成YUV420(采用必要帧转换),以生成预处理图像。
其中,YUV422提取Y分量数据可以采用通道分离方法cvSplit函数,分别复制每个通道到多单通道图像。
其中,通过整理YUV数据,可以降低0.25%算力消耗。
可选地,所述采用卷积神经网络对所述局部图像数据进行推理得到推理结果包括:
将所述局部图像数据输入到训练好的卷积神经网络的输入层中。
具体地,首先准备训练样本组成训练集和测试集,将训练集导入到cnn网络结构中进行训练,训练完成后得到训练好的卷积神经网络,一般包括输入层、隐含层和输出层,然后将局部图像数据输入到输入层中。
依次经过卷积层、池化层和全连接层对所述局部图像数据进行处理。
具体地,隐含层包括卷积层、池化层和全连接层,其中,卷积层主要用于对局部图像数据进行特征提取,池化层主要作用是进行特征选择,降低特征数量,从而减少参数数量,全连接层的作用是对提取的特征进行非线性组合以得到输出。
根据处理结果从输出层输出所述推理结果。
具体地,卷积神经网络中输出层的上游通常是全连接层,因此其结构和工作原理与传统前馈神经网络中的输出层相同,可以根据处理结果从输出层输出推理结果,将推理结果返回到进程dms。
可选地,所述驾驶员监控系统控制方法还包括:采用单线程串行执行双眼处理逻辑。
具体地,现有视觉算法通常采用多线程并行方案,即在图像预处理和人脸处理后,并行执行“左眼处理”和“右眼处理”,虽然可以降低处理时间,但是会增加上下文切换与多核数据共享等额外开销,因此会提高算力消耗。
在本实施例中,采用单线程串行方案,即在图像预处理和人脸处理后,依次执行“左眼处理”和“右眼处理”,由于一般都在单核完成,不会有额外开销,因而能够降低算力消耗。
可选地,所述驾驶员监控系统控制方法还包括:建立公共内存池,通过所述公共内存池为所述图像数据分配内存。
具体地,现有方案通常为:由每个模块自行申请需要的内存,例如模块1每帧申请并使用内存块1,模块2每帧申请并使用内存块2;由于在720P分辨率下,每帧IR图像数据的大小约为1MB,对图像数据的每次内存空间申请释放或者拷贝操作,均会占用较多CPU。
其中,图像数据在处理时会用到图像处理相关函数和线性代数相关函数,图像处理相关函数包括图像旋转、形变、投影映射等操作,线性代数相关函数包括曲线拟合、插值等函数,用于计算各类坐标值、物理大小值等。通过测试图像处理相关函数和线性代数相关函数的表现,发现可以降低1%算力消耗。
在本实施例中,通过分析整理各个模块间的公共内存需求,建立公共内存池进行统一的申请管理。例如公共内存池中包括每帧申请各个模块需要的公共内存,任一模块可以直接使用需要的公共内存。
可选地,所述驾驶员监控系统控制方法还包括:结合车身信息对所述预设条件进行调整。
具体地,结合图2所示,应用层APP会向进程dms发送车身信息等,进程dms在接收到车身信息后,可以根据车身信息对预设条件进行调整,即调整告警的前置条件。由于车辆处于不同状态下时,所对应的告警前置条件不尽相同,例如在行车时若驾驶员长时间低头,则需要进行告警,而当处于驻车状态时,驾驶员长时间低头并不会带来危险,此时不需要进行告警;例如车辆处于倒车状态时,驾驶员需要扭头观察右侧后视镜,此时检测到视线偏移并不能作为告警的依据。
可选地,所述结合所述推理结果对所述预处理图像进行分析,若分析结果满足预设条件,则发送告警数据包括:
当所述分析结果触发告警阈值时发送所述告警数据;
所述结合车身信息对所述预设条件进行调整包括:
通过车速设定不同的告警阈值。
具体地,当分析结果触发告警阈值时,进程dms向应用层APP发送告警数据,同时,应用层APP会向进程dms发送车身信息,例如车速等,从而可以根据车速对告警阈值进行调整;例如可以设置0-10km/h、10-20km/h、20-40km/h和40-60km/h等车速区间,当车速位于0-10km/h的低速区间时,即使驾驶员出现短时间的驾驶分神,也不需要进行告警,而当车速位于40-60km/h的中高速区间时,驾驶员出现短时间的驾驶分神就需要进行告警,以免造成重大损失。
本发明另一实施例提供一种驾驶员监控系统控制装置,包括存储有计算机程序的计算机可读存储介质和处理器,所述计算机程序被所述处理器读取并运行时,实现如上所述的驾驶员监控系统控制方法。
本发明另一实施例提供一种车辆,包括上述驾驶员监控系统控制装置。
虽然本发明公开披露如上,但本发明公开的保护范围并非仅限于此。本领域技术人员在不脱离本发明公开的精神和范围的前提下,可进行各种变更与修改,这些变更与修改均将落入本发明的保护范围。
Claims (10)
1.一种驾驶员监控系统控制方法,其特征在于,包括:
基于第一进程,通过驾驶员监控系统获取图像数据,对所述图像数据进行预处理得到预处理图像,从所述预处理图像的预设区域抽取局部图像数据;
基于第二进程,采用卷积神经网络对所述局部图像数据进行推理得到推理结果;
基于所述第一进程,结合所述推理结果对所述预处理图像进行分析,若分析结果满足预设条件,则发送告警数据。
2.根据权利要求1所述的驾驶员监控系统控制方法,其特征在于,所述通过驾驶员监控系统获取图像数据包括:
向DMA控制器发送任务指令,以使所述DMA控制器获得总线控制权;
通过所述DMA控制器从所述驾驶员监控系统的驾驶员监控摄像头获取所述图像数据。
3.根据权利要求2所述的驾驶员监控系统控制方法,其特征在于,所述对所述图像数据进行预处理得到预处理图像包括:
将从所述驾驶员监控摄像头获取的YUV422格式的图像数据转换为YUV420格式的预处理图像。
4.根据权利要求1所述的驾驶员监控系统控制方法,其特征在于,所述采用卷积神经网络对所述局部图像数据进行推理得到推理结果包括:
将所述局部图像数据输入到训练好的卷积神经网络的输入层中;
依次经过卷积层、池化层和全连接层对所述局部图像数据进行处理;
根据处理结果从输出层输出所述推理结果。
5.根据权利要求1所述的驾驶员监控系统控制方法,其特征在于,还包括:采用单线程串行执行双眼处理逻辑。
6.根据权利要求1所述的驾驶员监控系统控制方法,其特征在于,还包括:建立公共内存池,通过所述公共内存池为所述图像数据分配内存。
7.根据权利要求1所述的驾驶员监控系统控制方法,其特征在于,还包括:结合车身信息对所述预设条件进行调整。
8.根据权利要求7所述的驾驶员监控系统控制方法,其特征在于,所述结合所述推理结果对所述预处理图像进行分析,若分析结果满足预设条件,则发送告警数据包括:
当所述分析结果触发告警阈值时发送所述告警数据;
所述结合车身信息对所述预设条件进行调整包括:
通过车速设定不同的告警阈值。
9.一种驾驶员监控系统控制装置,其特征在于,包括存储有计算机程序的计算机可读存储介质和处理器,所述计算机程序被所述处理器读取并运行时,实现如权利要求1至8任一项所述的驾驶员监控系统控制方法。
10.一种车辆,其特征在于,包括权利要求9所述的驾驶员监控系统控制装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211080737.XA CN115424120A (zh) | 2022-09-05 | 2022-09-05 | 一种驾驶员监控系统控制方法、装置及车辆 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211080737.XA CN115424120A (zh) | 2022-09-05 | 2022-09-05 | 一种驾驶员监控系统控制方法、装置及车辆 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115424120A true CN115424120A (zh) | 2022-12-02 |
Family
ID=84202925
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211080737.XA Pending CN115424120A (zh) | 2022-09-05 | 2022-09-05 | 一种驾驶员监控系统控制方法、装置及车辆 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115424120A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116901975A (zh) * | 2023-09-12 | 2023-10-20 | 深圳市九洲卓能电气有限公司 | 一种车载ai安防监控系统及其方法 |
-
2022
- 2022-09-05 CN CN202211080737.XA patent/CN115424120A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116901975A (zh) * | 2023-09-12 | 2023-10-20 | 深圳市九洲卓能电气有限公司 | 一种车载ai安防监控系统及其方法 |
CN116901975B (zh) * | 2023-09-12 | 2023-11-21 | 深圳市九洲卓能电气有限公司 | 一种车载ai安防监控系统及其方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110120024B (zh) | 图像处理的方法、装置、设备和存储介质 | |
Wang et al. | Haze concentration adaptive network for image dehazing | |
CN113284054B (zh) | 图像增强方法以及图像增强装置 | |
US10943115B2 (en) | Processing image data to perform object detection | |
CN115424120A (zh) | 一种驾驶员监控系统控制方法、装置及车辆 | |
CN111833369A (zh) | 一种矾花图像处理方法、系统、介质及电子设备 | |
CN110378860A (zh) | 修复视频的方法、装置、计算机设备和存储介质 | |
CN109871790A (zh) | 一种基于混合神经网络模型的视频去色方法 | |
CN117389742A (zh) | 一种用于机器视觉的边缘计算方法、装置及存储介质 | |
CN114549369A (zh) | 数据修复方法、装置、计算机及可读存储介质 | |
CN117789181B (zh) | 基于轻量级神经网络图像增强的驾驶疲劳检测方法与系统 | |
CN108985221A (zh) | 视频片段检测方法、装置、设备和存储介质 | |
CN114582009A (zh) | 一种基于混合注意力机制的单眼注视点估计方法及系统 | |
CN117475150A (zh) | 一种基于SAC-UNet的高效语义分割方法 | |
CN115588188A (zh) | 一种机车、车载终端和驾驶员行为识别方法 | |
CN115760646B (zh) | 一种针对不规则孔洞的多模态人脸图像修复方法和系统 | |
CN116309158A (zh) | 网络模型的训练方法、三维重建方法、装置、设备和介质 | |
CN116311495A (zh) | 一种基于视频输入的双流全局-局部动作识别方法、系统、设备及存储介质 | |
CN111815658B (zh) | 一种图像识别方法及装置 | |
CN115761869A (zh) | 一种眨眼检测的方法、装置及存储介质 | |
CN114998172A (zh) | 图像处理方法及相关系统 | |
CN110135305B (zh) | 用于疲劳度检测的方法、装置、设备和介质 | |
JP2022000940A (ja) | データ圧縮評価システム、データ圧縮システム、及びデータ圧縮評価方法 | |
CN111026445A (zh) | 一种智能识别方法及芯片 | |
CN110189272B (zh) | 用于处理图像的方法、装置、设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |