CN114998874A - 一种基于深度学习的驾驶员异常行为检测方法 - Google Patents
一种基于深度学习的驾驶员异常行为检测方法 Download PDFInfo
- Publication number
- CN114998874A CN114998874A CN202210712341.6A CN202210712341A CN114998874A CN 114998874 A CN114998874 A CN 114998874A CN 202210712341 A CN202210712341 A CN 202210712341A CN 114998874 A CN114998874 A CN 114998874A
- Authority
- CN
- China
- Prior art keywords
- driver
- behaviors
- target
- abnormal
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Abstract
一种基于深度学习的驾驶员异常行为检测方法,包括以下步骤;步骤1,通过YOLOv5算法对于目标驾驶员进行分心行为检测,得到驾驶员是否存在各类分心驾驶行为的分析结果;步骤2,通过Perclos以及Dlib算法结合使用来对于目标驾驶员进行疲劳驾驶检测,得到驾驶员是否存在疲劳驾驶行为的分析结果;步骤3,对于步骤1和步骤2识别分析得到的驾驶员异常行为的判断结果进行预警。本发明能够达到检测驾驶员是否存在异常驾驶行为并对于驾驶员异常行为进行相应预警的效果。
Description
技术领域
本发明属于智能交通技术领域,具体涉及一种基于深度学习的驾驶员异常行为检测方法。
背景技术
随着人们对于道路交通安全意识的提高以及科学技术的飞速发展,驾驶员异常行为识别检测领域受到国内外专家和学者的广泛关注和深入研究,并在此领域取得了较为显著的研究成果。目前,驾驶员异常行为识别检测技术主要从以下三个方向展开了研究,分别是基于生理特征的识别方法、基于行为特征的识别方法和基于计算机视觉的识别方法。
基于计算机视觉的检测识别方法主要是使用了计算机图像处理以及模式的识别技术,对驾驶员的肢体活动情况,头部活动情况以及面部活动情况的这些驾驶员相关的方面进行提取分析,通过提取到的图像信息进行要素识别分类来实现对驾驶员的驾驶行为以及其精神状态进行判别。此方法与另外两种方法进行比较具有获取驾驶员驾驶信息的途径较为简单,对驾驶时的影响较小且有非接触性的优点,而这些优点使其逐渐成为当下最具有研究的价值以及应用前景的驾驶员驾驶行为检测方法。
在过去的研究中,大多数的研究均是集中于驾驶员的疲劳驾驶的检测的方面,主要的方法就是通过检测驾驶员的面部特征尤其是人脸上眼睛以及嘴巴位置的活动状况来对驾驶员的疲劳程度进行检测。而其余的对驾驶员在驾驶行为中发生的其他的异常驾驶行为的检测则是通过针对驾驶员的肢体动作或者是异常物体的检测来进行实现。本发明提出了对驾驶员整体的行为进行实时监测的方法,这种通过整体的识别检测突破了以往的对驾驶员的异常驾驶行为检测方法的局限性,能够实现更加的客观和全面的对驾驶员的驾驶状态进行分析。
发明内容
为了克服以上技术问题,本发明提供了一种基于深度学习的驾驶员异常行为检测方法,能够达到检测驾驶员是否存在异常驾驶行为并对于驾驶员异常行为进行相应预警的效果。
为了实现上述目的,本发明采用如下技术方案:
一种基于深度学习的驾驶员异常行为检测方法,包括以下步骤;
步骤1,通过YOLOv5算法对于目标驾驶员进行分心行为检测,得到驾驶员是否存在各类分心驾驶行为的分析结果;
步骤2,通过Perclos以及Dlib算法结合使用来对于目标驾驶员进行疲劳驾驶检测,得到驾驶员是否存在疲劳驾驶行为的分析结果;
步骤3,对于步骤1和步骤2识别分析得到的驾驶员异常行为的判断结果进行预警。
进一步的,所述步骤1包含的具体步骤如下:
(1)制作驾驶员异常行为的数据集,使用LabelImg工具来对需要检测的目标图像进行标注,便于后续放入模型中进行训练,制作了6类共1436张图片作为驾驶员分心行为检测的数据集;
(2)使用YOLOv5算法模型进行模型训练,YOLOv5算法使用了GIoULoss来作为Boundingbox的损失函数,GIOU是来源于IOU的一种用于边框预测的损失函数,GIOULoss可以用公式(1)来进行表示:
其中,A为正样本集,B为负样本集,IOU为正负样本的交并比,c为最小闭包区域面积;
(3)将数据集分为训练集和测试集,按8:2的比例投入YOLOv5卷积神经网络进行训练,当验证集损失函数达到最低时停止训练,得到该数据集下模型最佳的权重参数;
(4)利用加载最佳权重参数YOLOv5网络进行检测测试集的图片,通过检测特殊物体是否存在可判断出对应的分心行为。
进一步的,所述步骤2中使用Dlib算法与Perclos算法进行疲劳驾驶检测,通过Dlib计算人脸的欧式距离来定位目标人脸的眼睛以及嘴巴的位置后再通过使用Perclos算法来识别目标的眼睛以及嘴巴的状态以此判断目标是否疲倦;具体包括:
(1)Dlib用于人脸定位识别具体为:
1).通过加载人脸识别模型计算已知图片中所有关于人脸的特征向量;
2).通过加载人脸识别模型计算需要识别的图片中所有有关于人脸对应的特征向量;
3).计算人脸特征向量之间的欧式距离,计算欧式距离如公式(2)所示;
(2)Perclos是指眼睛的闭合时间所占用的一段特定的时间的百分率;人体进行一次研究闭合与睁开的过程中,眼睛睁开的程度随着时间的变化曲线,在实验的过程中可以通过此曲线来得到需要测量的目标对象的研究的某个程度的睁开与闭合的持续的时间,从而可以根据其反映出来的数据计算出Perclos值,通过公式(3)可以计算出Perclos的值;
其中,t1代表目标对象眼睛从完全打开到闭合的20%的时间,t2为眼睛完全打开到闭合的80%的时间,t3为眼睛完全打开到下一次的打开的20%的时间,t4为眼睛完全打开到下一次打开的80%的时间;
疲劳检测的过程为:通过对图像进行要素采集,然后将采集到的目标人脸的数据发送到监测设备的控制端,控制端中则是含有针对驾驶员疲倦检测的算法。控制端将采集到的人脸数据进行疲倦状态识别判断。
进一步的,针对于人脸中眼睛状态的识别判断的原理过程是通过判断目标人脸的眼皮覆盖过眼球的面积是否超过的预设的比例,如果此覆盖面积大小超过预设的比例则判断为疲倦,反之则正常。嘴巴状态识别判断和眼睛的一致。
进一步的,所述步骤3中对驾驶员存在的分心行为以及驾驶员存在的疲劳驾驶行为需要进行相应的不同的预警,通过Pyside2的一个窗口界面,在此界面中,用户可选择使用摄像头对于驾驶员进行实时的行为检测以及对于录屏视频进行检测两种操作,无论是对于摄像头的实时监测还是对于监控视频的视频检测,如若驾驶员出现上述所说的分心驾驶或者疲劳驾驶行为,在此窗口界面中,都会对于驾驶员的不同的异常驾驶行为进行相应的预警。
本发明的有益效果。
本发明提出的基于深度学习的驾驶员异常行为检测方法,利用步骤1所述使用YOLOv5算法实现了对驾驶员的分心行为进行实时检测及预警,利用步骤2所述使用Perclos算法以及Dlib算法结合使用实现了对驾驶员的疲劳行为进行实时检测及预警。本发明能够最大程度的实现对驾驶员可能正在进行的驾驶异常行为进行预警提示,从而有助于降低因驾驶员的不当驾驶行为引起的交通事故的概率,有利于保障交通安全。
附图说明:
图1YOLOv5算法的网络模型图。
图2Perclos算法变化曲线。
图3驾驶员异常行为检测之手机检测。
图4驾驶员异常行为检测之喝水检测。
图5驾驶员异常行为检测之口罩检测。
图6驾驶员异常行为检测之疲劳检测。
图7驾驶员异常行为检测之视线检测。
具体实施方式
下面将结合本发明实施例中的附图和附表,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1-图7所示:一种基于深度学习的驾驶员异常行为检测方法,包括以下步骤;
步骤1,通过YOLOv5算法对于目标驾驶员进行分心行为检测,得到驾驶员是否存在各类分心驾驶行为的分析结果;
步骤2,通过Perclos以及Dlib算法结合使用来对于目标驾驶员进行疲劳驾驶检测,得到驾驶员是否存在疲劳驾驶行为的分析结果;
步骤3,对于步骤1和步骤2识别分析得到的驾驶员异常行为的判断结果进行预警。
所述步骤1具体步骤如下:
(1)制作驾驶员异常行为的数据集,使用LabelImg工具来对需要检测的目标图像进行标注,便于后续放入模型中进行训练,制作了6类共1436张图片作为驾驶员分心行为检测的数据集;
(2)使用YOLOv5算法模型进行模型训练,YOLOv5算法使用了GIoULoss来作为Boundingbox的损失函数,GIOU是来源于IOU的一种用于边框预测的损失函数,GIOULoss可以用公式(1)来进行表示:
其中,A为正样本集,B为负样本集,IOU为正负样本的交并比,c为最小闭包区域面积;
(3)将数据集分为训练集和测试集,按8:2的比例投入YOLOv5卷积神经网络进行训练,当验证集损失函数达到最低时停止训练,得到该数据集下模型最佳的权重参数;
(4)利用加载最佳权重参数YOLOv5网络进行检测测试集的图片,通过检测特殊物体是否存在可判断出对应的分心行为。
所述步骤2中使用Dlib算法与Perclos算法进行疲劳驾驶检测,通过Dlib计算人脸的欧式距离来定位目标人脸的眼睛以及嘴巴的位置后再通过使用Perclos算法来识别目标的眼睛以及嘴巴的状态以此判断目标是否疲倦;具体包括:
(1)Dlib用于人脸定位识别具体为:
1).通过加载人脸识别模型计算已知图片中所有关于人脸的特征向量;
2).通过加载人脸识别模型计算需要识别的图片中所有有关于人脸对应的特征向量;
3).计算人脸特征向量之间的欧式距离,计算欧式距离如公式(2)所示。
(2)Perclos是指眼睛的闭合时间所占用的一段特定的时间的百分率;人体进行一次研究闭合与睁开的过程中,眼睛睁开的程度随着时间的变化曲线,在实验的过程中可以通过此曲线来得到需要测量的目标对象的研究的某个程度的睁开与闭合的持续的时间,从而可以根据其反映出来的数据计算出Perclos值,通过公式(3)可以计算出Perclos的值;
其中,t1代表目标对象眼睛从完全打开到闭合的20%的时间,t2为眼睛完全打开到闭合的80%的时间,t3为眼睛完全打开到下一次的打开的20%的时间,t4为眼睛完全打开到下一次打开的80%的时间;
疲劳检测的过程为:通过对图像进行要素采集,然后将采集到的目标人脸的数据发送到监测设备的控制端,控制端中则是含有针对驾驶员疲倦检测的算法。控制端将采集到的人脸数据进行疲倦状态识别判断。
针对于人脸中眼睛状态的识别判断的原理过程是通过判断目标人脸的眼皮覆盖过眼球的面积是否超过的预设的比例,如果此覆盖面积大小超过预设的比例则判断为疲倦,反之则正常。嘴巴状态识别判断和眼睛的一致。
所述步骤3中对驾驶员存在的分心行为以及驾驶员存在的疲劳驾驶行为需要进行相应的不同的预警,通过Pyside2的一个窗口界面,在此界面中,用户可选择使用摄像头对于驾驶员进行实时的行为检测以及对于录屏视频进行检测两种操作,无论是对于摄像头的实时监测还是对于监控视频的视频检测,如若驾驶员出现上述所说的分心驾驶或者疲劳驾驶行为,在此窗口界面中,都会对于驾驶员的不同的异常驾驶行为进行相应的预警。
实施例:
如图3所示,通过调用对比YOLOv5算法训练得到的模型,若是检测到目标中有手机的存在则反馈手机的相应标签,若主函数接收到反馈的手机标签则判定驾驶员有违规驾驶使用手机的行为。反之,则判定驾驶员正常驾驶。
如图4所示,通过调用对比YOLOv5算法训练得到的模型,若是检测到目标中有水杯的存在则反馈水杯的相应标签,若主函数接收到反馈的水杯标签则判定驾驶员有违规驾驶喝水行为。反之,则判定驾驶员正常驾驶。
如图5所示,通过调用对比YOLOv5算法训练得到的模型,若是检测到目标中有口罩的存在则反馈口罩的相应标签,若主函数接收到反馈的口罩标签则判定驾驶员已佩戴口罩。反之,则判定驾驶员未按照规定佩戴口罩存在不规范驾驶行为。
如图6所示,通过Dlib算法计算人脸的欧式距离来定位目标人脸上的眼睛和嘴巴的位置,定位完成后则使用Perclos算法判断驾驶员的眼睛以及嘴巴是否拥有闭合张开的行为并对驾驶员眼睛和嘴巴闭合次数进行计数。再通过算式(4)判断驾驶员是否存在疲劳驾驶行为
perclos=(Rolleye/Roll)+(Rollmouth/Roll)*0.2 (4)
其中:Rolleye为检测到的目标人脸的眨眼次数,Rollmouth为检测到的目标人脸的张嘴次数,Roll从零开始,每过一帧加一。
如图7所示,通过调用对比YOLOv5算法训练得到的模型,如果系统成功识别到驾驶员的人脸,则反馈face标签,主程序若是接收到face标签则判定驾驶员没有视线偏移。反之,则判定驾驶员存在视线偏移的驾驶分心行为。
Claims (5)
1.一种基于深度学习的驾驶员异常行为检测方法,其特征在于检测驾驶员的异常驾驶行为,包括以下步骤;
步骤1,通过YOLOv5算法对于目标驾驶员进行分心行为检测,得到驾驶员是否存在各类分心驾驶行为的分析结果;
步骤2,通过Perclos以及Dlib算法结合使用来对于目标驾驶员进行疲劳驾驶检测,得到驾驶员是否存在疲劳驾驶行为的分析结果;
步骤3,对于步骤1和步骤2识别分析得到的驾驶员异常行为的判断结果进行预警。
2.如权利要求1所述的一种基于深度学习的驾驶员异常行为检测方法,其特征在于检测驾驶员的异常驾驶行为,所述步骤1具体步骤如下:
(1)制作驾驶员异常行为的数据集,使用LabelImg工具来对需要检测的目标图像进行标注,便于后续放入模型中进行训练,制作了6类共1436张图片作为驾驶员分心行为检测的数据集;
(2)使用YOLOv5算法模型进行模型训练,YOLOv5算法使用了GIoULoss来作为Boundingbox的损失函数,GIOU是来源于IOU的一种用于边框预测的损失函数,GIOULoss可以用公式(1)来进行表示:
其中,A为正样本集,B为负样本集,IOU为正负样本的交并比,c为最小闭包区域面积;
(3)将数据集分为训练集和测试集,按8:2的比例投入YOLOv5卷积神经网络进行训练,当验证集损失函数达到最低时停止训练,得到该数据集下模型最佳的权重参数;
(4)利用加载最佳权重参数YOLOv5网络进行检测测试集的图片,通过检测特殊物体是否存在可判断出对应的分心行为。
3.如权利要求1所述的一种基于深度学习的驾驶员异常行为检测方法,其特征在于检测驾驶员的异常驾驶行为,所述步骤2中使用Dlib算法与Perclos算法进行疲劳驾驶检测,通过Dlib计算人脸的欧式距离来定位目标人脸的眼睛以及嘴巴的位置后再通过使用Perclos算法来识别目标的眼睛以及嘴巴的状态以此判断目标是否疲倦;具体包括:
(1)Dlib用于人脸定位识别具体为:
1).通过加载人脸识别模型计算已知图片中所有关于人脸的特征向量;
2).通过加载人脸识别模型计算需要识别的图片中所有有关于人脸对应的特征向量;
3).计算人脸特征向量之间的欧式距离,计算欧式距离如公式(2)所示;
(2)Perclos是指眼睛的闭合时间所占用的一段特定的时间的百分率;人体进行一次研究闭合与睁开的过程中,眼睛睁开的程度随着时间的变化曲线,在实验的过程中可以通过此曲线来得到需要测量的目标对象的研究的某个程度的睁开与闭合的持续的时间,从而可以根据其反映出来的数据计算出Perclos值,通过公式(3)可以计算出Perclos的值;
其中,t1代表目标对象眼睛从完全打开到闭合的20%的时间,t2为眼睛完全打开到闭合的80%的时间,t3为眼睛完全打开到下一次的打开的20%的时间,t4为眼睛完全打开到下一次打开的80%的时间;
疲劳检测的过程为:通过对图像进行要素采集,然后将采集到的目标人脸的数据发送到监测设备的控制端,控制端中则是含有针对驾驶员疲倦检测的算法。控制端将采集到的人脸数据进行疲倦状态识别判断。
4.如权利要求3所述的一种基于深度学习的驾驶员异常行为检测方法,其特征在于检测驾驶员的异常驾驶行为,针对于人脸中眼睛状态的识别判断的原理过程是通过判断目标人脸的眼皮覆盖过眼球的面积是否超过的预设的比例,如果此覆盖面积大小超过预设的比例则判断为疲倦,反之则正常。嘴巴状态识别判断和眼睛的一致。
5.如权利要求1所述的一种基于深度学习的驾驶员异常行为检测方法,其特征在于检测驾驶员的异常驾驶行为,所述步骤3中对驾驶员存在的分心行为以及驾驶员存在的疲劳驾驶行为需要进行相应的不同的预警,通过Pyside2的一个窗口界面,在此界面中,用户可选择使用摄像头对于驾驶员进行实时的行为检测以及对于录屏视频进行检测两种操作,无论是对于摄像头的实时监测还是对于监控视频的视频检测,如若驾驶员出现上述所说的分心驾驶或者疲劳驾驶行为,在此窗口界面中,都会对于驾驶员的不同的异常驾驶行为进行相应的预警。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210712341.6A CN114998874A (zh) | 2022-06-22 | 2022-06-22 | 一种基于深度学习的驾驶员异常行为检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210712341.6A CN114998874A (zh) | 2022-06-22 | 2022-06-22 | 一种基于深度学习的驾驶员异常行为检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114998874A true CN114998874A (zh) | 2022-09-02 |
Family
ID=83036624
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210712341.6A Pending CN114998874A (zh) | 2022-06-22 | 2022-06-22 | 一种基于深度学习的驾驶员异常行为检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114998874A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI831524B (zh) * | 2022-12-15 | 2024-02-01 | 國立勤益科技大學 | 基於物件時空關係之危險駕駛行為偵測系統及方法 |
-
2022
- 2022-06-22 CN CN202210712341.6A patent/CN114998874A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI831524B (zh) * | 2022-12-15 | 2024-02-01 | 國立勤益科技大學 | 基於物件時空關係之危險駕駛行為偵測系統及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101593425B (zh) | 一种基于机器视觉的疲劳驾驶监控方法及系统 | |
CN108053615B (zh) | 基于微表情的驾驶员疲劳驾驶状态检测方法 | |
CN104637246B (zh) | 一种驾驶员多种行为预警系统及危险评估方法 | |
CN107292251B (zh) | 一种基于人眼状态的驾驶员疲劳检测方法及系统 | |
Ji et al. | Fatigue state detection based on multi-index fusion and state recognition network | |
CN202257856U (zh) | 驾驶员疲劳驾驶监控装置 | |
CN104183091A (zh) | 一种自适应调整疲劳驾驶预警系统灵敏度的系统 | |
CN111414813A (zh) | 一种危险驾驶行为的识别方法、装置、设备及存储介质 | |
EP1868138A2 (en) | Method of tracking a human eye in a video image | |
CN110879973A (zh) | 一种驾驶员疲劳状态面部特征识别检测方法 | |
CN104361716A (zh) | 实时检测疲劳并提醒的方法 | |
CN111616718B (zh) | 基于姿态特征的驾驶员疲劳状态检测方法和系统 | |
CN107563346A (zh) | 一种基于人眼图像处理实现驾驶员疲劳判别的方法 | |
CN111753674A (zh) | 一种基于深度学习的疲劳驾驶的检测识别方法 | |
CN108021875A (zh) | 一种车辆驾驶员个性化疲劳监测及预警方法 | |
CN111434553A (zh) | 制动系统、方法、装置、疲劳驾驶模型的训练方法和装置 | |
CN111985328A (zh) | 基于面部特征分析的不安全驾驶行为检测预警方法 | |
CN108108651B (zh) | 基于视频人脸分析的驾驶员非专心驾驶检测方法及系统 | |
CN103729646A (zh) | 一种眼睛图像有效性检测方法 | |
CN114998874A (zh) | 一种基于深度学习的驾驶员异常行为检测方法 | |
Mašanović et al. | Driver monitoring using the in-vehicle camera | |
CN116965781B (zh) | 一种驾驶员生命体征和驾驶行为监控方法及系统 | |
Liu et al. | Design and implementation of multimodal fatigue detection system combining eye and yawn information | |
Mohammed et al. | Real-time driver awareness detection system | |
Reddy et al. | Soft Computing Techniques for Driver Alertness |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |