CN116831581A - 一种基于远程生理体征提取的驾驶员状态监测方法及系统 - Google Patents
一种基于远程生理体征提取的驾驶员状态监测方法及系统 Download PDFInfo
- Publication number
- CN116831581A CN116831581A CN202310712053.5A CN202310712053A CN116831581A CN 116831581 A CN116831581 A CN 116831581A CN 202310712053 A CN202310712053 A CN 202310712053A CN 116831581 A CN116831581 A CN 116831581A
- Authority
- CN
- China
- Prior art keywords
- driver
- information
- attention
- physiological
- sign extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 82
- 238000012544 monitoring process Methods 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000001815 facial effect Effects 0.000 claims abstract description 26
- 238000007781 pre-processing Methods 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000013528 artificial neural network Methods 0.000 claims abstract description 6
- 230000009466 transformation Effects 0.000 claims abstract 2
- 239000013598 vector Substances 0.000 claims description 36
- 238000004364 calculation method Methods 0.000 claims description 25
- 230000008447 perception Effects 0.000 claims description 25
- 238000010586 diagram Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 8
- 238000013145 classification model Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 7
- 230000010365 information processing Effects 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 230000002123 temporal effect Effects 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 241000364483 Lipeurus epsilon Species 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 2
- 238000012806 monitoring device Methods 0.000 abstract 1
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013186 photoplethysmography Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000036387 respiratory rate Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02405—Determining heart rate variability
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
- A61B5/0816—Measuring devices for examining respiratory frequency
Abstract
本发明公开了一种基于远程生理体征提取的驾驶员状态监测方法，包括以下步骤：S1、设计双径神经网络，训练得到驾驶员rPPG信号提取模型；S2、采集驾驶员面部图像序列信息，进行预处理，将预处理得到的局部信息和全局信息发送至远程生理体征提取装置；S3、远程生理体征提取装置将局部信息和全局信息输入驾驶员rPPG信号提取模型，得到驾驶员rPPG信号，对驾驶员rPPG信号进行去噪、变换处理得到驾驶员生理特征参数后，发送至驾驶员状态警示装置；S4、驾驶员状态警示装置根据驾驶员生理特征参数，计算驾驶员实时驾驶状态，判定驾驶风险程度。本发明还提供了一种基于远程生理体征提取的驾驶员状态监测装置。
Description
技术领域
本发明涉及车辆行车安全及驾驶员状态监测领域，尤其涉及一种基于远程生理体征提取的驾驶员状态监测方法及系统。
背景技术
在当前交通安全管理中，驾驶员行车状态是一个关键监测对象，驾驶员驾驶过程中的不良状态容易导致交通事故的发生，随着车辆自动化水平的提高以及人们对安全驾驶的要求不断增加，对于驾驶员状态监测系统的开发进度也在不断前进。
传统基于视觉的驾驶员状态监测方法大多数局限于浅层次的简单面部特征提取，而驾驶员执行驾驶任务时产生的分心、疲劳、路怒等不良状态是心理和生理因素联合表征的结果，因此传统的驾驶员状态监测方法和系统存在极大的不可靠性；相对于浅层特征，生理体征信号更难以被人为控制或伪装，因此可以更准确地反映驾驶员真实的驾驶状态，但现有的基于生理监测的驾驶员状态监测方法和系统研究中，大多具有设备复杂难用、不具备实时性的特点，同时需要在驾驶员身上安装监测设备，对驾驶员的驾驶效率和行车的安全性造成极大影响，进而难以通过监测驾驶员行车状态来判断驾驶风险程度。
发明内容
本发明提供了一种基于远程生理体征提取的驾驶员状态监测方法及系统，用以解决传统基于视觉的驾驶员状态监测方法和系统大多数局限于浅层次的简单面部特征提取，且现有基于生理监测的驾驶员状态监测方法和系统研究不够便捷和完善的技术问题。
为实现上述目的，本发明提供了一种基于远程生理体征提取的驾驶员状态监测方法，用于驾驶员感知装置、远程生理体征提取装置和驾驶员状态警示装置互相协作的系统中，包括以下步骤：
S1、训练驾驶员rPPG信号提取模型：设计基于Transformer架构的包含快速径和慢速径的双径神经网络，通过对驾驶员进行数据采集和模型训练得到驾驶员rPPG信号提取模型。
S2、采集和预处理驾驶员数据：通过驾驶员感知装置采集驾驶员的面部图像序列信息，并对面部图像序列信息进行预处理，将预处理得到的局部信息和全局信息发送至远程生理体征提取装置。
S3、提取驾驶员生理特征参数：远程生理体征提取装置将局部信息特征作为快速径输入，全局信息特征作为慢速径输入，输入驾驶员rPPG信号提取模型，得到驾驶员rPPG信号，远程生理体征提取装置对驾驶员rPPG信号进行去噪、变换处理得到驾驶员生理特征参数后，将驾驶员生理特征参数发送至驾驶员状态警示装置。
S4、判定驾驶风险程度：驾驶员状态警示装置根据接收到的驾驶员生理特征参数，计算驾驶员的实时驾驶状态，根据实时驾驶状态判定驾驶风险程度。
优选的，在S1中，包括以下步骤：
S11、采集驾驶员数据：通过模拟以及实车试验，采集驾驶员在驾驶状态下的面部图像序列和同步对应的生理信号。
S12、进行数据预处理：对采集到的驾驶员数据进行预处理，通过面部特征点获取人脸的皮肤区域，作为局部信息特征输入；通过人脸检测器获取人脸图像框并扩大两倍作为采样框，作为全局信息特征输入。
S13、设计包含快速径和慢速径的Transformer网络架构：设计包含快速径和慢速径的Transformer网络架构，网络主体结构为多个Transformer块堆叠；快速径输入信息为人脸皮肤区域的局部信息，输入帧率与原始采样率保持一致，特征图尺寸为慢速径输入信息为以人脸检测框中心为中心点，人脸检测框尺寸2倍的全局信息，并采样到局部特征图的2倍大小，输入帧率为原始采样率的1/4，特征图尺寸为其中快速径和慢速径均从空间维度和时间维度计算注意力；通过将快速径和慢速径的输出拼接后，添加一个多层感知机层，输出驾驶员的估计生理信号。
S14、将预处理后的数据分为训练集和验证集，在训练集上对模型输出的信号与采集的真实生理信号计算损失函数，并进行反向传播不断更新模型参数，训练到损失函数不再降低为止，选择验证集上皮尔森相关系数最大的作为最后的模型参数。
优选的，在S13中慢速径计算时，前Lspace层Transformer从空间维度进行注意力机制计算：
将全局信息划分为不重叠的块，每个块的维度为p∈{1,…,N}和t∈{1,…,F}分别是块和帧的索引，所有块被展平为向量，并线性投影到式(11)的嵌入向量：
嵌入向量与输入向量之间通过可学习的位置嵌入向量/>和矩阵E联系起来；在每一帧的第一个块前加上一个可学习的分类token/>这个分类token会被用来编码每一帧的信息，用于后续计算时间维度的注意力。
在第l层Transformer(l∈{1,…,Lspace})和第a头自注意力(a∈{1,…,A})下，每个块被表示为查询q、键k和值v向量，前一层Transformer产生的表示作为输入，LayerNorm表示层归一化，W表示权重矩阵，每个注意力头的维度为Dh＝D/A，q、k、v向量分别用公式表示为：
第t帧的第p个块的空间自注意力权重用公式表示为：
自注意力权重被用作每个注意力头值的加权和的系数，得到多头自注意力的输出：
将来自注意力机制的输出拼接，并通过多层感知器，多头自注意力层和多层感知机层通过添加跳跃连接作为残差运算符操作：
优选的，在通过所有空间Transformer后，每帧的分类token产生一个嵌入向量ft，用来后续进行时间注意力计算，嵌入向量ft：
为了捕捉整个时间序列的特征信息，需要添加应用时间维度上的注意力，将ft拼接后得到作为输入序列，输入序列被映射成查询、键、值向量并进行注意力计算：
之后得到多头自注意力的输出，并应用与空间Transformer一致的计算方法，将自注意力的输出进行拼接，同样通过多层感知机，多头自注意力层和多层感知机层通过添加跳跃连接作为残差运算符操作。
经过所有时间Transformer层后，每帧产生一个嵌入向量yt，并进行层标准化：
优选的，在S13中，快速径的计算方式与慢速径一致；将快速径与慢速径的输出进行拼接后，添加一个多层感知机层，输出驾驶员的估计生理信号：
rPPG＝MLP(Ft)t＝1,…,F (112)
其中，Ft是快速径与慢速径每帧进行拼接后的向量。
优选的，在S4计算驾驶员的实时驾驶状态时，建立了用于将驾驶员的不同生理特征参数映射到驾驶员的不同驾驶状态的分类模型，再根据分类模型得到驾驶员的实时状态。
优选的，在S4中，判定完驾驶风险程度后，可以通过驾驶员状态警示装置向驾驶员和网络云端发送相应的警示信息。
本发明还提供了一种基于远程生理体征提取的驾驶员状态监测系统，用于本发明的基于远程生理体征提取的驾驶员状态监测方法，包括：驾驶员感知装置、远程生理体征提取装置和驾驶员状态警示装置。
驾驶员感知装置用于采集和预处理驾驶员的面部序列信息，并将预处理后得到的局部信息和全局信息发送至远程生理体征提取装置。
远程生理体征提取装置用于接收局部信息和全局信息，并将局部信息和全局信息输入驾驶员rPPG信号提取模型得到驾驶员的rPPG信息，在对驾驶员rPPG信号进行去噪、变换处理得到驾驶员生理特征参数后，将驾驶员生理特征参数发送至驾驶员状态警示装置。
驾驶员状态警示装置用于接收驾驶员生理特征参数，根据驾驶员生理特征参数计算驾驶员的驾驶状态并对驾驶风险程度进行判定，在驾驶风险程度较高和极高时，对驾驶员和网络云端发出相应警示信息。
优选的，驾驶员感知装置包括驾驶员感知模块和信息处理模块，驾驶员感知模块包括一个及以上安装于不遮挡视线的驾驶员正前方的，用于采集驾驶员的面部图像序列信息的高清网络摄像头；信息处理模块包括用于处理面部图像序列的一个及以上高性能计算设备。
远程生理体征提取装置包括用于接收来自驾驶员感知装置的特征信息、将特征信息输入驾驶员rPPG信号提取模型得到驾驶员rPPG信息和对驾驶员rPPG信号进行去噪、变换处理得到驾驶员生理特征参数的一个及以上高性能计算设备。
优选的，驾驶员状态警示装置包括驾驶状态判别模块和驾驶员状态警示模块。
驾驶状态判别模块包括用于接收来自远程生理体征提取装置的驾驶员生理体征、计算驾驶员的实时驾驶状态并判定驾驶风险程度和联动网络云端的一个及以上高性能计算设备。
驾驶员状态警示模块包括用于向驾驶员发送警示信息的氛围灯、扬声器和振动器。
本发明具有以下有益效果：
本发明的基于远程生理体征提取的驾驶员状态监测方法，通过设计基于Transformer架构的包含快速径和慢速径的双径神经网络，使本方法训练得到的模型可以更有效地处理不同时间尺度和空间尺度下的信息，更好地捕捉视频中的细节信息和动作信息；其中快速径可以更好地提取时间特征以及皮肤区域蕴含的rPPG信息，慢速径通过较低帧率和更大范围的感受可以更好地关注背景噪声、头部运动、面部动作单元等空间信息并消除空间变化带来的影响；即通过聚合全局特征以及局部特征并学习其中有效的特征表示，关注局部区域的时间特征并消除全局信息中的背景噪声变化，从而更精确地反映驾驶员的真实驾驶状态；相比于传统的驾驶员状态监测方法，本发明的方法不需要预先设定手工特征，而是可以直接从原始信号中学习到有效的特征表示，使得本发明的方法具有简单易用的特点；特别地，由于Transformer架构具备出色的序列建模能力，可以进一步提高信号提取任务的精确性。
本发明还提供了一种基于远程生理体征提取的驾驶员状态监测系统，用于本发明的基于远程生理体征提取的驾驶员状态监测方法，除了与本发明的方法具备一样的有益效果外，由于使用高清摄像头采集驾驶员的信息，避免了侵入式传感器对驾驶员操作的影响，且具备远程生理体征提取功能，使得本发明的系统具有非接触式、简便易用、实时监测的特点。
除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照附图，对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明优选实施例1的方法流程示意图。
图2是本发明优选实施例1的基于双径Transformer的驾驶员rPPG信号提取模型训练流程图。
图3是本发明优选实施例1的基于Transformer架构的双径网络结构图。
图4是本发明优选实施例1的以慢速径为视角的双径Transformer网络架构图。
图5是本发明优选实施例1的基于rPPG信号的驾驶员驾驶状态识别流程图。
图6是本发明优选实施例2的系统示意图。
图中标识为：
1、驾驶员感知装置；2、远程生理体征提取装置；3、驾驶员状态警示装置；4、驾驶员感知模块；5、信息处理模块；6、驾驶状态判别模块；7、驾驶员状态警示模块。
具体实施方式
以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
本发明的基于远程生理体征提取的驾驶员状态监测方法，其原理是检测心脏收缩和舒张的血流量变化引起的面部皮肤区域的微小颜色变化，通过对时序数据进行处理获得驾驶员的rPPG(remote photoplethysmography,远程光电容积脉搏波)信号，进而得到心率、呼吸率等生理指标并映射到驾驶员的不同驾驶状态。
实施例1：
参见图1，本发明优选实施例中，提供了一种基于远程生理体征提取的驾驶员状态监测方法，用于驾驶员感知装置1、远程生理体征提取装置2和驾驶员状态警示装置3互相协作的系统中，包括以下步骤：
S1、训练驾驶员rPPG信号提取模型：设计基于Transformer架构的包含快速径和慢速径的双径神经网络，通过对驾驶员进行数据采集和模型训练得到驾驶员rPPG信号提取模型。
本发明优选实施例中，通过快速径以及慢速径的结合，同时通过空间注意力与时间注意力的分离计算，关注局部区域丰富的rPPG信息以及消除背景噪声变化带来的干扰，通过数据采集以及模型训练得到驾驶员rPPG信号提取模型。
参见图2，在S1中，包括以下步骤：
S11、采集驾驶员数据：通过模拟以及实车数据，采集驾驶员在驾驶状态下的面部图像序列和同步对应的生理信号。
S12、进行数据预处理：对采集到的驾驶员数据进行预处理，通过面部特征点获取人脸的皮肤区域，作为局部信息特征输入；通过人脸检测器获取人脸图像框并扩大两倍作为采样框，作为全局信息特征输入。
S13、设计包含快速径和慢速径的Transformer网络架构：设计包含快速径和慢速径的Transformer网络架构，网络主体结构为多个Transformer块堆叠；快速径输入信息为人脸皮肤区域的局部信息，输入帧率与原始采样率保持一致，特征图尺寸为慢速径输入信息为以人脸检测框中心为中心点，人脸检测框尺寸2倍的全局信息，并采样到局部特征图的2倍大小，输入帧率为原始采样率的1/4，特征图尺寸为其中快速径和慢速径均从空间维度和时间维度计算注意力；通过将快速径和慢速径的输出拼接后，添加一个多层感知机层，输出驾驶员的估计生理信号。
本发明优选实施例中，由于同时在空间维度和时间维度进行注意力计算会消耗大量的计算资源，因此需要将注意力计算在空间维度和时间维度上进行分解。
参见图3至图4，在S13中慢速径计算时，前Lspace层Transformer从空间维度进行注意力机制计算：
将全局信息划分为不重叠的块，每个块的维度为和t∈{1,…,F}分别是块和帧的索引，所有块被展平为向量，并线性投影到式(11)的嵌入向量：
嵌入向量与输入向量之间通过可学习的位置嵌入向量/>和矩阵E联系起来；在每一帧的第一个块前加上一个可学习的分类token/>这个分类token会被用来编码每一帧的信息，用于后续计算时间维度的注意力。
在第l层Transformer(l∈{1,…,Lspace})和第a头自注意力(a∈{1,…,A})下，每个块被表示为查询(q)、键(k)和值(v)向量，前一层Transformer产生的表示作为输入，LayerNorm表示层归一化，W表示权重矩阵，每个注意力头的维度为Dh＝D/A，q、k、v向量分别用公式表示为：
第t帧的第p个块的空间自注意力权重用公式表示为：
自注意力权重被用作每个注意力头值的加权和的系数，得到多头自注意力的输出：
将来自注意力机制的输出拼接，并通过多层感知器，多头自注意力层和多层感知机层通过添加跳跃连接作为残差运算符操作：
在通过所有空间Transformer后，每帧的分类token产生一个嵌入向量ft，用来后续进行时间注意力计算，嵌入向量ft：
为了捕捉整个时间序列的特征信息，需要添加应用时间维度上的注意力，将ft拼接后得到作为输入序列，输入序列被映射成查询、键、值向量并进行注意力计算：
之后得到多头自注意力的输出，并应用与空间Transformer一致的计算方法，将自注意力的输出进行拼接，同样通过多层感知机，多头自注意力层和多层感知机层通过添加跳跃连接作为残差运算符操作。
经过所有时间Transformer层后，每帧产生一个嵌入向量yt，并进行层标准化：
在S13中，快速径的计算方式与慢速径一致；将快速径与慢速径的输出进行拼接后，添加一个多层感知机层，输出驾驶员的估计生理信号：
rPPG＝MLP(Ft)t＝1,…,F (112)
其中，Ft是快速径与慢速径每帧进行拼接后的向量。
本发明优选实施例中，将空间维度和时间维度的注意力计算进行了合理分解，使得本发明的方法能够合理的运用计算资源，不会造成计算过载的情况，保证了计算的稳定性。
S14、将预处理后的数据分为训练集和验证集，在训练集上对模型输出的信号与采集的真实生理信号计算损失函数，并进行反向传播不断更新模型参数，训练到损失函数不再降低为止，选择验证集上皮尔森相关系数最大的作为最后的模型参数。
参见图5，在S2和S3中：
S2、采集和预处理驾驶员数据：通过驾驶员感知装置1采集驾驶员的面部图像序列信息，并对面部图像序列信息进行预处理，将预处理得到的局部信息和全局信息发送至远程生理体征提取装置2。
S3、提取驾驶员生理特征参数：远程生理体征提取装置2将局部信息特征作为快速径输入，全局信息特征作为慢速径输入，输入驾驶员rPPG信号提取模型，得到驾驶员rPPG信号，远程生理体征提取装置2对驾驶员rPPG信号进行去噪、变换(峰值检测或快速傅里叶变换)处理得到驾驶员生理特征参数后，将驾驶员生理特征参数发送至驾驶员状态警示装置3。
本发明优选实施例中，驾驶员生理特征参数包括心率、心率变异性、呼吸率等。
S4、判定驾驶风险程度：驾驶员状态警示装置3根据接收到的驾驶员生理特征参数，计算驾驶员的实时驾驶状态，根据实时驾驶状态判定驾驶风险程度。
在S4计算驾驶员的实时驾驶状态时，建立了用于将驾驶员的不同生理特征参数映射到驾驶员的不同驾驶状态的分类模型，再根据分类模型得到驾驶员的实时状态。
本发明优选实施例中，通过建立分类模型，使得不同生理特征能够映射到驾驶员的不同驾驶状态，在分析驾驶员的实时状态时能够更为准确。
在S4中，判定完驾驶风险程度后，可以通过驾驶员状态警示装置3向驾驶员和网络云端发送相应的警示信息。
本发明优选实施例中，通过网络云端发送相关警示信息可以与其他车辆、交通管理部门、医院等进行数据交互。
本发明优选实施例中，通过网络云端发送相关警示信息与其他车辆、交通管理部门、医院等进行数据交互时，能够进一步地加强交通安全和驾驶员的人身安全。
本发明优选实施例的基于远程生理体征提取的驾驶员状态监测方法，通过设计基于Transformer架构的包含快速径和慢速径的双径神经网络，使本方法训练得到的模型可以更有效地处理不同时间尺度和空间尺度下的信息，更好地捕捉视频中的细节信息和动作信息；其中快速径可以更好地提取时间特征以及皮肤区域蕴含的rPPG信息，慢速径通过较低帧率和更大范围的感受可以更好地关注背景噪声、头部运动、面部动作单元等空间信息并消除空间变化带来的影响；即通过聚合全局特征以及局部特征并学习其中有效的特征表示，关注局部区域的时间特征并消除全局信息中的背景噪声变化，从而更精确地反映驾驶员的真实驾驶状态；相比于传统的驾驶员状态监测方法，本发明的方法不需要预先设定手工特征，而是可以直接从原始信号中学习到有效的特征表示，使得本发明的方法具有简单易用的特点；特别地，由于Transformer架构具备出色的序列建模能力，可以进一步提高信号提取任务的精确性。
实施例2：
参见图6，本发明优选实施例提供了一种基于远程生理体征提取的驾驶员状态监测系统，用于本发明的基于远程生理体征提取的驾驶员状态监测方法，包括：驾驶员感知装置1、远程生理体征提取装置2和驾驶员状态警示装置3。
驾驶员感知装置1用于采集和预处理驾驶员的面部序列信息，并将预处理后得到的局部信息和全局信息发送至远程生理体征提取装置2。
驾驶员感知装置1包括驾驶员感知模块4和信息处理模块5，驾驶员感知模块4包括一个及以上安装于不遮挡视线的驾驶员正前方的，用于采集驾驶员的面部图像序列信息的高清网络摄像头；信息处理模块5包括用于处理面部图像序列的一个及以上高性能计算设备。
远程生理体征提取装置2用于接收局部信息和全局信息，并将局部信息和全局信息输入驾驶员rPPG信号提取模型得到驾驶员的rPPG信息，在对驾驶员rPPG信号进行去噪、变换处理得到驾驶员生理特征参数后，将驾驶员生理特征参数发送至驾驶员状态警示装置3。
远程生理体征提取装置2包括用于接收来自驾驶员感知装置1的特征信息、将特征信息输入驾驶员rPPG信号提取模型得到驾驶员rPPG信息和对驾驶员rPPG信号进行去噪、变换处理得到驾驶员生理特征参数的一个及以上高性能计算设备。
驾驶员状态警示装置3用于接收驾驶员生理特征参数，根据驾驶员生理特征参数计算驾驶员的驾驶状态并对驾驶风险程度进行判定，在驾驶风险程度较高和极高时，对驾驶员网络云端发出相应警示信息。
驾驶员状态警示装置3包括驾驶状态判别模块6和驾驶员状态警示模块7。
驾驶状态判别模块6包括用于接收来自远程生理体征提取装置2的驾驶员生理体征、计算驾驶员的实时驾驶状态并判定驾驶风险程度和联动网络云端的一个及以上高性能计算设备。
驾驶员状态警示模块7包括用于向驾驶员发送警示信息的氛围灯、扬声器和振动器。
本发明优选实施例中，由于可以联动云端，进而联动其他车辆、交通部门和医院等，使得本发明实施例的系统能够进一步地加强交通安全和驾驶员的人身安全。
本发明优选实施的基于远程生理体征提取的驾驶员状态监测系统，用于本发明的基于远程生理体征提取的驾驶员状态监测方法，除了与本发明的方法具备一样的有益效果外，由于使用高清摄像头采集驾驶员的信息，避免了侵入式传感器对驾驶员操作的影响，且具备远程生理体征提取功能，使得本发明的系统具有非接触式、简便易用、实时监测的特点。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于远程生理体征提取的驾驶员状态监测方法，用于驾驶员感知装置(1)、远程生理体征提取装置(2)和驾驶员状态警示装置(3)互相协作的系统中，其特征在于，包括以下步骤：
S1、训练驾驶员rPPG信号提取模型：设计基于Transformer架构的包含快速径和慢速径的双径神经网络，通过对驾驶员进行数据采集和模型训练得到驾驶员rPPG信号提取模型；
S2、采集和预处理驾驶员数据：通过驾驶员感知装置(1)采集驾驶员的面部图像序列信息，并对所述面部图像序列信息进行预处理，将预处理得到的局部信息和全局信息发送至远程生理体征提取装置(2)；
S3、提取驾驶员生理特征参数：远程生理体征提取装置(2)将所述局部信息特征作为快速径输入，全局信息特征作为慢速径输入，输入所述驾驶员rPPG信号提取模型，得到驾驶员rPPG信号，远程生理体征提取装置(2)对所述驾驶员rPPG信号进行去噪、变换处理得到驾驶员生理特征参数后，将所述驾驶员生理特征参数发送至驾驶员状态警示装置(3)；
S4、判定驾驶风险程度：驾驶员状态警示装置(3)根据接收到的驾驶员生理特征参数，计算驾驶员的实时驾驶状态，根据所述实时驾驶状态判定驾驶风险程度。
2.根据权利要求1所述的基于远程生理体征提取的驾驶员状态监测方法，其特征在于，在S1中，包括以下步骤：
S11、采集驾驶员数据：通过模拟以及实车试验，采集驾驶员在驾驶状态下的面部图像序列和同步对应的生理信号；
S12、进行数据预处理：对采集到的驾驶员数据进行预处理，通过面部特征点获取人脸的皮肤区域，作为局部信息特征输入；通过人脸检测器获取人脸图像框并扩大两倍作为采样框，作为全局信息特征输入；
S13、设计包含快速径和慢速径的Transformer网络架构：设计包含快速径和慢速径的Transformer网络架构，网络主体结构为多个Transformer块堆叠；快速径输入信息为人脸皮肤区域的局部信息，输入帧率与原始采样率保持一致，特征图尺寸为慢速径输入信息为以人脸检测框中心为中心点，人脸检测框尺寸2倍的全局信息，并采样到局部特征图的2倍大小，输入帧率为原始采样率的1/4，特征图尺寸为其中快速径和慢速径均从空间维度和时间维度计算注意力；通过将快速径和慢速径的输出拼接后，添加一个多层感知机层，输出驾驶员的估计生理信号；
S14、将预处理后的数据分为训练集和验证集，在训练集上对模型输出的信号与采集的真实生理信号计算损失函数，并进行反向传播不断更新模型参数，训练到损失函数不再降低为止，选择验证集上皮尔森相关系数最大的作为最后的模型参数。
3.根据权利要求2所述的基于远程生理体征提取的驾驶员状态监测方法，其特征在于，在S13中慢速径计算时，前Lsapace层Transformer从空间维度进行注意力机制计算：
将全局信息划分为不重叠的块，每个块的维度为p∈{1,…,N}和t∈{1,…,F}分别是块和帧的索引，所有块被展平为向量，并线性投影到式(11)的嵌入向量：
嵌入向量与输入向量之间通过可学习的位置嵌入向量/>和矩阵E联系起来；在每一帧的第一个块前加上一个可学习的分类token/>这个分类token会被用来编码每一帧的信息，用于后续计算时间维度的注意力；
在第l层Transformer(l∈{1,…,Lspace})和第a头自注意力(a∈{1,…,A})下，每个块被表示为查询q、键k和值v向量，前一层Transformer产生的表示作为输入，LayerNorm表示层归一化，W表示权重矩阵，每个注意力头的维度为Dh＝D/A，q、k、v向量分别用公式表示为：
第t帧的第p个块的空间自注意力权重用公式表示为：
自注意力权重被用作每个注意力头值的加权和的系数，得到多头自注意力的输出：
将来自注意力机制的输出拼接，并通过多层感知器，多头自注意力层和多层感知机层通过添加跳跃连接作为残差运算符操作：
4.根据权利要求3所述的基于远程生理体征提取的驾驶员状态监测方法，其特征在于，在通过所有空间Transformer后，每帧的分类token产生一个嵌入向量ft，用来后续进行时间注意力计算，嵌入向量ft：
为了捕捉整个时间序列的特征信息，需要添加应用时间维度上的注意力，将ft拼接后得到作为输入序列，输入序列被映射成查询、键、值向量/>并进行注意力计算：
之后得到多头自注意力的输出，并应用与空间Transformer一致的计算方法，将自注意力的输出进行拼接，同样通过多层感知机，多头自注意力层和多层感知机层通过添加跳跃连接作为残差运算符操作；
经过所有时间Transformer层后，每帧产生一个嵌入向量yt，并进行层标准化：
5.根据权利要求4所述的基于远程生理体征提取的驾驶员状态监测方法，其特征在于，在S13中，快速径的计算方式与慢速径一致；将快速径与慢速径的输出进行拼接后，添加一个多层感知机层，输出驾驶员的估计生理信号：
rPPG＝MLP(Ft)t＝1,…,F (112)
其中，Ft是快速径与慢速径每帧进行拼接后的向量。
6.根据权利要求5所述的基于远程生理体征提取的驾驶员状态监测方法，其特征在于，在S4计算驾驶员的实时驾驶状态时，建立了用于将驾驶员的不同生理特征参数映射到驾驶员的不同驾驶状态的分类模型，再根据分类模型得到驾驶员的实时状态。
7.据权利要求6所述的基于远程生理体征提取的驾驶员状态监测方法，其特征在于，在S4中，判定完驾驶风险程度后，可以通过驾驶员状态警示装置(3)向驾驶员和网络云端发送相应的警示信息。
8.一种基于远程生理体征提取的驾驶员状态监测系统，用于权利要求1至7所述的基于远程生理体征提取的驾驶员状态监测方法，其特征在于，包括：驾驶员感知装置(1)、远程生理体征提取装置(2)和驾驶员状态警示装置(3)；
所述驾驶员感知装置(1)用于采集和预处理驾驶员的面部序列信息，并将预处理后得到的局部信息和全局信息发送至所述远程生理体征提取装置(2)；
所述远程生理体征提取装置(2)用于接收所述局部信息和全局信息，并将所述局部信息和全局信息输入驾驶员rPPG信号提取模型得到驾驶员的rPPG信息，在对所述驾驶员rPPG信号进行去噪、变换处理得到驾驶员生理特征参数后，将驾驶员生理特征参数发送至所述驾驶员状态警示装置(3)；
所述驾驶员状态警示装置(3)用于接收驾驶员生理特征参数，根据驾驶员生理特征参数计算驾驶员的驾驶状态并对驾驶风险程度进行判定，在驾驶风险程度较高和极高时，对驾驶员和网络云端发出相应警示信息。
9.根据权利要求8所述的基于远程生理体征提取的驾驶员状态监测系统，其特征在于，所述驾驶员感知装置(1)包括驾驶员感知模块(4)和信息处理模块(5)，所述驾驶员感知模块(4)包括一个及以上安装于不遮挡视线的驾驶员正前方的，用于采集驾驶员的面部图像序列信息的高清网络摄像头；所述信息处理模块(5)包括用于处理面部图像序列的一个及以上高性能计算设备；
所述远程生理体征提取装置(2)包括用于接收来自驾驶员感知装置(1)的特征信息、将所述特征信息输入驾驶员rPPG信号提取模型得到驾驶员rPPG信息和对所述驾驶员rPPG信号进行去噪、变换处理得到驾驶员生理特征参数的一个及以上高性能计算设备。
10.根据权利要求9所述的基于远程生理体征提取的驾驶员状态监测系统，其特征在于，所述驾驶员状态警示装置(3)包括驾驶状态判别模块(6)和驾驶员状态警示模块(7)；
所述驾驶状态判别模块(6)包括用于接收来自远程生理体征提取装置(2)的驾驶员生理体征、计算驾驶员的实时驾驶状态并判定驾驶风险程度和联动网络云端的一个及以上高性能计算设备；
所述驾驶员状态警示模块(7)包括用于向驾驶员发送警示信息的氛围灯、扬声器和振动器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310712053.5A CN116831581A (zh) | 2023-06-15 | 2023-06-15 | 一种基于远程生理体征提取的驾驶员状态监测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310712053.5A CN116831581A (zh) | 2023-06-15 | 2023-06-15 | 一种基于远程生理体征提取的驾驶员状态监测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116831581A true CN116831581A (zh) | 2023-10-03 |
Family
ID=88173546
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310712053.5A Pending CN116831581A (zh) | 2023-06-15 | 2023-06-15 | 一种基于远程生理体征提取的驾驶员状态监测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116831581A (zh) |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018192246A1 (zh) * | 2017-04-19 | 2018-10-25 | 中国电子科技集团公司电子科学研究院 | 一种基于机器视觉的非接触式情绪检测方法 |
| JP2021034035A (ja) * | 2019-08-28 | 2021-03-01 | 潘文橋 | 人面識別に基づいた智能化車載疲労検出システム、方法および装置 |
| CN113379164A (zh) * | 2021-07-16 | 2021-09-10 | 国网江苏省电力有限公司苏州供电分公司 | 基于深度自注意力网络的负荷预测方法及系统 |
| CN113408508A (zh) * | 2021-08-20 | 2021-09-17 | 中国科学院自动化研究所 | 基于Transformer的非接触式心率测量方法 |
| CN113627245A (zh) * | 2021-07-02 | 2021-11-09 | 武汉纺织大学 | Crts目标检测方法 |
| CN113936339A (zh) * | 2021-12-16 | 2022-01-14 | 之江实验室 | 基于双通道交叉注意力机制的打架识别方法和装置 |
| CN114612885A (zh) * | 2022-03-11 | 2022-06-10 | 广州翰南工程技术有限公司 | 基于计算机视觉的驾驶员疲劳状态检测方法 |
| CN114767115A (zh) * | 2022-04-28 | 2022-07-22 | 郑州铁路职业技术学院 | 基于面部多模态深度学习的疲劳驾驶视觉检测方法及系统 |
| CN114781465A (zh) * | 2022-06-20 | 2022-07-22 | 华中师范大学 | 一种基于rPPG的非接触式疲劳检测系统及方法 |
| CN114782933A (zh) * | 2022-05-09 | 2022-07-22 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 基于多模态Transformer网络的驾驶员疲劳检测系统 |
| CN114821439A (zh) * | 2022-05-10 | 2022-07-29 | 合肥中聚源智能科技有限公司 | 一种基于令牌学习的人脸视频心率估计系统及方法 |
| CN114881888A (zh) * | 2022-06-10 | 2022-08-09 | 福州大学 | 基于线性稀疏注意力Transformer的视频去摩尔纹方法 |
| CN114912487A (zh) * | 2022-05-10 | 2022-08-16 | 合肥中聚源智能科技有限公司 | 基于通道增强时空注意力网络的端到端远程心率检测方法 |
| CN116129493A (zh) * | 2022-12-20 | 2023-05-16 | 浙江大学 | 基于人脸视频的脉搏波形测量方法及装置、电子设备 |
| CN116206289A (zh) * | 2022-12-09 | 2023-06-02 | 思腾合力(天津)科技有限公司 | 一种跨域司机疲劳驾驶检测方法、装置、终端及存储介质 |
-
2023
- 2023-06-15 CN CN202310712053.5A patent/CN116831581A/zh active Pending
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018192246A1 (zh) * | 2017-04-19 | 2018-10-25 | 中国电子科技集团公司电子科学研究院 | 一种基于机器视觉的非接触式情绪检测方法 |
| JP2021034035A (ja) * | 2019-08-28 | 2021-03-01 | 潘文橋 | 人面識別に基づいた智能化車載疲労検出システム、方法および装置 |
| CN113627245A (zh) * | 2021-07-02 | 2021-11-09 | 武汉纺织大学 | Crts目标检测方法 |
| CN113379164A (zh) * | 2021-07-16 | 2021-09-10 | 国网江苏省电力有限公司苏州供电分公司 | 基于深度自注意力网络的负荷预测方法及系统 |
| CN113408508A (zh) * | 2021-08-20 | 2021-09-17 | 中国科学院自动化研究所 | 基于Transformer的非接触式心率测量方法 |
| CN113936339A (zh) * | 2021-12-16 | 2022-01-14 | 之江实验室 | 基于双通道交叉注意力机制的打架识别方法和装置 |
| CN114612885A (zh) * | 2022-03-11 | 2022-06-10 | 广州翰南工程技术有限公司 | 基于计算机视觉的驾驶员疲劳状态检测方法 |
| CN114767115A (zh) * | 2022-04-28 | 2022-07-22 | 郑州铁路职业技术学院 | 基于面部多模态深度学习的疲劳驾驶视觉检测方法及系统 |
| CN114782933A (zh) * | 2022-05-09 | 2022-07-22 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 基于多模态Transformer网络的驾驶员疲劳检测系统 |
| CN114821439A (zh) * | 2022-05-10 | 2022-07-29 | 合肥中聚源智能科技有限公司 | 一种基于令牌学习的人脸视频心率估计系统及方法 |
| CN114912487A (zh) * | 2022-05-10 | 2022-08-16 | 合肥中聚源智能科技有限公司 | 基于通道增强时空注意力网络的端到端远程心率检测方法 |
| CN114881888A (zh) * | 2022-06-10 | 2022-08-09 | 福州大学 | 基于线性稀疏注意力Transformer的视频去摩尔纹方法 |
| CN114781465A (zh) * | 2022-06-20 | 2022-07-22 | 华中师范大学 | 一种基于rPPG的非接触式疲劳检测系统及方法 |
| CN116206289A (zh) * | 2022-12-09 | 2023-06-02 | 思腾合力(天津)科技有限公司 | 一种跨域司机疲劳驾驶检测方法、装置、终端及存储介质 |
| CN116129493A (zh) * | 2022-12-20 | 2023-05-16 | 浙江大学 | 基于人脸视频的脉搏波形测量方法及装置、电子设备 |
Non-Patent Citations (4)
| Title |
|---|
| AMNUP KUMARGUPTA ET AL.: "RADIANT:Better rPPG estimation using signal embeddings and transformer", 《2023 IEE/CVF WINTER CONFERENCE ON APPLICATIONS OF COMPUTER VISION(WAC)》, pages 1 - 11 * |
| FAN, CJ ET AL.: "Detection of Train Driver Fatigue and Distraction Based on Forehead EEG: A Time-Series Ensemble Learning Method", 《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》, vol. 22, no. 8, pages 13559 - 13569 * |
| FAN, CJ;PENG, Y ET AL.: "Types, Risk Factors, Consequences, and Detection Methods of Train Driver Fatigue and Distraction", 《COMPUTATIONAL INTELLIGENCE AND NEUROSCIENCE》, vol. 2022, pages 1 - 10 * |
| 陈志琳: "基于面部特征的疲劳驾驶检测系统设计与实现", 《中国优秀硕士学位论文全文数据库工程科技Ⅰ辑》, no. 1, pages 1 - 81 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113408508B (zh) | 基于Transformer的非接触式心率测量方法 | |
| CN107958244A (zh) | 一种基于视频多帧人脸特征融合的人脸识别方法及装置 | |
| CN110007366A (zh) | 一种基于多传感器融合的生命搜寻方法以及系统 | |
| CN111626182B (zh) | 一种基于视频的人体心率及面部血容积精确检测方法和系统 | |
| GB2604964A (en) | Systems and methods for detecting symptoms of occupant illness | |
| CN113378649A (zh) | 身份、位置和动作识别方法、系统、电子设备及存储介质 | |
| CN114120176A (zh) | 远红外与可见光视频图像融合的行为分析方法 | |
| CN113887446A (zh) | 一种基于神经网络的音视频联合行人意外跌倒监控方法 | |
| CN116343284A (zh) | 基于注意力机制的多特征户外环境情绪识别方法 | |
| CN111914925B (zh) | 一种基于深度学习的患者行为多模态感知与分析系统 | |
| CN114818788A (zh) | 基于毫米波感知的追踪目标状态识别方法和装置 | |
| CN110458198A (zh) | 多分辨率目标识别方法及装置 | |
| CN107967941A (zh) | 一种基于智能视觉重构的无人机人体健康监控方法与系统 | |
| CN113989927B (zh) | 一种基于骨骼数据的视频群体暴力行为识别方法及系统 | |
| WO2022042203A1 (zh) | 一种人体关键点的检测方法及装置 | |
| Miao et al. | Abnormal Behavior Learning Based on Edge Computing toward a Crowd Monitoring System | |
| Dileep et al. | Suspicious human activity recognition using 2d pose estimation and convolutional neural network | |
| CN116831581A (zh) | 一种基于远程生理体征提取的驾驶员状态监测方法及系统 | |
| CN112686111A (zh) | 基于注意力机制多视角自适应网络的交警手势识别方法 | |
| US20230094411A1 (en) | Systems and methods of facial and body recognition, identification and analysis | |
| CN114783054B (zh) | 一种基于无线和视频特征融合的步态识别方法 | |
| Raja et al. | Design and implementation of facial recognition system for visually impaired using image processing | |
| CN113326781B (zh) | 基于面部视频的非接触式焦虑识别方法和装置 | |
| CN110321781A (zh) | 一种用于无接触式测量的信号处理方法及装置 | |
| CN115308768A (zh) | 一种隐私环境下的智能监护系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |