CN116002480A - 电梯轿厢内乘客意外摔倒的自动检测方法和系统 - Google Patents
电梯轿厢内乘客意外摔倒的自动检测方法和系统 Download PDFInfo
- Publication number
- CN116002480A CN116002480A CN202310168105.7A CN202310168105A CN116002480A CN 116002480 A CN116002480 A CN 116002480A CN 202310168105 A CN202310168105 A CN 202310168105A CN 116002480 A CN116002480 A CN 116002480A
- Authority
- CN
- China
- Prior art keywords
- passengers
- passenger
- images
- elevator car
- skeleton
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B50/00—Energy efficient technologies in elevators, escalators and moving walkways, e.g. energy saving or recuperation technologies
Landscapes
- Indicating And Signalling Devices For Elevators (AREA)
Abstract
本发明公开了一种电梯轿厢内乘客意外摔倒的自动检测方法和系统，其中，该自动检测方法包括以下步骤：获取电梯轿厢内的监控视频，并根据监控视频获取预设时间内N帧监控视频对应的N张监控图像；通过骨架提取算法识别N张监控图像中乘客的骨架信息，并根据骨架信息对骨架线条进行标注，以获取N张骨架线条标注图像；对N张骨架线条标注图像进行二值化处理以获取N张二值化图像；采用目标检测模型根据N张二值化图像判断乘客是否发生意外摔倒。根据本发明的电梯轿厢内乘客意外摔倒的自动检测方法，无需人工参与即可实现电梯轿厢内乘客意外摔倒的自动检测，不仅节省了人力资源，而且能够实时准确进行检测，可靠性较高。
Description
技术领域
本发明属于行为检测技术领域，本发明涉及一种电梯轿厢内乘客意外摔倒的自动检测方法和一种电梯轿厢内乘客意外摔倒的自动检测系统。
背景技术
电梯已广泛应用于人们的日常生活中，电梯轿厢内的意外摔倒时间时常发生，由于电梯轿厢内环境的特殊性，一旦电梯轿厢内部发生意外摔倒，很难及时施救。因此，及时发现电梯轿厢内部的意外摔倒尤为重要，否则将造成无法挽回的后果。
相关技术中，通常是通过人为监测电梯轿厢内安装的监控摄像头拍摄到的监测视频来判断电梯轿厢内部是否发生乘客意外摔倒，然而，采用人为监测方式不仅耗费人力资源，而且容易出现因疲劳或分神等因素而导致无法实时准确地监测的情况，可靠性较低。
发明内容
本发明的目的在于提供一种电梯轿厢内乘客意外摔倒的自动检测方法。
本发明的另一个目的是提供一种电梯轿厢内乘客意外摔倒的自动检测系统。
实现本发明目的的技术解决方案为：
一种电梯轿厢内乘客意外摔倒的自动检测方法，包括以下步骤：获取所述电梯轿厢内的监控视频，并根据所述监控视频获取预设时间内N帧所述监控视频对应的N张监控图像；通过骨架提取算法识别N张所述监控图像中所述乘客的骨架信息，并根据所述骨架信息对骨架线条进行标注，以获取N张骨架线条标注图像；对N张所述骨架线条标注图像进行二值化处理以获取N张二值化图像；采用目标检测模型根据N张所述二值化图像判断所述乘客是否发生意外摔倒。
在本发明的一个实施例中，在采用所述目标检测模型根据N张所述二值化图像判断所述乘客未发生意外摔倒后，电梯轿厢内乘客意外摔倒的自动检测方法还包括：根据N张所述监控图像中所述乘客的骨架信息获取所述乘客的脖子坐标信息；根据所述脖子坐标信息计算对应的所述乘客的脖子的移动速度；根据所述移动速度判定对应的所述乘客是否发生意外摔倒。
在本发明的一个实施例中，根据所述移动速度判断对应的所述乘客是否发生意外摔倒，包括：采用漂移检测算法检测所述移动速度是否发生漂移；如果检测所述移动速度发生漂移，则判定对应的所述乘客发生意外摔倒。
一种电梯轿厢内乘客意外摔倒的自动检测系统，包括：第一获取模块，所述第一获取模块用于获取所述电梯轿厢内的监控视频，并根据所述监控视频获取预设时间内N帧所述监控视频对应的N张监控图像；第二获取模块，所述第二获取模块用于通过骨架提取算法识别N张所述监控图像中所述乘客的骨架信息，并根据所述骨架信息对骨架线条进行标注，以获取N张骨架线条标注图像；第三获取模块，所述第三获取模块用于对N张所述骨架线条标注图像进行二值化处理以获取N张二值化图像；判断模块，所述判断模块用于采用目标检测模型根据N张所述二值化图像判断所述乘客是否发生意外摔倒。
在本发明的一个实施例中，所述判断模块在采用所述目标检测模型根据N张所述二值化图像判断所述乘客未发生意外摔倒后，还用于：根据N张所述监控图像中所述乘客的骨架信息获取所述乘客的脖子坐标信息；根据所述脖子坐标信息计算对应的所述乘客的脖子的移动速度；根据所述移动速度判定对应的所述乘客是否发生意外摔倒。
在本发明的一个实施例中，所述判断模块具体用于：采用漂移检测算法检测所述移动速度是否发生漂移；如果检测所述移动速度发生漂移，则判定对应的所述乘客发生意外摔倒。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述的电梯轿厢内乘客意外摔倒的自动检测方法。
一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的电梯轿厢内乘客意外摔倒的自动检测方法。
本发明与现有技术相比，其显著优点为：
本发明无需人工参与即可实现电梯轿厢内乘客意外摔倒的自动检测，不仅节省了人力资源，而且能够实时准确进行检测，可靠性较高。
附图说明
图1为本发明实施例的电梯轿厢内乘客意外摔倒的自动检测方法的流程图。
图2为本发明实施例的电梯轿厢内乘客意外摔倒的自动检测系统的方框示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例的电梯轿厢内乘客意外摔倒的自动检测方法的流程图。
如图1所示，本发明实施例的电梯轿厢内乘客意外摔倒的自动检测方法可包括以下步骤：
S1，获取电梯轿厢内的监控视频，并根据监控视频获取预设时间内N帧监控视频对应的N张监控图像。
具体而言，可通过电梯轿厢内安装的监控摄像头拍摄电梯轿厢内的监控视频。可以理解的是，一般情况下，乘客在电梯轿厢内的动作幅度不大，因此，在预设时间内可每隔n帧(例如，每隔10帧)从监控视频中提取一张监控图像，共提取出N张监控图像，以防止出现重复数据的情况。
S2，通过骨架提取算法识别N张监控图像中乘客的骨架信息，并根据骨架信息对骨架线条进行标注，以获取N张骨架线条标注图像。
具体而言，骨架提取算法可包括Lightweight OpenPose算法，具体地，首先通过Lightweight OpenPose算法检测N张监控图像中乘客的各关节点，并获取各关节点的坐标信息和各肢体的PAF，以及根据各关节点的坐标信息和各肢体的PAF获取肢体连接，并拼接肢体构成人体骨架，从而获取N张监控图像中乘客的骨架信息。然后，对根据骨架信息对骨架线条进行标注，以获取N张骨架线条标注图像。
S3，对N张骨架线条标注图像进行二值化处理以获取N张二值化图像。
具体而言，在对N张骨架线条标注图像进行二值化处理之前，可先对N张骨架线条标注图像进行特征增强，在特征增强后，在进行二值化处理，即将每张特征增强后的骨架线条标注图像转换成白色骨架线条和黑色背景的二值化图像，从而大大提高了特征提取的效率。
S4，采用目标检测模型根据N张二值化图像判断乘客是否发生意外摔倒。
具体而言，在采用目标检测模型根据N张二值化图像判断乘客是否发生意外摔倒之前，可先采用LabelImg图像标注软件按顺序对从由历史骨架线条标注图像二值化处理获取的历史二值化图像进行标注，并将标注后的图像划分为训练集和测试集，以对目标检测算法(例如，Faster-RCNN算法)进行训练，获取目标检测模型。
将N张二值化图像输入训练好的目标检测模型，以输出乘客是否发生意外摔倒的判断结果。
由此，本发明采用人体骨架提取算法Lightweight OpenPose提取乘客骨架信息，利用目标检测模型对乘客的摔倒行为进行识别，在数据预处理阶段，对图像进行特征增强，提高网络在卷积过程的效率，从而提高识别的精度。由此，无需人工参与即可实现电梯轿厢内乘客意外摔倒的自动检测，不仅节省了人力资源，而且能够实时准确进行检测，可靠性较高。
需要说明的是，为了保证检测的准确性，排除某些特定姿态下，可能带来的漏检的情况，本发明在采用目标检测模型根据N张二值化图像判断乘客未发生意外摔倒后，还可对关键特征点的运动状态进行检测，以利用对特征点速度变化的检测来判定乘客是否发生摔倒。
在本发明的一个实施例中，在采用目标检测模型根据N张二值化图像判断乘客未发生意外摔倒后，还包括：根据N张监控图像中乘客的骨架信息获取乘客的脖子坐标信息；根据脖子坐标信息计算对应的乘客的脖子的移动速度；根据移动速度判定对应的乘客是否发生意外摔倒。
具体而言，可先从N张监控图像中乘客的骨架信息提取出乘客的脖子坐标信息，再根据脖子坐标信息计算对应的乘客的脖子的移动速度。
具体地，可选取乘客的脖子作为不同帧之间特征点匹配的关键点，记录第i帧监控视频(即，第i张监控图像)检测到的脖子坐标信息记为过预设帧后，再次记录对应脖子的坐标，计算两者之间的欧氏距离di，其中，预设帧可为3帧，从第一帧到最后一帧持续计算对应脖子在间隔3帧的欧氏距离di：
其中，为第i帧监控视频时，乘客的脖子在y方向上的坐标，为第i-3帧监控视频时，乘客的脖子在y方向上的坐标，为第i帧监控视频时，乘客的脖子在x方向上的坐标，为第i-3帧监控视频时，乘客的脖子在x方向上的坐标，di为每隔3帧对应的脖子移动的欧氏距离。
从视频第4帧开始持续计算对应脖子的移动速度即
其中，表示从第4帧监控视频开始，乘客的脖子在第i帧的移动速度。
然后，根据移动速度判定对应的乘客是否发生意外摔倒。
在本发明的一个实施例中，根据移动速度判断对应的乘客是否发生意外摔倒，包括：采用漂移检测算法检测移动速度是否发生漂移；如果检测移动速度发生漂移，则判定对应的乘客发生意外摔倒。
具体而言，在获取到乘客的脖子的移动速度后，可将移动速度作为信号的输入，采用漂移检测算法，例如，Page-Hinkey test算法检测相应的乘客的脖子的移动速度的漂移情况，即是否发生突变情况。
具体地，Page-Hinkey test算法可通过以下公式检测移动速度在预设时间内是否发生漂移：
vω,t＝min(mv,t-1,Mv,t)，
其中，Mv,0＝0，vt为t时刻的移动速度，为vt的平均值，每帧都会更新这个平均值。jv为控制检测敏感度的常量，由人为通过实验设定。Mv,t为一个累积值，表示信号值累积与期望值偏差的程度，mv,t为这一累计值的最小值。为Mv,t和mv,t的差值。从以上公式可以看出，当vt变化缓慢时，也变化缓慢，同时，Mv,t也将缓慢变化。当vt突然有剧烈的变化时，也会相应的导致和Mv,t突然变化。
由此，能够更加准确地检测出电梯轿厢内的乘客是否发生意外摔倒。
综上所述，根据本发明实施例的电梯轿厢内乘客意外摔倒的自动检测方法，获取电梯轿厢内的监控视频，并根据监控视频获取预设时间内N帧监控视频对应的N张监控图像，以及通过骨架提取算法识别N张监控图像中乘客的骨架信息，并根据骨架信息对骨架线条进行标注，以获取N张骨架线条标注图像，以及对N张骨架线条标注图像进行二值化处理以获取N张二值化图像，并采用目标检测模型根据N张二值化图像判断乘客是否发生意外摔倒。由此，无需人工参与即可实现电梯轿厢内乘客意外摔倒的自动检测，不仅节省了人力资源，而且能够实时准确进行检测，可靠性较高。
对应上述实施例的电梯轿厢内乘客意外摔倒的自动检测方法，本发明提出了一种电梯轿厢内乘客意外摔倒的自动检测系统。
如图2所示，本发明实施例的电梯轿厢内乘客意外摔倒的自动检测系统可包括：第一获取模块100、第二获取模块200、第三获取模块300和判断模块400。
其中，第一获取模块100用于获取电梯轿厢内的监控视频，并根据监控视频获取预设时间内N帧监控视频对应的N张监控图像；第二获取模块200用于通过骨架提取算法识别N张监控图像中乘客的骨架信息，并根据骨架信息对骨架线条进行标注，以获取N张骨架线条标注图像；第三获取模块300用于对N张骨架线条标注图像进行二值化处理以获取N张二值化图像；判断模块400用于采用目标检测模型根据N张二值化图像判断乘客是否发生意外摔倒。
在本发明的一个实施例中，判断模块400在采用目标检测模型根据N张二值化图像判断乘客未发生意外摔倒后，还用于：根据N张监控图像中乘客的骨架信息获取乘客的脖子坐标信息；根据脖子坐标信息计算对应的乘客的脖子的移动速度；根据移动速度判定对应的乘客是否发生意外摔倒。
在本发明的一个实施例中，判断模块400具体用于：采用漂移检测算法检测移动速度是否发生漂移；如果检测移动速度发生漂移，则判定对应的乘客发生意外摔倒。
需要说明的是，本发明的电梯轿厢内乘客意外摔倒的自动检测系统更具体的实施例可参照上述电梯轿厢内乘客意外摔倒的自动检测方法的实施例，为避免冗余，在此不再详述。
根据本发明实施例的电梯轿厢内乘客意外摔倒的自动检测系统，通过第一获取模块获取电梯轿厢内的监控视频，并根据监控视频获取预设时间内N帧监控视频对应的N张监控图像，以及通过第二获取模块通过骨架提取算法识别N张监控图像中乘客的骨架信息，并根据骨架信息对骨架线条进行标注，以获取N张骨架线条标注图像，以及通过第三获取模块对N张骨架线条标注图像进行二值化处理以获取N张二值化图像，并通过判断模块采用目标检测模型根据N张二值化图像判断乘客是否发生意外摔倒。由此，无需人工参与即可实现电梯轿厢内乘客意外摔倒的自动检测，不仅节省了人力资源，而且能够实时准确进行检测，可靠性较高。
对应上述实施例，本发明还提出了一种计算机设备。
本发明实施例的计算机设备可包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现上述的电梯轿厢内乘客意外摔倒的自动检测方法。
根据本发明实施例的计算机设备，无需人工参与即可实现电梯轿厢内乘客意外摔倒的自动检测，不仅节省了人力资源，而且能够实时准确进行检测，可靠性较高。
对应上述实施例，本发明还提出了一种非临时性计算机可读存储介质。
本发明实施例的非临时性计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现上述的电梯轿厢内乘客意外摔倒的自动检测方法。
根据本发明实施例的非临时性计算机可读存储介质，无需人工参与即可实现电梯轿厢内乘客意外摔倒的自动检测，不仅节省了人力资源，而且能够实时准确进行检测，可靠性较高。
上述实施例为本发明优选地实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (8)
1.一种电梯轿厢内乘客意外摔倒的自动检测方法，其特征在于，包括以下步骤：
获取所述电梯轿厢内的监控视频，并根据所述监控视频获取预设时间内N帧所述监控视频对应的N张监控图像；
通过骨架提取算法识别N张所述监控图像中所述乘客的骨架信息，并根据所述骨架信息对骨架线条进行标注，以获取N张骨架线条标注图像；
对N张所述骨架线条标注图像进行二值化处理以获取N张二值化图像；
采用目标检测模型根据N张所述二值化图像判断所述乘客是否发生意外摔倒。
2.根据权利要求1所述的电梯轿厢内乘客意外摔倒的自动检测方法，其特征在于，在采用所述目标检测模型根据N张所述二值化图像判断所述乘客未发生意外摔倒后，还包括：
根据N张所述监控图像中所述乘客的骨架信息获取所述乘客的脖子坐标信息；
根据所述脖子坐标信息计算对应的所述乘客的脖子的移动速度；
根据所述移动速度判定对应的所述乘客是否发生意外摔倒。
3.根据权利要求2所述的电梯轿厢内乘客意外摔倒的自动检测方法，根据所述移动速度判断对应的所述乘客是否发生意外摔倒，包括：
采用漂移检测算法检测所述移动速度是否发生漂移；
如果检测所述移动速度发生漂移，则判定对应的所述乘客发生意外摔倒。
4.一种电梯轿厢内乘客意外摔倒的自动检测系统，其特征在于，包括：
第一获取模块，所述第一获取模块用于获取所述电梯轿厢内的监控视频，并根据所述监控视频获取预设时间内N帧所述监控视频对应的N张监控图像；
第二获取模块，所述第二获取模块用于通过骨架提取算法识别N张所述监控图像中所述乘客的骨架信息，并根据所述骨架信息对骨架线条进行标注，以获取N张骨架线条标注图像；
第三获取模块，所述第三获取模块用于对N张所述骨架线条标注图像进行二值化处理以获取N张二值化图像；
判断模块，所述判断模块用于采用目标检测模型根据N张所述二值化图像判断所述乘客是否发生意外摔倒。
5.根据权利要求4所述的电梯轿厢内乘客意外摔倒的自动检测系统，其特征在于，所述判断模块在采用所述目标检测模型根据N张所述二值化图像判断所述乘客未发生意外摔倒后，还用于：
根据N张所述监控图像中所述乘客的骨架信息获取所述乘客的脖子坐标信息；
根据所述脖子坐标信息计算对应的所述乘客的脖子的移动速度；
根据所述移动速度判定对应的所述乘客是否发生意外摔倒。
6.根据权利要求5所述的电梯轿厢内乘客意外摔倒的自动检测系统，其特征在于，所述判断模块具体用于：
采用漂移检测算法检测所述移动速度是否发生漂移；
如果检测所述移动速度发生漂移，则判定对应的所述乘客发生意外摔倒。
7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现根据权利要求1-3中任一项所述的电梯轿厢内乘客意外摔倒的自动检测方法。
8.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现根据权利要求1-3中任一项所述的电梯轿厢内乘客意外摔倒的自动检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310168105.7A CN116002480A (zh) | 2023-02-27 | 2023-02-27 | 电梯轿厢内乘客意外摔倒的自动检测方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310168105.7A CN116002480A (zh) | 2023-02-27 | 2023-02-27 | 电梯轿厢内乘客意外摔倒的自动检测方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116002480A true CN116002480A (zh) | 2023-04-25 |
Family
ID=86037545
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310168105.7A Pending CN116002480A (zh) | 2023-02-27 | 2023-02-27 | 电梯轿厢内乘客意外摔倒的自动检测方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116002480A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116553327A (zh) * | 2023-07-10 | 2023-08-08 | 通用电梯股份有限公司 | 一种家用电梯轿厢内乘客摔倒检测方法及装置 |
-
2023
- 2023-02-27 CN CN202310168105.7A patent/CN116002480A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116553327A (zh) * | 2023-07-10 | 2023-08-08 | 通用电梯股份有限公司 | 一种家用电梯轿厢内乘客摔倒检测方法及装置 |
| CN116553327B (zh) * | 2023-07-10 | 2023-09-08 | 通用电梯股份有限公司 | 一种家用电梯轿厢内乘客摔倒检测方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110705405B (zh) | 目标标注的方法及装置 | |
| EP3937128A2 (en) | Image defect detection method and apparatus, electronic device, storage medium and product | |
| US10671887B2 (en) | Best image crop selection | |
| JP2013065103A (ja) | 追跡装置、追跡方法およびプログラム | |
| CN111275040A (zh) | 定位方法及装置、电子设备、计算机可读存储介质 | |
| CN113111903A (zh) | 智能产线监测系统及监测方法 | |
| CN116002480A (zh) | 电梯轿厢内乘客意外摔倒的自动检测方法和系统 | |
| CN111259763A (zh) | 目标检测方法、装置、电子设备及可读存储介质 | |
| CN114266764A (zh) | 一种印刷标签的字符完整性检测方法及其装置 | |
| CN113269769A (zh) | 一种基于图像配准的缺陷检测方法、系统及设备 | |
| CN116952958A (zh) | 缺陷检测方法、装置、电子设备及存储介质 | |
| CN111126112B (zh) | 候选区域确定方法和装置 | |
| CN115083008A (zh) | 运动目标检测方法、装置、设备及存储介质 | |
| CN113052019A (zh) | 目标跟踪方法及装置、智能设备和计算机存储介质 | |
| CN111695404B (zh) | 行人跌倒检测方法、装置、电子设备及存储介质 | |
| CN112967224A (zh) | 一种基于人工智能的电子电路板检测系统、方法及介质 | |
| CN114846513A (zh) | 动作分析系统和动作分析程序 | |
| CN115631169A (zh) | 产品检测方法、装置、电子设备及存储介质 | |
| CN114494355A (zh) | 基于人工智能的轨迹分析方法、装置、终端设备及介质 | |
| CN110634124A (zh) | 一种区域检测的方法及设备 | |
| CN113989743A (zh) | 垃圾满溢检测方法、检测设备及系统 | |
| CN115861321B (zh) | 应用于工业互联网的生产环境检测方法及系统 | |
| CN117474924B (zh) | 基于机器视觉的标签缺陷检测方法 | |
| CN116309574B (zh) | 一种面板漏制程缺陷检测方法、系统、设备及存储介质 | |
| CN118134880A (zh) | 一种异物检测方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |