CN115116127A - 一种基于计算机视觉和人工智能的跌倒检测方法 - Google Patents
一种基于计算机视觉和人工智能的跌倒检测方法 Download PDFInfo
- Publication number
- CN115116127A CN115116127A CN202210579642.6A CN202210579642A CN115116127A CN 115116127 A CN115116127 A CN 115116127A CN 202210579642 A CN202210579642 A CN 202210579642A CN 115116127 A CN115116127 A CN 115116127A
- Authority
- CN
- China
- Prior art keywords
- human body
- fall
- falling
- artificial intelligence
- computer vision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于计算机视觉和人工智能的跌倒检测方法,其包括以下步骤:1)、通过摄像头采集视频信息;2)、采用跌倒深度学习识别模型对从视频信息中提取的每张图像进行处理,将人体从每张图像中检测出来,并分别标记人体检测区域框、跌倒检测概率以及人体头部、腰部、腿部位置的坐标信息;3)、依据人体检测区域框计算人体宽高比,依据人体头部、腰部、腿部位置的坐标信息计算人体质心变化率,并基于人体宽高比、人体质心变化率和跌倒检测概率,判断人体是否跌倒。其采用多算法融合,提高了跌倒检测的准确性,并支持多人、混合目标、低照明等复杂环境,对跌倒检测有良好的鲁棒性。
Description
技术领域
本发明属于人工智能技术领域,涉及一种跌倒检测方法,尤其是一种基于计算机视觉和人工智能的跌倒检测方法。
背景技术
随着老年人口数量的增多,如何对老年人、病人、特殊场所的人群进行自动摔倒监测是亟待解决的问题。目前,在跌倒监测领域中,基于可穿戴设备、基于环境传感器、检测雷达等主流监测方法面临着设备复杂、成本较高等问题。而视频监控通过获取监控目标的视频图像信息,并根据视频图像信息人工或自动的做出相应的响应,以达到对目标人体的监视、安全防范和智能管理。而传统模型例如人体姿态OpenPose模型,提出了部分亲和力字段(partaffinity fields,PAFs)方法,可以将预测得到的多个关节点匹配到不同人的姿态中,有效解决了多人肢干连接的问题,但是其模型较大,在处理多人姿态检测中占用系统资源很高,无法方便的用于实际的视频的跌倒监测。
根据上述分析,为了提高视频在姿态识别过程中的运算速度和跌倒检测的准确率,急需一种基于计算机视觉和人工智能的跌倒检测方法。
发明内容
本发明的目的在于克服现有技术中存在的缺点,提供一种基于计算机视觉和人工智能的跌倒方法,其根据获取的视频信息,能够实现快速检测视频中是否存在人体跌倒,并支持多人检测。
为了实现上述目的,本发明提供如下技术方案:
一种基于计算机视觉和人工智能的跌倒检测方法,其特征在于,包括以下步骤:
1)、通过摄像头采集视频信息;
2)、采用跌倒深度学习识别模型对从所述视频信息中提取的每张图像进行处理,将人体从每张图像中检测出来,并分别标记人体检测区域框、跌倒检测概率以及人体头部、腰部、腿部位置的坐标信息;
3)、依据所述人体检测区域框计算人体宽高比,依据所述人体头部、腰部、腿部位置的坐标信息计算人体质心变化率,并基于所述人体宽高比、人体质心变化率和跌倒检测概率,判断人体是否跌倒。
优选地,所述跌倒深度学习识别模型使用YoloX神经网络算法,采用CSPDarknet作为主干特征提取网络。
优选地,所述步骤3)具体为:
301)、定义所述人体检测区域框的宽度为W、高度为H,则人体宽高比计算式为:R=W/H,如果人体相对摄像头是向侧面跌倒,则设置人体宽高比的阈值为2,如果人体相对摄像头是向前或向后跌倒,则设置人体宽高比阈值为1,如果计算的所述人体宽高比超过设定的所述阈值,则判定为疑似跌倒;
302)、将所述人体头部、腰部、腿部位置的坐标信息的中心点作为质心检测关键点,判断三个所述质心检测关键点相对于地面的角度,如果小于45°,则判定为疑似跌倒;
303)、对于步骤301)和/或302)判定为疑似跌倒的情况,如果所述跌倒检测概率超过80%,则判定为跌倒状态;否则,判定为未跌倒状态。
优选地,所述步骤1)中,所述摄像头每秒提取10帧图像组成所述视频信息。
优选地,所述基于计算机视觉和人工智能的跌倒检测方法进一步包括:
5)、如果在一定时间内,判定人体始终为跌倒状态,则触发紧急报警。
优选地,在所述步骤1)之前,先搭建跌倒深度学习识别模型并对所述跌倒深度学习识别模型进行训练和测试。
优选地,在对所述跌倒深度学习识别模型进行训练和测试之前,建立训练集和测试集;其中,采集9类动作的图像,分别是跑步、行走、蹲下、坐姿、站姿、弯腰、前倒、后倒、侧倒,每类动作采集1500张图像,一共采集13500图像,对采集的每一张图像分别获取人体全身、头部、腰部、腿部位置的坐标信息作为关键点坐标,并对获取的关键点坐标按8︰2的比例划分为训练集和测试集,其中,10800张图像作为训练集,2700帧图像作为测试集,运用所述训练集和测试集对所述跌倒深度学习识别模型进行训练和测试。
优选地,所述步骤2)中,从所述视频信息中提取的每张图像先进行高斯去噪处理和灰度化处理,再采用所述跌倒深度学习识别模型进行处理。
与现有技术相比,本发明的基于计算机视觉和人工智能的跌倒检测方法具有如下有益技术效果:其无需依赖于海量的关节检测数据集,使用人体头部、腰部、腿部位置检测模型训练,收集开源的跌倒数据集即可训练模型,对于特定应用场景下的跌倒场景,可收集小批量的视频并可将现有模型进行升级,同时其人体检测模型经过模型剪枝后较为轻量级,且检测算法计算量小,配置单台服务器即可完成多路算法预测,也适用于边缘计算产品。
附图说明
图1为本发明的基于计算机视觉和人工智能的跌倒检测方法的流程示意图。
具体实施方式
下面结合附图和实施例对本发明进一步说明,实施例的内容不作为对本发明的保护范围的限制。
本发明提供一种基于计算机视觉和人工智能的跌倒检测方法,其采用多算法融合,提高了跌倒检测的准确性,并支持多人、混合目标、低照明等复杂环境,对跌倒检测有良好的鲁棒性。
图1示出了本发明的基于计算机视觉和人工智能的跌倒检测方法的流程示意图。如图1所示,本发明的基于计算机视觉和人工智能的跌倒检测方法包括以下步骤:
一、搭建跌倒深度学习识别模型并建立训练集和测试集。
在本发明中,使用YoloX神经网络算法搭建所述跌倒深度学习识别模型。
要使得所述跌倒深度学习识别模型具有良好的功能,必须对其进行训练和测试。因此,在本发明中,需要先建立训练集和测试集。具体地,采集9类动作的图像,分别是跑步、行走、蹲下、坐姿、站姿、弯腰、前倒、后倒、侧倒。每类动作采集1500张图像,一共采集13500图像。对采集的每一张图像分别获取人体全身、头部、腰部、腿部位置的坐标信息作为关键点坐标,并对获取的关键点坐标按8︰2的比例划分为训练集和测试集。其中,10800张图像作为训练集,2700帧图像作为测试集。
二、对所述跌倒深度学习识别模型进行训练和测试。
将所述训练集输入到所述跌倒深度学习识别模型中进行训练,通过不断地特征融合和数据处理,不断提高所述跌倒深度学习识别模型的精度和准确率。并将所述测试集输入到训练后的所述跌倒深度学习识别模型中进行测试,以测试其精度和准确率。经测试,在其精度和准确率满足要求之后,将所述跌倒深度学习识别模型部署在服务器上备用。
三、通过摄像头采集视频信息。
将摄像头部署在所需检测位置以便于采集视频信息。其中,设置摄像头使用RTSP(Real Time Streaming Protocol,实时流传输协议)方式推送,服务器中通过配置好的RTSP协议连接视频流,将视频信息实施采集到服务器上。
在本发明中,优选地,所述摄像头每秒提取10帧图像组成所述视频信息。
四、采用所述跌倒深度学习识别模型对从所述视频信息中提取的每张图像进行处理,将人体从每张图像中检测出来,并分别标记人体检测区域框、跌倒检测概率以及人体头部、腰部、腿部位置的坐标信息。
在本发明中,首先从所述视频信息中提取图像。例如,从所述视频信息中每秒提取10帧图像。优选地,在提取了图像之后,对每张图像进行高斯去噪处理和灰度化处理,以提高其识别的准确度。
然后,将处理后的图像输入所述跌倒深度学习识别模型,通过所述跌倒深度学习识别模型将人体从每张图像中检测出来,并分别标记人体检测区域框、跌倒检测概率以及人体头部、腰部、腿部位置的坐标信息。
需要说明的是,对于从图像中检测出来的每个人体分别赋予一个唯一标识,用于持续跟踪该人体,以实现人体的区分,并便于多人体的检测和识别。
在本发明中,所述跌倒深度学习识别模型使用YoloX神经网络算法,采用CSPDarknet作为主干特征提取网络,提取到的特征可以被称作特征层。其中,将提取到的三个有效特征层在加强特征提取网络一部分进行特征融合;每一个特征层都有宽、高和通道数,将特征点集合,判断特征点是否有人体与其对应,最后生成人体检测区域框。
其中,上采样中使用了Focus网络结构,具体操作是在一张图像中每隔一个像素取到一个值,这个时候获得了四个独立的特征层,然后将四个独立的特征层进行堆叠,此时宽高信息就集中到了通道信息,输入通道扩充了四倍。拼接起来的特征层相对于原先的三通道变成了十二个通道。
其中主干特征提取,设定输入图片为(640,640,3),通过Focus网络结构生成(320,320,12),通过2次1X1的卷积、2次3X3的卷积和组合,生成(80,80,256);再通过1次1X1的卷积、1次3X3的卷积和组合,生成(40,40,512);再通过1次1X1的卷积、1次3X3的卷积和组合,生成(20,20,1024),共三个特征集合。
其中三个有效特征层融合方式为,(20,20,1024)的特征层进行1次1X1卷积并记作A2,进行上采样与(40,40,512)特征层进行结合,此时获得的特征层为(40,40,512)。
(40,40,512)的特征层进行1次1X1卷积并记作A1,进行上采样后与(80,80,256)特征层进行结合,此时获得的特征层为(80,80,256)。
(80,80,256)的特征层进行一次3x3卷积进行下采样,下采样后与A1堆叠,进行特征提取,获得的特征层为(40,40,512)。
(40,40,512)的特征层进行一次3x3卷积进行下采样并与A2堆叠,特征提取获得的特征层为(20,20,1024)。
其中采用了SiLU激活函数,SiLU是Sigmoid和ReLU的改进版,SiLU具备无上界有下界、平滑、非单调的特性,公式为f(x)=x*sigmoid(x)。
将上述(80,80,256)、(40,40,512)、(20,20,1024)特征集合传入Yolo Head获得预测结果,并标记目标结果及跌倒检测概率。
五、依据所述人体检测区域框计算人体宽高比,依据所述人体头部、腰部、腿部位置的坐标信息计算人体质心变化率,并基于所述人体宽高比、人体质心变化率和跌倒检测概率,判断人体是否跌倒。
具体地:
首先、定义所述人体检测区域框的宽度为W、高度为H,则人体宽高比计算式为:R=W/H。如果人体相对摄像头是向侧面跌倒,则设置人体宽高比的阈值为2;如果人体相对摄像头是向前或向后跌倒,则设置人体宽高比阈值为1。如果计算的所述人体宽高比超过设定的所述阈值,则判定为疑似跌倒。
其次、将所述人体头部、腰部、腿部位置的坐标信息的中心点作为质心检测关键点,判断三个所述质心检测关键点相对于地面的角度,如果小于阈值,例如,45°,则判定为疑似跌倒。
最后、对于判定为疑似跌倒的情况,如果所述跌倒检测概率超过80%,则判定为跌倒状态;否则,判定为未跌倒状态。
六、如果在一定时间,例如10秒内,判定人体始终为跌倒状态,则触发紧急报警。例如,服务器将通过网络向报警器、移动终端发送跌倒报警信号。
本发明的基于计算机视觉和人工智能的跌倒检测方法无需依赖于海量的关节检测数据集,使用人体头部、腰部、腿部位置检测模型训练,收集开源的跌倒数据集即可训练模型,对于特定应用场景下的跌倒场景,可收集小批量的视频并可将现有模型进行升级,同时其人体检测模型经过模型剪枝后较为轻量级,且检测算法计算量小,配置单台服务器即可完成多路算法预测,也适用于边缘计算产品。
本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无法对所有的实施方式予以穷举。凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。
Claims (8)
1.一种基于计算机视觉和人工智能的跌倒检测方法,其特征在于,包括以下步骤:
1)、通过摄像头采集视频信息;
2)、采用跌倒深度学习识别模型对从所述视频信息中提取的每张图像进行处理,将人体从每张图像中检测出来,并分别标记人体检测区域框、跌倒检测概率以及人体头部、腰部、腿部位置的坐标信息;
3)、依据所述人体检测区域框计算人体宽高比,依据所述人体头部、腰部、腿部位置的坐标信息计算人体质心变化率,并基于所述人体宽高比、人体质心变化率和跌倒检测概率,判断人体是否跌倒。
2.根据权利要求1所述的基于计算机视觉和人工智能的跌倒检测方法,其特征在于,所述跌倒深度学习识别模型使用YoloX神经网络算法,采用CSPDarknet作为主干特征提取网络。
3.根据权利要求2所述的基于计算机视觉和人工智能的跌倒检测方法,其特征在于,所述步骤3)具体为:
301)、定义所述人体检测区域框的宽度为W、高度为H,则人体宽高比计算式为:R=W/H,如果人体相对摄像头是向侧面跌倒,则设置人体宽高比的阈值为2,如果人体相对摄像头是向前或向后跌倒,则设置人体宽高比阈值为1,如果计算的所述人体宽高比超过设定的所述阈值,则判定为疑似跌倒;
302)、将所述人体头部、腰部、腿部位置的坐标信息的中心点作为质心检测关键点,判断三个所述质心检测关键点相对于地面的角度,如果小于45°,则判定为疑似跌倒;
303)、对于步骤301)和/或302)判定为疑似跌倒的情况,如果所述跌倒检测概率超过80%,则判定为跌倒状态;否则,判定为未跌倒状态。
4.根据权利要求1所述的基于计算机视觉和人工智能的跌倒检测方法,其特征在于,所述步骤1)中,所述摄像头每秒提取10帧图像组成所述视频信息。
5.根据权利要求1所述的基于计算机视觉和人工智能的跌倒检测方法,其特征在于,进一步包括:
5)、如果在一定时间内,判定人体始终为跌倒状态,则触发紧急报警。
6.根据权利要求1所述的基于计算机视觉和人工智能的跌倒检测方法,其特征在于,在所述步骤1)之前,先搭建跌倒深度学习识别模型并对所述跌倒深度学习识别模型进行训练和测试。
7.根据权利要求6所述的基于计算机视觉和人工智能的跌倒检测方法,其特征在于,在对所述跌倒深度学习识别模型进行训练和测试之前,建立训练集和测试集;其中,采集9类动作的图像,分别是跑步、行走、蹲下、坐姿、站姿、弯腰、前倒、后倒、侧倒,每类动作采集1500张图像,一共采集13500图像,对采集的每一张图像分别获取人体全身、头部、腰部、腿部位置的坐标信息作为关键点坐标,并对获取的关键点坐标按8︰2的比例划分为训练集和测试集,其中,10800张图像作为训练集,2700帧图像作为测试集,运用所述训练集和测试集对所述跌倒深度学习识别模型进行训练和测试。
8.根据权利要求1所述的基于计算机视觉和人工智能的跌倒检测方法,其特征在于,所述步骤2)中,从所述视频信息中提取的每张图像先进行高斯去噪处理和灰度化处理,再采用所述跌倒深度学习识别模型进行处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210579642.6A CN115116127A (zh) | 2022-05-25 | 2022-05-25 | 一种基于计算机视觉和人工智能的跌倒检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210579642.6A CN115116127A (zh) | 2022-05-25 | 2022-05-25 | 一种基于计算机视觉和人工智能的跌倒检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115116127A true CN115116127A (zh) | 2022-09-27 |
Family
ID=83326035
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210579642.6A Pending CN115116127A (zh) | 2022-05-25 | 2022-05-25 | 一种基于计算机视觉和人工智能的跌倒检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115116127A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117115862A (zh) * | 2023-10-23 | 2023-11-24 | 四川泓宝润业工程技术有限公司 | 一种基于深度学习的多个人体的跌倒检测方法 |
CN117132949A (zh) * | 2023-10-27 | 2023-11-28 | 长春理工大学 | 一种基于深度学习的全天候跌倒检测方法 |
CN117278837A (zh) * | 2023-11-16 | 2023-12-22 | 新乡天辅电子科技有限公司 | 一种面向应急救援的摄像设备控制方法 |
-
2022
- 2022-05-25 CN CN202210579642.6A patent/CN115116127A/zh active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117115862A (zh) * | 2023-10-23 | 2023-11-24 | 四川泓宝润业工程技术有限公司 | 一种基于深度学习的多个人体的跌倒检测方法 |
CN117132949A (zh) * | 2023-10-27 | 2023-11-28 | 长春理工大学 | 一种基于深度学习的全天候跌倒检测方法 |
CN117132949B (zh) * | 2023-10-27 | 2024-02-09 | 长春理工大学 | 一种基于深度学习的全天候跌倒检测方法 |
CN117278837A (zh) * | 2023-11-16 | 2023-12-22 | 新乡天辅电子科技有限公司 | 一种面向应急救援的摄像设备控制方法 |
CN117278837B (zh) * | 2023-11-16 | 2024-01-26 | 新乡天辅电子科技有限公司 | 一种面向应急救援的摄像设备控制方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Adhikari et al. | Activity recognition for indoor fall detection using convolutional neural network | |
Feng et al. | Spatio-temporal fall event detection in complex scenes using attention guided LSTM | |
CN108830252B (zh) | 一种融合全局时空特征的卷积神经网络人体动作识别方法 | |
CN115116127A (zh) | 一种基于计算机视觉和人工智能的跌倒检测方法 | |
WO2020042419A1 (zh) | 基于步态的身份识别方法、装置、电子设备 | |
CN114241548A (zh) | 一种基于改进YOLOv5的小目标检测算法 | |
CN108447078A (zh) | 基于视觉显著性的干扰感知跟踪算法 | |
Roche et al. | A multimodal data processing system for LiDAR-based human activity recognition | |
CN113378649A (zh) | 身份、位置和动作识别方法、系统、电子设备及存储介质 | |
KR20220054657A (ko) | 인터랙션 관계 인식 방법, 장치, 기기 및 저장 매체 | |
CN112200021A (zh) | 基于有限范围场景内的目标人群跟踪监控方法 | |
CN114241375B (zh) | 一种用于运动过程中的监测方法 | |
CN111563492B (zh) | 一种跌倒检测方法、跌倒检测装置及存储装置 | |
Zhang et al. | Visual surveillance for human fall detection in healthcare IoT | |
CN115346272A (zh) | 基于深度图像序列的实时摔倒检测方法 | |
Nouredanesh et al. | Chasing feet in the wild: a proposed egocentric motion-aware gait assessment tool | |
De et al. | Fall detection method based on spatio-temporal feature fusion using combined two-channel classification | |
CN113408435A (zh) | 一种安全监控方法、装置、设备和存储介质 | |
CN114373142A (zh) | 基于深度学习的行人跌倒检测方法 | |
Khan et al. | Video analytic for fall detection from shape features and motion gradients | |
CN115731563A (zh) | 一种远距离监控人员倒地识别方法 | |
CN115690895A (zh) | 基于人体骨骼点检测的多人运动检测方法及装置 | |
CN111178134B (zh) | 一种基于深度学习与网络压缩的摔倒检测方法 | |
CN114913585A (zh) | 融合面部表情的居家老人摔倒检测方法 | |
CN111191511A (zh) | 一种监狱动态实时行为识别方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |