CN116386137A - 一种轻量级识别太极拳动作的移动端设计方法 - Google Patents
一种轻量级识别太极拳动作的移动端设计方法 Download PDFInfo
- Publication number
- CN116386137A CN116386137A CN202310243710.6A CN202310243710A CN116386137A CN 116386137 A CN116386137 A CN 116386137A CN 202310243710 A CN202310243710 A CN 202310243710A CN 116386137 A CN116386137 A CN 116386137A
- Authority
- CN
- China
- Prior art keywords
- mobile terminal
- action
- taiji
- actions
- lightweight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000013461 design Methods 0.000 title claims abstract description 22
- 230000009471 action Effects 0.000 claims abstract description 75
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 230000033001 locomotion Effects 0.000 claims abstract description 9
- 238000004458 analytical method Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims abstract description 6
- 239000013598 vector Substances 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 5
- 238000007781 pre-processing Methods 0.000 abstract 1
- 238000013135 deep learning Methods 0.000 description 6
- 210000003414 extremity Anatomy 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000000629 knee joint Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000002832 shoulder Anatomy 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种轻量级识别太极拳动作的移动端设计方法,属于人体姿态识别技术领域。该方法包括:轻量级模型训练、视频解析、图像预处理、关键点置信度获取、关节角度距离分类动作、程序功能设计、移动端部署,所述轻量级模型训练采用COCO数据集和标准太极拳动作数据集;所述视频解析即通过运动分析提取关键帧,获取太极每个姿势的标志性动作或直接进行视频识别,总体进行评价。通过角度和距离的双重标准判断太极动作,计算角度和距离误差,给出概率动作,综合考虑从标准动作中选择最佳匹配作为判断动作,并反馈计算结果,给出识别评分,通过在移动端的实现将有助于人工智能在太极拳数字化中的应用。
Description
技术领域
本发明属于人体姿态识别技术领域,涉及一种轻量级识别太极拳动作的移动端设计方法。
背景技术
目前太极拳的教学方式以面授为主,传统的教学方式存在很多不足,对动作标准的要求更高,有更多的细节需要注意。目前对太极拳拳法的评价,主要依靠裁判对动作进行评分,其评价体系缺乏客观性。
深度学习成了机器学习领域内的热点,现在人工智能、大数据更是越来越贴近我们的日常生活,姿态识别也是越来越快、越精确。同时互联网体育健身有了更好的宏观环境。人工智能技术在体育竞赛和科研工作中的应用也越来越广泛和成熟,越来越多的人工智能应用开始在移植到移动端上,能够快速高效地在移动端部署深度学习模型就变成亟待解决的问题。
发明内容
有鉴于此,本发明的目的在于提供一种轻量级识别太极拳动作的移动端设计方法,继承了深度学习的优势,在计算量和参数量上大大减少,同时在准确度上没有下降,达到了预期效果,有助于人工智能在太极拳数字化中的应用。
为达到上述目的,本发明提供如下技术方案:
一种轻量级识别太极拳动作的移动端设计方法,该方法包括以下步骤:
对太极视频中的关键动作的关键帧进行获取或直接进行视频识别判断,通过训练好的轻量级神经网络获取关键点的置信度和坐标,得到人体关节连接置信度,生成这一关键动作的骨架图。
基于角度和距离特征进行对动作进行识别分类,通过这两个因素将人体动作进行角度和关节距离计算,通过与预设的动作标准数据进行比对,允许有一定角度误差和距离误差,给出该动作可能的动作,通过综合比较误差值的大小以及概率值,给出最佳匹配,判断该动作类型给出概率动作,并反馈计算结果,给出识别评分。
通过PyQt框架进行界面设计,MobileNet算法进行功能完善,进行移动端部署。
可选的,所述关键动作通过运动分析来获取。
可选的,所述训练好的轻量级神经网络进行参数优化和精简。根据COCO数据集和太极拳动作数据集进行训练,然后得到提取动作的关键点坐标信息,计算关节连接的置信度,获取关键动作的姿态向量信息,或者对视频直接进行逐帧识别。
可选的,基于所述姿态向量信息,进行关节角度误差计算和关节点距离计算,角度和距离对于不同动作有不同的误差范围,计算角度和距离值和误差值,双重判断标准进行动作判别,通过综合比较误差值的大小以及概率值,给出最佳匹配
基于所述方法的轻量级识别太极拳动作的移动端设计方法,包括:
轻量级训练模型,对轻量级神经网络进行结构优化和参数精简,该模型用于用于关键节点的获取;
动作分类模块,采用距离加角度双重判断标准,允许有一定的误差范围,给出最佳匹配动作和结果反馈;
移动端部署,使用界面设计框架设计移动端桌面,使用移动端算法MobileNetV2进行功能完善,完成移动端部署。
本发明的有益效果在于:为了将轻量级深度学习算法与太极拳相结合,实现对太极拳动作的识别,本发明提出了一种轻量级识别太极拳动作的移动端设计,通过运动分析获取视频关键帧,利用训练的轻量级深度学习模型提取人体关键点的坐标,计算关键点的置信度和关节连接的置信度,通过角度和距离的双重判断,通过与预设的动作标准数据进行比对,允许有一定角度误差和距离误差,给出该动作可能的动作,通过综合比较误差值的大小以及概率值,给出最佳匹配,判断该动作类型给出概率动作,并反馈计算结果,给出识别评分进行移动端界面设计,功能设计,移动端部署。本发明通过整体方法的实施,将轻量化神经网络移植到移动端,保持了深度学习的准确度,处理数据速度几乎没有下降,该方法能够快速的识别出太极拳动作,能够进行图片分析和视频分析,使得评分更系统化、科学化。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述,并且在某种程度上,基于对下文的考察研究对本领域技术人员而言将是显而易见的,或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作优选的详细描述,其中:
图1为本发明系统框图;
图2为本发明所选取的角度具体位置示意图;
图3为本发明所选取的距离具体位置示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
其中,附图仅用于示例性说明,表示的仅是示意图,而非实物图,不能理解为对本发明的限制;为了更好地说明本发明的实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;对本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件;在本发明的描述中,需要理解的是,若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此附图中描述位置关系的用语仅用于示例性说明,不能理解为对本发明的限制,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
一种轻量级识别太极拳动作的移动端设计利用轻量级深度学习对人体关键点进行检测,实现动作识别,对预设标准动作信息,为太极拳的科学评价提供理论依据,使用优化的轻量级卷积神经网络,采用COCO数据集和标准太极拳动作数据集进行训练,得到可以进行太极姿势判断的模型。
上传需要进行判断动作的太极拳视频或图片,可以通过直接进行拍摄或本地上传。
对采集的视频进行处理,得到每个姿势的关键帧图像。
对视频进行关键帧提取,通过运动分析得到每个太极动作关键姿势,得到关键帧图片。
对获取的图片进行大小处理,进行图片缩放处理,统一图片格式大小。
如表1所示,为本发明的具体关键点信息。
表1具体关键点信息表
通过训练好的轻量级网络模型提取关键点信息,得到人体18个关键点位置坐标,17个姿态向量,使用COCO数据格式进行保存,姿态向量都有17个,即0和1、1和2、2和3、3和4、0和15、0和14、15和17、14和16、1和5、5和6、6和7、1和8、8和9、9和10、1和11、11和12,12和13,也即肢体两端的坐标构成的向量.
计算关节连接置信度,对关键点进行匹配,形成太极拳动作的关键点图像.
在关键点提取过程中,利用训练好的神经网络模型提取原始图像特征,用两个并列分支分别预测人体关键点位置和关节之间骨架走向,并进行多阶段迭代,利用贪心算法连接每个人的肢体,形成一个人的关键点姿势图。
利用LossFunction损失函数进行神经网络收敛。公式如下:
人体姿态识别算法检测的是人体耳朵、眼睛、肩膀、膝盖关节位置,每个关键点在图像中以二维坐标(x,y)表示,共计18个关键点。
关键点连接置信度的计算,对于关键太极动作,其中xj2,k,xj1,k表示第k个人的肢体j的端点的位置,如果p位于xj2,k,xj1,k之间的肢体上,则有公式:
上式v的表达式为:
其中k是人物索引,c是肢体向量,xj2,k,xj1,k是第k个人c上的骨骼关键点二维坐标,v表示位置j1,k指向位置j1,k的单位向量
若p在c上,满足公式:0≤v.(p-xj1,k)≤∥xj2,k-xj1,k∥2,|⊥·(-xj1,)|≤σl
其中σl表示肢体c在图片中像素的长度,进而获取太极动作的姿态数据,将获取的姿态数据进行分类。
σ是标准方差,表示正态分布的峰值幅度,通过求取最大值获取每个关键点的置信度,其公式为:
最后计算图片中人体亲和字段求平均值得到标注的人体亲和字段,如下公式:
其中nc()表示所有人中位置p处非0向量的个数
得到所有的关键点置信度和关节连接置信度后,对于两个关键点dj1,dj2,其关联程度为:
其中是p()是对两个关节点位置dj2,dj1做插值操作得到的,E为最后的置信度
得到人体关键点姿势图后,由于人体在运动过程中,距离镜头的远近会发生变化,图片尺寸不同也会导致坐标轴采集到的坐标数据比例不一致,故需要进行坐标归一化处理。
首先对输入图片进行缩放,从颈部到臀部的高度L,将宽高为(w,h)的图像先缩放成(1,h/w),并根据18个点的坐标计算出人体中心位置(Xc,Yc);
其中Xnew,Ynew表示归一化后位置坐标,xi,yi表示采集的坐标信息。
选取角度误差与距离误差较小姿势作为最终的预判姿势,给出判断结果。设置15组变化明显的距离数据,设置12组变化明显的角度数据。
角度误差计算中,两个关键点组成一个二维向量,二维向量满足:a=(x1,y1),b=(x2,y2),这两个向量夹角的余弦为:
距离误差计算中,距离是两两关节之间的欧式距离:两个关键点之间的距离满足:
对于图片中每个人的每一个动作,计算角度误差和距离误差,通过角度和距离的双重判断,通过与预设的动作标准数据进行比对,允许有一定角度误差和距离误差,给出该动作所有可能的动作,通过综合比较误差值的大小以及概率值,给出最佳匹配,判断该动作类型给出概率动作,并反馈计算结果,给出识别评分。
进行界面设计,通过python程序与QT的结合,设计适用于移动端的应用界面,界面设计考虑以简洁使用为主,增加其实用性和便捷性。
进行移动端界面设计,功能设计,移动端部署。采用offline模式,进行移动端部署,将训练好的模型转换成所需格式,向安卓应用添加依赖项,编写相关的代码,在应用中使用模型执行推断。
利用适用于TensorFlow模型的移动端推理框架,通过调整模型输入数据维度及模型运行方式,把优化后的模型打包成适用于移动端的模型包,以便在移动端提供高精度、高效率的图像分类服务。
本发明是一种轻量级识别太极拳动作的移动端设计,将轻量化的姿态识别算法应用到太极拳姿态识别的方案,针对太极拳姿态的识别,使用向量误差算法,通过计算标准姿态和图片中人的姿态数据的平均向量夹角以及选点关键点之间的距离作为判断依据,最终选取在阈值以内的动作作为判断的姿势。
本发明主要是针对太极姿势进行评估指导,系统内内置太极标准动作数据库,可以对整套太极动作进行整体打分,也可以对视频流进行关键帧快速识别提取,进行局部打分。
本发明加入了语音功能,连续动作正确对用户鼓励,出现错误进行实时反馈提醒,让用户清楚知道整套动作哪些地方做的比较好,哪些地方需要改进,判断标准就是计算用户动作与标准动作的偏离程度,系统内设置若干标准阈值,通过距离和角度进行阈值判定,接近某个阈值,打出该阈值对应的分数。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (5)
1.一种轻量级识别太极拳动作的移动端设计方法,其特征在于:该方法包括以下步骤:
对太极视频中的关键动作的关键帧进行获取或直接进行视频识别判断,通过训练好的轻量级神经网络获取关键点的置信度和坐标,得到人体关节连接置信度,生成这一关键动作的骨架图。
基于角度和距离特征进行对动作进行识别分类,通过这两个因素将人体动作进行角度和关节距离计算,通过与预设的动作标准数据进行比对,允许有一定角度误差和距离误差,给出该动作可能的动作,通过综合比较误差值的大小以及概率值,给出最佳匹配,判断该动作类型给出概率动作,并反馈计算结果,给出识别评分。
通过PyQt框架进行界面设计,MobileNet算法进行功能完善,进行移动端部署。
2.根据权利要求1所述的一种轻量级识别太极拳动作的移动端设计方法,其特征在于:所述关键动作通过运动分析来获取。
3.根据权利要求1所述的一种轻量级识别太极拳动作的移动端设计方法,其特征在于:所述训练好的轻量级神经网络进行参数优化和精简。根据COCO数据集和太极拳动作数据集进行训练,然后得到提取动作的关键点坐标信息,计算关节连接的置信度,获取关键动作的姿态向量信息,或者对视频直接进行逐帧识别。
4.根据权利要求1所述的一种轻量级识别太极拳动作的移动端设计方法,其特征在于:基于所述姿态向量信息,进行关节角度误差计算和关节点距离计算,角度和距离对于不同动作有不同的误差范围,计算角度和距离值和误差值,双重判断标准进行动作判别,通过综合比较误差值的大小以及概率值,给出最佳匹配。
5.基于权利要求1~4中任一项所述方法的轻量级识别太极拳动作的移动端设计方法,其特征在于:该方法包括:
轻量级训练模型,对轻量级神经网络进行结构优化和参数精简,该模型用于用于关键节点的获取;
动作分类模块,采用距离加角度双重判断标准,允许有一定的误差范围,给出最佳匹配动作和结果反馈;
移动端部署,使用界面设计框架设计移动端桌面,使用移动端算法MobileNetV2进行功能完善,完成移动端部署。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310243710.6A CN116386137A (zh) | 2023-03-14 | 2023-03-14 | 一种轻量级识别太极拳动作的移动端设计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310243710.6A CN116386137A (zh) | 2023-03-14 | 2023-03-14 | 一种轻量级识别太极拳动作的移动端设计方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116386137A true CN116386137A (zh) | 2023-07-04 |
Family
ID=86979832
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310243710.6A Pending CN116386137A (zh) | 2023-03-14 | 2023-03-14 | 一种轻量级识别太极拳动作的移动端设计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116386137A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117392762A (zh) * | 2023-12-13 | 2024-01-12 | 中国石油集团川庆钻探工程有限公司 | 一种基于人体关键点姿态编码的特征行为识别方法 |
-
2023
- 2023-03-14 CN CN202310243710.6A patent/CN116386137A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117392762A (zh) * | 2023-12-13 | 2024-01-12 | 中国石油集团川庆钻探工程有限公司 | 一种基于人体关键点姿态编码的特征行为识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106682598B (zh) | 一种基于级联回归的多姿态的人脸特征点检测方法 | |
Gilani et al. | Deep, dense and accurate 3D face correspondence for generating population specific deformable models | |
CN108256421A (zh) | 一种动态手势序列实时识别方法、系统及装置 | |
US8311954B2 (en) | Recovery of 3D human pose by jointly learning metrics and mixtures of experts | |
CN109815826A (zh) | 人脸属性模型的生成方法及装置 | |
Tariq et al. | Recognizing emotions from an ensemble of features | |
CN106548194B (zh) | 二维图像人体关节点定位模型的构建方法及定位方法 | |
CN108629336A (zh) | 基于人脸特征点识别的颜值计算方法 | |
Uddin et al. | Human Activity Recognition via 3-D joint angle features and Hidden Markov models | |
CN110555417A (zh) | 一种基于深度学习的视频图像识别系统及方法 | |
Zhao et al. | Generalized symmetric pair model for action classification in still images | |
CN116386137A (zh) | 一种轻量级识别太极拳动作的移动端设计方法 | |
CN108174141B (zh) | 一种视频通信的方法和一种移动装置 | |
Gilani et al. | Towards large-scale 3D face recognition | |
Wu et al. | An unsupervised real-time framework of human pose tracking from range image sequences | |
CN112990154B (zh) | 一种数据处理方法、计算机设备以及可读存储介质 | |
CN111091040A (zh) | 基于全局轮廓和脸型结构分类的人脸吸引力数据处理方法 | |
CN111833439A (zh) | 基于人工智能的弹药投掷分析及移动仿真训练方法 | |
CN111539364A (zh) | 基于特征融合和多分类器投票的多体感人体行为识别算法 | |
CN116012942A (zh) | 手语教学方法、装置、设备及存储介质 | |
CN111523406B (zh) | 一种基于生成对抗网络改进结构的偏转人脸转正方法 | |
Ma et al. | Sports competition assistant system based on fuzzy big data and health exercise recognition algorithm | |
Prasad et al. | Fuzzy classifier for continuous sign language recognition from tracking and shape features | |
CN111353509A (zh) | 一种视觉slam系统的关键点提取器生成方法 | |
Zhang et al. | Grading Tai Chi Performance in Competition with RGBD Sensors |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |