CN114821810A - 基于动态特征辅助的静态手势意图识别方法、系统及车辆 - Google Patents

基于动态特征辅助的静态手势意图识别方法、系统及车辆 Download PDF

Info

Publication number
CN114821810A
CN114821810A CN202210575775.6A CN202210575775A CN114821810A CN 114821810 A CN114821810 A CN 114821810A CN 202210575775 A CN202210575775 A CN 202210575775A CN 114821810 A CN114821810 A CN 114821810A
Authority
CN
China
Prior art keywords
gesture
static
frames
static gesture
dynamic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210575775.6A
Other languages
English (en)
Inventor
石林
吴锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Changan Automobile Co Ltd
Original Assignee
Chongqing Changan Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Changan Automobile Co Ltd filed Critical Chongqing Changan Automobile Co Ltd
Priority to CN202210575775.6A priority Critical patent/CN114821810A/zh
Publication of CN114821810A publication Critical patent/CN114821810A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Abstract

本发明公开了一种基于动态特征辅助的静态手势意图识别方法、系统及车辆，包括以下步骤：步骤1、手部检测；步骤2、手部追踪，步骤3、静态手势分类，步骤4、判断空间位置，步骤5、连续帧识别，步骤6、动态特征提取及判断，步骤7、静态手势判断输出，步骤8、车机应用事件响应。本发明基于用户手部动作信息，对静态手势动作进行分类，同时结合静态手势操控过程中前向手部动作趋势特征，能够更加准确地识别出用户的静态手势意图，减少了相似手势静止无操作或无意识随意挥动导致的误识别情况，降低了误触发率，从而提升用户座舱手势操控功能体验。

Description

基于动态特征辅助的静态手势意图识别方法、系统及车辆
技术领域
本发明属于车辆控制技术领域，具体涉及一种基于动态特征辅助的静态手势意图识别方法、系统及车辆。
背景技术
汽车是人们常用的交通工具，在保证安全性的同时，人们对在汽车使用过程中的便捷性、舒适性也提出了更高的要求。随着座舱内交互方式的不断发展和升级，从传统的物理按键，到触屏操控，到语音操控，到如今逐渐广泛应用的手势操控，交互方式愈发便捷、智能。手势识别在语音操控不便或尴尬的场景优势凸显，同时，自然且符合用户操控逻辑的手势应用更能体现座舱的无感交互体验。因此，合理准确判断用户手势操控意图，以及降低因手势误识带来的困扰显得尤为重要。
目前来说，对于手势识别领域研究成果较为成熟，在智能家居、智能娱乐设备等场景应用广泛，虽然在汽车上也得到较早应用，但由于车内手势复杂度较高、环境干扰较强(如光线变换、人为干扰、遮挡等)、关键区域不确定、以及用户操作手势不规范性等诸多问题导致手势误识别情况较多，因此也为用户带来困扰，对手势操控功能引来抱怨。因此，行业内在如何提高手势识别的准确率，降低手势的误识率上展开积极探索。如专利文献CN201711224479.7公开的手势识别和手势识别网络的训练方法及装置、设备、介质，其手势识别方法通过识别图像中的手势框图像，再将手势框图像输入手势识别网络，再经由识别网络输出坐标信息、手势分类信息及背景信息，当背景信息为前景图像时，根据手势分类信息输出坐标信息，其实现了将手势识别网络输出的各信息相结合处理，得到更精准的识别结果。该方法在不增加硬件成本的基础上，对识别网络输出信息做结合处理，由于输入信息本身的匮乏性、不准确性，导致性能优化效果不佳。又如CN201210565201.7公开的一种三维手势识别装置及三维手势识别方法，该方法中在增加识别装置的基础上进行方法优化，其识别装置包括两个红外摄像头、图像采集单元、红外发光二极管、红外发光二极管驱动单元、运算单元和手势识别单元，该方案采用红外照明和红外摄像头，解决了可见光干扰，朝上的摄像头摄取图像减少了背景的干扰，进一步提高了手势识别的可靠性，但在汽车领域中，零部件成本增加较为敏感，同时车内摄像头角度的局限性决定了该方法的应用并不适合。
因此，有必要开发一种基于动态特征辅助的静态手势意图识别方法、系统及车辆。
发明内容
本发明的目的在于提供一种基于动态特征辅助的静态手势意图识别方法、系统及车辆，能更加准确识别用户的静态手势意图，减少相似手势静止无操作或无意识随意挥动导致的误识别情况，能降低误触发率，提升用户座舱手势操控功能体验。
第一方面，本发明所述的一种基于动态特征辅助的静态手势意图识别方法，包括以下步骤：
步骤1：获取手势图像数据，对手势图像数据进行检测，若检测到手部位置，则输出手部的位置并进入步骤2，否则重复执行步骤1；
步骤2：利用手型位置和手型大小对多帧图像中的手部进行追踪，并进入步骤3和步骤6；
步骤3：提取手势的图像特征并进行静态手势的分类；
步骤4：判断手势是否出现在预设范围内，若是，则视为有效手势，并进入步骤5，否则视为无效手势，并返回步骤1；
步骤5：计算连续帧的置信度，如连续帧的置信度大于预设置信度阈值，则认为是一个有效事件，并进入步骤7，否则认为是一个无效事件，则返回步骤1；
步骤6：获取静态手势前N帧动态手势，计算每一帧图像手框的中心位置坐标，利用手框的中心位置坐标计算每相邻两帧手框的移动距离，并对所有N帧图像的位移求和，判断位移总和是否达到预设位移阈值，若达到预设位移阈值，则判定用户在定格静态手势前有动态运动趋势特征，并进入步骤7，否则返回步骤1；
步骤7：判定静态手势为有效事件，并将有效事件输出到相应的车机的应用接口；
步骤8：车机应用对输入的有效事件进行对应的功能响应。
可选地，所述步骤6具体为：
步骤6.1、获取静态手势前N帧手势图像，标记静态手势的第一帧为n0；标记该帧手势图像前N帧为n0-1、n0-2、...、n0-N；
步骤6.2、获取n0到n0-N帧图像手框并计算每个手框中心位置坐标点Cn(xn,yn),n＝n0、n0-1、n0-2、...、n0-N；
步骤6.3、计算每两个相邻帧中心位置之间的距离|Cn-Cn-1|,计算方法为：
Figure BDA0003662053000000021
并将N-1个距离求和SUM(|Cn-Cn-1|)，计算方法如下：
Figure BDA0003662053000000022
步骤6.4、判断动态手势位移量SUM(|Cn-Cn-1|)是否达到预设位移阈值；
步骤6.5、若动态手势位移量SUM(|Cn-Cn-1|)达到预设位移阈值，则判定用户在定格静态手势前有动态运动趋势特征，则进入步骤7，否则返回步骤1。
可选地，所述步骤4中，所述预设范围为前后排居中区域。
可选地，所述步骤3中，静态手势的类别包括点赞手势、比心手势、胜利手势和负样本。
第二方面，本发明所述的一种基于动态特征辅助的静态手势意图识别系统，包括存储器和控制器，所述存储器内存储有计算机可读程序，所述计算机可读程序被控制器调用时能执行如本发明所述的基于动态特征辅助的静态手势意图识别方法的步骤。
第三方面，本发明所述的一种车辆，采用如本发明所述的基于动态特征辅助的静态手势意图识别系统。
本发明具有以下优点：本发明在不增加硬件成本的情况下，在原本静态手势识别模型的基础上，在捕捉静态手势图像之前增加获取前N帧(根据实际效果，取值进行动态调整)动态手势动作图像，对该N帧手势图像进行特征分析，结合静态手势分类结果及前N帧动态手势特征，综合判断用户静态手势操控意图。当静态手势分类达到相似阈值且前N帧手势特征符合条件阈值时，则判断该静态手势为用户有意图的有效手势，相应指令下发至车端，车端相应控制器响应对应手势功能。本发明能够把用户有意识操控的手势特征考虑进去，如用户定格静态手势前的手部动态趋势特征，综合手势动态运动特征及静态手势分类结果，能够有效降低用户无意识的相似手势的误识别情况，提高了用户手势操控意图识别性能，同时无需增加摄像头、传感器等硬件成本，在减少了用户因手势识别误识情况产生抱怨的同时，为提高手势操控性能提供的新的思路和方法。
附图说明
图1为本实施例的流程图。
具体实施方式
以下将结合附图对本发明进行详细的说明。
如图1所示，本实施例中，一种基于动态特征辅助的静态手势意图识别方法，包括一下步骤：
步骤1：手部检测阶段：获取手势图像数据，对手势图像数据进行检测，若检测到手部位置，则输出手部的位置并进入步骤2，否则重复执行步骤1。
本实施例中，将原始的手势图像数据输入到手部检测器模型，在手部检测模型中选择YOLO V3作为目标检测网络，检测类别为手一种类别，使用训练数据进行卷积神经网络的参数调整，并针对实际场景中误检、漏检的样例，进行场景分析，迭代完成模型训练该模型检测并输出手部位置，否则重新获取手势图像数据并进行检测。
步骤2：手部追踪：利用手型位置和手型大小对多帧图像中的手部进行追踪，并进入步骤3和步骤6。
本实施例中，由于手部检测器可输出手部位置，车内摄像头相对固定，同时手势执行过程中用户手部位置也相对固定，因此利用手部的大小变化关系、图片的相似度关系、与手部在图片中的相对位置关系等，对图像中的手部区域进行追踪并给予track id，确保动作执行者的手势能够被正确识别。
步骤3：静态手势分类：提取手势的图像特征并进行静态手势的分类。
本实施例中，利用静态手势分类模型进行静态手势的分类，其中，静态手势分类模型通过手势分类数据采集、手势分类数据预处理、模型选型及参数调优完成训练。数据采集范围主要包括不同场景因素(光照、座椅位置、性别、身高等)下的手势信息；数据预处理即筛选出有效手势，过滤掉无效手势，并对数据进行标注，尽可能保证图像处理的准确性及丰富性；模型基于卷积神经网络，将处理好的数据输入到模型进行多次迭代训练和模型参数，训练好的静态手势分类模型能有效学习不同类别图像特征并进行识别。在本实施例中，静态手势包括点赞、比心、胜利、负样本四个类别的分类识别。
步骤4：判断空间位置：判断手势是否出现在预设范围内，若是，则视为有效手势，并进入步骤5，否则视为无效手势，并返回步骤1。
本实施例中，为进一步降低手势误识别情况，结合用户实际手势操控习惯，规定车内手势有效操控区域，限制在前后排居中区域。前排有效区域的规定能避免主驾多手势露出易导致的误识别问题，如系安全带、手握方向盘等与点赞较相似的手势。后排有效区域的规定能解决由于座椅遮挡等导致用户手势无法露出导致无法识别的用户疑虑。只有手势出现在规定区域内，才视为有效手势。
步骤5：连续帧识别：计算连续帧的置信度，如连续帧的置信度大于预设置信度阈值，则认为是一个有效事件，并进入步骤7，否则认为是一个无效事件，则返回步骤1。
本实施例中，因为单帧手势的分类结果可靠性不足，因此需要对分类结果做处理。本实施例中，对连续15帧的分类置信度做中值滤波，如大于设定的阈值则认为是一个有效事件，阈值可参数化，需要经过实验调整至合适值。
步骤6：动态特征提取及判断：获取静态手势前N帧动态手势，计算每一帧图像手框的中心位置坐标，利用手框的中心位置坐标计算每相邻两帧手框的移动距离，并对所有N帧图像的位移求和，判断位移总和是否达到预设位移阈值，若达到预设位移阈值，则判定用户在定格静态手势前有动态运动趋势特征，并进入步骤7，否则返回步骤1。
本实施例中，所述步骤6具体为：
步骤6.1、获取静态手势前N帧手势图像，标记静态手势的第一帧为n0；标记该帧手势图像前N帧为n0-1、n0-2、...、n0-N；
步骤6.2、获取n0到n0-N帧图像手框并计算每个手框中心位置坐标点Cn(xn,yn),n＝n0、n0-1、n0-2、...、n0-N；
步骤6.3、计算每两个相邻帧中心位置之间的距离|Cn-Cn-1|,计算方法为：
Figure BDA0003662053000000041
并将N-1个距离求和SUM(|Cn-Cn-1|)，计算方法如下：
Figure BDA0003662053000000042
步骤6.4、判断动态手势位移量SUM(|Cn-Cn-1|)是否达到预设位移阈值；
步骤6.5、若动态手势位移量SUM(|Cn-Cn-1|)达到预设位移阈值，则判定用户在定格静态手势前有动态运动趋势特征，并进入步骤7，否则返回步骤1。
步骤7：静态手势判断输出：判定静态手势为有效事件，并将有效事件输出到相应的车机的应用接口(比如:地图接口和拍照接口)。
步骤8：车机应用事件响应：车机应用对输入的有效事件进行对应的功能响应。
本方法基于用户手部动作信息，对静态手势动作进行分类，同时结合静态手势操控过程中前向手部动作趋势特征，能够更加准确地识别出用户的静态手势意图，减少了相似手势静止无操作或无意识随意挥动导致的误识别情况，降低了误触发率，从而提升用户座舱手势操控功能体验。
本实施例中，一种基于动态特征辅助的静态手势意图识别系统，包括存储器和控制器，所述存储器内存储有计算机可读程序，所述计算机可读程序被控制器调用时能执行如本实施例中所述的基于动态特征辅助的静态手势意图识别方法的步骤。
本实施例中，一种车辆，采用如本实施例中所述的基于动态特征辅助的静态手势意图识别系统。
上述实施例为本发明方法较佳的实施方式，但本发明方法的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.一种基于动态特征辅助的静态手势意图识别方法，其特征在于：包括以下步骤：
步骤1：获取手势图像数据，对手势图像数据进行检测，若检测到手部位置，则输出手部的位置并进入步骤2，否则重复执行步骤1；
步骤2：利用手型位置和手型大小对多帧图像中的手部进行追踪，并进入步骤3和步骤6；
步骤3：提取手势的图像特征并进行静态手势的分类；
步骤4：判断手势是否出现在预设范围内，若是，则视为有效手势，并进入步骤5，否则视为无效手势，并返回步骤1；
步骤5：计算连续帧的置信度，如连续帧的置信度大于预设置信度阈值，则认为是一个有效事件，并进入步骤7，否则认为是一个无效事件，则返回步骤1；
步骤6：获取静态手势前N帧动态手势，计算每一帧图像手框的中心位置坐标，利用手框的中心位置坐标计算每相邻两帧手框的移动距离，并对所有N帧图像的位移求和，判断位移总和是否达到预设位移阈值，若达到预设位移阈值，则判定用户在定格静态手势前有动态运动趋势特征，并进入步骤7，否则返回步骤1；
步骤7：判定静态手势为有效事件，并将有效事件输出到相应的车机的应用接口；
步骤8：车机应用对输入的有效事件进行对应的功能响应。
2.根据权利要求1所述的基于动态特征辅助的静态手势意图识别方法，其特征在于：所述步骤6具体为：
步骤6.1、获取静态手势前N帧手势图像，标记静态手势的第一帧为n0，标记该帧手势图像前N帧为n0-1、n0-2、...、n0-N；
步骤6.2、获取n0到n0-N帧图像手框并计算每个手框中心位置坐标点Cn(xn,yn),n＝n0、n0-1、n0-2、...、n0-N；
步骤6.3、计算每两个相邻帧中心位置之间的距离|Cn-Cn-1|,计算方法为：
Figure FDA0003662052990000011
并将N-1个距离求和SUM(|Cn-Cn-1|)，计算方法如下：
Figure FDA0003662052990000012
步骤6.4、判断动态手势位移量SUM(|Cn-Cn-1|)是否达到预设位移阈值；
步骤6.5、若动态手势位移量SUM(|Cn-Cn-1|)达到预设位移阈值，则判定用户在定格静态手势前有动态运动趋势特征，并进入步骤7，否则返回步骤1。
3.根据权利要求1或2所述的基于动态特征辅助的静态手势意图识别方法，其特征在于：所述步骤4中，所述预设范围为前后排居中区域。
4.根据权利要求3所述的基于动态特征辅助的静态手势意图识别方法，其特征在于：所述步骤3中，静态手势的类别包括点赞手势、比心手势、胜利手势和负样本。
5.一种基于动态特征辅助的静态手势意图识别系统，其特征在于：包括存储器和控制器，所述存储器内存储有计算机可读程序，所述计算机可读程序被控制器调用时能执行如权利要求1至4任一所述的基于动态特征辅助的静态手势意图识别方法的步骤。
6.一种车辆，其特征在于：采用如权利要求5所述的基于动态特征辅助的静态手势意图识别系统。
CN202210575775.6A 2022-05-25 2022-05-25 基于动态特征辅助的静态手势意图识别方法、系统及车辆 Pending CN114821810A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210575775.6A CN114821810A (zh) 2022-05-25 2022-05-25 基于动态特征辅助的静态手势意图识别方法、系统及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210575775.6A CN114821810A (zh) 2022-05-25 2022-05-25 基于动态特征辅助的静态手势意图识别方法、系统及车辆

Publications (1)

Publication Number Publication Date
CN114821810A true CN114821810A (zh) 2022-07-29

Family

ID=82517877

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210575775.6A Pending CN114821810A (zh) 2022-05-25 2022-05-25 基于动态特征辅助的静态手势意图识别方法、系统及车辆

Country Status (1)

Country Link
CN (1) CN114821810A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115421590A (zh) * 2022-08-15 2022-12-02 珠海视熙科技有限公司 一种手势控制方法、存储介质及摄像设备
CN116466828A (zh) * 2023-06-19 2023-07-21 无锡车联天下信息技术有限公司 一种智能座舱驾驶环境手势智能检测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115421590A (zh) * 2022-08-15 2022-12-02 珠海视熙科技有限公司 一种手势控制方法、存储介质及摄像设备
CN116466828A (zh) * 2023-06-19 2023-07-21 无锡车联天下信息技术有限公司 一种智能座舱驾驶环境手势智能检测方法
CN116466828B (zh) * 2023-06-19 2023-08-18 无锡车联天下信息技术有限公司 一种智能座舱驾驶环境手势智能检测方法

Similar Documents

Publication Publication Date Title
US9235269B2 (en) System and method for manipulating user interface in vehicle using finger valleys
Prioletti et al. Part-based pedestrian detection and feature-based tracking for driver assistance: real-time, robust algorithms, and evaluation
CN110209273B (zh) 手势识别方法、交互控制方法、装置、介质与电子设备
CN114821810A (zh) 基于动态特征辅助的静态手势意图识别方法、系统及车辆
US10891473B2 (en) Method and device for use in hand gesture recognition
US7231288B2 (en) System to determine distance to a lead vehicle
WO2005114556A2 (en) Sign based human-machine interaction
CN106648078B (zh) 应用于智能机器人的多模态交互方法及系统
JP2002352228A (ja) 画像処理システム及びこれを用いた運転支援システム
KR20150067680A (ko) 차량용 제스처 인식 시스템 및 그 방법
CN105913034B (zh) 车辆识别方法、装置及车辆
CN113191421A (zh) 一种基于Faster-RCNN的手势识别系统及方法
CN110569775A (zh) 一种识别人体姿势的方法、系统、存储介质及电子设备
CN113591659A (zh) 一种基于多模态输入的手势操控意图识别方法及系统
US20160140762A1 (en) Image processing device and image processing method
US8630483B2 (en) Complex-object detection using a cascade of classifiers
CN111738235B (zh) 一种用于自动开启车门的动作检测方法及装置
CN111460858A (zh) 图像中指尖点的确定方法、装置、存储介质及电子设备
KR101976498B1 (ko) 차량용 제스처 인식 시스템 및 그 방법
CN113076836B (zh) 一种汽车手势交互方法
KR101909326B1 (ko) 얼굴 모션 변화에 따른 삼각 매쉬 모델을 활용하는 사용자 인터페이스 제어 방법 및 시스템
US20130279808A1 (en) Complex-object detection using a cascade of classifiers
CN108830166B (zh) 一种公交车客流量实时统计方法
Lin et al. Design a support vector machine-based intelligent system for vehicle driving safety warning
CN112926454B (zh) 一种动态手势识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination