CN116128952A - 一种基于脸型轮廓的摄像测距方法 - Google Patents
一种基于脸型轮廓的摄像测距方法 Download PDFInfo
- Publication number
- CN116128952A CN116128952A CN202310116872.3A CN202310116872A CN116128952A CN 116128952 A CN116128952 A CN 116128952A CN 202310116872 A CN202310116872 A CN 202310116872A CN 116128952 A CN116128952 A CN 116128952A
- Authority
- CN
- China
- Prior art keywords
- image
- face
- coordinate image
- distance
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001815 facial effect Effects 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims description 19
- 238000005259 measurement Methods 0.000 claims abstract description 20
- 238000000691 measurement method Methods 0.000 claims abstract description 9
- 238000003384 imaging method Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 5
- 210000005069 ears Anatomy 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 2
- 210000001747 pupil Anatomy 0.000 description 4
- 230000036544 posture Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1072—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring distances on the body, e.g. measuring length, height or thickness
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Dentistry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Biophysics (AREA)
- Electromagnetism (AREA)
- Geometry (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于脸型轮廓的摄像测距方法,包括:构建目标人物正面脸部特征的标准化坐标图像;截取测量范围内的目标人物的人脸图片,在人脸图片上建立面部坐标图像;通过标准化坐标图像对面部坐标图像进行矫正,在矫正后的面部坐标图像中获取双眼间距;根据双眼间距计算目标人物与相机的实际距离。本发明预先建立数据库,标准化目标人物图像,当进入实测范围内的目标人物面部具有一定倾角时,采用简单算法还原面部特征,快速准确的获得实际距离,为特定场合争取宝贵时间。本发明采用建立面部特征的坐标图像,使测距方法不单纯依靠双眼间距的直接测量实现,可以通过面部特征间的比例关系,间接获取双眼间距,继而扩大测量范围。
Description
技术领域
本发明公开了一种基于脸型轮廓的摄像测距方法,属于图像处理技术领域。
背景技术
当相机采集到人脸图像时,对人脸图像进行分析,可以确定人脸信息,包括人脸识别,距离测定等。目前相关技术中,为了能进行人脸测距,通过单目测距或者双目测距的方法来检测用户双瞳中点与相机距离,并且在实际工作中,不能保证相机采集到的图像为人脸正面,一旦人脸有倾斜,双瞳中点的距离在相机内形变较大,导致测量失败。
现有技术中提出的人脸识别矫正技术主要为基于多种姿态的人脸训练,需要大量姿态变化,并进行大量训练,形成复杂的算法编程,算法在运行时需要较长时间方可获得测量结果。而在目标人物监控等特定场合,当识别出目标人物后,需要迅速做出反应,快速测得目标人物及目标人物与相机所在的设备距离。
发明内容
本申请的目的在于,提供一种基于脸型轮廓的摄像测距方法,以解决现有技术中当面部具有倾斜时需要大量算法计算获得面部特征,无法迅速测得距离的技术问题。为实现上述目的,本发明提出了一种基于脸型轮廓的摄像测距方法,具体方案如下:
一种基于脸型轮廓的摄像测距方法,包括:
构建目标人物正面脸部特征的标准化坐标图像;
截取测量范围内的所述目标人物的人脸图片,在所述人脸图片上建立面部坐标图像;
通过所述标准化坐标图像对所述面部坐标图像进行矫正,在矫正后的所述面部坐标图像中获取双眼间距;
根据所述双眼间距计算目标人物与相机的实际距离。
优选的,构建目标人物正面脸部特征的标准化坐标图像,具体包括:
建立基础面部特征数据库,构建人物正面脸部特征的基础坐标图像;
获取所述目标人物正面脸部特征,并根据所述目标人物正面脸部特征构建初始坐标图像;
根据所述基础坐标图像矫正所述初始坐标图像,获得矫正后的所述目标人物正面脸部特征;
根据矫正后的所述目标人物正面脸部特征建立所述标准化坐标图像;
将所述标准化坐标图像及标准化的面部特征数据存储在标准化图像数据库。
优选的,根据所述基础坐标图像矫正所述初始坐标图像,具体包括:
计算所述初始坐标图像中人物面部特征;
根据所述人物面部特征与所述基础坐标图像中的人物面部特征数据比值,获得所述初始坐标图像与所述基础坐标图像的测量误差值;
根据所述测量误差值矫正所述初始坐标图像。
优选的,所述人物面部特征包括:双眼间距和双耳间距。
优选的,通过所述标准化坐标图像对所述面部坐标图像进行矫正,在矫正后的所述面部坐标图像中获取双眼间距,具体包括:
将所述面部坐标图像进行图像斜切处理,获得所述面部坐标图像的正面图像;
将所述正面图像通过所述标准化图像进行比例还原,获得正常比例的所述面部图像;
在所述正常比例的面部图像中获取双眼间距。
优选的,将所述面部坐标图像进行图像斜切处理,获得所述面部坐标图像的正面图像,具体为:
将所述人脸图片根据所述面部坐标图像确定的Y轴,通过图像水平斜切使得Y轴垂直;
将所述人脸图片根据所述面部坐标图像确定的X轴,通过图像垂直斜切使得X轴水平。
优选的,在所述正常比例的面部图像中获取双眼间距,具体为:
获得所述正常比例的面部图像中的双耳间距,根据面部特征比例获得双眼间距。
优选的,根据所述双眼间距计算目标人物与相机的实际距离,具体为:
根据所述双眼间距,结合双目测距方法计算目标人物与相机的实际距离。
优选的,坐标图像的垂直坐标轴在鼻尖与下巴的连线上,水平轴在双眼间距或双耳中心点的连线上。
优选的,所述人脸图片包括双眼信息或双耳信息。
有益效果:本发明预先建立数据库,标准化目标人物图像,当进入实测范围内的目标人物面部具有一定倾角时,采用简单算法还原面部特征,快速准确的获得实际距离,为特定场合争取宝贵时间。本发明采用建立面部特征的坐标图像,使测距方法不单纯依靠双眼间距的直接测量实现,可以通过面部特征间的比例关系,间接获取双眼间距,继而扩大测量范围。
附图说明
图1为利用相似三角形原理测量双眼间距实现人脸测距示意图;
图2为本发明实施例中目标R的初始坐标图像;
图3为本发明实施例中目标R的面部坐标图像;
图4为本发明实施例中的测距方法流程示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白,以下结合具体实施方式,对本发明进行进一步的详细说明。应当理解的是,此处所描述的具体实施方式仅用以解释本发明,并不限定本发明的保护范围。
一种基于脸型轮廓的摄像测距方法,如图4所示,包括以下步骤:
步骤一、建立基础面部特征数据库,通过基础数据库,获得现实中各类人群对应的面部特征数据,例如成年男性平均瞳距为64毫米,成年女性平均瞳距为62毫米,在本实施例中取中间值63毫米。根据基础面部特征数据库,构建人物正面脸部特征的基础坐标图像。建立双眼间距、相机放大倍数和实际距离之间的关系。双眼间距、相机放大倍数及实际距离之间关系通过双眼间距测距或三角形相似原理得到,具体得到实际距离公式为:d=(f*W)/w,其中f为焦距,w为相机成像后人眼像素宽度,W为现实中人双眼间距,d为现实中人与相机的距离,如图1所示。
步骤二、建立目标人群标准化面部特征数据库。获取目标人群正面人脸照片,使用人脸识别法进行脸部特征识别,脸部特征包括:耳朵、眼睛、嘴巴、鼻子、下巴五个要素。在目标人群的正面人脸照片上建立坐标系,坐标系的垂直坐标轴在鼻尖与下巴的连线上,水平轴在双眼或双耳中心点的连线上。本实施例中具体以双眼的中心连线为X轴,以鼻尖和下巴的中心连线为Y轴,则眼睛中间为坐标系的中心,根据目标人群构建的初始坐标图像如图2所示,则脸部特征的坐标如下:
记眼睛中心为M点,左眼坐标记为(ML,0),右眼坐标标记为(MR,0),记鼻梁中心坐标为S点,位置坐标为(0,SC)
记嘴巴中心坐标为X点,位置坐标为(0,XC)
记下巴中心坐标为Z点,位置坐标为(0,ZC)
记耳朵中心为E点,左耳坐标记为(EXL,EYL,),右耳坐标标记为(EXR,EYR)。
根据基础坐标图像矫正初始坐标图像,获得矫正后的目标人物正面脸部特征;具体包括:计算初始坐标图像中人物面部特征,即双眼间距或双耳间距。根据人物面部特征与基础坐标图像中的人物面部特征数据比值,获得初始坐标图像与基础坐标图像的测量误差值;根据测量误差值矫正初始坐标图像。
具体的,在本实施例中,测得目标人群构建的初始坐标图像中双眼中心距离,即向量MRML的绝对值根据建立的基础面部特征数据库,获得标准的成年人双眼中心距使用公式得出K值,K值代表标准值和照片测量值误差。使用使用K值乘以初始坐标图像中相应的的坐标值,即可获得目标人群的标准化坐标图像。则矫正后的脸部特征的坐标如下:
根据矫正后的目标人群正面脸部特征建立的标准化坐标图像。将标准化坐标图像及标准化的面部特征数据存储在标准化图像数据库中,标准化图像数据库包含所有目标人群的标准化坐标图像及标准化的面部特征数据。
步骤三、当目标人物进入识别范围内,进入实测阶段,根据人脸识别系统,与标准化图像数据库中的人物面部特征进行对比,迅速识别出人物信息,标记目标人物为目标R,调出对比库中目标R的正面脸部特征。
截取进入测量范围内的目标R的人脸图片,人脸图片包括双眼信息或双耳信息。人脸图片上建立面部坐标图像;当目标R进入测量范围内时,一般会截取到人脸具有一定倾角的人脸照片,当距离较远时无法截取双眼图像时,则选用包括双耳信息的人脸图片。在截取的目标R的人脸图片上建立坐标系,构建面部坐标图像,坐标系的垂直坐标轴在鼻尖与下巴的连线上,水平轴在双眼或双耳中心点的连线上。本实施例中具体以双眼的中心连线为X轴,以鼻尖和下巴的中心连线为Y轴。
步骤四、如图3所示,具体的,因截取人脸图像带有一定倾角,还原人脸图像正面位置,首先,将面部坐标图像进行图像斜切处理,将人脸图片根据面部坐标图像确定的Y轴,通过图像水平斜切使得Y轴垂直,将人脸图片根据面部坐标图像确定的X轴,通过图像垂直斜切使得X轴水平。得到具有面部坐标图像的正面图像。
将正面图像通过标准化坐标图像进行比例还原,获得正常比例的面部图像,在正常比例的面部图像中获取双眼间距。根据目标R的标准化图像数据比例还原上述斜切处理后的面部坐标图像,具体步骤如下:
步骤1、在标准化图像数据库中索引目标R的标准化坐标图像及标准化的面部特征数据。
步骤2、在标准化坐标图像中获取目标R耳朵E的位置,计算Y轴和X轴方向的比值KESRC。
步骤3、计算斜切处理后的面部坐标图像的耳朵位置,计算Y轴和X轴方向的比值KECAL。
步骤4、当KECAL小于KESRC时,将斜切处理后的面部坐标图像进行Y方向拉伸,直到KECAL等于KESRC。当KECAL大于KESRC时,将目标图像进行X方向拉伸,直到KECAL等于KESRC。
步骤五、完成上述步骤后,得到具有正常比例的面部坐标图像,在正常比例的面部坐标图像中获取双眼间距,上述步骤中,当距离较远无法直接获取双眼间距时,获取双耳距离,通过比例还原时面部坐标图像中双耳间距与双眼间距的关系计算出双眼间距。
根据双眼间距计算目标人物与相机的实际距离,具体为:在上述建立双眼间距、相机放大倍数和实际距离之间的关系算法中,获得双眼间距对应的实际距离。
本实施例通过预先建立数据库,建立标准化图像数据库,当进入实测范围内的目标人物面部具有一定倾角时,根据标准化图像数据库采用简单算法还原面部特征,快速准确的获得实际距离,为特定场合争取宝贵时间。本发明采用建立面部特征的坐标图像,使测距方法不单纯依靠直接测量双眼间距实现,可以通过面部特征间的比例关系,间接获取双眼间距,继而扩大测量范围。
以上实施例仅表达了本发明的一种实施方式,其描述较为具体和详细,但不能因此而理解为对本发明专利的范围约束。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应该以所附权利要求为准。
Claims (10)
1.一种基于脸型轮廓的摄像测距方法,其特征在于,包括:
构建目标人物正面脸部特征的标准化坐标图像;
截取测量范围内的所述目标人物的人脸图片,在所述人脸图片上建立面部坐标图像;
通过所述标准化坐标图像对所述面部坐标图像进行矫正,在矫正后的所述面部坐标图像中获取双眼间距;
根据所述双眼间距计算目标人物与相机的实际距离。
2.根据权利要求1所述的基于脸型轮廓的摄像测距方法,其特征在于,构建目标人物正面脸部特征的标准化坐标图像,具体包括:
建立基础面部特征数据库,构建人物正面脸部特征的基础坐标图像;
获取所述目标人物正面脸部特征,并根据所述目标人物正面脸部特征构建初始坐标图像;
根据所述基础坐标图像矫正所述初始坐标图像,获得矫正后的所述目标人物正面脸部特征;
根据矫正后的所述目标人物正面脸部特征建立所述标准化坐标图像;
将所述标准化坐标图像及标准化的面部特征数据存储在标准化图像数据库。
3.根据权利要求2所述的基于脸型轮廓的摄像测距方法,其特征在于,根据所述基础坐标图像矫正所述初始坐标图像,具体包括:
计算所述初始坐标图像中人物面部特征;
根据所述人物面部特征与所述基础坐标图像中的人物面部特征数据比值,获得所述初始坐标图像与所述基础坐标图像的测量误差值;
根据所述测量误差值矫正所述初始坐标图像。
4.根据权利要求3所述的基于脸型轮廓的摄像测距方法,其特征在于,所述人物面部特征包括:双眼间距和双耳间距。
5.根据权利要求1所述的基于脸型轮廓的摄像测距方法,其特征在于,通过所述标准化坐标图像对所述面部坐标图像进行矫正,在矫正后的所述面部坐标图像中获取双眼间距,具体包括:
将所述面部坐标图像进行图像斜切处理,获得所述面部坐标图像的正面图像;
将所述正面图像通过所述标准化图像进行比例还原,获得正常比例的所述面部图像;
在所述正常比例的面部图像中获取双眼间距。
6.根据权利要求5所述的基于脸型轮廓的摄像测距方法,其特征在于,将所述面部坐标图像进行图像斜切处理,获得所述面部坐标图像的正面图像,具体为:
将所述人脸图片根据所述面部坐标图像确定的Y轴,通过图像水平斜切使得Y轴垂直;
将所述人脸图片根据所述面部坐标图像确定的X轴,通过图像垂直斜切使得X轴水平。
7.根据权利要求5所述的基于脸型轮廓的摄像测距方法,其特征在于,在所述正常比例的面部图像中获取双眼间距,具体为:
获得所述正常比例的面部图像中的双耳间距,根据面部特征比例获得双眼间距。
8.根据权利要求1所述的基于脸型轮廓的摄像测距方法,其特征在于,根据所述双眼间距计算目标人物与相机的实际距离,具体为:
根据所述双眼间距,结合双目测距方法计算目标人物与相机的实际距离。
9.根据权利要求1所述的基于脸型轮廓的摄像测距方法,其特征在于,坐标图像的垂直坐标轴在鼻尖与下巴的连线上,水平轴在双眼间距或双耳中心点的连线上。
10.根据权利要求1所述的基于脸型轮廓的摄像测距方法,其特征在于,所述人脸图片包括双眼信息或双耳信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310116872.3A CN116128952A (zh) | 2023-01-18 | 2023-01-18 | 一种基于脸型轮廓的摄像测距方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310116872.3A CN116128952A (zh) | 2023-01-18 | 2023-01-18 | 一种基于脸型轮廓的摄像测距方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116128952A true CN116128952A (zh) | 2023-05-16 |
Family
ID=86302699
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310116872.3A Pending CN116128952A (zh) | 2023-01-18 | 2023-01-18 | 一种基于脸型轮廓的摄像测距方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116128952A (zh) |
-
2023
- 2023-01-18 CN CN202310116872.3A patent/CN116128952A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105740778B (zh) | 一种改进的三维人脸活体检测方法及其装置 | |
CN111652086B (zh) | 人脸活体检测方法、装置、电子设备及存储介质 | |
US20200110280A1 (en) | Methods, devices, and computer program for determining a near-vision point | |
CN114894337B (zh) | 一种用于室外人脸识别测温方法及装置 | |
US10620454B2 (en) | System and method of obtaining fit and fabrication measurements for eyeglasses using simultaneous localization and mapping of camera images | |
CN111860292B (zh) | 基于单目相机的人眼定位方法、装置以及设备 | |
CN112220444B (zh) | 一种基于深度相机的瞳距测量方法和装置 | |
CN109389018B (zh) | 一种人脸角度识别方法、装置及设备 | |
CN111854620B (zh) | 基于单目相机的实际瞳距测定方法、装置以及设备 | |
CN109948400A (zh) | 一种能够进行人脸特征3d识别的智能手机及其识别方法 | |
CN105180802B (zh) | 一种物体尺寸信息识别方法和装置 | |
WO2022032911A1 (zh) | 一种视线追踪方法及装置 | |
CN113283271A (zh) | 虹膜自动捕捉方法、装置、计算机可读存储介质及设备 | |
CN106570447A (zh) | 基于灰度直方图匹配的人脸照片太阳镜自动去除方法 | |
WO2020072994A1 (en) | Calibration and image procession methods and systems for obtaining accurate pupillary distance measurement | |
CN110909571B (zh) | 一种高精度面部识别空间定位方法 | |
LU100684B1 (en) | Method and system for head pose estimation | |
JP4682372B2 (ja) | 視線方向の検出装置、視線方向の検出方法およびコンピュータに当該視線方向の検出方法を実行させるためのプログラム | |
CN111881841B (zh) | 一种基于双目视觉的人脸检测识别方法 | |
JP3711053B2 (ja) | 視線測定装置及びその方法と、視線測定プログラム及びそのプログラムを記録した記録媒体 | |
CN113197542A (zh) | 一种在线自助视力检测系统、移动终端及存储介质 | |
CN116128952A (zh) | 一种基于脸型轮廓的摄像测距方法 | |
US11487360B1 (en) | Gaze tracking method and gaze tracking device using ihe same | |
CN112989865B (zh) | 一种基于人头姿态判断的人群注意力焦点判断方法 | |
US12061736B2 (en) | Information processing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |