CN111023999A - 一种基于空间编码结构光的稠密点云生成方法 - Google Patents
一种基于空间编码结构光的稠密点云生成方法 Download PDFInfo
- Publication number
- CN111023999A CN111023999A CN201911364596.2A CN201911364596A CN111023999A CN 111023999 A CN111023999 A CN 111023999A CN 201911364596 A CN201911364596 A CN 201911364596A CN 111023999 A CN111023999 A CN 111023999A
- Authority
- CN
- China
- Prior art keywords
- structured light
- light image
- point
- points
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2509—Color coding
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供了基于空间编码结构光的稠密点云生成方法,属于主动式三维视觉测量技术领域,设计正弦条纹模式和随机点模式,编码到不同的颜色通道,得到空间编码结构光模式,投射到被测物体表面,相机同步拍摄得到结构光图像;提取左结构光图像和右结构光图像的条纹中心点,计算左、右条纹中心点的空间相关相似度,进行匹配;对同一行相邻的两对匹配中心点对之间的所有像素点构成的序列,获取每个像素点的相位信息,对相邻的两对匹配中心点对之间的所有像素点进行亚像素级匹配,最后计算所有匹配点的三维坐标。本发明能够精确高效地对颜色复杂的被测物体或运动目标进行三维重建,获得稠密的三维点云数据。
Description
技术领域
本发明涉及主动式三维视觉测量技术领域,具体涉及一种可简单、快速、精确地获取被测物体或运动场景三维点云数据的基于空间编码结构光的稠密点云生成方法。
背景技术
基于结构光的点云生成技术通过结构光投影仪将编码结构光模式投射到被测物体表面,用相机同步拍摄得到结构光图像,再通过对变形的结构光图像进行解码处理,最后基于三角测量原理计算获取物体表面的三维点云数据。该技术在三维人脸成像、工业产品质量检测、钢轨探伤检测等多个领域有广泛应用。随着科学技术的迅速发展,传统的点云生成技术己不能满足复杂物体或运动场景下快速三维形态测量的需要,高速、实时三维形态测量已成为点云生成技术的发展趋势。因此,需要提供一种简单、快速和精确地对被测物体或运动场景获取三维点云数据的方法,以解决现阶段点云生成方法算法复杂、耗时、精度低的问题。
发明内容
本发明的目的在于提供一种提高了获取颜色、纹理复杂的被测物体以及对运动场景或运动目标的三维点云数据的速度、精度的基于空间编码结构光的稠密点云生成方法,以解决上述背景技术中存在的至少一项技术问题。
为了实现上述目的,本发明采取了如下技术方案:
本发明提供一种基于空间编码结构光的稠密点云生成方法,包括如下流程步骤:
步骤S110:根据相机和结构光投影仪的参数,设计正弦条纹模式和随机点模式,并编码到不同的颜色通道,组合得到新的空间编码结构光模式;
步骤S120:通过结构光投影仪将空间编码结构光模式投射到被测物体表面,使用结构光投影仪左右两侧的所述相机分别同步拍摄得到左结构光图像和右结构光图像;
步骤S130:基于条纹中心定位法,对左结构光图像和右结构光图像的条纹中心位置进行定位;
步骤S140:基于随机点模式,计算左结构光图像和右结构光图像条纹中心点的空间相关相似度,并进行匹配;
步骤S150:对同一行相邻的两对匹配中心点对之间的所有像素点构成的序列,采用傅立叶变换获取每个像素点的相位信息;
步骤S160:基于相位信息,对相邻的两对匹配中心点对之间的所有像素点进行亚像素级的匹配,最后计算所有匹配点的三维坐标。
优选的,所述步骤S110包括:
步骤S111:根据结构光投影仪的分辨率、灰度值范围参数信息,设置对应的正弦函数,生成正弦条纹模式;
步骤S112:根据相机分辨率和结构光投影仪分辨率在水平以及垂直方向上的比值,设置对应的随机点尺寸、分布密度,生成随机点模式;
步骤S113:将正弦条纹模式和随机点模式使用不同的颜色通道进行编码,得到新的空间编码结构光模式。
优选的,所述步骤S120包括:
通过结构光投影仪将空间编码结构光模式投射到被测物体表面,然后使用左、右两侧的相机分别同步拍摄得到左结构光图像和右结构光图像,分别记为IL和IR;
对左结构光图像IL和右结构光图像IR进行畸变校正和立体校正,得到校正后的结构光图像,分别记为IL′、IR′。
优选的,所述步骤S130具体包括:
步骤S133:基于Hession矩阵确定粗条纹中心点的法线方向,在法线方向上利用泰勒展开实现条纹中点心的精确定位,得到左、右结构光图像第i行的条纹中心点坐标序列,分别记为其中,j=1,2,3,...,NL,k=1,2,3,...,NR,NL表示左结构光图像第i行提取到的条纹中心点数量,NR表示右结构光图像第i行提取到的条纹中心点数量。
优选的,所述步骤S140中,对左结构光图像第i行第j个条纹中心点基于随机点模式,采用零均值归一化相关算法,计算其与右结构光图像第i行每个条纹中心点的空间相关相似度,选取相似度最高的点作为的匹配点,记为
优选的,所述步骤S150具体包括:
步骤S151:对左结构光图像第i行相邻的2个条纹中心点对应的右结构光图像第i行上的条纹中心点分别是点和之间所有像素点构成的序列记为IL(u,i),点和之间所有像素点构成的序列记为IR(v,i),其中,对IL(u,i)、IR(v,i)进行傅立叶变换;
步骤S152:采用带通滤波器对傅立叶变换的结果进行滤波,分别获取主复频率分量;
步骤S153:根据主复频率分量使用反正切函数计算相位,分别记为φL(u,i)、φR(v,i)。
优选的,所述步骤S160包括:
对左结构光图像第i行相邻的2个条纹中心点和之间的每一个像素点(u,i),根据其相位信息,计算出在右结构光图像和之间相位接近点,记为(v,i);点(u,i)和(v,i)的视差记为d=u-v;对视差进行亚像素级优化,计算出亚像素级视差dsub,则最终得到与点(u,i)匹配的点是(u+dsub,i);最后,基于三角测量原理,计算所有匹配点的三维坐标,得到被测物体表面的稠密点云数据。
优选的,亚像素级视差dsub的计算公式如下:
本发明有益效果:基于结构光投影仪和2个相机,能够精确高效地对颜色复杂的被测物体或运动目标进行三维重建,获得稠密的三维点云数据;为高速运动目标的三维重建提供了快速、准确、可靠的理论技术支持。
本发明附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例所述的基于空间编码结构光的稠密点云生成方法的流程示意图。
图2为本发明实施例所述的基于空间编码结构光的稠密点云生成方法所设计的一种空间编码结构光模式。
图3为本发明实施例所述的基于空间编码结构光的稠密点云生成方法的结构光系统示意图。
具体实施方式
下面通过参考附图描述的实施方式是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或模块,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、模块和/或它们的组。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样定义,不会用理想化或过于正式的含义来解释。
为便于对本发明实施例的理解,下面将结合附图以具体实施例为例做进一步的解释说明,且实施例并不构成对本发明实施例的限定。
本领域普通技术人员应当理解的是,附图只是一个实施例的示意图,附图中的部件或装置并不一定是实施本发明所必须的。
实施例
如图1所示,本发明实施例提供一种基于空间编码结构光的稠密点云生成方法,所述方法包括:
步骤S1:根据相机和结构光投影仪的参数,设计正弦条纹模式和随机点模式,并将两种模式编码到不同的颜色通道,组合得到新的空间编码结构光模式;图2展示了一种由红通道正弦条纹模式和蓝通道随机点模式组合成的空间编码结构光模式;
步骤S2:通过结构光投影仪将结构光模式投射到被测物体表面,相机同步拍摄得到结构光图像;
步骤S3:基于条纹中心定位法,对结构光图像的条纹中心位置进行定位;
步骤S4:基于随机点模式,计算左、右结构光图像条纹中心点的空间相关相似度,并进行匹配;
步骤S5:对同一行相邻的两对匹配中心点对之间的所有像素点构成的序列,采用傅立叶变换获取每个像素点的相位信息;
步骤S6:基于相位信息,对相邻的两对匹配中心点对之间的所有像素点进行亚像素级的匹配,最后计算所有匹配点的三维坐标。
所述步骤S1包括:
步骤S11:根据结构光投影仪的分辨率、灰度值范围等参数信息,设置合适的正弦(余弦)函数,生成正弦条纹模式;
步骤S12:根据相机分辨率和结构光投影仪分辨率在水平、垂直方向上的比值,设置合理的随机点尺寸、分布密度,生成随机点模式;
步骤S13:将正弦条纹模式和随机点模式使用不同的颜色通道进行编码,得到新的空间编码结构光模式。
所述的结构光系统由1个结构光投影仪和2个相机组成,如图3所示。
所述的结构光系统在采集图像之前,需要对2个相机进行双目标定。
所述的结构光系统在采集结构光图像时,首先通过结构光投影仪将空间编码结构光模式投射到物体表面,然后2个相机同步拍摄结构光图像,得到左、右结构光图像,分别记为LL和IR。
相机拍摄得到结构光图像后,需要对左结构光图像LL和右结构光图像IR进行畸变校正和立体校正,得到校正后的结构光图像,分别记为L′L、I′R。
所述步骤S3包括:
步骤S33:基于Hession矩阵确定粗条纹中心点的法线方向,在法线方向上利用泰勒展开实现条纹中点心的精确定位,得到左、右结构光图像第i行的条纹中心点坐标序列,分别记为其中,其中,j=1,2,3,...,NL,k=1,2,3,...,NR,NL表示左结构光图像第i行提取到的条纹中心点数量,NR表示右结构光图像第i行提取到的条纹中心点数量。
所述步骤S5包括:
步骤S52:采用合适的带通滤波器,对傅立叶变换的结果进行滤波,只保留最主要的一个复频率分量;
步骤S53:使用反正切函数计算相位,记为φL(u,i);
所述步骤S6包括:
对左结构光图像第i行相邻的2个条纹中心点和之间的每一个像素点(u,i),根据其相位信息,计算出在右结构光图像和之间相位最接近的点,记为(v,i);此时,点(u,i)和(v,i)的视差记为d=u-v;然后对视差进行亚像素级优化,计算出亚像素级视差dsub,则最终得到与点(u,i)匹配的点是(u+dsub,i);最后,基于三角测量原理,计算所有匹配点的三维坐标,得到被测物体表面的稠密点云数据。
亚像素级视差dsub的计算公式为:
综上所述,本发明实施例所述的基于空间编码结构光的稠密点云生成方法,基于结构光投影仪和位于左右两侧的相机所组成的结构光系统,能够精确高效地对颜色复杂的被测物体或运动目标进行三维重建,获得稠密的三维点云数据。该技术为高速运动目标的三维重建提供了快速、准确、可靠的理论技术支持。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。
Claims (8)
1.一种基于空间编码结构光的稠密点云生成方法,其特征在于,包括如下流程步骤:
步骤S110:根据相机和结构光投影仪的参数,设计正弦条纹模式和随机点模式,并编码到不同的颜色通道,组合得到新的空间编码结构光模式;
步骤S120:通过结构光投影仪将空间编码结构光模式投射到被测物体表面,使用结构光投影仪左右两侧的所述相机分别同步拍摄得到左结构光图像和右结构光图像;
步骤S130:基于条纹中心定位法,对左结构光图像和右结构光图像的条纹中心位置进行定位;
步骤S140:基于随机点模式,计算左结构光图像和右结构光图像条纹中心点的空间相关相似度,并进行匹配;
步骤S150:对同一行相邻的两对匹配中心点对之间的所有像素点构成的序列,采用傅立叶变换获取每个像素点的相位信息;
步骤S160:基于相位信息,对相邻的两对匹配中心点对之间的所有像素点进行亚像素级的匹配,最后计算所有匹配点的三维坐标。
2.根据权利要求1所述的基于空间编码结构光的稠密点云生成方法,其特征在于,所述步骤S110包括:
步骤S111:根据结构光投影仪的分辨率、灰度值范围参数信息,设置对应的正弦函数,生成正弦条纹模式;
步骤S112:根据相机分辨率和结构光投影仪分辨率在水平以及垂直方向上的比值,设置对应的随机点尺寸、分布密度,生成随机点模式;
步骤S113:将正弦条纹模式和随机点模式使用不同的颜色通道进行编码,得到新的空间编码结构光模式。
3.根据权利要求2所述的基于空间编码结构光的稠密点云生成方法,其特征在于,所述步骤S120包括:
通过结构光投影仪将空间编码结构光模式投射到被测物体表面,然后使用左、右两侧的相机分别同步拍摄得到左结构光图像和右结构光图像,分别记为IL和IR;
对左结构光图像IL和右结构光图像IR进行畸变校正和立体校正,得到校正后的结构光图像,分别记为IL′、IR′。
4.根据权利要求3所述的基于空间编码结构光的稠密点云生成方法,其特征在于,所述步骤S130具体包括:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911364596.2A CN111023999B (zh) | 2019-12-26 | 2019-12-26 | 一种基于空间编码结构光的稠密点云生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911364596.2A CN111023999B (zh) | 2019-12-26 | 2019-12-26 | 一种基于空间编码结构光的稠密点云生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111023999A true CN111023999A (zh) | 2020-04-17 |
CN111023999B CN111023999B (zh) | 2020-12-01 |
Family
ID=70213689
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911364596.2A Active CN111023999B (zh) | 2019-12-26 | 2019-12-26 | 一种基于空间编码结构光的稠密点云生成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111023999B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116863085A (zh) * | 2023-09-04 | 2023-10-10 | 北京数慧时空信息技术有限公司 | 一种三维重建系统、三维重建方法、电子设备及存储介质 |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09210629A (ja) * | 1996-02-02 | 1997-08-12 | Canon Inc | 面位置検出装置及びそれを用いたデバイスの製造方法 |
CN1632451A (zh) * | 2004-12-31 | 2005-06-29 | 深圳大学 | 复合编码多分辨三维数字成像方法 |
CN101082481A (zh) * | 2007-07-16 | 2007-12-05 | 北京航空航天大学 | 基于相移的彩色编码光栅视觉测量方法 |
CN101788274A (zh) * | 2010-03-15 | 2010-07-28 | 电子科技大学 | 一种彩色复合光栅的三维面形测量方法 |
CN102445165A (zh) * | 2011-08-05 | 2012-05-09 | 南京航空航天大学 | 基于单幅彩色编码光栅的立体视觉测量方法 |
CN103968782A (zh) * | 2014-05-23 | 2014-08-06 | 四川大学 | 一种基于彩色正弦结构光编码的实时三维测量方法 |
CN104390607A (zh) * | 2014-11-05 | 2015-03-04 | 南昌航空大学 | 基于相位编码的彩色结构光快速三维测量方法 |
CN104501741A (zh) * | 2014-12-22 | 2015-04-08 | 四川大学 | 一种用于三维面形测量的正交光栅相移方法 |
CN104519342A (zh) * | 2013-09-30 | 2015-04-15 | 联想(北京)有限公司 | 一种图像处理方法和装置 |
CN105043298A (zh) * | 2015-08-21 | 2015-11-11 | 东北大学 | 基于傅里叶变换无需相位展开的快速三维形貌测量方法 |
CN105937887A (zh) * | 2016-04-21 | 2016-09-14 | 复旦大学 | 基于三值化三色交叉网格条纹的三维面形测量方法 |
CN106802138A (zh) * | 2017-02-24 | 2017-06-06 | 杭州先临三维科技股份有限公司 | 一种三维扫描系统及其扫描方法 |
CN108592822A (zh) * | 2017-12-04 | 2018-09-28 | 湖南大学 | 一种基于双目相机及结构光编解码的测量系统及方法 |
CN108931209A (zh) * | 2018-05-04 | 2018-12-04 | 长春理工大学 | 一种高适应性的彩色物体三维重建方法 |
CN110095069A (zh) * | 2019-04-22 | 2019-08-06 | 西南交通大学 | 一种高铁白车身装配质量检测系统和方法 |
-
2019
- 2019-12-26 CN CN201911364596.2A patent/CN111023999B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09210629A (ja) * | 1996-02-02 | 1997-08-12 | Canon Inc | 面位置検出装置及びそれを用いたデバイスの製造方法 |
CN1632451A (zh) * | 2004-12-31 | 2005-06-29 | 深圳大学 | 复合编码多分辨三维数字成像方法 |
CN101082481A (zh) * | 2007-07-16 | 2007-12-05 | 北京航空航天大学 | 基于相移的彩色编码光栅视觉测量方法 |
CN101788274A (zh) * | 2010-03-15 | 2010-07-28 | 电子科技大学 | 一种彩色复合光栅的三维面形测量方法 |
CN102445165A (zh) * | 2011-08-05 | 2012-05-09 | 南京航空航天大学 | 基于单幅彩色编码光栅的立体视觉测量方法 |
CN104519342A (zh) * | 2013-09-30 | 2015-04-15 | 联想(北京)有限公司 | 一种图像处理方法和装置 |
CN103968782A (zh) * | 2014-05-23 | 2014-08-06 | 四川大学 | 一种基于彩色正弦结构光编码的实时三维测量方法 |
CN104390607A (zh) * | 2014-11-05 | 2015-03-04 | 南昌航空大学 | 基于相位编码的彩色结构光快速三维测量方法 |
CN104501741A (zh) * | 2014-12-22 | 2015-04-08 | 四川大学 | 一种用于三维面形测量的正交光栅相移方法 |
CN105043298A (zh) * | 2015-08-21 | 2015-11-11 | 东北大学 | 基于傅里叶变换无需相位展开的快速三维形貌测量方法 |
CN105937887A (zh) * | 2016-04-21 | 2016-09-14 | 复旦大学 | 基于三值化三色交叉网格条纹的三维面形测量方法 |
CN106802138A (zh) * | 2017-02-24 | 2017-06-06 | 杭州先临三维科技股份有限公司 | 一种三维扫描系统及其扫描方法 |
CN108592822A (zh) * | 2017-12-04 | 2018-09-28 | 湖南大学 | 一种基于双目相机及结构光编解码的测量系统及方法 |
CN108931209A (zh) * | 2018-05-04 | 2018-12-04 | 长春理工大学 | 一种高适应性的彩色物体三维重建方法 |
CN110095069A (zh) * | 2019-04-22 | 2019-08-06 | 西南交通大学 | 一种高铁白车身装配质量检测系统和方法 |
Non-Patent Citations (1)
Title |
---|
田劲东,彭翔: "一种复合编码的三维数字成像方法", 《中国激光》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116863085A (zh) * | 2023-09-04 | 2023-10-10 | 北京数慧时空信息技术有限公司 | 一种三维重建系统、三维重建方法、电子设备及存储介质 |
CN116863085B (zh) * | 2023-09-04 | 2024-01-09 | 北京数慧时空信息技术有限公司 | 一种三维重建系统、三维重建方法、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111023999B (zh) | 2020-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108053450B (zh) | 一种基于多约束的高精度双目相机标定方法 | |
US8837812B2 (en) | Image processing device, image processing method, and program | |
CN111192235B (zh) | 一种基于单目视觉模型和透视变换的图像测量方法 | |
CN107607060A (zh) | 一种应用于光栅三维投影测量中的相位误差补偿方法 | |
CN107170043A (zh) | 一种三维重建方法 | |
CN104596439A (zh) | 一种基于相位信息辅助的散斑匹配三维测量方法 | |
Dai et al. | A dual-frequency fringe projection three-dimensional shape measurement system using a DLP 3D projector | |
CN107967697B (zh) | 基于彩色随机二元编码结构照明的三维测量方法和系统 | |
CN111563952B (zh) | 基于相位信息与空间纹理特征实现立体匹配方法及系统 | |
CN110692084B (zh) | 用于导出场景的拓扑信息的装置和机器可读存储介质 | |
CN108063940B (zh) | 一种人眼跟踪裸眼3d显示系统的校正系统和方法 | |
CN107990846B (zh) | 基于单帧结构光的主被动结合深度信息获取方法 | |
CN109242957A (zh) | 一种基于多重约束的单帧编码结构光三维重建方法 | |
CN113091646B (zh) | 基于条纹标定的三维形貌测量方法 | |
JP2015021862A (ja) | 3次元計測装置及び3次元計測方法 | |
Furukawa et al. | One-shot entire shape acquisition method using multiple projectors and cameras | |
JP5761750B2 (ja) | 画像処理方法および装置 | |
CN113763540A (zh) | 一种基于散斑条纹混合调制的三维重建方法及设备 | |
CN116363226A (zh) | 一种实时的多相机多投影仪3d成像处理方法及装置 | |
CN111023999B (zh) | 一种基于空间编码结构光的稠密点云生成方法 | |
CN107103620B (zh) | 一种基于独立相机视角下空间采样的多光编码相机的深度提取方法 | |
CN115839677A (zh) | 高动态范围物体表面三维形貌测量方法及系统 | |
CN115719320A (zh) | 基于遥感影像的倾斜校正稠密匹配方法 | |
CN113865514B (zh) | 一种线结构光三维测量系统标定方法 | |
KR20190103833A (ko) | 실시간 3차원 데이터 측정 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |