CN108955573A - 一种编码结构光的阶次无损校正方法 - Google Patents
一种编码结构光的阶次无损校正方法 Download PDFInfo
- Publication number
- CN108955573A CN108955573A CN201810567952.XA CN201810567952A CN108955573A CN 108955573 A CN108955573 A CN 108955573A CN 201810567952 A CN201810567952 A CN 201810567952A CN 108955573 A CN108955573 A CN 108955573A
- Authority
- CN
- China
- Prior art keywords
- phase
- order
- corrected
- structured light
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2504—Calibration devices
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种编码结构光的阶次无损校正方法,所述方法包括以下步骤:构建由投影系统、以及相机组成的结构光三维测量系统;由相移法获取正常光栅顺序的包裹相位与改变相移顺序获得的包裹相位和并分别提取两组包裹相位的跳变位置D1和D2,再通过求相交的方法确定需校正位置P1;经过解包裹运算可得绝对相位值Φ(x,y),对绝对相位值Φ(x,y)采用相位比较方法对相位跳变点处P1处的阶次值进行校正;通过八邻域遍历寻找前述未处理完全的阶次噪声,并运用邻域相位比较方法对阶次噪声的阶次值进行校正。本发明解决了编码结构光所存在的阶次误差问题,并同时适用于静态与动态测试的阶次噪声校正环节。
Description
技术领域
本发明涉及三维测量的误差校正,属于光学三维测量技术领域,尤其涉及一种编码结构光的阶次无损校正方法。
背景技术
光学三维测量具备非接触测量、精度高的特点。作为光学测量的一个分支,编码结构光在近年来以其结构简单、鲁棒性高的特点被广泛应用于工业检测、人机交互、3D打印等多个行业的科学研究与商业应用中。
编码结构光系统由被测物体、投影设备、采集相机与计算机处理系统组成。在测量过程中,投影仪需投射两组不同的数字光栅于物体表面。由相机采集经过物体面型调制的光栅图像,再经计算机处理系统的解码与重构即可获得被测物体的三维信息。投射的两组数字光栅分别为相移数字光栅与编码数字光栅,该方法最显著的特点是编码数字光栅的编码长度与包裹相位的周期一一对应。相移数字光栅可通过相移法获得包裹相位值,编码数字光栅通过相应的解码算法可以解出包裹相位解包裹所对应的阶次值。由于相移法需要使用反正切函数对包裹相位进行求取,但反正切函数在-π/2或者π/2处存在值不稳定点;即使很小的环境噪声都将破坏编码数字光栅的编码值与包裹相位的一一对应关系,从而造成阶次误差。除此之外,由于基于相位的编码结构光技术具备相对较低的噪声阈值,除了在相位跳变点处会出现阶次误差,还有可能在表面出现阶次误差;这些阶次误差均将严重影响测量的精度。
在近十几年的研究过程中,有许多专家学者提出了一系列的解决方案试图对该问题进行解决。虽然基于相位单调性的滤波方法可以对阶次噪声进行滤除,但是该类方法无法将阶次噪声值滤除完全。基于相位跳变点的阶次噪声方法可以有效的校正基于强度的编码结构光测量结果,但是该类方法为专有算法,无法对基于相位的编码结构光测量结果进行修正。基于中值滤波的方法可以有效的滤除该类突变噪声;但中值滤波是邻域算子,很容易破坏相位信息的纹理结构,并造成误差传递的现象。整体而言,目前还没有一种良好的方法对编码结构光固有的这种阶次误差进行校正。
发明内容
本发明提供了一种编码结构光的阶次无损校正方法,本发明解决了编码结构光所存在的阶次误差问题,并同时适用于静态与动态测试的阶次噪声校正环节,详见下文描述:
一种编码结构光的阶次无损校正方法,所述方法包括以下步骤:
构建由投影系统、以及相机组成的结构光三维测量系统;
由相移法获取正常光栅顺序的包裹相位与改变相移顺序获得的包裹相位和并分别提取两组包裹相位的跳变位置D1和D2,再通过求相交的方法确定需校正位置P1;
经过解包裹运算可得绝对相位值Φ(x,y),对绝对相位值Φ(x,y)采用相位比较方法对相位跳变点处P1处的阶次值进行校正;
通过八邻域遍历寻找前述未处理完全的阶次噪声,并运用邻域相位比较方法对阶次噪声的阶次值进行校正。
其中,所述提取两组包裹相位的跳变位置D1和D2的求取方法为:
其中,Round()为四舍五入的圆整函数;为待处理运算点右侧一个像素点处的包裹相位值;为待处理运算点的包裹相位值。
进一步地,所述通过求相交的方法确定需校正位置P1的方法为:
P1=D1-D1∩D2。
其中,所述对绝对相位值Φ(x,y)采用相位比较方法对相位跳变点处P1处的阶次值进行校正具体为:
其中,Φf(x,y)为待处理数据点处由原始绝对相位值经过校正后所获取的校正结果,Φm(x,y)为待校正点处的中值滤波结果,Φ(x,y)为原始绝对相位数据值,m和f均没有实际含义,仅用于区分校正结果和滤波结果。
进一步地,所述通过八邻域遍历寻找前述未处理完全的阶次噪声,并运用邻域相位比较方法对阶次噪声的阶次值进行校正具体为:
搜索在已校正像素位置八邻域范围内的未校正点,并通过如下公式所示的邻域相位比较方法进行阶次校正:
ΦUn(x,y)为八邻域相位值,n=1,2...,8;ΦO(x,y)为已校正的中心相位值,该公式为逐点进行更新校正。
本发明提供的技术方案的有益效果是:
1、本发明可对编码结构光投影所固有的阶次误差进行无损校正,并因此能够增加基于相位的编码结构光投影技术的测量范围;
2、本发明仅利用简单的形态学运算算子进行运算,仅消耗较少的计算能力,因此可同时应用于动态或静态三维测量的阶次误差校正当中。
附图说明
图1为测量系统的结构示意图;
图2为一种编码结构光的阶次无损校正方法的流程图;
图3为正常光栅顺序的光栅序列、对应截面图及由该序列解出的包裹相位φ1;
图4为改变光栅顺序的光栅序列、对应截面图及由该序列解出的包裹相位
图5为本发明确定第一次需要滤波的位置P1(即需校正位置、也为相位跳变点)的示意图;
图6为本发明第二次滤波所采用的八邻域搜索方法的示意图;
图7为由phase-coding及Gray-code方法获得的原始静态数据图;
图8为由phase-coding及Gray-code方法获得的校正后的静态数据图;
图9为由phase-coding方法获得的校正前的原始动态数据图;
图10为由phase-coding方法获得的校正后的动态数据图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面对本发明实施方式作进一步地详细描述。
实施例1
一种编码结构光的阶次无损校正方法,参见图1-图8,该方法包括以下步骤:
101:构建由投影系统、以及相机组成的结构光三维测量系统;
102:由相移法(为投影测量领域的基本算法,本发明实施例对此不做赘述)获取正常光栅顺序的包裹相位与改变相移顺序获得的包裹相位和并分别提取两组包裹相位的跳变位置D1和D2,再通过求相交的方法确定需校正位置P1;
其中,步骤102中假设正常光栅顺序的光栅序列为(I1,I2,I3,......,In),即按照从小到大的顺序依次排列;改变相移顺序的光栅序列则为(I2,I3,......,In,I1),或其他头尾按循环变化的光栅序列,如光栅序列:(I3,I4,......,In,I1,I2),(I4,I5,......,In,I1,I2,I3)等。
图3展示了正常光栅顺序的光栅序列和对应横截面、以及由该光栅序列获得的包裹相位值图4为改变相移顺序的光栅序列和对应横截面、以及由该光栅序列获得的包裹相位值
由于相移法为本领域技术人员所公知的算法,因此获取包裹相位和的操作也为本领域的公知技术,本发明实施例对此不做赘述。
步骤102中的获取跳变位置D1和D2的求取方法为:
其中,Round()为四舍五入的圆整函数;为待处理运算点右侧一个像素点处的包裹相位值;为待处理运算点的包裹相位值。
进一步地,参见图5,确定需校正位置P1的求取方法如下所示:
P1=D1-D1∩D2 (2)
103:经过解包裹运算可得绝对相位值Φ(x,y),对绝对相位值Φ(x,y)采用相位比较方法对相位跳变点处P1处的阶次值进行校正;其中,步骤103中的通过相位比较方法对相位跳变点P1处的每一个像素点的阶次值进行校正,其实现过程如下所示:
其中,Φf(x,y)为待处理数据点处由原始绝对相位值经过校正后所获取的校正结果,Φm(x,y)为待校正点处的中值滤波结果,Φ(x,y)为原始绝对相位数据值,m和f均没有实际含义,仅用于区分校正结果和滤波结果。
104:通过八邻域遍历寻找前述步骤103未处理完全的阶次噪声,并运用邻域相位比较方法对阶次噪声的阶次值进行校正。
其中,步骤104中的搜索在已校正像素位置八邻域范围[1]内的未校正点,并通过公式(4)所示的邻域相位比较方法进行阶次校正:
ΦUn(x,y)为八邻域相位值,n=1,2...,8;ΦO(x,y)为已校正的中心相位值,该公式为逐点进行更新校正。
图6为八邻域搜索校正的示意图:O为无噪声的中心像素,黑色区域为已经校正的像素区域,白色区域为未经校正的像素区域,校正起始搜索位置处于O的左上角,其搜索方向为逆时针方向。在搜索过程中若遇到如4,6位置(黑色区域)所示的已校正像素,则跳过不进行处理;若为未校正像素,例如:1,2,3,5,7,8(白色区域)则采用公式(4)中的所示校正方法进行校正。
实施例2:
本发明实施例展现了对静态物体的校正测量结果,下面结合图1、图7和图8对具体校正过程进行进一步地介绍:
201:如图1所示,将由投影系统、相机、被测量物体组成的结构光三维测量系统进行组装,并构建成为三角测量关系;
其中,在实际实验过程中可依据视场角与精度需求自由调节投影系统、相机、与被测量物体之间构成的夹角大小。本发明实施例对此不做限制,仅以图1中的位置关系、角度为例进行说明。
202:将属于编码结构光类的phase-coding[2]与Gray-code(格雷码)的两组条纹依次投射到被测物体上,可获得如图7所示的绝对相位值;
其中,图7的x轴y轴表述了数据的图像位置(pixel),z轴表明了相位值的幅值(rad)。不受噪声干扰的相位值应呈现光滑的形态,但phase-coding与格雷码所获得的绝对相位值均出现了周期性(如x轴1000pixel位置)的阶次噪声;phase-coding的绝对相位还出现了非周期性的阶次噪声值。
203:应用实施例1中的步骤103和步骤104对阶次噪声进行校正,即依次可获得如图8左右两图所示的绝对相位、周期性及非周期性的阶次噪声被所提出的阶次校正方法剔除,呈现出表面光滑的形态。
即,绝对相位通过实施例1中的步骤103处理,周期性及非周期性的阶次噪声通过实施例1中的步骤104处理,从图7的结果中可以看出,通过本方法可以获得表面光滑的形态,达到了预期的效果,验证了本方法的可行性。
实施例3:
本发明实施例展现了对动态手型的校正测量结果(仅展示单独一帧),下面结合图1、图9和图10对具体校正过程进行进一步地介绍:
301:如图1所示,将由投影系统、相机组成的结构光三维测量系统组装好,将被测量物体放置在测量系统中。
其中,对投影系统、相机、以及被测量物体之间的位置关系、角度关系的具体要求,参见实施例2,本发明实施例对此不做赘述。
302:将属于编码结构光类的phase-coding的两组条纹序列投射到手上,可获得如图9所示的重建结果;
由图9所示,手掌表面出现了周期性的阶次噪声,并在手掌边缘等区域分布了较为密集的阶次噪声,阶次噪声对手掌表面的平滑度造成了很大的影响。
303:应用实施例1中的步骤104对阶次噪声进行序列校正,即可获得如图10所示的校正三维重建结果。
由图10所示,所有阶次噪声均得到剔除,展现出手掌完整的三维信息,实验表明该阶次校正算法能够实现动态阶次校正的功能,达到了预期的效果,验证了本方法的可行性。
参考文献
[1]左飞.数字图像处理:原理与实践:MATLAB版[M].电子工业出版社,2014:188-189
[2]Wang Y,Zhang S.Novel phase-coding method for absolute phaseretrieval.[J].Optics Letters,2012,37(11):2067.
本发明实施例对各器件的型号除做特殊说明的以外,其他器件的型号不做限制,只要能完成上述功能的器件均可。
本领域技术人员可以理解附图只是一个优选实施例的示意图,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (5)
1.一种编码结构光的阶次无损校正方法,其特征在于,所述方法包括以下步骤:
构建由投影系统、以及相机组成的结构光三维测量系统;
由相移法获取正常光栅顺序的包裹相位与改变相移顺序获得的包裹相位和并分别提取两组包裹相位的跳变位置D1和D2,再通过求相交的方法确定需校正位置P1;
经过解包裹运算可得绝对相位值Φ(x,y),对绝对相位值Φ(x,y)采用相位比较方法对相位跳变点处P1处的阶次值进行校正;
通过八邻域遍历寻找前述未处理完全的阶次噪声,并运用邻域相位比较方法对阶次噪声的阶次值进行校正。
2.根据权利要求1所述的一种编码结构光的阶次无损校正方法,其特征在于,所述提取两组包裹相位的跳变位置D1和D2的求取方法为:
其中,Round()为四舍五入的圆整函数;为待处理运算点右侧一个像素点处的包裹相位值;为待处理运算点的包裹相位值。
3.根据权利要求1所述的一种编码结构光的阶次无损校正方法,其特征在于,所述通过求相交的方法确定需校正位置P1的方法为:
P1=D1-D1∩D2。
4.根据权利要求1所述的一种编码结构光的阶次无损校正方法,其特征在于,所述
对绝对相位值Φ(x,y)采用相位比较方法对相位跳变点处P1处的阶次值进行校正具体为:
其中,Φf(x,y)为待处理数据点处由原始绝对相位值经过校正后所获取的校正结果,Φm(x,y)为待校正点处的中值滤波结果,Φ(x,y)为原始绝对相位数据值,m和f均没有实际含义,仅用于区分校正结果和滤波结果。
5.根据权利要求1所述的一种编码结构光的阶次无损校正方法,其特征在于,所述通过八邻域遍历寻找前述未处理完全的阶次噪声,并运用邻域相位比较方法对阶次噪声的阶次值进行校正具体为:
搜索在已校正像素位置八邻域范围内的未校正点,并通过如下公式所示的邻域相位比较方法进行阶次校正:
ΦUn(x,y)为八邻域相位值,n=1,2...,8;ΦO(x,y)为已校正的中心相位值,该公式为逐点进行更新校正。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810567952.XA CN108955573B (zh) | 2018-06-05 | 2018-06-05 | 一种编码结构光的阶次无损校正方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810567952.XA CN108955573B (zh) | 2018-06-05 | 2018-06-05 | 一种编码结构光的阶次无损校正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108955573A true CN108955573A (zh) | 2018-12-07 |
CN108955573B CN108955573B (zh) | 2020-03-06 |
Family
ID=64493166
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810567952.XA Active CN108955573B (zh) | 2018-06-05 | 2018-06-05 | 一种编码结构光的阶次无损校正方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108955573B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109373930A (zh) * | 2018-12-11 | 2019-02-22 | 太原科技大学 | 一种多频外差相位展开的误差补偿方法 |
CN110375671A (zh) * | 2019-02-19 | 2019-10-25 | 西安理工大学 | 一种相位误差的自校正方法 |
CN110530287A (zh) * | 2019-08-26 | 2019-12-03 | 西安交通大学 | 基于条纹级数不准度的解包裹相位误差检测与校正方法 |
CN110793463A (zh) * | 2019-09-25 | 2020-02-14 | 西安交通大学 | 一种基于相位分布的解包裹相位误差检测与校正方法 |
CN113028989A (zh) * | 2021-03-05 | 2021-06-25 | 苏州天准软件有限公司 | 物体的三维信息获取方法及装置 |
CN116152119A (zh) * | 2023-04-19 | 2023-05-23 | 北京现龙科技有限公司 | 用于条纹结构光的相位去噪方法、装置、设备及介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101271576A (zh) * | 2008-05-08 | 2008-09-24 | 上海交通大学 | 复杂光照与表面条件下棋盘格模式识别定位方法 |
US7593596B2 (en) * | 2005-11-17 | 2009-09-22 | Fujitsu Limited | Phase unwrapping method, program, and interference measurement apparatus |
CN103575237A (zh) * | 2013-11-12 | 2014-02-12 | 南昌航空大学 | 一种相移编码方法 |
CN105573093A (zh) * | 2015-12-16 | 2016-05-11 | 哈尔滨理工大学 | 基于最小二乘拟合相位型计算全息图编码误差校正方法 |
CN105606038A (zh) * | 2015-09-09 | 2016-05-25 | 深圳大学 | 一种相位测量轮廓术的gamma非线性校正方法、系统 |
CN106170679A (zh) * | 2015-09-02 | 2016-11-30 | 深圳大学 | 一种相位误差补偿方法及装置 |
CN106840036A (zh) * | 2016-12-30 | 2017-06-13 | 江苏四点灵机器人有限公司 | 一种适用于快速三维形貌测量的二元结构光优化方法 |
-
2018
- 2018-06-05 CN CN201810567952.XA patent/CN108955573B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7593596B2 (en) * | 2005-11-17 | 2009-09-22 | Fujitsu Limited | Phase unwrapping method, program, and interference measurement apparatus |
CN101271576A (zh) * | 2008-05-08 | 2008-09-24 | 上海交通大学 | 复杂光照与表面条件下棋盘格模式识别定位方法 |
CN103575237A (zh) * | 2013-11-12 | 2014-02-12 | 南昌航空大学 | 一种相移编码方法 |
CN106170679A (zh) * | 2015-09-02 | 2016-11-30 | 深圳大学 | 一种相位误差补偿方法及装置 |
CN105606038A (zh) * | 2015-09-09 | 2016-05-25 | 深圳大学 | 一种相位测量轮廓术的gamma非线性校正方法、系统 |
CN105573093A (zh) * | 2015-12-16 | 2016-05-11 | 哈尔滨理工大学 | 基于最小二乘拟合相位型计算全息图编码误差校正方法 |
CN106840036A (zh) * | 2016-12-30 | 2017-06-13 | 江苏四点灵机器人有限公司 | 一种适用于快速三维形貌测量的二元结构光优化方法 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109373930A (zh) * | 2018-12-11 | 2019-02-22 | 太原科技大学 | 一种多频外差相位展开的误差补偿方法 |
CN109373930B (zh) * | 2018-12-11 | 2020-06-05 | 太原科技大学 | 一种多频外差相位展开的误差补偿方法 |
CN110375671A (zh) * | 2019-02-19 | 2019-10-25 | 西安理工大学 | 一种相位误差的自校正方法 |
CN110375671B (zh) * | 2019-02-19 | 2021-04-02 | 西安理工大学 | 一种相位误差的自校正方法 |
CN110530287A (zh) * | 2019-08-26 | 2019-12-03 | 西安交通大学 | 基于条纹级数不准度的解包裹相位误差检测与校正方法 |
CN110530287B (zh) * | 2019-08-26 | 2021-01-19 | 西安交通大学 | 基于条纹级数不准度的解包裹相位误差检测与校正方法 |
CN110793463A (zh) * | 2019-09-25 | 2020-02-14 | 西安交通大学 | 一种基于相位分布的解包裹相位误差检测与校正方法 |
CN113028989A (zh) * | 2021-03-05 | 2021-06-25 | 苏州天准软件有限公司 | 物体的三维信息获取方法及装置 |
CN116152119A (zh) * | 2023-04-19 | 2023-05-23 | 北京现龙科技有限公司 | 用于条纹结构光的相位去噪方法、装置、设备及介质 |
CN116152119B (zh) * | 2023-04-19 | 2023-07-14 | 北京现龙科技有限公司 | 用于条纹结构光的相位去噪方法、装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN108955573B (zh) | 2020-03-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108955573A (zh) | 一种编码结构光的阶次无损校正方法 | |
CN113643378B (zh) | 多相机环境中主动式刚体的位姿定位方法及相关设备 | |
US7274388B2 (en) | System and method for calibrating a camera with one-dimensional objects | |
US11575873B2 (en) | Multispectral stereo camera self-calibration algorithm based on track feature registration | |
KR100730611B1 (ko) | 전자 워터마크 삽입 장치, 전자 워터마크 검출 장치 및그들의 방법 및 프로그램 | |
CN101882207B (zh) | Data Matrix码条码解码芯片及其解码方法 | |
Xu et al. | A simple calibration method for structured light-based 3D profile measurement | |
CN109886351B (zh) | 高光谱数据和高分辨率图像融合方法 | |
JP2014505855A (ja) | シーン内の奥行き値を測定する方法 | |
CN114503440A (zh) | 基于树的点云编解码的角度模式 | |
KR20050109543A (ko) | 전자 워터마크 매립장치, 전자 워터마크 검출장치, 및 그방법, 및 프로그램 | |
CN113129430B (zh) | 基于双目结构光的水下三维重建方法 | |
CN114111633A (zh) | 结构光三维测量的投影机镜头畸变误差校正方法 | |
CN113513981A (zh) | 基于双目立体视觉的多目标并行测量方法、系统、设备及存储介质 | |
NL2016286B1 (en) | Displacement sensor. | |
CN101923632A (zh) | Maxi Code条码解码芯片及其解码方法 | |
Su et al. | Image denoising based on learning over-complete dictionary | |
CN111340957B (zh) | 测量方法和系统 | |
Paudel et al. | Sampling algebraic varieties for robust camera autocalibration | |
CN108876863B (zh) | 高光谱相机成像校正方法及装置 | |
Jia et al. | Fractional‐integral‐operator‐based improved SVM for filtering salt‐and‐pepper noise | |
KR100375831B1 (ko) | 영상의 질감도를 기반으로 한 영상 db 브라우징 및 소팅방법 | |
CN109719951A (zh) | 3d打印扫描系统 | |
CN103944581B (zh) | 基于精炼和分块搜索的重构稀疏信号方法 | |
Zhang et al. | Design of Binary Robust Independent Elementary Features through Compressive Sensing View |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |