CN110346117B - 一种鱼眼镜头超宽视场下光斑高精度定位方法 - Google Patents
一种鱼眼镜头超宽视场下光斑高精度定位方法 Download PDFInfo
- Publication number
- CN110346117B CN110346117B CN201910516703.2A CN201910516703A CN110346117B CN 110346117 B CN110346117 B CN 110346117B CN 201910516703 A CN201910516703 A CN 201910516703A CN 110346117 B CN110346117 B CN 110346117B
- Authority
- CN
- China
- Prior art keywords
- spot
- light spot
- fisheye lens
- circular
- deformed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000003384 imaging method Methods 0.000 claims abstract description 42
- 238000009826 distribution Methods 0.000 claims abstract description 40
- 230000003287 optical effect Effects 0.000 claims abstract description 6
- 230000000007 visual effect Effects 0.000 claims abstract description 3
- 230000004807 localization Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 241000251468 Actinopterygii Species 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
- G01M11/02—Testing optical properties
- G01M11/0242—Testing optical properties by measuring geometrical properties or aberrations
- G01M11/0257—Testing optical properties by measuring geometrical properties or aberrations by analyzing the image formed by the object to be tested
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提出了一种鱼眼镜头超宽视场下光斑高精度定位方法,包括如下步骤:对于鱼眼镜头成像光斑,检测得到该光斑的光功率;计算不考虑鱼眼镜头畸变的圆形光斑轮廓,根据该圆形光斑轮廓计算考虑鱼眼镜头畸变的畸形光斑轮廓;根据光功率和圆形光斑轮廓,计算不考虑鱼眼镜头畸变的圆形光斑能量分布;根据畸形光斑轮廓和圆形光斑能量分布,计算考虑鱼眼镜头畸变的畸形光斑能量分布;根据畸形光斑能量分布得到畸形光斑的信号强度和噪声强度,再利用改进的质心定位算法对鱼眼镜头超宽视场下光斑进行定位。本方法解决了鱼眼镜头畸变对光斑定位的影响,从而实现超宽视场下激光信号的高精度定位。
Description
技术领域
本发明属于计算机视觉以及计算机图形学领域,涉及一种鱼眼镜头超宽视场下光斑高精度定位方法。
背景技术
在机器视觉、全景摄影、安防监控以及虚拟现实等领域,鱼眼镜头由于其超宽的视场范围(一般达到甚至超过180°),得到越来越广泛的应用。但是,鱼眼相机存在严重的畸变,主要包含径向畸变以及切向畸变。其中,径向畸变表现为图像的压缩,即把大视场范围的光线压缩在一个有限的圆内,是鱼眼镜头图像的主要畸变;切向畸变表现为由于镜头制作工艺的不完全对称性,导致在切向的偏移,为微小的畸变。
对于激光入射光束的定位由两个步骤组成,分别是“光斑定位”实现成像光斑的亚像素定位以及“光斑位置到入射角度的映射”把光斑位置映射到入射光束的角度。目前,在计算机视觉以及计算机图形学等领域,对鱼眼镜头畸变矫正的研究很多,主要分为基于硬件测量的畸变矫正和基于模板图像的畸变矫正,都已经取得很好的矫正效果。因此,通过对鱼眼镜头的畸变矫正,可以对鱼眼镜头进行标定,从而实现光斑位置与光束入射角度的映射。接下来,就需要对入射光束的光斑进行定位。
目前,质心定位和高斯曲线拟合是主要的亚像素定位算法,它们都是通过位置和灰度值建立光斑的数学模型,从而高精度地确定光斑中心。但是,这些算法都对噪声敏感。而且,由于鱼眼镜头畸变的影响,成像光斑的能量分布一般不再满足高斯分布,光斑形状不再为圆形,导致光斑定位精度偏差很大。
发明内容
为了克服上述技术的不足,本发明提出了一种鱼眼镜头超宽视场下光斑高精度定位方法,解决鱼眼镜头畸变对光斑定位的影响,从而实现超宽视场下激光信号的高精度定位。
本发明采用的技术方案如下:
一种鱼眼镜头超宽视场下光斑高精度定位方法,包括如下步骤:
对于鱼眼镜头成像光斑,检测得到该光斑的光功率;
计算不考虑鱼眼镜头畸变的圆形光斑轮廓,根据该圆形光斑轮廓计算考虑鱼眼镜头畸变的畸形光斑轮廓;
根据光功率和圆形光斑轮廓,计算不考虑鱼眼镜头畸变的圆形光斑能量分布;
根据畸形光斑轮廓和圆形光斑能量分布,计算考虑鱼眼镜头畸变的畸形光斑能量分布;
根据畸形光斑能量分布得到畸形光斑的信号强度和噪声强度,再利用改进的质心定位算法对鱼眼镜头超宽视场下光斑进行定位。
进一步地,计算圆形光斑轮廓的公式如下:
(x1-x0)2+(y1-y0)2=r2,
其中,(x1,y1)为圆形光斑轮廓上的点,(x0,y0)为圆形光斑的中心,r为圆形光斑的半径。
进一步地,根据如下畸形光斑坐标与圆形光斑坐标的关系式:
得到如下畸形光斑轮廓的公式:
其中,(x2,y2)为畸形光斑轮廓上的点,d为成像平面与鱼眼镜头的距离,k为等距投影模型的畸变系数;
利用上述畸形光斑轮廓的公式计算畸形光斑轮廓。
进一步地,计算畸形光斑能量分布的公式如下:
其中,Ps为光斑的光功率,b是以像素为单位的高斯光斑半径,d为成像平面与鱼眼镜头的距离,k为等距投影模型的畸变系数,(x0,y0)是高斯能量分布的中心,(x2,y2)为畸形光斑轮廓上的点。
进一步地,计算圆形光斑能量分布的公式如下:
其中,Ps为光斑的光功率,b是以像素为单位的高斯光斑半径,(x0,y0)是高斯能量分布的中心,(x1,y1)为圆形光斑轮廓上的点。
进一步地,改进的质心定位算法的表达式如下:
其中,T是背景相关的阈值,p和q是鱼眼镜头相关的加权窗口的长宽,Sij为第(i,j)个像素点的信号强度,nij为第(i,j)个像素点的噪声强度。
进一步地,p和q取值范围为3~5个像素。
进一步地,阈值T根据加权窗口周围背景强度的均值确定,确定阈值后,将低于阈值的像素信号强度置零。
本发明首先对鱼眼镜头下成像光斑的轮廓形状以及能量分布先进行不考虑畸变情况下计算,再通过畸变关系计算鱼眼镜头下产生畸变的轮廓形状及能量分布,然后利用改进的质心定位算法对光斑进行高精度定位。测试结果表明,不论是否存在背景辐射噪声,此方法相对经典质心定位算法都能获得更高的光斑定位精度,为后续的激光信号的角度定位提供基础,从而实现目标激光信号的高精度定位。
附图说明
图1是鱼眼镜头成像模型示意图。
图2A是成像光斑的无畸变轮廓形状图,图2B是成像光斑的畸变后轮廓形状图。
图3A-3B是高斯光斑的能量分布在xy平面内的投影图和三维能高图。
图4A-4B是畸变后光斑的能量分布在xy平面内的投影图和三维能高图。
图5是成像光斑位置与模板窗口的关系(m=n=3)图。
图6是光斑定位算法精度比较曲线图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,结合附图和具体实施方式对本发明作进一步详细的说明。
激光信号的角度定位主要由两个步骤组成,分别是“光斑定位”实现成像光斑的亚像素定位以及“光斑位置到入射角度的映射”把光斑位置映射到入射光束的角度。本发明主要解决光斑高精度定位的问题。
首先,对鱼眼镜头下成像光斑的轮廓形状以及能量分布进行建模分析。
鱼眼镜头的成像,是将三维空间内的点变换到二维成像面上的过程。常用的鱼眼成像模型有等距投影、等立体角投影和正弦投影等。以等距投影为例,不失一般性,鱼眼镜头成像模型如图1所示。由图可以看出,鱼眼镜头等距投影成像模型包含两个坐标系,分别是鱼眼镜头坐标系(xl,yl,zl)和成像面坐标系(x,y)。空间中一点P,以入射角(θ,φ)入射到鱼眼镜头坐标系(xl,yl,zl)中,然后投影在成像面(x,y)上。其中,P’是空间点P经过小孔成像模型在成像面上的投影,P”是成像点P’畸变后的点。
对于高斯光束入射情况,如果不考虑鱼眼镜头畸变对成像光斑的影响,经过常规的阈值处理后,在成像面上将形成一个圆形光斑,且P’为成像圆形光斑的中心。假设位于圆形光斑边缘上的点的坐标为(x1,y1),则(x1,y1)满足:
(x1-x0)2+(y1-y0)2=r2 (1)
其中,r为圆形光斑的半径。
设r1是圆形光斑边缘上的点在极坐标下的半径,φ1是极坐标下的偏移角,则根据极坐标和直角坐标的转换关系得到:
根据小孔成像模型的成像特点得到:
r1=d tanθ (3)
其中,d为成像平面与鱼眼镜头的距离。
如果考虑鱼眼镜头对成像光斑的影响,入射光会产生畸变,新的投影为P”,相应的光斑形状也会发生改变,为便于说明,本发明称之为畸形光斑。在等距投影模型中,入射角相同的光在成像面上具有相等的径向距离,即
r2=kθ (4)
其中,k为等距投影模型的畸变系数。
因此,圆形光斑上的点(r1,φ1)与畸变后的坐标(r2,φ2)的关系满足:
同样,对于畸变后的畸形光斑,直角坐标和极坐标的转换关系为:
畸变后的畸形光斑坐标与畸变前圆形光斑坐标的关系为:
因此,畸变后的畸形光斑轮廓形状满足如下方程:
对于小孔成像模型,高斯光束的成像光斑的轮廓如图2A所示,为圆形光斑。经过等距投影模型畸变后,光斑形状如图2B所示,光斑轮廓为椭圆形。且从图2B可以看出,畸变后椭圆光斑更靠近成像面的光学中心,符合等距模型的特点。
如果不考虑鱼眼镜头畸变,成像圆形光斑能量分布近似满足高斯分布,可以表示为:
其中,Ps为镜头接收到的光功率,可以通过已有检测手段得到,b是以像素为单位的高斯光斑半径,(x0,y0)是高斯能量分布的中心。
根据式(2),将未考虑畸变时的直角坐标变换成极坐标,得到在极坐标下的高斯能量分布表达式:
根据式(5),得到畸变后的极坐标表示的能量分布表达式:
根据式(6),将畸变后用极坐标表示的能量分布转换成直角坐标系下的能量分布表达式,得到畸变后的畸形光斑能量分布:
对高斯光斑(即圆形光斑)和椭圆光斑(即畸形光斑)的能量分布进行仿真,得到图3A-3B和图4A-4B。由图可以看出,畸变前,光斑的能量满足高斯分布,光斑形状为圆形。但是,由于超宽视场鱼眼镜头带来的畸变,其能量分布不再满足高斯分布,畸形光斑形状为椭圆。
通过以上分析可知,鱼眼镜头的畸变会导致成像光斑变形。
为了获得高的光斑定位精度,本发明提出了改进的质心定位算法。它通过合适的阈值处理,降低背景噪声对光斑定位精度的影响;考虑鱼眼镜头对光斑成像的影响,选择合适的加权窗口来求取光斑中心。改进的质心定位算法可以表示为:
其中,T是背景相关的阈值,p和q是鱼眼镜头相关的加权窗口的长和宽,Sij为第(i,j)个像素点的信号强度,nij为第(i,j)个像素点的噪声强度,信号强度和噪声强度可根据式(12)很容易得到。通常,选择最强信号的像素点周围p*q个像素,作为加权窗口,p和q取值范围在3~5个像素即可。阈值T的选取,可根据加权窗口周围背景强度的均值获得。
由于光斑能量在x轴和y轴方向对于光斑中心的对称性,在接下来的分析中只考虑光斑定位沿x轴的误差分布。而且,光斑中心(x0,y0)不一定位于像素的中心,这也会影响光斑定位的精度。如图5所示,通过阈值处理,即先确定阈值,根据阈值把低于阈值的像素信号强度置零,从而降低噪声干扰,选取加权窗口p=q=3,其光斑中心没有位于模板中间像素的中心。
比较经典质心定位算法(centroid algorithm)与本方法改进的质心定位算法(improved centroid algorithm),得到如图6所示的仿真结果,显示了无噪声(withoutnoise)、噪声均值(mean of noise)为5和10情况下的质心算法和改进的质心算法的曲线,其中横纵标为光斑中心(spot center)位置,纵坐标为质心偏差(bias of centroid)。由本图可以看出,随着背景噪声的增强,光斑定位的精度逐渐降低;不论是否存在背景噪声,改进的质心定位算法的光斑定位精度都高于经典质心定位算法。
以上实施例仅用以说明本发明的技术方案而非对其进行限制,本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明的精神和范围,本发明的保护范围应以权利要求书所述为准。
Claims (7)
1.一种鱼眼镜头超宽视场下光斑高精度定位方法,包括如下步骤:
对于鱼眼镜头成像光斑,检测得到该光斑的光功率;
计算不考虑鱼眼镜头畸变的圆形光斑轮廓,根据该圆形光斑轮廓计算考虑鱼眼镜头畸变的畸形光斑轮廓;
根据光功率和圆形光斑轮廓,计算不考虑鱼眼镜头畸变的圆形光斑能量分布;
根据畸形光斑轮廓和圆形光斑能量分布,计算考虑鱼眼镜头畸变的畸形光斑能量分布;
根据畸形光斑能量分布得到畸形光斑的信号强度和噪声强度,再利用改进的质心定位算法对鱼眼镜头超宽视场下光斑进行定位;
该改进的质心定位算法的表达式如下:
其中,T是背景相关的阈值,p和q是鱼眼镜头相关的加权窗口的长宽,Sij为第(i,j)个像素点的信号强度,nij为第(i,j)个像素点的噪声强度。
2.如权利要求1所述的方法,其特征在于,计算圆形光斑轮廓的公式如下:
(x1-x0)2+(y1-y0)2=r2;
其中,(x1,y1)为圆形光斑轮廓上的点,(x0,y0)为圆形光斑的中心,r为圆形光斑的半径。
6.如权利要求1所述的方法,其特征在于,p和q取值范围为3~5个像素。
7.如权利要求1所述的方法,其特征在于,阈值T根据加权窗口周围背景强度的均值确定,确定阈值后,将低于阈值的像素信号强度置零。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910516703.2A CN110346117B (zh) | 2019-06-14 | 2019-06-14 | 一种鱼眼镜头超宽视场下光斑高精度定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910516703.2A CN110346117B (zh) | 2019-06-14 | 2019-06-14 | 一种鱼眼镜头超宽视场下光斑高精度定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110346117A CN110346117A (zh) | 2019-10-18 |
CN110346117B true CN110346117B (zh) | 2020-10-23 |
Family
ID=68182028
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910516703.2A Active CN110346117B (zh) | 2019-06-14 | 2019-06-14 | 一种鱼眼镜头超宽视场下光斑高精度定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110346117B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114543790B (zh) * | 2021-12-30 | 2024-05-10 | 浙江众星志连科技有限责任公司 | 一种微小卫星太阳敏感器的鬼影去除方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19539166A1 (de) * | 1994-10-21 | 1996-04-25 | Asahi Optical Co Ltd | Superweitwinkel-Varioobjektiv |
US6201574B1 (en) * | 1991-05-13 | 2001-03-13 | Interactive Pictures Corporation | Motionless camera orientation system distortion correcting sensing element |
CN102735431A (zh) * | 2012-06-21 | 2012-10-17 | 中国兵器工业第二0五研究所 | 光电稳瞄系统的瞄准线稳定精度测量方法 |
CN107730441A (zh) * | 2017-10-10 | 2018-02-23 | 邑客得(上海)信息技术有限公司 | 一种基于自校标定的鱼眼镜头高精度矫正方法 |
CN108627318A (zh) * | 2012-03-23 | 2018-10-09 | 卡尔蔡司Smt有限责任公司 | 测量euv镜头的成像质量的测量系统 |
CN109389639A (zh) * | 2018-07-16 | 2019-02-26 | 中国铁道科学研究院集团有限公司基础设施检测研究所 | 动态行车环境下钢轨轮廓激光条纹中心提取方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101804521B (zh) * | 2010-04-15 | 2014-08-20 | 中国电子科技集团公司第四十五研究所 | 一种振镜系统校正装置的校正方法 |
-
2019
- 2019-06-14 CN CN201910516703.2A patent/CN110346117B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6201574B1 (en) * | 1991-05-13 | 2001-03-13 | Interactive Pictures Corporation | Motionless camera orientation system distortion correcting sensing element |
DE19539166A1 (de) * | 1994-10-21 | 1996-04-25 | Asahi Optical Co Ltd | Superweitwinkel-Varioobjektiv |
CN108627318A (zh) * | 2012-03-23 | 2018-10-09 | 卡尔蔡司Smt有限责任公司 | 测量euv镜头的成像质量的测量系统 |
CN102735431A (zh) * | 2012-06-21 | 2012-10-17 | 中国兵器工业第二0五研究所 | 光电稳瞄系统的瞄准线稳定精度测量方法 |
CN107730441A (zh) * | 2017-10-10 | 2018-02-23 | 邑客得(上海)信息技术有限公司 | 一种基于自校标定的鱼眼镜头高精度矫正方法 |
CN109389639A (zh) * | 2018-07-16 | 2019-02-26 | 中国铁道科学研究院集团有限公司基础设施检测研究所 | 动态行车环境下钢轨轮廓激光条纹中心提取方法及装置 |
Non-Patent Citations (3)
Title |
---|
Using Geometric Constraints for Fisheye Camera Calibration;Tzung-Hsien Ho等;《Discover the world"s research》;20080831;全文 * |
一种扩展小孔成像模型的鱼眼相机矫正与标定方法;涂波等;《自动化学报》;20131220;全文 * |
基于双经度模型的鱼眼图像畸变矫正方法;魏利胜;《仪器仪表学报》;20150215;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110346117A (zh) | 2019-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10690492B2 (en) | Structural light parameter calibration device and method based on front-coating plane mirror | |
CN109146980B (zh) | 基于单目视觉的优化的深度提取和被动测距方法 | |
Xu et al. | Line structured light calibration method and centerline extraction: A review | |
JP5872818B2 (ja) | 測位処理装置、測位処理方法、および画像処理装置 | |
CN104748683B (zh) | 一种数控机床工件在线自动测量装置及测量方法 | |
CN107421473A (zh) | 基于图像处理的两束激光同轴度检测方法 | |
CN110189375B (zh) | 一种基于单目视觉测量的图像目标识别方法 | |
CN113324478A (zh) | 一种线结构光的中心提取方法及锻件三维测量方法 | |
CN110940312A (zh) | 一种结合激光设备的单目相机测距方法及系统 | |
KR101589167B1 (ko) | 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템 및 방법 | |
CN113884002A (zh) | 基于二三维信息融合的受电弓滑板上表面检测系统及方法 | |
CN107680035B (zh) | 一种参数标定方法和装置、服务器及可读存储介质 | |
CA3206206A1 (en) | Device and method for correspondence analysis in images | |
KR101597163B1 (ko) | 스테레오 카메라 교정 방법 및 장치 | |
CN114998448A (zh) | 一种多约束双目鱼眼相机标定与空间点定位的方法 | |
CN110346117B (zh) | 一种鱼眼镜头超宽视场下光斑高精度定位方法 | |
CN111738971B (zh) | 一种基于线激光双目立体视觉的电路板立体扫描检测方法 | |
CN108520541B (zh) | 一种广角摄像机的标定方法 | |
Guo et al. | Binocular stereo vision calibration based on accurate ellipse detection algorithm of direct calculation and grating conversion check | |
CN110487254B (zh) | 一种用于rov的水下目标尺寸快速测量方法 | |
CN110458951B (zh) | 一种电网杆塔的建模数据获取方法及相关装置 | |
CN117611525A (zh) | 一种受电弓滑板磨耗视觉检测方法和系统 | |
CN116402904A (zh) | 一种基于激光雷达间和单目相机的联合标定方法 | |
CN115046498B (zh) | 一种单目旋转结构光三维测量系统标定方法 | |
CN115239801A (zh) | 一种对象定位方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |