CN105758337A - 一种获取透镜平面与图像传感器平面之间夹角的方法 - Google Patents

一种获取透镜平面与图像传感器平面之间夹角的方法 Download PDF

Info

Publication number
CN105758337A
CN105758337A CN201410795007.7A CN201410795007A CN105758337A CN 105758337 A CN105758337 A CN 105758337A CN 201410795007 A CN201410795007 A CN 201410795007A CN 105758337 A CN105758337 A CN 105758337A
Authority
CN
China
Prior art keywords
angle
plane
vertical direction
labelling
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410795007.7A
Other languages
English (en)
Other versions
CN105758337B (zh
Inventor
丁亮
廖海龙
张宝忠
王明珠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Sunny Opotech Co Ltd
Original Assignee
Ningbo Sunny Opotech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Sunny Opotech Co Ltd filed Critical Ningbo Sunny Opotech Co Ltd
Priority to CN201410795007.7A priority Critical patent/CN105758337B/zh
Publication of CN105758337A publication Critical patent/CN105758337A/zh
Application granted granted Critical
Publication of CN105758337B publication Critical patent/CN105758337B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供一种获取透镜平面与传感器平面的夹角的方法,包括以下步骤:(1)藉由一图像采集设备采集一图像;(2)设计一标版,在标版中制定若干个标记点,其中所述标版的大小得以充满所述图像;(3)采用图像分割、检测及识别技术定位出每所述标记点的中心位置;和(4)通过一夹角测试软件计算出透镜平面与传感器平面之间水平方向和垂直方向的夹角。对两个标记点作直线,计算出水平方向的各相对称的两条直线之间的夹角以及竖直方向的各相对称的两条直线之间的夹角,通过直线之间的夹角得到水平方向的Tilt和垂直方向的Tilt,最终检测出Lens与Sensor平面之间的夹角,耗时短,精度高,可准确地反映出模组的品质。

Description

一种获取透镜平面与图像传感器平面之间夹角的方法
技术领域
本发明涉及透镜(Lens)平面与图像传感器(Sensor)平面之间夹角(Tilt)的测试方法领域,尤其涉及一种快速获取Lens平面与Sensor平面之间Tilt的方法。
背景技术
近几年来,随着手机镜头市场竞争的越来越激烈以及CCD或CMOS等芯片技术的发展,芯片的像素尺寸越来越小,对相配套的光学系统的成像质量要求也越来越高,促进了摄像头的研究与开发,使得摄像镜头往小型化且高像素领域快速发展,以满足人们对成像质量的需求。
随着手机行业的高速发展,模组制程工艺要求相应提升,现代的手机摄像头模组,产品小,各个部件更小,且高像素手机摄像模组对Tilt的要求非常严格,在实际生产中进行模组组装时,Lens平面与Sensor平面要做到百分之百的平行比较困难,这两个平面之间会存在一个夹角(Tilt),而这两个平面之间的Tilt过大可能会导致单边像模糊,使成像质量受到严重影响,这也直接影响到了产品的良率,因此,对于提高产品良率而言,如何缩小Lens平面与Sensor平面之间的Tilt非常重要,而在缩小这两个平面之间的Tilt之前,如何快速准确的获取Lens平面与Sensor平面之间的Tilt尤为重要,这也是当前一个重要的研究方向。
传统上是采用做离焦曲线计算出Lens平面与Sensor平面之间的Tilt,这种方法需要马达运行一段行程来得到多张图像进行计算,耗时较长,因此,本发明要解决的问题在于快速准确地获取Lens平面与Sensor平面之间的Tilt。
发明内容
本发明的主要目的在于提供一种获取透镜平面与图像传感器平面之间夹角的方法,以快速准确的测量出透镜(Lens)平面与图像传感器(Sensor)平面之间的夹角(Tilt),准确地反映出模组的品质。
本发明的另一目的在于提供一种获取透镜平面与图像传感器平面之间夹角的方法,只需要一张图像就可以获取Lens平面与Sensor平面之间的夹角,与传统的对多张图像进行计算的方法相比,本发明提供的测量方法简单,耗时较短,可以快速得出准确的结果。发明的另一目的在于提供一种获取透镜平面与图像传感器平面之间夹角的方法,通过采用图像分割、检测及识别技术,可以从单张图像中快速定位出若干个标记点的中心位置,然后对相应点进行拟合得到对应直线的斜率,最后通过两直线的夹角来得到水平方向的Tilt和垂直方向的Tilt,采用直线夹角来计算,可以有效提高算法的精度。
本发明的另一目的在于提供一种获取透镜平面与图像传感器平面之间夹角的方法,通过对同方向的多个夹角取平均值,有效的提高了测量的准确性。
本发明的另一目的在于提供一种获取透镜平面与图像传感器平面之间夹角的方法,采用局部动态分割法对标记点进行分割,可以防止实际成像过程中的标记点的亮度不一致导致的标记点轮廓不明显的问题。
本发明的另一目的在于提供一种获取透镜平面与图像传感器平面之间夹角的方法,在计算标记点的中心位置时,对于出边界的标记点和未出边界的标记点采用不同的算法,以提高算法的执行效率和准确性。
为满足本发明的以上目的和本发明的其他目的及优势,本发明提供一种获取透镜平面与图像传感器平面的夹角的方法,包括以下步骤:
(1)藉由一图像采集设备采集一图像;
(2)设计一标版,在标版中制定若干个标记点,其中所述标版的大小得以充满所述图像;
(3)采用图像分割、检测及识别技术定位出每所述标记点的中心位置;和
(4)通过一夹角测试软件计算出透镜平面与图像传感器平面之间水平方向和垂直方向的夹角。
其中在所述步骤(2)中,所述标记点包括至少两组水平方向标记点和至少两组垂直方向标记点,其中每组水平方向的标记点包括至少两个水平标记点,每组垂直方向的标记点包括至少两个垂直标记点,所述标记点在水平方向和垂直方向分别平行且对称,且所述标记点为线、块或点。
进一步地,对相对称的每组所述水平标记点、每组所述垂直标记点分别作直线,其中相对称的标记点之间的直线相对称,计算两组水平方向直线中的相对称的直线之间的夹角以及两组垂直方向直线中的相对称的直线的夹角,则所述步骤(4)中的透镜平面与图像传感器平面之间的水平方向及垂直方向的夹角分别为所有所述水平方向相对称的直线之间夹角的平均值及所有所述垂直方向相对称的直线之间夹角的平均值。
更进一步地,所述步骤(3)包括以下两个步骤:(a)采用局部动态分割法对所述标记点进行分割,根据所述图像中所述标记点的大小进行模板匹配,以识别所述标记点;和(b)获取所述标记点的中心坐标。
根据本发明一实施例,所述标记点为圆点,在获取所述圆点的中心坐标时,采用的算法如下:当所述标记点出界时,采用圆拟合算法来计算所述标记点的中心坐标;当所述标记点未出界时,采用平均法计算所述标记点的中心坐标。
根据本发明以实施例,每组所述水平方向的标记点为六个,每组所述垂直方向的标记点为四个,对两个标记点之间作直线,其中对每组所述水平方向的标记点分别作三条直线,计算两组水平方向中相对称的每两条直线之间的夹角,得出水平方向上的三个夹角;对每组所述垂直方向的标记点作两条直线,计算两组垂直方向中相对称的每两条直线之间的夹角,得出垂直方向上的两个夹角,则所述透镜平面与图像传感器平面之间的水平方向的夹角为所述水平方向的三个夹角的平均值,所述透镜平面与图像传感器平面之间的垂直方向的夹角为所述垂直方向的两个夹角的平均值。
附图说明
图1是本发明提供的获取Lens平面与Sensor平面之间Tilt的流程图。
图2是根据本发明的一个优选实施例设计的用于计算Tilt的Chart示意图。
图3是根据本发明的一个优选实施例设计的Chart中标记点的中心位置示意图。
图4是本发明的一个优选实施例中获取Lens平面与Sensor平面之间Tilt的流程图。
具体实施方式
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例,本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
在本发明提供的技术方案中,Tilt测试所包含的部件有:标版、光源、图像采集设备、模组以及对应的Tilt测试软件。
如图1及图4所示,本发明按照以下几个步骤来实施:
(一)采集图像
初始化图像传感器,点亮模组,使用所述图像采集设备采集得到所需的图像数据。其中所述图像采集设备需要具备传输稳定的特性,以确保采集图像时稳定无振动,保证采集图像的质量,此外,采集图像时,还要确保光源亮度均匀且稳定,以确保标版及光源的大小能够充满整个图像。
值得一提的是,本实施例中,采取本发明提供的技术方案,仅需选择一张图像就可完成Tilt的计算,这和传统利用多张图像来计算Tilt的方法相比,耗时较短,测试方法简单,计算快速。
(二)设计相应标版,在标版中制定若干个标记点
在Tilt测试过程中,需要设计一新的标版(Chart)用于计算Tilt。
根据实际需求,在标版设计中,要求制定若干个标记点,该标记点可为线、块或点,本实施例中采用的标记点称为Mark圆点,这些标记点要求水平方向和垂直方向上分别平行且对称。
本实施例的Chart如图2所示,包括两组水平Mark圆点以及两组垂直Mark圆点,其中每组水平Mark圆点为六个,两组之间的水平Mark圆点分别平行且对称,每组垂直Mark圆点为四个,两组之间的垂直Mark圆点分别平行且对称。
此外,值得一提的是,在设计所述相应标版时,要确保所述标版的大小能够充满整个图像,保证计算结果的准确性。
(三)定位出每个标记点的中心位置
在定位出每个标记点的中心位置时,需要结合其他相关技术,例如,提取图像的亮度Y分量数据,采用图像分割、检测及识别技术,从单张图像中快速定位出上述若干个标记点的中心位置,例如,定位出本实施例中Mark圆点的圆心。
本实施例以定位Mark圆点的圆心为例进行具体阐述。
首先,识别Mark圆点。由于图像中若干个Mark圆点分布在不同的位置,在实际模组成像过程中,导致有些Mark圆点的亮度会不一致,特别是在图像模糊的情况下,Mark圆点轮廓不明显,因此需采用局部动态分割法进行Mark圆点分割;然后根据图像实际Mark圆点的大小进行模板匹配,最终识别出Mark圆点。
其次,获取Mark圆点的中心坐标。在获取Mark圆点的中心坐标时,综合考虑算法的执行效率及准确性,根据Mark圆点是否出边界,而采用相应的算法来计算Mark圆点的圆心。如果Mark圆点未出边界,采用平均法计算Mark圆点的圆心;如果Mark圆点出边界,则采用圆拟合算法来计算Mark圆点的圆心。
如图3所示,图中的“+”就是按照上述方法计算出的各个Mark圆点的中心位置。其中第一组水平方向的Mark圆点的中心位置分别标记为O1、O2、O3、O4、O5、O6,第二组水平方向的Mark圆点的中心位置与第一组水平方向的Mark圆点的中心位置相对应,分别标记为O7、O8、O9、O10、O11、O12,第一组垂直方向的Mark圆点的中心位置分别标记为O13、O14、O15、O16,第二组垂直方向的Mark圆点的中心位置与第一组垂直方向的Mark圆点的中心位置相对应,分别标记为O17、O18、O19、O20
(四)计算出水平方向和垂直方向的Tilt
根据所述若干个标记点的中心位置,通过软件方法计算出对应直线组的夹角,然后对同方向的夹角取平均值,最终得到该方向的Tilt。而采用两直线夹角来计算,可以进一步提高算法的精度。
进一步地,在对标记点作直线时,可选择第一组水平方向的任意两个标记点作直线,但对第二组水平方向的标记点作直线时,第二组中的水平标记点要与第一组中的水平标记点相对称且平行,即两组水平方向上所作的直线相对称,以此计算出的这两条直线之间的夹角才更加准确,同理,对垂直方向的标记点作直线计算直线之间的夹角时也遵循这一原则,以提高计算结果的准确性。
进一步地,对于每一条直线,均对相应点进行拟合以得到对应直线的斜率,进而得到相对称的两直线之间的夹角。
如图3所示,根据本实施例中的Mark圆点的中心位置,在计算水平方向的Tilt时,本实施例优选为分别计算出直线O1O6与直线O7O12的夹角α1、直线O2O5与直线O8O11的夹角α2、直线O3O4与直线O9O10的夹角α3,假设水平方向的Tilt为α1、α2和α3的平均值;
在计算垂直方向的Tilt时,分别计算出直线O13O16与直线O17O20的夹角β1、直线O14O15与直线O18O19的夹角β2,则垂直方向的Tilt为β1和β2的平均值。
经过多次验证,本文提出的算法在粗调时计算出的Tilt值与传统做离焦曲线计算出的Tilt值相比,偏差在0.2度以内,而传统做离焦曲线时需要马达运行一段行程来得到多张图像进行计算,耗时长,而本文算法只需一张图像就可快速准确计算出水平方向和垂直方向的Tilt。
同理,当所述标记点选取的为线或块时,采取同样的流程及相似的方法对其进行计算,最终计算出Lens平面与Sensor平面之间的Tilt。
本领域的技术人员应理解,上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明,在没有背离所述原理下,本发明的实施方式可以有任何变形或修改。

Claims (13)

1.一种获取透镜平面与传感器平面之间夹角的方法,其特征在于,包括以下步骤:
(1)藉由一图像采集设备采集一图像;
(2)设计一标版,在标版中制定若干个标记点,其中所述标版的大小得以充满所述图像;
(3)采用图像分割、检测及识别技术定位出每所述标记点的中心位置;和
(4)通过一夹角测试软件计算出透镜平面与传感器平面之间水平方向和垂直方向的夹角。
2.如权利要求1所述的获取透镜平面与传感器平面之间夹角的方法,在所述步骤(2)中,所述标记点包括至少两组水平方向标记点和至少两组垂直方向标记点,其中每组水平方向的标记点包括至少两个水平标记点,每组垂直方向的标记点包括至少两个垂直标记点,所述标记点在水平方向和垂直方向分别平行且对称。
3.如权利要求2所述的获取透镜平面与传感器平面之间夹角的方法,对每组所述水平标记点、每组所述垂直标记点分别作直线,其中相对称的标记点之间的直线相对称,计算两组水平方向直线中的相对称的直线之间的夹角以及两组垂直方向直线中的相对称的直线之间的夹角。
4.如权利要求3所述的获取透镜平面与传感器平面之间夹角的方法,在所述步骤(4)中,透镜平面与传感器平面之间的水平方向及垂直方向的夹角分别为所有所述水平方向相对称的直线之间夹角的平均及所有所述垂直方向相对称的直线之间夹角的平均值。
5.如权利要求1、2、3或4任一所述的获取透镜平面与传感器平面之间夹角的方法,所述步骤(3)包括以下两个步骤:(a)采用局部动态分割法对所述标记点进行分割,根据所述图像中所述标记点的大小进行模板匹配,以识别所述标记点;和(b)获取所述标记点的中心坐标。
6.如权利要求5所述的获取透镜平面与传感器平面之间夹角的方法,在所述步骤(2)中,所述标记点为线、块或点。
7.如权利要求6所述的获取透镜平面与传感器平面之间夹角的方法,所述标记点为圆点,在获取所述圆点的中心坐标时,采用的算法如下:当所述标记点出界时,采用圆拟合算法来计算所述标记点的中心坐标;当所述标记点未出界时,采用平均法计算所述标记点的中心坐标。
8.如权利要求2、3或4任一所述的获取透镜平面与传感器平面之间夹角的方法,每组所述水平方向的标记点为六个,每组所述垂直方向的标记点为四个。
9.如权利要求7任一所述的获取透镜平面与传感器平面之间夹角的方法,每组所述水平方向的标记点为六个,每组所述垂直方向的标记点为四个。
10.如权利要求8所述的获取透镜平面与传感器平面之间夹角的方法,对两个标记点之间作直线,其中对每组所述水平方向的标记点分别作三条直线,计算两组水平方向中相对称的每两条直线之间的夹角,得出水平方向上的三个夹角;对每组所述垂直方向的标记点作两条直线,计算两组垂直方向中相对称的每两条直线之间的夹角,得出垂直方向上的两个夹角。
11.如权利要求9所述的获取透镜平面与传感器平面之间夹角的方法,对两个标记点之间作直线,其中对每组所述水平方向的标记点分别作三条直线,计算两组水平方向中相对称的每两条直线之间的夹角,得出水平方向上的三个夹角;对每组所述垂直方向的标记点作两条直线,计算两组垂直方向中相对称的每两条直线之间的夹角,得出垂直方向上的两个夹角。
12.如权利要求10所述的获取透镜平面与传感器平面之间夹角的方法,所述透镜平面与传感器平面之间的水平方向的夹角为所述水平方向的三个夹角的平均,所述透镜平面与传感器平面之间的垂直方向的夹角为所述垂直方向的两个夹角的平均值。
13.如权利要求11所述的获取透镜平面与传感器平面之间夹角的方法,所述透镜平面与传感器平面之间的水平方向的夹角为所述水平方向的三个夹角的平均,所述透镜平面与传感器平面之间的垂直方向的夹角为所述垂直方向的两个夹角的平均值。
CN201410795007.7A 2014-12-19 2014-12-19 一种获取透镜平面与图像传感器平面之间夹角的方法 Active CN105758337B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410795007.7A CN105758337B (zh) 2014-12-19 2014-12-19 一种获取透镜平面与图像传感器平面之间夹角的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410795007.7A CN105758337B (zh) 2014-12-19 2014-12-19 一种获取透镜平面与图像传感器平面之间夹角的方法

Publications (2)

Publication Number Publication Date
CN105758337A true CN105758337A (zh) 2016-07-13
CN105758337B CN105758337B (zh) 2018-09-04

Family

ID=56340691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410795007.7A Active CN105758337B (zh) 2014-12-19 2014-12-19 一种获取透镜平面与图像传感器平面之间夹角的方法

Country Status (1)

Country Link
CN (1) CN105758337B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108429908A (zh) * 2018-06-15 2018-08-21 昆山丘钛微电子科技有限公司 一种摄像模组的测试方法、装置、设备及介质
CN111220360A (zh) * 2020-01-03 2020-06-02 歌尔股份有限公司 一种摄像模组解析力的测试方法及测试装置
WO2020192218A1 (zh) * 2019-03-28 2020-10-01 歌尔股份有限公司 一种应用于光学系统的角度测量方法及测量装置
CN112414324A (zh) * 2020-12-22 2021-02-26 南昌航空大学 一种基于双目立体视觉的直升机旋翼桨叶扭转角测量方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1801896A (zh) * 2006-01-17 2006-07-12 东南大学 摄像机标定数据的采集方法及其标定板
CN101586948A (zh) * 2008-05-20 2009-11-25 鸿富锦精密工业(深圳)有限公司 镜头模组的倾斜角量测方法
CN102889879A (zh) * 2011-07-21 2013-01-23 安讯士有限公司 用于确定图像传感器的倾斜的方法
CN103530880A (zh) * 2013-10-16 2014-01-22 大连理工大学 基于投影高斯网格图案的摄像机标定方法
CN103813151A (zh) * 2012-11-02 2014-05-21 索尼公司 图像处理装置和方法、图像处理系统和程序
US20140160092A1 (en) * 2012-12-12 2014-06-12 Hon Hai Precision Industry Co., Ltd. Digital pen and digital writing apparatus

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1801896A (zh) * 2006-01-17 2006-07-12 东南大学 摄像机标定数据的采集方法及其标定板
CN101586948A (zh) * 2008-05-20 2009-11-25 鸿富锦精密工业(深圳)有限公司 镜头模组的倾斜角量测方法
CN102889879A (zh) * 2011-07-21 2013-01-23 安讯士有限公司 用于确定图像传感器的倾斜的方法
CN103813151A (zh) * 2012-11-02 2014-05-21 索尼公司 图像处理装置和方法、图像处理系统和程序
US20140160092A1 (en) * 2012-12-12 2014-06-12 Hon Hai Precision Industry Co., Ltd. Digital pen and digital writing apparatus
CN103530880A (zh) * 2013-10-16 2014-01-22 大连理工大学 基于投影高斯网格图案的摄像机标定方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108429908A (zh) * 2018-06-15 2018-08-21 昆山丘钛微电子科技有限公司 一种摄像模组的测试方法、装置、设备及介质
WO2020192218A1 (zh) * 2019-03-28 2020-10-01 歌尔股份有限公司 一种应用于光学系统的角度测量方法及测量装置
CN111220360A (zh) * 2020-01-03 2020-06-02 歌尔股份有限公司 一种摄像模组解析力的测试方法及测试装置
CN112414324A (zh) * 2020-12-22 2021-02-26 南昌航空大学 一种基于双目立体视觉的直升机旋翼桨叶扭转角测量方法
CN112414324B (zh) * 2020-12-22 2022-10-14 南昌航空大学 一种基于双目立体视觉的直升机旋翼桨叶扭转角测量方法

Also Published As

Publication number Publication date
CN105758337B (zh) 2018-09-04

Similar Documents

Publication Publication Date Title
WO2017092631A1 (zh) 鱼眼图像的畸变图像校正方法及鱼眼相机的标定方法
CN102768762B (zh) 一种针对盾构隧道病害数字照相检测的数码相机标定方法及其装置
CN101207833B (zh) 数码相机镜头光心偏移的检测方法
JP5206620B2 (ja) 部材の位置認識装置、位置決め装置、接合装置および部材の接合方法
CN105025290A (zh) 一种自动调整摄像模组传感器与镜头之间倾斜的方法
US11562478B2 (en) Method and system for testing field of view
CN105717513B (zh) 一种基于普通摄像头芯片的低成本激光测距方法
CN105758337A (zh) 一种获取透镜平面与图像传感器平面之间夹角的方法
WO2016155110A1 (zh) 图像透视畸变校正的方法及系统
WO2014106303A1 (en) Panoramic lens calibration for panoramic image and/or video capture apparatus
CN105717511B (zh) 基于线束激光器和普通摄像头芯片的多点测距方法
CN107101584B (zh) 基于图像识别的物体位移测量方法、装置及系统
CN108805940B (zh) 一种变倍相机在变倍过程中跟踪定位的方法
CN110519508B (zh) 一种在摄像模组自动调心过程中识别特征对象的方法
CN106846395B (zh) 照片中目标图形面积计算方法及系统
US20130155257A1 (en) Test device for testing camera module and method thereof
CN105391998B (zh) 微光夜视仪分辨率自动检测方法和装置
TW201326735A (zh) 寬度量測方法及系統
CN108010071B (zh) 一种利用3d深度测量的亮度分布测量系统及方法
CN105093479A (zh) 用于显微镜的自动对焦方法和装置
CN113375555A (zh) 一种基于手机影像的电力线夹测量方法及系统
CN107644442B (zh) 双摄模组的空间位置标定方法
CN110896469B (zh) 用于三摄的解像力测试方法及其应用
CN105717502B (zh) 一种基于线阵ccd的高速激光测距装置
CN114926417B (zh) 高密度柔性fpc表面弱划痕的显微成像检测方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant