CN103257510A - 一种快速自动调焦方法 - Google Patents
一种快速自动调焦方法 Download PDFInfo
- Publication number
- CN103257510A CN103257510A CN2013101567541A CN201310156754A CN103257510A CN 103257510 A CN103257510 A CN 103257510A CN 2013101567541 A CN2013101567541 A CN 2013101567541A CN 201310156754 A CN201310156754 A CN 201310156754A CN 103257510 A CN103257510 A CN 103257510A
- Authority
- CN
- China
- Prior art keywords
- standard
- distance
- module
- length
- test
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Automatic Focus Adjustment (AREA)
- Focusing (AREA)
- Studio Devices (AREA)
Abstract
本发明提供一种新型的快速自动调焦方法,首先对目标图像进行分析,所述目标图像是满足方法要求的测试标板,然后计算出镜头的离焦距离,即计算模组的镜头在焦点时的图像特征和特征变化率,计算出当前模组的镜头到焦点需要移动的距离,然后通过控制调焦设备的机械部分,将镜头快速调整到焦距位置,并采用三级分段微调方法对镜头进行精确调整,从而实现快速自动调焦。所述的快速自动调焦方法,在大批量调焦生产中,能使模组快速完成调焦,从而整体上提高调焦效率。
Description
技术领域
本发明涉及摄像头模组的自动调焦领域,尤其是提供一种快速自动调焦方法。
背景技术
目前随着手机摄像头模组的调焦自动化设备的应用,如何提高自动调焦设备的调焦效率,将是自动调焦设备能否广泛使用的关键。由于镜头锁附高度的不一致和镜头后焦的差异,导致镜头下旋的距离处于一个未知的状态,采样传统的逐步逼近法,由于整个机械行程非常长,导致效率非常低。因此,研究一种能够快速确定焦距位置,缩短调焦行程的方法将尤为重要。
发明内容
本发明所要解决的问题在于研究一种自动调焦方法,在摄像头的镜头离焦状态,通过分析当前图像和目标图像的关系,准确计算出镜头到焦距位置的距离,并驱动机械设备将镜头调整到相应的位置。如果调整过程中出现误差,导致未能调整到位,则采用微调方法对镜头进行微调。
其技术方案如下所述,一种快速自动调焦方法,包括以下步骤:
1)选择测试标板,在测试标板上设置至少两个特征点;
2)选择一个测试摄像头模组,调整测试摄像头模组到测试标板的初始距离,使特征点在测试摄像头模组的拍摄范围内,并将测试摄像头模组手动调整到焦距位置,测量与测试摄像头模组连接的图像设备显示的特征点距离的初始长度;
3)将测试摄像头模组移动一定距离,使特征点仍在测试摄像头模组的拍摄范围内,测量图像设备显示的特征点距离发生变动后的长度,并计算出特征点距离的长度随镜头移动距离的线性变化率,所述变化率是特征点变动后的长度减去初始长度后与移动的距离的比值;
4)将其他待测摄像头模组放置在测试位置,测量当前摄像头模组的特征点长度,并根据其到测试标板的测试距离、步骤2)中的初始距离、特征点初始长度以及步骤3)中的变化率,计算出当前摄像头模组的焦距位置,并通过控制调焦机械设备将镜头移动到焦点;
5)对当前待测的摄像头模组的镜头进行微调,直至模组的图像清晰度达到预设的标准。
步骤1)中,设置有两组特征点,每组包括两个特征点,且每组特征点间的长度相等。
步骤1)中,所述特征点在模组的图像成像范围靠中心区域位置。
步骤2)中,所述特征点的初始长度是两组特征点长度的平均值。
步骤5)中,所述微调是对调焦机械设备的调焦马达步长进行调整,设置有3级,为粗调步长1、粗调步长2和微调步长,分别对应粗调标准1,粗调标准2,微调标准,所述粗调标准1的值大于整个马达运行过程中的干扰区域的清晰度值,所述粗调标准2的值设置在模组最大清晰度的1/3位置,所述微调标准的值设置在模组最大清晰度的2/3位置。
所述微调的方法如下所述,当图像的MTF大于粗调标准1且小于粗调标准2时,采用粗调步长1进行调整,当调整过程中MTF大于粗调标准2小于微调标准时,采用粗调步长2进行调整,当调整过程中MTF大于微调标准时,使用微调标准进行调整,直至图像清晰度达到预设的标准。
在微调过程中,摄像头模组的调焦无法达到预设标准且图像的MTF出现小于微调标准时,则显示调焦失败。
步骤2)中,在同一个测试位置上,设定测试位置到标板的距离为初始距离,统计多个模组特征点的初始长度值,并选取模组在焦距位置时出现频率最大的初始长度值,作为其他待测摄像头模组的初始长度值。
所述测试摄像头模组和标板之间安装有增距镜。
步骤4)中,当前摄像头模组成像后,在清晰度达不到模组分辨率的最低要求时,将当前摄像头模组的特征点长度减去步骤2)中的特征点初始长度,用差值除以步骤3)中的变化率,结果值就是镜头需要调整的距离,当结果值大于0时,镜头远离标板调整结果值的距离,反之向标板靠近,并调整结果值绝对值的距离。
本发明所述的快速自动调焦方法,通过对图像进行分析,能够初步预测出焦点的位置,对于一些预测出现误差的产品,采用快速微调方法进行调整。在大批量调焦生产中,大部分产品能够一次调焦成功,另外的产品,也能够在较小的范围内,快速完成调焦,从而整体上提高调焦效率。
附图说明
图1是本发明中实施例标板的示意图;
图2是实施例中操作步骤的示意图;
图3是实施例中清晰度-镜头位置和特征点距离-镜头位置的曲线图;
图4是图3中的局部放大标注示意图;
图5是实施例中微调的步骤示意图。
具体实施方式
本发明涉及的自动调焦系统所包含的部件有:标板,背光光源,图像采集设备,待调焦摄像头模组,增距镜和调焦机械部件。所述背光光源在标板上投射,所述图像采集设备连接到待调焦摄像头模组,所述增距镜安装在调焦机械部件上,位于摄像头模组和标板之间,所述摄像头模组的移动由调焦机械部件进行控制。所述标板设置在摄像头模组上方。
具体通过下述的技术方案解决,所述步骤如图2所示,选择标板和增距镜后,计算并设置模组的镜头在焦点时的图像特征和特征变化率,计算出当前模组的镜头到焦点需要移动的距离,并采用三级分段微调方法对镜头进行精确调整。
一、设计满足方法要求的测试标板。
在本方法中,镜头在离焦时视场角会发生变化,并且摄像头所成像的标板中的特征点在图像中的位置也会发生变化,因此需要设计至少两个特征点用于反映图像的变化。本发明为了预防图像干扰导致特征点识别中出现误差,又不影响标板针对不同模组的兼容性,设计了两组这种特征点,用于降低误差。如图1所示的标板,确保四个特征圆点必须在图像成像范围靠中心区域位置,保证图像在模糊状态下,还能够在图像中有四个圆的成像。
二、设置模组的镜头在焦点时的图像特征和特征变化率。
选取一件手机摄像头模组,手动调整到焦距位置,按照固定的角度旋转镜头,图像由模糊到清晰再到模糊,如图2所示的清晰度-镜头位置和特征点距离-镜头位置的曲线图,其中左纵坐标为清晰度,是相对值,无单位,右纵坐标为特征点距离,单位是像素,横坐标为旋转镜头的角度,单位是分,也可将横坐标替换成马达步数。
然后计算出特征点的距离L1,同时手动控制机械部分调整镜头向上移动单位距离S后,计算当前的特征点的距离L2,此时可以计算出特征点距离随着镜头移动的变化率R=|L2-L1|/S,其中特征变化率就是特征点距离-镜头位置拟合直线的斜率。
三、计算出当前模组的镜头到焦点需要移动的距离。
摄像头成像后,分析当前的图像,如果清晰度达不到模组分辨率的最低要求时,计算当前图像的特征点距离L,根据(二)中设置好的焦距位置的特征点距离L1和变化率R,可以计算出镜头需要调整的距离S1=(L-L1)/R。当S1>0时,镜头远离标板方向时调整|S1|,否则,靠近标板方向时调整|S1|。
图3是图2的局部放大标注图,各个标注点的定义如下所述,M1为微调标准,M2为焦距位置时的特征点距离,M3为粗调标准2,M4为粗调标准1,A为粗调标准2时的X坐标值,B为微调标准时的X坐标值,C为焦距位置时的X坐标值。
四、采用三级分段微调方法对镜头进行精确调整。
由于手机摄像头模组的调焦距离都是在无穷远位置,而在这样的情况下,镜头的焦深非常小,如果采用比较大的步长进行精确调整,可能会导致调整过程中跳过焦点位置,如果采用比较小的步长,那么调焦效率又非常低。本发明采用三级分段微调方法,此方法是将步长分成三个等级,分别为粗调步长1,粗调步长2,微调步长,其对应的标准为粗调标准1,粗调标准2,微调标准。
粗调标准1值需要大于整个马达运行过程中的干扰区域的清晰度值,可以参考M4;粗调标准2设置在最大清晰度的1/3位置,参考M3;微调标准设置在清晰度的2/3位置。
粗调步长1为C-A,此设置方法能够保证粗调的最大步长,而又不会出现由于步长太长导致跳过最大清晰度位置;同样,粗调步长2为C-B;微调步长根据镜头的焦深设置,一般为焦深的1/2作为微调步长。
具体的实现方法如图5所示,当MTF大于粗调标准1且小于粗调标准2时,采用粗调步长1进行调整,当过程中MTF大于粗调标准2小于微调标准时,采用粗调步长2进行调整,当过程中MTF大于微调标准时,使用微调标准进行调整,直至图像清晰度达到预设的标准。如果在微调过程中,调焦无法达到预设标准,且MTF出现小于微调标准,则显示调焦失败。
此外,需要选择传输稳定的图像采集设备,以及需要能够精确的控制调焦机械部件,使得镜头调整的距离与预期一致。
Claims (10)
1.一种快速自动调焦方法,包括以下步骤:
1)选择测试标板,在测试标板上设置至少两个特征点;
2)选择一个测试摄像头模组,调整测试摄像头模组到测试标板的初始距离,使特征点在测试摄像头模组的拍摄范围内,并将测试摄像头模组手动调整到焦距位置,测量与测试摄像头模组连接的图像设备显示的特征点距离的初始长度;
3)将测试摄像头模组移动一定距离,使特征点仍在测试摄像头模组的拍摄范围内,测量图像设备显示的特征点距离发生变动后的长度,并计算出特征点距离的长度随镜头移动距离的线性变化率,所述变化率是特征点变动后的长度减去初始长度后与移动的距离的比值;
4)将其他待测摄像头模组放置在测试位置,测量当前摄像头模组的特征点长度,并根据其到测试标板的测试距离、步骤2)中的初始距离、特征点初始长度以及步骤3)中的变化率,计算出当前摄像头模组的焦距位置,并通过控制调焦机械设备将镜头移动到焦点;
5)对当前待测的摄像头模组的镜头进行微调,直至模组的图像清晰度达到预设的标准。
2.根据权利要求1所述的快速自动调焦方法,其特征在于:步骤1)中,设置有两组特征点,每组包括两个特征点,且每组特征点间的长度相等。
3.根据权利要求1所述的快速自动调焦方法,其特征在于:步骤1)中,所述特征点在模组的图像成像范围靠中心区域位置。
4.根据权利要求2所述的快速自动调焦方法,其特征在于:步骤2)中,所述特征点的初始长度是两组特征点长度的平均值。
5.根据权利要求1所述的快速自动调焦方法,其特征在于:步骤5)中,所述微调是对调焦机械设备的调焦马达步长进行调整,设置有3级,为粗调步长1、粗调步长2和微调步长,分别对应粗调标准1,粗调标准2,微调标准,所述粗调标准1的值大于整个马达运行过程中的干扰区域的清晰度值,所述粗调标准2的值设置在模组最大清晰度的1/3位置,所述微调标准的值设置在模组最大清晰度的2/3位置。
6.根据权利要求5所述的快速自动调焦方法,其特征在于:所述微调的方法如下所述,当图像的MTF大于粗调标准1且小于粗调标准2时,采用粗调步长1进行调整,当调整过程中MTF大于粗调标准2小于微调标准时,采用粗调步长2进行调整,当调整过程中MTF大于微调标准时,使用微调标准进行调整,直至图像清晰度达到预设的标准。
7.根据权利要求5所述的快速自动调焦方法,其特征在于:在微调过程中,摄像头模组的调焦无法达到预设标准且图像的MTF出现小于微调标准时,则显示调焦失败。
8.根据权利要求1所述的快速自动调焦方法,其特征在于:步骤2)中,在同一个测试位置上,设定测试位置到标板的距离为初始距离,统计多个模组特征点的初始长度值,并选取模组在焦距位置时出现频率最大的初始长度值,作为其他待测摄像头模组的初始长度值。
9.根据权利要求1所述的快速自动调焦方法,其特征在于:所述测试摄像头模组和标板之间设置有增距镜,所述增距镜安装在调焦机械设备上。
10.根据权利要求1所述的快速自动调焦方法,其特征在于:步骤4)中,当前摄像头模组成像后,在清晰度达不到模组分辨率的最低要求时,将当前摄像头模组的特征点长度减去步骤2)中的特征点初始长度,用差值除以步骤3)中的变化率,结果值就是镜头需要调整的距离,当结果值大于0时,镜头远离标板调整结果值的距离,反之向标板靠近,并调整结果值绝对值的距离。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310156754.1A CN103257510B (zh) | 2013-04-27 | 2013-04-27 | 一种快速自动调焦方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310156754.1A CN103257510B (zh) | 2013-04-27 | 2013-04-27 | 一种快速自动调焦方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103257510A true CN103257510A (zh) | 2013-08-21 |
CN103257510B CN103257510B (zh) | 2016-01-06 |
Family
ID=48961510
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310156754.1A Active CN103257510B (zh) | 2013-04-27 | 2013-04-27 | 一种快速自动调焦方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103257510B (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105791657A (zh) * | 2014-12-19 | 2016-07-20 | 宁波舜宇光电信息有限公司 | 一种影像模组调焦方法 |
CN105959532A (zh) * | 2016-04-27 | 2016-09-21 | 乐视控股(北京)有限公司 | 摄像头调焦方法和装置 |
CN106375647A (zh) * | 2015-07-23 | 2017-02-01 | 杭州海康威视数字技术股份有限公司 | 一种摄像机后焦的调整方法、装置和系统 |
CN106501917A (zh) * | 2016-12-07 | 2017-03-15 | 歌尔科技有限公司 | 一种镜头辅助调焦方法和装置 |
CN106878617A (zh) * | 2017-03-06 | 2017-06-20 | 中国计量大学 | 一种对焦方法及系统 |
CN106878603A (zh) * | 2015-12-11 | 2017-06-20 | 东莞东聚电子电讯制品有限公司 | 智能手机中相机模组的联版调节方法 |
WO2017114373A1 (zh) * | 2015-12-29 | 2017-07-06 | 宁波舜宇光电信息有限公司 | 基于色差的摄像模组调焦方法 |
CN108051804A (zh) * | 2017-12-19 | 2018-05-18 | 山东神戎电子股份有限公司 | 一种雷达与光电设备的联动控制方法 |
CN109361865A (zh) * | 2018-11-21 | 2019-02-19 | 维沃移动通信(杭州)有限公司 | 一种拍摄方法及终端 |
CN109670362A (zh) * | 2017-10-16 | 2019-04-23 | 上海商米科技有限公司 | 条码扫描方法和装置 |
CN110324535A (zh) * | 2019-07-23 | 2019-10-11 | 上海浩创亘永科技有限公司 | 一种固定焦距摄像头焦距调整装置及调整方法 |
CN111901531A (zh) * | 2020-08-31 | 2020-11-06 | 浙江水晶光电科技股份有限公司 | 镜头组装时的对焦方法、装置及设备 |
CN112525909A (zh) * | 2020-12-03 | 2021-03-19 | 湖南伊鸿健康科技有限公司 | 一种电子显微镜的自动对焦方法 |
CN112683178A (zh) * | 2019-10-18 | 2021-04-20 | 北京华航无线电测量研究所 | 用于光学镜头与光电探测器装配的垫片厚度确定方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001346090A (ja) * | 2000-06-01 | 2001-12-14 | Olympus Optical Co Ltd | 電子カメラシステム及び電子カメラ |
JP2006138899A (ja) * | 2004-11-10 | 2006-06-01 | Nikon Corp | カメラ |
JP2007101857A (ja) * | 2005-10-04 | 2007-04-19 | Nikon Corp | 焦点調節装置およびデジタルカメラ |
CN101118369A (zh) * | 2006-08-01 | 2008-02-06 | 佳能株式会社 | 调焦控制设备、摄像设备和调焦控制方法 |
CN101359150A (zh) * | 2007-08-02 | 2009-02-04 | 佳能株式会社 | 摄像设备及其控制方法 |
JP2011039112A (ja) * | 2009-08-06 | 2011-02-24 | Canon Inc | 撮像装置 |
US20130093943A1 (en) * | 2011-10-16 | 2013-04-18 | Canon Kabushiki Kaisha | Focus adjustment apparatus |
-
2013
- 2013-04-27 CN CN201310156754.1A patent/CN103257510B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001346090A (ja) * | 2000-06-01 | 2001-12-14 | Olympus Optical Co Ltd | 電子カメラシステム及び電子カメラ |
JP2006138899A (ja) * | 2004-11-10 | 2006-06-01 | Nikon Corp | カメラ |
JP2007101857A (ja) * | 2005-10-04 | 2007-04-19 | Nikon Corp | 焦点調節装置およびデジタルカメラ |
CN101118369A (zh) * | 2006-08-01 | 2008-02-06 | 佳能株式会社 | 调焦控制设备、摄像设备和调焦控制方法 |
CN101359150A (zh) * | 2007-08-02 | 2009-02-04 | 佳能株式会社 | 摄像设备及其控制方法 |
JP2011039112A (ja) * | 2009-08-06 | 2011-02-24 | Canon Inc | 撮像装置 |
US20130093943A1 (en) * | 2011-10-16 | 2013-04-18 | Canon Kabushiki Kaisha | Focus adjustment apparatus |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105791657A (zh) * | 2014-12-19 | 2016-07-20 | 宁波舜宇光电信息有限公司 | 一种影像模组调焦方法 |
CN106375647A (zh) * | 2015-07-23 | 2017-02-01 | 杭州海康威视数字技术股份有限公司 | 一种摄像机后焦的调整方法、装置和系统 |
CN106375647B (zh) * | 2015-07-23 | 2020-05-29 | 杭州海康威视数字技术股份有限公司 | 一种摄像机后焦的调整方法、装置和系统 |
CN106878603A (zh) * | 2015-12-11 | 2017-06-20 | 东莞东聚电子电讯制品有限公司 | 智能手机中相机模组的联版调节方法 |
WO2017114373A1 (zh) * | 2015-12-29 | 2017-07-06 | 宁波舜宇光电信息有限公司 | 基于色差的摄像模组调焦方法 |
CN105959532A (zh) * | 2016-04-27 | 2016-09-21 | 乐视控股(北京)有限公司 | 摄像头调焦方法和装置 |
CN106501917B (zh) * | 2016-12-07 | 2019-12-27 | 歌尔科技有限公司 | 一种镜头辅助调焦方法和装置 |
CN106501917A (zh) * | 2016-12-07 | 2017-03-15 | 歌尔科技有限公司 | 一种镜头辅助调焦方法和装置 |
CN106878617A (zh) * | 2017-03-06 | 2017-06-20 | 中国计量大学 | 一种对焦方法及系统 |
CN106878617B (zh) * | 2017-03-06 | 2019-05-31 | 中国计量大学 | 一种对焦方法及系统 |
CN109670362A (zh) * | 2017-10-16 | 2019-04-23 | 上海商米科技有限公司 | 条码扫描方法和装置 |
CN108051804A (zh) * | 2017-12-19 | 2018-05-18 | 山东神戎电子股份有限公司 | 一种雷达与光电设备的联动控制方法 |
CN109361865A (zh) * | 2018-11-21 | 2019-02-19 | 维沃移动通信(杭州)有限公司 | 一种拍摄方法及终端 |
CN109361865B (zh) * | 2018-11-21 | 2020-08-04 | 维沃移动通信(杭州)有限公司 | 一种拍摄方法及终端 |
CN110324535A (zh) * | 2019-07-23 | 2019-10-11 | 上海浩创亘永科技有限公司 | 一种固定焦距摄像头焦距调整装置及调整方法 |
CN112683178A (zh) * | 2019-10-18 | 2021-04-20 | 北京华航无线电测量研究所 | 用于光学镜头与光电探测器装配的垫片厚度确定方法 |
CN112683178B (zh) * | 2019-10-18 | 2022-07-15 | 北京华航无线电测量研究所 | 用于光学镜头与光电探测器装配的垫片厚度确定方法 |
CN111901531A (zh) * | 2020-08-31 | 2020-11-06 | 浙江水晶光电科技股份有限公司 | 镜头组装时的对焦方法、装置及设备 |
CN112525909A (zh) * | 2020-12-03 | 2021-03-19 | 湖南伊鸿健康科技有限公司 | 一种电子显微镜的自动对焦方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103257510B (zh) | 2016-01-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103257510B (zh) | 一种快速自动调焦方法 | |
CN108152869B (zh) | 一种适于仿生视觉快速调焦的小步长调焦方法 | |
US8111938B2 (en) | System and method for fast approximate focus | |
CN105578048B (zh) | 一种快速对焦方法和装置、移动终端 | |
CN101630061B (zh) | 工具痕迹光学共聚焦三维数据采集方法 | |
CN110531484B (zh) | 一种对焦过程模型可设定的显微镜自动对焦方法 | |
RU2011140241A (ru) | Система и способ улучшенной автофокусировки с предсказанием | |
US9420160B2 (en) | Information processing apparatus, information processing method, program, and vision measuring apparatus | |
CN109031638B (zh) | 生物显微镜的快速自动聚焦方法 | |
CN104181685A (zh) | 基于显微镜的数字切片自动聚焦装置及其方法 | |
CN110324536B (zh) | 一种用于显微相机的图像变化自动感知对焦方法 | |
CN106341598A (zh) | 光学镜头自动聚焦系统及方法 | |
CN103529543A (zh) | 一种显微镜自动调焦方法 | |
CN105430277B (zh) | 自动聚焦控制方法和装置 | |
CN103019002A (zh) | 光学变焦相机的缩放跟踪自动焦点控制装置及其控制方法 | |
CN117170081A (zh) | 一种基于图像清晰度识别的自动对焦方法 | |
CN100533247C (zh) | 图像拾取设备和透镜位置调整方法 | |
US20170180710A1 (en) | Multi-aperture camera system for improving depth accuracy through focusing distance scan | |
CN104834081A (zh) | 一种体视显微镜的快速自动聚焦方法 | |
CN106381264A (zh) | 机器人辅助的显微注射系统中微量吸液管针尖的大范围自动定位方法 | |
CN104633599B (zh) | 一种摇头图案电脑灯自动对焦的方法 | |
CN100378487C (zh) | 自动聚焦控制方法、自动聚焦控制器和图像处理器 | |
CN113705298A (zh) | 图像采集方法、装置、计算机设备及存储介质 | |
JP6312410B2 (ja) | アライメント装置、顕微鏡システム、アライメント方法、及びアライメントプログラム | |
CN113253417B (zh) | 一种用于骨髓涂片扫描的自动调平及自动对焦方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |