CN117041710A - 一种跟焦器及其控制方法 - Google Patents
一种跟焦器及其控制方法 Download PDFInfo
- Publication number
- CN117041710A CN117041710A CN202311042158.0A CN202311042158A CN117041710A CN 117041710 A CN117041710 A CN 117041710A CN 202311042158 A CN202311042158 A CN 202311042158A CN 117041710 A CN117041710 A CN 117041710A
- Authority
- CN
- China
- Prior art keywords
- objective lens
- image
- image data
- focus
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 16
- 239000000571 coke Substances 0.000 title description 2
- 238000012549 training Methods 0.000 claims abstract description 39
- 238000011156 evaluation Methods 0.000 claims abstract description 36
- 238000013528 artificial neural network Methods 0.000 claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 18
- 230000003287 optical effect Effects 0.000 claims abstract description 10
- 238000004364 calculation method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000011514 reflex Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Microscoopes, Condenser (AREA)
- Studio Devices (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
本发明公开了一种跟焦器，包括光源，光源将入射光束依次经光学系统和物镜入射在待拍摄物表面，聚焦控制系统包括的图像采集模块用于获取待拍摄物表面反射光束形成的图像数据，聚焦控制系统包括的图像处理模块用于基于图像数据生成图像清晰度评价值，聚焦控制系统包括的神经网络训练模块用于基于图像清晰度评价值生成当前最佳焦点位置信息，物镜位移器用于基于聚焦系统生成的控制信号来控制物镜沿轴向移动至最佳焦点位置处。通过神经网络训练模块可以快速生成预测当前最佳焦点位置信息，从而使得物镜快速响应沿轴向移动至最佳焦点位置处，从而能够实现运动状态下对待拍摄物的实时跟焦，提高了自动对焦的精确度。
Description
技术领域
本发明涉及跟焦器自动聚焦技术领域，具体涉及一种跟焦器及其控制方法。
背景技术
跟焦器是单反相机拍摄电影或者视频的时候控制景深的必备单反视频配件，由于单反的优质镜头及可以调整的光圈，视频的虚化背景、突出主题得以实现，所以仅仅数万元的单反，拍摄出来的效果，可以与10万以上的专业摄像机媲美。
为确保跟焦器正常工作，必须要求物镜与待拍摄物始终处于对焦状态。但是，由于待拍摄物运动、环境变化等因素，跟焦器在工作时有可能发生物镜离焦的现象。跟焦器的作用是当待拍摄物出现离焦时，可及时自动控制物镜轴向移动，补偿离焦，使待拍摄物始终处于最佳焦点位置。这一过程也称为焦面跟踪。
传统的跟焦器进行控制对焦使用时，存在待拍摄物图像处理工作过于复杂的问题，使得跟焦器的聚焦控制系统的操作难度增大，不便于聚焦控制使用，如公开号为CN116233606A的专利“光斑自动跟焦装置及其方法”，通过四象限光电探测器来接收经样品表面反射的反射光束，四象限光电探测器具有较高的位移测量精度和较短的时间响应，可以根据四象限光电探测器计算出入射光斑的离焦量，进而可以根据离焦量生成相应的补偿控制信号并输出给控制物镜轴向运动的物镜压电位移器，从而能够实现运动状态下对光斑的实时跟焦，提高了光束对准的精确度；但在实际使用过程中存在以下缺陷：四象限光电探测器测量精确度较差，由电压差值生产补偿控制信号容易受到跟焦器自生供电系统影响，造成对焦精确性以及对焦时效性均较差，以使控制跟焦器进行对焦操作效果较差。
发明内容
本发明的目的在于提供一种跟焦器及其控制方法，用于解决现有技术中控制跟焦器进行对焦操作效果较差的问题。
本发明的目的可以通过以下技术方案实现：
一种跟焦器，包括光源、光学系统、物镜、物镜位移器、聚焦控制系统，所述光源将入射光束依次经光学系统和物镜入射在待拍摄物表面，所述聚焦控制系统包括的图像采集模块用于获取所述待拍摄物表面反射光束形成的图像数据，所述聚焦控制系统包括的图像处理模块用于基于所述图像数据生成图像清晰度评价值，所述聚焦控制系统包括的神经网络训练模块用于基于所述图像清晰度评价值生成当前最佳焦点位置信息，并基于所述当前最佳焦点位置信息来生成控制信号给所述物镜位移器，所述物镜位移器用于基于所述聚焦系统生成的控制信号来控制物镜沿轴向移动至最佳焦点位置处。
作为本发明进一步的方案：所述图像采集模块获取所述待拍摄物表面反射光束形成的图像数据时，通过所述物镜位移器来控制物镜沿轴向移动，生成所述图像采集模块获取四个等距点位的图像数据。
作为本发明进一步的方案：基于生成所述图像采集模块获取四个等距点位的图像数据，基于所述四个等距点位的图像数据通过所述图像处理模块分别生成的清晰度评价值分别为x0,x1,x2,x3。
作为本发明进一步的方案：所述图像处理模块生成的清晰度评价值的计算公式为 其中，获取的图像数据中的图像大小为Y×Z，T(m,n)为图像在(m,n)点位处的像素灰度值大小。
作为本发明进一步的方案：将生成的所述清晰度评价值x0,x1,x2,x3输入所述神经网络训练模块的输入端，所述神经网络训练模块的输出端生成当前最佳位置信息为Q值，所述Q值的点位坐标为当前最佳焦点位置信息。
一种跟焦器的控制方法，包括以下步骤：
S1、光源将入射光束依次经光学系统和物镜入射在待拍摄物表面；
S2、图像采集模块获取所述待拍摄物表面反射光束形成的图像数据；
S3、通过物镜位移器来控制物镜沿轴向移动，生成所述图像采集模块获取四个等距点位的图像数据；
S4、基于所述四个等距点位的图像数据，并由神经网络训练模块生成当前最佳焦点位置信息；
S5、基于所述神经网络训练模块生成当前最佳焦点位置信息，通过聚焦控制系统来控制物镜沿轴向移动至最佳焦点位置处。
作为本发明进一步的方案：步骤S4中基于所述四个等距点位的图像数据时，所述聚焦控制系统包括的图像处理模块用于基于所述图像数据生成图像清晰度评价值，将所述图像清晰度评价值输入所述神经网络训练模块的输入端。
本发明的跟焦器及控制方法至少能够取得以下有益技术效果：物镜位移器可以快速控制物镜沿轴向移动，以获取物镜处在不同点位的图像数据，不同点位的图像数据经图像处理模块进行计算，生成不同点位的图像清晰度评价值，不同点位的图像清晰度评价值可以作为神经网络训练模块的输入端，神经网络训练模块已存储拍摄点位数据集，从而可以快速生成预测当前最佳焦点位置信息，以使聚焦控制系统产生的控制信号带动物镜位移器动作，从而使得物镜快速响应沿轴向移动至最佳焦点位置处，从而能够实现运动状态下对待拍摄物的实时跟焦，提高了自动对焦的精确度。
附图说明
下面结合附图对本发明作进一步的说明。
图1是本发明跟焦器的结构示意图；
图2是图1中的聚焦控制系统框图；
图3是本发明跟焦器的控制方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，指示方位或位置关系的术语为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制；在本发明的描述中，“多个”“若干”的含义是至少两个，例如两个、三个等，除非另有明确具体的限定。
请参阅图1-2所示，本发明为一种跟焦器，包括光源10、光学系统20、物镜40、物镜位移器30、聚焦控制系统60，光源10将入射光束依次经光学系统20和物镜40入射在待拍摄物表面，聚焦控制系统60包括的图像采集模块61用于获取待拍摄物表面反射光束形成的图像数据，聚焦控制系统60包括的图像处理模块62用于基于图像数据生成图像清晰度评价值，聚焦控制系统60包括的神经网络训练模块63用于基于图像清晰度评价值生成当前最佳焦点位置信息，并基于当前最佳焦点位置信息来生成控制信号给物镜位移器30，物镜位移器30用于基于聚焦系统生成的控制信号来控制物镜40沿轴向移动至最佳焦点位置处。
跟焦器使用过程中，待拍摄物置于幕布面50前方，物镜40距离待抛射物表面距离不同，容易发生离焦的情况，跟焦器进行自动对焦按钮后，物镜位移器30可以快速控制物镜40沿轴向移动，以获取物镜40处在不同点位的图像数据，不同点位的图像数据经图像处理模块62进行计算，生成不同点位的图像清晰度评价值，不同点位的图像清晰度评价值可以作为神经网络训练模块63的输入端，神经网络训练模块63已存储拍摄点位数据集，从而可以快速生成预测当前最佳焦点位置信息，以使聚焦控制系统60产生的控制信号带动物镜位移器30动作，从而使得物镜40快速响应沿轴向移动至最佳焦点位置处，从而能够实现运动状态下对待拍摄物的实时跟焦，提高了自动对焦的精确度。
本申请跟焦器需要理解的是，聚焦控制系统60中的神经网络训练模块63为已训练完成后的数据集，出厂前进行对焦调试，神经网络训练模块63的训练操作为将五个拍摄点位图像数据为一组样本，并作为神经网络训练模块63的输入数据，通过对五个拍摄点位的清晰度评价获得数据值，这一组样本选取清晰度评价最大值，此时记录这一组样本的清晰度位置的峰值，清晰度位置的峰值作为神经网络训练模块63的唯一输出参数，依次方式选取100-200组样本数据完成神经网络训练模块63的训练数据集，作为本申请跟焦器采用神经网络训练模块63可以快速生成预测当前最佳焦点位置信息基础。
本具体实施方式中，图像采集模块61获取待拍摄物表面反射光束形成的图像数据时，通过物镜位移器30来控制物镜40沿轴向移动，生成图像采集模块61获取四个等距点位的图像数据，四个等距点位采集图像数据可以提升对焦调整的准确性，四个等距点位数据可以快速由神经网络训练模块63完成训练处理。
进一步的，基于生成图像采集模块61获取四个等距点位的图像数据，基于四个等距点位的图像数据通过图像处理模块62分别生成的清晰度评价值分别为x0,x1,x2,x3，物镜40距离待拍摄物不同点位，可以获得不同点位的清晰度评价值，基于清晰度评价值便于快速输入神经网络训练模块63进行训练处理。
进一步的，图像处理模块62生成的清晰度评价值的计算公式为其中，获取的图像数据中的图像大小为Y×Z，T(m,n)为图像在(m,n)点位处的像素灰度值大小，采集获取不同点位的图像数据，便于通过图像处理模块62的函数计算生成清晰度评价值，操作方便，清晰度评价值是计算图像中对角线方向上的相邻像素点，通过梯度幅值的计算后作为一种清晰度评价函数，计算运行速度快，从而提升后续神经网络训练模块63响应时间。
进一步的，将生成的清晰度评价值x0,x1,x2,x3输入神经网络训练模块63的输入端，神经网络训练模块63的输出端生成当前最佳位置信息为Q值，Q值的点位坐标为当前最佳焦点位置信息，神经网络训练模块63可以快速预测并生成当前最佳位置信息为Q值，从而使得物镜40快速响应沿轴向移动至最佳焦点位置处，从而能够实现运动状态下对待拍摄物的实时跟焦，提高了自动对焦的精确度。
如图3所示，本发明还提供一种跟焦器的控制方法，包括以下步骤：
S1、光源10将入射光束依次经光学系统20和物镜40入射在待拍摄物表面；
S2、图像采集模块61获取待拍摄物表面反射光束形成的图像数据；
S3、通过物镜位移器30来控制物镜40沿轴向移动，生成图像采集模块61获取四个等距点位的图像数据；
S4、基于四个等距点位的图像数据，并由神经网络训练模块63生成当前最佳焦点位置信息；
S5、基于神经网络训练模块63生成当前最佳焦点位置信息，通过聚焦控制系统60来控制物镜40沿轴向移动至最佳焦点位置处。
步骤S4中基于四个等距点位的图像数据时，聚焦控制系统60包括的图像处理模块62用于基于图像数据生成图像清晰度评价值，将图像清晰度评价值输入神经网络训练模块63的输入端。
采用本控制方法，便于自动实现跟焦器快速对焦，物镜位移器30可以快速控制物镜40沿轴向移动，以获取物镜40处在不同点位的图像数据，不同点位的图像数据经图像处理模块62进行计算，生成不同点位的图像清晰度评价值，不同点位的图像清晰度评价值可以作为神经网络训练模块63的输入端，神经网络训练模块63已存储拍摄点位数据集，从而可以快速生成预测当前最佳焦点位置信息，以使聚焦控制系统60产生的控制信号带动物镜位移器30动作，从而使得物镜40快速响应沿轴向移动至最佳焦点位置处，从而能够实现运动状态下对待拍摄物的实时跟焦，提高了自动对焦的精确度。
以上对本发明的一个实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。
Claims (7)
1.一种跟焦器，其特征在于，包括光源(10)、光学系统(20)、物镜(40)、物镜位移器(30)、聚焦控制系统(60)，所述光源(10)将入射光束依次经光学系统(20)和物镜(40)入射在待拍摄物表面，所述聚焦控制系统(60)包括的图像采集模块(61)用于获取所述待拍摄物表面反射光束形成的图像数据，所述聚焦控制系统(60)包括的图像处理模块(62)用于基于所述图像数据生成图像清晰度评价值，所述聚焦控制系统(60)包括的神经网络训练模块(63)用于基于所述图像清晰度评价值生成当前最佳焦点位置信息，并基于所述当前最佳焦点位置信息来生成控制信号给所述物镜位移器(30)，所述物镜位移器(30)用于基于所述聚焦系统生成的控制信号来控制物镜(40)沿轴向移动至最佳焦点位置处。
2.根据权利要求1所述的一种跟焦器，其特征在于，所述图像采集模块(61)获取所述待拍摄物表面反射光束形成的图像数据时，通过所述物镜位移器(30)来控制物镜(40)沿轴向移动，生成所述图像采集模块(61)获取四个等距点位的图像数据。
3.根据权利要求2所述的一种跟焦器，其特征在于，基于生成所述图像采集模块(61)获取四个等距点位的图像数据，基于所述四个等距点位的图像数据通过所述图像处理模块(62)分别生成的清晰度评价值分别为x0,x1,x2,x3。
4.根据权利要求3所述的一种跟焦器，其特征在于，所述图像处理模块(62)生成的清晰度评价值的计算公式为 其中，获取的图像数据中的图像大小为Y×Z，T(m,n)为图像在(m,n)点位处的像素灰度值大小。
5.根据权利要求3所述的一种跟焦器，其特征在于，将生成的所述清晰度评价值x0,x1,x2,x3输入所述神经网络训练模块(63)的输入端，所述神经网络训练模块(63)的输出端生成当前最佳位置信息为Q值，所述Q值的点位坐标为当前最佳焦点位置信息。
6.根据权利要求1所述的一种跟焦器的控制方法，其特征在于，包括以下步骤：
S1、光源(10)将入射光束依次经光学系统(20)和物镜(40)入射在待拍摄物表面；
S2、图像采集模块(61)获取所述待拍摄物表面反射光束形成的图像数据；
S3、通过物镜位移器(30)来控制物镜(40)沿轴向移动，生成所述图像采集模块(61)获取四个等距点位的图像数据；
S4、基于所述四个等距点位的图像数据，并由神经网络训练模块(63)生成当前最佳焦点位置信息；
S5、基于所述神经网络训练模块(63)生成当前最佳焦点位置信息，通过聚焦控制系统(60)来控制物镜(40)沿轴向移动至最佳焦点位置处。
7.根据权利要求6所述的一种跟焦器的控制方法，其特征在于，步骤S4中基于所述四个等距点位的图像数据时，所述聚焦控制系统(60)包括的图像处理模块(62)用于基于所述图像数据生成图像清晰度评价值，将所述图像清晰度评价值输入所述神经网络训练模块(63)的输入端。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311042158.0A CN117041710B (zh) | 2023-08-18 | 2023-08-18 | 一种跟焦器及其控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311042158.0A CN117041710B (zh) | 2023-08-18 | 2023-08-18 | 一种跟焦器及其控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117041710A true CN117041710A (zh) | 2023-11-10 |
| CN117041710B CN117041710B (zh) | 2024-04-19 |
Family
ID=88633353
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311042158.0A Active CN117041710B (zh) | 2023-08-18 | 2023-08-18 | 一种跟焦器及其控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117041710B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090002685A (ko) * | 2007-07-02 | 2009-01-09 | 삼성전기주식회사 | 오토 포커싱 장치 및 방법 |
| CN110913129A (zh) * | 2019-11-15 | 2020-03-24 | 浙江大华技术股份有限公司 | 基于bp神经网络的聚焦方法、装置、终端及存储装置 |
| CN111147737A (zh) * | 2019-12-11 | 2020-05-12 | 广东工业大学 | 一种基于rbf神经网络的自动对焦方法及装置 |
| CN115796267A (zh) * | 2022-12-22 | 2023-03-14 | 上海精测半导体技术有限公司 | 神经网络模型的训练方法及装置、自动聚焦方法 |
| US20230085827A1 (en) * | 2020-03-20 | 2023-03-23 | The Regents Of The University Of California | Single-shot autofocusing of microscopy images using deep learning |
| CN116233606A (zh) * | 2023-05-09 | 2023-06-06 | 之江实验室 | 光斑自动跟焦装置及其方法 |
| CN116347230A (zh) * | 2023-03-17 | 2023-06-27 | 杭州海康威视数字技术股份有限公司 | 自动聚焦的摄像机 |
-
2023
- 2023-08-18 CN CN202311042158.0A patent/CN117041710B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090002685A (ko) * | 2007-07-02 | 2009-01-09 | 삼성전기주식회사 | 오토 포커싱 장치 및 방법 |
| CN110913129A (zh) * | 2019-11-15 | 2020-03-24 | 浙江大华技术股份有限公司 | 基于bp神经网络的聚焦方法、装置、终端及存储装置 |
| CN111147737A (zh) * | 2019-12-11 | 2020-05-12 | 广东工业大学 | 一种基于rbf神经网络的自动对焦方法及装置 |
| US20230085827A1 (en) * | 2020-03-20 | 2023-03-23 | The Regents Of The University Of California | Single-shot autofocusing of microscopy images using deep learning |
| CN115796267A (zh) * | 2022-12-22 | 2023-03-14 | 上海精测半导体技术有限公司 | 神经网络模型的训练方法及装置、自动聚焦方法 |
| CN116347230A (zh) * | 2023-03-17 | 2023-06-27 | 杭州海康威视数字技术股份有限公司 | 自动聚焦的摄像机 |
| CN116233606A (zh) * | 2023-05-09 | 2023-06-06 | 之江实验室 | 光斑自动跟焦装置及其方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117041710B (zh) | 2024-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9830694B2 (en) | Multi-level image focus using a tunable lens in a machine vision inspection system | |
| JP6469368B2 (ja) | マシンビジョン検査システム及び高速合焦高さ測定動作を実行する方法 | |
| JP4923541B2 (ja) | 顕微鏡 | |
| EP3145171A1 (en) | Chromatic aberration correction in imaging system including variable focal length lens | |
| CN102692364B (zh) | 采用一种基于模糊图像处理的动态颗粒测量装置的颗粒测量方法 | |
| CN1450398A (zh) | 摄象装置以及摄象系统 | |
| JP7319903B2 (ja) | 高速ｔａｇレンズ支援３ｄ計測及び拡張被写界深度撮像 | |
| CN106896622A (zh) | 基于多距离自动对焦的校正方法 | |
| CN104181685A (zh) | 基于显微镜的数字切片自动聚焦装置及其方法 | |
| US11119382B2 (en) | Tunable acoustic gradient lens system with amplitude adjustment corresponding to z-height as indicated by calibration data | |
| CN106019550A (zh) | 用于高速显微扫描的动态对焦装置及对焦跟踪方法 | |
| CN109660716A (zh) | 一种基于自动测距的长焦镜头及实现自动对焦方法与装置 | |
| CN105785561B (zh) | 一种数字显微镜及其聚焦方法 | |
| CN109781745A (zh) | 一种光学元件表面缺陷检测自动对焦方法及装置 | |
| US20170045350A1 (en) | Auto-focus method for a coordinate measuring device | |
| US10880468B1 (en) | Metrology system with transparent workpiece surface mode | |
| CN107806830A (zh) | 一种基于变焦摄像头的测距装置及使用方法 | |
| US11249225B2 (en) | Tunable acoustic gradient lens system utilizing amplitude adjustments for acquiring images focused at different z-heights | |
| JPH09113810A (ja) | 顕微鏡の自動焦点整合装置 | |
| CN117041710B (zh) | 一种跟焦器及其控制方法 | |
| JP4560420B2 (ja) | 撮像装置 | |
| CN117170081A (zh) | 一种基于图像清晰度识别的自动对焦方法 | |
| JP2019184887A (ja) | 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体 | |
| CN113794828A (zh) | 一种自动调焦方法及系统 | |
| JPH1026725A (ja) | オートフォーカス装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |