CN105700106A - 自动对焦方法和自动对焦装置 - Google Patents

自动对焦方法和自动对焦装置 Download PDF

Info

Publication number
CN105700106A
CN105700106A CN201610179606.5A CN201610179606A CN105700106A CN 105700106 A CN105700106 A CN 105700106A CN 201610179606 A CN201610179606 A CN 201610179606A CN 105700106 A CN105700106 A CN 105700106A
Authority
CN
China
Prior art keywords
image
end points
motor
point
estimate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610179606.5A
Other languages
English (en)
Other versions
CN105700106B (zh
Inventor
陈敏
周承涛
王烨茹
冯华君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201610179606.5A priority Critical patent/CN105700106B/zh
Publication of CN105700106A publication Critical patent/CN105700106A/zh
Priority to PCT/CN2017/077902 priority patent/WO2017167116A1/zh
Application granted granted Critical
Publication of CN105700106B publication Critical patent/CN105700106B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/09Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted for automatic focusing or varying magnification
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

本发明提供了一种自动对焦方法和自动对焦装置。该自动对焦装置包括镜头、步进电机、计算模块和控制模块。该自动对焦方法包括:控制模块确定步进电机的移动区间L;镜头在步进电机位于L的两个端点中的第一端点时获取图像P1;镜头在步进电机位于L中的第一内点时获取图像P2;镜头在步进电机位于L中的第二内点时获取图像P3;计算模块计算P1、P2和P3的清晰度评价值M1、M2和M3;控制模块确定L大于第一阈值时,根据M1、M2和M3确定步进电机的新的移动区间,并重复上述步骤;控制模块确定L小于或等于第一阈值时,根据M1、M2和M3确定步进电机的目标位置。本发明的技术方案,可以更快地完成自动对焦。

Description

自动对焦方法和自动对焦装置
技术领域
本发明涉及图像处理领域。尤其涉及一种自动对焦方法和自动对焦装置。
背景技术
随着数字图像和多媒体技术的快速发展,基于图像处理的自动对焦方法也越来越多地受到人们的关注。自动对焦方法中主要包括以下三个方面:对焦窗口的选择,对焦评价函数的选择,以及对焦搜索策略的选取。该自动对焦方法是根据某个对焦评价函数获取图像的清晰度特征值,并根据这一清晰度特征值控制步进电机,以驱动镜片或者图像传感器在某个区间内不断搜索新的位置,然后在新的位置重新获取图像的清晰度特征值,直到这一清晰度特征值满足某一预先约定的条件,从而完成自动对焦。
传统的自动对焦搜索方法常采用爬山搜索法或变步长的爬山搜索法来寻找准焦位置。理想的对焦评价函数曲线表现为抛物线形状,达到峰值时对应于最佳成像位置,当离开最佳点时函数单调递减。以变步长的爬山搜索算法为例,对焦开始时,设定对焦方向和较大步长,一边获取图像一边计算对焦评价函数值,当最新获取的图像评价值小于前一幅图像的评价值时,改变对焦方向;当再次越过峰顶后,减小步长,最终找到最佳镜头位置,这使得传统的自对对焦方法中,自动对焦的速度较慢。
发明内容
本发明提供一种自动对焦方法和自动对焦装置,能够更快地完成自动对焦。
第一方面,提供了一种自动对焦方法,执行所述自动对焦方法的自动对焦装置包括第一镜头、所述第一镜头的第一步进电机、计算模块和控制模块;所述方法包括:所述控制模块确定所述第一步进电机的移动区间Li,其中i≥1;所述第一镜头在所述第一步进电机位于所述Li的两个端点中的第一端点时获取图像P1;所述第一镜头在所述第一步进电机位于所述Li中的第一内点时获取图像P2;所述第一镜头在所述第一步进电机位于所述Li中的第二内点时获取图像P3;所述计算模块计算所述图像P1的清晰度评价值M1、所述图像P2的清晰度评价值M2、所述图像P3的清晰度评价值M3;所述控制模块确定Li大于第一阈值时,根据所述M1、M2和M3确定所述第一步进电机的新的移动区间Li+1,并重复所述第一镜头获取图像P1、图像P2、图像P3及计算模块计算图像P1、图像P2、图像P3的清晰度评价值的步骤,其中,所述移动区间Li+1为所述两个端点、所述第一内点和第二内点中的两个点之间的区间;所述控制模块确定Li小于或等于所述第一阈值时,根据M1、M2和M3确定所述第一步进电机的目标位置。
本发明实施例中,通过将步进电机的移动区间(即搜索区间)分段,使得每次搜索完成后能够排除较大范围的不符合要求的搜索区间,从而减小搜索区间,进而能够通过较少的搜索次数完成对焦,最终更快地完成自动对焦。
在一种可能的实现方式中,所述第一端点为所述Li中对应物距最远的点,所述第一内点为所述移动区间中与所述第一端点相距或相距的点,所述第二内点为所述移动区间中与所述第一端点相距或相距的点,表示向上取整,表示向下取整;其中,所述控制模块根据所述M1、M2和M3确定所述第一步进电机的新的移动区间Li+1,其中,所述移动区间Li+1为所述两个端点、所述第一内点和第二内点中的两个点之间的区间,包括:所述控制模块根据所述M1、M2和M3确定所述第一步进电机的新的移动区间Li+1,当M1>M2、M1>M3时,所述Li+1的两个端点为所述第一端点和所述第一内点,当M2≥M3和M2>M1时,所述Li+1的两个端点为所述第一端点和所述第二内点,当M3>M1和M3>M2时,所述Li+1的两个端点为所述Li的两个端点中除所述第一端点外的另一个端点和第一内点。
在本发明实施例中,将搜索区间按照黄金分割点来划分,使得每次搜索完成后能够排除更大范围的不符合要求的搜索区间,从而进一步减小搜索区间,最终能够通过更少的搜索次数完成对焦,即更快速地完成自动对焦。
在一种可能的实现方式中,所述装置还包括第二步进电机,所述第二步进电机与第二镜头对应;所述控制模块根据M1、M2和M3确定所述第一步进电机的目标位置,包括:所述控制模块确定根据M1、M2和M3拟合所得的抛物线的最大值M;所述控制模块根据所述M1、M2、M3和M中的最大值确定所述目标位置;所述方法还包括:所述第二步进电机移动至所述目标位置。
本发明实施例中,通过一个镜头来搜索对焦位置,在该镜头确定目标对焦位置后,再将另一个镜头的步进电机移动到该目标位置上,使得对焦过程中的图像的变化不会被第二个镜头中捕获,进而不会向用户呈现,因此可以提高用户体验度,
在一种可能的实现方式中,所述计算模块计算所述图像P1的清晰度评价值M1、所述图像P2的清晰度评价值M2、所述图像P3的清晰度评价值M3,包括:所述计算模块计算图像Pj的子图像中的块S(m,n)的梯度值,所述子图像的像素为K*K,所述块S(m,n)的像素为Ni*Ni,所述块S(m,n)的第1行第1列的像素为所述子图像的第m行第n列的像素,其中3≥j≥1,K≥1,K≥Ni≥1,K-2*Ni+1≥m≥1,K-2*Ni+1≥n≥1,Ni<Ni-1;所述计算模块根据所述块S(m,n)的梯度值获取所述图像Pj的清晰度评价值Mj
本发明实施例中,两次确定搜索区间时,计算图像的清晰度评价值的公式中所依据的块的像素从大到小变化,即Ni<Ni-1,使得计算清晰度评价值时,能够图像上覆盖更广的模糊量,以及能够更灵敏地计算出图像的清晰度评价值。
在一种可能的实现方式中,所述计算模块计算图像Pj的子图像中的块S(m,n)的梯度值,包括:所述计算模块根据公式计算块S(m,n)的平均灰度值C(m,n),其中,I'x,y表示块S(m,n)中第x行第y列像素的灰度值:所述计算模块根据公式计算块的平均灰度值其中,I″x,y表示块中第x行第y列像素的灰度值;所述计算模块根据公式计算块的平均灰度值其中,I″x,y表示块中第x行第y列像素的灰度值;所述计算模块根据公式计算所述块S(m,n)的梯度值T(m,n);所述计算模块根据所述块S(m,n)的梯度值获取所述图像Pj的清晰度评价值Mj,包括:所述计算模块根据公式计算所述所述图像Pj的清晰度评价值Mj
第二方面,提供了一种自动对焦装置,包括第一镜头、所述第一镜头的第一步进电机、计算模块和控制模块;所述控制模块用于确定所述第一步进电机的移动区间Li,其中i≥1;所述第一镜头用于在所述第一步进电机位于所述Li的两个端点中的第一端点时获取图像P1;所述第一镜头还用于在所述第一步进电机位于所述Li中的第一内点时获取图像P2;所述第一镜头还用于在所述第一步进电机位于所述Li中的第二内点时获取图像P3;所述计算模块用于计算所述图像P1的清晰度评价值M1、所述图像P2的清晰度评价值M2、所述图像P3的清晰度评价值M3;所述控制模块还用于确定Li大于第一阈值时,根据所述M1、M2和M3确定所述第一步进电机的新的移动区间Li+1,其中,所述移动区间Li+1为所述两个端点、所述第一内点和第二内点中的两个点之间的区间;所述控制模块还用于确定Li小于或等于所述第一阈值时,根据M1、M2和M3确定所述第一步进电机的目标位置。
本发明实施例中,通过将步进电机的移动区间(即搜索区间)分段,使得每次搜索完成后能够排除较大范围的不符合要求的搜索区间,从而减小搜索区间,进而能够通过较少的搜索次数完成对焦,最终更快地完成自动对焦。
在一种可能的实现方式中,所述第一端点为所述Li中对应物距最远的点,所述第一内点为所述移动区间中与所述第一端点相距或相距的点,所述第二内点为所述移动区间中与所述第一端点相距或相距的点,表示向上取整,表示向下取整;其中,所述控制模块具体用于:根据所述M1、M2和M3确定所述第一步进电机的新的移动区间Li+1,当M1>M2、M1>M3时,所述Li+1的两个端点为所述第一端点和所述第一内点,当M2≥M3和M2>M1时,所述Li+1的两个端点为所述第一端点和所述第二内点,当M3>M1和M3>M2时,所述Li+1的两个端点为所述Li的两个端点中除所述第一端点外的另一个端点和第一内点。
在本发明实施例中,将搜索区间按照黄金分割点来划分,使得每次搜索完成后能够排除更大范围的不符合要求的搜索区间,从而进一步减小搜索区间,最终能够通过更少的搜索次数完成对焦,即更快速地完成自动对焦。
在一种可能的实现方式中,所述装置还包括第二步进电机,所述第二步进电机与第二镜头对应;所述控制模块具体用于:确定根据M1、M2和M3拟合所得的抛物线的最大值M,根据所述M1、M2、M3和M中的最大值确定所述目标位置;所述第二步进电机还用于移动至所述目标位置。
本发明实施例中,通过一个镜头来搜索对焦位置,在该镜头确定目标对焦位置后,再将另一个镜头的步进电机移动到该目标位置上,使得对焦过程中的图像的变化不会被第二个镜头中捕获,进而不会向用户呈现,因此可以提高用户体验度,
在一种可能的实现方式中,所述计算模块具体用于:
计算图像Pj的子图像中的块S(m,n)的梯度值,所述子图像的像素为K*K,所述块S(m,n)的像素为Ni*Ni,所述块S(m,n)的第1行第1列的像素为所述子图像的第m行第n列的像素,其中3≥j≥1,K≥1,K≥Ni≥1,K-2*Ni+1≥m≥1,K-2*Ni+1≥n≥1,Ni<Ni-1;根据所述块S(m,n)的梯度值获取所述图像Pj的清晰度评价值Mj
本发明实施例中,两次确定搜索区间时,计算图像的清晰度评价值的公式中所依据的块的像素从大到小变化,即Ni<Ni-1,使得计算清晰度评价值时,能够图像上覆盖更广的模糊量,以及能够更灵敏地计算出图像的清晰度评价值。
在一种可能的实现方式中,所述计算模块具体用于:根据公式计算块S(m,n)的平均灰度值C(m,n),其中,I'x,y表示块S(m,n)中第x行第y列像素的灰度值:根据公式计算块的平均灰度值其中,I″x,y表示块中第x行第y列像素的灰度值;根据公式计算块的平均灰度值其中,I″x,y表示块中第x行第y列像素的灰度值;根据公式计算所述块S(m,n)的梯度值T(m,n);根据公式计算所述所述图像Pj的清晰度评价值Mj
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍,显而易见地,下面所描述的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例的自动对焦装置的示意性结构图。
图2是本发明实施例的自动对焦方法的示意性流程图。
图3是本发明实施例中移动区间的示意图。
图4是本发明实施例的自动对焦装置的示意性结构图。
图5是本发明实施例的自动对焦装置的示意性结构图。
图6是本发明实施例中子图像的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了更好地介绍本发明实施例的自动对焦方法,下面结合图1介绍执行本发明实施例的自动对焦装置。
如图1所示,自动对焦装置100可以包括镜头110,镜头的步进电机120、计算模块130和控制模块140。
镜头110可以是生成影像的光学部件,可以由多片透镜组成。镜头110可以在一定范围内对不同距离、不同大小的目标获得图像。步进电机120可以是将电脉冲信号转变为角位移或线位移的开环控制元步进电机件。当步进电机120移动到不同位置时,其控制的镜头110有不同的物距,从而在不同的物距处获取图像。计算模块130和控制模块140可以由具有计算功能的芯片来实现,用于对镜头获取的图像进行处理,并根据处理的结果控制步进电机移动,从而改变镜头的物距。
当然,该装置100还可以包括其他的模块,如图像传感器或图像存储器等。由于本发明实施例中主要涉及的是镜头和它的步进电机,以及计算模块和控制模块,因此对于其他可能包括的模块不再详细描述。而且,应注意,此处所述的计算模块和控制模块只是逻辑功能上的区分,其在物理实现上,即可以是一个整体模块,也可是分开部署的模块。
图2为本发明实施例的自动对焦方法的示意性流程图。应理解,图2示出了自动对焦方法的详细步骤或操作,但这些步骤或操作仅是示例,本发明实施例中还可以执行其他操作或者图2中的各个操作的变形。此外,图2中的各个步骤可以按照与图2呈现的不同的顺序来执行,并且有可能并非要执行图2中的全部操作。
S202,控制模块140确定步进电机120的移动区间L。控制模块可以将步进电机的对应物距最远的位置至对应物距最近的位置之间的范围确定为步进电机的移动区间,也可以将步进电机的对应物距最远的位置至任一一个物距对应的位置间的范围确定为步进电机的移动区间,也可以将步进电机的对应物距最近的位置至任一一个物距对应的位置间的范围确定为步进电机的移动区间,或将步进电机对应物距最远端的位置至对应物距最近端的位置之间的任意一段范围确定为步进电机的移动区间。
本发明实施例中所述的物距与现有技术中的物距表示相同的含义,即为被拍摄物体到镜头的光心的距离。
S204,镜头110在步进电机120位于L的两个端点中的第一端点时获取图像P1
当确定好步进电机的移动区间后,可以移动步进电机至该移动区间中两个端点中的一个端点处,且此时,镜头获取一个图像,为了后续描述方便,将该图像称为P1
若步进电机的移动区间为对应物距最远端的位置至对应物距最近端的位置,则镜头可以在步进电机位于物距最远端对应的位置处获取图像P1,也可以在步进电机位于对应物距最近端的位置处获取图像P1
S206,镜头110在步进电机120位于L中的第一内点时获取图像P2。将步进电机移动至移动区间L中任意一处,然后,镜头获取图像,为了后续描述方便,将该图像称为P2
L中的第一内点可以是与L的两个端点中的任意一个端点相距或相距的点,表示向上取整,表示向下取整。
S208,镜头110在步进电机120位于L中的第二内点时获取图像P3。将步进电机移动至移动区间L中另外任意一处,然后,镜头获取图像,为了后续描述方便,将该图像称为P3
当L中的第一内点是与L的两个端点中的第一个端点相距或相距的点时,L中的第二内点可以是与上述第一个端点相距的点。
应注意,此处对步进电机移动到上述三个位置,镜头对应获取三个图像的顺序不做限制,可以按照获取图像P1、获取图像P3、获取图像P3的顺序来执行,也可以按照获取图像P2、获取图像P3、获取图像P1的顺序来执行,当然还可以是其他执行顺序。具体操作时,可以根据步进电机在对焦前所处的位置来确定执行顺序。
S210,计算模块130计算图像P1的清晰度评价值M1、图像P2的清晰度评价值M2、图像P3的清晰度评价值M3
镜头获取到三个图像P1、P2和P3后,计算这三个图像的清晰度评价值。应注意,可以是镜头每次获取到图像后,即开始计算该图像的清晰度评价值,也可以是镜头获取到三个图像后,再开始计算这三个图像的清晰度评价值。
S212,控制模块140确定L是否小于或等于第一阈值。该第一阈值可以是预先设置的值,可以根据自动对焦的需求来确定第一阈值,第一阈值的取值范围可以为3至5。通常情况下,第一阈值可以取4。此时,控制模块确定步进电机在移动区间内可移动地步数小于或等于4步。
S214,当控制模块140确定L小于或等于第一阈值时,根据M1、M2和M3确定步进电机120的目标位置。
当控制模块确定出三个图像的清晰度评价值后,可以先判断移动区间是否满足第一阈值条件。若移动区间小于或等于第一阈值,则根据M1、M2和M3之间的大小关系确定步进电机最后需要移动到的目标位置,即成功对焦时步进电机所处的位置。
下面介绍根据M1、M2和M3之间的大小关系确定步进电机的目标位置的一种可能的方式。首先,根据M1、M2和M3拟合得到一个抛物线。具体而言,假设横坐标为移动区间(移动区间的一个端点为原点),拟合经过点(L,M1)、点(M2)和点(M3)的抛物线。其次确定该抛物线的最大值M,接下来确定M1、M2、M3和M中的最大值Mmax,然后将Mmax对应的横坐标确定为步进电机的目标位置。若Mmax不是整数,可以对Mmax进行取整,以得到步进电机的目标位置。最后,可以将第一步进电机移动到该目标位置,即实现自动对焦。
S216,当控制模块140确定L大于第一阈值时,根据M1、M2和M3确定步进电机120的新的移动区间L。确定步进电机的新的移动区间后,镜头110、步进电机120、计算模块130和控制模块140在新的移动区间L内重复204至212中的所有步骤。
当控制模块确定步进电机的移动区间没有满足某个预先设置地阈值条件时,如移动区间L不小于也不等于第一阈值(即大于第一阈值)时,为步进电机确定新的移动区间,然后重新获取图像及计算图像的清晰度评价值。
步进电机的新的移动区间的两个端点为控制模块根据M1、M2和M3之间的大小关系从原移动区间的两个端点、第一内点和第二内点中确定出来的。如新的移动区间的两个端点可以分别是原移动区间的一个端点和原移动区间内的第一内点,也可以是原移动区间的一个端点和原移动区间内的第二内点,或是原移动区间的第一内点和原移动区间内的第二内点。
本发明实施例中,通过三个不同位置上获取的图像的清晰度评价值来选取下一次对焦时步进电机的移动区间,每次可以排除较大范围的区间,然后在较小范围内继续确定步进电机的位置,从而可以较少搜索的次数,进而实现快速对焦。
根据M1、M2和M3之间的大小关系确定步进电机的新的移动区间的一种可能的方式,主要是通过确定两个新的端点来确定新的移动区间。当M1>M2、M1>M3时,所述新的移动区间的两个端点为所述第一端点和所述第一内点,当M2≥M3和M2>M1时,所述新的移动区间的两个端点为所述第一端点和所述第二内点,当M3>M1和M3>M2时,所述新的移动区间的两个端点为所述原移动区间的两个端点中除所述第一端点外的另一个端点和第一内点。
下面结合图3介绍本发明实施例中的新的移动区间的确定方法。
如图3所示,假设步进电机在的原移动区间的一个端点为L0,另一个端点为L1。L0与L1之间相距L,L可以表示步进电机从L0移动到L1需要的最少的步数。
步进电机位于L1时,镜头获取了图像P1,L1即为第一端点,L0即为第二端点。此时,与L1相距的点为L2,即为第一内点;与L1相距的点为L3,即为第二内点。步进电机位于L2、L3时,镜头分别获取图像P2和图像P3
计算模块计算图像P1、P2和P3的清晰度评价值,分别得到M1、M2和M3。若M1比M2和M3都大,则新的移动区间的两个端点为L1和L2,即新的移动区间为[L1,L2]。若M1比M2和M3中任意一个小,且M2比M3大或M2等于M3,则新的移动区间的两个端点为L1和L3,即新的移动区间[L1,L3]。若M1比M2和M3中任意一个小,且M2比M3小,则新的移动区间的两个端点为L0和L2,即新的移动区间为[L0,L2]。
确定了步进电机的新的移动区间后,步进电机开始按照204至212中的步骤重新执行,然后再判断该移动区间是否满足第一阈值,不满足则继续重新确定新的移动区间,然后再执行204至212中的步骤。
本发明实施例中,如图4所示,自动对焦装置400还可以包括镜头150和镜头150的步进电机160。图4中与图1中相同的标记表示相同或相似的含义,为了简便,此处不再赘述。
当控制模块140确定出步进电机120的目标位置后,将步进电机160移动到所述目标位置,从而实现自动对焦。然后可以通过镜头150获取图像,并呈现给用户。这种实现方式使得步进电机120在移动过程中导致的图像的变化过程不会呈现给用户,从而可以提高用户的体验度。
本发明实施例中,如图5所示,自动对焦装置500还可以包括一个或多个光线分流器(BeamSplitter)170。图5中与图1和图4中相同的标记表示相同或相似的含义,为了简便,此处不再赘述。
光线分流器170用于将光线分流给镜头110和镜头150,使得镜头110和镜头150可以更好地同时获得相同的光线,以使得为步进电机120确定的目标位置也是步进电机160的目标位置。
本发明实施例的自动对焦方法中,计算模块130计算图像P1的清晰度评价值M1、图像P2的清晰度评价值M2、图像P3的清晰度评价值M3时,一种可能的实现方式如下:计算模块130计算图像Pj的子图像中的块S(m,n)的梯度值,所述子图像的像素为K*K,块S(m,n)的像素为N*N,块S(m,n)的第1行第1列的像素为所述子图像的第m行第n列的像素,其中3≥j≥1,K≥1,K≥N≥1,K-N+1≥m≥1,K-N+1≥n≥1;计算模块根据块S(m,n)的梯度值获取图像Pj的清晰度评价值Mj
应注意,由于块S(m,n)的像素为N*N,且为了使得所有块S(m,n)的像素均为子图像中的像素,因此K-N+1≥m≥1,K-N+1≥n≥1。
上面介绍的是在一个移动区间内如何计算图像的清晰度评价值的一种可能的自动对焦方法,当重新确定移动区间后,还可以使用上述方法来计算在新的移动区间中获取的图像的清晰度评价值。若将在上一个移动区间中计算图像的清晰度评价值过程中的参数N记为Ni-1,则根据所述上一个移动区间确定的新的移动区间后,在该新的移动区间中计算图像的清晰度评价值时,使用的参数N(可以将其记为Ni)可以满足:Ni<Ni-1。通常情况下,可以满足:以便于能够在更好的模糊量覆盖范围内计算图像的清晰度评价值,从而进一步提高图像的清晰度评价值的灵敏度.
在重新确定移动区间后,不断减小子图像中的块的像素大小(即N的大小),然后根据N来计算图像的清晰度评价值,可以更加灵敏地计算出该图像的清晰度评价值。
值得注意的是,第一个N的取值可以较大,具体大小可以根据对角装置中的模糊量而定。模糊量越大,N的取值可以越大,这样可以使得图像的模糊量较大时,能够很好地识别模糊情况,从而可以增大对焦的覆盖范围。
如上所述,计算模块130计算M1、M2、M3的具体实现方式为:在步进电机120的一个移动区间内,计算模块130计算图像P1的子图像中所有块S(m,n)的梯度值,然后根据所有块S(m,n)的梯度值获取图像P1的清晰度评价值M1;计算模块计算图像P2的子图像中所有块S(m,n)的梯度值,然后根据所有块S(m,n)的梯度值获取图像P2的清晰度评价值M2;计算模块130计算图像P3的子图像中所有块S(m,n)的梯度值,然后根据所有块S(m,n)的梯度值获取图像P3的清晰度评价值M3
下面结合图6详细介绍图像P1、图像P2和图像P3中的任意一个图像的清晰度评价值的一种可能的计算方法。
如图6所示,子图像的像素为K*K;块S(m,n)的第1行第1列像素为子图像中的第m行第n列像素,块S(m,n)的像素为N*N;块S(m,n+N)的第1行第1列像素为子图像中的第m行第n+N列像素,块S(m,n+N)的像素也为N*N;块的第1行第1列像素为子图像中的第m+N行第n列像素,块的像素也为N*N。
此时,应注意,为了使得所有块S(m,n)、块S(m,n+N)、块的像素均为子图像中的像素,因此K-2*N+1≥m≥1,K-2*N+1≥n≥1。
在计算模块块S(m,n)的梯度值T(m,n)时,先计算块S(m,n)、块S(m,n+N)、块的平均灰度值,分别得到C(m,n)、C(m,n+N)、C(m+N,n),然后根据公式T(m,n)=|C(m,n+N)-C(m,n)|+|C(m+N,n)-C(m,n)|计算得到块S(m,n)的梯度值T(m,n)
其中,块S(m,n)、块S(m,n+N)、块的平均灰度值C(m,n)、C(m,n+N)、C(m+N,n)的计算公式为:I'x,y表示块S(m,n)中第x行第y列像素的灰度值,I″x,y表示块S(m,n+N)中第x行第y列像素的灰度值,I″x,y表示块中第x行第y列像素的灰度值。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种自动对焦方法,其特征在于,执行所述自动对焦方法的自动对焦装置包括第一镜头、所述第一镜头的第一步进电机、计算模块和控制模块;
所述方法包括:
所述控制模块确定所述第一步进电机的移动区间Li,其中i≥1;
所述第一镜头在所述第一步进电机位于所述Li的两个端点中的第一端点时获取图像P1
所述第一镜头在所述第一步进电机位于所述Li中的第一内点时获取图像P2
所述第一镜头在所述第一步进电机位于所述Li中的第二内点时获取图像P3
所述计算模块计算所述图像P1的清晰度评价值M1、所述图像P2的清晰度评价值M2、所述图像P3的清晰度评价值M3
所述控制模块确定Li大于第一阈值时,根据所述M1、M2和M3确定所述第一步进电机的新的移动区间Li+1,并重复所述第一镜头获取图像P1、图像P2、图像P3及计算模块计算图像P1、图像P2、图像P3的清晰度评价值的步骤,其中,所述移动区间Li+1为所述两个端点、所述第一内点和第二内点中的两个点之间的区间;
所述控制模块确定Li小于或等于所述第一阈值时,根据M1、M2和M3确定所述第一步进电机的目标位置。
2.如权利要求1所述的自动对焦方法,其特征在于,所述第一端点为所述Li中对应物距最远的点,所述第一内点为所述移动区间中与所述第一端点相距或相距的点,所述第二内点为所述移动区间中与所述第一端点相距或相距的点,表示向上取整,表示向下取整;
其中,所述控制模块根据所述M1、M2和M3确定所述第一步进电机的新的移动区间Li+1,其中,所述移动区间Li+1为所述两个端点、所述第一内点和第二内点中的两个点之间的区间,包括:
所述控制模块根据所述M1、M2和M3确定所述第一步进电机的新的移动区间Li+1,当M1>M2、M1>M3时,所述Li+1的两个端点为所述第一端点和所述第一内点,当M2≥M3和M2>M1时,所述Li+1的两个端点为所述第一端点和所述第二内点,当M3>M1和M3>M2时,所述Li+1的两个端点为所述Li的两个端点中除所述第一端点外的另一个端点和第一内点。
3.如权利要求1或2所述的自动对焦方法,其特征在于,所述装置还包括第二步进电机,所述第二步进电机与第二镜头对应;
所述控制模块根据M1、M2和M3确定所述第一步进电机的目标位置,包括:
所述控制模块确定根据M1、M2和M3拟合所得的抛物线的最大值M;
所述控制模块根据所述M1、M2、M3和M中的最大值确定所述目标位置;
所述方法还包括:
所述第二步进电机移动至所述目标位置。
4.如权利要求1至3中任一项所述的自动对焦方法,其特征在于,所述计算模块计算所述图像P1的清晰度评价值M1、所述图像P2的清晰度评价值M2、所述图像P3的清晰度评价值M3,包括:
所述计算模块计算图像Pj的子图像中的块S(m,n)的梯度值,所述子图像的像素为K*K,所述块S(m,n)的像素为Ni*Ni,所述块S(m,n)的第1行第1列的像素为所述子图像的第m行第n列的像素,其中3≥j≥1,K≥1,K≥Ni≥1,K-2*Ni+1≥m≥1,K-2*Ni+1≥n≥1,Ni<Ni-1
所述计算模块根据所述块S(m,n)的梯度值获取所述图像Pj的清晰度评价值Mj
5.如权利要求4所述的自动对焦方法,其特征在于,所述计算模块计算图像Pj的子图像中的块S(m,n)的梯度值,包括:
所述计算模块根据公式计算块S(m,n)的平均灰度值C(m,n),其中,I'x,y表示块S(m,n)中第x行第y列像素的灰度值:
所述计算模块根据公式计算块的平均灰度值其中,I″x,y表示块中第x行第y列像素的灰度值;
所述计算模块根据公式计算块的平均灰度值其中,I″′x,y表示块中第x行第y列像素的灰度值;
所述计算模块根据公式计算所述块S(m,n)的梯度值T(m,n)
所述计算模块根据所述块S(m,n)的梯度值获取所述图像Pj的清晰度评价值Mj,包括:
所述计算模块根据公式T(m,n)计算所述所述图像Pj的清晰度评价值Mj
6.一种自动对焦装置,其特征在于,包括第一镜头、所述第一镜头的第一步进电机、计算模块和控制模块;
所述控制模块用于确定所述第一步进电机的移动区间Li,其中i≥1;
所述第一镜头用于在所述第一步进电机位于所述Li的两个端点中的第一端点时获取图像P1
所述第一镜头还用于在所述第一步进电机位于所述Li中的第一内点时获取图像P2
所述第一镜头还用于在所述第一步进电机位于所述Li中的第二内点时获取图像P3
所述计算模块用于计算所述图像P1的清晰度评价值M1、所述图像P2的清晰度评价值M2、所述图像P3的清晰度评价值M3
所述控制模块还用于确定Li大于第一阈值时,根据所述M1、M2和M3确定所述第一步进电机的新的移动区间Li+1,其中,所述移动区间Li+1为所述两个端点、所述第一内点和第二内点中的两个点之间的区间;
所述控制模块还用于确定Li小于或等于所述第一阈值时,根据M1、M2和M3确定所述第一步进电机的目标位置。
7.如权利要求6所述的自动对焦装置,其特征在于,所述第一端点为所述Li中对应物距最远的点,所述第一内点为所述移动区间中与所述第一端点相距或相距的点,所述第二内点为所述移动区间中与所述第一端点相距或相距的点,表示向上取整,表示向下取整;
其中,所述控制模块具体用于:根据所述M1、M2和M3确定所述第一步进电机的新的移动区间Li+1,当M1>M2、M1>M3时,所述Li+1的两个端点为所述第一端点和所述第一内点,当M2≥M3和M2>M1时,所述Li+1的两个端点为所述第一端点和所述第二内点,当M3>M1和M3>M2时,所述Li+1的两个端点为所述Li的两个端点中除所述第一端点外的另一个端点和第一内点。
8.如权利要求6或7所述的自动对焦装置,其特征在于,所述装置还包括第二步进电机,所述第二步进电机与第二镜头对应;
所述控制模块具体用于:确定根据M1、M2和M3拟合所得的抛物线的最大值M,根据所述M1、M2、M3和M中的最大值确定所述目标位置;
所述第二步进电机还用于移动至所述目标位置。
9.如权利要求6至8中任一项所述的自动对焦装置,其特征在于,所述计算模块具体用于:
计算图像Pj的子图像中的块S(m,n)的梯度值,所述子图像的像素为K*K,所述块S(m,n)的像素为Ni*Ni,所述块S(m,n)的第1行第1列的像素为所述子图像的第m行第n列的像素,其中3≥j≥1,K≥1,K≥Ni≥1,K-2*Ni+1≥m≥1,K-2*Ni+1≥n≥1,Ni<Ni-1
根据所述块S(m,n)的梯度值获取所述图像Pj的清晰度评价值Mj
10.如权利要求9所述的自动对焦装置,其特征在于,所述计算模块具体用于:
根据公式计算块S(m,n)的平均灰度值C(m,n),其中,I'x,y表示块S(m,n)中第x行第y列像素的灰度值:
根据公式计算块的平均灰度值其中,I″x,y表示块中第x行第y列像素的灰度值;
根据公式计算块的平均灰度值其中,I″′x,y表示块中第x行第y列像素的灰度值;
根据公式计算所述块S(m,n)的梯度值T(m,n)
根据公式计算所述所述图像Pj的清晰度评价值Mj
CN201610179606.5A 2016-03-28 2016-03-28 自动对焦方法和自动对焦装置 Expired - Fee Related CN105700106B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610179606.5A CN105700106B (zh) 2016-03-28 2016-03-28 自动对焦方法和自动对焦装置
PCT/CN2017/077902 WO2017167116A1 (zh) 2016-03-28 2017-03-23 自动对焦方法和自动对焦装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610179606.5A CN105700106B (zh) 2016-03-28 2016-03-28 自动对焦方法和自动对焦装置

Publications (2)

Publication Number Publication Date
CN105700106A true CN105700106A (zh) 2016-06-22
CN105700106B CN105700106B (zh) 2018-03-02

Family

ID=56232947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610179606.5A Expired - Fee Related CN105700106B (zh) 2016-03-28 2016-03-28 自动对焦方法和自动对焦装置

Country Status (2)

Country Link
CN (1) CN105700106B (zh)
WO (1) WO2017167116A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106094162A (zh) * 2016-08-26 2016-11-09 英华达(上海)科技有限公司 一种对焦方法
CN106878610A (zh) * 2016-12-20 2017-06-20 捷开通讯(深圳)有限公司 图像采集装置的对焦方法及图像采集装置
CN107229176A (zh) * 2017-05-26 2017-10-03 神画科技(深圳)有限公司 一种热失焦自动补偿的系统和方法
WO2017167116A1 (zh) * 2016-03-28 2017-10-05 华为技术有限公司 自动对焦方法和自动对焦装置
CN108429884A (zh) * 2018-06-05 2018-08-21 昆山丘钛微电子科技有限公司 一种对焦方法、装置、设备及介质
CN109218718A (zh) * 2018-10-31 2019-01-15 广州立景创新科技有限公司 自动对焦调试方法、装置、设备和存储介质
CN109254382A (zh) * 2018-10-12 2019-01-22 南通大学 基于机器视觉的螺纹检测自动对焦方法
CN109521547A (zh) * 2018-12-21 2019-03-26 广州医软智能科技有限公司 一种变步长的自动调焦方法及系统
CN109975948A (zh) * 2017-12-28 2019-07-05 格科微电子(上海)有限公司 控制对焦模组运动得到景深信息的方法
CN110244444A (zh) * 2019-05-21 2019-09-17 深圳市智影医疗科技有限公司 显微镜的对焦方法、装置、终端设备及存储介质
CN111025525A (zh) * 2019-12-05 2020-04-17 苏州大学 自动对焦方法及装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859196B (zh) * 2019-01-25 2023-06-16 淮阴师范学院 一种基于分块pca的图像聚焦测度实现方法
CN114143451B (zh) * 2021-11-22 2023-08-18 武汉华中天经通视科技有限公司 一种用于无行程记录调焦电机的对焦方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120050701A1 (en) * 2010-08-27 2012-03-01 Hon Hai Precision Industry Co., Ltd. Auto-focusing projector and method for automatically focusing the projector
CN103472658A (zh) * 2012-06-06 2013-12-25 鸿富锦精密工业(深圳)有限公司 自动对焦方法
CN103513396A (zh) * 2012-06-20 2014-01-15 鸿富锦精密工业(深圳)有限公司 对焦位置搜寻方法
CN103838058A (zh) * 2012-11-23 2014-06-04 鸿富锦精密工业(深圳)有限公司 自动对焦方法
CN103852956A (zh) * 2012-12-04 2014-06-11 鸿富锦精密工业(深圳)有限公司 自动对焦方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100559255C (zh) * 2006-03-15 2009-11-11 亚洲光学股份有限公司 自动对焦方法及使用上述方法的影像撷取装置
TWI309329B (en) * 2006-10-03 2009-05-01 Novatek Microelectronics Corp Focus system and method for camera
WO2013108074A1 (en) * 2012-01-17 2013-07-25 Nokia Corporation Focusing control method using colour channel analysis
CN102967983A (zh) * 2012-11-07 2013-03-13 苏州科达科技股份有限公司 相机自动对焦方法
CN104767926A (zh) * 2014-01-07 2015-07-08 北京三星通信技术研究有限公司 自动对焦的方法及装置
CN104820328B (zh) * 2015-03-27 2017-05-17 浙江大学 一种基于离焦模型曲线计算准焦位置的快速自动对焦方法
CN105700106B (zh) * 2016-03-28 2018-03-02 华为技术有限公司 自动对焦方法和自动对焦装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120050701A1 (en) * 2010-08-27 2012-03-01 Hon Hai Precision Industry Co., Ltd. Auto-focusing projector and method for automatically focusing the projector
CN102375316A (zh) * 2010-08-27 2012-03-14 鸿富锦精密工业(深圳)有限公司 投影仪及其自动对焦方法
CN103472658A (zh) * 2012-06-06 2013-12-25 鸿富锦精密工业(深圳)有限公司 自动对焦方法
CN103513396A (zh) * 2012-06-20 2014-01-15 鸿富锦精密工业(深圳)有限公司 对焦位置搜寻方法
CN103838058A (zh) * 2012-11-23 2014-06-04 鸿富锦精密工业(深圳)有限公司 自动对焦方法
CN103852956A (zh) * 2012-12-04 2014-06-11 鸿富锦精密工业(深圳)有限公司 自动对焦方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017167116A1 (zh) * 2016-03-28 2017-10-05 华为技术有限公司 自动对焦方法和自动对焦装置
CN106094162A (zh) * 2016-08-26 2016-11-09 英华达(上海)科技有限公司 一种对焦方法
CN106094162B (zh) * 2016-08-26 2018-05-22 英华达(上海)科技有限公司 一种对焦方法
CN106878610A (zh) * 2016-12-20 2017-06-20 捷开通讯(深圳)有限公司 图像采集装置的对焦方法及图像采集装置
CN106878610B (zh) * 2016-12-20 2020-09-25 Tcl移动通信科技(宁波)有限公司 图像采集装置的对焦方法及图像采集装置
CN107229176A (zh) * 2017-05-26 2017-10-03 神画科技(深圳)有限公司 一种热失焦自动补偿的系统和方法
CN109975948A (zh) * 2017-12-28 2019-07-05 格科微电子(上海)有限公司 控制对焦模组运动得到景深信息的方法
CN108429884A (zh) * 2018-06-05 2018-08-21 昆山丘钛微电子科技有限公司 一种对焦方法、装置、设备及介质
CN109254382A (zh) * 2018-10-12 2019-01-22 南通大学 基于机器视觉的螺纹检测自动对焦方法
CN109218718A (zh) * 2018-10-31 2019-01-15 广州立景创新科技有限公司 自动对焦调试方法、装置、设备和存储介质
CN109218718B (zh) * 2018-10-31 2020-09-08 广州立景创新科技有限公司 自动对焦调试方法、装置、设备和存储介质
CN109521547A (zh) * 2018-12-21 2019-03-26 广州医软智能科技有限公司 一种变步长的自动调焦方法及系统
CN110244444A (zh) * 2019-05-21 2019-09-17 深圳市智影医疗科技有限公司 显微镜的对焦方法、装置、终端设备及存储介质
CN110244444B (zh) * 2019-05-21 2021-09-03 深圳市智影医疗科技有限公司 显微镜的对焦方法、装置、终端设备及存储介质
CN111025525A (zh) * 2019-12-05 2020-04-17 苏州大学 自动对焦方法及装置

Also Published As

Publication number Publication date
WO2017167116A1 (zh) 2017-10-05
CN105700106B (zh) 2018-03-02

Similar Documents

Publication Publication Date Title
CN105700106A (zh) 自动对焦方法和自动对焦装置
Li et al. A2-RL: Aesthetics aware reinforcement learning for image cropping
KR101468351B1 (ko) 대상물 추적 장치, 대상물 추적 방법 및 제어 프로그램
CN104102068B (zh) 自动对焦方法及自动对焦装置
KR101909022B1 (ko) 카메라 자동 초점 조절장치 및 방법
CN108519654B (zh) 一种基于电液可调焦镜头的自动对焦方法
CN103595920B (zh) 图像采集设备、变倍过程中辅助聚焦方法及装置
EP3186780A1 (en) Systems and methods for image scanning
CN106341596B (zh) 一种聚焦方法和装置
Zhang et al. Autofocus System and Evaluation Methodologies: A Literature Review.
CN104079832B (zh) 一种一体化摄像机自动跟踪聚焦方法及系统
CN107888819A (zh) 一种自动聚焦方法及装置
CN105578048A (zh) 一种快速对焦方法和装置、移动终端
CN107707809A (zh) 一种图像虚化的方法、移动设备以及存储装置
CN106952304B (zh) 一种利用视频序列帧间相关性的深度图像计算方法
CN104580917A (zh) 一种快速自动聚焦方法及装置
CN106161960A (zh) 拍照方法和装置
TWI403818B (zh) 自動對焦方法
CN109739011A (zh) 一种基于改进爬山法的自动对焦方法
CN110572577A (zh) 一种跟踪聚焦的方法、装置、设备及介质
CN110336948B (zh) 一种预定区域聚焦的方法、装置、存储介质及电子装置
CN106707462B (zh) 一种自动对焦的方法及装置
CN106303190A (zh) 变焦跟踪曲线矫正方法及装置
CN103472658A (zh) 自动对焦方法
Weilharter et al. ATLAS-MVSNet: Attention layers for feature extraction and cost volume regularization in multi-view stereo

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180302

CF01 Termination of patent right due to non-payment of annual fee