CN106324945A - 非接触式自动对焦方法和装置 - Google Patents
非接触式自动对焦方法和装置 Download PDFInfo
- Publication number
- CN106324945A CN106324945A CN201510373273.5A CN201510373273A CN106324945A CN 106324945 A CN106324945 A CN 106324945A CN 201510373273 A CN201510373273 A CN 201510373273A CN 106324945 A CN106324945 A CN 106324945A
- Authority
- CN
- China
- Prior art keywords
- target area
- image
- area
- motion
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000000926 separation method Methods 0.000 claims description 8
- 125000004122 cyclic group Chemical group 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000009194 climbing Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000007670 refining Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
本发明公开一种非接触式自动对焦方法,包括以下步骤:在拍摄过程中,检测所拍摄的图像中的运动对象,确定图像中的目标区域;对所述目标区域进行跟踪,获得目标区域所在位置;根据所述目标区域所在位置进行自动对焦。本发明还公开了一种非接触式自动对焦装置。本发明提高了自动对焦的准确性。
Description
技术领域
本发明涉及对焦技术领域,尤其涉及一种非接触式自动对焦方法和装置。
背景技术
目前,在现有的对焦方法中,一般采用人脸识别,或者通过手动点击画面上的某一点进行自动对焦。但是在采用人脸识别方法进行自动对焦时,如果用户需要对画面上的运动对象进行自动对焦,而该运动对象不是人体,或者是人体处于侧面和背面,从而没有可供识别的人脸图案,则无法进行人脸识别,达不到自动对焦的目的。若采用手动点击画面上的某一点进行自动对焦,则当运动对象在画面中的位置不断变化时,依靠手动点击画面上的对焦点则会跟不上运动对象的实际位置,无法进行准确地自动对焦。
发明内容
本发明的主要目的在于提供一种非接触式自动对焦方法和装置,旨在提高自动对焦的准确性。
为了达到上述目的,本发明提供了一种非接触式自动对焦方法,包括:
S1、在拍摄过程中,检测所拍摄的图像中的运动对象,确定图像中的目标区域;
S2、对所述目标区域进行跟踪,获得目标区域所在位置;
S3、根据所述目标区域所在位置进行自动对焦。
优选地,所述步骤S1包括:
在拍摄过程中,检测所拍摄的当前图像中的运动对象,获得运动区域;
当所获得的运动区域为多个时,从该多个运动区域中选取一个作为目标区域;或者,
当所获得的运动区域为一个时,将该运动区域作为目标区域。
优选地,所述从该多个运动区域中选取一个作为目标区域包括:
根据预设的规则计算每个运动区域的权重,将权重较大者作为目标区域。
优选地,所述检测所拍摄的图像中的运动对象,获得运动区域包括:
对所拍摄的当前帧图像与前一帧图像分别进行前景和背景分离,获得当前帧图像的前景区域块和前一帧图像的前景区域块;
将当前帧图像的前景区域块和前一帧图像的前景区域块进行同一位置重合比对,确定运动区域。
优选地,所述非接触式自动对焦方法还包括:
循环执行步骤S2及步骤S3,对连续帧图像中的目标区域进行跟踪及自动对焦;
当连续帧图像的帧数达到预置帧数时,转入步骤S1。
此外,为实现上述目的,本发明还提供了一种非接触式自动对焦装置,包括:
目标区域确定模块,用于在拍摄过程中,检测所拍摄的图像中的运动对象,确定图像中的目标区域;
位置获取模块,用于对所述目标区域进行跟踪,获得目标区域所在位置;
对焦模块,用于根据所述目标区域所在位置进行自动对焦。
优选地,所述目标区域确定模块包括:
运动区域获取单元,用于在拍摄过程中,检测所拍摄的当前图像中的运动对象,获得运动区域;
目标区域确定单元,用于当所获得的运动区域为多个时,从该多个运动区域中选取一个作为目标区域;或者,当所获得的运动区域为一个时,将该运动区域作为目标区域。
优选地,所述确定单元用于:当所获得的运动区域为多个时,根据预设的规则计算每个运动区域的权重,将权重较大者作为目标区域。
优选地,所述运动区域获取单元包括:
前景区域块获取子单元,用于对所拍摄的当前帧图像与前一帧图像分别进行前景和背景分离,获得当前帧图像的前景区域块和前一帧图像的前景区域块;
运动区域确定子单元,用于将当前帧图像的前景区域块和前一帧图像的前景区域块进行同一位置重合比对,确定运动区域。
优选地,所述非接触式自动对焦装置还包括:
循环控制模块,用于控制所述位置获取模块和对焦模块循环对连续帧图像中的目标区域进行跟踪及自动对焦,直到所述连续帧图像的帧数达到预置帧数;还用于当连续帧图像的帧数达到预置帧数时,控制所述目标区域确定模块重新确定拍摄图像中的目标区域。
本发明实施例通过在拍摄过程中,检测所拍摄的图像中的运动对象,获得运动区域,并从运动区域中确定图像中的目标区域,然后对目标区域进行跟踪,获得目标区域所在位置,再根据目标区域所在位置进行自动对焦,从而提高了自动对焦的准确性。
附图说明
图1为本发明非接触式自动对焦方法第一实施例的流程示意图;
图2为本发明聚焦搜索过程的示意图;
图3为本发明非接触式自动对焦方法中,检测所拍摄的图像中的运动对象,确定图像中的目标区域的细化流程示意图;
图4为本发明非接触式自动对焦方法中,检测所拍摄的图像中的运动对象,获得运动区域的细化流程示意图;
图5为本发明非接触式自动对焦方法第二实施例的流程示意图;
图6为本发明非接触式自动对焦装置第一实施例的功能模块示意图;
图7为本发明非接触式自动对焦装置中目标区域确定模块的功能模块示意图;
图8为本发明非接触式自动对焦装置中运动区域获取单元的功能模块示意图;
图9为本发明非接触式自动对焦装置第二实施例的功能模块示意图。
为了使本发明的技术方案更加清楚、明了,下面将结合附图作进一步详述。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明的主要核心思想是,在拍摄过程中,检测所拍摄的图像中的运动对象,获得运动区域,并从一个或者多个运动区域中确定图像中的目标区域,然后对目标区域进行跟踪,确定目标区域所在位置,再根据目标区域所在位置进行自动对焦,并对连续帧图像进行跟踪及自动对焦,从而提高了自动对焦的准确性。
如图1所示,示出了本发明一种非接触式自动对焦方法第一实施例。该实施例的非接触式自动对焦方法包括以下步骤:
步骤S100、在拍摄过程中,检测所拍摄的图像中的运动对象,确定图像中的目标区域;
步骤S200、对所述目标区域进行跟踪,获得目标区域所在位置;
本实施例的非接触式自动对焦方法可应用于终端摄像头等一些拍摄场合,例如,手机、ipad、照相机等,以下以手机摄像头拍摄为例进行说明。当打开手机摄像头后,在拍摄过程中,存储连续多帧图像,检测所拍摄的图像中的运动对象,根据运动对象得到一个或者多个运动区域,同时会得到运动区域的位置和大小。再从该运动区域中确定图像中的目标区域,该目标区域为对焦对象,并对连续帧图像中的目标区域进行跟踪,确定目标区域所在位置。
本实施例中,对目标区域进行跟踪的思路是:用一种基于改进的局部二值模式(Local Binary Pattern,LBP)算子,将图像的纹理直方图与其颜色直方图进行融合,并嵌入到Camshift算法的框架中,对Camshift算法进行优化,以实现对目标区域的跟踪,具体步骤可包括:
(1)将检测得到的运动区域的位置和大小作为跟踪时初始运动区域的位置和大小;
(2)用LBP算子计算得到所检测图像的纹理直方图;
(3)用得到的纹理直方图与当前跟踪的图像进行反向投影,得到纹理概率分布图,并利用所检测图像的颜色直方图与当前跟踪的图像进行反向投影,得到色调概率分布图;
(4)将纹理概率分布图与色调概率分布图进行相与运算,得到灰度图像,将该灰度图像作为Camshift算法的输入图像;
(5)利用Camshift算法跟踪该灰度图像中目标区域,即将初始运动区域的位置和大小作为该灰度图像中目标区域的位置和大小;
(6)移动灰度图像中的目标区域位置,直到得到目标区域的质心最大,就确定目标区域的位置和大小;
(7)加载下一帧图像作为当前跟踪的图像,转入步骤(3)。
其中,利用LBP算子提取图像的纹理直方图具体为:像素点(x,y)处的局部二值化纹理值LBP(x,y)即可通过下面的公式来计算:
其中ic表示像素点(x,y)的灰度值,in为相邻像素的灰度值。p为邻像素个数,若取3×3的计算窗口,则p=8,sgn为符号函数,其表达式如下:
使用该LBP算子求得图像中每一个像素的纹理值,从而可得一幅局部二值化的纹理直方图。
需要说明的是,上述工作原理中采用了LBP算子、Camshift算法等等,但是并不限定本发明。凡是利用上述工作原理获取目标区域的位置,即使加入了其他算法、改进的算法等因素的各种变形均在本发明的保护范围之内。
步骤S300、根据所述目标区域所在位置进行自动对焦。
在对目标区域进行跟踪得到目标区域所在位置后,根据目标区域所在位置进行自动对焦,优选地,可以通过目标区域的中心位置进行自动对焦,或者当目标区域是人时,可以选择人脸的位置进行自动对焦。当然,也可以在检测得到图像中的目标区域的位置后,不对该目标区域进行跟踪,直接根据检测得到目标区域所在位置进行自动对焦。
自动对焦的过程可包括清晰度评价和聚焦搜索,具体地,首先采用改进的8邻域Laplacian算子进行清晰度评价,改进的8邻域Laplacian算子是根据图像f(x,y)在x,y方向上的二阶偏导数定义的一种边缘检测算子,该改进的8邻域Laplacian算子模板表示为:
图像清晰度评价函数为:
其次采用爬山算法进行聚焦搜索,具体地,根据初始的焦距值,采用图像清晰度评价函数计算得到初始的清晰度值。然后获取下一个焦距值并再次计算新的清晰度值,并比较两次清晰度值的大小,以确定搜索方向,即向清晰度值较大的一侧继续迭代搜索。在迭代搜索过程中,每次迭代都需要保存上一次的焦距值及其对应的清晰度值,当沿一个方向搜索到的清晰度值达到最大并开始下降时,第一次搜索结束。然后以该结束点开始反向搜索,当再次越过峰值并开始下降时,第二次搜索结束,如此反复,直到找到最大清晰度值。
如图2所示,假设聚焦搜索的初始焦距值为A,下一焦距值为B,计算得到的清晰度值J(A)<J(B),则确定搜索方向为从A向B,依此类推,当沿着该方向搜索到的清晰度值在焦距值为P时达到最大,并在焦距值为P1开始下降时,第一次搜索结束。如图2中实线所示,得到搜索路径为A—>B—>P—>P1。然后以焦距值为P1开始进行反向搜索,直到再次越过峰值P,并在焦距值为P2时开始下降,第二次搜索结束。如图2中的虚线所示,得到搜索路径为P1—>P—>P2,每搜索一次,搜索的步距相应地减小,如此反复,直到找到最大清晰度值为止,聚焦结束,即完成自动对焦。
本发明实施例通过对所拍摄的图像进行检测,获取图像中的运动区域,并从一个或者多个运动区域中确定目标区域,然后对目标区域进行跟踪,确定目标区域所在位置,再根据目标区域所在位置进行自动对焦,从而提高了自动对焦的准确性。
进一步地,如图3所示,基于上述实施例,上述步骤S100可包括:
步骤S110、在拍摄过程中,检测所拍摄的当前图像中的运动对象,获得运动区域;
步骤S120、判断所获得的运动区域是否为多个;
步骤S130、当所获得的运动区域为多个时,从该多个运动区域中选取一个作为目标区域;或者,
步骤S140、当所获得的运动区域为一个时,将该运动区域作为目标区域。
在手机拍摄过程中,检测所拍摄的当前图像中的运动对象,并根据运动对象获得运动区域,由于得到的运动区域可能是一个,也可能是多个,在确定运动区域后,需要判断所获得的运动区域一个还是多个。当所获得的运动区域为多个时,从该多个运动区域中选取一个作为目标区域。具体地,可根据预设的规则计算每个运动区域的权重,将权重较大者作为目标区域。该预设的规则可为:对运动区域的面积大小与离图像中心的距离分别进行打分,该打分规则可为:面积越大分数越高,距离越小分数越高,并根据两者加权后得到运动区域的权重。例如,假设存在两个运动区域,且第一运动区域的面积为3,离图像中心的距离为2,得到的权重为5,而第二运动区域的面积为2,离图像中心的距离为4,得到的权重为6,则第一运动区域的权重小于第二运动区域的权重,从而将第二运动区域作为目标区域,若存在两个以上的运动区域,计算方法依此类推。需要说明的是,该预设的规则也可根据具体情况进行灵活设置,并不限定本发明。当只存在一个运动区域时,则该运动区域为目标区域。
进一步地,为了提高确定图像中的目标区域的准确率,如图4所示,基于上述实施例,上述步骤S110可包括:
步骤S111、对所拍摄的当前帧图像与前一帧图像分别进行前景和背景分离,获得当前帧图像的前景区域块和前一帧图像的前景区域块;
步骤S112、将当前帧图像的前景区域块和前一帧图像的前景区域块进行同一位置重合比对,确定运动区域。
首先将所拍摄的当前图像的RGB图像转换为灰度图像,例如,可根据转换公式:Gray=0.212671R+0.715160G+0.072169B,转换得到第一灰度图像,将前一帧图像用同样的方法转换得到第二灰度图像。其次分别对得到的第一灰度图像和第二灰度图像进行前景和背景分离,获得当前帧图像的前景区域块和前一帧图像的前景区域块,并将当前帧图像的前景区域块和前一帧图像的前景区域块进行同一位置重合比对,以确定图像中的运动区域。
具体地,先利用背景匹配法进行背景抖动消除,即进行第一灰度图像中角点的提取,并与第二灰度图像上的角点进行匹配,筛选掉不合理的匹配点。然后采用三帧差分法进行前景区域的提取,在手机拍摄的过程中,会对连续帧图像进行存储,可以是存储5帧或者是其他帧数。三帧差分法可包括:假设当前帧图像为f1,存储的前两帧图像分别为f2和f3,前景区域为f,则根据f12=f1-f2;f23=f2-f3;f=f12*f23,可得到前景区域f,从而实现了采用两帧差分相乘的结果,利用了视频连续帧的强相关性,能够有效地排除噪声、光照不均等因素的影响,使运动区域提取的精度更高。
由于分离出的运动区域中可能含有多种噪声,因此,需要对得到的运动区域进行真假判别,以确定出真的运动区域。具体地,对运动区域进行真假判别的步骤可包括:首先对上述处理后的当前图像与前一帧图像分别进行平滑去噪,阈值分割以及腐蚀膨胀等形态学处理,经过处理后得到二值图像,即0值像素块为背景,1值像素块为可能的运动区域或剩余少量孤立噪点。然后对1值像素块进行边缘轮廓检测,得到每一个封闭像素块的上下左右边界坐标以及区域面积。最后将得到封闭像素块中区域面积较小的噪点区域块剔除掉,留下的封闭像素块作为候选的运动区域,该区域面积较小的噪点区域块可为小于预置的区域面积,该预置的区域面积可根据具体情况进行灵活设置。其次对候选的运动区域进行时域滤波,即对当前帧图像的运动区域和前一帧图像的运动区域进行同一位置重合比对,将当前帧图像与前一帧图像在同一位置附近检测出的运动区域判定为真的运动区域。当然,也可以对当前图像与存储的多帧图像进行连续多帧图像检测,将检测到候选的运动区域进行同一位置的重合比对,将连续多帧图像在同一位置检测出的运动区域判定为真的运动区域。只在某一帧图像中偶然检测出的运动区域则判定为干扰区域,即为假的运动区域,并将其去除,从而实现了运动区域的真假进行判别,提高了提取运动区域可靠性。
需要说明的是,上述工作原理中以手机摄像头拍摄为例,采用了背景匹配法进行背景抖动消除、三帧差分法进行运动区域的提取、时域滤波去除干扰等等,但是并不限定本发明。凡是利用上述工作原理得到运动区域,即使加入了其他算法、改进的算法等因素的各种变形均在本发明的保护范围之内。
进一步地,如图5所示,本发明还提出了一种非接触式自动对焦方法第二实施例,上述非接触式自动对焦方法还包括:
步骤S400、根据目标区域所在位置进行自动对焦后,判断是否退出拍摄;若是,则执行步骤S500;若否,则执行步骤S600;
步骤S500、结束拍摄;
步骤S600、判断连续帧图像的帧数达到预置帧数;若是,则转入步骤S100;若否,则转入步骤S200。
本实施例中,循环执行步骤S200及步骤S300,对连续帧图像中的目标区域进行跟踪及自动对焦,当连续帧图像的帧数达到预置帧数时,转入步骤S100。具体地,根据目标区域所在位置进行自动对焦后,若已退出拍摄,则关闭摄像设备,结束拍摄。若还未退出拍摄,则手机摄像头继续捕捉图像,循环执行对目标区域进行跟踪,获得目标区域所在位置,并根据所述目标区域所在位置进行自动对焦,实现对连续帧图像进行跟踪及自动对焦。例如,当对目标区域进行第二次跟踪时,将上述得到的所检测图像的纹理直方图与第二次跟踪的图像进行反向投影得到纹理概率分布图,将上述得到的所检测图像的颜色直方图与第二次跟踪的图像进行反向投影得到色调概率分布图;再将纹理概率分布图与色调概率分布图进行相与运算,得到的灰度图像。假设该灰度图像中的初始目标区域为第一次跟踪得到的目标区域的位置和大小,然后移动该灰度图像中的目标区域位置,得到目标区域的质心。通过第一次移动得目标区域的质心与第二次移动得到目标区域的质心进行比较,记录较大值,然后进行多次移动比较,直到得到目标区域的质心最大,就确定目标区域的位置。对目标区域进行多次跟踪时,依此类推,确定出目标区域的位置。
同时,将连续帧图像的帧数与预置帧数进行比较,当连续帧图像的帧数达到预置帧数时,则重新检测所拍摄的图像中的运动对象,以重新确定图像中的目标区域。可以理解的是,该预置帧数可设置为5帧或者10帧等,也可根据具体情况进行灵活设置,并不限定本发明。若连续帧图像的帧数未达到预置帧数时,假设连续帧图像的帧数为3帧,预置帧数为6帧,则对目标区域进行跟踪,获得目标区域所在位置,根据目标区域所在位置进行自动对焦。本实施例通过对预置帧数进行设置,解决了在拍摄过程中运动对象不停运动时,目标区域的位置有所改变而使对焦不准确的问题,进一步提高了跟踪目标区域的可靠性。
对应地,如图6所示,提出本发明一种非接触式自动对焦装置第一实施例。该实施例的非接触式自动对焦装置包括:
目标区域确定模块100,用于在拍摄过程中,检测所拍摄的图像中的运动对象,确定图像中的目标区域;
位置获取模块200,用于对所述目标区域进行跟踪,获得目标区域所在位置;
本实施例的非接触式自动对焦方法可应用于终端摄像头等一些拍摄场合,例如,手机、ipad、照相机等,以下以手机摄像头拍摄为例进行说明。当打开手机摄像头后,在拍摄过程中,存储连续多帧图像,检测所拍摄的图像中的运动对象,根据运动对象得到一个或者多个运动区域,同时会得到运动区域的位置和大小。再从该运动区域中确定图像中的目标区域,该目标区域为对焦对象,并对连续帧图像中的目标区域进行跟踪,确定目标区域所在位置。
本实施例中,对目标区域进行跟踪的思路是:用一种基于改进的局部二值模式(Local Binary Pattern,LBP)算子,将图像的纹理直方图与其颜色直方图进行融合,并嵌入到Camshift算法的框架中,对Camshift算法进行优化,以实现对目标区域的跟踪,具体步骤可包括:
(1)将检测得到的运动区域的位置和大小作为跟踪时初始运动区域的位置和大小;
(2)用LBP算子计算得到所检测图像的纹理直方图;
(3)用得到的纹理直方图与当前跟踪的图像进行反向投影,得到纹理概率分布图,并利用所检测图像的颜色直方图与当前跟踪的图像进行反向投影,得到色调概率分布图;
(4)将纹理概率分布图与色调概率分布图进行相与运算,得到灰度图像,将该灰度图像作为Camshift算法的输入图像;
(5)利用Camshift算法跟踪该灰度图像中目标区域,即将初始运动区域的位置和大小作为该灰度图像中目标区域的位置和大小;
(6)移动灰度图像中的目标区域位置,直到得到目标区域的质心最大,就确定目标区域的位置和大小;
(7)加载下一帧图像作为当前跟踪的图像,转入步骤(3)。
其中,利用LBP算子提取图像的纹理直方图具体为:像素点(x,y)处的局部二值化纹理值LBP(x,y)即可通过下面的公式来计算:
其中ic表示像素点(x,y)的灰度值,in为相邻像素的灰度值。p为邻像素个数,若取3×3的计算窗口,则p=8,sgn为符号函数,其表达式如下:
使用该LBP算子求得图像中每一个像素的纹理值,从而可得一幅局部二值化的纹理直方图。
需要说明的是,上述工作原理中采用了LBP算子、Camshift算法等等,但是并不限定本发明。凡是利用上述工作原理获取目标区域的位置,即使加入了其他算法、改进的算法等因素的各种变形均在本发明的保护范围之内。
对焦模块300,用于根据所述目标区域所在位置进行自动对焦。
在对目标区域进行跟踪得到目标区域所在位置后,根据目标区域所在位置进行自动对焦,优选地,可以通过目标区域的中心位置进行自动对焦,或者当目标区域是人时,可以选择人脸的位置进行自动对焦。当然,也可以在检测得到图像中的目标区域的位置后,不对该目标区域进行跟踪,直接根据检测得到目标区域所在位置进行自动对焦。
自动对焦的过程可包括清晰度评价和聚焦搜索,具体地,首先采用改进的8邻域Laplacian算子进行清晰度评价,改进的8邻域Laplacian算子是根据图像f(x,y)在x,y方向上的二阶偏导数定义的一种边缘检测算子,该改进的8邻域Laplacian算子模板表示为:
图像清晰度评价函数为:
其次采用爬山算法进行聚焦搜索,具体地,根据初始的焦距值,采用图像清晰度评价函数计算得到初始的清晰度值。然后获取下一个焦距值并再次计算新的清晰度值,并比较两次清晰度值的大小,以确定搜索方向,即向清晰度值较大的一侧继续迭代搜索。在迭代搜索过程中,每次迭代都需要保存上一次的焦距值及其对应的清晰度值,当沿一个方向搜索到的清晰度值达到最大并开始下降时,第一次搜索结束。然后以该结束点开始反向搜索,当再次越过峰值并开始下降时,第二次搜索结束,如此反复,直到找到最大清晰度值。
如图2所示,假设聚焦搜索的初始焦距值为A,下一焦距值为B,计算得到的清晰度值J(A)<J(B),则确定搜索方向为从A向B,依此类推,当沿着该方向搜索到的清晰度值在焦距值为P时达到最大,并在焦距值为P1开始下降时,第一次搜索结束。如图2中实线所示,得到搜索路径为A—>B—>P—>P1。然后以焦距值为P1开始进行反向搜索,直到再次越过峰值P,并在焦距值为P2时开始下降,第二次搜索结束。如图2中的虚线所示,得到搜索路径为P1—>P—>P2,每搜索一次,搜索的步距相应地减小,如此反复,直到找到最大清晰度值为止,聚焦结束,即完成自动对焦。
本发明实施例通过对所拍摄的图像进行检测,获取图像中的运动区域,并从一个或者多个运动区域中确定目标区域,然后对目标区域进行跟踪,确定目标区域所在位置,再根据目标区域所在位置进行自动对焦,从而提高了自动对焦的准确性。
进一步地,如图7所示,基于上述实施例,上述目标区域确定模块100可包括:
运动区域获取单元110,用于在拍摄过程中,检测所拍摄的当前图像中的运动对象,获得运动区域;
目标区域确定单元120,用于当所获得的运动区域为多个时,从该多个运动区域中选取一个作为目标区域;或者,当所获得的运动区域为一个时,将该运动区域作为目标区域。
进一步地,所述确定单元用于:当所获得的运动区域为多个时,根据预设的规则计算每个运动区域的权重,将权重较大者作为目标区域。
在手机拍摄过程中,检测所拍摄的当前图像中的运动对象,并根据运动对象获得运动区域,由于得到的运动区域可能是一个,也可能是多个,在确定运动区域后,需要判断所获得的运动区域一个还是多个。当所获得的运动区域为多个时,从该多个运动区域中选取一个作为目标区域。具体地,可根据预设的规则计算每个运动区域的权重,将权重较大者作为目标区域。该预设的规则可为:对运动区域的面积大小与离图像中心的距离分别进行打分,该打分规则可为:面积越大分数越高,距离越小分数越高,并根据两者加权后得到运动区域的权重。例如,假设存在两个运动区域,且第一运动区域的面积为3,离图像中心的距离为2,得到的权重为5,而第二运动区域的面积为2,离图像中心的距离为4,得到的权重为6,则第一运动区域的权重小于第二运动区域的权重,从而将第二运动区域作为目标区域,若存在两个以上的运动区域,计算方法依此类推。需要说明的是,该预设的规则也可根据具体情况进行灵活设置,并不限定本发明。当只存在一个运动区域时,则该运动区域为目标区域。
进一步地,如图8所示,基于上述实施例,上述运动区域获取单元110可包括:
前景区域块获取子单元111,用于对所拍摄的当前帧图像与前一帧图像分别进行前景和背景分离,获得当前帧图像的前景区域块和前一帧图像的前景区域块;
运动区域确定子单元112,用于将当前帧图像的前景区域块和前一帧图像的前景区域块进行同一位置重合比对,确定运动区域。
首先将所拍摄的当前图像的RGB图像转换为灰度图像,例如,可根据转换公式:Gray=0.212671R+0.715160G+0.072169B,转换得到第一灰度图像,将前一帧图像用同样的方法转换得到第二灰度图像。其次分别对得到的第一灰度图像和第二灰度图像进行前景和背景分离,获得当前帧图像的前景区域块和前一帧图像的前景区域块,并将当前帧图像的前景区域块和前一帧图像的前景区域块进行同一位置重合比对,以确定图像中的运动区域。
具体地,先利用背景匹配法进行背景抖动消除,即进行第一灰度图像中角点的提取,并与第二灰度图像上的角点进行匹配,筛选掉不合理的匹配点。然后采用三帧差分法进行前景区域的提取,在手机拍摄的过程中,会对连续帧图像进行存储,可以是存储5帧或者是其他帧数。三帧差分法可包括:假设当前帧图像为f1,存储的前两帧图像分别为f2和f3,前景区域为f,则根据f12=f1-f2;f23=f2-f3;f=f12*f23,可得到前景区域f,从而实现了采用两帧差分相乘的结果,利用了视频连续帧的强相关性,能够有效地排除噪声、光照不均等因素的影响,使运动区域提取的精度更高。
由于分离出的运动区域中可能含有多种噪声,因此,需要对得到的运动区域进行真假判别,以确定出真的运动区域。具体地,对运动区域进行真假判别的步骤可包括:首先对上述处理后的当前图像与前一帧图像分别进行平滑去噪,阈值分割以及腐蚀膨胀等形态学处理,经过处理后得到二值图像,即0值像素块为背景,1值像素块为可能的运动区域或剩余少量孤立噪点。然后对1值像素块进行边缘轮廓检测,得到每一个封闭像素块的上下左右边界坐标以及区域面积。最后将得到封闭像素块中区域面积较小的噪点区域块剔除掉,留下的封闭像素块作为候选的运动区域,该区域面积较小的噪点区域块可为小于预置的区域面积,该预置的区域面积可根据具体情况进行灵活设置。其次对候选的运动区域进行时域滤波,即对当前帧图像的运动区域和前一帧图像的运动区域进行同一位置重合比对,将当前帧图像与前一帧图像在同一位置附近检测出的运动区域判定为真的运动区域。当然,也可以对当前图像与存储的多帧图像进行连续多帧图像检测,将检测到候选的运动区域进行同一位置的重合比对,将连续多帧图像在同一位置检测出的运动区域判定为真的运动区域。只在某一帧图像中偶然检测出的运动区域则判定为干扰区域,即为假的运动区域,并将其去除,从而实现了运动区域的真假进行判别,提高了提取运动区域可靠性。
需要说明的是,上述工作原理中以手机摄像头拍摄为例,采用了背景匹配法进行背景抖动消除、三帧差分法进行运动区域的提取、时域滤波去除干扰等等,但是并不限定本发明。凡是利用上述工作原理得到运动区域,即使加入了其他算法、改进的算法等因素的各种变形均在本发明的保护范围之内。
进一步地,如图9所示,本发明还提出了一种非接触式自动对焦装置第二实施例。该实施例的非接触式自动对焦装置可包括:
循环控制模块400,用于控制所述位置获取模块和对焦模块循环对连续帧图像中的目标区域进行跟踪及自动对焦,直到所述连续帧图像的帧数达到预置帧数;还用于当连续帧图像的帧数达到预置帧数时,控制所述目标区域确定模块重新确定拍摄图像中的目标区域。
本实施例中,位置获取模块200和对焦模块300循环对连续帧图像中的目标区域进行跟踪及自动对焦,直到所述连续帧图像的帧数达到预置帧数。具体地,根据目标区域所在位置进行自动对焦后,若已退出拍摄,则关闭摄像设备,结束拍摄。若还未退出拍摄,则手机摄像头继续捕捉图像,循环执行对目标区域进行跟踪,获得目标区域所在位置,并根据所述目标区域所在位置进行自动对焦,实现对连续帧图像进行跟踪及自动对焦。例如,当对目标区域进行第二次跟踪时,将上述得到的所检测图像的纹理直方图与第二次跟踪的图像进行反向投影得到纹理概率分布图,将上述得到的所检测图像的颜色直方图与第二次跟踪的图像进行反向投影得到色调概率分布图;再将纹理概率分布图与色调概率分布图进行相与运算,得到的灰度图像。假设该灰度图像中的初始目标区域为第一次跟踪得到的目标区域的位置和大小,然后移动该灰度图像中的目标区域位置,得到目标区域的质心,通过第一次移动得目标区域的质心与第二次移动得到目标区域的质心进行比较,记录较大值,然后进行多次移动比较,直到得到目标区域的质心最大,就确定目标区域的位置。对目标区域进行多次跟踪时,依此类推,确定出目标区域的位置。
同时,当连续帧图像的帧数达到预置帧数时,控制所述目标区域确定模块100重新确定拍摄图像中的目标区域。具体地,将连续帧图像的帧数与预置帧数进行比较,当连续帧图像的帧数达到预置帧数时,则重新检测所拍摄的图像中的运动对象,以重新确定图像中的目标区域。可以理解的是,该预置帧数可设置为5帧或者10帧等,也可根据具体情况进行灵活设置,并不限定本发明。若连续帧图像的帧数未达到预置帧数时,假设连续帧图像的帧数为3帧,预置帧数为6帧,则对目标区域进行跟踪,获得目标区域所在位置,根据目标区域所在位置进行自动对焦。本实施例通过对预置帧数进行设置,解决了在拍摄过程中运动对象不停运动时,目标区域的位置有所改变而使对焦不准确的问题,进一步提高了跟踪目标区域的可靠性。
以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或流程变换,或直接或间接运用在其它相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种非接触式自动对焦方法,其特征在于,所述非接触式自动对焦方法包括以下步骤:
S1、在拍摄过程中,检测所拍摄的图像中的运动对象,确定图像中的目标区域;
S2、对所述目标区域进行跟踪,获得目标区域所在位置;
S3、根据所述目标区域所在位置进行自动对焦。
2.如权利要求1所述的非接触式自动对焦方法,其特征在于,所述步骤S1包括:
在拍摄过程中,检测所拍摄的当前图像中的运动对象,获得运动区域;
当所获得的运动区域为多个时,从该多个运动区域中选取一个作为目标区域;或者,
当所获得的运动区域为一个时,将该运动区域作为目标区域。
3.如权利要求2所述的非接触式自动对焦方法,其特征在于,所述从该多个运动区域中选取一个作为目标区域包括:
根据预设的规则计算每个运动区域的权重,将权重较大者作为目标区域。
4.如权利要求2所述的非接触式自动对焦方法,其特征在于,所述检测所拍摄的图像中的运动对象,获得运动区域包括:
对所拍摄的当前帧图像与前一帧图像分别进行前景和背景分离,获得当前帧图像的前景区域块和前一帧图像的前景区域块;
将当前帧图像的前景区域块和前一帧图像的前景区域块进行同一位置重合比对,确定运动区域。
5.如权利要求1所述的非接触式自动对焦方法,其特征在于,所述非接触式自动对焦方法还包括:
循环执行步骤S2及步骤S3,对连续帧图像中的目标区域进行跟踪及自动对焦;
当连续帧图像的帧数达到预置帧数时,转入步骤S1。
6.一种非接触式自动对焦装置,其特征在于,所述非接触式自动对焦装置包括:
目标区域确定模块,用于在拍摄过程中,检测所拍摄的图像中的运动对象,确定图像中的目标区域;
位置获取模块,用于对所述目标区域进行跟踪,获得目标区域所在位置;
对焦模块,用于根据所述目标区域所在位置进行自动对焦。
7.如权利要求6所述的非接触式自动对焦装置,其特征在于,所述目标区域确定模块包括:
运动区域获取单元,用于在拍摄过程中,检测所拍摄的当前图像中的运动对象,获得运动区域;
目标区域确定单元,用于当所获得的运动区域为多个时,从该多个运动区域中选取一个作为目标区域;或者,当所获得的运动区域为一个时,将该运动区域作为目标区域。
8.如权利要求7所述的非接触式自动对焦装置,其特征在于,所述确定单元用于:当所获得的运动区域为多个时,根据预设的规则计算每个运动区域的权重,将权重较大者作为目标区域。
9.如权利要求7所述的非接触式自动对焦装置,其特征在于,所述运动区域获取单元包括:
前景区域块获取子单元,用于对所拍摄的当前帧图像与前一帧图像分别进行前景和背景分离,获得当前帧图像的前景区域块和前一帧图像的前景区域块;
运动区域确定子单元,用于将当前帧图像的前景区域块和前一帧图像的前景区域块进行同一位置重合比对,确定运动区域。
10.如权利要求6所述的非接触式自动对焦装置,其特征在于,所述非接触式自动对焦装置还包括:
循环控制模块,用于控制所述位置获取模块和对焦模块循环对连续帧图像中的目标区域进行跟踪及自动对焦,直到所述连续帧图像的帧数达到预置帧数;还用于当连续帧图像的帧数达到预置帧数时,控制所述目标区域确定模块重新确定拍摄图像中的目标区域。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510373273.5A CN106324945A (zh) | 2015-06-30 | 2015-06-30 | 非接触式自动对焦方法和装置 |
PCT/CN2016/074852 WO2017000576A1 (zh) | 2015-06-30 | 2016-02-29 | 非接触式自动对焦方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510373273.5A CN106324945A (zh) | 2015-06-30 | 2015-06-30 | 非接触式自动对焦方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106324945A true CN106324945A (zh) | 2017-01-11 |
Family
ID=57607755
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510373273.5A Pending CN106324945A (zh) | 2015-06-30 | 2015-06-30 | 非接触式自动对焦方法和装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN106324945A (zh) |
WO (1) | WO2017000576A1 (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106878616A (zh) * | 2017-02-23 | 2017-06-20 | 惠州Tcl移动通信有限公司 | 一种基于移动终端自动确定动态照片焦点的方法及系统 |
CN107170002A (zh) * | 2017-05-04 | 2017-09-15 | 中国科学院微电子研究所 | 一种图像自动对焦方法和设备 |
CN110460768A (zh) * | 2018-05-07 | 2019-11-15 | 夏普株式会社 | 电子设备、拍照方法、控制装置、及记录介质 |
CN112004019A (zh) * | 2019-05-27 | 2020-11-27 | 福建天晴数码有限公司 | 跟踪对焦方法及计算机可读存储介质 |
CN112422823A (zh) * | 2020-11-09 | 2021-02-26 | 广汽本田汽车有限公司 | 一种自动触发视觉拍照方法及装置 |
CN112602319A (zh) * | 2018-08-30 | 2021-04-02 | 华为技术有限公司 | 一种对焦装置、方法及相关设备 |
CN113810615A (zh) * | 2021-09-26 | 2021-12-17 | 展讯通信(上海)有限公司 | 对焦处理方法、装置、电子设备和存储介质 |
WO2024148975A1 (zh) * | 2023-01-10 | 2024-07-18 | 华为技术有限公司 | 一种拍摄方法及设备 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113163254B (zh) * | 2021-04-06 | 2023-03-28 | 广州津虹网络传媒有限公司 | 直播图像处理方法、装置及电子设备 |
CN115499585B (zh) * | 2022-09-07 | 2024-04-16 | 湖南中信安科技有限责任公司 | 一种混杂场景执法视频焦点局部修正方法与系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1909603A (zh) * | 2005-08-05 | 2007-02-07 | 佳能株式会社 | 图像处理方法和摄像设备 |
CN101387732A (zh) * | 2007-09-14 | 2009-03-18 | 索尼株式会社 | 成像装置、成像装置控制方法和计算机程序 |
CN103246044A (zh) * | 2012-02-09 | 2013-08-14 | 联想(北京)有限公司 | 一种自动对焦方法、系统及具有该系统的照相机和摄像机 |
CN103354596A (zh) * | 2012-02-13 | 2013-10-16 | 宏达国际电子股份有限公司 | 自动连发图像撷取方法、追踪对象的方法及相关移动装置 |
CN103733607A (zh) * | 2011-08-10 | 2014-04-16 | 富士胶片株式会社 | 用于检测运动物体的装置和方法 |
CN103780841A (zh) * | 2014-01-23 | 2014-05-07 | 深圳市金立通信设备有限公司 | 一种拍摄方法及拍摄装置 |
WO2014109125A1 (ja) * | 2013-01-09 | 2014-07-17 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4959535B2 (ja) * | 2007-12-13 | 2012-06-27 | 株式会社日立製作所 | 撮像装置 |
DE102008001451A1 (de) * | 2008-04-29 | 2009-11-05 | Robert Bosch Gmbh | Kamera und Verfahren zum Steuern einer Kamera |
US9818202B2 (en) * | 2011-12-13 | 2017-11-14 | Sony Corporation | Object tracking based on distance prediction |
US9420166B2 (en) * | 2012-02-13 | 2016-08-16 | Nokia Technologies Oy | Method and apparatus for enhanced automatic adjustment of focus, exposure and white balance in digital photography |
CN104102068B (zh) * | 2013-04-11 | 2017-06-30 | 聚晶半导体股份有限公司 | 自动对焦方法及自动对焦装置 |
-
2015
- 2015-06-30 CN CN201510373273.5A patent/CN106324945A/zh active Pending
-
2016
- 2016-02-29 WO PCT/CN2016/074852 patent/WO2017000576A1/zh active Application Filing
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1909603A (zh) * | 2005-08-05 | 2007-02-07 | 佳能株式会社 | 图像处理方法和摄像设备 |
CN101387732A (zh) * | 2007-09-14 | 2009-03-18 | 索尼株式会社 | 成像装置、成像装置控制方法和计算机程序 |
CN103733607A (zh) * | 2011-08-10 | 2014-04-16 | 富士胶片株式会社 | 用于检测运动物体的装置和方法 |
CN103246044A (zh) * | 2012-02-09 | 2013-08-14 | 联想(北京)有限公司 | 一种自动对焦方法、系统及具有该系统的照相机和摄像机 |
CN103354596A (zh) * | 2012-02-13 | 2013-10-16 | 宏达国际电子股份有限公司 | 自动连发图像撷取方法、追踪对象的方法及相关移动装置 |
WO2014109125A1 (ja) * | 2013-01-09 | 2014-07-17 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
CN103780841A (zh) * | 2014-01-23 | 2014-05-07 | 深圳市金立通信设备有限公司 | 一种拍摄方法及拍摄装置 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106878616A (zh) * | 2017-02-23 | 2017-06-20 | 惠州Tcl移动通信有限公司 | 一种基于移动终端自动确定动态照片焦点的方法及系统 |
CN107170002A (zh) * | 2017-05-04 | 2017-09-15 | 中国科学院微电子研究所 | 一种图像自动对焦方法和设备 |
CN107170002B (zh) * | 2017-05-04 | 2020-07-21 | 中国科学院微电子研究所 | 一种图像自动对焦方法和设备 |
CN110460768A (zh) * | 2018-05-07 | 2019-11-15 | 夏普株式会社 | 电子设备、拍照方法、控制装置、及记录介质 |
CN110460768B (zh) * | 2018-05-07 | 2021-02-09 | 夏普株式会社 | 电子设备、拍照方法、控制装置、及记录介质 |
CN112602319A (zh) * | 2018-08-30 | 2021-04-02 | 华为技术有限公司 | 一种对焦装置、方法及相关设备 |
CN112004019A (zh) * | 2019-05-27 | 2020-11-27 | 福建天晴数码有限公司 | 跟踪对焦方法及计算机可读存储介质 |
CN112422823A (zh) * | 2020-11-09 | 2021-02-26 | 广汽本田汽车有限公司 | 一种自动触发视觉拍照方法及装置 |
CN112422823B (zh) * | 2020-11-09 | 2022-08-09 | 广汽本田汽车有限公司 | 一种自动触发视觉拍照方法及装置 |
CN113810615A (zh) * | 2021-09-26 | 2021-12-17 | 展讯通信(上海)有限公司 | 对焦处理方法、装置、电子设备和存储介质 |
WO2024148975A1 (zh) * | 2023-01-10 | 2024-07-18 | 华为技术有限公司 | 一种拍摄方法及设备 |
Also Published As
Publication number | Publication date |
---|---|
WO2017000576A1 (zh) | 2017-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106324945A (zh) | 非接触式自动对焦方法和装置 | |
US10599228B2 (en) | Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data | |
KR101971866B1 (ko) | 동화상에 있어서 물체를 검출하는 방법 및 장치, 및 그 프로그램을 기억한 기억 매체 | |
US9684966B2 (en) | Foreground / background separation in digital images | |
CN105069799B (zh) | 一种角点定位方法及装置 | |
US9619708B2 (en) | Method of detecting a main subject in an image | |
JP2007156939A (ja) | 人物検出装置、人物検出方法及び人物検出プログラム | |
JP2021082316A5 (zh) | ||
CN106469455B (zh) | 图像处理方法、图像处理设备以及记录介质 | |
JP4518139B2 (ja) | 画像処理装置 | |
JP2008286725A (ja) | 人物検出装置および方法 | |
KR101690050B1 (ko) | 지능형 영상보안 시스템 및 객체 추적 방법 | |
JP4272538B2 (ja) | 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム | |
JP2017016592A (ja) | 主被写体検出装置、主被写体検出方法及びプログラム | |
CN112001387B (zh) | 对焦区域的确定方法及装置、终端、存储介质 | |
JP2004295416A (ja) | 画像処理装置 | |
JP4812743B2 (ja) | 顔認識装置、顔認識方法、顔認識プログラムおよびそのプログラムを記録した記録媒体 | |
US20240104886A1 (en) | Method, computer program, profile identification device | |
JP2005301722A (ja) | 顔領域検出装置 | |
JP6044234B2 (ja) | 画像処理装置及び画像処理方法 | |
CN114463668A (zh) | 基于人机交互的视频图像中目标自标注方法 | |
Love et al. | An experimental comparison of block matching techniques for detection of moving objects | |
JP2000076442A (ja) | 物体抽出装置、物体抽出方法、物体抽出プログラムを記録した媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170111 |
|
RJ01 | Rejection of invention patent application after publication |