CN105430270A - 一种自动聚焦的方法和装置 - Google Patents

一种自动聚焦的方法和装置 Download PDF

Info

Publication number
CN105430270A
CN105430270A CN201510917459.2A CN201510917459A CN105430270A CN 105430270 A CN105430270 A CN 105430270A CN 201510917459 A CN201510917459 A CN 201510917459A CN 105430270 A CN105430270 A CN 105430270A
Authority
CN
China
Prior art keywords
frequency range
maximum
focus
video image
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510917459.2A
Other languages
English (en)
Other versions
CN105430270B (zh
Inventor
胡星星
陈天钧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN201510917459.2A priority Critical patent/CN105430270B/zh
Publication of CN105430270A publication Critical patent/CN105430270A/zh
Priority to PCT/CN2016/099679 priority patent/WO2017097009A1/zh
Priority to ES16872204T priority patent/ES2909490T3/es
Priority to EP16872204.9A priority patent/EP3389254B1/en
Priority to US15/781,655 priority patent/US10887505B2/en
Priority to HUE16872204A priority patent/HUE058211T2/hu
Priority to PL16872204T priority patent/PL3389254T3/pl
Application granted granted Critical
Publication of CN105430270B publication Critical patent/CN105430270B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/365Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals by analysis of the spatial frequency components of the image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Abstract

本发明提供一种自动聚焦的方法和装置,该方法包括:步骤A、获得视频图像,并获取所述视频图像的N个频段在对焦过程中的各聚焦点的聚焦值FV,所述的N个频段组成一个集合,所述N为大于1的正整数;步骤B、从所述集合内选择最低频段,并利用对焦过程中的各聚焦点的FV,确定所述最低频段的FV最大值以及所述FV最大值对应的当前聚焦点;步骤C、判断所述当前聚焦点在所述集合内其它频段的FV是否均为FV最大值;如果是,则确定所述当前聚焦点为最佳聚焦点;如果否,则从所述集合内删除所述最低频段,并返回步骤B。通过本发明的技术方案,使得确定出的最佳聚焦点就是清晰视频图像的聚焦点,采集到清晰视频图像。

Description

一种自动聚焦的方法和装置
技术领域
本发明涉及视频技术领域,尤其涉及一种自动聚焦的方法和装置。
背景技术
近年来,随着计算机、网络以及图像处理、传输技术的飞速发展,视频监控的普及化趋势越来越明显,视频监控正在逐步迈入高清化,智能化,视频监控系统可以应用于众多领域,如智能交通,智慧园区、平安城市等。
在视频监控系统中,云台设备(如云台摄像机等)是视频监控系统的重要组成部分,云台设备是一种可以旋转的设备,当运动目标移动时,云台设备可以跟着运动目标进行转动,以继续采集运动目标的视频图像。而且,为了采集到运动目标的清晰视频图像,云台设备通常会实时的改变聚焦点,以找到清晰视频图像对应的聚焦点,并在该聚焦点下采集运动目标的视频图像。
为了找到清晰视频图像对应的聚焦点,目前常用的聚焦算法为爬山法,其可以基于理想的FV(FocusValue,聚焦值)曲线找到清晰视频图像对应的聚焦点。理想的FV曲线一般满足单峰型、无偏性,若不满足上述特性,则无法找到清晰视频图像对应的聚焦点,继而无法采集到清晰视频图像。
在实际应用中,并非任何应用场景下,都能够获取到理想的FV曲线,如图1所示的FV曲线,该FV曲线并不满足单峰型,且最终找到的FV最大值只是局部最大值,即找到的聚焦点不是最清晰视频图像对应的聚焦点。
发明内容
本发明提供一种自动聚焦的方法,所述方法包括以下步骤:
步骤A、获得视频图像,并获取所述视频图像的N个频段在对焦过程中的各聚焦点的聚焦值FV,所述的N个频段组成一个集合,所述N为大于1的正整数;
步骤B、从所述集合内选择最低频段,并利用对焦过程中的各聚焦点的FV,确定所述最低频段的FV最大值以及所述FV最大值对应的当前聚焦点;
步骤C、判断所述当前聚焦点在所述集合内其它频段的FV是否均为FV最大值;如果是,则确定所述当前聚焦点为最佳聚焦点;如果否,则从所述集合内删除所述最低频段,并返回步骤B。
所述获取所述视频图像的N个频段在对焦过程中的各聚焦点的聚焦值FV的过程,具体包括:将空间域的所述视频图像变换为频率域的视频图像;
将所述频率域的视频图像分解成N个频段的视频子图像;
针对N个频段的视频子图像中的每个频段的视频子图像,在对焦过程中,实时测量各聚焦点下的FV,得到所述N个频段在对焦过程中的各聚焦点的FV。
在从所述集合内选择最低频段之前,按照频段从低到高的顺序,对所述N个频段进行排序;
所述判断所述当前聚焦点在所述集合内其它频段的FV是否均为FV最大值的过程,具体包括:步骤C1、在获得所述FV最大值对应的当前聚焦点之后,将所述最低频段作为所述集合内的第i个频段,所述i的初始值为1;
步骤C2、判断所述当前聚焦点在第i+1个频段的FV是否已经达到FV最大值;如果是,则执行步骤C3;如果否,则执行步骤C5;
步骤C3、判断所述第i+1个频段是否为所述集合内的最后一个频段;如果是,则执行步骤C4;如果否,则设置i=i+1,并返回执行步骤C2;
步骤C4、确定所述当前聚焦点在集合内其它频段的FV均为FV最大值;
步骤C5、确定所述当前聚焦点在集合内其它频段的FV不是均为FV最大值。
在从所述集合内选择最低频段之前,按照频段从低到高的顺序,对所述N个频段进行排序;从所述集合内删除所述最低频段的过程,具体包括:
当所述当前聚焦点在所述集合内的前M个频段的FV均为FV最大值,且在所述集合内的第M+1个频段的FV不是FV最大值时,则从所述集合内删除所述前M个频段;其中,所述M为小于所述N的正整数。
在从所述集合内删除所述最低频段之后,所述方法进一步包括:判断所述集合内剩余的频段是否为一个频段;如果否,则返回步骤B;如果是,则将所述一个频段的FV最大值对应的聚焦点作为所述最佳聚焦点,或者当前无法基于所述视频图像确定出最佳聚焦点。
本发明提供一种自动聚焦的装置,所述装置具体包括:
获得模块,用于获得视频图像,并获取所述视频图像的N个频段在对焦过程中的各聚焦点的聚焦值FV,所述的N个频段组成一个集合,N为大于1的正整数;
选择模块,用于从所述集合内选择最低频段,利用对焦过程中的各聚焦点的FV,确定所述最低频段的FV最大值以及所述FV最大值对应的当前聚焦点;
处理模块,用于判断所述当前聚焦点在所述集合内其它频段的FV是否均为FV最大值;如果是,则确定所述当前聚焦点为最佳聚焦点;如果否,则从所述集合内删除所述最低频段,并将更新后的集合通知给所述选择模块,由所述选择模块重新利用更新后的集合进行处理。
所述获得模块,具体用于在获取所述视频图像的N个频段在对焦过程中的各聚焦点的FV的过程中,将空间域的所述视频图像变换为频率域的视频图像;
将所述频率域的视频图像分解成N个频段的视频子图像;
针对N个频段的视频子图像中的每个频段的视频子图像,在对焦过程中,实时测量各聚焦点下的FV,得到所述N个频段在对焦过程中的各聚焦点的FV。
所述选择模块,还用于在从所述集合内选择最低频段之前,按照频段从低到高的顺序,对所述N个频段进行排序;
所述处理模块,具体用于在判断所述当前聚焦点在所述集合内其它频段的FV是否均为FV最大值的过程中,在获得所述FV最大值对应的当前聚焦点之后,将所述最低频段作为所述集合内的第i个频段,所述i的初始值为1;判断所述当前聚焦点在第i+1个频段的FV是否已经达到FV最大值;如果未达到FV最大值,则确定所述当前聚焦点在集合内其它频段的FV不是均为FV最大值;
如果已经达到FV最大值,则判断所述第i+1个频段是否为所述集合内的最后一个频段;如果是最后一个频段,则确定所述当前聚焦点在集合内其它频段的FV均为FV最大值;如果不是最后一个频段,则设置i=i+1,并返回执行判断所述当前聚焦点在第i+1个频段的FV是否已经达到FV最大值的过程。
所述选择模块,还用于在从所述集合内选择最低频段之前,按照频段从低到高的顺序,对所述N个频段进行排序;
所述处理模块,具体用于在从所述集合内删除所述最低频段的过程中,当所述当前聚焦点在所述集合内的前M个频段的FV均为FV最大值,且在所述集合内的第M+1个频段的FV不是FV最大值时,则从所述集合内删除所述前M个频段;其中,所述M为小于所述N的正整数。
所述处理模块,还用于在从所述集合内删除所述最低频段之后,判断所述集合内剩余的频段是否为一个频段;如果否,则将更新后的集合通知给所述选择模块,由所述选择模块重新利用更新后的集合进行处理;如果是,则将所述一个频段的FV最大值对应的聚焦点作为所述最佳聚焦点,或者当前无法基于所述视频图像确定出最佳聚焦点。
基于上述技术方案,本发明实施例中,可以基于N个频段的FV确定最佳聚焦点,使得确定出的最佳聚焦点就是清晰视频图像的聚焦点,即使FV构成的曲线不是理想的曲线,不满足单峰型、无偏性等特性,也可以采集到清晰视频图像。而且,通过使用N个频段的FV确定最佳聚焦点,即使有频段的FV存在局部最大值(即伪峰),也能够通过其它频段的FV剔除伪峰,从而避免找到不准确的聚焦点。而且,通过先使用最低频段的FV作为参考FV,通过逐步切换更高频段的FV的方式,即保证了搜索方向不丢失,又使得参考FV越来越具有抗干扰能力,伪峰出现的概率大大降低,最大程度减小变焦跟随对聚焦带来的负面影响,避免变焦跟随效果不佳带来的聚焦失败问题,保证聚焦过程的快速性,满足监控实时性的需求。
附图说明
图1是不满足单峰型的FV曲线的示意图;
图2是峰值范围窄的FV曲线的示意图;
图3是本发明一种实施方式中的自动聚焦的方法的流程图;
图4A和图4B是本发明一种实施方式中的视频图像的对比示意图;
图5是本发明一种实施方式中的云台设备的硬件结构图;
图6是本发明一种实施方式中的自动聚焦的装置的结构图。
具体实施方式
为找到清晰视频图像对应的聚焦点,目前常用的聚焦算法为爬山法,其基于理想的FV曲线找到清晰视频图像对应的聚焦点,理想的FV曲线一般满足单峰型、无偏性。在实际应用中,如图1所示的FV曲线,该FV曲线并不满足单峰型,最终找到的FV最大值只是局部最大值,即伪峰值,基于该FV曲线找到的聚焦点不是最清晰视频图像对应的聚焦点。进一步的,如果云台设备在实际应用时的变焦跟随效果不佳,即使能够获得理想的FV曲线,仍可能出现聚焦失败的问题。如图2所示,虽然获得的FV曲线满足单峰型、无偏性,但由于峰值范围较窄,变焦跟随的最终跟踪点一旦落在峰值范围之外,同样会造成云台设备在变倍结束之后,出现聚焦失败的问题。
为了解决上述问题,在一种可行的实现方式中,如果云台设备在聚焦过程中,检测到存在运动目标或者发现FV曲线异常,则暂停聚焦,待运动目标离开监控场景或者FV曲线正常后,继续聚焦。但是,视频监控系统的监控场景一般讲究实时性,上述方式会导致聚焦时间过长,影响用户体验。
针对上述问题,本发明实施例中提出一种自动聚焦的方法,该方法可以应用在视频监控系统的云台设备(如云台摄像机等)上。其中,当运动目标移动时,则云台设备可以跟着运动目标进行转动,以继续采集运动目标的视频图像。而为了采集到运动目标的清晰视频图像,云台设备通常会实时的改变聚焦点,以找到清晰视频图像对应的聚焦点,并在该聚焦点下采集运动目标的视频图像。基于此,在上述应用场景下,为了找到清晰视频图像对应的聚焦点,则如图3所示,该自动聚焦的具体可以包括以下步骤:
步骤301,获得视频图像,并获取视频图像的N个频段在对焦过程中的各聚焦点的FV,所述的N个频段组成一个集合,其中,N为大于1的正整数。
其中,当运动目标移动时,在云台设备改变聚焦点,以找到清晰视频图像对应的聚焦点的过程中,可以得到各个聚焦点对应的FV,这些FV是一个个的离散点,但是这些FV的趋势可以组成一个曲线,这个曲线就是FV曲线。如图1和图2所示,FV曲线的横坐标为聚焦点(Focus)的数值,该聚焦点是不断变化的,该FV曲线的纵坐标为FV(FocusValue),FV用于表示聚焦点对应的视频图像的清晰度,即当前获得的视频图像的清晰度,可以表征聚焦点的能量。需要注意的是,实际应用中一般不会得到图1和图2所示的FV曲线,即聚焦点只会是图1和图2中的部分聚焦点,如只包含前半部分聚焦点,这样,对应的各个FV组成的曲线也只是前半部分的曲线,图1和图2只是一种示例。
在聚焦点的确定过程中,实际上就是要找到FV最大值对应的聚焦点,而FV最大值对应的聚焦点,就是最清晰的视频图像的聚焦点,在使用该聚焦点采集视频图像时,就是运动目标的清晰视频图像。如果使用FV最大值之外的其它FV对应的聚焦点采集视频图像,不会得到最清晰视频图像。
在本发明实施例中,上述获取视频图像的N个频段在对焦过程中的各聚焦点的FV的过程,具体可以包括但不限于如下方式:将空间域的视频图像变换为频率域的视频图像;将频率域的视频图像分解成N个频段的视频子图像;针对N个频段的视频子图像中的每个频段的视频子图像,在对焦过程中,实时测量各聚焦点下的FV,得到N个频段在对焦过程中的各聚焦点的FV。
其中,空间域又称图像空间,其是由图像像元组成的空间,在图像空间中以长度/距离为自变量,直接对像元值进行处理称为空间域处理。频率域是以空间频率(即波数)为自变量描述图像的特征,可以将一幅图像的像元值在空间上的变化分解为具有不同振幅、空间频率和相位的简振函数的线性叠加,图像中各种空间频率成分的组成和分布称为空间频谱,这种对图像的空间频率特征进行分解、处理和分析称为频率域处理或者波数域处理。频率域处理主要用于与图像空间频率有关的处理中,如图像恢复、图像重建、辐射变换、边缘增强、图像锐化、图像平滑、噪声压制、频谱分析、纹理分析等。
云台设备获得的视频图像通常为空间域的视频图像,而空间域的视频图像和频率域的视频图像之间可以互相转换,处理步骤可以为:1、对视频图像进行二维离散傅立叶变换或者小波变换,将视频图像由图像空间转换到频域空间。2、在空间频率域中对视频图像的频谱作分析处理,以改变视频图像的频率特征,即设计不同的数字滤波器,对视频图像的频谱进行滤波。在此基础上,将空间域的视频图像变换为频率域的视频图像的过程,具体可以包括但不限于如下方式:通过傅里叶变化将空间域的视频图像变换为频率域的视频图像,其使用的傅里叶变化公式可以为在该公式中,(x,y)
就是空间域的视频图像的水平像素大小和垂直像素大小,f(x,y)就是该水平像素大小和垂直像素大小在空间域的视频图像中对应的灰度值。(u,v)就是频率域的视频图像的频率起始值和频率终止值,表示一个频段范围,如频段30-80,F(u,v)就是该频率域(u,v)的视频图像。
在实际应用中,一个频段范围(u,v)的视频图像通常由多个频段的视频子图像组成,因此可以将频率域的视频图像分解成N个频段的视频子图像,一个视频子图像可以是一个图层的视频图像,如频段[30-80]的视频图像由频段[30-40)的视频子图像、频段[40-50)的视频子图像、频段[50-60)的视频子图像、频段[60-70)的视频子图像、频段[70-80]的视频子图像等组成。如图4A所示,为一个频率域的视频图像分解成的多个频段的视频子图像的示意图。
针对这些频段的视频子图像(N个频段的视频子图像),可以在云台设备改变聚焦点,以找到清晰视频图像对应的聚焦点的过程(即云台设备的对焦过程)中,实时测量每个视频子图像对应的FV,从而得到N个频段在对焦过程中的各聚焦点的FV,如得到频段[30-40)下的各聚焦点的FV、频段[40-50)下的各聚焦点的FV、频段[50-60)下的各聚焦点的FV、频段[60-70)下的各聚焦点的FV、频段[70-80]下的各聚焦点的FV。此外,得到一个包括N个频段的集合,即集合中包含频段[30-40)、频段[40-50)、频段[50-60)、频段[60-70)、频段[70-80]。
步骤302,从集合内选择最低频段,并利用对焦过程中的各聚焦点的FV,确定最低频段的FV最大值以及该FV最大值对应的当前聚焦点。
本发明实施例中,在从集合内选择最低频段之前,还可以按照频段从低到高的顺序,对集合内的N个频段进行排序;或者,还可以按照频段从高到低的顺序,对集合内的N个频段进行排序。
例如,按照从低到高的顺序,对N个频段进行排序的结果依次为频段[30-40)、频段[40-50)、频段[50-60)、频段[60-70)、频段[70-80],或者,按照从高到低的顺序,对N个频段进行排序的结果依次为频段[70-80]、频段[60-70)、频段[50-60)、频段[40-50)、频段[30-40)。其中,基于排序后的集合,可以很迅速的找到集合内的最低频段,如集合内的第一个频段或者集合内的最后一个频段,从而加快处理效率,不用每次都遍历集合内的所有频段,就可以找到集合内的最低频段。
本发明实施例中,在选择最低频段之后,可以获得该最低频段的FV最大值,即最低频段的纵坐标的最大FV,而FV最大值在横坐标的数值就是该FV最大值对应的当前聚焦点。对于FV最大值的获得方式,可以基于爬山算法获知。
在一个例子中,可以基于当前聚焦点的FV与前一个聚焦点的FV的变化率确定当前聚焦点的FV是否为FV最大值。例如,当前聚焦点之前的各聚焦点的FV均存在向上升的变化率,而到当前聚焦点时,当前聚焦点的FV与前一个聚焦点的FV的变化率很小,则说明当前聚焦点的FV是FV最大值。
在另一个例子中,假设聚焦点1之前的各聚焦点的FV均是变大的趋势,聚焦点1大于前一个聚焦点,但聚焦点1大于后面的一个聚焦点2,如果聚焦点1与聚焦点2之间的差值大于预设数值,则说明聚焦点1的FV是FV最大值。
在另一个例子中,假设聚焦点1之前的各聚焦点的FV均是变大的趋势,聚焦点1大于前一个聚焦点,但聚焦点1大于后面的一个聚焦点2,如果聚焦点1与聚焦点2之间的差值不大于预设数值,但是聚焦点2也大于后面的一个聚焦点3,则说明聚焦点1的FV是FV最大值。
步骤303,判断当前聚焦点在集合内其它频段的FV是否均为FV最大值;如果是,则执行步骤304;如果否,则执行步骤305。
其中,该当前聚焦点是指步骤302获得的FV最大值对应的当前聚焦点。
本发明实施例中,判断当前聚焦点在集合内其它频段的FV是否均为FV最大值的过程,具体可以包括但不限于如下方式:
步骤1、在获得FV最大值对应的当前聚焦点(步骤302)之后,将最低频段作为集合内的第i个频段,i的初始值为1。
步骤2、判断该最低聚焦点在第i+1个频段对应的FV是否已经达到FV最大值;如果是,则执行步骤3;如果否,则执行步骤5。
步骤3、判断第i+1个频段是否为集合内的最后一个频段;如果是,则执行步骤4;如果否,则设置i=i+1,并返回执行步骤2。
步骤4、确定该最低聚焦点在集合内其它频段FV均为FV最大值,并结束是否均为FV最大值的判断过程,后续执行步骤304。
步骤5、确定该最低聚焦点在集合内其它频段的FV不是均为FV最大值,并结束是否均为FV最大值的判断过程,后续执行步骤305。
以按照从第到高的顺序,对N个频段进行排序的结果依次为频段[30-40)、频段[40-50)、频段[50-60)、频段[60-70)、频段[70-80]为例,对上述过程进行说明。在获得频段[30-40)的FV最大值对应的聚焦点1后,将频段[30-40)作为第1个频段,判断聚焦点1在第2个频段对应的FV是否已经达到FV最大值,如果是,则判断第2个频段是否为集合内的最后一个频段,由于不是,设置i=1+1=2,并判断聚焦点1在第3个频段对应的FV是否已经达到FV最大值,如果是,则判断第3个频段是否为集合内的最后一个频段,由于不是,设置i=2+1=3,判断聚焦点1在第4个频段对应的FV是否已经达到FV最大值,以此类推,最终确定聚焦点1在集合内其它频段的FV均为FV最大值,或者聚焦点1在集合内其它频段的FV不是均为FV最大值。
基于上述方式,在获得频段[30-40)的FV最大值对应的聚焦点1后,此时频段[40-50)、频段[50-60)、频段[60-70)、频段[70-80]可能均未达到FV最大值,FV正处在上升阶段,因此,在判断聚焦点1在频段[40-50)对应的FV是否已经达到FV最大值时,判断结果为没有达到FV最大值,因此,直接确定聚焦点1在集合内其它频段的FV不是均为FV最大值,不再需要判断频段[50-60)、频段[60-70)、频段[70-80],从而提高处理效率。
步骤304,确定该当前聚焦点(即最低频段的FV最大值对应的聚焦点)为最佳聚焦点。之后,云台设备可以在该最佳聚焦点下采集运动目标的视频图像,以基于清晰视频图像对应的聚焦点采集运动目标的视频图像。
步骤305,从集合内删除最低频段,并返回步骤302。
本发明实施例中,从集合内删除最低频段的过程,具体可以包括但不限于如下方式:当该当前聚焦点在集合内的前M个频段的FV均为FV最大值,且在集合内的第M+1个频段的FV不是FV最大值时,则从集合内删除前M个频段;其中,M为小于N的正整数。
例如,在获得频段[30-40)的FV最大值对应的聚焦点1后,此时频段[40-50)可能已经达到FV最大值,而频段[50-60)、频段[60-70)、频段[70-80]可能均未达到FV最大值,FV正处在上升阶段,因此,在判断聚焦点1在频段[40-50)对应的FV是否已经达到FV最大值时,判断结果为达到FV最大值,在判断聚焦点1在频段[50-60)对应的FV是否已经达到FV最大值时,判断结果为未达到FV最大值,因此,从集合内删除频段[30-40)、频段[40-50),在下次处理时,将直接从频段[50-60)开始处理,从而提高处理效率。
本发明实施例中,在从集合内删除最低频段之后,在返回步骤302之前,还可以判断集合内剩余的频段是否为一个频段。如果否,则返回步骤B。如果是,则将集合内的一个频段的FV最大值对应的聚焦点作为最佳聚焦点,或者当前无法基于视频图像确定出最佳聚焦点。
其中,在采用本发明实施例的技术方案后,一般可以确定出最佳聚焦点。但是在一种异常情况下,假设集合内只剩下一个频段时,如果仍然未确定出最佳聚焦点,则可以直接将集合内的一个频段的FV最大值对应的聚焦点作为最佳聚焦点,或者当前无法基于视频图像确定出最佳聚焦点。
基于上述技术方案,本发明实施例中,可以基于N个频段的FV确定最佳聚焦点,使得确定出的最佳聚焦点就是清晰视频图像的聚焦点,即使FV构成的曲线不是理想的曲线,不满足单峰型、无偏性等特性,也可以采集到清晰视频图像。而且,通过使用N个频段的FV确定最佳聚焦点,即使有频段的FV存在局部最大值(即伪峰),也能够通过其它频段的FV剔除伪峰,从而避免找到不准确的聚焦点。而且,通过先使用最低频段的FV作为参考FV,通过逐步切换更高频段的FV的方式,即保证了搜索方向不丢失,又使得参考FV越来越具有抗干扰能力,伪峰出现的概率大大降低,最大程度减小变焦跟随对聚焦带来的负面影响,避免变焦跟随效果不佳带来的聚焦失败问题,保证聚焦过程的快速性,满足监控实时性的需求。
以下结合具体的应用对本发明实施例的效果进行详细说明。如图4B所示,为通过MATLAB仿真进行傅里叶变化,得到的空间域的视频图像与频率域的视频图像的对比示意图。从图中可以看出,当画面模糊时,能量主要集中在低频部分,而频率越高的区域,会随着图像逐渐变清晰,才逐渐具有能量。因此,频率越低区域的能量变化的范围较广,从模糊至清晰状态均能看到能量的显著变化,频率越高的区域,能量只在画面清晰时显现,能量变化的区域逐渐变窄。因此,低频部分的FV在任意起始聚焦点均变化明显,但容易受到干扰形成伪峰。而高频部分的FV的抗干扰性较强,但仅在聚焦清晰点附近才有较明显的FV值变化,对变焦跟随的要求较高。
基于上述特性,本发明实施例中,先选择最低频段的FV作为参考FV,保证在任意聚焦位置下均能够快速找到对焦搜索方向,避免变焦跟随效果不佳带来的聚焦失败问题,即最低频段的FV不会出现图2所示的情况,使得在变焦跟随偏离严重时,仍然能够快速找准聚焦方向。
而且,当最低频段的FV达到FV最大值时,查看该FV最大值对应的聚焦点在其它频段的FV是否也达到FV最大值,若均为FV最大值,则表示该FV最大值为全局峰值,该FV最大值对应的聚焦点为最佳聚焦点。若此时存在某个频段的FV未达到FV最大值,则表示最低频段的FV最大值是伪峰,此后不再参考最低频段,转而参考下一频段,剔除伪峰的聚焦点。在上述过程中,通过逐渐切换到更高频段的方式,即保证了搜索方向不丢失,又使得参考FV越来越具有抗干扰能力,伪峰出现的概率大大降低,从而增加算法效率,保证聚焦过程不停滞,并实现聚焦精准,保证聚焦的快速性,满足监控实时性需求。
基于与上述方法同样的发明构思,本发明实施例中还提供了一种自动聚焦的装置,该自动聚焦的装置可以应用在云台设备中,该自动聚焦的装置可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在的云台设备的处理器,将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,如图5所示,为本发明提出的自动聚焦的装置所在的无云台设备的一种硬件结构图,除了图5所示的处理器、网络接口、内存以及非易失性存储器外,云台设备还可以包括其他硬件,如负责处理报文的转发芯片等;从硬件结构上来讲,该云台设备还可能是分布式设备,可能包括多个接口卡,以便在硬件层面进行报文处理的扩展。
如图6所示,为本发明提出的自动聚焦的装置的结构图,该聚焦点的确定装置可以应用在云台设备中,所述聚焦点的确定装置具体包括:
获得模块11,用于获得视频图像,并获取所述视频图像的N个频段在对焦过程中的各聚焦点的聚焦值FV,所述的N个频段组成一个集合,N为大于1的正整数;
选择模块12,用于从所述集合内选择最低频段,利用对焦过程中的各聚焦点的FV,确定所述最低频段的FV最大值以及所述FV最大值对应的当前聚焦点;
处理模块13,用于判断所述当前聚焦点在所述集合内其它频段的FV是否均为FV最大值;如果是,则确定所述当前聚焦点为最佳聚焦点;如果否,则从所述集合内删除所述最低频段,并将更新后的集合通知给所述选择模块12,由所述选择模块12重新利用更新后的集合进行处理。
所述获得模块11,具体用于在获取所述视频图像的N个频段在对焦过程中的各聚焦点的FV的过程中,将空间域的所述视频图像变换为频率域的视频图像;将所述频率域的视频图像分解成N个频段的视频子图像;针对N个频段的视频子图像中的每个频段的视频子图像,在对焦过程中,实时测量各聚焦点下的FV,得到所述N个频段在对焦过程中的各聚焦点的FV。
所述选择模块12,还用于在从所述集合内选择最低频段之前,按照频段从低到高的顺序,对所述N个频段进行排序;
所述处理模块13,具体用于在判断所述当前聚焦点在所述集合内其它频段的FV是否均为FV最大值的过程中,在获得所述FV最大值对应的当前聚焦点之后,将所述最低频段作为所述集合内的第i个频段,所述i的初始值为1;判断所述当前聚焦点在第i+1个频段的FV是否已经达到FV最大值;如果未达到FV最大值,则确定所述当前聚焦点在集合内其它频段的FV不是均为FV最大值;如果已经达到FV最大值,则判断所述第i+1个频段是否为所述集合内的最后一个频段;如果是最后一个频段,则确定所述当前聚焦点在集合内其它频段的FV均为FV最大值;如果不是最后一个频段,则设置i=i+1,并返回执行判断所述当前聚焦点在第i+1个频段的FV是否已经达到FV最大值的过程。
所述选择模块12,还用于在从所述集合内选择最低频段之前,按照频段从低到高的顺序,对所述N个频段进行排序;
所述处理模块13,具体用于在从所述集合内删除所述最低频段的过程中,当所述当前聚焦点在所述集合内的前M个频段的FV均为FV最大值,且在所述集合内的第M+1个频段的FV不是FV最大值时,则从所述集合内删除所述前M个频段;其中,所述M为小于所述N的正整数。
所述处理模块13,还用于在从所述集合内删除所述最低频段之后,判断所述集合内剩余的频段是否为一个频段;如果否,则将更新后的集合通知给所述选择模块12,由所述选择模块12重新利用更新后的集合进行处理;如果是,则将所述一个频段的FV最大值对应的聚焦点作为所述最佳聚焦点,或者当前无法基于所述视频图像确定出最佳聚焦点。
其中,本发明装置的各个模块可以集成于一体,也可以分离部署。上述模块可以合并为一个模块,也可以进一步拆分成多个子模块。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。本领域技术人员可以理解附图只是一个优选实施例的示意图,附图中的模块或流程并不一定是实施本发明所必须的。
本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中,也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可进一步拆分成多个子模块。上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
以上公开的仅为本发明的几个具体实施例,但是,本发明并非局限于此,任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (10)

1.一种自动聚焦的方法,其特征在于,所述方法包括以下步骤:
步骤A、获得视频图像,并获取所述视频图像的N个频段在对焦过程中的各聚焦点的聚焦值FV,所述的N个频段组成一个集合,所述N为大于1的正整数;
步骤B、从所述集合内选择最低频段,并利用对焦过程中的各聚焦点的FV,确定所述最低频段的FV最大值以及所述FV最大值对应的当前聚焦点;
步骤C、判断所述当前聚焦点在所述集合内其它频段的FV是否均为FV最大值;如果是,则确定所述当前聚焦点为最佳聚焦点;如果否,则从所述集合内删除所述最低频段,并返回步骤B。
2.根据权利要求1所述的方法,其特征在于,所述获取所述视频图像的N个频段在对焦过程中的各聚焦点的聚焦值FV的过程,具体包括:
将空间域的所述视频图像变换为频率域的视频图像;
将所述频率域的视频图像分解成N个频段的视频子图像;
针对N个频段的视频子图像中的每个频段的视频子图像,在对焦过程中,实时测量各聚焦点下的FV,得到所述N个频段在对焦过程中的各聚焦点的FV。
3.根据权利要求1或2所述的方法,其特征在于,在从所述集合内选择最低频段之前,按照频段从低到高的顺序,对所述N个频段进行排序;
所述判断所述当前聚焦点在所述集合内其它频段的FV是否均为FV最大值的过程,具体包括:
步骤C1、在获得所述FV最大值对应的当前聚焦点之后,将所述最低频段作为所述集合内的第i个频段,所述i的初始值为1;
步骤C2、判断所述当前聚焦点在第i+1个频段的FV是否已经达到FV最大值;如果是,则执行步骤C3;如果否,则执行步骤C5;
步骤C3、判断所述第i+1个频段是否为所述集合内的最后一个频段;如果是,则执行步骤C4;如果否,则设置i=i+1,并返回执行步骤C2;
步骤C4、确定所述当前聚焦点在集合内其它频段的FV均为FV最大值;
步骤C5、确定所述当前聚焦点在集合内其它频段的FV不是均为FV最大值。
4.根据权利要求1所述的方法,其特征在于,在从所述集合内选择最低频段之前,按照频段从低到高的顺序,对所述N个频段进行排序;
从所述集合内删除所述最低频段的过程,具体包括:
当所述当前聚焦点在所述集合内的前M个频段的FV均为FV最大值,且在所述集合内的第M+1个频段的FV不是FV最大值时,则从所述集合内删除所述前M个频段;其中,所述M为小于所述N的正整数。
5.根据权利要求1或4所述的方法,其特征在于,在从所述集合内删除所述最低频段之后,所述方法进一步包括:
判断所述集合内剩余的频段是否为一个频段;如果否,则返回步骤B;如果是,则将所述一个频段的FV最大值对应的聚焦点作为所述最佳聚焦点,或者当前无法基于所述视频图像确定出最佳聚焦点。
6.一种自动聚焦的装置,其特征在于,所述装置具体包括:
获得模块,用于获得视频图像,并获取所述视频图像的N个频段在对焦过程中的各聚焦点的聚焦值FV,所述的N个频段组成一个集合,N为大于1的正整数;
选择模块,用于从所述集合内选择最低频段,利用对焦过程中的各聚焦点的FV,确定所述最低频段的FV最大值以及所述FV最大值对应的当前聚焦点;
处理模块,用于判断所述当前聚焦点在所述集合内其它频段的FV是否均为FV最大值;如果是,则确定所述当前聚焦点为最佳聚焦点;如果否,则从所述集合内删除所述最低频段,并将更新后的集合通知给所述选择模块,由所述选择模块重新利用更新后的集合进行处理。
7.根据权利要求6所述的装置,其特征在于,
所述获得模块,具体用于在获取所述视频图像的N个频段在对焦过程中的各聚焦点的FV的过程中,将空间域的所述视频图像变换为频率域的视频图像;
将所述频率域的视频图像分解成N个频段的视频子图像;
针对N个频段的视频子图像中的每个频段的视频子图像,在对焦过程中,实时测量各聚焦点下的FV,得到所述N个频段在对焦过程中的各聚焦点的FV。
8.根据权利要求6或7所述的装置,其特征在于,
所述选择模块,还用于在从所述集合内选择最低频段之前,按照频段从低到高的顺序,对所述N个频段进行排序;
所述处理模块,具体用于在判断所述当前聚焦点在所述集合内其它频段的FV是否均为FV最大值的过程中,在获得所述FV最大值对应的当前聚焦点之后,将所述最低频段作为所述集合内的第i个频段,所述i的初始值为1;判断所述当前聚焦点在第i+1个频段的FV是否已经达到FV最大值;如果未达到FV最大值,则确定所述当前聚焦点在集合内其它频段的FV不是均为FV最大值;
如果已经达到FV最大值,则判断所述第i+1个频段是否为所述集合内的最后一个频段;如果是最后一个频段,则确定所述当前聚焦点在集合内其它频段的FV均为FV最大值;如果不是最后一个频段,则设置i=i+1,并返回执行判断所述当前聚焦点在第i+1个频段的FV是否已经达到FV最大值的过程。
9.根据权利要求6所述的装置,其特征在于,
所述选择模块,还用于在从所述集合内选择最低频段之前,按照频段从低到高的顺序,对所述N个频段进行排序;
所述处理模块,具体用于在从所述集合内删除所述最低频段的过程中,当所述当前聚焦点在所述集合内的前M个频段的FV均为FV最大值,且在所述集合内的第M+1个频段的FV不是FV最大值时,则从所述集合内删除所述前M个频段;其中,所述M为小于所述N的正整数。
10.根据权利要求6或9所述的装置,其特征在于,
所述处理模块,还用于在从所述集合内删除所述最低频段之后,判断所述集合内剩余的频段是否为一个频段;如果否,则将更新后的集合通知给所述选择模块,由所述选择模块重新利用更新后的集合进行处理;如果是,则将所述一个频段的FV最大值对应的聚焦点作为所述最佳聚焦点,或者当前无法基于所述视频图像确定出最佳聚焦点。
CN201510917459.2A 2015-12-10 2015-12-10 一种自动聚焦的方法和装置 Active CN105430270B (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201510917459.2A CN105430270B (zh) 2015-12-10 2015-12-10 一种自动聚焦的方法和装置
PCT/CN2016/099679 WO2017097009A1 (zh) 2015-12-10 2016-09-22 自动聚焦
ES16872204T ES2909490T3 (es) 2015-12-10 2016-09-22 Enfoque automático
EP16872204.9A EP3389254B1 (en) 2015-12-10 2016-09-22 Automatic focusing
US15/781,655 US10887505B2 (en) 2015-12-10 2016-09-22 Auto-focusing
HUE16872204A HUE058211T2 (hu) 2015-12-10 2016-09-22 Automatikus fókuszálás
PL16872204T PL3389254T3 (pl) 2015-12-10 2016-09-22 Automatyczne ustawianie ostrości

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510917459.2A CN105430270B (zh) 2015-12-10 2015-12-10 一种自动聚焦的方法和装置

Publications (2)

Publication Number Publication Date
CN105430270A true CN105430270A (zh) 2016-03-23
CN105430270B CN105430270B (zh) 2018-11-13

Family

ID=55508173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510917459.2A Active CN105430270B (zh) 2015-12-10 2015-12-10 一种自动聚焦的方法和装置

Country Status (7)

Country Link
US (1) US10887505B2 (zh)
EP (1) EP3389254B1 (zh)
CN (1) CN105430270B (zh)
ES (1) ES2909490T3 (zh)
HU (1) HUE058211T2 (zh)
PL (1) PL3389254T3 (zh)
WO (1) WO2017097009A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017097009A1 (zh) * 2015-12-10 2017-06-15 浙江宇视科技有限公司 自动聚焦

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022190309A (ja) * 2021-06-14 2022-12-26 セイコーエプソン株式会社 オートフォーカスの方法、分光カメラ、及びコンピュータープログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5115262A (en) * 1990-04-25 1992-05-19 Olympus Optical Co., Ltd. Auto-focusing apparatus
CN1220410A (zh) * 1997-12-15 1999-06-23 三星电子株式会社 自动聚焦装置和方法
JP2009175184A (ja) * 2008-01-21 2009-08-06 Canon Inc 自動焦点調整装置及びその自動焦点調整方法
CN102200674A (zh) * 2010-03-23 2011-09-28 三星电子株式会社 利用多个带通滤波器执行自动对焦功能的成像装置及方法
CN102591099A (zh) * 2000-07-31 2012-07-18 三洋电机株式会社 电子摄像机和焦距控制方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2580576B2 (ja) * 1986-12-03 1997-02-12 キヤノン株式会社 合焦検出装置
JP2772079B2 (ja) * 1989-01-09 1998-07-02 オリンパス光学工業株式会社 自動合焦装置
US6222588B1 (en) * 1993-05-28 2001-04-24 Canon Kabushiki Kaisha Automatic focus adjusting device with driving direction control
DE60022975T2 (de) * 1999-12-21 2006-07-06 Koninklijke Philips Electronics N.V. Fotoapparat mit automatischem Fokussierungsgerät
JP4647885B2 (ja) * 2003-02-17 2011-03-09 株式会社ニコン カメラ
JP4641494B2 (ja) * 2005-11-28 2011-03-02 キヤノン株式会社 光学機器
JP2007192859A (ja) * 2006-01-17 2007-08-02 Sony Corp 合焦制御装置、及び撮像装置
CN103886590B (zh) * 2014-03-05 2016-08-24 浙江大学 一种基于小波包能量谱的推扫式遥感相机自动对焦方法
CN104980717A (zh) * 2014-04-02 2015-10-14 深圳市先河系统技术有限公司 图像处理装置和摄像镜头、摄像机身、摄像设备
CN105430270B (zh) * 2015-12-10 2018-11-13 浙江宇视科技有限公司 一种自动聚焦的方法和装置
CN105391945B (zh) * 2015-12-23 2019-02-12 北京奇虎科技有限公司 摄像头自动聚焦控制方法及装置
JP2019101359A (ja) * 2017-12-07 2019-06-24 オリンパス株式会社 観察装置および焦点検出方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5115262A (en) * 1990-04-25 1992-05-19 Olympus Optical Co., Ltd. Auto-focusing apparatus
CN1220410A (zh) * 1997-12-15 1999-06-23 三星电子株式会社 自动聚焦装置和方法
CN102591099A (zh) * 2000-07-31 2012-07-18 三洋电机株式会社 电子摄像机和焦距控制方法
JP2009175184A (ja) * 2008-01-21 2009-08-06 Canon Inc 自動焦点調整装置及びその自動焦点調整方法
CN102200674A (zh) * 2010-03-23 2011-09-28 三星电子株式会社 利用多个带通滤波器执行自动对焦功能的成像装置及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017097009A1 (zh) * 2015-12-10 2017-06-15 浙江宇视科技有限公司 自动聚焦
US10887505B2 (en) 2015-12-10 2021-01-05 Zhejiang Uniview Technologies Co., Ltd Auto-focusing

Also Published As

Publication number Publication date
CN105430270B (zh) 2018-11-13
EP3389254B1 (en) 2022-02-23
PL3389254T3 (pl) 2022-04-25
EP3389254A1 (en) 2018-10-17
EP3389254A4 (en) 2018-12-05
HUE058211T2 (hu) 2022-07-28
WO2017097009A1 (zh) 2017-06-15
ES2909490T3 (es) 2022-05-06
US20190068888A1 (en) 2019-02-28
US10887505B2 (en) 2021-01-05

Similar Documents

Publication Publication Date Title
US11665427B2 (en) Still image stabilization/optical image stabilization synchronization in multi-camera image capture
CN103595920B (zh) 图像采集设备、变倍过程中辅助聚焦方法及装置
KR101220413B1 (ko) 다중 컬러-필터 조리개를 이용하여 촬영된 영상의 화질 개선 장치 및 방법
US8432479B2 (en) Range measurement using a zoom camera
CN109792485A (zh) 用于融合图像的系统及方法
CN103426147B (zh) 图像处理装置、图像拾取装置和图像处理方法
CN103763458B (zh) 一种场景变化检测方法及装置
CN102053339A (zh) 自动聚焦方法
CN105847703A (zh) 一种图像处理方法和电子设备
CN105354817A (zh) 一种噪声图像自动聚焦方法
CN108765480A (zh) 深度处理设备
CN106408518A (zh) 图像融合方法、装置及终端设备
CN103810459A (zh) 图像识别装置及利用所述装置的电池阵焊接系统
CN106204554A (zh) 基于多聚焦图像的景深信息获取方法、系统及拍摄终端
CN110336948B (zh) 一种预定区域聚焦的方法、装置、存储介质及电子装置
CN105430270A (zh) 一种自动聚焦的方法和装置
CN114511636A (zh) 一种基于双滤注意力模块的果实计数方法及系统
CN104345423A (zh) 一种图像采集方法及图像采集设备
CN106576140B (zh) 图像处理装置以及摄像装置
CN103810458A (zh) 图像识别方法
Sabre et al. Alpha stable filter and distance for multifocus image fusion
CN105791666A (zh) 自动对焦装置
CN103841312B (zh) 物体侦测装置及方法
CN115620742B (zh) 一种应用于声学成像的自动选频方法
CN105301863A (zh) 液晶透镜成像装置及液晶透镜成像方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant