CN112135055B - 变焦跟踪方法、装置、设备以及存储介质 - Google Patents

变焦跟踪方法、装置、设备以及存储介质 Download PDF

Info

Publication number
CN112135055B
CN112135055B CN202011033306.9A CN202011033306A CN112135055B CN 112135055 B CN112135055 B CN 112135055B CN 202011033306 A CN202011033306 A CN 202011033306A CN 112135055 B CN112135055 B CN 112135055B
Authority
CN
China
Prior art keywords
current period
period
current
proportional
detail information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011033306.9A
Other languages
English (en)
Other versions
CN112135055A (zh
Inventor
陈瑶
傅君
王佛荣
章勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Keda Technology Co Ltd
Original Assignee
Suzhou Keda Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Keda Technology Co Ltd filed Critical Suzhou Keda Technology Co Ltd
Priority to CN202011033306.9A priority Critical patent/CN112135055B/zh
Publication of CN112135055A publication Critical patent/CN112135055A/zh
Priority to PCT/CN2021/082753 priority patent/WO2022062345A1/zh
Application granted granted Critical
Publication of CN112135055B publication Critical patent/CN112135055B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals

Abstract

本发明提供一种变焦跟踪方法、装置、设备以及存储介质,变焦跟踪方法包括:按当前周期的比例量,调节聚焦电机的步长;获取当前周期内所述聚焦电机按所述步长步进时的n+1帧图像,n为大于等于1的整数;在所述n+1帧图像中,将每一对相邻两帧图像的细节信息的差值之和作为当前周期的积分量;至少根据当前周期的图像的细节信息计算当前周期的反馈量;以及根据当前周期的比例量、当前周期的积分量以及当前周期的反馈量计算下一周期的比例量。本发明提供的方法及装置减少标定成本,提高了变焦跟踪算法的稳定性和鲁棒性。

Description

变焦跟踪方法、装置、设备以及存储介质
技术领域
本发明涉及相机及摄像设备领域,尤其涉及一种变焦跟踪方法、装置、设备以及存储介质。
背景技术
针对数码相机及视频监控相关的成像设备,镜头是组成成像设备必不可少的部件之一。成像系统中的镜头焦距有固定和不固定之分,本发明主要基于焦距可变化的镜头。随着镜头焦距的变化,图像的视场角也会跟着变化,焦距越长。视场角越小,画面中的目标主体越大。
变焦镜头的构造比较复杂,按照功能可以分为两部分:无焦变焦系统(afocalzoom system)和聚焦透镜(focusing lens)。如图1所示,无焦变焦系统包括P1至P3,聚焦透镜包括P4。图1中,通过移动无变焦系统中凸透镜P1和P3的相对位置,从而达到变焦的目的。
变焦过程中视野也会跟着变化,还是以2个凸透镜和一个凹透镜为例说明无焦变焦系统焦距变化过程中视野变化情况。参见图2至图4,P1,P3是凸透镜,用来汇聚光线,P2是凹透镜,用来发散光线。其中P3是固定的。P1,P2是可以沿着光轴移动的,这种移动非常微小,通常是通过步进电机或者具有同等驱动能力的驱动设备控制其移动的。图2至图4中透镜P2从左向右移动,靠近P3,同时透镜P1先向左移动再向右移动。从图2至图4中可以看到这种组合移动的结果缩小了透镜组的视场角,使得拍摄获得的画面可以具有放大的效果。图2对应广角端,图4对应长焦端。
根据透镜成像公式
Figure GDA0003497366070000011
其中u为物距,v为像距,f为焦距。在成像设备镜头变焦过程中,以从广角端往长焦端运动为例,像距v会不断变大,如果能够估算出当前的物距u,根据成像公式就很容易算出当前的焦距f,这样我们就可以让驱动设备直接推动聚焦电机移动到相应的位置。
变焦跟踪算法要解决的问题就是如何准确估算出当前的物距。然而,现有的方式需要对镜头厂商给的镜头跟踪曲线做额外的标定来实现物距的确定,操作复杂,成本较高,且变焦过程中画面剧烈变化时,可能存在图像细节信息不可靠从而导致物距误判的情况。
因此,如何实现变焦跟踪算法的同时,减少标定成本,避免变焦过程中当画面剧烈变化时导致的图像细节信息不可靠造成的误判是本领域亟待解决的技术问题。
发明内容
本发明为了克服上述现有技术存在的缺陷,提供一种变焦跟踪方法、装置、设备以及存储介质,减少标定成本,避免变焦过程中当画面剧烈变化时导致的图像细节信息不可靠造成的误判。
根据本发明的一个方面,提供一种变焦跟踪方法,包括:
按当前周期的比例量,调节聚焦电机的步长;
获取当前周期内所述聚焦电机按所述步长步进时的n+1帧图像,n为大于等于1的整数;
在所述n+1帧图像中,将每一对相邻两帧图像的细节信息的差值之和作为当前周期的积分量;
至少根据当前周期的图像的细节信息计算当前周期的反馈量;以及
根据当前周期的比例量、当前周期的积分量以及当前周期的反馈量计算下一周期的比例量。
在本发明的一些实施例中,若当前周期为第一个周期,则:
当前周期的比例量根据当前周期的起始时的相邻两帧图像的细节信息之差确定。
在本发明的一些实施例中,所述当前周期的比例量根据当前周期的起始时的相邻两帧图像的细节信息之差确定包括:
当前周期的比例量根据当前周期的起始时的相邻两帧图像的细节信息之差的绝对值所在范围确定,
其中,所述当前周期的比例量与当前周期的起始时的相邻两帧图像的细节信息之差的绝对值所在范围正相关。
在本发明的一些实施例中,若当前周期为第一个周期,则:
当前周期的比例量为预设比例的最大比例量,所述最大比例量为当前周期起始时,变焦电机所在位置对应的最小物距及最大物距的所述聚焦电机的位置差值的绝对值。
在本发明的一些实施例中,第一周期自所述变焦电机的位置位于镜头跟踪曲线中的曲线分叉点时起始,其中,
当变焦电机的位置的坐标小于所述曲线分叉点的坐标时,不同物距的所述聚焦电机的聚焦位置之间的差值小于预定阈值;
当所述变焦电机的位置的坐标大于等于所述曲线分叉点的坐标时,不同物距的所述聚焦电机的聚焦位置的差值大于等于预定阈值。
在本发明的一些实施例中,所述至少根据当前周期的图像的细节信息计算当前周期的反馈量包括:
计算当前周期的多帧图像的细节信息的平均值;
使当前周期的反馈量为所计算的平均值、当前周期的比例量以及预设参数的乘积。
在本发明的一些实施例中,所述根据当前周期的比例量、当前周期的积分量以及当前周期的反馈量计算下一周期的比例量包括:
判断当前周期的多帧图像的细节信息的平均值是否大于第一个周期起始时的图像信息之间的大小关系,其中,
若是,则将当前周期的比例量、当前周期的积分量之和减去当前周期的反馈量作为下一周期的比例量;
若否,则将当前周期的比例量、当前周期的积分量以及当前周期的反馈量之和作为下一周期的比例量。
根据本发明的又一方面,还提供一种变焦跟踪装置,包括:
调节模块,配置成按当前周期的比例量,调节聚焦电机的步长;
获取模块,配置成获取当前周期内所述聚焦电机按所述步长步进时的n+1帧图像,n为大于等于1的整数;
积分模块,配置成在所述n+1帧图像中,将每一对相邻两帧图像的细节信息的差值之和作为当前周期的积分量;
反馈模块,配置成至少根据当前周期的图像的细节信息计算当前周期的反馈量;以及
计算模块,配置成根据当前周期的比例量、当前周期的积分量以及当前周期的反馈量计算下一周期的比例量。
根据本发明的又一方面,还提供一种电子设备,所述电子设备包括:处理器;存储介质,其上存储有计算机程序,所述计算机程序被所述处理器运行时执行如上所述的步骤。
根据本发明的又一方面,还提供一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如上所述的步骤。
由此可见,本发明提供的方案,与现有技术相比,具有如下优势:
1)镜头变焦过程中,通过定义比例量,积分量,以及反馈量来实时估算当前的物距曲线,不需要额外的测距工具,或者对曲线做额外的标定,就能很好的实现镜头变焦过程中保持图像全程清晰;
2)结合了反馈量的比例积分调节的周期性调节方式有效避免了变焦过程中当画面剧烈变化时导致的图像细节信息不可靠造成的误判,提高了变焦跟踪算法的稳定性。
附图说明
通过参照附图详细描述其示例实施方式,本发明的上述和其它特征及优点将变得更加明显。
图1至图4示出了背景技术中变焦镜头构造和原理的示意图。
图5示出了根据本发明实施例的变焦跟踪方法的流程图。
图6示出了根据本发明具体实施例的镜头跟踪曲线的示意图。
图7示出了根据本发明具体实施例的图像高频信息量与聚焦电机位置的拟合曲线的示意图。
图8示出了根据本发明具体实施例的最大比例量的示意图。
图9示出了根据本发明具体实施例的积分量和反馈量的变化趋势的示意图。
图10示出了根据本发明实施例的变焦跟踪装置的模块图。
图11示意性示出本公开示例性实施例中一种计算机可读存储介质示意图。
图12示意性示出本公开示例性实施例中一种电子设备示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本发明将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外,附图仅为本发明的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的步骤。例如,有的步骤还可以分解,而有的步骤可以合并或部分合并,因此,实际执行的顺序有可能根据实际情况改变。
为了克服上述现有技术存在的缺陷,本发明提供一种变焦跟踪方法以及装置,减少标定成本,避免变焦过程中当画面剧烈变化时导致的图像细节信息不可靠造成的误判。
首先参见图5,图5示出了根据本发明实施例的变焦跟踪方法的流程图。图5共示出了如下步骤:
步骤S110:按当前周期的比例量,调节聚焦电机的步长。
具体而言,若当前周期并非为第一周期,则当前周期的比例量基于上一周期的比例量来确定。
在本发明的一些实施例中,若当前周期为第一个周期,则当前周期的比例量根据当前周期的起始时的相邻两帧图像的细节信息之差确定。
具体而言,本发明采用的图像的细节信息为对图像进行高频滤波后获得的高频细节信息。在具体的实现中,成像设备内置的集成电路芯片,通常具有高频滤波器模块,由此,可以采用高频滤波器模块,对输入图像进行高频滤波得到图像高频细节信息值V,细节信息值通常是一个m行n列的矩阵即如下表所示:
V<sub>11</sub> V<sub>12</sub> V<sub>13</sub> …… V<sub>1n</sub>
V<sub>21</sub> V<sub>22</sub> V<sub>23</sub> …… V<sub>2n</sub>
…… …… …… …… ……
…… …… …… …… ……
V<sub>m1</sub> V<sub>m2</sub> V<sub>m3</sub> …… V<sub>mn</sub>
进一步地,图像的高频细节信息V表征图像中灰度变化剧烈程度的指标,图像频率越高,图像越清晰,图像高频信息值V越大。聚焦的过程就是在寻找电机运动过程中高频信息值最大的点(如图7中的D2)对应的聚焦电机位置。
在上述实施例中,若当前周期为第一个周期,则当前周期的比例量根据当前周期的起始时的相邻两帧图像的细节信息之差的绝对值所在范围确定,其中,所述当前周期的比例量与当前周期的起始时的相邻两帧图像的细节信息之差的绝对值所在范围正相关。具体而言,当前周期的起始时的相邻两帧图像可以为当前周期的起始帧图像及其下一帧/上一帧图像,本发明并非以此为限制。
上述实施例中,聚焦电机的步长越大,调节速度越快。对于变焦跟踪而言,就是在镜头厂商给定的多组不同镜头跟踪曲线(如图6)下,通过比例量实时调节聚焦电机的步长,从而让镜头在变焦过程中保持全程清晰。具体而言,第一周期的比例量PF可以结合图像细节信息分段定义:
Figure GDA0003497366070000061
其中,abs(Vcurrent-Vpreview)指的是当前帧图像的细节信息Vcurrent和前一帧的细节信息Vpreview的差值的绝对值。当差值更大时,可增加比例量PF的值,从而加快调节速度。当差值为正时,说明当前图像清晰度并未下降,差值为负时,说明当前图像清晰度存在下降。进一步地,上述比例量PF的值经由归一化处理,并可以适用于不同步长的电机中。以上仅仅是示意性地描述本发明的第一周期的比例量的一种计算方式,本发明并非以此为限制。
具体而言,镜头跟踪曲线一般由镜头厂商提供,该曲线反应了变焦电机移动过程中,图像全程清晰对应的聚焦电机位置,如图6,其示意性显示了一款多倍变焦的镜头跟踪曲线,其中,横坐标表示变焦电机位置,纵坐标表示图像清晰时对应的聚焦电机位置。图中一共有4条曲线,分别表示不同物距下:1米,5米,30米和无穷远处变焦电机和聚焦电机的对应关系。
具体而言,可以根据镜头跟踪曲线获得曲线分叉点。曲线分叉点按如下方式定义:当变焦电机的位置的坐标小于所述曲线分叉点的坐标时,不同物距的所述聚焦电机的聚焦位置之间的差值小于预定阈值(当变焦电机的位置的坐标小于所述曲线分叉点的坐标时,不同物距对所述聚焦电机的聚焦位置影响较小);当所述变焦电机的位置的坐标大于等于所述曲线分叉点的坐标时,不同物距的所述聚焦电机的聚焦位置之间的差值大于等于预定阈值(当变焦电机的位置的坐标大于或等于所述曲线分叉点的坐标时,不同物距对所述聚焦电机的聚焦位置影响较大)。
换言之,当变焦电机位置小于曲线分叉点的坐标时,图像聚焦清楚的聚焦电机位置和物距无关。变焦跟踪主要和当前实际物距下变焦电机位置以及聚焦电机位置有关。主要通过跟踪曲线来控制变焦电机和聚焦电机的位置。当变焦电机位置大于等于曲线分叉点的坐标时,图像聚焦清楚的聚焦电机位置与物距有关,需要设计合适的算法来选择满足当前成像设备所处环境的物距,一旦物距估算错误,镜头跟踪曲线就会选择错误,那么在成像设备的镜头变焦过程中,图像将不在保持全程清晰。
因此,在本发明的一些具体实施例中,第一周期可以自所述变焦电机的位置位于镜头跟踪曲线中的曲线分叉点时起始。
在本发明的一些变化例中,第一个周期的比例量也可以按其它方式计算。例如,第一个周期的比例量为预设比例的最大比例量。所述最大比例量为当前周期起始时,变焦电机所在位置对应的最小物距及最大物距的所述聚焦电机的位置差值的绝对值(如图8所示)。例如,可以将最大比例量的十分之一作为第一个周期的比例量,本发明并非以此为限制。
步骤S120:获取当前周期内所述聚焦电机按所述步长步进时的n+1帧图像,n为大于等于1的整数。
步骤S130:在所述n+1帧图像中,将每一对相邻两帧图像的细节信息的差值之和作为当前周期的积分量。
例如,n为3时,共4帧图像,可以形成3对相邻两帧图像,计算每一对相邻两帧图像的细节信息的差值;然后将3对差值的和作为当前周期的积分量。
具体而言,每一周期可以按当前周期的比例量使聚焦电机步进n次,从而可以在该周期内,获取第一次调节前的图像、第一次调节后的图像、第二次调节后的图像……以及第n次调节后的图像共n+1帧图像。由此,可以将相邻两帧的图像的细节信息的差值之和作为当前周期的积分量。
在一些变化例中,每一周期可以按当前周期的比例量使聚焦电机步进1次,从而在该周期内,获取步进过程中距离当前时间最近的连续的n+1帧图像,由此,可以将每一对相邻两帧的图像的细节信息的差值之和作为当前周期的积分量。
在又一些变化例中,积分量还可以根据前设定数量的周期的n+1帧图像的每一对相邻两帧的图像的细节信息的差值之和与当前周期的n+1帧图像的每一对相邻两帧的图像的细节信息的差值之和相加获得,本发明并非以此为限制。
上述各实施例中,n可以按需设置和调整。由此,积分量反应的是每个周期内按比例量调节带来的误差累计。
在一些具体的实现中,可以将n设置为3,那么积分量I可以具体定义如下:
I=(V3-V2)+(V2-V1)+(V1-V0)
当电机连续运行了6帧后,那么积分量I将更新如下:
I=(V6-V5)+(V5-V4)+(V4-V3)
其中,V0至V6为连续的n+1帧图像的细节信息的值。
步骤S140:至少根据当前周期的图像的细节信息计算当前周期的反馈量。
步骤S150:根据当前周期的比例量、当前周期的积分量以及当前周期的反馈量计算下一周期的比例量。
具体而言,通过步骤S150可以直接向下一周期的比例量赋值,从而可以省略下一周期执行步骤S110之前获取当前周期的比例量的步骤。本发明并非以此为限制,也可以在步骤S150将下一周期的比例量储存在系统某一位置,并在下一周期的步骤S110之前,自该位置获取比例量以进行后续步骤。
具体而言,对于变焦镜头而言,随着焦距的不断变大,变焦电机往特写端移动过程中,由于镜头的固有特性导致镜头跟踪曲线出现了分叉。因此,可以通过上述算法来估算适应于当前环境的对焦曲线,来确保图像在变焦过程中保持全程清晰。在没有任何物距测量的情况下,当变焦电机运行到曲线分叉点时,通过周期性按比例量P调节聚焦电机的步长,试探性的估算当前的物距,然后统计调节前后的细节信息的差值。根据几次调节量差值的和(即积分量I)来实时修正比例量P。本发明还可以定义一个反馈量δF,反馈量δF可以是估算物距的偏差。如果物距偏差过大,就会反向调节比例量P。具体的,结合反馈量δF的比例积分控制算法可以用如下公式表示:
Figure GDA0003497366070000092
式中
Figure GDA0003497366070000091
为下一次聚焦电机调节的比例量P,PF为当前调节步长,∫Ki为步骤S130计算获得的积分量。由于物距调节的大小不确定,因此反馈量δF需要根据物距调节的大小实时修正。具体而言,在具体的实现中,比例量P、积分量和反馈量在进行计算之前还经过归一化处理。
在本发明的一些实施例中,反馈量可以经过初始化处理。首先,记录曲线分叉点处的图像细节信息Vp,可以将反馈量的初始值定义为分叉点处的细节信息的95%与当前比例量PF的乘积,具体的如下所示:
δF=0.95*Vp*PF
当变焦电机运行时,图像的细节信息Vp也会实时更新,由此,在各周期中,可以计算当前周期的多帧图像的细节信息的平均值作为Vp,使当前周期的反馈量为所计算的平均值Vp、当前周期的比例PF量以及预设参数(例如0.95)的乘积。
进一步地,本发明可以根据积分量和反馈量的变化趋势来实时修正下一次聚焦电机的步长的大小。图9显示了变焦电机位置运行到分叉点后,积分量I与反馈量δF的变化情况。随着变焦电机的运动,虽然反馈量和积分量会随着图像细节信息和聚焦电机的调节量PF的变化而变化,但是由于图像是全程清晰的,因此。可以认为积分量I和反馈量δF也是趋于一条直线,即也是趋于稳定的,由此,保证在变焦过程中图像是全程清晰的。为了实现该趋势,步骤S150可以根据如下步骤实现:
判断当前周期的多帧图像的细节信息的平均值是否大于第一个周期起始时的图像的细节信息;若是,则将当前周期的比例量、当前周期的积分量之和减去当前周期的反馈量作为下一周期的比例量;若否,则将当前周期的比例量、当前周期的积分量以及当前周期的反馈量之和作为下一周期的比例量。
由此,上述大小关系也可以通过当前周期的反馈量δF和初始反馈量(基准反馈量)的比较来实现。当前周期的反馈量δF大于初始反馈量(基准反馈量)时,为了使趋势趋于直线,因此,在下一周期的比例量的调节中将当前周期的反馈量δF减去;当前周期的反馈量δF小于等于初始反馈量(基准反馈量)时,为了使趋势趋于直线,因此,在下一周期的比例量的调节中增加当前周期的反馈量δF。进一步地,以上仅仅是示意性设定当前周期的反馈量δF等于初始反馈量(基准反馈量)时的下一周期的比例量的调节,本发明并非以此为限制,考虑到当前周期的反馈量δF等于初始反馈量,反馈量δF已经趋于直线,无论增加还是减去反馈量δF都是可行的调节方式。进一步地,积分量的变化趋势与反馈量的变化趋势一般来说是相一致的,因此,通过反馈量的变化趋势来确定反馈量的符号即可实现上述目标。
如图9中积分量I和反馈量δF的变化趋势,第二个周期中,聚焦电机的比例量为:
Figure GDA0003497366070000101
第三个周期中,聚焦电机的比例量为:
Figure GDA0003497366070000102
第n个周期中,聚焦电机的比例量为:
Figure GDA0003497366070000103
由此,通过积分量I和反馈量δF来修正聚焦电机的比例量,直到变焦电机运行到倍率最大处(或设定位置处)。至此,当前变焦跟踪算法结束。
本发明提供的变焦跟踪方法中,一方面,镜头变焦过程中,通过定义比例量,积分量,以及反馈量来实时估算当前的物距曲线,不需要额外的测距工具,或者对曲线做额外的标定,就能很好的实现镜头变焦过程中保持图像全程清晰;另一方面,结合了反馈量的比例积分调节的周期性调节方式有效避免了变焦过程中当画面剧烈变化时导致的图像细节信息不可靠造成的误判,提高了变焦跟踪算法的稳定性和鲁棒性。
具体而言,由于镜头变焦过程中物距的不确定性,本发明通过对比例积分进行适当的线性组合实现对被控对象(镜头跟踪曲线)的快速稳定的控制,并结合参数反馈,实现反馈式变焦跟踪算法。在跟踪曲线未分叉之前,比例积分控制逻辑处于监控状态,此时变焦电机和聚焦电机直接按照镜头厂商给定的曲线查找对应的电机位置,然后驱动镜头移动到相应位置即可保持图像全程清晰。在跟踪曲线未分叉之后,可以将电机运动过程中的一些控制量抽象成比例积分控制的方式。
以上示例性地示出本发明的多个实现方式,本发明并非以此为限制,各实施方式中,步骤的增加、省略、顺序变换皆在本发明的保护范围之内;各实施方式可以单独或组合来实现。
下面结合图10描述本发明提供的变焦跟踪装置200。变焦跟踪装置200包括调节模块210、获取模块220、积分模块230、反馈模块240以及计算模块250。
调节模块210配置成按当前周期的比例量,调节聚焦电机的步长;
获取模块220配置成获取当前周期内所述聚焦电机按所述步长步进时的n+1帧图像,n为大于等于1的整数;
积分模块230配置成在所述n+1帧图像中,将每一对相邻两帧图像的细节信息的差值之和作为当前周期的积分量;
反馈模块240配置成至少根据当前周期的图像的细节信息计算当前周期的反馈量;以及
计算模块250配置成根据当前周期的比例量、当前周期的积分量以及当前周期的反馈量计算下一周期的比例量。
本发明提供的变焦跟踪装置中,一方面,镜头变焦过程中,通过定义比例量,积分量,以及反馈量来实时估算当前的物距曲线,不需要额外的测距工具,或者对曲线做额外的标定,就能很好的实现镜头变焦过程中保持图像全程清晰;另一方面,结合了反馈量的比例积分调节的周期性调节方式有效避免了变焦过程中当画面剧烈变化时导致的图像细节信息不可靠造成的误判,提高了变焦跟踪算法的稳定性。
本发明可以通过软件、硬件、固件及其任意结合的方式实现变焦跟踪装置200。图10仅仅是示意性的示出本发明提供的变焦跟踪装置200,在不违背本发明构思的前提下,模块的拆分、合并、增加都在本发明的保护范围之内。
在本公开的示例性实施例中,还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被例如处理器执行时可以实现上述任意一个实施例中所述变焦跟踪方法的步骤。在一些可能的实施方式中,本发明的各个方面还可以实现为一种程序产品的形式,其包括程序代码,若所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行本说明书上述变焦跟踪方法部分中描述的根据本发明各种示例性实施方式的步骤。
参考图11所示,描述了根据本发明的实施方式的用于实现上述方法的程序产品800,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适若的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在租户计算设备上执行、部分地在租户设备上执行、作为一个独立的软件包执行、部分在租户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到租户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
在本公开的示例性实施例中,还提供一种电子设备,该电子设备可以包括处理器,以及用于存储所述处理器的可执行指令的存储器。其中,所述处理器配置为经由执行所述可执行指令来执行上述任意一个实施例中所述变焦跟踪方法的步骤。
所属技术领域的技术人员能够理解,本发明的各个方面可以实现为系统、方法或程序产品。因此,本发明的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
下面参照图12来描述根据本发明的这种实施方式的电子设备600。图12显示的电子设备600仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图12所示,电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于:至少一个处理单元610、至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元610执行,使得所述处理单元610执行本说明书上述变焦跟踪方法部分中描述的根据本发明各种示例性实施方式的步骤。例如,所述处理单元610可以执行如图5中所示的步骤。
所述存储单元620可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202,还可以进一步包括只读存储单元(ROM)6203。
所述存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204,这样的程序模块6205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得租户能与该电子设备600交互的设备通信,和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且,电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应若明白,尽管图中未示出,可以结合电子设备600使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本公开实施方式的上述变焦跟踪方法。
由此可见,本发明提供的方案,与现有技术相比,具有如下优势:
1)镜头变焦过程中,通过定义比例量,积分量,以及反馈量来实时估算当前的物距曲线,不需要额外的测距工具,或者对曲线做额外的标定,就能很好的实现镜头变焦过程中保持图像全程清晰;
2)结合了反馈量的比例积分调节的周期性调节方式有效避免了变焦过程中当画面剧烈变化时导致的图像细节信息不可靠造成的误判,提高了变焦跟踪算法的稳定性。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由所附的权利要求指出。

Claims (10)

1.一种变焦跟踪方法,其特征在于,包括:
按当前周期的比例量,调节聚焦电机的步长;
获取当前周期内所述聚焦电机按所述步长步进时的n+1帧图像,n为大于等于1的整数;
在所述n+1帧图像中,将每一对相邻两帧图像的细节信息的差值之和,作为当前周期的积分量;
至少根据当前周期的图像的细节信息计算当前周期的反馈量;以及
根据当前周期的比例量、当前周期的积分量以及当前周期的反馈量计算下一周期的比例量。
2.如权利要求1所述的变焦跟踪方法,其特征在于,若当前周期为第一个周期,则:
当前周期的比例量根据当前周期的起始时的相邻两帧图像的细节信息之差确定。
3.如权利要求2所述的变焦跟踪方法,其特征在于,所述当前周期的比例量根据当前周期的起始时的相邻两帧图像的细节信息之差确定包括:
当前周期的比例量根据当前周期的起始时的相邻两帧图像的细节信息之差的绝对值所在范围确定,
其中,所述当前周期的比例量与当前周期的起始时的相邻两帧图像的细节信息之差的绝对值所在范围正相关。
4.如权利要求1所述的变焦跟踪方法,其特征在于,若当前周期为第一个周期,则:
当前周期的比例量为预设比例的最大比例量,所述最大比例量为当前周期起始时,变焦电机所在位置对应的最小物距及最大物距的所述聚焦电机的位置差值的绝对值。
5.如权利要求1所述的变焦跟踪方法,其特征在于,第一周期自变焦电机的位置位于镜头跟踪曲线中的曲线分叉点时起始,其中,
当变焦电机的位置的坐标小于所述曲线分叉点的坐标时,不同物距的所述聚焦电机的聚焦位置之间的差值小于预定阈值;
当所述变焦电机的位置的坐标大于等于所述曲线分叉点的坐标时,不同物距的所述聚焦电机的聚焦位置的差值大于等于预定阈值。
6.如权利要求1所述的变焦跟踪方法,其特征在于,所述至少根据当前周期的图像的细节信息计算当前周期的反馈量包括:
计算当前周期的多帧图像的细节信息的平均值;
使当前周期的反馈量为所计算的平均值、当前周期的比例量以及预设参数的乘积。
7.如权利要求6所述的变焦跟踪方法,其特征在于,所述根据当前周期的比例量、当前周期的积分量以及当前周期的反馈量计算下一周期的比例量包括:
判断当前周期的多帧图像的细节信息的平均值是否大于第一个周期起始时的图像的细节信息;
若是,则将当前周期的比例量、当前周期的积分量之和减去当前周期的反馈量作为下一周期的比例量;
若否,则将当前周期的比例量、当前周期的积分量以及当前周期的反馈量之和作为下一周期的比例量。
8.一种变焦跟踪装置,其特征在于,包括:
调节模块,配置成按当前周期的比例量,调节聚焦电机的步长;
获取模块,配置成获取当前周期内所述聚焦电机按所述步长步进时的n+1帧图像,n为大于等于1的整数;
积分模块,配置成在所述n+1帧图像中,将每一对相邻两帧图像的细节信息的差值之和作为当前周期的积分量;
反馈模块,配置成至少根据当前周期的图像的细节信息计算当前周期的反馈量;以及
计算模块,配置成根据当前周期的比例量、当前周期的积分量以及当前周期的反馈量计算下一周期的比例量。
9.一种电子设备,所述电子设备包括:处理器;存储介质,其上存储有计算机程序,所述计算机程序被所述处理器运行时执行如权利要求1至7任一项所述的变焦跟踪方法。
10.一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1至7任一项所述的变焦跟踪方法。
CN202011033306.9A 2020-09-27 2020-09-27 变焦跟踪方法、装置、设备以及存储介质 Active CN112135055B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011033306.9A CN112135055B (zh) 2020-09-27 2020-09-27 变焦跟踪方法、装置、设备以及存储介质
PCT/CN2021/082753 WO2022062345A1 (zh) 2020-09-27 2021-03-24 变焦跟踪方法、装置、设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011033306.9A CN112135055B (zh) 2020-09-27 2020-09-27 变焦跟踪方法、装置、设备以及存储介质

Publications (2)

Publication Number Publication Date
CN112135055A CN112135055A (zh) 2020-12-25
CN112135055B true CN112135055B (zh) 2022-03-15

Family

ID=73840983

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011033306.9A Active CN112135055B (zh) 2020-09-27 2020-09-27 变焦跟踪方法、装置、设备以及存储介质

Country Status (2)

Country Link
CN (1) CN112135055B (zh)
WO (1) WO2022062345A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112135055B (zh) * 2020-09-27 2022-03-15 苏州科达科技股份有限公司 变焦跟踪方法、装置、设备以及存储介质
CN115037867B (zh) * 2021-03-03 2023-12-01 Oppo广东移动通信有限公司 拍摄方法、装置、计算机可读存储介质及电子设备
CN113989695B (zh) * 2021-09-18 2022-05-20 北京远度互联科技有限公司 目标跟踪方法、装置、电子设备及存储介质
CN114268738A (zh) * 2021-12-22 2022-04-01 福建星网智慧软件有限公司 一种变焦跟踪方法和存储设备
CN115720293B (zh) * 2022-11-17 2024-03-19 南方电网电力科技股份有限公司 一种摄像机聚焦控制方法及系统

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101035273A (zh) * 2007-04-24 2007-09-12 北京中星微电子有限公司 视频监控中的自动跟踪控制方法和控制装置
TW200734784A (en) * 2006-03-07 2007-09-16 Primax Electronics Ltd Zoom tracking method of digital camera
CN101038415A (zh) * 2006-03-14 2007-09-19 致伸科技股份有限公司 数码相机的变焦追踪方法
EP1936418A1 (en) * 2006-12-21 2008-06-25 Sony Corporation Zoom lens and image capture apparatus
CN102591099A (zh) * 2000-07-31 2012-07-18 三洋电机株式会社 电子摄像机和焦距控制方法
CN103345059A (zh) * 2013-06-28 2013-10-09 中国科学院西安光学精密机械研究所 反射式变形镜变焦方法及系统
CN103546692A (zh) * 2013-11-04 2014-01-29 苏州科达科技股份有限公司 一种实现一体化摄像机自动聚焦的方法及系统
CN103595920A (zh) * 2013-11-15 2014-02-19 浙江宇视科技有限公司 图像采集设备、变倍过程中辅助聚焦方法及装置
CN103747179A (zh) * 2014-01-02 2014-04-23 深圳英飞拓科技股份有限公司 一种基于聚焦评价值反馈调节的变倍跟踪方法及系统
CN104836954A (zh) * 2015-04-23 2015-08-12 金三立视频科技(深圳)有限公司 变焦跟踪方法及其装置
CN105704362A (zh) * 2014-11-25 2016-06-22 宁波舜宇光电信息有限公司 一种变焦跟踪曲线获取系统及其方法
CN105704381A (zh) * 2016-03-16 2016-06-22 深圳英飞拓科技股份有限公司 摄像机的变焦跟踪方法及装置
CN107592464A (zh) * 2017-09-30 2018-01-16 浙江大华技术股份有限公司 一种变倍过程中变倍跟随曲线的切换方法及装置
CN109660726A (zh) * 2015-12-23 2019-04-19 北京奇虎科技有限公司 摄像头快速自动聚焦方法及装置
CN110012218A (zh) * 2018-12-19 2019-07-12 杭州晨安科技股份有限公司 一种大幅失焦状态下的自动聚焦方法
CN110045562A (zh) * 2019-04-18 2019-07-23 重庆紫光华山智安科技有限公司 变焦过程中同步对焦方法、装置、存储介质及电子终端
CN110278383A (zh) * 2019-07-25 2019-09-24 浙江大华技术股份有限公司 聚焦方法、装置以及电子设备、存储介质
CN110572577A (zh) * 2019-09-24 2019-12-13 浙江大华技术股份有限公司 一种跟踪聚焦的方法、装置、设备及介质
CN110753182A (zh) * 2019-09-30 2020-02-04 华为技术有限公司 成像设备的调节方法和设备
CN111147732A (zh) * 2018-11-06 2020-05-12 浙江宇视科技有限公司 对焦曲线建立方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69326106T2 (de) * 1992-06-29 2000-01-05 Canon Kk Objektivkontrollgerät
US20040100560A1 (en) * 2002-11-22 2004-05-27 Stavely Donald J. Tracking digital zoom in a digital video camera
CN101494737B (zh) * 2009-03-09 2011-04-20 杭州海康威视数字技术股份有限公司 一种一体化摄像机装置及自适应自动聚焦方法
JP6170395B2 (ja) * 2013-09-26 2017-07-26 キヤノン株式会社 撮像装置およびその制御方法
CN103929588B (zh) * 2014-03-21 2017-10-20 深圳金三立视频科技股份有限公司 摄像机变倍快速自动聚焦方法及系统
CN105611159A (zh) * 2015-12-23 2016-05-25 北京奇虎科技有限公司 变焦跟踪曲线的校正方法和装置
CN105554387A (zh) * 2015-12-23 2016-05-04 北京奇虎科技有限公司 变倍跟踪曲线的校正方法和装置
JP6706819B2 (ja) * 2016-02-15 2020-06-10 パナソニックIpマネジメント株式会社 ズーム機構を備えた撮像装置及び交換レンズ
WO2019064988A1 (ja) * 2017-09-28 2019-04-04 富士フイルム株式会社 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム
CN112135055B (zh) * 2020-09-27 2022-03-15 苏州科达科技股份有限公司 变焦跟踪方法、装置、设备以及存储介质

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102591099A (zh) * 2000-07-31 2012-07-18 三洋电机株式会社 电子摄像机和焦距控制方法
TW200734784A (en) * 2006-03-07 2007-09-16 Primax Electronics Ltd Zoom tracking method of digital camera
CN101038415A (zh) * 2006-03-14 2007-09-19 致伸科技股份有限公司 数码相机的变焦追踪方法
EP1936418A1 (en) * 2006-12-21 2008-06-25 Sony Corporation Zoom lens and image capture apparatus
CN101035273A (zh) * 2007-04-24 2007-09-12 北京中星微电子有限公司 视频监控中的自动跟踪控制方法和控制装置
CN103345059A (zh) * 2013-06-28 2013-10-09 中国科学院西安光学精密机械研究所 反射式变形镜变焦方法及系统
CN103546692A (zh) * 2013-11-04 2014-01-29 苏州科达科技股份有限公司 一种实现一体化摄像机自动聚焦的方法及系统
CN103595920A (zh) * 2013-11-15 2014-02-19 浙江宇视科技有限公司 图像采集设备、变倍过程中辅助聚焦方法及装置
CN103747179A (zh) * 2014-01-02 2014-04-23 深圳英飞拓科技股份有限公司 一种基于聚焦评价值反馈调节的变倍跟踪方法及系统
CN105704362A (zh) * 2014-11-25 2016-06-22 宁波舜宇光电信息有限公司 一种变焦跟踪曲线获取系统及其方法
CN104836954A (zh) * 2015-04-23 2015-08-12 金三立视频科技(深圳)有限公司 变焦跟踪方法及其装置
CN109660726A (zh) * 2015-12-23 2019-04-19 北京奇虎科技有限公司 摄像头快速自动聚焦方法及装置
CN105704381A (zh) * 2016-03-16 2016-06-22 深圳英飞拓科技股份有限公司 摄像机的变焦跟踪方法及装置
CN107592464A (zh) * 2017-09-30 2018-01-16 浙江大华技术股份有限公司 一种变倍过程中变倍跟随曲线的切换方法及装置
CN111147732A (zh) * 2018-11-06 2020-05-12 浙江宇视科技有限公司 对焦曲线建立方法及装置
CN110012218A (zh) * 2018-12-19 2019-07-12 杭州晨安科技股份有限公司 一种大幅失焦状态下的自动聚焦方法
CN110045562A (zh) * 2019-04-18 2019-07-23 重庆紫光华山智安科技有限公司 变焦过程中同步对焦方法、装置、存储介质及电子终端
CN110278383A (zh) * 2019-07-25 2019-09-24 浙江大华技术股份有限公司 聚焦方法、装置以及电子设备、存储介质
CN110572577A (zh) * 2019-09-24 2019-12-13 浙江大华技术股份有限公司 一种跟踪聚焦的方法、装置、设备及介质
CN110753182A (zh) * 2019-09-30 2020-02-04 华为技术有限公司 成像设备的调节方法和设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
大范围自动调焦快速搜索算法;胡涛 等;《光电子·激光》;20060415;全文 *

Also Published As

Publication number Publication date
CN112135055A (zh) 2020-12-25
WO2022062345A1 (zh) 2022-03-31

Similar Documents

Publication Publication Date Title
CN112135055B (zh) 变焦跟踪方法、装置、设备以及存储介质
US8988538B2 (en) Image pickup apparatus and lens apparatus
EP3889661A1 (en) Focusing method and apparatus, electronic device and storage medium
CN107395993B (zh) 全自动对焦方法及系统
CN110675404A (zh) 图像处理方法、图像处理装置、存储介质与终端设备
CN111757008B (zh) 一种聚焦方法、设备及计算机可读存储介质
US9558534B2 (en) Image processing apparatus, image processing method, and medium
CN110401796B (zh) 一种图像采集装置的抖动补偿方法和装置
CN110719404B (zh) 一种电动镜头控制方法和装置
US11394889B2 (en) Image recognition apparatus and image recognition method
CN111080699B (zh) 基于深度学习的单目视觉里程计方法及系统
CN110460771A (zh) 对焦方法、装置及对焦设备
JP7291168B2 (ja) ビデオフレームの処理方法及び装置
CN112000226A (zh) 一种人眼视线估计方法、装置及视线估计系统
CN103700062A (zh) 图像处理方法和装置
CN114926498B (zh) 一种基于时空约束与可学习特征匹配的快速目标跟踪方法
CN109996005B (zh) 一种聚焦校正方法及装置
CN112911133B (zh) 一种内窥镜对焦方法及装置
CN112153271B (zh) 电子设备的光学镜头的控制方法、控制装置及存储介质
CN115314635B (zh) 用于离焦量确定的模型训练方法及装置
US11076101B2 (en) Method, apparatus, and computer program for correcting optical axis of zoom lens
CN116520338A (zh) 目标车辆距离的确定方法、装置、电子设备和存储介质
CN112904548A (zh) 一种内窥镜对焦方法及装置
JPH06217181A (ja) カメラ
CN109922335B (zh) 基于反差式对焦法的摄像头对焦测试方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant