CN112601006B - 一种基于云台摄像机的跟踪聚焦方法及装置 - Google Patents
一种基于云台摄像机的跟踪聚焦方法及装置 Download PDFInfo
- Publication number
- CN112601006B CN112601006B CN202011249431.3A CN202011249431A CN112601006B CN 112601006 B CN112601006 B CN 112601006B CN 202011249431 A CN202011249431 A CN 202011249431A CN 112601006 B CN112601006 B CN 112601006B
- Authority
- CN
- China
- Prior art keywords
- motor
- zoom
- pan
- zooming
- focusing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请提出一种基于云台摄像机的跟踪聚焦方法及装置。方法包括:确定变焦跟踪曲线簇;根据所述云台摄像机的变焦电机和云台电机的运动状态,在所述变焦跟踪曲线簇中选择一条曲线,以根据所选择的曲线,使所述云台摄像机的聚焦电机运动;实时监测所述云台摄像机拍摄的视频每一帧图像的清晰度,在当前帧图像清晰度比前一帧图像清晰度下降值大于第一阈值的情况下,动态修正所述聚焦电机的位置;在所述变焦电机与所述云台电机都停止运动后,在预设聚焦区间内搜索所检测到的图像清晰度最大时所述聚焦电机的位置,并控制所述聚焦电机运动到所述图像清晰度最大时所述聚焦电机的位置处。能够使云台摄像机运动时画面持续保持清晰。
Description
技术领域
本申请涉及输电线路视频监控领域,尤其涉及一种基于云台摄像机的跟踪聚焦方法及装置。
背景技术
在输电线路视频监控领域,各种监测装置的使用,能够全天候监测杆塔/线路本体和周边环境,及时发现塔吊施工、违章建筑、树木生长等因素对输电线路及人身形成的安全隐患,大幅度提高了线路巡检与检修的安全运行效率。目前,监测装置主要有单/多目摄像机、云台摄像机等。单/多目摄像机监测装置,存在监控视角范围小、难以检测远距离小目标隐患等问题,云台摄像机虽然能够弥补单/多目摄像机的上述缺点,但在巡检过程中会存在画面离焦模糊现象,致使输电线路部分安全隐患和缺陷未能及时发现。
云台摄像机在输电线路应用过程中,通常会在杆塔/线路本体和周边环境中设置多个重点监测区域,云台摄像机进行巡检时,会顺序遍历所有重点监测区域,在这个过程中,摄像机的云台电机、变焦电机以及聚焦电机存在同时动作的过程,传统的变焦跟踪技术及先变焦后聚焦的方式已经无法保证视频监控画面全程保持清晰,特别是变焦电机越靠近长焦端(TELE),画面离焦模糊的程度越严重。
发明内容
针对上述现有技术中存在的问题,本申请实施例提出一种基于云台摄像机的跟踪聚焦方法及装置,解决了云台摄像机巡检过程中视频监控画面无法全程保持清晰且会产生画面离焦模糊的问题。
一方面,本申请实施例提供了一种基于云台摄像机的跟踪聚焦方法,方法包括:确定云台摄像机在不同物距下的多条变焦跟踪曲线,形成变焦跟踪曲线簇;根据所述云台摄像机的变焦电机和云台电机的运动状态,在所述变焦跟踪曲线簇中匹配一条变焦跟踪曲线,以根据所匹配的变焦跟踪曲线,使所述云台摄像机的聚焦电机运动;在所述聚焦电机运动过程中,实时监测所述云台摄像机拍摄的视频每一帧图像的清晰度,在当前帧图像清晰度比前一帧图像清晰度下降值大于第一阈值的情况下,动态修正所述聚焦电机的位置;在所述变焦电机与所述云台电机都停止运动后,在预设聚焦区间内搜索所检测到的图像清晰度最大时所述聚焦电机的位置,并控制所述聚焦电机运动到所述图像清晰度最大时所述聚焦电机的位置处。
本申请实施例通过根据变焦电机和云台电机的运动状态,选择最优变焦跟踪曲线以使聚焦电机跟随该曲线运动,同时在过程中不断根据云台摄像机画面清晰度的变化对聚焦电机的位置进行修正,并在变焦电机和云台电机都停止运动后使用自适应爬山搜索聚焦方法获取最佳清晰位置,通过上述一层层步骤的递进,能够在云台摄像机巡检过程中,使聚焦电机的位置一直处于近焦区,保证拍摄的视频画面持续清晰,避免离焦模糊的现象。
在一个实施例中,所述在所述聚焦电机运动过程中,实时监测所述云台摄像机拍摄的视频每一帧图像的清晰度,在当前帧图像清晰度比前一帧图像清晰度下降值大于第一阈值的情况下,动态修正所述聚焦电机的位置,具体包括:在所述变焦电机以及云台电机在运动时,若监测到视频当前帧图像清晰度比前一帧图像清晰度下降值大于第一预设阈值TH1,则控制变焦电机停止运动且控制聚焦电机在第一区间[F1-B1,F1+B2]内,以(B1+B2)/k(k∈[4,8])为第一步长进行运动聚焦;其中,F1为当前聚焦电机的位置,B1、B2分别为当前跟踪曲线的相邻变焦跟踪曲线上当前变焦电机位置处所对应的聚焦电机的位置,与F1的差值;当所述视频图像清晰度满足|FVcur-FVpre|<TH1后,所述变焦电机恢复变焦运动;其中,FVcur为视频当前帧图像的清晰度值,FVpre为视频前一帧图像的清晰度值。
本申请实施例通过在聚焦电机跟随变焦电机以及变焦跟踪曲线而运动的过程中,根据图像清晰度的变化,在一个预设区间内调整聚焦电机的位置,保证了巡检过程中即使云台与变焦电机正在运动,视频画面也能保持在一个比较清晰的状态。
在一个实施例中,所述控制变焦电机停止运动且控制聚焦电机在第一区间[F1-B1,F1+B2]内,以(B1+B2)/k(k∈[4,8])为第一步长进行运动聚焦,包括:在当前跟踪曲线只有一条相邻变焦跟踪曲线的情况下,预设一个值Stepinit为初始步长;若当前跟踪曲线的远物距端没有相邻跟踪曲线,则将所述第一区间的最小值设置为F1-mStepinit;若当前跟踪曲线的近物距端没有相邻跟踪曲线,则将所述第一区间的最大值设置为F1+mStepinit;其中mStepinit为m倍初始步长。
在一个实施例中,在所述确定云台摄像机在不同物距下的多条变焦跟踪曲线,形成变焦跟踪曲线簇之后,所述方法还包括:将所述变焦跟踪曲线簇划分为第一变焦区和第二变焦区;其中,所述第一变焦区为不同物距下的变焦跟踪曲线呈线性且重合度高于预设值的区域,所述第二变焦区为不同物距下的变焦跟踪曲线之间有一定的距离且所述距离越来越大的区域。
在一个实施例中,所述根据所述云台摄像机的变焦电机和云台电机的运动状态,在所述变焦跟踪曲线簇中匹配一条变焦跟踪曲线,以根据所匹配的变焦跟踪曲线,使所述云台摄像机的聚焦电机运动具体包括:在所述云台摄像机的变焦电机和云台电机同时运动的情况下,若当前所述变焦电机的位置属于第一变焦区,则选取INF曲线为所述聚焦电机的跟踪曲线,所述INF曲线为物距为无穷远的变焦跟踪曲线;若当前所述变焦电机的步进值属于第二变焦区,则获取当前变焦电机位置Zoom1以及当前修正后的聚焦电机位置Focus1,在当前变焦电机位置为Zoom1时各变焦跟踪曲线上对应的聚焦电机的位置中,选取与Focus1相差最小的聚焦电机位置所在的曲线,作为所述聚焦电机的跟踪曲线;
在所述变焦电机运动时,若监测到视频当前帧图像清晰度比前一帧图像清晰度下降值大于第一预设阈值TH1,则停止变焦电机运动,并匹配与当前修正后的聚焦电机位置距离更小的变焦跟踪曲线作为新的跟踪曲线,匹配完成后恢复所述变焦电机的运动,所述聚焦电机跟随所述新的跟踪曲线进行运动聚焦。
由于在变焦电机靠近长焦端(TELE)的过程中,不同物距下的聚焦特性有较大的区别,如果一直跟随同一条跟踪曲线进行聚焦,很容易造成画面离焦模糊。本申请实施例通过将光学模组变焦跟踪曲线簇划分为第一变焦区和第二变焦区,并在不同的变焦区内使用不同的匹配跟踪曲线的方法,使得变焦电机运动到第二变焦区后,采用动态匹配变焦跟踪曲线的方法,选择一条最接近当前聚焦电机位置的变焦跟踪曲线进行跟随,解决了长焦端(TELE)画面离焦模糊严重的问题。
在一个实施例中,所述在所述变焦电机与所述云台电机都停止运动后,在预设聚焦区间内搜索图像清晰度最大时所述聚焦电机的位置,并控制所述聚焦电机运动到所述图像清晰度最大时所述聚焦电机的位置处,具体包括:所述变焦电机和云台电机都停止运动后,控制所述聚焦电机在第二区间[F2-C1,F2+C2]内,以kStepmin(k∈[4,8])为第二步长进行运动,其中,F2为当前聚焦电机的位置,C1、C2分别为F2与远物距端和近物距端相邻曲线在当前变焦电机位置时对应的纵坐标的差值,Stepmin为最小步长;在监测到图像清晰度值连续n(n∈(0,3])次下降或下降值大于第二预设阈值TH2或所述聚焦电机的位置达到所述第二区间的最大值或最小值时,控制所述聚焦电机反向运动,并缩小所述第二区间以及所述第二步长,其中所述第二步长的值不小于Stepmin。
在一个实施例中,所述当监测到图像清晰度值连续n(n∈(0,3])次下降或下降值大于第二预设阈值TH2或达到区间边界时,控制所述聚焦电机反向运动,并继续监测图像清晰度值之后,所述方法还包括:当所述聚焦电机第i(i∈[2,5])次触发反向运动后,对比当前清晰度值FVcur与所述聚焦电机运动过程中的最大图像清晰度值FVmax,若FVcur<FVmax,则将聚焦电机运动到FVmax所对应的位置处结束聚焦过程。
本申请实施例中在云台电机和变焦电机都停止运动后,意味着本次巡检结束,此时,由于动态修正聚焦电机的位置只是大致修正,并不是聚焦电机的最佳位置,因此,通过自适应爬山搜索聚焦方法,在聚焦近焦区精细搜索画面清晰度最大时的聚焦电机的位置,以达到清晰聚焦的目的。
在一个实施例中,所述确定云台摄像机在不同物距下的多条变焦跟踪曲线,形成变焦跟踪曲线簇,具体包括:以变焦电机位置为横坐标,聚焦电机位置为纵坐标,选取同一物距下云台摄像机清晰聚焦时,变焦电机位置与聚焦电机位置对应的若干坐标点;在第一变焦区根据所述若干坐标点通过分区段线性拟合的方式,拟合跟踪曲线,在第二变焦区根据所述若干坐标点通过三次样条插值函数拟合跟踪曲线;分别拟合出不同物距下的若干条跟踪曲线,形成变焦跟踪曲线簇。
在一个实施例中,所述实时监测所述云台摄像机拍摄的视频每一帧图像的清晰度,具体包括:将所述视频当前帧图像划分为若干个区块,根据每个区块的水平高频分量以及垂直高频分量确定图像各区块的清晰度值FVn;根据所述图像各区块的清晰度值FVn以及各区块的权重值得到所述当前视频图像的清晰度值FV。
另一方面,本申请实施例提供了一种基于云台摄像机的跟踪聚焦装置,所述装置包括:至少一个处理器、一个云台电机、一个图像传感器、一个变焦镜头;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:确定云台摄像机在不同物距下的多条变焦跟踪曲线,形成变焦跟踪曲线簇;根据所述云台摄像机的变焦电机和云台电机的运动状态,在所述变焦跟踪曲线簇中选择一条曲线,以根据所选择的曲线,使所述云台摄像机的聚焦电机运动;在所述聚焦电机运动过程中,实时监测所述云台摄像机拍摄的视频每一帧图像的清晰度,在当前帧图像清晰度比前一帧图像清晰度下降值大于第一阈值的情况下,动态修正所述聚焦电机的步进值;在所述变焦电机与所述云台电机都停止运动后,在预设聚焦区间内搜索所检测到的图像清晰度最大时所述聚焦电机的位置,并控制所述聚焦电机运动到所述图像清晰度最大时所述聚焦电机的位置处。
本申请实施例中,在变焦电机的位置处于第一变焦区范围内时,控制聚焦电机选取INF曲线进行跟随,并根据变焦电机和云台电机的运动状态,动态修正聚焦电机的位置;以及在变焦电机的位置处于第二变焦区范围内时,动态匹配变焦跟踪曲线,并根据变焦电机和云台电机的运动状态动态修正聚焦电机的步进值,最后使用自适应爬山搜索方法快速搜索到最佳聚焦位置。使云台摄像机在巡检过程中无论变焦电机和云台电机如何运动,聚焦电机都能保证在近焦区,使画面保持清晰,并在巡检结束后,将画面调至最清晰的状态,保证了云台摄像机时刻监测到清晰的输电线路场景,及时发现安全隐患,提升了线路巡检与检修的安全运行效率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例提供的光学镜头模组变焦跟踪曲线簇示意图;
图2为本申请实施例提供的一种基于云台摄像机的跟踪聚焦方法流程图;
图3为本申请实施例提供的一种基于云台摄像机的跟踪聚焦装置示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供了一种基于云台摄像机的跟踪聚焦方法及装置,下面通过附图对本申请实施例提出的技术方案进行详细的说明。
在云台摄像机中,光学镜头模组和云台是主要影响视频监控画面清晰度的关键部件。根据光学特性,光学镜头模组在不同物距下的变焦跟踪曲线具有一定的规律性。在广角端(WIDE),不同物距下的变焦跟踪曲线重合度很高,本申请实施例将这一区域划分为第一变焦区;在长焦端(TELE),不同物距下的变焦跟踪曲线之间的距离越来越远,呈现“喇叭花状”,本申请实施例将这一区域划分为第二变焦区。
图1为本申请实施例提供的光学镜头模组变焦跟踪曲线簇示意图。
如图1所示,本申请实施例通过获取同一物距下视频画面清晰时,以变焦电机位置为横坐标,聚焦电机位置为纵坐标的若干坐标点,然后在第一变焦区采用分区段线性拟合的方式将若干坐标点拟合成跟踪曲线,在第二变焦区采用三次样条插值函数将若干坐标点拟合成跟踪曲线,从而得到一条完整的变焦跟踪曲线f(Zoom),其中,Zoom为变焦电机的位置。用同样的方法获得其他物距下的若干条变焦跟踪曲线,从而获得最终的光学镜头模组变焦跟踪曲线簇,其中,图1所示坐标系的横纵坐标单位都为步(Step),变焦电机和聚焦电机的位置都可表现为步进值。
在一个实施例中,分别通过以上方法获取物距为2米、6米、10米、无穷远处的四条变焦跟踪曲线,如图1所示的INF曲线即为物距为无穷远处的曲线。
图2为本申请实施例提供的一种基于云台摄像机的跟踪聚焦方法流程图。本申请实施例通过云台摄像机的控制平台对云台摄像机进行控制。
S201,控制平台获取云台摄像机清晰聚焦时变焦电机的位置和聚焦电机的位置。
具体地,在云台摄像机运行过程中,控制平台会记录云台摄像机的三个电机:变焦电机、聚焦电机以及云台电机的初始位置以及运动步数、运动方向。根据变焦电机和聚焦电机的初始位置以及到目前为止的运动步数和运动方向,获取云台摄像机当前清晰聚焦时变焦电机的位置Zoom1和聚焦电机的位置Focus1。
S202,云台摄像机根据控制平台发送的巡检指令,判断变焦电机是否需要变焦,若需要变焦,执行S203,若不需要变焦,执行S222。
在一个实施例中,控制平台发送巡检指令到云台摄像机,其中,巡检指令中至少包含变焦电机需要运动的步数以及变焦电机的变焦方向。
S203,控制平台判断变焦电机的变焦方向,若变焦电机从长焦端(TELE)向广角端(WIDE)运动,则执行S204,若变焦电机从广角端(WIDE)向长焦端(TELE)运动,则执行S213。
S204、控制平台判断当前变焦电机的位置属于第一变焦区还是第二变焦区,若当前变焦电机的位置属于第一变焦区,则执行S205,若当前变焦电机的位置属于第二变焦区,则执行S211。
S205,控制平台为聚焦电机动态匹配变焦跟踪曲线。
具体地,当变焦电机位置属于第二变焦区时,云台在运动过程中,不同变焦位置聚焦特征具有较大的差异性,因此,需要动态调整聚焦电机的跟踪曲线以保持视频画面清晰。
首先,根据获取的云台摄像机当前清晰聚焦时变焦电机的位置Zoom1和聚焦电机的位置Focus1,计算每条变焦跟踪曲线上横坐标为Zoom1时对应的纵坐标fi(Zoom1),计算与Focus1差值最小的fi(Zoom1)所在的变焦跟踪曲线,并将这条变焦跟踪曲线设置为最佳跟踪曲线。
一个例子中,若云台摄像机当前清晰聚焦时变焦电机的位置为13752,即10X倍率处,聚焦电机的位置为6200,计算物距为2米的变焦跟踪曲线上的f1(13752)=6420,物距为6米的变焦跟踪曲线上的f2(13752)=6212,物距为10米的变焦跟踪曲线上的f3(13752)=6088,物距为无穷远的INF曲线上的f4(13752)=5892,计算可知与当前聚焦电机的位置6200差值最小的为f2(13752),由于(13752,f2(13752))为物距为6米的变焦跟踪曲线上的点,因此,将物距为6米的变焦跟踪曲线设置为最佳跟踪曲线。
S206,控制平台判断变焦电机是否进入第一变焦区。
具体地,当变焦电机初始位置位于第二变焦区,且从长焦端(TELE)向广角端(WIDE)的运动时,若变焦电机从第二变焦区进入了第一变焦区,则执行S211。若没有进入第一变焦区,执行S207。
S207,控制平台判断变焦电机的运动是否停止,若是则执行S222,若否则执行S208。
S208,控制平台判断云台是否在转动,若是则继续执行S205,若否则执行S209。
S209,由于此时云台不转动,而变焦电机运动,因此聚焦电机继续跟随当前选定的最佳跟踪曲线进行跟踪聚焦。
S210,控制平台判断变焦电机是否结束运动,若是则执行S224,若否则执行S209。
S211,变焦电机位于第一变焦区时,聚焦电机选取INF曲线进行跟随聚焦。
具体地,根据光学聚焦特性,在第一变焦区的跟踪曲线簇几乎是重合的,并且对于输电线路的检测场景多为远景,因此,在第一变焦区直接选取物距为无穷远的INF曲线作为聚焦电机的跟踪曲线进行变焦跟随。
S212,控制平台判断变焦电机是否结束运动,若否则执行S211,若是则执行S222。
S213,控制平台判断当前变焦电机的位置属于第一变焦区还是第二变焦区,若当前变焦电机的位置属于第一变焦区,则执行S214,若当前变焦电机的位置属于第二变焦区,则执行S217。
S214,变焦电机位于第一变焦区时,聚焦电机选取INF曲线进行跟随聚焦。
具体地,根据光学聚焦特性,在第一变焦区的跟踪曲线簇几乎是重合的,并且对于输电线路的检测场景多为远景,因此,在第一变焦区直接选取物距为无穷远的INF曲线作为聚焦电机的跟踪曲线进行变焦跟随。
S215,控制平台判断变焦电机是否进入第二变焦区。
具体地,当变焦电机初始位置位于第一变焦区且做从广角端(WIDE)向长焦端(TELE)的运动时,若变焦电机从第一变焦区进入了第二变焦区,则执行S217。若没有进入第二变焦区,执行S216。
S216,控制平台判断变焦电机是否结束运动,若否则执行S214,若是则执行S222。
S217,控制平台为聚焦电机动态匹配变焦跟踪曲线,具体步骤同S205。
S218,控制平台判断变焦电机是否结束运动,若否则执行S219,若是则执行S222。
S219,控制平台判断云台是否在转动,若是则继续执行S217,若否则执行S220。
S220,由于此时云台不转动,而变焦电机运动,因此聚焦电机继续跟随当前选定的最佳跟踪曲线进行跟踪聚焦。
S221,控制平台判断变焦电机是否结束运动,若是则执行S224,若否则执行S220。
S222,控制平台动态修正聚焦电机的位置。
具体地,动态修正聚焦电机的位置的方法包括图像清晰度监测模块以及快速搜索聚焦模块。
其中,图像清晰度监测模块负责实时监测云台摄像机所拍摄视频画面的图像清晰度的变化趋势,当视频图像当前帧的图像清晰度FVcur比前一帧的图像清晰度FVpre的下降值大于第一阈值TH1,即满足FVpre-FVcur>TH1时,停止变焦电机的变焦动作,且自动触发快速搜索聚焦模块。
一个例子中,云台摄像机拍摄的视频画面清晰度计算方法如下:
将视频中每一帧图像划分为15*17个区块,根据公式FVn=α*Hn+(1-α)*Vn获取各区块的清晰度值FVn,其中,n代表区块的标号,Hn、Vn分别代表该区块水平滤波器的统计值和垂直滤波器的统计值,α为水平滤波器的权重比例;然后根据得出整体图像的清晰度FV,其中,Weightn为各区块的权重值。
快速搜索聚焦模块用于修正聚焦电机的位置以使视频画面清晰。首先,获取当前时刻聚焦电机的位置F1,然后计算当前跟踪曲线与远物距端相邻跟踪曲线在当前时刻的聚焦电机位置的差值B1,以及当前跟踪曲线与近物距端相邻跟踪曲线在当前时刻的聚焦电机位置的差值B2,使聚焦电机在区间[F1-B1,F1+B2]内,以(B1+B2)/k(k∈[4,8])为步长进行运动聚焦,当满足|FVcur-FVpre|<TH1条件时,重新匹配与当前修正后的聚焦电机的位置距离最近的一条变焦跟踪曲线作为新的跟踪曲线,然后恢复变焦电机的变焦动作,聚焦电机跟随新的跟踪曲线进行运动聚焦。
在一个实施例中,在当前跟踪曲线为边界跟踪曲线时,首先预设一个值Stepinit为初始步长。若当前跟踪曲线的远物距端没有相邻跟踪曲线,则将B1设置为m倍初始步长mStepinit,B2保持不变,聚焦电机在当前区间内以Stepinit为步长进行运动。同理,若当前跟踪曲线的远物距端没有相邻跟踪曲线,则将B2设置为m倍初始步长mStepinit,B1保持不变,聚焦电机在当前区间内以Stepinit为步长进行运动。
S223,控制平台判断云台是否在转动,若是则继续执行S222,若否则执行S224。
S224,采用自适应爬山搜索聚焦技术搜索聚焦电机的最佳聚焦位置。
具体地,当变焦电机和云台电机都停止运动后,变焦镜头和云台处于静止状态,当前检测场景的物距也不再变化,因此,需要执行自适应爬坡搜索技术搜索聚焦电机的最佳清晰聚焦时的位置,并将聚焦电机运动到此处。
通常情况下,基于反差式自动聚焦的爬山搜索过程大致分为两个阶段:近焦区搜索和山顶搜索,近焦区搜索是指搜索图像可清晰聚焦的聚焦电机位置的大致区间。
在本申请实施例中,步骤S222中动态修正聚焦电机位置的过程已经保证了当前聚焦电机的位置位于近焦区,因此,步骤S224只需完成山顶搜索过程。山顶搜索是指在近焦区范围内搜索画面清晰度最高时聚焦电机的位置,山顶搜索的搜索区间不宜过大或过小,过大会导致清晰度收敛速度慢或离焦现象,过小会导致搜索不到最佳清晰位置点。
首先,变焦电机和云台电机都停止运动后,控制聚焦电机在搜索区间[F2-C1,F2+C2]内,以kStepmin(k∈[4,8])为搜索步长进行运动,其中,F2为当前修正后的聚焦电机的位置,C1、C2分别为F2与远物距端相邻跟踪曲线和近物距端相邻跟踪曲线在当前变焦电机位置处对应的纵坐标的差值,Stepmin为最小搜索步长,在一个实施例中,Stepmin可取值为一步。
在一个实施例中,在当前跟踪曲线为边界跟踪曲线时,首先预设一个值Stepinit为初始搜索步长。若当前跟踪曲线的远物距端没有相邻跟踪曲线,则将C1设置为m倍初始搜索步长mStepinit。同理,若当前跟踪曲线的远物距端没有相邻跟踪曲线,则将C2设置为m倍初始搜索步长mStepinit。
聚焦电机按照上述搜索步长在上述搜索区间内做步进运动,并实时监测视频画面清晰度以及对应的聚焦电机位置。在监测到图像清晰度连续n(n∈(0,3])次下降,或下降值大于第二预设阈值TH2,或聚焦电机的步进值达到搜索区间[F2-C1,F2+C2]的最大值或最小值时,触发聚焦电机的反向运动,每触发一次反向运动,按一定比例缩小一次搜索区间以及搜索步长,其中搜索步长的值不小于最小搜索步长Stepmin。
当聚焦电机第i(i∈[2,5])次触发反向运动后,在监测的视频画面清晰度中查找最大值FVmax,以及FVmax对应的聚焦电机的位置,对比当前帧图像清晰度值FVcur与FVmax,若FVcur<FVmax,则将聚焦电机运动到FVmax所对应的位置处结束聚焦过程,反之则立即结束聚焦过程,聚焦电机停在当前位置处。
在一个例子中,设n=2,i=4,Stepmin=1,k=8。假设变焦倍率为2X,聚焦电机的位置为3936,并以8步为初始搜索步长在搜索区间[3916,3942]内进行步进运动,此时若监测到图像清晰度值已经下降了两次,聚焦电机触发反向搜索,开始向反方向做步进运动。在触发了四次反向搜索时,计算当前帧图像清晰度值FVcur,并在搜索过程中记录的图像清晰度最大值FVmax及其对应的聚焦电机的位置,例如FVmax=470,对应的步进值为3932,FVcur=462,对应的聚焦电机的位置为3936,那么将聚焦电机从位置3936处移动到位置3932处停止聚焦。
图3为本申请实施例提供的一种基于云台摄像机的跟踪聚焦装置示意图,如图3所示,装置包括:
至少一个处理器310、一个云台电机322、一个图像传感器323、一个变焦镜头321;以及,与所述至少一个处理器310通信连接的存储器330;其中,所述存储器330存储有可被所述至少一个处理器310执行的指令,所述指令被所述至少一个处理器310执行,以使所述至少一个处理器310能够:
确定云台摄像机320在不同物距下的多条变焦跟踪曲线,形成变焦跟踪曲线簇;
根据云台摄像机320的变焦电机和云台电机322的运动状态,在所述变焦跟踪曲线簇中匹配一条变焦跟踪曲线,以根据所匹配的变焦跟踪曲线,使所述云台摄像机320的聚焦电机运动;在所述聚焦电机运动过程中,实时监测所述云台摄像机320拍摄的视频每一帧图像的清晰度,在当前帧图像清晰度比前一帧图像清晰度下降值大于第一阈值的情况下,动态修正所述聚焦电机的位置;
在变焦电机与云台电机322都停止运动后,在预设聚焦区间内搜索所检测到的图像清晰度最大时聚焦电机的位置,并控制聚焦电机运动到所述图像清晰度最大时所述聚焦电机的位置处。
变焦镜头321包括变焦电机和聚焦电机,变焦电机用于控制变焦镜片进行变倍,聚焦电机用于控制聚焦镜片运动以使视频画面清晰。图像传感器323用于采集图像数据。
以上所述仅是本申请的优选实施方式,并不用于限制本申请。应当指出,对于本领域的普通技术人员来说,本申请可以有各种更改和变化。凡在不脱离本申请原理的前提下所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (7)
1.一种基于云台摄像机的跟踪聚焦方法,其特征在于,所述方法包括:
确定云台摄像机在不同物距下的多条变焦跟踪曲线,形成变焦跟踪曲线簇;
根据所述云台摄像机的变焦电机和云台电机的运动状态,在所述变焦跟踪曲线簇中匹配一条变焦跟踪曲线,以根据所匹配的变焦跟踪曲线,使所述云台摄像机的聚焦电机运动;在所述聚焦电机运动过程中,实时监测所述云台摄像机拍摄的视频每一帧图像的清晰度,在当前帧图像清晰度比前一帧图像清晰度下降值大于第一阈值的情况下,动态修正所述聚焦电机的位置,具体包括:
在所述变焦电机以及云台电机在运动时,若监测到视频当前帧图像清晰度比前一帧图像清晰度下降值大于第一预设阈值TH1,则控制变焦电机停止运动且控制聚焦电机在第一区间[F1-B1,F1+B2]内,以(B1+B2)/k(k∈[4,8])为第一步长进行运动聚焦;其中,F1为当前聚焦电机的位置,B1、B2分别为当前跟踪曲线的相邻变焦跟踪曲线上当前变焦电机位置处所对应的聚焦电机的位置,与F1的差值;
当所述当前帧图像清晰度满足|FVcur-FVpre|<TH1后,所述变焦电机恢复变焦运动;其中,FVcur为当前帧图像清晰度,FVpre为前一帧图像清晰度;
在所述变焦电机与所述云台电机都停止运动后,在预设聚焦区间内搜索所检测到的图像清晰度最大时所述聚焦电机的位置,并控制所述聚焦电机运动到所述图像清晰度最大时所述聚焦电机的位置处,具体包括:
所述变焦电机和云台电机都停止运动后,控制所述聚焦电机在第二区间[F2-C1,F2+C2]内,以kStepmin(k∈[4,8])为第二步长进行运动,其中,F2为当前聚焦电机的位置,C1、C2分别为F2与远物距端和近物距端相邻曲线在当前变焦电机位置时对应的纵坐标的差值,Stepmin为最小步长;
在监测到图像清晰度值连续n(n∈(0,3])次下降或下降值大于第二预设阈值TH2或所述聚焦电机的位置达到所述第二区间的最大值或最小值时,控制所述聚焦电机反向运动,并缩小所述第二区间以及所述第二步长,其中所述第二步长的值不小于Stepmin;
当所述聚焦电机第i(i∈[2,5])次触发反向运动后,对比当前帧图像清晰度FVcur与所述聚焦电机运动过程中的最大图像清晰度FVmax,若FVcur<FVmax,则将聚焦电机运动到FVmax所对应的位置处结束聚焦过程。
2.根据权利要求1所述的一种基于云台摄像机的跟踪聚焦方法,其特征在于,所述控制变焦电机停止运动且控制聚焦电机在第一区间[F1-B1,F1+B2]内,以(B1+B2)/k(k∈[4,8])为第一步长进行运动聚焦,包括:
在当前跟踪曲线只有一条相邻变焦跟踪曲线的情况下,预设一个值Stepinit为初始步长;
若当前跟踪曲线的远物距端没有相邻跟踪曲线,则将所述第一区间的最小值设置为F1-mStepinit;若当前跟踪曲线的近物距端没有相邻跟踪曲线,则将所述第一区间的最大值设置为F1+mStepinit;其中mStepinit为m倍初始步长。
3.根据权利要求1所述的一种基于云台摄像机的跟踪聚焦方法,其特征在于,在所述确定云台摄像机在不同物距下的多条变焦跟踪曲线,形成变焦跟踪曲线簇之后,所述方法还包括:
将所述变焦跟踪曲线簇划分为第一变焦区和第二变焦区;其中,所述第一变焦区为不同物距下的变焦跟踪曲线呈线性且重合度高的区域,所述第二变焦区为不同物距下的变焦跟踪曲线之间有一定的距离且所述距离越来越大的区域。
4.根据权利要求3所述的一种基于云台摄像机的跟踪聚焦方法,其特征在于,所述根据所述云台摄像机的变焦电机和云台电机的运动状态,在所述变焦跟踪曲线簇中匹配一条变焦跟踪曲线,以根据所匹配的变焦跟踪曲线,使所述云台摄像机的聚焦电机运动,具体包括:
在所述云台摄像机的变焦电机和云台电机同时运动的情况下,若当前所述变焦电机的位置属于第一变焦区,则选取INF曲线为所述聚焦电机的跟踪曲线,所述INF曲线为物距为无穷远的变焦跟踪曲线;
若当前所述变焦电机的位置属于第二变焦区,则获取当前变焦电机位置Zoom1以及当前修正后的聚焦电机位置Focus1,在当前变焦电机位置为Zoom1时各变焦跟踪曲线上对应的聚焦电机位置中,选取与Focus1相差最小的聚焦电机位置所在的曲线,作为所述聚焦电机的跟踪曲线;
在所述变焦电机运动时,若监测到视频当前帧图像清晰度比前一帧图像清晰度下降值大于第一预设阈值TH1,则停止变焦电机运动,并匹配与当前修正后的聚焦电机位置距离更小的变焦跟踪曲线作为新的跟踪曲线,匹配完成后恢复所述变焦电机的运动,所述聚焦电机跟随所述新的跟踪曲线进行运动聚焦。
5.根据权利要求3所述的一种基于云台摄像机的跟踪聚焦方法,其特征在于,所述确定云台摄像机在不同物距下的多条变焦跟踪曲线,形成变焦跟踪曲线簇,具体包括:
以变焦电机位置为横坐标,聚焦电机位置为纵坐标,选取同一物距下云台摄像机清晰聚焦时,变焦电机位置与聚焦电机位置对应的若干坐标点;在第一变焦区根据所述若干坐标点通过分区段线性拟合的方式,拟合跟踪曲线,在第二变焦区根据所述若干坐标点通过三次样条插值函数拟合跟踪曲线;
分别拟合出不同物距下的若干条跟踪曲线,形成变焦跟踪曲线簇。
6.根据权利要求1所述的一种基于云台摄像机的跟踪聚焦方法,其特征在于,所述实时监测所述云台摄像机拍摄的视频每一帧图像的清晰度,具体包括:
将所述视频的每一帧图像划分为若干个区块,根据每个区块的水平高频分量以及垂直高频分量确定所述每一帧图像各区块的清晰度值FVn;
根据所述每一帧图像各区块的清晰度值FVn以及各区块的权重值得到每一帧图像的清晰度值FV。
7.一种基于云台摄像机的跟踪聚焦装置,其特征在于,包括:
至少一个处理器、一个云台电机、一个图像传感器、一个变焦镜头;以及,与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
确定云台摄像机在不同物距下的多条变焦跟踪曲线,形成变焦跟踪曲线簇;
根据所述云台摄像机的变焦电机和云台电机的运动状态,在所述变焦跟踪曲线簇中选择一条曲线,以根据所选择的曲线,使所述云台摄像机的聚焦电机运动;在所述聚焦电机运动过程中,实时监测所述云台摄像机拍摄的视频每一帧图像的清晰度,在当前帧图像清晰度比前一帧图像清晰度下降值大于第一阈值的情况下,动态修正所述聚焦电机的位置,具体包括:
在所述变焦电机以及云台电机在运动时,若监测到当前帧图像清晰度比前一帧图像清晰度下降值大于第一预设阈值TH1,则控制变焦电机停止运动且控制聚焦电机在第一区间[F1-B1,F1+B2]内,以(B1+B2)/k(k∈[4,8])为第一步长进行运动聚焦;其中,F1为当前聚焦电机的位置,B1、B2分别为当前跟踪曲线的相邻变焦跟踪曲线上当前变焦电机位置处所对应的聚焦电机的位置,与F1的差值;
当所述当前帧图像清晰度满足|FVcur-FVpre|<TH1后,所述变焦电机恢复变焦运动;其中,FVcur为所述当前帧图像清晰度,FVpre为所述前一帧图像清晰度;
在所述变焦电机与所述云台电机都停止运动后,在预设聚焦区间内搜索所检测到的图像清晰度最大时所述聚焦电机的位置,并控制所述聚焦电机运动到所述图像清晰度最大时所述聚焦电机的位置处,具体包括:
所述变焦电机和云台电机都停止运动后,控制所述聚焦电机在第二区间[F2-C1,F2+C2]内,以kStepmin(k∈[4,8])为第二步长进行运动,其中,F2为当前聚焦电机的位置,C1、C2分别为F2与远物距端和近物距端相邻曲线在当前变焦电机位置时对应的纵坐标的差值,Stepmin为最小步长;
在监测到图像清晰度值连续n(n∈(0,3])次下降或下降值大于第二预设阈值TH2或所述聚焦电机的位置达到所述第二区间的最大值或最小值时,控制所述聚焦电机反向运动,并缩小所述第二区间以及所述第二步长,其中所述第二步长的值不小于Stepmin;
当所述聚焦电机第i(i∈[2,5])次触发反向运动后,对比当前帧图像清晰度FVcur与所述聚焦电机运动过程中的最大图像清晰度值FVmax,若FVcur<FVmax,则将聚焦电机运动到FVmax所对应的位置处结束聚焦过程。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011249431.3A CN112601006B (zh) | 2020-11-10 | 2020-11-10 | 一种基于云台摄像机的跟踪聚焦方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011249431.3A CN112601006B (zh) | 2020-11-10 | 2020-11-10 | 一种基于云台摄像机的跟踪聚焦方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112601006A CN112601006A (zh) | 2021-04-02 |
CN112601006B true CN112601006B (zh) | 2022-06-10 |
Family
ID=75183441
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011249431.3A Active CN112601006B (zh) | 2020-11-10 | 2020-11-10 | 一种基于云台摄像机的跟踪聚焦方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112601006B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114030994A (zh) * | 2021-11-01 | 2022-02-11 | 珠海华发人居生活研究院有限公司 | 一种基于激光测距及视频分析的塔吊智能控制系统 |
CN114268738A (zh) * | 2021-12-22 | 2022-04-01 | 福建星网智慧软件有限公司 | 一种变焦跟踪方法和存储设备 |
CN114401363B (zh) * | 2021-12-31 | 2024-02-27 | 山东信通电子股份有限公司 | 一种输电线路监拍设备的控制方法及设备 |
CN114900606B (zh) * | 2022-03-31 | 2024-01-05 | 浙江华创视讯科技有限公司 | 变焦跟踪曲线的校准方法、装置、电子装置和存储介质 |
CN115209051B (zh) * | 2022-07-08 | 2024-02-13 | 杭州海康威视数字技术股份有限公司 | 变焦摄像机的聚焦方法及装置 |
CN115720293B (zh) * | 2022-11-17 | 2024-03-19 | 南方电网电力科技股份有限公司 | 一种摄像机聚焦控制方法及系统 |
CN117579814B (zh) * | 2024-01-16 | 2024-03-22 | 苏州宣雄智能科技有限公司 | 基于对焦检测的镜头快速检测方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102707545A (zh) * | 2012-06-21 | 2012-10-03 | 武汉烽火众智数字技术有限责任公司 | 一种基于dff的自动对焦方法 |
CN103929588A (zh) * | 2014-03-21 | 2014-07-16 | 金三立视频科技(深圳)有限公司 | 摄像机变倍快速自动聚焦方法及系统 |
CN104079832A (zh) * | 2014-06-30 | 2014-10-01 | 苏州科达科技股份有限公司 | 一种一体化摄像机自动跟踪聚焦方法及系统 |
CN104836954A (zh) * | 2015-04-23 | 2015-08-12 | 金三立视频科技(深圳)有限公司 | 变焦跟踪方法及其装置 |
CN105227835A (zh) * | 2015-09-11 | 2016-01-06 | 浙江宇视科技有限公司 | 一种辅助聚焦方法和装置 |
US10257405B2 (en) * | 2015-12-11 | 2019-04-09 | Nanning Fugui Precision Industrial Co., Ltd. | Automatic focusing method and automatic focusing system |
CN110045562A (zh) * | 2019-04-18 | 2019-07-23 | 重庆紫光华山智安科技有限公司 | 变焦过程中同步对焦方法、装置、存储介质及电子终端 |
-
2020
- 2020-11-10 CN CN202011249431.3A patent/CN112601006B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102707545A (zh) * | 2012-06-21 | 2012-10-03 | 武汉烽火众智数字技术有限责任公司 | 一种基于dff的自动对焦方法 |
CN103929588A (zh) * | 2014-03-21 | 2014-07-16 | 金三立视频科技(深圳)有限公司 | 摄像机变倍快速自动聚焦方法及系统 |
CN104079832A (zh) * | 2014-06-30 | 2014-10-01 | 苏州科达科技股份有限公司 | 一种一体化摄像机自动跟踪聚焦方法及系统 |
CN104836954A (zh) * | 2015-04-23 | 2015-08-12 | 金三立视频科技(深圳)有限公司 | 变焦跟踪方法及其装置 |
CN105227835A (zh) * | 2015-09-11 | 2016-01-06 | 浙江宇视科技有限公司 | 一种辅助聚焦方法和装置 |
US10257405B2 (en) * | 2015-12-11 | 2019-04-09 | Nanning Fugui Precision Industrial Co., Ltd. | Automatic focusing method and automatic focusing system |
CN110045562A (zh) * | 2019-04-18 | 2019-07-23 | 重庆紫光华山智安科技有限公司 | 变焦过程中同步对焦方法、装置、存储介质及电子终端 |
Also Published As
Publication number | Publication date |
---|---|
CN112601006A (zh) | 2021-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112601006B (zh) | 一种基于云台摄像机的跟踪聚焦方法及装置 | |
CN109104561B (zh) | 用于追踪场景中的移动对象的系统及方法 | |
CN105338248B (zh) | 智能多目标主动跟踪监控方法及系统 | |
US9661232B2 (en) | Apparatus and method providing auto zoom in response to relative movement of target subject matter | |
US6819778B2 (en) | Method and system for tracking a fast moving object | |
CN103986876B (zh) | 一种图像获取终端和图像获取方法 | |
CN108337429B (zh) | 图像处理设备和图像处理方法 | |
CN105744163A (zh) | 一种基于深度信息跟踪对焦的摄像机及摄像方法 | |
US11159711B2 (en) | Image-capturing apparatus | |
US9426352B2 (en) | Imaging apparatus, imaging method, and focus control apparatus | |
CN105323552A (zh) | 一种全景视频播放方法及系统 | |
EP2774353A1 (en) | Eye gaze based image capture | |
CN105527778A (zh) | 电动可调焦液体镜头的自动对焦方法 | |
JP2008219467A (ja) | 自動追尾装置及び自動追尾方法 | |
CN102231798A (zh) | 一种控制云台摄像机自动变倍的方法及系统 | |
EP3806446B1 (en) | Variable magnification method and camera | |
JP2017046321A (ja) | 撮像装置を制御する制御装置、撮像装置の制御方法、及びプログラム | |
CN103856717A (zh) | 一种摄像机对焦控制方法及装置 | |
CN103945133A (zh) | 一种可见光镜头的自动聚焦装置及方法 | |
WO2022057800A1 (zh) | 云台摄像机、云台摄像机的追踪控制方法、装置及设备 | |
CN114460791A (zh) | 调焦方法、装置、电子设备及存储介质 | |
WO2017101292A1 (zh) | 自动对焦的方法、装置和系统 | |
US20240129635A1 (en) | Focusing apparatus and method | |
CN108347577B (zh) | 一种成像系统和方法 | |
CN112601044A (zh) | 一种会议场景画面自适应方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |