CN107016367B - 一种跟踪控制方法及跟踪控制系统 - Google Patents
一种跟踪控制方法及跟踪控制系统 Download PDFInfo
- Publication number
- CN107016367B CN107016367B CN201710221366.5A CN201710221366A CN107016367B CN 107016367 B CN107016367 B CN 107016367B CN 201710221366 A CN201710221366 A CN 201710221366A CN 107016367 B CN107016367 B CN 107016367B
- Authority
- CN
- China
- Prior art keywords
- target
- tracked
- tracking
- video frame
- frame image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Abstract
本发明公开了一种跟踪控制方法及跟踪控制系统,将当前视频帧图像中与跟踪目标的特征信息匹配度最高的目标作为待跟踪目标,通过实时计算待跟踪目标的中心位置相对于当前视频帧图像的中心位置的位置偏差,以及待跟踪目标的区域面积在当前视频帧图像所占面积的比例变化率,并对位置偏差和比例变化率采用PID控制算法,实现对球形摄像机的旋转角度和聚焦的精确控制,从而保证了待跟踪目标始终以固定大小处于球形摄像机的视野中间,增强了对待跟踪目标的跟踪性能。
Description
技术领域
本发明涉及智能视频监控技术领域,更具体的说,涉及一种跟踪控制方法及跟踪控制系统。
背景技术
传统的视频监控系统往往需要监控人员长时间的人工观测,然后由监控人员根据自己的主观意识对监控视频中的异常事件进行干预。由于监控人员不可能长时间处于高度集中的状态,因此导致该种视频监控系统的使用范围受到限制。
随着经济的发展,视频监控系统的使用不断增加,传统的视频监控系统已无法满足需求,在这种背景下,跟踪控制系统应运而生。跟踪控制系统一般采用球形摄像机实现监控任务,具有监控视野广阔、多重聚焦等优势,与此同时,视频监控系统集成了很多人工智能算法,不仅可以实现公共场所智能化管理,而且还可以降低监控人员的劳动强度,有效减少监控系统的运营成本。
然而,现有的跟踪控制系统对跟踪目标的大尺度变化(如跟踪目标为某一车辆,那么车辆在驶向和驶离球形摄像机的过程中,车辆于球形摄像机之间的距离会发生大尺度变化)以及背景杂波的鲁棒性不强,导致对球形摄像机的控制精度不高。
发明内容
有鉴于此,本发明公开一种跟踪控制方法及跟踪控制系统,以实现对球形摄像机的旋转角度和聚焦的精确控制,增强对待跟踪目标的跟踪性能,保证待跟踪目标始终以固定大小处于球形摄像机的视野中间。
一种跟踪控制方法,包括:
获取跟踪目标的特征信息;
从球形摄像机采集的当前视频帧图像中,筛选出与所述特征信息的匹配度最高的目标,并将所述匹配度最高的目标作为待跟踪目标;
记录所述待跟踪目标的位置信息和区域大小信息;
根据所述位置信息,计算所述待跟踪目标的中心位置相对于所述当前视频帧图像的中心位置的位置偏差;
根据所述区域大小信息,计算所述待跟踪目标的区域面积在所述当前视频帧图像中所占的面积比例,并将所述面积比例除以预设比例参数,得到所述待跟踪目标在所述当前视频帧图像所占面积的比例变化率,其中,所述预设比例参数为所述待跟踪目标的预设固定面积在视频帧图像中所占的面积比例;
对所述位置偏差和所述比例变化率采用PID控制算法,计算得到控制所述球形摄像机的最优速度参数,所述最优速度参数用于保证所述待跟踪目标始终以固定大小处于所述球形摄像机的视野中间,包括:最优旋转角度和最优聚焦;
将所述最优速度参数除以跟踪时间间隔,得到所述球形摄像机的速度数值;
从预存储的速度量化查找表中,查找所述速度数值相对应的所述球形摄像机的速度等级参数,所述速度等级参数包括:水平转动速度等级、垂直转动速度等级以及镜头变倍速度等级;
利用所述水平转动速度等级和所述垂直转动速度等级控制所述球形摄像机的旋转角度,并利用所述镜头变倍速度等级控制所述球形摄像机的聚焦,实现对所述待跟踪目标的跟踪。
优选的,所述根据所述位置信息,计算所述待跟踪目标的中心位置相对于所述当前视频帧图像的中心位置的位置偏差具体包括:
利用公式(1),根据所述位置信息,计算所述待跟踪目标的中心位置相对于所述当前视频帧图像的中心位置的位置偏差,公式具体如下:
式中,(x1(t),y1(t))为所述待跟踪目标的中心位置在所述当前视频帧图像中的坐标,(x0,y0)为所述当前视频帧图像的中心位置坐标,e(t)为所述位置偏差,t为对所述待跟踪目标的采集时刻。
优选的,所述对所述位置偏差和所述比例变化率采用PID控制算法,计算得到控制所述球形摄像机的最优速度参数具体包括:
根据公式(2),对所述位置偏差采用PID算法,计算得到所述球形摄像机的最优旋转角度u(t),公式(2)具体如下:
式中,KP为比例放大系数,TI为积分系数,TD为微分系数,t为摄像时间,e(t)为所述待跟踪目标的中心位置相对于所述当前视频帧图像的中心位置的位置偏差;
根据公式(3),对比例变化率采用PID控制算法,计算得到所述球形摄像机的最优聚焦u′(t),公式(3)具体如下:
式中,KP为比例放大系数,TI为积分系数,TD为微分系数,t为摄像时间,e′(t)为所述比例变化率。
优选的,所述获取跟踪目标的特征信息的过程包括:
判断所述球形摄像机是否预先设置有跟踪任务;
若所述球形摄像机预先设置有跟踪任务,则从所述跟踪任务中获取所述跟踪目标的特征信息;
若所述球形摄像机预先没有设置有跟踪任务,则从所述球形摄像机采集的视频流信息中,获取视频帧图像;
从所述视频帧图像中确定跟踪目标;
利用跟踪算法,从确定的跟踪目标中获取所述跟踪目标的特征信息。
优选的,所述特征信息包括角点信息。
一种跟踪控制系统,包括:
获取单元,用于获取跟踪目标的特征信息;
筛选单元,用于从球形摄像机采集的当前视频帧图像中,筛选出与所述特征信息的匹配度最高的目标,并将所述匹配度最高的目标作为待跟踪目标;
记录单元,用于记录所述待跟踪目标的位置信息和区域大小信息;
第一计算单元,用于根据所述位置信息,计算所述待跟踪目标的中心位置相对于所述当前视频帧图像的中心位置的位置偏差;
第二计算单元,用于根据所述区域大小信息,计算所述待跟踪目标的区域面积在所述当前视频帧图像中所占的面积比例,并将所述面积比例除以预设比例参数,得到所述待跟踪目标在所述当前视频帧图像所占面积的比例变化率,其中,所述预设比例参数为所述待跟踪目标的预设固定面积在视频帧图像中所占的面积比例;
第三计算单元,用于对所述位置偏差和所述比例变化率采用PID控制算法,计算得到控制所述球形摄像机的最优速度参数,所述最优速度参数用于保证所述待跟踪目标始终以固定大小处于所述球形摄像机的视野中间,包括:最优旋转角度和最优聚焦;
获取单元,用于将所述最优速度参数除以跟踪时间间隔,得到所述球形摄像机的速度数值;
查找单元,用于从预存储的速度量化查找表中,查找所述速度数值相对应的所述球形摄像机的速度等级参数,所述速度等级参数包括:水平转动速度等级、垂直转动速度等级以及镜头变倍速度等级;
控制单元,用于利用所述水平转动速度等级和所述垂直转动速度等级控制所述球形摄像机的旋转角度,并利用所述镜头变倍速度等级控制所述球形摄像机的聚焦,实现对所述待跟踪目标的跟踪。
优选的,所述第一计算单元具体包括:
利用公式(1),根据所述位置信息,计算所述待跟踪目标的中心位置相对于所述当前视频帧图像的中心位置的位置偏差,公式具体如下:
式中,(x1(t),y1(t))为所述待跟踪目标的中心位置在所述当前视频帧图像中的坐标,(x0,y0)为所述当前视频帧图像的中心位置坐标,e(t)为所述位置偏差,t为对所述待跟踪目标的采集时刻。
优选的,所述第三计算单元包括:
第一计算子单元,用于根据公式(2),对所述位置偏差采用PID算法,计算得到所述球形摄像机的最优旋转角度u(t),公式(2)具体如下:
式中,KP为比例放大系数,TI为积分系数,TD为微分系数,t为摄像时间,e(t)为所述待跟踪目标的中心位置相对于所述当前视频帧图像的中心位置的位置偏差;
第二计算子单元,用于根据公式(3),对比例变化率采用PID控制算法,计算得到所述球形摄像机的最优聚焦u′(t),公式(3)具体如下:
式中,KP为比例放大系数,TI为积分系数,TD为微分系数,t为摄像时间,e′(t)为所述比例变化率。
优选的,所述获取单元包括:
判断子单元,用于判断所述球形摄像机是否预先设置有跟踪任务;
第一获取子单元,用于在所述判断子单元判断为是的情况下,从所述跟踪任务中获取所述跟踪目标的特征信息;
第二获取子单元,用于在所述判断子单元判断为否的情况下,从所述球形摄像机采集的视频流信息中,获取视频帧图像;
确定子单元,用于从所述视频帧图像中确定跟踪目标;
第三获取子单元,用于利用跟踪算法,从确定的跟踪目标中获取所述跟踪目标的特征信息。
优选的,所述特征信息包括角点信息。
从上述的技术方案可知,本发明公开了一种跟踪控制方法及跟踪控制系统,将当前视频帧图像中与跟踪目标的特征信息匹配度最高的目标作为待跟踪目标,实时计算待跟踪目标的中心位置相对于当前视频帧图像的中心位置的位置偏差,以及待跟踪目标的区域面积在当前视频帧图像中所占的面积比例,并将该面积比例除以预设比例参数,得到待跟踪目标在当前视频帧图像所占面积的比例变化率,通过对位置偏差和比例变化率采用PID控制算法,得到控制球形摄像机以保证待跟踪目标始终以固定大小处于球形摄像机的视野中间的最优速度参数,根据最优速度参数确定球形摄像机的速度等级参数,从而得到用于控制球形摄像机旋转角度的水平转动速度等级和垂直转动速度等级,以及控制球形摄像机聚焦的镜头变倍速度等级。本发明通过实时计算待跟踪目标的中心位置相对于当前视频帧图像的中心位置的位置偏差,以及待跟踪目标的区域面积在当前视频帧图像所占面积的比例变化率,并对位置偏差和比例变化率采用PID控制算法,实现对球形摄像机的旋转角度和聚焦的精确控制,从而保证了待跟踪目标始终以固定大小处于球形摄像机的视野中间,增强了对待跟踪目标的跟踪性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据公开的附图获得其他的附图。
图1为本发明实施例公开的一种跟踪控制方法的方法流程图;
图2为本发明实施例公开的一种获取跟踪目标的特征信息的方法流程图;
图3为本发明实施例公开的一种跟踪控制系统的结构示意图;
图4为本发明实施例公开的一种获取单元的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例公开了一种跟踪控制方法及跟踪控制系统,以实现对球形摄像机的旋转角度和聚焦的精确控制,增强对待跟踪目标的跟踪性能,保证待跟踪目标始终以固定大小处于球形摄像机的视野中间。
参见图1,本发明实施例公开的一种跟踪控制方法的方法流程图,该方法包括步骤:
步骤S101、获取跟踪目标的特征信息;
需要说明的是,本发明中的跟踪目标主要针对的是高速目标,如高速上行驶的车辆,当然,也适用于低速目标,如行人。
跟踪目标的特征信息指的是跟踪目标的角点信息。
步骤S102、从球形摄像机采集的当前视频帧图像中,筛选出与所述特征信息的匹配度最高的目标,并将所述匹配度最高的目标作为待跟踪目标;
具体的,本发明利用球形摄像机采集视频帧图像。球形摄像机可以进行旋转(包括水平旋转和垂直旋转)和聚焦控制,由于球形摄像机的旋转和聚焦控制分为多个速度档位,因此,可以根据不同情况选用不同的速度档位,实现对跟踪目标的实时跟踪。
从当前视频帧图像中,筛选与特征信息的匹配度最高的目标的实现方案为:可以从当前视频帧图像中,初步筛选出多个与特征信息匹配度高于预设值(如40%)的目标,然后将筛选出的多个目标中,将与特征信息匹配度最高的目标作为待跟踪目标。
步骤S103、记录所述待跟踪目标的位置信息和区域大小信息;
具体的,因为待跟踪目标在不同时刻的视频帧图像中大小不一,因此,为方便确定待跟踪目标的位置信息,可以将待跟踪目标的中心位置在视频帧图像中的坐标位置,作为待跟踪目标的位置信息。
待跟踪目标的区域大小信息指的是:待跟踪目标在视频帧图像中的区域面积。
步骤S104、根据所述位置信息,计算所述待跟踪目标的中心位置相对于所述当前视频帧图像的中心位置的位置偏差;
可以理解的是,同一球形摄像机采集的各个时刻的视频帧图像大小相同,因此,待跟踪目标的中心位置相对于当前视频帧图像的中心位置的位置偏差,也即待跟踪目标的中心位置相对于视频帧图像的中心位置的位置偏差。
步骤S105、根据所述区域大小信息,得到所述待跟踪目标在所述当前视频帧图像所占面积的比例变化率;
具体的,根据所述区域大小信息,计算所述待跟踪目标的区域面积在所述当前视频帧图像中所占的面积比例,并将所述面积比例除以预设比例参数,得到所述待跟踪目标在所述当前视频帧图像所占面积的比例变化率。
其中,预设比例参数为:待跟踪目标的预设固定面积在视频帧图像中所占的面积比例。
本发明的发明人经过研究发现,当待跟踪目标始终以固定大小处于球形摄像机的视野中间时,比如,待跟踪目标始终占视频帧图像的三分之一,有利于对待跟踪目标的实时跟踪。本步骤中,将跟踪目标在视频帧图像中所占的固定比例,定义为预设比例参数,在获取到待跟踪目标的实际区域面积后,将该实际区域面积除以当前视频帧图像的总面积,可得到待跟踪目标在当前视频帧图像所占的面积比例,通过将该面积比例除以预设比例参数,即可得到待跟踪目标在当前视频帧图像所占面积的比例变化率,从而为后续对待跟踪目标进行控制提供依据。
其中,步骤S104和步骤S105在实际执行过程中的执行顺序,包括但不局限于图1所示的实施例,也可以先执行步骤S105,后执行步骤S104,或是两个步骤同时执行。
步骤S106、对所述位置偏差和所述比例变化量采用PID控制算法,计算得到控制所述球形摄像机的最优速度参数;
其中,所述最优速度参数用于保证所述待跟踪目标始终以固定大小处于所述球形摄像机的视野中间,最优速度参数包括:最优旋转角度和最优聚焦。
PID控制是根据跟踪目标的相对位置误差,利用比例、积分和微分原理,计算出控制量,实现对球形摄像机的最优控制。PID的控制标准公式如下所示:
其中,KP是比例放大系数,TI是积分系数,TD是微分系数,e(t)和e(τ)表示控制模块的输入,u(t)表示控制模块的输出。
步骤S107、将所述最优速度参数除以跟踪时间间隔,得到所述球形摄像机的速度数值;
具体的,假设每一次跟踪时间间隔为△t,则将最优速度参数除以跟踪时间间隔△t,可以得到球形摄像机的一个具体速度数值。
步骤S108、从预存储的速度量化查找表中,查找所述速度数值相对应的所述球形摄像机的速度等级参数,所述速度等级参数包括:水平转动速度等级、垂直转动速度等级以及镜头变倍速度等级;
具体的,球形摄像机的速度等级一般可细分为0-255,本实施例中,球形摄像机包含的速度等级具体依据该球形摄像机的型号而定。
通过对球形摄像机的运动速度性能做大量实验,可以得到包含该球形摄像机各速度等级参数的速度量化查找表,这样,通过将计算得到的速度数值与各速度等级参数进行匹配,即可查找到该速度数值相对应的速度等级参数。
步骤S109、利用所述水平转动速度等级和所述垂直转动速度等级控制所述球形摄像机的旋转角度,并利用所述镜头变倍速度等级控制所述球形摄像机的聚焦,实现对所述待跟踪目标的跟踪。
综上可知,本发明公开的跟踪控制方法,将当前视频帧图像中与跟踪目标的特征信息匹配度最高的目标作为待跟踪目标,实时计算待跟踪目标的中心位置相对于当前视频帧图像的中心位置的位置偏差,以及待跟踪目标的区域面积在当前视频帧图像中所占的面积比例,并将该面积比例除以预设比例参数,得到待跟踪目标在当前视频帧图像所占面积的比例变化率,通过对位置偏差和比例变化率采用PID控制算法,得到控制球形摄像机以保证待跟踪目标始终以固定大小处于球形摄像机的视野中间的最优速度参数,根据最优速度参数确定球形摄像机的速度等级参数,从而得到用于控制球形摄像机旋转角度的水平转动速度等级和垂直转动速度等级,以及控制球形摄像机聚焦的镜头变倍速度等级。本发明通过实时计算待跟踪目标的中心位置相对于当前视频帧图像的中心位置的位置偏差,以及待跟踪目标的区域面积在当前视频帧图像所占面积的比例变化率,并对位置偏差和比例变化率采用PID控制算法,实现对球形摄像机的旋转角度和聚焦的精确控制,从而保证了待跟踪目标始终以固定大小处于球形摄像机的视野中间,增强了对待跟踪目标的跟踪性能。
需要说明的是,上述实施例中,跟踪目标的特征信息可以根据监控人员认为框定的目标确定,也可以根据预先设定的跟踪任务确定。
如图2所示,本发明实施例公开的一种获取跟踪目标的特征信息的方法流程图,该方法包括步骤:
步骤S201、判断球形摄像机是否预先设置有跟踪任务,如果是,则执行步骤S202,否则,执行步骤S203;
步骤S202、从所述跟踪任务中获取所述跟踪目标的特征信息;
本实施例中,跟踪目标的特征信息指的是跟踪目标的角点信息。
步骤S203、从球形摄像机采集的视频流信息中,获取视频帧图像;
步骤S204、从所述视频帧图像中确定跟踪目标;
具体的,可以由监控人员从视频帧图像中人为框定跟踪目标,或是采用传统的背景建模方法或者构造对应的目标检测器,从视频帧图像中检测出符合要求(也即感兴趣的)的跟踪目标。
步骤S205、利用跟踪算法,从确定的跟踪目标中获取所述跟踪目标的特征信息。
具体的,将确定跟踪目标的视频帧作为初始帧,将当前采用跟踪算法的视频帧作为当前帧,将位于当前帧前面的一帧作为前一帧;
对当前视频帧进行特征检测,提取当前帧的角点特征,将当前帧的角点特征和初始帧的角点特征进行一一配对,并保存配对结果;采用光流算法跟踪前一帧的特征点,并获得前一帧的跟踪结果;将配对结果和跟踪结果进行融合得到跟踪目标的特征信息。
需要说明的是,当得到跟踪目标的特征信息后,通过对该特征信息按照预设算法即可得到当前跟踪目标的旋转参数和尺度参数,最后采用投票方式选择当前帧的有效特征点,对该有效特征点采用聚类算法得到跟踪目标的在图像中的具体坐标。
其中,当跟踪目标为车辆时,对车辆的特征的选取采用Harris角点检测,公式如下:
式中,E为角点响应强度,I(x,y)为车牌图像(x,y)像素点的像素灰度值,(u,v)为偏移向量。
上述实施例中,待跟踪目标的中心位置相对于当前视频帧图像的中心位置的位置偏差,可以采用传统的欧氏距离度量公式。
因此,上述实施例中的步骤S104具体包括:
利用公式(1),根据所述位置信息,计算所述待跟踪目标的中心位置相对于所述当前视频帧图像的中心位置的位置偏差,公式具体如下:
式中,(x1(t),y1(t))为所述待跟踪目标的中心位置在所述当前视频帧图像中的坐标,(x0,y0)为所述当前视频帧图像的中心位置坐标,e(t)为所述位置偏差,t为对所述待跟踪目标的采集时刻。
需要说明的是,上述实施例中,需要分别针对位置偏差和比例变化量采用PID算法,才能得到控制球形摄像机的最优速度参数。
因此,为进一步优化上述实施例,步骤S106具体包括:
根据公式(2),对所述位置偏差采用PID算法,计算得到所述球形摄像机的最优旋转角度u(t),公式(2)具体如下:
式中,KP为比例放大系数,TI为积分系数,TD为微分系数,t为摄像时间,e(t)为所述待跟踪目标的中心位置相对于所述当前视频帧图像的中心位置的位置偏差;
根据公式(3),对比例变化率采用PID控制算法,计算得到所述球形摄像机的最优聚焦u′(t),公式(3)具体如下:
式中,KP为比例放大系数,TI为积分系数,TD为微分系数,t为摄像时间,e′(t)为所述比例变化率。
本实施例中,最优速度参数包括:最优旋转角度u(t)和最优聚焦u′(t)。
综上可知,本发明通过实时计算待跟踪目标的中心位置相对于当前视频帧图像的中心位置的位置偏差,以及待跟踪目标的区域面积在当前视频帧图像所占面积的比例变化率,并对位置偏差和比例变化率采用PID控制算法,实现对球形摄像机的旋转角度和聚焦的精确控制,从而保证了待跟踪目标始终以固定大小处于球形摄像机的视野中间,增强了对待跟踪目标的跟踪性能。
与上述方法实施例相对应,本发明还公开了一种跟踪控制系统。
参见图3,本发明实施例公开的一种跟踪控制系统的结构示意图,该跟踪控制系统包括:
获取单元301,用于获取跟踪目标的特征信息;
需要说明的是,本发明中的跟踪目标主要针对的是高速目标,如高速上行驶的车辆,当然,也适用于低速目标,如行人。
跟踪目标的特征信息指的是跟踪目标的角点信息。
筛选单元302,用于从球形摄像机采集的当前视频帧图像中,筛选出与所述特征信息的匹配度最高的目标,并将所述匹配度最高的目标作为待跟踪目标;
从当前视频帧图像中,筛选与特征信息的匹配度最高的目标的实现方案为:可以从当前视频帧图像中,初步筛选出多个与特征信息匹配度高于预设值(如40%)的目标,然后将筛选出的多个目标中,将与特征信息匹配度最高的目标作为待跟踪目标。
记录单元303,用于记录所述待跟踪目标的位置信息和区域大小信息;
待跟踪目标的区域大小信息指的是:待跟踪目标在视频帧图像中的区域面积。
第一计算单元304,用于根据所述位置信息,计算所述待跟踪目标的中心位置相对于所述当前视频帧图像的中心位置的位置偏差;
第二计算单元305,用于根据所述区域大小信息,计算所述待跟踪目标的区域面积在所述当前视频帧图像中所占的面积比例,并将所述面积比例除以预设比例参数,得到所述待跟踪目标在所述当前视频帧图像所占面积的比例变化率,其中,所述预设比例参数为所述待跟踪目标的预设固定面积在视频帧图像中所占的面积比例;
本发明的发明人经过研究发现,当待跟踪目标始终以固定大小处于球形摄像机的视野中间时,比如,待跟踪目标始终占视频帧图像的三分之一,有利于对待跟踪目标的实时跟踪。本步骤中,将跟踪目标在视频帧图像中所占的固定比例,定义为预设比例参数,在获取到待跟踪目标的实际区域面积后,将该实际区域面积除以当前视频帧图像的总面积,可得到待跟踪目标在当前视频帧图像所占的面积比例,通过将该面积比例除以预设比例参数,即可得到待跟踪目标在当前视频帧图像所占面积的比例变化率,从而为后续对待跟踪目标进行控制提供依据。
第三计算单元306,用于对所述位置偏差和所述比例变化率采用PID控制算法,计算得到控制所述球形摄像机的最优速度参数,所述最优速度参数用于保证所述待跟踪目标始终以固定大小处于所述球形摄像机的视野中间,包括:最优旋转角度和最优聚焦;
获取单元307,用于将所述最优速度参数除以跟踪时间间隔,得到所述球形摄像机的速度数值;
查找单元308,用于从预存储的速度量化查找表中,查找所述速度数值相对应的所述球形摄像机的速度等级参数,所述速度等级参数包括:水平转动速度等级、垂直转动速度等级以及镜头变倍速度等级;
具体的,球形摄像机的速度等级一般可细分为0-255,本实施例中,球形摄像机包含的速度等级具体依据该球形摄像机的型号而定。
通过对球形摄像机的运动速度性能做大量实验,可以得到包含该球形摄像机各速度等级参数的速度量化查找表,这样,通过将计算得到的速度数值与各速度等级参数进行匹配,即可查找到该速度数值相对应的速度等级参数。
控制单元309,用于利用所述水平转动速度等级和所述垂直转动速度等级控制所述球形摄像机的旋转角度,并利用所述镜头变倍速度等级控制所述球形摄像机的聚焦,实现对所述待跟踪目标的跟踪。
综上可知,本发明公开的跟踪控制系统,将当前视频帧图像中与跟踪目标的特征信息匹配度最高的目标作为待跟踪目标,实时计算待跟踪目标的中心位置相对于当前视频帧图像的中心位置的位置偏差,以及待跟踪目标的区域面积在当前视频帧图像中所占的面积比例,并将该面积比例除以预设比例参数,得到待跟踪目标在当前视频帧图像所占面积的比例变化率,通过对位置偏差和比例变化率采用PID控制算法,得到控制球形摄像机以保证待跟踪目标始终以固定大小处于球形摄像机的视野中间的最优速度参数,根据最优速度参数确定球形摄像机的速度等级参数,从而得到用于控制球形摄像机旋转角度的水平转动速度等级和垂直转动速度等级,以及控制球形摄像机聚焦的镜头变倍速度等级。本发明通过实时计算待跟踪目标的中心位置相对于当前视频帧图像的中心位置的位置偏差,以及待跟踪目标的区域面积在当前视频帧图像所占面积的比例变化率,并对位置偏差和比例变化率采用PID控制算法,实现对球形摄像机的旋转角度和聚焦的精确控制,从而保证了待跟踪目标始终以固定大小处于球形摄像机的视野中间,增强了对待跟踪目标的跟踪性能。
需要说明的是,上述实施例中,跟踪目标的特征信息可以根据监控人员认为框定的目标确定,也可以根据预先设定的跟踪任务确定。
参见图4,本发明实施例公开的一种获取单元的结构示意图,获取单元包括:
判断子单元401,用于判断所述球形摄像机是否预先设置有跟踪任务;
第一获取子单元402,用于在所述判断子单元401判断为是的情况下,从所述跟踪任务中获取所述跟踪目标的特征信息;
第二获取子单元403,用于在所述判断子单元402判断为否的情况下,从所述球形摄像机采集的视频流信息中,获取视频帧图像;
确定子单元404,用于从所述视频帧图像中确定跟踪目标;
具体的,可以由监控人员从视频帧图像中人为框定跟踪目标,或是采用传统的背景建模方法或者构造对应的目标检测器,从视频帧图像中检测出符合要求(也即感兴趣的)的跟踪目标。
第三获取子单元405,用于利用跟踪算法,从确定的跟踪目标中获取所述跟踪目标的特征信息。
上述实施例中,待跟踪目标的中心位置相对于当前视频帧图像的中心位置的位置偏差,可以采用传统的欧氏距离度量公式。
因此,上述实施例中的第一计算单元304具体包括:
利用公式(1),根据所述位置信息,计算所述待跟踪目标的中心位置相对于所述当前视频帧图像的中心位置的位置偏差,公式具体如下:
式中,(x1(t),y1(t))为所述待跟踪目标的中心位置在所述当前视频帧图像中的坐标,(x0,y0)为所述当前视频帧图像的中心位置坐标,e(t)为所述位置偏差,t为对所述待跟踪目标的采集时刻。
需要说明的是,上述实施例中,需要分别针对位置偏差和比例变化量采用PID算法,才能得到控制球形摄像机的最优速度参数。
因此,为进一步优化上述实施例,
第三计算单元306包括:
第一计算子单元,用于根据公式(2),对所述位置偏差采用PID算法,计算得到所述球形摄像机的最优旋转角度u(t),公式(2)具体如下:
式中,KP为比例放大系数,TI为积分系数,TD为微分系数,t为摄像时间,e(t)为所述待跟踪目标的中心位置相对于所述当前视频帧图像的中心位置的位置偏差;
第二计算子单元,用于根据公式(3),对比例变化率采用PID控制算法,计算得到所述球形摄像机的最优聚焦u′(t),公式(3)具体如下:
式中,KP为比例放大系数,TI为积分系数,TD为微分系数,t为摄像时间,e′(t)为所述比例变化率。
综上可知,本发明通过实时计算待跟踪目标的中心位置相对于当前视频帧图像的中心位置的位置偏差,以及待跟踪目标的区域面积在当前视频帧图像所占面积的比例变化率,并对位置偏差和比例变化率采用PID控制算法,实现对球形摄像机的旋转角度和聚焦的精确控制,从而保证了待跟踪目标始终以固定大小处于球形摄像机的视野中间,增强了对待跟踪目标的跟踪性能。
需要说明的是,系统实施例中,各组成部分的具体工作原理,请参见方法实施例对应部分,此处不再赘述。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种跟踪控制方法,其特征在于,包括:
获取跟踪目标的特征信息;
从球形摄像机采集的当前视频帧图像中,筛选出与所述特征信息的匹配度最高的目标,并将所述匹配度最高的目标作为待跟踪目标;
记录所述待跟踪目标的位置信息和区域大小信息;
根据所述位置信息,计算所述待跟踪目标的中心位置相对于所述当前视频帧图像的中心位置的位置偏差;
根据所述区域大小信息,计算所述待跟踪目标的区域面积在所述当前视频帧图像中所占的面积比例,并将所述面积比例除以预设比例参数,得到所述待跟踪目标在所述当前视频帧图像所占面积的比例变化率,其中,所述预设比例参数为所述待跟踪目标的预设固定面积在视频帧图像中所占的面积比例;
对所述位置偏差和所述比例变化率采用PID控制算法,计算得到控制所述球形摄像机的最优速度参数,所述最优速度参数用于保证所述待跟踪目标始终以固定大小处于所述球形摄像机的视野中间,包括:最优旋转角度和最优聚焦;
将所述最优速度参数除以跟踪时间间隔,得到所述球形摄像机的速度数值;
从预存储的速度量化查找表中,查找所述速度数值相对应的所述球形摄像机的速度等级参数,所述速度等级参数包括:水平转动速度等级、垂直转动速度等级以及镜头变倍速度等级;
利用所述水平转动速度等级和所述垂直转动速度等级控制所述球形摄像机的旋转角度,并利用所述镜头变倍速度等级控制所述球形摄像机的聚焦,实现对所述待跟踪目标的跟踪;
其中,所述获取跟踪目标的特征信息的过程包括:
判断所述球形摄像机是否预先设置有跟踪任务;
若所述球形摄像机预先设置有跟踪任务,则从所述跟踪任务中获取所述跟踪目标的特征信息;
若所述球形摄像机预先没有设置有跟踪任务,则从所述球形摄像机采集的视频流信息中,获取视频帧图像;
从所述视频帧图像中确定跟踪目标;
利用跟踪算法,从确定的跟踪目标中获取所述跟踪目标的特征信息。
3.根据权利要求2所述的跟踪控制方法,其特征在于,所述对所述位置偏差和所述比例变化率采用PID控制算法,计算得到控制所述球形摄像机的最优速度参数具体包括:
根据公式(2),对所述位置偏差采用PID算法,计算得到所述球形摄像机的最优旋转角度u(t),公式(2)具体如下:
式中,KP为比例放大系数,TI为积分系数,TD为微分系数,t为摄像时间,e(t)为所述待跟踪目标的中心位置相对于所述当前视频帧图像的中心位置的位置偏差;
根据公式(3),对比例变化率采用PID控制算法,计算得到所述球形摄像机的最优聚焦u′(t),公式(3)具体如下:
式中,KP为比例放大系数,TI为积分系数,TD为微分系数,t为摄像时间,e′(t)为所述比例变化率。
4.根据权利要求1所述的跟踪控制方法,其特征在于,所述特征信息包括角点信息。
5.一种跟踪控制系统,其特征在于,包括:
获取单元,用于获取跟踪目标的特征信息;
筛选单元,用于从球形摄像机采集的当前视频帧图像中,筛选出与所述特征信息的匹配度最高的目标,并将所述匹配度最高的目标作为待跟踪目标;
记录单元,用于记录所述待跟踪目标的位置信息和区域大小信息;
第一计算单元,用于根据所述位置信息,计算所述待跟踪目标的中心位置相对于所述当前视频帧图像的中心位置的位置偏差;
第二计算单元,用于根据所述区域大小信息,计算所述待跟踪目标的区域面积在所述当前视频帧图像中所占的面积比例,并将所述面积比例除以预设比例参数,得到所述待跟踪目标在所述当前视频帧图像所占面积的比例变化率,其中,所述预设比例参数为所述待跟踪目标的预设固定面积在视频帧图像中所占的面积比例;
第三计算单元,用于对所述位置偏差和所述比例变化率采用PID控制算法,计算得到控制所述球形摄像机的最优速度参数,所述最优速度参数用于保证所述待跟踪目标始终以固定大小处于所述球形摄像机的视野中间,包括:最优旋转角度和最优聚焦;
获取单元,用于将所述最优速度参数除以跟踪时间间隔,得到所述球形摄像机的速度数值;
查找单元,用于从预存储的速度量化查找表中,查找所述速度数值相对应的所述球形摄像机的速度等级参数,所述速度等级参数包括:水平转动速度等级、垂直转动速度等级以及镜头变倍速度等级;
控制单元,用于利用所述水平转动速度等级和所述垂直转动速度等级控制所述球形摄像机的旋转角度,并利用所述镜头变倍速度等级控制所述球形摄像机的聚焦,实现对所述待跟踪目标的跟踪;
其中,所述获取单元包括:
判断子单元,用于判断所述球形摄像机是否预先设置有跟踪任务;
第一获取子单元,用于在所述判断子单元判断为是的情况下,从所述跟踪任务中获取所述跟踪目标的特征信息;
第二获取子单元,用于在所述判断子单元判断为否的情况下,从所述球形摄像机采集的视频流信息中,获取视频帧图像;
确定子单元,用于从所述视频帧图像中确定跟踪目标;
第三获取子单元,用于利用跟踪算法,从确定的跟踪目标中获取所述跟踪目标的特征信息。
8.根据权利要求5所述的跟踪控制系统,其特征在于,所述特征信息包括角点信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710221366.5A CN107016367B (zh) | 2017-04-06 | 2017-04-06 | 一种跟踪控制方法及跟踪控制系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710221366.5A CN107016367B (zh) | 2017-04-06 | 2017-04-06 | 一种跟踪控制方法及跟踪控制系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107016367A CN107016367A (zh) | 2017-08-04 |
CN107016367B true CN107016367B (zh) | 2021-02-26 |
Family
ID=59445388
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710221366.5A Active CN107016367B (zh) | 2017-04-06 | 2017-04-06 | 一种跟踪控制方法及跟踪控制系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107016367B (zh) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019061063A1 (zh) * | 2017-09-27 | 2019-04-04 | 深圳市大疆创新科技有限公司 | 无人机图像采集方法及无人机 |
CN108858186B (zh) * | 2018-05-30 | 2021-05-07 | 南昌大学 | 一种小车对红外物体检测、识别及跟踪方法 |
CN109376601B (zh) * | 2018-09-21 | 2021-05-11 | 深圳市九洲电器有限公司 | 基于高速球的物体跟踪方法、监控服务器、视频监控系统 |
CN109376691B (zh) * | 2018-11-22 | 2022-03-01 | 华南师范大学 | 人脸跟踪方法、装置、存储介质以及设备 |
CN109618096A (zh) * | 2018-12-19 | 2019-04-12 | 浙江工业大学 | 一种视频录制自动跟随方法 |
CN109803090B (zh) * | 2019-01-25 | 2021-09-28 | 睿魔智能科技(深圳)有限公司 | 无人拍摄自动变焦方法及系统、无人摄像机及存储介质 |
CN109782812B (zh) * | 2019-03-06 | 2022-04-19 | 深圳慧源创新科技有限公司 | 无人机飞行方法、装置、pid控制器及存储介质 |
CN110134132A (zh) * | 2019-04-29 | 2019-08-16 | 西北工业大学 | 一种多无人机协同目标定位的系统和方法 |
CN110068827A (zh) * | 2019-04-29 | 2019-07-30 | 西北工业大学 | 一种无人机自主目标测距的方法 |
CN112132858A (zh) * | 2019-06-25 | 2020-12-25 | 杭州海康微影传感科技有限公司 | 一种视频跟踪设备的跟踪方法和视频跟踪设备 |
CN110992420B (zh) * | 2019-12-18 | 2023-07-21 | 天地伟业技术有限公司 | 一种检测粮仓车辆运载情况的系统及方法 |
CN111355884B (zh) * | 2019-12-23 | 2021-11-02 | 深圳市鸿合创新信息技术有限责任公司 | 监控方法、装置、系统、电子设备及存储介质 |
CN111340857B (zh) * | 2020-02-20 | 2023-09-19 | 浙江大华技术股份有限公司 | 一种摄像机跟踪控制方法及装置 |
CN111757011A (zh) * | 2020-07-14 | 2020-10-09 | 深圳天海宸光科技有限公司 | 基于pid算法的球机高精度追踪系统及方法 |
CN114071069A (zh) * | 2020-07-31 | 2022-02-18 | 华为技术有限公司 | 球机控制方法、装置及设备 |
WO2022057800A1 (zh) * | 2020-09-16 | 2022-03-24 | 华为技术有限公司 | 云台摄像机、云台摄像机的追踪控制方法、装置及设备 |
CN112699839B (zh) * | 2021-01-13 | 2024-02-27 | 安徽水天信息科技有限公司 | 一种动态背景下视频目标自动锁定及跟踪方法 |
CN113640755A (zh) * | 2021-05-24 | 2021-11-12 | 中国南方电网有限责任公司超高压输电公司广州局 | 基于雷达光电联动系统的目标俯仰角获取方法和装置 |
CN114485267B (zh) * | 2021-12-30 | 2023-06-09 | 北京理工大学 | 一种发射与光电协同控制方法 |
CN117097918B (zh) * | 2023-10-19 | 2024-01-09 | 奥视(天津)科技有限公司 | 一种直播显示器设备及其控制方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103581614A (zh) * | 2012-08-01 | 2014-02-12 | 通号通信信息集团有限公司 | 基于ptz的视频中目标跟踪方法及系统 |
CN104038737A (zh) * | 2014-05-30 | 2014-09-10 | 西安交通大学 | 主动获取感兴趣目标高分辨率图像的双摄像机系统及方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1728196A4 (en) * | 2004-03-24 | 2012-11-14 | Cernium Corp | IMPROVEMENT OF VIDEO ANALYSIS USING SEGMENTATION REINFORCEMENT PER AREA |
-
2017
- 2017-04-06 CN CN201710221366.5A patent/CN107016367B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103581614A (zh) * | 2012-08-01 | 2014-02-12 | 通号通信信息集团有限公司 | 基于ptz的视频中目标跟踪方法及系统 |
CN104038737A (zh) * | 2014-05-30 | 2014-09-10 | 西安交通大学 | 主动获取感兴趣目标高分辨率图像的双摄像机系统及方法 |
Non-Patent Citations (3)
Title |
---|
周虎.视频监控报警跟踪技术的研究与实现.《中国优秀硕士学位论文全文数据库信息科技辑》.2012,(第02期),第10-11,24-25,38-41页. * |
视频监控报警跟踪技术的研究与实现;周虎;《中国优秀硕士学位论文全文数据库信息科技辑》;20120215(第02期);正文第10-11,24-25,38-41页 * |
视频追踪稳定平台的研究与实现;徐轶伦;《道客巴巴https://www.doc88.com/p-4093932100014.html》;20101124;正文第9-11页 * |
Also Published As
Publication number | Publication date |
---|---|
CN107016367A (zh) | 2017-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107016367B (zh) | 一种跟踪控制方法及跟踪控制系统 | |
US10070053B2 (en) | Method and camera for determining an image adjustment parameter | |
CN109151375B (zh) | 一种目标对象抓拍方法、装置及视频监控设备 | |
CN110400352B (zh) | 利用特征识别的摄像机校准 | |
TWI420906B (zh) | 興趣區域之追蹤系統與方法及電腦程式產品 | |
CN103886107B (zh) | 基于天花板图像信息的机器人定位与地图构建系统 | |
CN104966304A (zh) | 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法 | |
CN101344965A (zh) | 基于双目摄像的跟踪系统 | |
CN107105193B (zh) | 基于人体信息的机器人监控系统 | |
CN110555377B (zh) | 一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法 | |
Everding et al. | Low-latency line tracking using event-based dynamic vision sensors | |
CN107122770A (zh) | 多目相机系统、智能驾驶系统、汽车、方法和存储介质 | |
CN115376109B (zh) | 障碍物检测方法、障碍物检测装置以及存储介质 | |
CN115184917B (zh) | 一种融合毫米波雷达与相机的区域目标跟踪方法 | |
CN116030099B (zh) | 一种基于ptz相机的多目标跟踪方法及装置 | |
CN113469201A (zh) | 图像采集设备偏移检测方法、图像匹配方法、系统和设备 | |
CN114140745A (zh) | 施工现场人员属性检测方法、系统、装置及介质 | |
CN113506340A (zh) | 一种云台位姿预测的方法、设备和计算机可读存储介质 | |
CN111627049A (zh) | 高空抛物的确定方法、装置、存储介质及处理器 | |
CN111161305A (zh) | 无人机智能识别追踪方法及系统 | |
CN110864670B (zh) | 目标障碍物位置的获取方法和系统 | |
CN113628251B (zh) | 一种智慧酒店终端监测方法 | |
CN116342642A (zh) | 目标跟踪方法、装置、电子设备及可读存储介质 | |
Sala et al. | Measuring traffic lane‐changing by converting video into space–time still images | |
CN102044079A (zh) | 考虑比例跟踪图像补丁的方法和设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20200731 Address after: Room 101, 2 / F, building 17, No. 17, huanke Middle Road, Tongzhou District, Beijing Applicant after: Beijing Elite Road Technology Co.,Ltd. Address before: 100000 Beijing city Haidian District West Road No. 27 small business Qinghe small Haisheng C block second layer Applicant before: BEIJING JAYA TECHNOLOGY Co.,Ltd. |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |