CN105338248B - 智能多目标主动跟踪监控方法及系统 - Google Patents

智能多目标主动跟踪监控方法及系统 Download PDF

Info

Publication number
CN105338248B
CN105338248B CN201510805381.5A CN201510805381A CN105338248B CN 105338248 B CN105338248 B CN 105338248B CN 201510805381 A CN201510805381 A CN 201510805381A CN 105338248 B CN105338248 B CN 105338248B
Authority
CN
China
Prior art keywords
target
image
video camera
tracked target
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510805381.5A
Other languages
English (en)
Other versions
CN105338248A (zh
Inventor
李正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Innovation Technology Co Ltd
Original Assignee
Chengdu Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Innovation Technology Co Ltd filed Critical Chengdu Innovation Technology Co Ltd
Priority to CN201510805381.5A priority Critical patent/CN105338248B/zh
Publication of CN105338248A publication Critical patent/CN105338248A/zh
Application granted granted Critical
Publication of CN105338248B publication Critical patent/CN105338248B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

本发明公开了智能多目标主动跟踪监控方法及系统,包括多目标主动跟踪、主动对焦处理、目标切换、接力跟踪、通路告警和复杂环境预处理等多个步骤;通过第一摄像机采集监控区域内的全景图像,锁定被跟踪目标,计算出被跟踪目标在全景图像中的实时坐标信息,并该坐标信息所对应的第二摄像机的云台的第一角度控制值以及第二摄像机的第一聚焦值,当需要采集某一个被跟踪目标的特写图像时,第二摄像机根据该选定的被跟踪目标当前所对应的第一角度控制值和第一聚焦值对其进行定位,采集其特写图像,使第二摄像机始终聚焦于被跟踪目标,对该被跟踪目标进行实时地持续跟踪拍摄。本发明有效解决了视频监控及多目标跟踪中所存在的云台控制问题和聚焦问题。

Description

智能多目标主动跟踪监控方法及系统
技术领域
本发明涉及视频监控领域,特别是涉及智能多目标主动跟踪监控方法及系统。
背景技术
随着计算机、网络、通信、流媒体等技术的日趋成熟与完善,视频在社会生产生活中的应用日益广泛。在智能视频监控、导航、遥感、车牌识别等计算机视觉系统中,视频是最主要的信息来源,视频监控是安全防范系统的重要组成部分。
在大型监控环境中,前端设备提供图像采集、云台控制等基础监控功能,用户可以在显示器上观看实时图像,并通过云台控制键盘操作跟踪实体。目前采用的跟踪监控方式中,管理人员手动控制云台转动,并依赖于摄像机的自动聚焦技术对目标进行对焦,这种跟踪监控方式至少存在两个弊端,1)云台的控制不能根据目标的坐标信息进行自动控制,自动化强度低,过于依赖人工操控;2)依赖于摄像机的自动聚焦技术,对焦延时高,导致监控图像不清楚;3)当目标从一监控区域步入至另一监控区域后,只能通过人工切换监控画图,重新锁定监控目标,系统无法自动完成接力跟踪。
另外这些视频监控系统一般都是基于正常的天气条件考虑设计的,尽管户外视频监控系统的应用领域非常广泛,但是在雨、雪等恶劣天气中不能很好地发挥其应有的作用。为了保证户外监控系统能够适应各种天气情况,在雨雪等恶劣条件下也能正常地工作,所以非常有必要对大气中的雨雪进行去除研究,对获取的图像进行修复,消除天气因素的干扰,提高系统的稳定性。
发明内容
本发明的目的在于克服现有技术的不足,提供智能多目标主动跟踪监控方法及系统,有效解决了视频监控及多目标跟踪中所存在的云台控制问题和聚焦问题。
本发明的目的是通过以下技术方案来实现的:
(1)本发明提出了一种智能多目标主动跟踪监控方法,所述方法包括以下步骤:
S1、通过第一摄像机采集监控区域内的全景图像,在全景图像中自动抓取多个具备预设特征的目标和具备指定特征的目标作为被跟踪目标,并锁定被跟踪目标。
S2、根据该多个被跟踪目标的运动行径和运动速度矢量及图像识别算法分别对其进行实时地持续跟踪拍摄,计算出每个被跟踪目标在全景图像中的实时坐标信息,并存储至数据库。
S3、根据被跟踪目标在全景图像中的实时坐标信息确定第二摄像机的云台的第一角度控制值以及第二摄像机的第一聚焦值,计算出每一个被跟踪目标的实时坐标信息所对应的实时的第一角度控制值和第一聚焦值,并存储至数据库,第一角度控制值和第一聚焦值随被跟踪目标位置在全景图像中的动态变换而实时更新。
S4、当需要采集某一个被跟踪目标的特写图像时,根据该选定的被跟踪目标当前所对应的第一角度控制值控制第二摄像机的云台的转动角度,根据该选定的被跟踪目标当前所对应的第一聚焦值控制第二摄像机的焦距,第二摄像机对该被跟踪目标进行瞬时定位,采集其特写图像,使第二摄像机始终聚焦于被跟踪目标,对该被跟踪目标进行实时地持续跟踪拍摄。
所述方法还包括接力跟踪步骤和通路告警步骤中的一种或多种组合。
所述接力跟踪步骤包括:对所有监控区域的全景图像坐标化处理,将所有相邻或相应的监控区域的边缘坐标进行匹配处理,并存储至数据库。当该被跟踪目标处于该监控区域的边缘,并消失在该监控区域中时,则根据该被跟踪目标在该监控区域中的坐标信息,确定与其相邻或相应的另一个监控区域,并在该另一个监控区域中,识别锁定该该被跟踪目标,并继续对其进行持续跟踪拍摄。
所述通路告警步骤包括:在监控区域中划分告警区域,并根据预设条件对告警区域进行监控,若检测出该告警区域内存在符合预设条件的目标时,锁定该目标,并发出相应的告警信息。
进一步的,所述方法还包括主动对焦处理步骤:在全景图像中根据被跟踪目标的运动行径和运动速度矢量信息对被跟踪目标的轨迹进行预测,预测其下一时刻的坐标位置,并计算出其下一时刻相应的第一角度控制值和第一聚焦值传送至第二摄像机,控制第二摄像机对被跟踪目标进行快速地主动定位和主动对焦,对被跟踪目标进行平滑跟踪拍摄。
进一步的,所述方法还包括目标切换步骤:当在已锁定的多个被跟踪目标中进行特征图像显示切换时,第二摄像机直接调用数据库中该重新选定的被跟踪目标所对应的第一角度控制值和第一聚焦值,对其进行定位采集其特写图像。
进一步的,在第一摄像机锁定被跟踪目标后,计算出该被跟踪目标的第一中心坐标值,第二摄像机根据该第一中心坐标值所转换的第一角度控制值和第一聚焦值对被跟踪目标进行粗定位,并在特写图像中对该被跟踪目标进行重新识别定位,计算出该被跟踪目标在特写图像中的第二中心坐标值,并判断该第二中心坐标值是否为特写图像的中心位置。
若是,则锁定被跟踪目标,第二摄像机跟随被跟踪目标的移动而动态调整,使得被跟踪目标始终锁定在特写图像的中央。
若不是,则根据该第二中心坐标位置计算第二摄像机的云台的第二角度控制值以及第二摄像机的第二聚焦值,第二摄像机根据该第二角度控制值和第二聚焦值对特写图像面进行微调,将被跟踪目标锁定在特写图像的中央。
进一步的,第二摄像机根据该第二角度控制值和第二聚焦值对特写图像面进行微调后,同步更新第一摄像机的参数,将第二角度控制值和第二聚焦值与第一中心坐标值进行匹配,并存储至数据库,便于再次计算时的调用。
进一步的,在判断第二中心坐标值是否为特写图像的中心位置时,增加一个误差阈值,若第二中心坐标值与特写图像的中心位置的误差大于该误差阈值,则第二摄像机对该被跟踪目标的特写图像进行微调。
进一步的,所述方法还包括复杂环境下的预处理步骤:
S001、采集当前时刻的视频流数据,依次对视频流数据中的每一帧视频图像进行分析,判断是否有异常帧图像,若存在则进行异常类型检测。
S002、启动混合高斯模型,对视频流数据中的每帧视频图像的每个像素点建立X个高斯模型。
S003、根据高斯模型的权重对该X个高斯模型进行排序,并对权重进行累计求和,若前N个高斯模型的权重和大于预设阈值,则将该前N个高斯模型设为背景像素点,建立背景高斯模型,将后X-N个高斯模型设为前景像素点,建立前景高斯模型。
S004、根据当前时刻像素点以及该像素点的历史像素点的均值和方差为每个像素点匹配相应的高斯模型,计算当前时刻像素点与其历史像素点的均值之差的绝对值,若该绝对值与该像素点的历史像素点的方差的比值小于预设匹配阈值,则将该当前时刻像素点与背景像素点的高斯模型进行匹配,若该比值不小于预设匹配阈值,则将当前时刻像素点与前景像素点的高斯模型进行匹配。
S005、根据视频流数据中的背景变化和S4中的比较结果,混合高斯模型自适应更新模型参数,更新X个高斯模型的权值,得出匹配度最高的背景高斯模型参数,完成复杂背景建模。
S006、将前景高斯模型的所匹配的前景图像进行小波正变换处理,若前景图像为彩色图像,则通过R、G、B三通道分别对其进行小波分析处理,得到前景图像的近似图LL、水平方向细节图HL、垂直方向细节图LH和对角线方向细节图HH,提取垂直方向细节图,对垂直方向细节图进行傅里叶正变换,并删除其预设频段的高频部分完成高频过滤。
S007、高频过滤处理后通过傅里叶反变换还原得到新的垂直方向细节图,再通过小波反变换重构前景图像,若原前景图像为彩色图像,则再通过R、G、B三通道合并得到过滤后的前景图像。
S008、通过形态学处理,提取出独立的运动目标区域,锁定目标,开始执行跟踪操作,在目标跟踪的过程中,重复执行步骤S001~S007。
(2)本发明还提出了一种智能多目标主动跟踪监控系统,所述系统包括多个监控区域,每个监控区域均设有第一摄像机、第二摄像机、视频处理机和数据库,第一摄像机、第二摄像机和数据库均分别与视频处理机连接,各个监控区域的视频处理机均通过通信单元相互连接,所述视频处理机中集成有执行如权利要求1~7任一项所述的智能多目标主动跟踪监控方法的功能模块。
本发明的有益效果是:本发明所提出的一种智能多目标主动跟踪监控方法及系统,具有多目标主动跟踪、主动对焦处理、目标切换、接力跟踪、通路告警和复杂环境预处理等多种功能,能有效的解决视频监控及多目标跟踪中所存在的如云台控制问题、聚焦问题和接力跟踪问题等多个问题。
1)本发明第二摄像机完成对被跟踪目标的持续跟踪拍摄,始终首先依赖于该被跟踪目标在全景图像中的坐标信息,以及根据坐标信息所计算出的第一角度控制值和第一聚焦值,根据第一角度控制值控制第二摄像机的云台的转动角度,根据第一聚焦值控制第二摄像机的焦距,如此设计可实现以下功能。
① 保证当被跟踪目标出现异常动作时,如急停、急转等,第二摄像机的特写图像始终保持对目标的锁定,不会丢失目标的特写图像。
② 实现对运动目标进行主动对焦,根据运动目标的运动行径和运动速度矢量信息,对运动目标的轨迹进行预测,预测其下一时刻的坐标位置,并计算出其下一时刻相应的第一角度控制值和第一聚焦值,以便第二摄像机能对目标进行快速地主动对焦,能对高速运动的目标进行平滑跟踪拍摄,保证目标细节不因高速运动而模糊;通过预测处理,还可以在目标被遮挡的情况下,对其进行模拟跟踪拍摄。
③ 当特写图像在多个目标之间进行瞬时切换时,第二摄像机能根据切换目标的第一角度控制值和第一聚焦值对其进行快速定位和对焦,保证特写图像的清晰度,完成目标的平滑切换操作。
④ 实现目标在遮挡的情况下,第二摄像机不会对前景遮挡物进行自动聚焦,避免在重新获得锁定目标时,由于聚焦的问题,使得特写图像出现模糊不清的状况。
2)本发明第二摄像机还将判断特写图像中的目标是否在特写图像的中央,并更新其在全景图像中的坐标信息所对应的第二摄像机的云台角度控制值和聚焦值的数据值,在一定工作时长后,即可保证第一摄像机所锁定的目标始终在第二摄像机的特写图像的中央。
3)本发明具有接力跟踪功能,基于坐标化处理,可通过多个摄像机对同一目标进行接力跟踪。
4)本发明还具有通路告警功能,根据预设条件对告警区域进行监控,若检测出该告警区域内存在符合预设条件的目标时,锁定该目标,并发出相应的告警信息。如移动目标的行径方向告警,还可根据其不同的行径方向和不同的角度进行相应的告警。
5)本发明还可基于通过混合高斯模型自适应分析算法,有效过滤复杂环境中画面的各种运动干扰,如刮风造成的树叶摇动等,结合小波变换和傅里叶变换可有效滤除画面中的雨雪噪声及其他噪声,并通过形态学处理,提取出独立的运动目标区域,锁定目标,开始执行跟踪操作。
附图说明
图1为本发明智能多目标主动跟踪监控方法的流程示意图;
图2为本发明复杂环境下的预处理步骤的流程示意图;
图3为本发明智能多目标主动跟踪监控系统的结构示意图。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案,但本发明的保护范围不局限于以下所述。
(一)智能多目标主动跟踪监控方法
如图1所示,该实施例描述了一种智能多目标主动跟踪监控方法,所述方法包括以下步骤:
S1、通过第一摄像机采集监控区域内的全景图像,在全景图像中自动抓取多个具备预设特征的目标和具备指定特征的目标作为被跟踪目标,并锁定被跟踪目标。
预设特征是指,预先在数据库中录入有价值目标的特征数据,以便于第一摄像机在全局图像中进行图像识别时,同数据库中的预设特征进行匹配比对,若发现与预设特征相同或相似的目标,则将其锁定。
指定特征是指,手动输入待跟踪目标的特征数据,第一摄像机在全局图像中进行图像识别时,搜索与该指定特征相同或相似的目标,并将其锁定。如需要定位白色轿车,则手动输入白色轿车,让系统自动锁定全景图像中所有的白色轿车。当然也可在系统中集成语音识别模块,以支持语音输入。
S2、当锁定被跟踪目标后,根据该多个被跟踪目标的运动行径和运动速度矢量及图像识别算法分别对其进行实时地持续跟踪拍摄,计算出每个被跟踪目标在全景图像中的实时坐标信息,并存储至数据库。
S3、根据被跟踪目标在全景图像中的实时坐标信息确定第二摄像机的云台的第一角度控制值以及第二摄像机的第一聚焦值,计算出每一个被跟踪目标的实时坐标信息所对应的实时的第一角度控制值和第一聚焦值,并存储至数据库,第一角度控制值和第一聚焦值随被跟踪目标位置在全景图像中的动态变换而实时更新。
S4、当需要采集某一个被跟踪目标的特写图像时,根据该选定的被跟踪目标当前所对应的第一角度控制值控制第二摄像机的云台的转动角度,根据该选定的被跟踪目标当前所对应的第一聚焦值控制第二摄像机的焦距,第二摄像机对该被跟踪目标进行瞬时定位,采集其特写图像,使第二摄像机始终聚焦于被跟踪目标,对该被跟踪目标进行实时地持续跟踪拍摄。
进一步的,在第一摄像机锁定被跟踪目标后,计算出该被跟踪目标的第一中心坐标值,第二摄像机根据该第一中心坐标值所转换的第一角度控制值和第一聚焦值对被跟踪目标进行粗定位,并在特写图像中对该被跟踪目标进行重新识别定位,计算出该被跟踪目标在特写图像中的第二中心坐标值,并判断该第二中心坐标值是否为特写图像的中心位置。
若是,则锁定被跟踪目标,第二摄像机跟随被跟踪目标的移动而动态调整,使得被跟踪目标始终锁定在特写图像的中央。
若不是,则根据该第二中心坐标位置计算第二摄像机的云台的第二角度控制值以及第二摄像机的第二聚焦值,第二摄像机根据该第二角度控制值和第二聚焦值对特写图像面进行微调,将被跟踪目标锁定在特写图像的中央。
进一步的,第二摄像机根据该第二角度控制值和第二聚焦值对特写图像面进行微调后,同步更新第一摄像机的参数,将第二角度控制值和第二聚焦值与第一中心坐标值进行匹配,并存储至数据库,便于再次计算时的调用。
进一步的,在判断第二中心坐标值是否为特写图像的中心位置时,增加一个误差阈值,若第二中心坐标值与特写图像的中心位置的误差大于该误差阈值,则第二摄像机对该被跟踪目标的特写图像进行微调。
进一步的,当被跟踪目标出现异常动作,第二摄像机的特写图像中不能识别定位出被跟踪目标后,第二摄像机重新调用第一摄像机的实时第一角度控制值和第一聚焦值,重新采集被跟踪目标的特写图像。
进一步的,所述方法还包括主动对焦处理步骤、目标切换步骤、接力跟踪步骤和通路告警步骤中的一种或多种组合。
(1)主动对焦处理步骤:在全景图像中根据被跟踪目标的运动行径和运动速度矢量信息对被跟踪目标的轨迹进行预测,预测其下一时刻的坐标位置,并计算出其下一时刻相应的第一角度控制值和第一聚焦值传送至第二摄像机,控制第二摄像机对被跟踪目标进行快速地主动定位和主动对焦,对被跟踪目标进行平滑跟踪拍摄。
基于预测处理,当被跟踪目标在监控区域内被遮挡而无法被跟踪时,根据该被跟踪目标的运动行径和运动速度矢量信息及其历史记录信息,以及遮挡物信息,对被跟踪目标进行预测处理和模拟跟踪拍摄。
通过预测处理计算出被跟踪目标可能进行的多个预测运动行径及其相应的概率,第二摄像机按概率最大的预测运动行径进行模拟跟踪拍摄,第一摄像机根据多个预测运动行径在全景图像中对遮挡物附近进行目标识别检测,当第一摄像机检测到该被跟踪目标时,第二摄像机结束模拟跟踪拍摄,根据其坐标信息对该被跟踪目标进行定位识别,采集其特写图像。
进一步的,在预测处理时,需判断该遮挡物当前处于静止状态还是运动状态,若该遮挡物处于运动状态,则第一摄像机需跟踪定位遮挡物,结合遮挡物的运动行径和运动速度矢量,对该被跟踪目标进行预测处理,第一摄像机还需在该遮挡物的附近以及遮挡物的行径路段上,对被跟踪目标进行识别检测。
(2)目标切换步骤:当在已锁定的多个被跟踪目标中进行特征图像显示切换时,第二摄像机直接调用数据库中该重新选定的被跟踪目标所对应的第一角度控制值和第一聚焦值,对其进行定位采集其特写图像。
(3)接力跟踪步骤:对所有监控区域的全景图像坐标化处理,将所有相邻或相应的监控区域的边缘坐标进行匹配处理,并存储至数据库。当该被跟踪目标处于该监控区域的边缘,并消失在该监控区域中时,则根据该被跟踪目标在该监控区域中的坐标信息,确定与其相邻或相应的另一个监控区域,并在该另一个监控区域中,识别锁定该该被跟踪目标,并继续对其进行持续跟踪拍摄。
(4)通路告警步骤:在监控区域中划分告警区域,并根据预设条件对告警区域进行监控,若检测出该告警区域内存在符合预设条件的目标时,锁定该目标,并发出相应的告警信息。
进一步的,如图2所示,本发明所述方法还包括复杂环境下的预处理步骤:
S001、采集当前时刻的视频流数据,依次对视频流数据中的每一帧视频图像进行分析,判断是否有异常帧图像,若存在则进行异常类型检测。
S002、启动混合高斯模型,对视频流数据中的每帧视频图像的每个像素点建立X个高斯模型。
S003、根据高斯模型的权重对该X个高斯模型进行排序,并对权重进行累计求和,若前N个高斯模型的权重和大于预设阈值,则将该前N个高斯模型设为背景像素点,建立背景高斯模型,将后X-N个高斯模型设为前景像素点,建立前景高斯模型。
S004、根据当前时刻像素点以及该像素点的历史像素点的均值和方差为每个像素点匹配相应的高斯模型,计算当前时刻像素点与其历史像素点的均值之差的绝对值,若该绝对值与该像素点的历史像素点的方差的比值小于预设匹配阈值,则将该当前时刻像素点与背景像素点的高斯模型进行匹配,若该比值不小于预设匹配阈值,则将当前时刻像素点与前景像素点的高斯模型进行匹配。
S005、根据视频流数据中的背景变化和S4中的比较结果,混合高斯模型自适应更新模型参数,更新X个高斯模型的权值,得出匹配度最高的背景高斯模型参数,完成复杂背景建模,可有效过滤复杂环境中画面的各种运动干扰,如刮风造成的树叶摇动等。
进一步的,由于雨雪天气的视频画面中,雨雪一般表现为竖条纹形式,因此,本发明通过结合小波变换和傅里叶变换处理,可有效滤除画面中的雨雪噪声及其他噪声。
S006、将前景高斯模型的所匹配的前景图像进行小波正变换处理,若前景图像为彩色图像,则通过R、G、B三通道分别对其进行小波分析处理,得到前景图像的近似图LL、水平方向细节图HL、垂直方向细节图LH和对角线方向细节图HH,提取垂直方向细节图,对垂直方向细节图进行傅里叶正变换,并删除其预设频段的高频部分完成高频过滤。
S007、高频过滤处理后通过傅里叶反变换还原得到新的垂直方向细节图,再通过小波反变换重构前景图像,若原前景图像为彩色图像,则再通过R、G、B三通道合并得到过滤后的前景图像,去除复杂环境中画面的雨雪条纹噪声及其他条纹噪声。
S008、通过形态学处理,提取出独立的运动目标区域,锁定目标,开始执行跟踪操作,在目标跟踪的过程中,重复执行步骤S1-S7,实现在去除运动干扰和雨雪噪声后的画面中继续跟踪目标。
优选的,所述的小波正变换可采用提升小波变换。
优选的,所述的预设频段根据雨雪大小自适应调整,以滤除不同雨势情况下的雨雪噪声。
(二)智能多目标主动跟踪监控系统
如图3所示,该实施例了一种智能多目标主动跟踪监控系统,所述系统包括多个监控区域,每个监控区域均设有第一摄像机、第二摄像机、视频处理机和数据库,第一摄像机、第二摄像机和数据库均分别与视频处理机连接,各个监控区域的视频处理机均通过通信单元相互连接,所述视频处理机中集成有执行如权利要求1~7任一项所述的智能多目标主动跟踪监控方法的功能模块。
优选的,所述第一摄像机可采用广角摄像机,所述第二摄像机可采用超高速专用跟踪PTZ摄像机。
如上参照附图以示例的方式描述了根据本发明的智能多目标主动跟踪监控方法及系统。但是,本领域技术人员应当理解,对于上述本发明所提出的智能多目标主动跟踪监控方法及系统,还可以在不脱离本发明内容的基础上做出各种改进,或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。因此,本发明的保护范围应当由所附的权利要求书的内容确定。

Claims (7)

1.智能多目标主动跟踪监控方法,其特征在于,所述方法包括以下步骤:
S1、通过第一摄像机采集监控区域内的全景图像,在全景图像中自动抓取多个具备预设特征的目标和具备指定特征的目标作为被跟踪目标,并锁定被跟踪目标;
S2、根据该多个被跟踪目标的运动行径和运动速度矢量及图像识别算法分别对其进行实时地持续跟踪拍摄,计算出每个被跟踪目标在全景图像中的实时坐标信息,并存储至数据库;
S3、根据被跟踪目标在全景图像中的实时坐标信息确定第二摄像机的云台的第一角度控制值以及第二摄像机的第一聚焦值,计算出每一个被跟踪目标的实时坐标信息所对应的实时的第一角度控制值和第一聚焦值,并存储至数据库,第一角度控制值和第一聚焦值随被跟踪目标位置在全景图像中的动态变换而实时更新;
S4、当需要采集某一个被跟踪目标的特写图像时,根据该选定的被跟踪目标当前所对应的第一角度控制值控制第二摄像机的云台的转动角度,根据该选定的被跟踪目标当前所对应的第一聚焦值控制第二摄像机的焦距,第二摄像机对该被跟踪目标进行瞬时定位,采集其特写图像,使第二摄像机始终聚焦于被跟踪目标,对该被跟踪目标进行实时地持续跟踪拍摄;
所述方法还包括接力跟踪步骤和通路告警步骤中的一种或多种组合;
所述接力跟踪步骤包括:对所有监控区域的全景图像坐标化处理,将所有相邻或相应的监控区域的边缘坐标进行匹配处理,并存储至数据库;当该被跟踪目标处于该监控区域的边缘,并消失在该监控区域中时,则根据该被跟踪目标在该监控区域中的坐标信息,确定与其相邻或相应的另一个监控区域,并在该另一个监控区域中,识别锁定该该被跟踪目标,并继续对其进行持续跟踪拍摄;
所述通路告警步骤包括:在监控区域中划分告警区域,并根据预设条件对告警区域进行监控,若检测出该告警区域内存在符合预设条件的目标时,锁定该目标,并发出相应的告警信息;
所述方法还包括复杂环境下的预处理步骤:
S001、采集当前时刻的视频流数据,依次对视频流数据中的每一帧视频图像进行分析,判断是否有异常帧图像,若存在则进行异常类型检测;
S002、启动混合高斯模型,对视频流数据中的每帧视频图像的每个像素点建立X个高斯模型;
S003、根据高斯模型的权重对该X个高斯模型进行排序,并对权重进行累计求和,若前N个高斯模型的权重和大于预设阈值,则将该前N个高斯模型设为背景像素点,建立背景高斯模型,将后X-N个高斯模型设为前景像素点,建立前景高斯模型;
S004、根据当前时刻像素点以及该像素点的历史像素点的均值和方差为每个像素点匹配相应的高斯模型,计算当前时刻像素点与其历史像素点的均值之差的绝对值,若该绝对值与该像素点的历史像素点的方差的比值小于预设匹配阈值,则将该当前时刻像素点与背景像素点的高斯模型进行匹配,若该比值不小于预设匹配阈值,则将当前时刻像素点与前景像素点的高斯模型进行匹配;
S005、根据视频流数据中的背景变化和S4中特写图像的比较后的结果,混合高斯模型自适应更新模型参数,更新X个高斯模型的权值,得出匹配度最高的背景高斯模型参数,完成复杂背景建模;
S006、将前景高斯模型的所匹配的前景图像进行小波正变换处理,若前景图像为彩色图像,则通过R、G、B三通道分别对其进行小波分析处理,得到前景图像的近似图LL、水平方向细节图HL、垂直方向细节图LH和对角线方向细节图HH,提取垂直方向细节图,对垂直方向细节图进行傅里叶正变换,并删除其预设频段的高频部分完成高频过滤;
S007、高频过滤处理后通过傅里叶反变换还原得到新的垂直方向细节图,再通过小波反变换重构前景图像,若原前景图像为彩色图像,则再通过R、G、B三通道合并得到过滤后的前景图像;
S008、通过形态学处理,提取出独立的运动目标区域,锁定目标,开始执行跟踪操作,在目标跟踪的过程中,重复执行步骤S001~S007。
2.根据权利要求1所述的智能多目标主动跟踪监控方法,其特征在于:所述方法还包括主动对焦处理步骤:在全景图像中根据被跟踪目标的运动行径和运动速度矢量信息对被跟踪目标的轨迹进行预测,预测其下一时刻的坐标位置,并计算出其下一时刻相应的第一角度控制值和第一聚焦值传送至第二摄像机,控制第二摄像机对被跟踪目标进行快速地主动定位和主动对焦,对被跟踪目标进行平滑跟踪拍摄。
3.根据权利要求1所述的智能多目标主动跟踪监控方法,其特征在于:所述方法还包括目标切换步骤:当在已锁定的多个被跟踪目标中进行特征图像显示切换时,第二摄像机直接调用数据库中该重新选定的被跟踪目标所对应的第一角度控制值和第一聚焦值,对其进行定位采集其特写图像。
4.根据权利要求1所述的智能多目标主动跟踪监控方法,其特征在于:在第一摄像机锁定被跟踪目标后,计算出该被跟踪目标的第一中心坐标值,第二摄像机根据该第一中心坐标值所转换的第一角度控制值和第一聚焦值对被跟踪目标进行粗定位,并在特写图像中对该被跟踪目标进行重新识别定位,计算出该被跟踪目标在特写图像中的第二中心坐标值,并判断该第二中心坐标值是否为特写图像的中心位置;
若是,则锁定被跟踪目标,第二摄像机跟随被跟踪目标的移动而动态调整,使得被跟踪目标始终锁定在特写图像的中央;
若不是,则根据该第二中心坐标位置计算第二摄像机的云台的第二角度控制值以及第二摄像机的第二聚焦值,第二摄像机根据该第二角度控制值和第二聚焦值对特写图像面进行微调,将被跟踪目标锁定在特写图像的中央。
5.根据权利要求4所述的智能多目标主动跟踪监控方法,其特征在于:第二摄像机根据该第二角度控制值和第二聚焦值对特写图像面进行微调后,同步更新第一摄像机的参数,将第二角度控制值和第二聚焦值与第一中心坐标值进行匹配,并存储至数据库,便于再次计算时的调用。
6.根据权利要求4所述的智能多目标主动跟踪监控方法,其特征在于:在判断第二中心坐标值是否为特写图像的中心位置时,增加一个误差阈值,若第二中心坐标值与特写图像的中心位置的误差大于该误差阈值,则第二摄像机对该被跟踪目标的特写图像进行微调。
7.智能多目标主动跟踪监控系统,其特征在于:所述系统包括多个监控区域,每个监控区域均设有第一摄像机、第二摄像机、视频处理机和数据库,第一摄像机、第二摄像机和数据库均分别与视频处理机连接,各个监控区域的视频处理机均通过通信单元相互连接,所述视频处理机中集成有执行如权利要求1~6任一项所述的智能多目标主动跟踪监控方法的功能模块。
CN201510805381.5A 2015-11-20 2015-11-20 智能多目标主动跟踪监控方法及系统 Active CN105338248B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510805381.5A CN105338248B (zh) 2015-11-20 2015-11-20 智能多目标主动跟踪监控方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510805381.5A CN105338248B (zh) 2015-11-20 2015-11-20 智能多目标主动跟踪监控方法及系统

Publications (2)

Publication Number Publication Date
CN105338248A CN105338248A (zh) 2016-02-17
CN105338248B true CN105338248B (zh) 2018-08-28

Family

ID=55288502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510805381.5A Active CN105338248B (zh) 2015-11-20 2015-11-20 智能多目标主动跟踪监控方法及系统

Country Status (1)

Country Link
CN (1) CN105338248B (zh)

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105763847A (zh) * 2016-02-26 2016-07-13 努比亚技术有限公司 一种监控方法及监控终端
CN105857582A (zh) * 2016-04-06 2016-08-17 北京博瑞爱飞科技发展有限公司 调整拍摄角度的方法、装置和无人驾驶飞行器
CN105979209A (zh) * 2016-05-31 2016-09-28 浙江大华技术股份有限公司 一种监控视频显示方法及装置
CN106073792A (zh) * 2016-06-08 2016-11-09 惠州学院 一种人体运动姿势分析系统
CN106170072B (zh) * 2016-07-18 2022-06-10 中国科学院地理科学与资源研究所 视频采集系统及其采集方法
CN106162084A (zh) * 2016-07-20 2016-11-23 安徽建筑大学 一种智能监控系统
CN107798723B (zh) * 2016-08-30 2021-11-19 北京神州泰岳软件股份有限公司 一种目标跟踪控制的方法和装置
CN106373160B (zh) * 2016-08-31 2019-01-11 清华大学 一种基于深度强化学习的摄像机主动目标定位方法
CN108022205B (zh) * 2016-11-04 2021-07-30 杭州海康威视数字技术股份有限公司 目标跟踪方法、装置及录播系统
CN108074249A (zh) * 2016-11-16 2018-05-25 杭州海康威视数字技术股份有限公司 一种目标跟踪系统、方法及装置
CN106791419A (zh) * 2016-12-30 2017-05-31 大连海事大学 一种融合全景与细节的监控装置及方法
CN108632569B (zh) * 2017-03-20 2020-09-29 华为技术有限公司 基于枪球联动的视频监控方法及装置
CN112449113B (zh) * 2017-05-09 2022-04-15 浙江凡后科技有限公司 一种物体位置捕捉系统及物体运动轨迹捕捉方法
CN109215055A (zh) 2017-06-30 2019-01-15 杭州海康威视数字技术股份有限公司 一种目标特征提取方法、装置及应用系统
CN107316463A (zh) * 2017-07-07 2017-11-03 深圳市诺龙技术股份有限公司 一种车辆监控的方法和装置
CN109413324A (zh) * 2017-08-16 2019-03-01 中兴通讯股份有限公司 一种拍摄方法和移动终端
KR102282472B1 (ko) * 2017-09-11 2021-07-27 한화테크윈 주식회사 감시 시스템 및 그 동작 방법
CN109543496B (zh) * 2017-09-22 2020-11-27 杭州海康威视数字技术股份有限公司 一种图像采集方法、装置、电子设备及系统
CN108200339A (zh) * 2017-12-29 2018-06-22 北京臻迪科技股份有限公司 目标追踪定位方法、系统及摄像装置
CN108282610A (zh) * 2017-12-31 2018-07-13 深圳市秦墨科技有限公司 一种多目标跟拍控制方法、装置及云台
CN108174102A (zh) * 2018-01-05 2018-06-15 北京红云融通技术有限公司 一种获取动态对象的图像的方法以及系统
CN108449545B (zh) * 2018-03-29 2020-10-30 北京环境特性研究所 一种监控系统及其应用方法
CN108763987A (zh) * 2018-05-07 2018-11-06 深圳市民德电子科技股份有限公司 一种智能扫描识别装置、方法及系统
WO2019213800A1 (zh) * 2018-05-07 2019-11-14 深圳市民德电子科技股份有限公司 一种智能扫描识别装置、方法及系统
CN110636248B (zh) * 2018-06-22 2021-08-27 华为技术有限公司 目标跟踪方法与装置
CN108876824B (zh) * 2018-07-09 2020-12-22 杭州雄迈集成电路技术股份有限公司 目标跟踪方法、装置、系统及球机
CN109274898B (zh) * 2018-08-08 2019-11-19 深圳市智像科技有限公司 文档图像智能采集方法、装置和系统
CN110956644B (zh) * 2018-09-27 2023-10-10 杭州海康威视数字技术股份有限公司 一种运动轨迹确定方法及系统
CN109686031B (zh) * 2018-12-21 2020-10-27 北京智行者科技有限公司 基于安防的识别跟随方法
CN111381606B (zh) * 2018-12-27 2023-07-07 杭州海康威视系统技术有限公司 一种云台控制方法、装置、电子设备及存储介质
CN111599018A (zh) * 2019-02-21 2020-08-28 浙江宇视科技有限公司 一种目标追踪方法、系统及电子设备和存储介质
CN110008359A (zh) * 2019-03-11 2019-07-12 深圳警翼智能科技股份有限公司 一种照明系统、装置及方法
CN110047092B (zh) * 2019-03-27 2019-12-13 深圳职业技术学院 一种复杂环境下多目标实时跟踪方法
CN110147729A (zh) * 2019-04-16 2019-08-20 深圳壹账通智能科技有限公司 用户情绪识别方法、装置、计算机设备及存储介质
CN110335432A (zh) * 2019-06-24 2019-10-15 安徽和润智能工程有限公司 一种基于人脸识别的展厅安防系统
CN110177257A (zh) * 2019-06-26 2019-08-27 北京深醒科技有限公司 一种多摄像机视频监控装置及其人体跟踪方法
CN111325790B (zh) * 2019-07-09 2024-02-20 杭州海康威视系统技术有限公司 目标追踪方法、设备及系统
CN112243106A (zh) * 2019-07-17 2021-01-19 杭州海康威视数字技术股份有限公司 一种目标监控方法、装置及设备、存储介质
CN110493569B (zh) * 2019-08-12 2021-06-15 苏州佳世达光电有限公司 监控目标拍摄追踪方法及系统
CN112468765B (zh) * 2019-09-06 2022-04-15 杭州海康威视系统技术有限公司 跟踪目标对象的方法、装置、系统、设备及存储介质
CN112492261A (zh) * 2019-09-12 2021-03-12 华为技术有限公司 跟踪拍摄方法及装置、监控系统
CN110930437B (zh) * 2019-11-20 2023-06-23 深圳拙河科技有限公司 目标跟踪方法和装置
CN110995989A (zh) * 2019-11-25 2020-04-10 陈颖 一种基于人体特征定位的镜头捕捉方法
CN110991306B (zh) * 2019-11-27 2024-03-08 北京理工大学 自适应的宽视场高分辨率智能传感方法和系统
CN111105429B (zh) * 2019-12-03 2022-07-12 华中科技大学 一种一体化无人机检测方法
CN112585941A (zh) * 2019-12-30 2021-03-30 深圳市大疆创新科技有限公司 对焦方法、装置、拍摄设备、可移动平台和存储介质
CN111107272A (zh) * 2020-01-02 2020-05-05 广州高博软件科技有限公司 多媒体视频流总结系统及流程
CN111340857B (zh) * 2020-02-20 2023-09-19 浙江大华技术股份有限公司 一种摄像机跟踪控制方法及装置
CN111246184A (zh) * 2020-02-20 2020-06-05 深圳市昊一源科技有限公司 控制视频数据采集的方法、发射控制装置及无线传输系统
CN111369578B (zh) * 2020-02-25 2023-06-30 四川新视创伟超高清科技有限公司 云台异动智能跟踪方法及其系统
CN111405246B (zh) * 2020-03-12 2021-04-06 厦门宇昊软件有限公司 一种智慧城市监控方法、装置及管理终端
WO2021184338A1 (zh) * 2020-03-20 2021-09-23 深圳市大疆创新科技有限公司 自动对焦方法、装置、云台、设备和存储介质
CN111460972B (zh) * 2020-03-30 2023-04-07 苏州科达科技股份有限公司 对象跟踪方法、装置及存储介质
CN111862168A (zh) * 2020-06-22 2020-10-30 上海摩象网络科技有限公司 一种目标对象跟踪方法、装置及双摄像头相机系统
CN112383711A (zh) * 2020-11-10 2021-02-19 中国民用航空总局第二研究所 一体式远程塔台全景智能追踪装置及方法
CN112446358A (zh) * 2020-12-15 2021-03-05 北京京航计算通讯研究所 基于视频图像识别技术的目标检测方法
CN112507913A (zh) * 2020-12-15 2021-03-16 北京京航计算通讯研究所 基于视频图像识别技术的目标检测系统
CN112633161B (zh) * 2020-12-21 2023-05-09 重庆英卡电子有限公司 基于高空云台识别的松材线虫病枯死树检测定位方法
CN112651377B (zh) * 2021-01-05 2023-06-09 河北建筑工程学院 一种冰雪运动事故检测方法、装置及终端设备
CN112785628B (zh) * 2021-02-09 2023-08-08 成都视海芯图微电子有限公司 一种基于全景视角检测跟踪的轨迹预测方法及系统
CN113301273B (zh) * 2021-05-24 2023-06-13 浙江大华技术股份有限公司 跟踪方式的确定方法、装置、存储介质及电子装置
CN113489948A (zh) * 2021-06-21 2021-10-08 浙江大华技术股份有限公司 一种摄像监控设备、方法、装置及存储介质
CN113467325B (zh) * 2021-07-23 2023-03-14 俞小飞 一种基于物联网的环境监控方法
CN113628251B (zh) * 2021-10-11 2022-02-01 北京中科金马科技股份有限公司 一种智慧酒店终端监测方法
CN113905178B (zh) * 2021-10-12 2023-05-30 重庆英卡电子有限公司 一种基于高空云台的环境自动感知巡航方法
CN114040115A (zh) * 2021-11-29 2022-02-11 海南哦课教育科技有限公司 目标对象异常动作的捕获方法、装置、介质和电子设备
CN113992860B (zh) * 2021-12-28 2022-04-19 北京国电通网络技术有限公司 基于云边协同的行为识别方法、装置、电子设备和介质
CN116055866B (zh) * 2022-05-30 2023-09-12 荣耀终端有限公司 一种拍摄方法及相关电子设备
CN114900672B (zh) * 2022-07-14 2022-10-28 杭州舜立光电科技有限公司 一种变倍跟踪方法
CN115361499B (zh) * 2022-08-16 2024-03-12 小视科技(江苏)股份有限公司 双机协同的边防目标识别与追踪系统及方法
CN116132638B (zh) * 2023-04-04 2023-08-18 南昌云守护科技有限公司 防溺水系统及方法
CN116886876B (zh) * 2023-09-06 2023-11-24 闵长顺 一种安防监控系统及其方法
CN117255180B (zh) * 2023-11-20 2024-02-09 山东通广电子股份有限公司 一种智能安全监控设备及监控方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1489847A2 (en) * 2003-06-18 2004-12-22 Matsushita Electric Industrial Co., Ltd. Video surveillance system, surveillance video composition apparatus, and video surveillance server
CN201248107Y (zh) * 2008-04-30 2009-05-27 深圳市飞瑞斯科技有限公司 主从式摄像机智能视频监控系统
CN102291569A (zh) * 2011-07-27 2011-12-21 上海交通大学 双摄像机自动协同多目标鹰眼观测系统及其观测方法
CN102447835A (zh) * 2011-10-29 2012-05-09 合肥博微安全电子科技有限公司 无盲区多目标协同跟踪方法及系统
CN103679687A (zh) * 2012-09-18 2014-03-26 杭州海康威视数字技术股份有限公司 一种智能跟踪高速球机的目标跟踪的方法
CN104125433A (zh) * 2014-07-30 2014-10-29 西安冉科信息技术有限公司 基于多球机联动结构的视频运动目标监控方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1489847A2 (en) * 2003-06-18 2004-12-22 Matsushita Electric Industrial Co., Ltd. Video surveillance system, surveillance video composition apparatus, and video surveillance server
CN201248107Y (zh) * 2008-04-30 2009-05-27 深圳市飞瑞斯科技有限公司 主从式摄像机智能视频监控系统
CN102291569A (zh) * 2011-07-27 2011-12-21 上海交通大学 双摄像机自动协同多目标鹰眼观测系统及其观测方法
CN102447835A (zh) * 2011-10-29 2012-05-09 合肥博微安全电子科技有限公司 无盲区多目标协同跟踪方法及系统
CN103679687A (zh) * 2012-09-18 2014-03-26 杭州海康威视数字技术股份有限公司 一种智能跟踪高速球机的目标跟踪的方法
CN104125433A (zh) * 2014-07-30 2014-10-29 西安冉科信息技术有限公司 基于多球机联动结构的视频运动目标监控方法

Also Published As

Publication number Publication date
CN105338248A (zh) 2016-02-17

Similar Documents

Publication Publication Date Title
CN105338248B (zh) 智能多目标主动跟踪监控方法及系统
CN105407283B (zh) 一种多目标主动识别跟踪监控方法
US10339386B2 (en) Unusual event detection in wide-angle video (based on moving object trajectories)
US7526102B2 (en) System and method for object tracking and activity analysis
CN103761514B (zh) 基于广角枪机和多球机实现人脸识别的系统及方法
CN105894702A (zh) 一种基于多摄像机数据融合的入侵检测报警系统及其检测方法
Varcheie et al. Adaptive fuzzy particle filter tracker for a PTZ camera in an IP surveillance system
CN101106700A (zh) 视频监控系统中的智能化目标细节捕获装置及方法
WO2006105655A1 (en) Method and system for counting moving objects in a digital video stream
WO2001084844A1 (en) System for tracking and monitoring multiple moving objects
CN111161312B (zh) 一种基于计算机视觉的物体轨迹追踪识别装置及系统
Gangodkar et al. Robust segmentation of moving vehicles under complex outdoor conditions
CN111242025A (zh) 一种基于yolo的动作实时监测方法
WO2017101292A1 (zh) 自动对焦的方法、装置和系统
CN104796580B (zh) 一种基于选择集成的实时稳像视频巡检系统
Jiang et al. An Approach for Crowd Density and Crowd Size Estimation.
WO2003026281A1 (en) Intelligent quad display through cooperative distributed vision
KR101542206B1 (ko) 코아스-파인 기법을 이용한 객체 추출과 추적 장치 및 방법
Huang et al. Rapid detection of camera tampering and abnormal disturbance for video surveillance system
CN109816700A (zh) 一种基于目标识别的信息统计方法
JP6798609B2 (ja) 映像解析装置、映像解析方法およびプログラム
CN116342642A (zh) 目标跟踪方法、装置、电子设备及可读存储介质
Ibrahim et al. Snatch theft detection using low level
CN110062150A (zh) 一种自动对焦方法及装置
Zhu et al. A transform domain approach to real-time foreground segmentation in video sequences

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant