CN102789645B - 一种用于周界防范的多目标快速跟踪方法 - Google Patents
一种用于周界防范的多目标快速跟踪方法 Download PDFInfo
- Publication number
- CN102789645B CN102789645B CN201210207773.8A CN201210207773A CN102789645B CN 102789645 B CN102789645 B CN 102789645B CN 201210207773 A CN201210207773 A CN 201210207773A CN 102789645 B CN102789645 B CN 102789645B
- Authority
- CN
- China
- Prior art keywords
- target
- tracking
- moving
- frame
- targets
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种用于周界防范的多目标快速跟踪方法，涉及计算机视觉、智能视频监控领域。本跟踪方法是：①输入视频；②运动目标检测；③目标跟踪：A、对运动目标进行去噪处理，再采用连通域标记方法获得运动目标的外接矩形；B、根据运动目标的特征，采用特征匹配方法将前一帧运动目标与当前帧运动目标进行关联，获得候选目标匹配对；C、搜索候选目标匹配对的情况；D、采用改进的均值漂移方法进行跟踪；E、采用线性预测方法对目标进行预测；④输出跟踪结果。本发明通过特征匹配方法、均值飘移方法和线性预测方法的有效结合，能够准确鲁棒地跟踪到目标；适用于各种公共场所周界防范的多目标快速跟踪。
Description
技术领域
本发明涉及计算机视觉、智能视频监控领域，具体涉及一种用于周界防范的多目标快速跟踪方法。
背景技术
周界防范系统一般被布置在外围边界围墙或内部建筑物外墙贴边区域，常常作为安防体系的第一环节。周界防范是智能分析系统中的重要组成部分，可应用于各种公共场所包括机场、车站、港口、建筑物周围、街道、小区、及其他场所，用于检测、分类、跟踪和记录过往行人、车辆及其它可疑物体，能够判断是否有行人及车辆在禁区内发生长时间徘徊、停留、逆行等行为。
基于视频流的运动目标跟踪主要包括两个步骤：一是找到我们感兴趣的目标，也就是运动目标检测；二是目标的跟踪，就是将不同帧中检测出来的同一个目标关联起来。常用的基于视频的目标跟踪方法种类比较多，比如基于特征的方法、基于运动的方法和基于匹配的方法等。
均值漂移算法是一种基于密度梯度上升的非参数方法，通过迭代运算找到目标位置，实现目标跟踪。它显著的优点是算法计算量小，简单易实现，很适合于实时跟踪场合；但是当目标与背景较相似情况下常常跟踪失败，文献《Robustmean-shift tracking with corrected background-weighted histogram》中所提的方法在很大程度上解决了目标与背景相似情况下跟踪失败的问题。
发明内容
本发明的目的就在于提高运动目标跟踪的准确性和鲁棒性【robustness，就是系统的健壮性。它是在异常和危险情况下系统生存的关键。比如说，计算机软件在输入错误、磁盘故障、网络过载或有意攻击情况下，能否不死机、不崩溃，就是该软件的鲁棒性。所谓“鲁棒性”，是指控制系统在一定(结构，大小)的参数摄动下，维持某些性能的特性。根据对性能的不同定义，可分为稳定鲁棒性和性能鲁棒性。以闭环系统的鲁棒性作为目标设计得到的固定控制器称为鲁棒控制器。】，提供一种用于周界防范的多目标快速跟踪方法。该方法还包括一种改进的均值漂移方法，由于充分利用了运动目标的精确检测结果，所以跟踪更加鲁棒。
本发明所采用的技术方案是：
利用多高斯背景建模技术检测出视频流中的运动目标，根据前后帧的运动目标的基本特征进行匹配，将同一个目标关联起来。如果目标特征匹配度小于一定阈值，启用改进的均值漂移技术对目标进行跟踪关联，如果均值漂移结果不理想，再使用预测对目标进行预测关联。
一、一种用于周界防范的多目标快速跟踪系统(简称跟踪系统)
本跟踪系统包括工作环境：视频监控平台、综合接入网关、智能管理服务器；
设置有智能分析服务器；
其连接关系是：视频监控平台、综合接入网关、智能管理服务器和智能分析服务器依次连接。
工作原理
智能分析服务器连接到智能管理服务器，智能分析服务器根据智能管理服务器的IP(互联网协议)和端口连接到智能管理服务器；用户请求视频智能分析任务时，此请求发送到智能管理服务器，智能管理服务器30记录下智能分析服务器状态，并将待检测摄像头列表均衡分配到空闲的智能分析服务器，智能分析服务器轮巡设备，从摄像头获取实时视频并解码，得到RGB(red，green，blue，红绿兰颜色表示法)数据，然后对RGB数据进行分析，并将检测结果上报到智能管理服务器，智能管理服务器将结果保存下来。用户也可根据告警类型和日期查询报警，统计生成报表。
二、一种用于周界防范的多目标快速跟踪方法(简称跟踪方法)
本跟踪方法包括下列步骤：
①输入视频
利用待检测摄像头获得视频图像数据，输出到智能分析服务器供分析使用；
②运动目标检测
利用视频图像数据，采用多高斯背景建模方法对运动目标进行检测得到运动目标；
③目标跟踪
A、对运动目标进行去噪处理，再采用连通域标记方法获得运动目标的外接矩形；
B、根据运动目标的特征(中心点位置、大小)，采用特征匹配方法将前一帧运动目标与当前帧运动目标进行关联，获得候选目标匹配对；
C、搜索候选目标匹配对的情况：
如果当前帧运动目标没有被前一帧的运动目标匹配上，则认为当前帧运动目标是新的目标；
如果当前帧运动目标仅仅被前一帧的一个运动目标匹配上，则完成这个目标的跟踪；
如果当前帧运动目标被前一帧的多个运动目标匹配上，则进入步骤D，此处的多个运动目标记为Ti；
D、对Ti分别采用改进的均值漂移方法进行跟踪，如跟踪结果大于阈值，则完成跟踪，如跟踪结果小于阈值，则进入步骤E；
E、采用线性预测方法对目标进行预测，如结果大于阈值，则完成跟踪，如结果小于阈值，则跟踪失败；
④输出跟踪结果。
所述的改进的均值漂移方法其实现步骤如下：
a、输入上一帧图像、前景掩码和目标信息；
b、扩大目标外接矩形，形成一个区域R；
c、计算区域R之中，非前景目标的直方图H1；
d、对直方图H1进行归一化操作；
e、统计目标所在区域的直方图H2；
f、对直方图H2进行归一化操作；
g、计算目标特征。
本发明具有下列优点和积极效果：
1、通过特征匹配方法、均值飘移方法和线性预测方法的有效结合，能够准确鲁棒地跟踪到目标，并且当多个目标由于背景建模或者其它的原因从开始的分开连接到一起时，能够较好地跟踪到各个原始目标，同时多目标跟踪的速度能够满足实时分析需求；
2、本发明适用于各种公共场所周界防范的多目标快速跟踪。
附图说明
图1是本系统的结构方框图；
图中：
10—视频监控平台，
11—第1视频监控平台，
12—第2视频监控平台……
1N—第N视频监控平台，N是自然数，N<10；
20—综合接入网关；
30—智能管理服务器；
40—智能分析服务器，
41—第1智能分析服务器……
4N—第N智能分析服务器，N是自然数，N<100。
图2是本方法的步骤图；
图3是目标跟踪的流程图；
图4是改进的均值漂移的流程图；
图5是均值漂移改进前后的区别图。
具体实施方式
下面结合附图和实施例对本发明详细说明：
一、跟踪系统
1、总体
如图1，本统计系统包括工作环境：视频监控平台10、综合接入网关20、智能管理服务器30；
设置有智能分析服务器40；
其连接关系是：视频监控平台10、综合接入网关20、智能管理服务器30和智能分析服务器40依次连接。
2、功能部件
1)视频监控平台10
为用户提供实时音视频和各种报警信号的远程采集、传输、存储和处理等业务。
2)综合接入网关20
实现视频监控平台的统计接入。
3)智能管理服务器30
实现智能资源管理，负责管理智能分析资源。
4)智能分析服务器40
智能分析服务器40是视频智能分析的功能实体，在物理分布上对应一台服务器。智能分析服务器40由多个VA(视频分析单元)组成，每个VA可独立完成一路视频的智能分析。
具体地说，智能分析服务器40的VA模块包括通用电脑及植入电脑内的功能软件。
主要功能为：
①实现视频智能分析算法；
②接入到智能管理服务器30，由智能管理服务器30集中管理；
③接收智能管理服务器30的视频智能分析请求，从视频监控平台10获取视频并进行分析；
④将诊断结果上报给智能管理服务器30。
二、跟踪方法
如图2，实现步骤如下所示：
①输入视频-201；
②运动目标检测-202；
③目标跟踪-203；
④输出跟踪-204。
1、目标跟踪
运动目标跟踪利用目标前后帧的特征进行匹配关联，当通过特征匹配不能得到好的结果时，再利用改进的均值漂移算法进行跟踪，如果改进的均值漂移算法不能得到好的结果，最后利用预测进行跟踪。
如图3，实现步骤如下：
①输入上一帧检测的运动目标-301；
②输入当前帧检测的运动目标-302；
③将上一帧目标与当前帧目标进行特征匹配，记录结果-303；
④搜索匹配结果，分别进行处理-304；
⑤判断当前帧中目标是否被上一帧中一个目标匹配上-305，是则完成这个目标的跟踪-306；否则，判断当前帧中目标是否被上一帧中多个目标匹配上-307，是则进入步骤⑥，否则新建一个目标-308；
⑥运用改进的均值漂移在当前帧中搜索上一帧中出现的目标-309；
⑦判断计算搜索结果目标的外接矩形与当前帧目标外接矩形交集大于阈值-310，是则以跟踪结果为准，完成跟踪-311，否则进入步骤⑧；
⑧根据上一帧目标的运动信息，进行预测-312；
⑨判断计算预测结果目标的外接矩形与当前帧目标外接矩形交集是否大于阈值-313，如果交集，以预测结果为准，完成跟踪-311，否则跟踪失败-314。
2、改进的均值漂移
改进的均值漂移是利用运动目标的检测结果，降低运动目标中与周围环境相似像素的比重。在文献《Robust mean-shift tracking with correctedbackground-weighted histogram》中，计算目标特征的过程中，背景统计的是目标外接矩形与扩大外接矩形之后形成的区域，而本文统计的是滤掉前景之后的区域，如图5所示。与上文背景技术中提到的改进的均值漂移相比，本文所计算的目标像素与非目标像素更加精确，从而到达更加鲁棒的跟踪效果。(具体的计算公式及其程序参见文献《Robust mean-shift tracking with correctedbackground-weighted histogram》)
如图4，本文的特征计算实现步骤如下：
①输入上一帧图像、前景掩码和目标信息-401；
②扩大目标外接矩形，形成一个区域R-402；
③计算区域R之中，非前景目标的直方图H1-403；
④对直方图H1进行归一化操作-404；
⑤统计目标所在区域的直方图H2-405；
⑥对直方图H2进行归一化操作-406；
⑦计算目标特征-407。
Claims (1)
1.一种用于周界防范的多目标快速跟踪方法，其特征在于包括下列步骤：
①输入视频；
②运动目标检测
采用多高斯背景建模方法对运动目标进行检测，得到运动目标；
③目标跟踪；
④输出跟踪结果；
所述的运动目标跟踪利用目标前后帧的特征进行匹配关联，当通过特征匹配不能得到好的结果时，再利用改进的均值漂移算法进行跟踪，如果改进的均值漂移算法不能得到好的结果，最后利用预测进行跟踪；实现步骤如下：
A、输入上一帧检测的运动目标(301)；
B、输入当前帧检测的运动目标(302)；
C、将上一帧目标与当前帧目标进行特征匹配，记录结果(303)；
D、搜索匹配结果，分别进行处理(304)；
E、判断当前帧中目标是否被上一帧中一个目标匹配上(305)，是则完成这个目标的跟踪(306)；否则，判断当前帧中目标是否被上一帧中多个目标匹配上(307)，是则进入步骤F，否则新建一个目标(308)；
F、运用改进的均值漂移在当前帧中搜索上一帧中出现的目标(309)；
G、判断计算搜索结果目标的外接矩形与当前帧目标外接矩形交集大于阈值(310)，是则以跟踪结果为准，完成跟踪(311)，否则进入步骤H；
H、根据上一帧目标的运动信息，进行预测(312)；
I、判断计算预测结果目标的外接矩形与当前帧目标外接矩形交集是否大于阈值(313)，如果交集，以预测结果为准，完成跟踪(311)，否则跟踪失败(314)；
所述的改进的均值漂移方法其实现步骤如下：
a、输入上一帧图像、前景掩码和目标信息(401)；
b、扩大目标外接矩形，形成一个区域R(402)；
c、计算区域R之中，非前景目标的直方图H1(403)；
d、对直方图H1进行归一化操作(404)；
e、统计目标所在区域的直方图H2(405)；
f、对直方图H2进行归一化操作(406)；
g、计算目标特征(407)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210207773.8A CN102789645B (zh) | 2012-06-21 | 2012-06-21 | 一种用于周界防范的多目标快速跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210207773.8A CN102789645B (zh) | 2012-06-21 | 2012-06-21 | 一种用于周界防范的多目标快速跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102789645A CN102789645A (zh) | 2012-11-21 |
| CN102789645B true CN102789645B (zh) | 2015-06-17 |
Family
ID=47155043
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210207773.8A Active CN102789645B (zh) | 2012-06-21 | 2012-06-21 | 一种用于周界防范的多目标快速跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102789645B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103440667B (zh) * | 2013-07-19 | 2016-08-10 | 杭州师范大学 | 一种遮挡状态下运动目标稳定追踪的自动装置 |
| CN104680143B (zh) * | 2015-02-28 | 2018-02-27 | 武汉烽火众智数字技术有限责任公司 | 一种用于视频侦查的快速图像检索方法 |
| CN104866827B (zh) * | 2015-05-19 | 2018-10-30 | 天津大学 | 基于视频监控平台的人员翻越行为的检测方法 |
| CN108446630B (zh) * | 2018-03-20 | 2019-12-31 | 平安科技（深圳）有限公司 | 机场跑道智能监控方法、应用服务器及计算机存储介质 |
| CN109118523B (zh) * | 2018-09-20 | 2022-04-22 | 电子科技大学 | 一种基于yolo的图像目标跟踪方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101807303A (zh) * | 2010-03-05 | 2010-08-18 | 北京智安邦科技有限公司 | 一种基于多目标均值漂移的跟踪装置 |
| CN102012769A (zh) * | 2010-11-18 | 2011-04-13 | 无锡中星微电子有限公司 | 利用摄像头对屏幕上的内容进行多点控制的方法和装置 |
-
2012
- 2012-06-21 CN CN201210207773.8A patent/CN102789645B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101807303A (zh) * | 2010-03-05 | 2010-08-18 | 北京智安邦科技有限公司 | 一种基于多目标均值漂移的跟踪装置 |
| CN102012769A (zh) * | 2010-11-18 | 2011-04-13 | 无锡中星微电子有限公司 | 利用摄像头对屏幕上的内容进行多点控制的方法和装置 |
Non-Patent Citations (3)
| Title |
|---|
| Robust mean-shift tracking with corrected background-weighted histogram;J Ning;《Computer Vision》;20100627;62－69 * |
| 孔军, 等.基于多尺度特征提取的均值漂移目标跟踪算法.《计算机工程》.2011, * |
| 孔军,等.基于多尺度特征提取的均值漂移目标跟踪算法.《计算机工程》.2011,第37卷(第22期),164-167. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102789645A (zh) | 2012-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xiao et al. | Vision-based method integrating deep learning detection for tracking multiple construction machines | |
| Jiang et al. | Object tracking on event cameras with offline–online learning | |
| Franklin | Traffic signal violation detection using artificial intelligence and deep learning | |
| Yun et al. | Vision‐based garbage dumping action detection for real‐world surveillance platform | |
| US8447069B2 (en) | Apparatus and method for moving object detection | |
| del Postigo et al. | Vacant parking area estimation through background subtraction and transience map analysis | |
| CN102789645B (zh) | 一种用于周界防范的多目标快速跟踪方法 | |
| CN110837582B (zh) | 数据关联方法、装置、电子设备和计算机可读存储介质 | |
| CN101208710A (zh) | 从俯视视频流进行目标检测及跟踪 | |
| US20210312799A1 (en) | Detecting traffic anomaly event | |
| Lee et al. | Real-time illegal parking detection in outdoor environments using 1-D transformation | |
| Jung et al. | 3D convolutional neural network‐based one‐stage model for real‐time action detection in video of construction equipment | |
| CN104966304A (zh) | 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法 | |
| CN111738240A (zh) | 区域监测方法、装置、设备及存储介质 | |
| Li et al. | Decoupled appearance and motion learning for efficient anomaly detection in surveillance video | |
| CN103246896A (zh) | 一种鲁棒性车辆实时检测与跟踪方法 | |
| CN111079621B (zh) | 检测对象的方法、装置、电子设备和存储介质 | |
| Blasch et al. | Video-based activity analysis using the L1 tracker on VIRAT data | |
| EP3872702B1 (en) | Light color identifying method and apparatus of signal light, and roadside device | |
| Sun et al. | Moving vehicle detection and tracking based on optical flow method and immune particle filter under complex transportation environments | |
| CN104219488A (zh) | 目标图像的生成方法和装置、以及视频监控系统 | |
| Kim et al. | Sequential pattern learning of visual features and operation cycles for vision-based action recognition of earthmoving excavators | |
| CN115393681A (zh) | 一种目标融合方法、装置、电子设备及存储介质 | |
| Masmoudi et al. | Trajectory analysis for parking lot vacancy detection system | |
| CN103455997A (zh) | 一种遗弃物检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |