CN104156978B - 基于球载平台的多目标动态跟踪方法 - Google Patents
基于球载平台的多目标动态跟踪方法 Download PDFInfo
- Publication number
- CN104156978B CN104156978B CN201410323784.1A CN201410323784A CN104156978B CN 104156978 B CN104156978 B CN 104156978B CN 201410323784 A CN201410323784 A CN 201410323784A CN 104156978 B CN104156978 B CN 104156978B
- Authority
- CN
- China
- Prior art keywords
- target
- tracking
- balloon
- dimensionality reduction
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 claims abstract description 39
- 230000009467 reduction Effects 0.000 claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 16
- 230000006835 compression Effects 0.000 claims abstract description 5
- 238000007906 compression Methods 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims abstract description 4
- 230000003287 optical effect Effects 0.000 claims description 18
- 230000001186 cumulative effect Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 230000004069 differentiation Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims 1
- 230000008901 benefit Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000002401 inhibitory effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开了一种基于球载平台的多目标动态跟踪方法，包括有手动框选目标跟踪方法、自动检测跟踪方法，所述的手动框选目标跟踪方法是手动的在球载平台录像上标定一个跟踪目标然后予以跟踪，采用压缩降维方法，通过压缩降维理论来降维前景目标和背景的特征，作为在线学习更新分类器的正样本和负样本，然后使用该训练分类器去预测下一帧图像的目标位置；自动跟踪方法是通过在高空球载相机传下来的图像上手动设定一块初始化检测区域，然后对这块指定区域实时检测运动目标，对于检测出来的运动目标，予以标注出来，然后使用上述同样的在线学习跟踪方法去跟踪。本发明在保持跟踪实时性和一定准确率前提下有效克服球载视频晃动引起的跟踪难题。
Description
技术领域
本发明涉及运动目标检测跟踪领域，具体涉及一种基于球载平台的多目标动态跟踪方法。
背景技术
球载平台浮空气球属于航空产品范畴。它可以搭载不同的电子设备来执行特定任务，具有留空时间长、载重能力大、安全性好、运行成本低等优点，具有飞机、卫星等其他平台难以替代的优势，在城市安防、防灾减灾和遥感、广播电视、测绘等领域有着广泛的应用前景，是目前世界各国竞相发展的焦点和热点，据中央台报道俄罗斯正在研制巨型飞艇，我国也将其列入十七个重大科技专项之一。
目前搭载在浮空气球载上的安防设备主要是可见光视频，其视频信息主要通过信号线传输到地面控制室，依靠地面人工值守监控，效率较低。随着浮空平台市场占有率的进一步扩大，如何进一步增强浮空平台的智能视频分析功能，提高其市场附加值，成为一个很重要的问题。本方法拟对浮空气球载视频监控系统中多目标跟踪展开研究，但是由于浮空气球载视频会出现背景的晃动，大大提高跟踪的难度系数，本发明也正是基于此问题而提出的基于球载平台的多目标跟踪方法，可以在一定的背景晃动下具有满意的跟踪效果。
发明内容
本发明提供了一种基于球载平台的多目标动态跟踪方法，以解决传统球载视频背景晃动而产生的跟踪难题。
为了达到上述目的，本发明所采用的技术方案为：
一种基于球载平台的多目标动态跟踪方法，其特征在于：包括有手动框选目标跟踪方法、自动检测跟踪方法，如果在跟踪的过程中选择警戒区域绘制抓拍预警以及录像实时保存，所述的警戒区域绘制抓拍预警是通过预先在高空球载相机监控场景的图像上绘制一块警戒区域，则所有经过该警戒区域的跟踪目标都会被进行抓拍预警；
（1）所述的手动框选目标跟踪方法是通过采用一种高效的跟踪算法实时的对高空球载相机传下来的图像框选出感兴趣的运动目标进行跟踪，手动框选目标跟踪方法要求跟踪的实时性以及对背景晃动的鲁棒性，同时如果跟踪目标进入了绘制的警戒区域，要求对其抓拍预警；具体为：
手动的在球载平台录像上标定一个跟踪目标然后予以跟踪，目标跟踪最基本要求就是实时性，同时由于是球载平台晃动，要求跟踪方法对背景晃动具有一定的鲁棒性；为了达到跟踪的实时性，采用压缩降维方法，通过压缩降维理论来降维前景目标和背景的特征，作为在线学习更新分类器的正样本和负样本，然后使用该训练分类器去预测下一帧图像的目标位置；正是将高维特征进行降维才能在不影响跟踪准确性前提下大幅度提高跟踪速度，具体跟踪过程：
1）在t帧的时候，采样得到若干张目标和背景的图像，其中目标和背景分别为正样本和负样本，然后对他们进行多尺度变换，再通过一个稀疏测量矩阵对多尺度图像特征进行降维，然后通过降维后的特征去训练朴素贝叶斯分类器，其中降维后的特征包括目标和背景；
2）在t+1帧的时候，在上一帧跟踪到的目标位置的周围采样n个扫描窗口（避免去扫描整幅图像），通过同样的稀疏测量矩阵对其降维，提取特征，然后用第t帧训练好的朴素贝叶斯分类器进行分类，分类分数最大的窗口就认为是目标窗口，这样就实现了从t帧到t+1帧的目标跟踪；
综上所述，手动框选目标跟踪方法中，通过稀疏测量矩阵对数目庞大的多尺度变换特征进行压缩，同时，由于为了抑制球载平台的晃动对跟踪结果影响，需要实时的更新分类器，以适应场景的变化，正是通过不断学习跟新分类器，实现背景晃动下目标跟踪。
（2）所述的自动跟踪方法是通过在高空球载相机传下来的图像上手动设定一块初始化检测区域，然后对这块指定区域实时检测运动目标，对于检测出来的运动目标，予以标注出来，然后使用步骤（1）中同样的在线学习跟踪方法去跟踪；其中检测运动目标的具体过程为：
由于球载平台下的图像都是会存在的晃动的，因此传统的静态背景下的运动目标检测算法在这里就失去了效果，为了提高检测性能，采用了经典光流算法；通过对标定的检测区域使用光流算法，来粗略的区分运动目标和背景，但是由于球载平台下视频都会存在背景明显晃动的现象，所以对每帧图像都做光流算法也无法准确的区别运动目标和背景，为使光流算法行之有效，必须在一定程度上抑制背景的晃动对光流检测目标的影响，由于球载浮空平台的抑制作用，使得球载相机只会出现左右来回晃动，不会出现相机上下晃动，这样球载平台录像多数情况下出现的都是左右来回晃动情况；为了抑制背景晃动对光流检测的影响，则通过计算各帧光流向量的累加和，因为背景是来回晃动，背景的运动速度矢量会被很好的抵消，通过当前帧的计算光流和光流累加和一起来确定修正运动目标；正是通过上述光流累加和的信息以及当前帧的信息按一定比例进行叠加而很好的抑制背景晃动对目标检测带来的影响，由于跟踪检测的实时性能要求，光流检测目标的算法性能必须非常高效，但是光流法一直无法普及应用与其计算量大速度性能差有很大关联性，为了解决光流法速度性能的问题，这里充分利用显卡的计算能力，利用显卡进行光流计算，这样可以同时使用CPU和GPU来解决传统光流法速度劣势的问题，达到检测的实时性能要求。
本发明的优点是：
本发明方法可以在保持跟踪实时性和一定准确率前提下有效克服球载视频晃动引起的跟踪难题。
附图说明
图1为本发明的整体流程图。
图2为手动框选目标跟踪方法原理图。
图3为光流检测目标的原理图。
具体实施方式
如图1所示，一种基于球载平台的多目标动态跟踪方法，包括有手动框选目标跟踪方法、自动检测跟踪方法，如果在跟踪的过程中选择警戒区域绘制抓拍预警以及录像实时保存，所述的警戒区域绘制抓拍预警是通过预先在高空球载相机监控场景的图像上绘制一块警戒区域，则所有经过该警戒区域的跟踪目标都会被进行抓拍预警；
（1）如图2所示，手动框选目标跟踪方法是通过采用一种高效的跟踪算法实时的对高空球载相机传下来的图像框选出感兴趣的运动目标进行跟踪，手动框选目标跟踪方法要求跟踪的实时性以及对背景晃动的鲁棒性，同时如果跟踪目标进入了绘制的警戒区域，要求对其抓拍预警；具体为：
手动的在球载平台录像上标定一个跟踪目标然后予以跟踪，目标跟踪最基本要求就是实时性，同时由于是球载平台晃动，要求跟踪方法对背景晃动具有一定的鲁棒性；为了达到跟踪的实时性，采用压缩降维方法，通过压缩降维理论来降维前景目标和背景的特征，作为在线学习更新分类器的正样本和负样本，然后使用该训练分类器去预测下一帧图像的目标位置；正是将高维特征进行降维才能在不影响跟踪准确性前提下大幅度提高跟踪速度，具体跟踪过程：
1）在t帧的时候，采样得到若干张目标和背景的图像，其中目标和背景分别为正样本和负样本，然后对他们进行多尺度变换，再通过一个稀疏测量矩阵对多尺度图像特征进行降维，然后通过降维后的特征去训练朴素贝叶斯分类器，其中降维后的特征包括目标和背景；
2）在t+1帧的时候，在上一帧跟踪到的目标位置的周围采样n个扫描窗口（避免去扫描整幅图像），通过同样的稀疏测量矩阵对其降维，提取特征，然后用第t帧训练好的朴素贝叶斯分类器进行分类，分类分数最大的窗口就认为是目标窗口，这样就实现了从t帧到t+1帧的目标跟踪；
综上所述，手动框选目标跟踪方法中，通过稀疏测量矩阵对数目庞大的多尺度变换特征进行压缩，同时，由于为了抑制球载平台的晃动对跟踪结果影响，需要实时的更新分类器，以适应场景的变化，正是通过不断学习跟新分类器，实现背景晃动下目标跟踪。
（2）所述的自动跟踪方法是通过在高空球载相机传下来的图像上手动设定一块初始化检测区域，然后对这块指定区域实时检测运动目标，对于检测出来的运动目标，予以标注出来，然后使用步骤（1）中同样的在线学习跟踪方法去跟踪；其中检测运动目标的具体过程为：
由于球载平台下的图像都是会存在的晃动的，因此传统的静态背景下的运动目标检测算法在这里就失去了效果，为了提高检测性能，采用了经典光流算法；通过对标定的检测区域使用光流算法，来粗略的区分运动目标和背景，但是由于球载平台下视频都会存在背景明显晃动的现象，所以对每帧图像都做光流算法也无法准确的区别运动目标和背景，为使光流算法行之有效，必须在一定程度上抑制背景的晃动对光流检测目标的影响，由于球载浮空平台的抑制作用，使得球载相机只会出现左右来回晃动，不会出现相机上下晃动，这样球载平台录像多数情况下出现的都是左右来回晃动情况；为了抑制背景晃动对光流检测的影响，则通过计算各帧光流向量的累加和，因为背景是来回晃动，背景的运动速度矢量会被很好的抵消，通过当前帧的计算光流和光流累加和一起来确定修正运动目标；图3为光流检测目标的原理图：正是通过上述光流累加和的信息以及当前帧的信息按一定比例进行叠加而很好的抑制背景晃动对目标检测带来的影响，由于跟踪检测的实时性能要求，光流检测目标的算法性能必须非常高效，但是光流法一直无法普及应用与其计算量大速度性能差有很大关联性，为了解决光流法速度性能的问题，这里充分利用显卡的计算能力，利用显卡进行光流计算，这样可以同时使用CPU和GPU来解决传统光流法速度劣势的问题，达到检测的实时性能要求。
Claims (1)
1.一种基于球载平台的多目标动态跟踪方法，其特征在于：包括有手动框选目标跟踪方法、自动检测跟踪方法，如果在跟踪的过程中选择警戒区域绘制抓拍预警以及录像实时保存，则所有经过该警戒区域的跟踪目标都会被进行抓拍预警；所述的警戒区域绘制抓拍预警是通过预先在高空球载相机监控场景的图像上绘制一块警戒区域；
（1）所述的手动框选目标跟踪方法是通过采用跟踪算法实时地对高空球载相机传下来的图像框选出感兴趣的运动目标进行跟踪，同时如果跟踪目标进入了绘制的警戒区域，要求对其抓拍预警；具体为：
手动的在球载平台录像上标定一个跟踪目标然后予以跟踪，采用压缩降维方法，通过压缩降维理论来降维前景目标和背景的特征，作为在线学习更新分类器的正样本和负样本，然后使用该训练分类器去预测下一帧图像的目标位置；具体跟踪过程：
1）在t帧的时候，采样得到若干张目标和背景的图像，其中目标和背景分别为正样本和负样本，然后对它们进行多尺度变换，再通过一个稀疏测量矩阵对多尺度图像特征进行降维，然后通过降维后的特征去训练朴素贝叶斯分类器，其中降维后的特征包括目标和背景；
2）在t+1帧的时候，在上一帧跟踪到的目标位置的周围采样n个扫描窗口，通过同样的稀疏测量矩阵对其降维，提取特征，然后用第t帧训练好的朴素贝叶斯分类器进行分类，分类分数最大的窗口就认为是目标窗口，这样就实现了从t帧到t+1帧的目标跟踪；
（2）所述的自动跟踪方法是通过在高空球载相机传下来的图像上手动设定一块初始化检测区域，然后对这块指定区域实时检测运动目标，对于检测出来的运动目标，予以标注出来，然后使用步骤（1）中同样的在线学习跟踪方法去跟踪；其中检测运动目标的具体过程为：
通过对标定的检测区域使用光流算法进行检测，来粗略的区分运动目标和背景，计算各帧光流向量的累加和，通过当前帧的计算光流和光流向量的累加和一起来确定修正运动目标；其中，利用显卡进行光流计算，即同时使用CPU和GPU来实时计算光流。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410323784.1A CN104156978B (zh) | 2014-07-04 | 2014-07-04 | 基于球载平台的多目标动态跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410323784.1A CN104156978B (zh) | 2014-07-04 | 2014-07-04 | 基于球载平台的多目标动态跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104156978A CN104156978A (zh) | 2014-11-19 |
| CN104156978B true CN104156978B (zh) | 2018-08-10 |
Family
ID=51882467
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410323784.1A Expired - Fee Related CN104156978B (zh) | 2014-07-04 | 2014-07-04 | 基于球载平台的多目标动态跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104156978B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104680554B (zh) * | 2015-01-08 | 2017-10-31 | 深圳大学 | 基于surf的压缩跟踪方法和系统 |
| CN106156808B (zh) * | 2015-04-23 | 2019-09-20 | 佳能株式会社 | 对象分类器的在线学习方法和设备以及检测方法和设备 |
| CN107305557A (zh) * | 2016-04-20 | 2017-10-31 | 北京陌上花科技有限公司 | 内容推荐方法及装置 |
| CN106934339B (zh) * | 2017-01-19 | 2021-06-11 | 上海博康智能信息技术有限公司 | 一种目标跟踪、跟踪目标识别特征的提取方法和装置 |
| CN109445453A (zh) * | 2018-09-12 | 2019-03-08 | 湖南农业大学 | 一种基于OpenCV的无人机实时压缩跟踪方法 |
| CN111597864A (zh) * | 2019-02-21 | 2020-08-28 | 中南大学 | 基于累积光流加权特征的微表情识别方法 |
| CN110660090B (zh) | 2019-09-29 | 2022-10-25 | Oppo广东移动通信有限公司 | 主体检测方法和装置、电子设备、计算机可读存储介质 |
| CN111369578B (zh) * | 2020-02-25 | 2023-06-30 | 四川新视创伟超高清科技有限公司 | 云台异动智能跟踪方法及其系统 |
| CN111814602B (zh) * | 2020-06-23 | 2022-06-17 | 成都信息工程大学 | 一种基于视觉的智能车环境动态目标检测的方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101694716A (zh) * | 2009-10-10 | 2010-04-14 | 北京理工大学 | 一种针对多点目标的立体视觉光学跟踪系统 |
| CN103679754A (zh) * | 2013-12-20 | 2014-03-26 | 河北汉光重工有限责任公司 | 一种实时目标搜索与跟踪技术 |
| CN103871079A (zh) * | 2014-03-18 | 2014-06-18 | 南京金智视讯技术有限公司 | 基于机器学习和光流的车辆跟踪方法 |
| CN103871076A (zh) * | 2014-02-27 | 2014-06-18 | 西安电子科技大学 | 基于光流法和超像素分割的运动目标提取方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI482123B (zh) * | 2009-11-18 | 2015-04-21 | Ind Tech Res Inst | 多狀態目標物追蹤方法及系統 |
-
2014
- 2014-07-04 CN CN201410323784.1A patent/CN104156978B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101694716A (zh) * | 2009-10-10 | 2010-04-14 | 北京理工大学 | 一种针对多点目标的立体视觉光学跟踪系统 |
| CN103679754A (zh) * | 2013-12-20 | 2014-03-26 | 河北汉光重工有限责任公司 | 一种实时目标搜索与跟踪技术 |
| CN103871076A (zh) * | 2014-02-27 | 2014-06-18 | 西安电子科技大学 | 基于光流法和超像素分割的运动目标提取方法 |
| CN103871079A (zh) * | 2014-03-18 | 2014-06-18 | 南京金智视讯技术有限公司 | 基于机器学习和光流的车辆跟踪方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104156978A (zh) | 2014-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104156978B (zh) | 基于球载平台的多目标动态跟踪方法 | |
| Li et al. | 3D parallel fully convolutional networks for real-time video wildfire smoke detection | |
| CN106096577B (zh) | 一种摄像头分布地图中的目标追踪方法 | |
| CN100545867C (zh) | 航拍交通视频车辆快速检测方法 | |
| CN105678811B (zh) | 一种基于运动检测的人体异常行为检测方法 | |
| CN106447680B (zh) | 动态背景环境下雷达与视觉融合的目标检测与跟踪方法 | |
| CN104134222B (zh) | 基于多特征融合的车流监控图像检测和跟踪系统及方法 | |
| JP5325899B2 (ja) | 侵入警報ビデオ処理装置 | |
| CN102799883B (zh) | 一种从视频图像中提取运动目标的方法及装置 | |
| CN107657244B (zh) | 一种基于多摄像机的人体跌倒行为检测系统及其检测方法 | |
| Fan et al. | Modeling of temporarily static objects for robust abandoned object detection in urban surveillance | |
| KR101062225B1 (ko) | 감시 카메라를 이용한 지능형 영상 검색 방법 및 시스템 | |
| CN108764338B (zh) | 一种应用于视频分析的行人跟踪方法 | |
| CN106709903B (zh) | 基于图像质量的pm2.5浓度预测方法 | |
| CN106296677A (zh) | 一种基于双背景模型的双掩膜背景更新的遗留物检测方法 | |
| Singh et al. | Vehicle detection and accident prediction in sand/dust storms | |
| Shostko et al. | Optical-electronic system of automatic detection and higt-precise tracking of aerial objects in real-time. | |
| CN108876807A (zh) | 一种实时星载卫星图像运动对象检测跟踪方法 | |
| Satybaldina et al. | Development of an algorithm for abnormal human behavior detection in intelligent video surveillance system | |
| Kurilkin et al. | A comparison of methods to detect people flow using video processing | |
| CN111339824A (zh) | 基于机器视觉的路面抛洒物检测方法 | |
| Kryjak et al. | FPGA implementation of camera tamper detection in real-time | |
| Wibowo et al. | Implementation of Background Subtraction for Counting Vehicle Using Mixture of Gaussians with ROI Optimization | |
| Huang et al. | Motion characteristics estimation of animals in video surveillance | |
| Hardan et al. | Developing an Automated Vision System for Maintaing Social Distancing to Cure the Pandemic |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180810 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |