CN104156978A - 基于球载平台的多目标动态跟踪方法 - Google Patents
基于球载平台的多目标动态跟踪方法 Download PDFInfo
- Publication number
- CN104156978A CN104156978A CN201410323784.1A CN201410323784A CN104156978A CN 104156978 A CN104156978 A CN 104156978A CN 201410323784 A CN201410323784 A CN 201410323784A CN 104156978 A CN104156978 A CN 104156978A
- Authority
- CN
- China
- Prior art keywords
- target
- frame
- tracking
- following method
- dimensionality reduction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开了一种基于球载平台的多目标动态跟踪方法,包括有手动框选目标跟踪方法、自动检测跟踪方法,所述的手动框选目标跟踪方法是手动的在球载平台录像上标定一个跟踪目标然后予以跟踪,采用压缩降维方法,通过压缩降维理论来降维前景目标和背景的特征,作为在线学习更新分类器的正样本和负样本,然后使用该训练分类器去预测下一帧图像的目标位置;自动跟踪方法是通过在高空球载相机传下来的图像上手动设定一块初始化检测区域,然后对这块指定区域实时检测运动目标,对于检测出来的运动目标,予以标注出来,然后使用上述同样的在线学习跟踪方法去跟踪。本发明在保持跟踪实时性和一定准确率前提下有效克服球载视频晃动引起的跟踪难题。
Description
技术领域
本发明涉及运动目标检测跟踪领域,具体涉及一种基于球载平台的多目标动态跟踪方法。
背景技术
球载平台浮空气球属于航空产品范畴。它可以搭载不同的电子设备来执行特定任务,具有留空时间长、载重能力大、安全性好、运行成本低等优点,具有飞机、卫星等其他平台难以替代的优势,在城市安防、防灾减灾和遥感、广播电视、测绘等领域有着广泛的应用前景,是目前世界各国竞相发展的焦点和热点,据中央台报道俄罗斯正在研制巨型飞艇,我国也将其列入十七个重大科技专项之一。
目前搭载在浮空气球载上的安防设备主要是可见光视频,其视频信息主要通过信号线传输到地面控制室,依靠地面人工值守监控,效率较低。随着浮空平台市场占有率的进一步扩大,如何进一步增强浮空平台的智能视频分析功能,提高其市场附加值,成为一个很重要的问题。本方法拟对浮空气球载视频监控系统中多目标跟踪展开研究,但是由于浮空气球载视频会出现背景的晃动,大大提高跟踪的难度系数,本发明也正是基于此问题而提出的基于球载平台的多目标跟踪方法,可以在一定的背景晃动下具有满意的跟踪效果。
发明内容
本发明提供了一种基于球载平台的多目标动态跟踪方法,以解决传统球载视频背景晃动而产生的跟踪难题。
为了达到上述目的,本发明所采用的技术方案为:
一种基于球载平台的多目标动态跟踪方法,其特征在于:包括有手动框选目标跟踪方法、自动检测跟踪方法,如果在跟踪的过程中选择警戒区域绘制抓拍预警以及录像实时保存,所述的警戒区域绘制抓拍预警是通过预先在高空球载相机监控场景的图像上绘制一块警戒区域,则所有经过该警戒区域的跟踪目标都会被进行抓拍预警;
(1)所述的手动框选目标跟踪方法是通过采用一种高效的跟踪算法实时的对高空球载相机传下来的图像框选出感兴趣的运动目标进行跟踪,手动框选目标跟踪方法要求跟踪的实时性以及对背景晃动的鲁棒性,同时如果跟踪目标进入了绘制的警戒区域,要求对其抓拍预警;具体为:
手动的在球载平台录像上标定一个跟踪目标然后予以跟踪,目标跟踪最基本要求就是实时性,同时由于是球载平台晃动,要求跟踪方法对背景晃动具有一定的鲁棒性;为了达到跟踪的实时性,采用压缩降维方法,通过压缩降维理论来降维前景目标和背景的特征,作为在线学习更新分类器的正样本和负样本,然后使用该训练分类器去预测下一帧图像的目标位置;正是将高维特征进行降维才能在不影响跟踪准确性前提下大幅度提高跟踪速度,具体跟踪过程:
1)在t帧的时候,采样得到若干张目标和背景的图像,其中目标和背景分别为正样本和负样本,然后对他们进行多尺度变换,再通过一个稀疏测量矩阵对多尺度图像特征进行降维,然后通过降维后的特征去训练朴素贝叶斯分类器,其中降维后的特征包括目标和背景;
2)在t+1帧的时候,在上一帧跟踪到的目标位置的周围采样n个扫描窗口(避免去扫描整幅图像),通过同样的稀疏测量矩阵对其降维,提取特征,然后用第t帧训练好的朴素贝叶斯分类器进行分类,分类分数最大的窗口就认为是目标窗口,这样就实现了从t帧到t+1帧的目标跟踪;
综上所述,手动框选目标跟踪方法中,通过稀疏测量矩阵对数目庞大的多尺度变换特征进行压缩,同时,由于为了抑制球载平台的晃动对跟踪结果影响,需要实时的更新分类器,以适应场景的变化,正是通过不断学习跟新分类器,实现背景晃动下目标跟踪。
(2)所述的自动跟踪方法是通过在高空球载相机传下来的图像上手动设定一块初始化检测区域,然后对这块指定区域实时检测运动目标,对于检测出来的运动目标,予以标注出来,然后使用步骤(1)中同样的在线学习跟踪方法去跟踪;其中检测运动目标的具体过程为:
由于球载平台下的图像都是会存在的晃动的,因此传统的静态背景下的运动目标检测算法在这里就失去了效果,为了提高检测性能,采用了经典光流算法;通过对标定的检测区域使用光流算法,来粗略的区分运动目标和背景,但是由于球载平台下视频都会存在背景明显晃动的现象,所以对每帧图像都做光流算法也无法准确的区别运动目标和背景,为使光流算法行之有效,必须在一定程度上抑制背景的晃动对光流检测目标的影响,由于球载浮空平台的抑制作用,使得球载相机只会出现左右来回晃动,不会出现相机上下晃动,这样球载平台录像多数情况下出现的都是左右来回晃动情况;为了抑制背景晃动对光流检测的影响,则通过计算各帧光流向量的累加和,因为背景是来回晃动,背景的运动速度矢量会被很好的抵消,通过当前帧的计算光流和光流累加和一起来确定修正运动目标;正是通过上述光流累加和的信息以及当前帧的信息按一定比例进行叠加而很好的抑制背景晃动对目标检测带来的影响,由于跟踪检测的实时性能要求,光流检测目标的算法性能必须非常高效,但是光流法一直无法普及应用与其计算量大速度性能差有很大关联性,为了解决光流法速度性能的问题,这里充分利用显卡的计算能力,利用显卡进行光流计算,这样可以同时使用CPU和GPU来解决传统光流法速度劣势的问题,达到检测的实时性能要求。
本发明的优点是:
本发明方法可以在保持跟踪实时性和一定准确率前提下有效克服球载视频晃动引起的跟踪难题。
附图说明
图1为本发明的整体流程图。
图2为手动框选目标跟踪方法原理图。
图3为光流检测目标的原理图。
具体实施方式
如图1所示,一种基于球载平台的多目标动态跟踪方法,包括有手动框选目标跟踪方法、自动检测跟踪方法,如果在跟踪的过程中选择警戒区域绘制抓拍预警以及录像实时保存,所述的警戒区域绘制抓拍预警是通过预先在高空球载相机监控场景的图像上绘制一块警戒区域,则所有经过该警戒区域的跟踪目标都会被进行抓拍预警;
(1)如图2所示,手动框选目标跟踪方法是通过采用一种高效的跟踪算法实时的对高空球载相机传下来的图像框选出感兴趣的运动目标进行跟踪,手动框选目标跟踪方法要求跟踪的实时性以及对背景晃动的鲁棒性,同时如果跟踪目标进入了绘制的警戒区域,要求对其抓拍预警;具体为:
手动的在球载平台录像上标定一个跟踪目标然后予以跟踪,目标跟踪最基本要求就是实时性,同时由于是球载平台晃动,要求跟踪方法对背景晃动具有一定的鲁棒性;为了达到跟踪的实时性,采用压缩降维方法,通过压缩降维理论来降维前景目标和背景的特征,作为在线学习更新分类器的正样本和负样本,然后使用该训练分类器去预测下一帧图像的目标位置;正是将高维特征进行降维才能在不影响跟踪准确性前提下大幅度提高跟踪速度,具体跟踪过程:
1)在t帧的时候,采样得到若干张目标和背景的图像,其中目标和背景分别为正样本和负样本,然后对他们进行多尺度变换,再通过一个稀疏测量矩阵对多尺度图像特征进行降维,然后通过降维后的特征去训练朴素贝叶斯分类器,其中降维后的特征包括目标和背景;
2)在t+1帧的时候,在上一帧跟踪到的目标位置的周围采样n个扫描窗口(避免去扫描整幅图像),通过同样的稀疏测量矩阵对其降维,提取特征,然后用第t帧训练好的朴素贝叶斯分类器进行分类,分类分数最大的窗口就认为是目标窗口,这样就实现了从t帧到t+1帧的目标跟踪;
综上所述,手动框选目标跟踪方法中,通过稀疏测量矩阵对数目庞大的多尺度变换特征进行压缩,同时,由于为了抑制球载平台的晃动对跟踪结果影响,需要实时的更新分类器,以适应场景的变化,正是通过不断学习跟新分类器,实现背景晃动下目标跟踪。
(2)所述的自动跟踪方法是通过在高空球载相机传下来的图像上手动设定一块初始化检测区域,然后对这块指定区域实时检测运动目标,对于检测出来的运动目标,予以标注出来,然后使用步骤(1)中同样的在线学习跟踪方法去跟踪;其中检测运动目标的具体过程为:
由于球载平台下的图像都是会存在的晃动的,因此传统的静态背景下的运动目标检测算法在这里就失去了效果,为了提高检测性能,采用了经典光流算法;通过对标定的检测区域使用光流算法,来粗略的区分运动目标和背景,但是由于球载平台下视频都会存在背景明显晃动的现象,所以对每帧图像都做光流算法也无法准确的区别运动目标和背景,为使光流算法行之有效,必须在一定程度上抑制背景的晃动对光流检测目标的影响,由于球载浮空平台的抑制作用,使得球载相机只会出现左右来回晃动,不会出现相机上下晃动,这样球载平台录像多数情况下出现的都是左右来回晃动情况;为了抑制背景晃动对光流检测的影响,则通过计算各帧光流向量的累加和,因为背景是来回晃动,背景的运动速度矢量会被很好的抵消,通过当前帧的计算光流和光流累加和一起来确定修正运动目标;图3为光流检测目标的原理图:正是通过上述光流累加和的信息以及当前帧的信息按一定比例进行叠加而很好的抑制背景晃动对目标检测带来的影响,由于跟踪检测的实时性能要求,光流检测目标的算法性能必须非常高效,但是光流法一直无法普及应用与其计算量大速度性能差有很大关联性,为了解决光流法速度性能的问题,这里充分利用显卡的计算能力,利用显卡进行光流计算,这样可以同时使用CPU和GPU来解决传统光流法速度劣势的问题,达到检测的实时性能要求。
Claims (1)
1.一种基于球载平台的多目标动态跟踪方法,其特征在于:包括有手动框选目标跟踪方法、自动检测跟踪方法,如果在跟踪的过程中选择警戒区域绘制抓拍预警以及录像实时保存,则所有经过该警戒区域的跟踪目标都会被进行抓拍预警;所述的警戒区域绘制抓拍预警是通过预先在高空球载相机监控场景的图像上绘制一块警戒区域;
(1)所述的手动框选目标跟踪方法是通过采用一种高效的跟踪算法实时的对高空球载相机传下来的图像框选出感兴趣的运动目标进行跟踪,手动框选目标跟踪方法要求跟踪的实时性以及对背景晃动的鲁棒性,同时如果跟踪目标进入了绘制的警戒区域,要求对其抓拍预警;具体为:
手动的在球载平台录像上标定一个跟踪目标然后予以跟踪,采用压缩降维方法,通过压缩降维理论来降维前景目标和背景的特征,作为在线学习更新分类器的正样本和负样本,然后使用该训练分类器去预测下一帧图像的目标位置;具体跟踪过程:
1)在t帧的时候,采样得到若干张目标和背景的图像,其中目标和背景分别为正样本和负样本,然后对他们进行多尺度变换,再通过一个稀疏测量矩阵对多尺度图像特征进行降维,然后通过降维后的特征去训练朴素贝叶斯分类器,其中降维后的特征包括目标和背景;
2)在t+1帧的时候,在上一帧跟踪到的目标位置的周围采样n个扫描窗口,通过同样的稀疏测量矩阵对其降维,提取特征,然后用第t帧训练好的朴素贝叶斯分类器进行分类,分类分数最大的窗口就认为是目标窗口,这样就实现了从t帧到t+1帧的目标跟踪;
(2)所述的自动跟踪方法是通过在高空球载相机传下来的图像上手动设定一块初始化检测区域,然后对这块指定区域实时检测运动目标,对于检测出来的运动目标,予以标注出来,然后使用步骤(1)中同样的在线学习跟踪方法去跟踪;其中检测运动目标的具体过程为:
通过对标定的检测区域使用光流算法进行检测,来粗略的区分运动目标和背景,计算各帧光流向量的累加和,通过当前帧的计算光流和光流向量的累加和一起来确定修正运动目标;其中,利用显卡进行光流计算,即同时使用CPU和GPU来实时计算光流。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410323784.1A CN104156978B (zh) | 2014-07-04 | 2014-07-04 | 基于球载平台的多目标动态跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410323784.1A CN104156978B (zh) | 2014-07-04 | 2014-07-04 | 基于球载平台的多目标动态跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104156978A true CN104156978A (zh) | 2014-11-19 |
CN104156978B CN104156978B (zh) | 2018-08-10 |
Family
ID=51882467
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410323784.1A Active CN104156978B (zh) | 2014-07-04 | 2014-07-04 | 基于球载平台的多目标动态跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104156978B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104680554A (zh) * | 2015-01-08 | 2015-06-03 | 深圳大学 | 基于surf的压缩跟踪方法和系统 |
CN106156808A (zh) * | 2015-04-23 | 2016-11-23 | 佳能株式会社 | 对象分类器的在线学习方法和设备以及检测方法和设备 |
CN106934339A (zh) * | 2017-01-19 | 2017-07-07 | 上海博康智能信息技术有限公司 | 一种目标跟踪、跟踪目标识别特征的提取方法和装置 |
CN107305557A (zh) * | 2016-04-20 | 2017-10-31 | 北京陌上花科技有限公司 | 内容推荐方法及装置 |
CN109445453A (zh) * | 2018-09-12 | 2019-03-08 | 湖南农业大学 | 一种基于OpenCV的无人机实时压缩跟踪方法 |
CN110660090A (zh) * | 2019-09-29 | 2020-01-07 | Oppo广东移动通信有限公司 | 主体检测方法和装置、电子设备、计算机可读存储介质 |
CN111369578A (zh) * | 2020-02-25 | 2020-07-03 | 四川新视创伟超高清科技有限公司 | 云台异动智能跟踪方法及其系统 |
CN111597864A (zh) * | 2019-02-21 | 2020-08-28 | 中南大学 | 基于累积光流加权特征的微表情识别方法 |
CN111814602A (zh) * | 2020-06-23 | 2020-10-23 | 成都信息工程大学 | 一种基于视觉的智能车环境动态目标检测的方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101694716A (zh) * | 2009-10-10 | 2010-04-14 | 北京理工大学 | 一种针对多点目标的立体视觉光学跟踪系统 |
US20110115920A1 (en) * | 2009-11-18 | 2011-05-19 | Industrial Technology Research Institute | Multi-state target tracking mehtod and system |
CN103679754A (zh) * | 2013-12-20 | 2014-03-26 | 河北汉光重工有限责任公司 | 一种实时目标搜索与跟踪技术 |
CN103871076A (zh) * | 2014-02-27 | 2014-06-18 | 西安电子科技大学 | 基于光流法和超像素分割的运动目标提取方法 |
CN103871079A (zh) * | 2014-03-18 | 2014-06-18 | 南京金智视讯技术有限公司 | 基于机器学习和光流的车辆跟踪方法 |
-
2014
- 2014-07-04 CN CN201410323784.1A patent/CN104156978B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101694716A (zh) * | 2009-10-10 | 2010-04-14 | 北京理工大学 | 一种针对多点目标的立体视觉光学跟踪系统 |
US20110115920A1 (en) * | 2009-11-18 | 2011-05-19 | Industrial Technology Research Institute | Multi-state target tracking mehtod and system |
CN103679754A (zh) * | 2013-12-20 | 2014-03-26 | 河北汉光重工有限责任公司 | 一种实时目标搜索与跟踪技术 |
CN103871076A (zh) * | 2014-02-27 | 2014-06-18 | 西安电子科技大学 | 基于光流法和超像素分割的运动目标提取方法 |
CN103871079A (zh) * | 2014-03-18 | 2014-06-18 | 南京金智视讯技术有限公司 | 基于机器学习和光流的车辆跟踪方法 |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104680554B (zh) * | 2015-01-08 | 2017-10-31 | 深圳大学 | 基于surf的压缩跟踪方法和系统 |
CN104680554A (zh) * | 2015-01-08 | 2015-06-03 | 深圳大学 | 基于surf的压缩跟踪方法和系统 |
CN106156808A (zh) * | 2015-04-23 | 2016-11-23 | 佳能株式会社 | 对象分类器的在线学习方法和设备以及检测方法和设备 |
CN106156808B (zh) * | 2015-04-23 | 2019-09-20 | 佳能株式会社 | 对象分类器的在线学习方法和设备以及检测方法和设备 |
CN107305557A (zh) * | 2016-04-20 | 2017-10-31 | 北京陌上花科技有限公司 | 内容推荐方法及装置 |
CN106934339A (zh) * | 2017-01-19 | 2017-07-07 | 上海博康智能信息技术有限公司 | 一种目标跟踪、跟踪目标识别特征的提取方法和装置 |
CN106934339B (zh) * | 2017-01-19 | 2021-06-11 | 上海博康智能信息技术有限公司 | 一种目标跟踪、跟踪目标识别特征的提取方法和装置 |
CN109445453A (zh) * | 2018-09-12 | 2019-03-08 | 湖南农业大学 | 一种基于OpenCV的无人机实时压缩跟踪方法 |
CN111597864A (zh) * | 2019-02-21 | 2020-08-28 | 中南大学 | 基于累积光流加权特征的微表情识别方法 |
CN110660090B (zh) * | 2019-09-29 | 2022-10-25 | Oppo广东移动通信有限公司 | 主体检测方法和装置、电子设备、计算机可读存储介质 |
CN110660090A (zh) * | 2019-09-29 | 2020-01-07 | Oppo广东移动通信有限公司 | 主体检测方法和装置、电子设备、计算机可读存储介质 |
US11538175B2 (en) | 2019-09-29 | 2022-12-27 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method and apparatus for detecting subject, electronic device, and computer readable storage medium |
CN111369578A (zh) * | 2020-02-25 | 2020-07-03 | 四川新视创伟超高清科技有限公司 | 云台异动智能跟踪方法及其系统 |
CN111369578B (zh) * | 2020-02-25 | 2023-06-30 | 四川新视创伟超高清科技有限公司 | 云台异动智能跟踪方法及其系统 |
CN111814602B (zh) * | 2020-06-23 | 2022-06-17 | 成都信息工程大学 | 一种基于视觉的智能车环境动态目标检测的方法 |
CN111814602A (zh) * | 2020-06-23 | 2020-10-23 | 成都信息工程大学 | 一种基于视觉的智能车环境动态目标检测的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104156978B (zh) | 2018-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104156978A (zh) | 基于球载平台的多目标动态跟踪方法 | |
CN106447680B (zh) | 动态背景环境下雷达与视觉融合的目标检测与跟踪方法 | |
CN104134222B (zh) | 基于多特征融合的车流监控图像检测和跟踪系统及方法 | |
CN102436738B (zh) | 一种基于无人机的交通监测装置 | |
CN100545867C (zh) | 航拍交通视频车辆快速检测方法 | |
CN108961312A (zh) | 用于嵌入式视觉系统的高性能视觉对象跟踪方法及系统 | |
US10853949B2 (en) | Image processing device | |
CN102542289A (zh) | 一种基于多高斯计数模型的人流量统计方法 | |
CN105550692A (zh) | 基于标志物颜色及轮廓检测的无人机自动寻的着陆方法 | |
CN105760831A (zh) | 一种基于低空航拍红外视频的行人跟踪方法 | |
CN106056624A (zh) | 无人机高清图像小目标检测与跟踪系统及其检测跟踪方法 | |
CN106296677A (zh) | 一种基于双背景模型的双掩膜背景更新的遗留物检测方法 | |
CN108471497A (zh) | 一种基于云台摄像机的船目标实时检测方法 | |
Singh et al. | Vehicle detection and accident prediction in sand/dust storms | |
Liu et al. | FOD detection using DenseNet with focal loss of object samples for airport runway | |
Chen et al. | Real-time garbage object detection with data augmentation and feature fusion using SUAV low-altitude remote sensing images | |
Li et al. | Intelligent transportation video tracking technology based on computer and image processing technology | |
Chen et al. | Traffic extreme situations detection in video sequences based on integral optical flow | |
Abdelli et al. | A four-frames differencing technique for moving objects detection in wide area surveillance | |
Howard et al. | Detecting pedestrians with stereo vision: safe operation of autonomous ground vehicles in dynamic environments | |
CN108876807A (zh) | 一种实时星载卫星图像运动对象检测跟踪方法 | |
Makrigiorgis et al. | How High can you Detect? Improved accuracy and efficiency at varying altitudes for Aerial Vehicle Detection | |
Kryjak et al. | FPGA implementation of camera tamper detection in real-time | |
Sui et al. | Object tracking in satellite videos based on a lightweight network | |
Ibrahim et al. | Towards speed detection camera system for a radar alternative |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |