CN104301585A - 一种运动场景中特定种类目标实时检测方法 - Google Patents
一种运动场景中特定种类目标实时检测方法 Download PDFInfo
- Publication number
- CN104301585A CN104301585A CN201410490143.5A CN201410490143A CN104301585A CN 104301585 A CN104301585 A CN 104301585A CN 201410490143 A CN201410490143 A CN 201410490143A CN 104301585 A CN104301585 A CN 104301585A
- Authority
- CN
- China
- Prior art keywords
- objective
- image
- particular types
- significance
- detection method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明提出了一种运动场景中特定种类目标实时检测方法，所述方法首先对获取的视频帧序列进行单帧的显著性检测，获得概率最大地包含疑似目标的显著性区域，然后利用离线训练的深度学习特定目标分类器对多个显著性区域进行目标分类判定，确定每个显著性区域的属性；发现关注的特定种类目标后，以当前帧显著性检测结果为起始，实现目标后续运动轨迹的跟踪和记录。本发明所述方法能够在摄像机承载平台运动的条件下，基于单帧图像快速确定少量疑似目标的显著性区域，减少了全图搜索的计算量，使得算法满足实时计算的条件；采用的深信度网络具有多个隐含层，拥有比浅层网络更加优异的特征表达能力，对于光照、外观大幅变化的目标图像，仍能获得优良的分类性能。
Description
技术领域
本发明属于视频图像处理技术领域，具体涉及一种运动场景中特定种类目标实时检测方法。
背景技术
动态背景下的运动目标检测技术是计算机视觉中的一个重要课题，也是计算机视觉系统的关键底层技术，目的是通过计算机视觉系统的关键底层技术，目的是通过计算机视觉从运动的背景图像中提取感兴趣的目标，并对目标的位置和姿态等信息进行快速实施的检测。随着计算机处理能力的显著提高，该技术在众多领域都有越来越广泛的应用。
在现代军事系统中，运动目标检测室雷达扫描系统和各种精确武器打击系统的关键技术，有着广泛的应用，比如：对空监视中实时多目标检测、机载或舰载前视图像制导技术、导弹动态测量等。仅凭一双肉眼，人类很难去捕捉和分析飞机、导弹等高速运动目标的运动轨迹和姿态，必须通过计算机视觉去准确高速的监测和捕捉目标，对目标位置的检测越准确就越能提高防御能力和命中率。
现阶段有很多目标检测的方法，比如说：hog特征和SVM分类的行人检测技术、可变部件模型（DPM）检测技术等，这些检测方法都是基于全图不同尺寸的滑动扫描从而实现目标检测的，这类方法虽然有着很高的精确度，但是计算复杂度较高，处理速度并不能达到实时的要求。
基于视觉显著性区域检测对于图像处理过程有着非常重要的意义，注意是人类信息加工过程中的一项重要的心里调节机制，它能够对优先的信息加工资员进行分配，使感知具备选择能力。如果能够将这种机制引入图像分析领域，将计算资源优先分配给那些容易引起观察者注意的区域，这样必将极大地提高现有的图像处理分析方法的工作效率。
发明内容
本发明要解决的技术问题在于克服现有技术的不足，提出一种基运动场景中特定种类目标实时检测方法，针对摄像机获得的原始视频序列图像，首先对获取的视频帧序列进行单帧的显著性检测，获得概率最大地包含前景目标的显著性区域，然后利用离线训练的深度学习分类器对多个显著性区域进行分类判别，最终检测出某类目标，并对目标实行后续的跟踪、记录其运动轨迹，以服务其他应用。
为了解决上述技术问题，本发明采用的技术方案是：
一种运动场景中特定种类目标实时检测方法，包括以下步骤：
步骤A：采集视频图像帧；
步骤B：对单帧视频图像进行处理，利用亮度特征进行显著性检测，得到该单帧视频图像对应的显著性特征图；
步骤C：针对步骤B得到的显著性特征图，采用基于区域增长的图像分割方法，选择连通域最大的前N个显著性区域，得到对应的N个最小外接矩形子图像；N为自然数；
步骤D：在视频图像帧中，提取步骤C中所述N个显著性区域所对应的N个最小外接矩形子图像，利用预先离线训练好的深信度网络图像分类器进行分类判别；
步骤E：若步骤D中分类判别结果为特定种类目标，则判定该矩形子图像为所需检测的特定目标；
步骤F：对检测出的特定目标进行标注并显示。
步骤A中，所述采集视频图像帧，使用可见光摄像机，所述可见光摄像机的承载平台进行水平和上下运动。
步骤A中，所述采集视频图像帧，对每帧视频图像的长宽分别进行m倍压缩，m为自然数。
步骤D中，所述深信度网络图像分类器是基于受限玻尔兹曼机RBM的4层深信度网络，包括1个输入层，2个隐含层和1个分类层。
步骤F中，对检测出的特定目标进行标注并显示，其内容包括运动速度、运动方向、目标大小。
本发明的有益效果：
本发明提出了一种运动场景中特定种类目标实时检测方法，所述方法首先对获取的视频帧序列进行单帧的显著性检测，获得概率最大地包含疑似目标的显著性区域，然后利用离线训练的深度学习特定目标分类器对多个显著性区域进行目标分类判定，确定每个显著性区域的属性；发现关注的特定种类目标后，以当前帧显著性检测结果为起始，实现目标后续运动轨迹的跟踪和记录。本发明所述方法能够在摄像机承载平台运动的条件下，基于单帧图像快速确定少量疑似目标的显著性区域，减少了全图搜索的计算量，使得算法满足实时计算的条件；采用的深信度网络具有多个隐含层，拥有比浅层网络更加优异的特征表达能力，对于光照、外观大幅变化的目标图像，仍能获得优良的分类性能。
附图说明
图1为一种运动场景中特定种类目标实时检测方法的整体流程图。
具体实施方式
为使本发明一种运动场景中特定种类目标实时检测方法要解决的技术问题、技术方案和技术效果更加清楚，下面将以坦克目标为例，结合附图对本发明作进一步详细说明。
图1为本发明方法的整体流程图，一种基运动场景中特定种类目标实时检测方法，包括显著性检测、目标分类和检测输出三大步骤。
详细流程如下：
A．通过模拟视频的编解码捕获视频帧图像，对原始图像长宽分别进行2倍的压缩，从而减少后续操作的计算量；
B．对单帧视频图像进行处理，利用亮度特征进行显著性检测，得到单帧图像对应的显著性图，本发明使用基于Itti模型的显著性区域检测方法（详见L. Itti, C. Koch, and E. Niebur. A model of saliency-based visual attention for rapid scene analysis. IEEE TPAMI, 20(11):1254–1259, 1998），该方法基于底层视觉特征，该模型拟生物体视觉注意机制的选择性注意算法考虑局部特征，其特征包括像素点在颜色、亮度、方向三个方面与周边背景的对比值，本发明主要使用亮度这一特征。主要包括两个步骤：（1）特征提取；（2）显著图生成。；
C．显著图中大部分像素值为0，其余被认为显著的区域像素值大于0，选择连通域最大的前两个显著性区域，则这两个区域被认为人眼最先关注的区域也是最可存在前景的区域，以最小外接矩形的形式给出；
D．将步骤C中两个显著性区域对应原始图像的矩形区作为分类器的输入，给离线训练好的深信度网络的坦克分类器进行分类判别，该深度学习分类器基于RBM（受限玻尔兹曼机）深层网络建立的，该网络能在实现数据降维的基础上精确地实现分类功能，将4800张正负样本作为输入学习后，得到一个四层的深信度网络（784-500-500-2000-2）该网络能够达到97.8%正确率的坦克二分类；
E．在显著性检测的快速前景提取和深信度网络的准确判别的基础上将分类器输出结果为坦克的显著性区域作为检测结果显示，其他分类结果则不显示；
F．对检测结果进行跟踪并记录其运动参数，包括运动速度、运动方向和目标大小，从而应用后续的各类处理。
显然，本领域技术人员应当理解，对上述本发明所公开的一种运动场景中特定种类目标实时检测方法，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。
Claims (5)
1.一种运动场景中特定种类目标实时检测方法，其特征在于：包括以下步骤：
步骤A：采集视频图像帧；
步骤B：对单帧视频图像进行处理，利用亮度特征进行显著性检测，得到该单帧视频图像对应的显著性特征图；
步骤C：针对步骤B得到的显著性特征图，采用基于区域增长的图像分割方法，选择连通域最大的前N个显著性区域，得到对应的N个最小外接矩形子图像；N为自然数；
步骤D：在视频图像帧中，提取步骤C中所述N个显著性区域所对应的N个最小外接矩形子图像，利用预先离线训练好的深信度网络图像分类器进行分类判别；
步骤E：若步骤D中分类判别结果为特定种类目标，则判定该矩形子图像为所需检测的特定目标；
步骤F：对检测出的特定目标进行标注并显示。
2.根据权利要求1所述的一种运动场景中特定种类目标实时检测方法，其特征在于：步骤A中，所述采集视频图像帧，使用可见光摄像机，所述可见光摄像机的承载平台进行水平和上下运动。
3.根据权利要求1所述的一种运动场景中特定种类目标实时检测方法，其特征在于：步骤A中，对每帧视频图像的长宽分别进行m倍压缩，m为自然数。
4.根据权利要求1所述的一种运动场景中特定种类目标实时检测方法，其特征在于：步骤D中，所述深信度网络图像分类器是基于受限玻尔兹曼机RBM的4层深信度网络，包括1个输入层，2个隐含层和1个分类层。
5.根据权利要求1所述的一种运动场景中特定种类目标实时检测方法，其特征在于：步骤F中，对检测出的特定目标进行标注并显示，其内容包括运动速度、运动方向、目标大小。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410490143.5A CN104301585A (zh) | 2014-09-24 | 2014-09-24 | 一种运动场景中特定种类目标实时检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410490143.5A CN104301585A (zh) | 2014-09-24 | 2014-09-24 | 一种运动场景中特定种类目标实时检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104301585A true CN104301585A (zh) | 2015-01-21 |
Family
ID=52321132
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410490143.5A Pending CN104301585A (zh) | 2014-09-24 | 2014-09-24 | 一种运动场景中特定种类目标实时检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104301585A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106611412A (zh) * | 2015-10-20 | 2017-05-03 | 成都理想境界科技有限公司 | 贴图视频生成方法及装置 |
| CN106651937A (zh) * | 2016-10-19 | 2017-05-10 | 成都电科智达科技有限公司 | 一种基于超像素和场景预测的小型无人机目标检测方法 |
| CN106980814A (zh) * | 2016-01-15 | 2017-07-25 | 福特全球技术公司 | 用显著性地图的行人检测 |
| CN107016409A (zh) * | 2017-03-20 | 2017-08-04 | 华中科技大学 | 一种基于图像显著区域的图像分类方法和系统 |
| CN108154159A (zh) * | 2017-12-25 | 2018-06-12 | 北京航空航天大学 | 一种基于多级检测器的具有自恢复能力的目标跟踪方法 |
| CN108577803A (zh) * | 2018-04-26 | 2018-09-28 | 上海鹰瞳医疗科技有限公司 | 基于机器学习的眼底图像检测方法、装置及系统 |
| CN108876795A (zh) * | 2018-06-07 | 2018-11-23 | 四川斐讯信息技术有限公司 | 一种图像中物体的分割方法及系统 |
| CN109903308A (zh) * | 2017-12-08 | 2019-06-18 | 百度在线网络技术（北京）有限公司 | 用于获取信息的方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101175203A (zh) * | 2007-11-19 | 2008-05-07 | 上海龙东光电子有限公司 | 实时视频目标跟踪方法 |
| CN103778432A (zh) * | 2014-01-08 | 2014-05-07 | 南京邮电大学 | 一种基于深信度网络的人车分类方法 |
| CN103955718A (zh) * | 2014-05-15 | 2014-07-30 | 厦门美图之家科技有限公司 | 一种图像主体对象的识别方法 |
-
2014
- 2014-09-24 CN CN201410490143.5A patent/CN104301585A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101175203A (zh) * | 2007-11-19 | 2008-05-07 | 上海龙东光电子有限公司 | 实时视频目标跟踪方法 |
| CN103778432A (zh) * | 2014-01-08 | 2014-05-07 | 南京邮电大学 | 一种基于深信度网络的人车分类方法 |
| CN103955718A (zh) * | 2014-05-15 | 2014-07-30 | 厦门美图之家科技有限公司 | 一种图像主体对象的识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| 张立保: "基于区域增长的遥感影像视觉显著目标快速检测", 《中国激光》 * |
| 李荣华: ""面对机器人跟踪的视觉注意模型与应用研究"", 《中国博士学位论文全文数据库》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106611412A (zh) * | 2015-10-20 | 2017-05-03 | 成都理想境界科技有限公司 | 贴图视频生成方法及装置 |
| CN106980814A (zh) * | 2016-01-15 | 2017-07-25 | 福特全球技术公司 | 用显著性地图的行人检测 |
| CN106651937A (zh) * | 2016-10-19 | 2017-05-10 | 成都电科智达科技有限公司 | 一种基于超像素和场景预测的小型无人机目标检测方法 |
| CN106651937B (zh) * | 2016-10-19 | 2019-10-18 | 成都电科智达科技有限公司 | 一种基于超像素和场景预测的小型无人机目标检测方法 |
| CN107016409A (zh) * | 2017-03-20 | 2017-08-04 | 华中科技大学 | 一种基于图像显著区域的图像分类方法和系统 |
| CN109903308A (zh) * | 2017-12-08 | 2019-06-18 | 百度在线网络技术（北京）有限公司 | 用于获取信息的方法及装置 |
| CN109903308B (zh) * | 2017-12-08 | 2021-02-26 | 百度在线网络技术（北京）有限公司 | 用于获取信息的方法及装置 |
| CN108154159A (zh) * | 2017-12-25 | 2018-06-12 | 北京航空航天大学 | 一种基于多级检测器的具有自恢复能力的目标跟踪方法 |
| CN108154159B (zh) * | 2017-12-25 | 2018-12-18 | 北京航空航天大学 | 一种基于多级检测器的具有自恢复能力的目标跟踪方法 |
| CN108577803A (zh) * | 2018-04-26 | 2018-09-28 | 上海鹰瞳医疗科技有限公司 | 基于机器学习的眼底图像检测方法、装置及系统 |
| CN108876795A (zh) * | 2018-06-07 | 2018-11-23 | 四川斐讯信息技术有限公司 | 一种图像中物体的分割方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110598554B (zh) | 基于对抗学习的多人姿态估计方法 | |
| CN104301585A (zh) | 一种运动场景中特定种类目标实时检测方法 | |
| CN108492319B (zh) | 基于深度全卷积神经网络的运动目标检测方法 | |
| CN105224912B (zh) | 基于运动信息和轨迹关联的视频行人检测和跟踪方法 | |
| CN104200237B (zh) | 一种基于核化相关滤波高速自动多目标跟踪方法 | |
| CN105528794B (zh) | 基于混合高斯模型与超像素分割的运动目标检测方法 | |
| CN109919981A (zh) | 一种基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法 | |
| CN103824070B (zh) | 一种基于计算机视觉的快速行人检测方法 | |
| CN109919977B (zh) | 一种基于时间特征的视频运动人物跟踪与身份识别方法 | |
| CN103886325B (zh) | 一种分块的循环矩阵视频跟踪方法 | |
| CN109064484B (zh) | 基于子群组划分与动量特征融合的人群运动行为识别方法 | |
| Lin et al. | A heat-map-based algorithm for recognizing group activities in videos | |
| CN104268598B (zh) | 一种基于二维扫描激光的人腿检测方法 | |
| CN103226835B (zh) | 基于在线初始化梯度增强回归树的目标跟踪方法及系统 | |
| Chen et al. | Asynchronous tracking-by-detection on adaptive time surfaces for event-based object tracking | |
| CN110827312B (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
| Tan et al. | Dynamic hand gesture recognition using motion trajectories and key frames | |
| Qian et al. | DAL: A deep depth-aware long-term tracker | |
| CN105160649A (zh) | 基于核函数非监督聚类的多目标跟踪方法及系统 | |
| CN104517095A (zh) | 一种基于深度图像的人头分割方法 | |
| CN103593679A (zh) | 一种基于在线机器学习的视觉人手跟踪方法 | |
| CN111027377A (zh) | 一种双流神经网络时序动作定位方法 | |
| CN114202646A (zh) | 一种基于深度学习的红外图像吸烟检测方法与系统 | |
| CN108256567A (zh) | 一种基于深度学习的目标识别方法及系统 | |
| CN113378675A (zh) | 一种同时检测和特征提取的人脸识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150121 |