CN106340032A - 一种基于光流场聚类的运动目标检测方法 - Google Patents

一种基于光流场聚类的运动目标检测方法 Download PDF

Info

Publication number
CN106340032A
CN106340032A CN201610733033.6A CN201610733033A CN106340032A CN 106340032 A CN106340032 A CN 106340032A CN 201610733033 A CN201610733033 A CN 201610733033A CN 106340032 A CN106340032 A CN 106340032A
Authority
CN
China
Prior art keywords
blob
optical flow
flow field
moving target
method based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610733033.6A
Other languages
English (en)
Other versions
CN106340032B (zh
Inventor
尚凌辉
王弘玥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZHEJIANG ICARE VISION TECHNOLOGY Co Ltd
Original Assignee
ZHEJIANG ICARE VISION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZHEJIANG ICARE VISION TECHNOLOGY Co Ltd filed Critical ZHEJIANG ICARE VISION TECHNOLOGY Co Ltd
Priority to CN201610733033.6A priority Critical patent/CN106340032B/zh
Publication of CN106340032A publication Critical patent/CN106340032A/zh
Application granted granted Critical
Publication of CN106340032B publication Critical patent/CN106340032B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于光流场聚类的运动目标检测方法。本发明首先采用DeepFlow算法对视频的每帧图像生成稠密的光流场。其次对光流场利用DENCLUE算法进行聚类，将运动矢量类似的像素聚成blob。然后将运动矢量类似的blob进行合并。最后在时间上，对相邻多帧的blob进行合并，形成运动目标跟踪轨迹。本发明对光照变化，阴影，噪声，随机摆动等干扰有较好的鲁棒性。对运动矢量不一致的目标，能自然的进行分割，对后期分类，跟踪，检索等应用有较大价值。检测率高，只要是视频中人眼可辨的运动目标，都能较好的检测出来。

Description

一种基于光流场聚类的运动目标检测方法
技术领域
本发明属于智能视频监控技术领域，涉及一种基于光流场聚类的运动目标检测方法。
背景技术
目前基于视频的运动目标检测方法大致可以分为以下几类：
基于背景建模的方法。例如专利[200910077433.6]，这种方法的缺点主要是对于局部光照，深影子误检等难点无法克服，而且对于距离较近的目标，容易出现粘连，这对后续的跟踪，分类等会造成较大的干扰。
基于机器学习的目标检测器方法。例如专利[201510323680.5]，这种方法的缺点，主要是检测器效果完全依赖于训练样本，而由于实际场景的目标千变万化，训练样本无法做到完全覆盖，所以在实际使用时，往往会对相机有诸多限制，而且容易出现漏检。
基于光流场的方法。现有的方法大多将光流场作为背景建模或目标检测器的一个补充，例如专利[200910236053.2]，并没有充分利用光流的有效信息，其主要原因，一方面是已有的光流算法精度不高，另一方面是计算耗时限制了对光流场的进一步建模。
但事实上，光流场先天带有目标每个像素的运动信息，如果能自底向上形成目标结构，可以非常自然的将检测与跟踪融为一体，而且对于光照等有很强的鲁棒性，同时，由于是利用运行信息自底向上来组成目标，对于运动方向或运动速度不同的目标，将非常容易进行分割，这对后续的目标分类等工作有非常大的益处。
发明内容
本发明针对现有技术的不足，提供了一种基于光流场聚类的运动目标检测方法。
本发明方法包括以下步骤：
步骤1、采用DeepFlow算法对视频的每帧图像生成稠密的光流场。
步骤2、对光流场利用DENCLUE算法进行聚类，将运动矢量类似的像素聚成blob。
步骤3、将运动矢量类似的blob进行合并。
步骤4、在时间上，对相邻多帧的blob进行合并，形成运动目标跟踪轨迹。
本发明的有益效果：
1、对光照变化，阴影，噪声，随机摆动等干扰有较好的鲁棒性。
2、对运动矢量不一致的目标，能自然的进行分割，对后期分类，跟踪，检索等应用有较大价值。
3、检测率高，只要是视频中人眼可辨的运动目标，都能较好的检测出来。
附图说明
图1为本发明方法流程图。
具体实施方式
以下结合实施例和附图1对本发明作进一步说明：
对于一段100帧的视频，利用DeepFlow算法得到每一帧的光流场，每帧的光流场分别由x方向和y方向两张图组成。
对于每一帧的光流场，利用DENCLU算法在二维光流矢量上进行聚类，得到聚类blob，每个blob中所包含像素的光流均值，记为该blob的光流矢量。
对每个blob，遍历与其相邻接的blob，若发现有光流矢量的欧式距离小于1的，则进行合并，合并后blob光流矢量按合并前blob的面积加权平均计算。
重复遍历每个blob，直到再也无法发生合并。
对每一帧的每个blob，在相邻的5帧内搜索是否有空间位置有重叠，且光流矢量欧式距离小于1的blob,若有则进行空间上的合并，空间上合并后的blob即可作为跟踪结果，输出为运动目标。
综上，本发明利用了高精度光流算法产生稠密的光流场，然后对其进行自底向上的聚类，在时空上直接形成跟踪好的运动目标，并对运动速度，方向不同的目标进行自然分割，从而实现高准确率的运动目标检测效果，并对光照，阴影，随机摆动等问题有很强的鲁棒性。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应带理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。

Claims (5)

1.一种基于光流场聚类的运动目标检测方法，其特征在于该方法包括以下步骤：
步骤1、采用DeepFlow算法对视频的每帧图像生成稠密的光流场；
步骤2、对光流场利用DENCLUE算法进行聚类，将运动矢量类似的像素聚成blob；
步骤3、将运动矢量类似的blob进行合并；
步骤4、在时间上，对相邻多帧的blob进行合并，形成运动目标跟踪轨迹。
2.根据权利要求1所述的一种基于光流场聚类的运动目标检测方法，其特征在于：步骤1中利用DeepFlow算法得到每一帧的光流场，每帧的光流场分别由x方向和y方向两张图组成。
3.根据权利要求1所述的一种基于光流场聚类的运动目标检测方法，其特征在于：步骤2具体是：对于每一帧的光流场，利用DENCLU算法在二维光流矢量上进行聚类，得到聚类blob，每个blob中所包含像素的光流均值，记为该blob的光流矢量。
4.根据权利要求1所述的一种基于光流场聚类的运动目标检测方法，其特征在于：步骤3具体是：对每个blob，遍历与其相邻接的blob，若发现有光流矢量的欧式距离小于1，则进行合并，合并后blob光流矢量按合并前blob的面积加权平均计算，重复遍历每个blob，直到再也无法发生合并。
5.根据权利要求1所述的一种基于光流场聚类的运动目标检测方法，其特征在于：步骤4具体是：对每一帧的每个blob，在相邻的5帧内搜索是否有空间位置有重叠，如有重叠且光流矢量欧式距离小于1，则进行空间上的合并，空间上合并后的blob即可作为跟踪结果，输出为运动目标。
CN201610733033.6A 2016-08-27 2016-08-27 一种基于光流场聚类的运动目标检测方法 Expired - Fee Related CN106340032B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610733033.6A CN106340032B (zh) 2016-08-27 2016-08-27 一种基于光流场聚类的运动目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610733033.6A CN106340032B (zh) 2016-08-27 2016-08-27 一种基于光流场聚类的运动目标检测方法

Publications (2)

Publication Number Publication Date
CN106340032A true CN106340032A (zh) 2017-01-18
CN106340032B CN106340032B (zh) 2019-03-15

Family

ID=57822276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610733033.6A Expired - Fee Related CN106340032B (zh) 2016-08-27 2016-08-27 一种基于光流场聚类的运动目标检测方法

Country Status (1)

Country Link
CN (1) CN106340032B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109102530A (zh) * 2018-08-21 2018-12-28 北京字节跳动网络技术有限公司 运动轨迹绘制方法、装置、设备和存储介质
WO2020082866A1 (zh) * 2018-10-25 2020-04-30 中兴通讯股份有限公司 运动轨迹合成方法及电子设备
CN111160160A (zh) * 2019-12-18 2020-05-15 河海大学 一种基于邻域盒的团块获取的计算方法
CN111382784A (zh) * 2020-03-04 2020-07-07 厦门脉视数字技术有限公司 一种运动目标跟踪方法
EP3694206A4 (en) * 2017-10-02 2020-08-12 Sony Corporation IMAGE PROCESSING DEVICE AND METHOD
CN113759197A (zh) * 2021-09-09 2021-12-07 国网上海市电力公司 一种电力变压器状态监测装置及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104156976A (zh) * 2013-05-13 2014-11-19 哈尔滨点石仿真科技有限公司 一种抗遮挡目标检测的多特征点跟踪方法
CN104156932A (zh) * 2013-05-13 2014-11-19 哈尔滨点石仿真科技有限公司 一种基于光流场聚类的运动目标分割方法
CN104268851A (zh) * 2014-09-05 2015-01-07 浙江捷尚视觉科技股份有限公司 一种基于深度信息的atm自助营业厅行为分析方法
CN105096344A (zh) * 2015-08-18 2015-11-25 上海交通大学 基于cd运动特征的群体行为识别方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104156976A (zh) * 2013-05-13 2014-11-19 哈尔滨点石仿真科技有限公司 一种抗遮挡目标检测的多特征点跟踪方法
CN104156932A (zh) * 2013-05-13 2014-11-19 哈尔滨点石仿真科技有限公司 一种基于光流场聚类的运动目标分割方法
CN104268851A (zh) * 2014-09-05 2015-01-07 浙江捷尚视觉科技股份有限公司 一种基于深度信息的atm自助营业厅行为分析方法
CN105096344A (zh) * 2015-08-18 2015-11-25 上海交通大学 基于cd运动特征的群体行为识别方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PHILIPPE WEINZAEPFEL,ET,AL.: "DeepFlow: Large displacement optical flow with deep matching", 《2013 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
高磊等: "基于矢量量化的动态场景中运动车辆的检测", 《电子测量技术》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3694206A4 (en) * 2017-10-02 2020-08-12 Sony Corporation IMAGE PROCESSING DEVICE AND METHOD
US11468574B2 (en) 2017-10-02 2022-10-11 Sony Corporation Image processing apparatus and image processing method
CN109102530A (zh) * 2018-08-21 2018-12-28 北京字节跳动网络技术有限公司 运动轨迹绘制方法、装置、设备和存储介质
CN109102530B (zh) * 2018-08-21 2020-09-04 北京字节跳动网络技术有限公司 运动轨迹绘制方法、装置、设备和存储介质
US11514625B2 (en) 2018-08-21 2022-11-29 Beijing Bytedance Network Technology Co., Ltd. Motion trajectory drawing method and apparatus, and device and storage medium
WO2020082866A1 (zh) * 2018-10-25 2020-04-30 中兴通讯股份有限公司 运动轨迹合成方法及电子设备
CN111160160A (zh) * 2019-12-18 2020-05-15 河海大学 一种基于邻域盒的团块获取的计算方法
CN111160160B (zh) * 2019-12-18 2022-08-05 河海大学 一种基于邻域盒的团块获取的计算方法
CN111382784A (zh) * 2020-03-04 2020-07-07 厦门脉视数字技术有限公司 一种运动目标跟踪方法
CN111382784B (zh) * 2020-03-04 2021-11-26 厦门星纵智能科技有限公司 一种运动目标跟踪方法
CN113759197A (zh) * 2021-09-09 2021-12-07 国网上海市电力公司 一种电力变压器状态监测装置及方法
CN113759197B (zh) * 2021-09-09 2024-04-30 国网上海市电力公司 一种电力变压器状态监测装置及方法

Also Published As

Publication number Publication date
CN106340032B (zh) 2019-03-15

Similar Documents

Publication Publication Date Title
CN106340032A (zh) 一种基于光流场聚类的运动目标检测方法
Xiao et al. Dynamic-SLAM: Semantic monocular visual localization and mapping based on deep learning in dynamic environment
CN103530874B (zh) 基于Kinect的人流计数方法
CN103473554B (zh) 人流统计系统及方法
CN104183127B (zh) 交通监控视频检测方法和装置
Barnes et al. Driven to distraction: Self-supervised distractor learning for robust monocular visual odometry in urban environments
CN105513349B (zh) 基于双视角学习的山区高速公路车辆事件检测方法
CN101950426B (zh) 一种多摄像机场景下车辆接力跟踪方法
CN102750527B (zh) 一种银行场景中长期稳定的人脸检测与跟踪方法及装置
CN105760846B (zh) 基于深度数据的目标检测与定位方法及系统
CN104767911A (zh) 图像处理方法及装置
CN104239865A (zh) 一种基于多级检测的行人检测与跟踪方法
CN102043953A (zh) 一种实时鲁棒的针对特定场景的行人检测方法
CN103150559A (zh) 基于Kinect三维深度图像的头部识别与跟踪方法
CN104992453A (zh) 基于极限学习机的复杂背景下目标跟踪方法
CN104091348A (zh) 融合显著特征和分块模板的多目标跟踪方法
CN102298781A (zh) 基于颜色和梯度特征的运动阴影检测方法
CN104331901A (zh) 一种基于tld的多视角目标跟踪装置及方法
CN103759724B (zh) 一种基于灯饰特征的室内导航方法及系统
CN102521842A (zh) 一种实现快速移动检测的方法和装置
CN106558069A (zh) 一种基于视频监控下的目标跟踪方法及系统
CN104778676A (zh) 基于深度测距的运动目标检测方法及系统
Karbasi et al. Real-time hands detection in depth image by using distance with Kinect camera
CN103456012B (zh) 基于最大稳定曲率区域的视觉人手检测跟踪方法及系统
CN112432653B (zh) 基于点线特征的单目视觉惯性里程计方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Moving target detection method based on optical flow field clustering

Effective date of registration: 20190821

Granted publication date: 20190315

Pledgee: Hangzhou Yuhang Small and Medium-sized Enterprise Transfer Service Co.,Ltd.

Pledgor: ZHEJIANG ICARE VISION TECHNOLOGY Co.,Ltd.

Registration number: Y2019330000020

PE01 Entry into force of the registration of the contract for pledge of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190315