CN105957103A - 一种基于视觉的运动特征提取方法 - Google Patents

一种基于视觉的运动特征提取方法 Download PDF

Info

Publication number
CN105957103A
CN105957103A CN201610248526.0A CN201610248526A CN105957103A CN 105957103 A CN105957103 A CN 105957103A CN 201610248526 A CN201610248526 A CN 201610248526A CN 105957103 A CN105957103 A CN 105957103A
Authority
CN
China
Prior art keywords
vector
motion
feature extraction
extraction method
characteristic point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610248526.0A
Other languages
English (en)
Other versions
CN105957103B (zh
Inventor
李霆
蔡宇翔
蔡力军
苏运东
付婷
肖琦敏
曾伟波
倪时龙
吕君玉
许成功
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Information and Telecommunication Co Ltd
State Grid Fujian Electric Power Co Ltd
Information and Telecommunication Branch of State Grid Fujian Electric Power Co Ltd
Fujian Yirong Information Technology Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Information and Telecommunication Co Ltd
State Grid Fujian Electric Power Co Ltd
Information and Telecommunication Branch of State Grid Fujian Electric Power Co Ltd
Fujian Yirong Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Information and Telecommunication Co Ltd, State Grid Fujian Electric Power Co Ltd, Information and Telecommunication Branch of State Grid Fujian Electric Power Co Ltd, Fujian Yirong Information Technology Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201610248526.0A priority Critical patent/CN105957103B/zh
Publication of CN105957103A publication Critical patent/CN105957103A/zh
Application granted granted Critical
Publication of CN105957103B publication Critical patent/CN105957103B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于视觉的运动特征提取方法，具体包括以下步骤：步骤S1：基于连续帧提取每个像素点的运动矢量；步骤S2：提取在X、Y、T方向像素值强烈变化的特征点；步骤S3：以特征点为中心，构建基于运动矢量的方向‑幅值直方图的立方本特征向量；步骤S4：通过聚类算法对局部描述子形成编码向量。该方法所提取的基于运动矢量的时空特征描述可以较好捕捉运动目标的运动信息，聚类重编码可以形成运动特征的词典频率，提高时空中运动目标的检测和识别结果。

Description

一种基于视觉的运动特征提取方法
技术领域
本发明涉及计算机视觉、图像处理技术领域,特别是一种基于视觉的运动特征提取方法。
背景技术
随着国家电网数字档案馆深化应用与推广实施工作的开展，电子档案得到了规范化管理和高效化使用。基于音视频智能化处理新技术和新方法等被引入到电子档案管理中，以解决视频文件大规模存储、处理和检索等难题。智能视频分析是计算机视觉中非常活跃的一领域，其中基于视频的运动物体的运动特征提取技术，更是智能视频分析研究的热点。智能视频技术在不需要人为干预的情况下，对视频数据进行自动分析，提取目标的细节信息，对目标进行辨识或活动状态进行理解和分析，实现目标的检测、识别和跟踪。把基于视频的智能信息处理引入数字电子档案馆中，可以减少大量人力，增强自动监控能力，同时节约资源，具有深远的科研意义和广泛的商业价值。
对运动目标进行特征点提取是生成动运特征描述的关键。传统的运动特征提取方法通常是先根据目标轮廓、纹理等信息检测到目标，接着生成运动信息。由于需要对目标进行差分、跟踪，背景建模等处理，这类方法容易受到光照、噪声、遮挡、摄像头运动等因素的影响。从图像中提取运动目标的时空特征点是目标检测较好的算法，因为这些点是像素值在时空域内剧烈变化的点，它们包含了丰富的运动信息，同时也具有较强的稳定性，克服了背景建模等步骤带来的问题。
时空特征点反映了运动目标发生显著变化的位置，但他们只是一些孤立的点，还难以通过这些点表示目标的运动信息。通常利用特征点周围的时空信息对这些点进行描述，即为时空特征点的描述构建过程。以时空特征点为中心的小立方体提取一维向量，一般可包含局部梯度、速度信息。
基于特征点和特征点描述子的运动特征提取算法可以参见PiotrD.,Vincent R.,et al Behavior Recognition via Sparse Spatio-TemporalFeatures，2005；该文比较了2D特征点与3D特征点的检测效果，并提出基于时空的特征描述算子。Marcin M.,Ivan L.,et al Action inContext,2007；该文比较了3D-Harris与2D-Harris特征点提取算法，使用了HOF and HOG、Sift特征描述子算法，并引入Bag-of-features的视频编码技术。
发明内容
有鉴于此，本发明的目的是提供一种基于视觉的运动特征提取方法，该方法所提取的基于运动矢量的时空特征描述可以较好捕捉运动目标的运动信息，聚类重编码可以形成运动特征的词典频率，提高时空中运动目标的检测和识别结果。
本发明采用以下方案实现：一种基于视觉的运动特征提取方法，具体包括以下步骤：
步骤S1：基于连续帧提取每个像素点的运动矢量；
步骤S2：提取在X、Y、T方向像素值强烈变化的特征点；
步骤S3：以特征点为中心，构建基于运动矢量的方向-幅值直方图的立方本特征向量；
步骤S4：通过聚类算法对局部描述子形成编码向量。
进一步地，所述步骤S1中，基于连续帧提取每个像素点的运动矢量的具体步骤如下：
步骤S11：令i＝1，获得第i帧图像I(x,i)；
步骤S12：获得第i+1帧图像I(x,i+1)；
步骤S13：对图像灰度化与去噪的预处理，得到图像I’(x,i)和I’(x,i+1)；
步骤S14：根据相邻两帧时间间隔很小时，图像的灰度变化也很小的前提下得到的约束方程I’xVx+I’yVy＝0，计算得到运动矢量(Vx,Vy)。
进一步地，所述步骤S2中，提取在X、Y、T方向像素值强烈变化的特征点的具体步骤如下：
步骤S21：构建基于立方体的DOG高斯金字塔，DOG公式如下：
D(x，y，z，kjσ)＝L(x，y，z，kiσ)-L(x，y，z，kjσ)
公式中，尺度空间L(x，y，z，kσ)＝G(x，y，z，kσ)*I(x，y，z)，其中为I(x，y，z)输入体积，G(x，y，z，kσ)是尺度为kσ的高斯三维滤波器；
步骤S22：计算DOG局部极值点，即为特征点。
进一步地，所述步骤S3中，以特征点为中心，构建基于运动矢量的方向-幅值直方图的立方本特征向量的具体步骤如下：
步骤S31：计算每个像素点的运动矢量的方向和幅值，为图像划分区域，以Cell区域为单位建方向-幅值矢量直方图；
步骤S32：以特征点为中心，串联立方体内的矢量直方图形成运动描述子。
进一步地，所述步骤S4中，通过聚类算法对局部描述子形成编码向量的具体步骤如下：
步骤S41：使用所述步骤S32得到的描述子进行聚类，得到每类的质心；
步骤S42：使用欧式距离统计指定区域内每一类的频数，形成编码向量。
与现有技术相比，本发明具有以下突出优点：该方法考虑时空域内剧烈变化的点，不需要对运动目标进行检测与跟踪，也不需要进行背景建模。以特征点为中心构建立方体的运动描述子，其中包含了轮廓信息、速度信息等，提供了对着感兴趣运动目标的运动的理解与分析的方法；通过聚类过程形成频率编码向量，构建了指定区域内运动描述子的统计信息。
附图说明
图1是本发明基于视觉的感兴趣目标的运动特征提取流程图。
图2是本发明关于高斯金字塔的构建过程图。
图3是本发明关于高斯空间的关键点的示意图。
图4是本发明关于构建速度矢量的特征描述子的流程图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
本实施例提供一种基于视觉的运动特征提取方法，如图1所示，具体包括以下步骤：
步骤S1：基于连续帧提取每个像素点的运动矢量；
步骤S2：提取在X、Y、T方向像素值强烈变化的特征点；
步骤S3：以特征点为中心，构建基于运动矢量的方向-幅值直方图的立方本特征向量；
步骤S4：通过聚类算法对局部描述子形成编码向量。
在本实施例中，所述步骤S1中，基于连续帧提取每个像素点的运动矢量的具体步骤如下：
步骤S11：令i＝1，获得第i帧图像I(x,i)；
步骤S12：获得第i+1帧图像I(x,i+1)；
步骤S13：对图像灰度化与去噪的预处理，得到图像I’(x,i)和I’(x,i+1)；
步骤S14：根据相邻两帧时间间隔很小时，图像的灰度变化也很小的前提下得到的约束方程I’xVx+I’yVy＝0，计算得到运动矢量(Vx,Vy)。
在本实施例中，所述步骤S2中，提取在X、Y、T方向像素值强烈变化的特征点的具体步骤如下：
步骤S21：构建基于立方体的DOG高斯金字塔，DOG公式如下：
D(x，y，z，kjσ)＝L(x，y，z，kiσ)-L(x，y，z，kjσ)
公式中，尺度空间L(x，y，z，kσ)＝G(x，y，z，kσ)*I(x，y，z)，其中为I(x，y，z)输入体积，G(x，y，z，kσ)是尺度为kσ的高斯三维滤波器；
高斯金字塔的构建过程如图2所示，左侧一列是尺度金字塔，分别是由原视频立方体产生的尺度为的高斯尺度空间。右则的高斯金字塔每一层是由左侧的相邻尺度的高斯空间相减得到的；
步骤S22：计算DOG局部极值点，即为特征点；
特征点是DOG空间内的局部最大或最小的点。图3是得到局部极值点一实例，其中候选关键点为于一5*5*5的立方体中心的黑实心点，通过与立方体内的所有相领取点比较，可知中心是否为关键点。
在本实施例中，所述步骤S3中，以特征点为中心，构建基于运动矢量的方向-幅值直方图的立方本特征向量的具体步骤如下：
步骤S31：计算每个像素点的运动矢量的方向和幅值，为图像划分区域，以Cell区域为单位建方向-幅值矢量直方图；在指定的小区域(如Cell＝4*4)内按加权投票构建方向-幅值的直方图，并在区域(如Block＝8*8)做归一化处理。在一个更大的区域(如Win＝16*16)内收集所有的直方图，得到矢量直方图运动描述子，其过程如图4；
步骤S32：以特征点为中心，串联立方体内的矢量直方图形成运动描述子。
在本实施例中，所述步骤S4中，通过聚类算法对局部描述子形成编码向量的具体步骤如下：
步骤S41：使用所述步骤S32得到的描述子进行聚类，得到每类的质心；
步骤S42：使用欧式距离统计指定区域内每一类的频数，形成编码向量。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (5)

1.一种基于视觉的运动特征提取方法，其特征在于：具体包括以下步骤：
步骤S1：基于连续帧提取每个像素点的运动矢量；
步骤S2：提取在X、Y、T方向像素值强烈变化的特征点；
步骤S3：以特征点为中心，构建基于运动矢量的方向-幅值直方图的立方本特征向量；
步骤S4：通过聚类算法对局部描述子形成编码向量。
2.根据权利要求1所述的一种基于视觉的运动特征提取方法，其特征在于：所述步骤S1中，基于连续帧提取每个像素点的运动矢量的具体步骤如下：
步骤S11：令i＝1，获得第i帧图像I(x,i)；
步骤S12：获得第i+1帧图像I(x,i+1)；
步骤S13：对图像灰度化与去噪的预处理，得到图像I’(x,i)和I’(x,i+1)；
步骤S14：根据相邻两帧时间间隔很小时，图像的灰度变化也很小的前提下得到的约束方程I’xVx+I’yVy＝0，计算得到运动矢量(Vx,Vy)。
3.根据权利要求1所述的一种基于视觉的运动特征提取方法，其特征在于：所述步骤S2中，提取在X、Y、T方向像素值强烈变化的特征点的具体步骤如下：
步骤S21：构建基于立方体的DOG高斯金字塔，DOG公式如下：
D(x，y，z，kjσ)＝L(x，y，z，kiσ)-L(x，y，z，kjσ)
公式中，尺度空间L(x，y，z，kσ)＝G(x，y，z，kσ)*I(x，y，z)，其中为I(x，y，z)输入体积，G(x，y，z，kσ)是尺度为kσ的高斯三维滤波器；
步骤S22：计算DOG局部极值点，即为特征点。
4.根据权利要求1所述的一种基于视觉的运动特征提取方法，其特征在于：所述步骤S3中，以特征点为中心，构建基于运动矢量的方向-幅值直方图的立方本特征向量的具体步骤如下：
步骤S31：计算每个像素点的运动矢量的方向和幅值，为图像划分区域，以Cell区域为单位建方向-幅值矢量直方图；
步骤S32：以特征点为中心，串联立方体内的矢量直方图形成运动描述子。
5.根据权利要求1所述的一种基于视觉的运动特征提取方法，其特征在于：所述步骤S4中，通过聚类算法对局部描述子形成编码向量的具体步骤如下：
步骤S41：使用所述步骤S32得到的描述子进行聚类，得到每类的质心；
步骤S42：使用欧式距离统计指定区域内每一类的频数，形成编码向量。
CN201610248526.0A 2016-04-20 2016-04-20 一种基于视觉的运动特征提取方法 Active CN105957103B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610248526.0A CN105957103B (zh) 2016-04-20 2016-04-20 一种基于视觉的运动特征提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610248526.0A CN105957103B (zh) 2016-04-20 2016-04-20 一种基于视觉的运动特征提取方法

Publications (2)

Publication Number Publication Date
CN105957103A true CN105957103A (zh) 2016-09-21
CN105957103B CN105957103B (zh) 2018-09-18

Family

ID=56917850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610248526.0A Active CN105957103B (zh) 2016-04-20 2016-04-20 一种基于视觉的运动特征提取方法

Country Status (1)

Country Link
CN (1) CN105957103B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106331723A (zh) * 2016-08-18 2017-01-11 上海交通大学 一种基于运动区域分割的视频帧率上变换方法及系统
CN106683114A (zh) * 2016-12-16 2017-05-17 河海大学 基于特征光流的流体运动矢量估计方法
CN107968946A (zh) * 2016-10-18 2018-04-27 深圳万兴信息科技股份有限公司 视频帧率提升方法及装置
CN109344692A (zh) * 2018-08-10 2019-02-15 华侨大学 一种运动质量评价方法及系统
CN116358547A (zh) * 2022-12-09 2023-06-30 珠海创智科技有限公司 一种基于光流估计获取agv位置的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101924871A (zh) * 2010-02-04 2010-12-22 苏州大学 基于均值偏移的视频目标跟踪方法
CN103067646A (zh) * 2011-10-21 2013-04-24 索尼公司 运动特征提取方法和装置，以及视频处理装置
CN104050665A (zh) * 2014-06-10 2014-09-17 华为技术有限公司 一种视频图像中前景停留时间的估计方法及装置
US20150206026A1 (en) * 2014-01-23 2015-07-23 Samsung Electronics Co., Ltd. Method of generating feature vector, generating histogram, and learning classifier for recognition of behavior

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101924871A (zh) * 2010-02-04 2010-12-22 苏州大学 基于均值偏移的视频目标跟踪方法
CN103067646A (zh) * 2011-10-21 2013-04-24 索尼公司 运动特征提取方法和装置，以及视频处理装置
US20150206026A1 (en) * 2014-01-23 2015-07-23 Samsung Electronics Co., Ltd. Method of generating feature vector, generating histogram, and learning classifier for recognition of behavior
CN104050665A (zh) * 2014-06-10 2014-09-17 华为技术有限公司 一种视频图像中前景停留时间的估计方法及装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106331723A (zh) * 2016-08-18 2017-01-11 上海交通大学 一种基于运动区域分割的视频帧率上变换方法及系统
CN107968946A (zh) * 2016-10-18 2018-04-27 深圳万兴信息科技股份有限公司 视频帧率提升方法及装置
CN107968946B (zh) * 2016-10-18 2021-09-21 深圳万兴信息科技股份有限公司 视频帧率提升方法及装置
CN106683114A (zh) * 2016-12-16 2017-05-17 河海大学 基于特征光流的流体运动矢量估计方法
CN106683114B (zh) * 2016-12-16 2019-08-20 河海大学 基于特征光流的流体运动矢量估计方法
CN109344692A (zh) * 2018-08-10 2019-02-15 华侨大学 一种运动质量评价方法及系统
CN109344692B (zh) * 2018-08-10 2020-10-30 华侨大学 一种运动质量评价方法及系统
CN116358547A (zh) * 2022-12-09 2023-06-30 珠海创智科技有限公司 一种基于光流估计获取agv位置的方法
CN116358547B (zh) * 2022-12-09 2024-01-30 珠海创智科技有限公司 一种基于光流估计获取agv位置的方法

Also Published As

Publication number Publication date
CN105957103B (zh) 2018-09-18

Similar Documents

Publication Publication Date Title
Zhang et al. Improving triplet-wise training of convolutional neural network for vehicle re-identification
Gnouma et al. Stacked sparse autoencoder and history of binary motion image for human activity recognition
CN105069434B (zh) 一种视频中人体动作行为识别方法
CN104616316B (zh) 基于阈值矩阵和特征融合视觉单词的人物行为识别方法
CN105957103A (zh) 一种基于视觉的运动特征提取方法
CN106778768A (zh) 基于多特征融合的图像场景分类方法
CN106709419B (zh) 一种基于显著轨迹空间信息的视频人体行为识别方法
CN105469050B (zh) 基于局部时空特征描述与金字塔词汇树的视频行为识别方法
Santos et al. Counting vehicle with high-precision in brazilian roads using yolov3 and deep sort
Yi et al. Mining human movement evolution for complex action recognition
Murthy et al. Ordered trajectories for human action recognition with large number of classes
Anuradha et al. Spatio-temporal based approaches for human action recognition in static and dynamic background: a survey
Iraei et al. Object tracking with occlusion handling using mean shift, Kalman filter and edge histogram
CN114419669A (zh) 一种基于重识别和方位感知的实时跨摄像头行人跟踪方法
Pang et al. Analysis of computer vision applied in martial arts
Magdy et al. Violence 4D: Violence detection in surveillance using 4D convolutional neural networks
El‐Henawy et al. Action recognition using fast HOG3D of integral videos and Smith–Waterman partial matching
CN103971100A (zh) 基于视频并针对自动提款机的伪装与偷窥行为的检测方法
CN108898614B (zh) 一种基于层次式时空区域合并的物体轨迹提议方法
Tong et al. Action recognition new framework with robust 3D-TCCHOGAC and 3D-HOOFGAC
Gawande et al. Scale invariant mask r-cnn for pedestrian detection
Tu et al. Robust vehicle tracking based on scale invariant feature transform
Javidani et al. A unified method for first and third person action recognition
Celik et al. Unsupervised and simultaneous training of multiple object detectors from unlabeled surveillance video
Su et al. Human activity recognition based on silhouette analysis using local binary patterns

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant