CN101236657A - 单一运动目标轨迹的跟踪与记录方法 - Google Patents

单一运动目标轨迹的跟踪与记录方法 Download PDF

Info

Publication number
CN101236657A
CN101236657A CNA2008100504188A CN200810050418A CN101236657A CN 101236657 A CN101236657 A CN 101236657A CN A2008100504188 A CNA2008100504188 A CN A2008100504188A CN 200810050418 A CN200810050418 A CN 200810050418A CN 101236657 A CN101236657 A CN 101236657A
Authority
CN
China
Prior art keywords
single movement
movement target
profile
target
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2008100504188A
Other languages
English (en)
Inventor
陈万忠
刘富
张倬
赵雷
龚银银
韩双双
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CNA2008100504188A priority Critical patent/CN101236657A/zh
Publication of CN101236657A publication Critical patent/CN101236657A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种采用计算机程序的单一运动目标轨迹的跟踪与记录方法。旨在克服运动目标轨迹的跟踪与记录占用存储空间大的问题。该方法采用安装硬件系统、提取目标轮廓和对目标轮廓进行模板匹配与轨迹记录步骤。提取目标轮廓采用提取目标视频第t帧、第t-1帧与第t+1帧图像;进行三帧差分运算、“与”运算、中值滤波和提取实际轮廓等步骤。对目标轮廓进行模板匹配与轨迹记录采用找出目标的质心位置并进行存储;对存储的质心位置信息做距离变换与进行Hausdorff距离匹配;将该目标的实际形状进行存储;然后再提取第t+1帧图像,按提取目标轮廓的流程和按对目标轮廓进行模板匹配与轨迹记录方法进行匹配与存储等步骤,这样循环下去。

Description

单一运动目标轨迹的跟踪与记录方法
技术领域
本发明涉及一种计算机视觉领域中运动目标及其运动轨迹的跟踪技术,更确切的说,它涉及一种单一运动目标轨迹的跟踪与记录方法。
背景技术
运动目标的检测与跟踪是计算机视觉领域的核心课题之一,它融合了图像处理、模式识别、人工智能等相关领域的研究成果,在视频监控、机器人导航、视频传输、视频检索、医学图像分析、气象分析、智能交通等许多领域有着广泛的应用。
在智能交通管理系统中,车辆的实时检测与跟踪技术是智能交通系统的重要技术之一。计算机在不需要人的干预或者只需要很少干预的情况下,通过对摄像机拍录的视频序列进行分析,实现车辆的检测与跟踪。在此基础上分析和判断车辆的行为,并给出语意描述。做到了既能完成日常管理,又能在发生异常情况时及时做出反应,从而提供一种更加先进和可行的监控方案。
目前,如何有效降低视频的存储空间是运动视觉的重要研究内容,可是对分割出的单一运动目标记录方法的研究相对较少。一般是用avi格式的文件进行存储,其数据量相当大;近几年也有用MPEG1,MPEG2,H261,H263,MPEG4等方法进行视频压缩,其中MPEG4能够比较高效率的进行压缩和解压,压缩后的文件大约为原文件的30%,90分钟的视频影像大约需要300MB,但对硬件要求还是很高。
发明内容
本发明所要解决的技术问题是克服目前运动目标及其运动轨迹的跟踪与记录占用存储空间大的问题,采用自编的计算机程序,和硬件系统相结合,提供一种单一运动目标轨迹的跟踪与记录方法。
为解决上述技术问题,本发明采用如下技术方案予以实现。在硬件系统的支持下,单一运动目标轨迹的跟踪与记录方法采用下列步骤:
1)提取单一运动目标轮廓;
2)对单一运动目标轮廓进行模板匹配与运动轨迹记录。
技术方案中所述的提取单一运动目标轮廓要采用下列步骤:
1)提取单一运动目标视频的第t帧图像、第t-1帧图像与第t+1帧图像,其中,t是取大于零的自然数,以下相同;
2)对提取的单一运动目标的第t帧图像和第t-1帧图像进行差分运算,对提取的单一运动目标的第t帧图像和第t+1帧图像进行差分运算,即进行三帧差分运算;
3)对两帧进行差分后的图像进行“与”运算;
4)将“与”运算后的结果进行中值滤波;
5)根据中值滤波后所得的信息提取出部分单一运动目标的轮廓;
6)对提取出部分单一运动目标的轮廓取等距初始轮廓点;
7)求出单一运动目标视频的第t帧图像的边缘梯度信息,设定各项参数;
8)对步骤7)和步骤6)所得结果进行分析,利用snake方法收缩初始轮廓曲线;
9)提取出单一运动目标的实际轮廓。
技术方案中所述的对单一运动目标轮廓进行模板匹配与运动轨迹记录要采用下列步骤:
1)根据提取出的单一运动目标实际轮廓信息,找出单一运动目标的质心位置并进行存储;
2)对存储的质心位置信息做距离变换;
3)对步骤2)所得结果进行Hausdorff距离匹配;
4)判断Hausdorff距离匹配是否成功,如果判断的结果为“否”,则流程进入继续对该单一运动目标的下一帧图像做处理;如果判断的结果为“是”,则流程进入下一步骤;
5)判断Hausdorff距离匹配成功的次数是否超过阈值,如果判断的结果为“否”,则流程进入继续对该单一运动目标的下一帧图像做处理;如果判断的结果为“是”,则流程进入下一步骤;
6)将该单一运动目标的实际形状进行存储;
7)对该单一运动目标的下一帧图像做处理,即提取第t+1帧图像,按提取单一运动目标轮廓的流程求第t帧、t+1帧、t+2帧,再按对单一运动目标轮廓进行模板匹配与运动轨迹记录的方法进行匹配与存储,这样循环下去,进行单一运动目标轨迹的快速跟踪与记录。
与现有技术相比本发明的有益效果是:
1.由于三帧差分算法的方法复杂度低,本发明在摄像头的帧数在25-30fps时,能够实现实时跟踪,满足一般监控的实时性要求;
2.参阅图8,单一运动目标轨迹的跟踪与记录方法是实现了一种只用两个文本文件就可对运动轨迹进行记录的方法,大大降低了运动目标轨迹记录存储容量,若对单一运动目标进行一年轨迹的跟踪与记录时,所需存储空间也仅为670MB左右,只需大约相当于通常视频文件万分之一的存储空间,很好地解决了关注目标行进轨迹的长时间跟踪时存储空间不足的问题。
3.单一运动目标轨迹的跟踪与记录方法对系统硬件的要求很低,如今普遍应用的计算机都可以满足要求。
附图说明
下面结合附图对本发明作进一步的说明:
图1是表示单一运动目标轨迹的跟踪与记录方法由硬件部分和自编计算机程序部分实现的流程框图;
图2是单一运动目标轨迹的跟踪与记录方法中的提取单一运动目标轮廓的流程框图;
图3是单一运动目标轨迹的跟踪与记录方法中的对单一运动目标轮廓进行模板匹配与运动轨迹记录的流程框图;
图4是采用MPEG4格式在计算机显示器上呈现的跟踪与记录的效果图;
图5是采用单一运动目标轨迹的跟踪与记录方法的跟踪与记录的第13帧截图;
图6是采用单一运动目标轨迹的跟踪与记录方法的跟踪与记录的第24帧截图;
图7是采用单一运动目标轨迹的跟踪与记录方法的跟踪与记录的第46帧截图;
图8是几种方法对相同的单一运动目标及其运动轨迹的跟踪与记录所占用存储空间大小的曲线比较示意图。
具体实施方式
下面结合附图对本发明作详细的描述:
I.本发明的设计构思与主要技术特征:
本发明以逐步求精的指导思想,研究一种能够减少存储空间容量的记录方法。先用三帧差分方法和Snake方法相结合提出单一运动目标的轮廓,然后,再利用Hausdorff方法对提出的轮廓进行匹配,并将匹配后的轮廓和运动轨迹以文本文件存储。此方法较好地解决了单一刚体目标运动轨迹记录存储空间容量的问题,只需大约相当于通常视频文件万分之一的存储空间,适用于注重单一运动目标轨迹长时间记录的系统。
三帧差分法(公知技术)运算过程简单,运算速度快,但它所提取出的轮廓并不完整,所以往往不能直接使用;Snake主动轮廓法(公知技术)则可精确的分割出单像素完整轮廓,但该方法运算复杂,不适合做实时处理,且自适应地选择较好的初始轮廓点也有一定困难。
本发明融合了Snake方法和三帧差分方法的优点,构建了一个目标检测与跟踪方法,该方法首先通过三帧差分方法快速地提取出目标的初始轮廓,在轮廓上等距取50个节点作为初始点,同时对中间帧利用Canny算子提出其边缘图像。随后对差分后图像进行中值滤波,再利用主动轮廓模型方法收缩曲线提取出完整、单像素的目标轮廓,使视频序列中的对象得到自动检测与跟踪。本发明提出的改进轮廓方法通过三帧差分方法解决了Snake方法初始轮廓和约束条件选取的问题,可以准确的提取出目标的实际轮廓,不需要人为干预,在一定程度上降低了传统Snake方法的复杂度,而且由于三帧差分方法的复杂度低,在摄像头最大帧数达到25-30fps时就能够实现实时跟踪。能够实现对目标的实时跟踪。本发明提出了一种只利用两个文本文件对单一刚体目标的运动轨迹进行记录的方法。
1.提取单一运动目标轮廓
将连续三帧图形进行差分后做“与”运算,经过滤波后得到目标大致轮廓,并提取出等距初始轮廓点,同时,求出中间帧图像的梯度,在设定好主动轮廓方法的各项系数后,再以提取出的初始轮廓点为基础,利用主动轮廓方法对曲线进行扩张,经过少量的迭代后就可得到目标的实际轮廓。
2.对单一运动目标轮廓进行模板匹配与运动轨迹记录
为了在播放记录时能够更直观的观察单一运动目标的外形和运动状态,利用Hausdorff距离匹配出单一运动目标的形状模板并在播放时显示,这样我们就可以观察到更完整的目标。系统对模板的选取,主要采取了“模板训练”的思想。即首先针对几个典型的刚体目标形状采样,利用Snake主动轮廓方法提取轮廓,经过一定的修正形成匹配识别参考模板。
本文所建系统采用修正的Hausdorff距离(MHD)来进行模板匹配,其定义如下:
h ( A , B ) = 1 N A Σ a ∈ A min b ∈ B | | a - b | |
其中NA是点集A中点的个数。修正的Hausdorff距离对噪声不太敏感,可避免由于部分噪声象素点的干扰带来的偏差。
Hausdorff匹配中h(M,I),其中M为参考模板点的集合;I为跟踪到移动目标边缘的点集。由于Snake主动轮廓方法能够提出完整的目标轮廓点集,因此无需再进一步对这两个点集做预处理。匹配识别时,首先对提取出的待识别图像实施Euclidean距离变换,以得到距离映射图,然后在距离空间内,将模板在距离映射图上进行平移匹配。相应的hi(M,I),其中i为平移次数,取参考模板中的点在当前距离映射图上对应位置处的最大值,它度量的是最大不匹配程度。所以,基本的匹配判别规则即为:取所有平移匹配中得到的hi(M,I)值中的最小值,作为这个模板与该移动目标之间的相似度的度量。匹配过程如下:
设第i次平移匹配时,若参考模板中符合要求的点与跟踪图像中总点数的比率为Ri,取 p ( x ) = max ( R i ) j ≤ i , 其中k为对参考模板个数的计数,j为对某一个参考模板平移的次数。取
Figure S2008100504188D00051
对应的参考模板为最终结果,并将每一帧匹配的参考模板进行统计。
本发明在实际匹配过程中发现,为了克服采用基本形式的Hausdorff距离,易受部分象素点偏差的影响,采取了修正的Hausdorff距离模板匹配法,即通过对若干帧中得到的hi(M,I)求平均来得到模板相对于待识别图像的相似度,即hi(M,I)=∑hi(M,I)/N,其中N为模板中的边缘象素点的个数。当某一参考模板匹配次数超过80%时,认为此模板与目标匹配,并将此模板存入一个文本文件中。
另一个文本负责记录每一帧中目标质心的位置,并以(x,y)的格式全部进行存储。由所有这些质心连接成的曲线就可以看作目标的移动轨迹,再通过质心的移动推算出形状模板此时的位置。
采取“模板训练”的思路,通过修正的Hausdorff距离模板匹配方法进行轮廓匹配,实现了一种只用两个文本文件对运动轨迹进行记录的方法,大大降低了运动目标轨迹记录存储容量。
II.具体实施单一运动目标轨迹的跟踪与记录方法
参阅图1,单一运动目标轨迹的跟踪与记录方法是由硬件部分和计算机程序部分组成或实现的。硬件部分是由摄像头、计算机与显示器所组成。单一运动目标轨迹的跟踪与记录方法是在硬件部分的基础上,将发明人自编的计算机程序部分装入计算机中,进行运算,从而实现对单一运动目标轨迹的跟踪与记录。完整地说,单一运动目标轨迹的跟踪与记录方法包括下列步骤:安装硬件部分、提取单一运动目标轮廓与对单一运动目标轮廓进行模板匹配与运动轨迹记录。现按时间顺序详细描述如下:
1.安装硬件部分
安装摄像头
根据单一运动目标轨迹的跟踪与记录方法的用途不同或场合不同,总的原则应该将摄像头固定安装在最能有效地跟踪单一运动目标的位置。
安装计算机与显示器
将计算机与显示器安放在便于操作者工作的地方。
然后,用电线依次将它们连接起来。再将发明人自编的计算机程序部分装入计算机中,这样,为单一运动目标轨迹的跟踪与记录方法的正常运算提供了软硬件的支持。
2.提取单一运动目标轮廓
参阅图2,整个硬件系统正常工作以后,计算机程序开始起决定性的作用,计算机程序开始运作。所述的提取单一运动目标轮廓要采用下列步骤:
1)首先由摄像头拍摄的目标视频信息中提取出目标视频的第t帧图像、第t-1帧图像与第t+1帧图像,其中,t是取大于零的自然数,以下相同;
2)然后,对提取出的第t帧图像和第t-1帧图像进行差分运算,对提取出的第t帧图像和第t+1帧图像进行差分运算,即三帧图像差分运算;
三帧图像差分算法也称对称差分法,就是由三帧连续图像的差值得到中间帧运动目标的轮廓,这种方法能够去除因为运动而显露的背景影响,从而得到准确的运动轮廓。
三帧图像差分法的基本原理:设It-1(x,y)、It(x,y)和It+1(x,y)分别表示三帧连续原图像,bt-1,t(x,y)和bt,t+1(x,y)分别表示相邻两帧图像的差分后的二值图像,其计算方法如下式:
b t - 1 , t ( x , y ) = 0 background | I t ( x , y ) - I t - 1 ( x , y ) | > T 1 1 forground | I t ( x , y ) - I t - 1 ( x , y ) | > T 1
b t , t + 1 ( x , y ) = 0 background | I t + 1 ( x , y ) - I t ( x , y ) | > T 2 1 forground | I t + 1 ( x , y ) - I t ( x , y ) | ≤ T 2
其中T1、T2为二值化图像的阈值。
3)对两幅进行差分后的图像做“与”运算;
对差分图像bt-1,t(x,y)和bt,t+1(x,y)做逻辑“与”运算,得到三帧图像差分ds k(x,y),其计算公式如下式所示:
d s k ( x , y ) = 0 foreground b t - 1 , t ( x , y ) ∩ b t , t + 1 ( x , y ) = 0 1 background b t - 1 , t ( x , y ) ∩ b t , t + 1 ( x , y ) = 1
4)将步骤3)中“与”运算后的结果进行中值滤波;
三帧图像差分法得到的目标轮廓往往并不完整,且边缘不够精确,因此无法直接应用在后续的图像分析处理中,我们将“与”运算后的结果进行中值滤波,去除图像噪声。
5)根据中值滤波后所得的信息提取出部分运动目标的轮廓;
6)对提取出部分运动目标的轮廓做处理,取等距初始轮廓点并求出第t帧图像的边缘梯度信息;
对提取出部分运动目标的轮廓做处理,在轮廓上等距取50个节点作为初始点,求出目标视频的第t帧图像的边缘梯度信息。
首先对图像梯度值进行标准化处理:设Min和Max是点(xi,yi)邻近区域的梯度最小值和最大值,Pix表示点(xi,yi)的图像梯度,那么点(xi,yi)处的真实强度为(Min-Pix)/(Max-Min),如果Max-Min小于指定的阈值a,那么我们将Min设为Max-a。这样可以避免在较小的区域内有很大的Eext能量变化。其对应模型公式如下:
模型总能量:
E = Σ i = 0 N [ E int ( vi ) + E ext ( vi ) ]
模型内部能量:
Eint=αiEcontiEcurv
E cont = | d ‾ - | | v i - v i - 1 | | |
Ecurv=‖vi-1-2vi+2vi+12
模型外部能量:
Eext=γiEimage E image = min - mag max - min
其中:
Figure S2008100504188D00074
点与点之间的平均距离;
Mag:控制点的梯度值;
Min/Max:邻近区域内梯度值的min imum/max imum。
7)对步骤6)所得结果进行分析,利用snake算法收缩初始轮廓曲线;
在本步骤中利用snake算法对每一个控制点执行如下序列:
①找到当前点(xi,yi)邻近区域内各像素点的梯度值的最大值和最小值,并赋值给Max和Min;
②计算当前点(xi,yi)邻近区域内各像素点的能量值Eelastic、Ebending和Eext
③将这些能量值标准化;
④在当前点(xi,yi)邻近区域内找到能量最小的像素点;
⑤将控制点(xi,yi)更新到上一步找到的能量最小点的位置;
⑥重复以上序列处理下一个控制点。
8)根据收缩的初始轮廓曲线提取出运动目标的实际轮廓,提取单一运动目标轮廓流程结束,进入对单一运动目标轮廓进行模板匹配与运动轨迹记录流程。
3.对单一运动目标轮廓进行模板匹配与运动轨迹记录
第2步骤中提取出单一运动目标轮廓的提取算法虽然能够很好的提取出闭合的、单像素的运动目标轮廓,可是通过实验证明并不是每一帧都一样,也不是十分完好。因此,在轨迹记录算法中,我们利用了Hausdorff距离匹配的方法,把每一帧提取出的运动目标轮廓和事先储存好的各个参考模板进行匹配,当某一参考模板匹配次数超过80%时,认为此模板与目标匹配,并将此模板存入一个文本文件中。
因此系统对模板的选取就显得由为重要。本发明应用了“模板训练”的构思,即首先针对几个典型的刚体或可能要进行跟踪的目标形状进行采样,经过一定的修正后,存入模板库中形成识别参考模板。
所述的对单一运动目标轮廓进行模板匹配与运动轨迹记录要采用下列步骤:
1)将运动目标的质心位置进行存储;
根据第2步骤提取出单一运动目标轮廓信息,找出运动目标的质心位置,并进行存储。
所谓的轨迹实际就可以认为是目标的质心在空间移动的全部路径。在本系统中的轨迹记录就是由连续的目标质心构成的。质心的定义如下:
c x = Σi ( i , j ) ∈ Contour n
c y = Σj ( i , j ) ∈ Contour n
其中,n为轮廓上像素点数目,也就是说质心的横坐标是所有在运动目标轮廓上的像素横坐标的平均值,质心的纵坐标是运动目标轮廓上所有像素的平均值。
我们将在前面的运动目标提取算法中得到的目标的质心,逐帧存入第一个文本文件中即可。经过实验可知这样存储简单、占用空间极小,且在回放时能够得到清晰的轨迹曲线。
2)对边缘图像实施Euclidean距离变换;
为了使后续识别处理在距离变换空间内进行,采用了Euclidean距离变换(EDT),这是利用Hausdorff距离来实现模板匹配识别的关键步骤。
对边缘图像实施距离变换,实质上是对二值图像进行距离变换,以得到对应原边缘图像的等尺寸的距离映射图,在此距离映射图中的每个“像素点”的新值为距离值,距离变换定义如下:
D(p)=min(dM(p,q))  q∈O
其中,dM(p,q)表示像素点p,q间的距离,O为目标目标的元素集合。
Euclidean距离变换时,取dM(p,q)为de(p,q)定义如下:
d e ( p , q ) = ( p x - q x ) 2 + ( p y - q y ) 2
计算中,为了减小开平方运算的开销,可将上式取为:
dE(p,q)=(px-qx)2+(py-qy)2
距离变换可描述为:对于由目标目标O和背景B构成的二值图像I(如可设属于目标的像素点值为1和255,相应地设属于背景的像素点值为0),则经过如上述定义的距离变换后,其形成的距离映射图中的每一个点的新值,即为在原图像中距该点最近的目标像素点的距离。
3)采用修正的Hausdorff距离进行模板匹配;
为了减少噪声的干扰,本发明所建系统采用修正的Hausdorff距离(MHD,Modified Hausdorff Distance)来进行模板匹配,其定义如下:
h ( A , B ) = 1 N A Σ a ∈ A min b ∈ B | | a - b | |
其中NA是点集A中点的个数。
修正的Hausdorff距离(MHD)对噪声不太敏感,可以避免由于部分噪声像素点的干扰带来的偏差。
系统取用了修正的Hausdorff距离,h(M,I)。其中,M为选取的参考模板(model)边缘像素点集合;I为运动目标图像的边缘像素点的集合。
匹配识别时,预先对边缘提取后的待识别图像实施Euclidean距离变换,以得到距离映射图像,然后在距离空间内,将model在距离映射图上进行匹配。相应的,hj(M,I)(下标j为平移次数)可取为model中的边缘像素点在当前距离映射图上对应位置处的若干值中的最大值,它度量了model在当前平移位置与边缘图像上对应像素点之间的最大不匹配度。于是,基本形式的Hausdorff距离模板匹配的判别规则即为:取所有平移匹配中得到的上述hj(M,I)值中的最小值,作为这个模板与该图像中有可能存在的该模板对应对象之间相似度的度量值。model与边缘图像相应位置处是否匹配的条件则可描述如下:
①设第j次平移匹配时,若model中符合匹配要求的点与model像素点总点数的比率为Rj
②取 P ( k ) = max j ≤ J ( R j ) , 其中:k=1,2,…,30,为对model个数的计数,J为对某一个model进行若干次平移次数的计数;
③取与
Figure S2008100504188D00094
对应的model进行统计;
④当统计次数超过设定阈值时,认为该model为最终匹配模板并进行存储。
通过实验表明,当某一参考模板连续匹配5次以上时,我们可以认为此模板与目标匹配,并将此模板点集存入第二个文本文件中。这样在记录刚体目标运动时,我们不仅能够清楚的看到目标的运动曲线,更能观察到完整的目标轮廓。
如果所跟踪的目标不能和已存储的任何一个模板匹配的话,系统会将会提示用户,由用户从各帧提取轮廓中选择较好的一个作为参考模板存入模板库中。如果没有得到用户的响应,系统会随机选取其中的一个轮廓进行储存,但将不会存入模板库中。
4)对模板匹配结果进行判断;
判断Hausdorff距离匹配是否成功,判断结果为“否”,则继续对该运动目标的下一帧图像做处理;判断结果为“是”,则流程进入Hausdorff距离匹配成功的次数是否超过阈值的判断步骤。
5)判断距离匹配成功的次数是否超过阈值;
判断结果为“否”,则继续对该运动目标的下一帧图像做处理;判断结果为“是”,则流程进入下一步。
6)将该运动目标的实际形状进行存储;
将该运动目标的实际形状进行存储,然后流程进入下一步。
7)对该运动目标的下一帧图像做处理;
所谓的对该运动目标的下一帧图像做处理,即提取第t+1帧图像,按图2所示的流程求第t帧、t+1帧、t+2帧,再按图3所示的流程进行匹配与存储,这样循环下去,从而实现对运动目标的快速跟踪与轨迹记录。
至此,单一运动目标轨迹的跟踪与记录方法实施完毕,那么,采用该方法所跟踪的单一运动目标的轮廓以及单一运动目标质心的运动轨迹就应该呈现在计算机的显示器上。
实施例
下面介绍的是对一个移动的五角星型运动目标进行跟踪的实验,它分别利用前面介绍的MPEG4格式和单一运动目标轨迹的跟踪与记录方法对该五角星型运动目标的轨迹进行跟踪与记录。软件以VisualC++6.0为开发平台,程序利用Microsoft提供的VFW软件包,对捕捉的视频数据按提取单一运动目标轮廓和对单一运动目标轮廓进行模板匹配与运动轨迹记录方法流程进行处理,并分别利用MPEG4格式和单一运动目标轨迹的跟踪与记录方法进行记录。
参阅图4,该图表示的是利用MPEG4格式进行记录并提取出目标轮廓的截图。由图中我们可以看到,MPEG4格式虽然能够提供效果较好的视觉效果,但对于关注目标的轮廓和运动轨迹的跟踪来说这方面显得就不是非常紧要了,图中MPEG4记录的视频序列用Snake方法进行轮廓提取后得到的图像,并不能直观的看到目标的轮廓及其运动轨迹。
参阅图5至图7,为利用单一运动目标轨迹的跟踪与记录方法所提取的第13帧、24帧、46帧记录截图,五角星中间红色的圆点为目标的质心,为了便于观察我们将相邻两个点之间用线进行连接。与avi和MPEG4两种格式相比较,单一运动目标轨迹的跟踪与记录方法不仅只需要很小的存储空间,而且记录下的目标的轮廓和运动轨迹非常清晰。单一运动目标轨迹的跟踪与记录方法只需记录一次目标的匹配轮廓,随后利用质心的偏移来计算目标的位置。从图中可以清晰的看到由目标质心所构成的目标的运动轨迹。对于关注目标轮廓与运动轨迹的长时间跟踪记录有很大的优势。
参阅图8,是用曲线表示单一运动目标轨迹的跟踪与记录方法与avi格式及MPGE4格式所占存储空间的比较。同样是90分钟的跟踪记录存储,如果利用avi格式就要占900MB的存储空间,如果利用MPEG4格式进行压缩后也要大概占300MB的存储空间,可是如果采用本文的方法,即采用单一运动目标轨迹的跟踪与记录方法,只需占160KB-180KB的存储空间(视跟踪目标轮廓的大小及复杂度而定)。因此,很好地解决了对关注目标进行长时间的轨迹跟踪时需要存储空间很大的问题。
参阅图8,我们可以看出,随着时间的延长,单一运动目标轨迹的跟踪与记录方法所占用的存储空间并不像其它方法那样有明显的增长。对单一运动目标进行一整天轨迹的跟踪与记录时,大概只需要1.8MB左右的存储空间,以此类推在正常情况下,对单一运动目标进行一年轨迹的跟踪与记录时,所需存储空间也仅为670MB左右。所以,单一运动目标轨迹的跟踪与记录方法对系统硬件的要求很低,如今普遍的计算机都可以满足要求。

Claims (3)

1.一种采用计算机程序进行控制的单一运动目标轨迹的跟踪与记录方法,包括有下列步骤:安装摄像头、装有自编计算机程序的计算机与显示器,并用电线依次将它们连接,其特征在于,所述的单一运动目标轨迹的跟踪与记录方法还采用下列步骤:
1)提取单一运动目标轮廓;
2)对单一运动目标轮廓进行模板匹配与运动轨迹记录。
2.按照权利要求1所述的单一运动目标轨迹的跟踪与记录方法,其特征在于,所述的提取单一运动目标轮廓要采用下列步骤:
1)提取单一运动目标视频的第t帧图像、第t-1帧图像与第t+1帧图像,其中,t是取大于零的自然数,以下相同;
2)对提取的单一运动目标的第t帧图像和第t-1帧图像进行差分运算,对提取的单一运动目标的第t帧图像和第t+1帧图像进行差分运算,即进行三帧差分运算;
3)对两帧进行差分后的图像进行“与”运算;
4)将“与”运算后的结果进行中值滤波;
5)根据中值滤波后所得的信息提取出部分单一运动目标的轮廓;
6)对提取出部分单一运动目标的轮廓取等距初始轮廓点;
7)求出单一运动目标视频的第t帧图像的边缘梯度信息,设定各项参数;
8)对步骤7)和步骤6)所得结果进行分析,利用snake方法收缩初始轮廓曲线;
9)提取出单一运动目标的实际轮廓。
3.按照权利要求1所述的单一运动目标轨迹的跟踪与记录方法,其特征在于,所述的对单一运动目标轮廓进行模板匹配与运动轨迹记录要采用下列步骤:
1)根据提取出的单一运动目标实际轮廓信息,找出单一运动目标的质心位置并进行存储;
2)对存储的质心位置信息做距离变换;
3)对步骤2)所得结果进行Hausdorff距离匹配;
4)判断Hausdorff距离匹配是否成功,如果判断的结果为“否”,则流程进入继续对该单一运动目标的下一帧图像做处理;如果判断的结果为“是”,则流程进入下一步骤;
5)判断Hausdorff距离匹配成功的次数是否超过阈值,如果判断的结果为“否”,则流程进入继续对该单一运动目标的下一帧图像做处理;如果判断的结果为“是”,则流程进入下一步骤;
6)将该单一运动目标的实际形状进行存储;
7)对该单一运动目标的下一帧图像做处理,即提取第t+1帧图像,按提取单一运动目标轮廓的流程求第t帧、t+1帧、t+2帧,再按对单一运动目标轮廓进行模板匹配与运动轨迹记录的方法进行匹配与存储,这样循环下去,进行单一运动目标轨迹的快速跟踪与记录。
CNA2008100504188A 2008-03-03 2008-03-03 单一运动目标轨迹的跟踪与记录方法 Pending CN101236657A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNA2008100504188A CN101236657A (zh) 2008-03-03 2008-03-03 单一运动目标轨迹的跟踪与记录方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNA2008100504188A CN101236657A (zh) 2008-03-03 2008-03-03 单一运动目标轨迹的跟踪与记录方法

Publications (1)

Publication Number Publication Date
CN101236657A true CN101236657A (zh) 2008-08-06

Family

ID=39920250

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2008100504188A Pending CN101236657A (zh) 2008-03-03 2008-03-03 单一运动目标轨迹的跟踪与记录方法

Country Status (1)

Country Link
CN (1) CN101236657A (zh)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101794451A (zh) * 2010-03-12 2010-08-04 上海交通大学 基于运动轨迹的跟踪方法
CN101872423A (zh) * 2010-05-27 2010-10-27 天津大学 一种生产线上运动目标追踪方法
CN101950424A (zh) * 2010-09-09 2011-01-19 西安电子科技大学 基于质心跟踪框架的特征关联细胞跟踪方法
CN101685014B (zh) * 2008-09-22 2011-06-29 财团法人车辆研究测试中心 物体位置侦测装置及方法
CN102158690A (zh) * 2011-05-23 2011-08-17 北京自动测试技术研究所 远程多路实时视频监控系统
CN102608997A (zh) * 2011-01-25 2012-07-25 同济大学 一种基于人工场的轨迹跟踪控制方法
CN102622895A (zh) * 2012-03-23 2012-08-01 长安大学 一种基于视频的车辆速度检测方法
CN102674073A (zh) * 2011-03-09 2012-09-19 欧姆龙株式会社 图像处理装置及图像处理系统和引导装置
CN102833465A (zh) * 2012-07-24 2012-12-19 武汉大千信息技术有限公司 基于运动检测的刑侦视频预处理方法
CN102937833A (zh) * 2012-10-19 2013-02-20 四川长虹电器股份有限公司 基于区域运动检测的界面控制方法
CN103092925A (zh) * 2012-12-30 2013-05-08 信帧电子技术(北京)有限公司 一种视频摘要生成方法和装置
CN103280108A (zh) * 2013-05-20 2013-09-04 中国人民解放军国防科学技术大学 基于视觉感知和车联网的客车安全预警系统
CN103608741A (zh) * 2011-06-13 2014-02-26 微软公司 由移动机器人来追踪及跟随运动对象
CN104298964A (zh) * 2014-09-15 2015-01-21 燕山大学 一种人体行为动作快速识别方法及装置
CN104750716A (zh) * 2013-12-27 2015-07-01 中国移动通信集团公司 一种社交网站好友推荐方法及装置
CN105740797A (zh) * 2016-01-27 2016-07-06 大连楼兰科技股份有限公司 一种基于图像处理的异常车辆的检测方法
CN106657560A (zh) * 2015-11-03 2017-05-10 腾讯科技(深圳)有限公司 图像处理方法及移动终端
CN106652487A (zh) * 2016-11-28 2017-05-10 重庆交通大学 一种交通密度检测系统及其检测方法
CN106934818A (zh) * 2015-12-31 2017-07-07 芋头科技(杭州)有限公司 一种手部运动跟踪方法及系统
CN107403437A (zh) * 2016-05-19 2017-11-28 上海慧流云计算科技有限公司 机器人跟踪物体的方法、装置及机器人
WO2018028363A1 (zh) * 2016-08-09 2018-02-15 深圳光启合众科技有限公司 目标对象的跟踪方法和装置
CN108171211A (zh) * 2018-01-19 2018-06-15 百度在线网络技术(北京)有限公司 活体检测方法和装置
CN108229456A (zh) * 2017-11-22 2018-06-29 深圳市商汤科技有限公司 目标跟踪方法和装置、电子设备、计算机存储介质
CN108647629A (zh) * 2018-05-08 2018-10-12 北京大米科技有限公司 一种图像识别定位方法、视频中图像轨迹识别方法和装置
CN109243150A (zh) * 2018-09-30 2019-01-18 深圳市金豪泰科技有限公司 一种车辆预警方法及终端
CN111078018A (zh) * 2019-12-31 2020-04-28 深圳Tcl新技术有限公司 显示器的触摸控制方法、终端设备及存储介质
CN113516611A (zh) * 2020-04-09 2021-10-19 合肥美亚光电技术股份有限公司 异常物料剔除区域的确定方法及装置、物料分选方法及设备
CN113804166A (zh) * 2021-11-19 2021-12-17 西南交通大学 一种基于无人机视觉的落石运动参数数字化还原方法

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101685014B (zh) * 2008-09-22 2011-06-29 财团法人车辆研究测试中心 物体位置侦测装置及方法
CN101794451A (zh) * 2010-03-12 2010-08-04 上海交通大学 基于运动轨迹的跟踪方法
CN101872423A (zh) * 2010-05-27 2010-10-27 天津大学 一种生产线上运动目标追踪方法
CN101950424A (zh) * 2010-09-09 2011-01-19 西安电子科技大学 基于质心跟踪框架的特征关联细胞跟踪方法
CN101950424B (zh) * 2010-09-09 2012-06-20 西安电子科技大学 基于质心跟踪框架的特征关联细胞跟踪方法
CN102608997A (zh) * 2011-01-25 2012-07-25 同济大学 一种基于人工场的轨迹跟踪控制方法
CN102674073A (zh) * 2011-03-09 2012-09-19 欧姆龙株式会社 图像处理装置及图像处理系统和引导装置
CN102158690A (zh) * 2011-05-23 2011-08-17 北京自动测试技术研究所 远程多路实时视频监控系统
CN103608741A (zh) * 2011-06-13 2014-02-26 微软公司 由移动机器人来追踪及跟随运动对象
CN102622895A (zh) * 2012-03-23 2012-08-01 长安大学 一种基于视频的车辆速度检测方法
CN102622895B (zh) * 2012-03-23 2014-04-30 长安大学 一种基于视频的车辆速度检测方法
CN102833465A (zh) * 2012-07-24 2012-12-19 武汉大千信息技术有限公司 基于运动检测的刑侦视频预处理方法
CN102937833A (zh) * 2012-10-19 2013-02-20 四川长虹电器股份有限公司 基于区域运动检测的界面控制方法
CN103092925A (zh) * 2012-12-30 2013-05-08 信帧电子技术(北京)有限公司 一种视频摘要生成方法和装置
CN103092925B (zh) * 2012-12-30 2016-02-17 信帧电子技术(北京)有限公司 一种视频摘要生成方法和装置
CN103280108A (zh) * 2013-05-20 2013-09-04 中国人民解放军国防科学技术大学 基于视觉感知和车联网的客车安全预警系统
CN103280108B (zh) * 2013-05-20 2015-04-22 中国人民解放军国防科学技术大学 基于视觉感知和车联网的客车安全预警系统
CN104750716A (zh) * 2013-12-27 2015-07-01 中国移动通信集团公司 一种社交网站好友推荐方法及装置
CN104750716B (zh) * 2013-12-27 2018-12-28 中国移动通信集团公司 一种社交网站好友推荐方法及装置
CN104298964A (zh) * 2014-09-15 2015-01-21 燕山大学 一种人体行为动作快速识别方法及装置
CN104298964B (zh) * 2014-09-15 2017-08-11 燕山大学 一种人体行为动作快速识别方法及装置
CN106657560A (zh) * 2015-11-03 2017-05-10 腾讯科技(深圳)有限公司 图像处理方法及移动终端
CN106657560B (zh) * 2015-11-03 2018-11-23 腾讯科技(深圳)有限公司 图像处理方法及移动终端
CN106934818B (zh) * 2015-12-31 2020-07-28 芋头科技(杭州)有限公司 一种手部运动跟踪方法及系统
CN106934818A (zh) * 2015-12-31 2017-07-07 芋头科技(杭州)有限公司 一种手部运动跟踪方法及系统
CN105740797A (zh) * 2016-01-27 2016-07-06 大连楼兰科技股份有限公司 一种基于图像处理的异常车辆的检测方法
CN107403437A (zh) * 2016-05-19 2017-11-28 上海慧流云计算科技有限公司 机器人跟踪物体的方法、装置及机器人
WO2018028363A1 (zh) * 2016-08-09 2018-02-15 深圳光启合众科技有限公司 目标对象的跟踪方法和装置
CN107730534B (zh) * 2016-08-09 2020-10-23 深圳光启合众科技有限公司 目标对象的跟踪方法和装置
CN107730534A (zh) * 2016-08-09 2018-02-23 深圳光启合众科技有限公司 目标对象的跟踪方法和装置
CN106652487A (zh) * 2016-11-28 2017-05-10 重庆交通大学 一种交通密度检测系统及其检测方法
CN108229456A (zh) * 2017-11-22 2018-06-29 深圳市商汤科技有限公司 目标跟踪方法和装置、电子设备、计算机存储介质
CN108171211A (zh) * 2018-01-19 2018-06-15 百度在线网络技术(北京)有限公司 活体检测方法和装置
CN108647629A (zh) * 2018-05-08 2018-10-12 北京大米科技有限公司 一种图像识别定位方法、视频中图像轨迹识别方法和装置
CN109243150A (zh) * 2018-09-30 2019-01-18 深圳市金豪泰科技有限公司 一种车辆预警方法及终端
US11941207B2 (en) 2019-12-31 2024-03-26 Shenzhen Tcl New Technology Co., Ltd. Touch control method for display, terminal device, and storage medium
CN111078018A (zh) * 2019-12-31 2020-04-28 深圳Tcl新技术有限公司 显示器的触摸控制方法、终端设备及存储介质
CN113516611A (zh) * 2020-04-09 2021-10-19 合肥美亚光电技术股份有限公司 异常物料剔除区域的确定方法及装置、物料分选方法及设备
CN113516611B (zh) * 2020-04-09 2024-01-30 合肥美亚光电技术股份有限公司 异常物料剔除区域的确定方法及装置、物料分选方法及设备
CN113804166A (zh) * 2021-11-19 2021-12-17 西南交通大学 一种基于无人机视觉的落石运动参数数字化还原方法
CN113804166B (zh) * 2021-11-19 2022-02-08 西南交通大学 一种基于无人机视觉的落石运动参数数字化还原方法

Similar Documents

Publication Publication Date Title
CN101236657A (zh) 单一运动目标轨迹的跟踪与记录方法
Wang et al. Adaptive fusion for RGB-D salient object detection
Wang et al. Atloc: Attention guided camera localization
Wang et al. Generative neural networks for anomaly detection in crowded scenes
Poirson et al. Fast single shot detection and pose estimation
US8345984B2 (en) 3D convolutional neural networks for automatic human action recognition
CN108038420B (zh) 一种基于深度视频的人体行为识别方法
US7817822B2 (en) Bi-directional tracking using trajectory segment analysis
Peng et al. Sparse-to-dense feature matching: Intra and inter domain cross-modal learning in domain adaptation for 3d semantic segmentation
US20230134967A1 (en) Method for recognizing activities using separate spatial and temporal attention weights
CN102741884A (zh) 移动体检测装置及移动体检测方法
Ahmad et al. Human action recognition using multi-view image sequences
Sheng et al. Siamese denoising autoencoders for joints trajectories reconstruction and robust gait recognition
Zhang et al. Poseflow: A deep motion representation for understanding human behaviors in videos
CN110826447A (zh) 一种基于注意力机制的餐厅后厨人员行为识别方法
CN106709419B (zh) 一种基于显著轨迹空间信息的视频人体行为识别方法
CN104036287A (zh) 一种基于人类运动显著轨迹的视频分类方法
CN113744311A (zh) 基于全连接注意力模块的孪生神经网络运动目标跟踪方法
Yi et al. Motion keypoint trajectory and covariance descriptor for human action recognition
Morariu et al. Modeling correspondences for multi-camera tracking using nonlinear manifold learning and target dynamics
CN103955682A (zh) 基于surf兴趣点的行为识别方法及装置
CN105957103B (zh) 一种基于视觉的运动特征提取方法
Wang et al. DCMNet: Discriminant and cross-modality network for RGB-D salient object detection
CN106529441A (zh) 基于模糊边界分片的深度动作图人体行为识别方法
CN112749671A (zh) 一种基于视频的人体行为识别方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20080806