CN105512618A - 视频跟踪方法 - Google Patents

视频跟踪方法 Download PDF

Info

Publication number
CN105512618A
CN105512618A CN201510846671.4A CN201510846671A CN105512618A CN 105512618 A CN105512618 A CN 105512618A CN 201510846671 A CN201510846671 A CN 201510846671A CN 105512618 A CN105512618 A CN 105512618A
Authority
CN
China
Prior art keywords
frame
video
target
candidate
target frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510846671.4A
Other languages
English (en)
Other versions
CN105512618B (zh
Inventor
王蕴红
卢江虎
黄迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201510846671.4A priority Critical patent/CN105512618B/zh
Publication of CN105512618A publication Critical patent/CN105512618A/zh
Application granted granted Critical
Publication of CN105512618B publication Critical patent/CN105512618B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种视频跟踪方法,包括:为目标框建立目标视频分类器,采用目标视频分类器跟踪目标框并识别出候选框,若候选框遮挡目标框,则为候选框建立候选视频分类器,并采用候选视频分类器跟踪候选框并识别出目标框,若候选框离开目标框,则重新通过目标视频分类器对目标框进行跟踪,若候选框继续遮挡目标框,则继续通过候选视频分类器对候选框进行跟踪;直至对视频图像的所有帧的跟踪操作完成。本发明提供的视频跟踪方法,可以有效解决运动视频中的遮挡问题,当跟踪目标被遮挡后不会将跟踪目标跟丢,提高了视频跟踪的正确率。

Description

视频跟踪方法
技术领域
本发明涉及计算机视觉处理领域,尤其涉及一种视频跟踪方法。
背景技术
体育视频规律分析是指在体育比赛中,通过对体育视频中的运动员建模,训练跟踪器来实时地跟踪运动员,然后对跟踪的运动员的视频数据进行动作识别以及动作分析,最终获得战术统计、运动员体能消耗等相关数据。其中,对运动员进行视频跟踪至关重要。
所谓视频跟踪,就是指对摄像头捕捉到的图像序列进行分析,在每一帧图像中识别出运动目标。视频跟踪算法的思想通常有两种:通过识别目标来进行跟踪和通过运动目标检测来进行跟踪。前一种算法思想包含了目标识别和目标匹配两部分,通过识别每一帧图像中的样本从而确定运动目标的位置,后一种算法思想通过监测和发现运动目标并确定运动目标的位置进行跟踪,该方法不需要考虑目标的形状、尺度,可以监测任何目标。
然而,在体育视频跟踪中,运动员频繁的跑动会经常发生相互遮挡,尤其是同队运动员之间的遮挡,由于衣着相似,外观具有严重的一致性,极易导致跟丢目标,例如:一个跟踪器正在跟踪一个运动员,队友遮挡该运动员后,因为队友与该运动员高度相似,跟踪器可能会去跟踪队友,导致跟踪器跟错。现有的基于正常视频的跟踪算法无法解决运动视频中的遮挡问题。
发明内容
本发明提供一种视频跟踪方法,可以有效解决运动视频中的遮挡问题,当跟踪目标被遮挡后不会将跟踪目标跟丢,提高了视频跟踪的正确率。
本发明提供的视频跟踪方法,包括:
在视频图像的第一帧中确定目标框,为所述目标框建立目标视频分类器;
在视频图像的第二帧中采用所述目标视频分类器跟踪所述目标框并识别出候选框,根据所述目标框与所述候选框的位置判断所述候选框是否遮挡所述目标框;
若所述候选框遮挡所述目标框,则为所述候选框建立候选视频分类器,并在视频图像的第三帧中采用所述候选视频分类器跟踪所述候选框并识别出所述目标框,根据所述目标框与所述候选框的位置判断所述候选框是否离开所述目标框,若是,则在视频图像的第四帧中通过所述目标视频分类器对所述目标框进行跟踪;若否,则在视频图像的第四帧中通过所述候选视频分类器对所述候选框进行跟踪;直至对所述视频图像的所有帧的跟踪操作完成。
本发明提供了一种视频跟踪方法,对视频图像的每一帧进行跟踪处理,为跟踪目标建立目标视频分类器,通过目标视频跟踪器识别出跟踪目标和候选目标,当候选目标遮挡住跟踪目标时,为候选目标建立候选视频分类器,通过候选视频跟踪器识别出候选目标和跟踪目标,并判断候选目标是否离开了跟踪目标,若候选目标离开跟踪目标,则重新通过目标视频分类器对跟踪目标进行跟踪,若候选目标没有离开跟踪目标,则继续通过候选视频分类器对候选目标进行跟踪。本实施例提供的视频跟踪方法,可以有效解决运动视频中的遮挡问题,当跟踪目标被遮挡后不会将跟踪目标跟丢,提高了视频跟踪的正确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的视频跟踪方法的流程图;
图2为本发明实施例三提供的视频跟踪方法的流程图;
图3为本发明实施例四提供的视频跟踪方法的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例一提供的视频跟踪方法的流程图。如图1所示,本实施例提供的视频跟踪方法,可以包括:
步骤101、在视频图像的第一帧中确定目标框,为目标框建立目标视频分类器。
其中,视频图像的第一帧是指一段需要进行视频跟踪操作的视频图形的初始帧,目标框是指包括了被跟踪对象的跟踪范围。在本步骤中,在视频图像的第一帧中确定一个跟踪目标,为被跟踪目标设定一个目标框,并为目标框建立目标视频分类器。
其中,为目标框建立目标视频分类器,可以采用现有的多种实现方式。可选的,一种具体实现方式可以为:
在距离目标框预设范围内采集正样本和负样本。
分别提取正样本和负样本的低维特征向量,低维特征向量中的每两个分量之间相互独立。
根据低维特征向量训练视频分类器获得目标视频分类器。
在上述步骤中,根据已知的正样本和负样本进行视频分类器的训练,获得针对跟踪目标的目标视频分类器。其中,提取每个正样本和每个负样本的低维特征向量,可以采用稀疏编码方法,低维特征向量v可以表示为:v=(v1,v2,…,vn),其中,n为低维特征向量的维数,低维特征向量中的每一个分量vi可以服从高斯分布,即,p(vi|y=1)~N(μi 1i 1),p(vi|y=0)~N(μi 0i 0),而且,由于提取的低维特征向量v已经降维,所以,可以提高训练视频分类器的速度,即提高了建立目标视频分类器的速度。
其中,预设范围根据需要进行设置。
其中,视频分类器可以为朴素贝叶斯分类器,也可以是其他类别的分类器,本实施例对此不加以限制。根据低维特征向量v训练朴素贝叶斯分类器的公式如下:
H ( v ) = log ( Π i = 1 n p ( v i | y = 1 ) p ( y = 1 ) Π i = 1 n p ( v i | y = 1 ) p ( y = 1 ) ) = Σ i = 1 n log ( p ( v i | y = 1 ) p ( v i | y = 1 ) )
步骤103、在视频图像的第二帧中采用目标视频分类器跟踪目标框并识别出候选框,根据目标框与候选框的位置判断候选框是否遮挡目标框。
其中,视频图像的第二帧是指与第一帧连续的下一帧,候选框是指包括了候选对象的跟踪范围,候选对象与被跟踪对象特征相似。在本步骤中,通过目标视频分类器可以识别出目标框以及与目标框特征相似的候选框,并判断候选框是否遮挡了目标框。
可选的,在视频图像的第二帧中采用目标视频分类器跟踪目标框并识别出候选框,可以包括:
在视频图像的第二帧中采集样本框。
采用目标视频分类器在样本框中识别出目标框。
计算目标框与除目标框之外的任意一个样本框之间的方差,若方差大于预设阈值,则采用目标视频分类器判断样本框包含目标框的概率,若概率大于预设门限值,则将样本框识别为候选框。
在上述步骤中,先通过目标框与任意一个样本框之间的方差大于预设阈值过滤掉一部分样本框,然后在剩下的样本框中,通过目标视频分类器识别出与目标框特征相似的候选框,通过两次筛选,减小了目标视频分类器的计算量,提高了目标视频分类器识别候选框的速度。
其中,预设阈值和预设门限值根据需要进行设置。
步骤105、若候选框遮挡目标框,则为候选框建立候选视频分类器,并在视频图像的第三帧中采用候选视频分类器跟踪候选框并识别出目标框,根据目标框与候选框的位置判断候选框是否离开目标框,若是,则在视频图像的第四帧中通过目标视频分类器对目标框进行跟踪,若否,则在视频图像的第四帧中通过候选视频分类器对候选框进行跟踪;直至对视频图像的所有帧的跟踪操作完成。
其中,视频图像的第三帧和第四帧是指与第二帧连续的下两帧。
如果在视频图像的第二帧中判定候选框遮挡住了目标框,则在视频图像的第三帧中识别出目标框的概率将非常小,此时,如果继续用目标视频分类器跟踪目标框,目标视频分类器将会有一定的概率去跟踪与目标框特征相似的候选框,从而导致目标跟丢。所以,在本步骤中,如果在视频图像的第二帧中判定候选框遮挡住了目标框,则为候选框建立候选视频分类器,在视频图像的第三帧中通过候选视频跟踪器跟踪候选框并识别在候选框后面的目标框,判断候选框是否已经离开了目标框,如果离开,则在第四帧中重新通过目标视频分类器对目标框进行跟踪,即,采用目标视频分类器跟踪目标框并识别出候选框,根据目标框与候选框的位置判断候选框是否遮挡目标框,如果候选框依然遮挡目标框,则在第四帧中继续通过候选视频分类器对候选框进行跟踪,即,采用候选视频分类器跟踪候选框并识别出目标框,根据目标框与候选框的位置判断候选框是否离开目标框,并且对第四帧之后的每一帧都进行上述的跟踪操作,直至视频图形的最后一帧。
其中,为候选框建立候选视频分类器的方法,与采用为目标框建立目标视频分类器的方法类似。
其中,采用候选视频分类器跟踪候选框并识别出目标框的方法,与在视频图像的第二帧中采用目标视频分类器跟踪目标框并识别出候选框的方法类似。
需要说明的是,在本实施例中,第一帧、第二帧、第三帧和第四帧仅是对一段需要进行视频跟踪操作的视频图像的连续四帧的指代,其中,第一帧为初始帧,本实施例提供的视频跟踪方法,需要对该视频图像的每一帧进行视频跟踪处理从而完成视频跟踪操作。
可选的,采用目标视频分类器在样本框中识别出目标框之后,还可以包括:
采用目标视频分类器对在距离目标框预设范围内的每一个样本框识别为正样本或者负样本。
分别提取正样本和负样本的低维特征向量,低维特征向量中的每两个分量之间相互独立。
根据低维特征向量更新目标视频分类器。
通过上述步骤,在每个视频帧中,通过目标视频分类器识别出目标框之后,选取新的正样本和负样本,通过正样本和负样本进行目标视频分类器的更新,使得目标视频分类器更加准确,进而提升了视频跟踪的正确性。
可选的,采用候选视频分类器在样本框中识别出候选框之后,可以对候选视频分类器进行更新,与对目标视频分类器更新的方法类似。
本实施例提供了一种视频跟踪方法,对视频图像的每一帧进行跟踪处理,通过目标视频跟踪器识别出跟踪目标和候选目标,为跟踪目标建立目标视频分类器,当候选目标遮挡住跟踪目标时,为候选目标建立候选视频分类器,通过候选视频跟踪器识别出候选目标和跟踪目标,并判断候选目标是否离开了跟踪目标,若候选目标离开跟踪目标,则重新通过目标视频分类器对跟踪目标进行跟踪,若候选目标没有离开跟踪目标,则继续通过候选视频分类器对候选目标进行跟踪。本实施例提供的视频跟踪方法,可以有效解决运动视频中的遮挡问题,当跟踪目标被遮挡后不会将跟踪目标跟丢,提高了视频跟踪的正确率。
本发明的第二实施例提供的视频跟踪方法,在实施例一的基础上,提供了视频跟踪方法的另一种实现方式。本实施例提供的视频跟踪方法,在上述步骤103之后,还可以包括:
若候选框没有遮挡目标框,则在视频图像的第三帧中通过目标视频分类器对目标框进行跟踪。
可选的,还可以包括:
在视频图像的每一帧中获取目标框的坐标。
将目标框的坐标与预设的坐标分类等级进行比较,获得目标框对应的坐标分类等级。
根据目标框对应的坐标分类等级,为目标框选择与坐标分类等级对应的显示规格。
上述步骤为调整目标框大小的步骤,在视频图像的每一帧中,在采用目标视频跟踪器识别出目标框之后执行。由于在体育比赛中,用于记录视频图像的摄像头都是固定的,而运动员由于经常来回移动,会造成在视频图像的每一帧中投影大小不一,为了更好的跟踪运动员,需要考虑根据运动员实际的大小调整跟踪运动员的窗口。在视频帧中,运动员离摄像头越近,则运动员在视频帧中的位置越靠近视频帧下方,运动员离摄像头越远,则运动员在视频帧中的位置越靠近视频帧的上方,所以,通过获取视频帧中目标框的坐标,根据目标框的坐标对应的坐标等级调整目标框的大小,具体的,如果目标框的纵坐标较小,则放大目标框,如果目标框的纵坐标较大,则缩小目标框,可以在每帧视频帧中将目标框调整到合适大小,进而提高了视频跟踪的准确性。
可选的,在视频图像的每一帧中,在采用候选视频跟踪器识别出候选框之后,可以对候选框进行调整,方法与目标框的调整方法相似。
图2为本发明实施例三提供的视频跟踪方法的流程图,本实施例在实施例一和实施例二的基础上,提供了视频跟踪方法的另一种实现方式,尤其是实现了视频跟踪处理后的动作识别。如图3所示,本实施例提供的视频跟踪方法,在上述步骤105之后,还可以包括:
步骤201、获取视频图像中预设数值个连续帧中的目标框。
在经过视频跟踪处理的视频图像中,选取预设数值个连续的视频帧。由于在运动视频中,运动员的动作都是连续的,所以,视频帧可以重复选取,例如:选取视频图像的第1~10帧进行动作识别,可以再选取视频图像的第3~15帧再进行一次动作识别。
其中,预设数值根据实际需要进行设置。
步骤203、计算连续帧中的目标框的运动特征,根据运动特征进行动作识别。
在本步骤中,根据目标框的运动特征进行动作识别,进行动作识别后,可以对运动员的各个动作进行统计,并进一步应用于战术分析中。
其中,计算目标框的运动特征,可以采用现有的任意一种算法,本实施不加以限制。
其中,进行动作识别可以识别出的动作可以是常规的体育动作,也可以是新定义的动作,本实施例对此不加以限制。例如:对于排球比赛,动作可以为:发球、扣球、垫球、二传和无球运动。
本实施例提供了一种视频跟踪方法,在对视频图像进行视频跟踪处理后,选取连续的视频帧进行动作识别,可以进一步应用到体育视频分析,提升了视频跟踪的应用范围。
图3为本发明实施例四提供的视频跟踪方法的流程图,本实施例在上述实施例的基础上,提供了视频跟踪方法的另一种实现方式,尤其是提供了步骤203的一种具体实现方式。如图3所示,本实施例提供的视频跟踪方法,步骤203计算连续帧中的目标框的运动特征,根据运动特征进行动作识别,可以包括:
步骤301、获取连续帧中的目标框的密度轨迹线。
其中,轨迹线是运动轨迹的形象表现,所谓密度轨迹线,是指利用图像识别中高效的密度样本代替稀疏特征点提取,并利用密度光流法,对样本点进行跟踪,形成运动轨迹线,通过除去没有运动结构的均匀图像区域中的无效轨迹线,最终获取表征运动轨迹信息的密度轨迹线。
步骤303、计算密度轨迹线的运动特征。
其中,运动特征可以包括:方向梯度直方图描述子(Histogramofgradient,简称HOG)特征、光流直方图描述子(HistogramofOpticalFlow,简称HOF)特征、运动边界直方图描述子(MotionBoundaryHistogram,简称MBH)特征与静态和动态特征描述子(StaticandDynamicFeatureVelocity,简称SDEV)特征。
其中,对于HOG特征、HOF特征、MBH特征和SDEV特征的提取,可以采用现有的任意一种算法。
提取HOG特征、HOF特征、MBH特征和SDEV特征,一种具体算法如下:
对于HOG特征,通过在密度轨迹线邻近时空区域计算图像的梯度值获取HOG特征。计算图像梯度的通常方法是将一维的离散梯度模板分别应用到图像的水平方向和垂直方向,其中,离散梯度模板可以为离散高斯平滑模板。对于转化为灰度图的原图像,梯度值的计算通常使用一阶微分运算,其中,利用差分法一元偏微分计算表达式如下:
∂ f ( x ) ∂ x = f ( x + 1 ) - f ( x )
设灰度图图像的灰度强度为I(x,y),x和y为图像坐标,则图像的梯度及其大小和方向为:
▿ I ( x , y ) = ( g x , g y ) = ( ∂ I ( x , y ) ∂ x , ∂ I ( x , y ) ∂ y ) ▿ I ( x , y ) = ( ∂ I ( x , y ) ∂ x ) 2 + ( ∂ I ( x , y ) ∂ y ) 2 θ = a r c t a n ( g x g y )
如果利用梯度模板[-1,0,1]计算水平方向和垂直方向的梯度,则计算公式为:
g x ( x , y ) = I ( x + 1 , y ) - I ( x - 1 , y ) g y ( x , y ) = I ( x , y + 1 ) - I ( x , y - 1 )
对于HOF特征,以视频图像的光流为基础,在光流的基础上,通过光流矢量的分布获取HOF特征。
对于MBH特征,以视频图像的光流为基础,在光流的基础上,通过计算速度随时间的梯度变化分别获得竖直方向和水平方向的速度梯度分布,即MBH特征,计算公式如下:
其中,vx为速度的水平分量,vy为速度的竖直分量。
对于SDEV特征,包括动态特征速度(VelocityofDynamicFeature,简称VDF)特征和静态特征速度(VelocityofStaticFeature,简称VSF)特征。
通过在选取的邻域空间中进行梯度和点积运算可以获得VDF特征,即,密度轨迹线中的加速度特征,公式如下:
a → = ( a x , a y ) = ( w · ▿ u , w · ▿ v )
其中,a为加速度,ax为加速度的水平分量,ay为加速度的竖直分量,w为速度矢量,u和v分别是速度矢量w的水平分量和竖直分量。
在HOG特征的基础上,通过梯度与速度的点积运算以及再次利用梯度计算模板获取最终的VSF特征,即,梯度随时间的变化,公式如下:
∂ g → ∂ t = ∂ ∂ t ( I x , I y ) = ( I x t , I y t ) = - ▿ ( w · ▿ I )
其中,g为梯度,I为图像灰度梯度,Ix和Iy分别是图像灰度梯度的两个分量,w为速度场矢量。
步骤305、对HOG特征、HOF特征、MBH特征和SDEV特征进行译码,以使各特征的特征维度相等。
由于不同特征的特征维度不同,造成无法直接通过HOG特征、HOF特征、MBH特征和SDEV特征训练动作分类器,例如:对同一条密度轨迹线进行处理后,HOG特征的维度为96,HOF特征的维度为108,MBH特征的维度为192,SDEV特征的维度为216。通过本步骤,对HOG特征、HOF特征、MBH特征和SDEV特征进行译码,使得各特征的特征维度相同。
其中,特征译码方法可以采用现有的任意一种算法,例如:词袋技术。
步骤307、对HOG特征、HOF特征、MBH特征和SDEV特征进行特征融合,根据融合后的运动特征训练动作分类器,以使动作分类进行动作识别。
在本步骤中,通过对HOG特征、HOF特征、MBH特征和SDEV特征进行特征融合,可以获得更为全面的特征信息,相比于单一的特征,根据融合后的运动特征训练动作分类器,可以使得动作分类器更加准确,进而使得通过动作分类器识别的动作更加准确,提高了动作识别的准确性。
其中,对HOG特征、HOF特征、MBH特征和SDEV特征进行特征融合,一种具体的实现方式为:采用多通道高斯核进行特征融合。
对于两个任意等通道数的直方图Hi={hin}和Hj={hjn},在c个通道融合的条件下,这两个直方图之间的χ2距离定义为:
D c ( H i , H j ) = 1 2 Σ i = 1 V ( h i n - h j n ) 2 h i n + h j n
其中,V是特征译码之后获得的特征直方图的维数。
在此基础上,多通道高斯核定义为:
K ( H i , H j ) = exp ( - Σ c ∈ C 1 A c D c ( H i , H j ) )
其中,Ac是每一描述子通道中,所有训练样本的卡方距离的均值,C为最优描述子融合集。
其中,可以通过贪心算法获得C。初始情况下,融合的通道集合为空集,通过不断的加入或移除不同的描述子类别,评价每种情况下的识别效率,直至获得最大的效率值,此时的融合通道集合为最优集合。
可选的,动作分类器可以为基于径向基函数(RadialBasisFunction,简称RBF)的支持向量机(SupportVectorMachine,简称SVM)分类器。
可选的,步骤301获取连续帧中的目标框的密度轨迹线,一种实现方式可以为:
对连续帧中的每一帧的目标框以预设像素长度计算密度特征点。
获取连续帧中的每一帧的目标框的光流场,从连续帧中的第一帧开始,根据当前帧的目标框的光流场将当前帧的目标框的每一个密度特征点与下一帧的目标框的对应的密度特征点光滑连接,直至连续帧中的最后一帧,获得连续帧的目标框的密度轨迹线。
其中,所谓密度特征点,是指单位区域内能够比较显著描述该区域特征的一些点,通过这些点在帧与帧之间的像素点的变化,来捕捉特征点的运动轨迹,从而构成密度轨迹线。计算目标框的密度特征点可以采用现有的任意一种算法。
其中,在上述步骤中,通过光流场获得密度轨迹线的步骤,具体如下:
获取当前视频帧I(t)的目标框的光流场为w(t)=(u(t),v(t)),其中,u(t)为光流场的水平分量,v(t)为光流场的竖直分量。
在光流场w(t)上使用中值滤波核M,对于当前视频帧I(t)中的任意一个像素点P(t)=(x(t),y(t)),可以光滑跟踪到该像素点在下一个视频帧I(t+1)中的位置P(t+1)=(x(t+1),y(t+1)),跟踪公式如下:
P(t+1)=(x(t+1),y(t+1))=(x(t),y(t))+(M*w(t))
其中,x(t)为像素点P(t)的横坐标,y(t)为像素点P(t)的纵坐标。
可见,通过上述步骤,根据每一帧视频图像的目标框的光流场,可以将当前帧的目标框的每一个密度特征点与下一帧的目标框的对应的密度特征点光滑连接,对所有视频帧进行处理后,获得了连续帧的目标框的密度轨迹线。
其中,预设像素长度可以根据需要进行设置。可选的,预设像素长度设置为5。
本实施例提供了一种视频跟踪方法,在对视频图像进行视频跟踪处理后,选取连续的视频帧进行动作识别,通过获取连续帧中的目标框的密度轨迹线,计算密度轨迹线的运动特征,对HOG特征、HOF特征、MBH特征和SDEV特征进行译码,以使各特征的特征维度相等,对HOG特征、HOF特征、MBH特征和SDEV特征进行特征融合,根据融合后的运动特征训练动作分类器,以使动作分类进行动作识别。本实施例提供的视频跟踪方法,由于根据融合后的运动特征训练动作分类器,可以使得动作分类器更加准确,进而使得通过动作分类器识别的动作更加准确,提高了动作识别的准确性。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种视频跟踪方法,其特征在于,包括:
在视频图像的第一帧中确定目标框,为所述目标框建立目标视频分类器;
在视频图像的第二帧中采用所述目标视频分类器跟踪所述目标框并识别出候选框,根据所述目标框与所述候选框的位置判断所述候选框是否遮挡所述目标框;
若所述候选框遮挡所述目标框,则为所述候选框建立候选视频分类器,并在视频图像的第三帧中采用所述候选视频分类器跟踪所述候选框并识别出所述目标框,根据所述目标框与所述候选框的位置判断所述候选框是否离开所述目标框,若是,则在视频图像的第四帧中通过所述目标视频分类器对所述目标框进行跟踪;若否,则在视频图像的第四帧中通过所述候选视频分类器对所述候选框进行跟踪;直至对所述视频图像的所有帧的跟踪操作完成。
2.根据权利要求1所述的视频跟踪方法,其特征在于,还包括:
若所述候选框没有遮挡所述目标框,则在视频图像的第三帧中通过所述目标视频分类器对所述目标框进行跟踪。
3.根据权利要求1所述的视频跟踪方法,其特征在于,所述为所述目标框建立目标视频分类器,包括:
在距离所述目标框预设范围内采集正样本和负样本;
分别提取所述正样本和所述负样本的低维特征向量,所述低维特征向量中的每两个分量之间相互独立;
根据所述低维特征向量训练视频分类器获得所述目标视频分类器。
4.根据权利要求1所述的视频跟踪方法,其特征在于,所述在视频图像的第二帧中采用所述目标视频分类器跟踪所述目标框并识别出候选框,包括:
在视频图像的第二帧中采集样本框;
采用所述目标视频分类器在所述样本框中识别出所述目标框;
计算所述目标框与除所述目标框之外的任意一个样本框之间的方差,若所述方差大于预设阈值,则采用所述目标视频分类器判断所述样本框包含所述目标框的概率,若所述概率大于预设门限值,则将所述样本框识别为所述候选框。
5.根据权利要求4所述的视频跟踪方法,其特征在于,所述采用所述目标视频分类器在所述样本框中识别出所述目标框之后,还包括:
采用所述目标视频分类器对在距离所述目标框预设范围内的每一个样本框识别为正样本或者负样本;
分别提取所述正样本和所述负样本的低维特征向量,所述低维特征向量中的每两个分量之间相互独立;
根据所述低维特征向量更新所述目标视频分类器。
6.根据权利要求1所述的视频跟踪方法,其特征在于,还包括:
在视频图像的每一帧中获取所述目标框的坐标;
将所述目标框的坐标与预设的坐标分类等级进行比较,获得所述目标框对应的坐标分类等级;
根据所述目标框对应的坐标分类等级,为所述目标框选择与所述坐标分类等级对应的显示规格。
7.根据权利要求1所述的视频跟踪方法,其特征在于,还包括:
获取视频图像中预设数值个连续帧中的目标框;
计算所述连续帧中的目标框的运动特征,根据所述运动特征进行动作识别。
8.根据权利要求7所述的视频跟踪方法,其特征在于,所述计算所述连续帧中的目标框的运动特征,根据所述运动特征进行动作识别,包括:
获取所述连续帧中的目标框的密度轨迹线;
计算所述密度轨迹线的运动特征,所述运动特征包括:方向梯度直方图HOG特征、光流直方图HOF特征、运动边界直方图MBH特征和SDEV特征;
对所述HOG特征、所述HOF特征、所述MBH特征和所述SDEV特征进行译码,以使各特征的特征维度相等;
对所述HOG特征、所述HOF特征、所述MBH特征和所述SDEV特征进行特征融合,根据融合后的运动特征训练动作分类器,以使所述动作分类进行动作识别。
9.根据权利要求8所述的视频跟踪方法,其特征在于,所述获取所述连续帧中的目标框的密度轨迹线,包括:
对所述连续帧中的每一帧的目标框以预设像素长度计算密度特征点;
获取所述连续帧中的每一帧的目标框的光流场,从所述连续帧中的第一帧开始,根据当前帧的目标框的光流场将当前帧的目标框的每一个密度特征点与下一帧的目标框的对应的密度特征点光滑连接,直至所述连续帧中的最后一帧,获得所述连续帧的目标框的密度轨迹线。
10.根据权利要求8所述的视频跟踪方法,其特征在于,所述动作分类器为基于径向基函数RBF的支持向量机SVM分类器。
CN201510846671.4A 2015-11-27 2015-11-27 视频跟踪方法 Active CN105512618B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510846671.4A CN105512618B (zh) 2015-11-27 2015-11-27 视频跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510846671.4A CN105512618B (zh) 2015-11-27 2015-11-27 视频跟踪方法

Publications (2)

Publication Number Publication Date
CN105512618A true CN105512618A (zh) 2016-04-20
CN105512618B CN105512618B (zh) 2019-01-15

Family

ID=55720585

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510846671.4A Active CN105512618B (zh) 2015-11-27 2015-11-27 视频跟踪方法

Country Status (1)

Country Link
CN (1) CN105512618B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956113A (zh) * 2016-05-05 2016-09-21 南京邮电大学 基于粒子群优化的视频数据挖掘高维聚类方法
CN107122762A (zh) * 2017-05-16 2017-09-01 甘肃政法学院 一种针对复杂运动图像的处理方法
CN107330384A (zh) * 2017-06-19 2017-11-07 北京协同创新研究院 一种视频中运动目标跟踪的方法及装置
CN108629301A (zh) * 2018-04-24 2018-10-09 重庆大学 一种基于运动边界稠密采样和运动梯度直方图的人体动作识别方法
CN108764148A (zh) * 2018-05-30 2018-11-06 东北大学 基于监控视频的多区域实时动作检测方法
CN110647818A (zh) * 2019-08-27 2020-01-03 北京易华录信息技术股份有限公司 一种遮挡目标物体的识别方法及装置
CN111145215A (zh) * 2019-12-25 2020-05-12 北京迈格威科技有限公司 一种目标跟踪方法及装置
WO2022127876A1 (zh) * 2020-12-16 2022-06-23 影石创新科技股份有限公司 目标跟踪的方法、计算机可读存储介质及计算机设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102881022A (zh) * 2012-07-20 2013-01-16 西安电子科技大学 基于在线学习的遮挡目标跟踪方法
US20130342636A1 (en) * 2012-06-22 2013-12-26 Cisco Technology, Inc. Image-Based Real-Time Gesture Recognition
CN104517300A (zh) * 2014-12-23 2015-04-15 南京信息工程大学 基于颜色统计特征的视觉判别跟踪方法
CN105069434A (zh) * 2015-08-12 2015-11-18 河海大学常州校区 一种视频中人体动作行为识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130342636A1 (en) * 2012-06-22 2013-12-26 Cisco Technology, Inc. Image-Based Real-Time Gesture Recognition
CN102881022A (zh) * 2012-07-20 2013-01-16 西安电子科技大学 基于在线学习的遮挡目标跟踪方法
CN104517300A (zh) * 2014-12-23 2015-04-15 南京信息工程大学 基于颜色统计特征的视觉判别跟踪方法
CN105069434A (zh) * 2015-08-12 2015-11-18 河海大学常州校区 一种视频中人体动作行为识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DI WU, FAN ZHU, LING SHAO: "One Shot Learning Gesture Recognition from RGBD Images", 《COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS (CVPRW), 2012 IEEE COMPUTER SOCIETY CONFERENCE ON》 *
苑洋,黄迪,王蕴红: "面向不同距离的实时人体检测与跟踪系统", 《模式识别与人工智能》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956113A (zh) * 2016-05-05 2016-09-21 南京邮电大学 基于粒子群优化的视频数据挖掘高维聚类方法
CN105956113B (zh) * 2016-05-05 2019-05-31 南京邮电大学 基于粒子群优化的视频数据挖掘高维聚类方法
CN107122762A (zh) * 2017-05-16 2017-09-01 甘肃政法学院 一种针对复杂运动图像的处理方法
CN107330384A (zh) * 2017-06-19 2017-11-07 北京协同创新研究院 一种视频中运动目标跟踪的方法及装置
CN108629301A (zh) * 2018-04-24 2018-10-09 重庆大学 一种基于运动边界稠密采样和运动梯度直方图的人体动作识别方法
CN108629301B (zh) * 2018-04-24 2022-03-08 重庆大学 一种人体动作识别方法
CN108764148A (zh) * 2018-05-30 2018-11-06 东北大学 基于监控视频的多区域实时动作检测方法
CN108764148B (zh) * 2018-05-30 2020-03-10 东北大学 基于监控视频的多区域实时动作检测方法
CN110647818A (zh) * 2019-08-27 2020-01-03 北京易华录信息技术股份有限公司 一种遮挡目标物体的识别方法及装置
CN111145215A (zh) * 2019-12-25 2020-05-12 北京迈格威科技有限公司 一种目标跟踪方法及装置
CN111145215B (zh) * 2019-12-25 2023-09-05 北京迈格威科技有限公司 一种目标跟踪方法及装置
WO2022127876A1 (zh) * 2020-12-16 2022-06-23 影石创新科技股份有限公司 目标跟踪的方法、计算机可读存储介质及计算机设备

Also Published As

Publication number Publication date
CN105512618B (zh) 2019-01-15

Similar Documents

Publication Publication Date Title
CN105512618A (zh) 视频跟踪方法
Bilinski et al. Human violence recognition and detection in surveillance videos
Yang et al. Robust superpixel tracking
CN103020986B (zh) 一种运动目标跟踪方法
WO2018072233A1 (zh) 一种基于选择性搜索算法的车标检测识别方法及系统
Mathe et al. Dynamic eye movement datasets and learnt saliency models for visual action recognition
CN102289660B (zh) 一种基于手部姿态跟踪的违规驾驶行为检测方法
CN105574543B (zh) 一种基于深度学习的车辆品牌型号识别方法和系统
CN103164694A (zh) 一种人体动作识别的方法
CN105404857A (zh) 一种基于红外的夜间智能车前方行人检测方法
CN106295564B (zh) 一种邻域高斯结构和视频特征融合的动作识别方法
CN109191497A (zh) 一种基于多种信息融合的实时在线多目标跟踪方法
CN104268596B (zh) 一种车牌识别器及其车牌检测方法与系统
CN106599836A (zh) 多人脸跟踪方法及跟踪系统
CN106384345B (zh) 一种基于rcnn的图像检测以及流量统计方法
CN107292252A (zh) 一种自主学习的身份识别方法
CN105022982A (zh) 手部运动识别方法和装置
CN104978567A (zh) 基于场景分类的车辆检测方法
CN108985204A (zh) 行人检测跟踪方法及装置
CN105741324A (zh) 移动平台上的运动目标检测识别与跟踪方法
CN103886619A (zh) 一种融合多尺度超像素的目标跟踪方法
CN104615986A (zh) 利用多检测器对场景变化的视频图像进行行人检测的方法
CN105701466A (zh) 快速的全角度人脸跟踪方法
CN103886089B (zh) 基于学习的行车记录视频浓缩方法
CN107103303A (zh) 一种基于gmm背景差分与联合特征的行人检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant