CN102129690B - 一种抗环境干扰的人体运动目标的跟踪方法 - Google Patents
一种抗环境干扰的人体运动目标的跟踪方法 Download PDFInfo
- Publication number
- CN102129690B CN102129690B CN 201110067947 CN201110067947A CN102129690B CN 102129690 B CN102129690 B CN 102129690B CN 201110067947 CN201110067947 CN 201110067947 CN 201110067947 A CN201110067947 A CN 201110067947A CN 102129690 B CN102129690 B CN 102129690B
- Authority
- CN
- China
- Prior art keywords
- target
- tracked
- state
- template
- adhesion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明方法公开了一种抗环境干扰的人体运动目标的跟踪方法,按照以下具体步骤实施:步骤1、待跟踪目标的特征模板范围的确定,根据确定的模板上、下边界及左、右边界,给出待跟踪目标的特征模板位置范围;步骤2、待跟踪目标的特征模板信息的确定;步骤3、待跟踪目标状态的确定,将待跟踪目标的状态分为:单一目标、多个目标粘连、粘连目标分离三种情况分别进行处理;步骤4、待跟踪目标的跟踪,包括单个目标状态下的目标跟踪方式、粘连目标状态下的目标跟踪方式、粘连目标分离状态下的目标跟踪方式;步骤5、待跟踪目标的特征模板的更新。本发明的方法,既降低了算法的复杂度,又同时提高了目标跟踪的准确性和实时性。
Description
技术领域
本发明属于视频监控技术领域,涉及一种抗环境干扰的人体运动目标的跟踪方法。
背景技术
运动目标跟踪是智能监控系统的重要组成部分,目前已经提出了许多运动目标跟踪算法。其中有的是针对刚性目标的跟踪,有的是针对非刚体运动目标的跟踪。有的针对提高跟踪匹配的准确性而提出的,这类算法主要的特点是通过选取好的跟踪特征来提高目标的搜索匹配速度和匹配的正确程度;有的算法是针对缩小目标搜索范围提出的,这类算法主要特点是通过某种方法预测目标下一时刻可能出现的位置,通过缩小目标的搜索范围来缩短目标搜索时间,不过目标跟踪的准确性和实时性很难同时达到较好的效果。
发明内容
本发明的目的在于提供一种抗环境干扰的人体运动目标的跟踪方法,实现在降低算法复杂度的同时,同时提高目标跟踪的准确性和实时性。
本发明采用的技术方案是,一种抗环境干扰的人体运动目标的跟踪方法,其特征在于,按照以下具体步骤实施:
步骤1、确定待跟踪目标的特征模板范围
1.1)将待跟踪目标的特征模板选择在人体目标的头部以下的上半身的区域位置,设检测到的人体目标外接矩形的对角角点坐标为{(x0,y0),(x1,y1)},则外接矩形的长H、宽L分别为:H=x1-x0,L=y1-y0 (1)
取人体头部以下的上半身的模板对角角点坐标设为{(x0 (mod),y0 (mod)),(x1 (mod),y1 (mod))},则有:
x0 (mod)=x0+H/7,x1 (mod)=x1-3/7·H (2)
y0 (mod)=y0,y1 (mod)=y1 (3)
即得到待跟踪目标模板的上、下边界,
在目标外接矩形框内进行投影,根据投影曲线的分布,取主峰所在范围为模板的左、右边界,根据公式(2),(3)得到模板的上、下边界,
1.2)对模板的上、下边界所界定的局部区域进行投影,计算公式如下:
其中,f(k,j)为检测区域的像素值,即
k=x0 (mod),x+1(mod),....,x1 (mod),j=y0,y0+1,....,y1 (5)
则满足下面判据:
h(j)≥0.6·hmax,,hmax=max{h(j)},j=y0,y0+1,....,y1 (6)
的部分即为待跟踪目标模板的左、右边界,
1.3)根据确定出的模板上、下边界及左、右边界,得到待跟踪目标的特征模板位置范围;
步骤2、确定待跟踪目标的特征模板信息
设Fk=[fk(i,j)]为监视视频的当前帧,待跟踪目标的特征模板为将特征模板颜色数目设为n个,每一颜色分量值为Ck(k=1,2,...,n),按照下式统计特征模板内的颜色分布统计值[h1,h2,...,hn],以此作为特征模板的信息,
步骤3、确定待跟踪的目标状态
在获得待跟踪目标的特征之后,目标跟踪的过程就等价为相邻帧间的特征匹配过程,假设待跟踪目标的运动速度为相邻两帧之间的同一个目标区域有足够的重叠区域为前提,并且在场景中出现多个目标时,仅对其中的一个指定目标进行跟踪,
根据连续的前后两帧视频画面中不同目标相互之间形成的不同重叠情况,将待跟踪目标的状态分为:单一目标、多个目标粘连、粘连目标分离三种情况分别进行处理,
假设在当前帧中的待跟踪目标为Ot,后一帧中的目标个数为M个,当前帧中的目标集合为O(t+1)={o1 (t+1),o2 (t+1),...oM (t+1)};前一帧中的目标个数为N个,上帧中的目标集合为O(t-1)={o1 (t-1),o2 (t-1),...oN (t-1)},
待跟踪目标Ot的状态定义为以下三类:
第一类)目标进入场景状态;
第二类)目标离开场景状态;
第三类)目标在场景里的行走状态,其中又包括以下不同的子状态:
a)单一目标状态,是指该待跟踪目标与其他目标无关联或者场景中只有一个目标的状态,即简称为单一目标状态;
b)粘连目标状态,是指该待跟踪目标与其他目标发生粘连,使前一时刻的两个独立的连通域在当前帧中因为相互粘连而合并成一个联通域的状态;
c)粘连目标分离状态,是指前一帧中,因目标间的相互粘连,合并成一个联通域的状态,在当前帧中,因为有目标离开粘连区域而形成的分离连通域的状态,
当前帧中待跟踪目标Ot的状态判别方法如下:
3.1)待跟踪目标Ot所在区域位置与后一帧中的目标集O(t+1)的所有目标所在位置进行比较,判断O(t+1)中与待跟踪目标Ot重叠的目标个数,记作N(t+1);如果没有,即N(t+1)=0,则表明待跟踪目标Ot为离开场景状态,
位置重叠的判别方法为:
假设待跟踪目标Ot的外接矩形角点坐标为{(x0 (t),y0 (t)),(x1 (t),y1 (t))},O(t+1)中的M个目标的外接矩形角点坐标分别为{(x0 (k),y0 (k)),(x1 (k),y1 (k))},k=1,2,...,M,
如果:x0 (s)≤x0 (t)≤x1 (s),并且y0 (s)≤y0 (t)≤y1 (s),1≤s≤M; (9)
或者:x0 (s)≤x1 (t)≤x1 (s),并且y0 (s)≤y1 (t)≤y1 (s),1≤s≤M; (10)
则表明待跟踪目标Ot与O(t+1)中的目标Os的位置重叠;
3.2)待跟踪目标Ot所在区域位置与前一帧中的目标集O(t-1)的所有目标所在位置进行比较,判断O(t-1)中与待跟踪目标Ot重叠的目标个数,记作N(t-1);如果没有,即N(t-1)=0,则表明待跟踪目标Ot为进入场景状态;
3.3)如果N(t+1)=1,则表明待跟踪目标Ot与目标集O(t+1)中个某个目标具有重叠区域,假设与待跟踪目标Ot位置重叠的目标为Os,计算Os与O(t-1)中重叠的目标个数,记作Ns (t-1),如果Ns (t-1)=1,则表明待跟踪目标Ot为单一目标;如果Ns (t-1)>1,则表明待跟踪目标Ot在当前帧中与其他目标发生了粘连,即待跟踪目标Ot判断为目标粘连状态;
3.4)如果N(t+1)>1,则判断待跟踪目标Ot为粘连目标分离状态;
步骤4、待跟踪目标的跟踪
4.1)单个目标状态下的目标跟踪方式
如果待跟踪目标ot判断为单个目标状态,由于待跟踪目标Ot仅与目标集O(t+1)中的某个目标Os的位置重叠,所以认定在当前帧中与待跟踪目标Ot有重叠区域的目标Os就是待跟踪目标Ot,
4.2)粘连目标状态下的目标跟踪方式
当判断待跟踪目标Ot的状态为粘连目标状态时,表明在当前帧中,待跟踪目标Ot与其他的目标粘连形成一个连通域,该大的粘连连通域的位置,就是待跟踪目标Ot所在的位置,确定了目标在当前帧中的位置,就跟踪上了待跟踪目标Ot,
在粘连目标没有发生分离的情况下,对该粘连目标用单个目标跟踪的方法进行跟踪,以达到继续对待跟踪目标Ot的跟踪目的,
4.3)粘连目标分离状态下的目标跟踪方式
如果待跟踪目标Ot在前一帧中,还处于与其他目标粘连在一起的状态中,但在当前帧中,该由若干目标粘连在一起的连通域中,有目标分离出来,当目标发生分离时,将待跟踪目标Ot的模板分别与分离出的两个目标的模板进行匹配,匹配程度较大的为待跟踪目标Ot在当前帧中的位置;
步骤5、待跟踪目标的特征模板的更新
5.1)判断目标是否为粘连状态,如果粘连,则保持原有模板大小和信息不作更新;
5.2)若目标被判断为单一目标状态,将模板大小和模板信息按照步骤1、步骤2所述的方法重新计算后,作为更新的目标特征模板。
本发明的方法,在提取出运动目标的基础上,判断出每个目标的运动状态,然后根据目标的不同状态采用相应的方法对其进行跟踪,实现了既降低算法的复杂度,又同时提高了目标跟踪的准确性和实时性。
附图说明
图1为本发明方法对人体的坐标定位示意图;
图2是本发明方法中的目标模板消除干扰示意图;
图3是本发明方法中的运动目标帧间重叠面积示意图;
图4是本发明方法中的待跟踪目标为单一目标状态时的跟踪示意图;
图5是本发明方法中的两目标相互粘连时帧间重叠面积示意图;
图6是本发明方法中的两粘连目标分离时帧间重叠面积示意图;
图7是本发明方法中的多个粘连目标分离时帧间重叠面积示意图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明理论推导的前提是待跟踪目标的运动速度是有限的,而人体目标的运动正好符合这一要求。
本发明将检测到待跟踪目标的那个时刻所对应的视频帧设为目标跟踪的首帧,从首帧中的目标区域中,确定提取目标特征的局部受环境以及运动目标姿态等影响较小的局部,将其称为待跟踪目标的特征模板,之后,获取模板范围内的目标特征,根据模板与目标特征的匹配关系,完成对目标的跟踪。同时,根据待跟踪目标所在位置,为降低搜索时间以及降低相似目标的误匹配几率,设置一个局部搜索范围。
本发明方法的具体步骤如下:
步骤1、待跟踪目标的特征模板范围的确定
如图1所示,由于人在行走过程中,下肢的姿态变化较为频繁,而人体的上半部分是基本稳定,为此,选择人体的上半部分作为建立模板的位置。再则,人体目标的头部区域在不带帽子的情况下是相似的,将目标的特征模板选择在人体目标的头部以下的上半身的区域位置,其模板计算公式如下:
设检测到的人体目标外接矩形的对角角点坐标为{(x0,y0),(x1,y1)},则外接矩形的长H、宽L分别为:
H=x1-x0,L=y1-y0, (1)
取人体头部以下的上半身的模板对角角点坐标设为{(x0 (mod),y0 (mod)),(x1 (mod),y1 (mod))},则有:
x0 (mod)=x0+H/7,x1 (mod)=x1-3/7·H, (2)
y0 (mod)=y0,y1 (mod)=y1, (3)
即得到目标模板的上、下边界。
如图2所示,为了排除外接矩形框内背景部分以及目标检测时,误检测为目标一部分的阴影部分的干扰,在目标外接矩形框内进行投影,根据投影曲线的分布,取主峰所在范围为模板的左、右边界。
首先,根据公式(2),(3)得到模板的上、下边界,如图2中第二个小图的双横线所示,之后,对双横线所界定的局部区域进行投影,投影的计算公式如下:
其中,f(k,j)为检测区域的像素值,即
k=x0 (mod),x+1(mod),....,x1 (mod),j=y0,y0+1,....,y1, (5)
则满足下面判据:
h(j)≥0.6·hmax,hmax=max{h(j)},j=y0,y0+1,....,y1, (6)
的部分即为模板的左、右边界,如图2中第三个小图的双竖线所框定的范围。
最后,根据确定的模板上、下边界及左、右边界,给出目标的特征模板位置,如图2中第四个小图的双横线和双竖线围成的矩形框的范围。
步骤2、待跟踪目标的特征模板信息的确定
设Fk=[fk(i,j)]为监视视频的当前帧,待跟踪目标的模板为将模板颜色数目设为n个,每一颜色分量值为Ck(k=1,2,...,n),按照下式统计模板内的颜色分布统计值[h1,h2,...,hn],以此作为模板的信息,
步骤3、待跟踪目标的状态的确定
在获得待跟踪目标的特征之后,目标跟踪的过程就等价为相邻帧间的特征匹配过程。本发明方法假设运动目标的运动速度为相邻两帧之间的同一个目标区域有足够的重叠区域为前提,并且在场景中出现多个目标时,仅对其中的一个指定目标进行跟踪。如图3所示,黑色矩形块为前一帧的目标位置,白色矩形块为后一帧的目标位置,灰色为待跟踪目标在连续的前后两帧中出现位置的重叠部分。
由于在进行运动目标跟踪的过程中,场景中会出现多个目标,并且目标之间也会出现粘连、遮挡、交叉等情况,为此,根据连续的前后两帧视频画面中不同目标相互之间形成的不同重叠情况,将待跟踪目标的状态分为:单一目标、多个目标粘连、粘连目标分离三种情况分别进行处理。
假设在当前帧中的待跟踪目标为Ot,后一帧中的目标个数为M个,当前帧中的目标集合为O(t+1)={o1 (t+1),o2 (t+1),...oM (t+1)};前一帧中的目标个数为N个,上帧中的目标集合为O(t-1)={o1 (t-1),o2 (t-1),...oN (t-1)}。
待跟踪目标Ot的状态定义为以下三类:
第一类)目标进入场景状态;
第二类)目标离开场景状态;
第三类)目标在场景里的行走状态,其中又包括以下不同的子状态:
a)单一目标状态,是指该待跟踪目标与其他目标无关联或者场景中只有一个目标的状态,即简称为单一目标状态;
b)粘连目标状态,是指该待跟踪目标与其他目标发生粘连,使前一时刻的两个独立的连通域在当前帧中因为相互粘连而合并成一个联通域的状态;
c)粘连目标分离状态,是指前一帧中,因目标间的相互粘连,合并成一个联通域的状态,在当前帧中,因为有目标离开粘连区域而形成的分离连通域的状态。
当前帧中待跟踪目标Ot的状态判别方法如下:
3.1)待跟踪目标Ot所在区域位置与后一帧中的目标集O(t+1)的所有目标所在位置进行比较,判断O(t+1)中与待跟踪目标Ot重叠的目标个数,记作N(t+1);如果没有,即N(t+1)=0,则表明待跟踪目标Ot为离开场景状态。
位置重叠的判据为:
假设待跟踪目标Ot的外接矩形角点坐标为{(x0 (t),y0 (t)),(x1 (t),y1 (t))},O(t+1)中的M个目标的外接矩形角点坐标分别为{(x0 (k),y0 (k)),(x1 (k),y1 (k))},k=1,2,...,M,
如果:x0 (s)≤x0 (t)≤x1 (s),并且y0 (s)≤y0 (t)≤y1 (s),1≤s≤M; (9)
或者:x0 (s)≤x1 (t)≤x1 (s),并且y0 (s)≤y1 (t)≤y1 (s),1≤s≤M; (10)
则表明待跟踪目标Ot与O(t+1)中的目标Os的位置重叠;
3.2)待跟踪目标Ot所在区域位置与前一帧中的目标集O(t-1)的所有目标所在位置进行比较,判断O(t-1)中与待跟踪目标Ot重叠的目标个数,记作N(t-1);如果没有,即N(t-1)=0,则表明待跟踪目标Ot为进入场景状态;
3.3)如果N(t+1)=1,则表明待跟踪目标Ot与目标集O(t+1)中个某个目标具有重叠区域,假设与待跟踪目标Ot位置重叠的目标为Os,计算Os与O(t-1)中重叠的目标个数,记作Ns (t-1),如果Ns (t-1)=1,则表明待跟踪目标Ot为单一目标;如果Ns (t-1)>1,则表明待跟踪目标Ot在当前帧中与其他目标发生了粘连,即待跟踪目标Ot判断为目标粘连状态;
3.4)如果N(t+1)>1,则判断待跟踪目标Ot为粘连目标分离状态。
步骤4、待跟踪目标的跟踪
根据待跟踪目标Ot的不同状态,设置了不同的跟踪方式对其进行跟踪,以达到能够快速准确跟踪目标的目的。
4.1)单个目标状态下的目标跟踪方式
如果待跟踪目标Ot判断为单个目标状态,由于待跟踪目标Ot仅与目标集O(t+1)中的某个目标Os的位置重叠,所以认定在当前帧中与待跟踪目标Ot有重叠区域的目标Os就是Ot。如图4所示,图中黑色矩形框为前一帧的目标位置,白色矩形框为后一帧的目标位置,灰色为目标在前后两帧中出现位置的重叠部分面积,假设待跟踪目标Ot为图中的目标1,从图4中可见,当目标物之间未发生粘连时,由于两帧之间目标运动的距离是有限的,所以同一个目标在两帧中的区域一定有重叠,而不同目标之间的帧间没有重叠,则判定白色1号矩形框目标就是当前帧中的待跟踪目标Ot。
4.2)粘连目标状态下的目标跟踪方式
对待跟踪目标Ot,其实所关心的就是待跟踪目标Ot在每帧中的位置,当判断待跟踪目标Ot的状态为粘连目标状态时,表明在当前帧中,待跟踪目标Ot与其他的目标粘连形成一个连通域。
如图5所示,图中黑色为前一帧的目标位置,白色为后一帧的目标位置,灰色为目标在前后两帧中出现位置的重叠部分面积,假设待跟踪目标Ot为图中的目标1,从图中可以看到目标1包含在大的粘连目标连通域中,所以,该大的粘连连通域的位置,就是待跟踪目标Ot所在的位置,确定了目标在当前帧中的位置,就跟踪上了待跟踪目标Ot。
在粘连目标没有发生分离的情况下,可以对该粘连目标用单个目标跟踪的方法进行跟踪,以达到继续对待跟踪目标Ot跟踪的目的。
4.3)粘连目标分离状态下的目标跟踪方式
如果待跟踪目标Ot在前一帧中,还处于与其他目标粘连在一起的状态中,但在当前帧中,该由若干目标粘连在一起的连通域中,有目标分离出来,如图6所示,图中黑色矩形框为前一帧的两个目标粘连在一起的位置,白色为后一帧的两个目标分离后的位置,灰色为单个目标在前后两帧中出现位置的重叠部分面积,假设待跟踪目标Ot为粘连目标中的1号目标,当目标发生分离时,将待跟踪目标Ot的模板分别与分离出的两个目标的模板进行匹配,匹配程度较大的为待跟踪目标Ot在当前帧中的位置。
模板匹配方法如下:
当待跟踪目标Ot是由两个目标粘连形成时,设Ot的原始特征模板颜色特征信息为H(t)=[h1 (t),h2 (t),...,hn (t)],因为之前在跟踪的过程中,虽然与其他的目标粘连在一起,但由于只是采用了位置重叠关系获知目标的所在位置。假设在当前帧中,目标产生了分离,分成了两个连通区域,设分离后的两个连通区域的模板特征信息分别为H(1)=[h1 (1),h2 (1),...,hn (1)]和H(2)=[h1 (2),h2 (2),...,hn (2)],则待跟踪目标Ot在当前帧中的匹配结果是:
X=argmin{||H(t)-H(1)||,||H(t)-H(2)||}, (11)
其中,X表明匹配到的连通域位置,则判断OX即为待跟踪目标Ot。
如图7所示,图中黑色矩形框为前一帧的多个目标粘连后形成一个大的连通域的位置,这里假设有三个目标粘连在一起,其中的目标1为待跟踪目标Ot,白色矩形框为在后一帧中,该三个目标粘连在一起的连通域分离为两个连通域,其中一个连通域为目标1和目标3粘连在一起,另一个连通域为目标2,灰色为后一帧中,与前一帧相重叠的两个连通域的位置。显然,虽然能够判断出有目标分离,但目标1仍旧与目标3粘连在一起,如果采用待跟踪目标Ot的颜色特征模板分别与这两个分离后的连通域进行模板匹配,其匹配误差一定大于阈值th。
但从图中可以看出,待跟踪目标Ot肯定在粘连目标分离出的连通域所在的位置范围内,如图7虚线框所示,这时,采用全搜索方法在两个虚线框框住的连通域中进行搜索,找到两个连通域中与待跟踪目标Ot的颜色特征H(t)的匹配误差最小的局部区域,则该局部区域所属的连通域即为待跟踪目标Ot所在的连通域。
步骤5、待跟踪目标的特征模板的更新
为了适应目标在跟踪过程中姿态,以及距离摄像(视频)设备远近位置的变化,确保能够正确跟踪,在跟踪过程中,需要对目标的特征模板进行更新,更新的内容包括模板的大小和模板信息。
模板更新方法如下:
5.1)判断待跟踪目标是否为粘连状态,如果粘连,则保持原有模板大小和信息不作更新;
5.2)若待跟踪目标被判断为单一目标状态,将模板大小和模板信息按照步骤1、步骤2所述的方法重新计算后,作为更新的目标特征模板。
按照以上的方法依次在视频帧序列中,通过位置区域重叠状态的判断,以及模板匹配,对待跟踪目标进行跟踪,直至待跟踪目标走出监控视场。
Claims (2)
1.一种抗环境干扰的人体运动目标的跟踪方法,其特征在于,按照以下具体步骤实施:
步骤1、确定待跟踪目标的特征模板范围
1.1)将待跟踪目标的特征模板选择在人体目标的头部以下的上半身的区域位置,设检测到的人体目标外接矩形的对角角点坐标为{(x0,y0),(x1,y1)},则外接矩形的长H、宽L分别为:H=x1-x0,L=y1-y0,(1)
取人体头部以下的上半身的模板对角角点坐标设为{(x0 (mod),y0 (mod)),(x1 (mod),y1 (mod))},则有:
x0 (mod)=x0+H/7,x1 (mod)=x1-3/7·H,(2)
y0 (mod)=y0,y1 (mod)=y1, (3)
即得到待跟踪目标模板的上、下边界,
在目标外接矩形框内进行投影,根据投影曲线的分布,取主峰所在范围为模板的左、右边界,根据公式(2),(3)得到模板的上、下边界;
1.2)对模板的上、下边界所界定的局部区域进行投影,计算公式如下:
其中,f(k,j)为检测区域的像素值,即
k=x0 (mod),x+1(mod),....,x1 (mod) j=y0,y0+1,....,y1;(5)
则满足下面判据:
h(j)≥0.6·hmax,hmax=max{h(j)} j=y0,y0+1,....,y1;(6)
的部分即为待跟踪目标模板的左、右边界;
1.3)根据确定出的模板上、下边界及左、右边界,得到待跟踪目标的特征模板位置范围;
步骤2、确定待跟踪目标的特征模板信息
设Fk=[fk(i,j)]为监视视频的当前帧,待跟踪目标的特征模板为将特征模板颜色数目设为n个,每一颜色分量值为Ck(k=1,2,...,n),按照下式统计特征模板内的颜色分布统计值[h1,h2,...,hn],以此作为特征模板的信息,
步骤3、确定待跟踪的目标状态
在获得待跟踪目标的特征之后,目标跟踪的过程就等价为相邻帧间的特征匹配过程,假设待跟踪目标的运动速度为相邻两帧之间的同一个目标区域有足够的重叠区域为前提,并且在场景中出现多个目标时,仅对其中的一个指定目标进行跟踪,
根据连续的前后两帧视频画面中不同目标相互之间形成的不同重叠情况,将待跟踪目标的状态分为:单一目标、多个目标粘连、粘连目标分离三种情况分别进行处理,
假设在当前帧中的待跟踪目标为ot,后一帧中的目标个数为M个,当前帧中的目标集合为O(t+1)={o1 (t+1),o2 (t+1),...oM (t+1)};前一帧中的目标个数为N个,上帧中的目标集合为O(t-1)={o1 (t-1),o2 (t-1),...oN (t-1)},
待跟踪目标ot的状态定义为以下三类:
第一类)目标进入场景状态;
第二类)目标离开场景状态;
第三类)目标在场景里的行走状态,其中又包括以下不同的子状态:
a)单一目标状态,是指该待跟踪目标与其他目标无关联或者场景中只有一个目标的状态,即简称为单一目标状态;
b)粘连目标状态,是指该待跟踪目标与其他目标发生粘连,使前一时刻的两个独立的连通域在当前帧中因为相互粘连而合并成一个联通域的状态;
c)粘连目标分离状态,是指前一帧中,因目标间的相互粘连,合并成一个联通域的状态,在当前帧中,因为有目标离开粘连区域而形成的分离连通域的状态,
当前帧中待跟踪目标ot的状态判别方法如下:
3.1)待跟踪目标ot所在区域位置与后一帧中的目标集O(t+1)的所有目标所在位置进行比较,判断O(t+1)中与待跟踪目标ot重叠的目标个数,记作N(t+1);如果没有,即N(t+1)=0,则表明待跟踪目标ot为离开场景状态,
位置重叠的判别方法为:
假设待跟踪目标ot的外接矩形角点坐标为{(x0 (t),y0 (t)),(x1 (t),y1 (t))},O(t+1)中的M个目标的外接矩形角点坐标分别为{(x0 (k),y0 (k)),(x1 (k),y1 (k))},k=1,2,...,M,
如果:x0 (s)≤x0 (t)≤x1 (s),并且y0 (s)≤y0 (t)≤y1 (s),1≤s≤M;(9)
或者:x0 (s)≤x1 (t)≤x1 (s),并且y0 (s)≤y1 (t)≤y1 (s),1≤s≤M;(10)
则表明待跟踪目标ot与O(t+1)中的目标os的位置重叠;
3.2)待跟踪目标ot所在区域位置与前一帧中的目标集O(t-1)的所有目标所在位置进行比较,判断O(t-1)中与待跟踪目标ot重叠的目标个数,记作N(t-1);如果没有,即N(t-1)=0,则表明待跟踪目标ot为进入场景状态;
3.3)如果N(t+1)=1,则表明待跟踪目标ot与目标集O(t+1)中个某个目标具有重叠区域,假设与待跟踪目标ot位置重叠的目标为os,计算os与O(t-1)中重叠的目标个数,记作Ns (t-1),如果Ns (t-1)=1,则表明待跟踪目标ot为单一目标;如果Ns (t-1)>1,则表明待跟踪目标ot在当前帧中与其他目标发生了粘连,即待跟踪目标ot判断为目标粘连状态;
3.4)如果N(t+1)>1,则判断待跟踪目标ot为粘连目标分离状态;
步骤4、待跟踪目标的跟踪
4.1)单个目标状态下的目标跟踪方式
如果待跟踪目标ot判断为单个目标状态,由于待跟踪目标ot仅与目标集O(t+1)中的某个目标os的位置重叠,所以认定在当前帧中与待跟踪目标ot有重叠区域的目标os就是待跟踪目标ot;
4.2)粘连目标状态下的目标跟踪方式
当判断待跟踪目标ot的状态为粘连目标状态时,表明在当前帧中,待跟踪目标ot与其他的目标粘连形成一个连通域,该大的粘连连通域的位置,就是待跟踪目标ot所在的位置,确定了目标在当前帧中的位置,就跟踪上了待跟踪目标ot,
在粘连目标没有发生分离的情况下,对该粘连目标用单个目标跟踪的方法进行跟踪,以达到继续对待跟踪目标ot的跟踪目的;
4.3)粘连目标分离状态下的目标跟踪方式
如果待跟踪目标ot在前一帧中,还处于与其他目标粘连在一起的状态中,但在当前帧中,该由若干目标粘连在一起的连通域中,有目标分离出来,当目标发生分离时,将待跟踪目标ot的模板分别与分离出的两个目标的模板进行匹配,匹配程度较大的为待跟踪目标ot在当前帧中的位置;
步骤5、待跟踪目标的特征模板的更新
5.1)判断目标是否为粘连状态,如果粘连,则保持原有模板大小和信息不作更新;
5.2)若目标被判断为单一目标状态,将模板大小和模板信息按照步骤1、步骤2所述的方法重新计算后,作为更新的目标特征模板。
2.根据权利要求1所述的方法,其特征在于,步骤4.3)中的模板匹配方法如下:
当待跟踪目标ot是由两个目标粘连形成时,设ot的原始特征模板颜色特征信息为H(t)=[h1 (t),h2 (t),...,hn (t)],假设在当前帧中,目标产生了分离,分成了两个连通区域,设分离后的两个连通区域的模板特征信息分别为H(1)=[h1 (1),h2 (1),...,hn (1)]和H(2)=[h1 (2),h2 (2),...,hn (2)],则待跟踪目标ot在当前帧中的匹配结果是:X=argmin{‖H(t)-H(1)‖,‖H(t)-H(2)‖},(11)
其中,X表明匹配到的连通域位置,则判断oX即为待跟踪目标ot,
采用全搜索方法在两个虚线框框住的连通域中进行搜索,找到两个连通域中与待跟踪目标ot的颜色特征H(t)的匹配误差最小的局部区域,则该局部区域所属的连通域即为待跟踪目标ot所在的连通域。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110067947 CN102129690B (zh) | 2011-03-21 | 2011-03-21 | 一种抗环境干扰的人体运动目标的跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110067947 CN102129690B (zh) | 2011-03-21 | 2011-03-21 | 一种抗环境干扰的人体运动目标的跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102129690A CN102129690A (zh) | 2011-07-20 |
CN102129690B true CN102129690B (zh) | 2013-01-02 |
Family
ID=44267765
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201110067947 Expired - Fee Related CN102129690B (zh) | 2011-03-21 | 2011-03-21 | 一种抗环境干扰的人体运动目标的跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102129690B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102509306B (zh) * | 2011-10-08 | 2014-02-19 | 西安理工大学 | 一种基于视频的特定目标的跟踪方法 |
CN102509070A (zh) * | 2011-10-12 | 2012-06-20 | 西安理工大学 | 一种基于视频的关注广告人数统计的人脸区域跟踪方法 |
CN102592288B (zh) * | 2012-01-04 | 2014-07-02 | 西安理工大学 | 一种光照环境变化情况下的行人目标匹配跟踪方法 |
CN102682291B (zh) * | 2012-05-07 | 2016-10-05 | 深圳市贝尔信智能系统有限公司 | 一种场景人数统计方法、装置和系统 |
CN104063681B (zh) * | 2014-05-30 | 2018-02-27 | 联想(北京)有限公司 | 一种活动对象图像识别方法及装置 |
CN104077779B (zh) * | 2014-07-04 | 2017-01-25 | 中国航天科技集团公司第五研究院第五一三研究所 | 高斯背景模型与均值漂移跟踪结合的运动目标统计方法 |
CN106354161A (zh) * | 2016-09-26 | 2017-01-25 | 湖南晖龙股份有限公司 | 机器人运动路径规划方法 |
CN107945208A (zh) * | 2016-10-13 | 2018-04-20 | 夏普株式会社 | 目标跟踪方法和目标跟踪设备 |
CN108986151B (zh) * | 2017-05-31 | 2021-12-03 | 华为技术有限公司 | 一种多目标跟踪处理方法及设备 |
CN108734091A (zh) * | 2018-03-30 | 2018-11-02 | 暨南大学 | 车厢异常行为检测方法、计算机装置和计算机可读存储介质 |
CN110675426B (zh) | 2018-07-02 | 2022-11-22 | 百度在线网络技术(北京)有限公司 | 人体跟踪方法、装置、设备及存储介质 |
US10423840B1 (en) * | 2019-01-31 | 2019-09-24 | StradVision, Inc. | Post-processing method and device for detecting lanes to plan the drive path of autonomous vehicle by using segmentation score map and clustering map |
CN110458202B (zh) * | 2019-07-18 | 2022-11-25 | 广东弓叶科技有限公司 | 图片处理方法、装置、设备及计算机可读存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6571024B1 (en) * | 1999-06-18 | 2003-05-27 | Sarnoff Corporation | Method and apparatus for multi-view three dimensional estimation |
CN1687955A (zh) * | 2005-04-19 | 2005-10-26 | 上海遥薇实业有限公司 | 出入口人数计数仪 |
CN2762237Y (zh) * | 2004-12-31 | 2006-03-01 | 北京中星微电子有限公司 | 运动图像检测电路 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6983081B2 (en) * | 2002-08-23 | 2006-01-03 | Ulead Systems, Inc. | Method for integration of source object into base image |
-
2011
- 2011-03-21 CN CN 201110067947 patent/CN102129690B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6571024B1 (en) * | 1999-06-18 | 2003-05-27 | Sarnoff Corporation | Method and apparatus for multi-view three dimensional estimation |
CN2762237Y (zh) * | 2004-12-31 | 2006-03-01 | 北京中星微电子有限公司 | 运动图像检测电路 |
CN1687955A (zh) * | 2005-04-19 | 2005-10-26 | 上海遥薇实业有限公司 | 出入口人数计数仪 |
Non-Patent Citations (1)
Title |
---|
王栋,朱虹,马文庆.基于遗传算法搜索的运动目标跟踪.《中国图象图形学报》.2009,第14卷(第8期),1696-1699. * |
Also Published As
Publication number | Publication date |
---|---|
CN102129690A (zh) | 2011-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102129690B (zh) | 一种抗环境干扰的人体运动目标的跟踪方法 | |
CN102750708B (zh) | 基于快速鲁棒特征匹配的仿射运动目标跟踪算法 | |
CN102509306B (zh) | 一种基于视频的特定目标的跟踪方法 | |
Low et al. | Simple robust road lane detection algorithm | |
CN102999920B (zh) | 基于最近邻分类器和均值漂移的目标跟踪方法 | |
CN105930833B (zh) | 一种基于视频监控的车辆跟踪与分割方法 | |
CN103400157B (zh) | 一种基于视频分析的道路行人及非机动车检测方法 | |
CN102622884B (zh) | 一种基于跟踪的车辆违章掉头行为检测方法 | |
CN106023244A (zh) | 基于最小二乘法轨迹预测及智能避障模型的行人跟踪方法 | |
CN104008371A (zh) | 一种基于多摄像机的区域可疑目标跟踪与识别方法 | |
CN103871079A (zh) | 基于机器学习和光流的车辆跟踪方法 | |
CN106875425A (zh) | 一种基于深度学习的多目标追踪系统及实现方法 | |
CN104424638A (zh) | 一种基于遮挡情况下的目标跟踪方法 | |
CN104182756B (zh) | 一种基于单目视觉的车辆前方障碍物检测方法 | |
Sivaraman et al. | Combining monocular and stereo-vision for real-time vehicle ranging and tracking on multilane highways | |
CN108921880B (zh) | 一种基于多个单跟踪器的视觉多目标跟踪方法 | |
CN102867416A (zh) | 一种基于车辆部位特征的车辆检测与跟踪方法 | |
CN104200199B (zh) | 基于tof相机的不良驾驶行为检测方法 | |
CN105488811A (zh) | 一种基于深度梯度的目标跟踪方法与系统 | |
CN101847206A (zh) | 基于交通监控设施的行人流量统计方法与系统 | |
CN104200494A (zh) | 一种基于光流的实时视觉目标跟踪方法 | |
CN106446824A (zh) | 一种车辆检测和跟踪方法 | |
CN104318588A (zh) | 一种基于位置感知判别外观模型的多摄像机目标跟踪方法 | |
CN102768726A (zh) | 一种预防行人碰撞的行人检测方法 | |
CN106570499A (zh) | 一种基于概率图模型的目标跟踪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130102 Termination date: 20150321 |
|
EXPY | Termination of patent right or utility model |