CN103413328A - 运动物体的跟踪方法和装置 - Google Patents

运动物体的跟踪方法和装置 Download PDF

Info

Publication number
CN103413328A
CN103413328A CN2013103795059A CN201310379505A CN103413328A CN 103413328 A CN103413328 A CN 103413328A CN 2013103795059 A CN2013103795059 A CN 2013103795059A CN 201310379505 A CN201310379505 A CN 201310379505A CN 103413328 A CN103413328 A CN 103413328A
Authority
CN
China
Prior art keywords
sampled point
present frame
image
coordinate points
proj
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013103795059A
Other languages
English (en)
Other versions
CN103413328B (zh
Inventor
王兵
崔明
宋斌恒
王俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinchen Yi Jie (beijing) Technology Co Ltd
Original Assignee
Xinchen Yi Jie (beijing) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinchen Yi Jie (beijing) Technology Co Ltd filed Critical Xinchen Yi Jie (beijing) Technology Co Ltd
Priority to CN201310379505.9A priority Critical patent/CN103413328B/zh
Publication of CN103413328A publication Critical patent/CN103413328A/zh
Application granted granted Critical
Publication of CN103413328B publication Critical patent/CN103413328B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种运动物体的跟踪方法和装置。其中,运动物体的跟踪方法包括:获取运动物体的当前帧的彩色RGB图像和二值化运动图像;确定当前帧的采样点,并分别从当前帧的彩色RGB图像和二值化运动图像中对当前帧的采样点进行图像信息采样;计算当前帧的采样点的图像信息的分值;以及根据当前分值确定下一帧的采样点,其中,当前分值为计算出的当前帧的采样点的图像信息的分值。通过本发明,解决了现有技术中对运动物体的跟踪不够稳定和精确的问题,进而达到了提供跟踪稳定性和精确度的效果。

Description

运动物体的跟踪方法和装置
技术领域
本发明涉及数据处理领域,具体而言,涉及一种运动物体的跟踪方法和装置。
背景技术
对于室内人物的跟踪定位,现有技术中提供了一种利用多摄像头进行粒子滤波定位的方案,该方案采用多摄像头布设方式,用概率的方法维护人物位置状态,通过粒子滤波方法近似人物位置,但是此种跟踪只使用了运动信息,跟踪不够稳定和精确。
针对相关技术中对运动物体的跟踪不够稳定和精确的问题,目前尚未提出有效的解决方案。
发明内容
本发明的主要目的在于提供一种运动物体的跟踪方法和装置,以解决现有技术中对运动物体的跟踪不够稳定和精确的问题。
为了实现上述目的,根据本发明的一个方面,提供了一种运动物体的跟踪方法,包括:获取运动物体的当前帧的彩色RGB图像和二值化运动图像;确定当前帧的采样点,并分别从当前帧的彩色RGB图像和二值化运动图像中对当前帧的采样点进行图像信息采样;计算当前帧的采样点的图像信息的分值;以及根据当前分值确定下一帧的采样点,其中,当前分值为计算出的当前帧的采样点的图像信息的分值。
进一步地,计算当前帧的采样点的图像信息的分值包括:计算当前帧的采样点的图像信息的似然比;以及确定当前帧的采样点的图像信息的似然比为当前帧的采样点的图像信息的分值。
进一步地,当前帧的采样点的图像信息包括:从当前帧的彩色RGB图像中采样的采样点的RGB值和从当前帧的二值化运动图像中采样的采样点的像素坐标值,按照以下公式计算计算当前帧的采样点的图像信息的似然比包括:
Figure BDA0000372694210000011
其中,
Figure BDA0000372694210000012
为当前帧的第k个采样点,
Figure BDA0000372694210000013
为采样点
Figure BDA0000372694210000014
的图像信息的似然比,
p ( M k ) = 1 t < 30 | | x t - 1 - x k t | | 2 1.5 | | x t - 1 - x k t | | 2 < 1.5 , t &GreaterEqual; 30 , 1 | | x t - 1 - x k t | | 2 &GreaterEqual; 1.5 , t &GreaterEqual; 30 ,
Figure BDA00003726942100000226
其中,xt-1为当前帧的前一帧的全部采样点空间坐标值的平均值,
Figure BDA0000372694210000023
为采样点
Figure BDA0000372694210000024
的空间坐标值,
Figure BDA0000372694210000025
为xt-1
Figure BDA0000372694210000026
的欧式距离,
Figure BDA0000372694210000027
其中,C为拍摄运动物体的多台摄像头的集合,A为多台摄像头中的目标摄像头的集合,
Figure BDA0000372694210000028
为目标摄像头的个数,摄像头v为目标摄像头中的任一摄像头,
p ( y m , v t | X k t , M k ) = max ( r ( X k t , y m , v t ) , 0.9 ) ,
p ( O k v ) = max ( r ( X k t , y m , v t ) , 0.9 ) proj ( X k t , v ) &NotEqual; &phi; 0.2 proj ( X k t , v ) = &phi; ,
其中,
Figure BDA00003726942100000211
为采样点
Figure BDA00003726942100000212
在摄像头v的摄像区域yv中运动像素的比例,
Figure BDA00003726942100000213
为采样点
Figure BDA00003726942100000214
对应于摄像头v所拍摄图像的像素区域,
Figure BDA00003726942100000215
其中
Figure BDA00003726942100000216
为摄像头v拍摄的当前帧的彩色RGB图像,
Figure BDA00003726942100000217
为颜色相似度函数,取值为区域proj(Xt-1,v)和区域的RGB彩色直方图的距离。
进一步地,通过以下方式确定采样点
Figure BDA00003726942100000219
对应于摄像头v所拍摄图像的像素区域获取以采样点
Figure BDA00003726942100000221
为中心,距离采样点的距离均为预设距离的六个目标空间坐标点,其中,第一目标空间坐标点、采样点
Figure BDA00003726942100000223
和第二目标空间坐标点的连线为竖直方向,第三目标空间坐标点、采样点
Figure BDA00003726942100000224
和第四目标空间坐标点的连线为水平方向,第五目标空间坐标点、采样点
Figure BDA00003726942100000225
和第六目标空间坐标点的连线为水平方向,并且第一连线垂直于第二连线,第一目标空间坐标点、第二目标空间坐标点、第三目标空间坐标点、第四目标空间坐标点、第五目标空间坐标点和第六目标空间坐标点组成六个目标空间坐标点,第一连线为第三目标空间坐标点、采样点
Figure BDA00003726942100000315
和第四目标空间坐标点的连线,第二连线为第五目标空间坐标点、采样点
Figure BDA00003726942100000316
和第六目标空间坐标点的连线;获取六个目标空间坐标点分别在摄像头v所拍摄图像中的像素坐标点,得到六个目标像素坐标点;以及确定摄像头v所拍摄图像中的包括六个目标像素坐标点的最小矩形为像素区域
Figure BDA0000372694210000031
r ( X k t , y m , v t ) = &Sigma; a &Element; proj ( X k t , v ) y m , v t ( a ) &NotEqual; 0 1 &Sigma; a &Element; proj ( X k t , v ) 1 ,
其中,
Figure BDA0000372694210000033
为摄像头v拍摄的当前帧的二值化运动图像,为在二值化运动图像
Figure BDA0000372694210000035
的像素坐标a处的图像像素值,
通过以下公式确定区域
Figure BDA0000372694210000036
和区域
Figure BDA0000372694210000037
的RGB彩色直方图的距离 d Comp ( H proj ( X t - 1 , v ) , H proj ( X k t , v ) ) :
d Comp ( H proj ( X t - 1 , v ) , H proj ( X k t , v ) ) = &Sigma; i = 1 1096 H proj ( X t - 1 , v ) * H proj ( X k t , v ) &Sigma; i = 1 1096 H proj ( X t - 1 , v ) 2 * H proj ( X k t , v ) 2 ,
其中, H proj ( X k t , v ) ( i ) = &Sigma; i = 256 * l + 16 * m + n 1 &le; l &le; 16 , 1 &le; m &le; 16 , 1 &le; n &le; 16 a &Element; proj ( X k t , v ) 16 * ( l - 1 ) &le; y r , v t ( a ) &le; 16 * l 16 * ( m - 1 ) &le; y g , v t ( a ) &le; 16 * m 16 * ( n - 1 ) &le; y b , v t ( a ) &le; 16 * n 1,1 &le; i &le; 4096 ,
H proj ( X t - 1 , v ) ( i ) = &Sigma; i = 256 * l + 16 * m + n 1 &le; l &le; 16 , 1 &le; m &le; 16 , 1 &le; n &le; 16 a &Element; proj ( X t - 1 , v ) 16 * ( l - 1 ) &le; y r , v t - 1 ( a ) &le; 16 * l 16 * ( m - 1 ) &le; y g , v t - 1 ( a ) &le; 16 * m 16 * ( n - 1 ) &le; y b , v t - 1 ( a ) &le; 16 * n 1,1 &le; i &le; 4096 ,
其中,
Figure BDA00003726942100000311
为摄像头v拍摄当前帧的彩色RGB图像,
Figure BDA00003726942100000312
为摄像头v拍摄当前帧的彩色RGB图像的R分量图像,其中
Figure BDA00003726942100000313
为摄像头v拍摄当前帧的彩色RGB图像的G分量图像,其中
Figure BDA00003726942100000314
为摄像头v拍摄当前帧的彩色RGB图像的B分量图像。
进一步地,根据当前分值确定下次采样点包括:按照公式
Figure BDA0000372694210000041
计算第i个采样点的累加值,其中,
Figure BDA0000372694210000042
为当前帧的前一帧的第1至第i个采样点的图像信息的分值,
Figure BDA0000372694210000043
为当前帧的全部采样点的图像信息的分值,N为采样点的个数,i为1至N中的任意值;按照公式
Figure BDA0000372694210000044
查找满足的i值,其中,rand(k)为预设随机数,0≤rand(k)≤1;以及按照公式
Figure BDA0000372694210000045
确定当前帧的后一帧的采样点
Figure BDA0000372694210000046
其中,
Figure BDA0000372694210000047
R为预设突变半径,δ(1)为以原点为中心,半径为1的圆上随机取得的二维点。
为了实现上述目的,根据本发明的另一方面,提供了一种运动物体的跟踪装置,该运动物体的跟踪装置用于执行本发明上述内容所提供的任一种运动物体的跟踪方法。
为了实现上述目的,根据本发明的另一方面,提供了一种运动物体的跟踪装置,包括:获取单元,用于获取运动物体的当前帧的彩色RGB图像和二值化运动图像;第一确定单元,用于确定当前帧的采样点,并分别从当前帧的彩色RGB图像和二值化运动图像中对当前帧的采样点进行图像信息采样;计算单元,用于计算当前帧的采样点的图像信息的分值;以及第二确定单元,用于根据当前分值确定下一帧的采样点,其中,当前分值为计算出的当前帧的采样点的图像信息的分值。
进一步地,计算单元包括:第一计算子单元,用于计算当前帧的采样点的图像信息的似然比;以及第一确定子单元,用于确定当前帧的采样点的图像信息的似然比为当前帧的采样点的图像信息的分值。
进一步地,当前帧的采样点的图像信息包括:从当前帧的彩色RGB图像中采样的采样点的RGB值和从当前帧的二值化运动图像中采样的采样点的像素坐标值,第一计算子单元包括:第一计算模块,用于按照以下公式计算当前帧的采样点的图像信息的似然比:
Figure BDA0000372694210000048
其中,为当前帧的第k个采样点,
Figure BDA00003726942100000410
为采样点
Figure BDA00003726942100000411
的图像信息的似然比,
p ( M k ) = 1 t < 30 | | x t - 1 - x k t | | 2 1.5 | | x t - 1 - x k t | | 2 < 1.5 , t &GreaterEqual; 30 1 | | x t - 1 - x k t | | 2 &GreaterEqual; 1.5 , t &GreaterEqual; 30 ,
Figure BDA00003726942100000527
其中,
Figure BDA0000372694210000053
为当前帧的前一帧的全部采样点空间坐标值的平均值,
Figure BDA0000372694210000054
为采样点
Figure BDA0000372694210000055
的空间坐标值,
Figure BDA0000372694210000056
为xt-1
Figure BDA0000372694210000057
的欧式距离,
Figure BDA0000372694210000058
其中,C为拍摄运动物体的多台摄像头的集合,A为多台摄像头中的目标摄像头的集合,为目标摄像头的个数,摄像头v为目标摄像头中的任一摄像头,
p ( y m , v t | X k t , M k ) = max ( r ( X k t , y m , v t ) , 0.9 ) ,
p ( O k v ) = max ( r ( X k t , y m , v t ) , 0.9 ) proj ( X k t , v ) &NotEqual; &phi; 0.2 proj ( X k t , v ) = &phi; ,
其中,为采样点
Figure BDA00003726942100000513
在摄像头v的摄像区域yv中运动像素的比例,
Figure BDA00003726942100000514
为采样点
Figure BDA00003726942100000515
对应于摄像头v所拍摄图像的像素区域,
Figure BDA00003726942100000516
其中为摄像头v拍摄的当前帧的彩色RGB图像,
Figure BDA00003726942100000526
为颜色相似度函数,取值为区域proj(Xt-1,v)和区域
Figure BDA00003726942100000518
的RGB彩色直方图的距离。
进一步地,通过以下方式确定采样点
Figure BDA00003726942100000519
对应于摄像头v所拍摄图像的像素区域
Figure BDA00003726942100000520
获取以采样点
Figure BDA00003726942100000521
为中心,距离采样点
Figure BDA00003726942100000522
的距离均为预设距离的六个目标空间坐标点,其中,第一目标空间坐标点、采样点
Figure BDA00003726942100000523
和第二目标空间坐标点的连线为竖直方向,第三目标空间坐标点、采样点
Figure BDA00003726942100000524
和第四目标空间坐标点的连线为水平方向,第五目标空间坐标点、采样点
Figure BDA00003726942100000525
和第六目标空间坐标点的连线为水平方向,并且第一连线垂直于第二连线,第一目标空间坐标点、第二目标空间坐标点、第三目标空间坐标点、第四目标空间坐标点、第五目标空间坐标点和第六目标空间坐标点组成六个目标空间坐标点,第一连线为第三目标空间坐标点、采样点
Figure BDA0000372694210000061
和第四目标空间坐标点的连线,第二连线为第五目标空间坐标点、采样点
Figure BDA0000372694210000062
和第六目标空间坐标点的连线;获取六个目标空间坐标点分别在摄像头v所拍摄图像中的像素坐标点,得到六个目标像素坐标点;以及确定摄像头v所拍摄图像中的包括六个目标像素坐标点的最小矩形为像素区域
Figure BDA0000372694210000063
r ( X k t , y m , v t ) = &Sigma; a &Element; proj ( X k t , v ) y m , v t ( a ) &NotEqual; 0 1 &Sigma; a &Element; proj ( X k t , v ) 1 ,
其中,
Figure BDA0000372694210000065
为摄像头v拍摄的当前帧的二值化运动图像,
Figure BDA0000372694210000066
为在二值化运动图像的像素坐标a处的图像像素值,
通过以下公式确定区域proj(Xt-1,v)和区域
Figure BDA0000372694210000068
的RGB彩色直方图的距离 d Comp ( H proj ( X t - 1 , v ) , H proj ( X k t , v ) ) :
d Comp ( H proj ( X t - 1 , v ) , H proj ( X k t , v ) ) = &Sigma; i = 1 1096 H proj ( X t - 1 , v ) * H proj ( X k t , v ) &Sigma; i = 1 1096 H proj ( X t - 1 , v ) 2 * H proj ( X k t , v ) 2 ,
其中, H proj ( X k t , v ) ( i ) = &Sigma; i = 256 * l + 16 * m + n 1 &le; l &le; 16 , 1 &le; m &le; 16 , 1 &le; n &le; 16 a &Element; proj ( X k t , v ) 16 * ( l - 1 ) &le; y r , v t ( a ) &le; 16 * l 16 * ( m - 1 ) &le; y g , v t ( a ) &le; 16 * m 16 * ( n - 1 ) &le; y b , v t ( a ) &le; 16 * n 1,1 &le; i &le; 4096 ,
H proj ( X t - 1 , v ) ( i ) = &Sigma; i = 256 * l + 16 * m + n 1 &le; l &le; 16 , 1 &le; m &le; 16 , 1 &le; n &le; 16 a &Element; proj ( X t - 1 , v ) 16 * ( l - 1 ) &le; y r , v t - 1 ( a ) &le; 16 * l 16 * ( m - 1 ) &le; y g , v t - 1 ( a ) &le; 16 * m 16 * ( n - 1 ) &le; y b , v t - 1 ( a ) &le; 16 * n 1,1 &le; i &le; 4096 ,
其中,
Figure BDA00003726942100000613
为摄像头v拍摄当前帧的彩色RGB图像,
Figure BDA00003726942100000614
为摄像头v拍摄当前帧的彩色RGB图像的R分量图像,其中
Figure BDA00003726942100000615
为摄像头v拍摄当前帧的彩色RGB图像的G分量图像,其中
Figure BDA00003726942100000616
为摄像头v拍摄当前帧的彩色RGB图像的B分量图像。
进一步地,第二确定单元包括:第二计算子单元,按照公式
Figure BDA0000372694210000071
计算第i个采样点的累加值,其中,为当前帧的前一帧的第1至第i个采样点的图像信息的分值,
Figure BDA0000372694210000073
为当前帧的全部采样点的图像信息的分值,N为采样点的个数,i为1至N中的任意值;查找子单元,用于按照公式
Figure BDA0000372694210000074
查找满足的i值,其中,rand(k)为预设随机数,0≤rand(k)≤1;以及第二确定子单元,用于按照公式
Figure BDA0000372694210000075
确定当前帧的后一帧的采样点
Figure BDA0000372694210000076
其中,
Figure BDA0000372694210000077
R为预设突变半径,δ(1)为以原点为中心,半径为1的圆上随机取得的二维点。
本发明采用获取运动物体的当前帧的彩色RGB图像和二值化运动图像;确定当前帧的采样点,并分别从当前帧的彩色RGB图像和二值化运动图像中对当前帧的采样点进行图像信息采样;计算当前帧的采样点的图像信息的分值;以及根据当前分值确定下一帧的采样点,其中,当前分值为计算出的当前帧的采样点的图像信息的分值。通过根据运行物体的彩色RGB图像和二值化运动图像计算当前帧中采样点的分值,进而根据当前帧中采样点的分值确定下一帧的采样点,实现了结合运动信息、颜色信息和先验知识对运动物体进行跟踪,相比现有技术中单纯利用运动信息的跟踪方式而言,跟踪稳定性和精确度大大提高,解决了现有技术中对运动物体的跟踪不够稳定和精确的问题,进而达到了提供跟踪稳定性和精确度的效果。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的运动物体的跟踪方法的流程图;
图2是根据本发明实施例的运动物体的跟踪方法确定搜索范围的示意图;以及
图3是根据本发明实施例的运动物体的跟踪装置的示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
本发明实施例提供了一种运动物体的跟踪方法,以下对本发明实施例所提供的运动物体的跟踪方法进行具体介绍:
图1是根据本发明实施例的运动物体的跟踪方法的流程图,如图1所示,该方法包括如下的步骤S101至步骤S107:
S101:获取运动物体的当前帧的彩色RGB图像和二值化运动图像,具体地,从对运动物体进行拍摄的摄像头的成像中获取到彩色RGB图像和二值化运动图像,其中,二值化运动图像为通过图像处理后得到的,具体处理方法可以采用现有技术中的任意一种图像处理得到二值化运动图像的方法。
S103:确定当前帧的采样点,并分别从当前帧的彩色RGB图像和二值化运动图像中对当前帧的采样点进行图像信息采样,具体地,所进行的图像信息采样包括从当前帧的彩色RGB图像中采样的采样点的RGB值和从当前帧的二值化运动图像中采样的采样点的像素坐标值。
S105:计算当前帧的采样点的图像信息的分值,具体地,主要是计算当前帧的采样点的图像信息的似然比,然后将计算出的当前帧的采样点的图像信息的似然比确定为当前帧的采样点的图像信息的分值,其中,步骤S103中采样得到的RGB值用来计算似然比中的色彩部分分值,步骤S103中采样得到的像素坐标值用来计算似然比中的运动部分分值。
S107:根据当前分值确定下一帧的采样点,其中,当前分值为计算出的当前帧的采样点的图像信息的分值。
本发明实施例的运动物体的跟踪方法,通过根据运行物体的彩色RGB图像和二值化运动图像计算当前帧中采样点的分值,进而根据当前帧中采样点的分值确定下一帧的采样点,实现了结合运动信息、颜色信息和先验知识对运动物体进行跟踪,相比现有技术中单纯利用运动信息的跟踪方式而言,跟踪稳定性和精确度大大提高,解决了现有技术中对运动物体的跟踪不够稳定和精确的问题,进而达到了提供跟踪稳定性和精确度的效果。
进一步地,本发明实施例提供了一种计算当前帧的采样点的图像信息的似然比的方法,具体如下:
按照以下公式计算当前帧的采样点的图像信息的似然比:
其中,
Figure BDA0000372694210000082
为当前帧的第k个采样点,
Figure BDA0000372694210000083
为采样点
Figure BDA0000372694210000084
的图像信息的似然比,
p ( M k ) = 1 t < 30 | | x t - 1 - x k t | | 2 1.5 | | x t - 1 - x k t | | 2 < 1.5 , t &GreaterEqual; 30 1 | | x t - 1 - x k t | | 2 &GreaterEqual; 1.5 , t &GreaterEqual; 30 ,
Figure BDA00003726942100000922
其中,xt-1为当前帧的前一帧的全部采样点空间坐标值的平均值,
Figure BDA0000372694210000092
为采样点
Figure BDA0000372694210000093
的空间坐标值,为xt-1的欧式距离,
Figure BDA0000372694210000096
其中,C为拍摄运动物体的多台摄像头的集合,A为多台摄像头中的目标摄像头的集合,
Figure BDA0000372694210000097
为目标摄像头的个数,摄像头v为目标摄像头中的任一摄像头,
p ( y m , v t | X k t , M k ) = max ( r ( X k t , y m , v t ) , 0.9 ) ,
p ( O k v ) = max ( r ( X k t , y m , v t ) , 0.9 ) proj ( X k t , v ) &NotEqual; &phi; 0.2 proj ( X k t , v ) = &phi; ,
其中,
Figure BDA00003726942100000910
为采样点
Figure BDA00003726942100000911
在摄像头v的摄像区域yv中运动像素的比例,
Figure BDA00003726942100000912
为采样点
Figure BDA00003726942100000913
对应于摄像头v所拍摄图像的像素区域,具体地,在本发明实施例中,其中,
Figure BDA00003726942100000915
为摄像头v拍摄的当前帧的二值化运动图像,
Figure BDA00003726942100000916
为在二值化运动图像
Figure BDA00003726942100000917
的像素坐标a处的图像像素值,该像素值非零表示当前帧该像素颜色发生变化,该像素值为零表示当前帧该像素颜色未发生变化。
Figure BDA00003726942100000918
其中为摄像头v拍摄的当前帧的彩色RGB图像,
Figure BDA00003726942100000920
为颜色相似度函数,取值为区域proj(Xt-1,v)和区域
Figure BDA00003726942100000921
的RGB彩色直方图的距离。
需要说明的是,在上述步骤中,
Figure BDA0000372694210000102
都可以根据投影区域大小,选择是否采用随机抽样的方式进行估算,以达到提高计算速度的效果。
更进一步地,上述计算似然比的步骤中,通过以下方式确定采样点
Figure BDA0000372694210000103
对应于摄像头v所拍摄图像的像素区域
Figure BDA0000372694210000104
获取以采样点
Figure BDA0000372694210000105
为中心,距离采样点
Figure BDA0000372694210000106
的距离均为预设距离的六个目标空间坐标点,其中,第一目标空间坐标点、采样点
Figure BDA0000372694210000107
和第二目标空间坐标点的连线为竖直方向,第三目标空间坐标点、采样点
Figure BDA0000372694210000108
和第四目标空间坐标点的连线为水平方向,第五目标空间坐标点、采样点
Figure BDA0000372694210000109
和第六目标空间坐标点的连线为水平方向,并且第一连线垂直于第二连线,第一目标空间坐标点、第二目标空间坐标点、第三目标空间坐标点、第四目标空间坐标点、第五目标空间坐标点和第六目标空间坐标点组成六个目标空间坐标点,第一连线为第三目标空间坐标点、采样点
Figure BDA00003726942100001010
和第四目标空间坐标点的连线,第二连线为第五目标空间坐标点、采样点
Figure BDA00003726942100001011
和第六目标空间坐标点的连线。
获取六个目标空间坐标点分别在摄像头v所拍摄图像中的像素坐标点,得到六个目标像素坐标点,具体地,可以根据六个目标空间坐标点的空间坐标值对应计算这六个目标空间坐标点在摄像头v所拍摄图像中的像素坐标值,得到六个目标像素坐标点,即,由六个目标空间坐标点在实际空间中的三维坐标值,确定出这六个目标空间坐标点在摄像头成像中的二维坐标值;以及
确定摄像头v所拍摄图像中的包括六个目标像素坐标点的最小矩形为像素区域
Figure BDA00003726942100001012
即,以采样点
Figure BDA00003726942100001013
为中心,取距离该采样点预设距离的上、下、左、右、前、后六个室内三维坐标点,将该六个三维坐标点分别对应到摄像头v的所摄图像得到六个图像二维坐标点,取得图像上包含这六个图像二维坐标点的最小矩形,该矩形即为proj(xk,v),在本发明实施例中,预设距离可以取0.3米。
上述计算似然比的步骤中,通过以下公式确定区域proj(Xt-1,v)和区域
Figure BDA00003726942100001014
的RGB彩色直方图的距离
Figure BDA00003726942100001015
d Comp ( H proj ( X t - 1 , v ) , H proj ( X k t , v ) ) = &Sigma; i = 1 1096 H proj ( X t - 1 , v ) * H proj ( X k t , v ) &Sigma; i = 1 1096 H proj ( X t - 1 , v ) 2 * H proj ( X k t , v ) 2 ,
其中, H proj ( X k t , v ) ( i ) = &Sigma; i = 256 * l + 16 * m + n 1 &le; l &le; 16 , 1 &le; m &le; 16 , 1 &le; n &le; 16 a &Element; proj ( X k t , v ) 16 * ( l - 1 ) &le; y r , v t ( a ) &le; 16 * l 16 * ( m - 1 ) &le; y g , v t ( a ) &le; 16 * m 16 * ( n - 1 ) &le; y b , v t ( a ) &le; 16 * n 1,1 &le; i &le; 4096 ,
H proj ( X t - 1 , v ) ( i ) = &Sigma; i = 256 * l + 16 * m + n 1 &le; l &le; 16 , 1 &le; m &le; 16 , 1 &le; n &le; 16 a &Element; proj ( X t - 1 , v ) 16 * ( l - 1 ) &le; y r , v t - 1 ( a ) &le; 16 * l 16 * ( m - 1 ) &le; y g , v t - 1 ( a ) &le; 16 * m 16 * ( n - 1 ) &le; y b , v t - 1 ( a ) &le; 16 * n 1,1 &le; i &le; 4096 ,
其中,
Figure BDA00003726942100001114
为摄像头v拍摄当前帧的彩色RGB图像,
Figure BDA00003726942100001115
为摄像头v拍摄当前帧的彩色RGB图像的R分量图像,其中
Figure BDA00003726942100001116
为摄像头v拍摄当前帧的彩色RGB图像的G分量图像,其中
Figure BDA00003726942100001117
为摄像头v拍摄当前帧的彩色RGB图像的B分量图像。
基于上述计算当前分值的具体方式,在本发明实施例中,根据当前分值确定下次采样点的方式可以按照以下具体方式:
首先,按照公式
Figure BDA0000372694210000113
计算第i个采样点的累加值,其中,
Figure BDA0000372694210000114
为当前帧的前一帧的第1至第i个采样点的图像信息的分值,
Figure BDA0000372694210000115
表示当前帧的前一帧中某个采样点
Figure BDA0000372694210000116
的图像信息的分值,
Figure BDA0000372694210000117
为当前帧的全部采样点的图像信息的分值,
Figure BDA0000372694210000118
表示当前帧中某个采样点的图像信息的分值,N为采样点的个数,i为1至N中的任意值;
其次,按照公式 r ( k ) = arg i { Q ( i ) &le; rand ( k ) < Q ( i + 1 ) } 查找满足的i值,其中,rand(k)为预设随机数,0≤rand(k)≤1,即,查找出i值,这个i值满足Q(i)≤rand(k)<Q(i+1),并将查找出的i值赋值为r(k)。
然后,按照公式
Figure BDA00003726942100001111
确定当前帧的后一帧的采样点
Figure BDA00003726942100001112
其中,
Figure BDA00003726942100001113
R为预设突变半径,在本发明实施例中,预设突变半径可以取0.5米,δ(1)为以原点为中心,半径为1的圆上随机取得的二维点。进一步地,在实际应用中,还可以将随机采样因子δ(1)根据具体采样点位置的不同修改为ε(3,1)和ε(1,3),分别对应运动物体在不同区域的情况,其中ε(a,b)表示在两个主轴长度为a和b的椭圆区域内随机取点,以对教室授课环境进行跟踪举例说明:假设老师的运动一般包括以下两种,一是老师在讲台附近发生大幅运动的情形均为横向运动,二是老师在学生区域发生大幅运动的情形均为纵向运动,基于这两点假设,我们根据区域的不同,将搜索范围由圆形区域修改为椭圆形区域,其中,搜索范围ε(3,1)对应老师在讲台区域的情况,搜索范围ε(1,3)对应老师在学生区域(即,互动区域)的情况,搜索范围的示意图具体如图2所示。
通过以上描述可以看出,本发明实施例所提供的运动物体的跟踪方法具有以下优点:本发明实施例采用经过粒子滤波似然比方法获得运动物体位置,实现了通过概率的手段保证了运动物体位置结果稳定,不易受环境噪声干扰,并且能准确跟踪多个运动物体。并且粒子滤波似然函数可以适应不同数量的摄像头,对摄像头的布设要求较少。通过分析多摄像头图像信息,给出跟踪目标的真实坐标,为后期拍摄工作提供了充分的指导信息。在对物体跟踪过程中,似然函数和搜索策略结合了运动、颜色和先验知识等信息,比传统粒子滤波跟踪的鲁棒性更好。
本发明实施例还提供了一种运动物体的跟踪装置,该跟踪装置主要用于执行本发明实施例上述内容所提供的运动物体的跟踪方法,以下对本发明实施例所提供的运动物体的跟踪装置进行具体介绍:
图3是根据本发明实施例的运动物体的跟踪装置的示意图,如图3所示,该装置主要包括获取单元10、第一确定单元20、计算单元30和第二确定单元40,具体地:
获取单元10用于获取运动物体的当前帧的彩色RGB图像和二值化运动图像,具体地,主要从对运动物体进行拍摄的摄像头的成像中获取到彩色RGB图像和二值化运动图像,其中,二值化运动图像为通过图像处理后得到的,具体处理方法可以采用现有技术中的任意一种图像处理得到二值化运动图像的方法。
第一确定单元20用于确定当前帧的采样点,并分别从当前帧的彩色RGB图像和二值化运动图像中对当前帧的采样点进行图像信息采样,具体地,所进行的图像信息采样包括从当前帧的彩色RGB图像中采样的采样点的RGB值和从当前帧的二值化运动图像中采样的采样点的像素坐标值。
计算单元30用于计算当前帧的采样点的图像信息的分值,具体地,主要是通过第一计算子单元计算当前帧的采样点的图像信息的似然比,然后由第一确定子单元将计算出的当前帧的采样点的图像信息的似然比确定为当前帧的采样点的图像信息的分值,其中,第一确定单元20采样得到的RGB值用来计算似然比中的色彩部分分值,第一确定单元20采样得到的像素坐标值用来计算似然比中的运动部分分值。
第二确定单元40用于根据当前分值确定下一帧的采样点,其中,当前分值为计算出的当前帧的采样点的图像信息的分值。
本发明实施例的运动物体的跟踪装置,通过根据运行物体的彩色RGB图像和二值化运动图像计算当前帧中采样点的分值,进而根据当前帧中采样点的分值确定下一帧的采样点,实现了结合运动信息、颜色信息和先验知识对运动物体进行跟踪,相比现有技术中单纯利用运动信息的跟踪方式而言,跟踪稳定性和精确度大大提高,解决了现有技术中对运动物体的跟踪不够稳定和精确的问题,进而达到了提供跟踪稳定性和精确度的效果。
具体地,第一计算子单元主要包括第一计算模块,该第一计算模块用于用于按照以下公式计算当前帧的采样点的图像信息的似然比:
Figure BDA0000372694210000131
其中,
Figure BDA0000372694210000132
为当前帧的第k个采样点,
Figure BDA0000372694210000133
为采样点
Figure BDA0000372694210000134
的图像信息的似然比,
p ( M k ) = 1 t < 30 | | x t - 1 - x k t | | 2 1.5 | | x t - 1 - x k t | | 2 < 1.5 , t &GreaterEqual; 30 1 | | x t - 1 - x k t | | 2 &GreaterEqual; 1.5 , t &GreaterEqual; 30 ,
Figure BDA0000372694210000136
其中,xt-1为当前帧的前一帧的全部采样点空间坐标值的平均值,为采样点
Figure BDA0000372694210000138
的空间坐标值,
Figure BDA0000372694210000139
为xt-1的欧式距离,
Figure BDA00003726942100001311
其中,C为拍摄运动物体的多台摄像头的集合,A为多台摄像头中的目标摄像头的集合,
Figure BDA00003726942100001312
为目标摄像头的个数,摄像头v为目标摄像头中的任一摄像头,
p ( y m , v t | X k t , M k ) = max ( r ( X k , t y m , v t ) , 0.9 ) ,
p ( O k v ) = max ( r ( X k , t y m , v t ) , 0.9 ) proj ( X k t , v ) &NotEqual; &phi; 0.2 proj ( X k t , v ) = &phi; ,
其中,为采样点
Figure BDA00003726942100001316
在摄像头v的摄像区域yv中运动像素的比例,
Figure BDA00003726942100001317
为采样点
Figure BDA00003726942100001318
对应于摄像头v所拍摄图像的像素区域,具体地,在本发明实施例中,
Figure BDA0000372694210000141
其中,
Figure BDA0000372694210000142
为摄像头v拍摄的当前帧的二值化运动图像,
Figure BDA0000372694210000143
为在二值化运动图像
Figure BDA0000372694210000144
的像素坐标a处的图像像素值,该像素值非零表示当前帧该像素颜色发生变化,该像素值为零表示当前帧该像素颜色未发生变化。
Figure BDA0000372694210000145
其中
Figure BDA0000372694210000146
为摄像头v拍摄的当前帧的彩色RGB图像,
Figure BDA0000372694210000147
为颜色相似度函数,取值为区域proj(Xt-1,v)和区域
Figure BDA0000372694210000149
的RGB彩色直方图的距离。
需要说明的是,上述第二计算模块中所用到的
Figure BDA00003726942100001410
Figure BDA00003726942100001411
都可以根据投影区域大小,选择是否采用随机抽样的方式进行估算,以达到提高计算速度的效果。
进一步地,第二计算模块通过以下方式确定采样点
Figure BDA00003726942100001419
对应于摄像头v所拍摄图像的像素区域
Figure BDA00003726942100001412
获取以采样点
Figure BDA00003726942100001420
为中心,距离采样点
Figure BDA00003726942100001413
的距离均为预设距离的六个目标空间坐标点,其中,第一目标空间坐标点、采样点和第二目标空间坐标点的连线为竖直方向,第三目标空间坐标点、采样点
Figure BDA00003726942100001415
和第四目标空间坐标点的连线为水平方向,第五目标空间坐标点、采样点
Figure BDA00003726942100001416
和第六目标空间坐标点的连线为水平方向,并且第一连线垂直于第二连线,第一目标空间坐标点、第二目标空间坐标点、第三目标空间坐标点、第四目标空间坐标点、第五目标空间坐标点和第六目标空间坐标点组成六个目标空间坐标点,第一连线为第三目标空间坐标点、采样点
Figure BDA00003726942100001417
和第四目标空间坐标点的连线,第二连线为第五目标空间坐标点、采样点
Figure BDA00003726942100001418
和第六目标空间坐标点的连线;
获取六个目标空间坐标点分别在摄像头v所拍摄图像中的像素坐标点,得到六个目标像素坐标点,具体地,可以根据六个目标空间坐标点的空间坐标值对应计算这六个目标空间坐标点在摄像头v所拍摄图像中的像素坐标值,得到六个目标像素坐标点,即,由六个目标空间坐标点在实际空间中的三维坐标值,确定出这六个目标空间坐标点在摄像头成像中的二维坐标值;以及
确定摄像头v所拍摄图像中的包括六个目标像素坐标点的最小矩形为像素区域 proj ( X k t , v ) .
即,以采样点
Figure BDA0000372694210000152
为中心,取距离该采样点预设距离的上、下、左、右、前、后六个室内三维坐标点,将该六个三维坐标点分别对应到摄像头v的所摄图像得到六个图像二维坐标点,取得图像上包含这六个图像二维坐标点的最小矩形,该矩形即为proj(xk,v),在本发明实施例中,预设距离可以取0.3米。
第二计算模块通过以下公式确定区域proj(Xt-1,v)和区域
Figure BDA0000372694210000153
的RGB彩色直方图的距离
Figure BDA0000372694210000154
d Comp ( H proj ( X t - 1 , v ) , H proj ( X k t , v ) ) = &Sigma; i = 1 1096 H proj ( X t - 1 , v ) * H proj ( X k t , v ) &Sigma; i = 1 1096 H proj ( X t - 1 , v ) 2 * H proj ( X k t , v ) 2 ,
其中, H proj ( X k t , v ) ( i ) = &Sigma; i = 256 * l + 16 * m + n 1 &le; l &le; 16 , 1 &le; m &le; 16 , 1 &le; n &le; 16 a &Element; proj ( X k t , v ) 16 * ( l - 1 ) &le; y r , v t ( a ) &le; 16 * l 16 * ( m - 1 ) &le; y g , v t ( a ) &le; 16 * m 16 * ( n - 1 ) &le; y b , v t ( a ) &le; 16 * n 1,1 &le; i &le; 4096 ,
H proj ( X t - 1 , v ) ( i ) = &Sigma; i = 256 * l + 16 * m + n 1 &le; l &le; 16 , 1 &le; m &le; 16 , 1 &le; n &le; 16 a &Element; proj ( X t - 1 , v ) 16 * ( l - 1 ) &le; y r , v t - 1 ( a ) &le; 16 * l 16 * ( m - 1 ) &le; y g , v t - 1 ( a ) &le; 16 * m 16 * ( n - 1 ) &le; y b , v t - 1 ( a ) &le; 16 * n 1,1 &le; i &le; 4096 ,
其中,
Figure BDA0000372694210000158
为摄像头v拍摄当前帧的彩色RGB图像,
Figure BDA0000372694210000159
为摄像头v拍摄当前帧的彩色RGB图像的R分量图像,其中为摄像头v拍摄当前帧的彩色RGB图像的G分量图像,其中
Figure BDA00003726942100001510
为摄像头v拍摄当前帧的彩色RGB图像的B分量图像。
更进一步地,第二确定单元主要包括第二计算子单元,查找子单元和第二确定子单元,具体地:
第二计算子单元用于按照公式
Figure BDA00003726942100001511
计算第i个采样点的累加值,其中,为当前帧的前一帧的第1至第i个采样点的图像信息的分值,
Figure BDA00003726942100001513
表示当前帧的前一帧中某个采样点的图像信息的分值,
Figure BDA0000372694210000162
为当前帧的全部采样点的图像信息的分值,
Figure BDA0000372694210000163
表示当前帧中某个采样点
Figure BDA0000372694210000164
的图像信息的分值,N为采样点的个数,i为1至N中的任意值;
查找子单元用于按照公式 r ( k ) = arg i { Q ( i ) &le; rand ( k ) < Q ( i + 1 ) } 查找满足的i值,其中,rand(k)为预设随机数,0≤rand(k)≤1,即,查找出i值,这个i值满足Q(i)≤rand(k)<Q(i+1),并将查找出的i值赋值为r(k)。
第二确定子单元用于按照公式
Figure BDA0000372694210000166
确定当前帧的后一帧的采样点其中,
Figure BDA0000372694210000168
R为预设突变半径,在本发明实施例中,预设突变半径可以取0.5米,δ(1)为以原点为中心,半径为1的圆上随机取得的二维点。进一步地,在实际应用中,还可以将随机采样因子δ(1)根据具体采样点位置的不同修改为ε(3,1)和ε(1,3),分别对应运动物体在不同区域的情况,其中ε(a,b)表示在两个主轴长度为a和b的椭圆区域内随机取点。
从以上的描述中,可以看出,本发明经过粒子滤波似然比方法获得运动物体位置,实现了通过概率的手段保证了运动物体位置结果稳定,不易受环境噪声干扰,并且能准确跟踪多个运动物体。并且粒子滤波似然函数可以适应不同数量的摄像头,对摄像头的布设要求较少。通过分析多摄像头图像信息,给出跟踪目标的真实坐标,为后期拍摄工作提供了充分的指导信息。在对物体跟踪过程中,似然函数和搜索策略结合了运动、颜色和先验知识等信息,比传统粒子滤波跟踪的鲁棒性更好。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而己,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种运动物体的跟踪方法,其特征在于,包括:
获取所述运动物体的当前帧的彩色RGB图像和二值化运动图像;
确定所述当前帧的采样点,并分别从所述当前帧的彩色RGB图像和二值化运动图像中对所述当前帧的采样点进行图像信息采样;
计算所述当前帧的采样点的图像信息的分值;以及
根据当前分值确定下一帧的采样点,其中,所述当前分值为计算出的所述当前帧的采样点的图像信息的分值。
2.根据权利要求1所述的跟踪方法,其特征在于,计算所述当前帧的采样点的图像信息的分值包括:
计算所述当前帧的采样点的图像信息的似然比;以及
确定所述当前帧的采样点的图像信息的似然比为所述当前帧的采样点的图像信息的分值。
3.根据权利要求2所述的跟踪方法,其特征在于,所述当前帧的采样点的图像信息包括:从所述当前帧的彩色RGB图像中采样的所述采样点的RGB值和从所述当前帧的二值化运动图像中采样的所述采样点的像素坐标值,按照以下公式计算计算所述当前帧的采样点的图像信息的似然比包括:
Figure FDA0000372694200000011
其中,为所述当前帧的第k个采样点,
Figure FDA0000372694200000013
为采样点
Figure FDA0000372694200000014
的图像信息的似然比,
p ( M k ) = 1 t < 30 | | x t - 1 - x k t | | 2 1.5 | | x t - 1 - x k t | | 2 < 1.5 , t &GreaterEqual; 30 1 | | x t - 1 - x k t | | 2 &GreaterEqual; 1.5 , t &GreaterEqual; 30 ,
Figure FDA00003726942000000111
其中,xt-1为所述当前帧的前一帧的全部采样点空间坐标值的平均值,
Figure FDA0000372694200000017
为所述采样点
Figure FDA0000372694200000018
的空间坐标值,
Figure FDA0000372694200000019
为xt-1
Figure FDA00003726942000000110
的欧式距离,
Figure FDA0000372694200000021
其中,C为拍摄所述运动物体的多台摄像头的集合,A为所述多台摄像头中的目标摄像头的集合,
Figure FDA0000372694200000022
为所述目标摄像头的个数,摄像头v为所述目标摄像头中的任一摄像头,
p ( y m , v t | X k t , M k ) = max ( r ( X k t , y m , v t ) , 0.9 ) ,
p ( O k v ) = max ( r ( X k t , y m , v t ) , 0.9 ) proj ( X k t , v ) &NotEqual; &phi; 0.2 proj ( X k t , v ) &NotEqual; &phi; ,
其中,
Figure FDA0000372694200000025
为所述采样点
Figure FDA00003726942000000221
在所述摄像头v的摄像区域yv中运动像素的比例,
Figure FDA0000372694200000026
为所述采样点
Figure FDA00003726942000000222
对应于所述摄像头v所拍摄像图像的像素区域,
Figure FDA0000372694200000029
其中为所述摄像头v拍摄的所述当前帧的彩色RGB图像,
Figure FDA00003726942000000211
为颜色相似度函数,取值为区域proj(Xt-1,v)和区域
Figure FDA00003726942000000212
的RGB彩色直方图的距离。
4.根据权利要求3所述的跟踪方法,其特征在于,
通过以下方式确定所述采样点
Figure FDA00003726942000000213
对应于所述摄像头v所拍摄图像的像素区域
Figure FDA00003726942000000214
获取以所述采样点
Figure FDA00003726942000000215
为中心,距离所述采样点的距离均为预设距离的六个目标空间坐标点,其中,第一目标空间坐标点、所述采样点
Figure FDA00003726942000000217
和第二目标空间坐标点的连线为竖直方向,第三目标空间坐标点、所述采样点
Figure FDA00003726942000000218
和第四目标空间坐标点的连线为水平方向,第五目标空间坐标点、所述采样点
Figure FDA00003726942000000219
和第六目标空间坐标点的连线为水平方向,并且第一连线垂直于第二连线,所述第一目标空间坐标点、所述第二目标空间坐标点、所述第三目标空间坐标点、所述第四目标空间坐标点、所述第五目标空间坐标点和所述第六目标空间坐标点组成六个所述目标空间坐标点,所述第一连线为所述第三目标空间坐标点、所述采样点
Figure FDA00003726942000000220
和所述第四目标空间坐标点的连线,所述第二连线为所述第五目标空间坐标点、所述采样占
Figure FDA0000372694200000031
和所述第六目标空间坐标点的连线;
获取六个所述目标空间坐标点分别在所述摄像头v所拍摄图像中的像素坐标点,得到六个目标像素坐标点;以及
确定所述摄像头v所拍摄图像中的包括六个所述目标像素坐标点的最小矩形为所述像素区域proj
Figure FDA0000372694200000032
r ( X k t , y m , v t ) = &Sigma; a &Element; proj ( X k t , v ) 1 y m , v t ( a ) &NotEqual; 0 &Sigma; a &Element; proj ( X k t , v ) 1 ,
其中,为所述摄像头v拍摄的当前帧的二值化运动图像,
Figure FDA0000372694200000035
为在二值化运动图像
Figure FDA0000372694200000036
的像素坐标a处的图像像素值,
通过以下公式确定区域proj(Xt-1,v)和区域
Figure FDA0000372694200000037
的RGB彩色直方图的距离
Figure FDA0000372694200000038
d Comp ( H proj ( X t - 1 , v ) , H proj ( X k t , v ) ) = &Sigma; i = 1 1096 H proj ( X t - 1 , v ) * H proj ( X k t , v ) &Sigma; i = 1 1096 H proj ( X t - 1 , v ) 2 * H proj ( X k t , v ) 2 ,
其中, H proj ( X k t , v ) ( i ) = &Sigma; i = 256 * l + 16 * m + n 1 &le; l &le; 16 , 1 &le; m &le; 16 , 1 &le; n &le; 16 a &Element; proj ( X k t , v ) 16 * ( l - 1 ) &le; y r , v t ( a ) &le; 16 * l 16 * ( m - 1 ) &le; y g , v t ( a ) &le; 16 * m 16 * ( n - 1 ) &le; y b , v t ( a ) &le; 16 * n 1,1 &le; i &le; 4096 ,
H proj ( X t - 1 , v ) ( i ) = &Sigma; i = 256 * l + 16 * m + n 1 &le; l &le; 16 , 1 &le; m &le; 16 , 1 &le; n &le; 16 a &Element; proj ( X t - 1 , v ) 16 * ( l - 1 ) &le; y r , v t - 1 ( a ) &le; 16 * l 16 * ( m - 1 ) &le; y g , v t - 1 ( a ) &le; 16 * m 16 * ( n - 1 ) &le; y b , v t - 1 ( a ) &le; 16 * n 1,1 &le; i &le; 4096 ,
其中,
Figure FDA00003726942000000312
为所述摄像头v拍摄当前帧的彩色RGB图像,
Figure FDA00003726942000000313
为所述摄像头v拍摄当前帧的彩色RGB图像的R分量图像,其中为所述摄像头v拍摄当前帧的彩色RGB图像的G分量图像,其中为所述摄像头v拍摄当前帧的彩色RGB图像的B分量图像。
5.根据权利要求1所述的跟踪方法,其特征在于,根据当前分值确定下次采样点包括:
按照公式
Figure FDA0000372694200000042
计算第i个采样点的累加值,其中,
Figure FDA0000372694200000043
为所述当前帧的前一帧的第1至第i个采样点的图像信息的分值,
Figure FDA0000372694200000044
为所述当前帧的全部采样点的图像信息的分值,N为所述采样点的个数,i为1至N中的任意值;
按照公式 r ( k ) = arg i { Q ( i ) &le; rand ( k ) < Q ( i + 1 ) } 查找满足的i值,其中,rand(k)为预设随机数,0≤rand(k)≤1;以及
按照公式
Figure FDA0000372694200000046
确定所述当前帧的后一帧的采样点
Figure FDA0000372694200000047
其中,
Figure FDA0000372694200000048
R为预设突变半径,δ(1)为以原点为中心,半径为1的圆上随机取得的二维点。
6.一种运动物体的跟踪装置,其特征在于,包括:
获取单元,用于获取所述运动物体的当前帧的彩色RGB图像和二值化运动图像;
第一确定单元,用于确定所述当前帧的采样点,并分别从所述当前帧的彩色RGB图像和二值化运动图像中对所述当前帧的采样点进行图像信息采样;
计算单元,用于计算所述当前帧的采样点的图像信息的分值;以及
第二确定单元,用于根据当前分值确定下一帧的采样点,其中,所述当前分值为计算出的所述当前帧的采样点的图像信息的分值。
7.根据权利要求6所述的跟踪装置,其特征在于,所述计算单元包括:
第一计算子单元,用于计算所述当前帧的采样点的图像信息的似然比;以及
第一确定子单元,用于确定所述当前帧的采样点的图像信息的似然比为所述当前帧的采样点的图像信息的分值。
8.根据权利要求7所述的跟踪装置,其特征在于,所述当前帧的采样点的图像信息包括:从所述当前帧的彩色RGB图像中采样的所述采样点的RGB值和从所述当前帧的二值化运动图像中采样的所述采样点的像素坐标值,所述第一计算子单元包括:
第一计算模块,用于按照以下公式计算所述当前帧的采样点的图像信息的似然比:
Figure FDA0000372694200000051
其中,
Figure FDA0000372694200000052
为所述当前帧的第k个采样点,
Figure FDA0000372694200000053
为采样点的图像信息的似然比,
p ( M k ) = 1 t < 30 | | x t - 1 - x k t | | 2 1.5 | | x t - 1 - x k t | | 2 < 1.5 , t &GreaterEqual; 30 1 | | x t - 1 - x k t | | 2 &GreaterEqual; 1.5 , t &GreaterEqual; 30 ,
Figure FDA00003726942000000519
其中,
Figure FDA0000372694200000056
为所述当前帧的前一帧的全部采样点空间坐标值的平均值,
Figure FDA0000372694200000057
为所述采样点
Figure FDA0000372694200000058
的空间坐标值,
Figure FDA0000372694200000059
为xt-1
Figure FDA00003726942000000510
的欧式距离,
Figure FDA00003726942000000511
其中,C为拍摄所述运动物体的多台摄像头的集合,A为所述多台摄像头中的目标摄像头的集合,
Figure FDA00003726942000000512
为所述目标摄像头的个数,摄像头v为所述目标摄像头中的任一摄像头,
p ( y m , v t | X k t , M k ) = max ( r ( X k t , y m , v t ) , 0.9 ) ,
p ( O k v ) = max ( r ( X k t , y m , v t ) , 0.9 ) proj ( X k t , v ) &NotEqual; &phi; 0.2 proj ( X k t , v ) &NotEqual; &phi; ,
其中,
Figure FDA00003726942000000515
为所述采样点
Figure FDA00003726942000000516
在所述摄像头v的摄像区域yv中运动像素的比例,
Figure FDA00003726942000000517
为所述采样点
Figure FDA00003726942000000518
对应于所述摄像头v所拍摄图像的像素区域,
Figure FDA0000372694200000061
其中
Figure FDA0000372694200000062
为所述摄像头v拍摄的所述当前帧的彩色RGB图像,
Figure FDA0000372694200000063
为颜色相似度函数,取值为区域
Figure FDA0000372694200000064
和区域
Figure FDA0000372694200000065
的RGB彩色直方图的距离。
9.根据权利要求8所述的跟踪装置,其特征在于,
通过以下方式确定所述采样点
Figure FDA0000372694200000066
对应于所述摄像头v所拍摄图像的像素区域
Figure FDA0000372694200000067
获取以所述采样点
Figure FDA0000372694200000068
为中心,距离所述采样点
Figure FDA0000372694200000069
的距离均为预设距离的六个目标空间坐标点,其中,第一目标空间坐标点、所述采样点
Figure FDA00003726942000000610
和第二目标空间坐标点的连线为竖直方向,第三目标空间坐标点、所述采样点
Figure FDA00003726942000000611
和第四目标空间坐标点的连线为水平方向,第五目标空间坐标点、所述采样点
Figure FDA00003726942000000612
和第六目标空间坐标点的连线为水平方向,并且第一连线垂直于第二连线,所述第一目标空间坐标点、所述第二目标空间坐标点、所述第三目标空间坐标点、所述第四目标空间坐标点、所述第五目标空间坐标点和所述第六目标空间坐标点组成六个所述目标空间坐标点,所述第一连线为所述第三目标空间坐标点、所述采样点
Figure FDA00003726942000000613
和所述第四目标空间坐标点的连线,所述第二连线为所述第五目标空间坐标点、所述采样占
Figure FDA00003726942000000614
和所述第六目标空间坐标点的连线;
获取六个所述目标空间坐标点分别在所述摄像头v所拍摄图像中的像素坐标点,得到六个目标像素坐标点;以及
确定所述摄像头v所拍摄图像中的包括六个所述目标像素坐标点的最小矩形为所述像素区域
Figure FDA00003726942000000615
r ( X k t , y m , v t ) = &Sigma; a &Element; proj ( X k t , v ) y m , v t ( a ) &NotEqual; 0 1 &Sigma; a &Element; proj ( X k t , v ) 1 ,
其中,
Figure FDA00003726942000000617
为所述摄像头v拍摄的当前帧的二值化运动图像,
Figure FDA00003726942000000618
为在二值化运动图像
Figure FDA00003726942000000619
的像素坐标a处的图像像素值,
通过以下公式确定区域proj(Xt-1,v)和区域
Figure FDA0000372694200000071
的RGB彩色直方图的距离
Figure FDA0000372694200000072
d Comp ( H proj ( X t - 1 , v ) , H proj ( X k t , v ) ) = &Sigma; i = 1 1096 H proj ( X t - 1 , v ) * H proj ( X k t , v ) &Sigma; i = 1 1096 H proj ( X t - 1 , v ) 2 * H proj ( X k t , v ) 2 ,
其中, H proj ( X k t , v ) ( i ) = &Sigma; i = 256 * l + 16 * m + n 1 &le; l &le; 16 , 1 &le; m &le; 16 , 1 &le; n &le; 16 a &Element; proj ( X k t , v ) 16 * ( l - 1 ) &le; y r , v t ( a ) &le; 16 * l 16 * ( m - 1 ) &le; y g , v t ( a ) &le; 16 * m 16 * ( n - 1 ) &le; y b , v t ( a ) &le; 16 * n 1,1 &le; i &le; 4096 ,
H proj ( X t - 1 , v ) ( i ) = &Sigma; i = 256 * l + 16 * m + n 1 &le; l &le; 16 , 1 &le; m &le; 16 , 1 &le; n &le; 16 a &Element; proj ( X t - 1 , v ) 16 * ( l - 1 ) &le; y r , v t - 1 ( a ) &le; 16 * l 16 * ( m - 1 ) &le; y g , v t - 1 ( a ) &le; 16 * m 16 * ( n - 1 ) &le; y b , v t - 1 ( a ) &le; 16 * n 1,1 &le; i &le; 4096 ,
其中,
Figure FDA0000372694200000076
为所述摄像头v拍摄当前帧的彩色RGB图像,
Figure FDA0000372694200000077
为所述摄像头v拍摄当前帧的彩色RGB图像的R分量图像,其中
Figure FDA0000372694200000078
为所述摄像头v拍摄当前帧的彩色RGB图像的G分量图像,其中
Figure FDA0000372694200000079
为所述摄像头v拍摄当前帧的彩色RGB图像的B分量图像。
10.根据权利要求6所述的跟踪装置,其特征在于,所述第二确定单元包括:
第二计算子单元,按照公式
Figure FDA00003726942000000710
计算第i个采样点的累加值,其中,
Figure FDA00003726942000000711
为所述当前帧的前一帧的第1至第i个采样点的图像信息的分值,
Figure FDA00003726942000000712
为所述当前帧的全部采样点的图像信息的分值,N为所述采样点的个数,i为1至N中的任意值;
查找子单元,用于按照公式 r ( k ) = arg i { Q ( i ) &le; rand ( k ) < Q ( i + 1 ) } 查找满足的i值,其中,rand(k)为预设随机数,0≤rand(k)≤1;以及
第二确定子单元,用于按照公式
Figure FDA0000372694200000081
确定所述当前帧的后一帧的采样点
Figure FDA0000372694200000082
其中,
Figure FDA0000372694200000083
R为预设突变半径,δ(1)为以原点为中心,半径为1的圆上随机取得的二维点。
CN201310379505.9A 2013-08-27 2013-08-27 运动物体的跟踪方法和装置 Active CN103413328B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310379505.9A CN103413328B (zh) 2013-08-27 2013-08-27 运动物体的跟踪方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310379505.9A CN103413328B (zh) 2013-08-27 2013-08-27 运动物体的跟踪方法和装置

Publications (2)

Publication Number Publication Date
CN103413328A true CN103413328A (zh) 2013-11-27
CN103413328B CN103413328B (zh) 2017-03-22

Family

ID=49606333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310379505.9A Active CN103413328B (zh) 2013-08-27 2013-08-27 运动物体的跟踪方法和装置

Country Status (1)

Country Link
CN (1) CN103413328B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046686A (zh) * 2015-06-19 2015-11-11 奇瑞汽车股份有限公司 定位方法及装置
CN107920257A (zh) * 2017-12-01 2018-04-17 北京奇虎科技有限公司 视频关键点实时处理方法、装置及计算设备
CN114584700A (zh) * 2020-11-30 2022-06-03 京东方科技集团股份有限公司 对焦标记方法、标记装置以及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102147861A (zh) * 2011-05-17 2011-08-10 北京邮电大学 一种基于颜色-纹理双重特征向量进行贝叶斯判决的运动目标检测方法
CN102800091A (zh) * 2012-07-10 2012-11-28 深圳市捷顺科技实业股份有限公司 一种运动目标分割方法、装置和系统
CN103210421A (zh) * 2010-12-09 2013-07-17 松下电器产业株式会社 物体检测装置及物体检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103210421A (zh) * 2010-12-09 2013-07-17 松下电器产业株式会社 物体检测装置及物体检测方法
CN102147861A (zh) * 2011-05-17 2011-08-10 北京邮电大学 一种基于颜色-纹理双重特征向量进行贝叶斯判决的运动目标检测方法
CN102800091A (zh) * 2012-07-10 2012-11-28 深圳市捷顺科技实业股份有限公司 一种运动目标分割方法、装置和系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046686A (zh) * 2015-06-19 2015-11-11 奇瑞汽车股份有限公司 定位方法及装置
CN107920257A (zh) * 2017-12-01 2018-04-17 北京奇虎科技有限公司 视频关键点实时处理方法、装置及计算设备
CN107920257B (zh) * 2017-12-01 2020-07-24 北京奇虎科技有限公司 视频关键点实时处理方法、装置及计算设备
CN114584700A (zh) * 2020-11-30 2022-06-03 京东方科技集团股份有限公司 对焦标记方法、标记装置以及电子设备
CN114584700B (zh) * 2020-11-30 2024-04-05 京东方科技集团股份有限公司 对焦标记方法、标记装置以及电子设备

Also Published As

Publication number Publication date
CN103413328B (zh) 2017-03-22

Similar Documents

Publication Publication Date Title
US11299151B2 (en) Enhanced vehicle tracking
CN109059895B (zh) 一种基于手机摄像头和传感器的多模态室内测距及定位方法
Chen et al. Milestones in autonomous driving and intelligent vehicles—part ii: Perception and planning
CN108489486A (zh) 二维码以及用于机器人的视觉-惯性组合导航系统及方法
CN104484868B (zh) 一种结合模板匹配和图像轮廓的运动目标航拍跟踪方法
CN109154502A (zh) 用于地理定位的系统、方法和设备
CN109815831B (zh) 一种车辆朝向获取方法及相关装置
CN108235725A (zh) 基于云端的轨迹地图生成方法、装置、设备及应用程序
CN107818333A (zh) 基于深度信念网络的机器人避障行为学习和目标搜索方法
CN110260866A (zh) 一种基于视觉传感器的机器人定位与避障方法
Hu et al. An indoor positioning framework based on panoramic visual odometry for visually impaired people
Chen et al. A stereo visual-inertial SLAM approach for indoor mobile robots in unknown environments without occlusions
Siagian et al. Autonomous mobile robot localization and navigation using a hierarchical map representation primarily guided by vision
Lin et al. Fast, robust and accurate posture detection algorithm based on Kalman filter and SSD for AGV
Mariottini et al. An accurate and robust visual-compass algorithm for robot-mounted omnidirectional cameras
CN103413328A (zh) 运动物体的跟踪方法和装置
Kawanishi et al. Parallel line-based structure from motion by using omnidirectional camera in textureless scene
CN109344685A (zh) 一种智慧托盘及其智能定位追踪方法
Jo et al. Mixture density-PoseNet and its application to monocular camera-based global localization
Seo et al. An efficient detection of vanishing points using inverted coordinates image space
CN104809720A (zh) 基于小交叉视场的两相机目标关联方法
CN109658436B (zh) 一种混合goa和tlbo搜索的快速运动目标跟踪方法
CN106651921A (zh) 运动检测方法及躲避和跟踪运动目标的方法
Jiao et al. Lce-calib: automatic lidar-frame/event camera extrinsic calibration with a globally optimal solution
Gomez-Ojeda Robust visual slam in challenging environments with low-texture and dynamic illumination

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant