CN105261033A - 一种基于深度图像或深度视频序列的实时跟踪目标的计算方法 - Google Patents

一种基于深度图像或深度视频序列的实时跟踪目标的计算方法 Download PDF

Info

Publication number
CN105261033A
CN105261033A CN201510585955.2A CN201510585955A CN105261033A CN 105261033 A CN105261033 A CN 105261033A CN 201510585955 A CN201510585955 A CN 201510585955A CN 105261033 A CN105261033 A CN 105261033A
Authority
CN
China
Prior art keywords
sigma
formula
overbar
row
training sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510585955.2A
Other languages
English (en)
Other versions
CN105261033B (zh
Inventor
杨阳
杨智婷
刘云霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201510585955.2A priority Critical patent/CN105261033B/zh
Publication of CN105261033A publication Critical patent/CN105261033A/zh
Application granted granted Critical
Publication of CN105261033B publication Critical patent/CN105261033B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度图像或深度视频序列的实时跟踪目标的计算方法,本发明包括预处理深度图像、搜索跟踪目标、实时更新跟踪模板;搜索跟踪目标过程分为粗略搜索和精细搜索两个阶段,减少了样本的数目,进而提高算法的运行速度。本发明使用深度图像进行目标跟踪,能在保护跟踪目标隐私的同时,实时跟踪目标,对光照、遮挡及复杂背景等因素具有较强的鲁棒性。本发明实时更新跟踪模板提高了跟踪的准确性,在跟踪目标的匹配值较低时,本发明不更新跟踪模板并对下一帧图像扩大搜索范围,避免了跟踪目标移动过快或变化过大造成的目标丢失。

Description

一种基于深度图像或深度视频序列的实时跟踪目标的计算方法
技术领域
本发明涉及一种基于深度图像或深度视频序列的实时跟踪目标的计算方法,属计算机视觉领域。
背景技术
在彩色图像的实时目标跟踪技术中,跟踪效果往往受光照、遮挡及复杂背景等因素的干扰,跟踪性能大受影响。因此,目标跟踪仍然是个具有挑战性的问题。
获取深度图像或深度视频序列的设备主要有双目视觉摄像机、激光扫描仪、Kinect设备等。其中,Kinect是微软在2010年6月14日对XBOX360体感周边外设正式发布的名字,是一种3D体感摄影机(开发代号“ProjectNatal”),同时它导入了即时动态捕捉、影像辨识、麦克风输入、语音辨识、社群互动等功能。随着Kinect的推出,通过Kinect采集的深度信息可不受场景光照和阴影的影响,为跟踪领域的研究提供了新的契机。
现有的实时目标跟踪算法中存在跟踪不准确、运算速度慢、目标移动过快或变化过大造成目标丢失、执行效率低等缺点。
发明内容
针对现有技术的不足,本发明提供了一种基于深度图像或深度视频序列的实时跟踪目标的计算方法;
该算法大致分为三步:(1)预处理深度图像,包括腐蚀、膨胀、边缘提取、距离变换等;(2)利用粗搜索到精搜索的搜索方法,确定预处理后的深度图像中跟踪目标的位置;(3)实时更新跟踪模板。在该部分的研究中,常用的技术为模板匹配,加权平均等。
术语解释:
求补:将图像进行取反。
腐蚀:利用一定尺寸的模版对图像进行与操作。
膨胀:利用一定尺寸的模版对图像进行或操作。
填充:在图像上利用紧邻像素恢复像素的缺失值。
重构:在对图像进行膨胀腐蚀操作后,基于原图像的图像恢复操作。
边缘提取:在图像上利用不同的边缘算子提取图像的边缘信息。
距离变换:在图像上计算任意点到目标点的距离。
归一化:在图像上通过数学关系式,使数据分布在一定区间范围内。
本发明的技术方案为:
一种基于深度图像或深度视频序列的实时跟踪目标的计算方法,具体步骤包括:
(1)采集深度图像,并对采集的深度图像进行预处理,所述预处理包括依次进行求补、腐蚀、膨胀、填充、重构、边缘提取、距离变换、归一化;
由于环境噪声和设备噪声的存在,深度图像的质量不理想,所以需要对获取的深度图像进行预处理。
(2)在第1帧深度图像中,手动标记初始跟踪目标A1;在初始跟踪目标A1附近取若干个训练样本X1t,训练样本X1t中心点的选取方法为:在以初始跟踪目标A1为圆心、(1-20)个像素点为半径的圆内随机取若干个像素点;在远离初始跟踪目标A1处取若干个训练样本Y1j,训练样本Y1j中心点的选取方法为:在以初始跟踪目标A1为圆心、(20-100)像素点为内半径、(40-150)个像素点为外半径的圆环内随机取若干个像素点;任一训练样本X1t、任一训练样本Y1j均与初始跟踪目标A1大小相同;训练样本B1i包括所有的训练样本X1t及所有的训练样本Y1j,i=t+j,将每一个训练样本B1i分别与初始跟踪目标A1进行模板匹配并分类,模式匹配并分类公式如式(Ⅰ)所示:
C 1 i = Σ m Σ n ( B 1 i m n - B ‾ 1 i ) ( A 1 m n - A ‾ 1 ) ( Σ m Σ n ( B 1 i m n - B ‾ 1 i ) 2 ) ( Σ m Σ n ( A 1 m n - A ‾ 1 ) 2 ) - - - ( I )
式(Ⅰ)中,C1i为第一帧深度图像中初始跟踪目标A1与训练样本B1i的匹配值,为A1的均值,为B1i的均值,为B1i的矩阵,m为的行,n为的列;为A1的矩阵,m为的行,n为的列;
当C1i的值大于阈值S时,训练样本B1i属于正样本,S的取值范围为(0.4-0.8),否则,属于负样本;
分类完毕后,将获取的所有正样本加权平均,得到S1,并与初始跟踪目标A1加权,加权公式如式(Ⅱ)所示,得到第1帧图像的跟踪模板;
T1=α1×S12×A1(Ⅱ)
式(Ⅱ)中,T1为第1帧图像的跟踪模板;α12=1,α1的取值范围为(0.5-0.8);
(3)设定步骤(1)获取o帧深度图像,p=2,2≤p≤o,执行以下步骤:
A、在第p帧深度图像中,对应第p-1帧图像中Ap-1的相同位置为中心、(30-100)个像素点为半径、(5-10)个像素点为步长的圆内获取测试样本Dpl的中心,测试样本Dpl与跟踪模板Tp-1大小相同;将测试样本Dpl与Tp-1进行模板匹配,模板匹配公式如式(Ⅲ)所示:
C p l ′ = Σ m Σ n ( D pl m n - D ‾ p l ) ( T p - 1 m n - T ‾ p - 1 ) ( Σ m Σ n ( D pl m n - D ‾ p l ) 2 ) ( Σ m Σ n ( T p - 1 m n - T ‾ p - 1 ) 2 ) - - - ( I I I )
式(Ⅲ)中,C′pl为第p帧深度图像中测试样本Dpl与跟踪模板Tp-1的匹配值,为Tp-1的均值,为Dpl的均值,为矩阵,m为的行,n为的列;为矩阵,m为的行,n为的列;l为正整数;
选出通过公式(Ⅲ)求取的最大的匹配值对应的测试样本,以最大的匹配值对应的测试样本位置为中心、(5-10)个像素点为半径、1个像素点为步长的圆内取测试样本D′pl的中心,将测试样本D′pl与Tp-1进行模板匹配,模板匹配公式如式(Ⅳ)所示:
C p l ′ ′ = Σ m Σ n ( D pl m n ′ - D ‾ p l ′ ) ( T p - 1 m n - T ‾ p - 1 ) ( Σ m Σ n ( D pl m n ′ - D ‾ p l ′ ) 2 ) ( Σ m Σ n ( T p - 1 m n - T ‾ p - 1 ) 2 ) - - - ( I V )
式(Ⅳ)中,C″pl为第p帧深度图像中测试样本D′pl与跟踪模板Tp-1的匹配值,为Tp-1的均值,为D′pl的均值,为矩阵,m为的行,n为的列;为矩阵,m为的行,n为的列;
选出通过公式(Ⅳ)求取的最大的匹配值对应的测试样本即第p帧深度图像的跟踪目标Ap
判断通过公式(Ⅳ)求取的最大的匹配值是否大于阈值S,S的取值范围为(0.4-0.8),如果大于,则进入步骤B,否则,Tp=Tp-1;Tp为第p帧图像的跟踪模板,进入步骤C;
B、在跟踪目标Ap附近取若干个训练样本Xpt,训练样本Xpt中心点的选取方法为:在以跟踪目标Ap为圆心、(1-20)个像素点为半径的圆内随机取若干个像素点;在远离跟踪目标Ap处取若干个训练样本Ypj,训练样本Ypj中心点的选取方法为:在以跟踪目标Ap为圆心、(20-100)像素点为内半径、(40-150)个像素点为外半径的圆环内随机取若干个像素点;任一训练样本Xpt、任一训练样本Ypj均与跟踪目标Ap大小相同;训练样本Bpi包括所有的训练样本Xpt及所有的训练样本Ypj,i=t+j,将每一个训练样本Bpi分别与跟踪模板Tp-1进行模板匹配并分类,模式匹配并分类公式如式(Ⅴ)所示:
C p i = Σ m Σ n ( B pi m n - B ‾ p i ) ( T p - 1 m n - T ‾ p - 1 ) ( Σ m Σ n ( B pi m n - B ‾ p i ) 2 ) ( Σ m Σ n ( T p - 1 m n - T ‾ p - 1 ) 2 ) - - - ( V )
式(Ⅴ)中,Cpi为第p帧深度图像中每一个训练样本Bpi与跟踪模板Tp-1的匹配值,为Tp-1的均值,为Bpi的均值,为矩阵,m为的行,n为的列;为矩阵,m为的行,n为的列;
当Cpi的值大于阈值S时,训练样本Bpi属于正样本,S的取值范围为(0.4-0.8),否则,属于负样本;
分类完毕后,将获取的所有正样本加权平均,得到Sp,并与初始跟踪目标A1加权,加权公式如式(Ⅵ)所示,得到第p帧图像的跟踪模板;
Tp=α1×Sp2×A1(Ⅵ)
式(Ⅵ)中,Tp为第p帧图像的跟踪模板;
C、判断p是否等于o,如果是,结束,否则,p加1,进入步骤A。
根据本发明优选的,所述距离变换采用欧氏距离变换,欧氏距离变换公式如式(Ⅶ)所示:
D = ( x 1 - x 2 ) 2 + ( y 1 - y 2 ) 2 - - - ( V I I )
式(Ⅶ)中,D为两点之间的欧氏距离,(x1,y1)为独立的像素点,(x2,y2)为离(x1,y1)最近的非零像素点。
根据本发明优选的,步骤A中,如果通过公式(Ⅳ)求取的最大的匹配值不大于阈值S,Tp=Tp-1,Tp为第p帧图像的跟踪模板,进入步骤C,并在搜索下一帧图像的跟踪目标时扩大测试样本Dpl中心点的选取范围,其选取范围的半径可扩大(1-50)个像素点。
本发明的有益效果为:
1、本发明所述方法应用于深度图像,能在保护跟踪目标隐私的同时,实时跟踪目标。
2、由于深度图像不受场景光照、阴影等复杂背景的影响,因此,本发明对光照、阴影等复杂背景有很强的鲁棒性,并且实验表明,本发明对遮挡有较强的鲁棒性;
3、本发明执行效率高,在预测跟踪目标时,本发明提出的方法采用了粗搜索到精搜索的搜索方法,减少了测试样本的数目,提高了算法的运行速度;
4、本发明具有较高的跟踪准确度,在跟踪目标的匹配值较低时,本发明不更新跟踪模板并对下一帧图像扩大搜索范围,避免了跟踪目标移动过快或变化过大造成的目标丢失。
具体实施方式
下面结合实施例对本发明作进一步限定,但不限于此。
实施例1
一种基于深度图像或深度视频序列的实时跟踪目标的计算方法,具体步骤包括:
(1)采集深度图像,并对采集的深度图像进行预处理,所述预处理包括依次进行求补、腐蚀、膨胀、填充、重构、边缘提取、距离变换、归一化;
由于环境噪声和设备噪声的存在,深度图像的质量不理想,所以需要对获取的深度图像进行预处理。
(2)在第1帧深度图像中,手动标记初始跟踪目标A1;在初始跟踪目标A1附近取若干个训练样本X1t,训练样本X1t中心点的选取方法为:在以初始跟踪目标A1为圆心、10个像素点为半径的圆内随机取20个像素点;在远离初始跟踪目标A1处取若干个训练样本Y1j,训练样本Y1j中心点的选取方法为:在以初始跟踪目标A1为圆心、30像素点为内半径、50个像素点为外半径的圆环内随机取20个像素点;任一训练样本X1t、任一训练样本Y1j均与初始跟踪目标A1大小相同;训练样本B1i包括所有的训练样本X1t及所有的训练样本Y1j,i=t+j,将每一个训练样本B1i分别与初始跟踪目标A1进行模板匹配并分类,模式匹配并分类公式如式(Ⅰ)所示:
C 1 i = Σ m Σ n ( B 1 i m n - B ‾ 1 i ) ( A 1 m n - A ‾ 1 ) ( Σ m Σ n ( B 1 i m n - B ‾ 1 i ) 2 ) ( Σ m Σ n ( A 1 m n - A ‾ 1 ) 2 ) - - - ( I )
式(Ⅰ)中,C1i为第一帧深度图像中初始跟踪目标A1与训练样本B1i的匹配值,为A1的均值,为B1i的均值,为B1i的矩阵,m为的行,n为的列;为A1的矩阵,m为的行,n为的列;
当C1i的值大于阈值S时,训练样本B1i属于正样本,S的取值为0.6,否则,属于负样本;
分类完毕后,将获取的所有正样本加权平均,得到S1,并与初始跟踪目标A1加权,加权公式如式(Ⅱ)所示,得到第1帧图像的跟踪模板;
T1=α1×S12×A1(Ⅱ)
式(Ⅱ)中,T1为第1帧图像的跟踪模板;α1=0.7,α2=0.3;
(3)设定步骤(1)获取o帧深度图像,p=2,2≤p≤o,执行以下步骤:
A、在第p帧深度图像中,对应第p-1帧图像中Ap-1的相同位置为中心、50个像素点为半径、5个像素点为步长的圆内获取测试样本Dpl的中心,测试样本Dpl与跟踪模板Tp-1大小相同;将测试样本Dpl与Tp-1进行模板匹配,模板匹配公式如式(Ⅲ)所示:
C p l ′ = Σ m Σ n ( D pl m n - D ‾ p l ) ( T p - 1 m n - T ‾ p - 1 ) ( Σ m Σ n ( D pl m n - D ‾ p l ) 2 ) ( Σ m Σ n ( T p - 1 m n - T ‾ p - 1 ) 2 ) - - - ( I I I )
式(Ⅲ)中,C′pl为第p帧深度图像中测试样本Dpl与跟踪模板Tp-1的匹配值,为Tp-1的均值,为Dpl的均值,为矩阵,m为的行,n为的列;为矩阵,m为的行,n为的列;
选出通过公式(Ⅲ)求取的最大的匹配值对应的测试样本,以最大的匹配值对应的测试样本位置为中心、5个像素点为半径、1个像素点为步长的圆内取测试样本D′pl的中心,将测试样本D′pl与Tp-1进行模板匹配,模板匹配公式如式(Ⅳ)所示:
C p l ′ ′ = Σ m Σ n ( D pl m n ′ - D ‾ p l ′ ) ( T p - 1 m n - T ‾ p - 1 ) ( Σ m Σ n ( D pl m n ′ - D ‾ p l ′ ) 2 ) ( Σ m Σ n ( T p - 1 m n - T ‾ p - 1 ) 2 ) - - - ( I V )
式(Ⅳ)中,C″pl为第p帧深度图像中测试样本D′pl与跟踪模板Tp-1的匹配值,为Tp-1的均值,为D′pl的均值,为矩阵,m为的行,n为的列;为矩阵,m为的行,n为的列;
选出通过公式(Ⅳ)求取的最大的匹配值对应的测试样本即第p帧深度图像的跟踪目标Ap
判断通过公式(Ⅳ)求取的最大的匹配值是否大于阈值S,S的取值为0.6,如果大于,则进入步骤B,否则,Tp=Tp-1;Tp为第p帧图像的跟踪模板,进入步骤C;
B、在跟踪目标Ap附近取20个训练样本Xpt,训练样本Xpt中心点的选取方法为:在以跟踪目标Ap为圆心、10个像素点为半径的圆内随机取20个像素点;在远离跟踪目标Ap处取20个训练样本Ypj,训练样本Ypj中心点的选取方法为:在以跟踪目标Ap为圆心、30像素点为内半径、50个像素点为外半径的圆环内随机取20个像素点;任一训练样本Xpt、任一训练样本Ypj均与跟踪目标Ap大小相同;训练样本Bpi包括所有的训练样本Xpt及所有的训练样本Ypj,i=t+j,将每一个训练样本Bpi分别与跟踪模板Tp-1进行模板匹配并分类,模式匹配并分类公式如式(Ⅴ)所示:
C p i = Σ m Σ n ( B pi m n - B ‾ p i ) ( T p - 1 m n - T ‾ p - 1 ) ( Σ m Σ n ( B pi m n - B ‾ p i ) 2 ) ( Σ m Σ n ( T p - 1 m n - T ‾ p - 1 ) 2 ) - - - ( V )
式(Ⅴ)中,Cpi为第p帧深度图像中每一个训练样本Bpi与跟踪模板Tp-1的匹配值,为Tp-1的均值,为Bpi的均值,为矩阵,m为的行,n为的列;为矩阵,m为的行,n为的列;
当Cpi的值大于阈值S时,训练样本Bpi属于正样本,S的取值为0.6,否则,属于负样本;
分类完毕后,将获取的所有正样本加权平均,得到Sp,并与初始跟踪目标A1加权,加权公式如式(Ⅵ)所示,得到第p帧图像的跟踪模板;
Tp=α1×Sp2×A1(Ⅵ)
式(Ⅵ)中,Tp为第p帧图像的跟踪模板;α1=0.7,α2=0.3;
C、判断p是否等于o,如果是,结束,否则,p加1,进入步骤A。
实施例2
根据实施例1所述的一种基于深度图像或深度视频序列的实时跟踪目标的计算方法,其区别在于,所述距离变换采用欧氏距离变换,欧氏距离变换公式如式(Ⅶ)所示:
D = ( x 1 - x 2 ) 2 + ( y 1 - y 2 ) 2 - - - ( V I I )
式(Ⅶ)中,D为两点之间的欧氏距离,(x1,y1)为独立的像素点,(x2,y2)为离(x1,y1)最近的非零像素点。
实施例3
根据实施例1所述的一种基于深度图像或深度视频序列的实时跟踪目标的计算方法,其区别在于,步骤A中,如果通过公式(Ⅳ)求取的最大的匹配值不大于阈值S,Tp=Tp-1,Tp为第p帧图像的跟踪模板,进入步骤C,并在搜索下一帧图像的跟踪目标时扩大测试样本Dpl中心点的选取范围,其选取范围的半径可扩大(1-50)个像素点。

Claims (3)

1.一种基于深度图像或深度视频序列的实时跟踪目标的计算方法,其特征在于,具体步骤包括:
(1)采集深度图像,并对采集的深度图像进行预处理,所述预处理包括依次进行求补、腐蚀、膨胀、填充、重构、边缘提取、距离变换、归一化;
(2)在第1帧深度图像中,手动标记初始跟踪目标A1;在初始跟踪目标A1附近取若干个训练样本X1t,训练样本X1t中心点的选取方法为:在以初始跟踪目标A1为圆心、(1-20)个像素点为半径的圆内随机取若干个像素点;在远离初始跟踪目标A1处取若干个训练样本Y1j,训练样本Y1j中心点的选取方法为:在以初始跟踪目标A1为圆心、(20-100)像素点为内半径、(40-150)个像素点为外半径的圆环内随机取若干个像素点;任一训练样本X1t、任一训练样本Y1j均与初始跟踪目标A1大小相同;训练样本B1i包括所有的训练样本X1t及所有的训练样本Y1j,i=t+j,将每一个训练样本B1i分别与初始跟踪目标A1进行模板匹配并分类,模式匹配并分类公式如式(Ⅰ)所示:
C 1 i = Σ m Σ n ( B 1 i m n - B ‾ 1 i ) ( A 1 m n - A ‾ 1 ) ( Σ m Σ n ( B 1 i m n - B ‾ 1 i ) 2 ) ( Σ m Σ n ( A 1 m n - A ‾ 1 ) 2 ) (I)
式(Ⅰ)中,C1i为第一帧深度图像中初始跟踪目标A1与训练样本B1i的匹配值,为A1的均值,为B1i的均值,为B1i的矩阵,m为的行,n为的列;为A1的矩阵,m为的行,n为的列;
当C1i的值大于阈值S时,训练样本B1i属于正样本,S的取值范围为(0.4-0.8),否则,属于负样本;
分类完毕后,将获取的所有正样本加权平均,得到S1,并与初始跟踪目标A1加权,加权公式如式(Ⅱ)所示,得到第1帧图像的跟踪模板;
T1=α1×S12×A1(Ⅱ)
式(Ⅱ)中,T1为第1帧图像的跟踪模板;α12=1,α1的取值范围为(0.5-0.8);
(3)设定步骤(1)获取o帧深度图像,p=2,2≤p≤o,执行以下步骤:
A、在第p帧深度图像中,对应第p-1帧图像中Ap-1的相同位置为中心、(30-100)个像素点为半径、(5-10)个像素点为步长的圆内获取测试样本Dpl的中心,测试样本Dpl与跟踪模板Tp-1大小相同;将测试样本Dpl与Tp-1进行模板匹配,模板匹配公式如式(Ⅲ)所示:
C p l ′ = Σ m Σ n ( D pl m n - D ‾ p l ) ( T p - 1 m n - T ‾ p - 1 ) ( Σ m Σ n ( D pl m n - D ‾ p l ) 2 ) ( Σ m Σ n ( T p - 1 m n - T ‾ p - 1 ) 2 ) (Ⅲ)
式(Ⅲ)中,为第p帧深度图像中测试样本Dpl与跟踪模板Tp-1的匹配值,为Tp-1的均值,为Dpl的均值,为矩阵,m为的行,n为的列;为矩阵,m为的行,n为的列;l为正整数;
选出通过公式(Ⅲ)求取的最大的匹配值对应的测试样本,以最大的匹配值对应的测试样本位置为中心、(5-10)个像素点为半径、1个像素点为步长的圆内取测试样本的中心,将测试样本与Tp-1进行模板匹配,模板匹配公式如式(Ⅳ)所示:
C p l ′ ′ = Σ m Σ n ( D pl m n ′ - D ‾ p l ′ ) ( T p - 1 m n - T ‾ p - 1 ) ( Σ m Σ n ( D pl m n ′ - D ‾ p l ′ ) 2 ) ( Σ m Σ n ( T p - 1 m n - T ‾ p - 1 ) 2 ) (Ⅳ)
式(Ⅳ)中,为第p帧深度图像中测试样本与跟踪模板Tp-1的匹配值,为Tp-1的均值,的均值,为矩阵,m为的行,n为的列;Tp-1mn为矩阵,m为的行,n为的列;
选出通过公式(Ⅳ)求取的最大的匹配值对应的测试样本即第p帧深度图像的跟踪目标Ap
判断通过公式(Ⅳ)求取的最大的匹配值是否大于阈值S,S的取值范围为(0.4-0.8),如果大于,则进入步骤B,否则,Tp=Tp-1;Tp为第p帧图像的跟踪模板,进入步骤C;
B、在跟踪目标Ap附近取若干个训练样本Xpt,训练样本Xpt中心点的选取方法为:在以跟踪目标Ap为圆心、(1-20)个像素点为半径的圆内随机取若干个像素点;在远离跟踪目标Ap处取若干个训练样本Ypj,训练样本Ynj中心点的选取方法为:在以跟踪目标Ap为圆心、(20-100)像素点为内半径、(40-150)个像素点为外半径的圆环内随机取若干个像素点;任一训练样本Xpt、任一训练样本Ypj均与跟踪目标Ap大小相同;训练样本Bpi包括所有的训练样本Xpt及所有的训练样本Ypj,i=t+j,将每一个训练样本Bpi分别与跟踪模板Tp-1进行模板匹配并分类,模式匹配并分类公式如式(Ⅴ)所示:
C p i = Σ m Σ n ( B pi m n - B ‾ p i ) ( T p - 1 m n - T ‾ p - 1 ) ( Σ m Σ n ( B pi m n - B ‾ p i ) 2 ) ( Σ m Σ n ( T p - 1 m n - T ‾ p - 1 ) 2 ) (Ⅴ)
式(Ⅴ)中,Cpi为第p帧深度图像中每一个训练样本Bpi与跟踪模板Tp-1的匹配值,为Tp-1的均值,为Bpi的均值,为矩阵,m为的行,n为的列;为矩阵,m为的行,n为的列;
当Cpi的值大于阈值S时,训练样本Bpi属于正样本,S的取值范围为(0.4-0.8),否则,属于负样本;
分类完毕后,将获取的所有正样本加权平均,得到Sp,并与初始跟踪目标A1加权,加权公式如式(Ⅵ)所示,得到第p帧图像的跟踪模板;
Tp=α1×Sp2×A1(Ⅵ)
式(Ⅵ)中,Tp为第p帧图像的跟踪模板;
C、判断p是否等于o,如果是,结束,否则,p加1,进入步骤A。
2.根据权利要求1所述的一种基于深度图像或深度视频序列的实时跟踪目标的计算方法,其特征在于,所述距离变换采用欧氏距离变换,欧氏距离变换公式如式(Ⅶ)所示:
D = ( x 1 - x 2 ) 2 + ( y 1 - y 2 ) 2 (Ⅶ)
式(Ⅶ)中,D为两点之间的欧氏距离,(x1,y1)为独立的像素点,(x2,y2)为离(x1,y1)最近的非零像素点。
3.根据权利要求1或2所述的一种基于深度图像或深度视频序列的实时跟踪目标的计算方法,其特征在于,步骤A中,如果通过公式(Ⅳ)求取的最大的匹配值不大于阈值S,Tp=Tp-1,Tp为第p帧图像的跟踪模板,进入步骤C,并在搜索下一帧图像的跟踪目标时扩大测试样本Dpl中心点的选取范围,其选取范围的半径可扩大(1-50)个像素点。
CN201510585955.2A 2015-09-15 2015-09-15 一种基于深度图像或深度视频序列的实时跟踪目标的计算方法 Active CN105261033B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510585955.2A CN105261033B (zh) 2015-09-15 2015-09-15 一种基于深度图像或深度视频序列的实时跟踪目标的计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510585955.2A CN105261033B (zh) 2015-09-15 2015-09-15 一种基于深度图像或深度视频序列的实时跟踪目标的计算方法

Publications (2)

Publication Number Publication Date
CN105261033A true CN105261033A (zh) 2016-01-20
CN105261033B CN105261033B (zh) 2016-08-31

Family

ID=55100704

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510585955.2A Active CN105261033B (zh) 2015-09-15 2015-09-15 一种基于深度图像或深度视频序列的实时跟踪目标的计算方法

Country Status (1)

Country Link
CN (1) CN105261033B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106920252A (zh) * 2016-06-24 2017-07-04 阿里巴巴集团控股有限公司 一种图像数据处理方法、装置及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102063725A (zh) * 2010-12-30 2011-05-18 Tcl集团股份有限公司 一种基于深度信息的多目标跟踪方法
JP2013020616A (ja) * 2011-07-07 2013-01-31 Ricoh Co Ltd オブジェクト追跡方法及びオブジェクト追跡装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102063725A (zh) * 2010-12-30 2011-05-18 Tcl集团股份有限公司 一种基于深度信息的多目标跟踪方法
JP2013020616A (ja) * 2011-07-07 2013-01-31 Ricoh Co Ltd オブジェクト追跡方法及びオブジェクト追跡装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106920252A (zh) * 2016-06-24 2017-07-04 阿里巴巴集团控股有限公司 一种图像数据处理方法、装置及电子设备
CN106920252B (zh) * 2016-06-24 2020-07-03 阿里巴巴集团控股有限公司 一种图像数据处理方法、装置及电子设备

Also Published As

Publication number Publication date
CN105261033B (zh) 2016-08-31

Similar Documents

Publication Publication Date Title
CN105023278B (zh) 一种基于光流法的运动目标跟踪方法及系统
CN111460914B (zh) 一种基于全局和局部细粒度特征的行人重识别方法
CN105528794A (zh) 基于混合高斯模型与超像素分割的运动目标检测方法
CN103258332B (zh) 一种抗光照变化的运动目标的检测方法
CN107578091B (zh) 一种基于轻量级深度网络的行人车辆实时检测方法
CN103955949A (zh) 基于Mean-shift算法的运动目标检测方法
CN102629385A (zh) 一种基于多摄像机信息融合的目标匹配与跟踪系统及方法
CN113744311A (zh) 基于全连接注意力模块的孪生神经网络运动目标跟踪方法
CN106709938B (zh) 基于改进tld的多目标追踪方法
CN109711256B (zh) 一种低空复杂背景无人机目标检测方法
CN113763424B (zh) 基于嵌入式平台的实时智能目标检测方法及系统
CN103854016A (zh) 基于方向性共同发生特征的人体行为分类识别方法及系统
CN111191535B (zh) 基于深度学习的行人检测模型构建方法及行人检测方法
CN103593856A (zh) 单目标跟踪方法及系统
CN112785626A (zh) 一种基于多尺度特征融合的孪生网络小目标跟踪方法
CN113763427A (zh) 一种基于从粗到精遮挡处理的多目标跟踪方法
CN103577804A (zh) 基于sift流和隐条件随机场的人群异常行为识别方法
Yin Object Detection Based on Deep Learning: A Brief Review
CN105205834A (zh) 一种基于混合高斯及阴影检测模型的目标检测与提取方法
CN104835142A (zh) 一种基于纹理特征的车辆排队长度检测方法
CN103218829A (zh) 一种适应于动态背景的前景提取方法
CN102592125A (zh) 基于标准差特征的运动目标检测方法
CN110569764B (zh) 一种基于卷积神经网络的手机型号识别方法
CN105427312B (zh) 一种用于识别和跟踪天文图像中太阳光球亮点的方法
CN105261033A (zh) 一种基于深度图像或深度视频序列的实时跟踪目标的计算方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant