CN105488811A - 一种基于深度梯度的目标跟踪方法与系统 - Google Patents

一种基于深度梯度的目标跟踪方法与系统 Download PDF

Info

Publication number
CN105488811A
CN105488811A CN201510822670.6A CN201510822670A CN105488811A CN 105488811 A CN105488811 A CN 105488811A CN 201510822670 A CN201510822670 A CN 201510822670A CN 105488811 A CN105488811 A CN 105488811A
Authority
CN
China
Prior art keywords
target
frame
tracking
confidence level
max
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510822670.6A
Other languages
English (en)
Other versions
CN105488811B (zh
Inventor
高常鑫
时辉章
桑农
刘心田
邹雷
赵俊
李逢
吴建雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201510822670.6A priority Critical patent/CN105488811B/zh
Publication of CN105488811A publication Critical patent/CN105488811A/zh
Application granted granted Critical
Publication of CN105488811B publication Critical patent/CN105488811B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度梯度的目标跟踪方法,通过对获取的待跟踪RGB-D视频序列的第一帧进行标定,提取RGB图像的方向梯度直方图特征和深度图像的深度梯度信息;基于上述信息,对当前帧进行目标检测和目标跟踪,并根据检测结果和跟踪结果,进一步得到最终目标框;最后,对下一帧重复前述步骤且在每一帧处理后,对分类器模型进行选择性调整。相应地本发明还公开了一种对应的系统。通过执行本发明中的方法,有效解决了当前目标跟踪方法中存在的在背景与目标颜色接近、光照变化明显、遮挡等导致的跟踪错误或丢失的问题,大大提高了目标跟踪的鲁棒性,同时减少了训练模型的漂移问题,尤其适用于小速率目标跟踪的应用场合。

Description

一种基于深度梯度的目标跟踪方法与系统
技术领域
本发明属于模式识别技术领域,更具体地,涉及一种基于深度梯度的目标跟踪方法与系统。
背景技术
目标跟踪是计算机视觉领域里的一个重要分支,随着人工智能的发展,目标跟踪技术越来越受到重视。传统的目标跟踪主要集中在对视频序列RGB信息的研究,由于RGB信息只能从物体的色彩方面对其进行描述,忽略了目标的形状以及位置等重要的信息。使用单一的有效信息导致基于RGB信息的目标跟踪容易受到光照变化、背景复杂、目标形变、遮挡等因素的影响,跟踪效果不理想,容易出现跟踪丢失和错误跟踪等问题。
近年来,随着距离传感器的发展,其精度得到了大幅度的提升,同时价格也下降到了一个可接受的范围,这使得采集视频RGB图像序列的同时也能够方便地获取对应的深度图像序列。深度信息代表了物体的位置信息,当前很多目标跟踪的研究将深度信息与RGB信息结合,即利用了图像序列中物体的色彩信息以及位置信息,这使得目标跟踪的性能得到了一定程度的提升。虽然相比于传统的仅使用RGB信息的目标跟踪方法,上述加入深度信息的目标跟踪方法拥有更好的性能,但是仅靠使用深度信息提供的位置信息并没有有效利用深度图像序列的深度信息,因此上述方法存在很大的改进空间。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供了一种基于深度梯度的目标跟踪方法及系统,其中通过使用深度梯度信息和RGB信息对目标进行描述,实现了目标跟踪的准确性,本发明分别使用检测和跟踪两种方法,且在每一帧处理过后,对分类器模型进行选择性调整,大大提高了跟踪效果的鲁棒性,同时减少了模型漂移问题,相应可有效解决当前目标跟踪方法中存在的在背景与目标颜色接近、光照变化明显、遮挡等导致的跟踪错误或丢失的问题,因而尤其适用于小速率目标跟踪的应用场合。
为实现上述目的,按照本发明的一个方面,提出了一种基于深度梯度的目标跟踪方法,其特征在于,所述方法包括:
(1)获取待跟踪视频序列,包括RGB图像序列以及对应的深度图像序列;
(2)对视频序列的第一帧进行标定,选取待跟踪的目标,给出目标位置所处的最小矩形框;
(3)将步骤(2)中最小矩形框所选矩形区域设定为正样本,其余非所选矩形区域为负样本,针对所述正样本提取RGB图像的方向梯度直方图HOG特征,训练支持向量机SVDD分类器;
(4)根据步骤(1)中获取的所述深度图像序列,得到第k幅深度图像第i行第j列的深度梯度信息gk(i,j)为:
gk(i,j)=dk(i-1,j-1)-dk(i,j)
其中,dk(i,j)为深度图像序列中第k幅深度图像第i行第j列的深度值;
(5)针对当前帧进行目标检测:对当前帧在上一帧中最小矩形框1倍尺度范围内进行基于RGB图像的HOG特征多尺度目标检测,得到对应的检测结果;
(6)针对当前帧进行目标跟踪:根据步骤(4)得到的深度梯度信息gk(i,j),通过深度梯度流方法进行目标跟踪,得到对应的跟踪结果;
(7)根据步骤(5)和(6)中分别得到的检测结果和跟踪结果,得到当前帧的目标可信度集合C;
(8)在目标可信度集合C中选取最大目标可信度Cmax,并根据选取的最大目标可信度Cmax进一步获取候选目标框矩阵bbd中对应的元素继而,得到最终目标框bbmax为:
bb m a x = C m a x C m a x + C d e bb d i + C d e C m a x + C d e bb d e ;
(9)判断当前帧的最大目标可信度Cmax是否大于第二阈值θ1,如果C>θ1,则认为跟踪结果正确,返回当前帧最终目标框bbmax,同时以目标框bbmax为正样本更新分类器模型;如果θ2<C<θ1,其中θ2为第三阈值,返回当前最终目标框bbmax,则保持分类器模型不变,;如果C<θ2,则返回无跟踪目标;
(10)对下一帧图像重复步骤(5)-(9)。
作为进一步优选的,所述检测结果包括所有可信度大于第一阈值的候选目标框矩阵bbd及其对应的可信度矩阵Cd,其中,所述第一阈值为通过实验整定选取。
作为进一步优选的,所述跟踪结果包括跟踪目标框bbde及将其作为支持向量机SVM分类器输入而进一步得到的目标框可信度cde
作为进一步优选的,其特征在于,所述当前帧的目标可信度集合C为:
C=Cd+αcder(bbde,bbd)
其中,r(bbde,bbd)为候选目标框矩阵bbd中任一元素和跟踪目标框bbde的尺度重合率,α为重合系数。
为实现上述目的,本发明还提供了一种基于深度梯度的目标跟踪系统,其特征在于,所述系统包括:
获取单元,用于获取待跟踪视频序列,包括RGB图像序列以及对应的深度图像序列;
标定单元,用于对视频序列的第一帧进行标定,选取待跟踪的目标,给出目标位置所处的最小矩形框;
提取单元,用于将最小矩形框所选矩形区域设定为正样本,其余非所选矩形区域为负样本,针对所述正样本提取RGB图像的方向梯度直方图HOG特征,训练支持向量机SVDD分类器;
深度梯度信息估计单元,用于根据获取的所述深度图像序列,得到第k幅深度图像第i行第j列的深度梯度信息gk(i,j)为:
gk(i,j)=dk(i-1,j-1)-dk(i,j)
其中,dk(i,j)为深度图像序列中第k幅深度图像第i行第j列的深度值;
目标检测单元,用于对当前帧在上一帧中最小矩形框1倍尺度范围内进行基于RGB图像的HOG特征多尺度目标检测,得到对应的检测结果;
目标跟踪单元,用于根据深度梯度信息gk(i,j),通过深度梯度流方法进行目标跟踪,得到对应的跟踪结果;
目标可信度集合估计单元,用于根据所述检测结果和所述跟踪结果,得到当前帧的目标可信度集合C;
目标框估计单元,用于在目标可信度集合C中选取最大目标可信度Cmax,并根据选取的最大目标可信度Cmax进一步获取候选目标框矩阵bbd中对应的元素继而,得到最终目标框bbmax为:
bb m a x = C m a x C m a x + C d e bb d i + C d e C m a x + C d e bb d e ;
判断单元,用于判断当前帧的最大目标可信度Cmax是否大于第二阈值θ1,如果C>θ1,则认为跟踪结果正确,返回当前帧最终目标框bbmax,同时以最终目标框bbmax为正样本更新分类器模型;如果θ2<C<θ1,其中θ2为第三阈值,返回当前最终目标框bbmax,则保持分类器模型不变,;如果C<θ2,则返回无跟踪目标。
作为进一步优选的,所述检测结果包括所有可信度大于第一阈值的候选目标框矩阵bbd及其对应的可信度矩阵Cd,其中,所述第一阈值为通过实验整定选取。
作为进一步优选的,所述跟踪结果包括跟踪目标框bbde及将其作为支持向量机SVDD分类器输入而进一步得到的目标框可信度cde
作为进一步优选的,所述当前帧的目标可信度集合C为:
C=Cd+αcder(bbde,bbd)
其中,r(bbde,bbd)为候选目标框矩阵bbd中任一元素和跟踪目标框bbde的尺度重合率,α为重合系数。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,主要具备以下的技术优点:
1.本发明通过使用深度梯度信息和RGB信息,对目标从色彩和形状两个方面进行描述,有效利用了目标信息,大大提高了目标跟踪的准确性;
2.本发明的基于深度梯度的目标跟踪方法,对于每一帧图像分别使用目标检测和目标跟踪进行估计,继而对获取的检测结果和跟踪结果加权平均,显著提高了本发明目标跟踪的可靠性;
3.另外,本发明在对每一帧处理后,对支持向量机SVDD分类器模型进行选择性调整,从而减小了模型的漂移,进一步增强了目标跟踪的准确性。
附图说明
图1表示深度梯度帧间的一致性;
图2表示本发明方法适用的时间连续运动;
图3表示深度梯度的空间一致性;
图4为本发明基于深度梯度的目标跟踪方法流程图;
图5为本发明在实际的目标跟踪应用中的方法流程图;
图6为本发明基于深度梯度的目标跟踪系统结构图;
图7为本方法应用于目标与光照变化较明显场景下的跟踪效果图;
图8为本方法应用于目标与背景颜色接近的场景下的跟踪效果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
以下首先对本发明用到的术语进行解释和说明。
深度梯度:受限于深度信息获取的成本,传统的目标跟踪基本上都是基于图像的RGB信息的,在复杂场景下,只使用RGB信息来进行目标跟踪,尤其是背景颜色和目标颜色相近、有遮挡、光照变化大等场景下效果不理想。近年来,随着获取深度信息变得廉价方便,很多目标跟踪算法中加入了深度信息,得益于深度信息的使用,目标跟踪效果的到了很大的提升,但是直接使用深度来进行跟踪并不能充分利用深度信息。与深度不同,深度梯度是对物体形状的一种描述,使用深度梯度做跟踪恰好可以和RGB颜色信息互补,提高跟踪算法的鲁棒性。
一致性:深度梯度作为对目标形状的一种描述,当目标外形不变时具有稳定性也即一致性,深度梯度一致性需要满足三个假设。一是目标运动时需要假设目标像素被逐帧跟踪时,其深度梯度不发生变化,如图1所示;二是目标的运动需要是时间连续的,也即运动是小运动,图像的运动随时间的变化比较缓慢,实际应用中是指时间变化相对视频序列中运动的比例要足够小,这样目标在帧间运动就比较小,如图2所示;三是在一个场景中同一表面上邻近点具有相似的运动,邻近点在图像平面上投影也在邻近区域,如图3所示。满足这三个假设,在目标跟踪时深度梯度便具有一致性了。
HOG:HistogramsOfOrientedGradient,即方向梯度直方图描述子。其主体思想是:在一副图像中,局部目标的表象和形状(appearanceandshape)能够被梯度或边缘的方向密度分布很好地描述。具体的实现方法是:首先将图像分成小的连通区域,我们把它叫细胞单元。然后采集细胞单元中各像素点的梯度的或边缘的方向直方图。最后把这些直方图组合起来就可以构成特征描述器。运动目标的梯度方向直方图特征,描述了图像局部区域的梯度强度和梯度方向的分布情况,该分布情况能对局部对象外观和形状进行很好的表征,事实证明能够很好的应用在检测中,已经成为目前主流的方法。
SVDD:SupportVectorDomainDescription,SVDD单类分类器是机器学习中常用的一种分类器,SVDD方法是通过一个非线性映射p,把样本空间映射到一个高维乃至无穷维的特征空间中(Hilbert空间),使得在原来的样本空间中非线性可分的问题转化为在特征空间中的线性可分的问题。我们使用SVDD用来判断待检测区域是否是跟踪的目标。
本发明可以在很大程度上提升目标跟踪的准确度。深度梯度信息和RGB色彩信息互补,可以让目标跟踪具有更好的鲁棒性。深度梯度流的使用使得本方法在目标背景颜色和目标相近以及光照变化大时提升效果显著。
本发明的目标跟踪方法尤其适用于小速率的目标跟踪,即两帧之间目标的距离和目标矩形框的对角线比值(设定为0到1之间)较小。按照图4及图5所示的方法流程图对本发明方法进行具体介绍,所述方法包括以下步骤:
(1)获取待跟踪视频序列,,即获取RGB-D视频序列,包括RGB图像序列以及对应的深度图像序列;
(2)对视频序列的第一帧进行标定,选取待跟踪的目标,给出目标位置所处的最小矩形框;
(3)将步骤(2)中最小矩形框所选矩形区域设定为正样本,其余非所选矩形区域为负样本,针对所述正样本提取RGB图像的方向梯度直方图HOG特征,训练支持向量机SVDD分类器;
(4)根据步骤(1)中获取的所述深度图像序列,得到第k幅深度图像第i行第j列的深度梯度信息gk(i,j)为:
gk(i,j)=dk(i-1,j-1)-dk(i,j)
其中,dk(i,j)为深度图像序列中第k幅深度图像第i行第j列的深度值;
(5)针对当前帧进行目标检测:对当前帧在上一帧中最小矩形框1倍尺度范围内进行基于RGB图像的HOG特征多尺度目标检测,得到对应的检测结果,所述检测结果包括所有可信度大于第一阈值的候选目标框矩阵bbd及其对应的可信度矩阵Cd,所述第一阈值为通过实验整定选取;
(6)针对当前帧进行目标跟踪:根据步骤(4)得到的深度梯度信息gk(i,j),通过深度梯度流方法进行目标跟踪,得到对应的跟踪结果,所述跟踪结果包括跟踪目标框bbde及将其作为支持向量机SVDD分类器输入而进一步得到的目标框可信度cde
(7)根据步骤(5)和(6)中分别得到的检测结果和跟踪结果,得到当前帧的目标可信度集合C为:
C=Cd+αcder(bbde,bbd)
其中,r(bbde,bbd)为候选目标框矩阵bbd中任一元素和跟踪目标框bbde的尺度重合率,α为重合系数。
(8)在目标可信度集合C中选取最大目标可信度Cmax,并根据选取的最大目标可信度Cmax进一步获取候选目标框矩阵bbd中对应的元素继而,得到最终目标框bbmax为:
bb m a x = C m a x C m a x + C d e bb d i + C d e C m a x + C d e bb d e ;
(9)判断当前帧的最大目标可信度Cmax是否大于第二阈值θ1,如果C>θ1,则认为跟踪结果正确,返回当前帧最终目标框bbmax,同时以目标框bbmax为正样本更新分类器模型;如果θ2<C<θ1,其中θ2为第三阈值,返回当前最终目标框bbmax,则保持分类器模型不变,;如果C<θ2,则返回无跟踪目标;
(10)对下一帧图像重复步骤(5)-(9)。
在本发明中,深度梯度流是空间运动物体在观察成像平面上的像素运动的瞬时速度,是利用深度梯度图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系,从而计算出相邻帧之间物体的运动信息的一种方法。深度梯度流是可由场景中前景目标本身的移动、相机的运动,或者两者的共同运动产生。
深度梯度流是空间运动物体在观测成像平面上的像素运动的“瞬时速度”。深度梯度流的利用图像序列中像素深度梯度数据的时域变化和相关性来确定各自像素位置的“运动”,通过深度梯度流场从视频的深度图像序列中近似获得目标的运动场。
深度梯度流法的前提假设:
(1)相邻帧之间同一像素点的深度梯度度恒定;
(2)相邻视频帧的取帧时间连续,或者,相邻帧之间物体的运动比较“微小”;
(3)保持空间一致性;即,同一子图像的像素点具有相同的运动。
当满足以上三点假设时,就可以使用深度梯度流进行目标跟踪。本方法使用Lucas–Kanade算法求深度梯度。它计算两帧在时间t到t+δt之间每个像素点位置的移动。由于它是基于图像信号的泰勒级数,这种方法称为差分,这就是对于空间和时间坐标使用偏导数,它的约束为方程为:
G(x,y,t)=G(x+δx,y+δy,t+δt)
其中G(x,y,t)是时刻t时点(x,y)处的深度梯度值,G(x+δx,y+δy,t+δt)是时刻t+δt时点(x+δx,y+δy)的深度梯度值,时刻t时的点(x,y)和时刻t+δt时的点(x+δx,y+δy)是物体的同一点在图像上的投影。我们假设移动足够的小,那么对图像约束方程使用泰勒公式,我们可以得到:
G ( x + &delta; x , y + &delta; y , t + &delta; t ) = G ( x , y , t ) + &part; G &part; x + &part; G &part; y + &part; G &part; t + H . O . T
其中H.O.T指高阶无穷小,即:
Gxdx+Gydy+Gtdt=0,
那么:Gxu+Gyv=-Gt,根据深度梯度一致性假设,
有: G x 1 G y 1 G x 2 G y 2 ... ... u v = - G t 1 G t 2 ... ,
计算的目的是使得最小,
A u &OverBar; = b &DoubleRightArrow; A T A u &OverBar; = A T b &DoubleRightArrow; u &OverBar; = ( A T A ) - 1 A T b
在深度梯图像中,假设第k帧有一点H(x,y),则在k+1帧中该点位置为H(x+u,y+v)。
通过深度梯度流法进行目标跟踪,具体包括以下步骤:
(1)对一个连续的视频深度梯度帧序列进行处理;
(2)针对每一个视频序列,在第一帧标记出需要跟踪的目标;
(3)提取目标中具有代表性的关键特征点(可以随机产生,也可以利用角点来做特征点);
(4)对之后的任意两个相邻视频帧而言,寻找上一帧中出现的关键特征点在当前帧中的最佳位置,从而得到前景目标在当前帧中的位置坐标;
(5)恰好框住所有被跟踪目标关键特征点的最小矩形框既是深度梯度流法跟踪的目标框;
(6)如此迭代进行,便可实现目标的跟踪。
相应地,本发明还提出了一种基于深度梯度的目标跟踪系统,如图6所示,所述系统包括:
获取单元,用于获取待跟踪视频序列,包括RGB图像序列以及对应的深度图像序列;
标定单元,用于对视频序列的第一帧进行标定,选取待跟踪的目标,给出目标位置所处的最小矩形框;
提取单元,用于将最小矩形框所选矩形区域设定为正样本,其余非所选矩形区域为负样本,针对所述正样本提取RGB图像的方向梯度直方图HOG特征,训练支持向量机SVDD分类器;
深度梯度信息估计单元,用于根据获取的所述深度图像序列,得到第k幅深度图像第i行第j列的深度梯度信息gk(i,j)为:
gk(i,j)=dk(i-1,j-1)-dk(i,j)
其中,dk(i,j)为深度图像序列中第k幅深度图像第i行第j列的深度值;
目标检测单元,用于对当前帧在上一帧中最小矩形框1倍尺度范围内进行基于RGB图像的HOG特征多尺度目标检测,得到对应的检测结果,包括所有可信度大于第一阈值的候选目标框矩阵bbd及其对应的可信度矩阵Cd
目标跟踪单元,用于根据深度梯度信息gk(i,j),通过深度梯度流方法进行目标跟踪,得到对应的跟踪结果,包括跟踪目标框bbde及将其作为支持向量机SVM分类器输入而进一步得到的目标框可信度cde
目标可信度集合估计单元,用于根据所述检测结果和所述跟踪结果,得到当前帧的目标可信度集合C为:
C=Cd+αcder(bbde,bbd)
其中,r(bbde,bbd)为候选目标框矩阵bbd中任一元素和跟踪目标框bbde的尺度重合率,α为重合系数。
目标框估计单元,用于在目标可信度集合C中选取最大目标可信度Cmax,并根据选取的最大目标可信度Cmax进一步获取候选目标框矩阵bbd中对应的元素继而,得到最终目标框bbmax为:
bb m a x = C m a x C m a x + C d e bb d i + C d e C m a x + C d e bb d e ;
判断单元,用于判断当前帧的最大目标可信度Cmax是否大于第二阈值θ1,如果C>θ1,则认为跟踪结果正确,返回当前帧最终目标框bbmax,同时以最终目标框bbmax为正样本更新分类器模型;如果θ2<C<θ1,其中θ2为第三阈值,返回当前最终目标框bbmax,则保持分类器模型不变,;如果C<θ2,则返回无跟踪目标。
如图7为在目标与光照变化比较明显的场景下所获得的跟踪效果图,图8为在目标与背景颜色接近的场景下所获得的跟踪效果图,其中,第一行均为无深度梯度跟踪效果,第二行均为执行本方法后的跟踪效果;通过跟踪效果图的对比,可以很明显地看出,通过执行本发明的基于深度梯度的目标跟踪方法,进一步提高了跟踪的准确性和可靠性。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于深度梯度的目标跟踪方法,其特征在于,所述方法包括:
(1)获取待跟踪视频序列,包括RGB图像序列以及对应的深度图像序列;
(2)对视频序列的第一帧进行标定,选取待跟踪的目标,给出目标位置所处的最小矩形框;
(3)将步骤(2)中最小矩形框所选矩形区域设定为正样本,其余非所选矩形区域为负样本,针对所述正样本提取RGB图像的方向梯度直方图HOG特征,训练支持向量机SVDD分类器;
(4)根据步骤(1)中获取的所述深度图像序列,得到第k幅深度图像第i行第j列的深度梯度信息gk(i,j)为:
gk(i,j)=dk(i-1,j-1)-dk(i,j)
其中,dk(i,j)为深度图像序列中第k幅深度图像第i行第j列的深度值;
(5)针对当前帧进行目标检测:对当前帧在上一帧中最小矩形框1倍尺度范围内进行基于RGB图像的HOG特征多尺度目标检测,得到对应的检测结果;
(6)针对当前帧进行目标跟踪:根据步骤(4)得到的深度梯度信息gk(i,j),通过深度梯度流方法进行目标跟踪,得到对应的跟踪结果;
(7)根据步骤(5)和(6)中分别得到的检测结果和跟踪结果,得到当前帧的目标可信度集合C;
(8)在目标可信度集合C中选取最大目标可信度Cmax,并根据选取的最大目标可信度Cmax进一步获取候选目标框矩阵bbd中对应的元素继而,得到最终目标框bbmax为:
bb m a x = C m a x C m a x + C d e bb d i + C d e C m a x + C d e bb d e ;
(9)判断当前帧的最大目标可信度Cmax是否大于第二阈值θ1,如果C>θ1,则认为跟踪结果正确,返回当前帧最终目标框bbmax,同时以目标框bbmax为正样本更新分类器模型;如果θ2<C<θ1,其中θ2为第三阈值,返回当前最终目标框bbmax,则保持分类器模型不变,;如果C<θ2,则返回无跟踪目标;
(10)对下一帧图像重复步骤(5)-(9)。
2.如权利要求1所述的方法,其特征在于,所述检测结果包括所有可信度大于第一阈值的候选目标框矩阵bbd及其对应的可信度矩阵Cd,其中,所述第一阈值为通过实验整定选取。
3.如权利要求1所述的方法,其特征在于,所述跟踪结果包括跟踪目标框bbde及将其作为支持向量机SVDD分类器输入而进一步得到的目标框可信度cde
4.如权利要求1-3任一项所述的方法,其特征在于,所述当前帧的目标可信度集合C为:
C=Cd+αcder(bbde,bbd)
其中,r(bbde,bbd)为候选目标框矩阵bbd中任一元素和跟踪目标框bbde的尺度重合率,α为重合系数。
5.一种基于深度梯度的目标跟踪系统,其特征在于,所述系统包括:
获取单元,用于获取待跟踪视频序列,包括RGB图像序列以及对应的深度图像序列;
标定单元,用于对视频序列的第一帧进行标定,选取待跟踪的目标,给出目标位置所处的最小矩形框;
提取单元,用于将最小矩形框所选矩形区域设定为正样本,其余非所选矩形区域为负样本,针对所述正样本提取RGB图像的方向梯度直方图HOG特征,训练支持向量机SVDD分类器;
深度梯度信息估计单元,用于根据获取的所述深度图像序列,得到第k幅深度图像第i行第j列的深度梯度信息gk(i,j)为:
gk(i,j)=dk(i-1,j-1)-dk(i,j)
其中,dk(i,j)为深度图像序列中第k幅深度图像第i行第j列的深度值;
目标检测单元,用于对当前帧在上一帧中最小矩形框1倍尺度范围内进行基于RGB图像的HOG特征多尺度目标检测,得到对应的检测结果;
目标跟踪单元,用于根据深度梯度信息gk(i,j),通过深度梯度流方法进行目标跟踪,得到对应的跟踪结果;
目标可信度集合估计单元,用于根据所述检测结果和所述跟踪结果,得到当前帧的目标可信度集合C;
目标框估计单元,用于在目标可信度集合C中选取最大目标可信度Cmax,并根据选取的最大目标可信度Cmax进一步获取候选目标框矩阵bbd中对应的元素继而,得到最终目标框bbmax为:
bb m a x = C m a x C m a x + C d e bb d i + C d e C m a x + C d e bb d e ;
判断单元,用于判断当前帧的最大目标可信度Cmax是否大于第二阈值θ1,如果C>θ1,则认为跟踪结果正确,返回当前帧最终目标框bbmax,同时以最终目标框bbmax为正样本更新分类器模型;如果θ2<C<θ1,其中θ2为第三阈值,返回当前最终目标框bbmax,则保持分类器模型不变,;如果C<θ2,则返回无跟踪目标。
6.如权利要求5所述的系统,其特征在于,所述检测结果包括所有可信度大于第一阈值的候选目标框矩阵bbd及其对应的可信度矩阵Cd,其中,所述第一阈值为通过实验整定选取。
7.如权利要求5所述的系统,其特征在于,所述跟踪结果包括跟踪目标框bbde及将其作为支持向量机SVDD分类器输入而进一步得到的目标框可信度cde
8.如权利要求5-7任一项所述的系统,其特征在于,所述当前帧的目标可信度集合C为:
C=Cd+αcder(bbde,bbd)
其中,r(bbde,bbd)为候选目标框矩阵bbd中任一元素和跟踪目标框bbde的尺度重合率,α为重合系数。
CN201510822670.6A 2015-11-23 2015-11-23 一种基于深度梯度的目标跟踪方法与系统 Expired - Fee Related CN105488811B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510822670.6A CN105488811B (zh) 2015-11-23 2015-11-23 一种基于深度梯度的目标跟踪方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510822670.6A CN105488811B (zh) 2015-11-23 2015-11-23 一种基于深度梯度的目标跟踪方法与系统

Publications (2)

Publication Number Publication Date
CN105488811A true CN105488811A (zh) 2016-04-13
CN105488811B CN105488811B (zh) 2018-06-12

Family

ID=55675777

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510822670.6A Expired - Fee Related CN105488811B (zh) 2015-11-23 2015-11-23 一种基于深度梯度的目标跟踪方法与系统

Country Status (1)

Country Link
CN (1) CN105488811B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106951899A (zh) * 2017-02-24 2017-07-14 李刚毅 基于图像识别的异常检测方法
CN107424171A (zh) * 2017-07-21 2017-12-01 华中科技大学 一种基于分块的抗遮挡目标跟踪方法
WO2018082331A1 (zh) * 2016-11-07 2018-05-11 深圳光启合众科技有限公司 图像处理方法和装置、机器人
CN108038837A (zh) * 2017-12-08 2018-05-15 苏州科达科技股份有限公司 视频中目标检测方法及系统
CN108509921A (zh) * 2018-04-04 2018-09-07 百度在线网络技术(北京)有限公司 用于生成信息的方法和装置
CN109284664A (zh) * 2017-07-20 2019-01-29 大陆汽车有限责任公司 驾驶员辅助系统和护栏检测方法
CN111340847A (zh) * 2020-02-25 2020-06-26 杭州涂鸦信息技术有限公司 视频中人形跟踪方法以及人形跟踪系统和存储介质
CN111627046A (zh) * 2020-05-15 2020-09-04 北京百度网讯科技有限公司 目标部位跟踪方法、装置、电子设备和可读存储介质
CN112561958A (zh) * 2020-12-04 2021-03-26 武汉华中天经通视科技有限公司 一种相关滤波图像跟踪丢失判定方法
CN113255612A (zh) * 2021-07-05 2021-08-13 智道网联科技(北京)有限公司 前车起步提醒方法及系统、电子设备和存储介质
CN113570626A (zh) * 2021-09-27 2021-10-29 腾讯科技(深圳)有限公司 图像裁剪方法、装置、计算机设备及存储介质
CN114821677A (zh) * 2022-06-29 2022-07-29 珠海视熙科技有限公司 一种人体检测方法、装置、存储介质及客流统计相机

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101141633A (zh) * 2007-08-28 2008-03-12 湖南大学 一种复杂场景中的运动目标检测与跟踪方法
US20090324013A1 (en) * 2008-06-27 2009-12-31 Fujifilm Corporation Image processing apparatus and image processing method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101141633A (zh) * 2007-08-28 2008-03-12 湖南大学 一种复杂场景中的运动目标检测与跟踪方法
US20090324013A1 (en) * 2008-06-27 2009-12-31 Fujifilm Corporation Image processing apparatus and image processing method

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YANG QUAN: "An Improved Gesture Tracking Algorithm Based On Depth Image Information", 《INTERNATIONAL CONFERENCE ON ADVANCED COMPUTER SCIENCE AND ELECTRONICS INFORMATION》 *
王洪智等: "基于均值漂移和区域生长的手势跟踪算法", 《华中科技大学学报(自然科学版)》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018082331A1 (zh) * 2016-11-07 2018-05-11 深圳光启合众科技有限公司 图像处理方法和装置、机器人
CN108062773A (zh) * 2016-11-07 2018-05-22 深圳光启合众科技有限公司 图像处理方法和装置、机器人
CN106951899A (zh) * 2017-02-24 2017-07-14 李刚毅 基于图像识别的异常检测方法
CN109284664A (zh) * 2017-07-20 2019-01-29 大陆汽车有限责任公司 驾驶员辅助系统和护栏检测方法
CN109284664B (zh) * 2017-07-20 2023-10-27 大陆智行德国有限公司 驾驶员辅助系统和护栏检测方法
CN107424171A (zh) * 2017-07-21 2017-12-01 华中科技大学 一种基于分块的抗遮挡目标跟踪方法
CN107424171B (zh) * 2017-07-21 2020-01-03 华中科技大学 一种基于分块的抗遮挡目标跟踪方法
CN108038837B (zh) * 2017-12-08 2020-09-29 苏州科达科技股份有限公司 视频中目标检测方法及系统
CN108038837A (zh) * 2017-12-08 2018-05-15 苏州科达科技股份有限公司 视频中目标检测方法及系统
CN108509921A (zh) * 2018-04-04 2018-09-07 百度在线网络技术(北京)有限公司 用于生成信息的方法和装置
CN111340847A (zh) * 2020-02-25 2020-06-26 杭州涂鸦信息技术有限公司 视频中人形跟踪方法以及人形跟踪系统和存储介质
CN111627046A (zh) * 2020-05-15 2020-09-04 北京百度网讯科技有限公司 目标部位跟踪方法、装置、电子设备和可读存储介质
CN112561958A (zh) * 2020-12-04 2021-03-26 武汉华中天经通视科技有限公司 一种相关滤波图像跟踪丢失判定方法
CN112561958B (zh) * 2020-12-04 2023-04-18 武汉华中天经通视科技有限公司 一种相关滤波图像跟踪丢失判定方法
CN113255612A (zh) * 2021-07-05 2021-08-13 智道网联科技(北京)有限公司 前车起步提醒方法及系统、电子设备和存储介质
CN113570626A (zh) * 2021-09-27 2021-10-29 腾讯科技(深圳)有限公司 图像裁剪方法、装置、计算机设备及存储介质
CN113570626B (zh) * 2021-09-27 2022-01-07 腾讯科技(深圳)有限公司 图像裁剪方法、装置、计算机设备及存储介质
CN114821677A (zh) * 2022-06-29 2022-07-29 珠海视熙科技有限公司 一种人体检测方法、装置、存储介质及客流统计相机

Also Published As

Publication number Publication date
CN105488811B (zh) 2018-06-12

Similar Documents

Publication Publication Date Title
CN105488811A (zh) 一种基于深度梯度的目标跟踪方法与系统
CN110175576B (zh) 一种结合激光点云数据的行驶车辆视觉检测方法
Zhou et al. Efficient road detection and tracking for unmanned aerial vehicle
CN113506317B (zh) 一种基于Mask R-CNN和表观特征融合的多目标跟踪方法
CN103077521B (zh) 一种用于视频监控的感兴趣区域提取方法
KR101569919B1 (ko) 차량의 위치 추정 장치 및 방법
CN105046206B (zh) 基于视频中运动先验信息的行人检测方法及装置
CN107452015B (zh) 一种具有重检测机制的目标跟踪系统
CN105261037A (zh) 一种自适应复杂场景的运动目标检测方法
CN112488061B (zh) 一种联合ads-b信息的多航空器检测与跟踪方法
AU2021255130B2 (en) Artificial intelligence and computer vision powered driving-performance assessment
CN112801074A (zh) 一种基于交通摄像头的深度图估计方法
CN104537688A (zh) 一种基于背景差分和hog特征的运动目标检测方法
CN106446785A (zh) 基于双目视觉的可行道路检测方法
Aeschliman et al. Tracking vehicles through shadows and occlusions in wide-area aerial video
CN105046721A (zh) 基于Grabcut及LBP跟踪质心矫正模型的Camshift算法
CN111161309A (zh) 一种车载视频动态目标的搜索与定位方法
CN113077494A (zh) 一种基于车辆轨迹的路面障碍物智能识别设备
Rasib et al. Pixel level segmentation based drivable road region detection and steering angle estimation method for autonomous driving on unstructured roads
Dornaika et al. A new framework for stereo sensor pose through road segmentation and registration
Guo et al. Visibility detection approach to road scene foggy images
CN109658441A (zh) 基于深度信息的前景检测方法及装置
CN103473789A (zh) 一种融合多线索的人体视频分割方法
CN108846363A (zh) 一种基于发散式扫描的分区域车底阴影检测方法
KR20090093119A (ko) 움직이는 객체 추적을 위한 다중 정보의 융합 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180612

Termination date: 20181123