CN109146920B - 一种可嵌入式实现的目标跟踪方法 - Google Patents

Abstract

本发明涉及一种可嵌入式实现的目标跟踪方法，首先对视频的初始帧，利用鼠标框选出待跟踪的目标，然后提取第一帧图象的特征点和特征点描述符加以保存；之后对视频的后续帧主要做三部分工作，检测当前帧的特征点与初始帧的前景和背景特征点进行匹配，匹配时利用拉普拉斯约束当前帧的目标中心的可能位置，排除大量背景特征点，再利用前向‑后向光流跟踪算法跟踪得到当前帧的特征点，对这两部分的特征点加以融合得到初步特征点；然后利用当前帧特征点评估出目标相对于初始帧的旋转角度和尺度变化，并进行投票聚类得出新的目标中心和目标框。可以应用在实时性要求较高和计算资源有限的嵌入式系统中实现目标跟踪。

Description

一种可嵌入式实现的目标跟踪方法

技术领域

本发明属于实时目标跟踪技术，涉及一种可嵌入式实现的目标跟踪方法，利用一定的约束对待跟踪目标进行预测，发明成果可用于各类军事或民用的目标跟踪系统中。

背景技术

随着人工智能时代的到来，计算机视觉作为人工智能应用的主要领域，已在学术界和工业界得到的极大地关注。视频信息动态目标跟踪是计算机视觉领域一个非常经典而且很有挑战的一个热点研究方向，是研究场景语义理解，行为识别，人机交互等更深层次任务的基础，对探索人工智能的发展具有重要的前瞻性意义。

计算机运算性能的快速提升和高分辨率摄像技术的快速进步，极大的加速了目标跟踪领域的发展。近几年来，随着便携设备的普及，许多移动摄像设备出现在生活中，其产生的视频信息，如果能够进行处理，将会提高人们的工作效率。并且固定摄像的模式下，视频不能对运动目标进行连续监控，监控范围也有限。在摄像机移动的情况下，摄像机的移动导致背景不再静止，因此目标跟踪的难度也大大的更加。静态背景下常用的视频目标跟踪经典算法已经不再适用。基于视觉的目标检测和目标跟踪技术交叉了计算机、物理学、数学、心理学和图像处理等相关学科的各种知识，被广泛的应用于军事和民用的领域中。因此，研究动态背景下目标跟踪的算法研究具有更重要意义。目前的前沿目标跟踪算法主要集中在核相关滤波和深度学习领域，但是这两种算法对计算机的性能要求较高，同时难以实现实时性，无法应用于有限资源的嵌入式操作系统。近年来，一种利用目标特征点附以光流的跟踪方式较为流行，其对系统资源依赖性少，且可实现实时。但是这类方法跟踪精度略低，不能满足实际的跟踪任务。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种可嵌入式实现的目标跟踪方法，提出一种基于特征点且结合拉普拉斯约束的目标跟踪策略，同时提高了目标跟踪的精度和实时性。

技术方案

一种可嵌入式实现的目标跟踪方法，其特征在于步骤如下：

步骤1：在连续的视频序列图像中，以选定待跟踪目标的视频为初始帧，采用ORB方法检测所有前景特征点和背景特征点及其描述符；

256维的特征描述符向量：

所述

则每一个特征点都得到了一个256维的特征点描述符记为：

其中：n为256，p(x)代表x处像素点的灰度值；

步骤2：采用ORB方法对后续的每一帧视频信息的特征点提取和特征点描述符提取，并且与初始帧的特征点描述符进行全局匹配，结果集合为M，同时对初始帧的前景特征点利用光流法得到下一桢的特征点，结果集合记为T：

将这两种特征点进行融合，过程为：

1、计算第t-1帧的目标框的中心C(x,y)，以及目标框的宽度w和高度h，同时设x',y',w',h'为第t帧目标框的中心坐标和尺度，则：

δ为相邻帧轨迹变化参数

得出第t帧的更为精简的特征点集合，记为：

2、采用海明距离计算步骤1初始帧前景特征点与本步骤计算当前帧特征点之间的距离，采用二次最近邻距离判据，得到结果集合为M：

其中d(*)表示特征点描述符之间的海明距离，θ和γ为阈值，其中θ＝0.25，γ＝0.8；

采用Lucas-Kanade光流法对第t-1帧的前景特征点进行其到第t帧的跟踪：

其中，u代表像素点延x轴的速度，v代表像素点延y轴的速度，矩阵A代表n个像素点分别延x轴和y轴的变化，ω为高斯窗口函数，变量为像素点到窗口中心的距离。根据计算出来的光流场可以快速计算出第t帧的特征点位置，结果集合记为T；

3、对全局匹配和光流跟踪得到的两部分前景特征点进行不重复融合，融合后的特征点集合为K：

其中，a_ik为特征点的绝对坐标，m_ik为特征点对的索引；

步骤3、计算尺度和旋转角度：利用步骤2计算的当前帧图象和初始目标模板的前景特征点之间相对位置关系的几何不变性来进行尺度因子s和旋转因子α的计算：

α＝med(D_α)

s＝med(D_s)

步骤4：根据刚性物体目标位置相对不变性，利用当前帧的特征点对当前帧的目标中心进行投票，并且采用层次聚类法得到票数最多的类，确定当前帧目框，过程如下：

h^R(a,m)＝a-s·Rr_m,其中

1、投票函数为

其中a当前特征点的坐标；

2、V^c为票数最多的类，则当前目标中心为：

设c_i为前一帧的目标框的四个顶点，c′_i为当前帧目标框的顶点，i＝1、2、3、4，则

c′_i＝μ+s·Rc_i

3、将为V^c投票的特征点设为最终的当前帧前景特征点，作为下一帧的先验信息。在后续的视频序列中，作为光流跟踪并可以得到第t+1帧的跟踪特征点：

所述采用ORB方法检测所有前景特征点和背景特征点及其描述符是：

(1)首先构造图像尺度空间金字塔pyramid，尺度空间金字塔由n个octaves层c_i和n个intra-octaves层d_i；i＝0,1…n-1构成，n＝4；其中ci是c_i-1进行逐步0.5倍下采样得到，原始图像对应c₀；每一个d_i层位于两个octaves之间，且也是d_i-1进行逐步0.5倍下采样得到；

(2)在金字塔的每一层进行FAST特征点检测，即对于候选像素点p，在以p为圆心，3个像素为半径的离散化圆周上，设定合适的阈值t，如果在这个圆周上的16个像素点，有n个连续的像素点灰度值比I(p)+t都大或者比I(p)+t都小，则说明p为角点，n这里取值为9；其中I(p)为像素点p的灰度值；为加快速度，进行预判断，即先检测P₁，P₉，P₅，P₁₃这四个像素点，如果满足：

则p不是角点，否则继续进行检测；同时采用非极大值抑制来排除不是局部领域内极值的点，设立得分score函数S，定义如下：

其中M＝{x|I(p_x)≥I(p)+t},N＝{x|I(p_x)≤I(p)-t}。若角点p的3×3领域内存在多个角点，则计算score函数，若得分最大，则保留p作为一个角点；

(3)增加FAST特征点的方向特征，采用ORB特征的质心法：

设一个patch的m+n阶矩Q_mn定义为：

Q_mn＝∑x^myⁿI(x,y)

质心K的定义为：

则特征点的方向可以用角点的中心到质心的向量方向θ来表示：

θ＝arctan(Q₀₁,Q₁₀)

(4)构造二进制的ORB特征描述符，对一副高斯平滑后的图象选取大小为l×l的patch，在此区域进行特征描述，其中二值描述符Γ定义为：

其中p(x)代表像素点x出的灰度值；则一个256维的特征描述符向量为：

则每一个特征点都得到了一个256维的特征点描述符。记为：

其中，P₁是静态目标模板，

表示第一帧图像中目标区域的m1个特征点，r_i表示第i个特征点的位置坐标，f_i为第i个特征点的二进制特征描述符。

有益效果

本发明提出的一种可嵌入式实现的目标跟踪方法，基于ORB特征点和拉普拉斯约束的目标跟踪方法。基本思想是：首先对视频的初始帧，利用鼠标框选出待跟踪的目标，然后提取第一帧图象的特征点和特征点描述符加以保存；之后对视频的后续帧主要做三部分工作，检测当前帧的特征点与初始帧的前景和背景特征点进行匹配，匹配时利用拉普拉斯约束当前帧的目标中心的可能位置，排除大量背景特征点，再利用前向-后向光流跟踪算法跟踪得到当前帧的特征点，对这两部分的特征点加以融合得到初步特征点；然后利用当前帧特征点评估出目标相对于初始帧的旋转角度和尺度变化，并进行投票得出新的目标中心和目标框。

本发明在进行全局匹配这一比较耗时的阶段前，利用拉普拉斯对当前帧的目标中心进行预测并且加以约束大量缩减了当前帧的候选特征点数量，使得算法的实时性和准确性进一步提高，可以应用在实时性要求较高和计算资源有限的嵌入式系统中实现目标跟踪。

附图说明

图1是本发明的系统框图；

图2是Car数据库与原算法对比示例

图3是Ball数据库与原算法对比示例

具体实施方式

现结合实施例、附图对本发明作进一步描述：

用于实施的硬件环境是：Lenovo-90CXCTO1WW,4GB RAM，NVIDIA GeForce GT610，运行的软件环境是：ubuntu-16.04.3-amd64。本文做的实验采用OTB50的Car序列和Ball序列同时与原算法进行相同帧时目标中心位置的对比。本实验的参数设置为全局匹配时θ＝0.25，γ＝0.8，聚类时的阈值δ＝20。

本发明具体实施如下：

步骤1、在连续的视频序列图像中，以选定待跟踪目标的视频为初始帧，采用ORB方法检测所有前景特征点和背景特征点及其描述符。

其中

其中，n为256，p(x)代表x处像素点的灰度值。

(1)首先构造图像尺度空间金字塔(pyramid)，尺度空间金字塔由n个octaves层c_i和n个intra-octaves层d_i(i＝0,1…n-1)构成，n＝4。其中c_i是c_i-1进行逐步0.5倍下采样得到，原始图像对应c₀。每一个d_i层位于两个octaves之间，且也是d_i-1进行逐步0.5倍下采样得到。

(2)在金字塔的每一层进行FAST特征点检测，即对于候选像素点p，在以p为圆心，3个像素为半径的离散化圆周上，设定合适的阈值t，如果在这个圆周上的16个像素点，有n个连续的像素点灰度值比I(p)+t都大或者比I(p)+t都小，则可以说明p为角点，n这里取值为9。其中I(p)为像素点p的灰度值。为加快速度，进行预判断，即先检测P₁，P₉，P₅，P₁₃这四个像素点，如果满足：

则p不是角点，否则继续进行检测。同时采用非极大值抑制来排除不是局部领域内极值的点，设立得分score函数S，定义如下：

其中M＝{xI(p_x)≥I(p)+t},N＝{xI(p_x)≤I(p)-t}。若角点p的3×3领域内存在多个角点，则计算score函数，若得分最大，则保留p作为一个角点。

(3)增加FAST特征点的方向特征，采用ORB特征的质心法：

设一个patch的m+n阶矩Q_mn定义为：

Q_mn＝∑x^myⁿI(x,y)

质心K的定义为：

则特征点的方向可以用角点的中心到质心的向量方向θ来表示：

θ＝arctan(Q₀₁,Q₁₀)

(4)构造二进制的ORB特征描述符，对一副高斯平滑后的图象选取大小为l×l的patch，在此区域进行特征描述，其中二值描述符Γ定义为：

其中p(x)代表像素点x出的灰度值。则一个256维的特征描述符向量为：

则每一个特征点都得到了一个256维的特征点描述符。记为：

步骤2、对后续的每一帧视频信息都采用步骤一的特征点提取和特征点描述符提取，并且与初始帧的特征点描述符进行全局匹配，结果集合为M，同时对初始帧的前景特征点利用光流法得到下一桢的特征点，结果集合记为T。融合这两种特征点。

(1)、本发明利用相邻视频帧之间的运动轨迹服从均值为0，尺度为0.2的拉普拉斯分布以及运动尺度变化服从均值为1，尺度为1/15的拉普拉斯分布这两个性质，利用前一帧的目标中心的位置对下一帧的目标中心进行预测，排除大量的FAST特征点，为后续的匹配和跟踪做准备。

(2)、采用海明距离(Hamming Distance)衡量二进制特征点描述符之间的距离，同时在特征点匹配过程中，特征点描述符匹配距离采用二次最近邻距离判据：

其中d(*)表示特征点描述符之间的海明距离，θ和γ为阈值，其中θ＝0.25，γ＝0.8.

(3)、采用Lucas-Kanade光流法对前一帧的前景特征点进行跟踪。

其中，u代表像素点延x轴的速度，v代表像素点延y轴的速度，矩阵A代表n个像素点分别延x轴和y轴的变化，ω为高斯窗口函数，变量为像素点到窗口中心的距离。

(4)、对(2)和(3)得到的两部分前景特征点进行不重复融合。融合后的特征点集合为K：

其中，a_ik为特征点的绝对坐标，m_ik为特征点对的索引。

步骤3、计算尺度和旋转角度。利用当前帧图象和初始目标模板的特征点之间相对位置关系的几何不变性来进行尺度因子s和旋转因子α的计算。

α＝med(D_α)

s＝med(D_s)

步骤4、投票和聚类。利用当前帧的特征点对当前帧的目标中心进行投票，并且采用层次聚类法得到票数最多的类。

(1)、投票函数为h^R(a,m)＝a-s·Rr_m,其中

(2)、V^c为票数最多的类，则当前目标中心为：

设c_i为前一帧的目标框的四个顶点，c′_i为当前帧目标框的顶点，i＝1、2、3、4，则

c′_i＝μ+s·Rc_i

(3)、将为V^c投票的特征点设为最终的当前帧前景特征点，作为下一帧的先验信息。

客观评价结果如表1、表2所示。

表1 Car视频序列跟踪性能参数

表2 Suv视频序列跟踪性能参数

Claims (2)

1.一种可嵌入式实现的目标跟踪方法，其特征在于步骤如下：

步骤1：在连续的视频序列图像中，以选定待跟踪目标的视频为初始帧，采用ORB方法检测所有前景特征点和背景特征点及其描述符；

256维的特征描述符向量：

所述

则每一个特征点都得到了一个256维的特征点描述符记为：

其中：n为256，p(x)代表x处像素点的灰度值；

步骤2：采用ORB方法对后续的每一帧视频信息的特征点提取和特征点描述符提取，并且与初始帧的特征点描述符进行全局匹配，结果集合为M，同时对初始帧的前景特征点利用光流法得到下一桢的特征点，结果集合记为T：

将这两种特征点进行融合，过程为：

1、计算第t-1帧的目标框的中心C(x,y)，以及目标框的宽度w和高度h，同时设x',y',w',h'为第t帧目标框的中心坐标和尺度，则：

δ为相邻帧轨迹变化参数

得出第t帧的更为精简的特征点集合，记为：

2、采用海明距离计算步骤1初始帧前景特征点与本步骤计算当前帧特征点之间的距离，采用二次最近邻距离判据，得到结果集合为M：

其中d(*)表示特征点描述符之间的海明距离，θ和γ为阈值，其中θ＝0.25，γ＝0.8；

采用Lucas-Kanade光流法对第t-1帧的前景特征点进行其到第t帧的跟踪：

其中，u代表像素点延x轴的速度，v代表像素点延y轴的速度，矩阵A代表n个像素点分别延x轴和y轴的变化，ω为高斯窗口函数，变量为像素点到窗口中心的距离；根据计算出来的光流场可以快速计算出第t帧的特征点位置，结果集合记为T；

3、对全局匹配和光流跟踪得到的两部分前景特征点进行不重复融合，融合后的特征点集合为K：

其中，a_ik为特征点的绝对坐标，m_ik为特征点对的索引；

步骤3、计算尺度和旋转角度：利用步骤2计算的当前帧图象和初始目标模板的前景特征点之间相对位置关系的几何不变性来进行尺度因子s和旋转因子α的计算：

α＝med(D_α)

s＝med(D_s)

步骤4：根据刚性物体目标位置相对不变性，利用当前帧的特征点对当前帧的目标中心进行投票，并且采用层次聚类法得到票数最多的类，确定当前帧目框，过程如下：

1、投票函数为h^R(a,m)＝a-s·Rr_m,其中

其中a当前特征点的坐标；

2、V^c为票数最多的类，则当前目标中心为：

设c_i为前一帧的目标框的四个顶点，c′_i为当前帧目标框的顶点，i＝1、2、3、4，则

c′_i＝μ+s·Rc_i

3、将为V^c投票的特征点设为最终的当前帧前景特征点，作为下一帧的先验信息；在后续的视频序列中，作为光流跟踪并可以得到第t+1帧的跟踪特征点：

2.根据权利要求1所述可嵌入式实现的目标跟踪方法，其特征在于：所述采用ORB方法检测所有前景特征点和背景特征点及其描述符是：

(1)首先构造图像尺度空间金字塔pyramid，尺度空间金字塔由n个octaves层c_i和n个intra-octaves层d_i；i＝0,1…n-1构成，n＝4；其中c_i是c_i-1进行逐步0.5倍下采样得到，原始图像对应c₀；每一个d_i层位于两个octaves之间，且也是d_i-1进行逐步0.5倍下采样得到；

(2)在金字塔的每一层进行FAST特征点检测，即对于候选像素点p，在以p为圆心，3个像素为半径的离散化圆周上，设定合适的阈值t，如果在这个圆周上的16个像素点，有n个连续的像素点灰度值比I(p)+t都大或者比I(p)+t都小，则说明p为角点，n这里取值为9；其中I(p)为像素点p的灰度值；为加快速度，进行预判断，即先检测P₁，P₉，P₅，P₁₃这四个像素点，如果满足：

则p不是角点，否则继续进行检测；同时采用非极大值抑制来排除不是局部领域内极值的点，设立得分score函数S，定义如下：

其中M＝{x|I(p_x)≥I(p)+t},N＝{x|I(p_x)≤I(p)-t}；若角点p的3×3领域内存在多个角点，则计算score函数，若得分最大，则保留p作为一个角点；

(3)增加FAST特征点的方向特征，采用ORB特征的质心法：

设一个patch的m+n阶矩Q_mn定义为：

Q_mn＝∑x^myⁿI(x,y)

质心K的定义为：

则特征点的方向可以用角点的中心到质心的向量方向θ来表示：

θ＝arctan(Q₀₁,Q₁₀)

(4)构造二进制的ORB特征描述符，对一副高斯平滑后的图象选取大小为l×l的patch，在此区域进行特征描述，其中二值描述符Γ定义为：

其中p(x)代表像素点x出的灰度值；则一个256维的特征描述符向量为：

则每一个特征点都得到了一个256维的特征点描述符；记为：

其中，P₁是静态目标模板，

表示第一帧图像中目标区域的m1个特征点，r_i表示第i个特征点的位置坐标，f_i为第i个特征点的二进制特征描述符。

Images