CN106096516A - 一种三维目标跟踪的方法及装置 - Google Patents

Abstract

本发明涉及一种三维目标跟踪的方法及装置，所述三维目标跟踪的方法包括以下步骤：获取动态视频中的一帧待跟踪目标图像的三维点云图，根据所述三维点云图获取所述待跟踪目标图像的二值化三维特征点；获取待跟踪目标图像的边缘特征点，根据所述边缘特征点及所述二值化三维特征点生成显著图；获取所述显著图中特征点的特征值，根据所述特征值对所述动态视频中后续的图像帧进行均值漂移MeanShift目标跟踪。本发明能够使得计算的数据量大大减少，计算复杂度大幅降低，在数据处理过程中只需要占用较小的存储空间和使用较少的计算机资源，便于高效运算，利于三维目标识别算法的实时化。

Description

一种三维目标跟踪的方法及装置

技术领域

本发明涉及机器视觉技术领域，尤其涉及一种三维目标跟踪的方法及装置。

背景技术

三维目标识别的目的是在三维场景中正确地识别目标并确定目标的位置与姿态。三维目标识别相比于基于二维图像的目标识别技术有着独特的优势：1、包含更多的深度信息；2、特征提取受尺度、旋转和光照的影响小；3、对目标姿态的估计更精确。

现有三维目标识别方法中通常是使用一行浮点数向量表征三维局部表面的特征，并且特征向量维度普遍较高。因此，使用该种方法来进行特征匹配时计算量大，对设备计算性能有较高要求，算法应用场景受限，且识别过程耗时长，不利于三维目标识别的实时化。

发明内容

本发明所要解决的技术问题是提供一种三维目标跟踪的方法及装置。

本发明解决上述技术问题的技术方案如下：一种三维目标跟踪的方法，所述三维目标跟踪的方法包括以下步骤：

S1，获取动态视频中的一帧待跟踪目标图像的三维点云图，根据所述三维点云图获取所述待跟踪目标图像的二值化三维特征点；

S2，获取待跟踪目标图像的边缘特征点，根据所述边缘特征点及所述二值化三维特征点生成显著图；

S3，获取所述显著图中特征点的特征值，根据所述特征值对所述动态视频中后续的图像帧进行均值漂移MeanShift目标跟踪。

本发明的有益效果是：在三维目标跟踪中，待跟踪目标用二值化三维特征点来表征，即以二值位串表示，同时，将边缘特征点及二值化三维特征点结合进行均值漂移MeanShift目标跟踪，能够使得计算的数据量大大减少，计算复杂度大幅降低，在数据处理过程中只需要占用较小的存储空间和使用较少的计算机资源，便于高效运算，利于三维目标识别算法的实时化。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，还包括：

S4，当进行均值漂移MeanShift目标跟踪至设定帧数时，以所述设定帧数对应的图像帧作为所述待跟踪目标图像并循环。

采用上述进一步方案的有益效果是更换待跟踪目标图像能够提高跟踪的准确性，同时能够更好地跟踪目标，避免目标的丢失。

进一步，所述步骤S1包括：

S11，获取动态视频中的待跟踪目标图像的三维点云图，计算所述三维点云图的网格分辨率；

S12，根据所述网格分辨率进行均匀采样，获取网格特征点；

S13，根据所述网格特征点构建投影参考系；

S14，根据所述投影参考系将所述网格特征点分别投影至三维空间对应的三个平面上；

S15，将投影后每一平面上的网格特征点进行二值化，获取所述三个平面上二值化后的特征点，得到所述二值化三维特征点。

采用上述进一步方案的有益效果是三维点云图经均匀采样及构建投影参考系后，三维网格特征点投影至二维平面上，再进行二值化，这样三维点云图的数据转变为二值位串，使得计算的数据量大大减少，计算复杂度大幅降低。

进一步，所述步骤S13包括：

获取所述网格特征点中的给定特征点及支持半径，根据所述给定特征点及所述支持半径构建协方差矩阵；

对所述协方差矩阵进行特征值分解；

对所述特征值分解中的正交矩阵进行符号消歧，以消歧后的正交矩阵中的分量的方向作为所述投影参考系在三维方向上对应的投影方向。

采用上述进一步方案的有益效果是通过构建协方差矩阵来确定投影参考系在三维方向上对应的投影方向，为后续实现对三维目标的准确跟踪提供了良好的基础。

进一步，所述步骤S3包括：

获取所述显著图中特征点的特征值，根据所述特征值建立第一概率分布函数；

建立所述动态视频中后续的每一图像帧的对应的第二概率分布函数，通过计算根据所述第一概率分布函数及所述第二概率分布函数的相似度进行目标跟踪。

本发明解决上述技术问题的技术方案还如下：一种三维目标跟踪的装置，所述三维目标跟踪的装置包括：

获取模块，用于获取动态视频中的一帧待跟踪目标图像的三维点云图，根据所述三维点云图获取所述待跟踪目标图像的二值化三维特征点；

生成模块，用于获取待跟踪目标图像的边缘特征点，根据所述边缘特征点及所述二值化三维特征点生成显著图；

跟踪模块，用于获取所述显著图中特征点的特征值，根据所述特征值对所述动态视频中后续的图像帧进行均值漂移MeanShift目标跟踪。

进一步，还包括：

更新模块，用于当进行均值漂移MeanShift目标跟踪至设定帧数时，以所述设定帧数对应的图像帧作为所述待跟踪目标图像并循环

进一步，所述获取模块包括：

计算单元，用于获取动态视频中的待跟踪目标图像的三维点云图，计算所述三维点云图的网格分辨率；

采样单元，用于根据所述网格分辨率进行均匀采样，获取网格特征点；

构建单元，用于根据所述网格特征点构建投影参考系；

投影单元，用于根据所述投影参考系将所述网格特征点分别投影至三维空间对应的三个平面上；

二值化单元，用于将投影后每一平面上的网格特征点进行二值化，获取所述三个平面上二值化后的特征点，得到所述二值化三维特征点。

进一步，所述构建单元具体用于获取所述网格特征点中的给定特征点及支持半径，根据所述给定特征点及所述支持半径构建协方差矩阵；对所述协方差矩阵进行特征值分解；对所述特征值分解中的正交矩阵进行符号消歧，以消歧后的正交矩阵中的分量的方向作为所述投影参考系在三维方向上对应的投影方向。

进一步，所述跟踪模块具体用于获取所述显著图中特征点的特征值，根据所述特征值建立第一概率分布函数；建立所述动态视频中后续的每一图像帧的对应的第二概率分布函数，通过计算所述第一概率分布函数及所述第二概率分布函数的相似度进行目标跟踪。

附图说明

图1为本发明三维目标跟踪的方法第一实施例的流程示意图；

图2为本发明三维目标跟踪的方法第二实施例的流程示意图；

图3为图1所示步骤S1的流程示意图；

图4为本发明三维目标跟踪的装置第一实施例的结构示意图；

图5为本发明三维目标跟踪的装置第二实施例的结构示意图；

图6为图4所示获取模块的结构示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，图1是本发明一种三维目标跟踪的方法第一实施例的流程示意图，该三维目标跟踪的方法包括：

步骤S1，获取动态视频中的一帧待跟踪目标图像的三维点云图，根据所述三维点云图获取所述待跟踪目标图像的二值化三维特征点；

本实施例中，三维点云图表示图像的3D扫描的原始数据点群，可以从空间不同角度旋转观看，能够显示原始数据的初貌，三维点云图的数据量很大。

本实施例中，目标跟踪可以分为静态背景下的目标跟踪及动态背景下的目标跟踪，本实施例适用于静态背景下的目标跟踪及动态背景下的目标跟踪。在摄像头取得动态视频时，取出其中的一帧图像，然后在该帧图像中选出待跟踪目标。

在三维点云图中，在三维方向上取其中的一些数据点，这些数据点能够代表待跟踪目标的特征，例如可以是包括待跟踪目标的轮廓点或者边缘点的数据点等，取这些数据点能够使得处理数据大大变少，处理速度变快。在取出这些数据点后，将这些数据点进行二值化，进行二值化后的数据点的灰度只有0和1两个值，这样更进一步使得处理数据大大变少。

步骤S2，获取待跟踪目标图像的边缘特征点，根据所述边缘特征点及所述二值化三维特征点生成显著图；

边缘特征点能够勾划出目标物体的轮廓，是图像的重要属性之一。本实施例中，可以利用现有技术手段获取待跟踪目标图像的边缘特征点，当然，也可以采用其他的手段。

在获取跟踪目标图像的边缘特征点后，将边缘特征点及二值化三维特征点结合，合成三维视觉显著图，以该显著图作为跟踪的匹配模板。

步骤S3，获取所述显著图中特征点的特征值，根据所述特征值对所述动态视频中后续的图像帧进行均值漂移MeanShift目标跟踪。

均值漂移MeanShift算法是一种半自动化跟踪算法。基于均值漂移的目标跟踪算法通过分别计算目标区域和候选区域内像素的特征值概率得到关于目标模型和候选模型的描述，然后利用相似函数度量初始帧目标模型和当前帧的候选模版的相似性，选择使相似函数最大的候选模型并得到关于目标模型的Meanshift向量，这个向量正是目标由初始位置向正确位置移动的向量。由于均值漂移算法的快速收敛性，通过不断迭代计算Meanshift向量，算法最终将收敛到目标的真实位置，达到跟踪的目的。

本实施例中，在生成三维视觉显著图后，以显著图中的特征点的像素作为待跟踪目标图像的特征像素，建立均值漂移MeanShift的目标模型，同时，对动态视频中后续的每一帧图像建立均值漂移MeanShift的候选目标模型，将候选目标模型与目标模型进行匹配来实现目标跟踪。

本实施例在三维目标跟踪中，待跟踪目标用二值化三维特征点来表征，即以二值位串表示，同时，将边缘特征点及二值化三维特征点结合进行均值漂移MeanShift目标跟踪，能够使得计算的数据量大大减少，计算复杂度大幅降低，在数据处理过程中只需要占用较小的存储空间和使用较少的计算机资源，便于高效运算，利于三维目标识别算法的实时化。

在一优选的实施例中，如图2所示，在上述图1的实施例的基础上，本实施例还包括以下步骤：

步骤S4，当进行均值漂移MeanShift目标跟踪至设定帧数时，以所述设定帧数对应的图像帧作为所述待跟踪目标图像并循环。

本实施例中，可以设定跟踪的图像的帧数，例如设定为10帧或者20帧。由于考虑到跟踪目标有可能在外形和/或形态等上发生变化，因此在跟踪至设定帧数的图像后，需要对待跟踪目标图像进行更换，即以设定帧数对应的图像帧作为上述步骤S1中的待跟踪目标图像，获取该待跟踪目标图像的点云图并执行步骤S1至步骤S3，以此方式循环。

本实施例中，更换待跟踪目标图像能够提高跟踪的准确性，同时能够更好地跟踪目标，避免目标的丢失。

在一优选的实施例中，如图3所示，在上述图1的实施例的基础上，上述步骤S1包括：

S11，获取动态视频中的待跟踪目标图像的三维点云图，计算所述三维点云图的网格分辨率；

S12，根据所述网格分辨率进行均匀采样，获取网格特征点；

S13，根据所述网格特征点构建投影参考系；

S14，根据所述投影参考系将所述网格特征点分别投影至三维空间对应的三个平面上；

S15，将投影后每一平面上的网格特征点进行二值化，获取所述三个平面上二值化后的特征点，得到所述二值化三维特征点。

网格分辨率是均匀采样的基准，首先对三维点云图的网格中所有的边长求平均值，该平均值即为该三维点云图的网格分辨率。假设三维点云图用图Q表示，三维点云图中的所有边E＝{e1，e2，…，eN}，则三维点云图的网格分辨率可定义为：

$R=\frac{1}{N}{\mathrm{\Σ}}_{i=1}^N\left|e_i\right|,$

其中，|ei|表示边ei的长度。

在计算三维点云图的网格分辨率后，可根据网格分辨率进行均匀采样：将点云Q均匀分割成边长为n·R的立方体网格。假设第i个立体网格里含有k个顶点Pi1，Pi2，…，Pik，对这k个顶点的x，y，z坐标分别求均值，即得到该立体网格Pi(即网格特征点)的坐标：

$P_i=\frac{1}{k}{\mathrm{\Σ}}_{n=1}^k{P}_{ik},$

其中，采样顶点数k大于等于预定数量τ的立体网格作为网格特征点，对于顶点数k小于预定数量τ的立体网格，则该立体网格不作为网格特征点。

在采样完成后，建立网格特征点构建投影参考系，构建投影参考系的目的是投影的前提，投影参考系构建后，可以确定三维的网格特征点从哪个角度或方向投影至二维的平面上。

在投影时，以给定特征点P为原点，r为支持半径，按照给定特征点P及支持半径r在上述采样后的网格特征点中截得局部点云Q’。将Q’分别向xy，yz，xz三个二维坐标平面投影得到三个二维的投影后的点云Q₁’，Q₂’，Q₃’，对点云Q₁’，Q₂’，Q₃’分别作l×l的分块并统计每个子块中的网格特征点的数目。根据子块中的网格特征点数分别构造l×l的方阵D1，D2，D3。

然后，分别对方阵D1，D2，D3进行二值化：随机选取方阵D1中2u个元素，按先后顺序，每两个元素一组，构建u组测试对。对于第i组测试对执行以下测试：

$T\left(i\right)=\left\{\begin{array}{cc}1,& ifD\left(i\right)\≥D{\left(i\right)}^{\′}\\ 0,& others\end{array}\right.,$

其中，D(i)，D(i)’分别是第i组测试对的第一个元素和第二个元素。对u组测试对执行相同的测试，可确定一行唯一的u维二值位串：

f₁＝∑_1≤i≤u2^i-1T(i)，

同理，对方阵D2，D3选择与方阵D1元素位置相同的测试序列，可以分别确定二值位串f2，f3，最后可得到特征点的二值化三维特征点fp＝{f1，f2，f3}。

本实施例的三维点云图经均匀采样及构建投影参考系后，三维网格特征点投影至二维平面上，再进行二值化，这样三维点云图的数据转变为二值位串，使得计算的数据量大大减少，计算复杂度大幅降低。

在一优选的实施例中，在上述图3的实施例的基础上，上述步骤S13包括：

获取所述网格特征点中的给定特征点及支持半径，根据所述给定特征点及所述支持半径构建协方差矩阵；

对所述协方差矩阵进行特征值分解；

对所述特征值分解中的正交矩阵进行符号消歧，以消歧后的正交矩阵中的分量的方向作为所述投影参考系在三维方向上对应的投影方向。

本实施例中，可以利用上述的给定特征点P及支持半径r构建协方差矩阵，即根据给定特征点P和所有在支持半径r内点之间的空间位置关系可以构建协方差矩阵C：

$C=\frac{1}{{\mathrm{\Σ}}_{i:d_i\≤r}(r-d_i)}{\mathrm{\Σ}}_{i:d_i\≤r}(r-d_i){\mathrm{MM}}^T,$

其中，di＝|P –Pi|表示点Pi到点P的距离，M＝Pi–P表示从点Pi指向点P的向量。

然后，对协方差矩阵C作特征值分解：

CV＝EV，

其中，E为对角矩阵，E＝{λ1，λ2，λ3}，λ1、λ2及λ3为特征值且λ1≥λ2≥λ3，V为正交矩阵，V＝{v1，v2，v3}，v1、v2及v3为λ1，λ2，λ3对应的正交特征向量，且为x，y，z轴的坐标基。

对特征值分解中的正交矩阵V进行符号消歧，以消歧后的正交矩阵中的分量的方向作为投影参考系在三维方向上对应的投影方向，为了消除向量v1、v2及v3符号的不确定性，必须使它们的方向与局部表面上点到特征点向量的主体方向保持一致。符号消歧过程为：给定特征点P，在给定特征点P所在的局部表面上选取离其最近的m(m为奇数)个点。若(Pi–P)·v1≥0且i＞m/2，则保持向量v1符号不变，反之，则向量v1变为-v1，至此，确定了x轴的方向。以类似方法可以确定向量v3的符号，即z轴的方向。y轴的方向可以由z×x来确定。由此，投影参考系在三维方向上x，y，z对应的投影方向可以确定。

本实施例通过构建协方差矩阵来确定投影参考系在三维方向上对应的投影方向，为后续实现对三维目标的准确跟踪提供了良好的基础。

在一优选的实施例中，在上述图1的实施例的基础上，上述步骤S3包括：

获取所述显著图中特征点的特征值，根据所述特征值建立第一概率分布函数；

建立所述动态视频中后续的每一图像帧的对应的第二概率分布函数，通过计算根据所述第一概率分布函数及所述第二概率分布函数的相似度进行目标跟踪。

本实施例中，首先获取显著图中特征点的特征值，为选中的待跟踪目标建立第一概率分布函数，第一概率分布函数为：

${\hat{q}}_u=C\underset{i=1}{\overset{n}{\Σ}}k\left(\right|\left|\frac{x_i-x_0}{h}\right|{|}^2)\mathrm{\δ}\[b\left(x_i\right)-u\],u=1,...,m,$

其中，k为核函数，m为特征空间中特征值的个数，δ为Kronecker函数，b(x_i)为像素x_i对应的特征值，C为归一化系数，h为核函数的带宽，x₁,x₂,...,x_n为核函数所包含采样点，x₀为目标中心。核函数也叫窗口函数，在核估计中起到平滑的作用。

动态视频中后续的某一帧图像的对应的第二概率分布函数为：

${\hat{p}}_u=C_h\underset{i=1}{\overset{n_k}{\Σ}}k\left(\right|\left|\frac{x_i-y}{h}\right|{|}^2)\mathrm{\δ}\[b\left(x_i\right)-u\],$

然后，计算第一概率分布函数与第二概率分布函数的相似度：即寻找最优的y，使得与最相似。与的相似度用Bhattacharyya系数来度量，即：

$\mathrm{\ρ}\left(y\right)=\underset{u=1}{\overset{m}{\Σ}}\sqrt{{\hat{p}}_u\left(y\right){\hat{q}}_u},$

当相似度最大时，得到关于第一概率分布函数的Meanshift向量，该Meanshift向量是待跟踪目标由初始位置向正确位置移动的向量。分别计算第一概率分布函数与动态视频中后续的其他帧图像的概率分布函数的相似度，得到对应的Meanshift向量。

在均值漂移MeanShift目标跟踪中，目标位置搜索的过程是均值漂移的迭代过程，待跟踪目标新的位置为：

${\hat{y}}_1=\frac{\underset{i=1}{\overset{n}{\Σ}}{x}_i{w}_{i}g\left(\right|\left|\frac{{\hat{y}}_0-x_i}{h}\right|{|}^2)}{\underset{i=1}{\overset{n}{\Σ}}{w}_{i}g\left(\right|\left|\frac{{\hat{y}}_{0-}{x}_i}{h}\right|{|}^2)},$

式中为待跟踪目标新的中心位置，其中：

$w_i=\underset{u=1}{\overset{m}{\Σ}}\sqrt{\frac{{\hat{q}}_u}{{\hat{p}}_u\left({\hat{y}}_0\right)}\mathrm{\δ}\[b\left(x_i\right)-u\]}.$

通过不断地迭代计算待跟踪目标新的位置，直至Bhattacharyya系数最大即定位为待跟踪目标最终中心位置，停止迭代。

如图4所示，图4是本发明一种三维目标跟踪的装置的第一实施例的结构示意图，该三维目标跟踪的装置包括：

获取模块，用于获取动态视频中的一帧待跟踪目标图像的三维点云图，根据所述三维点云图获取所述待跟踪目标图像的二值化三维特征点；

本实施例中，三维点云图表示图像的3D扫描的原始数据点群，可以从空间不同角度旋转观看，能够显示原始数据的初貌，三维点云图的数据量很大。

本实施例中，目标跟踪可以分为静态背景下的目标跟踪及动态背景下的目标跟踪，本实施例适用于静态背景下的目标跟踪及动态背景下的目标跟踪。在摄像头取得动态视频时，取出其中的一帧图像，然后在该帧图像中选出待跟踪目标。

在三维点云图中，在三维方向上取其中的一些数据点，这些数据点能够代表待跟踪目标的特征，例如可以是包括待跟踪目标的轮廓点或者边缘点的数据点等，取这些数据点能够使得处理数据大大变少，处理速度变快。在取出这些数据点后，将这些数据点进行二值化，进行二值化后的数据点的灰度只有0和1两个值，这样更进一步使得处理数据大大变少。

生成模块，用于获取待跟踪目标图像的边缘特征点，根据所述边缘特征点及所述二值化三维特征点生成显著图；

边缘特征点能够勾划出目标物体的轮廓，是图像的重要属性之一。本实施例中，可以利用现有技术手段获取待跟踪目标图像的边缘特征点，当然，也可以采用其他的手段。

在获取跟踪目标图像的边缘特征点后，将边缘特征点及二值化三维特征点结合，合成三维视觉显著图，以该显著图作为跟踪的匹配模板。

跟踪模块，用于获取所述显著图中特征点的特征值，根据所述特征值对所述动态视频中后续的图像帧进行均值漂移MeanShift目标跟踪。

均值漂移MeanShift算法是一种半自动化跟踪算法。基于均值漂移的目标跟踪算法通过分别计算目标区域和候选区域内像素的特征值概率得到关于目标模型和候选模型的描述，然后利用相似函数度量初始帧目标模型和当前帧的候选模版的相似性，选择使相似函数最大的候选模型并得到关于目标模型的Meanshift向量，这个向量正是目标由初始位置向正确位置移动的向量。由于均值漂移算法的快速收敛性，通过不断迭代计算Meanshift向量，算法最终将收敛到目标的真实位置，达到跟踪的目的。

本实施例中，在生成三维视觉显著图后，以显著图中的特征点的像素作为待跟踪目标图像的特征像素，建立均值漂移MeanShift的目标模型，同时，对动态视频中后续的每一帧图像建立均值漂移MeanShift的候选目标模型，将候选目标模型与目标模型进行匹配来实现目标跟踪。

在一优选的实施例中，如图5所示，在本发明一种三维目标跟踪的装置的第二实施例中还包括：

更新模块，用于当进行均值漂移MeanShift目标跟踪至设定帧数时，以所述设定帧数对应的图像帧作为所述待跟踪目标图像并循环。

本实施例中，可以设定跟踪的图像的帧数，例如设定为10帧或者20帧。由于考虑到跟踪目标有可能在外形和/或形态等上发生变化，因此在跟踪至设定帧数的图像后，需要对待跟踪目标图像进行更换，即以设定帧数对应的图像帧作为上述获取模块中的待跟踪目标图像，依次触发获取模块、生成模块及跟踪模块执行相关的过程，以此方式循环。

本实施例中，更换待跟踪目标图像能够提高跟踪的准确性，同时能够更好地跟踪目标，避免目标的丢失。

在一优选的实施例中，如图6所示，上述的获取模块包括：

计算单元，用于获取动态视频中的待跟踪目标图像的三维点云图，计算所述三维点云图的网格分辨率；

采样单元，用于根据所述网格分辨率进行均匀采样，获取网格特征点；

构建单元，用于根据所述网格特征点构建投影参考系；

投影单元，用于根据所述投影参考系将所述网格特征点分别投影至三维空间对应的三个平面上；

二值化单元，用于将投影后每一平面上的网格特征点进行二值化，获取所述三个平面上二值化后的特征点，得到所述二值化三维特征点。

网格分辨率是均匀采样的基准，首先对三维点云图的网格中所有的边长求平均值，该平均值即为该三维点云图的网格分辨率。假设三维点云图用图Q表示，三维点云图中的所有边E＝{e1，e2，…，eN}，则三维点云图的网格分辨率可定义为：

$R=\frac{1}{N}{\mathrm{\Σ}}_{i=1}^N\left|e_i\right|,$

其中，|ei|表示边ei的长度。

在计算三维点云图的网格分辨率后，可根据网格分辨率进行均匀采样：将点云Q均匀分割成边长为n·R的立方体网格。假设第i个立体网格里含有k个顶点Pi1，Pi2，…，Pik，对这k个顶点的x，y，z坐标分别求均值，即得到该立体网格Pi(即网格特征点)的坐标：

$P_i=\frac{1}{k}{\mathrm{\Σ}}_{n=1}^k{P}_{ik},$

其中，采样顶点数k大于等于预定数量τ的立体网格作为网格特征点，对于顶点数k小于预定数量τ的立体网格，则该立体网格不作为网格特征点。

在采样完成后，建立网格特征点构建投影参考系，构建投影参考系的目的是投影的前提，投影参考系构建后，可以确定三维的网格特征点从哪个角度或方向投影至二维的平面上。

在投影时，以给定特征点P为原点，r为支持半径，按照给定特征点P及支持半径r在上述采样后的网格特征点中截得局部点云Q’。将Q’分别向xy，yz，xz三个二维坐标平面投影得到三个二维的投影后的点云Q₁’，Q₂’，Q₃’，对点云Q₁’，Q₂’，Q₃’分别作l×l的分块并统计每个子块中的网格特征点的数目。根据子块中的网格特征点数分别构造l×l的方阵D1，D2，D3。

然后，分别对方阵D1，D2，D3进行二值化：随机选取方阵D1中2u个元素，按先后顺序，每两个元素一组，构建u组测试对。对于第i组测试对执行以下测试：

$T\left(i\right)=\left\{\begin{array}{cc}1,& ifD\left(i\right)\≥D{\left(i\right)}^{\′}\\ 0,& others\end{array}\right.,$

其中，D(i)，D(i)’分别是第i组测试对的第一个元素和第二个元素。对u组测试对执行相同的测试，可确定一行唯一的u维二值位串：

f₁＝∑_1≤i≤u2^i-1T(i)，

同理，对方阵D2，D3选择与方阵D1元素位置相同的测试序列，可以分别确定二值位串f2，f3，最后可得到特征点的二值化三维特征点fp＝{f1，f2，f3}。

本实施例的三维点云图经均匀采样及构建投影参考系后，三维网格特征点投影至二维平面上，再进行二值化，这样三维点云图的数据转变为二值位串，使得计算的数据量大大减少，计算复杂度大幅降低。

在一优选的实施例中，上述的构建单元具体用于获取所述网格特征点中的给定特征点及支持半径，根据所述给定特征点及所述支持半径构建协方差矩阵；对所述协方差矩阵进行特征值分解；对所述特征值分解中的正交矩阵进行符号消歧，以消歧后的正交矩阵中的分量的方向作为所述投影参考系在三维方向上对应的投影方向。

本实施例中，可以利用上述的给定特征点P及支持半径r构建协方差矩阵，即根据给定特征点P和所有在支持半径r内点之间的空间位置关系可以构建协方差矩阵C：

$C=\frac{1}{{\mathrm{\Σ}}_{i:d_i\≤r}(r-d_i)}{\mathrm{\Σ}}_{i:d_i\≤r}(r-d_i){\mathrm{MM}}^T,$

其中，di＝|P –Pi|表示点Pi到点P的距离，M＝Pi–P表示从点Pi指向点P的向量。

然后，对协方差矩阵C作特征值分解：

CV＝EV，

其中，E为对角矩阵，E＝{λ1，λ2，λ3}，λ1、λ2及λ3为特征值且λ1≥λ2≥λ3，V为正交矩阵，V＝{v1，v2，v3}，v1、v2及v3为λ1，λ2，λ3对应的正交特征向量，且为x，y，z轴的坐标基。

对特征值分解中的正交矩阵V进行符号消歧，以消歧后的正交矩阵中的分量的方向作为投影参考系在三维方向上对应的投影方向，为了消除向量v1、v2及v3符号的不确定性，必须使它们的方向与局部表面上点到特征点向量的主体方向保持一致。符号消歧过程为：给定特征点P，在给定特征点P所在的局部表面上选取离其最近的m(m为奇数)个点。若(Pi–P)·v1≥0且i＞m/2，则保持向量v1符号不变，反之，则向量v1变为-v1，至此，确定了x轴的方向。以类似方法可以确定向量v3的符号，即z轴的方向。y轴的方向可以由z×x来确定。由此，投影参考系在三维方向上x，y，z对应的投影方向可以确定。

本实施例通过构建协方差矩阵来确定投影参考系在三维方向上对应的投影方向，为后续实现对三维目标的准确跟踪提供了良好的基础。

在一优选的实施例中，上述跟踪模块具体用于获取所述显著图中特征点的特征值，根据所述特征值建立第一概率分布函数；建立所述动态视频中后续的每一图像帧的对应的第二概率分布函数，通过计算所述第一概率分布函数及所述第二概率分布函数的相似度进行目标跟踪。

本实施例中，首先获取显著图中特征点的特征值，为选中的待跟踪目标建立第一概率分布函数，第一概率分布函数为：

${\hat{q}}_u=C\underset{i=1}{\overset{n}{\Σ}}k\left(\right|\left|\frac{x_i-x_0}{h}\right|{|}^2)\mathrm{\δ}\[b\left(x_i\right)-u\],u=1,...,m,$

其中，k为核函数，m为特征空间中特征值的个数，δ为Kronecker函数，b(x_i)为像素x_i对应的特征值，C为归一化系数，h为核函数的带宽，x₁,x₂,...,x_n为核函数所包含采样点，x₀为目标中心。核函数也叫窗口函数，在核估计中起到平滑的作用。

动态视频中后续的某一帧图像的对应的第二概率分布函数为：

${\hat{p}}_u=C_h\underset{i=1}{\overset{n_k}{\Σ}}k\left(\right|\left|\frac{x_i-y}{h}\right|{|}^2)\mathrm{\δ}\[b\left(x_i\right)-u\],$

然后，计算第一概率分布函数与第二概率分布函数的相似度：即寻找最优的y，使得与最相似。与的相似度用Bhattacharyya系数来度量，即：

$\mathrm{\ρ}\left(y\right)=\underset{u=1}{\overset{m}{\Σ}}\sqrt{{\hat{p}}_u\left(y\right){\hat{q}}_u},$

当相似度最大时，得到关于第一概率分布函数的Meanshift向量，该Meanshift向量是待跟踪目标由初始位置向正确位置移动的向量。分别计算第一概率分布函数与动态视频中后续的其他帧图像的概率分布函数的相似度，得到对应的Meanshift向量。

在均值漂移MeanShift目标跟踪中，目标位置搜索的过程是均值漂移的迭代过程，待跟踪目标新的位置为：

${\hat{y}}_1=\frac{\underset{i=1}{\overset{n}{\Σ}}{x}_i{w}_{i}g\left(\right|\left|\frac{{\hat{y}}_0-x_i}{h}\right|{|}^2)}{\underset{i=1}{\overset{n}{\Σ}}{w}_{i}g\left(\right|\left|\frac{{\hat{y}}_{0-}{x}_i}{h}\right|{|}^2)},$

式中为待跟踪目标新的中心位置，其中：

$w_i=\underset{u=1}{\overset{m}{\Σ}}\sqrt{\frac{{\hat{q}}_u}{{\hat{p}}_u\left({\hat{y}}_0\right)}\mathrm{\δ}\[b\left(x_i\right)-u\]}.$

通过不断地迭代计算待跟踪目标新的位置，直至Bhattacharyya系数最大即定位为待跟踪目标最终中心位置，停止迭代。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种三维目标跟踪的方法，其特征在于，所述三维目标跟踪的方法包括以下步骤：

S1，获取动态视频中的一帧待跟踪目标图像的三维点云图，根据所述三维点云图获取所述待跟踪目标图像的二值化三维特征点；

S2，获取待跟踪目标图像的边缘特征点，根据所述边缘特征点及所述二值化三维特征点生成显著图；

S3，获取所述显著图中特征点的特征值，根据所述特征值对所述动态视频中后续的图像帧进行均值漂移MeanShift目标跟踪。

2.根据权利要求1所述一种三维目标跟踪的方法，其特征在于，还包括：

S4，当进行均值漂移MeanShift目标跟踪至设定帧数时，以所述设定帧数对应的图像帧作为所述待跟踪目标图像并循环。

3.根据权利要求1或2所述一种三维目标跟踪的方法，其特征在于，所述步骤S1包括：

S11，获取动态视频中的待跟踪目标图像的三维点云图，计算所述三维点云图的网格分辨率；

S12，根据所述网格分辨率进行均匀采样，获取网格特征点；

S13，根据所述网格特征点构建投影参考系；

S14，根据所述投影参考系将所述网格特征点分别投影至三维空间对应的三个平面上；

S15，将投影后每一平面上的网格特征点进行二值化，获取所述三个平面上二值化后的特征点，得到所述二值化三维特征点。

4.根据权利要求3所述一种三维目标跟踪的方法，其特征在于，所述步骤S13包括：

获取所述网格特征点中的给定特征点及支持半径，根据所述给定特征点及所述支持半径构建协方差矩阵；

对所述协方差矩阵进行特征值分解；

对所述特征值分解中的正交矩阵进行符号消歧，以消歧后的正交矩阵中的分量的方向作为所述投影参考系在三维方向上对应的投影方向。

5.根据权利要求3任一项所述一种三维目标跟踪的方法，其特征在于，所述步骤S3包括：

获取所述显著图中特征点的特征值，根据所述特征值建立第一概率分布函数；

建立所述动态视频中后续的每一图像帧的对应的第二概率分布函数，通过计算根据所述第一概率分布函数及所述第二概率分布函数的相似度进行目标跟踪。

6.一种三维目标跟踪的装置，其特征在于，所述三维目标跟踪的装置包括：

获取模块，用于获取动态视频中的一帧待跟踪目标图像的三维点云图，根据所述三维点云图获取所述待跟踪目标图像的二值化三维特征点；

生成模块，用于获取待跟踪目标图像的边缘特征点，根据所述边缘特征点及所述二值化三维特征点生成显著图；

跟踪模块，用于获取所述显著图中特征点的特征值，根据所述特征值对所述动态视频中后续的图像帧进行均值漂移MeanShift目标跟踪。

7.根据权利要求6所述一种三维目标跟踪的装置，其特征在于，还包括：

更新模块，用于当进行均值漂移MeanShift目标跟踪至设定帧数时，以所述设定帧数对应的图像帧作为所述待跟踪目标图像并循环。

8.根据权利要求6或7所述一种三维目标跟踪的装置，其特征在于，所述获取模块包括：

计算单元，用于获取动态视频中的待跟踪目标图像的三维点云图，计算所述三维点云图的网格分辨率；

采样单元，用于根据所述网格分辨率进行均匀采样，获取网格特征点；

构建单元，用于根据所述网格特征点构建投影参考系；

投影单元，用于根据所述投影参考系将所述网格特征点分别投影至三维空间对应的三个平面上；

二值化单元，用于将投影后每一平面上的网格特征点进行二值化，获取所述三个平面上二值化后的特征点，得到所述二值化三维特征点。

9.根据权利要求8所述一种三维目标跟踪的装置，其特征在于，所述构建单元具体用于获取所述网格特征点中的给定特征点及支持半径，根据所述给定特征点及所述支持半径构建协方差矩阵；对所述协方差矩阵进行特征值分解；对所述特征值分解中的正交矩阵进行符号消歧，以消歧后的正交矩阵中的分量的方向作为所述投影参考系在三维方向上对应的投影方向。

10.根据权利要求8所述一种三维目标跟踪的装置，其特征在于，所述跟踪模块具体用于获取所述显著图中特征点的特征值，根据所述特征值建立第一概率分布函数；建立所述动态视频中后续的每一图像帧的对应的第二概率分布函数，通过计算所述第一概率分布函数及所述第二概率分布函数的相似度进行目标跟踪。