CN104881884A - 一种基于视觉量子的目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于视觉量子的目标跟踪方法，属于计算机视觉技术领域。该方法首先在目标区域内自上而下均匀分布视觉量子，计算并统计视觉量子内部信息熵分布的极大值所对应的灰度阶，计算视觉量子的熵基和量子频率，然后将目标边缘区域的视觉量子移动至平衡状态，并计算视觉量子的频率积分，最后以达到量子平衡状态且频率积分相等的视觉量子的位置信息作为目标跟踪结果。本发明方法抓住了运动目标前景与背景交界处具有的量子频率不变性的特点，将频率不变特征采用多个视觉量子进行描述，可以有效克服遮挡、形状与尺度变化等因素对运动目标跟踪的影响，失跟率较低，同时由于视觉量子计算过程简单，计算复杂度和空间复杂度较低，跟踪实时性较高。

Description

一种基于视觉量子的目标跟踪方法

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于视觉量子的目标跟踪方法。

背景技术

运动目标跟踪作为目前国内外计算机视觉领域的研究热点之一，经过50余年的研究发展，已经取得了较大的成绩。它是一种利用计算机与摄像机模仿“生物视觉系统”对感兴趣目标进行分析、识别、跟踪及测量的技术，具有无接触、隐蔽性强、精准性高的技术优点。目标跟踪应用广泛，在仿生机器人、无人驾驶汽车、智能视频监控等自动感知领域具有重要的研究和应用价值。

目标跟踪技术的研究主要有两大方向，一种是建立在运动信息分析基础之上的跟踪方法，另一种是基于模型分析的目标跟踪方法。利用运动信息分析研究目标跟踪的方法较多，已形成了众多的算法和标准，基于运动分析的目标跟踪方法，原理简单，实现较为方便，但是对于遮挡目标的前景与背景信息难以进行区分，容易粘连和失跟。另一种基于模型的目标跟踪方法可以克服局部遮挡信息的干扰，是目前计算机视觉领域内的主流方法，但是在目标发生形变与尺度变化时，不能进行稳定跟踪。

现有目标跟踪方法的普遍弱点是缺少与遮挡、形状与尺度变化的运动目标相适应的能力，当目标发生遮挡、形状与尺度变化时，现有跟踪方法因无法适应目标变化，容易丢失目标，如果现有跟踪方法能在变化的运动目标当中，提炼出不变的特征，将对克服遮挡、形状与尺度变化等因素对目标跟踪的影响起到不可限量的作用。

发明内容

针对现有技术存在的问题，本发明提供一种基于视觉量子的目标跟踪方法。

本发明的技术方案为：

一种基于视觉量子的目标跟踪方法，包括如下步骤：

步骤1：目标初始化：在待跟踪目标图像中选定目标区域；

步骤2：针对目标区域，采用辐射视觉量子的方法生成目标区域的视觉场空间；进一步地，在待跟踪目标图像中是利用矩形框选定目标区域。更进一步地通过自上而下的方式，向目标区域辐射视觉量子，形成视觉场空间；

则所述的视觉场空间为由α×β个视觉采样单元组成的二维图像感光空间，记为其中VFS为视觉场空间，下标t代表时间，V_α,β代表视觉场空间中的视觉采样单元；将视觉场空间中包含目标背景信息的视觉采样单元、包含前景信息的视觉采样单元以及包含背景与前景交界处信息的视觉采样单元均定义为视觉量子；则下标α,β代表视觉量子在视觉场空间中的矩阵位置是α行β列，α和β均为从1开始的自然数，即1≤α＜+∞，1≤β＜+∞；

步骤3：量子频率计算；

步骤3.1：计算并统计视觉量子内前景信息熵分布的极大值所对应的灰度阶A^F以及背景信息熵分布的极大值所对应的的灰度阶A^B；

步骤3.2：统计灰度阶A^B|F的分布概率ρ_κ|λ，进而计算视觉量子VQ的熵基EE^B|F；

在视觉场空间VFS中，对于任意视觉量子VQ，存在其前景信息熵ζ^F的概率分布和背景信息熵ζ^B的概率分布，将信息熵与灰度能量的乘积定义为视觉量子VQ的熵基EE，记为 ${\mathrm{EE}}^{B|F}=E(x,y)\underset{\mathrm{\κ}=1|\mathrm{\λ}=1}{\overset{\mathrm{\κ}|\mathrm{\λ}}{\Σ}}{\left({\mathrm{\ζ}}_{\mathrm{\κ}|\mathrm{\λ}}^{B|F}\right)}^2,$ 其中信息熵 ${\mathrm{\ζ}}_{\mathrm{\κ}|\mathrm{\λ}}^{B|F}=A^{B|F}{\mathrm{\ρ}}_{\mathrm{\κ}|\mathrm{\λ}}{\log }_2{\mathrm{\ρ}}_{\mathrm{\κ}|\mathrm{\λ}};$ 上标B|F代表背景B或前景F，进一步地EE^B|F代表视觉量子VQ的背景熵基EE^B或前景熵基EE^F，A^B|F代表A^F或A^B；下标κ|λ代表κ或λ，κ、λ分别为VQ内ρ_κ|λ概率分布所对应的熵的数量；ρ_κ|λ代表ρ_κ或ρ_λ，表示A^B|F出现的概率；背景信息熵前景信息熵σ、τ分别为视觉量子VQ内背景区域熵的数量与前景区域熵的数量；E(x,y)代表灰度能量，为视觉量子内所有像素的灰度值的平方和，即E(x,y)＝ΣG(x,y)²，x、y为视觉量子内部像素点坐标，G(x,y)为像素(x,y)的灰度值；

步骤3.3：对熵基EE^B|F进行二维核变换，得到视觉量子VQ的量子频率QF，并对量子频率QF的变换系数进行归一化处理；

量子频率QF记为P^B|F(u,v,t)＝EE^B|Fκλ/4π²uvt[e^{j2πt(uλ/κ+vκ/λ)}+e^j2πtuλ/κ+e^j2πtvκ/λ+1]，其中，P^B|F代表背景量子频率P^B或前景量子频率P^F，e^{j2π(ux/κ+vy/λ)t}为二维变换核，e^{j2πt(uλ/κ+vκ/λ)}+e^j2πtuλ/κ+e^j2πtvκ/λ+1称为量子频率变换核的组合，EE^B|Fκλ/4π²uvt为变换系数；

步骤4：量子平衡跟踪；

步骤4.1：计算量子频率的二阶偏导，进而确定目标边缘区域；

通过计算量子频率QF的二阶偏导，得到目标边缘区域，记为：

步骤4.2：保留目标边缘区域的视觉量子，删除其他区域的视觉量子；

步骤4.3：建立以视觉量子几何中心ο(X,Y)为起点、以目标边缘区域几何中心ο'(X',Y')为终点的向量

目标边缘区域几何中心坐标ο'(X',Y')中目标边缘区域的像素点数量为n，x_i、y_i为的像素点坐标，1≤i≤n；

步骤4.4：沿向量将视觉量子移动至量子平衡状态；

将视觉量子沿向量移动，使视觉量子几何中心ο(X,Y)与目标边缘区域几何中心ο'(X',Y')重合，此时视觉量子达到平衡状态；

步骤5：计算视觉量子的频率积分；

视觉量子的频率积分表达式为其中Δt为相邻两帧图像的时间间隔，p^F∩p^B为目标前景量子频率与目标背景量子频率相交的频率范围；

步骤6：输出跟踪结果：当视觉量子达到量子平衡状态且频率积分相等时，将视觉量子的位置信息作为目标跟踪结果进行输出。

有益效果：本发明的基于视觉量子的目标跟踪方法与现有技术相比较具有以下优势：

1.抓住了运动目标前景与背景交界处具有的频率不变性的特点，将频率不变性采用多个视觉量子进行描述，可以有效克服遮挡、形状与尺度变化等因素对运动目标跟踪的影响，失跟率较低；

2.相对于现有技术，视觉量子计算过程简单，不需要存储目标多种姿态模型，计算复杂度和空间复杂度较低，跟踪实时性较高。

附图说明

图1为本发明一种实施方式的基于视觉量子的目标跟踪方法流程图；

图2为本发明一种实施方式的目标初始化时获得的目标区域示意图；

图3为本发明一种实施方式的视觉场空间示意图；

图4为本发明一种实施方式的熵基函数波形示意图；

图5(a)为本发明一种实施方式的视觉量子未达到平衡状态的示意图；图5(b)为本发明一种实施方式的视觉量子沿向量移动到平衡状态的示意图；

图6为本发明一种实施方式的基于视觉量子的目标跟踪方法的获得的目标跟踪效果示意图。

具体实施方式

下面结合附图对本发明的具体实施方式做详细说明。

本实施方式的基于视觉量子的目标跟踪方法，如图1所示，包括以下步骤：

步骤1：目标初始化：在待跟踪目标图像中利用矩形框选定目标区域，如图2所示，图中黑色矩形框的区域为选定的目标区域；

步骤2：生成视觉场空间：在目标区域内，自上而下均匀分布视觉量子VQ_α,β(X,Y,D,P,T)，形成视觉场空间视觉场空间如图3所示，将视觉场空间中包含目标背景信息的视觉采样单元、包含前景信息的视觉采样单元以及包含背景与前景交界处信息的视觉采样单元均定义为视觉量子，记为VQ_α,β(X,Y,D,P,T)，其中，X、Y为视觉量子几何中心坐标，D为视觉量子的直径，P为视觉量子的量子频率，T为时间，即视频序列中的某个时刻；下标α,β代表视觉量子在视觉场空间中的矩阵位置是α行β列；为表达方便，将视觉场空间中包含目标背景信息的视觉采样单元称为背景视觉量子、将包含前景信息的视觉采样单元称为前景视觉量子以及将包含背景与前景交界处信息的视觉采样单元称为缘视觉量子；如图3中黑色圆表示的是背景视觉量子，灰色圆表示的是边缘视觉量子，白色圆表示的是前景视觉量子；

步骤3：量子频率计算；

步骤3.1：计算并统计视觉量子内前景信息熵分布的极大值所对应的灰度阶A^F以及背景信息熵分布的极大值所对应的的灰度阶A^B；

步骤3.2：统计灰度阶A^B|F的分布概率ρ_κ|λ，进而计算视觉量子VQ的熵基EE^B|F；方法为：

首先统计灰度阶A^B|F的出现概率ρ_κ|λ；然后计算前景/背景信息熵再然后统计视觉量子内部像素点(x,y)的灰度值G(x,y)，进而计算灰度能量E(x,y)＝ΣG(x,y)²；最后计算视觉量子VQ的熵基图4为图3中第15行、16列视觉量子的熵基函数波形，图中纵坐标为熵基，横坐标为熵的数量，函数振幅表明视觉量子中边缘信息变化的剧烈程度；

步骤3.3：对熵基EE^B|F进行二维核变换，得到视觉量子VQ的量子频率QF，并将量子频率QF的变换系数进行归一化处理，以滤除系统噪音和杂波干扰；

量子频率QF记为 $P^{B|F}(u,v,t)={\∫}_0^{\mathrm{\κ}}{\∫}_0^{\mathrm{\λ}}{\∫}_0^t{\mathrm{EE}}^{B|F}{e}^{j2\mathrm{\π}(ux/\mathrm{\κ}+vy/\mathrm{\λ})t}dxdydt,$ 化简后得P^B|F(u,v,t)＝EE^B|Fκλ/4π²uvt[e^{j2πt(uλ/κ+vκ/λ)}+e^j2πtuλ/κ+e^j2πtvκ/λ+1]；本实施方式是利用对量子频率QF的变换系数进行归一化处理，来滤除系统噪音和杂波干扰。

步骤4：量子平衡跟踪；

步骤4.1：计算量子频率的二阶偏导，进而确定目标边缘区域

通过计算量子频率QF的二阶偏导，得到目标边缘区域记为：其中， $\frac{\∂p}{\∂\stackrel{\→}{T}}=\frac{\∂p}{\∂u}cos\mathrm{\θ}+\frac{\∂p}{\∂v}sin\mathrm{\θ},$ 为量子频率QF相邻极值间的向量，进而目标边缘区域可表示为：令θ分别取值0、

步骤4.2：保留目标边缘区域的视觉量子，删除其他区域的视觉量子；

步骤4.3：建立以视觉量子几何中心ο(X,Y)为起点、以目标边缘区域几何中心ο'(X',Y')为终点的向量

目标边缘区域几何中心坐标ο'(X',Y')中目标边缘区域的像素点数量为n，x_i、y_i为的像素点坐标，1≤i≤n；

步骤4.4：沿向量将视觉量子移动至量子平衡状态；

如图5(a)所示,将视觉量子沿向量移动，使视觉量子几何中心ο(X,Y)与目标边缘区域几何中心ο'(X',Y')重合，如图5(b)所示，从而使视觉量子达到量子平衡状态，将此状态定义为量子平衡QB，QB{P^F＝P^B，ο'(X',Y')＝ο(X,Y)}；图5(a)和图5(b)中灰色圆为边缘区域的视觉量子，F为目标前景图像，B为目标背景图像，白色直线为目标边缘区域，ο为视觉量子几何中心，ο'为目标边缘区域几何中心，为以ο为起点、ο'为终点的向量，图5(a)为视觉量子未达到平衡状态示意图，图5(b)为视觉量子沿向量移动并达到平衡状态示意图；

步骤5：计算视觉量子的频率积分；

视觉量子的频率积分表达式为其中Δt为相邻两帧图像的时间间隔，p^F∩p^B为目标前景量子频率与目标背景量子频率相交的频率范围；

计算其中，Δt为相邻两帧图像的时间间隔，P^F、P^B分别为t时刻前景量子频率和背景量子频率，分别为为t+1时刻前景量子频率和背景量子频率，P^F∩P^B、为目标前景量子频率与背景量子频率相交的频率范围，当Δt→0时，视频采集帧率FPS→+∞，此时，相邻时刻t与t+1的量子频率且即将这种性质称为量子频率不变性，量子频率不变性是指当连续帧间的时间间隔趋于零时，任一相邻时刻状态下的目标边缘区域的量子频率对微小的时间t的积分相等；

在目标运动过程中，由于其量子频率积分保持不变，当目标发生遮挡、形状与尺度变化时，可通过比对视觉量子的频率积分，重新跟踪丢失多目标，因此，基于视觉量子的目标跟踪方法对于目标遮挡、形状与尺度变化具有很好的抗干扰能力，可以实现对目标的稳定跟踪。

步骤6：输出跟踪结果：当视觉量子达到量子平衡状态且频率积分相等时，将视觉量子的位置信息作为目标跟踪结果进行输出，本发明的跟踪效果如图6所示，图中两幅图像分别为t时刻和t+1时刻达到平衡状态且频率积分相等时的视觉量子的位置信息。

本发明的基于视觉量子的目标跟踪方法可应用于变结构目标跟踪，本发明方法在IBM多目标遮挡数据库上进行具体实施。IBM多目标遮挡数据库是IBM人类视觉研究中心监视系统性能评价提供的视频，主要针对人员与车辆的运动目标检测与跟踪,现在主要进行以像素和目标为单位的统计评估并提供在线监控与跟踪算法的性能评估服务。通过在IBM多目标遮挡数据库上进行实例测试，视觉量子目标跟踪方法相较于基于运动信息分析的目标跟踪方法，在遮挡目标跟踪中，具有较高的跟踪性能，虚警概率平均测试结果为0.037，跟踪准确率平均为0.912，预测错误率平均为0.13，处理速度平均为75帧/秒。

同时，通过在Benchmark视频数据库上进行实例测试，本发明视觉量子的目标跟踪方法相较于基于模型的目标跟踪方法，在形状与尺度变化条件下进行运动目标跟踪，具有较好的跟踪效果，在Benchmark评估测试中的平均跟踪准确率为92.5％，视频处理速度平均为73帧/秒。

Claims (6)

1.一种基于视觉量子的目标跟踪方法，其特征在于：包括如下步骤：

步骤1：目标初始化：在待跟踪目标图像中选定目标区域；

步骤2：针对目标区域，采用辐射视觉量子的方法生成目标区域的视觉场空间；

所述的视觉场空间为由α×β个视觉采样单元组成的二维图像感光空间，记为其中VFS为视觉场空间，下标t代表时间，V_α,β代表视觉场空间中的视觉采样单元；将视觉场空间中包含目标背景信息的视觉采样单元、包含前景信息的视觉采样单元以及包含背景与前景交界处信息的视觉采样单元均定义为视觉量子；则下标α,β代表视觉量子在视觉场空间中的矩阵位置是α行β列，α和β均为从1开始的自然数，即1≤α＜+∞，1≤β＜+∞；

步骤3：量子频率计算；

步骤4：量子平衡跟踪；

步骤5：计算视觉量子的频率积分；

步骤6：输出跟踪结果：当视觉量子达到量子平衡状态且频率积分相等时，将视觉量子的位置信息作为目标跟踪结果进行输出。

2.根据权利要求1所述的基于视觉量子的目标跟踪方法，其特征在于：所述步骤1的目标初始化中，在待跟踪目标图像中是利用矩形框选定目标区域。

3.根据权利要求1所述的基于视觉量子的目标跟踪方法，其特征在于：所述步骤2中，是通过自上而下的方式，向目标区域均匀辐射视觉量子，形成视觉场空间。

4.根据权利要求1所述的基于视觉量子的目标跟踪方法，其特征在于：所述步骤3包括如下具体步骤：

步骤3.1：计算并统计视觉量子内前景信息熵分布的极大值所对应的灰度阶A^F以及背景信息熵分布的极大值所对应的的灰度阶A^B；

步骤3.2：统计灰度阶A^B|F的分布概率ρ_κ|λ，进而计算视觉量子VQ的熵基EE^B|F；

在视觉场空间VFS中，对于任意视觉量子VQ，存在其前景信息熵ζ^F的概率分布和背景信息熵ζ^B的概率分布，将信息熵与灰度能量的乘积定义为视觉量子VQ的熵基EE，记为 ${\mathrm{EE}}^{B|F}=E(x,y)\underset{\mathrm{\κ}=1|\mathrm{\λ}=1}{\overset{\mathrm{\κ}|\mathrm{\λ}}{\Σ}}{\left({\mathrm{\ζ}}_{\mathrm{\κ}|\mathrm{\λ}}^{B|F}\right)}^2,$ 其中信息熵 ${\mathrm{\ζ}}_{\mathrm{\κ}|\mathrm{\λ}}^{B|F}=A^{B/F}{\mathrm{\ρ}}_{\mathrm{\κ}|\mathrm{\λ}}{\log }_2{\mathrm{\ρ}}_{\mathrm{\κ}|\mathrm{\λ}};$ 上标B|F代表背景B或前景F，进一步地EE^B|F代表视觉量子VQ的背景熵基EE^B或前景熵基EE^F，A^B|F代表A^F或A^B；下标κ|λ代表κ或λ，κ、λ分别为VQ内ρ_κ|λ概率分布所对应的熵的数量；ρ_κ|λ代表ρ_κ或ρ_λ，表示A^B|F出现的概率；背景信息熵前景信息熵σ、τ分别为视觉量子VQ内背景区域熵的数量与前景区域熵的数量；E(x,y)代表灰度能量，为视觉量子内所有像素的灰度值的平方和，即E(x,y)＝ΣG(x,y)²，x、y为视觉量子内部像素点坐标，G(x,y)为像素(x,y)的灰度值；

步骤3.3：对熵基EE^B|F进行二维核变换，得到视觉量子VQ的量子频率QF，并对量子频率QF的变换系数进行归一化处理；

量子频率QF记为P^B|F(u,v,t)＝EE^B|Fκλ/4π²uvt[e^{j2πt(uλ/κ+vκ/λ)}+e^j2πtuλ/κ+e^j2πtvκ/λ+1]，其中，P^B|F代表背景量子频率P^B或前景量子频率P^F，e^{j2π(ux/κ+vy/λ)t}为二维变换核，e^{j2πt(uλ/κ+vκ/λ)}+e^j2πtuλ/κ+e^j2πtvκ/λ+1称为量子频率变换核的组合，EE^B|Fκλ/4π²uvt为变换系数。

5.根据权利要求1所述的基于视觉量子的目标跟踪方法，其特征在于：所述步骤4包括如下具体步骤：

步骤4.1：计算量子频率的二阶偏导，进而确定目标边缘区域；

通过计算量子频率QF的二阶偏导，得到目标边缘区域，记为：

步骤4.2：保留目标边缘区域的视觉量子，删除其他区域的视觉量子；

步骤4.3：建立以视觉量子几何中心ο(X,Y)为起点、以目标边缘区域几何中心ο'(X',Y')为终点的向量

目标边缘区域几何中心坐标ο'(X',Y')中目标边缘区域的像素点数量为n，x_i、y_i为的像素点坐标，1≤i≤n；

步骤4.4：沿向量将视觉量子移动至量子平衡状态；

将视觉量子沿向量移动，使视觉量子几何中心ο(X,Y)与目标边缘区域几何中心ο'(X',Y')重合，此时视觉量子达到平衡状态。

6.根据权利要求1所述的基于视觉量子的目标跟踪方法，其特征在于：所述的步骤5中，视觉量子的频率积分表达式为其中Δt为相邻两帧图像的时间间隔，p^F∩p^B为目标前景量子频率与目标背景量子频率相交的频率范围。