CN103914854B - 一种图像序列目标关联及轨迹生成方法 - Google Patents

Abstract

本发明公开一种图像序列目标关联及轨迹生成方法，设计多级关联机制，通过逐级提取目标的多种静态特征和动态特征，以及在不同关联等级形成不同的目标亲和距离模型，从而充分综合目标的多种特征进行数据关联，提高了关联的精确度；同时，基于数据关联结果，在同一图像背景中，逐级将相匹配的目标中心点连接，并不断将所得轨迹片段向两端扩展，最终获得各个目标的完整运动轨迹。本发明通过分级提取目标的多种简单特征，可靠、快速地实现了单摄像机视频中的多目标关联与轨迹生成，且计算量极小。

Description

一种图像序列目标关联及轨迹生成方法

技术领域

本发明涉及视频监控及计算机视觉技术领域，尤其涉及一种图像序列目标关联及轨迹生成方法。

背景技术

目前，视频监控技术在公共安全、智能交通、工业过程等众多监测监控中得到了广泛应用，其中，获取视频图像中的目标轨迹，以便进一步分析目标运动行为，成为了众多研究者关注的焦点。

在通过跟踪的方式获取目标轨迹的过程中，比较著名的均值漂移、粒子滤波、卡尔曼滤波等方法均存在算法复杂、计算量大的问题，因此仅适合于获取单目标轨迹，当将其应用于多目标轨迹获取时会速度变慢，不能满足视频监控的实时性要求。

相对上述算法，数据关联的方法通过提取目标特征，对视频图像中的目标检测结果进行关联匹配，并将最佳匹配结果相连，从而获得目标轨迹。该方法运算简单，计算量较小，但生成的目标轨迹往往不够准确，不能满足视频监控的精确度要求。

发明内容

本发明所要解决的技术问题是基于单摄像机场景中获取多目标轨迹的需求，针对背景技术中的缺陷，提出一种计算量较小、目标轨迹精确度高、图像序列目标关联及轨迹生成方法。

本发明为解决上述技术问题采用以下技术方案：

一种图像序列目标关联及轨迹生成方法，包括下列步骤：

步骤1），对图像序列中的目标进行检测，标出每一帧图像中的目标对象；

步骤2），设置用于过滤低亲和度组合的第一阈值，对于所有相邻图像，将其中一幅图像中的每一个目标与另一幅图像中的各个目标进行组合，得到所有的相邻目标组合后，计算各组合中两个目标中心点的坐标距离值，过滤掉相邻目标组合中距离值大于第一阈值的组合；

步骤3），对过滤后剩余的所有相邻目标组合进行初级关联：

对于每一个相邻目标组合，计算其中两个目标的位置亲和度、大小亲和度以及颜色亲和度，进而计算这两个目标的亲和距离，然后筛选出亲和距离小于预先设定的第二阈值的组合，并将该组合中的两个目标连接在一起，得到只有两个目标节点的初级轨迹碎片；

步骤4），对所得初级轨迹碎片集合以及未被关联的目标集合进行次级关联：

判断每一个初级轨迹碎片两端的相邻帧图像中是否存在未被关联的目标，若存在未被关联的目标，计算所述初级轨迹碎片的方向向量，以及所述初级轨迹碎片与所述目标进行匹配时的匹配向量后，计算所述初级轨迹碎片与所述目标的方向亲和度，进而计算出所述初级轨迹碎片和所述存在目标的亲和距离，然后筛选出亲和距离最近的目标，最后，将所得目标与所述初级轨迹碎片连接，得到较长的次级轨迹片段；

步骤5），对所得次级轨迹片段集合以及未被关联的目标集合进行三级关联：

判断每一个次级轨迹片段两端的相邻帧图像中是否存在未被关联的目标，若存在未被关联的目标，计算所述次级轨迹片段中目标的平均运动速率，以及所述次级轨迹片段与所述目标进行匹配时的匹配运动速率后，计算所述次级轨迹片段与所述目标的运动速率亲和度，进而计算出所述次级轨迹片段与所述目标的亲和距离，然后筛选出亲和距离最近的目标，最后，将所得目标与所述次级轨迹片段连接，得到更长的三级轨迹片段；

步骤6），对于所有三级轨迹片段，按照如下方法不断在其两端进行迭代关联，直到所有图像中的所有目标均被关联，或者所有轨迹片段两端均不能继续匹配到符合要求的目标：

判断轨迹片段两端的相邻帧图像中是否存在未被关联的目标，若存在未被关联的目标，计算所述轨迹片段中目标的平均运动速率，以及所述轨迹片段与所述目标进行匹配时的匹配运动速率后，计算所述轨迹片段与所述目标的运动速率亲和度，进而计算出所述轨迹片段与所述目标的亲和距离，然后筛选出亲和距离最近的目标，最后，将所得目标与所述轨迹片段连接，得到更长的轨迹片段。

本发明在数据关联过程中，逐级提取目标的多种静态特征和动态特征，其中的运动方向特征和运动速率特征在一般的匹配关联方法中都不能很好的提取和处理，本发明利用分级关联的方式突破了这一限制，提高了数据关联的精确度；此外，本发明所涉及的多种目标特征信息均可通过简单计算得到，极大的减小了计算量，增强了目标轨迹生成的实时性。

附图说明

图1是本发明方法流程图；

图2是初级关联流程图；

图3是次级关联流程图；

图4是三级关联流程图；

图5是多目标轨迹生成示意图。

具体实施方式

本发明涉及一种图像序列目标关联及轨迹生成方法，通过分级提取目标的多种特征，获得较好的关联匹配结果；同时，将相匹配目标组合逐级相连，并不断将所得轨迹片段向两端扩展，最终得到出现在摄像机监控范围内的各个目标的完整运动轨迹。

本发明方法首先对图像序列中的目标做检测，用矩形框标出每一帧图像中的目标对象。由于每帧图像中均会出现多个目标检测结果，假设t-1帧和t帧图像中分别检测到n个和m个目标，则需对这两帧中检测到的目标一一计算亲和距离值，再进行排序，选择最佳的关联组合，即共需计算n*m个亲和距离值，如果n和m都很大，其计算量会变的很大。对此，本发明方法在进行匹配关联之前先对检测结果进行过滤处理，用计算量很小的简单方法去除掉相似度低的目标组合。在随后的初级关联中，本发明方法提取目标的颜色直方图、目标矩形框大小、目标矩形框中心点坐标、目标帧序号等特征信息形成初级目标亲和距离模型；次级关联中加入了目标运动方向特征形成次级亲和距离模型；三级关联中再加入目标运动速率特征形成三级亲和距离模型。其中，运动方向特征和运动速率特征在一般的匹配关联方法中都不能很好的提取和处理，本发明方法突破了这一限制。这样，经过多级匹配关联，并将相匹配的目标组合连接在一起，最终得到了所有目标的运动轨迹。本发明方法流程如图1所示。

本发明通过计算相邻帧中两目标矩形框中心点坐标距离来对目标检测结果进行过滤处理，以极小的计算量去除相似度低的组合。用公式表示为：

$d(r_i,r_j)=\sqrt{{(x_i-x_j)}^2+{(y_i-y_j)}^2}$

其中，r_i，r_j分别表示相邻两帧目标检测结果，x_i和y_i表示r_i的矩形框中心点坐标，x_j和y_j表示r_j的矩形框中心点坐标。设立阈值θ，当d(r_i，r_j)＞θ时，表示目标r_i和目标r_j相隔距离较远，属于同一目标的概率很小，故将二者组合过滤掉；当d(r_i，r_j)≤θ时，则表示目标r_i和目标r_j符合条件，可进入下一步亲和距离值的计算。此处的阈值θ根据不同的监控场景设立不同的值，对于书店等目标运动缓慢的场景可设立较低的值，对于球馆等目标运动迅速的场景可设立较高的值。

本发明方法在初级关联阶段提取目标矩形框中心点坐标、目标矩形框大小、目标颜色直方图、目标帧序号等特征形成初级目标亲和距离模型。目标r_i和目标r_j的亲和距离值用公式可表示为：

$A^1\left(r_j\right|r_i)=\left\{\begin{array}{c}{\mathrm{\γ}}_1{A}_{\mathrm{ij}}^{\mathrm{pos}}+{\mathrm{\β}}_1{A}_{\mathrm{ij}}^{\mathrm{size}}+{\mathrm{\α}}_1{A}_{\mathrm{ij}}^{\mathrm{app}},{\mathrm{ift}}_j-t_i=1\\ 1,\mathrm{otherwise}\end{array}\right.$

三个特征亲和距离值可表示为：

$A_{\mathrm{ij}}^{\mathrm{pos}}={\mathrm{\γ}}_{\mathrm{pos}}\exp \left[\frac{{(x_i-x_j)}^2}{{\mathrm{\σ}}_x^2}\right]\exp \left[\frac{{(y_i-y_j)}^2}{{\mathrm{\σ}}_y^2}\right]$

$A_{\mathrm{ij}}^{\mathrm{size}}={\mathrm{\γ}}_{\mathrm{size}}\exp \left[\frac{{(s_i-s_j)}^2}{{\mathrm{\σ}}_s^2}\right]$

$A_{\mathrm{ij}}^{\mathrm{app}}=B(c_i,c_j)$

其中，(x_i,y_i)和(x_j,y_j)表示相邻两帧目标矩形框中心点坐标，s_i和s_j表示目标矩形框大小，和表示方差值，均为常数，B(c_i,c_j)表示两目标颜色直方图的巴氏距离，γ_pos和γ_size为归一化因数，γ₁、β₁、α₁分别为各亲和距离值系数，满足γ₁+β₁+α₁=1。该亲和距离值越小，则说明两目标相似度越高。

本发明方法采用双阈值方法来选择最佳关联组合。首先根据阈值θ₁，筛选出相似度高的组合，再根据阈值θ₂得到相似度高于其他任何组合的最佳关联组合。用公式可表示为：

A¹(r_j|r_i)＜θ₁,且 $\∀r_k\∈R-\{r_i,r_j\},$

min[A¹(r_k|r_i)-A¹(r_j|r_i),A¹(r_j|r_k)-A¹(r_j|r_i)]＞θ₂

s.t.θ₁＞0,θ₂＞0

其中，R为所有图像的目标检测结果集合，r_k为R中除r_i和r_j之外的任意目标。通过双阈值方法，本专利在初级关联中得到多对高精确度的目标关联组合，将每对组合中的两目标连接在一起，最终得到初级轨迹碎片集合T¹，且该碎片仅连接相邻两帧图像中的两个目标检测结果。初级关联流程如图2所示。

根据初级关联中得到的目标轨迹碎片，本发明方法在次级关联中提取目标的运动方向特征，并结合初级亲和距离模型，形成次级亲和距离模型。

假设轨迹碎片的两个节点为r_t和r_t-1，则其方向向量可表示为：

$\stackrel{\→}{v_1}=(x_t-x_{t-1},y_t-y_{t-1})$

其中，(x_t,y_t)和(x_t-1,y_t-1)分别为r_t和r_t-1的矩形框中心点坐标。与其后一帧图像中目标r_i进行匹配时，计算匹配方向向量，可表示为：

$\stackrel{\→}{v_2}=(x_i-x_t,y_i-y_t)$

其中，(x_i,y_i)为r_i的矩形框中心点坐标。两向量角度和方向特征亲和距离值可用公式分别表示为：

$\mathrm{\θ}(\stackrel{\→}{v_1},\stackrel{\→}{v_2})={\cos }^{-1}\frac{\stackrel{\→}{v_1}\·\stackrel{\→}{v_2}}{\left|\right|\stackrel{\→}{v_1}\left|\right|\left|\right|\stackrel{\→}{v_2}\left|\right|}$

$A_{i\·T_k^1}^{\mathrm{dir}}={\mathrm{\γ}}_{\mathrm{dir}}\exp \left[\frac{\mathrm{\θ}(\stackrel{\→}{v_1},\stackrel{\→}{v_2})}{{\mathrm{\σ}}_d^2}\right]$

其中，γ_dir为归一化因数，表示方差值，为一常数。则目标r_i和轨迹碎片的亲和距离值可表示为：

$A^2\left(r_i\right|T_k^1)=\left\{\begin{array}{c}{\mathrm{\γ}}_2{A}_{\mathrm{ti}}^{\mathrm{pos}}+{\mathrm{\β}}_2{A}_{\mathrm{ti}}^{\mathrm{size}}+{\mathrm{\α}}_2{A}_{\mathrm{ti}}^{\mathrm{app}}+{\mathrm{\τ}}_2{A}_{i\·T_k^1}^{\mathrm{dir}},{\mathrm{ift}}_i-t_i=1\\ 1,\mathrm{otherwise}\end{array}\right.$

其中，γ₂、β₂、α₂、τ₂分别为各亲和距离值系数，满足γ₂+β₂+α₂+τ₂=1。该亲和距离值越小，则说明轨迹碎片与目标r_i的关联度越大。

此处继续使用双阈值方法来选择最佳关联结果。首先设立阈值θ₁，在轨迹碎片的后一帧图像中筛选出亲和度高的目标，再根据阈值θ₂得到相似度高于其他任何关联方式的最佳关联结果，并将其与进行关联。用公式可表示为：

$A^2\left(r_i\right|T_k^1)<{\mathrm{\&theta;}}_1$

$A^2\left(r_k\right|T_k^1)-A^2\left(r_i\right|T_k^1)>{\mathrm{\&theta;}}_2,\&ForAll;r_k\&Element;R^{\&prime;}-\left\{r_i\right\}$

s.t.θ₁＞0,θ₂＞0

其中，R′为轨迹碎片的后一帧图像中目标检测结果集合，r_k为R′中除r_i之外的任意目标。

同样的，本发明方法在轨迹碎片的前一帧图像中进行相同的关联计算，得到其与前一帧图像中目标的最佳关联匹配结果。这样，通过对初级轨迹碎片的双向关联，并将所得关联结果连接在一起，本发明方法在次级关联中得到次级轨迹片段集合T²。次级关联流程如图3所示。

根据次级关联中得到的目标轨迹片段，本发明方法在三级关联中提取目标的运动速率特征，并结合次级亲和距离模型，形成三级亲和距离模型。

假设轨迹片段的四个节点分别为r_t、r_t-1、r_t-2、r_t-3，则目标平均运动速率可表示为：

$\stackrel{\&OverBar;}{v_1}=\frac{\sqrt{{(x_t-x_{t-1})}^2+{(y_t-y_{t-1})}^2}+\sqrt{{(x_{t-1}-x_{t-2})}^2+{(y_{t-1}-y_{t-2})}^2}+\sqrt{{(x_{t-2}-x_{t-3})}^2+{(y_{t-2}-y_{t-3})}^2}}{3T}$

其中，(x_t,y_t)、(x_t-1,y_t-1)、(x_t-2,y_t-2)、(x_t-3,y_t-3)分别为四个节点的矩形框中心点坐标，T为帧间时间间隔。与其后一帧图像中目标r_i进行匹配时，计算匹配运动速率，可表示为：

$\stackrel{\&OverBar;}{v_2}=\frac{\sqrt{{(x_i-x_t)}^2+{(y_i-y_t)}^2}}{T}$

其中，(x_i,y_i)为r_i的矩形框中心点坐标。运动速率特征亲和距离值可用公式分别表示为：

$A_{i\&CenterDot;T_k^2}^{\mathrm{vel}}={\mathrm{\&gamma;}}_{\mathrm{vel}}\exp \left[\frac{{(\stackrel{\&OverBar;}{v_1}-\stackrel{\&OverBar;}{v_2})}^2}{{\mathrm{\&sigma;}}_v^2}\right]$

其中，γ_vel为归一化因数，表示方差值，为一常数。则目标r_i和轨迹片段的亲和距离值可表示为：

$A^3\left(r_i\right|T_k^2)=\left\{\begin{array}{c}{\mathrm{\&gamma;}}_3{A}_{\mathrm{ti}}^{\mathrm{pos}}+{\mathrm{\&beta;}}_3{A}_{\mathrm{ti}}^{\mathrm{size}}+{\mathrm{\&alpha;}}_3{A}_{\mathrm{ti}}^{\mathrm{app}}+{\mathrm{\&tau;}}_3{A}_{i\&CenterDot;T_k^2}^{\mathrm{dir}}+{\mathrm{\&lambda;}}_3{A}_{i\&CenterDot;T_k^2}^{\mathrm{vel}},{\mathrm{ift}}_i-t_t=1\\ 1,\mathrm{otherwise}\end{array}\right.$

其中，γ₃、β₃、α₃、τ₃、λ₃分别为各特征亲和距离值系数，满足γ₃+β₃+α₃+τ₃+λ₃=1。该亲和距离值越小，则说明轨迹片段与目标r_i的关联度越大。

此处仍然使用双阈值方法来选择最佳关联结果。首先设立阈值θ₁，在轨迹片段的后一帧图像中筛选出亲和度高的目标，再根据阈值θ₂得到相似度高于其他任何关联方式的最佳关联结果，并将其与进行关联。用公式可表示为：

$A^3\left(r_i\right|T_k^2)<{\mathrm{\&theta;}}_1$

$A^3\left(r_k\right|T_k^2)-A^2\left(r_i\right|T_k^2)>{\mathrm{\&theta;}}_2,\&ForAll;r_k\&Element;R^{\&prime;\&prime;}-\left\{r_i\right\}$

s.t.θ₁＞0,θ₂＞0

其中，R″为轨迹片段的后一帧图像中目标检测结果集合，r_k为R″中除r_i之外的任意目标。

同样的，本发明方法在轨迹片段的前一帧图像中进行相同的关联计算，得到其与前一帧图像中目标的最佳关联匹配结果。这样通过双向关联扩展，并将所得关联结果连接在一起，本发明方法在三级关联中得到三级轨迹片段集合T³。三级关联流程如图4所示。

本发明方法利用上述三级亲和距离计算方式，并结合双阈值条件，对所得轨迹片段继续进行双向关联扩展，并重复此过程，直到所有图像中的所有目标检测结果均被关联，或者所有轨迹片段两端均不能继续匹配到符合要求的检测结果。

最终，本发明方法完成了对视频图像中所有目标检测结果的关联处理，同时，生成了各个目标的完整运动轨迹。多目标轨迹生成过程如图5所示。

Claims (1)

1.一种图像序列目标关联及轨迹生成方法，其特征在于包含以下步骤：

步骤1），对图像序列中的目标进行检测，标出每一帧图像中的目标对象；

步骤2），设置用于过滤低亲和度组合的第一阈值，对于所有相邻图像，将其中一幅图像中的每一个目标与另一幅图像中的各个目标进行组合，得到所有的相邻目标组合后，计算各组合中两个目标中心点的坐标距离值，过滤掉相邻目标组合中距离值大于第一阈值的组合；

步骤3），对过滤后剩余的所有相邻目标组合进行初级关联：

对于每一个相邻目标组合，计算其中两个目标的位置亲和度、大小亲和度以及颜色亲和度，进而计算这两个目标的亲和距离，然后筛选出亲和距离小于预先设定的第二阈值的组合，并将该组合中的两个目标连接在一起，得到只有两个目标节点的初级轨迹碎片；

步骤4），对所得初级轨迹碎片集合以及未被关联的目标集合进行次级关联：

判断每一个初级轨迹碎片两端的相邻帧图像中是否存在未被关联的目标，若存在未被关联的目标，计算所述初级轨迹碎片的方向向量，以及所述初级轨迹碎片与所述目标进行匹配时的匹配向量后，计算所述初级轨迹碎片与所述目标的方向亲和度，进而计算出所述初级轨迹碎片和所述存在目标的亲和距离，然后筛选出亲和距离最近的目标，最后，将所得目标与所述初级轨迹碎片连接，得到较长的次级轨迹片段；

步骤5），对所得次级轨迹片段集合以及未被关联的目标集合进行三级关联：

判断每一个次级轨迹片段两端的相邻帧图像中是否存在未被关联的目标，若存在未被关联的目标，计算所述次级轨迹片段中目标的平均运动速率，以及所述次级轨迹片段与所述目标进行匹配时的匹配运动速率后，计算所述次级轨迹片段与所述目标的运动速率亲和度，进而计算出所述次级轨迹片段与所述目标的亲和距离，然后筛选出亲和距离最近的目标，最后，将所得目标与所述次级轨迹片段连接，得到更长的三级轨迹片段；

步骤6），对于所有三级轨迹片段，按照如下方法不断在其两端进行迭代关联，直到所有图像中的所有目标均被关联，或者所有轨迹片段两端均不能继续匹配到符合要求的目标：

判断轨迹片段两端的相邻帧图像中是否存在未被关联的目标，若存在未被关联的目标，计算所述轨迹片段中目标的平均运动速率，以及所述轨迹片段与所述目标进行匹配时的匹配运动速率后，计算所述轨迹片段与所述目标的运动速率亲和度，进而计算出所述轨迹片段与所述目标的亲和距离，然后筛选出亲和距离最近的目标，最后，将所得目标与所述轨迹片段连接，得到更长的轨迹片段。