CN111210458B - 一种基于预检测置信度的运动目标检测前跟踪方法 - Google Patents

Abstract

本发明涉及一种基于深度学习预检测的检测前跟踪方法，设置较低的置信度门限进行预检测，逐帧进行目标检测，获得检测算法输出的目标及其置信度，以该目标的置信度为观测量，应用多帧检测前跟踪算法进行目标跟踪运算，得到最终的目标检测结果和运动轨迹，优选采用基于动态规划的目标跟踪算法进行所述的目标跟踪运算，优选采用深度学习算法进行所述的预检测。把目标看成质点，将整帧图像划分成若干个分辨单元，所述分辨单元的大小依据目标的最大运动速度确定，以分辨单元的坐标作为落在该分辨单元内的任何目标的坐标，在相邻帧目标运动状态转移中只考虑距离在一个分辨单元范围内的目标。本发明具有较高鲁棒性，数据处理量小，方便快捷。

Description

一种基于预检测置信度的运动目标检测前跟踪方法

技术领域

本发明涉及一种基于预检测置信度的运动目标检测前跟踪方法，属计算机视觉技术领域。

背景技术

目标检测与跟踪技术一直是计算机视觉领域的重要课题。目前,基于视觉的运动目标检测与跟踪技术已广泛应用于视频监控、自动驾驶、行为理解等领域,并达到了良好的效果。随着神经网络与深度学习的飞速发展，目标检测与跟踪技术的得到了学界和工业界的广泛关注，相关研究层出不穷，在各大顶级期刊、会议占比巨大。另一方面，随着显卡算力的不断提高，设计复杂的神经网络结构成为可能，极大地提高了目标检测和跟踪的性能。

运动目标的检测跟踪技术按照检测与跟踪的先后关系可以分为三类主要方法。第一类为基于检测的跟踪(track-by-detection，TBD),即对视频的每一帧进行目标检测，之后在时间维度上进行运动目标的关联，在每帧中的目标检测方法有背景差分法、基于特征提取的模板匹配法、深度学习方法等。第二类为跟踪前检测(Detect Before Track,DBT)。这种方法一般在一个固定周期内只针对第一个视频帧进行目标检测，对于检测到的目标在其余帧内利用匹配、滤波等方法进行跟踪。由于运动目标的连续性，目标在相邻帧之间出现的位置非常接近，所以把检测到的目标进行跟踪是非常合理的做法。对于检测器检测出的目标，用跟踪器进行跟踪，可以减少目标漏检。同时，由于跟踪需要的计算量远远小于检测，这种方法能有效提高视频检测和跟踪的效率。第三类为多帧检测前跟踪(Track BeforeDetect,TBD)，这类方法常用在雷达信号的目标检测和跟踪中。在这种条件下，由于信噪比低，目标很难通过单周期门限检测。多帧检测前跟踪则是不在每个时刻进行门限检测，而是联合处理多帧数据输出目标检测结果，因此可以更大程度地保留和利用目标信息；另一方面，它能够联合利用目标在多帧之间的运动相关性积累目标能量同时抑制噪声改善信噪比。多帧检测前跟踪通过提取检测结果形成点迹，最后利用点迹数据进行航迹起始和跟踪。常见方法包括三维匹配滤波、动态规划、霍夫变换、粒子滤波等。

然而，上述各种方法依然有各自的局限性或不足。例如，第一类方法 (TBD)的问题是算法整体性能高度依赖于单帧的目标检测精度。如果某一帧上出现了漏检或误检，没有补救的方法。可以通过检测的阈值可以调节漏检率和误检率，当对检测的准确率要求较高时，可以使用较高的阈值，这样只有检测器认为目标存在的置信度较高时才会给出结果，可以有效减少误检，但这样会增加漏检；反之，当对检测的召回率要求较高时，可以使用较低的阈值，只要检测器认为目标存在的置信度超过这个较低的阈值便输出结果，可以显著降低漏检，但会增加误检。另外，这种方法只能检测出每帧中目标的位置，无法得知每一帧中的目标对应上一帧的哪一个，也无法得知物体的运动轨迹，需要后续的关联处理。如果检测精度不足，关联处理会变得十分困难。

上述第二类方法(DBT)同样存在第一种方法中的问题，而且，由于只针对部分帧进行检测，对于漏检的目标不能进行补救，对于中途新出现的目标也无法及时发现。

上述第三类方法(TBD)联合处理多帧数据，有更好的鲁棒性，但目前为止只应用于雷达、红外成像这类信号强度与目标存在直接相关的信号。对于一般的视频，感兴趣的目标，如道路上的汽车、树林中的小鸟等，无法通过信号强度与背景进行区分。

发明内容

本发明的目的是针对现有技术的不足，提出一种基于深度学习预检测的检测前跟踪方法，以在获得较高连续性和鲁棒性的同时，减少数据处理量。

本发明的技术方案是：一种基于深度学习预检测的检测前跟踪方法，设置较低的置信度门限进行预检测，逐帧进行目标检测，获得检测算法输出的目标及其置信度，以该目标的置信度为观测量，应用多帧检测前跟踪算法进行目标跟踪运算，得到最终的目标检测结果和运动轨迹。

优选采用基于动态规划的目标跟踪算法进行所述的目标跟踪运算。

优选采用深度学习算法进行所述的预检测。

优选忽略目标的小大，把目标看成质点，将目标的位置定义为质心位置。

优选将整帧图像划分成若干个分辨单元，定义各分辨单元的坐标(例如，以分辨单元的中心点坐标或左上角坐标为分辨单元坐标)，以分辨单元的坐标作为落在该分辨单元内的任何目标的坐标。当任一目标的质心坐标落入该分辨单元内时，以该分辨单元的坐标作为该目标的坐标，当目标的质心坐标位于两分辨单元的分界线上时，优选以该目标在前一帧所在的分辨单元的坐标为该目标的坐标，也可以以其他方式将该目标列入其中的某一分辨单元。

所述分辨单元的大小可以依据或主要依据目标的最大运动速度确定，目标的最大运动速度为1分辨单元/帧。

目标的最大运动速度依据该目标的特性确定，为先验知识。

可以按顺序排列好当前待检测的图像，放入一个长度为L的滑动窗口进行目标预检测，得到目标的位置、类别和置信度。

对于第i帧图像X_i中预检测到的第j个目标O_ij，输出预检测结果可为：

O_ij＝{x_ij,y_ij,C_ij,P_ij}

其中

(x_ij,y_ij)为目标O_ij所在的分辨单元的坐标；

C_ij表示目标O_ij所属的类型；

P_ij表示目标O_ij的置信度；

i(i＝1,2…L)；

j(j＝1,2…N_i)。

确定第i帧图像的置信度图P_i(x,y)为：

所述目标跟踪运算可以包括下列流程：

1)初始化：i＝1,对于初始状态(第1帧图像)X₁(x,y)，设定

I(X₁)＝P₁

S(X₁)＝0

2)递推过程：2≤i≤L,对于第i个状态(第i帧图像)X_i，用以下递推公式计算其观测函数值和轨迹：

3)迭代结束：i＝L时，搜索如下的状态X_L(x,y)：

{X_L}＝{X_L,I(X_L)＞V_r} 式(7)

依据上式判断状态X_L每一个位置(x,y)观测函数值是否大于跟踪门限来确定是否检测到目标，将将大于跟踪门限的结果保存在集合{X_L}中。

4)轨迹回溯：对于集合{X_L}中每一个目标，令O_L＝X_L，并进行轨迹回溯，依次得到其前一个目标，直到第一帧：

O_i＝S_i+1(i＝L-1,L-2…1)

将最终集合{X_L}中的每一个目标都按照上式扩展成一组目标，输出每一组目标的类型C和运动轨迹Obj：

C＝C₁

Obj＝{O₁,O₂…O_L}

由此得到运动目标所属的类别、在每一帧的坐标及运动轨迹，

其中，

I表示沿某一轨迹的非相干累积观测函数值；

S表示对应目标轨迹上的前一个目标；

I(X_i)为第i帧中的观测函数值，由前一帧的任意状态转移而来，其范围限制在R(x,y)范围内；

R(x,y)表示坐标(x,y)处周围距离小于或等于1的分辨单元；

S(X_i)表示使I(X_i)达到最大时的目标轨迹上的前一个目标；

V_r为事先定义的跟踪门限值。

在相邻帧的目标运动状态转移中，只考虑R(x,y)内的目标，当相邻两帧检测出的目标类型相同，认为当前帧中的该目标是上一帧对应目标的合法转移，将其置信度加入观测值函数，否则不考虑当前帧的该目标。

本发明的工作过程和有益效果是：本发明有效地利用了单帧检测的置信度信息和视频中目标的连续性，具有较高的鲁棒性，即使某一帧或几帧没有检测到目标，能通过相邻帧的轨迹来预测，对于误检测也能通过相邻帧中的目标运动的约束条件加以滤除，同时无需过大的计算量，方便快捷，具有很好的实用性。

附图说明

图1是本发明的流程示意图。

具体实施方式

1.基本流程

本发明的整体流程如附图1所示。

首先进行预检测，按顺序排列好当前待的检测图像，放入一个长度为L 的滑动窗口。采用已有的目标检测算法(如参考文献[1]、[2])进行目标预检测，得到目标的位置、类别和置信度。以避免漏检为目的，设置较低的门限，使漏检的可能性降低到足够低或允许的限度一下，允许且通常会有高于现有TBD常用的误检率，这时检测到的结果可能是真正的目标，也可能是噪声或误检，因此不作为最终的检测结果。

然后进行跟踪，采用已有的基于动态规划方法的检测前跟踪算法(如参考文献[3])进行跟踪运算，以第一帧的预检测结果为初始状态，利用基于动态规划的检测前跟踪算法进行跟踪。对于每一帧图像，计算上一帧目标转移到这一帧的观测函数值。观测函数值与目标位置间的变化与置信度变化相关。计算完所有可能的转移后，记录每一个目标最大的观测函数值，依据每一个目标最大的观测函数值和转移的前一个目标完成递归。

处理完最后一帧图像后，若存在某一个序列的观测函数值大于设定的阈值，则认为这个目标序列是真实的目标运动轨迹，回溯其在每一帧上的目标，并得到对应的目标类别和运动轨迹。如果还有未处理的视频帧，则将滑动窗口向后滑动一帧，继续处理。直至处理完最后一帧图像。这种检测前跟踪的方法通过相邻帧目标位置和置信度的联系，能够有效区分真实目标和误检、漏检的目标，提高目标检测和跟踪的性能。

2.目标运动约束

本发明中约定：

1)目标的尺寸较小可以忽略，把目标看成质点(如果尺寸较大，目标的位置定义为质心位置)；

2)目标最大速度为先验知识。

为了减少运算量，先将整幅图像划分成若干个分辨单元，落在同一个分辨单元内的任何目标都认为其坐标相同。分辨单元的取值与原视频的帧率、目标运动形式和速度相关，可以根据实际需要设定，使得将落在同一个分辨单元内的任何目标都认为坐标相同适应于相关应用场合，有利于保证精度的同时减少数据处理量。

例如，分辨单元的大小可以由或主要目标的最大速度决定。定义目标的运动速度(最大速度)为1分辨单元/帧，则同一个目标在相邻帧之间的距离最多为一个分辨单元，超出这个范围的运动物体可以认为是漏检。同时，规定场景中目标较少，一个分辨单元中最多有一个目标。

3.确定待检测图像

选取一组待检测的图像放入滑动窗口。一般而言，滑动窗口的长度L取决于视频的帧率和目标的运动速度，可以依据现有技术和实际情况确定。当待处理的图像数量不足L张时，在后面补充空白图；而超过L张时，则先处理L张，然后将滑动窗口在视频序列上向后滑动一帧，继续处理后续帧。

4.目标预检测

将L张(帧)图像依次预检测，其中第i(i＝1,2…L)张(帧)图像记为X_i，第 i张图像的预检测结果有N_i个目标，其中第j(j＝1,2…N_i)个目标记为O_ij。

对于每一个目标O_ij，可以表示为：

O_ij＝{x_ij,y_ij,C_ij,P_ij} 式(1)

其中(x_ij,y_ij)表示该目标所在的分辨单元的坐标，C_ij表示该目标所属的类型， P_ij表示该目标的置信度。

规定每一个目标只能属于一个类型，并且类型的总数是固定的；置信度是一个0至1之间的实数。

为了减少目标的漏检，需要设定较低的阈值，多余的目标(误检)会在后续的匹配中被排除。

由此可以得到第i帧图像的置信度图P_i(x,y)：

5.基于动态规划的检测前跟踪

依据现有基于动态规划算法(例如，参考文献[6]中的动态规划方法) 的进行检测前跟踪。

所述基于动态规划的检测前跟踪算法的流程可以包括：

1)初始化：i＝1,初始状态(图像)为X₁(x,y)，且

I(X₁)＝P₁ 式(3)

S(X₁)＝0 式(4)

其中I表示沿某一轨迹的非相干累积观测函数值，S表示对应目标轨迹上的前一个目标。

2)递推过程：2≤i≤L,对于状态(图像)X_i，用以下递推公式计算其观测函数值和轨迹：

S(X_i)＝argmax_R(x,y)(I(X_i-1)) 式(6)

其中I(X_i)为第i帧中的观测函数值，它可能由前一帧的任意状态转移而来，其范围要限制在R(x,y)范围内。基于前面对目标最大运动速度的假设(或分辨单元的划分方法)，R(x,y)表示坐标(x,y)处周围距离小于或等于1的分辨单元。

在相邻帧的目标运动状态转移中，只考虑R(x,y)内的目标。当相邻两帧检测出的目标类型相同，认为当前帧中的目标是上一帧对应目标的合法转移，将其置信度加入观测值函数；否则不考虑当前帧的这个目标。

S(X_i)表示使I(X_i)达到最大时的目标轨迹上的前一个目标。

3)迭代结束：i＝L时，搜索如下的状态X_L(x,y)：

{X_L}＝{X_L,I(X_L)＞V_r} 式(7)

其中，V_r为事先定义的门限值，式(7)判断状态X_L每一个位置(x,y)观测函数值是否大于门限来确定是否检测到目标，将结果保存在集合{X_L}中。

4)轨迹回溯：对于集合{X_L}中每一个目标，令O_L＝X_L，并进行轨迹回溯，依次得到其前一个目标，直到第一帧：

O_i＝S_i+1(i＝L-1,L-2…1) 式(8)

最终集合{X_L}中的每一个目标都按照式(8)扩展成一组目标，最终输出每一组目标的类型和运动轨迹：

C＝C₁ 式(9)

Obj＝{O₁,O₂…O_L} 式(10)

经过整个预检测、跟踪、检测的流程，可以得到运动目标所属的类别、每一帧的坐标和运动轨迹。

本发明公开的各优选和可选的技术手段，除特别说明外及一个优选或可选技术手段为另一技术手段的进一步限定外，均可以任意组合，形成若干不同的技术方案。

参考文献

[1]Redmon J,Divvala S,Girshick R,et al.You Only Look Once: Unified,Real-Time Object Detection[J].2015.

[2]Liu W,Anguelov D,Erhan D,et al.SSD:Single Shot MultiBox Detector[J].2015.

[3]周秀珍.基于动态规划方法的检测前跟踪[J].舰船电子对抗,2011, 34(3):63-66。

Claims (1)

1.一种基于深度学习预检测的检测前跟踪方法，首先进行预检测，按顺序排列好当前待检测图像，放入一个长度为L的滑动窗口，采用已有的目标检测算法进行目标预检测，得到目标的位置、类别和置信度，设置较低的门限，使漏检的可能性降低到足够低或允许的限度以下，允许有高于现有TBD常用的误检率；然后进行跟踪，采用已有的基于动态规划方法的检测前跟踪算法进行跟踪运算，以第一帧的预检测结果为初始状态，利用基于动态规划的检测前跟踪算法进行跟踪，对于每一帧图像，计算上一帧目标转移到这一帧的观测函数值，观测函数值与目标位置间的变化与置信度变化相关，计算完所有可能的转移后，记录每一个目标最大的观测函数值，依据每一个目标最大的观测函数值和转移的前一个目标完成递归；处理完最后一帧图像后，若存在某一个序列的观测函数值大于设定的阈值，则认为这个目标序列是真实的目标运动轨迹，回溯其在每一帧上的目标，并得到对应的目标类别和运动轨迹，如果还有未处理的视频帧，则将滑动窗口向后滑动一帧，继续处理，

目标运动约束：

1)目标的尺寸较小可以忽略时，把目标看成质点；如果尺寸较大，目标的位置定义为质心位置；

2)目标最大速度为先验知识，

先将整幅图像划分成若干个分辨单元，落在同一个分辨单元内的任何目标都认为其坐标相同，分辨单元的取值与原视频的帧率、目标运动形式和速度相关，根据实际需要设定，使得将落在同一个分辨单元内的任何目标都认为坐标相同适应于相关应用场合，分辨单元的大小由目标的最大速度决定，定义目标的运动最大速度为1分辨单元/帧，同一个目标在相邻帧之间的距离最多为一个分辨单元，超出这个范围的运动物体认为是漏检，一个分辨单元中最多有一个目标，

确定待检测图像：

选取一组待检测的图像放入滑动窗口，滑动窗口的长度L取决于视频的帧率和目标的运动速度，依据现有技术和实际情况确定，当待处理的图像数量不足L张时，在后面补充空白图；而超过L张时，则先处理L张，然后将滑动窗口在视频序列上向后滑动一帧，继续处理后续帧；

目标预检测：

将L帧图像依次预检测，其中第i帧图像记为X_i，i＝1，2...L，第i张图像的预检测结果有N_i个目标，其中第j个目标记为O_ij，j＝1，2...N_i；

对于每一个目标O_ij，表示为：

O_ij＝{x_ij，y_ij，C_ij，P_ij}

其中(x_ij，y_ij)表示该目标所在的分辨单元的坐标，C_ij表示该目标所属的类型，P_ij表示该目标的置信度；

规定每一个目标只能属于一个类型，并且类型的总数是固定的；置信度是一个0至1之间的实数，

设定较低的阈值，多余的误检在后续的匹配中被排除，

由此得到第i帧图像的置信度图P_i(x，y)：

基于动态规划的检测前跟踪：

依据现有基于动态规划算法的进行检测前跟踪，所述基于动态规划的检测前跟踪算法的流程包括：

1)初始化：i＝1，初始状态为X₁(x，y)，且

I(X₁)＝P₁

S(X₁)＝0

其中I表示沿某一轨迹的非相干累积观测函数值，S表示对应目标轨迹上的前一个目标；

2)递推过程：2≤i≤L，对于状态X_i，用以下递推公式计算其观测函数值和轨迹：

其中I(X_i)为第i帧中的观测函数值，其范围要限制在R(x，y)范围内，基于前面对目标最大运动速度的假设，R(x，y)表示坐标(x，y)处周围距离小于或等于1的分辨单元；

在相邻帧的目标运动状态转移中，只考虑R(x，y)内的目标，当相邻两帧检测出的目标类型相同，认为当前帧中的目标是上一帧对应目标的合法转移，将其置信度加入观测值函数；否则不考虑当前帧的这个目标，

S(X_i)表示使I(X_i)达到最大时的目标轨迹上的前一个目标；

3)迭代结束：i＝L时，搜索如下的状态X_L(x，y)：

{X_L}＝{X_L，I(X_L)＞V_r}

其中，V_r为事先定义的门限值，上式判断状态X_L每一个位置(x，y)观测函数值是否大于门限来确定是否检测到目标，将结果保存在集合{X_L}中；

4)轨迹回溯：对于集合{X_L}中每一个目标，令O_L＝X_L，并进行轨迹回溯，依次得到其前一个目标，直到第一帧：

O_i＝S(X_i+1)(i＝L-1，L-2...1)

最终集合{X_L}中的每一个目标都按照上式扩展成一组目标，最终输出每一组目标的类型C和运动轨迹Obj：

C＝C₁

Obj＝{O₁，O₂...O_L}

经过整个预检测、跟踪、检测的流程，得到运动目标所属的类别、每一帧的坐标和运动轨迹。

Images