CN105374050B - 运动目标跟踪恢复方法及装置 - Google Patents

Abstract

本发明公开了一种运动目标跟踪恢复方法，用于跟踪装置对运动中的目标进行跟踪，包括在跟踪丢失时对当前图像前景检测得到前景目标，根据跟踪目标所处的丢失位置得到跟踪目标的预估位置，还包括：在判断跟踪丢失时将候选目标的特征与跟踪目标的特征进行匹配计算得到各候选目标的匹配值；根据匹配值以及到预估位置的距离为各候选目标赋予权重值，得到权重值最大的候选目标作为原有的跟踪目标继续跟踪。本发明还公开了对应方法的一种装置。本发明的方法及装置优点在于：在跟踪丢失的情况下，通过对检测出的前景目标进行匹配和预估从而得到最有可能为原有跟踪目标的前景目标从而继续进行跟踪，具有良好的跟踪连续性。

Description

运动目标跟踪恢复方法及装置

技术领域

本发明涉及目标跟踪领域，尤其涉及运动目标跟踪恢复方法及装置。

背景技术

现有技术进行目标跟踪的方法为，采用跟踪算法对运动目标进行跟踪，跟踪装置随着跟踪目标的运动而运动，以保证跟踪目标始终位于图像中的特定位置，在检测到跟踪装置停止运动后，判断目标丢失，则通过前景检测获取新的运动目标，并运用例如卡尔曼滤波估算出跟踪目标应当存在的预估位置，对位于预估位置的前景目标进行跟踪。

通过这种前景检测获取的运动目标没有比对原有的跟踪目标与重新检测得到的前景目标之间特征，难以保证是原有的跟踪目标，如果原有的跟踪目标在跟踪丢失时发生运动速度或方向上的改变，则在预估位置上得到的前景目标就不是原有的跟踪目标，因此一旦发生跟踪丢失，很难再将原有的目标找到并进行继续跟踪。

因此现有技术在跟踪丢失时难以继续进行跟踪，容易丢失原有跟踪目标的问题。

发明内容

为解决现有技术存在的问题，本发明提供一种跟踪恢复装置，能够在跟踪目标被遮挡的情况下，快速准确地找回跟踪目标恢复跟踪。

一种运动目标跟踪恢复方法，用于跟踪装置进行目标跟踪，包括在跟踪丢失时对当前图像前景检测得到前景目标，根据跟踪目标所处的丢失位置得到跟踪目标的预估位置，还包括：

在判断跟踪丢失时将候选目标的特征与跟踪目标的特征进行匹配计算得到各候选目标的匹配值，所述候选目标为前景目标；

根据匹配值以及到预估位置的距离为各候选目标赋予权重值，得到权重值最大的候选目标作为原有的跟踪目标继续跟踪，其中在距离相同时匹配值高的赋予权重值大，匹配值相同时距离近的赋予权重值大。

本发明的运动目标在因遮挡造成跟踪丢失的情况下，通过对图像中检测出的前景目标进行匹配和预估从而得到最有可能为原有跟踪目标的前景从而继续进行跟踪，避免了一些因画面中的物体遮挡导致跟踪目标丢失或因自适应变倍跟踪目标短时间内出画面从而造成的跟踪丢失。跟踪目标带有的特征例如颜色特征可以用来与其他的前景目标进行区别，因此通过特征的匹配可以得到较大可能是跟踪目标的前景目标，同时跟踪目标在画面跟踪时遵循一定的运动规律，很少会存在非常剧烈的运动速度及方向的改变，因此通过这些相关的运动信息可以确定跟踪目标所在的大致位置，因此可以通过候选目标与大致位置的距离选取最有可能是原有跟踪目标，从而继续进行跟踪。如果在一段预定时长内，都没有检出符合条件的前景目标，则回预置位进行下一次跟踪。

进一步而言，还包括根据所述预估位置以及丢失位置建立搜索区域，获取处于搜索区域内的前景目标作为所述候选目标，所述搜索区域建立方法为：计算预估位置到丢失位置的距离R，建立以丢失位置为圆心的扇形搜索区域，所述扇形搜索区域的半径为sR，其中s≠0。

由于跟踪目标的运动轨迹通常不会发生非常急剧的变化，但考虑在此过程中跟踪目标仍然会发生速度和方向上的变化，因此得到跟踪目标所在位置的大致范围，从而排除一些不太可能是原先的跟踪目标的前景目标，提高重新获取跟踪目标的速度。通过设定扇形区域，将跟踪目标在运动过程中运动方向可能发生的变化加以考虑，将预估位置的半径乘以系数则考虑到运动速度变化所带来的实际位置可能比预估位置要远或近。这一搜索区域的设定，可以大大减少需要匹配的前景目标数目，从而提高效率。

进一步而言，还包括在目标跟踪时记录跟踪目标的运动信息，所述预估位置根据所述运动信息结合丢失位置得到，所述运动信息包括：跟踪目标的平面运动方向、跟踪目标的运动轨迹以及跟踪目标在水平和竖直方向上的空间运动速度。

跟踪目标的平面运动方向及运动轨迹可以得到跟踪目标在跟踪丢失后的运动趋势，跟踪目标在空间中的空间运动速度可以分解为水平和竖直方向上的速度，因此获取这些信息之后，将运动趋势结合空间运动速度可以得到跟踪目标可能在的预估位置。运动信息可以采用现有的技术记录得到，例如通过运用金字塔LK跟踪算法得到，金字塔LK跟踪算法对触发规则的目标进行跟踪，并记录LK跟踪算法中光流方向作为跟踪目标的平面运动方向，并利用空间坐标系记录跟踪目标的运动轨迹及在水平和竖直方向上的空间运动速度。

进一步而言，候选目标与跟踪目标进行匹配所采用的特征为颜色特征，通过NCC算法对颜色特征进行匹配计算得到候选目标的所述匹配值。

将候选目标与跟踪目标进行匹配的特征有多种，但是由于在跟踪恢复时在特征匹配计算上要求计算速度较快，颜色特征能够较为准确地反映跟踪目标的特征，同时也能够在匹配计算时兼顾效率。

进一步而言，为各候选目标赋予所述权重值的方法包括：

为候选目标分配距离权重值W_1n，n表示第n个候选目标，到预估位置距离最近的候选目标距离权重为1，其他候选目标的距离权重值为所述最近距离除以各候选目标到预估位置距离所得的值；

为候选目标分配匹配权重W_2n，n表示第n个候选目标，匹配值最大的候选目标匹配权重值为1，其他候选目标匹配权重为各候选目标匹配值除以所述最大匹配值；

得到各候选目标综合的权重值W_n，表达式为：W_n＝W_1n+αW_2n，其中α≥1。

在进行候选目标的权重值考虑时，主要考虑候选目标与预估位置之间的差别，越接近预估位置则越有可能是原有的跟踪目标，同时兼顾考虑候选目标的其他特征，例如纹理特征。由于在考虑准确性时，特征的精确匹配可信度比距离更高，因此对于特征的匹配权重前增加系数α。

进一步而言，判断所述跟踪丢失的方法包括：周期性地检测跟踪装置是否停止运动，在连续t个周期均检测到跟踪装置停止运动时，利用NCC算法将当前图像帧中匹配区域的特征与跟踪目标的特征进行匹配计算得到匹配值，当匹配值低于预设的阈值β时判定为跟踪丢失，其中t为大于1的整数。

本发明的跟踪丢失判断方法通过时间与空间的双重规则进行判断，以提高判断跟踪丢失的准确性。在时间上，在连续多个周期均未检测到跟踪装置运动之后再初步判断跟踪丢失，防止因运动目标自身停止运动、较小物体遮挡导致跟踪装置停止运动而被误判为跟踪丢失的情况，在初步判断后，再通过NCC匹配进行比较精确的跟踪丢失判断，将时间与空间结合，使得跟踪丢失被误判的可能性较低。由于自适应放大后，纹理特征会发生变化，因此，阈值β在每次模板更新时均通过大津法进行自适应的更新计算，在设定阈值β初值时，根据纹理特征丰富程度来设定，纹理特征越丰富则阈值β越大。

进一步而言，在所述跟踪丢失的判断方法中采用的特征为纹理特征。在进行判断跟踪丢失时纹理特征具有较高的准确度，同时计算速度较快。

进一步而言，其特征在于，NCC匹配算法将所述当前图像帧的匹配区域与作为模板的匹配区域进行特征匹配，其中所述NCC匹配算法所匹配的特征为各个匹配区域中像素点特征与各自匹配区域的特征平均值进行相减后所得差值；

所述作为模板的匹配区域为第一次检测到跟踪装置停止运动前的多帧图像匹配区域的平均值，且跟踪目标的特征为所述多帧图像中跟踪目标的特征进行平均之后得到的特征平均值。

NCC匹配算法为增强型的NCC匹配算法，所匹配的特征值为各个匹配区域中像素点特征与各自匹配区域的特征平均值进行相减后所得差值，通过减去均值减小计算数值，降低计算量。其中颜色特征平均值以及纹理特征平均值均为跟踪目标过程中得到，跟踪过程中，利用跟踪装置自适应变倍使得跟踪目标始终处于中心区域，且每次自适应变倍完成后均进行颜色特征平均值以及纹理特征平均值的维护。

本发明还提供了一种跟踪恢复装置，用于实施本发明的跟踪恢复方法，从而具有良好的抗遮挡性。

一种运动目标跟踪恢复装置，用于跟踪装置进行目标跟踪，包括前景检测单元，在跟踪丢失时对当前图像前景检测得到前景目标，位置预估单元，根据跟踪目标所处的丢失位置得到跟踪目标的预估位置，还包括：

候选目标匹配单元，在判断跟踪丢失时将候选目标的特征与跟踪目标的特征进行匹配计算得到各候选目标的匹配值，所述候选目标为前景目标；

跟踪目标选取单元，根据匹配值以及到预估位置的距离为各候选目标赋予权重值，得到权重值最大的候选目标作为原有的跟踪目标继续跟踪，其中在距离相同时匹配值高的赋予权重值大，匹配值相同时距离近的赋予权重值大。

本发明的运动目标在因遮挡造成跟踪丢失的情况下，通过对图像中检测出的前景目标进行匹配和预估从而得到最有可能为原有跟踪目标的前景从而继续进行跟踪，避免了一些因画面中的物体遮挡导致跟踪目标丢失或因自适应变倍跟踪目标短时间内出画面从而造成的跟踪丢失。跟踪目标带有的特征例如颜色特征可以用来与其他的前景目标进行区别，因此通过特征的匹配可以得到较大可能是跟踪目标的前景目标，同时跟踪目标在画面跟踪时遵循一定的运动规律，很少会存在非常剧烈的运动速度及方向的改变，因此通过这些相关的运动信息可以确定跟踪目标所在的大致位置，因此可以通过候选目标与大致位置的距离选取最有可能是原有跟踪目标，从而继续进行跟踪。如果在一段预定时长内，都没有检出符合条件的前景目标，则回预置位进行下一次跟踪。

进一步而言，还包括候选目标获取单元，根据所述预估位置以及丢失位置建立搜索区域，获取处于搜索区域内的前景目标作为所述候选目标，所述搜索区域建立方法为：计算预估位置到丢失位置的距离R，建立以丢失位置为圆心的扇形搜索区域，所述扇形搜索区域的半径为sR，其中s≠0。由于跟踪目标的运动轨迹通常不会发生非常急剧的变化，但考虑在此过程中跟踪目标仍然会发生速度和方向上的变化，因此得到跟踪目标所在位置的大致范围，从而排除一些不太可能是原先的跟踪目标的前景目标，提高重新获取跟踪目标的速度。通过设定扇形区域，将跟踪目标在运动过程中运动方向可能发生的变化加以考虑，将预估位置的半径乘以系数则考虑到运动速度变化所带来的实际位置可能比预估位置要远或近。这一搜索区域的设定，可以大大减少需要匹配的前景目标数目，从而提高效率。

进一步而言，还包括运动信息记录单元，在目标跟踪时记录跟踪目标的运动信息，所述位置预估单元获取的所述预估位置根据所述运动信息结合丢失位置得到，所述运动信息包括：跟踪目标的平面运动方向、跟踪目标的运动轨迹以及跟踪目标在水平和竖直方向上的空间运动速度。

跟踪目标的平面运动方向及运动轨迹可以得到跟踪目标在跟踪丢失后的运动趋势，跟踪目标在空间中的空间运动速度可以分解为水平和竖直方向上的速度，因此获取这些信息之后，将运动趋势结合空间运动速度可以得到跟踪目标可能在的预估位置。运动信息可以通过例如运用金字塔LK跟踪算法得到，金字塔LK跟踪算法对触发规则的目标进行跟踪，并记录LK跟踪算法中光流方向作为跟踪目标的平面运动方向，并利用空间坐标系记录跟踪目标的运动轨迹及在水平和竖直方向上的空间运动速度。

进一步而言，候选目标匹配单元将候选目标与跟踪目标进行匹配所采用的特征为颜色特征，通过NCC算法对颜色特征进行匹配计算得到候选目标的所述匹配值。

将候选目标与跟踪目标进行匹配的特征有多种，但是由于在跟踪恢复时在特征匹配计算上要求计算速度较快，颜色特征能够较为准确地反映跟踪目标的特征，同时也能够在匹配计算时兼顾效率。

进一步而言，所述跟踪目标选取单元为候选目标赋予所述权重值的方法包括：

为候选目标分配距离权重值W_1n，n表示第n个候选目标，到预估位置距离最近的候选目标距离权重为1，其他候选目标的距离权重值为所述最近距离除以各候选目标到预估位置距离所得的值；

为候选目标分配匹配权重W_2n，n表示第n个候选目标，匹配值最大的候选目标匹配权重值为1，其他候选目标匹配权重为各候选目标匹配值除以所述最大匹配值；

得到各候选目标综合的权重值W_n，表达式为：W_n＝W_1n+αW_2n，其中α≥1。

在进行候选目标的权重值考虑时，主要考虑候选目标与预估位置之间的差别，越接近预估位置则越有可能是原有的跟踪目标，同时兼顾考虑候选目标的其他特征，例如纹理特征。由于在考虑准确性时，特征的精确匹配可信度比距离更高，因此对于特征的匹配权重前增加系数α。

进一步而言，所述候选目标获取单元判断所述跟踪丢失的方法包括：周期性地检测跟踪装置是否停止运动，在连续t个周期均检测到跟踪装置停止运动时，利用NCC算法将当前图像帧中匹配区域的特征与跟踪目标的特征进行匹配计算得到匹配值，当匹配值低于预设的阈值β时判定为跟踪丢失，其中t为大于1的整数。

本发明的跟踪丢失判断方法通过时间与空间的双重规则进行判断，以提高判断跟踪丢失的准确性。在时间上，在连续多个周期均未检测到跟踪装置运动之后再初步判断跟踪丢失，防止因运动目标自身停止运动、较小物体遮挡导致跟踪装置停止运动而被误判为跟踪丢失的情况，在初步判断后，再通过NCC匹配进行比较精确的跟踪丢失判断，将时间与空间结合，使得跟踪丢失被误判的可能性较低。

本发明的方法及装置突出优点在于：在因遮挡造成跟踪丢失的情况下，通过对图像中检测出的前景目标进行匹配和预估从而得到最有可能为原有跟踪目标的前景目标从而继续进行跟踪，避免了一些因画面中的物体遮挡导致跟踪目标丢失或因自适应变倍跟踪目标短时间内出画面从而造成的跟踪丢失，保证跟踪的稳定性；搜索区域的设定，可以大大减少需要匹配的前景目标数目，从而提高效率；通过时间与空间的双重规则进行判断，以提高判断跟踪丢失的准确性。

附图说明

图1为本发明一个实施例的具体方法流程图；

图2为图1所示实施例的搜索区域示意图；

图3为当前实施例所采用的空间球系坐标系。

具体实施方式

为使本发明更加清楚明了，现结合附图及实施例对本发明进行详细的解释说明。

本发明一个实施例采用的跟踪恢复装置包括：运动信息记录单元、位置预估单元、跟踪丢失判断单元、候选目标获取单元、前景检测单元、候选目标匹配单元、跟踪目标选取单元。

利用该跟踪恢复装置实施跟踪恢复方法的具体步骤如图1所示，包括如下步骤：

A，在跟踪过程中记录跟踪目标的运动信息，步骤A包括：

a-1，建立以跟踪装置为中心的空间球系坐标系。

在目标检测过程中，当前实施例采用公开号为CN104167109A的专利文献所公开的全局覆盖理论建立空间球系坐标系，如图3所示，建立以跟踪装置为中心的空间球系坐标系。图3中的空间球系坐标系以跟踪装置(即摄像机)为中心，其中的X点为摄像机的机芯，ABCD为采集到的跟踪画面，F点为跟踪画面上的任一点，O点为跟踪画面的中心点，和分别为F点在球坐标系内的经纬度信息。

结合跟踪画面的宽度W，跟踪画面的高度H，监控摄像机的机芯的经纬度信息longtitude和latitude，机芯与跟踪画面之间的距离XO(其中FS、FR为中间值，其中FS为所求点到跟踪画面中心点的水平向量，FR为所求点到跟踪画面中心点的垂直向量；arctan为反正切函数，arccos为反余弦函数)，可以得到F点坐标信息和与经纬度信息longtitude和latitude之间存在下述关系：

采用空间球系坐标系的构建方法是为了获得目标的空间坐标，用作后续跟踪丢失判断，反向求解该方程即可得到任意位置的画面坐标。

a-2，跟踪目标并由运动信息记录单元记录当前帧中跟踪目标的平面运动方向、目标的运动轨迹以及目标在水平和竖直方向上的空间运动速度，在跟踪过程中进行自适应变倍，并在每次自适应变倍后更新并记录跟踪目标的纹理及颜色特征模板的维护信息。

在跟踪过程中通过自适应变倍将跟踪目标保持在图像中心区域，在每次自适应变倍完成后，进行当前跟踪目标的纹理及颜色特征的相关模板更新，并记录跟踪目标的最近K帧维护信息。若不满K帧则以实际帧数为准。

跟踪目标的维护信息包括：

①每一次自适应变倍完成时图像中匹配区域(即跟踪目标图像)的纹理及颜色特征的平均值。

自适应变倍完成后，记录距当前帧K帧的匹配区域纹理及颜色特征的平均值分别作为纹理和颜色模板。

匹配区域是以跟踪装置中心(x,y)点为中心，宽高分别为(2m+1)和(2n+1)的矩形图像区域，m及n为经验取值。每次自适应变倍后，均可以得到对应的匹配区域，从而可以得到匹配区域相应的纹理特征及颜色特征。对距当前K帧的匹配区域进行平均得到这K帧图像平均后的匹配区域，对各匹配区域纹理特征及颜色特征进行平均，得到这K帧图像的匹配区域纹理特征均值以及颜色特征均值，对应地作为后续步骤的纹理特征模板及颜色特征模板。

纹理特征及颜色特征均可以使用现有的特征，例如纹理特征可以为Sobel算子，颜色特征可以为当前实施例中的灰度值，每次自适应变倍完成后，对每一帧跟踪目标图像做灰度直方图统计，由于各帧图像之间灰度值差异会较大，不能直接将灰度值之间进行匹配，因此需要对其做归一化计算，如下式所示：

n_x表示灰度x出现的次数，L是图像中的所有灰度级，n是跟踪目标图像中的像素个数，这样图像中灰度为x的像素出现的概率p(x)取值为0～1。对归一化的灰度直方图进行维护，取距当前帧图像K帧内得到的一共K个跟踪目标图像的归一化灰度直方图均值作为后续匹配所示用的颜色特征模板。

②记录距当前帧K帧内跟踪目标的平面运动方向、运动轨迹、空间运动速度和位置。

当前实施例采用金字塔LK跟踪算法进行目标跟踪，且记录LK跟踪算法中光流方向作为当前帧目标的平面运动方向，并利用空间坐标系记录在水平和竖直方向上的空间运动速度。空间运动速度计算公式如下：

公式中，lng’和lng分别为跟踪目标当前帧经度坐标和前帧经度坐标，lat’和lat分别为跟踪目标当前帧纬度坐标和前帧纬度坐标，即公式(1)中的和ΔT为两帧之间的时间间隔，V_p代表水平方向的运动速度，以顺时针方向为正，同理，V_T代表竖直方向的运动速度，以向上方向为正。

运用跟踪算法进行包括空间运动速度跟踪目标的运动信息记录为现有技术，可以采用其他方式进行记录，但现有技术并未将该运动信息用于跟踪目标的找回，本发明采用记录的运动信息的记录可以提高跟踪目标的找回速度和准确度。

③记录距当前帧K帧内目标的平面运动速度的平均值。

B，跟踪丢失判断单元在跟踪过程中判断是否跟踪丢失：如果是，则进入步骤C；否则继续跟踪。

本发明当前实施例通过时间和空间上的双重规则来判断跟踪丢失：

时间上，每间隔一定时间周期ΔT₁，查询当前跟踪目标在空间上的速度和当前位置，判断随帧记录的维护信息，若连续n个ΔT₁跟踪装置都未进行转动，则初步判定跟踪目标已丢失，此时通过空间上的NCC算法进行进一步的跟踪丢失判定。

在空间上使用基于纹理特征的模板进行NCC算法精确匹配，以最终判断跟踪目标是否丢失：

步骤b-1，对当前帧的匹配区域进行差分算子处理，获取跟踪目标的纹理图。

步骤b-2，使用NCC算法进行纹理特征的精确匹配。

普通NCC计算公式如下所示：

本发明可以采用普通NCC计算进行，在普通NCC计算中，I_R(x+i,y+j)为当前帧纹理图匹配区域中的点(x+i,y+j)处的值，I_L(x+i,y+j)为前K帧纹理图匹配区域中的同一点(x+i,y+j)处的值，其中i和j的取值范围分别为(-n～n)和(-m～m)，NCC(x,y)即为两块区域的匹配值。其中当前帧是指在初步判定跟踪丢失的情况下，第一次检测到跟踪装置停止转动时刻的图像帧(例如当前时刻为若干个连续n个ΔT₁周期检测到跟踪装置停止转动的时刻，则当前帧为当前时刻往回倒退n个ΔT₁的图像帧)；前K帧图像是距当前帧K帧的各图像帧。

增强型NCC计算公式如下所示：

针对普通NCC算法计算量大的特点，本发明当前实施例使用增强型的NCC算法，先对纹理图做3阶高斯平滑，然后计算纹理图均值，通过减去图像纹理均值的方式，减小计算数值，降低计算量。

增强型NCC计算公式中分别为当前帧匹配区域的纹理特征平均值，为前K帧图像所得到的平均匹配区域的纹理特征的平均值(即对前K帧图像匹配区域平均计算所得匹配区域中的各像素点纹理特进行平均之后所得到的值)，与普通的NCC算法计算方法类似，只是为了减少计算量，I_R(x+i,y+j)和I_L(x+i,y+j)分别减去了和NCC_T(x,y)即为增强型NCC计算出的两块区域的匹配值。

步骤b-3，通过增强型NCC计算获得前K帧匹配区域的纹理图和当前帧匹配区域纹理图的匹配值，若大于设定的阈值β,则认为目标仍存在，继续进行跟踪，否则判定跟踪目标已丢失。为了适应变倍后发生变化的纹理特征，阈值β在每次模板更新时均通过大津法进行自适应的更新计算，纹理特征越丰富，阈值β取值越大。

C，停止跟踪装置的运动命令，利用运动前景检测算法检测出当前画面中的前景目标。

D，位置预估单元在判断跟踪丢失时根据跟踪目标所处的丢失位置得到跟踪目标的预估位置，根据预估位置以及丢失位置建立搜索区域，候选目标获取单元获取处于搜索区域内的所有前景目标作为候选目标，由跟踪目标选取单元根据候选目标的匹配值以及候选目标到预估位置的距离为各候选目标赋予权重值，选取权重值最大的候选目标作为原有的跟踪目标继续跟踪。

根据跟踪目标的运动轨迹以及特征将步骤C检测出的前景目标与跟踪目标进行匹配，在匹配成功的情况下进行二次跟踪，如果在一段预定时长T₂内，都没有检出符合条件的前景目标，则回预置位进行下一次跟踪。预定时长T₂为经验取值，如果该预定时长均没有检出符合条件的前景目标则说明目标已丢失，无法继续跟踪，从而进行下一个目标的检测及跟踪。

步骤D针对检出的前景目标，结合跟踪目标的运动轨迹，进行过滤并根据前景目标所处位置赋予权重值，然后结合基于NCC算法的颜色特征匹配，选取综合匹配可信度最高的目标，进行二次跟踪。

步骤d-1，根据跟踪目标在距当前帧K帧内的运动方向和运动速度的平均值，可以获取跟踪目标当前的运动趋势。

步骤d-2，构建图2中所示的搜索区域，获取处于搜索区域内的所有前景目标作为候选目标。

由于跟踪目标的运动轨迹通常不会发生非常急剧的变化，但考虑在此过程中跟踪目标仍然会发生速度和方向上的变化，因此得到跟踪目标所在位置的大致范围，从而排除一些不太可能是原先的跟踪目标的前景目标，提高重新获取跟踪目标的速度。

这里考虑到目标运动速度和方向可能会有所变化，所以构建搜索半径为sR，圆心角为θ的扇形区域作为当前检出前景目标的匹配区域，当前实施例中s为1.5，θ例如可以为180°，图2中以跟踪丢失时跟踪目标所处的丢失位置O为顶点(丢失位置O为第一次检测到跟踪装置停止运动时跟踪目标所处的位置)，1.5R为半径，圆心角为θ的扇形，其中为跟踪目标当前的运动方向，图2中N为沿OM方向距离为1.5R位置的点θ取值范围根据实际情设定，R＝v_t×T₁，v_t为结合其平面水平和竖直方向的运动速度计算出的跟踪目标在当前运动方向上的速度v_t，T₁为步骤中跟踪装置停止转动的时间，所得到的M点位置即预估位置，根据历史信息计算得到，历史信息包括丢失位置以及距离初次检测到跟踪装置停止运动时图像之前的K帧图像计算得到的空间运动速度及方向。

如图2所示，通过设定扇形区域，将跟踪目标在运动过程中运动方向可能发生的变化加以考虑，将预估位置的半径乘以系数则考虑到运动速度变化所带来的实际位置可能比预估位置要远或近。这一搜索区域的设定，可以大大减少需要匹配的前景目标数目，从而提高效率。

在遍历检出的前景目标后，将中心点不在扇形区域内的目标剔除，将剩余的处于扇形区域内的前景目标作为候选目标，分别计算各候选目标到M点的距离。为候选目标n分配权重W_1n，距离最近的目标权重最大为1，其他目标的权重以1为基准跟它们到预估位置M的距离成反比，比如距M点的距离最近的候选目标O₁距离为S₁，为其分配距离权重值1，则距M点距离为S₂的候选目标O₂的权重值为S₁/S₂。

步骤d-3，对于筛选通过的前景目标，候选目标匹配单元将其作为候选目标利用NCC进行精确的颜色匹配，当前实施例中基于灰度进行NCC匹配，在其他实现方式里也可以采用其他颜色特征：

使用增强型NCC算法对各候选目标与跟踪目标模板做归一化灰度直方图匹配，计算相应的匹配值，计算方法与步骤B中描述的类似，只是计算公式中的匹配范围为候选目标和跟踪目标模板中的所有灰度级(0～L)，计算量为各灰度级对应的归一化直方图数值；

通过匹配值越大，说明候选目标与跟踪目标越相似，根据匹配值大小，为候选目标n分配权重W_2n，为匹配值最大的目标分配权重1，其他目标的权重与匹配值大小成正比，比如匹配值最大为N₁的目标O₁的匹配权重值为1，则匹配值为N₂的候选目标O₂的匹配权重为N₂/N₁。

步骤d-4，求得每个前景目标的权重和W_n＝W_1n+αW_2n，这里认为对颜色特征进行增强型的NCC精确匹配的可信度比距离匹配要高，所以α值取值范围为1～2，根据实际情况可进行变化。对W_n进行排序，取W_n值最高的前景目标作为二次跟踪的目标。

本发明采用的技术方案是运用三维空间定位平面映射覆盖理论建立以跟踪装置为中心的空间坐标系，将画面中的目标还原到实际空间中，用以实际轨迹的记录，采用时间和空间上双重判定，快速准确的对跟踪目标做出跟丢判断；在跟踪算法上，以LK光流法跟踪为主，当判定跟踪目标丢失后，综合分析当前检出前景目标和原跟踪目标运动轨迹信息，结合NCC精确颜色匹配结果，准确获取丢失目标，及时进行二次跟踪，发明出一套结合空间模型的多信息融合的跟踪恢复方法。

本发明的方法及装置突出优点在于：在跟踪丢失的情况下，通过对图像中检测出的前景目标进行匹配和预估从而得到最有可能为原有跟踪目标的前景目标从而继续进行跟踪，避免了一些因画面中的物体遮挡导致跟踪目标丢失或因自适应变倍跟踪目标短时间内出画面从而造成的跟踪丢失，保证跟踪的稳定性；搜索区域的设定，可以大大减少需要匹配的前景目标数目，从而提高效率；通过时间与空间的双重规则进行判断，以提高判断跟踪丢失的准确性。

Claims (14)

1.一种运动目标跟踪恢复方法，用于跟踪装置进行目标跟踪，包括在跟踪丢失时对当前图像前景检测得到前景目标，根据跟踪目标所处的丢失位置得到跟踪目标的预估位置，其特征在于，还包括：

在判断跟踪丢失时将各候选目标的特征与跟踪目标的特征进行匹配计算得到各候选目标的匹配值，所述各候选目标为前景目标；

根据匹配值以及到预估位置的距离为各候选目标赋予权重值，得到权重值最大的候选目标作为原有的跟踪目标继续跟踪，其中在距离相同时匹配值高的赋予权重值大，匹配值相同时距离近的赋予权重值大。

2.如权利要求1所述运动目标跟踪恢复方法，其特征在于，还包括根据所述预估位置以及丢失位置建立搜索区域，获取处于搜索区域内的前景目标作为所述候选目标，所述搜索区域建立方法为：计算预估位置到丢失位置的距离R，建立以丢失位置为圆心的扇形搜索区域，所述扇形搜索区域的半径为sR，其中s≠0。

3.如权利要求1所述运动目标跟踪恢复方法，其特征在于，还包括在目标跟踪时记录跟踪目标的运动信息，所述预估位置根据所述运动信息结合丢失位置得到，所述运动信息包括：跟踪目标的平面运动方向以及跟踪目标在水平和竖直方向上的空间运动速度。

4.如权利要求1所述运动目标跟踪恢复方法，其特征在于，候选目标与跟踪目标进行匹配所采用的特征为颜色特征，通过NCC算法对颜色特征进行匹配计算得到候选目标的所述匹配值。

5.如权利要求1所述运动目标跟踪恢复方法，其特征在于，为各候选目标赋予权重值的方法包括：

为候选目标分配距离权重值W_1n，n表示第n个候选目标，到预估位置距离最近的候选目标距离权重为1，其他候选目标的距离权重值为各候选目标中到预估位置的最近距离除以各候选目标到预估位置距离所得的值；

为候选目标分配匹配权重W_2n，n表示第n个候选目标，匹配值最大的候选目标匹配权重值为1，其他候选目标匹配权重为各候选目标匹配值除以各候选目标中的最大匹配值；

得到各候选目标综合的权重值W_n，表达式为：W_n＝W_1n+αW_2n，其中α≥1。

6.如权利要求1所述运动目标跟踪恢复方法，其特征在于，判断所述跟踪丢失的方法包括：周期性地检测跟踪装置是否停止运动，在连续t个周期均检测到跟踪装置停止运动时，利用NCC算法将当前图像帧中匹配区域的特征与跟踪目标的特征进行匹配计算得到匹配值，当匹配值低于预设的阈值β时判定为跟踪丢失，其中t为大于1的整数。

7.如权利要求6所述运动目标跟踪恢复方法，其特征在于，在所述跟踪丢失的判断方法中采用的特征为纹理特征。

8.如权利要求4、6或7任一项所述运动目标跟踪恢复方法，其特征在于，NCC匹配算法将当前图像帧的匹配区域与作为模板的匹配区域进行特征匹配，其中所述NCC匹配算法所匹配的特征为各个匹配区域中像素点特征与各自匹配区域的特征平均值进行相减后所得差值；

所述作为模板的匹配区域为第一次检测到跟踪装置停止运动前的多帧图像匹配区域的平均值，且跟踪目标的特征为所述多帧图像中跟踪目标的特征进行平均之后得到的特征平均值。

9.一种运动目标跟踪恢复装置，用于跟踪装置进行目标跟踪，包括前景检测单元，在跟踪丢失时对当前图像前景检测得到前景目标，位置预估单元，根据跟踪目标所处的丢失位置得到跟踪目标的预估位置，其特征在于，还包括：

候选目标匹配单元，在判断跟踪丢失时将各候选目标的特征与跟踪目标的特征进行匹配计算得到各候选目标的匹配值，所述各候选目标为前景目标；

跟踪目标选取单元，根据匹配值以及到预估位置的距离为各候选目标赋予权重值，得到权重值最大的候选目标作为原有的跟踪目标继续跟踪，其中在距离相同时匹配值高的赋予权重值大，匹配值相同时距离近的赋予权重值大。

10.如权利要求9所述运动目标跟踪恢复装置，其特征在于，还包括候选目标获取单元，根据所述预估位置以及丢失位置建立搜索区域，获取处于搜索区域内的前景目标作为所述候选目标，所述搜索区域建立方法为：计算预估位置到丢失位置的距离R，建立以丢失位置为圆心的扇形搜索区域，所述扇形搜索区域的半径为sR，其中s≠0。

11.如权利要求9所述运动目标跟踪恢复装置，其特征在于，还包括运动信息记录单元，在目标跟踪时记录跟踪目标的运动信息，所述位置预估单元获取的所述预估位置根据所述运动信息结合丢失位置得到，所述运动信息包括：跟踪目标的平面运动方向、跟踪目标的运动轨迹以及跟踪目标在水平和竖直方向上的空间运动速度。

12.如权利要求9所述运动目标跟踪恢复装置，其特征在于，候选目标匹配单元将候选目标与跟踪目标进行匹配所采用的特征为颜色特征，通过NCC算法对颜色特征进行匹配计算得到候选目标的所述匹配值。

13.如权利要求9所述运动目标跟踪恢复装置，其特征在于，所述跟踪目标选取单元为各候选目标赋予所述权重值的方法包括：

为候选目标分配距离权重值W_1n，n表示第n个候选目标，到预估位置距离最近的候选目标距离权重为1，其他候选目标的距离权重值为各候选目标中到预估位置的最近距离除以各候选目标到预估位置距离所得的值；

为候选目标分配匹配权重W_2n，n表示第n个候选目标，匹配值最大的候选目标匹配权重值为1，其他候选目标匹配权重为各候选目标匹配值除以各候选目标中的最大匹配值；

得到各候选目标综合的权重值W_n，表达式为：W_n＝W_1n+αW_2n，其中α≥1。

14.如权利要求12所述运动目标跟踪恢复装置，其特征在于，所述候选目标获取单元判断所述跟踪丢失的方法包括：周期性地检测跟踪装置是否停止运动，在连续t个周期均检测到跟踪装置停止运动时，利用NCC算法将当前图像帧中匹配区域的特征与跟踪目标的特征进行匹配计算得到匹配值，当匹配值低于预设的阈值β时判定为跟踪丢失，其中t为大于1的整数。