CN111833376A - 目标跟踪系统及方法 - Google Patents

Abstract

本发明提供了一种目标跟踪系统及方法，所述目标跟踪系统包括图像处理单元和目标跟踪单元，所述目标跟踪单元通过读取所述图像处理单元统计的每帧图像的亮度、色度和锐度，或统计的每帧图像的色度和亮度，以及计算得到的跟踪目标当前的运动信息来调整目标跟踪参数的更新速度，以及通过所述图像处理单元的统计信息来判断是否需要切换目标跟踪方法所用跟踪特征，若需要，则读取所述图像处理单元获取的图像的锐度信息以对跟踪特征进行切换，如此，便通过所述图像处理单元和所述目标跟踪单元的联用提升了目标跟踪的鲁棒性与准确度。

Description

目标跟踪系统及方法

技术领域

本发明涉及图像处理技术领域，特别涉及一种目标跟踪系统及方法。

背景技术

目标跟踪单元是智能摄像机等前端设备中的常见功能模块。在实际应用中该单元一般属于智能分析引擎的一部分，在接收到图像处理单元(ISP)的输出视频信号后对其进行分析处理，实现对关注目标的运动跟踪或进一步的行为分析。

目标跟踪单元的实现方法一般是先由目标检测模块自动检测或人工指定目标跟踪对象，然后对目标区域进行特征提取，在后续视频帧的搜索域内进行特征计算与匹配，随后更新目标跟踪相应参数。目标跟踪方法目前常用的有两大类特征：以《High-SpeedTracking with Kernelized Correlation Filters》为代表的梯度相关特征以及以《Indefense of color-based model-free tracking》为代表的颜色相关特征。参数更新方法一般采用一阶平滑，而且特征匹配的搜索范围一般固定为目标大小的3倍范围内进行。

上述目标跟踪方法最常见的问题是目标跟踪坐标漂移。其产生的原因有几点：1.搜索域中存在与目标特征相似的干扰物；2.目标特征由于物体被遮挡或者环境剧烈变化触发摄像机大幅度调整自动曝光/自动白平衡/自动对焦等原因发生剧烈变化。例如摄像机会自动在光照较低时开启补光并切换到黑白模式，此时方法《In defense of color-basedmodel-free tracking》中的三维颜色直方图自动退化为一维亮度直方图，从而导致目标特征维数降低。

为此专利如CN104537689B通过同时使用颜色、纹理、梯度直方图这种增加特征算子的方法来提升目标跟踪的鲁棒性与准确度。但性能提升的同时也大幅增加了实现代价。

因此，如何提供一种高性价比的目标跟踪方法成了目前需要解决的问题。

发明内容

本发明的目的在于提供一种目标跟踪系统及方法，以提升目标跟踪的鲁棒性与准确度。

为解决上述技术问题，本发明提供一种目标跟踪系统，所述目标跟踪系统包括图像处理单元和目标跟踪单元，所述图像处理单元包括统计模块、统计可信度计算模块、锐度计算模块、帧缓存模块和运动自适应判定模块，所述目标跟踪单元包括目标跟踪参数控制模块和目标跟踪特征计算模块；

所述统计模块用于统计每帧图像的亮度、色度和锐度，或用于统计每帧图像的色度和亮度；

所述统计可信度计算模块用于获取感光度信息以判断所述统计模块的统计信息是否可信，并将判断的结果传输给所述当前目标跟踪参数控制模块；

所述锐度计算模块用于得到图像中每个像素点的锐度信息；

所述帧缓存模块用于缓存累加帧信息；

所述运动自适应判定模块用于获取当前帧图像的帧信息并从所述帧缓存模块中读取累加帧信息以得到跟踪目标当前的运动信息；

所述目标跟踪参数控制模块用于在对目标进行跟踪的同时在接收到所述统计可信度计算模块的判断结果为可信之后，读取所述统计信息和所述跟踪目标当前的运动信息，根据所述统计信息和所述跟踪目标当前的运动信息的变化调整当前目标跟踪参数以及判断是否切换当前目标跟踪方法所用跟踪特征并将判断的结果发送给所述目标跟踪特征计算模块；

所述目标跟踪特征计算模块用于接收所述目标跟踪参数控制模块的判断结果，以决定是否读取所述锐度计算模块获取的图像中每个像素点的锐度信息以对当前目标跟踪方法所用跟踪特征进行切换。

可选的，在所述的目标跟踪系统中，所述统计模块为3A统计模块，用于统计图像的亮度、色度和锐度。

可选的，在所述的目标跟踪系统中，所述统计模块为2A统计模块，用于统计图像的亮度和色度。

可选的，在所述的目标跟踪系统中，所述跟踪特征包括颜色、纹理和/或梯度直方图。

可选的，在所述的目标跟踪系统中，所述感光度信息包括曝光时间、模拟增益和数字增益。

本发明还提供一种目标跟踪方法，包括：

读取所述运动自适应判定模块得到的所述跟踪目标当前的运动信息，根据所述跟踪目标当前的运动信息，在当前目标搜索区域内筛选出运动置信区域；

计算所述运动置信区域的面积，并和上一帧运动置信区域的面积比较；

若比较值小于或等于阈值，则保持默认当前目标跟踪参数更新速度；

若比较值大于阈值，则读取所述统计模块的统计信息，并根据所述统计模块的统计信息的变化情况调整当前目标跟踪参数更新速度。

可选的，在所述的目标跟踪方法中，根据所述统计模块的统计信息的变化情况调整当前目标跟踪参数更新速度包括：

若所述统计模块的统计信息没有发生变化，则降低当前目标跟踪参数的更新速度；

若所述统计模块的统计信息发生变化，则判断当前跟踪方法所用跟踪特征是否受所述统计模块的统计信息的变化的影响，若是，则降低当前目标跟踪参数的更新速度，若否，则保持当前目标跟踪参数更新速度。

可选的，在所述的目标跟踪方法中，根据所述跟踪目标当前的运动信息在当前目标搜索区域内筛选出运动置信区域包括：

将所述跟踪目标当前的运动信息在空域及时域上进行滤波操作；以及

计算经滤波操作后的所述跟踪目标当前的运动信息的外接矩形，以得到所述运动置信区域。可选的，在所述的目标跟踪方法中，若比较值小于或等于阈值，保持当前目标跟踪参数更新速度的同时，调整搜索范围，先搜索所述运动置信区域。

本发明还提供另外一种目标跟踪方法，包括：

读取当前跟踪方法所用跟踪特征，判断所述跟踪特征是否只包括颜色信息；

若否，则不切换所述跟踪特征；

若是，则读取所述图像处理单元获取的图像特征参数的统计信息以判断图像是否为黑白模式，若是，则读取所述锐度计算模块获取的图像中每个像素点的锐度信息，利用所述图像每人像素点的锐度信息将所述跟踪特征从三通道颜色切换为亮度、水平方向锐度和垂直方向锐度，若否，则将所述跟踪特征从亮度、水平方向锐度和垂直方向锐度切换成三通道颜色。

在本发明提供的目标跟踪系统及方法中，所述目标跟踪系统包括图像处理单元和目标跟踪单元，所述图像处理单元包括统计模块、统计可信度计算模块、锐度计算模块、运动自适应判定模块和帧缓存模块，所述目标跟踪单元包括目标跟踪参数控制模块和目标跟踪特征计算模块，所述目标跟踪参数控制模块通过读取所述统计模块的统计信息和所述运动自适应判定模块得到的跟踪目标的运动信息来调整当前目标跟踪参数的更新速度以对目标进行跟踪，以及通过读取所述统计模块的统计信息来判断是否需要切换目标跟踪方法所用跟踪特征，若需要，则所述目标跟特征计算模块读取所述统计可信度计算模块获取的图像每个像素点的锐度信息以对目标跟踪方法所用跟踪特征进行切换，如此，便通过所述图像处理单元和所述目标跟踪单元的联用提升了目标跟踪的鲁棒性与准确度。

附图说明

图1是本发明实施例的目标跟踪系统的连接关系示意图；

图2是本发明实施例提供的一种目标跟踪方法的过程示意图；

图3是本发明实施例提供的另一种目标跟踪方法的过程示意图；

图4是本发明实施例中的筛选运动置信区域的示意图；

其中，各附图标记说明如下：

1-图像处理单元；11-统计模块；12-统计可信度计算模块；13-锐度计算模块；14-帧缓存模块；15-运动自适应判定模块；2-目标跟踪单元；21-目标跟踪参数控制模块；22-目标跟踪特征计算模块；3-图像输入单元。

具体实施方式

以下结合附图和具体实施例对本发明提出的目标跟踪系统及方法作进一步详细说明。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。此外，附图所展示的结构往往是实际结构的一部分。特别的，各附图需要展示的侧重点不同，有时会采用不同的比例。

首先，请参阅图1，其为本发明实施例提供的目标跟踪系统的连接关系示意图，本发明提供的目标跟踪系统包括图像处理单元1和目标跟踪单元2。

所述图像处理单元1包括统计模块11、统计可信度计算模块12、锐度计算模块13、运动自适应判定模块15帧缓存模块1414和运动自适应判定模块15；所述目标跟踪单元2包括目标跟踪参数控制模块21和目标跟踪特征计算模块22。

所述统计模块11，用于统计每帧图像的亮度、色度和锐度，或用于统计每帧图像的色度和锐度；具体的，所述统计模块11可为3A统计模块或2A模块，若所述图像处理单元1支持自动对焦(AF)，则所述统计模块11为3A统计模块，用于统计图像的亮度、色度和锐度，若所述图像处理单元1不支持AF，则所述统计模块11为2A统计模块，用于统计图像的亮度和色度。

所述统计可信度计算模块12，用于获取感光度信息以判断所述统计模块11的统计信息是否可信，并将判断的结果传输给所述目标跟踪参数控制模块21。所述感光度信息包括曝光时间、模拟增益和数字增益。判断的过程包括：对曝光时间、模拟增益和数字增益进行换算，若换算后的指标小于阈值，则认为所述统计模块11的统计信息可信。比如一个典型的阈值是5000，即若换算后的指标小于5000，则认为所述统计模块11的统计信息可信。

所述锐度计算模块13，用于得到图像中每个像素点的锐度信息。与所述统计模块11得到的锐度信息不同的是，所述统计模块11获取的整个图像的锐度信息，而所述锐度计算模块13得到的锐度信息是每个像素点的锐度信息，比较来说，精度更高。

所述帧缓存模块14用于缓存所述统计模块11统计的累加帧信息；所述累加帧信息具体可通过时域滤波预存在所述帧缓存模块14中。

所述运动自适应判定模块15，用于获取当前帧图像的帧信息并从所述帧缓存模块14中读取累加帧信息以得到跟踪目标当前的运动信息。

所述目标跟踪参数控制模块21，用于在对目标进行跟踪的同时在接收到所述统计可信度计算模块12的判断结果为可信之后，读取所述统计信息和所述跟踪目标当前的运动信息，根据所述统计信息和所述跟踪目标当前的运动信息的变化调整当前目标跟踪参数，以及判断是否切换当前目标跟踪方法所用跟踪特征。所述跟踪特征包括颜色、纹理和/或梯度直方图。

所述目标跟踪参数控制模块21根据所述统计模块11的统计信息和所述跟踪目标当前的运动信息的变化调整当前目标跟踪参数的前提是所述统计模块11的统计信息的可信度大于阈值，具体的，若所述统计可信度计算模块12判断的结果是所述统计模块11的统计信息的可信度大于或等于阈值，则所述目标跟踪参数控制模块21利用所述统计模块11的统计信息调整当前目标跟踪参数，若所述统计可信度计算模块12判断的结果是所述统计模块11的统计信息的可信度小于阈值，则所述目标跟踪参数控制模块21使用默认当前目标跟踪参数。另外，这里所述调整当前目标跟踪参数具体是指调整当前目标跟踪参数更新速度。

所述目标跟踪特征计算模块22，用于接收所述目标跟踪参数控制模块21的判断结果，以决定是否读取所述锐度计算模块13获取的图像中每个像素点的锐度信息以对当前目标跟踪方法所用跟踪特征进行切换。若所述目标跟踪参数控制模块21判断需要切换目标跟踪方法所用跟踪特征，则读取所述锐度计算模块13获取的每个像素点的锐度信息对所述跟踪特征对进行切换。

实际应用时，所述目标跟踪系统通过所述图像处理单元1与一图像输入单元3相连，以从所述图像输入单元3中获取所述统计模块11的统计信息、所述感光度信息、所述每个像素点的锐度信息等等。

基于以上所述目标跟踪系统，本发明实施例提供一种目标跟踪方法，以调整当前目标跟踪参数的更新速度。

请参阅图2，其为本发明实施例提供的用以调整当前目标跟踪参数的更新速度的目标跟踪方法的流程示意图，包括：

读取所述运动自适应判定模块15得到的所述跟踪目标当前的运动信息，根据所述跟踪目标当前的运动信息，在当前目标搜索区域内筛选出运动置信区域；

计算所述运动置信区域的面积，并和上一帧运动置信区域的面积比较；

若比较值小于或等于阈值，则保持默认当前目标跟踪参数更新速度，且优选地，保持默认当前目标跟踪参数更新速度的同时，调整搜索范围，先搜索所述运动置信区域，在所述运动置信区域内进行特征匹配，达到降低搜索代价，同时除低干扰，减少目标中心坐标漂移概率的目的。

若比较值大于阈值，则需要判断是由于遮挡导致还是环境光照突变或者镜头调节焦距等原因导致的，此时读取所述统计模块11的统计信息，看所述统计模块11的统计信息是否发生变化，根据所述统计模块11的统计信息的变化情况调整当前目标跟踪参数更新速度。

其中，根据所述统计模块11的统计信息的变化情况调整当前目标跟踪参数更新速度包括：

若所述统计模块11的统计信息没有发生变化，则降低当前目标跟踪参数的更新速度；

若所述统计模块11的统计信息发生变化，则判断当前跟踪方法所用跟踪特征是否受所述统计模块11的统计信息的变化的影响，若是，则降低当前目标跟踪参数的更新速度，若否，则保持默认当前目标跟踪参数更新速度。

例如，对于支持AF的所述图像处理单元1，所述目标跟踪单元2读取的所述统计模块11的统计信息包括图像的亮度、色度和锐度，若图像的亮度、色度和锐度统计信息均没有发生变化，则认定所述运动置信区域的剧烈变化很大概率上是由于遮挡导致的，此时降低当前目标跟踪参数的更新速度以防止目标跟踪方法所用跟踪特征在更新过程中融入遮挡物体的特征。

若图像的亮度、色度或锐度统计信息发生变化，则认定前端摄像机大概率或即将进行自动曝光、自动白平衡或自动对焦/变焦操作。此时需要进一步判断跟踪方法所用跟踪特征是否受亮度、色度和/或锐度统计信息的变化的影响，若是，则降低当前目标跟踪参数的更新速度，若否，则保持默认当前目标跟踪参数更新速度。

具体地，若所述统计模块11的统计信息中亮度、色度和/或锐度统计信息至少有一个在发生变化，则认为此时该统计信息对应的环境条件在发生变化。如自动曝光对应的亮度统计信息整体变化，则认为场景照度在变化；自动白平衡对应的颜色统计信息整体变化，则认为场景色温在变化；自动对焦对应的锐度统计信息整体变化，则认为场景锐度在变化。此时需要根据当前目标跟踪方法所述跟踪特征进一步判断。若跟踪特征中只包含锐度相关信息，则说明跟踪特征只受锐度统计信息的影响，故在锐度统计信息整体变化时降低参数更新速度，而在自动曝光或自动白平衡统计信息变化时使用默认参数更新速度。类似地，若跟踪特征中只包含颜色相关信息，则在亮度或颜色统计信息整体发生变化时降低参数更新速度，而在锐度统计信息变化时使用默认参数更新速度。

另外，根据所述跟踪目标当前的运动信息在当前目标搜索区域内筛选出运动置信区域包括：

将所述跟踪目标当前的运动信息在空域及时域上进行滤波操作；以及

计算经滤波操作后的所述跟踪目标当前的运动信息的外接矩形，以得到所述运动置信区域。

其中，所述滤波操作包括中值滤波、腐蚀和/或膨胀等处理。

请参考图4，图4为筛选运动置信区域的示意图，图4中4a示意了经滤波操作后的所述跟踪目标当前的运动信息，相应的，4b示意了经滤波操作后的所述跟踪目标当前的运动信息的外接矩形，即筛选得到的运动置信区域。

本发明实施例提供的所述目标跟踪方法，通过将所述目标跟踪单元2与所述图像处理单元1联用，基于所述图像处理单元1获取的图像特征参数的统计信息，对当前目标跟踪参数的更新速度进行调整以适应不同的应用场景，防止目标跟踪坐标漂移，提高了目标跟踪精度。

此外，基于以上所述目标跟踪系统，本发明实施例还提供另一种目标跟踪方法，以补充跟踪特征。

请参阅图3，其为本发明实施例提供的用以切换跟踪特征的目标跟踪方法的流程示意图，包括：

读取当前跟踪方法所用跟踪特征，判断所述跟踪特征是否只包括颜色信息；

若否，则不切换所述跟踪特征；

若是，则读取所述图像处理单元1获取的图像特征参数的统计信息以判断图像是否为黑白模式，若是，则读取锐度计算模块13所述锐度计算模块13获取的图像每个像素点的锐度信息，利用所述图像每人像素点的锐度信息将所述跟踪特征从三通道颜色(红色、黄色、蓝色)切换为亮度、水平方向锐度和垂直方向锐度，若否，则将所述跟踪特征从亮度、水平方向锐度和垂直方向锐度切换成三通道颜色。

当前端摄像机由于环境光照变化由彩色模式切换为黑白模式时，原来的三通道颜色特征会切换为单通道亮度特征，导致跟踪精度下降。此时复用所述锐度计算单元获取的每个像素点的锐度统计信息，可以在不增加额外运算代价的前提下增加特征通道，增强极限条件下的跟踪效果。

综上所述，本发明提供的跟踪装置及方式提升了目标跟踪的鲁棒性与准确度。

上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。

Claims (10)

1.一种目标跟踪系统，其特征在于，所述目标跟踪系统包括图像处理单元和目标跟踪单元，所述图像处理单元包括统计模块、统计可信度计算模块、锐度计算模块、帧缓存模块和运动自适应判定模块，所述目标跟踪单元包括目标跟踪参数控制模块和目标跟踪特征计算模块；

所述统计模块用于统计每帧图像的亮度、色度和锐度，或用于统计每帧图像的色度和亮度；

所述统计可信度计算模块用于获取感光度信息以判断所述统计模块的统计信息是否可信，并将判断的结果传输给所述目标跟踪参数控制模块；

所述锐度计算模块用于得到图像中每个像素点的锐度信息；

所述帧缓存模块用于缓存累加帧信息；

所述运动自适应判定模块用于获取当前帧图像的帧信息并从所述帧缓存模块中读取累加帧信息以得到跟踪目标当前的运动信息；

所述目标跟踪参数控制模块用于在对目标进行跟踪的同时在接收到所述统计可信度计算模块的判断结果为可信之后，读取所述统计信息和所述跟踪目标当前的运动信息，根据所述统计信息和所述跟踪目标当前的运动信息的变化调整当前目标跟踪参数以及判断是否切换当前目标跟踪方法所用跟踪特征并将判断的结果发送给所述目标跟踪特征计算模块；

所述目标跟踪特征计算模块用于接收所述目标跟踪参数控制模块的判断结果，以决定是否读取所述锐度计算模块获取的图像中每个像素点的锐度信息以对当前目标跟踪方法所用跟踪特征进行切换。

2.如权利要求1所述的目标跟踪系统，其特征在于，所述统计模块为3A统计模块，用于统计图像的亮度、色度和锐度。

3.如权利要求1所述的目标跟踪系统，其特征在于，所述统计模块为2A统计模块，用于统计图像的亮度和色度。

4.如权利要求1所述的目标跟踪系统，其特征在于，所述跟踪特征包括颜色、纹理和/或梯度直方图。

5.如权利要求1所述的目标跟踪系统，其特征在于，所述感光度信息包括曝光时间、模拟增益和数字增益。

6.一种采用如权利要求1～5中任一项所述的目标跟踪系统的目标跟踪方法，其特征在于，包括：

读取所述运动自适应判定模块得到的所述跟踪目标当前的运动信息，根据所述跟踪目标当前的运动信息，在当前目标搜索区域内筛选出运动置信区域；

计算所述运动置信区域的面积，并和上一帧运动置信区域的面积比较；

若比较值小于或等于阈值，则保持当前目标跟踪参数更新速度；

若比较值大于阈值，则读取所述统计模块的统计信息，并根据所述统计模块的统计信息的变化情况调整当前目标跟踪参数更新速度。

7.如权利要求6所述的目标跟踪方法，其特征在于，根据所述统计模块的统计信息的变化情况调整当前目标跟踪参数更新速度包括：

若所述统计模块的统计信息没有发生变化，则保持当前目标跟踪参数的更新速度；

若所述统计模块的统计信息发生变化，则判断当前跟踪方法所用跟踪特征是否受所述统计模块的统计信息的变化的影响，若是，则降低当前目标跟踪参数的更新速度，若否，则保持当前目标跟踪参数更新速度。

8.如权利要求6所述的目标跟踪方法，其特征在于，根据所述跟踪目标当前的运动信息在当前目标搜索区域内筛选出运动置信区域包括：

将所述跟踪目标当前的运动信息在空域及时域上进行滤波操作；以及

计算经滤波操作后的所述跟踪目标当前的运动信息的外接矩形，以得到所述运动置信区域。(比如中值滤波或腐蚀、膨胀等处理；然后计算滤波平滑后的运动信息外接矩形，以得到所述置运动置信区域。)

9.如权利要求6所述的目标跟踪方法，其特征在于，若比较值小于或等于阈值，保持当前目标跟踪参数更新速度的同时，调整搜索范围，先搜索所述运动置信区域。

10.一种采用如权利要求1～5中任一项所述的目标跟踪系统的目标跟踪方法，其特征在于，包括：

读取当前跟踪方法所用跟踪特征，判断所述跟踪特征是否只包括颜色信息；

若否，则不切换所述跟踪特征；

若是，则读取所述图像处理单元获取的图像特征参数的统计信息以判断图像是否为黑白模式，若是，则读取所述锐度计算模块获取的图像中每个像素点的锐度信息，利用所述图像每人像素点的锐度信息将所述跟踪特征从三通道颜色切换为亮度、水平方向锐度和垂直方向锐度，若否，则将所述跟踪特征从亮度、水平方向锐度和垂直方向锐度切换成三通道颜色。

Images