CN113256686B - 视觉准确目标跟踪系统及方法 - Google Patents

Abstract

本发明提供了一种视觉准确目标跟踪系统及方法，视觉准确目标跟踪系统包括视频数据单元、目标检测单元、距离计算单元、运动趋势计算单元和判断单元，距离计算单元包括：第一位置信息运算模块，第二位置信息运算模块，距离综合运算模块，通过距离计算和运动趋势轨迹共同计算的方式，解决了视觉目标跟踪计算不准确的问题，提高了目标追踪的准确性。所述距离计算单元能快速、准确地计算出两个目标之间的距离。所述方法包括获取若干原始目标和若干追踪目标，计算原始目标与追踪目标的距离，得到若干跟踪距离；预设追踪距离阈值，依据跟踪距离和追踪距离阈值，或依据原始目标的运动趋势轨迹，判断原始目标与追踪目标是否为同一目标。

Description

视觉准确目标跟踪系统及方法

技术领域

本发明涉及视觉目标跟踪技术领域，尤其涉及一种视觉准确目标跟踪系统及方法。

背景技术

运动目标跟踪是一种针对视频信号进行处理、采样和检测的方法，通过某些具体特征对图像包含的特定区域进行检测和标记。近些年众多学者提出了很多优秀的跟踪算法，常用的跟踪算法主要有以下三种思路：基于特征匹配的方法、基于区域相关度的方法和基于模型的方法。

通过相邻两帧目标的之前距离的计算来追踪目标，是视觉目标跟踪方法之一。然而，如果两个目标之间存在重叠或距离特别近，会存在目标跟踪计算错误的问题。

公布号为CN 108320298 A的发明专利申请，公开了一种视觉目标跟踪方法，该方法包括：从视频中读取当前帧图像；根据模板信息对所述当前帧图像执行视觉目标跟踪处理，其中，所述模板信息用于跟踪所述视频中待跟踪的视觉目标；其中，所述视觉目标跟踪处理包括：确定所述当前帧图像的置信图信息；识别所述当前帧图像中的被遮挡区域；根据所述置信图信息及所述被遮挡区域确定所述视觉目标在所述当前帧图像中对应的跟踪结果区域信息。通过在视觉目标跟踪过程中计时为每个像素分配不同的匹配置信度，将低置信度分配给被噪声干扰的像素，结合置信度图与遮挡区域等确定跟踪结果区域信息，该跟踪方法在各种干扰的环境下都能取得很好的跟踪结果，大大提升了跟踪的准确率。但是，该专利的目的是提高复杂环境下的视觉目标跟踪的准确性，并未解决两个目标过近或重叠时造成视觉目标跟踪错误或距离计算错误的问题。

因此，有必要提供一种视觉准确目标跟踪系统及方法以解决上述的现有技术中存在的问题。

发明内容

本发明的目的在于提供一种视觉准确目标跟踪系统及方法，以解决两个目标之间存在重叠或距离特别近，会存在目标跟踪计算错误的问题。

为实现上述目的，本发明的所述视觉准确目标跟踪系统包括视频数据单元、目标检测单元、距离计算单元、运动趋势计算单元和判断单元，所述目标检测单元与所述视频数据单元和所述距离计算单元连接，所述判断单元与所述目标检测单元、所述距离计算单元和所述运动趋势计算单元连接；

所述视频数据单元用于提供视频数据，所述目标检测单元用于从所述视频数据中获取若干原始目标和若干追踪目标，所述距离计算单元用于计算所述原始目标与所述追踪目标的距离，所述运动趋势计算单元用于计算所述原始目标的运动趋势轨迹，所述判断单元用于判断所述追踪目标与所述原始目标是否为同一目标；

所述距离计算单元包括：

第一位置信息运算模块，用于计算所述原始目标与所述追踪目标的第一距离矢量的平方；

第二位置信息运算模块，用于计算所述原始目标与所述追踪目标的第二距离矢量的平方；

距离综合运算模块，所述距离综合运算模块的输入端连接所述第一位置信息运算模块的输出端和第二位置信息运算模块的输出端，用于计算所述原始目标与追踪目标的距离的平方。

本发明的所述视觉目标跟踪系统的有益效果在于：

通过目标检测单元从所述视频数据单元中获取若干原始目标和若干追踪目标，再通过所述距离计算单元计算原始目标与追踪目标的距离，通过运动趋势计算单元计算原始目标的运动趋势，所述判断单元依据原始目标与追踪目标的距离及原始目标的运动趋势来综合判断，与所述原始目标为同一目标的追踪目标。通过距离计算和运动趋势轨迹共同计算的方式，弥补了只通过距离计算和判断视觉追踪目标的缺陷，解决了两个目标之间距离较近或重叠而造成的视觉目标跟踪计算不准确的问题，提高了目标追踪的准确性。距离计算单元包括第一位置信息运算模块、第二位置信息运算模块和距离综合运算模块，先计算原始目标与追踪目标的第一距离矢量的平方和第二距离矢量的平方，然后通过距离综合运算模块综合计算原始目标与追踪目标的距离的平方，能快速、准确地计算出原始目标与追踪目标之间的距离。

优选地，所述第一位置信息运算模块包括第一距离矢量计算模块和第一乘法器，所述第一距离矢量计算模块的输出端与所述第一乘法器的输入端连接，所述第一乘法器的输出端与所述距离综合运算模块的第一输入端连接。

进一步优选地，所述第一距离矢量计算模块包括，第一减法器、第二减法器和第三减法器，所述第三减法器的两个输入端分别连接所述第一减法器的输出端和所述第二减法器的输出端，所述第三减法器的输出端连接所述第一乘法器的输入端；

所述第一减法器依据所述原始目标的第一横坐标与所述追踪目标的第一横坐标计算并输出第一横坐标差值，所述第二减法器依据所述原始目标的第二横坐标与所述追踪目标的第二横坐标计算并输出第二横坐标差值；

所述第三减法器依据所述第一横坐标差值与所述第二横坐标差值，输出第一距离矢量至所述第一乘法器，所述第一乘法器输出所述第一距离矢量的平方。

优选地，所述第二位置信息运算模块包括第二距离矢量计算模块和第二乘法器，所述第二距离矢量计算模块的输出端与所述第二乘法器的输入端连接，所述第二乘法器的输出端与所述距离综合运算模块的第二输入端连接。

进一步优选地，所述第二距离矢量计算模块包括第四减法器、第五减法器和第六减法器，所述第六减法器的两个输入端分别连接所述第四减法器的输出端和所述第五减法器的输出端，所述第六减法器的输出端连接所述第二乘法器的输入端；

所述第四减法器依据所述原始目标的第一纵坐标与所述追踪目标的第一纵坐标计算并输出第一纵坐标差值，所述第五减法器依据所述原始目标的第二纵坐标与所述追踪目标的第二纵坐标计算并输出第二纵坐标差值；

所述第六减法器依据所述第一纵坐标差值与所述第二纵坐标差值，输出第二距离矢量至所述第二乘法器，所述第二乘法器输出所述第二距离矢量的平方。

优选地，所述距离综合运算模块包括汇总加法器和除法器，所述汇总加法器的两个输入端分别连接所述第一位置信息运算模块的输出端和第二位置信息运算模块的输出端，所述除法器的输入端与所述汇总加法器的输入端连接；

所述汇总加法器依据所述第一距离矢量的平方与所述第二距离矢量的平方计算得出距离矢量平方和；

所述除法器通过所述距离矢量平方和除以预设常数，得到所述原始目标与追踪目标的距离的平方。其有益效果在于：通过距离综合运算模块综合所述第一距离矢量的平方与所述第二距离矢量的平方，计算获取所述原始目标与追踪目标的距离的平方，从而进一步得到两个目标之间的距离，从而提高了视觉跟踪目标的距离计算的精度和速度。

本发明还提供一种视觉准确目标跟踪方法，包括步骤：

S1：检测视频数据以获取第一帧图和第二帧图，检测第一帧图以获取若干原始目标，检测第二帧图以获取若干追踪目标；

S2：计算所述原始目标与所述追踪目标的距离，得到若干跟踪距离；

S3：预设追踪距离阈值，依据所述跟踪距离和所述追踪距离阈值，或依据所述原始目标的运动趋势轨迹，判断所述追踪目标与所述原始目标是否为同一目标。

本发明的所述视觉准确目标跟踪方法的有益效果在于：

通过检测视频数据获取第一帧图及若干原始目标、第二帧图及若干追踪目标，通过预设追踪距离阈值，再依据跟踪距离及追踪距离阈值，或依据原始目标的运动趋势轨迹，来判断原始目标的同一目标。视觉准确目标跟踪方法简单有序，先通过距离计算来确认若干跟踪距离，然后通过与阈值的比较，通过原始目标的运动趋势轨迹，来共同判断所述原始目标的追踪目标。通过距离和运动趋势轨迹共同计算判断原始目标的追踪目标，提高了视觉目标跟踪的准确性，并且弥补了距离法计算视觉目标跟踪的缺陷，提高了视觉目标跟踪的容错性。

优选地，所述第一帧图为当前帧图片，所述第二帧图为所述第一帧图的后一帧图片。

优选地，所述步骤S1还包括，设置目标库和坐标列表，将所述第一帧图中所有的原始目标和所述第二帧图中所有的追踪目标保存于所述目标库。

进一步优选地，步骤S2中，所述计算所述原始目标与所述追踪目标的距离包括步骤：

S201：获取所述第一帧图中所有原始目标的中心坐标和所述第二帧图中所有追踪目标的中心坐标，并将所述原始目标的中心坐标和所述追踪目标的中心坐标保存于所述坐标列表；

S202：每次从所述目标库中取出任一个未计算的原始目标的和所有追踪目标后，依据所述坐标列表中所述原始目标的中心坐标和追踪目标的中心坐标，计算所述未计算的原始目标与所述所有追踪目标的距离，获得若干跟踪距离。其有益效果在于：通过目标库保存若干原始目标和追踪目标，通过坐标列表保存原始目标的中心坐标和追踪目标的中心坐标，每次计算距离时，从目标库中取出相应的原始目标和所有的追踪目标，并从坐标列表中取出相应的原始目标中心坐标和追踪目标中心坐标，提高视觉目标跟踪计算的有序性和准确性。

优选地，步骤S3中，所述预设追踪距离阈值后，当判断只有一个所述跟踪距离小于或等于所述追踪距离阈值时，则判定与所述原始目标距离最短的追踪目标与所述原始目标为同一目标。

优选地，步骤S3中，还包括预设消失距离阈值，当判断若干个所述跟踪距离大于所述追踪距离阈值且小于所述消失距离阈值，则判定与所述原始目标距离最短的追踪目标与所述原始目标为同一目标。

进一步优选地，当判断所有的所述跟踪距离均大于所述消失距离阈值，则判定所述原始目标进入消失状态。

优选地，步骤S3中，所述预设追踪距离阈值后，当判断至少两个跟踪距离小于或等于所述追踪距离阈值，则执行步骤S4；所述步骤S4包括，依据所述原始目标的运动趋势轨迹，判断所述追踪目标与所述原始目标是否为同一目标。

进一步优选地，所述步骤S4中，依据所述原始目标的运动趋势轨迹，判断所述追踪目标与所述原始目标是否为同一目标包括：

S401：标记所述跟踪距离小于所述追踪距离阈值的对应的若干追踪目标；

S402：拟合所述原始目标的运动趋势轨迹，判定与所述原始目标的运动趋势轨迹最近的标记的追踪目标为所述原始目标的同一目标。

进一步优选地，步骤S402包括：

S4021：依据所述原始目标所在的第一帧图的至少前两帧图和至少后三帧图，拟合所述原始目标的运动轨迹、运动方向及运动趋势，作出运动轨迹线；

S4022：依次计算每一个所述标记的追踪目标与所述原始目标的运动轨迹相似度、运动方向相似度和运动趋势相似度，并依据所述运动轨迹相似度、所述运动方向相似度和所述运动趋势相似度计算相似度平均值；

S4023：判断所述相似度平均值最大的所述标记的追踪目标，为所述原始目标的同一目标。步骤S4021至4023的有益效果在于：通过原始目标的前若干帧图和后若干帧图拟合原始目标的运动轨迹、运动方向和运动趋势，再依次计算每一个标记的追踪目标与原始目标运动轨迹相似度、运动方向相似度和运动趋势相似度，并计算相似度平均值，得出相似度平均值最大的标记的追踪目标与原始目标为同一目标的结论。通过计算运动轨迹、方向和趋势的相似度，并依据相似度平均值来确认追踪目标与原始目标的相似度，从而进一步提升了视觉目标跟踪的准确性和可靠性。

附图说明

图1为本发明实施例的视觉准确目标跟踪系统的结构框图；

图2为本发明实施例的距离计算单元的结构示意图；

图3为本发明实施例的视觉准确目标跟踪方法的流程图；

图4为本发明实施例的计算原始目标与追踪目标的距离的流程图；

图5为本发明实施例的步骤S3的具体流程图；

图6为本发明实施例的步骤S4的具体流程图；

图7为本发明实施例的步骤S402的具体流程图；

图8为本发明实施例的第一帧图的示意图；

图9为本发明实施例的原始目标的运动轨迹线示意图；

图10为本发明实施例的第一运动轨迹线示意图；

图11为本发明实施例的第二运动轨迹线示意图；

图12为本发明实施例的第一运动轨迹线的运动方向示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。除非另外定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本文中使用的“包括”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。

针对现有技术存在的问题，图1为本发明的视觉准确目标跟踪系统的结构框图，参照图1本发明的实施例提供了一种视觉准确目标跟踪系统，包括距离计算单元1、视频数据单元 2、目标检测单元3、运动趋势计算单元5和判断单元4，所述目标检测单元3与所述视频数据单元2和所述距离计算单元1连接，所述判断单元4与所述目标检测单元3、所述距离计算单元1和所述运动趋势计算单元5连接；

所述视频数据单元2用于提供视频数据，所述目标检测单元3用于从所述视频数据单元2中的视频数据中获取第一帧图和第二帧图，并于第一帧图中获取若干原始目标，于第二帧图中获取若干追踪目标。所述距离计算单元1用于计算所述原始目标与所述追踪目标的距离，所述运动趋势计算单元5用于计算所述原始目标的运动趋势轨迹，所述判断单元4用于判断与所述原始目标为同一目标的追踪目标；

图2为本发明的距离计算单元的结构示意图。参照图2，所述距离计算单元1包括：

第一位置信息运算模块10，用于计算所述原始目标与所述追踪目标的第一距离矢量的平方；第二位置信息运算模块11，用于计算所述原始目标与所述追踪目标的第二距离矢量的平方；

距离综合运算模块12，所述距离综合运算模块的输入端连接所述第一位置信息运算模块的输出端和第二位置信息运算模块的输出端，依据所述第一距离矢量的平方与所述原始目标与所述追踪目标的第二距离矢量的平方计算所述原始目标与所述追踪目标的距离的平方。

本发明的所述视觉目标跟踪系统的优点在于：

通过目标检测单元3从所述视频数据单元中获取若干原始目标和若干追踪目标，再通过所述距离计算单元1计算原始目标与追踪目标的距离，通过运动趋势计算单元5计算原始目标的运动趋势，所述判断单元4依据原始目标与追踪目标的距离及原始目标的运动趋势来综合判断，与所述原始目标与追踪目标是否为同一目标。通过距离计算和运动趋势轨迹共同计算的方式，弥补了只通过距离计算和判断视觉追踪目标的缺陷，解决了两个目标之间距离较近或重叠而造成的视觉目标跟踪计算不准确的问题，提高了目标追踪的准确性。距离计算单元1通过距离综合运算模块12综合计算原始目标与追踪目标的第一距离矢量的平方和第二距离矢量的平方，计算原始目标与追踪目标的距离的平方，能快速、准确地计算出原始目标与追踪目标之间的距离。

作为本发明一种优选的实施方式，所述第一位置信息运算模块10包括第一距离矢量计算模块101和第一乘法器102，所述第一距离矢量计算模块101的输出端与所述第一乘法器102的输入端连接，所述第一乘法器102的输出端与所述距离综合运算模块12的第一输入端连接；所述第一距离矢量计算模块101输出第一距离矢量至所述第一乘法器102，所述第一乘法器102输出所述第一距离矢量的平方至所述距离综合运算模块12。

作为本发明一种优选的实施方式，所述第一距离矢量计算模块101包括，第一减法器1011、第二减法器1012和第三减法器1013，所述第三减法器1013的两个输入端分别连接所述第一减法器1011的输出端和所述第二减法器1012的输出端，所述第三减法器1013的输出端连接所述第一乘法器102的输入端；

所述第一减法器1011依据所述原始目标的第一横坐标和所述追踪目标的第一横坐标计算并输出第一横坐标差值，所述第二减法器1012依据所述原始目标的第二横坐标和所述追踪目标的第二横坐标计算并输出第二横坐标差值；

所述第三减法器1013依据所述第一横坐标差值和所述第二横坐标差值，输出所述第一距离矢量，第三减法器1013输出所述第一距离矢量至所述第一乘法器102，第一乘法器102使第一距离矢量自乘，得到第一距离矢量的平方。

作为本发明一种优选的实施方式，所述第二位置信息运算模块11包括第二距离矢量计算模块111和第二乘法器112，所述第二距离矢量计算模块111的输出端与所述第二乘法器112的输入端连接，所述第二乘法器112的输出端与所述距离综合运算模块12的第二输入端连接；所述第二距离矢量计算模块111输出第二距离矢量至所述第二乘法器112，所述第二乘法器112输出所述第二距离矢量的平方至所述距离综合运算模块12。

作为本发明一种优选的实施方式，所述第二距离矢量计算模块111包括第四减法器1111、第五减法器1112和第六减法器1113，所述第六减法器1113的两个输入端分别连接所述第四减法器1111的输出端和所述第五减法器1112的输出端，所述第六减法器1113的输出端连接所述第二乘法器112的输入端；

所述第四减法器1111依据所述原始目标的第一纵坐标和所述追踪目标的第一纵坐标计算并输出第一纵坐标差值，所述第五减法器1112依据所述原始目标的第二纵坐标和所述追踪目标的第二纵坐标计算并输出第二纵坐标差值；所述第六减法器1113依据所述第一纵坐标差值和第二纵坐标差值，输出所述第二距离矢量。

作为本发明一种优选的实施方式，所述距离综合运算模块12包括汇总加法器121和除法器122，所述汇总加法器121的两个输入端分别连接所述第一位置信息运算模块10的输出端和第二位置信息运算模块11的输出端，即汇总加法器121的两个输入端分别连接第一乘法器102的输出端和第二乘法器112的输出端。所述除法器122的输入端与所述汇总加法器121的输入端连接；

所述汇总加法器121依据第一距离矢量的平方及第二距离矢量的平方计算得出距离矢量平方和；所述除法器122通过所述位置差值和除以预设常数，得到所述原始目标与追踪目标的距离的平方。可补充的是，所述除法器122还设置一常数输入端1221，用于输入所述预设常数。其优点在于，通过距离综合运算模块12综合所述第一距离矢量的平方和第二距离矢量的平方，计算获取所述原始目标与追踪目标的距离的平方，从而进一步得到两个目标之间的距离，从而提高了视觉跟踪目标的距离计算的精度和速度。

作为本发明一种具体的实施方式，以矩形的原始目标和追踪目标为例，截取一个原始目标中的两个坐标为（ax1，ay1），（ax2，ay2）；截取另一个追踪目标的两个坐标（bx1，by1），（bx2，by2），则经过所述距离计算单元1的计算，可得到原始目标和追踪目标的中心距离平方值，具体计算方式如下。

将ax1、bx1输入第一减法器1011，第一减法器1011输出第一位置信息的第一横坐标差值（bx1-ax1）；将ax2、bx2输入第二减法器1012，第二减法器1012输出第二横坐标差值（bx2-ax2）；第三减法器1013接收第一减法器1011输出的（bx1-ax1）及第二减法器1012输出的（bx2-ax2）后，输出第一距离矢量dx=（bx2-ax2）-（bx1-ax1）；第一乘法器102使第一距离矢量dx自乘，得到第一距离矢量的平方dx×dx。

将ay1、by1输入第三减法器1111，第三减法器1111输出第一纵坐标差值（by1-ay1）；将ay2、by2输入第四减法器1112，第四减法器1112输出第二纵坐标差值（by2-ay2）；第六减法器1113接收第三减法器1111输出的（by1-ay1）、第四减法器1112输出的（by2-ay2）后，输出第二距离矢量dy=（by2-ay2）-（by1-ay1）；第二乘法器112使第二距离矢量dy自乘，得到第二距离矢量的平方dy×dy。

所述第一乘法器102输出dx×dx至所述汇总加法器121，所述第二乘法器输出dy×dy至所述汇总加法器121，汇总加法器121输出dx×dx+dy×dy至所述除法器122。除法器122输出距离的平方D=（dx×dx+dy×dy）/4，其中4为预设常数。

依据上述计算步骤，依据原始目标的坐标（ax1，ay1），（ax2，ay2），和追踪目标的坐标（bx1，by1），（bx2，by2），实现了原始目标与追踪目标的距离的计算。距离计算模块1执行的计算公式如下：

dx=（bx2-ax2）-（bx1-ax1）；

dy=（by2-ay2）-（by1-ay1）；

D=（dx×dx+dy×dy）/4。

通过距离计算模块1计算出原始目标与追踪目标的距离的平方，避免得出负数距 离值，便于比较。原始目标与追踪目标的实际距离为距离的平方的开平方，即原始目标与追 踪目标的实际距离

图3为本发明的视觉准确目标跟踪方法的流程图。参照图3，本发明还提供一种视觉准确目标跟踪方法，包括步骤：

S1：检测视频数据以获取第一帧图和第二帧图，检测第一帧图以获取若干原始目标，检测第二帧图以获取若干追踪目标；

S2：计算所述原始目标与所述追踪目标的距离，得到若干跟踪距离；

S3：预设追踪距离阈值，依据所述跟踪距离和所述追踪距离阈值，或依据所述原始目标的运动趋势轨迹，判断所述原始目标与追踪目标是否为同一目标；

S4：当判断至少两个跟踪距离小于或等于所述追踪距离阈值，则依据所述原始目标的运动趋势轨迹，判断与所述原始目标与追踪目标是否为同一目标。

本发明的所述视觉准确目标跟踪方法的优点在于：

通过检测视频数据获取第一帧图及若干原始目标、第二帧图及若干追踪目标，通过预设追踪距离阈值，再依据跟踪距离及追踪距离阈值，或依据原始目标的运动趋势轨迹，来判断原始目标的同一目标。视觉准确目标跟踪方法简单有序，先通过距离计算来确认若干跟踪距离，然后通过与阈值的比较，通过原始目标的运动趋势轨迹，来共同判断所述原始目标的追踪目标。通过距离和运动趋势轨迹共同计算判断原始目标的追踪目标，提高了视觉目标跟踪的准确性，并且弥补了距离法计算视觉目标跟踪的缺陷，提高了视觉目标跟踪的容错性。

作为本发明一种优选的实施方式，所述第一帧图为当前帧图片，所述第二帧图为所述第一帧图的后一帧图片。设第一帧图为视频数据中的第n帧图，则第二帧图为视频数据中的第n+1帧图。

作为本发明一种优选的实施方式，所述步骤S1还包括，设置目标库和坐标列表，将所述第一帧图中所有的原始目标和所述第二帧图中所有的追踪目标保存于所述目标库。

作为本发明一种优选的实施方式，步骤S2中，图4为本发明的计算原始目标与追踪目标的距离的流程图。参照图4，所述计算所述原始目标与所述追踪目标的距离包括步骤：

S201：获取所述第一帧图中所有原始目标的中心坐标和所述第二帧图中所有追踪目标的中心坐标，并将所述原始目标的中心坐标和所述追踪目标的中心坐标保存于所述坐标列表；

S202：每次从所述目标库中取出任一个未计算的原始目标的和所有追踪目标后，并从所述坐标列表中取出所述原始目标的中心坐标和所有追踪目标的中心坐标，计算所述未计算的原始目标与所述所有追踪目标的距离，获得若干跟踪距离。其优点在于：通过目标库保存若干原始目标和追踪目标，通过坐标列表保存原始目标的中心坐标和追踪目标的中心坐标，每次计算距离时，从目标库中取出相应的原始目标和所有的追踪目标，并从坐标列表中取出相应的原始目标中心坐标和追踪目标中心坐标，提高视觉目标跟踪计算的有序性和准确性。

作为本发明一种优选的实施方式，图5为本发明的步骤S3的具体流程图。参照图5，步骤S3中，所述预设追踪距离阈值后，执行步骤S301：当判断只有一个所述跟踪距离小于或等于所述追踪距离阈值时，则判定与所述原始目标距离最短的追踪目标与所述原始目标为同一目标。

作为本发明一种优选的实施方式，步骤S3中，所述预设追踪距离阈值后，执行步骤S302：当判断所有跟踪距离均大于所述追踪距离阈值后，预设消失距离阈值，所述消失距离阈值大于所述追踪距离阈值；

S303：当判断若干个所述跟踪距离大于所述追踪距离阈值且小于所述消失距离阈值，则判定与所述原始目标距离最短的追踪目标与所述原始目标为同一目标。

作为本发明一种优选的实施方式，还包括步骤S304：当判断所有的所述跟踪距离均大于所述消失距离阈值，则判定所述原始目标进入消失状态。原始目标进入消失状态的原因包括但不限于下述任意一种：

（1）原始目标被遮挡物遮挡，或因为光线原因而使视频数据的下一帧图即第二帧图未记录到所述原始目标，导致所述原始目标进入消失状态；

（2）原始目标在第一帧图和第二帧图时间内，位移距离大于所述原始目标与所述第一帧图的边界的距离，即原始目标的追踪目标位移出了第二帧图的记录范围，导致所述原始目标进入消失状态。

作为本发明一种优选的实施方式，图6为本发明的步骤S4的具体流程图。参照图6，步骤S4包括：

S401：标记所述跟踪距离小于所述追踪距离阈值的对应的若干追踪目标；

S402：拟合所述原始目标的运动趋势轨迹，判定与所述原始目标的运动趋势轨迹最近的标记的追踪目标，为所述原始目标的同一目标。

作为本发明一种优选的实施方式，图7为本发明的步骤S402的具体流程图。参照图7，步骤S402包括：

S4021：依据所述原始目标所在的第一帧图的至少前两帧图和至少后三帧图，拟合所述原始目标的运动轨迹、运动方向及运动趋势，作出运动轨迹线；

S4022：依次计算每一个所述标记的追踪目标与所述原始目标的运动轨迹相似度、运动方向相似度、运动趋势相似度，并依据所述运动轨迹相似度、所述运动方向相似度和所述运动趋势相似度计算相似度平均值；

S4023：判定所述相似度平均值最大的所述标记的追踪目标，为所述原始目标的同一目标。

步骤S4021至4023的优点在于：通过原始目标的前若干帧图和后若干帧图拟合原始目标的运动轨迹、运动方向和运动趋势，再依次计算每一个标记的追踪目标与原始目标运动轨迹相似度、运动方向相似度、运动趋势相似度，并计算相似度平均值，得出相似度平均值最大的标记的追踪目标与原始目标为同一目标的结论。通过计算运动轨迹、方向和趋势的相似度，并依据相似度平均值来确认追踪目标与原始目标的相似度，从而进一步提升了视觉目标跟踪的准确性和可靠性。

可补充的是，第一帧图为视频数据中的第n帧图，则第二帧图为视频数据中的第n+1帧图，其中的n≥3，且n为正整数，便于上述步骤S4021的实施：依据所述第一帧图的原始目标的至少前两帧图和至少后三帧图，即依据视频数据中第n-1帧图和第n-2帧图，第n帧图、第n+2帧图和第n+3帧图，拟合所述原始目标的运动轨迹、运动方向及运动趋势。

作为本发明一种具体地的实施方式，下面结合具体例子介绍本发明的视觉准确目标追踪方法：

图8为本发明的第一帧图的示意图。参照图8，检测视频数据以获取第一帧图A和第二帧图B，检测第一帧图A以获取若干原始目标A1，A2…An，检测第二帧图B以获取若干追踪目标B1，B2…Bn，其中n为正整数。

具体的，获取原始目标A1，A2…An的中心位置，对若干原始目标中心位置分别标记为A1[X(n,1),Y(n,1)]，A2[X(n,2),Y(n,2)]…An[X(n,n),Y(n,n)]（图中未示出）。获取若干追踪目标的中心位置，并对若干追踪目标的中心位置分别标记为B1[X(n+1,1),Y(n+1,1)]，B2[X(n+1,2),Y(n+1,2)]…Bn[X(n+1,n),Y(n+1,n)]（图中未示出）。

依据上述的原始目标的中心位置坐标A1[X(n,1),Y(n,1)]，A2[X(n,2),Y(n,2)]…An[X(n,n),Y(n,n)]和追踪目标的中心位置坐标B1[X(n+1,1),Y(n+1,1)], B2[X(n+1,2),Y(n+1,2)]…Bn[X(n+1,n),Y(n+1,n)]，计算第一原始目标A1与第二帧图B中所有的所述追踪目标B1，B2…Bn的距离，得到第一原始目标A1的若干跟踪距离d11，d12…d1n；计算第二原始目标A2与第二帧图B中所有的所述追踪目标B1，B2…Bn的距离，得到第二原始目标A2的若干跟踪距离d21，d22…d2n；依据上述方法，依次计算原始目标A3的若干跟踪距离d31，d32…d3n；…An的若干跟踪距离dn1，dn2…dnn。

预设追踪距离阈值L1和消失距离阈值L2，L2>L1。依据所述跟踪距离和所述追踪距离阈值L1，或依据所述原始目标的运动趋势轨迹，判定与所述原始目标为同一目标的追踪目标。

具体地，以第一原始目标A1为例，原始目标对应同一目标的追踪目标的判定分为以下步骤：

（Ⅰ）当判断第一原始目标A1有且只有一个跟踪距离d1p在追踪距离阈值和消失距离阈值范围内，即判断L1≤d1p≤L2，除Bp外的其他追踪目标与第一原始目标A1的距离均不在追踪距离阈值和消失距离阈值范围内，则说明与所述第一原始目标A1最短距离的追踪目标为第一原始目标A1的同一目标，d1p对应的是第一原始目标A1与追踪目标Bp的距离，因此，判定追踪目标Bp与第一原始目标A1为同一目标。

（Ⅱ）当判断第一原始目标A1的所有的跟踪距离均大于追踪距离阈值，且有至少两个跟踪距离d1p、d1q均在追踪距离阈值和消失距离阈值范围内时，即判断L1≤d1p≤L2，L1≤d1q≤L2，则判断与所述第一原始目标A1距离最近的追踪目标为所述第一原始目标A1的同一目标，如d1p为所述第一原始目标A1的最小跟踪距离d1p≤d1q，d1p对应的是第一原始目标A1与追踪目标Bp的距离，则判定追踪目标Bp与第一原始目标A1为同一目标。

（Ⅲ）当判断第一原始目标A1所有的跟踪距离均大于消失距离阈值时，此时判定所述原始目标进入消失状态。

（Ⅳ）当判断第一原始目标A1有且只有一个跟踪距离d1p小于等于追踪距离阈值L1时，即d1p≤L1时，说明与所述第一原始目标A1最短距离的追踪目标为第一原始目标A1的同一目标。因此，判定追踪目标Bp与第一原始目标A1为同一目标。

（Ⅴ）当判断第一原始目标A1有两个及以上跟踪距离d1r、d1s、d1t小于等于追踪阈值L1时，即0≤d1r≤L1，0≤d1s≤L1，0≤d1t≤L1时，此时不能通过比较跟踪距离的大小来判断所述第一原始目标A1的同一目标，此时标记跟踪距离d1r对应的追踪目标Br，标记跟踪距离d1s对应的追踪目标Bs，标记追踪距离d1t对应的追踪目标Bt。可通过运动趋势计算单元来计算第一原始目标A1的运动趋势，作出运动轨迹线，以运动方向相似度、运动轨迹相似度和运动趋势相似度共同判断，所述第一原始目标A1的同一目标。

具体地，以原始目标的整体运动方向和运动趋势为均为从左向右，通过运动趋势计算单元计算第一原始目标A1的运动趋势步骤为：

（a）获取第一帧图的前一帧图和前两帧图，以及获取第一帧图的后两帧图和后三帧图，图9为本发明的原始目标的运动轨迹线示意图。参照图8和图9，以及获取前一帧图中与第一原始目标A1为同一目标的C1、获取前两帧图中与第一原始目标A1为同一目标的D1、获取后两帧图中与第一原始目标A1为同一目标的E1，获取后三帧图中与第一原始目标A1为同一目标的F1。

获取目标D1、C1、A1、E1和F1的中心坐标，目标和对应的中心坐标分别为A1[X(n,1),Y(n,1)]，C1[X(n-1,1),Y(n-1,1)]，D1[X(n-2,1),Y(n-2,1)]，E1[X(n+2,1),Y(n+2,1)]，F1[X(n+3,1),Y(n+3,1)]（图中未示出）。通过平滑的曲线将目标D1、C1、A1、E1和F1的中心坐标依次串联连接，拟合原始目标的运动轨迹，获取原始目标的运动轨迹线l。

依据所述原始目标的运动轨迹线l，以及第一原始目标A1与D1、C1、E1、F1之间的距离，模拟推算出第一原始目标A1在第二帧图中对应同一目标的追踪目标，得到模拟追踪目标Bm的中心坐标Bm[X(n+1,m),Y(n+1,m)]（图中未示出）。

可说明的是，上述的第一原始目标A1在前一帧图C中对应的追踪目标C1、在前两帧图D中对应的追踪目标D1、在后两帧图E中对应的追踪目标E1、在后三帧图F中对应的追踪目标F1的计算方式均是依据上述的步骤（Ⅰ）或（Ⅱ）或（Ⅳ）判断而出。若通过步骤（Ⅰ）、（Ⅱ）和（Ⅳ）均判断不出第一原始目标A1在前一帧图、前两帧图、后两帧图、后三帧图中对应的追踪目标，则重新选择离第一帧图最近的前几帧图，如选择第一帧图的前三帧图、前四帧图，后五帧图，后六帧图，依次顺延，再次通过步骤（Ⅰ）、（Ⅱ）和（Ⅳ）寻找第一原始目标A1对应同一目标的追踪目标。在第一帧图的前三帧图、前四帧图和第一帧图的后四帧图、后五帧图中寻找第一原始目标A1的同一目标，直至通过通过步骤（Ⅰ）、（Ⅱ）和（Ⅳ）寻找到第一原始目标A1的同一目标。正在第一帧图的相邻帧图中寻找到原始目标A1的同一目标后，按照帧图顺序依次连接所述原始目标A1的同一目标，形成原始目标的运动轨迹线。

（b）依据原始目标的运动方向，分别连接目标A1和Br，连接目标A1和Bs，连接目标 A1和Bt，标A1和Bm从而分别依次获得

、

、

、

四个向量。依次计算向 量

与

的夹角的余弦值、向量

与

的夹角的余弦值、向量

与

的夹角的余弦值。上述的向量

与

的夹角的余弦值、向量

与

的夹角的余弦值、向量

与

的夹角的余弦值均可以通过向量的夹角公 式获得，在这里不在赘述。

若向量

与

的夹角的余弦值、向量

与

的夹角的余弦值 均大于零，说明向量

与

的夹角和向量

与

的夹角均为锐角。向 量

与

的夹角的余弦值小于零，说明向量

与

的夹角为钝角，追 踪目标Bt与模拟追踪目标Bm的运动方向差距过大，在计算第一原始目标A1的同一目标时， 保留追踪目标Br和Bs，而舍弃追踪目标Bt。删减原始目标的判断对象的个数，以缩减后续计 算和判断的步骤，提高计算原始目标的同一目标的速度。

用Sim1Br表示Br与A1的运动方向相似度，用cos<

，

>表示向量

与

的夹角的余弦值。计算追踪目标Br与第一原始目标A1的运动趋势相似度 （Similarity），则得到如下计算公式：

；

用Sim1Bs表示目标Bs与目标A1的运动趋势相似度，用

，

表示 向量

与

的夹角的余弦值。计算追踪目标Bs与第一原始目标A1的运动趋势相 似度，得到如下计算公式：

。

（c）经过步骤（b）后，保留备选的追踪目标Br和Bs。依据目标A1的中心坐标、Br的中心坐标和E1的中心坐标的三点坐标拟合第一运动轨迹线l1。以平面二维坐标为例，设第一原始目标A1的运动轨迹线l的运动轨迹方程为f(x)，第一运动轨迹线l1的轨迹方程为f(x1)。

图10为本发明的第一运动轨迹线示意图。参照图10，依据第一原始目标中心坐标A1[X(n,1),Y(n,1)]，目标E1[X(n+2,1),Y(n+2,1)]，及第一原始目标A1的运动轨迹线l的运动轨迹方程为f(x)，第一运动轨迹线l1的轨迹方程f(x1)，用S1表示第一运动轨迹线l1与第一原始目标的运动轨迹线l间闭合区域面积，即图10中阴影部分面积，通过定积分原理求第一原始目标的运动轨迹线和第一运动轨迹线间面积的计算公式如下：

；

预设一个最大轨迹面基差Smax，当判断S1>Smax，说明追踪目标Br与第一原始目标A1的运动轨迹差距过大，则在第一原始目标的同一目标计算中，抛弃目标Br。

当判断S1≤Smax，用Sim2Br表示目标Br与A1的运动轨迹相似度，则目标Br与A1的运动轨迹相似度计算公式为：

。

依据目标A1的中心坐标、Bs的中心坐标和E1的中心坐标的三点坐标拟合第二运动轨迹线l2。设第二运动轨迹线l2的轨迹方程为f(x2)。

图11为本发明的第二运动轨迹线示意图。参照图11，用S2表示第一运动轨迹线l2与第一原始目标的运动轨迹线l间闭合区域面积，即图11中阴影部分面积，通过定积分原理求第一原始目标的运动轨迹线和第二运动轨迹线间面积的公式如下：

；

当判断S2>Smax，说明追踪目标Bs与第一原始目标A1的运动轨迹差距过大，则在第一原始目标的同一目标计算中，抛弃目标Bs。

当判断S2≤Smax时，用Sim2Bs表示目标Br与A1的运动轨迹相似度，则目标Bs与A1的运动轨迹相似度的计算公式如下：

。

(d)图12为本发明的第一运动轨迹线的运动方向示意图。参照图12，在第一运动轨 迹线l1上获取Br的中心坐标处的切线，并依据原始目标的运动方向，获取向量 QUOTE

。 目标Br与A1的运动方向相似度计算公式如下：

；

其中Sim3Br表示目标Br与A1的运动方向相似度，

，

表示向量

与

的夹角的余弦值。

在第二运动轨迹线l2上获取Bs的中心坐标处的切线，并依据原始目标的运动方 向，获取向量

。目标Bs与A1的运动方向相似度计算公式如下：

；

其中Sim3Bs表示目标Bs与A1的运动方向相似度，

，

表示向量

与

的夹角的余弦值。

(e)计算目标Br与A1的相似度平均值：

。

计算目标Bs与A1的相似度平均值：

。

比较

与

的大小，当判断

时，说明追踪目标Bs与第一 追踪目标A1的运动趋势轨迹相似度更大，因此此时判定追踪目标Bs与第一原始目标A1为同 一目标。

当判断

时，说明追踪目标Br与第一追踪目标A1的运动趋势轨迹相 似度更大，此时判定追踪目标Br与第一原始目标A1为同一目标。

优选的是，先分别计算标记的追踪目标的运动趋势相似度、运动轨迹相似度和运动方向相似度，并且计算运动趋势相似度、运动轨迹相似度和运动方向相似度的相似度平均值，综合三项相似度来共同判断原始目标对应同一目标的追踪目标，判断更准确，判定结果更具有说服力。

虽然在上文中详细说明了本发明的实施方式，但是对于本领域的技术人员来说显而易见的是，能够对这些实施方式进行各种修改和变化。但是，应理解，这种修改和变化都属于权利要求书中所述的本发明的范围和精神之内。而且，在此说明的本发明可有其它的实施方式，并且可通过多种方式实施或实现。

Claims (10)

1.一种视觉准确目标跟踪系统，其特征在于，包括视频数据单元、目标检测单元、距离计算单元、运动趋势计算单元和判断单元，所述目标检测单元与所述视频数据单元和所述距离计算单元连接，所述判断单元与所述目标检测单元、所述距离计算单元和所述运动趋势计算单元连接；

所述视频数据单元用于提供视频数据，所述目标检测单元用于从所述视频数据中获取若干原始目标和若干追踪目标，所述距离计算单元用于计算所述原始目标与所述追踪目标的距离，所述运动趋势计算单元用于计算所述原始目标的运动趋势轨迹，所述判断单元用于判断所述追踪目标与所述原始目标是否为同一目标；

所述距离计算单元包括：

第一位置信息运算模块，用于依据所述原始目标的第一横坐标与所述追踪目标的第一横坐标以得到第一横 坐标差值，依据所述原始目标的第二横坐标与所述追踪目标的第二横坐标以得到第二横坐标差值，依据所述第一横坐标差值和所述第二横坐标差值以得到第一距离矢量，并依据所述第一距离矢量以得到第一距离矢量的平方；

第二位置信息运算模块，用于依据所述原始目标的第一纵坐标与所述追踪目标的第一纵坐标以得到第一纵坐标差值，依据所述原始目标的第二纵坐标与所述追踪目标的第二纵坐标以得到第二纵坐标差值，依据所述第一纵坐标差值与所述第二纵坐标差值以得到第二距离矢量，并依据所述第二距离矢量以得到第二距离矢量的平方；

距离综合运算模块，所述距离综合运算模块的输入端连接所述第一位置信息运算模块的输出端和第二位置信息运算模块的输出端，用于依据所述第一距离矢量的平方与所述第二距离矢量的平方以得到距离矢量平方和，并依据所述距离矢量平方和与预设常数以得到所述原始目标与追踪目标的距离的平方。

2.如权利要求1所述的视觉准确目标跟踪系统，其特征在于，所述第一位置信息运算模块包括第一距离矢量计算模块和第一乘法器，所述第一距离矢量计算模块的输出端与所述第一乘法器的输入端连接，所述第一乘法器的输出端与所述距离综合运算模块的第一输入端连接。

3.如权利要求2所述的视觉准确目标跟踪系统，其特征在于，所述第一距离矢量计算模块包括第一减法器、第二减法器和第三减法器，所述第三减法器的两个输入端分别连接所述第一减法器的输出端和所述第二减法器的输出端，所述第三减法器的输出端连接所述第一乘法器的输入端；

所述第一减法器依据所述原始目标的第一横坐标与所述追踪目标的第一横坐标计算并输出第一横坐标差值，所述第二减法器依据所述原始目标的第二横坐标与所述追踪目标的第二横坐标计算并输出第二横坐标差值；

所述第三减法器依据所述第一横坐标差值和所述第二横坐标差值，输出第一距离矢量至所述第一乘法器，所述第一乘法器输出所述第一距离矢量的平方。

4.如权利要求1所述的视觉准确目标跟踪系统，其特征在于，所述第二位置信息运算模块包括第二距离矢量计算模块和第二乘法器，所述第二距离矢量计算模块的输出端与所述第二乘法器的输入端连接，所述第二乘法器的输出端与所述距离综合运算模块的第二输入端连接。

5.如权利要求4所述的视觉准确目标跟踪系统，其特征在于，所述第二距离矢量计算模块包括第四减法器、第五减法器和第六减法器，所述第六减法器的两个输入端分别连接所述第四减法器的输出端和所述第五减法器的输出端，所述第六减法器的输出端连接所述第二乘法器的输入端；

所述第四减法器依据所述原始目标的第一纵坐标与所述追踪目标的第一纵坐标计算并输出第一纵坐标差值，所述第五减法器依据所述原始目标的第二纵坐标与所述追踪目标的第二纵坐标计算并输出第二纵坐标差值；

所述第六减法器依据所述第一纵坐标差值与所述第二纵坐标差值，输出第二距离矢量至所述第二乘法器，所述第二乘法器输出所述第二距离矢量的平方。

6.如权利要求1所述的视觉准确目标跟踪系统，其特征在于，所述距离综合运算模块包括汇总加法器和除法器，所述汇总加法器的两个输入端分别连接所述第一位置信息运算模块的输出端和第二位置信息运算模块的输出端，所述除法器的输入端与所述汇总加法器的输入端连接；

所述汇总加法器依据所述第一距离矢量的平方与所述第二距离矢量的平方计算得出距离矢量平方和；

所述除法器通过所述距离矢量平方和除以预设常数，得到所述原始目标与追踪目标的距离的平方。

7.一种视觉准确目标跟踪方法，其特征在于，包括步骤：

S1：检测视频数据以获取第一帧图和第二帧图，检测第一帧图以获取若干原始目标，检测第二帧图以获取若干追踪目标；

S2：计算所述原始目标与所述追踪目标的距离，得到若干跟踪距离；

S3：预设追踪距离阈值和消失距离阈值，依据所述跟踪距离和所述追踪距离阈值，判断所述追踪目标与所述原始目标是否为同一目标，其中，所述消失距离阈值大于所述追踪距离阈值；

当判断所有的所述跟踪距离均大于所述消失距离阈值，则判定所述原始目标进入消失状态；

当判断至少一个所述跟踪距离大于所述追踪距离阈值且小于所述消失距离阈值，则判定与所述原始目标距离最短的追踪目标与所述原始目标为同一目标；

当判断只有一个所述跟踪距离小于或等于所述追踪距离阈值，则判定与所述原始目标距离最短的追踪目标与所述原始目标为同一目标；

当判断至少两个跟踪距离小于或等于所述追踪距离阈值，则执行步骤S4；

S4：依据所述原始目标的运动趋势轨迹判断所述追踪目标与所述原始目标是否为同一目标，其具体步骤包括：

S401：标记所述跟踪距离小于所述追踪距离阈值的对应的若干追踪目标；

S402：依据所述原始目标所在的第一帧图的至少前两帧图和至少后三帧图，拟合所述原始目标的运动轨迹、运动方向及运动趋势，得到运动轨迹线；

S403：依次计算每一个标记的追踪目标与所述原始目标的运动轨迹相似度、运动方向相似度和运动趋势相似度，所述运动轨迹相似度的计算步骤包括：获取每一个标记的追踪目标的中心坐标及所述原始目标的中心坐标，依据所述标记的追踪目标的中心坐标和所述原始目标的中心坐标，拟合每一个所述标记的追踪目标的轨迹线以得到追踪目标运动轨迹线，计算每一个所述追踪目标运动轨迹线与所述原始目标的运动轨迹线间的闭合区域面积，并依据所述闭合区域面积和最大轨迹面基差以得到所述运动轨迹相似度；

S404：依据所述运动轨迹相似度、所述运动方向相似度和所述运动趋势相似度计算相似度平均值，判定所述相似度平均值最大的所述标记的追踪目标为所述原始目标的同一目标。

8.如权利要求7所述的准确目标跟踪方法，其特征在于，所述第一帧图为当前帧图片，所述第二帧图为所述第一帧图的后一帧图片。

9.如权利要求7所述的准确目标跟踪方法，其特征在于，所述步骤S1还包括，设置目标库和坐标列表，将所述第一帧图中所有的原始目标和所述第二帧图中所有的追踪目标保存于所述目标库。

10.如权利要求9所述的准确目标跟踪方法，其特征在于，步骤S2中，所述计算所述原始目标与所述追踪目标的距离包括步骤：

S201：获取所述第一帧图中所有原始目标的中心坐标和所述第二帧图中所有追踪目标的中心坐标，并将所述原始目标的中心坐标和所述追踪目标的中心坐标保存于所述坐标列表；

S202：每次从所述目标库中取出任一个未计算的原始目标的和所有追踪目标后，依据所述坐标列表中所述原始目标的中心坐标和追踪目标的中心坐标，计算所述未计算的原始目标与所述所有追踪目标的距离，获得若干跟踪距离。

Images