CN116245915A - 一种基于视频的目标跟踪方法 - Google Patents

Abstract

本发明属于视频图像处理领域，具体涉及一种基于视频的目标跟踪方法，包括：获取待检测视频，并从所述待检视频中获取间隔预设时间的第一帧和第二帧待检测图像；对所述第一帧和第二帧待检测图像中的目标对象进行识别，并生成相应的检测框；通过所述检测框获取其对应目标对象的位置信息；根据所述第一帧和第二帧待检测图像中目标对象所对应的位置信息计算位置变化值，并依据所述位置变化值判断所述目标对象的移动状态，相应更新所述目标对象的位置信息。本发明可用于单目摄像头下目标的识别跟踪，消除因遮挡带来的检测信息缺失造成的跟踪困难，并解决视频中有多个需要跟踪的同一类目标的问题。

Description

一种基于视频的目标跟踪方法

技术领域

本发明属于视频图像处理领域，具体涉及一种基于视频的目标跟踪方法。

背景技术

目标跟踪是计算机视觉领域中最重要和基础的任务之一。其目的是从包含目标物体的视频中，输出目标物体在视频的每个视频帧中的位置。通常输入计算机一段视频及需要跟踪的目标物体类别，计算机以检测框的形式输出目标物体的标识(ID)以及目标物体在视频每一帧中的位置信息。

目前各类初中的电学实验中，通过在摄像头下实现电路连接的判断，需要将视频的前后帧的信息串联起来，在此期间实验器材的位置会发生变化，因此需要对实验器材的位置实施跟踪，以观察其移动状态。基于现有的单目摄像头的目标跟踪方法，当器材的形状大小发生变化时，检测框的大小对应出现改变，就会导致识别实验器材的位置出现偏差，从而不能准确的判断实验器材的移动距离或旋转角度等。或者当存在多个目标时，不能够准确的对前后帧的目标相对应进行对比，导致逻辑判断出现偏差，不能准确地跟踪实验器材。而采用多目摄像头又会导致采购成本较高，不适合学校大量采购。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种单目摄像头的目标跟踪方法，能够对视频中实验器材的位置准确地识别跟踪，判断实验器材的位置是否发生改变，相较于多目摄像头节省了成本。

为实现上述目的及其他相关目的，本发明提供一种基于视频的目标跟踪方法，包括：获取待检测视频，并从所述待检视频中获取间隔预设时间的第一帧和第二帧待检测图像；对所述第一帧和第二帧待检测图像中的目标对象进行识别，并生成相应的检测框；通过所述检测框获取其对应目标对象的位置信息；根据所述第一帧和第二帧待检测图像中目标对象所对应的位置信息计算位置变化值，并依据所述位置变化值判断所述目标对象的移动状态，相应更新所述目标对象的位置信息。

根据本发明一具体实施例，所述通过所述检测框获取其对应目标对象的位置信息的步骤包括：根据所述目标对象的特征点，确定所述第一帧待检测图像和所述第二帧待检测图像的检测框中对应的检测点；根据所述检测点确定所述目标对象在所述第一帧待检测图像和所述第二帧待检测图像中的位置信息。

根据本发明一具体实施例，所述根据所述检测点确定所述目标对象在所述第一帧待检测图像和所述第二帧待检测图像中的位置信息的步骤包括：若所述第一帧待检测图像和第二帧待检测图像中所述目标对象检测框的数量相同且为一个，则将检测框中检测点的坐标作为所述目标对象的位置信息；若所述第一帧待检测图像和第二帧待检测图像中所述目标对象检测框的数量相同且为多个，则在所述第一帧待检测图像和第二帧待检测图像中识别与所述目标对象相关的关联对象，确定所述关联对象在所述第一帧待检测图像和第二帧待检测图像中相对应的关联点，根据所述第一帧待检测图像和第二帧待检测图像中关联点和多个检测框的检测点计算多个目标对象的位置信息；其中，所述目标对象的关联对象有且仅有一个若所述第一帧待检测图像和第二帧待检测图像中检测框的数量不同，则终止目标跟踪。

根据本发明一具体实施例，所述若所述第一帧待检测图像和第二帧待检测图像中检测框的数量相同且为一个，则将检测框中检测点的坐标作为所述目标对象的位置信息的步骤包括：将所述第一帧待检测图像和第二帧待检测图像中检测框的大小与预设阈值进行比较：若小于预设阈值，则将检测框中检测点的坐标作为所述目标对象的位置信息；若大于预设阈值，则对检测框进行优化，并将优化后的检测框中检测点的坐标作为所述目标对象的位置信息。

根据本发明一具体实施例，优化检测框的步骤包括：对所述目标对象依次进行灰度变换、二值变化、腐蚀以及膨胀；提取处理后所述目标对象中的固定特征；根据所述固定特征使用OpenCV的最小矩形边框函数生成对应的检测框。

根据本发明一具体实施例，所述排除多余的检测框的步骤包括：识别所述第一帧待检测图像和第二帧待检测图像中所述目标对象检测框的标签；删除非所述目标对象对应标签的检测框。

根据本发明一具体实施例，所述根据所述第一帧待检测图像和第二帧待检测图像中关联点和多个检测框的检测点计算多个目标对象的位置信息的步骤包括：针对每一个检测框：将所述关联点的坐标作为所述关联对象的坐标；将检测框中检测点的坐标作为所述目标对象的坐标；计算所述目标对象的坐标与所述关联对象的坐标的X轴差值、Y轴差值以及距离值，并作为所述目标对象的位置信息。

根据本发明一具体实施例，所述根据所述第一帧和第二帧待检测图像中目标对象所对应的位置信息计算位置变化值，并依据所述位置变化值判断所述目标对象的移动状态，相应更新所述目标对象的位置信息的步骤包括：当所述第一帧待检测图像和第二帧待检测图像中检测框个数均为一个时，计算所述第一帧待检测图像中目标对象的坐标和第二帧待检测图像中目标对象的坐标的距离差值，并将其作为所述位置变化值；当所述第一帧待检测图像和第二帧待检测图像中检测框个数均为多个时，针对所述第一帧待检测图像中每一个检测框，计算所述检测框中目标对象与所述第二帧待检测图像中相对应目标对象的X轴差值的差值、Y轴差值的差值以及距离值的差值，并将其作为所述位置变化值；根据计算得到的位置变化值识别目标对象的移动状态。

根据本发明一具体实施例，所述根据计算得到的位置变化值识别目标对象的移动状态的步骤包括：当所述第一帧待检测图像和第二帧待检测图像中检测框个数均为一个时，将所述距离差值与预设的第一阈值进行比较：若所述距离差值小于所述第一阈值，则认定所述目标对象位置发生改变，并相应更新位置信息；否则认定所述目标对象位置未改变；当所述第一帧待检测图像和第二帧待检测图像中检测框个数均为多个时，将每一个目标对象所对应的所述X轴差值的差值、Y轴差值的差值以及距离值的差值分别与预设的第二阈值、第三阈值以及第四阈值进行比较，以确定每一个目标对象的移动状态。

根据本发明一具体实施例，所述当所述第一帧待检测图像和第二帧待检测图像中检测框个数均为多个时，将每一个目标对象所对应的所述X轴差值的差值、Y轴差值的差值以及距离值的差值分别与预设的第二阈值、第三阈值以及第四阈值进行比较，以确定每一个目标对象的移动状态的步骤包括：针对每一个目标对象：若所述X轴差值的差值小于所述第二阈值，和/或所述Y轴差值的差值小于所述第三阈值，和/或所述距离值的差值小于所述第四阈值，则认定所述目标对象位置发生改变，并相应更新位置信息；否则认定所述目标对象位置未改变。

本发明的技术效果在于，通过识别目标的固定特征重新优化检测框，有效降低了识别误差，准确跟踪目标的行动轨迹。同时基于较短时间间隔内根据目标的关联对象，将两帧之间的目标相对应，从而完成目标的识别跟踪。本发明可用于单目摄像头下目标的识别跟踪，消除因遮挡带来的检测信息缺失造成的跟踪困难，并解决了视频中有多个需要跟踪的同一类目标的跟踪问题。

附图说明

图1为本发明所提供的基于视频的目标跟踪方法一具体实施例的流程示意图；

图2为本发明所提供的基于视频的目标跟踪系统一具体实施例的结构示意图；

图3为本发明所提供的电子设备一具体实施例的结构框图。

具体实施方式

以下将参照附图和优选实施例来说明本发明的实施方式，本领域技术人员可由本说明书中所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。

首先需要说明的是，为了使本技术领域的人员能够更好地理解本申请方案，对本申请实施例中一些专业词汇进行相应的解释。

OpenCV是一个基于Apache2.0许可(开源)发行的跨平台计算机视觉和机器学习软件库，可以运行在Linux、Windows、Android和Mac OS操作系统上。它轻量级而且高效，由一系列C函数和少量C++类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。

OpenCV用C++语言编写，它具有C++，Python，Java和MATLAB接口，并支持Windows，Linux，Android和Mac OS，OpenCV主要倾向于实时视觉应用，并在可用时利用MMX和SSE指令，如今也提供对于C#、Ch、Ruby，GO的支持。

OpenCV致力于真实世界的实时应用，通过优化的C代码的编写对其执行速度带来了可观的提升，并且可以通过购买Intel的IPP高性能多媒体函数库(IntegratedPerformance Primitives)得到更快的处理速度。

优选地，本申请实施例采用OpenCV对视频中的图像进行处理。

实施例1

请参见图1所示，一种基于视频的目标跟踪方法，包括：

步骤S10，获取待检测视频，并从所述待检视频中获取间隔预设时间的第一帧和第二帧待检测图像。

首先，通过单目摄像机拍摄实验的全过程，并从视频数据中提取间隔预设时间的任意两帧图像。其中，为了便于观察和判断，以避免实验器材出现大范围的移动或变化。因此，通过获取较短间隔时间内的两帧图像进行识别判断，进一步也可获取连续地两帧图像来作为处理对象。具体的，在应用中，获取的两帧图像之间的间隔时间越短越好，在本实施例中优选地为相邻两帧之间无间隔。由于两帧之间间隔时间越长，图像中目标对象的变化幅度也会越大，因此帧间隔最短，本实施例所提供的目标跟踪方法效果相应最佳。同时不局限于本实施例所提供，具体的帧间隔可根据实际情况设置。基于此，在本实施例中图像中的实验器材仅会短距离的移动以及小角度的偏转，以便于后续对图像中目标的实验器材进行识别，并判断其位置是否发生改变。

通过获取待检测视频中任意的第一帧待检测图像和第二帧待检测图像，实现对整个待检测视频中实验器材状态识别并跟踪。

步骤S20，对所述第一帧和第二帧待检测图像中的目标对象进行识别，并生成相应的检测框。

通过图像处理模型对所述第一帧待检测图像和第二帧待检测图像进行处理，具体的，例如可以采用卷积神经网络模型(convolutional neural network，CNN)来提取图像中的目标对象，并根据目标对象生成对应的检测框。

下面对CNN进行具体介绍。

CNN是一种带有卷积结构的深度神经网络，是一种深度学习(deep learning)架构，深度学习架构是指通过机器学习的算法，在不同的抽象层级上进行多个层次的学习。作为一种深度学习架构，CNN是一种前馈(feed-forward)人工神经网络，以图像处理为例，该前馈人工神经网络中的各个神经元对输入其中的图像中的重叠区域作出响应。当然，还可以是其他类型，本申请不限制深度神经网络的类型。

卷积神经网络可以包括输入层，卷积层/池化层，其中池化层为可选的，以及神经网络层。且卷积层的输出可以作为随后的池化层的输入，也可以作为另一个卷积层的输入以继续进行卷积操作。

以卷积层为例，卷积层可以包括很多个卷积算子，卷积算子也称为核，其在图像处理中的作用相当于一个从输入图像矩阵中提取特定信息的过滤器，卷积算子本质上可以是一个权重矩阵，这个权重矩阵通常被预先定义，在对图像进行卷积操作的过程中，权重矩阵通常在输入图像上沿着水平方向一个像素接着一个像素(或两个像素接着两个像素……这取决于步长stride的取值)的进行处理，从而完成从图像中提取特定特征的工作。

根据所需处理数据的维度不同，卷积核也有多种格式。常用的卷积核包括二维卷积核和三维卷积核。二维卷积核主要应用于处理二维的图像数据，而三维卷积核则由于增加了深度或时间方向的维度，可应用于视频处理、立体图像处理等。本申请实施例中为了通过神经网络模型提取图像中的信息，通过二维卷积核进行卷积操作，提取图像中的特征。

需要说明的是，卷积神经网络模型提取图像中的目标对象仅作为其中一具体实施例，具体的在应用中，还可以通过其他方法或图像处理模型提取所需的目标对象。

步骤S30，通过所述检测框获取其对应目标对象的位置信息。

由于所述图像中目标对象的个数可能存在一个或多个，相应也会形成一个或多个检测框。由于本实施例中所述的目标跟踪方法应用在电学实验中的器材跟踪，因此在应用中所述目标对象例如可以为其中器材中的一个元器件，开关、电阻等，检测框有且只有一个；或者所述目标对象还可以为元器件上的接线柱，而元器件上通常设有多个接线柱，因此检测框对应形成有多个。而当图像中出现多个元器件时，接线柱形成的检测框不易进行区分，从而无法完成比对，以识别每个元器件接线柱的移动状态。

基于此针对不同的检测框的个数，采用不同的方法进行识别。当存在多个检测框时，说明图像中存在多个目标对象，通过识别每个目标对象相关的关联对象来进行区分，即图像中可能存在多个接线柱，通过寻找每个接线柱安装的元器件底座来区分每个元器件之间的接线柱，再对比第一帧和第二帧中相同元器件上接线柱的位置变化情况，实现器材的跟踪。进一步，实验器材中一些元器件的大小会发生变化，从而导致检测框对应发生改变，进而位置判断产生误差，例如闸刀开关，当开关关闭时，在图像中显示的面积较为正常，检测框对应其大小生成坐标，而当开关打开时，闸刀偏向一侧，长度发生变化导致闸刀开关在图像中显示的面积明显增大，检测框大小也适应发生改变，且生成的坐标发生了偏差，因此需要对检测框进行优化，减少误差，才能正确判断闸刀开关的位置变化情况。

具体的步骤如下：

根据图像中检测框的个数和大小进行判断，若所述第一帧待检测图像和第二帧待检测图像中检测框个数相同且为一个，且检测框大小变化值小于预设阈值，即检测框的大小并未产生较大的变化，说明检测框中的目标对象大小未发生改变，则将检测框中检测点的坐标视为所述目标对象的坐标，即位置信息。其中，可能由于拍摄原因，视频中每一帧图像中目标对象的大小可能会有轻微的偏差，相应检测框大小也会不一样，因此检测框大小没有太大的变化即可认为检测框大小未发生改变。

进一步，根据所述目标对象的特征点来选取所述检测框中某一位置作为所述检测点，例如某些元器件可能为不队称的形状，因此选取其中某一特定位置来作为检测点提取坐标。在本实施例中，统一将检测框的左上角作为检测点，即检测框左上角的坐标作为所述目标对象的位置信息。

若所述第一帧待检测图像和第二帧待检测图像中检测框个数相同且为一个，且检测框大小变化值大于预设阈值，即检测框的大小发生了较大的变化，说明检测框中的目标对象的状态发生了改变，导致对应图像中面积发生改变，检测框大小相适应也发生了变化，则对检测框进行优化，并采用优化后的检测框生成所述目标对象为位置信息。其中，当检测框大小变化值大于预设阈值时，即目标对象的大小发生了改变，选取目标对象中的固定特征重新生成检测框，来获取目标对象的位置信息，即可避免由于检测框大小变化导致坐标发生偏差。因此，对目标对象所述在区域依次进行灰度处理、二值变换、腐蚀以及膨胀处理，提取其固定特征。

在一具体实施例中，所述目标对象为闸刀开关，并将其底座作为固定特征，即获取处理后目标对象所在区域中面积最大的轮廓。通过OpenCV自带的最小矩形边框函数，生成所述固定特征的检测框并替代原有的检测框，同时将优化后的检测框的左上角坐标作为所述目标对象的位置坐标，即位置信息。

若所述第一帧待检测图像和第二帧待检测图像中检测框个数相同且为多个，且检测框大小变化值小于预设阈值，则识别每一个检测框对应目标对象相关的关联对象，以区分每一个目标对象，从而识别出两帧待检测图像中相同的目标对象。且任一个所述目标对象有且仅有一个目标对象，不存在一个目标对象共用多个关联对象的情况。针对每一个关联对象，选取其的某一特征作为关联点，并获取所述关联点的坐标来作为所述关联对象的坐标。同时将检测框左上角的坐标作为所述目标对象的坐标，并根据所述关联对象的坐标和目标对象的坐标计算X轴差值、Y轴差值以及距离值，来作为所述目标对象的位置信息。其中，当存在多个目标对象时，识别出其相应的关联对象以进行区分。例如目标对象为接线柱，即找到所在元器件的安装底座，从而区分不同元器件之间的接线柱，以相对应对比第一帧待检测图像和第二帧待检测图像中的目标对象。并通过计算目标对象坐标和关联对象参考坐标之间XY轴之间的偏差，计算其偏转角度，以及距离变化，即位置信息，再比对两帧待检测图像之间相对应目标对象的差距。

若所述第一帧待检测图像和第二帧待检测图像中检测框的数量不同，则需要先排除多余的检测框，再计算识别目标对象的位置信息。其中，可能由于控制端的错误操作，导致图像中出现识别了其他器件并生成了相应的检测框，使得两帧待检测图像中检测框的数量不同。因此，去除干扰的检测框即可继续目标对象的位置信息识别。同时由于在本实施例中无帧间隔设置，目标对象的状态不会出现太大的变化，因此也不会造成两帧待检测图像中目标对象生成检测框的数量不同的情况。基于此，只需根据检测框生成的相应标签进行区分，去除非目标对象标签的检测框即可，并继续根据检测框的个数和大小，识别目标对象的位置信息。

步骤S40，根据所述第一帧和第二帧待检测图像中目标对象所对应的位置信息计算位置变化值，并依据所述位置变化值判断所述目标对象的移动状态，相应更新所述目标对象的位置信息。

当所述第一帧待检测图像和第二帧待检测图像中检测框的个数均为一个时，计算第一帧待检测图像中目标对象的坐标和所述第二帧待检测图像中目标对象的坐标的距离差值得到所述位置变化值，并与第一阈值进行对比判断，若所述位置变化值小于预设第一阈值，则认定所述目标对象位置发生改变，并将新坐标替换旧坐标，即位置信息更新；否则认定所述目标对象位置未改变。

当所述第一帧待检测图像和第二帧待检测图像中检测框的个数均为多个时，计算第一帧待检测图像中每一个目标对象和所述第二帧待检测图像中相对应目标对象的X轴差值的差值、Y轴差值的差值以及距离值的差值，作为所述位置变化值，并分别与第二阈值、第三阈值以及第四阈值进行对比判断，若满足所述X轴差值的差值小于预设第二阈值，所述Y轴差值的差值小于预设第三阈值，所述距离值的差值小于预设第四阈值中任一个或多个条件，则认定所述目标对象位置发生改变，并将新坐标替换旧坐标，即位置信息更新；否则认定所述目标对象位置未改变。

其中，所述坐标之间的距离值即为目标对象的实际移动距离，X轴差值、Y轴差值以及距离值的差值即为目标对象的偏转角度的变化以及移动的距离。通过识别目标对象的变化情况实现对其的跟踪。

需要说明的是，上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包含相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

实施例2

请参见图2所示，本申请实施例还提供一种基于视频的目标跟踪系统，包括：

图像采集模块10，用于获取待检测视频，并从所述待检视频中获取间隔预设时间的第一帧和第二帧待检测图像；

检测框识别模块20，用于对所述第一帧和第二帧待检测图像中的目标对象进行识别，并生成相应的检测框；

位置信息获取模块30，用于通过所述检测框获取其对应目标对象的位置信息；

位置识别跟踪模块40，用于根据所述第一帧和第二帧待检测图像中目标对象所对应的位置信息计算位置变化值，并依据所述位置变化值判断所述目标对象的移动状态，相应更新所述目标对象的位置信息。

需要说明的是，上述实施例所提供的基于视频的目标跟踪系统与上述实施例1所提供的基于视频的目标跟踪方法属于同一构思，其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。上述实施例1所提供的基于视频的目标跟踪方法在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能，本处也不对此进行限制。

实施例3

请参见图3所示，本申请的实施例还提供了一种电子设备，包括存储器2、处理器1及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。

其中，存储器至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。存储器在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式移动硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(Secure Digital,SD)卡、闪存卡(Flash Card)等。进一步地，存储器还可以既包括电子设备的内部存储单元也包括外部存储设备。存储器不仅可以用于存储安装于电子设备的应用软件及各类数据，还可以用于暂时地存储已经输出或者将要输出的数据。

处理器在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。处理器是所述电子设备的控制核心(Control Unit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器内的程序或者模块，以及调用存储在所述存储器内的数据，以执行电子设备的各种功能和处理数据。

所述处理器执行所述电子设备的操作系统以及安装的各类应用程序。所述处理器执行所述应用程序以实现上述方法实施例中的步骤。

示例性的，所述计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述电子设备中的执行过程。

上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、计算机设备，或者网络设备等)或处理器(processor)执行本发明各个实施例锂电池虚焊检测方法的部分功能。

综上所述，本发明的技术效果在于，通过识别目标的固定特征重新优化检测框，有效降低了识别误差，准确跟踪目标的行动轨迹。同时基于较短时间间隔内根据目标的关联对象，将两帧之间的目标相对应，从而完成目标的识别跟踪。本发明可用于单目摄像头下目标的识别跟踪，消除因遮挡带来的检测信息缺失造成的跟踪困难，并解决了视频中有多个需要跟踪的同一类目标的跟踪问题。

上述实施例仅示例性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，但凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种基于视频的目标跟踪方法，其特征在于，包括：

获取待检测视频，并从所述待检视频中获取间隔预设时间的第一帧和第二帧待检测图像；

对所述第一帧和第二帧待检测图像中的目标对象进行识别，并生成相应的检测框；

通过所述检测框获取其对应目标对象的位置信息；

根据所述第一帧和第二帧待检测图像中目标对象所对应的位置信息计算位置变化值，并依据所述位置变化值判断所述目标对象的移动状态，相应更新所述目标对象的位置信息。

2.根据权利要求1所述的基于视频的目标跟踪方法，其特征在于，所述通过所述检测框获取其对应目标对象的位置信息的步骤包括：

根据所述目标对象的特征点，确定所述第一帧待检测图像和所述第二帧待检测图像的检测框中对应的检测点；

根据所述检测点确定所述目标对象在所述第一帧待检测图像和所述第二帧待检测图像中的位置信息。

3.根据权利要求2所述的基于视频的目标跟踪方法，其特征在于，所述根据所述检测点确定所述目标对象在所述第一帧待检测图像和所述第二帧待检测图像中的位置信息的步骤包括：

若所述第一帧待检测图像和第二帧待检测图像中所述目标对象检测框的数量相同且为一个，则将检测框中检测点的坐标作为所述目标对象的位置信息；

若所述第一帧待检测图像和第二帧待检测图像中所述目标对象检测框的数量相同且为多个，则在所述第一帧待检测图像和第二帧待检测图像中识别与所述目标对象相关的关联对象，确定所述关联对象在所述第一帧待检测图像和第二帧待检测图像中相对应的关联点，根据所述第一帧待检测图像和第二帧待检测图像中关联点和多个检测框的检测点计算多个目标对象的位置信息；其中，所述目标对象的关联对象有且仅有一个；

若所述第一帧待检测图像和第二帧待检测图像中检测框的数量不同，则排除多余的检测框，并重新根据所述检测点确定所述目标对象在所述第一帧待检测图像和所述第二帧待检测图像中的位置信息。

4.根据权利要求3所示的基于视频的目标跟踪方法，其特征在于，所述若所述第一帧待检测图像和第二帧待检测图像中检测框的数量相同且为一个，则将检测框中检测点的坐标作为所述目标对象的位置信息的步骤包括：

将所述第一帧待检测图像和第二帧待检测图像中检测框的大小与预设阈值进行比较：

若小于预设阈值，则将检测框中检测点的坐标作为所述目标对象的位置信息；

若大于预设阈值，则对检测框进行优化，并将优化后的检测框中检测点的坐标作为所述目标对象的位置信息。

5.根据权利要求4所示的基于视频的目标跟踪方法，其特征在于，优化检测框的步骤包括：

对所述目标对象依次进行灰度变换、二值变化、腐蚀以及膨胀；

提取处理后所述目标对象中的固定特征；

根据所述固定特征使用OpenCV的最小矩形边框函数生成对应的检测框。

6.根据权利要求3所示的基于视频的目标跟踪方法，其特征在于，所述排除多余的检测框的步骤包括：

识别所述第一帧待检测图像和第二帧待检测图像中所述目标对象检测框的标签；

删除非所述目标对象对应标签的检测框。

7.根据权利要求2所示的基于视频的目标跟踪方法，其特征在于，所述根据所述第一帧待检测图像和第二帧待检测图像中关联点和多个检测框的检测点计算多个目标对象的位置信息的步骤包括：

针对每一个检测框：

将检测框中所述目标对象对应的关联点的坐标作为其关联对象的坐标；

将检测框中检测点的坐标作为所述目标对象的坐标；

计算所述目标对象的坐标与所述关联对象的坐标的X轴差值、Y轴差值以及距离值，并作为所述目标对象的位置信息。

8.根据权利要求3所示的基于视频的目标跟踪方法，其特征在于，所述根据所述第一帧和第二帧待检测图像中目标对象所对应的位置信息计算位置变化值，并依据所述位置变化值判断所述目标对象的移动状态，相应更新所述目标对象的位置信息的步骤包括：

当所述第一帧待检测图像和第二帧待检测图像中检测框个数均为一个时，计算所述第一帧待检测图像中目标对象的坐标和第二帧待检测图像中目标对象的坐标的距离差值，并将其作为所述位置变化值；

当所述第一帧待检测图像和第二帧待检测图像中检测框个数均为多个时，针对所述第一帧待检测图像中每一个检测框，计算所述检测框中目标对象与所述第二帧待检测图像中相对应目标对象的X轴差值的差值、Y轴差值的差值以及距离值的差值，并将其作为所述位置变化值；

根据计算得到的位置变化值识别目标对象的移动状态。

9.根据权利要求8所示的基于视频的目标跟踪方法，其特征在于，所述根据计算得到的位置变化值识别目标对象的移动状态的步骤包括：

当所述第一帧待检测图像和第二帧待检测图像中检测框个数均为一个时，将所述距离差值与预设的第一阈值进行比较：

若所述距离差值小于所述第一阈值，则认定所述目标对象位置发生改变，并相应更新位置信息；

否则认定所述目标对象位置未改变；

当所述第一帧待检测图像和第二帧待检测图像中检测框个数均为多个时，将每一个目标对象所对应的所述X轴差值的差值、Y轴差值的差值以及距离值的差值分别与预设的第二阈值、第三阈值以及第四阈值进行比较，以确定每一个目标对象的移动状态。

10.根据权利要求9所示的基于视频的目标跟踪方法，其特征在于，所述当所述第一帧待检测图像和第二帧待检测图像中检测框个数均为多个时，将每一个目标对象所对应的所述X轴差值的差值、Y轴差值的差值以及距离值的差值分别与预设的第二阈值、第三阈值以及第四阈值进行比较，以确定每一个目标对象的移动状态的步骤包括：

针对每一个目标对象：

若所述X轴差值的差值小于所述第二阈值，和/或所述Y轴差值的差值小于所述第三阈值，和/或所述距离值的差值小于所述第四阈值，则认定所述目标对象位置发生改变，并相应更新位置信息；

否则认定所述目标对象位置未改变。

Images