CN112037257B - 一种目标跟踪方法、终端及其计算机可读存储介质 - Google Patents

一种目标跟踪方法、终端及其计算机可读存储介质 Download PDF

Info

Publication number
CN112037257B
CN112037257B CN202010839989.0A CN202010839989A CN112037257B CN 112037257 B CN112037257 B CN 112037257B CN 202010839989 A CN202010839989 A CN 202010839989A CN 112037257 B CN112037257 B CN 112037257B
Authority
CN
China
Prior art keywords
frame
target
tracking
tracking target
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010839989.0A
Other languages
English (en)
Other versions
CN112037257A (zh
Inventor
杨希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202010839989.0A priority Critical patent/CN112037257B/zh
Publication of CN112037257A publication Critical patent/CN112037257A/zh
Application granted granted Critical
Publication of CN112037257B publication Critical patent/CN112037257B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明公开了一种目标跟踪方法、终端及其计算机可读存储介质，目标跟踪方法通过获取到至少两帧包括跟踪目标的图像样本，从图像样本中确定跟踪目标的第一区域框；采集当前帧，判断当前帧与前一帧图像中第一区域框的跟踪目标的匹配度是否大于设定值；如果大于或等于设定值，基于第一区域框的位置信息确定跟踪目标的运行速度；通过第一区域框的位置信息和运行速度预测得到跟踪目标的初始预测区域；对第一区域框和初始预测区域分别进行特征提取，响应于特征提取结果确定跟踪目标在当前帧的位置信息。本发明提供的目标跟踪方法将运动估计和特征匹配相结合，提升了跟踪目标的鲁棒性和普适性。

Description

一种目标跟踪方法、终端及其计算机可读存储介质
技术领域
本发明涉及目标跟踪技术领域，特别是涉及一种目标跟踪方法、终端及其计算机可读存储介质。
背景技术
目标跟踪是计算机视觉研究领域的热点之一，目标跟踪在视频监控、导航、军事、人机交互、虚拟现实、自动驾驶等多个领域都有着广泛的应用。简单来说，目标跟踪就是对视频中给定的目标进行分析跟踪，以确定视频中目标的确切位置。
目前的目标跟踪方法多是根据前一帧图像中的待跟踪目标所在的区域来确定待跟踪目标在当前帧图像中的候选区域。现有的目标跟踪方法对发生快速运动或突变运动的跟踪目标不能有效准确跟踪，其运动超出了跟踪算法的局部搜索范围，且由于跟踪目标运动的不可控性，容易导致目标跟踪过程中目标跟丢。
发明内容
本发明主要解决的技术问题是提供一种目标跟踪方法、终端及其计算机可读存储介质，解决现有技术中对于不同状态的目标对象不能精确跟踪的问题。
为解决上述技术问题，本发明采用的第一个技术方案是：提供一种目标跟踪方法，该目标跟踪方法包括：获取到至少两帧包括跟踪目标的图像样本，从图像样本中确定跟踪目标的第一区域框；判断当前帧与前一帧图像样本中第一区域框的跟踪目标的匹配度是否大于设定值；如果大于或等于设定值，基于前一帧图像中第一区域框的位置信息确定跟踪目标的运行速度；通过第一区域框的位置信息和运行速度预测得到跟踪目标的初始预测区域；对第一区域框和初始预测区域分别进行特征提取，响应于特征提取结果确定跟踪目标在当前帧的位置信息。
其中，判断当前帧与前一帧图像中第一区域框的跟踪目标的匹配度是否大于设定值的步骤具体包括：计算得到跟踪目标在当前帧与前一帧图像中的重合度；如果重合度大于或等于设定重合度，确定匹配度大于或等于设定值；如果重合度小于设定重合度，确定匹配度小于设定值。
其中，计算跟踪目标在当前帧与前一帧图像中的重合度的步骤包括：计算当前帧与前一帧图像交集与并集的比值，得到当前帧与前一帧图像中的重合度。
其中，通过第一区域框的位置信息和运行速度预测得到跟踪目标的初始预测区域的步骤具体包括：获取到第一区域框的中心点的位置信息；利用运行速度以及中心点的位置信息计算得到初始预测区域的中心点的位置信息；以中心点为中心，以第一区域框大小为标准向四周进行区域延伸，得到初始预测区域。
其中，以中心点为中心，以第一区域框大小为标准向四周进行区域延伸，得到初始预测区域的步骤包括：以中心点为中心，以第一区域框大小为标准向四周进行区域延伸，得到第一预测区域；将第一预测区域向外扩大K倍，得到初始预测区域；其中，K大于1。
其中，目标跟踪方法还包括：如果当前帧图像样本中第一区域框中跟踪目标与前一帧图像样本中第一区域框中跟踪目标的匹配度小于设定值，通过卡尔曼预测方法得到所述跟踪目标的初始预测区域。
其中，对第一区域框和初始预测区域分别进行特征提取，响应于特征提取结果确定跟踪目标在当前帧的位置信息的步骤具体包括：对第一区域框和初始预测区域分别进行特征提取，得到第一特征图和初始预测特征图；将第一特征图与初始预测特征图进行滑动匹配，确定第一特征图在初始预测特征图中的响应特征图；通过响应特征图确定跟踪目标在当前帧的位置信息。
其中，将第一特征图与初始预测特征图进行滑动匹配，确定第一特征图在初始预测特征图中的响应特征图的步骤具体包括：将第一特征图在初始预测特征图中逐次移动同等个像素点，将第一特征图与初始预测特征图各处进行匹配，得到第一特征图在初始预测特征图中的响应特征图。
其中，通过响应特征图确定跟踪目标在当前帧的位置信息的步骤具体包括：通过双线性插值将响应特征图调整到图像样本的尺寸；计算跟踪目标在图像样本尺寸中的最大响应位置；将最大响应位置作为跟踪目标在当前帧的位置信息。
其中，获取到至少两帧包括跟踪目标的图像样本，从图像样本中确定跟踪目标的第一区域框的步骤之前还包括：获取视频图像中的多帧图像样本；对多帧图像样本中的目标对象进行检测并标注第一区域框；判断目标对象的第一区域框出现在图像样本的连续帧数是否符合预设帧数；如果符合，则确定目标对象为跟踪目标。
其中，判断目标对象的第一区域框连续出现的图像样本帧数是否符合预设帧数的步骤还包括：判断目标对象的第一区域框的置信度是否符合预设置信度；如果符合，则确定目标对象为跟踪目标；如果不符合，则确定目标对象为临时目标。
其中，通过响应特征图确定跟踪目标在当前帧的位置信息的步骤之后还包括：将确定的跟踪目标在当前帧的位置信息更新为当前帧的跟踪目标的状态信息；判断跟踪目标是否满足删除条件；如果不满足，则对跟踪目标进行迭代跟踪；如果满足，则删除跟踪目标。
其中，删除条件为跟踪目标离开检测区域。
其中，基于第一区域框的位置信息确定跟踪目标的运行速度的步骤具体包括：通过连续帧的第一区域框的位置信息获取跟踪目标的运动轨迹；根据跟踪目标的运动轨迹计算得到跟踪目标的运行速度。
为解决上述技术问题，本发明采用的第二个技术方案是：提供一种终端，终端包括存储器、处理器以及存储于存储器中并在处理器上运行的计算机程序，处理器用于实现如上述目标跟踪方法中的步骤。
为解决上述技术问题，本发明采用的第三个技术方案是：提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述目标跟踪方法中的步骤。
本发明的有益效果是：区别于现有技术的情况，提供的一种目标跟踪方法、终端及其计算机可读存储介质，该目标跟踪方法通过获取到至少两帧包括跟踪目标的图像样本，从图像样本中确定跟踪目标的第一区域框；采集当前帧，判断当前帧与前一帧图像样本中第一区域框的跟踪目标的匹配度是否大于设定值；如果大于或等于设定值，并基于第一区域框的位置信息确定跟踪目标的运行速度，通过第一区域框的位置信息和运行速度预测得到跟踪目标的初始预测区域；对第一区域框和初始预测区域分别进行特征提取，响应于特征提取结果确定跟踪目标在当前帧的位置信息。本发明提供的目标跟踪方法针对不同运行状态的跟踪目标可以采用不同的预测方法，实现对跟踪目标位置的精确预测，提高了目标追踪的精确率；通过对第一区域框和初始预测区域进行特征提取进而确定跟踪目标的准确位置，将运动估计和特征匹配相结合，实现了对不同状态跟踪目标的长时跟踪，大幅度提升了跟踪目标的鲁棒性和普适性。
附图说明
图1是本发明提供的目标跟踪方法一实施例的流程示意图；
图2是本发明提供的目标跟踪方法另一实施例的流程示意图；
图3是本申请终端一实施方式的示意框图；
图4是本申请计算机可读存储介质一实施方式的示意框图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
为使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明所提供的一种目标跟踪方法做进一步详细描述。
请参阅图1，图1是本发明提供的目标跟踪方法一实施例的流程示意图。为了便于描述，本申请实施例以终端作为执行主体进行描述，应理解，该目标跟踪方法的执行主体并不仅限于终端，还可以应用于终端设备等具备图像处理功能的设备，该方法的具体步骤描述如下。
S11：获取到至少两帧包括跟踪目标的图像样本，从图像样本中确定跟踪目标的第一区域框。
具体地，获取视频图像中的多帧图像样本，对多帧图像样本中的目标对象进行检测并标注第一区域框；判断目标对象的第一区域框出现在图像样本的连续帧数是否符合预设帧数；如果符合，则确定目标对象为跟踪目标。在一可选实施例中，还需要判断目标对象的第一区域框的置信度是否符合预设置信度。
S12：判断当前帧与前一帧图像样本中所述第一区域框的所述跟踪目标的匹配度是否大于设定值。
具体地，采集当前帧跟踪目标的第一区域框，计算得到跟踪目标在当前帧与前一帧图像中的重合度；如果重合度大于或等于设定重合度，确定匹配度大于或等于设定值；则直接跳转至步骤S13；如果重合度小于设定重合度，确定匹配度小于设定值；则直接跳转至步骤S14。
在一具体实施例中，计算当前帧与前一帧图像中第一区域框的交集与并集的比值，得到当前帧与前一帧图像中第一区域框的重合度。将比值与预设值进行比较。如果比值大于或等于预设值，则确定匹配度大于或等于设定值；如果比值小于预设值，则确定匹配度小于设定值。
S13：基于前一帧图像中第一区域框的位置信息确定跟踪目标的运行速度；通过第一区域框的位置信息和运行速度预测得到跟踪目标的初始预测区域。
具体地，如果当前帧图像中跟踪目标的第一区域框与前一帧图像中的跟踪目标的第一区域框的匹配度大于或等于设定值，基于前一帧图像中第一区域框包含的收集的跟踪目标的运动轨迹计算跟踪目标的运行速度。并通过前一帧图像中第一区域框的跟踪目标的位置信息和跟踪目标运行的恒定速度或恒定加速度预测得到跟踪目标的初始预测区域。
在一可选实施例中，获取到第一区域框的中心点的位置信息；利用运行速度以及中心点的位置信息计算得到初始预测区域的中心点的位置信息；以中心点为中心，以第一区域框大小为标准向四周进行区域延伸，得到初始预测区域。在一具体实施例中，以中心点为中心，以第一区域框大小为标准向四周进行区域延伸，得到第一预测区域；将第一预测区域向外扩大K倍，得到初始预测区域；其中，K大于1。
S14：通过其它方法预测得到跟踪目标的初始预测区域。
具体地，如果当前帧图像中跟踪目标的第一区域框与前一帧图像中的跟踪目标的第一区域框的匹配度小于设定值，则基于跟踪目标在前一帧图像中的第一区域框的位置信息，通过卡尔曼滤波或KCF(Kernel Correlation Filter核相关滤波算法)预测得到跟踪目标的初始预测区域。
S15：对第一区域框和初始预测区域分别进行特征提取，响应于特征提取结果确定跟踪目标在当前帧的位置信息。
具体地，对第一区域框和初始预测区域分别进行特征提取，得到第一特征图和初始预测特征图；将第一特征图与初始预测特征图进行滑动匹配，确定第一特征图在初始预测特征图中的响应特征图；通过响应特征图确定跟踪目标在当前帧的位置信息。
在一可选实施例中，将第一特征图在初始预测特征图中逐次移动同等个像素点，将第一特征图与初始预测特征图各处进行匹配，得到第一特征图在初始预测特征图中的响应特征图。
在一可选实施例中，通过双线性插值将响应特征图调整到图像样本的尺寸；计算跟踪目标在图像样本尺寸中的最大响应位置；将最大响应位置作为跟踪目标在当前帧的位置信息。
在一可选实施例中，将确定的跟踪目标在当前帧的位置信息更新为当前帧的跟踪目标的状态信息；判断跟踪目标是否满足删除条件；如果否，则对跟踪目标进行迭代跟踪。其中，删除条件为跟踪目标是否离开摄像头的检测区域。
本实施例中提供的目标跟踪方法通过获取到至少两帧包括跟踪目标的图像样本，从图像样本中确定跟踪目标的第一区域框；判断当前帧与前一帧图像中第一区域框的所述跟踪目标的匹配度是否大于设定值；如果大于或等于设定值，基于所述前一帧图像中所述第一区域框的位置信息确定所述跟踪目标的运行速度；通过第一区域框的位置信息和运行速度预测得到跟踪目标的初始预测区域；如果小于预设值，通过其它方法预测得到跟踪目标的初始预测区域；对第一区域框和初始预测区域分别进行特征提取，响应于特征提取结果确定跟踪目标在当前帧的位置信息。本发明提供的目标跟踪方法针对不同运行状态的跟踪目标采用不同的预测方法，实现对跟踪目标位置的精确预测，提高了目标追踪的精确率；通过对第一区域框和初始预测区域进行特征提取进而确定跟踪目标的准确位置，将运动估计和特征匹配相结合，实现了对不同状态跟踪目标的长时跟踪，大幅度提升了跟踪目标的鲁棒性和普适性。
请参阅图2，图2是本发明提供的目标跟踪方法另一实施例的流程示意图。为了便于描述，本申请实施例以终端作为执行主体进行描述，应理解，该目标跟踪方法的执行主体并不仅限于终端，还可以应用于终端设备等具备图像处理功能的设备，该方法的具体步骤描述如下。
S201：获取视频图像中的多帧图像样本。
具体地，通过摄像头终端产生实时视频数据，从视频数据中获取实时视频中的连续多帧图像样本。在一可选实施例中，获取一段视频图像，从获取的视频图像中得到连续多帧图像样本。
S202：对多帧图像样本中的目标对象进行检测并标注第一区域框。
具体地，对上述获取的连续多帧图像样本进行目标对象的检测，确定出图像样本中的至少一个目标对象。也就是说可以通过目标检测从图像样本中确定出一个目标对象或多个目标对象。目标对象的检测是对每帧图像样本进行识别，检测出图像样本中的特定目标(例如车辆、行人或动物)。常用的目标检测算法有统一实时目标检测(You Only LookOnce，YOLO)算法、单个深层神经网络检测(Single Shot Multibox Detector，SSD)算法、基于卷积神经网络检测(Regions with CNN features，R-CNN)基于卷积神经网络快速检测(Fast Regions with CNN features，Fast R-CNN)算法等，或者为其它目标检测算法，此处对目标检测算法不作限制。在一具体实施例中，采用第3代的YOLO目标检测模型对目标对象进行检测，并对目标对象进行标注，在检测到的目标对象的位置标注第一区域框。
S203：判断目标对象的第一区域框出现在图像样本的连续帧数是否符合预设帧数。
具体地，对连续多帧图像样本中的目标对象进行跟踪目标和临时目标的分类。将检测出的无序目标对象有序列出，并创建跟踪目标。在一可选实施例中，判断标注目标对象的第一区域框是否在连续多帧的图像样本中出现。在一优选实施例中，判断标注目标对象的第一区域框出现在图像样本的连续帧数是否大于或等于3帧。如果标注目标对象的第一区域框出现在图像样本的连续帧数符合预设帧数，则直接跳转到步骤S204；如果标注目标对象的第一区域框出现在图像样本的连续帧数不符合预设帧数，则直接跳转到步骤S206。
S204：判断目标对象的第一区域框的置信度是否符合预设置信度。
具体地，如果标注目标对象的第一区域框出现在图像样本的连续帧数符合预设帧数，对该目标对象的检测置信度进行判断。如果连续帧中每一帧目标对象的检测置信度均符合预设置信度，则直接跳转至步骤S205；如果连续帧中一帧目标对象的检测置信度不符合预设置信度，则直接跳转至S206。
在一具体实施例中，判断连续帧图像中目标对象的第一区域框的置信度，即连续帧图像中相邻两帧图像样本中同一目标对象的第一区域框的交集与并集的比值是否超过阈值。如果连续帧图像中相邻两帧图像样本中同一目标对象的第一区域框的交集与并集的比值超过阈值，则确定当前帧相对于前一帧图像样本中目标对象的置信度符合预设置信度，则直接跳转至步骤S205；如果连续帧图像中相邻两帧图像样本中同一目标对象的第一区域框的交集与并集的比值未超过阈值，则确定当前帧相对于前一帧图像样本中目标对象的置信度不符合预设置信度，则直接跳转至步骤S206。
S205：确定目标对象为跟踪目标。
具体地，如果连续帧中每一帧图像中目标对象的检测置信度均符合预设置信度，则确定该目标对象为跟踪目标。该跟踪目标包含跟踪目标的ID、目标的类型、目标回归框(以X_min，Y_min，X_max，Y_max，分别表示目标回归框的左上角坐标和右下角坐标)、目标轨迹历史轨迹信息、当前运动速度、跟踪体内还开辟有空间用于存储目标经过特征提取网络提取到的特征信息。
S206：确定目标对象为临时目标。
具体地，如果连续帧中一帧目标对象的检测置信度不符合预设置信度，或标注目标对象的第一区域框出现在图像样本的连续帧数不符合预设值，则确定该目标对象为临时目标，将其暂存于临时目标集合中。
S207：通过连续帧第一区域框的位置信息获取跟踪目标的运动轨迹；根据跟踪目标的运动轨迹计算得到跟踪目标的运行速度。
具体地，在第T帧图像样本中确定目标对象为跟踪目标后，从第T+1帧图像样本开始，在连续多帧图像样本中获取跟踪目标的第一区域框的位置信息，并对获取的跟踪目标的第一区域框的位置信息进行存储形成跟踪目标的运动轨迹。根据跟踪目标在相邻两帧图像样本中第一区域框的中心点位置坐标计算跟踪目标的运行速度。其中，跟踪目标的运行速度包括方向矢量。在一可选实施例中，获取相邻两帧图像样本的时间间隔t，前一帧的目标框的坐标为X0_min，Y0_min，X0_max，Y0_max，中心位置坐标为C0_x，C0_y；当前帧目标框坐标为X1_min，Y1_min，X1_max，Y1_max，中心位置坐标为C1_x，C1_y；当前帧跟踪目标的运动速度为V1，则由以下计算方式：C0_x＝(X0_min+X0_max)/2；C0_y＝(Y0_min+Y0_max)/2；C1_x＝(X1_min+X1_max)/2；C1_y＝(Y1_min+Y1_max)/2；V1_x＝(C1_x–C0_x)/t；V1_y＝(C1_y–C0_y)/t；V1 2＝(V1_x 2+V1_y 2)。
S208：判断跟踪目标在当前帧与前一帧图像中的第一区域框的匹配度是否符合预设值。
具体地，将跟踪目标在当前帧的第一区域框与前一帧图像样本中的第一区域框进行匹配，即将跟踪目标在当前帧的第一区域框与前一帧图像样本中的第一区域框的交集和并集的比值与预设值进行比较。如果当前帧的第一区域框与前一帧图像样本中的第一区域框的交集和并集的比值大于或等于预设值，跟踪目标以前一帧的运行速度在进行运行，则直接跳转至步骤S209；如果当前帧的第一区域框与前一帧图像样本中的第一区域框的交集和并集的比值小于预设值，跟踪目标改变了运行速度，则直接跳转至步骤S210。
S209：通过第一区域框的位置信息和运行速度预测得到跟踪目标的初始预测区域。
具体地，获取到第一区域框的中心点的位置信息；利用运行速度以及中心点的位置信息计算得到初始预测区域的中心点的位置信息；以中心点为中心，以第一区域框大小为标准向四周进行区域延伸，得到初始预测区域，直接跳转至步骤S211。
在一具体实施例中，以中心点为中心，以第一区域框大小为标准向四周进行区域延伸，得到第一预测区域；将第一预测区域向外扩大K倍，得到初始预测区域；其中，K大于1。
在一可选实施例中，当跟踪目标以前一帧的运行速度进行行进时，将跟踪目标在前一帧的运行速度和第一区域框的位置坐标输入到恒定速度模型中，对跟踪目标进行线性速度预测，得到跟踪目标的初始预测区域。
在一可选实施例中，将跟踪目标的前一帧的运行加速度和第一区域框的位置坐标输入到恒定加速度模型中，跟踪目标进行线性速度预测，得到跟踪目标的初始预测区域。
在一具体实施例中，通过线性速度预测公式(1)和(2)预测初始预测范围中心点的坐标。
C2_x＝C1_x+V1_x*t (1)
C2_y＝C1_y+V1_y*t (2)
其中，V1为前一帧跟踪目标的运行速度；C1是前一帧跟踪目标中心点的位置坐标；C2是当前帧跟踪目标中心点的位置坐标。
S210：通过卡尔曼预测方法预测得到跟踪目标的初始预测区域。
具体地，跟踪目标在当前帧的运行速度与跟踪目标的前一帧的运行速度不同，通过卡尔曼预测方法直接通过跟踪目标在前一帧的第一区域框的位置信息预测出跟踪目标在当前帧的初始预测范围，直接跳转至S211。
卡尔曼预测方法是通过卡尔曼滤波预测，卡尔曼滤波预测的目的是估计当前和未来时刻跟踪目标的运动状态，包括位置、速度和角度等。卡尔曼滤波预测的准则是均方根误差最小。
本实施例中，利用卡尔曼滤波对前一帧跟踪目标的运行轨迹进行跟踪滤波，以对跟踪目标进行目标位置状态估计与预测，因此能够有效实现对跟踪目标的实时跟踪。
在一具体实施例中，前一帧图像样本上的卡尔曼滤波的状态为卡尔曼滤波的转移函数为：/>其中，(x，y)是跟踪目标在前一帧图像样本中的位置，Vx、Vy是跟踪目标在前一帧图像样本中的运行速度。
下面是卡尔曼滤波预测目标出现区域的步骤：
首先通过公式(3)预测当前帧跟踪目标的状态；
通过公式(4)计算卡尔曼增益；
gk＝pk-1/(pk-1+r) (4)
通过公式(5)计算预测误差；
pk＝(1-gk)pk-1 (5)
通过公式(6)预测状态估计；
通过公式(7)预测误差。
pk＝apk-1a (7)
其中，pk是当前帧的预测误差；pk-1是前一帧的预测误差；Δt是连续两帧之间的间隔；uk表示对目标状态的控制量；表示当前帧修正后的状态估计；/>表示前一帧修正后的状态估计；gk是卡尔曼增益，即前一帧状态估计和当前帧测量对当前帧的估计的影响的分配权重，gk的取值范围为0～1；a，b为均为预测控制参数；r为观测噪音方差。
在一可选实施例中，gk为0，即增益为0时，xk＝xk-1，当前目标对象的状态估计不予采用，将上一次的状态估计作为当前状态的估计。在一可选实施施例中，gk为1，即增益为1时，xk＝zk，对于当前目标对象的状态估计可采用，将当前状态的估计作为跟踪目标的状态估计。
根据上一帧跟踪目标的状态估计预测当前帧跟踪目标的初始预测范围，初始预测区域是以状态估计中的位置为中心，以预测误差的最大值加上在跟踪目标显示在图像样本上的最大直径为边长的正方形区域。
S211：对第一区域框和初始预测区域分别进行特征提取得到第一特征图和初始预测特征图。
具体地，对上述步骤所得的跟踪目标的初始预测区域和跟踪目标的第一区域框进行特征提取，具体通过权重相同的全卷积神经网络进行特征提取，得到目标对象的第一特征图和初始预测区域的初始预测特征图。
在一具体实施例中，跟踪目标的第一区域框的尺寸可以为127*127*3，将其通过全卷积神经网络进行特征提取可以得到的6*6*128的第一特征图；初始预测区域的尺寸可以为225*225*3，将其通过全卷积神经网络进行特征提取得到22*22*128的初始预测特征图。
S212：将第一特征图与初始预测特征图进行滑动匹配，确定第一特征图在初始预测特征图中的响应特征图。
具体地，对上述步骤获得的第一特征图和初始预测特征图进行互相关滤波操作，将第一特征图在初始预测特征图中逐次移动同等个像素点，将第一特征图与初始预测特征图各处进行匹配，得到第一特征图在初始预测特征图中的响应特征图。
在一可选实施例中，将第一特征图与初始预测特征图的各处进行响应值计算，确定出初始预测特征图中与第一特征图响应值最高的区域。在一具体实施例中，将尺寸为6*6*128的第一特征图与22*22*128的初始预测特征图进行互相关滤波操作，得到尺寸为17*17*1的响应特征图。
S213：通过双线性插值将响应特征图调整到图像样本的尺寸。
具体地，采用双线性插值方法将响应特征图插值到初始预测区域的尺寸，便于在初始预测区域中确定跟踪目标的位置坐标。在一具体实施例中，将尺寸为17*17*1的响应特征图插值到尺寸为225*225*3的初始预测区域的原图中。
S214：计算跟踪目标在图像样本尺寸中的最大响应位置；将最大响应位置作为跟踪目标在当前帧的位置信息。
具体地，根据第一特征图在初始预测区域的响应特征图中的位置坐标计算插值到初始预测原图中的插值位置坐标，得到跟踪目标在当前帧中初始预测区域中的准确位置坐标。
在一具体实施例中，第一特征图在初始预测区域的响应特征图的位置坐标可以为(7，7)，经过插值到255*255*3的初始预测区域的原图中，预测得到跟踪目标在初始预测区域原图的位置为(105，105)。以该坐标为跟踪目标的中心位置，将跟踪目标在前一帧的第一区域框叠加到当前帧上即可得到目标在当前帧搜索区域的准确位置。
S215：将确定的跟踪目标在当前帧的位置信息更新为当前帧的跟踪目标的状态信息。
具体地，将上述预测的跟踪目标在当前帧的准确位置更新为当前帧图像样本中跟踪目标的状态信息。其中，跟踪目标的状态信息包括跟踪的目标、目标回归框、目标轨迹历史轨迹信息、当前运动速度、目标经过特征提取网络提取到的特征信息。该信息将作为下一次预测的跟踪目标的参数信息。
S216：判断跟踪目标是否满足删除条件。
具体地，在图像样本中识别跟踪目标是否还存在于摄像头监控的视野区域，如果跟踪目标存在于摄像头监控的视野区域，则直接跳转到步骤S217；如果跟踪目标离开摄像头监控的视野区域，即在下一帧图像中未检测到该跟踪目标，则直接跳转至步骤S218。
S217：对跟踪目标进行迭代跟踪。
具体的，对不满足删除条件的跟踪目标继续进行迭代跟踪，直接跳转至步骤203，进行下一轮的跟踪目标位置预测，继续对该跟踪目标进行跟踪。
S218：删除跟踪目标。
本实施例中提供的目标跟踪方法针对不同运行状态的跟踪目标采用不同的预测方法，实现对跟踪目标位置的精确预测，提高了目标追踪的精确率；通过对第一区域框和初始预测区域进行特征提取进而确定跟踪目标的准确位置，将运动估计和特征匹配相结合，实现了对不同状态跟踪目标的长时跟踪，大幅度提升了跟踪目标的鲁棒性和普适性。
参阅图3，图3是本申请终端一实施方式的示意框图。如图3所示，该实施方式的终端50包括：处理器51、存储器52以及存储在存储器52中并可在处理器51上运行的计算机程序该计算机程序被处理器51执行时实现上述目标跟踪方法，为避免重复，此处不一一赘述。
参阅图4，图4是本申请计算机可读存储介质一实施方式的示意框图。
本申请的实施方式中还提供一种计算机可读存储介质60，计算机可读存储介质60存储有计算机程序601，计算机程序601中包括程序指令，处理器执行程序指令，实现本申请实施方式提供的任一项目标跟踪方法。
其中，计算机可读存储介质60可以是前述实施方式的计算机设备的内部存储单元，例如计算机设备的硬盘或内存。计算机可读存储介质60也可以是计算机设备的外部存储设备，例如计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (15)

1.一种目标跟踪方法，其特征在于，所述目标跟踪方法包括：
获取到至少两帧包括跟踪目标的图像样本，从所述图像样本中确定所述跟踪目标的第一区域框；
判断当前帧与前一帧图像中所述第一区域框的所述跟踪目标的匹配度是否大于设定值；
如果大于或等于所述设定值，基于所述前一帧图像中所述第一区域框的位置信息确定所述跟踪目标的运行速度；通过所述前一帧图像的第一区域框的位置信息和所述运行速度预测得到所述跟踪目标的初始预测区域；
对所述前一帧图像的第一区域框和所述初始预测区域分别进行特征提取，响应于特征提取结果确定所述跟踪目标在所述当前帧的位置信息；
其中，所述基于所述前一帧图像中所述第一区域框的位置信息确定所述跟踪目标的运行速度，包括：
通过连续帧的所述第一区域框的位置信息获取所述跟踪目标的运动轨迹；
根据所述跟踪目标的运动轨迹计算得到所述跟踪目标的运行速度。
2.根据权利要求1所述的目标跟踪方法，其特征在于，所述判断当前帧与前一帧图像中所述第一区域框的所述跟踪目标的匹配度是否大于设定值的步骤具体包括：
计算得到所述跟踪目标在所述当前帧与所述前一帧图像中的重合度；
如果所述重合度大于或等于设定重合度，确定所述匹配度大于或等于所述设定值；如果所述重合度小于所述设定重合度，确定所述匹配度小于所述设定值。
3.根据权利要求2所述的目标跟踪方法，其特征在于，所述计算所述跟踪目标在所述当前帧与所述前一帧图像中的重合度的步骤包括：
计算所述当前帧与所述前一帧图像交集与并集的比值，得到所述当前帧与所述前一帧图像中的重合度。
4.根据权利要求1所述的目标跟踪方法，其特征在于，所述通过所述第一区域框的位置信息和所述运行速度预测得到所述跟踪目标的初始预测区域的步骤具体包括：
获取到所述第一区域框的中心点的位置信息；
利用所述运行速度以及所述中心点的位置信息计算得到所述初始预测区域的中心点的位置信息；
以所述中心点为中心，以所述第一区域框大小为标准向四周进行区域延伸，得到所述初始预测区域。
5.根据权利要求4所述的目标跟踪方法，其特征在于，所述以所述中心点为中心，以所述第一区域框大小为标准向四周进行区域延伸，得到所述初始预测区域的步骤包括：
所述以所述中心点为中心，以所述第一区域框大小为标准向四周进行区域延伸，得到第一预测区域；
将所述第一预测区域向外扩大K倍，得到所述初始预测区域；其中，所述K大于1。
6.根据权利要求1所述的目标跟踪方法，其特征在于，所述目标跟踪方法还包括：
如果所述当前帧图像样本中所述第一区域框中跟踪目标与所述前一帧图像样本中所述第一区域框中跟踪目标的匹配度小于设定值，通过卡尔曼预测方法得到所述跟踪目标的初始预测区域。
7.根据权利要求1~6任一项所述的目标跟踪方法，其特征在于，所述对所述第一区域框和所述初始预测区域分别进行特征提取，响应于特征提取结果确定所述跟踪目标在所述当前帧的位置信息的步骤具体包括：
对所述第一区域框和所述初始预测区域分别进行特征提取，得到第一特征图和初始预测特征图；
将所述第一特征图与所述初始预测特征图进行滑动匹配，确定所述所述第一特征图在所述初始预测特征图中的响应特征图；
通过所述响应特征图确定所述跟踪目标在所述当前帧的位置信息。
8.根据权利要求7所述的目标跟踪方法，其特征在于，所述将所述第一特征图与所述初始预测特征图进行滑动匹配，确定所述所述第一特征图在所述初始预测特征图中的响应特征图的步骤具体包括：
将所述第一特征图在所述初始预测特征图中逐次移动同等个像素点，将所述第一特征图与所述初始预测特征图各处进行匹配，得到所述第一特征图在所述初始预测特征图中的响应特征图。
9.根据权利要求7所述的目标跟踪方法，其特征在于，所述通过所述响应特征图确定所述跟踪目标在所述当前帧的位置信息的步骤具体包括：
通过双线性插值将所述响应特征图调整到所述图像样本的尺寸；
计算所述跟踪目标在所述图像样本尺寸中的最大响应位置；将所述最大响应位置作为所述跟踪目标在所述当前帧的位置信息。
10.根据权利要求1所述的目标跟踪方法，其特征在于，所述获取到至少两帧包括跟踪目标的图像样本，从所述图像样本中确定所述跟踪目标的第一区域框的步骤之前还包括：
获取视频图像中的多帧图像样本；
对所述多帧图像样本中的目标对象进行检测并标注第一区域框；
判断所述目标对象的第一区域框出现在所述图像样本的连续帧数是否符合预设帧数；
如果符合，则确定所述目标对象为跟踪目标。
11.根据权利要求10所述的目标跟踪方法，其特征在于，所述判断所述目标对象的第一区域框连续出现的图像样本帧数是否符合预设帧数的步骤还包括：
判断所述目标对象的第一区域框的置信度是否符合预设置信度；
如果符合，则确定所述目标对象为所述跟踪目标；
如果不符合，则确定所述目标对象为临时目标。
12.根据权利要求7所述的目标跟踪方法，其特征在于，所述通过所述响应特征图确定所述跟踪目标在所述当前帧的位置信息的步骤之后还包括：
将确定的所述跟踪目标在所述当前帧的位置信息更新为所述当前帧的跟踪目标的状态信息；
判断所述跟踪目标是否满足删除条件；
如果不满足，则对所述跟踪目标进行迭代跟踪；
如果满足，则删除所述跟踪目标。
13.根据权利要求12所述的目标跟踪方法，其特征在于，所述删除条件为所述跟踪目标离开检测区域。
14.一种终端，所述终端包括存储器、处理器以及存储于所述存储器中并在所述处理器上运行的计算机程序，其特征在于，所述处理器用于实现如权利要求1~13任一项所述目标跟踪方法中的步骤。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1~13任一项所述目标跟踪方法中的步骤。
CN202010839989.0A 2020-08-20 2020-08-20 一种目标跟踪方法、终端及其计算机可读存储介质 Active CN112037257B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010839989.0A CN112037257B (zh) 2020-08-20 2020-08-20 一种目标跟踪方法、终端及其计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010839989.0A CN112037257B (zh) 2020-08-20 2020-08-20 一种目标跟踪方法、终端及其计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112037257A CN112037257A (zh) 2020-12-04
CN112037257B true CN112037257B (zh) 2023-09-29

Family

ID=73578526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010839989.0A Active CN112037257B (zh) 2020-08-20 2020-08-20 一种目标跟踪方法、终端及其计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112037257B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113096424B (zh) * 2021-03-25 2022-05-31 武汉光庭信息技术股份有限公司 一种行人横穿的车辆自动紧急制动方法及系统
CN113744299B (zh) * 2021-09-02 2022-07-12 上海安维尔信息科技股份有限公司 一种相机控制方法、装置、电子设备及存储介质
CN115690163B (zh) * 2023-01-04 2023-05-09 中译文娱科技(青岛)有限公司 基于影像内容的目标跟踪方法、系统及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982559A (zh) * 2012-11-28 2013-03-20 大唐移动通信设备有限公司 车辆跟踪方法及系统
CN105631900A (zh) * 2015-12-30 2016-06-01 浙江宇视科技有限公司 一种车辆跟踪方法及装置
JP2017098843A (ja) * 2015-11-26 2017-06-01 株式会社リコー 撮像装置、物体追尾方法、及びプログラム
CN107274433A (zh) * 2017-06-21 2017-10-20 吉林大学 基于深度学习的目标跟踪方法、装置及存储介质
CN108765452A (zh) * 2018-05-11 2018-11-06 西安天和防务技术股份有限公司 一种复杂背景下运动目标检测与跟踪方法
CN109087335A (zh) * 2018-07-16 2018-12-25 腾讯科技（深圳）有限公司 一种人脸跟踪方法、装置和存储介质
CN109859240A (zh) * 2017-11-30 2019-06-07 比亚迪股份有限公司 视频对象跟踪方法和装置、车辆
WO2019237536A1 (zh) * 2018-06-11 2019-12-19 平安科技（深圳）有限公司 目标实时跟踪方法、装置、计算机设备及存储介质
KR20200077942A (ko) * 2018-12-21 2020-07-01 네이버랩스 주식회사 객체의 미래 움직임 예측을 통한 동영상에서의 객체 추적을 위한 방법 및 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5488076B2 (ja) * 2010-03-15 2014-05-14 オムロン株式会社 対象物追跡装置、対象物追跡方法、および制御プログラム
CN108460787B (zh) * 2018-03-06 2020-11-27 北京市商汤科技开发有限公司 目标跟踪方法和装置、电子设备、程序、存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982559A (zh) * 2012-11-28 2013-03-20 大唐移动通信设备有限公司 车辆跟踪方法及系统
JP2017098843A (ja) * 2015-11-26 2017-06-01 株式会社リコー 撮像装置、物体追尾方法、及びプログラム
CN105631900A (zh) * 2015-12-30 2016-06-01 浙江宇视科技有限公司 一种车辆跟踪方法及装置
CN107274433A (zh) * 2017-06-21 2017-10-20 吉林大学 基于深度学习的目标跟踪方法、装置及存储介质
CN109859240A (zh) * 2017-11-30 2019-06-07 比亚迪股份有限公司 视频对象跟踪方法和装置、车辆
CN108765452A (zh) * 2018-05-11 2018-11-06 西安天和防务技术股份有限公司 一种复杂背景下运动目标检测与跟踪方法
WO2019237536A1 (zh) * 2018-06-11 2019-12-19 平安科技（深圳）有限公司 目标实时跟踪方法、装置、计算机设备及存储介质
CN109087335A (zh) * 2018-07-16 2018-12-25 腾讯科技（深圳）有限公司 一种人脸跟踪方法、装置和存储介质
KR20200077942A (ko) * 2018-12-21 2020-07-01 네이버랩스 주식회사 객체의 미래 움직임 예측을 통한 동영상에서의 객체 추적을 위한 방법 및 시스템

Also Published As

Publication number Publication date
CN112037257A (zh) 2020-12-04

Similar Documents

Publication Publication Date Title
CN112037257B (zh) 一种目标跟踪方法、终端及其计算机可读存储介质
CN111488795B (zh) 应用于无人驾驶车辆的实时行人跟踪方法
CN110472496B (zh) 一种基于目标检测与跟踪的交通视频智能分析方法
JP6944598B2 (ja) 目標追跡方法及び装置、記憶媒体
CN108846854B (zh) 一种基于运动预测与多特征融合的车辆跟踪方法
CN107452015B (zh) 一种具有重检测机制的目标跟踪系统
CN111292352B (zh) 多目标跟踪方法、装置、设备及存储介质
CN109035295B (zh) 多目标跟踪方法、装置、计算机设备和存储介质
CN114049382B (zh) 一种智能网联环境下目标融合跟踪方法、系统和介质
CN110348332B (zh) 一种交通视频场景下机非人多目标实时轨迹提取方法
CN111322993B (zh) 一种视觉定位方法和装置
JP2021026644A (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
CN111209774A (zh) 目标行为识别及显示方法、装置、设备、可读介质
CN111639570B (zh) 一种基于运动模型和单目标线索的在线多目标跟踪方法
KR102295183B1 (ko) Cctv 프로젝션 모델을 이용한 cctv 영상의 객체 추적 방법
CN114708300A (zh) 一种可抗遮挡的自适应目标跟踪方法及系统
Hao et al. Multiple person tracking based on slow feature analysis
CN116403139A (zh) 一种基于目标检测的视觉跟踪定位方法
CN114581678A (zh) 一种模板特征匹配的自动跟踪与重识别方法
CN111986231A (zh) 一种多目标跟踪方法及系统
CN116385493A (zh) 野外环境下多运动目标检测与轨迹预测方法
JP6698058B2 (ja) 画像処理装置
CN116523957A (zh) 一种多目标跟踪方法、系统、电子设备及存储介质
Pathan et al. A survey on moving object detection and tracking methods
CN114581847B (zh) 一种基于gam跟踪器的社区行人异常行为检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant