CN112200830A - 一种目标跟踪方法及设备 - Google Patents

一种目标跟踪方法及设备 Download PDF

Info

Publication number
CN112200830A
CN112200830A CN202010954830.3A CN202010954830A CN112200830A CN 112200830 A CN112200830 A CN 112200830A CN 202010954830 A CN202010954830 A CN 202010954830A CN 112200830 A CN112200830 A CN 112200830A
Authority
CN
China
Prior art keywords
target
recognition
recognition target
predicted
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010954830.3A
Other languages
English (en)
Inventor
马景行
蔡富东
吕昌峰
文刚
陈雷
李在学
朱朋
韩振
王海慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Senter Electronic Co Ltd
Original Assignee
Shandong Senter Electronic Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Senter Electronic Co Ltd filed Critical Shandong Senter Electronic Co Ltd
Priority to CN202010954830.3A priority Critical patent/CN112200830A/zh
Publication of CN112200830A publication Critical patent/CN112200830A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种目标追踪方法及设备，包括：接收若干视频图像中识别目标的历史轨迹序列；历史轨迹序列包括多帧图像中的识别目标的位置信息；在对视频图像进行识别的识别时长内，根据视频图像的视频帧率，确定识别目标的若干预测位置的时间点；识别时长为识别一帧视频图像的时间；根据识别目标的历史轨迹序列以及识别目标的若干预测位置的时间点，对识别目标进行移动轨迹的预测。本发明通过根据识别目标的历史轨迹序列，预测识别目标指定时间点的位置信息，对实时视频中识别目标的位置进行绘制，实现了对识别目标的实时跟踪。

Description

一种目标跟踪方法及设备
技术领域
本申请涉及图像处理领域，尤其涉及一种目标跟踪方法及设备。
背景技术
近年来，随着目标检测算法和目标属性分析算法的飞速发展，目标检测和目标属性分析的准确率越来越高，但计算量也越来越大。在视频分析过程中，会对识别目标的位置进行标注。对于在嵌入式端本地部署这些算法时，由于嵌入式端的算力限制，从而导致单帧的检测时间很长。但是视频图像中运动目标的运动状态具有连续性，因此对于运动目标无法达到准确的真正实时检测，从而不能够更好地应用到真正的跟踪场景中。
发明内容
本申请实施例提供了一种目标跟踪方法及设备，解决了在功耗限制的情况下，对于视频图像中运动目标跟踪速度慢以及精度低的问题。
一方面，本申请实施例提供了一种目标追踪方法，包括：接收若干视频图像中识别目标的历史轨迹序列；历史轨迹序列包括多帧图像中的识别目标的位置信息；在对视频图像进行识别的识别时长内，根据视频图像的视频帧率，确定识别目标的若干预测位置的时间点；识别时长为识别一帧视频图像的时间；根据识别目标的历史轨迹序列以及识别目标的若干预测位置的时间点，对识别目标进行移动轨迹的预测。
本申请实施例通过识别目标的历史轨迹序列，预测识别目标若干时间点的位置信息。因此可以从若干预测位置中获取相应视频图像中识别目标的位置信息，对实时视频中的识别目标进行绘制，从用户感知层，降低了目标的识别延迟。因此通过对识别目标进行移动轨迹的预测，实现了对识别目标的实时跟踪。
在一个示例中，对识别目标进行移动轨迹的预测，具体包括：在历史轨迹序列中，识别目标的数量超过第一预设阈值，且不超过第二预设阈值，确定识别目标的移动轨迹是匀速移动，对识别目标进行移动轨迹的预测。
本申请实施例通过对图像帧中的识别目标的移动轨迹进行匀速预测，可以更准确的预测指定若干时间点的位置信息，实现了对识别目标的实时跟踪，并且减少了计算量，提高了识别目标的实时跟踪的效率。
在一个示例中，确定识别目标的移动轨迹是匀速移动，对识别目标进行移动轨迹的预测，具体包括：根据识别目标的位置信息，确定识别目标的位置偏移量；根据识别目标的位置偏移量，确定当前时刻识别目标的位置；基于当前时刻识别目标的位置信息，根据识别目标的位置偏移量，以及识别目标的若干预测位置的时间点，确定识别目标的若干预测位置信息。
在一个示例中，通过
Figure BDA0002678255180000021
确定识别目标的位置偏移量；以及通过
Figure BDA0002678255180000022
确定当前时刻识别目标的位置信息；以及通过
Figure BDA0002678255180000023
确定识别目标的若干预测位置信息。
其中，x1为识别目标的第一位置x轴坐标，x2为识别目标的第二位置x轴坐标，disx为识别目标的x轴偏移量，y1为识别目标的第一位置y轴坐标，y2为识别目标的第二位置y轴坐标，disy为识别目标的y轴偏移量，n为单个识别时长内的识别目标的第n个预测位置，n为大于0的整数，m为单个时长内的识别目标的总预测位置的数量，m为大于0的整数，x0为当前时刻识别目标的x轴坐标，
Figure BDA0002678255180000031
为识别目标的第n个若干预测位置的x轴坐标，y0为当前时刻识别目标的y轴坐标，
Figure BDA0002678255180000032
为识别目标的第n个若干预测位置的y轴坐标。
在一个示例中，对识别目标进行移动轨迹的预测，还包括：在历史轨迹序列中，识别目标的数量超过第二预设阈值，确定识别目标的移动轨迹是匀加速移动。
本申请实施例通过对图像帧中的识别目标的移动轨迹进行匀加速预测，可以更准确的预测指定若干时间点的位置信息，实现了对识别目标的实时跟踪，并且减少了计算量，提高了识别目标的实时跟踪的效率。
在一个示例中，确定识别目标的移动轨迹是匀加速移动，对识别目标进行移动轨迹的预测，具体包括：在识别目标的位置信息无拐点的情况下，根据识别目标的位置信息，以及识别目标的若干预测位置的时间点，确定识别目标的若干预测位置信息。
在一个示例中，确定识别目标的移动轨迹是匀加速移动，对识别目标进行移动轨迹的预测，还包括：
通过以下公式确定识别目标的若干预测位置信息；
Figure BDA0002678255180000033
其中，xi识别目标的第i位置x轴坐标，xi-1为识别目标的第i-1位置x轴坐标，xi-2为识别目标的第i-2位置x轴坐标，yi识别目标的第i位置y轴坐标，yi-1为识别目标的第i-1位置y轴坐标，yi-2为识别目标的第i-2位置y轴坐标，n为单个识别时长内的识别目标的第n个预测位置，n为大于0的整数，m为单个时长内的识别目标的总预测位置的数量，m为大于0的整数，
Figure BDA0002678255180000041
为识别目标的第n个若干预测位置的x轴坐标，
Figure BDA0002678255180000042
为识别目标的第n个若干预测位置的y轴坐标。
在一个示例中，接收若干视频图像中识别目标的历史轨迹序列，之前包括：根据识别目标，对视频图像的一帧图像中的若干目标进行交并比目标检测，确定一帧图像中识别目标的位置信息；在未检测到识别目标的情况下，对一帧图像中的识别目标进行相似度目标检测，得到一帧图像中识别目标的位置信息。
本身请实施例通过交并比目标检测对两个目标区域交集的时候更有效果，SIM可以弥补交并比目标检测的不足，SIM可以在交集小，或者没有交集的时候进行判断，两者进行结合，提高了对识别目标检测的准确率。
一个示例中，接收若干视频图像中识别目标的历史轨迹序列，具体包括：通过视频分析模块对若干视频图像中的识别目标进行识别，得到若干视频图像中识别目标的识别结果；将识别结果以队列的方式进行存储；在队列中，确定相邻的若干视频图像中的识别目标，得到若干视频图像中识别目标的历史轨迹序列。
一个示例中，确定识别目标的若干预测位置的时间点，具体包括：根据视频图像帧的视频帧率，确定识别目标的若干相邻预测位置的时间点之间的间隔；对识别目标的识别时长与识别目标的若干相邻预测位置的时间点之间的间隔进行比值计算，确定识别目标的若干预测位置的时间点。
在识别时长内，本申请实施例通过视频帧率确定识别目标的若干相邻预测位置的时间点之间的间隔，使得预测若干帧图像中的识别目标的位置信息与预测若干时间点的位置信息一一对应。
另一方面，本申请实施例提供的一种目标跟踪设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被所述至少一个处理器执行的指令，所述指令被至少一个处理器执行，以使至少一个处理器能够执行上述中的任一项的目标跟踪方法。
本申请实施例通过识别目标的历史轨迹序列，预测识别目标若干时间点的位置信息。因此可以从若干预测位置中获取相应视频图像中识别目标的位置信息，对实时视频中的识别目标进行绘制，从用户感知层，降低了目标的识别延迟。因此通过对识别目标进行移动轨迹的预测，实现了对识别目标的实时跟踪。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
在附图中：
图1为本申请实施例提供的一种目标跟踪方法流程图；
图2为本申请实施例提供的一种目标跟踪方法的一种实施方案示意图；
图3为本申请实施例提供的一种目标跟踪方法的另一种实施方案示意图；
图4为本申请实施例提供的一种目标跟踪设备示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在视频图像分析过程中，会对目标的位置进行标注。但是在摄像头、无人机等嵌入式端设备低算力或者视频分析模型占用资源较多等条件下，算法计算量被限制在一个较小的数量级上。因此视频分析模块识别出目标位置需要更多时间，这样就出现目标位置标注与实际目标位置相比，出现绘制延迟现象。因此，需要引入多目标跟踪的方法，以便在某帧视频图像通过视频分析模型得到目标位置后，进一步采用目标跟踪的方法给出若干目标在随后若干帧图像的位置。本申请实施例为了解决以上技术问题，提出了一种目标跟踪方法对视频图像中的目标进行移动轨迹预测。
本申请实施例提供的一种目标跟踪方法，可以应用到多种不同的智能视频监控前端。例如，基于嵌入式摄像机的车辆特征识别系统、行人特征识别系统等方面。
本申请实施例涉及的分析方法的实现可以为终端设备，也可以为服务器，本申请对此不作特殊限制。为了方便理解和描述，以下实施例均以终端设备为例进行详细描述。
本申请实施例中，终端设备中的视频分析模块接收视频图像，该视频图像可以是摄像头的实时输入的视频文件也可以是存储的视频文件。视频分析模块利用视频分析模型对输入的视频图像进行目标识别，从图像帧中识别出若干目标的位置、目标类别等信息。例如，上述目标位置可通过矩形框形式显示。终端设备将相应的分析结果存储至本地或远程数据库。例如，以队列存储至本地。为了方便理解和描述，以下实施例均以队列存储为例进行详细描述。
需要说明的是，一帧图像中的若干目标可以包括多个识别目标图像，并对多个识别目标同时进行预测，为了方便理解和描述，以下实施例均以一个识别目标为例进行详细描述，对于多个目标的识别，仅需要分别识别各单个目标图像即可。
在视频分析结果队列传入新的视频分析结果时，终端设备通过视频分析结果队列检测识别目标的历史轨迹，从而得到识别目标的历史轨迹序列。需要说明的是，识别目标的历史轨迹序列中，若干帧图像是彼此相邻的。
由于本申请实施例的预测原则是以最新视频分析结果为依据，如果历史轨迹序列中从最新识别出来的目标开始，识别目标的图像帧不相邻，说明最新识别出来的目标，和之前分析出来的目标有偏差。所以在历史轨迹序列中，从最新识别出来的图像帧开始，依次查找之前识别的图像帧中的识别目标，直至图像帧不包括识别目标。
举例来说，视频分析结果队列中，一共有5帧图像分析结果，将新传入的一帧图像记为5号，往前依次为4号图像帧、3号图像帧、2号图像帧、1号图像帧。5号图像帧包括3个目标，为汽车、卡车以及自行车，4号图像帧包括3个目标，为汽车、卡车以及自行车，3号图像帧包括3个目标，为汽车、卡车以及自行车，2号图像帧包括2个目标，为卡车以及自行车，1号图像帧包括3个目标，为汽车、卡车以及自行车。
现在我们需要得到汽车的预测移动轨迹，则通过目标检测算法检测到5号、4号以及3号图像帧，有识别目标汽车，接着检测2号图像帧，没有检测到识别目标汽车，由于包括识别目标汽车的图像帧中断，则不再对1号图像帧进行检测。因此，汽车的历史轨迹序列包括5号图像帧、4号图像帧以及3号图像帧的汽车位置信息。
在得到识别目标的历史轨迹序列后，判断该历史轨迹中识别目标的数量，不同识别目标的数量对应不同的移动轨迹预测方法。一个例子中，识别目标历史轨迹序列有一个、两个、三个或以上识别目标的数量。
在识别一帧视频图像的识别时长内，通过对识别目标移动轨迹的预测，得到视频分析模块当前识别图像帧的随后若干帧图像中识别目标的位置信息。终端设备将相应的预测结果存储至本地或远程数据库。例如，以队列存储至本地。
进一步的，本申请实施例对识别目标的中心位置进行预测，通过视频分析结果新传入的图像帧中识别目标的宽和高，组合出预测目标的具体区域。需要说明的是，对于识别目标的预测位置以及如何组合出预测目标的具体区域，本申请不作特殊限制。
随后若干帧图像中识别目标的位置信息与预测若干时间点的位置信息一一对应，从而可以从预测结果队列中获取识别目标随后若干帧的位置信息，对实时视频进行绘制。
需要说明的是，随后若干帧图像是视频分析模块来不及进行分析的图像。例如，终端设备的视频帧率为1秒30帧，也就是说，每隔
Figure BDA0002678255180000081
出一帧视频图像。而视频分析模块识别一帧视频图像的识别时长为200ms，在该200ms内，视频分析模块接收到6帧图像，依次为7号图像帧、8号图像帧、9号图像帧、10号图像帧、11号图像帧以及12号图像帧。由于视频分析模块下一次分析的图像帧为200ms后传来的图像帧，因此视频分析模块分析当前6号图像帧的时候，对于随后每隔
Figure BDA0002678255180000082
传来的6帧图像，即其他6帧图像是来不及进行分析的。
下面对本发明技术方案做进一步的说明。
图1为本申请实施例提供的一种目标跟踪方法流程图。
S101、终端设备接收若干视频图像中识别目标的历史轨迹序列。
终端设备通过目标检测算法对视频分析结果队列中的若干视频图像帧进行检测，得到相邻的图像帧中识别目标的位置信息，从而得到若干视频图像中识别目标的历史轨迹序列。历史轨迹序列包括多帧图像中的识别目标的位置信息。
需要说明的是，本申请实施例对目标检测算法不作特殊限制。一个例子中，目标检测算法包括交并比目标检测算法以及相似度目标检测。
具体的，对视频图像的一帧图像中的若干目标进行交并比目标检测，确定一帧图像中识别目标的位置信息。需要说明的是，交并比又名IOU，是一种计算不同图像相互重叠比例的算法，时常被用于深度学习领域的目标检测或语义分割任务中。
在视频分析结果队列中，确定一帧图像中的识别目标，然后通过该图像帧中的识别目标，对其他图像帧中的若干目标进行交并比检测，在该图像帧的识别目标与其他图像帧中识别目标类型相同的情况下，判断两目标区域的交集/并集是否大于IOU阈值，找到符合大于IOU阈值，且IOU最大，将视为统一识别目标。例如，比如视频分析结果队列中有1号图像帧、2号图像帧，1号图像帧里面的已经识别的目标A与2里面的某一个同类型目标的两个区域，为两目标区域。
此外，在未检测到识别目标的情况下，然后通过该图像帧中的识别目标，对其他图像帧中的识别目标进行相似度目标检测，得到统一识别目标的位置信息。需要说明的是，相似度目标检测又叫SIM目标检测。
两个目标区域中的识别目标的形状加权值与识别目标的大小加权值的总和大于SIM阈值，将视为同一识别目标。
若本申请实施例通过SIM目标检测认为未找到相同识别目标，则认为该图像帧中不包括识别目标。
本身请实施例通过交并比目标检测对两个目标区域交集的时候更有效果，SIM可以弥补交并比目标检测的不足，SIM可以在交集小，或者没有交集的时候进行判断，两者进行结合，提高了对识别目标检测的准确率。
S102、在对视频图像进行识别的识别时长内，根据视频图像的视频帧率，确定识别目标的若干预测位置的时间点。
本申请实施例中，在对视频图像进行识别的识别时长内，终端设备通过视频图像帧的视频帧率，确定识别目标的若干相邻预测位置的时间点之间的间隔。并对识别目标的识别时长与识别目标的若干相邻预测位置的时间点之间的间隔进行比值计算，确定识别目标的若干预测位置的时间点。需要说明的是，识别时长为识别一帧所述视频图像的时间。
由于识别目标的若干相邻预测位置的时间点之间的间隔与将若干帧图像传给视频分析模块的时间间隔是一样的，因此若干帧图像中识别目标的位置信息与预测若干时间点的位置信息一一对应。
例如，视频分析模块一帧视频图像的识别时长为200ms，就预测当前时刻后200ms当中，若干预测时间点的识别目标位置信息。视频图像帧的视频帧率为1秒30帧，则识别目标的若干相邻预测位置的时间点之间的间隔为
Figure BDA0002678255180000101
通过对识别目标的识别时长200ms与识别目标的若干相邻预测位置的时间点之间的间隔
Figure BDA0002678255180000102
进行比值计算，比值为6。也就是说，从当前时刻开始，每隔
Figure BDA0002678255180000103
预测一次图像帧中识别目标的位置信息，一共需要预测6个时间点的图像帧中识别目标的位置信息。
S103、根据识别目标的历史轨迹序列以及识别目标的若干预测位置的时间点，对识别目标进行移动轨迹的预测。
本申请实施中，在历史轨迹序列中，识别目标的数量不超过第一预设阈值，则无需对识别目标的移动轨迹进行预测，将视频结果队列新传入的图像帧中的识别目标的位置信息存储至预测结果队列。一个例子中，第一预设阈值为1。
本申请实施例中，在历史轨迹序列中，识别目标的数量超过第一预设阈值，且不超过第二预设阈值，确定识别目标的移动轨迹是匀速移动，对识别目标进行移动轨迹的预测。一个例子中，第二预设阈值为2。
进一步的，终端设备通过历史轨迹序列中的位置信息，确定视频相邻图像帧中识别目标的位置偏移量，以及通过相邻图像帧中识别目标的位置偏移量，确定当前时刻，视频分析模块识别图像帧中识别目标的位置，以及通过相邻图像帧中识别图像中识别目标的位置偏移量、当前时刻的识别目标的位置信息，对若干预测位置的时间点的识别目标的移动轨迹进行匀速预测。
更进一步的，通过
Figure BDA0002678255180000104
确定相邻图像帧中的识别目标的位置偏移量；以及
通过
Figure BDA0002678255180000111
确定当前时刻识别目标的位置信息；以及
通过
Figure BDA0002678255180000112
确定所述识别目标的若干预测位置信息。
其中，x1为识别目标的第一位置x轴坐标，x2为识别目标的第二位置x轴坐标，disx为识别目标的x轴偏移量，y1为识别目标的第一位置y轴坐标，y2为识别目标的第二位置y轴坐标，disy为识别目标的y轴偏移量，n对应单个识别时长内的识别目标的第n个预测位置，n为大于0的整数，m为单个时长内的识别目标的总预测位置的数量，m为大于0的整数，x0为当前时刻识别目标的x轴坐标，
Figure BDA0002678255180000113
为识别目标的第n个若干预测位置的x轴坐标，y0为当前时刻识别目标的y轴坐标，
Figure BDA0002678255180000114
为识别目标的第n个若干预测位置的y轴坐标。
本申请实施例通过对图像帧中的识别目标的移动轨迹进行匀速预测，可以更准确的预测指定若干时间点的位置信息，实现了对识别目标的实时跟踪，并且减少了计算量，提高了识别目标的实时跟踪的效率。
本申请实施例中，在历史轨迹序列中，识别目标的数量超过第二预设阈值，确定识别目标的移动轨迹是匀加速移动，对识别目标进行移动轨迹的预测。
本申请实施例通过对图像帧中的识别目标的移动轨迹进行匀加速预测，可以更准确的预测指定若干时间点的位置信息，实现了对识别目标的实时跟踪，并且减少了计算量，提高了识别目标的实时跟踪的效率。
进一步的，在历史轨迹中，相邻图像帧中识别目标的位置信息无拐点的情况下，终端设备通过视频分析模块对识别目标进行识别的识别时长，确定识别目标的加速度以及识别目标在各相邻图像帧中当前位置对应的速度。以及通过识别目标的加速度以及在各相邻图像帧中当前位置对应的速度，对若干预测位置的时间点的识别目标的移动轨迹进行匀加速预测。
需要说明的是，判断相邻图像帧中识别目标的位置信息有拐点的情况，通过以下公式实现:
(xi-2-xi-1)*(xi-2-xi)≤0或abs(xi-2-xi-1)＞abs(xi-2-xi)。
其中，abs为绝对值。
若有拐点，则舍去xi，按照识别目标是匀速运动进行预测。
通过以下公式确定识别目标加速度以及识别目标在各相邻图像帧中当前位置对应的速度：
Figure BDA0002678255180000121
更进一步的，识别目标的若干预测位置信息的公式，包括：
Figure BDA0002678255180000122
也就是说，通过以下公式确定识别目标的若干预测位置信息：
Figure BDA0002678255180000123
其中，t为识别目标的识别时长，xi识别目标的第i位置x轴坐标，xi-1为识别目标的第i-1位置x轴坐标，xi-2为识别目标的第i-2位置x轴坐标，vix为识别目标在所述xi位置的x轴速度，ax为识别目标的x轴加速度，yi识别目标的第i位置y轴坐标，yi-1为识别目标的第i-1位置y轴坐标，yi-2为识别目标的第i-2位置y轴坐标，viy为yi位置的识别目标的y轴速度，ay为识别目标的y轴加速度，n对应单个识别时长内的识别目标的第n个预测位置，n为大于0的整数，m为单个时长内的识别目标的总预测位置的数量，m为大于0的整数，
Figure BDA0002678255180000132
为识别目标的第n个若干预测位置的x轴坐标，
Figure BDA0002678255180000133
为识别目标的第n个若干预测位置的y轴坐标。
终端设备清理轨迹预测结果队列，存入最新识别目标的轨迹预测信息。并判断是否有待预测移动轨迹的识别目标，若没有，则预测结束。
基于上述的描述，本申请实施例通过识别目标的历史轨迹序列，预测识别目标若干时间点的位置信息。因此可以从若干预测位置中获取相应视频图像中识别目标的位置信息，对实时视频中的识别目标进行绘制，从用户感知层，降低了目标的识别延迟，在识别目标快速运动、以及云台转动中进行目标识别时，更为明显。因此通过对识别目标进行移动轨迹的预测，实现了对识别目标的实时跟踪。
根据上面的说明，本申请实施例还提供在图1的场景下，上述一种识别目标跟踪方法的一种实施方案示意图，如图2所示。
本申请实施例中，终端设备的视频分析模块识别一帧图像的时长为200ms，视频帧率为30帧/秒。因此从当前时刻开始，预测随后6帧图像中的识别目标的位置，该6帧图像的时间间隔为
Figure BDA0002678255180000131
该历史轨迹序列中有两个相邻图像帧中识别目标的位置信息，因此相邻图像帧中的识别目标是匀速运动。
以x轴方向为例，坐标原点在x2的左侧，识别目标为汽车，已知为x22m，x1为6m。需要说明的是，x1为视频分析结果队列新传入的图像帧中识别目标的位置。
由于视频分析模块对一帧图像的进行识别耗时为200ms，因此当前时刻视频分析模块识别图像帧中识别目标对应的位置x0，需要在x1的基础上加上位移偏移量。需要说明的是，本申请实施例以m为单位描述识别目标的位置，对于识别目标的位置信息的单位，本申请对此不作特殊限制。
根据上述图1方法中涉及的位置偏移量公式可知，
dis＝6-2＝4m
根据上述图1方法中涉及的当前时刻图像帧中识别目标的位置公式可知，
x0＝6+4＝10m
因此，根据上述图1方法中涉及到识别目标的若干预测位置信息公式可知，
Figure BDA0002678255180000141
......
Figure BDA0002678255180000142
进一步的，根据上面的说明，本申请实施例还提供在图1的场景下，上述一种识别目标跟踪方法的另一种实施方案示意图，如图3所示。
本申请实施例中，终端设备的视频分析模块识别一帧图像的时长为200ms，视频帧率为30帧/秒。因此从当前时刻开始，每隔
Figure BDA0002678255180000143
预测当前时刻随后6帧图像中的识别目标的位置。该历史轨迹序列中有3个相邻图像帧中识别目标的位置信息，因此相邻图像帧中的识别目标是匀加速运动。
识别目标为汽车，以x轴方向为例，已知x3为2m，x2为6.12m，x1为10.48m，需要说明的是，x1为视频分析结果队列新传入的图像帧中识别目标的位置。
根据上述图1方法中涉及的判断是否有拐点的公式可知，
(10.48-6.12)*(10.48-2)＞0
因此，x1、x2以及x3不存在拐点，按照汽车是匀加速运动，对汽车当前时刻随后6帧图像中识别目标的移动轨迹进行预测。
根据上述图1方法涉及的确定识别目标的若干预测位置信息的公式可知，
Figure BDA0002678255180000151
......
Figure BDA0002678255180000152
基于同样的思路，本申请的一些实施例还提供了上述方法对应的设备。
图4为本申请实施例提供的一种目标跟踪设备示意图。该目标跟踪设备400至少包括接收器410、处理器420。
接收器410用于接收若干视频图像中识别目标的历史轨迹序列；历史轨迹序列包括多帧图像中的识别目标的位置信息；
处理器420用于在对视频图像进行识别的识别时长内，根据视频图像的视频帧率，确定识别目标的若干预测位置的时间点；识别时长为识别一帧视频图像的时间；以及用于根据识别目标的历史轨迹序列以及识别目标的若干预测位置的时间点，对识别目标进行移动轨迹的预测。
本申请的一些实施例提供的对应于图1的一种识别目标跟踪方法的设备，设备存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现上述识别目标跟踪方法。
本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本申请实施例提供的设备与方法是一一对应的，因此，设备也具有与其对应的方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述设备的有益技术效果。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种目标追踪方法，其特征在于，所述方法包括：
接收若干视频图像中识别目标的历史轨迹序列；所述历史轨迹序列包括多帧图像中的识别目标的位置信息；
在对所述视频图像进行识别的识别时长内，根据所述视频图像的视频帧率，确定所述识别目标的若干预测位置的时间点；所述识别时长为识别一帧所述视频图像的时间；
根据所述识别目标的历史轨迹序列以及所述识别目标的若干预测位置的时间点，对所述识别目标进行移动轨迹的预测。
2.根据权利要求1所述的一种目标追踪方法，其特征在于，所述对所述识别目标进行移动轨迹的预测，具体包括：
在所述历史轨迹序列中，所述识别目标的数量超过第一预设阈值，且不超过第二预设阈值，确定所述识别目标的移动轨迹是匀速移动，对所述识别目标进行移动轨迹的预测。
3.根据权利要求2所述的一种目标追踪方法，其特征在于，所述确定所述识别目标的移动轨迹是匀速移动，对所述识别目标进行移动轨迹的预测，具体包括：
根据所述识别目标的位置信息，确定所述识别目标的位置偏移量；
根据所述识别目标的位置偏移量，确定当前时刻所述识别目标的位置；
基于当前时刻所述识别目标的位置信息，根据所述识别目标的位置偏移量以及所述识别目标的若干预测位置的时间点，确定所述识别目标的若干预测位置信息。
4.根据权利要求3所述的一种目标追踪方法，其特征在于，所述方法还包括：
通过
Figure FDA0002678255170000021
确定所述识别目标的位置偏移量；以及
通过
Figure FDA0002678255170000022
确定当前时刻识别目标的位置信息；以及
通过
Figure FDA0002678255170000023
确定所述识别目标的若干预测位置信息；
其中，x1为所述识别目标的第一位置x轴坐标，x2为所述识别目标的第二位置x轴坐标，disx为所述识别目标的x轴偏移量，y1为所述识别目标的第一位置y轴坐标，y2为所述识别目标的第二位置y轴坐标，disy为所述识别目标的y轴偏移量，n对应于单个识别时长内的所述识别目标的第n个预测位置，n为大于0的整数，m为单个时长内的所述识别目标的总预测位置的数量，m为大于0的整数，x0为当前时刻所述识别目标的x轴坐标，
Figure FDA0002678255170000024
为所述识别目标的第n个若干预测位置的x轴坐标，y0为当前时刻所述识别目标的y轴坐标，
Figure FDA0002678255170000025
为所述识别目标的第n个若干预测位置的y轴坐标。
5.根据权利要求1所述的一种目标追踪方法，其特征在于，所述对所述识别目标进行移动轨迹的预测，还包括：
在所述历史轨迹序列中，所述识别目标的数量超过第二预设阈值，确定所述识别目标的移动轨迹是匀加速移动，对所述识别目标进行移动轨迹的预测。
6.根据权利要求5所述的一种目标追踪方法，其特征在于，所述确定所述识别目标的移动轨迹是匀加速移动，对所述识别目标进行移动轨迹的预测，具体包括：
在所述识别目标的位置信息无拐点的情况下，根据所述识别目标的位置信息，以及所述识别目标的若干预测位置的时间点，确定所述识别目标的若干预测位置信息。
7.根据权利要求6所述的一种目标追踪方法，其特征在于，所述方法还包括：
通过以下公式确定所述识别目标的若干预测位置信息；
Figure FDA0002678255170000031
其中，xi为所述识别目标的第i位置x轴坐标，xi-1为所述识别目标的第i-1位置x轴坐标，xi-2为所述识别目标的第i-2位置x轴坐标，yi所述识别目标的第i位置y轴坐标，yi-1为所述识别目标的第i-1位置y轴坐标，yi-2为所述识别目标的第i-2位置y轴坐标，n为单个识别时长内的所述识别目标的第n个预测位置，n为大于0的整数，m为单个时长内的所述识别目标的总预测位置的数量，m为大于0的整数，
Figure FDA0002678255170000032
为所述识别目标的第n个若干预测位置的x轴坐标，
Figure FDA0002678255170000033
为所述识别目标的第n个若干预测位置的y轴坐标。
8.根据权利要求1所述一种目标跟踪方法，其特征在于，所述接收若干视频图像中识别目标的历史轨迹序列，之前包括：
根据所述识别目标，对所述视频图像的一帧图像中的若干目标进行交并比目标检测，确定所述一帧图像中识别目标的位置信息；
在未检测到所述识别目标的情况下，对所述一帧图像中的识别目标进行相似度目标检测，得到所述一帧图像中识别目标的位置信息。
9.根据权利要求1所述一种目标跟踪方法，其特征在于，所述确定所述识别目标的若干预测位置的时间点，具体包括：
根据所述视频图像帧的视频帧率，确定所述识别目标的若干相邻预测位置的时间点之间的间隔；
对所述识别目标的识别时长与所述识别目标的若干相邻预测位置的时间点之间的间隔进行比值计算，确定所述识别目标的若干预测位置的时间点。
10.一种目标跟踪设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中的任一项所述的目标跟踪方法。
CN202010954830.3A 2020-09-11 2020-09-11 一种目标跟踪方法及设备 Pending CN112200830A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010954830.3A CN112200830A (zh) 2020-09-11 2020-09-11 一种目标跟踪方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010954830.3A CN112200830A (zh) 2020-09-11 2020-09-11 一种目标跟踪方法及设备

Publications (1)

Publication Number Publication Date
CN112200830A true CN112200830A (zh) 2021-01-08

Family

ID=74016216

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010954830.3A Pending CN112200830A (zh) 2020-09-11 2020-09-11 一种目标跟踪方法及设备

Country Status (1)

Country Link
CN (1) CN112200830A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034458A (zh) * 2021-03-18 2021-06-25 广州市索图智能电子有限公司 室内人员轨迹分析方法、装置及存储介质
CN113177931A (zh) * 2021-05-19 2021-07-27 北京明略软件系统有限公司 一种关键部件的检测追踪方法以及装置
CN113763425A (zh) * 2021-08-30 2021-12-07 青岛海信网络科技股份有限公司 道路区域标定方法及电子设备
CN113992845A (zh) * 2021-10-18 2022-01-28 咪咕视讯科技有限公司 图像拍摄控制方法、装置及计算设备
CN114500952A (zh) * 2022-02-14 2022-05-13 深圳市中壬速客信息技术有限公司 园区动态监控的控制方法、装置、设备和计算机存储介质
CN114821635A (zh) * 2022-03-31 2022-07-29 慧之安信息技术股份有限公司 基于深度学习的视图库布控报警方法
CN115083199A (zh) * 2021-03-12 2022-09-20 上海汽车集团股份有限公司 一种车位信息确定方法及其相关设备
CN115965657A (zh) * 2023-02-28 2023-04-14 安徽蔚来智驾科技有限公司 目标跟踪方法、电子设备、存储介质及车辆
CN117409044A (zh) * 2023-12-14 2024-01-16 深圳卡思科电子有限公司 一种基于机器学习的智能对象动态跟随方法及装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103426181A (zh) * 2012-05-25 2013-12-04 信帧电子技术（北京）有限公司 一种自动改变帧率的拌线检测方法
CN107679578A (zh) * 2017-10-12 2018-02-09 北京旷视科技有限公司 目标识别算法的测试方法、装置及系统
CN108710125A (zh) * 2018-04-09 2018-10-26 西南民族大学 用于目标跟踪的距离方位滤波方法
CN109063694A (zh) * 2018-09-12 2018-12-21 北京科技大学 一种视频目标检测识别方法
CN109214432A (zh) * 2018-08-16 2019-01-15 上海交通大学 一种多传感器多目标联合检测、跟踪与分类方法
CN109685797A (zh) * 2018-12-25 2019-04-26 北京旷视科技有限公司 骨骼点检测方法、装置、处理设备及存储介质
CN110503662A (zh) * 2019-07-09 2019-11-26 科大讯飞(苏州)科技有限公司 跟踪方法及相关产品
CN110516620A (zh) * 2019-08-29 2019-11-29 腾讯科技（深圳）有限公司 目标跟踪方法、装置、存储介质及电子设备
CN110796686A (zh) * 2019-10-29 2020-02-14 浙江大华技术股份有限公司 目标跟踪方法及设备、存储装置
CN111145214A (zh) * 2019-12-17 2020-05-12 深圳云天励飞技术有限公司 目标跟踪方法、装置、终端设备及介质
CN111369596A (zh) * 2020-02-26 2020-07-03 华南理工大学 一种基于视频监控的手扶电梯客流量统计方法
CN111582024A (zh) * 2020-03-31 2020-08-25 西安天和防务技术股份有限公司 视频流处理方法、装置、计算机设备和存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103426181A (zh) * 2012-05-25 2013-12-04 信帧电子技术（北京）有限公司 一种自动改变帧率的拌线检测方法
CN107679578A (zh) * 2017-10-12 2018-02-09 北京旷视科技有限公司 目标识别算法的测试方法、装置及系统
CN108710125A (zh) * 2018-04-09 2018-10-26 西南民族大学 用于目标跟踪的距离方位滤波方法
CN109214432A (zh) * 2018-08-16 2019-01-15 上海交通大学 一种多传感器多目标联合检测、跟踪与分类方法
CN109063694A (zh) * 2018-09-12 2018-12-21 北京科技大学 一种视频目标检测识别方法
CN109685797A (zh) * 2018-12-25 2019-04-26 北京旷视科技有限公司 骨骼点检测方法、装置、处理设备及存储介质
CN110503662A (zh) * 2019-07-09 2019-11-26 科大讯飞(苏州)科技有限公司 跟踪方法及相关产品
CN110516620A (zh) * 2019-08-29 2019-11-29 腾讯科技（深圳）有限公司 目标跟踪方法、装置、存储介质及电子设备
CN110796686A (zh) * 2019-10-29 2020-02-14 浙江大华技术股份有限公司 目标跟踪方法及设备、存储装置
CN111145214A (zh) * 2019-12-17 2020-05-12 深圳云天励飞技术有限公司 目标跟踪方法、装置、终端设备及介质
CN111369596A (zh) * 2020-02-26 2020-07-03 华南理工大学 一种基于视频监控的手扶电梯客流量统计方法
CN111582024A (zh) * 2020-03-31 2020-08-25 西安天和防务技术股份有限公司 视频流处理方法、装置、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张杰 等: "《海洋遥感检测技术与应用》", 31 August 2017 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115083199A (zh) * 2021-03-12 2022-09-20 上海汽车集团股份有限公司 一种车位信息确定方法及其相关设备
CN115083199B (zh) * 2021-03-12 2024-02-27 上海汽车集团股份有限公司 一种车位信息确定方法及其相关设备
CN113034458A (zh) * 2021-03-18 2021-06-25 广州市索图智能电子有限公司 室内人员轨迹分析方法、装置及存储介质
CN113177931A (zh) * 2021-05-19 2021-07-27 北京明略软件系统有限公司 一种关键部件的检测追踪方法以及装置
CN113763425A (zh) * 2021-08-30 2021-12-07 青岛海信网络科技股份有限公司 道路区域标定方法及电子设备
CN113992845A (zh) * 2021-10-18 2022-01-28 咪咕视讯科技有限公司 图像拍摄控制方法、装置及计算设备
CN113992845B (zh) * 2021-10-18 2023-11-10 咪咕视讯科技有限公司 图像拍摄控制方法、装置及计算设备
CN114500952A (zh) * 2022-02-14 2022-05-13 深圳市中壬速客信息技术有限公司 园区动态监控的控制方法、装置、设备和计算机存储介质
CN114821635A (zh) * 2022-03-31 2022-07-29 慧之安信息技术股份有限公司 基于深度学习的视图库布控报警方法
CN115965657A (zh) * 2023-02-28 2023-04-14 安徽蔚来智驾科技有限公司 目标跟踪方法、电子设备、存储介质及车辆
CN117409044A (zh) * 2023-12-14 2024-01-16 深圳卡思科电子有限公司 一种基于机器学习的智能对象动态跟随方法及装置
CN117409044B (zh) * 2023-12-14 2024-06-14 深圳卡思科电子有限公司 一种基于机器学习的智能对象动态跟随方法及装置

Similar Documents

Publication Publication Date Title
CN112200830A (zh) 一种目标跟踪方法及设备
US11643076B2 (en) Forward collision control method and apparatus, electronic device, program, and medium
CN110458095B (zh) 一种有效手势的识别方法、控制方法、装置和电子设备
CN110276783B (zh) 一种多目标跟踪方法、装置及计算机系统
CN110348332B (zh) 一种交通视频场景下机非人多目标实时轨迹提取方法
CN105654031B (zh) 用于物体检测的系统和方法
CN111798487A (zh) 目标跟踪方法、装置和计算机可读存储介质
WO2023124133A1 (zh) 交通行为检测方法及装置、电子设备、存储介质和计算机程序产品
CN110781785A (zh) 基于Faster RCNN算法改进的交通场景下行人检测方法
CN114913386A (zh) 一种多目标跟踪模型的训练方法以及多目标跟踪方法
CN112078571A (zh) 自动泊车方法、设备、存储介质及装置
CN113112525A (zh) 目标跟踪方法、网络模型及其训练方法、设备和介质
Schöller et al. Vision-based object tracking in marine environments using features from neural network detections
CN111160132B (zh) 障碍物所在车道的确定方法、装置、电子设备和存储介质
CN114360261B (zh) 车辆逆行的识别方法、装置、大数据分析平台和介质
CN109086725A (zh) 手部跟踪方法及机器可读存储介质
CN113112643A (zh) 预测轨迹的评价方法、装置以及电子设备和存储介质
CN114820765A (zh) 图像识别方法、装置、电子设备及计算机可读存储介质
CN115953434B (zh) 轨迹匹配方法、装置、电子设备和存储介质
US20230394686A1 (en) Object Identification
CN110634154B (zh) 一种面向速度大范围变化目标跟踪的模板匹配方法
CN115762230A (zh) 基于剩余车位量预测的停车场智能引导方法及装置
CN113611112B (zh) 一种目标关联方法、装置、设备及存储介质
US11195287B2 (en) Method and device for checking the plausibility of a flow vector hypothesis
US11645838B2 (en) Object detection system, object detection method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210108