CN112561954B - 目标对象跟踪轨迹的确定方法和装置、存储介质 - Google Patents

目标对象跟踪轨迹的确定方法和装置、存储介质 Download PDF

Info

Publication number
CN112561954B
CN112561954B CN202010955140.XA CN202010955140A CN112561954B CN 112561954 B CN112561954 B CN 112561954B CN 202010955140 A CN202010955140 A CN 202010955140A CN 112561954 B CN112561954 B CN 112561954B
Authority
CN
China
Prior art keywords
target
target object
tracking
frame image
track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010955140.XA
Other languages
English (en)
Other versions
CN112561954A (zh
Inventor
张诚成
马子昂
卢维
殷俊
林辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202010955140.XA priority Critical patent/CN112561954B/zh
Publication of CN112561954A publication Critical patent/CN112561954A/zh
Application granted granted Critical
Publication of CN112561954B publication Critical patent/CN112561954B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种目标对象跟踪轨迹的确定方法和装置、存储介质。其中，该方法包括：当目标对象的轨迹在第t+1帧图像中无法匹配到相应的检测框时，不再简单地认为轨迹终止，而是启动该目标对象的单目标跟踪器继续跟踪该目标对象，在第t+1帧图像之后的第t+1+n帧图像中再检测到该目标对象的情况下，将单目标跟踪器跟踪的轨迹拼接都目标对象的轨迹中，从而避免了由于检测器漏检、误检造成的多目标跟踪错误轨迹的产生；以及可以有效合并不连续的轨迹，缓解跟踪器跟丢目标的问题，进而解决了现有技术中，多目标跟踪准确性较低的技术问题。

Description

目标对象跟踪轨迹的确定方法和装置、存储介质
技术领域
本发明涉及目标跟踪领域，具体而言，涉及一种目标对象跟踪轨迹的 确定方法和装置、存储介质。
背景技术
多目标跟踪(Multi-object tracking，MOT)技术属于计算机视觉领域， 它在行人行为分析、车辆无人驾驶、机器人导航定位都有广泛的应用。
多目标跟踪主要实现识别图像帧中的所有相关类别目标，并在视频序 列中关联它们的位置，确定它们的目标ID，获得目标轨迹。
针对视频监控场景的主流的多目标跟踪算法大多采用先检测后跟踪 关联(Tracking by detection，TBD)的框架，该框架先检测输入帧的特定 目标，再将不同帧的目标进行数据关联，获得最终轨迹。因此，TBD框架 下，多目标跟踪算法主要分为检测模块、多特征提取模块以及数据关联模块。基于TBD框架的多目标跟踪算法是基于检测的跟踪算法，跟踪结果 很大程度上受限于检测响应结果，检测结果存在的误检、漏检，直接导致 了错误跟踪；此外，目标的特征模型构造不准确，导致提取的同类目标的 不同个体之间的差异性特征质量不高，影响数据关联结果，以上问题最终 导致了跟踪上的误检、漏检。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种目标对象跟踪轨迹的确定方法和装置、存储 介质，以至少解决现有技术中，多目标跟踪准确性较低的技术问题。
根据本发明实施例的一个方面，提供了一种目标对象跟踪轨迹的确定 方法，包括：对目标视频中包括的连续的第t帧图像、第t+1帧图像进行 多目标检测，得到对应的第一检测结果和第二检测结果，其中，t为大于1 的正整数；在所述第一检测结果中包含检测到的目标对象、且所述第二检 测结果中不包含所述目标对象的情况下，从所述第t帧图像开始对所述目 标视频中的帧图像进行单目标检测，其中，所述单目标检测用于检测出所述目标对象；在对所述目标视频中的第t+1+n帧图像进行单目标检测，得 到第n+1检测结果、且所述第n+1检测结果中包含所述目标对象的情况下， 将所述目标对象在所述第n+1检测结果中的位置信息拼接到所述目标对 象的目标跟踪轨迹中，得到所述目标对象的目标跟踪轨迹，其中，n为大 于等于1的自然数。
根据本发明实施例的另一方面，还提供了一种目标对象跟踪轨迹的确 定装置，包括：第一处理单元，用于对目标视频中包括的连续的第t帧图 像、第t+1帧图像进行多目标检测，得到对应的第一检测结果和第二检测 结果，其中，t为大于1的正整数；检测单元，用于在所述第一检测结果中包含检测到的目标对象、且所述第二检测结果中不包含所述目标对象的 情况下，从所述第t帧图像开始对所述目标视频中的帧图像进行单目标检 测，其中，所述单目标检测用于检测出所述目标对象；拼接单元，用于在 对所述目标视频中的第t+1+n帧图像进行单目标检测，得到第n+1检测结 果、且所述第n+1检测结果中包含所述目标对象的情况下，将所述目标对象在所述第n+1检测结果中的位置信息拼接到所述目标对象的目标跟踪 轨迹中，得到所述目标对象的目标跟踪轨迹，其中，n为大于等于1的自 然数。
根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质， 该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设 置为运行时执行上述目标对象跟踪轨迹的确定方法。
根据本发明实施例的又一方面，还提供了一种电子装置，包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述 处理器通过计算机程序执行上述的目标对象跟踪轨迹的确定方法。
在本发明实施例中，通过对目标视频中包括的连续的第t帧图像、第 t+1帧图像进行多目标检测，得到对应的第一检测结果和第二检测结果， 其中，t为大于1的正整数；在第一检测结果中包含检测到的目标对象、且第二检测结果中不包含目标对象的情况下，从第t帧图像开始对目标视 频中的帧图像进行单目标检测，其中，单目标检测用于检测出目标对象； 在对目标视频中的第t+1+n帧图像进行单目标检测，得到第n+1检测结果、且第n+1检测结果中包含目标对象的情况下，将目标对象在第n+1检测结 果中的位置信息拼接到目标对象的目标跟踪轨迹中，得到目标对象的目标 跟踪轨迹，其中，n为大于等于1的自然数。达到了如果当目标对象的轨 迹在第t+1帧图像中无法匹配到相应的检测框时，不再简单地认为轨迹终止，而是启动该目标对象的单目标跟踪器继续跟踪该目标对象，在第t+1 帧图像之后的第t+1+n帧图像中再检测到该目标对象的情况下，将单目标 跟踪器跟踪的轨迹拼接都目标对象的轨迹中，从而避免了由于检测器漏检、 误检造成的多目标跟踪错误轨迹的产生；以及可以有效合并不连续的轨迹， 缓解跟踪器跟丢目标的问题，进而解决了现有技术中，多目标跟踪准确性 较低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一 部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发 明的不当限定。在附图中：
图1是根据本发明实施例的一种可选的目标对象跟踪轨迹的确定方法 的应用环境的示意图；
图2是根据本发明实施例的一种可选的目标对象跟踪轨迹的确定方法 的流程图；
图3是根据本发明实施例的一种可选的融合单目标跟踪的多目标跟踪 方法流程图；
图4是根据本发明实施例的一种可选的目标对象跟踪轨迹的确定装置 的结构示意图；
图5是根据本发明实施例的一种可选的目标对象跟踪轨迹的确定方法 的电子装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明 实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述， 显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施 例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动 前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语 “第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或 先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描 述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实 施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排 他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或 设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出 的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一个方面，提供了一种目标对象跟踪轨迹的确定 方法，可选地，作为一种可选的实施方式，上述目标对象跟踪轨迹的确定 方法可以但不限于应用于如图1所示的硬件环境中，其中，可以包括但不 限于终端设备102、网络110及服务器112。其中，该终端设备102中可 以存储有录制完成的目标视频。
其中，上述终端设备102中可以包括但不限于：人机交互屏幕104， 处理器106及存储器108。人机交互屏幕104用于通过人机交互接口获取 人机交互指令，还用于呈现目标视频；处理器106用于响应上述人机交互 指令，检测目标视频中的每帧图像中的目标对象。存储器108用于存储目 标对象的属性信息、第一检测结果、第二检测结果及目标对象的跟踪轨迹。 这里服务器可以包括但不限于：数据库114及处理引擎116，处理引擎116 用于调用数据库114中存储的第一检测结果、第二检测结果，在第一检测结果中包含检测到的目标对象、且第二检测结果中不包含目标对象的情况 下，从第t帧图像开始对目标视频中的帧图像进行单目标检测，其中，单 目标检测用于检测出目标对象，在对目标视频中的第t+1+n帧图像进行单 目标检测，得到第n+1检测结果、且第n+1检测结果中包含目标对象的情 况下，将目标对象在第n+1检测结果中的位置信息拼接到目标对象的目标 跟踪轨迹中，n为大于等于1的自然数。达到了如果当目标对象的轨迹在 第t+1帧图像中无法匹配到相应的检测框时，不再简单地认为轨迹终止，而是启动该目标对象的单目标跟踪器继续跟踪该目标对象，在第t+1帧图 像之后的第t+1+n帧图像中再检测到该目标对象的情况下，将单目标跟踪器跟踪的轨迹拼接都目标对象的轨迹中，从而避免了由于检测器漏检、误 检造成的多目标跟踪错误轨迹的产生；以及可以有效合并不连续的轨迹， 缓解跟踪器跟丢目标的问题，进而解决了现有技术中，多目标跟踪准确性 较低的技术问题。
具体过程如以下步骤：在终端设备102中的人机交互屏幕104显示目 标视频(如图1所示为第t+1帧图像中存在2个目标对象)。如步骤 S102-S110，对目标视频中包括的连续的第t帧图像、第t+1帧图像进行多 目标检测，得到对应的第一检测结果和第二检测结果，其中，t大于1的 正整数；在第一检测结果中包含检测到的目标对象、且第二检测结果中不包含目标对象的情况下，从第t帧图像开始对目标视频中的帧图像进行单 目标检测，其中，单目标检测用于检测出目标对象；在对目标视频中的第 t+1+n帧图像进行单目标检测，得到第n+1检测结果、且第n+1检测结果 中包含目标对象的情况下，将目标对象在第n+1检测结果中的位置信息拼 接到目标对象的目标跟踪轨迹中，得到目标对象的目标跟踪轨迹。然后将 上述确定出的结果返回终端设备102。
然后，如步骤S102-S110，终端设备102对目标视频中包括的连续的 第t帧图像、第t+1帧图像进行多目标检测，得到对应的第一检测结果和 第二检测结果，其中，t为大于1的正整数；在第一检测结果中包含检测 到的目标对象、且第二检测结果中不包含目标对象的情况下，从第t帧图 像开始对目标视频中的帧图像进行单目标检测，其中，单目标检测用于检 测出目标对象；在对目标视频中的第t+1+n帧图像进行单目标检测，得到 第n+1检测结果、且第n+1检测结果中包含目标对象的情况下，将目标对 象在第n+1检测结果中的位置信息拼接到目标对象的目标跟踪轨迹中，得 到目标对象的目标跟踪轨迹，n为大于等于1的自然数。
可选地，在本实施例中，上述目标对象跟踪轨迹的确定方法可以但不 限于应用于服务器112中，用于协助应用客户端对确定目标视频中目标对 象的目标跟踪轨迹。其中，上述应用客户端可以但不限于运行在终端设备 102中，该终端设备102可以但不限于为手机、平板电脑、笔记本电脑、 PC机等支持运行应用客户端的终端设备。上述服务器112和终端设备102 可以但不限于通过网络实现数据交互，上述网络可以包括但不限于无线网 络或有线网络。其中，该无线网络包括：蓝牙、WIFI及其他实现无线通 信的网络。上述有线网络可以包括但不限于：广域网、城域网、局域网。 上述仅是一种示例，本实施例中对此不作任何限定。
可选地，作为一种可选的实施方式，如图2所示，上述目标对象跟踪 轨迹的确定方法包括：
步骤S202，对目标视频中包括的连续的第t帧图像、第t+1帧图像进 行多目标检测，得到对应的第一检测结果和第二检测结果，其中，t为大 于1的正整数；
步骤S204，在第一检测结果中包含检测到的目标对象、且第二检测 结果中不包含目标对象的情况下，从第t帧图像开始对目标视频中的帧图 像进行单目标检测，其中，单目标检测用于检测出目标对象；
步骤S206，在对目标视频中的第t+1+n帧图像进行单目标检测，得到 第n+1检测结果、且第n+1检测结果中包含目标对象的情况下，将目标对 象在第n+1检测结果中的位置信息拼接到目标对象的目标跟踪轨迹中，得 到目标对象的目标跟踪轨迹，其中，n为大于等于1的自然数。
可选的，本实施例的方案可以应用于包括但不限于：预先录制完成的 目标视频、或者正在录制的目标视频，根据目标视频进行行人行为分析、 车辆无人驾驶、机器人导航定位等等。
可选的，在本实施例中，将目标对象在第n+1检测结果中的位置信息 拼接到目标对象的目标跟踪轨迹中，得到目标对象的目标跟踪轨迹，包括：
获取目标对象的第一跟踪轨迹、第二跟踪轨迹第三跟踪轨迹，其中， 第t+1+n帧图像是第t+1帧图像之后第1个检测到目标对象的帧图像，第 一跟踪轨迹是在t帧图像之前的连续多帧图像中检测到的目标对象的跟踪 轨迹，第二跟踪轨迹是根据第一位置和第二位置预估出来的跟踪轨迹，第三跟踪轨迹是在第t+n帧图像之后的连续多帧图像中检测到的目标对象的 跟踪轨迹，第一位置用于表示目标对象在第t帧图像中的位置，第二位置 用于表示目标对象在第t+1+n帧图像中的位置；
将第一跟踪轨迹、第二跟踪轨迹和第三跟踪轨迹进行拼接，得到目标 对象的目标跟踪轨迹。
在实际应用中，目标视频可以包括但不限于包括30帧图像，即目标 视频的开始计为第1帧，在第1帧至第10帧中均检测到目标对象1，从前 1帧图像可以确定目标对象1的行走轨迹，在第11帧图像中并没有检测到 目标对象的检测响应，此时目标对象1的跟踪轨迹标记为待删除，从第9 帧图像基于目标对象1的位置开启单目标跟踪器进行对目标对象1的跟踪 估计的预测，在第21帧图像中再次检测目标对象1的检测框的情况下， 将通过单目标跟踪器预测的第10帧图像至第20帧图像进行目标对象1的 第二跟踪轨迹，将该第二跟踪轨迹拼接到目标对象1的目标跟踪轨迹中。 进而避免目标对象1的跟踪轨迹的漏检导致的目标对象1目标跟踪轨迹的 不准确。
也就是说，在刚检测到目标对象1没有响应检测的情况下，并不将该 目标对象1的跟踪轨迹删除。
其中，将第一跟踪轨迹、第二跟踪轨迹和第三跟踪轨迹进行拼接，得 到目标对象的目标跟踪轨迹，可以包括：
获取第二跟踪轨迹过程中的第t+1帧图像至第t+1+n帧图像中的多帧 图像中对目标对象的单目标跟踪的跟踪质量；
在第t+1帧图像至第t+1+n帧图像中的多帧图像个数小于等于第一阈 值、且多帧图像中的跟踪质量大于等于第二阈值，确定目标对象的单目标 跟踪的第二跟踪轨迹满足第一预设条件；
将满足第一预设条件的第二跟踪轨迹拼接到目标跟踪轨迹中。
需要说明的是，在第一检测结果中包含检测到的目标对象、且第二检 测结果中不包含目标对象的情况下，确定目标对象的第二跟踪轨迹为待删 除轨迹；
目标对象的单目标跟踪的第二跟踪轨迹不满足第一预设条件的情况 下，删除目标对象的目标跟踪轨迹。
其中，获取第二跟踪轨迹过程中的第t+1帧图像至第t+1+n帧图像中 的多帧图像中对目标对象的单目标跟踪的跟踪质量，包括：
对目标对象分配一个卡尔曼滤波器和单目标跟踪器预估目标位置；
根据目标位置提取目标对象的运动特征；
通过运动特征区域确定目标对象的跟踪质量。
通过本申请提供的实施例，对目标视频中包括的连续的第t帧图像、 第t+1帧图像进行多目标检测，得到对应的第一检测结果和第二检测结果， 其中，t为大于1的正整数；在第一检测结果中包含检测到的目标对象、且第二检测结果中不包含目标对象的情况下，从第t帧图像开始对目标视 频中的帧图像进行单目标检测，其中，单目标检测用于检测出目标对象； 在对目标视频中的第t+1+n帧图像进行单目标检测，得到第n+1检测结果、且第n+1检测结果中包含目标对象的情况下，将目标对象在第n+1检测结 果中的位置信息拼接到目标对象的目标跟踪轨迹中，得到目标对象的目标 跟踪轨迹，n为大于等于1的自然数。达到了如果当目标对象的轨迹在第 t+1帧图像中无法匹配到相应的检测框时，不再简单地认为轨迹终止，而是启动该目标对象的单目标跟踪器继续跟踪该目标，在单目标跟踪所跟踪 的目标对象在跟踪的过程中满足跟踪质量的情况下，且在某一帧图像中再 检测到该目标对象的情况下，将单目标跟踪器跟踪的轨迹拼接都目标对象 的轨迹中，从而避免了由于检测器漏检、误检造成的多目标跟踪错误轨迹 的产生；以及可以有效合并不连续的轨迹，缓解跟踪器跟丢目标的问题， 进而解决了现有技术中，多目标跟踪准确性较低的技术问题。
作为一种可选的实施例，从第t帧图像开始对目标视频中的帧图像进 行单目标检测之前，可以包括：
通过单目标跟踪器对目标视频中包括的连续的第t帧图像、第t+1帧 图像进行多目标检测，得到对应的第一检测结果和第二检测结果。
作为一种可选的实施例，本申请还提供了一种可选的融合单目标跟踪 的多目标跟踪方法。
如图3所示，一种融合单目标跟踪的多目标跟踪方法流程图。如图3 所示，该方法基于TBD框架，分为检测模块、多特征提取模块、数据关 联模块、单目标跟踪模块。具体步骤为：
步骤1，输入视频当前帧图像(相当于第t+1帧图像)；
可以理解为目标视频中的第t帧图像和第t+1帧图像。
步骤2，检测器对当前帧(第t+1帧)检测，获得检测响应 Dt＝{D1,D2,…,DN}。其中t表示当前帧，Dn表示第n个检测响应，N表示检 测响应总数；
步骤3，获取检测响应的外貌特征，一般采用卷积神经网络提取特征；
步骤4，初始化目标轨迹状态。如果t＝1，即输入第一帧，初始化轨 迹
Figure SMS_1
目标Tn与Dn一一对应，执行步骤1；如果t≠1，执行 步骤5；
步骤5，利用卡尔曼滤波器根据t-1帧的轨迹Tt-1预测目标对象X在当 前t帧的位置和形状，获得运动特征；对跟踪质量进行评分，得到ScoreX,t， 见公式(4)，当跟踪得分小于一定阈值αKALMAN时，重新初始化卡尔曼滤 波器；
计算轨迹Ti与检测响应Dj的多种特征相似度Ai,j，表示为：
Figure SMS_2
步骤6，加入单目标跟踪模块，确定轨迹状态。如果检测响应与已有 轨迹相互匹配，则更新轨迹相关参数，轨迹状态为跟踪状态，检测响应存 入Dmatched；如果存在没有与检测响应关联的轨迹Ti，将该轨迹状态设定为 待删除，将轨迹从
Figure SMS_3
删除，存入/>
Figure SMS_4
并根据上一帧的位置初始化一个 单目标跟踪器SOTi；如果存在没有与轨迹关联的检测响应Di，将Di存入 Dunmatched集合中；综上，对Tt和Dt进行匹配后跟新得到/>
Figure SMS_5
DmatchedDunmatched以及SOTt，其中/>
Figure SMS_6
表示跟踪状态的轨迹，/>
Figure SMS_7
表示待删除的轨迹， Dmatched表示与轨迹匹配的检测响应，Dunmatched表示未与轨迹匹配的检测响应， SOTt表示存在的单目标跟踪器；
步骤7，对于SOTt中的每一个单目标跟踪器SOTi，给出跟踪框和跟踪 置信度ScoreSOT，计算ScoreX,t，见公式(4)，以及单目标跟踪器存在的帧数 TimeSOT，判断是否满足条件，其中，该条件包括：(1)ScoreX,t大于一定阈 值αSOT；或条件(2)TimeSOT小于一定阈值β，如果是，认为该跟踪框为
Figure SMS_8
对应轨迹的轨迹框，相当于延长了轨迹寿命；否则，停止该单目标跟 踪器，将该跟踪器从SOTt中删除，单目标跟踪器跟踪的轨迹/>
Figure SMS_9
设为删除 状态，从/>
Figure SMS_10
中删除，存入/>
Figure SMS_11
集合中，销毁该轨迹；
需要说明的是，在步骤7中，在从目标对象未检测到对应的检测框的 第一时刻，直到再次检测到目标对象的检测框的第二时刻，第一时刻和第 二时刻之间的每一帧通过单目标跟踪器跟踪目标对象的跟踪质量满足预 定的阈值，可以将该单目标跟踪器跟踪的轨迹拼接到目标对象的目标轨迹中；还可以在第一时刻和第二时刻之间存在的目标对象的帧数满足一个阈 值的情况下，可以将第一时刻和第二时刻之间存在的目标对象的位置信息拼接到目标对象的目标轨迹中。
步骤8，对于Dunmatched，首先与SOTt产生的单目标跟踪轨迹进行匹配， 如果匹配成功，则认为该检测响应匹配到
Figure SMS_12
对应轨迹，修改该轨迹从待 删除到跟踪状态，从/>
Figure SMS_13
删除，存入/>
Figure SMS_14
中。如果匹配失败，则重新初始 化一条轨迹，存入/>
Figure SMS_15
中。
步骤9，对各个轨迹集合进行更新，经过步骤7、8、9，得到更新后 的轨迹集合：
Figure SMS_16
以及SOTt，其中/>
Figure SMS_17
为删除的轨迹；清空/>
Figure SMS_18
其中，本申请实施例中执行跟踪质量置信度评分优化：在本申请实施 例中使用了卡尔曼滤波器和单目标跟踪器预估目标位置，提取目标运动特 征。卡尔曼滤波器和单目标跟踪器的问题是：1、一般适用于短期跟踪问 题，都需要之前的信息对跟踪器进行更新，导致误差积累，影响精度；2、 如果目标丢失，很难判断何时停止跟踪。当跟踪器漂移到其他干扰物时， 单目标跟踪器可能无法停止跟踪干扰者。基于以上两点问题，在本申请中在轨迹衰减和干扰物感知两方面对跟踪质量评分进行优化。
定义卡尔曼滤波器跟踪置信度：
Figure SMS_19
其中，Ltrack定义为跟踪预测帧数，α为超参数；
单目标跟踪器输出的原始跟踪置信度为ScoreSOT，当轨迹与匹配的检测 框的交叠比，也就是IOU越小，跟踪器跟踪的目标发生漂移的可能性越大， 同时加入外貌特征相似度加以限制。因此感知干扰物的跟踪置信度为：
Scoredistractor＝β·IOU(TTrack,DDet)·SiamAppearance·ScoreKALorSOT (3)
其中，ScoreKALorSOT代表ScoreKALMAN或者ScoreSOT，β为超参数， SiamAppearance为轨迹跟踪框与检测框的外貌相似度，TTrack和DDet表示 轨迹跟踪框和匹配的检测框。
综上，考虑到轨迹衰减及干扰物的影响，对于目标X，整体的跟踪质 量置信度为：
Figure SMS_20
其中，ScoreX,t为根据上一帧跟踪质量得分ScoreX,t-1得到的当前帧的跟 踪质量，λ为超参数。
可选的，在本实施例中，存在潜在ID切换目标筛选机制。
当两个目标存在较大重叠区域时，易发生ID切换(ID switch)，可以 表示为：
Λ＝Yt,whereIOU(Xt,Yt)＞γ (5)
其中，Xt表示跟踪结果，Yt表示跟踪结果周围同类物体。
在跟踪时除了关注目标对象外，还应关注与目标对象存在重叠的其他 物体。当跟踪置信度小于一定阈值时，认为此时跟踪结果有偏差，有可能 发生目标漂移。因此选择与跟踪结果IOU大于γ物体作为潜在目标，将这 些潜在目标与跟踪结果共同存入候选集中，求解候选集与跟踪结果之间的外貌特征相似度，选择候选集中特征相似度最高的作为跟踪目标。该方法 在一定程度上缓解了多目标跟踪中因目标密集造成的ID频繁切换的问题。
通过本实施例的方案，采用一种单目标跟踪与多目标跟踪相结合的方 法。利用单目标跟踪结果对多目标跟踪进行补偿，分两种情况考虑：如果 当一个轨迹无法匹配到相应的检测框时，不再简单地认为轨迹终止，而是 启动一个单目标跟踪器继续跟踪该目标，直到超过一定帧数或者跟踪得分 小于阈值删除单目标跟踪器；如果当检测结果无法匹配到相应的轨迹时，不再简单地认为有新轨迹产生，而是尝试在存在的单目标跟踪器产生的结果中寻找目标，如果新轨迹能够与已完成的轨迹匹配，则将他们合并处理。 综上，该方法一方面可以可靠地补偿缺失的检测响应结果，一定程度上解 决由于检测器漏检、误检造成的多目标跟踪错误轨迹的产生；另一方面可 以有效合并不连续的轨迹，缓解跟踪器跟丢目标或者目标漂移的现象。
仅对处于待删除的轨迹生成新的单目标跟踪器，相比于其他方法，使 用较少的单目标跟踪器，节约了计算成本，提高计算效率。
针对跟踪器长时间不刷新造成的误差积累问题以及干扰物造成的目 标漂移等问题，定义了卡尔曼滤波器轨迹置信度评分机制，在此基础上， 考虑到轨迹衰减及干扰物影响，提出整体置信度评分机制，给出了更为严 谨的轨迹置信度得分。
针对多目标跟踪算法易发生目标ID频繁切换的问题，重点关注潜在 ID切换目标，提出潜在ID切换目标筛选机制。本申请提供的实施例中定 义了与跟踪结果重叠率大于一定阈值的周边物体为潜在ID切换目标，在 这些潜在目标和跟踪结果中选择与轨迹特征相似度最高的作为跟踪目标。 通过此方式，可以降低多目标跟踪中目标ID切换的次数，增加算法可靠 性。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都 表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受 所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序 或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实 施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的另一个方面，还提供了一种用于实施上述目标对 象跟踪轨迹的确定方法的多目标跟踪装置。如图4所示，该装置包括：第 一处理单元41、检测单元43以及拼接单元45。
第一处理单元41，用于对目标视频中包括的连续的第t帧图像、第t+1 帧图像进行多目标检测，得到对应的第一检测结果和第二检测结果，其中， t大于1的正整数。
检测单元43，用于在第一检测结果中包含检测到的目标对象、且第二 检测结果中不包含目标对象的情况下，从第t帧图像开始对目标视频中的 帧图像进行单目标检测，其中，单目标检测用于检测出目标对象。
拼接单元45，用于在对目标视频中的第t+1+n帧图像进行单目标检测， 得到第n+1检测结果、且第n+1检测结果中包含目标对象的情况下，将目 标对象在第n+1检测结果中的位置信息拼接到目标对象的目标跟踪轨迹 中，得到目标对象的目标跟踪轨迹，其中，n为大于等于1的自然数。
可选的，在本实施例中，上述拼接单元45，可以包括：
第一获取模块，用于获取目标对象的第一跟踪轨迹、第二跟踪轨迹以 及第三跟踪轨迹，其中，第t+1+n帧图像是第t+1帧图像之后第1个检测 到目标对象的帧图像，第一跟踪轨迹是在t帧图像之前的连续多帧图像中 检测到的目标对象的跟踪轨迹，第二跟踪轨迹是根据第一位置和第二位置预估出来的跟踪轨迹，第三跟踪轨迹是在第t+n帧图像之后的连续多帧图 像中检测到的目标对象的跟踪轨迹，第一位置用于表示目标对象在第t帧 图像中的位置，第二位置用于表示目标对象在第t+1+n帧图像中的位置书；
第一拼接模块，用于将第一跟踪轨迹、第二跟踪轨迹和第三跟踪轨迹 进行拼接，得到目标对象的目标跟踪轨迹。
可选的，在本实施例中，上述拼接单元45，还可以包括：
第二获取模块，用于获取第二跟踪轨迹过程中的第t+1帧图像至第 t+1+n帧图像中的多帧图像中对目标对象的单目标跟踪的跟踪质量；
确定模块，用于在第t+1帧图像至第t+1+n帧图像中的多帧图像个数 小于等于第一阈值、且多帧图像中的跟踪质量大于等于第二阈值，确定目 标对象的单目标跟踪的第二跟踪轨迹满足第一预设条件；
第二拼接模块，用于将满足第一预设条件的第二跟踪轨迹拼接到目标 跟踪轨迹中。
通过本申请提供的实施例，第一处理单元41对目标视频中包括的连 续的第t帧图像、第t+1帧图像进行多目标检测，得到对应的第一检测结 果和第二检测结果，其中，t大于1的正整数；检测单元43在第一检测结 果中包含检测到的目标对象、且第二检测结果中不包含目标对象的情况下， 从第t帧图像开始对目标视频中的帧图像进行单目标检测，其中，单目标 检测用于检测出目标对象；拼接单元45在对目标视频中的第t+1+n帧图 像进行单目标检测，得到第n+1检测结果、且第n+1检测结果中包含目标 对象的情况下，将目标对象在第n+1检测结果中的位置信息拼接到目标对 象的目标跟踪轨迹中，得到目标对象的目标跟踪轨迹，n大于等于1的自 然数。达到了如果当目标对象的轨迹在第t+1帧图像中无法匹配到相应的检测框时，不再简单地认为轨迹终止，而是启动该目标对象的单目标跟踪 器继续跟踪该目标，在单目标跟踪所跟踪的目标对象在跟踪的过程中满足 跟踪质量的情况下，且在某一帧图像中再检测到该目标对象的情况下，将 单目标跟踪器跟踪的轨迹拼接都目标对象的轨迹中，从而避免了由于检测 器漏检、误检造成的多目标跟踪错误轨迹的产生；以及可以有效合并不连 续的轨迹，缓解跟踪器跟丢目标的问题，进而解决了现有技术中，多目标跟踪准确性较低的技术问题。
作为一种可选的实施例，上述装置可以包括：
确定单元，用于在第一检测结果中包含检测到的目标对象、且第二检 测结果中不包含目标对象的情况下，确定目标对象的第二跟踪轨迹为待删 除轨迹；
删除单元，用于目标对象的单目标跟踪的第二跟踪轨迹不满足第一预 设条件的情况下，删除目标对象的目标跟踪轨迹。
其中，上述获取模块，可以包括：
分配子模块，用于对目标对象分配一个卡尔曼滤波器和单目标跟踪器 预估目标位置；
提取子模块，用于根据目标位置提取目标对象的运动特征；
确定子模块，用于通过运动特征区域确定目标对象的跟踪质量。
作为一种可选的实施例，上述装置可以包括：
第二处理单元，用于从第t帧图像开始对目标视频中的帧图像进行单 目标检测之前，通过单目标跟踪器对目标视频中包括的连续的第t帧图像、 第t+1帧图像进行多目标检测，得到对应的第一检测结果和第二检测结果。
根据本发明实施例的又一个方面，还提供了一种用于实施上述目标对 象跟踪轨迹的确定方法的电子装置，如图5所示，该电子装置包括存储器 502和处理器504，该存储器502中存储有计算机程序，该处理器504被 设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述电子装置可以位于计算机网络的多个网 络设备中的至少一个网络设备。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执 行以下步骤：
S1，对目标视频中包括的连续的第t帧图像、第t+1帧图像进行多目 标检测，得到对应的第一检测结果和第二检测结果，其中，t大于1的正 整数；
S2，第一检测结果中包含检测到的目标对象、且第二检测结果中不包 含目标对象的情况下，从第t帧图像开始对目标视频中的帧图像进行单目 标检测，其中，单目标检测用于检测出目标对象；
S3，在对目标视频中的第t+1+n帧图像进行单目标检测，得到第n+1 检测结果、且第n+1检测结果中包含目标对象的情况下，将目标对象在第 n+1检测结果中的位置信息拼接到目标对象的目标跟踪轨迹中，得到目标 对象的目标跟踪轨迹，n大于等于1的自然数。
可选地，本领域普通技术人员可以理解，图5所示的结构仅为示意， 电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等 终端设备。图5其并不对上述电子装置的结构造成限定。例如，电子装置 还可包括比图5中所示更多或者更少的组件(如网络接口等)，或者具有 与图5所示不同的配置。
其中，存储器502可用于存储软件程序以及模块，如本发明实施例中 的目标对象跟踪轨迹的确定方法和装置对应的程序指令/模块，处理器504 通过运行存储在存储器502内的软件程序以及模块，从而执行各种功能应 用以及数据处理，即实现上述的目标对象跟踪轨迹的确定方法。存储器502 可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁 性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器502可进一步包括相对于处理器504远程设置的存储器，这些远程存储 器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业 内部网、局域网、移动通信网及其组合。其中，存储器502具体可以但不限于用于目标视频中的图像、第一检测结果、第二检测结果以及目标对象 的属性信息等信息。作为一种示例，如图5所示，上述存储器502中可以 但不限于包括上述多目标跟踪装置中的第一处理单元41、检测单元43以 及拼接单元45。此外，还可以包括但不限于上述多目标跟踪装置中的其他 模块单元，本示例中不再赘述。
可选地，上述的传输装置506用于经由一个网络接收或者发送数据。 上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装 置506包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。 在一个实例中，传输装置506为射频(Radio Frequency，RF)模块，其用 于通过无线方式与互联网进行通讯。
此外，上述电子装置还包括：显示器508，用于显示上述目标对象的 目标跟踪轨迹；和连接总线510，用于连接上述电子装置中的各个模块部 件。
根据本发明的实施例的又一方面，还提供了一种计算机可读的存储介 质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序 被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述计算机可读的存储介质可以被设置为存 储用于执行以下步骤的计算机程序：
S1，对目标视频中包括的连续的第t帧图像、第t+1帧图像进行多目 标检测，得到对应的第一检测结果和第二检测结果，其中，t大于1的正 整数；
S2，第一检测结果中包含检测到的目标对象、且第二检测结果中不包 含目标对象的情况下，从第t帧图像开始对目标视频中的帧图像进行单目 标检测，其中，单目标检测用于检测出目标对象；
S3在对目标视频中的第t+1+n帧图像进行单目标检测，得到第n+1 检测结果、且第n+1检测结果中包含目标对象的情况下，将目标对象在第 n+1检测结果中的位置信息拼接到目标对象的目标跟踪轨迹中，得到目标 对象的目标跟踪轨迹，n大于等于1的自然数。
可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的 各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬 件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包 括：闪存盘、只读存储器(Read-OnlyMemory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为 独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。 基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的 部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计 算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实 施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可 通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的， 例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外 的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统， 或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或 通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的， 作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地 方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的 部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元 中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在 一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软 件功能单元的形式实现。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的 普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进 和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (15)

1.一种目标对象的跟踪轨迹的确定方法，其特征在于，包括：
对目标视频中包括的连续的第t帧图像、第t+1帧图像进行多目标检测，得到对应的第一检测结果和第二检测结果，其中，t为大于1的正整数；
在所述第一检测结果中包含检测到的目标对象、且所述第二检测结果中不包含所述目标对象的情况下，从所述第t帧图像开始对所述目标视频中的帧图像进行单目标检测，其中，所述单目标检测用于检测出所述目标对象；
在对所述目标视频中的第t+1+n帧图像进行单目标检测，得到第n+1检测结果、且所述第n+1检测结果中包含所述目标对象的情况下，将所述目标对象在所述第n+1检测结果中的位置信息拼接到所述目标对象的目标跟踪轨迹中，得到所述目标对象的目标跟踪轨迹，其中，n为大于等于1的自然数；
获取所述第t+1帧图像至所述第t+1+n帧图像中的多帧图像中对所述目标对象的单目标跟踪的跟踪质量，在所述第t+1帧图像至所述第t+1+n帧图像中的多帧图像个数大于第一阈值、或所述多帧图像中的所述跟踪质量小于第二阈值的情况下，停止对所述目标对象的单目标检测。
2.根据权利要求1所述的方法，其特征在于，将所述目标对象在所述第n+1检测结果中的位置信息拼接到所述目标对象的目标跟踪轨迹中，得到所述目标对象的目标跟踪轨迹，包括：
获取所述目标对象的第一跟踪轨迹、第二跟踪轨迹以及第三跟踪轨迹，其中，所述第t+1+n帧图像是所述第t+1帧图像之后第1个检测到所述目标对象的帧图像，所述第一跟踪轨迹是在所述t帧图像之前的连续多帧图像中检测到的所述目标对象的跟踪轨迹，所述第二跟踪轨迹是根据第一位置和第二位置预估出来的跟踪轨迹，所述第三跟踪轨迹是在第t+n帧图像之后的连续多帧图像中检测到的所述目标对象的跟踪轨迹，所述第一位置用于表示所述目标对象在所述第t帧图像中的位置，所述第二位置用于表示所述目标对象在所述第t+1+n帧图像中的位置；
将所述第一跟踪轨迹、所述第二跟踪轨迹和所述第三跟踪轨迹进行拼接，得到所述目标对象的目标跟踪轨迹。
3.根据权利要求2所述的方法，其特征在于，将第一跟踪轨迹、第二跟踪轨迹和第三跟踪轨迹进行拼接，得到所述目标对象的目标跟踪轨迹，包括：
获取所述第二跟踪轨迹过程中的所述第t+1帧图像至所述第t+1+n帧图像中的多帧图像中对所述目标对象的单目标跟踪的跟踪质量；
在所述第t+1帧图像至所述第t+1+n帧图像中的多帧图像个数小于等于第一阈值、且所述多帧图像中的所述跟踪质量大于等于第二阈值，确定所述目标对象的单目标跟踪的第二跟踪轨迹满足第一预设条件；将满足第一预设条件的第二跟踪轨迹拼接到所述目标跟踪轨迹中。
4.根据权利要求2所述的方法，其特征在于，所述方法包括：
在所述第一检测结果中包含检测到的目标对象、且所述第二检测结果中不包含所述目标对象的情况下，确定所述目标对象的所述第二跟踪轨迹为待删除轨迹；
所述目标对象的单目标跟踪的第二跟踪轨迹不满足第一预设条件的情况下，删除所述目标对象的目标跟踪轨迹。
5.根据权利要求3所述的方法，其特征在于，获取所述第二跟踪轨迹过程中的所述第t+1帧图像至所述第t+1+n帧图像中的多帧图像中对所述目标对象的单目标跟踪的跟踪质量，包括：
对所述目标对象分配一个卡尔曼滤波器和单目标跟踪器预估目标位置；
根据所述目标位置提取所述目标对象的运动特征；
通过所述运动特征区域确定所述目标对象的跟踪质量。
6.根据权利要求1所述的方法，其特征在于，从所述第t帧图像开始对所述目标视频中的帧图像进行单目标检测之前，所述方法包括：
通过单目标跟踪器对所述目标视频中包括的连续的第t帧图像、第t+1帧图像进行多目标检测，得到对应的第一检测结果和第二检测结果。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述目标视频包括：预设录制完成的目标视频、录制中的目标视频。
8.一种目标对象的跟踪轨迹的确定装置，其特征在于，包括：
第一处理单元，用于对目标视频中包括的连续的第t帧图像、第t+1帧图像进行多目标检测，得到对应的第一检测结果和第二检测结果，其中，t大于1的正整数；
检测单元，用于在所述第一检测结果中包含检测到的目标对象、且所述第二检测结果中不包含所述目标对象的情况下，从所述第t帧图像开始对所述目标视频中的帧图像进行单目标检测，其中，所述单目标检测用于检测出所述目标对象；
拼接单元，用于在对所述目标视频中的第t+1+n帧图像进行单目标检测，得到第n+1检测结果、且所述第n+1检测结果中包含所述目标对象的情况下，将所述目标对象在所述第n+1检测结果中的位置信息拼接到所述目标对象的目标跟踪轨迹中，得到所述目标对象的目标跟踪轨迹，其中，n为大于等于1的自然数；获取所述第t+1帧图像至所述第t+1+n帧图像中的多帧图像中对所述目标对象的单目标跟踪的跟踪质量，在所述第t+1帧图像至所述第t+1+n帧图像中的多帧图像个数大于第一阈值、或所述多帧图像中的所述跟踪质量小于第二阈值的情况下，停止对所述目标对象的单目标检测。
9.根据权利要求8所述的装置，其特征在于，所述拼接单元，包括：
第一获取模块，用于获取所述目标对象的第一跟踪轨迹、第二跟踪轨迹第三跟踪轨迹，其中，所述第t+1+n帧图像是所述第t+1帧图像之后第1个检测到所述目标对象的帧图像，所述第一跟踪轨迹是在所述t帧图像之前的连续多帧图像中检测到的所述目标对象的跟踪轨迹，所述第二跟踪轨迹是根据第一位置和第二位置预估出来的跟踪轨迹，所述第三跟踪轨迹是在第t+n帧图像之后的连续多帧图像中检测到的所述目标对象的跟踪轨迹，所述第一位置用于表示所述目标对象在所述第t帧图像中的位置，所述第二位置用于表示所述目标对象在所述第t+1+n帧图像中的位置；
第一拼接模块，用于将所述第一跟踪轨迹、所述第二跟踪轨迹和所述第三跟踪轨迹进行拼接，得到所述目标对象的目标跟踪轨迹。
10.根据权利要求9所述的装置，其特征在于，所述拼接单元，包括：
第二获取模块，用于获取所述第二跟踪轨迹过程中的所述第t+1帧图像至所述第t+1+n帧图像中的多帧图像中对所述目标对象的单目标跟踪的跟踪质量；
确定模块，用于在所述第t+1帧图像至所述第t+1+n帧图像中的多帧图像个数小于等于第一阈值、且所述多帧图像中的所述跟踪质量大于等于第二阈值，确定所述目标对象的单目标跟踪的第二跟踪轨迹满足第一预设条件；
第二拼接模块，用于将满足第一预设条件的第二跟踪轨迹拼接到所述目标跟踪轨迹中。
11.根据权利要求9所述的装置，其特征在于，所述装置包括：
确定单元，用于在所述第一检测结果中包含检测到的目标对象、且所述第二检测结果中不包含所述目标对象的情况下，确定所述目标对象的所述第二跟踪轨迹为待删除轨迹；
删除单元，用于所述目标对象的单目标跟踪的第二跟踪轨迹不满足第一预设条件的情况下，删除所述目标对象的目标跟踪轨迹。
12.根据权利要求10所述的装置，其特征在于，所述第二获取模块，包括：
分配子模块，用于对所述目标对象分配一个卡尔曼滤波器和单目标跟踪器预估目标位置；
提取子模块，用于根据所述目标位置提取所述目标对象的运动特征；
确定子模块，用于通过所述运动特征区域确定所述目标对象的跟踪质量。
13.根据权利要求8所述的装置，其特征在于，所述装置包括：
第二处理单元，用于从所述第t帧图像开始对所述目标视频中的帧图像进行单目标检测之前，通过单目标跟踪器对所述目标视频中包括的连续的第t帧图像、第t+1帧图像进行多目标检测，得到对应的第一检测结果和第二检测结果。
14.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序被处理器运行时执行上述权利要求1至7任一项中所述的方法。
15.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至7任一项中所述的方法。
CN202010955140.XA 2020-09-11 2020-09-11 目标对象跟踪轨迹的确定方法和装置、存储介质 Active CN112561954B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010955140.XA CN112561954B (zh) 2020-09-11 2020-09-11 目标对象跟踪轨迹的确定方法和装置、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010955140.XA CN112561954B (zh) 2020-09-11 2020-09-11 目标对象跟踪轨迹的确定方法和装置、存储介质

Publications (2)

Publication Number Publication Date
CN112561954A CN112561954A (zh) 2021-03-26
CN112561954B true CN112561954B (zh) 2023-07-14

Family

ID=75041147

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010955140.XA Active CN112561954B (zh) 2020-09-11 2020-09-11 目标对象跟踪轨迹的确定方法和装置、存储介质

Country Status (1)

Country Link
CN (1) CN112561954B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114897944B (zh) * 2021-11-10 2022-10-25 北京中电兴发科技有限公司 一种基于DeepSORT的多目标连续跟踪方法
CN117576167B (zh) * 2024-01-16 2024-04-12 杭州华橙软件技术有限公司 多目标跟踪方法、多目标跟踪装置及计算机存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105761279A (zh) * 2016-02-18 2016-07-13 西北工业大学 基于轨迹分割与拼接的目标跟踪方法
WO2017016516A1 (zh) * 2015-07-24 2017-02-02 上海依图网络科技有限公司 一种复杂场景下基于人脸识别的视频人像跟踪方法
CN107992366A (zh) * 2017-12-26 2018-05-04 网易（杭州）网络有限公司 对多个目标对象进行检测和跟踪的方法、系统和电子设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9684830B2 (en) * 2014-11-14 2017-06-20 Intel Corporation Automatic target selection for multi-target object tracking
CN106682573B (zh) * 2016-11-15 2019-12-03 中山大学 一种单摄像头的行人跟踪方法
US10068135B2 (en) * 2016-12-22 2018-09-04 TCL Research America Inc. Face detection, identification, and tracking system for robotic devices
CN107316317A (zh) * 2017-05-23 2017-11-03 深圳市深网视界科技有限公司 一种行人多目标跟踪方法和装置
CN107767392A (zh) * 2017-10-20 2018-03-06 西南交通大学 一种适应遮挡场景的球类运动轨迹追踪方法
CN110443833B (zh) * 2018-05-04 2023-09-26 佳能株式会社 对象跟踪方法和设备
US11030476B2 (en) * 2018-11-29 2021-06-08 Element Ai Inc. System and method for detecting and tracking objects

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017016516A1 (zh) * 2015-07-24 2017-02-02 上海依图网络科技有限公司 一种复杂场景下基于人脸识别的视频人像跟踪方法
CN105761279A (zh) * 2016-02-18 2016-07-13 西北工业大学 基于轨迹分割与拼接的目标跟踪方法
CN107992366A (zh) * 2017-12-26 2018-05-04 网易（杭州）网络有限公司 对多个目标对象进行检测和跟踪的方法、系统和电子设备

Also Published As

Publication number Publication date
CN112561954A (zh) 2021-03-26

Similar Documents

Publication Publication Date Title
CN110533685B (zh) 对象跟踪方法和装置、存储介质及电子装置
CN110533700B (zh) 对象跟踪方法和装置、存储介质及电子装置
KR20170097888A (ko) 복수의 디바이스들로부터 수집된 데이터 통합 및 제공 방법 및 이를 구현한 전자 장치
CN111860430B (zh) 打架行为的识别方法和装置、存储介质及电子装置
CN110706247B (zh) 一种目标跟踪方法、装置及系统
CN112561954B (zh) 目标对象跟踪轨迹的确定方法和装置、存储介质
CN110660102B (zh) 基于人工智能的说话人识别方法及装置、系统
CN111581423B (zh) 一种目标检索方法及装置
CN111010547A (zh) 目标对象的追踪方法及装置、存储介质、电子装置
CN111915020A (zh) 检测模型的更新方法、装置及存储介质
CN111899285B (zh) 目标对象的跟踪轨迹的确定方法和装置、存储介质
CN113268641B (zh) 基于大数据的用户数据处理方法及大数据服务器
CN111784730A (zh) 一种对象跟踪方法、装置、电子设备及存储介质
CN115690545B (zh) 训练目标跟踪模型和目标跟踪的方法和装置
CN115984320A (zh) 基于长短期运动预测和有序数据关联的多目标跟踪方法
CN111488887B (zh) 基于人工智能的图像处理方法、装置
CN111104915B (zh) 一种同行分析方法、装置、设备和介质
CN112150505A (zh) 目标对象跟踪器的更新方法和装置、存储介质及电子装置
CN110930437B (zh) 目标跟踪方法和装置
CN112287799A (zh) 基于人工智能的视频处理方法、装置及电子设备
CN115953434B (zh) 轨迹匹配方法、装置、电子设备和存储介质
CN114494358B (zh) 一种数据处理方法、电子设备及存储介质
CN112927258A (zh) 一种目标跟踪方法及装置
CN116012609A (zh) 一种环视鱼眼多目标跟踪方法、装置、电子设备及介质
CN115147449A (zh) 一种多目标跟踪方法、电子设备、存储介质及产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant