CN110660078A - 对象追踪方法、装置、计算机设备和存储介质 - Google Patents

对象追踪方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN110660078A
CN110660078A CN201910769521.6A CN201910769521A CN110660078A CN 110660078 A CN110660078 A CN 110660078A CN 201910769521 A CN201910769521 A CN 201910769521A CN 110660078 A CN110660078 A CN 110660078A
Authority
CN
China
Prior art keywords
current frame
matching
frame
target object
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910769521.6A
Other languages
English (en)
Other versions
CN110660078B (zh
Inventor
杨国青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910769521.6A priority Critical patent/CN110660078B/zh
Publication of CN110660078A publication Critical patent/CN110660078A/zh
Priority to PCT/CN2020/099170 priority patent/WO2021031704A1/zh
Application granted granted Critical
Publication of CN110660078B publication Critical patent/CN110660078B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种基于图像检测技术的对象追踪方法、装置、计算机设备和存储介质。该方法包括：从多帧图像中选取当前帧；对当前帧的前一帧中的目标对象进行特征提取，得到目标对象的第一特征；从多帧图像中的位于当前帧之前的各帧中，分别提取目标对象的特征，得到目标对象的第二特征；提取当前帧中包括的各候选对象的特征；将各候选对象的特征与第一特征进行匹配，得到第一匹配结果；将各候选对象的特征与第二特征进行匹配，得到第二匹配结果；根据同一候选对象对应的第一匹配结果和第二匹配结果，确定各候选对象与目标对象间的最终匹配结果；按照最终匹配结果，从当前帧中的各候选对象中，识别目标对象。采用本方法能够提高对象追踪的准确性。

Description

对象追踪方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种对象追踪方法、装置、计算机设备和存储介质。
背景技术
随着科学技术的飞速发展，各种技术层出不穷。通过图像进行对象追踪的技术，在很多领域都起到很重要的作用。比如，警察通常需要通过监控视频来追踪犯罪嫌疑人，这种情况下，对象追踪技术就至关重要。
传统方法中，是将当前帧与前一帧进行匹配，从而根据匹配差异，从当前帧中确定出所要追踪的目标对象。这样一来，如果前一帧中的目标对象出现模糊或者部分被遮挡的情况，就会导致前一帧中的有效特征信息比较少，导致匹配不准确，进而导致对象追踪不准确。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高准确性的对象追踪方法、装置、计算机设备和存储介质。
一种对象追踪方法，所述方法包括：
从多帧图像中选取当前帧；
对当前帧的前一帧中的目标对象进行特征提取，得到目标对象的第一特征；
从所述多帧图像中的位于所述当前帧之前的各帧中，分别提取所述目标对象的特征，得到所述目标对象的第二特征；
提取所述当前帧中包括的各候选对象的特征；
将各候选对象的特征与所述第一特征进行匹配，得到第一匹配结果，并将各候选对象的特征与所述第二特征进行匹配，得到第二匹配结果；
根据同一候选对象对应的所述第一匹配结果和第二匹配结果，确定各候选对象与所述目标对象之间的最终匹配结果；
按照最终匹配结果，从所述当前帧中的各候选对象中，识别目标对象。
在其中一个实施例中，所述当前帧中包括多个对象，在所述提取所述当前帧中包括的各候选对象的特征之前，所述方法还包括：
获取预先设置的至少一个对象检测模板；
分别将当前帧中包括的各对象与所述对象检测模板进行匹配；
确定匹配成功的对象为候选对象。
在其中一个实施例中，所述目标对象属于行人对象；所述对象检测模板包括人体框架模板；
所述分别将当前帧中包括的各对象与所述对象检测模板进行匹配包括：
分别将当前帧中包括的各对象与所述人体框架模板进行匹配；
所述确定匹配成功的对象为候选对象包括：
根据匹配结果，识别所述当前帧中包括的行人对象，作为候选对象。
在其中一个实施例中，所述分别将当前帧中包括的各对象与所述人体框架模板进行匹配包括：
针对当前帧中包括的每个对象，对所述对象进行边缘识别，得到所述对象的外部轮廓特征；
将所述对象的外部轮廓特征与所述人体框架模板进行匹配；
当匹配成功时，则判定所述对象为行人对象。
在其中一个实施例中，所述目标对象属于行人对象；所述当前帧中包括多个对象；
在所述提取所述当前帧中包括的各候选对象的特征之前，所述方法还包括：
针对所述当前帧中的每个对象，从所述当前帧中截取包括所述对象的对象区域图；所述对象占据所述对象区域图中的主要区域；
分别将各个对象区域图输入预先训练的人体识别模型中，输出针对各对象区域图中包括的对象的识别结果；
当所述识别结果表征所述对象为人体时，则判定所述对象为候选对象。
在其中一个实施例中，所述第一匹配结果包括对象与目标对象之间的第一匹配度；所述第二匹配结果包括对象与目标对象之间的第二匹配度；
所述根据同一对象对应的所述第一匹配结果和第二匹配结果，确定各对象与所述目标对象之间的最终匹配结果包括：
根据对应于同一对象的第一匹配度和第二匹配度，确定各对象与所述目标对象之间的最终匹配度；
所述按照最终匹配结果，从所述当前帧中的各对象中，识别目标对象包括：
从各对象所对应的最终匹配度中选取最小的最终匹配度；
从所述当前帧的各对象中，筛选所述最小的最终匹配度所对应的对象，得到目标对象。
一种对象追踪装置，所述装置包括：
特征提取模块，用于从多帧图像中选取当前帧；对当前帧的前一帧中的目标对象进行特征提取，得到目标对象的第一特征；从所述多帧图像中的位于所述当前帧之前的各帧中，分别提取所述目标对象的特征，得到所述目标对象的第二特征；提取所述当前帧中包括的各候选对象的特征；
特征匹配模块，用于将各候选对象的特征与所述第一特征进行匹配，得到第一匹配结果，并将各候选对象的特征与所述第二特征进行匹配，得到第二匹配结果；根据同一候选对象对应的所述第一匹配结果和第二匹配结果，确定各候选对象与所述目标对象之间的最终匹配结果；
对象识别模块，用于按照最终匹配结果，从所述当前帧中的各候选对象中，识别目标对象。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
从多帧图像中选取当前帧；
对当前帧的前一帧中的目标对象进行特征提取，得到目标对象的第一特征；
从所述多帧图像中的位于所述当前帧之前的各帧中，分别提取所述目标对象的特征，得到所述目标对象的第二特征；
提取所述当前帧中包括的各候选对象的特征；
将各候选对象的特征与所述第一特征进行匹配，得到第一匹配结果，并将各候选对象的特征与所述第二特征进行匹配，得到第二匹配结果；
根据同一候选对象对应的所述第一匹配结果和第二匹配结果，确定各候选对象与所述目标对象之间的最终匹配结果；
按照最终匹配结果，从所述当前帧中的各候选对象中，识别目标对象。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
从多帧图像中选取当前帧；
对当前帧的前一帧中的目标对象进行特征提取，得到目标对象的第一特征；
从所述多帧图像中的位于所述当前帧之前的各帧中，分别提取所述目标对象的特征，得到所述目标对象的第二特征；
提取所述当前帧中包括的各候选对象的特征；
将各候选对象的特征与所述第一特征进行匹配，得到第一匹配结果，并将各候选对象的特征与所述第二特征进行匹配，得到第二匹配结果；
根据同一候选对象对应的所述第一匹配结果和第二匹配结果，确定各候选对象与所述目标对象之间的最终匹配结果；
按照最终匹配结果，从所述当前帧中的各候选对象中，识别目标对象。
上述对象追踪方法、装置、计算机设备和存储介质，分别获取前一帧中目标对象的第一特征，以及在当前帧之前的各帧中目标对象的第二特征，相当于，既考虑目标对象在较近的前一帧中的第一特征，又考虑到目标对象在之前的多帧中的第二特征，从而使得所提取的目标特征的信息量更多，更加的准确。进而，将当前帧中各候选对象的特征分别与目标对象的第一特征和各第二特征进行匹配，根据第一匹配结果和第二匹配结果确定候选对象与目标对象之间的最终匹配结果，从而能够使各候选对象和目标对象之间的匹配结果更加准确，基于该匹配结果能够从当前帧中更加准确地识别出目标对象，进而实现了对目标对象更加准确地追踪。
附图说明
图1为一个实施例中对象追踪方法的应用场景图；
图2为一个实施例中对象追踪方法的流程示意图；
图3为一个实施例中对象追踪方法的原理示意图；
图4为一个实施例中对象追踪装置的结构框图；
图5为一个实施例中追踪匹配模块的结构框图；
图6为一个实施例中计算机设备的内部结构图；
图7为另一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的对象追踪方法，可以应用于如图1所示的应用环境中。其中，终端110通过网络与服务器120通过网络进行通信。其中，终端110可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。可以理解，终端110具备图像采集功能。
终端110可以采集视频，并将视频发送至服务器120，由服务器120根据视频执行本申请各实施例中的对象追踪方法。服务器120可以从视频的多帧图像中选取当前帧，对当前帧的前一帧中的目标对象进行特征提取，得到目标对象的第一特征；从所述多帧图像中的位于所述当前帧之前的各帧中，分别提取所述目标对象的特征，得到所述目标对象的第二特征；提取所述当前帧中包括的各候选对象的特征；将各候选对象的特征与所述第一特征进行匹配，得到第一匹配结果，并将各候选对象的特征与所述第二特征进行匹配，得到第二匹配结果；根据同一候选对象对应的所述第一匹配结果和第二匹配结果，确定各候选对象与所述目标对象之间的最终匹配结果；按照最终匹配结果，从所述当前帧中的各候选对象中，识别目标对象。进一步地，服务器120可以在当前帧中将识别出的目标对象添加突出显示标记，并通知终端110，以指示终端110在当前帧中将目标对象进行突出显示。
需要说明的是，在其他实施例中，终端110自身也可以对各帧图像执行本申请各实施例中的对象追踪方法，而不需要发送至服务器120。这里对谁执行对象追踪方法不做限定。
在一个实施例中，如图2所示，提供了一种对象追踪方法，以该方法应用于计算机设备为例进行说明，计算机设备可以是图1中的服务器120，包括以下步骤：
S202，从多帧图像中选取当前帧。
其中，当前帧，是当前处理的图像帧。
在一个实施例中，多帧图像可以是视频(比如，监控视频)里面的多个图像。
需要说明的是，该对象追踪方法也可以不限定于视频中追踪对象的场景，可以适用于在任何多帧图像中追踪对象的场景。所以，在其他实施例中，多帧图像，也可以是多张图片。
S204，对当前帧的前一帧中的目标对象进行特征提取，得到目标对象的第一特征。
其中，当前帧的前一帧，是多帧图像中的相邻于当前帧的前面一帧图像帧，即，指多帧图像中的在当前帧之前的最近一帧。目标对象，是指需要进行追踪的对象。
可以理解，目标对象存在于前一帧中，需要在当前帧中识别出该目标对象，从而实现对该目标对象从前一帧到当前帧的追踪。
目标对象的第一特征，即为目标对象在当前帧的前一帧中的特征。
需要说明的是，目标对象可以为一个或多个。当目标对象为多个时，则可以针对每个目标对象分别执行步骤S204～S206、以及S210～S214的步骤，以实现在当前帧中追踪每个目标对象。
具体地，计算机设备可以从当前帧的前一帧中，识别出目标对象，并通过卷积处理或者边缘、骨骼架构以及色彩检测等检测处理，来提取目标对象的特征，得到目标对象的第一特征。可以理解，由于目标对象的第一特征是从最接近于该当前帧的前一帧中提取到的，所以，第一特征相当于目标对象的近期特征。
S206，从多帧图像中的位于当前帧之前的各帧中，分别提取目标对象的特征，得到目标对象的第二特征。
其中，多帧图像中的位于当前帧之前的各帧，是指多帧图像中的位于当前帧之前的图像帧。可以理解，当多帧图像是视频帧中的多个图像帧时，位于当前帧之前的各帧，即为多帧图像中的在当前帧之前产生的视频图像帧。
具体地，计算机设备可以从多帧图像中的位于当前帧之前的各帧中，分别检测出目标对象，并从中分别提取目标对象的特征，得到与各帧分别对应的目标对象的第二特征。同样地，计算机设备可以针对位于当前帧之前的各帧，通过卷积处理或者边缘、骨骼架构以及色彩检测等检测处理，来提取目标对象的特征，得到目标对象的各第二特征。
需要说明的是，当多帧图像中的位于当前帧之前的帧中不包括目标对象时，则无法从中提取出目标对象的第二特征，则在后续步骤S210的处理中，使用不到该帧。因此，本申请各实施例中，是基于从多帧图像中的位于当前帧之前的各帧中提取出的目标对象的第二特征进行处理的，未提取到目标对象的第二特征的情况自然不在考虑范围内。
可以理解，目标对象的第二特征是从多帧图像中的位于所述当前帧之前的各帧中提取到的，由于在当前帧之前的各帧已经执行过对象追踪方法，所以，其相对于当前帧来说属于历史帧(即，已经执行过本申请各实施例中的对象追踪方法的图像帧)，所以，从位于所述当前帧之前的各帧中提取的目标对象的第二特征，相当于目标对象的历史特征。
可以理解，可以是从多帧图像中的位于当前帧之前的全部或部分图像帧中，分别提取目标对象的特征，得到目标对象的第二特征。
在一个实施例中，计算机设备可以选取多帧图像中的、且位于当前帧的前预设数量的帧，并从选取的各帧中，分别提取目标对象的特征，得到目标对象的第二特征。可以理解，是对选取的每帧都提取目标对象的特征，因而能够得到与选取的每帧分别对应的目标对象的第二特征。
具体地，计算机设备也可以从当前帧起按序往前选取预设数量的帧。比如，当前帧为视频中的第5张图像帧，预设数量为3，则选取的历史帧则为从第5张图像帧起往前选3张图像帧，即，第2～4张图像帧为选取的图像帧，然后从选取的第2～4张图像帧中，分别提取目标对象的特征，得到与第2～4张图像帧分别对应的目标对象的第二特征。那么，该实施例中，选取的帧中则包括当前帧的前一帧。可以理解，当预设数量大于1时，前预设数量的历史帧中除包括当前帧的前一帧，还包括在前一帧之前的帧。
在其他实施例中，计算机设备可以在位于当前帧的各帧中，随机选取满足预设数量的帧。比如，当前帧为视频中的第5张图像帧，预设数量为3，则可以随机选第1张、第3张和第4张图像帧，然后从选取的第1、3和4张图像帧中，分别提取目标对象的特征，得到与第1、3和4张图像帧分别对应的目标对象的第二特征。
S208，提取当前帧中各候选对象的特征。
其中，候选对象，是指当前帧中能够观测到的用于被判断是否为目标对象的对象。候选对象为至少一个。
在一个实施例中，候选对象可以包括人、车辆、动物和物品等至少一种。
在一个实施例中，计算机设备可以将当前帧中所有的对象都识别为候选对象。比如，当前帧中有两个人、一条狗以及一辆车，计算机设备可以不考虑对象的类别，直接将当前帧中的对象都作为候选对象，即，将两个人、一条狗以及一辆车都作为候选对象。
在另一个实施例中，计算机设备也可以从当前帧中能够观测到的对象中，选取部分对象作为候选对象。具体地，计算机设备可以获取目标对象的类别，从当前帧中能够观测到的对象中，选取与目标对象的类别相符的对象作为候选对象。比如，当前帧中有两个人、一条狗以及一辆车，假设目标对象的类别为“人”，那么则可以选取当前帧中的两个“人”作为候选对象。
具体地，计算机设备可以对每个候选对象进行边缘检测(外形维度)、骨骼架构检测(内部架构维度)和颜色检测(色彩维度)等至少一种维度的检测，从而得到各候选对象的特征。
在一个实施例中，计算机设备可以对每个候选对象进行卷积处理，通过多轮卷积处理，提取候选对象的特征。
S210，将各候选对象的特征与所述第一特征进行匹配，得到第一匹配结果，并将各候选对象的特征与所述第二特征进行匹配，得到第二匹配结果。
具体地，计算机设备可以将每个候选对象的特征与目标对象的第一特征进行匹配，得到与每个候选对象对应的第一匹配结果。计算机设备可以将每个候选对象的特征与目标对象的第二特征进行匹配，得到与每个候选对象对应的第二匹配结果。
在一个实施例中，第一匹配结果可以包括匹配成功和匹配失败。第二匹配结果也可以包括匹配成功和匹配失败。即，匹配结果可以不为数值形式，而是直接地结论描述形式。
在另一个实施例中，第一匹配结果，包括候选对象的特征与目标对象的第一特征之间的第一匹配度。第二匹配结果，包括候选对象的特征与目标对象的第二特征之间的第二匹配度。
在一个实施例中，第一匹配度，可以根据候选对象的特征与目标对象的第一特征之间的第一差异值进行表征。即，第一差异值，用于表征各候选对象的特征与目标对象的第一特征之间的特征匹配度。第二匹配度，可以根据候选对象的特征与目标对象的第二特征之间的第二差异值进行表征。即，第二差异值，用于表征各候选对象的特征分别与目标对象的各第二特征之间的特征匹配度。
可以理解，由于位于所述当前帧之前的帧为至少一个。所以，当位于所述当前帧之前的帧为多个时，从多个帧中可以分别提取相对应的第二特征，即有多个目标对象的第二特征。那么，各候选对象的特征分别与目标对象的每个第二特征之间都具有第二差异值，即可以得到多个第二差异值。
在一个实施例中，针对每个候选对象，计算机设备可以求取该候选对象的特征与目标对象的第一特征之间的欧式距离，从而得到第一差异值，以及分别求取该候选对象的特征与目标对象的各第二特征之间的欧式距离，得到该候选对象的特征与目标对象的各第二特征之间的第二差异值。
S212，根据同一候选对象对应的所述第一匹配结果和第二匹配结果，确定各候选对象与所述目标对象之间的最终匹配结果。
在一个实施例中，当同一候选对象对应的第一匹配结果和第二匹配结果皆为匹配成功时，则确定最终匹配结果为该候选对象为目标对象。
在另一个实施例中，计算机设备也可以根据对应于同一候选对象的第一匹配度和第二匹配度，确定各候选对象对应的最终特征匹配度。该最终特征匹配度，即为最终匹配结果。可以理解，当第一匹配度和第二匹配度分别由第一差异值和第二差异值进行表征时，计算机设备也可以根据对应于同一候选对象的第一差异值和第二差异值，确定各候选对象与目标对象之间的匹配差异值。可以理解，各候选对象与目标对象之间的匹配差异值，即为候选对象与所述目标对象之间的最终匹配结果。
S214，按照最终匹配结果，从所述当前帧中的各候选对象中，识别目标对象。
在一个实施例中，针对每个候选对象，当该候选对象对应的最终匹配结果为该候选对象为目标对象时，则从当前帧中识别出该候选对象，得到目标对象。
在另一个实施例中，计算机设备可以根据各候选对象与与目标对象之间的匹配差异值，从当前帧中的各候选对象中，识别目标对象。比如，从当前帧中的各候选对象中，选取匹配差异值最小的候选对象，得到目标对象。
在一个实施例中，计算机设备还可以将筛选出的对象在当前帧中进行突出显示，以体现该对象为所追踪的目标对象。
上述对象追踪方法，分别获取前一帧中目标对象的第一特征，以及在当前帧之前的各帧中目标对象的第二特征，相当于，既考虑目标对象的近期特征，又考虑到目标对象的历史特征，从而使得所提取的目标特征的信息量更多，更加的准确。进而，将当前帧中各候选对象的特征分别与目标对象的第一特征和各第二特征进行匹配，根据第一匹配结果和第二匹配结果确定候选对象与目标对象之间的最终匹配结果，从而能够使各候选对象和目标对象之间的匹配结果更加准确，基于该匹配结果能够从当前帧中更加准确地识别出目标对象，进而实现了对目标对象更加准确地追踪。
在一个实施例中，步骤S208提取当前帧中各候选对象的特征包括：获取预先设置的至少一个对象检测模板；分别将当前帧中包括的各对象与对象检测模板进行匹配；确定匹配成功的对象为候选对象。
其中，对象检测模板，是预先设置的用于检测对象的模板。
具体地，计算机设备可以预先设置对象检测模板。计算机设备可以将当前帧中的对象与对象检测模板进行匹配，将当前帧中与该对象检测模板匹配的对象作为候选对象。进而，从当前帧中提取候选对象的特征。
在一个实施例中，可以以对象的类别为维度，设置相应的对象检测模板。即，一种对象检测模板用于检测一种类别的对象。
比如，要检测当前帧中的人，那么对象检测模板可以为人体框架模板，计算机设备可以检测当前帧中对象的框架，将该框架与人体框架模板进行匹配，如果匹配成功，则说明该对象为人，从而将当前帧中所有的人都检测识别出来。那么，所识别出的所有的人，则为候选对象。
又比如，要检测当前帧中的车辆，那么对象检测模板可以为车辆框架模板(即能判别出是车辆的特征的模板)，计算机设备可以将当前帧中对象与该模板进行匹配，匹配成功则说明该对象为车辆，从而识别出当前帧中的所有车辆。那么，所识别出的所有的车辆，就为候选对象。
在一个实施例中，还可以根据二级分类，设置相应的对象检测模板。假设，针对“人”这一类别，可以进行二级分类为“老人”、“小孩”、“男人”和“女人”等，那么，就可以对应二级分类设置对象检测模板，比如，设置小孩检测模板，那么，就可以从当前帧中识别出所有的小孩。这样一来，就可以用来自动寻找走失的儿童。
在一个实施例中，计算机设备可以获取目标对象的类别，获取与目标对象的类别对应的对象检测模板，然后将当前帧中的对象与对象检测模板进行匹配，将当前帧中与该对象检测模板匹配的对象作为候选对象。
假设，目标对象的类别为“人”，那么，就获取用于检测出“人”的对象检测模板，比如，人体框架模板，从而检测出当前帧中的人，作为候选对象。
上述实施例中，通过对象检测模板可以对当前帧中的对象进行筛选，以筛选出符合要求的对象作为候选对象，这样一来，就不用针对当前帧中的所有对象都与目标对象进行差异匹配，从而在保证对象追踪正确性的同时，节约了计算资源。
在一个实施例中，所述目标对象属于行人对象；所述对象检测模板包括人体框架模板。本实施例中，分别将当前帧中包括的各对象与所述对象检测模板进行匹配包括：分别将当前帧中包括的各对象与所述人体框架模板进行匹配。确定匹配成功的对象为候选对象包括：根据匹配结果，识别所述当前帧中包括的行人对象，作为候选对象。
其中，行人对象，即为图像帧中展示的人形图像内容。人体框架模板，是预先设置的人体框架。可以理解，人体框架，是包含了人体存在共性的架构特征。即，除特殊人群之外，正常的人通常情况下能够与该人体框架匹配。
具体地，计算机设备可以先检测出当前帧中包括的对象，然后将各对象分别与所述人体框架模板进行匹配，根据匹配结果，识别所述当前帧中包括的行人对象，作为候选对象。可以理解，当匹配结果为与该对象人体框架模板匹配，则识别该对象为行人对象，那么，该对象即为候选对象。
可以理解，人体框架模板可以从轮廓角度进行设置，即，人体框架模板包括人体共性轮廓，计算机设备可以将当前帧中的各对象的外形轮廓与人体框架模板进行匹配。
在一个实施例中，所述分别将当前帧中包括的各对象与所述人体框架模板进行匹配包括：针对当前帧中包括的每个对象，对所述对象进行边缘识别，得到所述对象的外部轮廓特征；将所述对象的外部轮廓特征与所述人体框架模板进行匹配；当匹配成功时，则判定所述对象为行人对象。
外部轮廓特征，是对象的外部轮廓的特征，用于表征对象的外部轮廓。
具体地，计算机设备可以通过边缘检测处理，检测当前帧中包括的各对象的边缘特征点，将边缘特征点按序连接，得到外部轮廓线，即为外部轮廓特征数据。计算机设备可以将得到的各对象的外部轮廓特征数据与包括人体共性轮廓的人体框架模板进行匹配。当匹配成功时，则判定该对象为行人对象。
在其他实施例中，人体框架模板还可以从人体骨骼角度进行设置，即人体框架模板为人体骨骼框架模板。可以理解，人身体上的骨头差异不大，所以具有一定的人体共性，因此可以设置人体骨骼框架模板。人体骨骼框架模板中包括预设的外观骨骼关键点。外观骨骼关键点，是对外展现的、能够从外观直接看到的骨骼点。那么，计算机设备可以将当前帧中各对象与包括预设的外观骨骼关键点的人体骨骼框架模板进行匹配，当匹配时，则判定该对象为行人对象，即为候选对象。
在一个实施例中，目标对象属于行人对象；当前帧中包括多个对象。在步骤S208之前，该方法还包括：针对当前帧中的每个对象，从当前帧中截取包括对象的对象区域图；对象占据对象区域图中的主要区域；分别将各个对象区域图输入预先训练的人体识别模型中，输出针对各对象区域图中包括的对象的识别结果；当识别结果表征对象为人体时，则判定对象为候选对象。
其中，对象区域图，是对象占主要区域的图像。可以理解，对象区域图，是从当前帧中截取的一部分。比如，当前帧中包括3个对象A～C，从中截取A的对象区域图，则A的对象区域图中，A占主要区域。
人体识别模型，是预先训练的用于识别人的机器学习模型。人体识别模型，可以预先通过样本数据进行迭代地机器学习训练得到。样本数据包括样本图像和对象类别标记。正样本图像中的图像内容包括人，负样本图像中的图像内容包括除人以外的对象。正样本图像对应的对象类别标记为人体标记，正样本图像对应的对象类别标记为非人体标记。
计算机设备可以分别将各个对象区域图输入预先训练的人体识别模型中，输出各对象区域图对应的对象的识别结果；当识别结果表征该对象为人体时，则判定对象为候选对象。当识别结果表征该对象为非人体时，则判定该对象不为候选对象。
在一个实施例中，第一匹配结果包括对象与目标对象之间的第一匹配度；第二匹配结果包括对象与目标对象之间的第二匹配度。本实施例中，步骤S212包括：根据对应于同一对象的第一匹配度和第二匹配度，确定各对象与目标对象之间的最终匹配度。步骤S214包括：从各对象所对应的最终匹配度中选取最小的最终匹配度；从当前帧的各对象中，筛选最小的最终匹配度所对应的对象，得到目标对象。
在一个实施例中，第一匹配度，可以根据候选对象的特征与目标对象的第一特征之间的第一差异值进行表征。第二匹配度，可以根据候选对象的特征与目标对象的第二特征之间的第二差异值进行表征。根据对应于同一对象的第一匹配度和第二匹配度，确定各对象与目标对象之间的最终匹配度包括：根据对应于同一候选对象的第一差异值和第二差异值，确定各候选对象与目标对象之间的匹配差异值。从当前帧的各对象中，筛选最小的最终匹配度所对应的对象，得到目标对象包括：从各候选对象所对应的匹配差异值中选取最小匹配差异值；根据所述最小匹配差异值，从当前帧的各候选对象中，筛选与所述目标对象匹配的对象。
其中，匹配差异值，是候选对象与目标对象进行匹配时所存在的差异值。最小匹配差异值，是指候选对象与目标对象之间的匹配差异值最小。
可以理解，匹配差异值越小，候选对象与目标对象差异越小，越接近；反之，匹配差异值越大，候选对象与目标对象差异越大，越不相同。
最小匹配差异值，是指候选对象与目标对象之间的匹配差异值最小。
在一个实施例中，计算机设备可以直接将对应于同一候选对象的第一差异值和第二差异值求和，得到各候选对象与目标对象之间的匹配差异值。
在其他实施例中，计算机设备也可以将对应于同一候选对象的第一差异值和第二差异值做非求和的其他线性计算或非线性计算，得到各候选对象与目标对象之间的匹配差异值。
可以理解，当候选对象为多个(即大于或等于两个)时，得到的匹配差异值也为多个，计算机设备可以将多个匹配差异值进行大小比对，并根据比对结果，从多个匹配差异值中选取最小匹配差异值。最小匹配差异值所对应的候选对象与目标对象差异最小，也就最接近。因此，计算机设备可以将最小匹配差异值在当前帧中所对应的候选对象，判定为与目标对象匹配。从而在当前帧中追踪到该目标对象，即为最小匹配差异值在当前帧中所对应的候选对象。
在其他实施例中，计算机设备也可以将最小匹配差异值与预设差异阈值进行比对，当最小匹配差异值小于或等于预设差异阈值，则判定该最小匹配差异值在当前帧中所对应的候选对象为目标对象。可以理解，由于当前帧中也可以存在不存在目标对象的情况，所以，最小匹配差异值所对应的候选对象也不一定是目标对象，将最小匹配差异值与预设差异阈值比对，能够防止特殊情况发生，进一步地提高对象追踪的准确性。
图3为一个实施例中对象追踪方法的原理示意图。参照图3，
Figure BDA0002173099840000141
以及
Figure BDA0002173099840000142
即为当前帧的前6个帧，可以理解，当前帧之前的帧，相当于历史帧，以下为了表述简练，就将多帧图像中的位于所述当前帧之前的各帧称为“历史帧”，即为当前帧的前一帧，现要从当前帧中追踪目标对象G2。计算机设备则要从前一帧
Figure BDA0002173099840000144
中提取该目标对象G2的特征，得到目标对象G2的第一特征。并且，分别从前6个历史帧
Figure BDA0002173099840000145
以及
Figure BDA0002173099840000146
中提取G2的特征，得到目标对象G2的6个第二特征。计算机设备则要检测当前帧中的2个候选对象(即对象g1(男士)和对象g2(女士))，并分别提取这两个候选对象的特征，得到候选对象g1的特征和候选对象g2的特征。然后，计算机设备可以确定候选对象g1的特征与第一特征之间的第一差异值，以及分别确定候选对象g1的特征与第二特征的第二差异值，然后根据第一差异值和第二差异值，确定当前帧中候选对象g1和目标对象G2之间的匹配差异值h1。计算机设备按照同样地方法，求得当前帧中候选对象g2和目标对象G2之间的匹配差异值h2。其中，h2小于h1且在预设差异阈值范围内，则可以判定当前帧中的候选对象g2即为所要追踪的目标对象G2。
在一个实施例中，根据对应于同一候选对象的第一差异值和第二差异值，确定各候选对象与目标对象之间的匹配差异值包括：获取目标对象的第一特征对应的第一权重；获取各第二特征对应的第二权重；确定各候选对象所对应的第一差异值和第一权重的第一乘积，以及确定候选对象所对应的各第二差异值与相对应第二权重的第二乘积；其中，对应于同一第二特征的第二差异值和第二权重相对应；将对应于同一候选对象的第一乘积和各第二乘积求和，得到各候选对象与目标对象之间的匹配差异值。
其中，第一权重，用于表示目标对象的第一特征对对象匹配结果所产生的影响程度。第二权重，用于表示各第二特征对对象匹配结果所产生的影响程度。
在一个实施例中，第一权重和第二权重，可以是预先设置的固定值。
在另一个实施例中，第一权重和第二权重，也可以根据实际情况动态生成决定。
可以理解，各第二特征可以具有预设的相同的第二权重。各第二特征也可以对应不同的第二权重。
计算机设备可以求取各候选对象所对应的第一差异值和第一权重的第一乘积，以及计算候选对象所对应的各第二差异值与相对应第二权重的第二乘积。计算机设备可以将对应于同一候选对象的第一乘积和各第二乘积求和，得到各候选对象与目标对象之间的匹配差异值。
上述实施例中，考虑到了第一特征和各第二特征对差异匹配的影响程度，因而使得确定出的各候选对象与目标对象之间的匹配差异值更加的准确，从而提高了对象追踪的准确性。
在一个实施例中，当前帧为当前轮次的当前帧；目标对象的第一特征，是在当前轮次中提取得到。获取目标对象的第一特征对应的第一权重包括：获取前一帧作为前一轮次的当前帧时，前一帧中的、且与目标对象匹配的对象所对应的匹配差异值；根据匹配差异值，确定与当前轮次中所提取的目标对象的第一特征对应的第一权重。
可以理解，前一帧作为当前帧时，同样要计算出其中与目标对象相匹配的对象以及该匹配的对象相应的匹配差异值(即，最小的匹配差异值)，所以，就可以根据针对前一帧计算得到的所匹配的对象对应的匹配差异值，确定新的当前帧计算时所涉及到的目标对象的第一特征对应的第一权重。
在一个实施例中，第一权重，即为目标对象的第一特征的匹配置信度。目标对象的第一特征的匹配置信度，是指前一帧作为前一轮次的当前帧时，前一帧中的、且与目标对象匹配的对象所对应的匹配差异值。具体地，计算机设备可以直接将针对前一帧计算得到的所匹配的对象对应的匹配差异值，作为新的当前帧计算时所涉及到的目标对象的第一特征对应的匹配置信度，即得到第一权重。
在另一个实施例中，计算机设备也可以将针对前一帧计算得到的所匹配的对象对应的匹配差异值进行线性或非线性变换，得到新的当前帧计算时所涉及到的目标对象的第一特征对应的第一权重。
在一个实施例中，当当前帧为第二帧时，由于其前一帧为第一帧，而第一帧并没有计算匹配的对象以及对应的匹配差异值，所以，可以当当前帧为第二帧时，其前一帧中提取的目标对象的第一特征对应的第一权重可以为默认值1。
为了便于理解，现举例说明。假设，第二帧为当前帧时，计算第二帧中3个候选对象与目标对象的匹配差异值(匹配差异值1、匹配差异值2以及匹配差异值3)，从三个匹配差异值中选最小的匹配差异值3，将最小的匹配差异值3所对应的候选对象判定为与目标对象匹配。那么，接着，在当第三帧为当前帧时，则可以将前面计算得到的匹配差异值3作为目标对象的第一特征的第一权重。
在一个实施例中，计算机设备可以根据第一权重，直接确定第二权重。比如，计算机设备可以用1减去第一权重，得到第二权重。在其他实施例中，计算机设备也可以对第一权重进行线性或非线性变换，得到第二权重。
上述实施例中，根据前一帧作为前一轮次的当前帧时，前一帧中的、且与目标对象匹配的对象所对应的匹配差异值，确定与当前轮次中所提取的目标对象的第一特征对应的第一权重，使得第一权重能够根据对目标对象在前一帧中的历史追踪情况来动态确定，能够更加准确地确定目标对象的第一特征对差异匹配的影响程度，进而能够提高对象追踪的准确性。
在一个实施例中，获取各第二特征对应的第二权重包括：获取各第二特征分别对应的初始权重；根据第一权重，确定权重系数；根据各第二特征分别对应的初始权重和权重系数的乘积，得到各第二特征对应的第二权重。
其中，初始权重，即为初始化的权重。
在一个实施例中，各第二特征分别对应的初始权重可以为预设值或根据实际情况动态确定。各第二特征分别对应的初始权重，可以相同也可以不同。
上述实施例中，根据第一权重确定权重系数，以对初始权重进行调整得到第二权重，能够提高第二权重的准确性，从而提高对象追踪的准确性。
在一个实施例中，当前帧为当前轮次的当前帧；各第二特征，是在当前轮次中提取得到。本实施例中，获取各第二特征分别对应的初始权重包括：获取位于当前帧之前的各帧作为当前帧时，各帧中的、且与目标对象匹配的对象所对应的匹配差异值；根据获取的各匹配差异值，确定各第二特征分别对应的初始权重。
在一个实施例中，第二特征对应的初始权重，是通过该目标对象的第二特征的第二匹配置信度除以所有匹配置信度的总和得到。权重系数，等于1减去第一权重的差值。
目标对象的第二特征的第二匹配置信度，是指该目标对象的第二特征所对应的位于当前帧之前的帧作为当前帧时，与目标对象匹配的对象所对应的匹配差异值。所有匹配置信度的总和，是指目标对象在获取的位于当前帧之前的各帧中的第二特征的第二匹配置信度之和。
在一个实施例中，各目标对象的第二特征分别对应的初始权重可以根据以下公式确定：
Figure BDA0002173099840000181
其中，即为第i个目标对象在第n个历史帧(即，位于当前帧之前的帧)中的第二特征的初始权重；
Figure BDA0002173099840000183
即为第i个目标对象在第n个历史帧中的第二特征的第二匹配置信度；
Figure BDA0002173099840000184
即为第i个目标对象在n个历史帧中的第k个历史帧中的第二特征的第二匹配置信度；
Figure BDA0002173099840000185
即为第i个目标对象在所获取的所有历史帧中的第二特征的第二匹配置信度之和；
Figure BDA0002173099840000186
即为第i个目标对象有N个历史帧，h即为历史的“historical”的缩写。
在一个实施例中，可以通过以下公式来计算候选对象与目标对象之间的匹配差异值：
Figure BDA0002173099840000187
其中，Xi代表第i个目标对象的特征，Zj为当前帧中第j个候选对象的特征，ham(Xi,Zj)表示第j个候选对象与第i个目标对象之间的匹配差异值；
Figure BDA0002173099840000188
为当前帧的前一帧中第i个目标对象的第一特征，
Figure BDA0002173099840000189
为当前帧的前一帧中第i个目标对象的第一特征和第j个候选对象的特征之间的第一差异，
Figure BDA00021730998400001810
为第i个目标对象的第一特征的匹配置信度(即为第i个目标对象的第一特征的第一权重)；
Figure BDA00021730998400001811
代表第i个目标对象的第n个历史帧的第二特征，当前帧的第n个历史帧中第i个目标对象的第二特征和第j个候选对象的特征之间的第二差异，
Figure BDA00021730998400001813
表示第i个目标对象在第n个历史帧中的第二特征的初始权重。
Figure BDA00021730998400001814
即为权重系数。可以理解，公式(2)中
Figure BDA00021730998400001815
与
Figure BDA00021730998400001816
的乘积，即相当于第i个目标对象在第n个历史帧中的第二特征的第二权重。
上述实施例中，各第二特征的初始权重，是根据对目标对象在历史帧中的的历史追踪情况来动态确定，进而能够更加准确地确定各第二特征对差异匹配的影响程度，从而能够提高对象追踪的准确性。
为了便于理解上述公式(2)，下面通过具体例子来阐述(由于第一帧没有历史帧，即，第一帧没有之前的帧，所以没有讨论的必要，故省略第一帧，从第二帧开始阐述)：
Step1：我们输入第二帧(即输入第二个图像帧)，我们考虑最简单的场景：假设第一帧中有五个目标对象，而且，第一帧中的五个目标对象均在第二帧中，且第二帧中除此之外没有其他的目标对象。那么，我们记第二帧中的5个对象分别为Z1，Z2，Z3，Z4，Z5(Z即为候选对象)。
Step2:现在计算第一帧和第二帧候选对象的距离(例如：欧式距离)，假设我们目标对象的特征为1*m的一个向量。则第一帧的第i个目标对象和第二帧的第j个候选对象之间的距离(即第一差异)为：
Figure BDA0002173099840000191
则第一帧中所有的目标对象和第二帧中所有的候选对象之间距离(即第一差异)组成一个矩阵，即
Figure BDA0002173099840000192
Step3：对于第二帧来说，从第一帧提取的目标对象的第一特征的匹配置信度(即第一权重)c的值为初始化的值1，将该c的值代入公式(1)中计算ω1(即目标对象在第1个历史帧(即第一帧)中的第二特征的初始权重)的值为：
Figure BDA0002173099840000193
Step4:则代入公式(2)中，得到：
Figure BDA0002173099840000201
为了记述方便，上式中的值我们用
Figure BDA0002173099840000202
来对应向量中的值。即：
Figure BDA0002173099840000203
Step5:将前面求得的结果，代入公式(2)中，求得第二帧中第j个候选对象与第i个目标对象之间的匹配差异值为:
Figure BDA0002173099840000204
其中，[1,1,1,1,1]为第一权重。
Step6:假设我们到此跟踪成功，且第一帧和第二帧中的目标对象刚好对应上，那么，为了记述方便，将追踪第三帧时，从第二帧中提取的目标对象的第一特征的匹配置信度简化表示为：
Figure BDA0002173099840000205
Step7：我们输入第三帧(即第三帧图像帧)，同样假设第三帧中有5个候选对象，且5个候选对象和第二帧图像中的5个目标对象存在一一对应关系。为了记述方便，我们标记第三帧中的5个候选对象分别为：M1,M2,M3,M4,M5
Step8：则此时公式(2)中：
Figure BDA0002173099840000211
需要说明的是，这里的Z只为了表示是第二帧中的对象，实际上，在对第三帧进行对象追踪处理时，Step8中的“Z”就相当于Step 2中的“X”，“M”相当于Step 2中的“Z”，这里用不同的序号表示，仅用于区分表示，并不妨碍对上述公式(1)和(2)的套用。因此，dis(Zi,Mj)相当于第三帧作为当前帧时，作为其前一帧的第二帧中第i个目标对象的第一特征和该第三帧中第j个候选对象的特征之间的第一差异。
Step9:将从第二帧中提取的目标对象的第一特征的匹配置信度c的值代入公式(1)中，计算ω的值为：
Figure BDA0002173099840000212
此时，公式(2)中的：
Figure BDA0002173099840000213
同样为记述方便，上式中的值我们用
Figure BDA0002173099840000214
来对应向量中的值。即：
Step10：那么，将上面求得的结果，代入公式(2)中，可计算第三帧中第j个候选对象与第i个目标对象之间的匹配差异值为：
Figure BDA0002173099840000221
其中，
Figure BDA0002173099840000222
即为对5个目标对象进行同时追踪时，针对各目标对象求得的第一权重和第一差异的乘积所构成的矩阵，
Figure BDA0002173099840000223
即为针对各目标对象求得的第二权重和第二差异的乘积所构成的向量。
应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图4所示，提供了一种对象追踪装置400，包括：特征提取模块402、特征匹配模块404以及对象识别模块406，其中：
特征提取模块402，用于从多帧图像中选取当前帧；对当前帧的前一帧中的目标对象进行特征提取，得到目标对象的第一特征；从多帧图像中的位于当前帧之前的各帧中，分别提取目标对象的特征，得到目标对象的第二特征；提取当前帧中包括的各候选对象的特征。
特征匹配模块404，用于将各候选对象的特征与第一特征进行匹配，得到第一匹配结果，并将各候选对象的特征与第二特征进行匹配，得到第二匹配结果；根据同一候选对象对应的第一匹配结果和第二匹配结果，确定各候选对象与目标对象之间的最终匹配结果。
对象识别模块406，用于按照最终匹配结果，从当前帧中的各候选对象中，识别目标对象。
如图5所示，在一个实施例中，当前帧中包括多个对象，装置400还包括：
候选对象确定模块403，用于获取预先设置的至少一个对象检测模板；分别将当前帧中包括的各对象与对象检测模板进行匹配；确定匹配成功的对象为候选对象。
在一个实施例中，目标对象属于行人对象；对象检测模板包括人体框架模板。候选对象确定模块403还用于分别将当前帧中包括的各对象与人体框架模板进行匹配；根据匹配结果，识别当前帧中包括的行人对象，作为候选对象。
在一个实施例中，候选对象确定模块403还用于针对当前帧中包括的每个对象，对对象进行边缘识别，得到对象的外部轮廓特征；将对象的外部轮廓特征与人体框架模板进行匹配；当匹配成功时，则判定对象为行人对象。
在一个实施例中，目标对象属于行人对象；当前帧中包括多个对象。候选对象确定模块403还用于针对当前帧中的每个对象，从当前帧中截取包括对象的对象区域图；对象占据对象区域图中的主要区域；分别将各个对象区域图输入预先训练的人体识别模型中，输出针对各对象区域图中包括的对象的识别结果；当识别结果表征对象为人体时，则判定对象为候选对象。
在一个实施例中，第一匹配结果包括对象与目标对象之间的第一匹配度；第二匹配结果包括对象与目标对象之间的第二匹配度。特征匹配模块404还用于根据对应于同一对象的第一匹配度和第二匹配度，确定各对象与目标对象之间的最终匹配度。对象识别模块406还用于从各对象所对应的最终匹配度中选取最小的最终匹配度；从当前帧的各对象中，筛选最小的最终匹配度所对应的对象，得到目标对象。
关于对象追踪装置的具体限定可以参见上文中对于对象追踪方法的限定，在此不再赘述。上述对象追踪装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是图1中的服务器120，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质可存储操作系统和计算机程序。该计算机程序被执行时，可使得处理器执行一种对象追踪方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该内存储器中可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行一种对象追踪方法。计算机设备的网络接口用于进行网络通信。
图7为另一个实施例中计算机设备的内部框图。该计算机设备可以为终端，该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种对象追踪方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图6和图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述对象追踪方法的步骤。此处对象追踪方法的步骤可以是上述各个实施例的对象追踪方法中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述对象追踪方法的步骤。此处对象追踪方法的步骤可以是上述各个实施例的对象追踪方法中的步骤。
需要说明的是，本申请各实施例中的“第一”和“第二”等仅用作区分，而并不用于大小、先后、从属等方面的限定。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种对象追踪方法，所述方法包括：
从多帧图像中选取当前帧；
对当前帧的前一帧中的目标对象进行特征提取，得到目标对象的第一特征；
从所述多帧图像中的位于所述当前帧之前的各帧中，分别提取所述目标对象的特征，得到所述目标对象的第二特征；
提取所述当前帧中包括的各候选对象的特征；
将各候选对象的特征与所述第一特征进行匹配，得到第一匹配结果，并将各候选对象的特征与所述第二特征进行匹配，得到第二匹配结果；
根据同一候选对象对应的所述第一匹配结果和第二匹配结果，确定各候选对象与所述目标对象之间的最终匹配结果；
按照最终匹配结果，从所述当前帧中的各候选对象中，识别目标对象。
2.根据权利要求1所述的方法，其特征在于，所述当前帧中包括多个对象，在所述提取所述当前帧中包括的各候选对象的特征之前，所述方法还包括：
获取预先设置的至少一个对象检测模板；
分别将当前帧中包括的各对象与所述对象检测模板进行匹配；
确定匹配成功的对象为候选对象。
3.根据权利要求2所述的方法，其特征在于，所述目标对象属于行人对象；所述对象检测模板包括人体框架模板；
所述分别将当前帧中包括的各对象与所述对象检测模板进行匹配包括：
分别将当前帧中包括的各对象与所述人体框架模板进行匹配；
所述确定匹配成功的对象为候选对象包括：
根据匹配结果，识别所述当前帧中包括的行人对象，作为候选对象。
4.根据权利要求3所述的方法，其特征在于，所述分别将当前帧中包括的各对象与所述人体框架模板进行匹配包括：
针对当前帧中包括的每个对象，对所述对象进行边缘识别，得到所述对象的外部轮廓特征；
将所述对象的外部轮廓特征与所述人体框架模板进行匹配；
当匹配成功时，则判定所述对象为行人对象。
5.根据权利要求1所述的方法，其特征在于，所述目标对象属于行人对象；所述当前帧中包括多个对象；
在所述提取所述当前帧中包括的各候选对象的特征之前，所述方法还包括：
针对所述当前帧中的每个对象，从所述当前帧中截取包括所述对象的对象区域图；所述对象占据所述对象区域图中的主要区域；
分别将各个对象区域图输入预先训练的人体识别模型中，输出针对各对象区域图中包括的对象的识别结果；
当所述识别结果表征所述对象为人体时，则判定所述对象为候选对象。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述第一匹配结果包括对象与目标对象之间的第一匹配度；所述第二匹配结果包括对象与目标对象之间的第二匹配度；
所述根据同一对象对应的所述第一匹配结果和第二匹配结果，确定各对象与所述目标对象之间的最终匹配结果包括：
根据对应于同一对象的第一匹配度和第二匹配度，确定各对象与所述目标对象之间的最终匹配度；
所述按照最终匹配结果，从所述当前帧中的各对象中，识别目标对象包括：
从各对象所对应的最终匹配度中选取最小的最终匹配度；
从所述当前帧的各对象中，筛选所述最小的最终匹配度所对应的对象，得到目标对象。
7.一种对象追踪装置，其特征在于，所述装置包括：
特征提取模块，用于从多帧图像中选取当前帧；对当前帧的前一帧中的目标对象进行特征提取，得到目标对象的第一特征；从所述多帧图像中的位于所述当前帧之前的各帧中，分别提取所述目标对象的特征，得到所述目标对象的第二特征；提取所述当前帧中包括的各候选对象的特征；
特征匹配模块，用于将各候选对象的特征与所述第一特征进行匹配，得到第一匹配结果，并将各候选对象的特征与所述第二特征进行匹配，得到第二匹配结果；根据同一候选对象对应的所述第一匹配结果和第二匹配结果，确定各候选对象与所述目标对象之间的最终匹配结果；
对象识别模块，用于按照最终匹配结果，从所述当前帧中的各候选对象中，识别目标对象。
8.根据权利要求7所述的装置，其特征在于，所述当前帧中包括多个对象，所述装置还包括：
候选对象确定模块，用于获取预先设置的至少一个对象检测模板；分别将当前帧中包括的各对象与所述对象检测模板进行匹配；确定匹配成功的对象为候选对象。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN201910769521.6A 2019-08-20 2019-08-20 对象追踪方法、装置、计算机设备和存储介质 Active CN110660078B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910769521.6A CN110660078B (zh) 2019-08-20 2019-08-20 对象追踪方法、装置、计算机设备和存储介质
PCT/CN2020/099170 WO2021031704A1 (zh) 2019-08-20 2020-06-30 对象追踪方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910769521.6A CN110660078B (zh) 2019-08-20 2019-08-20 对象追踪方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN110660078A true CN110660078A (zh) 2020-01-07
CN110660078B CN110660078B (zh) 2024-04-05

Family

ID=69037488

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910769521.6A Active CN110660078B (zh) 2019-08-20 2019-08-20 对象追踪方法、装置、计算机设备和存储介质

Country Status (2)

Country Link
CN (1) CN110660078B (zh)
WO (1) WO2021031704A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021031704A1 (zh) * 2019-08-20 2021-02-25 平安科技（深圳）有限公司 对象追踪方法、装置、计算机设备和存储介质
CN112578351A (zh) * 2020-02-28 2021-03-30 加特兰微电子科技(上海)有限公司 目标匹配方法、集成电路、无线电器件及设备
WO2021147437A1 (zh) * 2020-09-22 2021-07-29 平安科技（深圳）有限公司 证卡边缘检测方法、设备及存储介质
CN116055867A (zh) * 2022-05-30 2023-05-02 荣耀终端有限公司 一种拍摄方法和电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070122001A1 (en) * 2005-11-30 2007-05-31 Microsoft Corporation Real-time Bayesian 3D pose tracking
CN103049751A (zh) * 2013-01-24 2013-04-17 苏州大学 一种改进的加权区域匹配高空视频行人识别方法
KR101371275B1 (ko) * 2012-11-05 2014-03-26 재단법인대구경북과학기술원 스테레오 영상 기반 다중 객체 추적 방법 및 이의 프로그램을 기록한 기록매체
US20160019683A1 (en) * 2014-07-17 2016-01-21 Ricoh Company, Ltd. Object detection method and device
CN105678808A (zh) * 2016-01-08 2016-06-15 浙江宇视科技有限公司 运动目标跟踪方法及装置
CN109816690A (zh) * 2018-12-25 2019-05-28 北京飞搜科技有限公司 基于深度特征的多目标追踪方法及系统
CN110059521A (zh) * 2018-01-18 2019-07-26 浙江宇视科技有限公司 目标跟踪方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6526156B1 (en) * 1997-01-10 2003-02-25 Xerox Corporation Apparatus and method for identifying and tracking objects with view-based representations
CN108470353A (zh) * 2018-03-01 2018-08-31 腾讯科技（深圳）有限公司 一种目标跟踪方法、装置和存储介质
CN110660078B (zh) * 2019-08-20 2024-04-05 平安科技（深圳）有限公司 对象追踪方法、装置、计算机设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070122001A1 (en) * 2005-11-30 2007-05-31 Microsoft Corporation Real-time Bayesian 3D pose tracking
KR101371275B1 (ko) * 2012-11-05 2014-03-26 재단법인대구경북과학기술원 스테레오 영상 기반 다중 객체 추적 방법 및 이의 프로그램을 기록한 기록매체
CN103049751A (zh) * 2013-01-24 2013-04-17 苏州大学 一种改进的加权区域匹配高空视频行人识别方法
US20160019683A1 (en) * 2014-07-17 2016-01-21 Ricoh Company, Ltd. Object detection method and device
CN105678808A (zh) * 2016-01-08 2016-06-15 浙江宇视科技有限公司 运动目标跟踪方法及装置
CN110059521A (zh) * 2018-01-18 2019-07-26 浙江宇视科技有限公司 目标跟踪方法及装置
CN109816690A (zh) * 2018-12-25 2019-05-28 北京飞搜科技有限公司 基于深度特征的多目标追踪方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021031704A1 (zh) * 2019-08-20 2021-02-25 平安科技（深圳）有限公司 对象追踪方法、装置、计算机设备和存储介质
CN112578351A (zh) * 2020-02-28 2021-03-30 加特兰微电子科技(上海)有限公司 目标匹配方法、集成电路、无线电器件及设备
WO2021147437A1 (zh) * 2020-09-22 2021-07-29 平安科技（深圳）有限公司 证卡边缘检测方法、设备及存储介质
CN116055867A (zh) * 2022-05-30 2023-05-02 荣耀终端有限公司 一种拍摄方法和电子设备
CN116055867B (zh) * 2022-05-30 2023-11-24 荣耀终端有限公司 一种拍摄方法和电子设备

Also Published As

Publication number Publication date
WO2021031704A1 (zh) 2021-02-25
CN110660078B (zh) 2024-04-05

Similar Documents

Publication Publication Date Title
CN110660078B (zh) 对象追踪方法、装置、计算机设备和存储介质
CN109325964B (zh) 一种人脸追踪方法、装置及终端
CN111950329A (zh) 目标检测及模型训练方法、装置、计算机设备和存储介质
CN110489951B (zh) 风险识别的方法、装置、计算机设备和存储介质
CN110543815A (zh) 人脸识别模型的训练方法、人脸识别方法、装置、设备及存储介质
CN111191533B (zh) 行人重识别的处理方法、装置、计算机设备和存储介质
CN110706261A (zh) 车辆违章检测方法、装置、计算机设备和存储介质
US11321945B2 (en) Video blocking region selection method and apparatus, electronic device, and system
CN109426785B (zh) 一种人体目标身份识别方法及装置
CN112001932B (zh) 人脸识别方法、装置、计算机设备和存储介质
CN111275060B (zh) 识别模型更新处理方法、装置、电子设备及存储介质
CN111860147A (zh) 行人重识别模型优化处理方法、装置和计算机设备
CN110263847B (zh) 轨迹获取方法、装置、计算机设备及存储介质
CN110046577B (zh) 行人属性预测方法、装置、计算机设备和存储介质
CN111104841A (zh) 暴力行为检测方法及系统
CN112183307A (zh) 文本识别方法、计算机设备和存储介质
CN115690672A (zh) 异常图像识别方法、装置、计算机设备和存储介质
CN111582155A (zh) 活体检测方法、装置、计算机设备和存储介质
CN113128448B (zh) 基于肢体识别的视频匹配方法、装置、设备及存储介质
CN116912881A (zh) 一种动物物种识别方法、计算机设备以及识别系统
CN110889432A (zh) 特征点匹配方法、装置、计算机设备和存储介质
CN115424001A (zh) 场景相似度估计方法、装置、计算机设备和存储介质
CN115424267A (zh) 基于高斯分布的旋转目标检测方法和装置
CN111275741A (zh) 目标跟踪方法、装置、计算机设备和存储介质
CN114756671A (zh) 文章推荐方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant