CN112949538B - 一种目标关联方法、装置、电子设备及机器可读存储介质 - Google Patents

一种目标关联方法、装置、电子设备及机器可读存储介质 Download PDF

Info

Publication number
CN112949538B
CN112949538B CN202110279956.XA CN202110279956A CN112949538B CN 112949538 B CN112949538 B CN 112949538B CN 202110279956 A CN202110279956 A CN 202110279956A CN 112949538 B CN112949538 B CN 112949538B
Authority
CN
China
Prior art keywords
target
association
information
targets
video frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110279956.XA
Other languages
English (en)
Other versions
CN112949538A (zh
Inventor
王辉
陆海先
车军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202110279956.XA priority Critical patent/CN112949538B/zh
Publication of CN112949538A publication Critical patent/CN112949538A/zh
Application granted granted Critical
Publication of CN112949538B publication Critical patent/CN112949538B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种目标关联方法、装置、电子设备及机器可读存储介质，通过对视频的每一视频帧中任两个目标的关联关系进行识别，如果在多个视频帧中识别出第一目标和第二目标之间存在关联关系，说明第一目标和第二目标的关联程度很高，可以被关联为一个目标，则对第一目标和第二目标进行关联合并，所得到的目标关联结果中，两个目标的关联程度很高，避免了将实际无关联关系的两个目标关联合并为一个目标，从而提高了目标关联结果的准确度。

Description

一种目标关联方法、装置、电子设备及机器可读存储介质
技术领域
本发明涉及计算机视觉技术领域，特别是涉及一种目标关联方法、装置、电子设备及机器可读存储介质。
背景技术
随着智能监控技术的发展，监控设备的使用越来越普及，例如将摄像头设置在交通路口用来对交通情况进行监控、在电梯中设置监视器用来监控电梯搭乘情况、在景区中假设摄像头用来监控景区人流情况等。通过对各监控设备采集的监控图像进行图像分析，从而为人们提供更加安全、便利的生活环境。
在对监控图像进行图像分析时，一般采用目标检测算法分别提取监控图像中各待检测目标的目标检测结果，然后基于各待检测目标的目标检测结果，进一步的进行报警、跟踪、统计等处理。在大多数场景中，场景环境非常复杂，会出现大量的行人、自行车、机动车等目标，按照上述方法，会检测到大量零散的目标检测结果，而在实际场景中，多个目标可以关联起来作为一个目标，例如，一个人骑着自行车，可以将该人和该自行车关联起来作为一个目标，这样可以大大减少检测到的目标数量，后续在进行跟踪、统计等处理时能够大大降低计算量。
在当前的图像分析方法中，预设有关联规则，在从监控图像中检测出多个目标的检测结果后，按照预设的关联规则，对多个目标的检测结果进行关联，得到目标关联检测结果。然而，在实际场景下，很容易发生遮挡、目标距离过近的情况，例如，一个人骑着自行车，在监控设备采集监控图像的同时，一辆机动车恰巧从该人身旁经过，并遮挡住了自行车，如果按照上述目标关联的方案，很容易将该人和机动车关联为一个目标，这种目标关联结果是明显错误的。
发明内容
本发明实施例的目的在于提供一种目标关联方法、装置、电子设备及机器可读存储介质，以提高目标关联结果的准确度。具体技术方案如下：
第一方面，本发明实施例提供了一种目标关联方法，该方法包括：
针对所采集视频中的每一视频帧，提取该视频帧中各目标的特征信息，并根据各目标的特征信息，识别任两个目标之间是否存在关联关系；
若在多个视频帧中识别出第一目标和第二目标之间存在关联关系，则将第一目标和第二目标进行关联合并，得到第一目标和第二目标的目标关联结果。
可选的，根据各目标的特征信息，识别任两个目标之间是否存在关联关系的步骤，包括：
针对待识别的两个目标，根据两个目标的特征信息，计算两个目标之间的特征相似性；
根据特征相似性，计算两个目标之间的相似性矩阵；
对相似性矩阵进行优化求解，得到两个目标之间是否存在关联关系的识别结果。
可选的，特征信息包括目标位置信息、目标分割信息和目标关键点信息中的至少一个；
针对所采集视频中的每一视频帧，提取该视频帧中各目标的特征信息的步骤，包括如下步骤中的至少一个：
针对所采集视频中的每一视频帧，将该视频帧输入预先训练的目标检测模型，得到该视频帧中各目标的目标位置信息；
针对所采集视频中的每一视频帧，将该视频帧输入预先训练的目标分割模型，得到该视频帧中各目标的目标分割信息；
针对所采集视频中的每一视频帧，将该视频帧输入预先训练的目标关键点识别模型，得到该视频帧中各目标的目标关键点信息；
在特征信息包括目标位置信息的情况下，针对待识别的两个目标，根据两个目标的特征信息，计算两个目标之间的特征相似性的步骤，包括：
针对待识别的两个目标，根据两个目标的目标位置信息，计算两个目标之间的欧式距离；
在特征信息包括目标分割信息的情况下，针对待识别的两个目标，根据两个目标的特征信息，计算两个目标之间的特征相似性的步骤，包括：
根据两个目标的目标分割信息，计算两个目标之间的分割信息相似性；
在特征信息包括目标关键点信息的情况下，针对待识别的两个目标，根据两个目标的特征信息，计算两个目标之间的特征相似性的步骤，包括：
根据两个目标的目标关键点信息，计算两个目标之间的关键点相似性。
可选的，在若在多个视频帧中识别出第一目标和第二目标之间存在关联关系，则将第一目标和第二目标进行关联合并，得到第一目标和第二目标的目标关联结果的步骤之前，该方法还包括：
若在当前视频帧中识别出第一目标和第二目标存在关联关系，则读取历史关联信息，并根据历史关联信息，判断在历史视频帧中第一目标和第二目标是否存在关联关系；
若是，则判断在历史视频帧中第一目标和第二目标存在关联关系的视频帧帧数是否达到预设阈值；
若在多个视频帧中识别出第一目标和第二目标之间存在关联关系，则将第一目标和第二目标进行关联合并，得到第一目标和第二目标的目标关联结果的步骤，包括：
若视频帧帧数达到预设阈值，则将第一目标和第二目标进行关联合并，得到第一目标和第二目标的目标关联结果。
可选的，在根据历史关联信息，判断在历史视频帧中第一目标和第二目标是否存在关联关系的步骤之后，该方法还包括：
若否，则设置第一目标和第二目标之间的初始关联置信度为默认值；
输出携带初始关联置信度的反馈消息。
可选的，在判断在历史视频帧中第一目标和第二目标存在关联关系的视频帧帧数是否达到预设阈值的步骤之后，该方法还包括：
若视频帧帧数未达到预设阈值，则基于视频帧帧数，设置第一目标和第二目标之间的当前关联置信度，其中，当前关联置信度的取值与视频帧帧数成正比；
输出携带当前关联置信度的反馈消息。
可选的，历史关联信息为：目标缓存队列，其中，目标缓存队列用于记录历史视频帧中与某一目标存在关联关系的其他目标的标识信息；
若在当前视频帧中识别出第一目标和第二目标存在关联关系，则读取历史关联信息，并根据历史关联信息，判断在历史视频帧中第一目标和第二目标是否存在关联关系的步骤，包括：
若在当前视频帧中识别出第一目标和第二目标存在关联关系，则读取第一目标的目标缓存队列；
若第一目标的目标缓存队列为空，则确定在历史视频帧中第一目标和第二目标不存在关联关系；
若第一目标的目标缓存队列不为空，且第一目标的目标缓存队列中记录有第二目标的标识信息，则确定在历史视频帧中第一目标和第二目标存在关联关系。
可选的，若在多个视频帧中识别出第一目标和第二目标之间存在关联关系，则将第一目标和第二目标进行关联合并，得到第一目标和第二目标的目标关联结果的步骤，包括：
若在连续多个视频帧中都识别出第一目标和第二目标之间存在关联关系，且连续多个视频帧的帧数超过预设阈值，则将第一目标和第二目标进行关联合并，得到第一目标和第二目标的目标关联结果。
可选的，该方法还包括：
若在连续的历史视频帧中第一目标和第二目标之间一直存在关联关系，且在当前视频帧中识别出第一目标和第三目标之间存在关联关系，则获取第一目标、第二目标和第三目标的轨迹信息，并读取第一目标和第二目标之间的历史关联信息；
根据第一目标和第三目标的轨迹信息，确定第一目标和第三目标的第一关联置信度；
根据第一目标和第二目标的轨迹信息，以及历史关联信息，确定第一目标和第二目标的第二关联置信度；
确定第一关联置信度和第二关联置信度中的较大值；
输出较大值对应的关联关系的关联结果，其中，关联结果中携带较大值。
第二方面，本发明实施例提供了一种目标关联装置，该装置包括：
识别模块，用于针对所采集视频中的每一视频帧，提取该视频帧中各目标的特征信息，并根据各目标的特征信息，识别任两个目标之间是否存在关联关系；
关联合并模块，用于若在多个视频帧中识别出第一目标和第二目标之间存在关联关系，则将第一目标和第二目标进行关联合并，得到第一目标和第二目标的目标关联结果。
可选的，识别模块，具体用于针对待识别的两个目标，根据两个目标的特征信息，计算两个目标之间的特征相似性；根据特征相似性，计算两个目标之间的相似性矩阵；对相似性矩阵进行优化求解，得到两个目标之间是否存在关联关系的识别结果。
可选的，特征信息包括目标位置信息、目标分割信息和目标关键点信息中的至少一个；
在特征信息包括目标位置信息的情况下，识别模块，具体用于针对所采集视频中的每一视频帧，将该视频帧输入预先训练的目标检测模型，得到该视频帧中各目标的目标位置信息；针对待识别的两个目标，根据两个目标的目标位置信息，计算两个目标之间的欧式距离；
在特征信息包括目标分割信息的情况下，识别模块，具体用于针对所采集视频中的每一视频帧，将该视频帧输入预先训练的目标分割模型，得到该视频帧中各目标的目标分割信息；根据两个目标的目标分割信息，计算两个目标之间的分割信息相似性；
在特征信息包括目标关键点信息的情况下，识别模块，具体用于针对所采集视频中的每一视频帧，将该视频帧输入预先训练的目标关键点识别模型，得到该视频帧中各目标的目标关键点信息；根据两个目标的目标关键点信息，计算两个目标之间的关键点相似性。
可选的，该装置还包括：
判断模块，用于若在当前视频帧中识别出第一目标和第二目标存在关联关系，则读取历史关联信息，并根据历史关联信息，判断在历史视频帧中第一目标和第二目标是否存在关联关系；若是，则判断在历史视频帧中第一目标和第二目标存在关联关系的视频帧帧数是否达到预设阈值；
关联合并模块，具体用于若视频帧帧数达到预设阈值，则将第一目标和第二目标进行关联合并，得到第一目标和第二目标的目标关联结果。
可选的，该装置还包括：
第一设置模块，若判断模块判断出在历史视频帧中第一目标和第二目标不存在关联关系，则设置第一目标和第二目标之间的初始关联置信度为默认值；
第一输出模块，用于输出携带初始关联置信度的反馈消息。
可选的，该装置还包括：
第二设置模块，若判断模块的判断结果为视频帧帧数未达到预设阈值，则基于视频帧帧数，设置第一目标和第二目标之间的当前关联置信度，其中，当前关联置信度的取值与视频帧帧数成正比；
第二输出模块，用于输出携带当前关联置信度的反馈消息。
可选的，历史关联信息为：目标缓存队列，其中，目标缓存队列用于记录历史视频帧中与某一目标存在关联关系的其他目标的标识信息；
判断模块，具体用于若在当前视频帧中识别出第一目标和第二目标存在关联关系，则读取第一目标的目标缓存队列；若第一目标的目标缓存队列为空，则确定在历史视频帧中第一目标和第二目标不存在关联关系；若第一目标的目标缓存队列不为空，且第一目标的目标缓存队列中记录有第二目标的标识信息，则确定在历史视频帧中第一目标和第二目标存在关联关系。
可选的，关联合并模块，具体用于若在连续多个视频帧中都识别出第一目标和第二目标之间存在关联关系，且连续多个视频帧的帧数超过预设阈值，则将第一目标和第二目标进行关联合并，得到第一目标和第二目标的目标关联结果。
可选的，该装置还包括：
获取模块，用于若在连续的历史视频帧中第一目标和第二目标之间一直存在关联关系，且在当前视频帧中识别出第一目标和第三目标之间存在关联关系，则获取第一目标、第二目标和第三目标的轨迹信息，并读取第一目标和第二目标之间的历史关联信息；
确定模块，用于根据第一目标和第三目标的轨迹信息，确定第一目标和第三目标的第一关联置信度；根据第一目标和第二目标的轨迹信息，以及历史关联信息，确定第一目标和第二目标的第二关联置信度；确定第一关联置信度和第二关联置信度中的较大值；
输出模块，用于输出较大值对应的关联关系的关联结果，其中，关联结果中携带较大值。
第三方面，本发明实施例提供了一种电子设备，包括处理器和存储器；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的计算机程序时，实现本发明实施例第一方面所提供的方法。
第四方面，本发明实施例提供了一种机器可读存储介质，机器可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现本发明实施例第一方面所提供的方法。
第五方面，本发明实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本发明实施例第一方面所提供的方法。
本发明实施例提供的一种目标关联方法、装置、电子设备及机器可读存储介质，针对所采集视频中的每一视频帧，提取该视频帧中各目标的特征信息，并根据各目标的特征信息，识别任两个目标之间是否存在关联关系，若在多个视频帧中识别出第一目标和第二目标之间存在关联关系，则将第一目标和第二目标进行关联合并，得到第一目标和第二目标的目标关联结果。通过对视频的每一视频帧中任两个目标的关联关系进行识别，如果在多个视频帧中识别出第一目标和第二目标之间存在关联关系，说明第一目标和第二目标的关联程度很高，可以被关联为一个目标，则对第一目标和第二目标进行关联合并，所得到的目标关联结果中，两个目标的关联程度很高，避免了将实际无关联关系的两个目标关联合并为一个目标，从而提高了目标关联结果的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本发明一实施例的目标关联方法的流程示意图；
图2为本发明另一实施例的目标关联方法的流程示意图；
图3为本发明又一实施例的目标关联方法的流程示意图；
图4为本发明实施例的人体分割模型输出特征图的示意图；
图5为本发明实施例的人体关键点识别模型输出特征图的示意图；
图6为本发明实施例的目标关联装置的结构示意图；
图7为本发明是实力的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了提高目标关联结果的准确度，本发明实施例提供了一种目标关联方法、装置、电子设备及机器可读存储介质。下面，首先对本发明实施例所提供的目标关联方法进行介绍。
本发明实施例所提供的目标关联方法的执行主体可以为具有目标识别功能的电子设备(例如图像处理器、相机、后台服务器等)。实现本发明实施例所提供的目标关联方法的方式可以为设置于上述执行主体中的软件、硬件电路和逻辑电路中的至少一种。
如图1所示，本发明实施例所提供的一种目标关联方法，可以包括如下步骤。
S101，针对所采集视频中的每一视频帧，提取该视频帧中各目标的特征信息，并根据各目标的特征信息，识别任两个目标之间是否存在关联关系。
S102，若在多个视频帧中识别出第一目标和第二目标之间存在关联关系，则将第一目标和第二目标进行关联合并，得到第一目标和第二目标的目标关联结果。
应用本发明实施例，针对所采集视频中的每一视频帧，提取该视频帧中各目标的特征信息，并根据各目标的特征信息，识别任两个目标之间是否存在关联关系，若在多个视频帧中识别出第一目标和第二目标之间存在关联关系，则将第一目标和第二目标进行关联合并，得到第一目标和第二目标的目标关联结果。通过对视频的每一视频帧中任两个目标的关联关系进行识别，如果在多个视频帧中识别出第一目标和第二目标之间存在关联关系，说明第一目标和第二目标的关联程度很高，可以被关联为一个目标，则对第一目标和第二目标进行关联合并，所得到的目标关联结果中，两个目标的关联程度很高，避免了将实际无关联关系的两个目标关联合并为一个目标，从而提高了目标关联结果的准确度。
本发明实施例中，目标不仅仅指行人、自行车、三轮车、机动车等人和物，还可以是人脸、头肩等人体部件。在采集到视频后，从该视频中一帧一帧地提取出各目标的特征信息，特征信息是视频帧中目标相关的信息，例如目标位置信息、目标分割信息、目标关键点信息等，具体提取各目标的特征信息的方式可以是，对视频帧进行分析，识别出视频帧中的各目标，在分析过程中获得各目标的特征信息。
在本发明实施例的一种实现方式中，提取特征信息的方式具体可以为：将视频帧输入预先训练得到的神经网络模型，得到该视频帧中各目标的特征信息。其中，神经网络模型是基于图像样本训练得到的，图像样本为标注有目标的样本，通过将图像样本输入神经网络模型，得到目标识别的输出结果，将目标识别的输出结果与图像样本标注的目标进行比对，得到损失值，如果损失值大于预设阈值，则调整神经网络模型的网络参数，并返回执行将图像样本输入神经网络模型，得到目标识别的输出结果的步骤，直至得到的损失值小于或等于预设阈值时停止训练。所训练得到的神经网络模型为一个端到端的模型，输入一个视频帧，即可直接得到该视频帧中各目标的特征信息。
由于各目标的特征信息可以直观地体现出各目标的位置、属性、轮廓等，则在提取出各目标的特征信息后，可以根据各目标的特征信息，判断两个目标相距是否很近、两个目标是否属性相同或相近、两个目标的轮廓是否有大面积重合等等，如果两个目标相距很近、两个目标属性相同或很相近，或者两个目标轮廓有大面积重合，则可以确定这两个目标之间存在关联关系。
在本发明实施例的一种实现方式中，识别任两个目标之间是否存在关联关系的方式，具体可以为：针对待识别的两个目标，根据这两个目标的特征信息，计算这两个目标之间的特征相似性；根据特征相似性，计算这两个目标之间的相似性矩阵；对相似性矩阵进行优化求解，得到这两个目标之间是否存在关联关系的识别结果。
针对任意两个目标，根据这两个目标与位置、属性、轮廓等相关的特征信息，通过一定的计算策略，能够计算出这两个目标之间的特征相似性，两个目标的距离越近，特征相似性越高，两个目标的属性越相近，特征相似性越高，两个目标轮廓的重合面积越大，特征相似性越高。由于特征信息的种类较多，根据多个种类的特征信息，在计算出特征相似性后，通过加权、乘积或者深度网络学习的计算方法，可以得到这两个目标之间的相似性矩阵。其中，加权是指给一对目标的特征信息分别赋予不同的权重，将权重与相应的特征信息相乘，再将乘积结果进行相加；乘积就是将一对目标的特征信息相乘；深度网络学习就是将一对目标的特征信息输入一个卷积网络，经过卷积网络多个卷积层的运算，由最后一层全连接层输出这一对目标的相似性，多个特征信息就组成一个相似性矩阵。在得到相似性矩阵之后，对该相似性矩阵进行优化求解，具体的优化求解可以采用二份值的匈牙利匹配方法或者与预设的相似性阈值进行比较的方法，得到两个目标之间是否存在关联关系的识别结果。一般情况下，相似性以二份值的形式呈现，如果相似性为1则说明两个目标之间存在关联关系，如果相似性为0则说明两个目标之间不存在关联关系。
在本发明实施例的一种实现方式中，特征信息可以包括目标位置信息、目标分割信息和目标关键点信息中的至少一个。相应的，针对所采集视频中的每一视频帧，提取该视频帧中各目标的特征信息的步骤，具体可以包括如下三种中的至少一种：第一种，针对所采集视频中的每一视频帧，将该视频帧输入预先训练的目标检测模型，得到该视频帧中各目标的目标位置信息；第二种，针对所采集视频中的每一视频帧，将该视频帧输入预先训练的目标分割模型，得到该视频帧中各目标的目标分割信息；第三种，针对所采集视频中的每一视频帧，将该视频帧输入预先训练的目标关键点识别模型，得到该视频帧中各目标的目标关键点信息。
如上述，特征信息可以包括目标位置信息、目标分割信息和目标关键点信息中的至少一个，具体的，提取目标位置信息的方式可以是将视频帧输入目标检测模型，目标检测模型是一种端到端的神经网络模型，输入视频帧至目标检测模型，可以直接得到目标检测结果，该目标检测结果中包括各目标的目标位置信息，其中，目标检测模型是基于图像样本训练得到的，图像样本标注有目标，通过将图像样本输入网络模型，经过反向训练的过程训练出目标检测模型，具体的反向训练过程与传统的神经网络模型训练过程相同，这里不再赘述。提取目标分割信息的方式可以是将视频帧输入目标分割模型，目标分割模型是一种端到端的神经网络模型，输入视频帧至目标检测模型，可以直接得到目标分割结果，刻画目标的轮廓，其中，目标分割模型也是经过反向训练得到的，这里不再赘述。提取目标关键点信息的方式可以是将视频帧输入目标关键点识别模型，目标关键点识别模型是一种端到端的神经网络模型，输入视频帧至目标关键点识别模型，可以直接得到目标关键点信息，其中，目标关键点识别模型也是经过反向训练得到的，这里不再赘述。
在特征信息包括目标位置信息的情况下，针对待识别的两个目标，根据这两个目标的特征信息，计算这两个目标之间的特征相似性的步骤，具体可以为：针对待识别的两个目标，根据这两个目标的目标位置信息，计算这两个目标之间的欧式距离。
在特征信息包括目标分割信息的情况下，针对待识别的两个目标，根据这两个目标的特征信息，计算这两个目标之间的特征相似性的步骤，具体可以为：根据这两个目标的目标分割信息，计算这两个目标之间的分割信息相似性。以人脸和人体之间的分割信息相似性为例，具体可以采用如下计算公式进行计算：
其中，X为人脸和人体之间的分割信息相似性，T为人脸框包含的人脸分割像素总数，S为人脸框的面积。通过该公式可以看出，人脸框包含的某个人体的分割信息越多，则该人脸属于该人体的概率就越大。
在特征信息包括目标关键点信息的情况下，针对待识别的两个目标，根据这两个目标的特征信息，计算这两个目标之间的特征相似性的步骤，具体可以为：根据这两个目标的目标关键点信息，计算这两个目标之间的关键点相似性。以人脸和人体之间的关键点信息相似性为例，具体可以采用如下计算公式进行计算：
其中，Y为人脸和人体之间的关键点信息相似，A为人脸框包含的人脸部位的关键点置信度之和，B为人脸部位的关键点置信度总和。通过该公式可以看出，人脸框包含的某个人体在人脸部位的关键点置信度之和越高，则该人脸属于该人体的概率就越大。
在本发明实施例的一种实现方式中，S102具体可以为：若在连续多个视频帧中都识别出第一目标和第二目标之间存在关联关系，且连续多个视频帧的帧数超过预设阈值，则将第一目标和第二目标进行关联合并，得到第一目标和第二目标的目标关联结果。
如果是断断续续多个视频帧中第一目标和第二目标之间存在关联关系，也有可能是因为拍摄、目标晃动等问题导致误识别，为了进一步提高目标关联的准确度，只有在连续多个视频帧中都识别出第一目标和第二目标之间存在关联关系，且连续多个视频帧的帧数超过预设阈值，才说明第一目标和第二目标之间存在关联的可靠性够高，此时才将第一目标和第二目标进行关联合并，得到第一目标和第二目标的目标关联结果。
在本发明实施例的一种实现方式中，该方法还可以包括如下步骤：
第一步，若在连续的历史视频帧中第一目标和第二目标之间一直存在关联关系，且在当前视频帧中识别出第一目标和第三目标之间存在关联关系，则获取第一目标、第二目标和第三目标的轨迹信息，并读取第一目标和第二目标之间的历史关联信息。
第二步，根据第一目标和第三目标的轨迹信息，确定第一目标和第三目标的第一关联置信度。
第三步，根据第一目标和第二目标的轨迹信息，以及历史关联信息，确定第一目标和第二目标的第二关联置信度。
第四步，确定第一关联置信度和第二关联置信度中的较大值。
第五步，输出较大值对应的关联关系的关联结果，其中，关联结果中携带较大值。
如果第一目标和第二目标在历史视频帧中一直存在关联关系，而突然在某一视频帧中识别出第一目标和第三目标之间存在关联关系，很有可能所识别出的第一目标和第三目标之间的关联关系并不可靠，但是不排除之前识别第一目标和第二目标存在关联关系的错误，可以根据第一目标和第三目标的轨迹信息，确定第一目标和第三目标的第一关联置信度，例如，如果根据第一目标和第三目标的轨迹信息，确定第一目标和第三目标为同向运动、运动速度一致，可以设置一个较大的第一关联置信度，如果根据第一目标和第三目标的轨迹信息，确定第一目标和第三目标为反向运动或者运动速度不一致，可以设置一个较小的第一关联置信度。再根据第一目标和第二目标的轨迹信息，以及历史关联信息，确定第一目标和第二目标的第二关联置信度，例如，如果根据第一目标和第二目标的轨迹信息，确定第一目标和第二目标为同向运动、运动速度一致，且根据历史关联信息确定第一目标和第二目标的关联时间较长，可以设置一个较大的第二关联置信度，如果根据第一目标和第二目标的轨迹信息，确定第一目标和第二目标为反向运动或者运动速度不一致，且根据历史关联信息确定第一目标和第二目标的关联时间较短，可以设置一个较小的第二关联置信度。然后将第一关联置信度与第二关联置信度进行比较，确定二者中的较大值，输出较大值对应的关联关系的关联结果。
经过上述过程，在出现针对第一目标的新关联关系的时候，可以根据轨迹信息、历史关联信息对第一目标的关联关系进行修正，并对外反馈修正后的结果，由关联置信度来表征修正后的关联结果是否可靠。
基于图1所示实施例，本发明实施例提供了另一种目标关联方法，如图2所示，可以包括如下步骤。
S201，针对所采集视频中的每一视频帧，提取该视频帧中各目标的特征信息，并根据各目标的特征信息，识别任两个目标之间是否存在关联关系。
S202，若在当前视频帧中识别出第一目标和第二目标存在关联关系，则读取历史关联信息，并根据历史关联信息，判断在历史视频帧中第一目标和第二目标是否存在关联关系。
S203，若在历史视频帧中第一目标和第二目标存在关联关系，则判断在历史视频帧中第一目标和第二目标存在关联关系的视频帧帧数是否达到预设阈值。
S204，若视频帧帧数达到预设阈值，则将第一目标和第二目标进行关联合并，得到第一目标和第二目标的目标关联结果。
本发明实施例中，在每个视频帧中识别完两两目标之间的关联关系之后，可以对识别得到的关联关系进行记录，具体在记录时，可以记录存在关联关系的两个目标的标识信息和视频帧信息(例如帧号或者时间戳)，针对已经完成识别的视频帧，可以将记录的信息组合得到历史关联信息，历史关联信息中包括已完成识别的每个视频帧中存在关联关系的两两目标的标识信息。
在当前视频帧中如果识别出第一目标和第二目标存在关联关系，需要从历史关联信息中，首先判断在历史视频帧中第一目标和第二目标是否存在关联关系，如果在历史视频帧中第一目标和第二目标已经存在关联关系，则说明第一目标和第二目标历史上已经有关联，有很大的概率可以将第一目标和第二目标关联合并为一个目标，则进一步的，需要判断在历史视频帧中第一目标和第二目标存在关联关系的视频帧帧数是否达到预设阈值，如果视频帧帧数达到预设阈值，则说明第一目标和第二目标的关联程度非常高，可以将第一目标和第二目标进行关联合并，得到第一目标和第二目标的目标关联结果。
在本发明实施例的一种实现方式中，在S202之后，该方法还可以包括如下步骤：若在历史视频帧中第一目标和第二目标不存在关联关系，则设置第一目标和第二目标之间的初始关联置信度为默认值；输出携带初始关联置信度的反馈消息。
如果在历史视频帧中第一目标和第二目标不曾存在关联关系，则说明当前视频帧中是第一次出现第一目标和第二目标历史上有关联关系，大概率下是误识别，而为了不排除在当前视频帧中第一目标和第二目标确实存在关联关系，会设置第一目标和第二目标之间的初始关联置信度为默认值，该默认值为一个较小的值，例如关联置信度的范围为0～10，0表示没有关联、10表示一定有关联，则初始关联置信度可以设置为1，然后输出一个反馈消息，该反馈消息携带有初始关联置信度，用于通知用户或者其他处理设备，在当前视频帧中识别出了第一目标和第二目标之间存在关联关系，但是并不可靠。
在本发明实施例的一种实现方式中，在S203之后，该方法还可以包括如下步骤：若视频帧帧数未达到预设阈值，则基于视频帧帧数，设置第一目标和第二目标之间的当前关联置信度，其中，当前关联置信度的取值与视频帧帧数成正比；输出携带当前关联置信度的反馈消息。
如果在历史视频帧中第一目标和第二目标已存在关联关系，然而在历史视频帧中第一目标和第二目标存在关联关系的视频帧帧数未达到预设阈值，说明第一目标和第二目标存在关联关系的识别结果越来越可靠，但是也不能完全确定两个目标之间一定存在关联，则可以基于视频帧帧数，按照当前关联置信度的取值与视频帧帧数成正比的设置原则，设置第一目标和第二目标之间的当前关联置信度，可见，识别出第一目标和第二目标之间存在关联关系的视频帧帧数越多，则关联置信度就越高，通过输出携带当前关联置信度的反馈消息，可以直观地观察到第一目标和第二目标之间存在关联关系的可靠性。可见，针对采集的视频，每个视频帧在识别到有两个目标之间存在关联关系后，都会输出携带有这两个目标的关联置信度的反馈信息，这样可以实时地观察到两个目标之间相关联的可靠性变化情况。
在本发明实施例的一种实现方式中，历史关联信息可以为：目标缓存队列，目标缓存队列用于记录历史视频帧中与某一目标存在关联关系的其他目标的标识信息。相应的，S202具体可以为：若在当前视频帧中识别出第一目标和第二目标存在关联关系，则读取第一目标的目标缓存队列；若第一目标的目标缓存队列为空，则确定在历史视频帧中第一目标和第二目标不存在关联关系；若第一目标的目标缓存队列不为空，且第一目标的目标缓存队列中记录有第二目标的标识信息，则确定在历史视频帧中第一目标和第二目标存在关联关系。
历史关联信息具体可以以目标缓存队列的方式进行记录，一个目标对应一个目标缓存队列，一个目标的目标缓存队列用于记录历史视频帧中与该目标存在关联关系的其他目标的标识信息，例如第一目标的目标缓存队列中如果记录有第二目标，则说明历史视频帧中第一目标和第二目标存在关联关系。若在当前视频帧中识别出第一目标和第二目标存在关联关系，则读取第一目标的目标缓存队列，如果该目标缓存队列为空，说明第一目标在历史视频帧中从未与其他目标存在关联关系，其中也包括未与第二目标存在关联关系，如果该目标缓存队列不为空，并且第一目标的目标缓存队列中记录有第二目标的标识信息，则说明第一目标在历史视频帧中与第二目标存在过关联关系。如果历史视频帧中第一目标和除第二目标以外的其他目标已经存在过关联关系，则可以按照图1所示实施例中，当前视频帧中识别出第一目标和第三目标存在关联关系的修正方式进行处理，这里不再赘述。
当然，在历史关联信息中记录视频帧信息，例如视频帧的帧号、时间戳等，则根据历史关联信息，可以判断出在历史视频帧中是否是连续的多个历史视频帧中第一目标和第二目标存在关联关系，如果是连续多个历史视频帧中第一目标和第二目标存在关联关系，且累计的视频帧帧数超过预设阈值，则说明第一目标和第二目标相关联的可靠度很高，可以将第一目标和第二目标进行关联合并，得到第一目标和第二目标的目标关联结果。
为了便于理解，下面结合具体实例，对本发明实施例提供的目标关联方法进行介绍，具体流程如图3所示。
第一步，输入视频的单帧图片，其中，单帧图片就是一视频帧。
第二步，从单帧图片中提取目标位置信息。
具体是将单帧图片输入目标检测模型中，即得到目标位置信息，目标检测模型具体可以基于人体图像样本、人脸图像样本、头肩图像样本等训练得到。
第三步，从单帧图片中提取目标分割信息。
具体是将单帧图片输入目标分割模型中，即得到目标分割信息，刻画人体的轮廓，如图4所示。
第四步，从单帧图片中提取目标关键点信息。
具体是将单帧图片输入目标关键点识别模型中，即得到目标关键点信息，刻画人体的多个肢体，如图5所示。
第五步，根据目标位置信息、目标分割信息、目标关键点信息，计算两两目标之间的相似性。
以人脸和人体的相似性计算为例，具体的计算过程为，根据人脸和人体的目标位置信息，计算人脸和人体之间的欧式距离；采用计算公式X＝T/S计算得到人脸和人体之间的分割信息相似性，其中，X为人脸和人体之间的分割信息相似性，T为人脸框包含的人脸分割像素总数，S为人脸框的面积；采用计算公式Y＝A/B计算得到人脸和人体之间的关键点信息相似，其中，Y为人脸和人体之间的关键点信息相似，A为人脸框包含的人脸部位的关键点置信度之和，B为人脸部位的关键点置信度总和。
第六步，得到单帧图片中人脸和人体是否存在关联关系的识别结果。
对上述计算得到的三个相似性进行加权、乘积或者深度网络学习的计算方法，可以得到人脸和人体之间的相似性矩阵。采用二份值的匈牙利匹配方法，对该相似性矩阵进行优化求解，得到人脸和人体之间是否存在关联关系的识别结果。
第七步，读取历史关联信息，读取轨迹信息，进行修正反馈，得到关联结果。
如果在当前视频帧中识别出人脸和人体存在关联关系，则读取历史关联信息，具体可以根据人脸的标识ID-A，查找人脸的目标缓存队列，如果该目标缓存队列为空，说明人脸在历史视频帧中未与其他目标关联，当前视频帧中识别出的人脸和人体存在关联关系为首次识别，由于此时的人脸和人体的关联并不可靠，可以设置一个初始关联置信度(例如1)，然后将初始关联置信度以反馈信息的方式反馈出去，以告知识别出人脸和人体关联，但可靠度较低。如果该目标缓存队列不为空，且目标缓存队列中记录有人体的标识ID-B，则说明历史视频帧中出现过人脸和人体相关联，则可以根据连续多个视频帧识别出人脸和人体有关联的帧数，设置当前关联置信度，然后将当前关联置信度以反馈信息的方式反馈出去，以告知识别出人脸和人体关联，并通过当前关联置信度体现结果的可靠度。如果连续识别出人脸和人体有关联的帧数达到预设阈值，说明人脸和人体有关联的消息很可靠，则可以将人脸和人体进行关联合并，得到人脸和人体的目标关联结果，并且还可以输出关联置信度为最高的反馈消息。
如果人脸和人体在历史视频帧中一直关联，而当前视频帧中识别出人体和另一个人脸关联成功，则需要进行关联修正，根据另一个人脸和人体的轨迹信息，确定另一个人脸和人体的第一关联置信度，根据之前关联的人脸和人体的轨迹信息，以及之前关联的人脸和人体的历史关联信息，确定之前关联的人脸和人体的第二关联置信度，确定第一关联置信度和第二关联置信度中的较大值，输出较大值对应的关联关系的关联结果。例如，一辆二轮车上有两个人，其中后座人的人脸之前一直被遮挡，其身体可能一直与其他人脸关联，当前视频帧突然可见后座人的人脸，其与后座人的人体相似度极高，关联置信度高于之前关联的关联置信度，则可以进行修正处理。
相应于上述方法实施例，本发明实施例提供了一种目标关联装置，如图6所示，该装置可以包括：
识别模块610，用于针对所采集视频中的每一视频帧，提取该视频帧中各目标的特征信息，并根据各目标的特征信息，识别任两个目标之间是否存在关联关系；
关联合并模块620，用于若在多个视频帧中识别出第一目标和第二目标之间存在关联关系，则将第一目标和第二目标进行关联合并，得到第一目标和第二目标的目标关联结果。
可选的，识别模块610，具体可以用于针对待识别的两个目标，根据两个目标的特征信息，计算两个目标之间的特征相似性；根据特征相似性，计算两个目标之间的相似性矩阵；对相似性矩阵进行优化求解，得到两个目标之间是否存在关联关系的识别结果。
可选的，特征信息可以包括目标位置信息、目标分割信息和目标关键点信息中的至少一个；
在特征信息包括目标位置信息的情况下，识别模块610，具体可以用于针对所采集视频中的每一视频帧，将该视频帧输入预先训练的目标检测模型，得到该视频帧中各目标的目标位置信息；针对待识别的两个目标，根据两个目标的目标位置信息，计算两个目标之间的欧式距离；
在特征信息包括目标分割信息的情况下，识别模块610，具体可以用于针对所采集视频中的每一视频帧，将该视频帧输入预先训练的目标分割模型，得到该视频帧中各目标的目标分割信息；根据两个目标的目标分割信息，计算两个目标之间的分割信息相似性；
在特征信息包括目标关键点信息的情况下，识别模块610，具体可以用于针对所采集视频中的每一视频帧，将该视频帧输入预先训练的目标关键点识别模型，得到该视频帧中各目标的目标关键点信息；根据两个目标的目标关键点信息，计算两个目标之间的关键点相似性。
可选的，该装置还可以包括：
判断模块，用于若在当前视频帧中识别出第一目标和第二目标存在关联关系，则读取历史关联信息，并根据历史关联信息，判断在历史视频帧中第一目标和第二目标是否存在关联关系；若是，则判断在历史视频帧中第一目标和第二目标存在关联关系的视频帧帧数是否达到预设阈值；
关联合并模块620，具体可以用于若视频帧帧数达到预设阈值，则将第一目标和第二目标进行关联合并，得到第一目标和第二目标的目标关联结果。
可选的，该装置还可以包括：
第一设置模块，若判断模块判断出在历史视频帧中第一目标和第二目标不存在关联关系，则设置第一目标和第二目标之间的初始关联置信度为默认值；
第一输出模块，用于输出携带初始关联置信度的反馈消息。
可选的，该装置还可以包括：
第二设置模块，若判断模块的判断结果为视频帧帧数未达到预设阈值，则基于视频帧帧数，设置第一目标和第二目标之间的当前关联置信度，其中，当前关联置信度的取值与视频帧帧数成正比；
第二输出模块，用于输出携带当前关联置信度的反馈消息。
可选的，历史关联信息可以为：目标缓存队列，其中，目标缓存队列用于记录历史视频帧中与某一目标存在关联关系的其他目标的标识信息；
判断模块，具体可以用于若在当前视频帧中识别出第一目标和第二目标存在关联关系，则读取第一目标的目标缓存队列；若第一目标的目标缓存队列为空，则确定在历史视频帧中第一目标和第二目标不存在关联关系；若第一目标的目标缓存队列不为空，且第一目标的目标缓存队列中记录有第二目标的标识信息，则确定在历史视频帧中第一目标和第二目标存在关联关系。
可选的，关联合并模块620，具体可以用于若在连续多个视频帧中都识别出第一目标和第二目标之间存在关联关系，且连续多个视频帧的帧数超过预设阈值，则将第一目标和第二目标进行关联合并，得到第一目标和第二目标的目标关联结果。
可选的，该装置还可以包括：
获取模块，用于若在连续的历史视频帧中第一目标和第二目标之间一直存在关联关系，且在当前视频帧中识别出第一目标和第三目标之间存在关联关系，则获取第一目标、第二目标和第三目标的轨迹信息，并读取第一目标和第二目标之间的历史关联信息；
确定模块，用于根据第一目标和第三目标的轨迹信息，确定第一目标和第三目标的第一关联置信度；根据第一目标和第二目标的轨迹信息，以及历史关联信息，确定第一目标和第二目标的第二关联置信度；确定第一关联置信度和第二关联置信度中的较大值；
输出模块，用于输出较大值对应的关联关系的关联结果，其中，关联结果中携带较大值。
应用本发明实施例，针对所采集视频中的每一视频帧，提取该视频帧中各目标的特征信息，并根据各目标的特征信息，识别任两个目标之间是否存在关联关系，若在多个视频帧中识别出第一目标和第二目标之间存在关联关系，则将第一目标和第二目标进行关联合并，得到第一目标和第二目标的目标关联结果。通过对视频的每一视频帧中任两个目标的关联关系进行识别，如果在多个视频帧中识别出第一目标和第二目标之间存在关联关系，说明第一目标和第二目标的关联程度很高，可以被关联为一个目标，则对第一目标和第二目标进行关联合并，所得到的目标关联结果中，两个目标的关联程度很高，避免了将实际无关联关系的两个目标关联合并为一个目标，从而提高了目标关联结果的准确度。
本发明实施例提供了一种电子设备，如图7所示，包括处理器701和存储器702，其中，存储器702，用于存放计算机程序；处理器701，用于执行存储器上所存放的计算机程序时，实现上述目标关联方法。
上述存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离上述处理器的存储装置。
上述处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理单元)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processing，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本实施例中，上述处理器通过读取存储器中存储的计算机程序，并通过运行计算机程序，能够实现：针对所采集视频中的每一视频帧，提取该视频帧中各目标的特征信息，并根据各目标的特征信息，识别任两个目标之间是否存在关联关系，若在多个视频帧中识别出第一目标和第二目标之间存在关联关系，则将第一目标和第二目标进行关联合并，得到第一目标和第二目标的目标关联结果。通过对视频的每一视频帧中任两个目标的关联关系进行识别，如果在多个视频帧中识别出第一目标和第二目标之间存在关联关系，说明第一目标和第二目标的关联程度很高，可以被关联为一个目标，则对第一目标和第二目标进行关联合并，所得到的目标关联结果中，两个目标的关联程度很高，避免了将实际无关联关系的两个目标关联合并为一个目标，从而提高了目标关联结果的准确度。
另外，本发明实施例提供了一种机器可读存储介质，机器可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现上述目标关联方法。
本实施例中，计算机可读存储介质存储有在运行时执行本发明实施例所提供的目标关联方法的计算机程序，因此能够实现：针对所采集视频中的每一视频帧，提取该视频帧中各目标的特征信息，并根据各目标的特征信息，识别任两个目标之间是否存在关联关系，若在多个视频帧中识别出第一目标和第二目标之间存在关联关系，则将第一目标和第二目标进行关联合并，得到第一目标和第二目标的目标关联结果。通过对视频的每一视频帧中任两个目标的关联关系进行识别，如果在多个视频帧中识别出第一目标和第二目标之间存在关联关系，说明第一目标和第二目标的关联程度很高，可以被关联为一个目标，则对第一目标和第二目标进行关联合并，所得到的目标关联结果中，两个目标的关联程度很高，避免了将实际无关联关系的两个目标关联合并为一个目标，从而提高了目标关联结果的准确度。
本发明实施例提供的又一实施例中，还了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述目标关联方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、DSL(Digital Subscriber Line，数字用户线))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如软盘、硬盘、磁带)、光介质(例如DVD(DigitalVersatile Disc，数字多功能光盘))、或者半导体介质(例如SSD(Solid State Disk，固态硬盘))等。
对于目标关联装置、电子设备、机器可读存储介质及计算机程序产品实施例而言，由于其所涉及的方法内容基本相似于前述的方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于目标关联装置、电子设备、机器可读存储介质及计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种目标关联方法，其特征在于，所述方法包括：
针对所采集视频中的每一视频帧，提取该视频帧中各目标的特征信息，并根据所述各目标的特征信息，识别任两个目标之间是否存在关联关系；
若在当前视频帧中识别出第一目标和第二目标存在关联关系，则读取历史关联信息，并根据所述历史关联信息，判断在历史视频帧中所述第一目标和所述第二目标是否存在关联关系；
若是，则判断在历史视频帧中所述第一目标和所述第二目标存在关联关系的视频帧帧数是否达到预设阈值；
若所述视频帧帧数达到所述预设阈值，则将所述第一目标和所述第二目标进行关联合并，得到所述第一目标和所述第二目标的目标关联结果；
所述方法还包括：
若在连续的历史视频帧中所述第一目标和所述第二目标之间一直存在关联关系，且在当前视频帧中识别出所述第一目标和第三目标之间存在关联关系，则获取所述第一目标、所述第二目标和所述第三目标的轨迹信息，并读取所述第一目标和所述第二目标之间的历史关联信息；
根据所述第一目标和所述第三目标的轨迹信息，确定所述第一目标和所述第三目标的第一关联置信度；
根据所述第一目标和所述第二目标的轨迹信息，以及所述历史关联信息，确定所述第一目标和所述第二目标的第二关联置信度；
确定所述第一关联置信度和所述第二关联置信度中的较大值；
输出所述较大值对应的关联关系的关联结果，所述关联结果中携带所述较大值。
2.根据权利要求1所述的方法，其特征在于，所述根据所述各目标的特征信息，识别任两个目标之间是否存在关联关系的步骤，包括：
针对待识别的两个目标，根据所述两个目标的特征信息，计算所述两个目标之间的特征相似性；
根据所述特征相似性，计算所述两个目标之间的相似性矩阵；
对所述相似性矩阵进行优化求解，得到所述两个目标之间是否存在关联关系的识别结果。
3.根据权利要求2所述的方法，其特征在于，所述特征信息包括目标位置信息、目标分割信息和目标关键点信息中的至少一个；
所述针对所采集视频中的每一视频帧，提取该视频帧中各目标的特征信息的步骤，包括如下步骤中的至少一个：
针对所采集视频中的每一视频帧，将该视频帧输入预先训练的目标检测模型，得到该视频帧中各目标的目标位置信息；
针对所采集视频中的每一视频帧，将该视频帧输入预先训练的目标分割模型，得到该视频帧中各目标的目标分割信息；
针对所采集视频中的每一视频帧，将该视频帧输入预先训练的目标关键点识别模型，得到该视频帧中各目标的目标关键点信息；
在所述特征信息包括目标位置信息的情况下，所述针对待识别的两个目标，根据所述两个目标的特征信息，计算所述两个目标之间的特征相似性的步骤，包括：
针对待识别的两个目标，根据所述两个目标的目标位置信息，计算所述两个目标之间的欧式距离；
在所述特征信息包括目标分割信息的情况下，所述针对待识别的两个目标，根据所述两个目标的特征信息，计算所述两个目标之间的特征相似性的步骤，包括：
根据所述两个目标的目标分割信息，计算所述两个目标之间的分割信息相似性；
在所述特征信息包括目标关键点信息的情况下，所述针对待识别的两个目标，根据所述两个目标的特征信息，计算所述两个目标之间的特征相似性的步骤，包括：
根据所述两个目标的目标关键点信息，计算所述两个目标之间的关键点相似性。
4.根据权利要求1所述的方法，其特征在于，在所述根据所述历史关联信息，判断在历史视频帧中所述第一目标和所述第二目标是否存在关联关系的步骤之后，所述方法还包括：
若否，则设置所述第一目标和所述第二目标之间的初始关联置信度为默认值；
输出携带所述初始关联置信度的反馈消息。
5.根据权利要求1或4所述的方法，其特征在于，在所述判断在历史视频帧中所述第一目标和所述第二目标存在关联关系的视频帧帧数是否达到预设阈值的步骤之后，所述方法还包括：
若所述视频帧帧数未达到所述预设阈值，则基于所述视频帧帧数，设置所述第一目标和所述第二目标之间的当前关联置信度，其中，所述当前关联置信度的取值与所述视频帧帧数成正比；
输出携带所述当前关联置信度的反馈消息。
6.根据权利要求1所述的方法，其特征在于，所述历史关联信息为：目标缓存队列，所述目标缓存队列用于记录历史视频帧中与某一目标存在关联关系的其他目标的标识信息；
所述若在当前视频帧中识别出第一目标和第二目标存在关联关系，则读取历史关联信息，并根据所述历史关联信息，判断在历史视频帧中所述第一目标和所述第二目标是否存在关联关系的步骤，包括：
若在当前视频帧中识别出第一目标和第二目标存在关联关系，则读取所述第一目标的目标缓存队列；
若所述第一目标的目标缓存队列为空，则确定在历史视频帧中所述第一目标和所述第二目标不存在关联关系；
若所述第一目标的目标缓存队列不为空，且所述第一目标的目标缓存队列中记录有所述第二目标的标识信息，则确定在历史视频帧中所述第一目标和所述第二目标存在关联关系。
7.根据权利要求1所述的方法，其特征在于，所述若在多个视频帧中识别出第一目标和第二目标之间存在关联关系，则将所述第一目标和所述第二目标进行关联合并，得到所述第一目标和所述第二目标的目标关联结果的步骤，包括：
若在连续多个视频帧中都识别出第一目标和第二目标之间存在关联关系，且所述连续多个视频帧的帧数超过预设阈值，则将所述第一目标和所述第二目标进行关联合并，得到所述第一目标和所述第二目标的目标关联结果。
8.一种目标关联装置，其特征在于，所述装置包括：
识别模块，用于针对所采集视频中的每一视频帧，提取该视频帧中各目标的特征信息，并根据所述各目标的特征信息，识别任两个目标之间是否存在关联关系；
判断模块，用于若在当前视频帧中识别出第一目标和第二目标存在关联关系，则读取历史关联信息，并根据历史关联信息，判断在历史视频帧中第一目标和第二目标是否存在关联关系；若是，则判断在历史视频帧中第一目标和第二目标存在关联关系的视频帧帧数是否达到预设阈值；
关联合并模块，具体用于若视频帧帧数达到预设阈值，则将第一目标和第二目标进行关联合并，得到第一目标和第二目标的目标关联结果；
所述装置还包括：
获取模块，用于若在连续的历史视频帧中第一目标和第二目标之间一直存在关联关系，且在当前视频帧中识别出第一目标和第三目标之间存在关联关系，则获取第一目标、第二目标和第三目标的轨迹信息，并读取第一目标和第二目标之间的历史关联信息；
确定模块，用于根据第一目标和第三目标的轨迹信息，确定第一目标和第三目标的第一关联置信度；根据第一目标和第二目标的轨迹信息，以及历史关联信息，确定第一目标和第二目标的第二关联置信度；确定第一关联置信度和第二关联置信度中的较大值；
输出模块，用于输出较大值对应的关联关系的关联结果，其中，关联结果中携带较大值。
9.一种电子设备，其特征在于，包括处理器和存储器；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的计算机程序时，实现权利要求1-7任一项所述的方法。
10.一种机器可读存储介质，其特征在于，所述机器可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的方法。
CN202110279956.XA 2021-03-16 2021-03-16 一种目标关联方法、装置、电子设备及机器可读存储介质 Active CN112949538B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110279956.XA CN112949538B (zh) 2021-03-16 2021-03-16 一种目标关联方法、装置、电子设备及机器可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110279956.XA CN112949538B (zh) 2021-03-16 2021-03-16 一种目标关联方法、装置、电子设备及机器可读存储介质

Publications (2)

Publication Number Publication Date
CN112949538A CN112949538A (zh) 2021-06-11
CN112949538B true CN112949538B (zh) 2023-08-04

Family

ID=76230037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110279956.XA Active CN112949538B (zh) 2021-03-16 2021-03-16 一种目标关联方法、装置、电子设备及机器可读存储介质

Country Status (1)

Country Link
CN (1) CN112949538B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018107914A1 (zh) * 2016-12-16 2018-06-21 中兴通讯股份有限公司 一种视频分析平台、匹配方法、精准投放广告方法及系统
CN108764100A (zh) * 2018-05-22 2018-11-06 全球能源互联网研究院有限公司 一种目标行为检测方法及服务器
CN109919981A (zh) * 2019-03-11 2019-06-21 南京邮电大学 一种基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法
CN110659395A (zh) * 2019-08-14 2020-01-07 平安科技（深圳）有限公司 关系网络图谱构建方法、装置、计算机设备和存储介质
CN110852269A (zh) * 2019-11-11 2020-02-28 青岛海信网络科技股份有限公司 一种基于特征聚类的跨镜头人像关联分析方法及装置
CN111083444A (zh) * 2019-12-26 2020-04-28 浙江大华技术股份有限公司 一种抓拍方法、装置、电子设备及存储介质
CN111382628A (zh) * 2018-12-28 2020-07-07 成都云天励飞技术有限公司 同行判定方法及相关产品
CN111539254A (zh) * 2020-03-26 2020-08-14 深圳市商汤科技有限公司 目标检测方法、装置、电子设备及计算机可读存储介质
CN111695429A (zh) * 2020-05-15 2020-09-22 深圳云天励飞技术有限公司 视频图像目标关联方法、装置及终端设备
WO2020232905A1 (zh) * 2019-05-20 2020-11-26 平安科技（深圳）有限公司 基于超对象信息的遥感图像目标提取方法、装置、电子设备及介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9582895B2 (en) * 2015-05-22 2017-02-28 International Business Machines Corporation Real-time object analysis with occlusion handling
CN109299315B (zh) * 2018-09-03 2023-03-28 腾讯科技（深圳）有限公司 多媒体资源分类方法、装置、计算机设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018107914A1 (zh) * 2016-12-16 2018-06-21 中兴通讯股份有限公司 一种视频分析平台、匹配方法、精准投放广告方法及系统
CN108764100A (zh) * 2018-05-22 2018-11-06 全球能源互联网研究院有限公司 一种目标行为检测方法及服务器
CN111382628A (zh) * 2018-12-28 2020-07-07 成都云天励飞技术有限公司 同行判定方法及相关产品
CN109919981A (zh) * 2019-03-11 2019-06-21 南京邮电大学 一种基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法
WO2020232905A1 (zh) * 2019-05-20 2020-11-26 平安科技（深圳）有限公司 基于超对象信息的遥感图像目标提取方法、装置、电子设备及介质
CN110659395A (zh) * 2019-08-14 2020-01-07 平安科技（深圳）有限公司 关系网络图谱构建方法、装置、计算机设备和存储介质
CN110852269A (zh) * 2019-11-11 2020-02-28 青岛海信网络科技股份有限公司 一种基于特征聚类的跨镜头人像关联分析方法及装置
CN111083444A (zh) * 2019-12-26 2020-04-28 浙江大华技术股份有限公司 一种抓拍方法、装置、电子设备及存储介质
CN111539254A (zh) * 2020-03-26 2020-08-14 深圳市商汤科技有限公司 目标检测方法、装置、电子设备及计算机可读存储介质
CN111695429A (zh) * 2020-05-15 2020-09-22 深圳云天励飞技术有限公司 视频图像目标关联方法、装置及终端设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
智能监控中目标识别与跟踪技术解析;中国公共安全(综合版)(14);全文 *

Also Published As

Publication number Publication date
CN112949538A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
CN106354816B (zh) 一种视频图像处理方法及装置
CN107305627B (zh) 一种车辆视频监控方法、服务器及系统
CN108388879A (zh) 目标的检测方法、装置和存储介质
CN106934817B (zh) 基于多属性的多目标跟踪方法及装置
CN110706247B (zh) 一种目标跟踪方法、装置及系统
WO2020093830A1 (zh) 指定区域的人流状况估算方法和装置
CN111860352B (zh) 一种多镜头车辆轨迹全跟踪系统及方法
CN109492576B (zh) 图像识别方法、装置及电子设备
CN111767783A (zh) 行为检测、模型训练方法、装置、电子设备及存储介质
CN110674680B (zh) 活体识别的方法、装置、存储介质
CN111104925B (zh) 图像处理方法、装置、存储介质和电子设备
CN111814690B (zh) 一种目标重识别方法、装置和计算机可读存储介质
CN112633255B (zh) 目标检测方法、装置及设备
CN111209774A (zh) 目标行为识别及显示方法、装置、设备、可读介质
CN113160283A (zh) 一种基于sift的多摄像头场景下的目标跟踪方法
CN116311063A (zh) 监控视频下基于人脸识别的人员细粒度跟踪方法及系统
CN111027555A (zh) 一种车牌识别方法、装置及电子设备
CN111814612A (zh) 目标的脸部检测方法及其相关装置
CN114742112A (zh) 一种对象关联方法、装置及电子设备
CN111382606A (zh) 摔倒检测方法、摔倒检测装置和电子设备
CN112949538B (zh) 一种目标关联方法、装置、电子设备及机器可读存储介质
CN110889347B (zh) 基于时空计数特征的密度交通流计数方法及系统
CN111753775A (zh) 鱼的生长评估方法、装置、设备及存储介质
CN114445787A (zh) 非机动车重识别方法及相关设备
CN112784691B (zh) 一种目标检测模型训练方法、目标检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant