CN112149762A - 目标跟踪方法、目标跟踪装置及计算机可读存储介质 - Google Patents

目标跟踪方法、目标跟踪装置及计算机可读存储介质 Download PDF

Info

Publication number
CN112149762A
CN112149762A CN202011326653.0A CN202011326653A CN112149762A CN 112149762 A CN112149762 A CN 112149762A CN 202011326653 A CN202011326653 A CN 202011326653A CN 112149762 A CN112149762 A CN 112149762A
Authority
CN
China
Prior art keywords
target
image
tracked
preset
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011326653.0A
Other languages
English (en)
Inventor
何凌霄
廖星宇
程鹏
王军
刘武
梅涛
周伯文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN202011326653.0A priority Critical patent/CN112149762A/zh
Publication of CN112149762A publication Critical patent/CN112149762A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种目标跟踪方法、目标跟踪装置及非瞬时性计算机可读存储介质，涉及计算机技术领域。目标跟踪方法包括：根据第一摄像头的拍摄区域与第二摄像头的拍摄区域之间的位置关系、预设目标的运动速度以及第一摄像头拍摄到预设目标的时间，确定第二摄像头拍摄到预设目标的预测时间；从第一摄像头拍摄的预设目标的图像序列中，提取预设目标的图像特征；从第二摄像头在预测时间拍摄的各个待匹配目标的图像序列中，分别提取各个待匹配目标的图像特征；针对每个待匹配目标，在待匹配目标的图像特征与预设目标的图像特征之间的距离小于预设距离的情况下，标记该待匹配目标为预设目标。本公开实现了对目标的准确跟踪，提升了视频监控的系统性能。

Description

目标跟踪方法、目标跟踪装置及计算机可读存储介质
技术领域
本公开涉及计算机技术领域，特别涉及一种目标跟踪方法、目标跟踪装置及非瞬时性计算机可读存储介质。
背景技术
随着视频监控系统需求的日益增长，人脸识别技术和行人重识别技术引起了学术界和工业界的普遍关注。
在实际的视频监控场景中获得的图像数据，对于人脸识别技术和行人重识别技术的实施至关重要。然而，图像数据的采集和标注是目前的两个难点。因此，在实际的视频监控场景中，视频监控的系统性能有待提升。
发明内容
本公开解决的一个技术问题是，如何提升视频监控的系统性能。
根据本公开实施例的一个方面，提供了一种目标跟踪方法，包括：根据第一摄像头的拍摄区域与第二摄像头的拍摄区域之间的位置关系、预设目标的运动速度以及第一摄像头拍摄到预设目标的时间，确定第二摄像头拍摄到预设目标的预测时间；从第一摄像头拍摄的预设目标的图像序列中，提取预设目标的图像特征；从第二摄像头在预测时间拍摄的各个待匹配目标的图像序列中，分别提取各个待匹配目标的图像特征；针对每个待匹配目标，在待匹配目标的图像特征与预设目标的图像特征之间的距离小于预设距离的情况下，标记该待匹配目标为预设目标。
在一些实施例中，预设目标的运动速度为预设目标的运动速度区间，预测时间为第二摄像头拍摄到预设目标的预测时间区间。
在一些实施例中，预设目标的图像特征包括第一摄像头拍摄的预设人物的图像序列中每个图像的人脸特征和人体特征；各个待匹配目标的图像特征包括第二摄像头在预测时间拍摄的各个待匹配人物的图像序列中每个图像的人脸特征和人体特征；距离为待匹配目标的图像特征与预设目标的图像特征之间的平均欧式距离。
在一些实施例中，目标跟踪方法还包括：对相同摄像头拍摄的预设目标的图像序列进行第一次聚类，获得第一聚类结果；对第一聚类结果中的每一类图像进行第二次聚类，获得第二聚类结果；从第二聚类结果中的每一类图像中随机采样一张图像，得到每个拍摄镜头拍摄的预设目标的样本图像；利用标注了预设目标的样本图像，训练机器学习模型。
在一些实施例中，目标跟踪方法还包括：从相同摄像头拍摄的第一图像和第二图像中，分别获取每个待跟踪目标的检测框坐标信息和图像特征；根据检测框坐标信息和图像特征，确定第一图像中的每个待跟踪目标与第二图像中的每个待跟踪目标之间的相似度；利用匈牙利算法对相似度进行处理，获得第一图像中的每个目标在第二图像中的跟踪结果。
在一些实施例中，根据检测框坐标信息和图像特征，确定第一图像中的每个待跟踪目标与第二图像中的每个待跟踪目标之间的相似度包括：根据第一待跟踪目标及第二待跟踪目标的检测框坐标信息，确定第一待跟踪目标与第二待跟踪目标之间的交并比，第一待跟踪目标为第一图像中的任一待跟踪目标，第二跟踪目标为第二图像中的任一待跟踪目标；确定第一待跟踪目标的图像特征与第二待跟踪目标的图像特征之间归一化距离；对交并比以及归一化距离进行融合，获得第一待跟踪目标与第二待跟踪目标之间的相似度。
在一些实施例中，目标跟踪方法还包括：获取从任一摄像头拍摄的任一图像中检测到人体的概率、检测到人脸的概率、检测到每个人体关键点的概率以及检测到每个人脸关键点的概率；根据检测到人体的概率、检测到每个人体关键点的概率，确定任一图像中的人体清晰度；根据检测到人脸的概率、检测到每个人脸关键点的概率，确定任一图像中的人脸清晰度；在人体清晰度不小于预设值或人脸清晰度不小于预设值的情况下，保留任一图像；在人体清晰度小于预设值且人脸清晰度小于预设值的情况下，丢弃任一图像。
在一些实施例中，根据检测到人体的概率、检测到每个人体关键点的概率，确定任一图像中的人体清晰度包括：根据检测到每个人体关键点的概率，确定检测到人体关键点的平均概率；对检测到人体关键点的平均概率以及检测到人体的概率取平均，获得人体清晰度；根据检测到人脸的概率、检测到每个人脸关键点的概率，确定任一图像中的人脸清晰度包括：根据检测到每个人脸关键点的概率，确定检测到人脸关键点的平均概率；对检测到人脸关键点的平均概率以及检测到人脸的概率取平均，获得人脸清晰度。
在一些实施例中，目标跟踪方法还包括：对相同摄像头拍摄的任一待跟踪目标的图像序列进行聚类，获得任一待跟踪目标的聚类结果；确定聚类结果中的任意两类图像的图像特征之间的距离，作为第一距离；将第一距离小于预设距离的任意两类图像合并；将合并后的图像组成的图像序列作为更新后任一待跟踪目标的图像序列。
在一些实施例中，目标跟踪方法还包括：确定相同摄像头拍摄的各个待跟踪目标的聚类结果中的任意两类图像的图像特征之间的距离，作为第二距离；将第二距离小于预设距离的任意两类图像合并；将合并后的图像组成的图像序列作为更新后相同摄像头拍摄的各个待跟踪目标的图像序列。
根据本公开实施例的另一个方面，提供了一种目标跟踪装置，包括：时间预测模块，被配置为根据第一摄像头的拍摄区域与第二摄像头的拍摄区域之间的位置关系、预设目标的运动速度以及第一摄像头拍摄到预设目标的时间，确定第二摄像头拍摄到预设目标的预测时间；特征提取模块，被配置为：从第一摄像头拍摄的预设目标的图像序列中，提取预设目标的图像特征；从第二摄像头在预测时间拍摄的各个待匹配目标的图像序列中，分别提取各个待匹配目标的图像特征；目标标记模块，被配置为：针对每个待匹配目标，在待匹配目标的图像特征与预设目标的图像特征之间的距离小于预设距离的情况下，标记该待匹配目标为预设目标。
在一些实施例中，预设目标的运动速度为预设目标的运动速度区间，预测时间为第二摄像头拍摄到预设目标的预测时间区间。
在一些实施例中，预设目标的图像特征包括第一摄像头拍摄的预设人物的图像序列中每个图像的人脸特征和人体特征；各个待匹配目标的图像特征包括第二摄像头在预测时间拍摄的各个待匹配人物的图像序列中每个图像的人脸特征和人体特征；距离为待匹配目标的图像特征与预设目标的图像特征之间的平均欧式距离。
在一些实施例中，目标跟踪装置，还包括模型训练模块，被配置为：对相同摄像头拍摄的预设目标的图像序列进行第一次聚类，获得第一聚类结果；对第一聚类结果中的每一类图像进行第二次聚类，获得第二聚类结果；从第二聚类结果中的每一类图像中随机采样一张图像，得到每个拍摄镜头拍摄的预设目标的样本图像；利用标注了预设目标的样本图像，训练机器学习模型。
在一些实施例中，目标跟踪装置还包括目标跟踪模块，被配置为：从相同摄像头拍摄的第一图像和第二图像中，分别获取每个待跟踪目标的检测框坐标信息和图像特征；根据检测框坐标信息和图像特征，确定第一图像中的每个待跟踪目标与第二图像中的每个待跟踪目标之间的相似度；利用匈牙利算法对相似度进行处理，获得第一图像中的每个目标在第二图像中的跟踪结果。
在一些实施例中，目标跟踪模块被配置为：根据第一待跟踪目标及第二待跟踪目标的检测框坐标信息，确定第一待跟踪目标与第二待跟踪目标之间的交并比，第一待跟踪目标为第一图像中的任一待跟踪目标，第二跟踪目标为第二图像中的任一待跟踪目标；确定第一待跟踪目标的图像特征与第二待跟踪目标的图像特征之间归一化距离；对交并比以及归一化距离进行融合，获得第一待跟踪目标与第二待跟踪目标之间的相似度。
在一些实施例中，目标跟踪装置还包括清晰度判别模块，被配置为：获取从任一摄像头拍摄的任一图像中检测到人体的概率、检测到人脸的概率、检测到每个人体关键点的概率以及检测到每个人脸关键点的概率；根据检测到人体的概率、检测到每个人体关键点的概率，确定任一图像中的人体清晰度；根据检测到人脸的概率、检测到每个人脸关键点的概率，确定任一图像中的人脸清晰度；在人体清晰度不小于预设值或人脸清晰度不小于预设值的情况下，保留任一图像；在人体清晰度小于预设值且人脸清晰度小于预设值的情况下，丢弃任一图像。
在一些实施例中，清晰度判别模块被配置为：根据检测到每个人体关键点的概率，确定检测到人体关键点的平均概率；对检测到人体关键点的平均概率以及检测到人体的概率取平均，获得人体清晰度；据检测到每个人脸关键点的概率，确定检测到人脸关键点的平均概率；对检测到人脸关键点的平均概率以及检测到人脸的概率取平均，获得人脸清晰度。
在一些实施例中，目标跟踪装置，还包括图像序列更新模块，被配置为：对相同摄像头拍摄的任一待跟踪目标的图像序列进行聚类，获得任一待跟踪目标的聚类结果；确定聚类结果中的任意两类图像的图像特征之间的距离，作为第一距离；将第一距离小于预设距离的任意两类图像合并；将合并后的图像组成的图像序列作为更新后任一待跟踪目标的图像序列。
在一些实施例中，图像序列更新模块还被配置为：确定相同摄像头拍摄的各个待跟踪目标的聚类结果中的任意两类图像的图像特征之间的距离，作为第二距离；将第二距离小于预设距离的任意两类图像合并；将合并后的图像组成的图像序列作为更新后相同摄像头拍摄的各个待跟踪目标的图像序列。
根据本公开实施例的又一个方面，提供了另一种目标跟踪装置，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器中的指令，执行前述的目标跟踪方法。
根据本公开实施例的再一个方面，提供了一种非瞬时性计算机可读存储介质，其中，非瞬时性计算机可读存储介质存储有计算机指令，指令被处理器执行时实现前述的目标跟踪方法。
本公开能够实现对目标的准确跟踪，从而提升视频监控的系统性能。
通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出了本公开第一实施例的目标跟踪方法的流程示意图。
图2示出了本公开第二实施例的目标跟踪方法的流程示意图。
图3示出了本公开第三实施例的目标跟踪方法的流程示意图。
图4示出了本公开第四实施例的目标跟踪方法的流程示意图。
图5示出了本公开第五实施例的目标跟踪方法的流程示意图。
图6示出了本公开一些实施例的目标跟踪装置的结构示意图。
图7示出了本公开另一些实施例的目标跟踪装置的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。
本公开的实施例主要包括以下五个部分：（一）利用相同摄像头拍摄的图像进行多目标跟踪；（二）根据图像的清晰度对图像进行保留或丢弃处理；（三）确定各个待跟踪目标的图像序列；（四）利用不同摄像头拍摄的图像对目标进行跟踪；（五）对拍摄的图像进行多样性处理。
下面以跟踪行人为例，分别对本公开目标跟踪方法的各个部分进行详细介绍。
（一）利用相同摄像头拍摄的图像进行多目标跟踪。
在采用传统的多目标跟踪算法对行人进行跟踪时，会出现身份切换的现象从而造成标注错误。该部分提出了基于深度学习特征和行人检测器的多目标跟踪方法，能够减轻多目标跟踪中的身份切换现象，实现对目标的准确跟踪，从而提升视频监控的系统性能。下面结合图1进行详细介绍。
图1示出了本公开第一实施例的目标跟踪方法的流程示意图。如图1所示，本实施例包括步骤S101～步骤S103。
在步骤S101中，从相同摄像头拍摄的第一图像和第二图像中，分别获取每个待跟踪目标的检测框坐标信息和图像特征。
在相同摄像头拍摄的视频流中，假设利用Anchor-free无锚点行人检测器检测出第t帧图像中有
Figure 13378DEST_PATH_IMAGE001
个行人，每个行人的检测框坐标信息是
Figure 274727DEST_PATH_IMAGE002
，
Figure 601934DEST_PATH_IMAGE003
表示行人m的检测框左上角在第t帧图像中的横坐标，
Figure 419979DEST_PATH_IMAGE004
表示行人m的检测框左上角在第t帧图像中的纵坐标，
Figure 906455DEST_PATH_IMAGE005
表示行人m的检测框的宽度，
Figure 948492DEST_PATH_IMAGE006
表示行人m的检测框的高度。假设利用行人特征提取器检测出第t帧图像中每个行人的图像特征为
Figure 887629DEST_PATH_IMAGE007
。那么，行人m在第t帧图像中可以被表示为
Figure 509366DEST_PATH_IMAGE008
。那么
Figure 647086DEST_PATH_IMAGE001
个行人在第t帧图像中可以被表示为
Figure 972939DEST_PATH_IMAGE009
。同理，在第t+1帧检测到的
Figure 946842DEST_PATH_IMAGE010
个行人可以被表示为
Figure 355958DEST_PATH_IMAGE011
。
在步骤S102中，根据检测框坐标信息和图像特征，确定第一图像中的每个待跟踪目标与第二图像中的每个待跟踪目标之间的相似度。
假设第一待跟踪目标为第一图像中的任一待跟踪目标，第二跟踪目标为第二图像中的任一待跟踪目标。计算相似度时，首先根据第一待跟踪目标及第二待跟踪目标的检测框坐标信息，确定第一待跟踪目标与第二待跟踪目标之间的IoU（Intersection overUnion，交并比）。然后，确定第一待跟踪目标的图像特征与第二待跟踪目标的图像特征之间归一化距离。最后，对交并比以及归一化距离进行融合，获得第一待跟踪目标与第二待跟踪目标之间的相似度。
本领域技术人员能够理解，在计算归一化距离时，假设第一待跟踪目标的图像特征个数为
Figure 223551DEST_PATH_IMAGE012
，第二待跟踪目标的图像特征个数为
Figure 200865DEST_PATH_IMAGE013
。那么一种示例性计算方式是，先对
Figure 786698DEST_PATH_IMAGE012
个图像特征取平均，再对
Figure 484658DEST_PATH_IMAGE013
个图像特征取平均，最后计算两个取平均后的图像特征之间的归一化欧氏距离。另一种示例性计算方式是，分别计算
Figure 331392DEST_PATH_IMAGE012
个图像特征与
Figure 886132DEST_PATH_IMAGE013
个图像特征之间的欧氏距离，然后对这些欧氏距离进行取平均和归一化操作。
在步骤S103中，利用匈牙利算法对该相似度进行处理，获得第一图像中的每个目标在第二图像中的跟踪结果。
由于在步骤S102中能够获得第一图像中的任一待跟踪目标与第二图像中的任一待跟踪目标之间的相似度。那么，可以利用该相似度生成相似度矩阵
Figure 880633DEST_PATH_IMAGE014
，并利用匈牙利算法对该相似度矩阵进行处理，即可实现在第一图像与第二图像之间的多目标跟踪。
（二）根据图像的清晰度对图像进行保留或丢弃处理。
仍以跟踪行人为例，通过上一部分的多目标跟踪，可以得到视频中的行人轨迹。利用视频中的行人轨迹可以得到不同身份行人的图像序列。然后，通过对图片序列采样可以得到单摄像头下任一行人的图像，但是采样得到的图像可能面临如下的问题：1）该行人可能被其他行人或者物体严重遮挡，导致该行人的图像质量不佳；2）被跟踪的行人可能会走出摄像头拍摄区域，导致摄像头只拍摄到部分身体；3）行人由于运动不可避免地在图像中产生运动模糊；4）行人由于运动或者姿态变化，导致拍摄到的人脸质量很差。以上的情况都会导致拍摄到人脸和人体图像的质量较差，从而影响后续的人脸识别和行人重识别的性能。为此，本部分提出了对图像清晰度进行判断，保留图像质量较高的行人图像，丢弃图像质量较低的行人图像。通过提升训练机器学习模型所采用的行人图像的清晰度，本实施例能够进一步实现对目标的准确跟踪，从而提升视频监控的系统性能。下面结合图2进行详细介绍。
图2示出了本公开第二实施例的目标跟踪方法的流程示意图。如图2所示，本实施例包括步骤S201～步骤S206。
在步骤S201中，获取从任一摄像头拍摄的任一图像中检测到人体的概率、检测到人脸的概率、检测到每个人体关键点的概率以及检测到每个人脸关键点的概率。
对于上述任一图像，分别利用人体检测器和人脸检测器来检测人体和人脸，能够获得人体和人脸的检测框以及检测到行人和人脸的概率。假设检测到人体和人脸的概率分别为
Figure 506917DEST_PATH_IMAGE015
和
Figure 349102DEST_PATH_IMAGE016
，其中
Figure 86463DEST_PATH_IMAGE017
,
Figure 381309DEST_PATH_IMAGE018
。接着，利用人体关键点器得到人体的M个关键点的概率
Figure 732656DEST_PATH_IMAGE019
其中
Figure 429348DEST_PATH_IMAGE020
，M例如可以为13。同理，利用人脸关键点检测器得到人脸的N个关键点的概率分数
Figure 325891DEST_PATH_IMAGE021
，其中
Figure 232667DEST_PATH_IMAGE022
，N例如可以为68。由此，可以分别得到任一图像中检测到人体的概率
Figure 997492DEST_PATH_IMAGE015
、检测到人脸的概率
Figure 689635DEST_PATH_IMAGE016
、检测到每个人体关键点的概率
Figure 881713DEST_PATH_IMAGE023
以及检测到每个人脸关键点的概率
Figure 275786DEST_PATH_IMAGE024
。
在步骤S202中，根据检测到人体的概率、检测到每个人体关键点的概率，确定任一图像中的人体清晰度。
在一些实施例中，根据检测到每个人体关键点的概率，确定检测到人体关键点的平均概率
Figure 844301DEST_PATH_IMAGE025
。然后对检测到人体关键点的平均概率以及检测到人体的概率取平均，获得人体清晰度
Figure 125372DEST_PATH_IMAGE026
。
在步骤S203中，根据检测到人脸的概率、检测到每个人脸关键点的概率，确定任一图像中的人脸清晰度。
在一些实施例中，根据检测到每个人脸关键点的概率，确定检测到人脸关键点的平均概率
Figure 601267DEST_PATH_IMAGE027
。然后对检测到人脸关键点的平均概率以及检测到人脸的概率取平均，获得人脸清晰度
Figure 358001DEST_PATH_IMAGE028
。
在步骤S204中，分别判断人体清晰度以及人脸清晰度与预设值之间的数量关系。
在人体清晰度不小于预设值或人脸清晰度不小于预设值的情况下，即情况（1）
Figure 808836DEST_PATH_IMAGE029
或者
Figure 459260DEST_PATH_IMAGE030
，执行步骤S205。在步骤S205中，保留该任一图像。
在人体清晰度小于预设值且人脸清晰度小于预设值的情况下，即情况（2）
Figure 993141DEST_PATH_IMAGE031
且
Figure 440434DEST_PATH_IMAGE032
，执行步骤S206。在步骤S206中，丢弃该任一图像。
（三）确定各个待跟踪目标的图像序列。
由于行人可能被遮挡，导致跟踪到的行人可能出现身份切换的现象，即同一个身份的行人可能被识别为两三个不同的行人。这种情况会引起后续训练机器学习模型时出现错误。为此，发明人在本部分提出了基于聚类的方式对同一个行人的图像序列进行类内去噪的技术方案，实现了对初步跟踪到的同一个行人的图像序列的分离，从而进一步实现对目标的准确跟踪，从而提升视频监控的系统性能。
下面结合图3进行详细介绍。
图3示出了本公开第三实施例的目标跟踪方法的流程示意图。如图3所示，本实施例包括步骤S301～步骤S304。
在步骤S301中，对相同摄像头拍摄的任一待跟踪目标的图像序列进行聚类，获得任一待跟踪目标的聚类结果。
假设经过跟踪和质量判断后的任一行人的K张图像为
Figure 350752DEST_PATH_IMAGE033
，这K张图像中通常可能包含一到三个不同的行人。因此可以设计一个聚类中心点为三类的k-means聚类器对其聚类，得到三类不同身份的图像，分别定义为
Figure 871995DEST_PATH_IMAGE034
、
Figure 311197DEST_PATH_IMAGE035
和
Figure 636000DEST_PATH_IMAGE036
，这三类图像数目分别为
Figure 959796DEST_PATH_IMAGE037
、
Figure 991337DEST_PATH_IMAGE038
、
Figure 472214DEST_PATH_IMAGE039
。
在步骤S302中，确定聚类结果中的任意两类图像的图像特征之间的距离，作为第一距离。
例如，利用行人特征提取器对图像进行特征提取，三类行人图像的图像特征分别表示为
Figure 300624DEST_PATH_IMAGE040
、
Figure 552745DEST_PATH_IMAGE041
和
Figure 32268DEST_PATH_IMAGE042
。然后，分别计算第一类行人图像的图像特征和第二类行人图像的图像特征的平均距离
Figure 423060DEST_PATH_IMAGE043
、第一类行人图像的图像特征和第三类行人图像的图像特征的平均距离
Figure 988034DEST_PATH_IMAGE044
、第二类行人图像的图像特征和第三类行人图像的图像特征的平均距离
Figure 43845DEST_PATH_IMAGE045
。具体计算过程可以参见前文步骤S102中的内容，在此不做赘述。
在步骤S303中，将第一距离小于预设距离的任意两类图像合并。
例如，当
Figure 128607DEST_PATH_IMAGE046
时，合并第一类图像和第二类图像，否则分离第一类图像和第二类图像。同理，对
Figure 346093DEST_PATH_IMAGE044
和
Figure 70467DEST_PATH_IMAGE045
做相同的处理，最后实现对类内噪声的去除。
在步骤S304中，将合并后的图像组成的图像序列作为更新后任一待跟踪目标的图像序列。
身份切换还会导致同一个行人被识别两个不同的身份。同时，通过类内去噪得到的图像序列，还会使初步跟踪得到的同一个行人被进一步分离为两个身份或者三个身份。有鉴于此，发明人在本部分还提出了基于相似度的对不同行人的图像序列进行类间去噪的技术方案，实现了对初步跟踪到的不同行人的图像序列的合并，能够避免同一个行人被分配到不同的身份，从而进一步实现对目标的准确跟踪，从而提升视频监控的系统性能。下面进行详细介绍。
在一些实施例中，本实施例还包括步骤S305~步骤S307。
在步骤S305中，确定相同摄像头拍摄的各个待跟踪目标的聚类结果中的任意两类图像的图像特征之间的距离，作为第二距离。
假设在一段时间内，经过类内去噪后共有C个行人身份，每个行人身份有
Figure 523445DEST_PATH_IMAGE047
个样本。那么，可以计算不同行人身份图像的图像特征之间的距离，并得到C个行人身份之间的距离矩阵
Figure 852926DEST_PATH_IMAGE048
。
在步骤S306中，将第二距离小于预设距离的任意两类图像合并。
例如，仍根据
Figure 303630DEST_PATH_IMAGE049
来判断两个身份是否属于一个人。如果第二距离小于
Figure 785472DEST_PATH_IMAGE049
，那么合并这两个身份为同一个行人身份，否则仍认定这两个身份为不同的行人身份。
在步骤S307中，将合并后的图像组成的图像序列作为更新后相同摄像头拍摄的各个待跟踪目标的图像序列。
（四）利用不同摄像头拍摄的图像对目标进行跟踪。
经过前几个部分的处理后，目前可以获得单摄像头下目标的图片序列。本部分提出了基于时空关系和相似度的跨摄像头身份融合的技术方案，旨在将标识不同摄像头下相同的目标，从而避免造成行人的跟丢，进一步实现对目标的准确跟踪，提升视频监控的系统性能。下面结合图4进行详细介绍。
图4示出了本公开第四实施例的目标跟踪方法的流程示意图。如图4所示，本实施例包括步骤S301～步骤S404。
在步骤S401中，根据第一摄像头的拍摄区域与第二摄像头的拍摄区域之间的位置关系、预设目标的运动速度以及第一摄像头拍摄到预设目标的时间，确定第二摄像头拍摄到预设目标的预测时间。
在一些实施例中，预设目标的运动速度为预设目标的运动速度区间，预测时间为第二摄像头拍摄到预设目标的预测时间区间。
利用摄像头的之间的拓扑结构，可以估计不同摄像头的拍摄区域之间的距离以及行人在拍摄区域内的运动速度，从而预测不同摄像头之间相同身份的行人可能会出现的时间。假设摄像头
Figure 42141DEST_PATH_IMAGE050
到摄像头
Figure 101495DEST_PATH_IMAGE051
之间的距离为
Figure 926362DEST_PATH_IMAGE052
，行人一般的行走或者跑步速度介于
Figure 94170DEST_PATH_IMAGE053
，那么行人从摄像头
Figure 888950DEST_PATH_IMAGE050
运动至摄像头
Figure 537232DEST_PATH_IMAGE051
所需的时间为
Figure 860897DEST_PATH_IMAGE054
。因此，要在摄像头
Figure 125787DEST_PATH_IMAGE050
到摄像头
Figure 865204DEST_PATH_IMAGE051
之间跟踪相同身份的行人，只需要在
Figure 882839DEST_PATH_IMAGE054
之间的时间内检索相同行人身份的图片。
在步骤S402中，从第一摄像头拍摄的预设目标的图像序列中，提取预设目标的图像特征。
在一些实施例中，预设目标的图像特征包括第一摄像头拍摄的预设人物的图像序列中每个图像的人脸特征和人体特征。
在步骤S403中，从第二摄像头在预测时间拍摄的各个待匹配目标的图像序列中，分别提取各个待匹配目标的图像特征。
在一些实施例中，各个待匹配目标的图像特征包括第二摄像头在预测时间拍摄的各个待匹配人物的图像序列中每个图像的人脸特征和人体特征。
假设摄像头
Figure 315088DEST_PATH_IMAGE055
中待检索的图像序列为
Figure 547835DEST_PATH_IMAGE056
，以摄像头
Figure 418839DEST_PATH_IMAGE055
为0时刻计算，在
Figure 510554DEST_PATH_IMAGE054
这段时间内检索摄像头
Figure 972759DEST_PATH_IMAGE051
中的图像序列。假设在
Figure 71297DEST_PATH_IMAGE054
这段时间摄像头
Figure 949254DEST_PATH_IMAGE051
中有
Figure 426634DEST_PATH_IMAGE057
个不同的行人身份并定义为
Figure 200686DEST_PATH_IMAGE058
。利用人脸特征提取器和人体特征提取器，分别提取
Figure 645574DEST_PATH_IMAGE056
和
Figure 61643DEST_PATH_IMAGE059
的人脸特征和人体特征。
在步骤S404中，针对每个待匹配目标，在待匹配目标的图像特征与预设目标的图像特征之间的距离小于预设距离的情况下，标记该待匹配目标为预设目标。
在一些实施例中，该距离为待匹配目标的图像特征与预设目标的图像特征之间的平均欧式距离。
例如，可以采用步骤S102中的方式计算图片序列
Figure 49321DEST_PATH_IMAGE056
与图片序列
Figure 604062DEST_PATH_IMAGE060
之间的距离
Figure 196631DEST_PATH_IMAGE061
。如果
Figure 619653DEST_PATH_IMAGE061
小于
Figure 320893DEST_PATH_IMAGE049
，则可以将图片序列
Figure 46534DEST_PATH_IMAGE060
对应的行人身份标记为图片序列
Figure 934856DEST_PATH_IMAGE056
对应的行人身份，并将图片序列
Figure 161569DEST_PATH_IMAGE060
合并至图片序列
Figure 530365DEST_PATH_IMAGE056
。按此原理，可以在各个摄像头中标识出相同的行人身份。
（五）对拍摄的图像进行多样性处理。
在做行人跟踪的时候，不可避免地采样到多张相似的行人图像。这些相似度较高的冗余的行人图像，不会提升所训练机器学习模型的性能，但会增加机器学习模型训练任务所需要的时间。为了既能保证所训练机器学习模型的性能，又能提高机器学习模型的训练效率，本部分提出了基于二次聚类的对拍摄图像进行多样性处理的技术方案。下面结合图5进行详细介绍。
图5示出了本公开第五实施例的目标跟踪方法的流程示意图。如图5所示，本实施例包括步骤S501～步骤S504。
在步骤S501中，对相同摄像头拍摄的预设目标的图像序列进行第一次聚类，获得第一聚类结果。
假设同一个行人身份的所有图像是从多个摄像头采集得到的。相同摄像头拍摄到的该行人身份的图像的差异性比较小，因此将相同摄像头下的该行人身份的图像进行聚类。例如，采用k-means聚类方法将相同行人身份的图像序列被分成了C类。
在步骤S502中，对第一聚类结果中的每一类图像进行第二次聚类，获得第二聚类结果。
例如，采用DBSCAN（Density-Based Spatial Clustering of Applications withNoise，具有噪声的基于密度的聚类方法）对每一类的图像再次进行聚类，假设可以得到
Figure 223645DEST_PATH_IMAGE062
类图像。
在步骤S503中，从第二聚类结果中的每一类图像中随机采样一张图像，得到每个拍摄镜头拍摄的预设目标的样本图像。
从C大类图像中的每一
Figure 881154DEST_PATH_IMAGE063
小类的图像中，随机采样一张图像，其余的图像丢弃。那么，通过k-means和DBSCAN的两次聚类，同一个行人身份可以得到
Figure 645979DEST_PATH_IMAGE064
张图像。
在步骤S504中，利用标注了预设目标的样本图像，训练机器学习模型。
至此，上述五个部分分别介绍完毕。通过以上五个部分的实施例可知，本公开能够实现对实际监控场景中既有人脸又有人体的图像数据集进行联合自动标注，从而快速自动的获取实际监控场景中大量的人脸人体数据，以投入对机器学习模型的训练，从而实现对目标的准确跟踪并提升视频监控的系统性能。
下面结合图6描述本公开目标跟踪装置的一些实施例。这些实施例能够实现对目标的准确跟踪，从而提升视频监控的系统性能。
图6示出了本公开一些实施例的目标跟踪装置的结构示意图。如图6所示，本实施例中的目标跟踪装置60包括：时间预测模块601，被配置为根据第一摄像头的拍摄区域与第二摄像头的拍摄区域之间的位置关系、预设目标的运动速度以及第一摄像头拍摄到预设目标的时间，确定第二摄像头拍摄到预设目标的预测时间；特征提取模块602，被配置为：从第一摄像头拍摄的预设目标的图像序列中，提取预设目标的图像特征；从第二摄像头在预测时间拍摄的各个待匹配目标的图像序列中，分别提取各个待匹配目标的图像特征；目标标记模块603，被配置为：针对每个待匹配目标，在待匹配目标的图像特征与预设目标的图像特征之间的距离小于预设距离的情况下，标记该待匹配目标为预设目标。
在一些实施例中，预设目标的运动速度为预设目标的运动速度区间，预测时间为第二摄像头拍摄到预设目标的预测时间区间。
在一些实施例中，预设目标的图像特征包括第一摄像头拍摄的预设人物的图像序列中每个图像的人脸特征和人体特征；各个待匹配目标的图像特征包括第二摄像头在预测时间拍摄的各个待匹配人物的图像序列中每个图像的人脸特征和人体特征；距离为待匹配目标的图像特征与预设目标的图像特征之间的平均欧式距离。
在一些实施例中，目标跟踪装置60还包括模型训练模块6004，被配置为：对相同摄像头拍摄的预设目标的图像序列进行第一次聚类，获得第一聚类结果；对第一聚类结果中的每一类图像进行第二次聚类，获得第二聚类结果；从第二聚类结果中的每一类图像中随机采样一张图像，得到每个拍摄镜头拍摄的预设目标的样本图像；利用标注了预设目标的样本图像，训练机器学习模型。
在一些实施例中，目标跟踪装置60还包括目标跟踪模块6001，被配置为：从相同摄像头拍摄的第一图像和第二图像中，分别获取每个待跟踪目标的检测框坐标信息和图像特征；根据检测框坐标信息和图像特征，确定第一图像中的每个待跟踪目标与第二图像中的每个待跟踪目标之间的相似度；利用匈牙利算法对相似度进行处理，获得第一图像中的每个目标在第二图像中的跟踪结果。
在一些实施例中，目标跟踪模块6001被配置为：根据第一待跟踪目标及第二待跟踪目标的检测框坐标信息，确定第一待跟踪目标与第二待跟踪目标之间的交并比，第一待跟踪目标为第一图像中的任一待跟踪目标，第二跟踪目标为第二图像中的任一待跟踪目标；确定第一待跟踪目标的图像特征与第二待跟踪目标的图像特征之间归一化距离；对交并比以及归一化距离进行融合，获得第一待跟踪目标与第二待跟踪目标之间的相似度。
在一些实施例中，目标跟踪装置60还包括清晰度判别模块6002，被配置为：获取从任一摄像头拍摄的任一图像中检测到人体的概率、检测到人脸的概率、检测到每个人体关键点的概率以及检测到每个人脸关键点的概率；根据检测到人体的概率、检测到每个人体关键点的概率，确定任一图像中的人体清晰度；根据检测到人脸的概率、检测到每个人脸关键点的概率，确定任一图像中的人脸清晰度；在人体清晰度不小于预设值或人脸清晰度不小于预设值的情况下，保留任一图像；在人体清晰度小于预设值且人脸清晰度小于预设值的情况下，丢弃任一图像。
在一些实施例中，清晰度判别模块6002被配置为：根据检测到每个人体关键点的概率，确定检测到人体关键点的平均概率；对检测到人体关键点的平均概率以及检测到人体的概率取平均，获得人体清晰度；据检测到每个人脸关键点的概率，确定检测到人脸关键点的平均概率；对检测到人脸关键点的平均概率以及检测到人脸的概率取平均，获得人脸清晰度。
在一些实施例中，目标跟踪装置60还包括图像序列更新模块6003，被配置为：对相同摄像头拍摄的任一待跟踪目标的图像序列进行聚类，获得任一待跟踪目标的聚类结果；确定聚类结果中的任意两类图像的图像特征之间的距离，作为第一距离；将第一距离小于预设距离的任意两类图像合并；将合并后的图像组成的图像序列作为更新后任一待跟踪目标的图像序列。
在一些实施例中，图像序列更新模块6003还被配置为：确定相同摄像头拍摄的各个待跟踪目标的聚类结果中的任意两类图像的图像特征之间的距离，作为第二距离；将第二距离小于预设距离的任意两类图像合并；将合并后的图像组成的图像序列作为更新后相同摄像头拍摄的各个待跟踪目标的图像序列。
下面结合图7描述本公开目标跟踪装置的另一些实施例。
图7示出了本公开另一些实施例的目标跟踪装置的结构示意图。如图7所示，该实施例的目标跟踪装置70包括：存储器710以及耦接至该存储器710的处理器720，处理器720被配置为基于存储在存储器710中的指令，执行前述任意一些实施例中的目标跟踪方法。
其中，存储器710例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序（Boot Loader）以及其他程序等。
目标跟踪装置70还可以包括输入输出接口730、网络接口740、存储接口750等。这些接口730、740、750以及存储器710和处理器720之间例如可以通过总线760连接。其中，输入输出接口730为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口740为各种联网设备提供连接接口。存储接口750为SD卡、U盘等外置存储设备提供连接接口。
本公开还包括一种非瞬时性计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现前述任意一些实施例中的目标跟踪方法。
本公开是参照根据本公开实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的较佳实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (22)

1.一种目标跟踪方法，包括：
根据第一摄像头的拍摄区域与第二摄像头的拍摄区域之间的位置关系、预设目标的运动速度以及第一摄像头拍摄到预设目标的时间，确定第二摄像头拍摄到预设目标的预测时间；
从第一摄像头拍摄的预设目标的图像序列中，提取预设目标的图像特征；
从第二摄像头在所述预测时间拍摄的各个待匹配目标的图像序列中，分别提取各个待匹配目标的图像特征；
针对每个待匹配目标，在待匹配目标的图像特征与预设目标的图像特征之间的距离小于预设距离的情况下，标记该待匹配目标为预设目标。
2.根据权利要求1所述的目标跟踪方法，其中，所述预设目标的运动速度为预设目标的运动速度区间，所述预测时间为第二摄像头拍摄到预设目标的预测时间区间。
3.根据权利要求1所述的目标跟踪方法，其中，
所述预设目标的图像特征包括第一摄像头拍摄的预设人物的图像序列中每个图像的人脸特征和人体特征；
所述各个待匹配目标的图像特征包括第二摄像头在所述预测时间拍摄的各个待匹配人物的图像序列中每个图像的人脸特征和人体特征；
所述距离为待匹配目标的图像特征与预设目标的图像特征之间的平均欧式距离。
4.根据权利要求1所述的目标跟踪方法，还包括：
对相同摄像头拍摄的预设目标的图像序列进行第一次聚类，获得第一聚类结果；
对第一聚类结果中的每一类图像进行第二次聚类，获得第二聚类结果；
从第二聚类结果中的每一类图像中随机采样一张图像，得到每个拍摄镜头拍摄的预设目标的样本图像；
利用标注了预设目标的所述样本图像，训练机器学习模型。
5.根据权利要求1所述的目标跟踪方法，还包括：
从相同摄像头拍摄的第一图像和第二图像中，分别获取每个待跟踪目标的检测框坐标信息和图像特征；
根据所述检测框坐标信息和图像特征，确定第一图像中的每个待跟踪目标与第二图像中的每个待跟踪目标之间的相似度；
利用匈牙利算法对所述相似度进行处理，获得第一图像中的每个目标在第二图像中的跟踪结果。
6.根据权利要求5所述的目标跟踪方法，其中，所述根据所述检测框坐标信息和图像特征，确定第一图像中的每个待跟踪目标与第二图像中的每个待跟踪目标之间的相似度包括：
根据第一待跟踪目标及第二待跟踪目标的检测框坐标信息，确定第一待跟踪目标与第二待跟踪目标之间的交并比，第一待跟踪目标为第一图像中的任一待跟踪目标，第二跟踪目标为第二图像中的任一待跟踪目标；
确定第一待跟踪目标的图像特征与第二待跟踪目标的图像特征之间归一化距离；
对所述交并比以及所述归一化距离进行融合，获得第一待跟踪目标与第二待跟踪目标之间的相似度。
7.根据权利要求1所述的目标跟踪方法，还包括：
获取从任一摄像头拍摄的任一图像中检测到人体的概率、检测到人脸的概率、检测到每个人体关键点的概率以及检测到每个人脸关键点的概率；
根据检测到人体的概率、检测到每个人体关键点的概率，确定所述任一图像中的人体清晰度；
根据检测到人脸的概率、检测到每个人脸关键点的概率，确定所述任一图像中的人脸清晰度；
在所述人体清晰度不小于预设值或所述人脸清晰度不小于预设值的情况下，保留所述任一图像；
在所述人体清晰度小于预设值且所述人脸清晰度小于预设值的情况下，丢弃所述任一图像。
8.根据权利要求7所述的目标跟踪方法，其中，
所述根据检测到人体的概率、检测到每个人体关键点的概率，确定所述任一图像中的人体清晰度包括：根据检测到每个人体关键点的概率，确定检测到人体关键点的平均概率；对检测到人体关键点的平均概率以及检测到人体的概率取平均，获得所述人体清晰度；
所述根据检测到人脸的概率、检测到每个人脸关键点的概率，确定所述任一图像中的人脸清晰度包括：根据检测到每个人脸关键点的概率，确定检测到人脸关键点的平均概率；对检测到人脸关键点的平均概率以及检测到人脸的概率取平均，获得所述人脸清晰度。
9.根据权利要求1所述的目标跟踪方法，还包括：
对相同摄像头拍摄的任一待跟踪目标的图像序列进行聚类，获得任一待跟踪目标的聚类结果；
确定所述聚类结果中的任意两类图像的图像特征之间的距离，作为第一距离；
将所述第一距离小于预设距离的所述任意两类图像合并；
将合并后的图像组成的图像序列作为更新后所述任一待跟踪目标的图像序列。
10.根据权利要求9所述的目标跟踪方法，还包括：
确定相同摄像头拍摄的各个待跟踪目标的所述聚类结果中的任意两类图像的图像特征之间的距离，作为第二距离；
将所述第二距离小于预设距离的任意两类图像合并；
将合并后的图像组成的图像序列作为更新后相同摄像头拍摄的各个待跟踪目标的图像序列。
11.一种目标跟踪装置，包括：
时间预测模块，被配置为根据第一摄像头的拍摄区域与第二摄像头的拍摄区域之间的位置关系、预设目标的运动速度以及第一摄像头拍摄到预设目标的时间，确定第二摄像头拍摄到预设目标的预测时间；
特征提取模块，被配置为：从第一摄像头拍摄的预设目标的图像序列中，提取预设目标的图像特征；从第二摄像头在所述预测时间拍摄的各个待匹配目标的图像序列中，分别提取各个待匹配目标的图像特征；
目标标记模块，被配置为：针对每个待匹配目标，在待匹配目标的图像特征与预设目标的图像特征之间的距离小于预设距离的情况下，标记该待匹配目标为预设目标。
12.根据权利要求11所述的目标跟踪装置，其中，所述预设目标的运动速度为预设目标的运动速度区间，所述预测时间为第二摄像头拍摄到预设目标的预测时间区间。
13.根据权利要求11所述的目标跟踪装置，其中，
所述预设目标的图像特征包括第一摄像头拍摄的预设人物的图像序列中每个图像的人脸特征和人体特征；
所述各个待匹配目标的图像特征包括第二摄像头在所述预测时间拍摄的各个待匹配人物的图像序列中每个图像的人脸特征和人体特征；
所述距离为待匹配目标的图像特征与预设目标的图像特征之间的平均欧式距离。
14.根据权利要求11所述的目标跟踪装置，还包括模型训练模块，被配置为：
对相同摄像头拍摄的预设目标的图像序列进行第一次聚类，获得第一聚类结果；
对第一聚类结果中的每一类图像进行第二次聚类，获得第二聚类结果；
从第二聚类结果中的每一类图像中随机采样一张图像，得到每个拍摄镜头拍摄的预设目标的样本图像；
利用标注了预设目标的所述样本图像，训练机器学习模型。
15.根据权利要求11所述的目标跟踪装置，还包括目标跟踪模块，被配置为：
从相同摄像头拍摄的第一图像和第二图像中，分别获取每个待跟踪目标的检测框坐标信息和图像特征；
根据所述检测框坐标信息和图像特征，确定第一图像中的每个待跟踪目标与第二图像中的每个待跟踪目标之间的相似度；
利用匈牙利算法对所述相似度进行处理，获得第一图像中的每个目标在第二图像中的跟踪结果。
16.根据权利要求15所述的目标跟踪装置，其中，所述目标跟踪模块被配置为：
根据第一待跟踪目标及第二待跟踪目标的检测框坐标信息，确定第一待跟踪目标与第二待跟踪目标之间的交并比，第一待跟踪目标为第一图像中的任一待跟踪目标，第二跟踪目标为第二图像中的任一待跟踪目标；
确定第一待跟踪目标的图像特征与第二待跟踪目标的图像特征之间归一化距离；
对所述交并比以及所述归一化距离进行融合，获得第一待跟踪目标与第二待跟踪目标之间的相似度。
17.根据权利要求11所述的目标跟踪装置，还包括清晰度判别模块，被配置为：
获取从任一摄像头拍摄的任一图像中检测到人体的概率、检测到人脸的概率、检测到每个人体关键点的概率以及检测到每个人脸关键点的概率；
根据检测到人体的概率、检测到每个人体关键点的概率，确定所述任一图像中的人体清晰度；
根据检测到人脸的概率、检测到每个人脸关键点的概率，确定所述任一图像中的人脸清晰度；
在所述人体清晰度不小于预设值或所述人脸清晰度不小于预设值的情况下，保留所述任一图像；
在所述人体清晰度小于预设值且所述人脸清晰度小于预设值的情况下，丢弃所述任一图像。
18.根据权利要求17所述的目标跟踪装置，其中，所述清晰度判别模块被配置为：
根据检测到每个人体关键点的概率，确定检测到人体关键点的平均概率；对检测到人体关键点的平均概率以及检测到人体的概率取平均，获得所述人体清晰度；
据检测到每个人脸关键点的概率，确定检测到人脸关键点的平均概率；对检测到人脸关键点的平均概率以及检测到人脸的概率取平均，获得所述人脸清晰度。
19.根据权利要求11所述的目标跟踪装置，还包括图像序列更新模块，被配置为：
对相同摄像头拍摄的任一待跟踪目标的图像序列进行聚类，获得任一待跟踪目标的聚类结果；
确定所述聚类结果中的任意两类图像的图像特征之间的距离，作为第一距离；
将所述第一距离小于预设距离的所述任意两类图像合并；
将合并后的图像组成的图像序列作为更新后所述任一待跟踪目标的图像序列。
20.根据权利要求19所述的目标跟踪装置，其中，所述图像序列更新模块还被配置为：
确定相同摄像头拍摄的各个待跟踪目标的所述聚类结果中的任意两类图像的图像特征之间的距离，作为第二距离；
将所述第二距离小于预设距离的任意两类图像合并；
将合并后的图像组成的图像序列作为更新后相同摄像头拍摄的各个待跟踪目标的图像序列。
21.一种目标跟踪装置，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1至10中任一项所述的目标跟踪方法。
22.一种非瞬时性计算机可读存储介质，其中，所述非瞬时性计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如权利要求1至10中任一项所述的目标跟踪方法。
CN202011326653.0A 2020-11-24 2020-11-24 目标跟踪方法、目标跟踪装置及计算机可读存储介质 Pending CN112149762A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011326653.0A CN112149762A (zh) 2020-11-24 2020-11-24 目标跟踪方法、目标跟踪装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011326653.0A CN112149762A (zh) 2020-11-24 2020-11-24 目标跟踪方法、目标跟踪装置及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN112149762A true CN112149762A (zh) 2020-12-29

Family

ID=73887242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011326653.0A Pending CN112149762A (zh) 2020-11-24 2020-11-24 目标跟踪方法、目标跟踪装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112149762A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112783180A (zh) * 2020-12-31 2021-05-11 中国水产科学研究院南海水产研究所 一种多视角伪装式水下生物识别系统及方法
CN113450390A (zh) * 2021-09-01 2021-09-28 智道网联科技(北京)有限公司 一种基于路侧摄像头的目标跟踪方法、装置及电子设备
CN113450389A (zh) * 2021-09-01 2021-09-28 智道网联科技(北京)有限公司 一种目标跟踪方法、装置及电子设备
CN113762093A (zh) * 2021-08-18 2021-12-07 北京格灵深瞳信息技术股份有限公司 跑道冲刺计时方法、装置、电子设备和存储介质
CN113792606A (zh) * 2021-08-18 2021-12-14 清华大学 基于多目标追踪的低成本自监督行人重识别模型构建方法
CN117437157A (zh) * 2023-10-16 2024-01-23 无锡远传融创科技有限公司 一种基于监控视频数据的图像处理方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446797A (zh) * 2016-08-31 2017-02-22 腾讯科技（深圳）有限公司 图像聚类方法及装置
CN107679490A (zh) * 2017-09-29 2018-02-09 百度在线网络技术（北京）有限公司 用于检测图像质量的方法和装置
CN109325967A (zh) * 2018-09-14 2019-02-12 腾讯科技（深圳）有限公司 目标跟踪方法、装置、介质以及设备
CN110288627A (zh) * 2019-05-22 2019-09-27 江苏大学 一种基于深度学习和数据关联的在线多目标跟踪方法
CN110991283A (zh) * 2019-11-21 2020-04-10 北京格灵深瞳信息技术有限公司 重识别及训练数据获取方法、装置、电子设备及存储介质
CN111062239A (zh) * 2019-10-15 2020-04-24 平安科技（深圳）有限公司 人体目标检测方法、装置、计算机设备及存储介质
CN111126159A (zh) * 2019-11-28 2020-05-08 重庆中星微人工智能芯片技术有限公司 用于实时跟踪行人的方法、装置、电子设备和介质
CN111581385A (zh) * 2020-05-06 2020-08-25 西安交通大学 一种不平衡数据采样的中文文本类别识别系统及方法
CN111709473A (zh) * 2020-06-16 2020-09-25 腾讯科技（深圳）有限公司 对象特征的聚类方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446797A (zh) * 2016-08-31 2017-02-22 腾讯科技（深圳）有限公司 图像聚类方法及装置
CN107679490A (zh) * 2017-09-29 2018-02-09 百度在线网络技术（北京）有限公司 用于检测图像质量的方法和装置
CN109325967A (zh) * 2018-09-14 2019-02-12 腾讯科技（深圳）有限公司 目标跟踪方法、装置、介质以及设备
CN110288627A (zh) * 2019-05-22 2019-09-27 江苏大学 一种基于深度学习和数据关联的在线多目标跟踪方法
CN111062239A (zh) * 2019-10-15 2020-04-24 平安科技（深圳）有限公司 人体目标检测方法、装置、计算机设备及存储介质
CN110991283A (zh) * 2019-11-21 2020-04-10 北京格灵深瞳信息技术有限公司 重识别及训练数据获取方法、装置、电子设备及存储介质
CN111126159A (zh) * 2019-11-28 2020-05-08 重庆中星微人工智能芯片技术有限公司 用于实时跟踪行人的方法、装置、电子设备和介质
CN111581385A (zh) * 2020-05-06 2020-08-25 西安交通大学 一种不平衡数据采样的中文文本类别识别系统及方法
CN111709473A (zh) * 2020-06-16 2020-09-25 腾讯科技（深圳）有限公司 对象特征的聚类方法及装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112783180A (zh) * 2020-12-31 2021-05-11 中国水产科学研究院南海水产研究所 一种多视角伪装式水下生物识别系统及方法
CN113762093A (zh) * 2021-08-18 2021-12-07 北京格灵深瞳信息技术股份有限公司 跑道冲刺计时方法、装置、电子设备和存储介质
CN113792606A (zh) * 2021-08-18 2021-12-14 清华大学 基于多目标追踪的低成本自监督行人重识别模型构建方法
CN113792606B (zh) * 2021-08-18 2024-04-26 清华大学 基于多目标追踪的低成本自监督行人重识别模型构建方法
CN113450390A (zh) * 2021-09-01 2021-09-28 智道网联科技(北京)有限公司 一种基于路侧摄像头的目标跟踪方法、装置及电子设备
CN113450389A (zh) * 2021-09-01 2021-09-28 智道网联科技(北京)有限公司 一种目标跟踪方法、装置及电子设备
CN117437157A (zh) * 2023-10-16 2024-01-23 无锡远传融创科技有限公司 一种基于监控视频数据的图像处理方法

Similar Documents

Publication Publication Date Title
CN112149762A (zh) 目标跟踪方法、目标跟踪装置及计算机可读存储介质
Xiao et al. End-to-end deep learning for person search
US11393103B2 (en) Target tracking method, device, system and non-transitory computer readable medium
Smeulders et al. Visual tracking: An experimental survey
CN110555901B (zh) 动静态场景的定位和建图方法、装置、设备和存储介质
Ramanan et al. Strike a pose: Tracking people by finding stylized poses
WO2016034059A1 (zh) 基于颜色-结构特征的目标对象跟踪方法
Rios-Cabrera et al. Efficient multi-camera vehicle detection, tracking, and identification in a tunnel surveillance application
CN107145862B (zh) 一种基于霍夫森林的多特征匹配多目标跟踪方法
Lee et al. Place recognition using straight lines for vision-based SLAM
Mikolajczyk et al. Action recognition with appearance–motion features and fast search trees
Zhang et al. Coarse-to-fine object detection in unmanned aerial vehicle imagery using lightweight convolutional neural network and deep motion saliency
Aghaei et al. Multi-face tracking by extended bag-of-tracklets in egocentric photo-streams
Kang et al. Detection and recognition of text embedded in online images via neural context models
Dai et al. A survey of detection-based video multi-object tracking
Ashrafee et al. Real-time bangla license plate recognition system for low resource video-based applications
CN116311063A (zh) 监控视频下基于人脸识别的人员细粒度跟踪方法及系统
Pairo et al. A delay-free and robust object tracking approach for robotics applications
Yeh et al. Fast medium-scale multiperson identification in aerial videos
Chen et al. Tracking and identification of ice hockey players
JP6539720B1 (ja) 画像処理装置
Ghimire et al. Online sequential extreme learning machine-based co-training for dynamic moving cast shadow detection
CN111325135A (zh) 一种基于深度学习特征模板匹配的在线实时行人跟踪新方法
CN113223060B (zh) 基于数据共享的多智能体协同跟踪方法、装置及存储介质
WO2014094284A1 (en) Learning an adaptive threshold and correcting tracking error for face registration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201229

RJ01 Rejection of invention patent application after publication