CN111161320B - 一种目标跟踪方法、目标跟踪装置及计算机可读介质 - Google Patents

一种目标跟踪方法、目标跟踪装置及计算机可读介质 Download PDF

Info

Publication number
CN111161320B
CN111161320B CN201911399545.3A CN201911399545A CN111161320B CN 111161320 B CN111161320 B CN 111161320B CN 201911399545 A CN201911399545 A CN 201911399545A CN 111161320 B CN111161320 B CN 111161320B
Authority
CN
China
Prior art keywords
tracking
human body
frame
information
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911399545.3A
Other languages
English (en)
Other versions
CN111161320A (zh
Inventor
汪志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201911399545.3A priority Critical patent/CN111161320B/zh
Publication of CN111161320A publication Critical patent/CN111161320A/zh
Application granted granted Critical
Publication of CN111161320B publication Critical patent/CN111161320B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种目标跟踪方法、目标跟踪装置及计算机可读介质，以改善现有技术中的目标跟踪方法，在跟踪对象的姿态信息发生较大变化时，容易造成跟踪对象丢失，检测结果的不稳定的问题。所述目标跟踪方法，包括：确定跟踪对象的第一跟踪信息与多个检测对象对应的多个第一检测信息的匹配性，以及确定第二跟踪信息与多个所述检测对象对应的多个第二检测信息的匹配性；确定所述第一跟踪信息与多个所述第一检测信息均不匹配，且存在与所述第二跟踪信息匹配的所述第二检测信息时，调取第一跟踪框信息与第二跟踪框信息的绑定关系；调取第一标识信息，以及调取第二标识信息；根据所述第一标识信息和所述第二标识信息，确定所述跟踪对象的绑定标识信息。

Description

一种目标跟踪方法、目标跟踪装置及计算机可读介质
技术领域
本发明涉及智能视频分析领域，尤其涉及一种目标跟踪方法、目标跟踪装置及计算机可读介质。
背景技术
多目标跟踪一直是计算机视觉领域的基础课题之一，其广泛应用于智能视频监控、自动驾驶、目标行为分析等领域。多目标跟踪算法的主要任务是对视频中多个目标进行定位，维护目标标识(ID)信息，以弥补视觉目标检测的不足，去除误检，增加遗漏的检测，为进一步的行为分析提供基础。
目前，多目标跟踪技术仍然存在一些问题，目标之间的频繁遮挡，表观信息的巨大变化都很容易造成目标ID丢失、交换导致错误跟踪的问题。尤其在智慧金融和监所场景下，为了应对突发事件，需要跟踪技术重点关注突发的异常情况，如目标突然跌倒，弯腰，接近后剧烈运动，其姿态信息会发生巨大变化，造成检测结果的不稳定，而大多数跟踪技术在这种检测异常不稳定的情况下效果很难保证。
发明内容
本发明提供一种目标跟踪方法、目标跟踪装置及计算机可读介质，以改善现有技术中的目标跟踪方法，在跟踪对象的姿态信息发生较大变化时，容易造成跟踪对象丢失，检测结果的不稳定的问题。
本发明实施例提供一种目标跟踪方法，包括：
确定根据上一图像帧获取的跟踪对象的第一跟踪信息与根据当前图像帧获取的多个检测对象对应的多个第一检测信息的匹配性，以及确定根据所述上一图像帧获取的所述跟踪对象的第二跟踪信息与根据所述当前图像帧获取的多个所述检测对象对应的多个第二检测信息的匹配性，其中，所述第一检测信息、所述第一跟踪信息为与第一身体部位对应的信息，所述第二检测信息、所述第二跟踪信息为与第二身体部位对应的信息；
确定所述第一跟踪信息与多个所述第一检测信息均不匹配，且存在与所述第二跟踪信息匹配的所述第二检测信息时，调取预存的所述跟踪对象的第一跟踪框信息与第二跟踪框信息的绑定关系，其中，所述第一跟踪框信息为与所述第一身体部位对应的信息，所述第二跟踪框信息为与所述第二身体部位对应的信息；
根据所述绑定关系，调取与所述第一跟踪框信息对应的第一标识信息，以及调取与所述第二跟踪框信息对应的第二标识信息，其中，所述第一标识信息为与所述第一身体部位对应的标识信息，所述第二标识信息为与所述第二身体部位对应的标识信息；
根据所述第一标识信息和所述第二标识信息，确定所述跟踪对象的绑定标识信息，并将所述绑定标识信息作为所述跟踪对象的输出标识信息。
在一种可能的实施方式中，所述目标跟踪方法还包括：
确定存在与所述第一跟踪信息匹配的所述第一检测信息，且存在与所述第二跟踪信息匹配的所述第二检测信息时，建立所述跟踪对象的所述第一跟踪框信息与所述第二跟踪信息框的所述绑定关系。
在一种可能的实施方式中，所述建立所述跟踪对象的第一跟踪框信息与第二跟踪框信息的所述绑定关系，包括：
遍历所有所述跟踪对象的所述第一跟踪框信息，确定每一所述跟踪对象的所述第一跟踪框信息与所有所述跟踪对象的所述第二跟踪框信息的匹配度；
获取所述匹配度大于预设匹配度的所述第一跟踪框信息和所述第二跟踪框信息。
在一种可能的实施方式中，所述第一跟踪框信息为包括第一跟踪框，所述第二跟踪框信息包括第二跟踪框；
所述确定每一所述跟踪对象的所述第一跟踪框信息与所有所述跟踪对象的所述第二跟踪框信息的匹配度，包括：每一所述跟踪对象的所述第一跟踪框与所有所述跟踪对象的所述第二跟踪框的边界框交并比。
在一种可能的实施方式中，所述根据所述第一标识信息和所述第二标识信息，确定所述跟踪对象的绑定标识信息，包括：
确定由初始图像帧到当前图像帧中，所述第一检测信息与所述第一跟踪信息匹配成功的第一历史帧数，以及所述第二检测信息与所述第二跟踪信息匹配成功的第二历史帧数；
判断所述第一历史帧数是否大于所述第二历史帧数，若是，确定所述第一标识信息作为所述绑定标识信息，否则，确定所述第二标识信息作为所述绑定标识信息。
在一种可能的实施方式中，在确定根据上一图像帧获取的跟踪对象的第一跟踪信息与根据当前图像帧获取的多个检测对象对应的多个第一检测信息的匹配性，以及确定根据所述上一图像帧获取的所述跟踪对象第二跟踪信息与根据所述当前图像帧获取的多个所述检测对象对应的多个的第二检测信息的匹配性之前，所述目标跟踪方法还包括：
根据当前图像帧，通过深度学习目标检测算法获取所述检测对象的人体检测框和头肩检测框，以及通过人体姿态网络算法获取所述检测对象的人体关键点和人体部位关联向量；
根据上一图像帧，获取与多个所述跟踪对象的一一对应的人体跟踪框和头肩跟踪框，以及获取与多个所述跟踪对象的一一对应的人体跟踪关键点信息和人体部位跟踪关联向量信息。
在一种可能的实施方式中，所述确定根据上一图像帧获取的跟踪对象的第一跟踪信息与根据当前图像帧获取的多个检测对象对应的多个第一检测信息的匹配性，包括：
确定所述跟踪对象的所述人体跟踪框与每一所述检测对象的所述人体检测框的人体边界框相似度；
确定所述跟踪对象的所述人体部位跟踪关联向量与每一所述检测对象的所述人体部位关联向量的人体关联向量相似度；
根据多个所述人体边界框相似度和多个所述人体关联向量相似度，确定第一人体相似度匹配矩阵；
通过匈牙利算法对所述第一人体相似度匹配矩阵进行最优化匹配计算。
在一种可能的实施方式中，所述确定所述跟踪对象的所述人体跟踪框与每一所述检测对象的所述人体检测框的人体边界框相似度，包括：
通过公式
Figure BDA0002347145130000041
计算所述人体边界框相似度，其中，Rd表示人体检测框，Rt表示人体跟踪框。
在一种可能的实施方式中，所述确定所述跟踪对象的所述人体部位跟踪关联向量与每一所述检测对象的所述人体部位关联向量的人体关联向量相似度，包括：
通过公式
Figure BDA0002347145130000042
计算所述人体关联向量相似度，其中，
Figure BDA0002347145130000043
表示关键点kp1到关键点kp2的连接向量，/>
Figure BDA0002347145130000044
为每个关键点余弦相似度的权重。
在一种可能的实施方式中，所述根据多个所述人体边界框相似度和多个所述人体关联向量相似度，确定第一人体相似度匹配矩阵，包括：
通过公式
Figure BDA0002347145130000045
计算所述第一人体相似度匹配矩阵，其中，β表示所述人体边界框相似度的权重，Sij1表示为第i个所述检测对象与第j个所述跟踪对象的第一人体相似度匹配矩阵。
在一种可能的实施方式中，所述确定根据所述上一图像帧获取的所述跟踪对象第二跟踪信息与根据所述当前图像帧获取的多个所述检测对象对应的多个的第二检测信息的匹配性，包括：
确定所述跟踪对象的所述头肩跟踪框与每一所述检测对象的所述头肩检测框的头肩边界框相似度。
在一种可能的实施方式中，在通过匈牙利算法对所述第一人体相似度匹配矩阵进行最优化匹配计算之后，所述确定根据上一图像帧获取的跟踪对象的第一跟踪信息与根据当前图像帧获取的多个检测对象对应的多个第一检测信息的匹配性，还包括：
确定计算结果小于设定值时，根据预存的所述人体检测框与人体关键点的第一对应关系，以及预存的所述人体跟踪框与人体跟踪关键点的第二对应关系，调取与所述人体检测框对应的所述人体关键点，以及调取与所述人体跟踪框对应的所述人体跟踪关键点；
根据所述人体关键点和所述人体部位关联向量，将所述当前图像帧的所述检测对象划为直立姿态、弯腰姿态、倒地姿态、坐立姿态、未知姿态中的一种，以及根据所述人体跟踪关键点和所述人体部位跟踪关联向量，将根据所述上一图像帧得到的所述跟踪对象划为直立姿态、弯腰姿态、倒地姿态、坐立姿态、未知姿态中的一种；
获取所述检测对象在当前姿态的设定维度的第一特征向量，以及获取与所述检测对象姿态相同的所述跟踪对象的所述设定维度的第二特征向量；
根据所述第一特征向量和所述第二特征向量，确定特征相似度；
根据所述人体边界框相似度、所述人体关联向量相似度、所述特征相似度，确定第二人体相似度匹配矩阵；
通过匈牙利算法对所述第二人体相似度匹配矩阵进行最优化匹配计算。
在一种可能的实施方式中，所述根据所述第一特征向量和所述第二特征向量，确定特征相似度，包括：
根据公式
Figure BDA0002347145130000051
计算所述特征相似度，其中，i＝1,……N，j＝1,……N，f1 i表示第i个所述检测对象的所述第一特征向量，/>
Figure BDA0002347145130000052
表示第j个所述跟踪对象的所述第二特征向量。
在一种可能的实施方式中，所述根据所述人体边界框相似度、所述人体关联向量相似度、所述特征相似度，确定第二人体相似度匹配矩阵，包括：
通过公式
Figure BDA0002347145130000061
计算第二人体相似度匹配矩阵，Sij2表示为第i个所述检测对象与第j个所述跟踪对象的所述第二人体相似度匹配矩阵。
在一种可能的实施方式中，在调取与所述人体检测框对应的所述人体关键点，以及调取与所述人体预测检测框对应的所述人体跟踪关键点之前，所述目标跟踪方法还包括：
根据所述人体关键点，确定人体骨架外接矩形框，以及根据所述人体跟踪关键点，确定人体跟踪骨架外接矩形框；
确定所述人体骨架外接矩形框与所述人体检测框的匹配性大于第一设定值时，建立所述第一对应关系，以及确定所述人体跟踪骨架外接矩形框与所述人体跟踪框的匹配性大于第二设定值时，建立所述第二对应关系。
在一种可能的实施方式中，所述跟踪方法还包括：
确定所述人体骨架外接矩形框与所述人体检测框的匹配性小于或等于所述第一设定值时，获取所述跟踪对象的所有所述人体关键点中的最大横坐标、最小横坐标、最大纵坐标和最小纵坐标；
根据所述最大横坐标、所述最小横坐标、所述最大纵坐标和所述最小纵坐标，建立漏检人体检测框。
在一种可能的实施方式中，所述跟踪方法还包括：
在所述检测对象的所述关键点包括的横坐标信息和纵坐标信息至少一个不为零时，确定当前所述关键点为有效关键点；
根据筛选出的所有所述有效关键点，确定所述检测对象为无效检测对象时，去除所述检测对象。
在一种可能的实施方式中，所述跟踪方法还包括：
确定当前所述头肩检测框内有非头肩关键点，且当前所述头肩检测框的置信度信息小于预设置信度时，去除当前所述头肩检测框。
本发明实施例还提供一种目标跟踪装置，包括：确定模块、第一调取模块、第二调取模块和输出模块；其中，
确定模块，用于确定根据上一图像帧获取的跟踪对象的第一跟踪信息与根据当前图像帧获取的多个检测对象对应的多个第一检测信息的匹配性，以及确定根据所述上一图像帧获取的所述跟踪对象的第二跟踪信息与根据所述当前图像帧获取的多个所述检测对象对应的多个第二检测信息的匹配性；
第一调取模块，用于确定所述第一跟踪信息与多个所述第一检测信息均不匹配，且存在与所述第二跟踪信息匹配的所述第二检测信息时，调取预存的所述跟踪对象的第一跟踪框信息与第二跟踪框信息的绑定关系；
第二调取模块，用于根据所述绑定关系，调取与所述第一跟踪框信息对应的第一标识信息，以及调取与所述第二跟踪框信息对应的第二标识信息；
输出模块，用于根据所述第一标识信息和所述第二标识信息，确定所述跟踪对象的绑定标识信息，并将所述绑定标识信息作为所述跟踪对象的输出标识信息。
本发明实施例还提供一种计算机可读介质，包括程序代码，当所述程度代码在计算设备上运行时，所述程序代码用于使所述计算设备执行如本发明实施例提供的所述目标跟踪方法。
本发明实施例有益效果如下：本发明实施例提供的目标跟踪方法，采用第一检测信息和第二检测信息同时对跟踪对象进行跟踪匹配，若第一跟踪信息匹配跟踪丢失时，采用处于正常跟踪状态的第二检测信息对跟踪目标继续进行跟踪，而且，由于第一身体部位与第二身体部位为不同的身体部位，其中的一者具体可以为局部身体部位(例如，第二身体部位为头肩部位)，在跟踪对象突然跌倒或者起身等姿态信息变化较大的情况时，被遮挡几率较小，进而可以继续对跟踪对象进行正常匹配跟踪，并根据处于正常跟踪状态的第二跟踪信息对应的标识来输出绑定标识信息，相比于现有技术仅采用一种跟踪信息对跟踪对象进行匹配跟踪时，若该种跟踪信息匹配跟踪丢失时，则无法对跟踪对象进行持续跟踪，本发明的目标跟踪方法，可以提高对跟踪对象的准确跟踪几率，改善现有技术中的目标跟踪时，容易造成跟踪对象的标识信息丢失，跟踪结果的不稳定的问题。
附图说明
图1为本发明实施例提供的目标跟踪方法的流程示意图之一；
图2为本发明实施例提供的目标跟踪方法的流程示意图之二；
图3为本发明实施例提供的目标跟踪方法的流程示意图之三；
图4为本发明实施例提供的一种人体骨架关键点示意图；
图5为本发明实施例提供的一种确定第一跟踪信息与第一检测信息匹配的方法流程示意图；
图6为本发明实施例提供的另一种确定第一跟踪信息与第一检测信息匹配的方法流程示意图。
具体实施方式
为了使得本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的信息组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
为了保持本公开实施例的以下说明清楚且简明，本公开省略了已知功能和已知部件的详细说明。
参见图1，本发明实施例提供一种目标跟踪方法，包括：
步骤S100、确定根据上一图像帧获取的跟踪对象的第一跟踪信息与根据当前图像帧获取的多个检测对象对应的多个第一检测信息的匹配性，以及确定根据上一图像帧获取的跟踪对象的第二跟踪信息与根据当前图像帧获取的多个检测对象对应的多个第二检测信息的匹配性，其中，第一检测信息、第一跟踪信息为与第一身体部位(例如，人体整体部位)对应的信息，第二检测信息、第二跟踪信息为与第二身体部位(例如，头肩部位)对应的信息。
步骤S200、确定第一跟踪信息与多个第一检测信息均不匹配，且存在与第二跟踪信息匹配的第二检测信息时，调取预存的跟踪对象的第一跟踪框信息与第二跟踪框信息的绑定关系，其中，第一跟踪框信息为与第一身体部位对应的信息，第二跟踪框信息为与第二身体部位对应的信息。
步骤S300、根据绑定关系，调取与第一跟踪框信息对应的第一标识信息，以及调取与第二跟踪框信息对应的第二标识信息，其中，第一标识信息为与第一身体部位对应的标识信息，第二标识信息为与第二身体部位对应的标识信息。
步骤S400、根据第一标识信息和第二标识信息，确定跟踪对象的绑定标识信息，并将绑定标识信息作为跟踪对象的输出标识信息。
本发明实施例提供的目标跟踪方法，采用第一检测信息和第二检测信息同时对跟踪对象进行匹配跟踪，若第一跟踪信息匹配不到第一检测信息导致跟踪丢失时，采用处于正常跟踪状态的第二跟踪信息对跟踪对象继续进行跟踪，而且，由于第一身体部位与第二身体部位为不同的身体部位，其中的一者具体可以为局部身体部位(例如，第二身体部位为头肩部位)，在跟踪对象突然跌倒或者起身等姿态信息变化较大的情况时，被遮挡几率较小，进而可以继续对跟踪对象进行正常匹配跟踪，并根据处于正常跟踪状态的第二跟踪信息对应的标识来输出绑定标识信息，相比于现有技术仅采用一种跟踪信息对跟踪对象进行匹配跟踪时，若该种跟踪信息匹配跟踪丢失时，则无法对跟踪对象进行持续跟踪，本发明的目标跟踪方法，可以提高对跟踪对象的准确跟踪几率，改善现有技术中的目标跟踪时，容易造成跟踪对象的标识信息丢失，跟踪结果的不稳定的问题。
需要说明的是，第一身体部位可以是人体整体身体部位，第二身体部位可以是局部人体部位，例如，具体可以是头肩部位、人头部位、人脸部位之一；或者，第一身体部位可以是局部人体部位，例如，具体可以是头肩部位、人头部位、人脸部位之一，第二身体部位可以是人体整体身体部位。其中，第一身体部位与第二身体部位之中，一者可以为整体人体部位，另一者可以为局部人体部位，可以在跟踪过程中，既具有较大的准确跟踪的几率，又可以改善跟踪对象发生较大姿态变化时，不能正常跟踪的情况。
具体的，第一跟踪信息可以为上一图像帧与第一检测信息成功匹配的第一检测信息，或者跟踪算法自身生成的第一预测信息，例如，第一跟踪信息包括人体跟踪框，该人体跟踪框可以为上一图像帧与人体检测框成功匹配的人体检测框，或者跟踪算法自身生成的人体预测框，即，若当前图像帧的人体检测框与人体跟踪框匹配成功时，利用人体检测框更新人体跟踪框，并将当前图像帧的人体检测框作为在下一帧与人体检测框进行匹配判断的人体跟踪框；同样，第二跟踪信息可以为上一图像帧与第二检测信息成功匹配的第二检测信息，或者跟踪算法自身生成的第二预测信息，例如，第二跟踪信息包括头肩跟踪框，该头肩跟踪框可以为上一图像帧与头肩检测框成功匹配的头肩检测框，或者跟踪算法自身生成的头肩预测框，即，若当前图像帧的头肩检测框与头肩跟踪框匹配成功时，利用头肩检测框更新头肩跟踪框，并将当前图像帧的头肩检测框作为在下一帧与头肩检测框进行匹配判断的头肩跟踪框。当然，第一跟踪信息还可以包括人体检测框以外的其它信息，例如，人体跟踪关键点信息和人体部位跟踪关联向量，其与人体检测框的获取方式类似，通过上一帧的更新获取。第一检测信息可以包括第一检测框(具体可以为人体检测框)，人体关键点以及人体部位关联向量，第二检测信息可以包括第二检测框(具体可以为头肩检测框)。第一检测框与第二检测框之中，一者具体可以为人体检测框，另一者可以为头肩检测框(或者，也可以为人头检测框或人脸检测框)。而对于人体检测框、头肩检测框等的获取，可以通过将图像数据输入经过数据训练的深度学习目标检测算法(如Faster RCNN、YoloV3、CornerNet)得到，例如，本发明实施例中，若选择人体作为对跟踪时的第一身体部位，头肩作为第二身体部位，对于输入的当前图像帧，经过深度学习目标检测算法，可以得到人体检测框
Figure BDA0002347145130000111
头肩检测框/>
Figure BDA0002347145130000112
其中，/>
Figure BDA0002347145130000113
Figure BDA0002347145130000114
a1、b1、c1依次表示第i个跟踪对象的人体的目标框(rect)、类别(type)、置信度(confg)，a2、b2、c2依次表示第i个跟踪对象的头肩的目标框(rect)、类别(type)、置信度(confg)。若当前图像帧的人体检测框与人体跟踪框匹配成功时，利用人体检测框更新人体跟踪框，并在下一帧与人体检测框进行匹配判断；头肩是同样的情况。
在具体实施时，本发明实施例提供的目标跟踪方法具体可以为多目标跟踪方法，同时对多个目标进行跟踪。
在具体实施时，参见图2所示，本发明实施例提供的跟踪方法还包括：
步骤S500、确定存在与第一跟踪信息匹配的第一检测信息，且存在与第二跟踪信息匹配的第二检测信息时，建立跟踪对象的第一跟踪框信息与第二跟踪框信息的绑定关系。
在具体实施时，关于步骤S500中的，建立跟踪对象的第一跟踪框信息与第二跟踪框信息的绑定关系，可以包括：
步骤S510、遍历所有跟踪对象的第一跟踪框信息，确定每一对象的第一跟踪框信息与所有跟踪对象的第二跟踪框信息的匹配度。具体的，第一跟踪信息包括第一跟踪框，第二跟踪框信息包括第二跟踪框；相应的，该步骤S510中的，确定跟踪对象的第一跟踪框信息与所有跟踪对象的第二跟踪框信息的匹配度，包括：计算每一跟踪对象的第一跟踪框与所有跟踪对象的第二跟踪框的边界框交并比。
步骤S520、获取匹配度大于预设匹配度的第一跟踪框信息和第二跟踪框信息。
本发明实施例中，通过遍历所有跟踪对象，针对每一跟踪对象，将该跟踪对象的第一跟踪框(例如，人体跟踪框)与所有第二跟踪框(例如，头肩跟踪框)进行边界框交并比(IOU)计算，找出该跟踪对象的与第一跟踪框的IOU大于预设匹配度(例如，预设匹配度为0.85)的第二跟踪框，进而实现可以找到同一跟踪对象的第一跟踪框与第二跟踪框；而且，由于第一跟踪框信息、第二跟踪框信息为进行匹配跟踪时所使用的信息，可以避免若采用其它方式进行绑定时，存在增大计算量的问题。
在具体实施时，关于步骤S400中的，根据第一标识信息和第二标识信息，确定跟踪对象的绑定标识信息，包括：
步骤S410、确定由初始图像帧到当前图像帧中，第一检测信息与第一跟踪信息匹配成功的第一历史帧数，以及第二检测信息与第二跟踪信息匹配成功的第二历史帧数；
步骤S420、判断第一历史帧数是否大于第二历史帧数，若是，确定第一标识信息作为绑定标识信息，否则，确定第二标识信息作为绑定标识信息。
本发明实施例中，通过比较人体部位与头肩部位在历次图像帧中的匹配成功的次数，将匹配成功次数较者对应的标识信息作为绑定标识信息，可以在该跟踪对象由于被遮挡或姿态变化较大处于丢失跟踪状态的情况，以处于正常跟踪状态的标识信息进行输出，即，例如，若在当前图像帧之前，该跟踪对象的变化程度较小，对人体和头肩的跟踪均处于正常跟踪状态，而若在当前帧中，若该跟踪对象的姿态发生了较大的变化，则通过对人体进行跟踪的第一跟踪信息和第二跟踪信息在当前图像帧中可能处于匹配失败的状态，则会存在对人体的匹配成功次数小于对头肩的匹配成功次数，此时，以头肩对应的标识信息作为绑定标识信息，可以保证跟踪算法是以处于正常跟踪状态的标识信息进行输出。
在具体实施时，参见图3所示，本发明实施例提供的目标跟踪方法，在确定根据上一图像帧获取的跟踪对象的第一跟踪信息与根据当前图像帧获取的多个检测对象对应的多个第一检测信息的匹配性，以及确定根据上一图像帧获取的跟踪对象第二跟踪信息与根据当前图像帧获取的多个检测对象对应的多个的第二检测信息的匹配性之前，还包括：
步骤S011、根据当前图像帧，通过深度学习目标检测算法获取检测对象的人体检测框和头肩检测框，以及通过人体姿态网络算法获取检测对象的人体关键点和人体部位关联向量；
步骤S012、根据上一图像帧，获取与多个跟踪对象的一一对应的人体跟踪框和头肩跟踪框，以及获取与多个跟踪对象的一一对应的人体跟踪关键点信息和人体部位跟踪关联向量信息。
具体的，对于步骤S011中的，通过人体姿态网络算法获取检测对象的人体关键点和人体部位关联向量，可以通过人体姿态网络算法(例如，OpenPose)获取当前图像帧中的所有人体关键点和人体部位关联向量，参见图4所示，其中第i个检测对象的关键点信息记为
Figure BDA0002347145130000131
分别表示的关键点可以依次为鼻子1、脖子2、右肩3、右肘4、右腕5、左肩6、左肘7、左腕8、右臀9、右膝盖10、右脚踝11、左臀12、左膝盖13、左脚踝14，右眼15、左眼16、右耳17、左耳18，每个关键点信息包括x(横坐标)、y(纵坐标)、z(是否可见)。第i个人体部位关联向量PAF记为
Figure BDA0002347145130000132
分别对应19个连接的信息，分别表示脖子到右臀的连接，右臀到右膝盖的连接，右膝盖到右脚踝的连接、脖子到左臀的连接，左臀到左膝盖的连接，左膝盖到左脚踝的连接，脖子到右肩膀的连接、右肩膀到右肘的连接、右肘到右手腕的连接、右肩膀到右眼的连接、脖子到左肩膀的连接、左肩膀到左肘的连接、左肘到左手腕的连接、左肩膀到左眼的连接、脖子到鼻子的连接、鼻子到右眼的连接、鼻子到左眼的连接、右眼到右耳的连接、左眼到左耳的连接。(kp1，kp2，conf)分别表示关键点kp1到关键点kp2的连接向量及相应的置信度conf，为0表示没有连接。
在具体实施时，参见图5所示，关于步骤S100中的确定根据上一图像帧获取的跟踪对象的第一跟踪信息与根据当前图像帧获取的多个检测对象对应的多个第一检测信息的匹配性，包括：
步骤S101、确定跟踪对象的人体跟踪框与每一检测对象的人体检测框的人体边界框相似度；具体的，可以通过公式
Figure BDA0002347145130000141
计算每一人体边界框相似度Siou，其中，Rd表示人体检测框，Rt表示人体跟踪框。
步骤S102、确定跟踪对象的人体部位跟踪关联向量与每一检测对象的人体部位关联向量的人体关联向量相似度；具体的，可以通过公式
Figure BDA0002347145130000142
计算每一人体关联向量相似度Spaf，其中，/>
Figure BDA0002347145130000143
表示关键点kp1到关键点kp2的连接向量，
Figure BDA0002347145130000144
为每个关键点余弦相似度的权重。
步骤S103、根据多个人体边界框相似度和多个人体关联向量相似度，确定第一人体相似度匹配矩阵；具体的，可以通过公式S1＝βSiou+(1-β)Spaf，计算第一人体相似度匹配矩阵S1，其中，β表示人体边界框相似度的权重。
步骤S104、通过匈牙利算法对第一人体相似度匹配矩阵进行最优化匹配计算。根据计算结果，确定检测对象和跟踪对象的最优匹配对。二者相互匹配时，则用检测信息更新对应的跟踪信息，例如，利用人体检测框更新人体跟踪框，并将当前图像帧的人体检测框作为在下一帧与人体检测框进行匹配判断的人体跟踪框；又例如，利用头肩检测框更新头肩跟踪框，并将当前图像帧的头肩检测框作为在下一帧与头肩检测框进行匹配判断的头肩跟踪框。
本发明实施例中，通过人体边界框相似度计算(IOU度量)保证了跟踪对象对应的位置关系，人体关联向量相似度计算(PAF向量度量)保证了跟踪对象之间的姿态对应关系，这种综合度量方式可以过滤IOU重合但是人体姿态不一致的目标，提高对跟踪目标的匹配准确率。而且，当丢失目标重新出现时，可以通过特征重匹配和人体与头肩绑定标识信息找回丢失的第一标识信息或第二标识信息，解决单一目标跟踪难以长时维护标识信息(ID)连续性的问题。
在具体实施时，关于步骤S100中的确定根据上一图像帧获取的跟踪对象第二跟踪信息与根据当前图像帧获取的多个检测对象对应的多个的第二检测信息的匹配性，包括：确定跟踪对象的头肩跟踪框与每一检测对象的头肩检测框的头肩边界框相似度。
在具体实施时，参见图6所示，在通过匈牙利算法对第一人体相似度匹配矩阵进行最优化匹配计算之后，确定根据上一图像帧获取的跟踪对象的第一跟踪信息与根据当前图像帧获取的多个检测对象对应的多个第一检测信息的匹配性，还包括：
步骤S105、确定计算结果小于设定值时，根据预存的人体检测框与人体关键点的第一对应关系，以及预存的人体跟踪框与人体跟踪关键点的第二对应关系，调取与人体检测框对应的人体关键点，以及调取与人体跟踪框对应的人体跟踪关键点；
步骤S106、根据人体关键点和人体部位关联向量，将当前图像帧的检测对象划为直立姿态、弯腰姿态、倒地姿态、坐立姿态、未知姿态中的一种，以及根据人体跟踪关键点和人体部位跟踪关联向量，将根据上一图像帧的得到的跟踪对象划为直立姿态、弯腰姿态、倒地姿态、坐立姿态、未知姿态中的一种；
步骤S107、获取检测对象在当前姿态的设定维度的第一特征向量，以及获取与检测对象姿态相同的跟踪对象的设定维度的第二特征向量；
步骤S108、根据第一特征向量和第二特征向量，确定特征相似度，具体的，可以通过根据公式
Figure BDA0002347145130000161
计算特征相似度，其中，i＝1,……N j＝1,……N，f1 i表示第i个所述检测对象的第一特征向量，/>
Figure BDA0002347145130000162
表示第j个跟踪对象的所述第二特征向量；
步骤S109、根据人体边界框相似度、人体关联向量相似度、特征相似度，确定第二人体相似度匹配矩阵，具体的，可以通过公式
Figure BDA0002347145130000163
计算第二人体相似度匹配矩阵，Sij2表示为第i个所述检测对象与第j个所述跟踪对象的所述第二人体相似度匹配矩阵；
步骤S1091、通过匈牙利算法对第二人体相似度匹配矩阵进行最优化匹配计算。
本发明实施例中，为了避免由于目标形变造成前后特征差异过大，缓存的单模板特征无法适应前后姿态差异巨大的复杂情况，单一姿态模板无法适应特殊场景下长时跟踪的姿态变化，难以起到应有的作用，对于处于丢失的跟踪对象(即，根据第一人体相似度匹配矩阵没有找到与第一跟踪信息匹配的第一检测信息)，本发明实施例还通过第二人体相似度匹配矩阵进行最优化匹配计算，增加了特征相似度度量方式，针对利用关键点信息确定跟踪对象的姿态，增加多姿态特征匹配，提高特征模板的鲁棒性，解决长时目标跟踪中跟踪对象的姿态变化过大，单一姿态模板无法匹配的问题。
在具体实施时，关于步骤S105中的，在调取与人体检测框对应的人体关键点，以及调取与人体跟踪框对应的人体跟踪关键点之前，目标跟踪方法还包括：
步骤S013、根据人体关键点，确定人体骨架外接矩形框，以及根据人体跟踪关键点，确定人体跟踪骨架外接矩形框；
步骤S014、确定人体骨架外接矩形框与人体检测框的匹配性大于第一设定值时，建立第一对应关系，以及确定人体跟踪骨架外接矩形框与人体跟踪框的匹配性大于第二设定值时，建立第二对应关系。
本发明实施例中，在调取与人体检测框对应的人体关键点，以及调取与人体跟踪框对应的人体跟踪关键点之前，建立第一对应关系和第二对应关系，可以将人体检测框和关键点信息匹配后打包成一个信息结构，这样在进行后续关于跟踪对象的姿态模板匹配跟踪时，在与检测框与预测框进行常规IOU计算的同时，还可以对应的关键点信息进行特征向量的匹配。
在具体实施时，本发明实施例提供的跟踪方法，还包括：
步骤S015、确定人体骨架外接矩形框与人体检测框的匹配性小于或等于第一设定值时，获取跟踪对象的所有人体关键点中的最大横坐标Xmax、最小横坐标Xmin、最大纵坐标Ymax和最小纵坐标Ymin；
步骤S016、根据最大横坐标、最小横坐标、最大纵坐标和最小纵坐标，建立漏检人体检测框，即，例如，漏检人体检测框的左上角、左下角、右上角、右下角的坐标依次为(Xmin,Ymax)、(Xmin,Ymin)、(Xmax,Ymax)、(Xmax,Ymin)。
本发明实施例中，确定人体骨架外接矩形框与人体检测框的匹配性小于或等于第一设定值时，建立漏检人体检测框，即，对于根据关键点形成的人体骨架外接矩形框与人体检测框不匹配的情形，通过人体关键点再形成漏检人体检测框，进而可以避免通过原有的深度学习目标检测算法对没有检测到的跟踪目标进行重新建立，避免导致跟踪对象的漏检。
在具体实施时，本发明实施例提供的跟踪方法，还包括：
步骤S017、在跟踪对象的关键点包括的横坐标信息和纵坐标信息至少一个不为零时，确定当前关键点为有效关键点，具体的，例如，确定当前关键点的横坐标、纵坐标均为零时，可以确定该当前关键点为无效关键点，而确定当前关键点的横坐标信息和纵坐标信息至少一个不为零时，可以确定该当前关键点为有效关键点；
步骤S018、根据筛选出的所有有效关键点，确定检测对象为无效检测对象时，去除检测对象，例如，具体的，如果检测对象对应的有效关键点数量少于设定数量(例如，5)，且只有脚踝关键点和膝盖关键点，那么确定该检测对象为无效检测对象，将该检测对象直接丢掉，不使用。
本发明实施例中，对于检测对象，还根据关键点的数量和位置判断检测对象的有效性，进而在确定该检测对象为无效检测对象时，去除该检测对象，进而可以过滤掉严重截断的检测对象。
在具体实施时，本发明实施例提供的跟踪方法，还包括：
步骤S019、确定当前头肩检测框内有非头肩关键点，且当前头肩检测框的置信度信息小于预设置信度时，去除当前头肩检测框。
本发明实施例中，确定当前头肩检测框内有非头肩关键点，且当前头肩检测框的置信度信息小于预设置信度时，去除当前头肩检测框，即，当头肩检测框内出现了非头肩相关的关键点信息(除耳朵、鼻子、肩膀、脖子、眼睛以外)，同时其检测置信度低于0.5时，过滤这些头肩虚检目标。
为了更清楚地理解本发明实施例提供的目标跟踪方法，以下进行进一步详细说明，如下：
步骤一、利用视频采集设备实时获取视频流数据，按照预设帧率送入算法处理模块进行处理，具体可以是间隔设定帧数对图像进行处理，从而达到实时性要求。根据具体设备可以设置每2帧或者3帧图像处理1帧。其中，算法处理模块可以包含深度学习目标检测模块、人体关键点模块，多目标跟踪(姿态分类，重识别)模块，姿态分类模块、重识别模块，其中，深度学习目标检测模块、人体关键点模块，多目标跟踪(姿态分类，重识别)模块，姿态分类模块、重识别模块可看作是子模块，内部控制是否启用。
步骤二、目标检测模块利用现有成熟的深度学习目标检测器(如Faster RCNN、YoloV3、CornerNet)处理送入的视频流数据，获取当前图像帧中的感兴趣跟踪对象(目标)，具体的，可以选择各个跟踪对象的人体和头肩进行跟踪，其中，人体检测框记为
Figure BDA0002347145130000181
头肩检测框记为/>
Figure BDA0002347145130000182
其中，/>
Figure BDA0002347145130000183
a1、b1、c1依次表示第i个跟踪对象的人体的目标框(rect)、类别(type)、置信度(confg)，a2、b2、c2依次表示第i个跟踪对象的头肩的目标框(rect)、类别(type)、置信度(confg)。
步骤三、利用人体姿态网络(OpenPose等)获取当前图像帧中的所有人体关键点和人体部位关联向量，其中，第i个检测目标的关键点信息记为
Figure BDA0002347145130000191
分别表示关键点依次为鼻子、脖子、右肩、右肘、右腕、左肩、左肘、左腕、右臀、右膝盖、右脚踝、左臀、左膝盖、左脚踝，右眼、左眼、右耳、左耳，每个关键点信息包括x(横坐标)、y(纵坐标)、z(是否可见)。第i个人体部位关联向量PAF记为/>
Figure BDA0002347145130000192
分别对应19个连接的信息，分别表示脖子到右臀的连接，右臀到右膝盖的连接，右膝盖到右脚踝的连接、脖子到左臀的连接，左臀到左膝盖的连接，左膝盖到左脚踝的连接，脖子到右肩膀的连接、右肩膀到右肘的连接、右肘到右手腕的连接、右肩膀到右眼的连接、脖子到左肩膀的连接、左肩膀到左肘的连接、左肘到左手腕的连接、左肩膀到左眼的连接、脖子到鼻子的连接、鼻子到右眼的连接、鼻子到左眼的连接、右眼到右耳的连接、左眼到左耳的连接。(kp1，kp2，conf)分别表示关键点kp1到关键点kp2的连接向量及相应的置信度conf。
步骤四、跟踪输入信息预处理：本发明实施例中，跟踪模块接收大量输入信息，包括头肩检测框和人体检测框的信息，关键点的信息和人体部位关联向量的信息，在实际进行多目标跟踪前需要进行预处理，进行输入数据的有效整合，提高信息的合理利用效率，具体预处理步骤可以包括如下：
a)、针对检测对象，利用关键点信息确定人体骨架对应的外接矩形框，与人体检测框进行IOU计算，得到重合度匹配矩阵，利用匈牙利算法将人体检测结果与关键点外接框进行匹配，得到人体检测框与关键点的第一对应关系，并在检测对象与跟踪对象匹配成功后，作为下一帧图像的第二对应关系(跟踪信息)；
b)、保留没有匹配成功的检测对象的人体检测框和关键点外接框，获取检测对象的所有人体关键点中的最大横坐标Xmax、最小横坐标Xmin、最大纵坐标Ymax和最小纵坐标Ymin，通过最大横坐标、最小横坐标、最大纵坐标和最小纵坐标，建立漏检人体检测框，对于通过关键点估计得到的漏检人体检测框，用字段区分，减少目标漏检；针对每个检测对象，利用人体关键点和关联向量信息训练得到的姿态分类网络，将检测对象划为直立、弯腰、坐立、躺下、未知5个姿态的一种；
c)、过滤无效检测对象，将对于只存在(脚踝、膝盖)关键点的目标判断为严重截断的无效目标，并进行过滤；
d)、对于头肩检测结果，当头肩检测框内出现了非头肩相关的关键点信息(除耳朵、鼻子、肩膀、脖子、眼睛以外)，同时其检测置信度低于0.5时，过滤这些头肩虚检目标，头肩不进行头肩检测框与关键点信息的融合，只取检测信息；
e)、融合之后的人体检测信息包含人体检测框的信息，对应关键点的信息和人体部位关联向量的信息，同时附加属性信息：是否是正常检测结果、是否有关键点信息、人体姿态类型，其中IOU表示两个目标边界框之间的交并比，一般用于度量其重合程度，计算公式如下
Figure BDA0002347145130000201
其中，Ra、Rb分别表示a和b目标的边界框范围；
步骤五、对于多目标跟踪，流程为上一帧的跟踪对象与当前帧检测结果的常规关联，然后对未关联到检测结果的跟踪目标进行下一步处理，本发明实施例中的大致流程为：
a)、第F帧无跟踪对象，利用检测结果对跟踪对象初始化；
b)、第F帧有跟踪对象，在第F+1帧将跟踪对象分为正常跟踪对象、丢失跟踪对象、长时丢失跟踪对象(其中，丢失的跟踪对象为第F帧未和有效检测结果进行匹配的跟踪对象，正常跟踪对象就是第F帧有检测结果进行关联的对象)；
c)、对于正常跟踪对象：1、计算人体检测框与人体跟踪框(也即根据上一图像帧得到的跟踪框)之间的IOU；2、计算人体部位关联向量与人体部位跟踪关联向量之间的余弦距离，加权求和得到PAF相似度
Figure BDA0002347145130000211
之后归一化到[0,1]，/>
Figure BDA0002347145130000212
为每个关键点余弦相似度的权重；3、IOU相似度度量与PAF相似度度量综合得到第一人体相似度匹配矩阵/>
Figure BDA0002347145130000213
β表示为IOU相似度的权重；4、利用第一人体相似度匹配矩阵和匈牙利算法进行最优化匹配计算，确定最优匹配对。对于头肩，由于不需要考虑姿态信息，只需要利用IOU度量即可。
d)、对于处于丢失的跟踪对象(即，根据第一相似度匹配矩阵没有得到最佳匹配对)，还需要增加特征相似度度量方式，为了避免由于目标形变造成前后特征差异过大，缓存的单模板特征无法适应前后姿态差异巨大的复杂情况，难以起到应有的作用，为此，同样利用人体姿态网络将跟踪对象划分为直立、弯腰、倒地、坐立、未知等五种人体姿态，利用重识别网络为每种姿态提取固定维度的特征向量并缓存，针对检测目标的姿态信息，利用对应姿态的特征向量进行特征相似度计算，
Figure BDA0002347145130000214
加上IOU相似度、PAF相似度加权求和得到第二人体相似度匹配矩阵/>
Figure BDA0002347145130000215
最后利用第二人体相似度匹配矩阵Sij2和匈牙利算法得到检测和跟踪的最优匹配，其中姿态分类网络和重识别网络都可以利用深度学习方法训练得到；
e)、对于未关联到检测结果的跟踪对象，如果有头肩与人体的关联，利用头肩的信息对跟踪对象进行预测，保证人体重新出现时，仍然能够保持ID连续性。如果没有头肩与人体的关联结果，利用单目标跟踪算法或者卡尔曼滤波预测下一帧的位置，同时跟踪对象处于丢失状态；当目标连续丢失帧数超过设定阈值时，被判定为长时丢失状态，连续处于长时丢失状态的帧数超过设定阈值需要进行删除；对于头肩与人体的关联，只利用IOU进行常规匹配；利用未关联到跟踪目标的检测结果生成新的跟踪目标。
f)、头肩和人体单独进行跟踪得到对应的跟踪目标，最后将头肩和人体目标进行内部匹配绑定，除了原有目标ID之外赋予绑定标识信息(即绑定ID)，绑定ID的取值为人体与头肩中，匹配成功次数较多的一者对应的标识ID；当绑定的头肩与人体之中，某一个因为遮挡等原因长时间丢失时，可以使用另外一个维护住这个ID信息，当丢失的一个重新出现时，仍然可以找出之前的ID信息，从而增加头肩或者人体目标之间的ID连续性。
基于同一发明构思，本发明实施例还提供一种目标跟踪装置，包括：确定模块、第一调取模块、第二调取模块和输出模块；其中，
确定模块，用于确定根据上一图像帧获取的跟踪对象的第一跟踪信息与根据当前图像帧获取的多个检测对象对应的多个第一检测信息的匹配性，以及确定根据上一图像帧获取的跟踪对象的第二跟踪信息与根据当前图像帧获取的多个检测对象对应的多个第二检测信息的匹配性；
第一调取模块，用于确定第一跟踪信息与多个第一检测信息均不匹配，且存在与第二跟踪信息匹配的第二检测信息时，调取预存的跟踪对象的第一跟踪框信息与第二跟踪框信息的绑定关系；
第二调取模块，用于根据绑定关系，调取与第一跟踪框信息对应的第一标识信息，以及调取与第二跟踪框信息对应的第二标识信息；
输出模块，用于根据第一标识信息和第二标识信息，确定跟踪对象的绑定标识信息，并将绑定标识信息作为跟踪对象的输出标识信息。
本发明实施例还提供一种计算机可读介质，包括程序代码，当程度代码在计算设备上运行时，程序代码用于使计算设备执行如本发明实施例提供的目标跟踪方法。
本发明实施例有益效果如下：本发明实施例提供的目标跟踪方法，采用第一检测信息和第二检测信息同时对跟踪对象进行匹配跟踪，若第一跟踪信息匹配不到第一检测信息导致跟踪丢失时，采用处于正常跟踪状态的第二跟踪信息对跟踪对象继续进行跟踪，而且，由于第一身体部位与第二身体部位为不同的身体部位，其中的一者具体可以为局部身体部位(例如，第二身体部位为头肩部位)，在跟踪对象突然跌倒或者起身等姿态信息变化较大的情况时，被遮挡几率较小，进而可以继续对跟踪对象进行正常匹配跟踪，并根据处于正常跟踪状态的第二跟踪信息对应的标识来输出绑定标识信息，相比于现有技术仅采用一种跟踪信息对跟踪对象进行匹配跟踪时，若该种跟踪信息匹配跟踪丢失时，则无法对跟踪对象进行持续跟踪，本发明的目标跟踪方法，可以提高对跟踪对象的准确跟踪几率，改善现有技术中的目标跟踪时，容易造成跟踪对象的标识信息丢失，跟踪结果的不稳定的问题。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (16)

1.一种目标跟踪方法，其特征在于，包括：
根据当前图像帧，通过深度学习目标检测算法获取检测对象的人体检测框和头肩检测框，以及通过人体姿态网络算法获取所述检测对象的人体关键点和人体部位关联向量；
根据上一图像帧，获取与多个跟踪对象的一一对应的人体跟踪框和头肩跟踪框，以及获取与多个所述跟踪对象的一一对应的人体跟踪关键点信息和人体部位跟踪关联向量信息；
确定根据上一图像帧获取的跟踪对象的第一跟踪信息与根据当前图像帧获取的多个检测对象对应的多个第一检测信息的匹配性，以及确定根据所述上一图像帧获取的所述跟踪对象的第二跟踪信息与根据所述当前图像帧获取的多个所述检测对象对应的多个第二检测信息的匹配性，其中，所述第一检测信息、所述第一跟踪信息为与第一身体部位对应的信息，所述第二检测信息、所述第二跟踪信息为与第二身体部位对应的信息；
确定所述第一跟踪信息与多个所述第一检测信息均不匹配，且存在与所述第二跟踪信息匹配的所述第二检测信息时，调取预存的所述跟踪对象的第一跟踪框信息与第二跟踪框信息的绑定关系，其中，所述第一跟踪框信息为与所述第一身体部位对应的信息，所述第二跟踪框信息为与所述第二身体部位对应的信息；
根据所述绑定关系，调取与所述第一跟踪框信息对应的第一标识信息，以及调取与所述第二跟踪框信息对应的第二标识信息，其中，所述第一标识信息为与所述第一身体部位对应的标识信息，所述第二标识信息为与所述第二身体部位对应的标识信息；
根据所述第一标识信息和所述第二标识信息，确定所述跟踪对象的绑定标识信息，并将所述绑定标识信息作为所述跟踪对象的输出标识信息；
其中，所述确定根据上一图像帧获取的跟踪对象的第一跟踪信息与根据当前图像帧获取的多个检测对象对应的多个第一检测信息的匹配性，包括：
确定所述跟踪对象的所述人体跟踪框与每一所述检测对象的所述人体检测框的人体边界框相似度；
确定所述跟踪对象的所述人体部位跟踪关联向量与每一所述检测对象的所述人体部位关联向量的人体关联向量相似度；
根据多个所述人体边界框相似度和多个所述人体关联向量相似度，确定第一人体相似度匹配矩阵；
通过匈牙利算法对所述第一人体相似度匹配矩阵进行最优化匹配计算；
确定计算结果小于设定值时，根据预存的所述人体检测框与人体关键点的第一对应关系，以及预存的所述人体跟踪框与人体跟踪关键点的第二对应关系，调取与所述人体检测框对应的所述人体关键点，以及调取与所述人体跟踪框对应的所述人体跟踪关键点；
根据所述人体关键点和所述人体部位关联向量，将所述当前图像帧的所述检测对象划为直立姿态、弯腰姿态、倒地姿态、坐立姿态、未知姿态中的一种，以及根据所述人体跟踪关键点和所述人体部位跟踪关联向量，将根据所述上一图像帧得到的所述跟踪对象划为直立姿态、弯腰姿态、倒地姿态、坐立姿态、未知姿态中的一种；
获取所述检测对象在当前姿态的设定维度的第一特征向量，以及获取与所述检测对象姿态相同的所述跟踪对象的所述设定维度的第二特征向量；
根据所述第一特征向量和所述第二特征向量，确定特征相似度；
根据所述人体边界框相似度、所述人体关联向量相似度、所述特征相似度，确定第二人体相似度匹配矩阵；
通过匈牙利算法对所述第二人体相似度匹配矩阵进行最优化匹配计算。
2.如权利要求1所述的目标跟踪方法，其特征在于，所述目标跟踪方法还包括：
确定存在与所述第一跟踪信息匹配的所述第一检测信息，且存在与所述第二跟踪信息匹配的所述第二检测信息时，建立所述跟踪对象的所述第一跟踪框信息与所述第二跟踪信息框的所述绑定关系。
3.如权利要求2所述的目标跟踪方法，其特征在于，所述建立所述跟踪对象的第一跟踪框信息与第二跟踪框信息的所述绑定关系，包括：
遍历所有所述跟踪对象的所述第一跟踪框信息，确定每一所述跟踪对象的所述第一跟踪框信息与所有所述跟踪对象的所述第二跟踪框信息的匹配度；
获取所述匹配度大于预设匹配度的所述第一跟踪框信息和所述第二跟踪框信息。
4.如权利要求3所述的目标跟踪方法，其特征在于，所述第一跟踪框信息为包括第一跟踪框，所述第二跟踪框信息包括第二跟踪框；
所述确定每一所述跟踪对象的所述第一跟踪框信息与所有所述跟踪对象的所述第二跟踪框信息的匹配度，包括：计算每一所述跟踪对象的所述第一跟踪框与所有所述跟踪对象的所述第二跟踪框的边界框交并比。
5.如权利要求1所述的目标跟踪方法，其特征在于，所述根据所述第一标识信息和所述第二标识信息，确定所述跟踪对象的绑定标识信息，包括：
确定由初始图像帧到当前图像帧中，所述第一检测信息与所述第一跟踪信息匹配成功的第一历史帧数，以及所述第二检测信息与所述第二跟踪信息匹配成功的第二历史帧数；
判断所述第一历史帧数是否大于所述第二历史帧数，若是，确定所述第一标识信息作为所述绑定标识信息，否则，确定所述第二标识信息作为所述绑定标识信息。
6.如权利要求1所述的目标跟踪方法，其特征在于，所述确定所述跟踪对象的所述人体跟踪框与每一所述检测对象的所述人体检测框的人体边界框相似度，包括：
通过公式
Figure FDA0004165769230000031
计算所述人体边界框相似度，其中，Rd表示人体检测框，Rt表示人体跟踪框。
7.如权利要求1所述的目标跟踪方法，其特征在于，所述根据多个所述人体边界框相似度和多个所述人体关联向量相似度，确定第一人体相似度匹配矩阵，包括：
通过公式Sij1＝βSiou+(1-β)Spaf，计算所述第一人体相似度匹配矩阵，其中，β表示所述人体边界框相似度的权重，Sij1表示为第i个所述检测对象与第j个所述跟踪对象的第一人体相似度匹配矩阵，Spaf表示人体关联向量相似度。
8.如权利要求1所述的目标跟踪方法，其特征在于，所述确定根据所述上一图像帧获取的所述跟踪对象第二跟踪信息与根据所述当前图像帧获取的多个所述检测对象对应的多个的第二检测信息的匹配性，包括：
确定所述跟踪对象的所述头肩跟踪框与每一所述检测对象的所述头肩检测框的头肩边界框相似度。
9.如权利要求1所述的目标跟踪方法，其特征在于，所述根据所述第一特征向量和所述第二特征向量，确定特征相似度，包括：
根据公式
Figure FDA0004165769230000041
计算所述特征相似度，其中，i＝1,……N，j＝1,……N，f1 i表示第i个所述检测对象的所述第一特征向量，/>
Figure FDA0004165769230000042
表示第j个所述跟踪对象的所述第二特征向量。
10.如权利要求9所述的目标跟踪方法，其特征在于，所述根据所述人体边界框相似度、所述人体关联向量相似度、所述特征相似度，确定第二人体相似度匹配矩阵，包括：
通过公式Sij2＝αSiou+βSpaf+(1-α-β)Sfeat，计算第二人体相似度匹配矩阵，Sij2表示为第i个所述检测对象与第j个所述跟踪对象的所述第二人体相似度匹配矩阵。
11.如权利要求1所述的目标跟踪方法，其特征在于，在调取与所述人体检测框对应的所述人体关键点，以及调取与所述人体跟踪框对应的所述人体跟踪关键点之前，所述目标跟踪方法还包括：
根据所述人体关键点，确定人体骨架外接矩形框，以及根据所述人体跟踪关键点，确定人体跟踪骨架外接矩形框；
确定所述人体骨架外接矩形框与所述人体检测框的匹配性大于第一设定值时，建立所述第一对应关系，以及确定所述人体跟踪骨架外接矩形框与所述人体跟踪框的匹配性大于第二设定值时，建立所述第二对应关系。
12.如权利要求11所述的目标跟踪方法，其特征在于，所述跟踪方法还包括：
确定所述人体骨架外接矩形框与所述人体检测框的匹配性小于或等于所述第一设定值时，获取所述跟踪对象的所有所述人体关键点中的最大横坐标、最小横坐标、最大纵坐标和最小纵坐标；
根据所述最大横坐标、所述最小横坐标、所述最大纵坐标和所述最小纵坐标，建立漏检人体检测框。
13.如权利要求1所述的目标跟踪方法，其特征在于，所述跟踪方法还包括：
在所述检测对象的所述关键点包括的横坐标信息和纵坐标信息至少一个不为零时，确定当前所述关键点为有效关键点；
根据筛选出的所有所述有效关键点，确定所述检测对象为无效检测对象时，去除所述检测对象。
14.如权利要求1所述的目标跟踪方法，其特征在于，所述跟踪方法还包括：
确定当前所述头肩检测框内有非头肩关键点，且当前所述头肩检测框的置信度信息小于预设置信度时，去除当前所述头肩检测框。
15.一种目标跟踪装置，其特征在于，包括：确定模块、第一调取模块、第二调取模块和输出模块；其中，
所述确定模块，用于确定根据上一图像帧获取的跟踪对象的第一跟踪信息与根据当前图像帧获取的多个检测对象对应的多个第一检测信息的匹配性，以及确定根据所述上一图像帧获取的所述跟踪对象的第二跟踪信息与根据所述当前图像帧获取的多个所述检测对象对应的多个第二检测信息的匹配性；
所述第一调取模块，用于确定所述第一跟踪信息与多个所述第一检测信息均不匹配，且存在与所述第二跟踪信息匹配的所述第二检测信息时，调取预存的所述跟踪对象的第一跟踪框信息与第二跟踪框信息的绑定关系；
所述第二调取模块，用于根据所述绑定关系，调取与所述第一跟踪框信息对应的第一标识信息，以及调取与所述第二跟踪框信息对应的第二标识信息；
所述输出模块，用于根据所述第一标识信息和所述第二标识信息，确定所述跟踪对象的绑定标识信息，并将所述绑定标识信息作为所述跟踪对象的输出标识信息；
其中，在所述确定根据上一图像帧获取的跟踪对象的第一跟踪信息与根据当前图像帧获取的多个检测对象对应的多个第一检测信息的匹配性，以及确定根据所述上一图像帧获取的所述跟踪对象的第二跟踪信息与根据所述当前图像帧获取的多个所述检测对象对应的多个第二检测信息的匹配性之前，还包括：根据当前图像帧，通过深度学习目标检测算法获取所述检测对象的人体检测框和头肩检测框，以及通过人体姿态网络算法获取所述检测对象的人体关键点和人体部位关联向量；根据上一图像帧，获取与多个所述跟踪对象的一一对应的人体跟踪框和头肩跟踪框，以及获取与多个所述跟踪对象的一一对应的人体跟踪关键点信息和人体部位跟踪关联向量信息；
其中，所述确定根据上一图像帧获取的跟踪对象的第一跟踪信息与根据当前图像帧获取的多个检测对象对应的多个第一检测信息的匹配性，包括：
确定所述跟踪对象的所述人体跟踪框与每一所述检测对象的所述人体检测框的人体边界框相似度；
确定所述跟踪对象的所述人体部位跟踪关联向量与每一所述检测对象的所述人体部位关联向量的人体关联向量相似度；
根据多个所述人体边界框相似度和多个所述人体关联向量相似度，确定第一人体相似度匹配矩阵；
通过匈牙利算法对所述第一人体相似度匹配矩阵进行最优化匹配计算；
确定计算结果小于设定值时，根据预存的所述人体检测框与人体关键点的第一对应关系，以及预存的所述人体跟踪框与人体跟踪关键点的第二对应关系，调取与所述人体检测框对应的所述人体关键点，以及调取与所述人体跟踪框对应的所述人体跟踪关键点；
根据所述人体关键点和所述人体部位关联向量，将所述当前图像帧的所述检测对象划为直立姿态、弯腰姿态、倒地姿态、坐立姿态、未知姿态中的一种，以及根据所述人体跟踪关键点和所述人体部位跟踪关联向量，将根据所述上一图像帧得到的所述跟踪对象划为直立姿态、弯腰姿态、倒地姿态、坐立姿态、未知姿态中的一种；
获取所述检测对象在当前姿态的设定维度的第一特征向量，以及获取与所述检测对象姿态相同的所述跟踪对象的所述设定维度的第二特征向量；
根据所述第一特征向量和所述第二特征向量，确定特征相似度；
根据所述人体边界框相似度、所述人体关联向量相似度、所述特征相似度，确定第二人体相似度匹配矩阵；
通过匈牙利算法对所述第二人体相似度匹配矩阵进行最优化匹配计算。
16.一种计算机可读介质，其特征在于，包括程序代码，当所述程序代码在计算设备上运行时，所述程序代码用于使所述计算设备执行如权利要求1-14任一项所述的目标跟踪方法。
CN201911399545.3A 2019-12-30 2019-12-30 一种目标跟踪方法、目标跟踪装置及计算机可读介质 Active CN111161320B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911399545.3A CN111161320B (zh) 2019-12-30 2019-12-30 一种目标跟踪方法、目标跟踪装置及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911399545.3A CN111161320B (zh) 2019-12-30 2019-12-30 一种目标跟踪方法、目标跟踪装置及计算机可读介质

Publications (2)

Publication Number Publication Date
CN111161320A CN111161320A (zh) 2020-05-15
CN111161320B true CN111161320B (zh) 2023-05-19

Family

ID=70559397

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911399545.3A Active CN111161320B (zh) 2019-12-30 2019-12-30 一种目标跟踪方法、目标跟踪装置及计算机可读介质

Country Status (1)

Country Link
CN (1) CN111161320B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862624B (zh) * 2020-07-29 2022-05-03 浙江大华技术股份有限公司 车辆匹配方法、装置、存储介质及电子装置
CN112037253A (zh) * 2020-08-07 2020-12-04 浙江大华技术股份有限公司 目标跟踪方法及其装置
CN112037247A (zh) * 2020-08-27 2020-12-04 浙江大华技术股份有限公司 一种目标跟踪的方法、装置及计算机存储介质
CN111814767B (zh) * 2020-09-02 2021-02-05 科大讯飞(苏州)科技有限公司 跌倒检测方法、装置、电子设备和存储介质
CN112507786B (zh) * 2020-11-03 2022-04-08 浙江大华技术股份有限公司 人体多部位检测框关联方法、装置、电子装置和存储介质
CN112597898B (zh) * 2020-12-24 2021-11-23 珠高电气检测有限公司 基于实时计步的电力人员安全状态智能识别方法及介质
CN112906600A (zh) * 2021-03-04 2021-06-04 联想(北京)有限公司 一种对象信息监测方法、装置及电子设备
CN113516092A (zh) * 2021-07-27 2021-10-19 浙江大华技术股份有限公司 目标行为的确定方法及装置、存储介质及电子装置
CN113963442A (zh) * 2021-10-25 2022-01-21 重庆科技学院 一种基于体态综合特征的跌倒行为识别方法
CN114219832B (zh) * 2021-11-29 2023-04-07 浙江大华技术股份有限公司 人脸跟踪方法、装置及计算机可读存储介质
CN114119674B (zh) * 2022-01-28 2022-04-26 深圳佑驾创新科技有限公司 一种静态目标跟踪方法、装置及存储介质
CN115100244B (zh) * 2022-07-05 2023-04-07 上海闪马智能科技有限公司 一种目标跟踪方法、装置、存储介质及电子装置
CN114937246B (zh) * 2022-07-06 2023-02-07 中航信移动科技有限公司 一种行人识别方法、电子设备及存储介质
CN114882491B (zh) * 2022-07-11 2022-10-25 浙江大华技术股份有限公司 一种非机动车目标的跟踪方法、装置和电子设备
CN115100442B (zh) * 2022-08-23 2022-11-22 浙江大华技术股份有限公司 目标匹配方法、目标与部位匹配方法及相关设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110110649A (zh) * 2019-05-02 2019-08-09 西安电子科技大学 基于速度方向的可选择性人脸检测方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9613273B2 (en) * 2015-05-19 2017-04-04 Toyota Motor Engineering & Manufacturing North America, Inc. Apparatus and method for object tracking
US10586102B2 (en) * 2015-08-18 2020-03-10 Qualcomm Incorporated Systems and methods for object tracking
US10019633B2 (en) * 2016-08-15 2018-07-10 Qualcomm Incorporated Multi-to-multi tracking in video analytics
CN108053427B (zh) * 2017-10-31 2021-12-14 深圳大学 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置
CN110163889A (zh) * 2018-10-15 2019-08-23 腾讯科技（深圳）有限公司 目标跟踪方法、目标跟踪装置、目标跟踪设备
CN110443116B (zh) * 2019-06-19 2023-06-20 平安科技（深圳）有限公司 视频行人检测方法、装置、服务器及存储介质
CN110443210B (zh) * 2019-08-08 2021-11-26 北京百度网讯科技有限公司 一种行人跟踪方法、装置以及终端

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110110649A (zh) * 2019-05-02 2019-08-09 西安电子科技大学 基于速度方向的可选择性人脸检测方法

Also Published As

Publication number Publication date
CN111161320A (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
CN111161320B (zh) 一种目标跟踪方法、目标跟踪装置及计算机可读介质
CN111627045B (zh) 单镜头下的多行人在线跟踪方法、装置、设备及存储介质
CN111127513B (zh) 一种多目标跟踪方法
CN108470332B (zh) 一种多目标跟踪方法及装置
CN111814661B (zh) 基于残差-循环神经网络的人体行为识别方法
CN112836640B (zh) 一种单摄像头多目标行人跟踪方法
CN110084836B (zh) 基于深度卷积特征分层响应融合的目标跟踪方法
CN113269073A (zh) 一种基于yolo v5算法的船舶多目标追踪方法
CN108416258A (zh) 一种基于人体部位模型的多人体跟踪方法
CN110781790A (zh) 基于卷积神经网络与vlad的视觉slam闭环检测方法
CN114972418A (zh) 基于核自适应滤波与yolox检测结合的机动多目标跟踪方法
CN109886356A (zh) 一种基于三分支神经网络的目标追踪方法
CN112434599B (zh) 一种基于噪声通道的随机遮挡恢复的行人重识别方法
CN112926522B (zh) 一种基于骨骼姿态与时空图卷积网络的行为识别方法
CN112541424A (zh) 复杂环境下行人跌倒的实时检测方法
CN113608663B (zh) 一种基于深度学习和k-曲率法的指尖跟踪方法
CN112634368A (zh) 场景目标的空间与或图模型生成方法、装置及电子设备
CN113780145A (zh) 精子形态检测方法、装置、计算机设备和存储介质
CN112541403A (zh) 一种利用红外摄像头的室内人员跌倒检测方法
CN115690545B (zh) 训练目标跟踪模型和目标跟踪的方法和装置
CN114627339B (zh) 茂密丛林区域对越境人员的智能识别跟踪方法及存储介质
Feng Mask RCNN-based single shot multibox detector for gesture recognition in physical education
CN109544632B (zh) 一种基于层次主题模型的语义slam对象关联方法
CN113888603A (zh) 基于光流跟踪和特征匹配的回环检测及视觉slam方法
CN107330382A (zh) 基于局部卷积特征联合表示的单样本人脸识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant