CN117036407B - 多目标跟踪方法、装置及设备 - Google Patents

Abstract

本申请实施例提供一种多目标跟踪方法、装置及设备，该方法包括：电子设备获取摄像模块发送的图像数据，并在图像数据的初始帧图像中，确定待跟踪目标以及待跟踪目标对应的目标信息；目标信息包括人体全身信息、身体部分信息以及人体附属物信息其中至少一种信息类型；确定目标信息中各个信息类型对应的置信度，并根据置信度确定待跟踪目标对应的目标信息类型；提取目标信息类型对应的目标特征，并基于目标特征对待跟踪目标进行跟踪；在目标信息类型对应的置信度满足预设条件的情况下，切换目标信息类型，并基于新的目标信息类型对应的目标特征，对待跟踪目标进行跟踪。这样，能够提高多目标跟踪的准确性。

Description

多目标跟踪方法、装置及设备

技术领域

本申请涉及计算机技术领域，尤其涉及一种多目标跟踪方法、装置及设备。

背景技术

随着互联网、人工智能等技术的不断发展，各类智能算法的应用场景越来越广泛。在线下商超等场景中，商家通常需要获取客流数据等信息作为销售参考。

在相关技术中，在统计客流数据时，商家通常基于电子设备对用户人体全身进行跟踪检测，实现对大量用户的跟踪统计。这种针对多目标的跟踪方法在密集人流场景时，遮挡问题较为严重，电子设备对于用户人体检测不够完整，导致电子设备多目标跟踪的准确性不高。

发明内容

本申请的多个方面提供一种多目标跟踪方法、装置及设备，用以提高电子设备多目标跟踪的准确性。

第一方面，本申请实施例提供一种多目标跟踪方法，包括：

获取摄像模块发送的图像数据，并在所述图像数据的初始帧图像中，确定待跟踪目标以及所述待跟踪目标对应的目标信息；所述目标信息包括人体全身信息、身体部分信息以及人体附属物信息其中至少一种信息类型；

确定所述目标信息中各个信息类型对应的置信度，并根据所述置信度确定所述待跟踪目标对应的目标信息类型；

提取所述目标信息类型对应的目标特征，并基于所述目标特征对所述待跟踪目标进行跟踪；

在所述目标信息类型对应的置信度满足预设条件的情况下，切换所述目标信息类型，并基于新的目标信息类型对应的目标特征，对所述待跟踪目标进行跟踪。

在一种可能的实施方式中，在所述确定待跟踪目标以及所述待跟踪目标对应的目标信息之后，所述方法还包括：

提取所述目标信息对应的初始特征，并将所述待跟踪目标以及所述待跟踪目标对应的初始特征存储至预设存储位置。

在一种可能的实施方式中，所述根据所述置信度确定所述待跟踪目标对应的目标信息类型，包括；

若所述目标信息包括人体全身信息，则确定所述人体全身信息对应的第一置信度；

在所述第一置信度满足第一预设条件的情况下，将所述人体全身信息作为目标信息类型。

在一种可能的实施方式中，所述根据所述置信度确定所述待跟踪目标对应的目标信息类型，包括；

若所述目标信息包括身体部分信息和/或人体附属物信息，则将所述身体部分信息和/或人体附属物信息与人体全身信息进行关联匹配；

在所述身体部分信息和/或人体附属物信息与人体全身信息匹配成功的情况下，将所述人体全身信息作为目标信息类型；

在身体部分信息和/或人体附属物信息与人体全身信息匹配不成功的情况下，确定所述身体部分信息对应的第二置信度并确定所述人体附属物信息对应的第三置信度；

在所述第二置信度满足第一预设条件的情况下，将所述身体部分信息作为目标信息类型；

在所述第二置信度不满足所述第一预设条件并且第三置信度满足所述第一预设条件的情况下，将所述人体附属物信息作为目标信息类型。

在一种可能的实施方式中，所述基于所述目标特征对所述待跟踪目标进行跟踪，包括：

获取所述图像数据中的实时图像，并在所述实时图像中提取所述目标信息类型对应的实时目标特征；

在所述目标特征与所述实时目标特征匹配的情况下，基于所述实时目标特征继续对所述待跟踪目标进行跟踪。

在一种可能的实施方式中，所述在所述目标信息类型对应的置信度满足预设条件的情况下，切换所述目标信息类型，包括：

若所述目标信息类型为人体全身信息，在所述人体全身信息对应的置信度满足第二预设条件的情况下，将所述目标信息类型切换为身体部分信息；

若所述目标信息类型为身体部分信息，在所述身体部分信息对应的置信度满足所述第二预设条件的情况下，将所述目标信息类型切换为人体附属物信息。

在一种可能的实施方式中，所述在所述目标信息类型对应的置信度满足预设条件的情况下，切换所述目标信息类型，包括：

若所述目标信息类型为身体部分信息，从实时图像中提取所述身体部分信息对应的人体全身信息，并将所述身体部分信息与人体全身信息进行关联匹配；

在所述身体部分信息与所述人体全身信息匹配成功的情况下，将所述人体全身信息作为目标信息类型。

在一种可能的实施方式中，所述在所述目标信息类型对应的置信度满足预设条件的情况下，切换所述目标信息类型，包括：

若所述目标信息类型为人体附属物信息，从实时图像中提取人体附属物信息对应的人体全身信息以及身体部分信息；

将所述人体附属物信息与人体全身信息进行关联匹配，并在所述人体附属物信息与所述人体全身信息匹配成功的情况下，将所述人体全身信息作为目标信息类型；

若所述人体附属物信息与所述人体全身信息匹配不成功，将所述人体附属物信息与身体部分信息进行关联匹配，并在所述人体附属物信息与所述身体部分信息匹配成功的情况下，将所述身体部分信息作为目标信息类型。

在一种可能的实施方式中，所述方法还包括：

确定所述待跟踪目标的移动轨迹，并确定所述图像数据对应的目标位置；

根据经过所述目标位置的移动轨迹的数量，确定目标客流量。

在一种可能的实施方式中，所述摄像模块基于倾斜视角拍摄。

第二方面，本申请实施例提供一种多目标跟踪装置，包括：

获取模块，用于获取摄像模块发送的图像数据，并在所述图像数据的初始帧图像中，确定待跟踪目标以及所述待跟踪目标对应的目标信息；所述目标信息包括人体全身信息、身体部分信息以及人体附属物信息其中至少一种信息类型；

确定模块，用于确定所述目标信息中各个信息类型对应的置信度，并根据所述置信度确定所述待跟踪目标对应的目标信息类型；

跟踪模块，用于提取所述目标信息类型对应的目标特征，并基于所述目标特征对所述待跟踪目标进行跟踪；

切换模块，用于在所述目标信息类型对应的置信度满足预设条件的情况下，切换所述目标信息类型，并基于新的目标信息类型对应的目标特征，对所述待跟踪目标进行跟踪。

在一种可能的实施方式中，所述装置还用于：

提取所述目标信息对应的初始特征，并将所述待跟踪目标以及所述待跟踪目标对应的初始特征存储至预设存储位置。

在一种可能的实施方式中，所述确定模块，具体用于；

若所述目标信息包括人体全身信息，则确定所述人体全身信息对应的第一置信度；

在所述第一置信度满足第一预设条件的情况下，将所述人体全身信息作为目标信息类型。

在一种可能的实施方式中，所述确定模块，具体用于；

若所述目标信息包括身体部分信息和/或人体附属物信息，则将所述身体部分信息和/或人体附属物信息与人体全身信息进行关联匹配；

在所述身体部分信息和/或人体附属物信息与人体全身信息匹配成功的情况下，将所述人体全身信息作为目标信息类型；

在身体部分信息和/或人体附属物信息与人体全身信息匹配不成功的情况下，确定所述身体部分信息对应的第二置信度并确定所述人体附属物信息对应的第三置信度；

在所述第二置信度满足第一预设条件的情况下，将所述身体部分信息作为目标信息类型；

在所述第二置信度不满足所述第一预设条件并且第三置信度满足所述第一预设条件的情况下，将所述人体附属物信息作为目标信息类型。

在一种可能的实施方式中，所述跟踪模块，具体用于：

获取所述图像数据中的实时图像，并在所述实时图像中提取所述目标信息类型对应的实时目标特征；

在所述目标特征与所述实时目标特征匹配的情况下，基于所述实时目标特征继续对所述待跟踪目标进行跟踪。

在一种可能的实施方式中，所述切换模块，具体用于：

若所述目标信息类型为人体全身信息，在所述人体全身信息对应的置信度满足第二预设条件的情况下，将所述目标信息类型切换为身体部分信息；

若所述目标信息类型为身体部分信息，在所述身体部分信息对应的置信度满足所述第二预设条件的情况下，将所述目标信息类型切换为人体附属物信息。

在一种可能的实施方式中，所述切换模块，具体用于：

若所述目标信息类型为身体部分信息，从实时图像中提取所述身体部分信息对应的人体全身信息，并将所述身体部分信息与人体全身信息进行关联匹配；

在所述身体部分信息与所述人体全身信息匹配成功的情况下，将所述人体全身信息作为目标信息类型。

在一种可能的实施方式中，所述切换模块，具体用于：

若所述目标信息类型为人体附属物信息，从实时图像中提取人体附属物信息对应的人体全身信息以及身体部分信息；

将所述人体附属物信息与人体全身信息进行关联匹配，并在所述人体附属物信息与所述人体全身信息匹配成功的情况下，将所述人体全身信息作为目标信息类型；

若所述人体附属物信息与所述人体全身信息匹配不成功，将所述人体附属物信息与身体部分信息进行关联匹配，并在所述人体附属物信息与所述身体部分信息匹配成功的情况下，将所述身体部分信息作为目标信息类型。

在一种可能的实施方式中，所述装置还用于：

确定所述待跟踪目标的移动轨迹，并确定所述图像数据对应的目标位置；

根据经过所述目标位置的移动轨迹的数量，确定目标客流量。

在一种可能的实施方式中，所述摄像模块基于倾斜视角拍摄。

第三方面，本申请实施例提供一种电子设备，包括：存储器和处理器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行第一方面任一项所述的多目标跟踪方法。

第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当所述计算机执行指令被处理器执行时用于实现第一方面任一项所述的多目标跟踪方法。

第五方面，本申请实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面任一项所示的多目标跟踪方法。

在本申请实施例中，电子设备获取摄像模块发送的图像数据，并在图像数据的初始帧图像中，确定待跟踪目标以及待跟踪目标对应的目标信息；目标信息包括人体全身信息、身体部分信息以及人体附属物信息其中至少一种信息类型；确定目标信息中各个信息类型对应的置信度，并根据置信度确定待跟踪目标对应的目标信息类型；提取目标信息类型对应的目标特征，并基于目标特征对待跟踪目标进行跟踪；在目标信息类型对应的置信度满足预设条件的情况下，切换目标信息类型，并基于新的目标信息类型对应的目标特征，对待跟踪目标进行跟踪。本申请实施例中，电子设备获取多种信息类型的目标信息，并在初始帧基于置信度确定待跟踪目标的目标信息类型，在跟踪过程中，首先基于目标信息类型对应的目标特征对待跟踪目标进行跟踪，当目标移动出现遮挡现象，目标信息类型的置信度下降时，电子设备可以对目标信息类型进行切换，采用置信度满足预设条件的信息类型继续对待跟踪目标进行跟踪，这样，电子设备通过在跟踪过程中基于置信度对信息类型进行切换，采用高置信度的目标信息对待跟踪目标进行跟踪，能够提高多目标跟踪的准确性。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请示例性实施例提供的一种应用场景的示意图；

图2为本申请示例性实施例提供的一种多目标跟踪方法的流程示意图；

图3为本申请示例性实施例提供的另一种多目标跟踪方法的流程示意图；

图4为本申请示例性实施例提供的基于人体全身信息的多目标跟踪示意图；

图5为本申请示例性实施例提供的基于身体部分信息的多目标跟踪示意图；

图6为本申请示例性实施例提供的基于人体附属物信息的多目标跟踪示意图；

图7为本申请示例性实施例提供的一种多目标跟踪的技术链路示意图；

图8为本申请示例性实施例提供的一种多目标跟踪装置的结构示意图；

图9为本申请示例性实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

随着信息技术、人工智能技术的不断成熟，线下商超等也不断向着便捷化、智能化方向发展。对于商家而言，每天进店、逛店、离店等的客流数据信息，可以辅助商家在位置选择、销售策略等方面的决策。在相关技术中，为了获取客流数据信息，商家通常是基于多目标跟踪算法进行客流统计。相关技术中的多目标跟踪方案主要有如下两种：

其一是基于人体主体的跟踪方案。在该方案中，电子设备检测人体主体全身，并基于人体主体全身的特征实现多目标跟踪。该方案在正常情况下效果较好，但在密集人流场景时，遮挡问题较为严重，此时人体主体严重不完整，出现人体检测不到、特征提取不准确等情况，导致电子设备多目标跟踪的准确度不高。

其二是基于人体头部的跟踪方案。在该方案中，电子设备检测人体头部，并基于人体头部的特征实现多目标跟踪。该方案能解决遮挡问题严重时人体检测不到的情况，但也有存在如下不足：室内场景人体头部相似物体显著变多导致误检变多；头部特征弱于人体特征，人头跟踪导致多目标跟踪精度不高；图像帧率影响较大，图像帧率不稳定时，人体头部这种小目标跟踪的准确度较低。

由此可见，在线下商超等人流密集场景中，存在大量人群密集移动，相关技术中的多目标跟踪方案准确度不高，无法实现高精度的多目标跟踪，导致数据统计的精准度不高。

针对上述问题，本申请实施例中电子设备获取待跟踪目标的人体全身信息、身体部分信息以及人体附属物信息等多种类型的目标信息，采用人体全身、身体部分、人体附属物多主体驱动的跟踪方式，能显著提升轨迹持续跟踪长度，提升了密集人群下人体被频繁大面积遮挡不可见时的跟踪效果；并且在跟踪过程中当人体出现遮挡导致目标信息的置信度下降时，电子设备可以动态切换置信度更高的目标信息类型继续对待跟踪目标进行跟踪，能够提高多目标跟踪的精确度，能够在密集人群场景下实现高精度的多目标跟踪。

图1为本申请示例性实施例提供的一种应用场景的示意图。如图1所示，包括电子设备101、多目标人群图像102。其中，电子设备101可以为手机、电脑等设备，本申请实施例对于电子设备101的具体种类不作限定。

如图1所示出的，在相关技术中，电子设备101在获取到摄像模块上传的多目标人群图像102之后，可以检测多目标人群图像102各个目标的人体全身，并基于人体全身特征实现多目标跟踪。当人群较为密集时，人体全身遮挡情况较为严重，相关技术中的这种多目标跟踪方案准确度不高。

而在本申请实施例中，电子设备101在获取到摄像模块上传的多目标人群图像102之后，可以检测多目标人群图像102各个目标的人体全身信息、身体部分信息以及人体附属物信息，电子设备可以选择其中优先级和可信度更高的信息类型作为目标信息类型对待跟踪目标进行跟踪，并且在跟踪过程中当目标信息类型的置信度较低时，可以切换为其他置信度较高的信息类型，实现密集人群场景下的高精度多目标跟踪。

以下通过具体实施例对本申请所示的技术方案进行详细说明。需要说明的是，以下几个实施例可以单独存在，也可以相互结合，对于相同或相似的内容，在不同的实施例中不再重复说明。

图2为本申请示例性实施例提供的一种多目标跟踪方法的流程示意图。请参见图2，该多目标跟踪方法可以包括：

S201、获取摄像模块发送的图像数据，并在图像数据的初始帧图像中，确定待跟踪目标以及待跟踪目标对应的目标信息；目标信息包括人体全身信息、身体部分信息以及人体附属物信息其中至少一种信息类型。

本申请实施例的执行主体可以为电子设备，也可以为设置在电子设备中的多目标跟踪装置。多目标跟踪装置可以通过软件实现，也可以通过软件和硬件的结合实现。为了便于理解，在下文中，以执行主体为电子设备为例进行说明。

本申请实施例中，摄像模块可以是指用于进行人群图像拍摄的设备模块，具体可以是指摄像头等。图像数据可以是指摄像模块拍摄的实时图像流，摄像模块可以将实时图像逐帧上传，也可以采用视频流等形式上传，本申请实施例对此不作限定。摄像模块与电子设备通信连接，电子设备可以获取摄像模块上传的图像数据，并基于该图像数据进行多目标跟踪。摄像模块与电子设备可以是无线连接，也可以是有线连接，本申请实施例对此不作限定。

初始帧图像可以是指摄像模块上传的第一帧图像。待跟踪目标可以是指初始帧图像中的各个用户(客户、消费者)。目标信息可以是指待跟踪目标的图像检测信息，具体可以包括人体全身信息、身体部分信息以及人体附属物信息等信息类型。其中，人体全身信息可以是指用户人体整个全身的信息。身体部分信息可以是指用户身体部分的信息，例如头部信息、手部信息、腿部信息等。人体附属物信息可以是指用户携带物体的信息，例如可以包括随身包、帽子、鞋子或者其他装饰品等。需要说明的是，由于人群密集造成的遮挡情况，电子设备基于初始帧图像可能检测到待跟踪目标的多种目标信息，也可能仅能检测到待跟踪目标的一种目标信息，本申请实施例对此不作限定。此外，目标信息还可以包括其他类型的信息，例如表征人体关节的人体关键点信息等，本申请实施例对此不作限定。

本步骤中，在需要进行多目标跟踪时，摄像模块可以拍摄人群图像，并向电子设备上传图像数据。电子设备在获取到摄像模块发送的图像数据之后，可以在初始帧图像中确定出待跟踪目标，该待跟踪目标可以是指初始帧图像中能够检测到的所有用户，并且电子设备可以基于初始帧图像确定出各个待跟踪目标对应的目标信息，该目标信息可以包括人体全身信息、身体部分信息以及人体附属物信息其中至少一种。之后，电子设备可以直接存储待跟踪目标以及待跟踪目标对应的目标信息；或者电子设备可以提取出目标信息对应的重识别特征(Re-identification，Reid)，然后存储待跟踪目标以及待跟踪目标对应的Reid特征，方便后续跟踪过程中的对比匹配。

S202、确定目标信息中各个信息类型对应的置信度，并根据置信度确定待跟踪目标对应的目标信息类型。

本申请实施例中，置信度可以是指目标信息中不同信息类型对应的可信度，可以基于预设网络模型来确定。该预设网络模型可以是基于神经网络的特征识别模型，预设网络模型的输入为可以为人群图像中待跟踪目标的目标信息，输出为目标信息对应的目标特征以及置信度。目标信息类型可以是指电子设备在初始状态下的跟踪主体，由于人群密集导致的遮挡情况不同，目标信息类型可以是人体全身信息、身体部分信息或者人体附属物信息。

本步骤中，电子设备在确定出初始帧图像中的待跟踪目标以及待跟踪目标对应的目标信息之后，可以进一步确定目标信息中不同的信息类型对应的置信度，并根据该置信度来确定待跟踪目标对应的目标信息类型。

在确定目标信息类型时，电子设备可以按照人体全身信息、身体部分信息以及人体附属物信息优先级从高到低的顺序进行置信度的对比判断。具体的，电子设备可以首先确定人体全身信息的置信度，若人体全身信息这一信息类型的置信度较高，此时电子设备可以直接将人体全身信息作为目标信息类型，后续首先基于人体全身信息对待跟踪目标进行跟踪。当人体全身信息这一信息类型的置信度较低时，电子设备可以进一步确定身体部分信息的置信度，若身体部分信息这一信息类型的置信度较高，此时电子设备可以将身体部分信息作为目标信息类型，后续首先基于身体部分信息对待跟踪目标进行跟踪。进一步的，当身体部分信息这一信息类型的置信度较低时，电子设备可以进一步确定人体附属物信息的置信度，若人体附属物信息这一信息类型的置信度较高，此时电子设备可以将人体附属物信息作为目标信息类型，后续首先基于人体附属物信息对待跟踪目标进行跟踪。这样，电子设备通过优先级以及置信度相结合的方式，既能够确保特征的全面性，也能够提高跟踪的准确度。

当然，除了上述方式之外，在确定目标信息类型时，电子设备也可以将人体全身信息、身体部分信息以及人体附属物信息分别对应的置信度进行对比，直接将置信度最高的信息类型作为目标信息类型，这样能够在提高跟踪的准确度的基础上提高运算速度，本申请实施例对此不作限定。

S203、提取目标信息类型对应的目标特征，并基于目标特征对待跟踪目标进行跟踪。

本申请实施例中，目标特征可以是指目标信息或者目标信息类型对应的重识别Reid特征，可以基于预设网络模型识别得到，预设网络模型可以对目标信息进行特征识别，输出目标信息对应的目标特征以及置信度，该预设网络模型可以基于深度学习算法或者神经网络模型创建，本申请实施例对于预设网络模型的具体算法不作限定。本步骤中，在确定出待跟踪目标对应的目标信息类型之后，电子设备可以提取目标信息类型对应的目标特征，并根据该目标特征，在后续的实时图像中对待跟踪目标进行定位跟踪。

S204、在目标信息类型对应的置信度满足预设条件的情况下，切换目标信息类型，并基于新的目标信息类型对应的目标特征，对待跟踪目标进行跟踪。

本申请实施例中，预设条件可以是指预先设置的信息类型切换的置信度条件，预设条件具体可以是指置信度等于或者小于预设阈值时，该预设阈值可以为0.7、0.8、0.9等。预设条件还可以是指目标信息类型与其他信息类型关联匹配是否成功等，该关联匹配具体可以是指人体关键点置信度确定以及位置匹配等；示例性地，当目标信息类型为人体附属物信息时，电子设备基于人体附属物信息对待跟踪目标进行跟踪的过程中，若实时检测的人体附属物信息能够与待跟踪目标的人体全身信息关联匹配成功，此时待跟踪目标人体全身处于未被遮挡的状态，电子设备可以将人体全身信息作为目标信息类型，基于人体全身信息继续对待跟踪目标进行跟踪。当然，预设条件还可以包括其他条件，具体可以基于实际需求进行灵活设置，本申请实施例对此不作限定。

本步骤中，电子设备基于目标信息类型对待跟踪目标进行跟踪时，待跟踪目标在移动过程中的遮挡情况是动态变化的，相应的摄像模块上传的实时图像也在不断变化，电子设备基于实时图像确定的目标信息类型的置信度也在动态变化，若该目标信息类型的置信度降低至预设阈值或者小于预设阈值时，电子设备可以切换目标信息类型，采用置信度更高的新的目标信息类型(例如下一优先级的信息类型)继续对待跟踪目标进行跟踪，这样能够提高多目标跟踪的准确度。同时，电子设备在采用低优先级的目标信息类型时(例如人体附属物信息)，若电子设备能够将目标信息类型与更高优先级的信息类型关联匹配成功，电子设备可以将更高优先级的信息类型(例如身体部分信息、人体全身信息)作为目标信息类型，这样检测的特征更加全面，跟踪的准确度更高。

在本申请实施例中，电子设备获取摄像模块发送的图像数据，并在图像数据的初始帧图像中，确定待跟踪目标以及待跟踪目标对应的目标信息；目标信息包括人体全身信息、身体部分信息以及人体附属物信息其中至少一种信息类型；确定目标信息中各个信息类型对应的置信度，并根据置信度确定待跟踪目标对应的目标信息类型；提取目标信息类型对应的目标特征，并基于目标特征对待跟踪目标进行跟踪；在目标信息类型对应的置信度满足预设条件的情况下，切换目标信息类型，并基于新的目标信息类型对应的目标特征，对待跟踪目标进行跟踪。本申请实施例中，电子设备获取多种信息类型的目标信息，并在初始帧基于置信度确定待跟踪目标的目标信息类型，在跟踪过程中，首先基于目标信息类型对应的目标特征对待跟踪目标进行跟踪，当目标移动出现遮挡现象，目标信息类型的置信度下降时，电子设备可以对目标信息类型进行切换，采用置信度满足预设条件的信息类型继续对待跟踪目标进行跟踪，这样，电子设备通过在跟踪过程中基于置信度对信息类型进行切换，采用高置信度的目标信息对待跟踪目标进行跟踪，能够提高多目标跟踪的准确性。

在上述实施例的基础上，图3为本申请示例性实施例提供的另一种多目标跟踪方法的流程示意图。请参见图3，该多目标跟踪方法可以包括：

S301、获取摄像模块发送的图像数据，并在图像数据的初始帧图像中，确定待跟踪目标以及待跟踪目标对应的目标信息；目标信息包括人体全身信息、身体部分信息以及人体附属物信息其中至少一种信息类型。

在一种可能的实施方式中，摄像模块基于倾斜视角拍摄。

本申请实施例中，倾斜视角可以是指摄像模块从侧面拍摄的视角。在相关技术中，电子设备通常是基于人体全身或者人体头部进行检测，因此通常摄像模块是部署在较高的位置，通过俯视视角进行图像拍摄，导致摄像模块部署的难度和成本较高。

而在本申请实施例中，电子设备可以基于人体全身信息、身体部分信息以及人体附属物信息多种信息类型进行多目标跟踪，并且在跟踪过程中可以灵活切换信息类型，摄像模块无需部署在较高的位置进行俯视拍摄，基于倾斜视角的图像即可实现多目标跟踪，摄像模块部署更加简单方便，成本较低，同时多目标跟踪的精度也更高。

S302、提取目标信息对应的初始特征，并将待跟踪目标以及待跟踪目标对应的初始特征存储至预设存储位置。

本申请实施例中，初始特征可以是指初始帧图像中的目标信息对应的用户初始Reid特征。预设存储位置可以是预先设置的特征存储序列，用于存储各个待跟踪目标及其对应的初始特征。

本步骤中，电子设备基于初始帧图像，可以确定出待跟踪目标以及待跟踪目标对应的目标信息。之后，电子设备可以进一步确定出目标信息对应的初始特征，并将待跟踪目标以及待跟踪目标对应的初始特征存储至预设存储位置。后续在对待跟踪目标进行跟踪时，在目标信息类型切换之后，电子设备可以基于新的目标信息类型对应的目标特征与初始特征进行基于相似度的对比匹配，匹配成功则可以确定是同一个待跟踪目标，后续可以继续基于新的目标信息类型对应的目标特征进行跟踪，这样能够确保跟踪的准确性。

需要说明的是，待跟踪目标对应的Reid特征是按照特征队列的形式进行存储的，由于实时图像在不断上传，电子设备针对每一帧实时图像都可以提取出目标信息对应的Reid特征，也可以将其存储至预设存储位置对应的特征队列中，实现Reid特征的动态更新存储，确保Reid特征的实时性。

S303、确定目标信息中各个信息类型对应的置信度，并根据置信度确定待跟踪目标对应的目标信息类型。

在一种可能的实施方式中，步骤S303可以包括如下步骤(1)至(2)：

(1)、若目标信息包括人体全身信息，则确定人体全身信息对应的第一置信度。

本申请实施例中，第一置信度可以是指人体全身信息对应的置信度。电子设备在确定置信度时，可以基于目标信息中包括的人体关键点进行确定，人体关键点可以是指人体的重要关节点，可以基于人体的骨骼特征进行划分，例如可以包括头部、肩部、手肘、手部、膝关节、脚部等。目标信息对应的置信度可以是指目标信息中多个人体关键点的置信度平均值，当然也可以采用其他计算方式，本申请实施例对此不作限定。

示例性地，对于人体全身信息，第一置信度可以是指待跟踪目标上半身人体关键点对应的置信度均值，这样，电子设备在计算第一置信度时，既能够确保准确度，也能够减少计算量。

(2)、在第一置信度满足第一预设条件的情况下，将人体全身信息作为目标信息类型。

本申请实施例中，第一预设条件可以是指置信度大于预设阈值等，该预设阈值可以是指0.7、0.8、0.9等，具体可以基于实际需求进行灵活设置，本申请实施例对此不作限定。

具体的，电子设备可以按照人体全身信息、身体部分信息以及人体附属物信息优先级从高到低的顺序来确定目标信息类型。当目标信息中包括人体全身信息时，电子设备可以确定出人体全身信息对应的第一置信度，然后可以确定第一置信度是否满足第一预设条件，若满足，电子设备可以确定人体全身信息对应的置信度较高，可以将该人体全身信息作为目标信息类型对待跟踪目标进行跟踪。这样，电子设备在人体全身信息的置信度满足第一预设条件时，可以将人体全身信息作为目标信息类型，能够提高特征提取的全面性，提高跟踪精度。

在另一种可能的实施方式中，步骤S303还可以包括如下步骤(3)至(5)：

(3)、若目标信息包括身体部分信息和/或人体附属物信息，则将身体部分信息和/或人体附属物信息与人体全身信息进行关联匹配。

(4)、在身体部分信息和/或人体附属物信息与人体全身信息匹配成功的情况下，将人体全身信息作为目标信息类型。

本申请实施例中，关联匹配可以是指将身体部分或者人体附属物与人体全身基于几何位置等进行匹配。具体的，对于目标信息中的身体部分信息以及人体附属物信息，电子设备可以将身体部分信息以及人体附属物信息与人体全身信息进行关联匹配，具体可以基于人体关键点的几何信息以及先验信息等进行对比匹配，其中几何信息可以是指人体生理特征的几何位置关系，例如头部与肩膀的几何位置关系等；先验信息可以是指人体生理特征对应的数量等的限制信息，例如一个用户至多对应一个头部信息、两个手部信息等。

若关联匹配成功，电子设备可以将人体全身信息作为目标信息类型；若关联匹配不成功，此时电子设备可以确定待跟踪目标由于人群遮挡导致只有身体部分信息可见或者人体附属物可见，后续可以进一步确定身体部分信息以及人体附属物信息的置信度，并基于置信度确定将身体部分信息或者人体附属物信息作为目标信息类型。

(5)、在身体部分信息和/或人体附属物信息与人体全身信息匹配不成功的情况下，确定身体部分信息对应的第二置信度并确定人体附属物信息对应的第三置信度。

(6)、在第二置信度满足第一预设条件的情况下，将身体部分信息作为目标信息类型。

(7)、在第二置信度不满足第一预设条件并且第三置信度满足第一预设条件的情况下，将人体附属物信息作为目标信息类型。

本申请实施例中，第二置信度可以是指待跟踪目标身体部分信息对应的置信度。第三置信度可以是指待跟踪目标人体附属物信息对应的置信度。

具体的，当身体部分信息以及人体附属物信息与人体全身信息匹配不成功时，电子设备可以确定此时由于人群遮挡待跟踪目标仅有部分可见，电子设备可以进一步确定身体部分信息对应的第二置信度以及人体附属物信息对应的第三置信度。电子设备可以按照优先级顺序，先确定身体部分信息对应的第二置信度是否满足第一预设条件，若满足，则电子设备可以将身体部分信息确定为目标信息类型；若第二置信度不满足预设条件，电子设备可以确定第三置信度是否满足第一预设条件，若满足，则电子设备可以将人体附属物信息确定为目标信息类型。

在本申请实施例中，电子设备基于优先级顺序和不同信息类型的置信度来确定目标信息类型，能够选取可信度较高的信息类型对待跟踪目标进行跟踪，提高了多目标跟踪的准确度。

S304、提取目标信息类型对应的目标特征，并基于目标特征对待跟踪目标进行跟踪。

在一种可能的实施方式中，步骤S304中对跟踪目标进行跟踪的过程可以通过如下方式实现：

获取图像数据中的实时图像，并在实时图像中提取目标信息类型对应的实时目标特征；在目标特征与实时目标特征匹配的情况下，基于实时目标特征继续对待跟踪目标进行跟踪。

本申请实施例中，在从初始帧图像中提取得到目标信息类型对应的目标特征之后，电子设备基于该目标特征在下一帧实时图像中对待跟踪目标进行跟踪。具体的，电子设备可以获取图像数据中的下一帧实时图像，并对实时图像进行检测，确定出目标信息类型对应的实时目标特征。电子设备可以将目标特征与实时目标特征进行基于相似度的对比匹配，若二者匹配，电子设备可以基于实时目标特征继续对待跟踪目标进行跟踪。这样，电子设备通过实时图像中提取目标信息类型的实时目标特征，能够确保目标信息类型的实时性，也能够提高跟踪的准确度。

S305、在目标信息类型对应的置信度满足预设条件的情况下，切换目标信息类型，并基于新的目标信息类型对应的目标特征，对待跟踪目标进行跟踪。

在一种可能的实施方式中，步骤S305可以包括如下步骤(8)至(9)：

(8)、若目标信息类型为人体全身信息，在人体全身信息对应的置信度满足第二预设条件的情况下，将目标信息类型切换为身体部分信息。

(9)、若目标信息类型为身体部分信息，在身体部分信息对应的置信度满足第二预设条件的情况下，将目标信息类型切换为人体附属物信息。

本申请实施例中，第二预设条件可以是指人体关键点置信度等于或者小于预设阈值，也相当于不满足第一预设条件。本步骤中，电子设备在基于目标信息类型对待跟踪目标进行跟踪的过程中，由于待跟踪目标是实时移动的，可能会出现遮挡情况。当目标信息类型的置信度满足第二预设条件时，电子设备可以将优先级更低的信息类型作为目标信息类型，以确保特征提取和对比的可信度。

具体的，当目标信息类型为人体全身信息时，随着待跟踪目标遮挡情况加剧，人体全身信息对应的置信度(第一置信度)逐渐降低，当第一置信度满足第二预设条件，即第一置信度等于或者小于预设阈值时，此时人体全身信息置信度较低，无法为电子设备的跟踪提供准确的特征依据，电子设备可以将下一优先级的信息类型即身体部分信息作为目标信息类型。并且，随着待跟踪目标的继续移动，遮挡情况更加严重，身体部分信息对应的置信度(第二置信度)逐渐降低，当第二置信度满足第二预设条件时，身体部分信息的置信度较低，也无法再为电子设备提供准确的特征依据，电子设备可以将下一优先级的信息类型即人体附属物信息作为目标信息类型。

这样，电子设备在基于目标信息类型对待跟踪目标进行跟踪的过程中，由于遮挡情况导致目标信息类型对应的置信度降低时，电子设备在目标信息类型对应的置信度满足第二预设条件时可以将下一优先级的信息类型作为目标信息类型，确保采用高置信度的信息类型对待跟踪目标进行跟踪，这样能够确保跟踪过程中特征提取和对比匹配的准确度，能够提高跟踪的精度。

在一种可能的实施方式中，步骤S305可以包括如下步骤(10)至(11)：

(10)、若目标信息类型为身体部分信息，从实时图像中提取身体部分信息对应的人体全身信息，并将身体部分信息与人体全身信息进行关联匹配。

(11)、在身体部分信息与人体全身信息匹配成功的情况下，将人体全身信息作为目标信息类型。

本申请实施例中，电子设备在基于目标信息类型对待跟踪目标进行跟踪的过程中，遮挡情况也可能会减轻，例如待跟踪目标从身体部分可见转换为人体全身可见，此时电子设备可以将更高优先级的信息类型作为目标信息类型，这样能够确保对待跟踪目标特征提取和跟踪的全面性。

本步骤中，当目标信息类型为身体部分信息时，电子设备可以在实时图像(当前帧图像)除了提取身体部分信息对应的实时目标特征之外，还可以检测待跟踪目标对应的实时的人体全身信息，例如可以实时搜索身体部分信息周围的人体全身。电子设备可以将身体部分信与实时检测到的人体全身信息进行关联匹配，具体可以是指基于几何信息的关联匹配等，确定身体部分信息与人体全身信息是否关联，若关联匹配成功，电子设备可以将更高优先级的人体全身信息作为目标信息类型，确保多目标跟踪的精度。

在一种可能的实施方式中，步骤S305可以包括如下步骤(12)至(14)：

(12)、若目标信息类型为人体附属物信息，从实时图像中提取人体附属物信息对应的人体全身信息以及身体部分信息。

(13)、将人体附属物信息与人体全身信息进行关联匹配，并在人体附属物信息与人体全身信息匹配成功的情况下，将人体全身信息作为目标信息类型。

(14)、若人体附属物信息与人体全身信息匹配不成功，将人体附属物信息与身体部分信息进行关联匹配，并在人体附属物信息与身体部分信息匹配成功的情况下，将身体部分信息作为目标信息类型。

本申请实施例中，当目标信息类型为人体附属物信息时，电子设备在基于人体附属物信息对待跟踪目标进行跟踪的过程中，除了提取人体附属物信息对应的实时目标特征之外，还可以检测待跟踪目标对应的实时的人体全身信息和实时的身体部分信息，例如可以实时搜索人体附属物信息周围的人体全身和身体部分。之后，电子设备可以按照优先级高低，可以首先将实时图像中的人体附属物信息与实时的人体全身信息进行关联匹配，若匹配成功，则电子设备可以将人体全身信息作为目标信息类型；若匹配不成功，电子设备可以进一步将实时图像中的人体附属物信息与实时的身体部分信息进行关联匹配，若匹配成功，电子设备可以将身体部分信息作为目标信息类型，若仍旧匹配不成功，电子设备可以继续将人体附属物信息作为目标信息类型对待跟踪目标进行跟踪。

在本申请实施例中，电子设备在基于目标信息类型对待跟踪目标进行跟踪的过程中，随着遮挡情况的减轻，电子设备可以将目标信息类型与高优先级的信息类型进行关联匹配，若匹配成功，电子设备可以确定待跟踪目标的人体全身或者身体部分处于可见状态，电子设备可以将更高优先级的信息类型作为目标信息类型对待跟踪目标进行跟踪，这样能够确保特征提取更加全面精准，提高了多目标跟踪的准确性。

应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

示例性地，图4为本申请示例性实施例提供的一种基于人体全身信息的多目标跟踪示意图。如图4所示出的，当目标信息类型为人体全身信息，电子设备可以基于人体全身信息对应的Reid特征对待跟踪目标进行跟踪，并且针对每一帧实时图像，电子设备除了会提取人体全身信息对应的Reid特征进行对比跟踪之外，电子设备还会检测待跟踪目标可见部分的身体部分以及附属物，并提取实时的身体部分以及附属物对应的Reid特征存储至该待跟踪目标的特征队列中。

具体的，在基于人体全身信息的跟踪过程中，电子设备在实时图像中基于人体全身信息的实时目标特征进行对比匹配跟踪。若人体全身信息对应的第一置信度逐步较低，并且当第一置信度满足较低(等于或者小于预设阈值)时，此时若身体部分信息对应的第二置信度较高(大于预设阈值)，电子设备可以确定待跟踪目标人体全身大部分被遮挡，基于人体全身信息进行跟踪容易发生错误，电子设备可以将目标信息类型切换为身体部分信息，基于置信度较高的身体部分信息对待跟踪目标进行跟踪。若第二置信度较低，但是第三置信度较高(人体附属物可见)，电子设备可以将目标信息类型切换为人体附属物信息，基于人体附属物信息对待跟踪目标进行跟踪；若第三置信度也较低(人体附属物不可见)，电子设备可以确定待跟踪目标丢失，对待跟踪目标的跟踪过程结束。

示例性地，图5为本申请示例性实施例提供的一种基于身体部分信息的多目标跟踪示意图。如图5所示出的，当目标信息类型为身体部分信息时，电子设备可以基于身体部分信息对应的Reid特征对待跟踪目标进行跟踪，并且针对每一帧实时图像，电子设备除了会提取身体部分信息对应的Reid特征进行对比跟踪之外，电子设备还会检测待跟踪目标的可见的人体附属物(手中的包、头部的帽子等)，并提取实时的人体附属物对应的Reid特征存储至该待跟踪目标的特征队列中。

具体的，若从人体全身跟踪切换为身体部分跟踪，电子设备进入身体部分跟踪后可以实时提取身体部分Reid特征(实时目标特征)，并和之前人体全身跟踪阶段预存相对应身体部分的Reid特征进行基于相似度的特征匹配，匹配成功则确认为同一个人的身体部分，并基于身体部分Reid特征进行跟踪。若初始状态即为身体部分跟踪，电子设备可以在实时图像中基于身体部分信息的实时目标特征与目标特征进行对比匹配跟踪。

电子设备在基于身体部分信息跟踪时，可以实时搜索身体部分周围的人体全身信息并进行关联匹配，若身体部分信息与人体全身信息关联匹配成功，电子设备可以确定人体全身可见，可以将目标信息类型切换为人体全身信息，返回人体全身跟踪模式。若在跟踪过程中电子设备确定第二置信度较低，此时电子设备可以确定人体附属物信息对应的第三置信度，具体可以基于之前预存的附属物Reid特征搜索附近的附属物进行特征匹配。若第三置信度较高(大于预设阈值，即人体附属物可见)，电子设备可以将人体附属物信息确定为目标信息类型，进入人体附属物跟踪模式；若第三置信度较低(等于或者小于预设阈值，即人体附属物可见)，电子设备可以确定待跟踪目标丢失，对待跟踪目标的跟踪过程结束。

示例性地，图6为本申请示例性实施例提供的一种基于人体附属物信息的多目标跟踪示意图。如图6所示出的，当目标信息类型为人体附属物信息时，电子设备可以基于人体附属物信息对应的Reid特征对待跟踪目标进行跟踪，并且针对每一帧实时图像，电子设备可以提取人体附属物信息对应的实时目标特征进行对比跟踪。

具体的，如果从身体部分跟踪切换为人体附属物跟踪，电子设备进入人体附属物跟踪模式后可以实时提取附属物Reid特征(实时目标特征)，并和之前跟踪阶段预存的相对应附属物的Reid特征进行基于特征相似度的关联匹配，匹配成功确认为同一个人的附属物进行跟踪；若初始状态即为人体附属物跟踪，电子设备可以直接在每帧实时图像中提取该附属物的Reid特征并根据相似度进行关联匹配跟踪。

电子设备在基于人体附属物信息跟踪时，可以实时搜索人体附属物周围的人体全身信息以及身体部分信息并进行关联匹配。若人体附属物信息与人体全身信息关联匹配成功，电子设备可以确定人体全身可见，可以将目标信息类型切换为人体全身信息，返回人体全身跟踪模式。若人体附属物信息与人体全身信息关联匹配不成功，但是若人体附属物信息与身体部分信息关联匹配成功，电子设备可以将目标信息类型切换为身体部分信息，返回身体部分跟踪模式。若人体附属物信息对应的第三置信度，并且无法与人体全身信息或者身体部分信息匹配成功，电子设备可以确定待跟踪目标丢失，对待跟踪目标的跟踪过程结束。

S306、确定待跟踪目标的移动轨迹，并确定图像数据对应的目标位置；根据经过目标位置的移动轨迹的数量，确定目标数量。

本申请实施例中，移动轨迹可以是指待跟踪目标对应的移动路径轨迹。目标位置可以是指图像数据中对应的特定位置，例如商场的出入口等。目标数量可以是指最终统计的客流数据，例如可以是指单位时间内进出商场的用户数量等。

本步骤中，电子设备在基于摄像模块上传的实时图像数据对多个待跟踪目标进行跟踪之后，可以得到各个待跟踪目标对应的移动轨迹，之后电子设备可以统计经过图像数据中目标位置的移动轨迹的数量，进而可以得到目标数量。这样，电子设备通过对多个待跟踪目标进行实时跟踪，最终基于待跟踪目标的移动轨迹来确定目标数据，能够提高客流数据确定的准确度。

在上述任意一个实施例的基础上，图7为本申请示例性实施例提供的一种多目标跟踪的技术链路示意图。如图7所示出的，电子设备在获取到初始帧图像时，可以检测初始帧图像中各个待跟踪目标的目标信息，具体可以包括人体全身信息、身体部分信息、人体附属物信息其中至少一种，并且电子设备可以提取目标信息对应的Reid特征作为初始特征，并将待跟踪目标对应的初始特征存入对应的特征序列中，供后续跟踪阶段匹配使用。

之后，电子设备可以确定出初始状态的目标信息类型，跟踪阶段可以先基于目标信息类型对待跟踪目标进行跟踪。对于检测到的身体信息以及人体附属物信息，电子设备可以通过基于关键点的几何信息以及先验信息与检测到的人体全身信息进行关联匹配，关联匹配成功则将人体全身信息作为目标信息类型，进入人体全身跟踪模式；关联匹配不成功，则确定待跟踪目标人体全身被遮挡，电子设备可以进一步基于优先级以及置信度确定目标信息类型，进行人体身体部件(部分)跟踪模式或人体附属物跟踪模式。

在跟踪阶段，电子设备可以根据遮挡情况来切换目标信息类型。具体的，当遮挡情况加剧时，待跟踪目标的人体全身丢失或者身体部分丢失，电子设备可以从人体全身跟踪模式切换为身体部分跟踪模式，或者从身体部分跟踪模式切换为人体附属物跟踪模式。当遮挡情况减轻时，待跟踪目标的身体部分可见或者人体全身可见，电子设备可以从身体部分跟踪模式切换为人体全身跟踪模式，或者从人体附属物跟踪模式切换为身体部分跟踪模式，或者从人体附属物跟踪模式切换为人体全身跟踪模式。当电子设备无法找到任何可匹配的人体全身、身体部分、人体附属物时，电子设备确定待跟踪目标消失，对待跟踪目标的跟踪结束。

本申请实施例中，电子设备在跟踪过程中实时维持人体全身、身体部分、人体附属物等多个强弱不同的Reid特征序列，在进入不同信息类型的跟踪时自适应选取对应Reid特征进行关联匹配，同时也能够基于遮挡情况进行信息类型的切换，能够提高多目标跟踪的精度。

本申请实施例中，电子设备采用人体全身、身体部分、人体附属物多类型驱动的跟踪方式，多个信息类型之间可以基于置信度、几何关联匹配等进行动态切换，能够提升对于待跟踪目标轨迹持续跟踪长度，能够降低密集人群下频繁遮挡对跟踪过程的影响，可以提高跟踪的准确性。并且，本申请实施例中摄像模块可以基于倾斜视角进行图像拍摄，摄像头的部署更加简单方便，也无需增加新的摄像头，成本更低。

图8为本申请示例性实施例提供的一种多目标跟踪装置的结构示意图，请参见图8，多目标跟踪装置80包括：

获取模块81，用于获取摄像模块发送的图像数据，并在图像数据的初始帧图像中，确定待跟踪目标以及待跟踪目标对应的目标信息；目标信息包括人体全身信息、身体部分信息以及人体附属物信息其中至少一种信息类型；

确定模块82，用于确定目标信息中各个信息类型对应的置信度，并根据置信度确定待跟踪目标对应的目标信息类型；

跟踪模块83，用于提取目标信息类型对应的目标特征，并基于目标特征对待跟踪目标进行跟踪；

切换模块84，用于在目标信息类型对应的置信度满足预设条件的情况下，切换目标信息类型，并基于新的目标信息类型对应的目标特征，对待跟踪目标进行跟踪。

在一种可能的实施方式中，装置80还用于：

提取目标信息对应的初始特征，并将待跟踪目标以及待跟踪目标对应的初始特征存储至预设存储位置。

在一种可能的实施方式中，确定模块82，具体用于；

若目标信息包括人体全身信息，则确定人体全身信息对应的第一置信度；

在第一置信度满足第一预设条件的情况下，将人体全身信息作为目标信息类型。

在一种可能的实施方式中，确定模块82，具体用于；

若目标信息包括身体部分信息和/或人体附属物信息，则将身体部分信息和/或人体附属物信息与人体全身信息进行关联匹配；

在身体部分信息和/或人体附属物信息与人体全身信息匹配成功的情况下，将人体全身信息作为目标信息类型；

在身体部分信息和/或人体附属物信息与人体全身信息匹配不成功的情况下，确定身体部分信息对应的第二置信度并确定人体附属物信息对应的第三置信度；

在第二置信度满足第一预设条件的情况下，将身体部分信息作为目标信息类型；

在第二置信度不满足第一预设条件并且第三置信度满足第一预设条件的情况下，将人体附属物信息作为目标信息类型。

在一种可能的实施方式中，跟踪模块83，具体用于：

获取图像数据中的实时图像，并在实时图像中提取目标信息类型对应的实时目标特征；

在目标特征与实时目标特征匹配的情况下，基于实时目标特征继续对待跟踪目标进行跟踪。

在一种可能的实施方式中，切换模块84，具体用于：

若目标信息类型为人体全身信息，在人体全身信息对应的置信度满足第二预设条件的情况下，将目标信息类型切换为身体部分信息；

若目标信息类型为身体部分信息，在身体部分信息对应的置信度满足第二预设条件的情况下，将目标信息类型切换为人体附属物信息。

在一种可能的实施方式中，切换模块84，具体用于：

若目标信息类型为身体部分信息，从实时图像中提取身体部分信息对应的人体全身信息，并将身体部分信息与人体全身信息进行关联匹配；

在身体部分信息与人体全身信息匹配成功的情况下，将人体全身信息作为目标信息类型。

在一种可能的实施方式中，切换模块84，具体用于：

若目标信息类型为人体附属物信息，从实时图像中提取人体附属物信息对应的人体全身信息以及身体部分信息；

将人体附属物信息与人体全身信息进行关联匹配，并在人体附属物信息与人体全身信息匹配成功的情况下，将人体全身信息作为目标信息类型；

若人体附属物信息与人体全身信息匹配不成功，将人体附属物信息与身体部分信息进行关联匹配，并在人体附属物信息与身体部分信息匹配成功的情况下，将身体部分信息作为目标信息类型。

在一种可能的实施方式中，装置80还用于：

确定待跟踪目标的移动轨迹，并确定图像数据对应的目标位置；

根据经过目标位置的移动轨迹的数量，确定目标客流量。

在一种可能的实施方式中，摄像模块基于倾斜视角拍摄。

本申请实施例提供的多目标跟踪装置80可以执行上述方法实施例所示的技术方案，其实现原理以及有益效果类似，此处不再进行赘述。

图9为本申请示例性实施例提供的一种电子设备的结构示意图，请参见图9，该电子设备90可以包括处理器91和存储器92。示例性地，处理器91、存储器92，各部分之间通过总线93相互连接。

存储器92存储计算机执行指令；

处理器91执行存储器92存储的计算机执行指令，使得处理器91执行如上述方法实施例所示的多目标跟踪方法。

相应地，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当计算机执行指令被处理器执行时用于实现上述方法实施例的多目标跟踪方法。

相应地，本申请实施例还可提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时，可实现上述方法实施例所示的多目标跟踪方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (13)

1.一种多目标跟踪方法，其特征在于，包括：

获取摄像模块发送的图像数据，并在所述图像数据的初始帧图像中，确定待跟踪目标以及所述待跟踪目标对应的目标信息；所述目标信息包括人体全身信息、身体部分信息以及人体附属物信息其中至少一种信息类型；

确定所述目标信息中各个信息类型对应的置信度，并按照人体全身信息、身体部分信息以及人体附属物信息优先级从高到低的顺序进行置信度的对比判断，基于得到的判断结果确定所述待跟踪目标对应的目标信息类型；

提取所述目标信息类型对应的目标特征，并基于所述目标特征对所述待跟踪目标进行跟踪；

在所述目标信息类型对应的置信度满足第二预设条件的情况下，切换至下一优先级的信息类型作为新的目标信息类型，或者，在所述目标信息类型与优先级高于所述目标信息类型的信息类型关联匹配成功后，将所述优先级高于所述目标信息类型的信息类型作为新的目标信息类型；其中，第二预设条件指人体关键点置信度等于或者小于预设阈值；

基于所述新的目标信息类型对应的目标特征，对所述待跟踪目标进行跟踪。

2.根据权利要求1所述的方法，其特征在于，在所述确定待跟踪目标以及所述待跟踪目标对应的目标信息之后，所述方法还包括：

提取所述目标信息对应的初始特征，并将所述待跟踪目标以及所述待跟踪目标对应的初始特征存储至预设存储位置。

3.根据权利要求1所述的方法，其特征在于，所述按照人体全身信息、身体部分信息以及人体附属物信息优先级从高到低的顺序进行置信度的对比判断，基于得到的判断结果确定所述待跟踪目标对应的目标信息类型，包括：

若所述目标信息包括人体全身信息，则确定所述人体全身信息对应的第一置信度；

在所述第一置信度满足第一预设条件的情况下，将所述人体全身信息作为目标信息类型；

若所述目标信息包括身体部分信息和/或人体附属物信息，则将所述身体部分信息和/或人体附属物信息与人体全身信息进行关联匹配；

在所述身体部分信息和/或人体附属物信息与人体全身信息匹配成功的情况下，将所述人体全身信息作为目标信息类型；

在身体部分信息和/或人体附属物信息与人体全身信息匹配不成功的情况下，确定所述身体部分信息对应的第二置信度并确定所述人体附属物信息对应的第三置信度；

在所述第二置信度满足第一预设条件的情况下，将所述身体部分信息作为目标信息类型；

在所述第二置信度不满足所述第一预设条件并且第三置信度满足所述第一预设条件的情况下，将所述人体附属物信息作为目标信息类型。

4.根据权利要求2所述的方法，其特征在于，所述基于所述目标特征对所述待跟踪目标进行跟踪，包括：

获取所述图像数据中的实时图像，并在所述实时图像中提取所述目标信息类型对应的实时目标特征；

在所述目标特征与所述实时目标特征匹配的情况下，基于所述实时目标特征继续对所述待跟踪目标进行跟踪。

5.根据权利要求1所述的方法，其特征在于，所述在所述目标信息类型对应的置信度满足第二预设条件的情况下，切换至下一优先级的信息类型作为新的目标信息类型，包括：

若所述目标信息类型为人体全身信息，在所述人体全身信息对应的置信度满足第二预设条件的情况下，将所述目标信息类型切换为身体部分信息；

若所述目标信息类型为身体部分信息，在所述身体部分信息对应的置信度满足所述第二预设条件的情况下，将所述目标信息类型切换为人体附属物信息。

6.根据权利要求1所述的方法，其特征在于，所述在所述目标信息类型与优先级高于所述目标信息类型的信息类型关联匹配成功后，将所述优先级高于所述目标信息类型的信息类型作为新的目标信息类型，包括：

若所述目标信息类型为身体部分信息，从实时图像中提取所述身体部分信息对应的人体全身信息，并将所述身体部分信息与人体全身信息进行关联匹配；

在所述身体部分信息与所述人体全身信息匹配成功的情况下，将所述人体全身信息作为目标信息类型。

7.根据权利要求1所述的方法，其特征在于，所述在所述目标信息类型与优先级高于所述目标信息类型的信息类型关联匹配成功后，将所述优先级高于所述目标信息类型的信息类型作为新的目标信息类型，包括：

若所述目标信息类型为人体附属物信息，从实时图像中提取人体附属物信息对应的人体全身信息以及身体部分信息；

将所述人体附属物信息与人体全身信息进行关联匹配，并在所述人体附属物信息与所述人体全身信息匹配成功的情况下，将所述人体全身信息作为目标信息类型；

若所述人体附属物信息与所述人体全身信息匹配不成功，将所述人体附属物信息与身体部分信息进行关联匹配，并在所述人体附属物信息与所述身体部分信息匹配成功的情况下，将所述身体部分信息作为目标信息类型。

8.根据权利要求1至7任一项所述的方法，其特征在于，所述方法还包括：

确定所述待跟踪目标的移动轨迹，并确定所述图像数据对应的目标位置；

根据经过所述目标位置的移动轨迹的数量，确定目标客流量。

9.根据权利要求1至7任一项所述的方法，其特征在于，所述摄像模块基于倾斜视角拍摄。

10.一种多目标跟踪装置，其特征在于，包括：

获取模块，用于获取摄像模块发送的图像数据，并在所述图像数据的初始帧图像中，确定待跟踪目标以及所述待跟踪目标对应的目标信息；所述目标信息包括人体全身信息、身体部分信息以及人体附属物信息其中至少一种信息类型；

确定模块，用于确定所述目标信息中各个信息类型对应的置信度，并按照人体全身信息、身体部分信息以及人体附属物信息优先级从高到低的顺序进行置信度的对比判断，基于得到的判断结果确定所述待跟踪目标对应的目标信息类型；

跟踪模块，用于提取所述目标信息类型对应的目标特征，并基于所述目标特征对所述待跟踪目标进行跟踪；

切换模块，用于在所述目标信息类型对应的置信度满足第二预设条件的情况下，切换至下一优先级的信息类型作为新的目标信息类型，或者，在所述目标信息类型与优先级高于所述目标信息类型的信息类型关联匹配成功后，将所述优先级高于所述目标信息类型的信息类型作为新的目标信息类型；其中，第二预设条件指人体关键点置信度等于或者小于预设阈值；

基于新的目标信息类型对应的目标特征，对所述待跟踪目标进行跟踪。

11.一种电子设备，其特征在于，包括：存储器和处理器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行如权利要求1至9任一项所述的多目标跟踪方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当所述计算机执行指令被处理器执行时用于实现权利要求1至9任一项所述的多目标跟踪方法。

13.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序被计算机执行时，实现如权利要求1至9任一项所述的多目标跟踪方法。