CN112507786B - 人体多部位检测框关联方法、装置、电子装置和存储介质 - Google Patents

Abstract

本申请涉及一种人体多部位检测框关联方法、装置、电子装置和存储介质，其中，该方法包括：获取视频流，视频流包括多帧视频图像；对视频图像进行目标检测处理，得到视频图像中的人脸检测框、头肩检测框以及人体检测框；根据预设外扩比例、视频图像中的人脸检测框以及头肩检测框，确定人脸检测框与头肩检测框之间的第一关联关系；根据预设相对比例、视频图像中的头肩检测框以及人体检测框，确定头肩检测框与人体检测框之间的第二关联关系；根据第一关联关系和第二关联关系，得到视频图像中同一人员对应的人脸检测框、头肩检测框以及人体检测框。通过本申请，解决了相关技术中，无法准确将人体多部位对应的检测框进行关联的问题。

Description

人体多部位检测框关联方法、装置、电子装置和存储介质

技术领域

本申请涉及计算机视觉技术领域，特别是涉及一种人体多部位检测框关联方法、装置、电子装置和存储介质。

背景技术

跟踪技术一直是计算机视觉研究领域中的热点之一。跟踪技术的核心任务包括目标轨迹的预测以及多个目标历史检测位置的匹配。然而，当前关于目标框匹配的技术，几乎都是关于连续两帧视频图像中属于同一人员的同一检测位置的匹配，而很少涉及关于同一人员对应的多个检测位置的关联匹配。

在相关技术中，通过计算人脸检测框与人体检测框之间的交并比，来确定同一人员对应的人脸检测框以及人体检测框，并将人脸检测框及其对应的人体检测框进行关联。然而，视频图像中多个人员对应的检测框之间会出现相互交叠的情况，这会导致人脸、头肩、人体等部位对应的检测框相互交错，从而导致多个检测框错误关联的情况。同时，多目标对应的检测框的大小差异较大，即使完全匹配的交并比也很小，不具有代表性和区分性。另外，还可能出现个别检测框的缺失的情况。

目前针对相关技术中，无法准确将人体多部位对应的检测框进行关联的问题，尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种人体多部位检测框关联方法、装置、电子装置和存储介质，以至少解决相关技术中，无法准确将人体多部位对应的检测框进行关联的问题。

第一方面，本申请实施例提供了一种人体多部位检测框关联方法，包括：

获取视频流，所述视频流包括多帧视频图像；

对所述视频图像进行目标检测处理，得到所述视频图像中的人脸检测框、头肩检测框以及人体检测框；

根据预设外扩比例、所述视频图像中的人脸检测框以及头肩检测框，确定人脸检测框与头肩检测框之间的第一关联关系；所述预设外扩比例表示人脸检测框外扩到头肩检测框的距离与人脸检测框尺寸之间的比例；

根据预设相对比例、所述视频图像中的头肩检测框以及人体检测框，确定头肩检测框与人体检测框之间的第二关联关系；所述预设相对比例表示头肩检测框与人体检测框之间的相对比例；

根据所述第一关联关系和所述第二关联关系，得到所述视频图像中同一人员对应的人脸检测框、头肩检测框以及人体检测框。

在其中一些实施例中，所述根据预设外扩比例、所述视频图像中的人脸检测框以及头肩检测框，确定人脸检测框与头肩检测框之间的第一关联关系包括：

针对每一头肩检测框，获取所述头肩检测框与每一人脸检测框之间的第一交并比；

根据预设相对位置条件、所述第一交并比以及预设交并比阈值，确定所述头肩检测框对应的候选人脸检测框集合；所述候选人脸检测框集合包括多个候选人脸检测框；

根据所述预设外扩比例，确定所述候选人脸检测框集合中每一候选人脸检测框对应的外扩人脸框；

获取每一所述外扩人脸框与所述头肩检测框之间的第二交并比，得到多个第二交并比，并对多个第二交并比进行排序，得到第一排序结果；

根据所述第一排序结果从所述候选人脸检测框集中确定出所述头肩检测框对应的目标人脸检测框，并构建所述头肩检测框与对应目标人脸检测框之间的第一关联关系。

在其中一些实施例中，在所述根据预设外扩比例、所述视频图像中的人脸检测框以及头肩检测框，确定人脸检测框与头肩检测框之间的第一关联关系之前，所述方法还包括：

获取多帧符合第一预设限定条件的第一历史视频图像，所述第一历史视频图像包括相互关联的人脸检测框与头肩检测框；所述第一预设限定条件包括视频图像中的每一头肩检测框内部仅有单个人脸检测框；

根据所述第一历史视频图像中相互关联的人脸检测框与头肩检测框，得到人脸检测框与头肩检测框对应的外扩比例数据；所述外扩比例数据包括向上外扩比例数据、向下外扩比例数据、向左外扩比例数据以及向右外扩比例数据；

对所述外扩比例数据进行统计分析，得到所述预设外扩比例；所述预设外扩比例包括预设向上外扩比例、预设向下外扩比例、预设向左外扩比例以及预设向右外扩比例。

在其中一些实施例中，所述对所述外扩比例数据进行统计分析，得到所述预设外扩比例包括：

将所述向下外扩比例数据对应分布的均值作为所述预设向下外扩比例，以及，分别将向上外扩比例数据、向左外扩比例数据以及向右外扩比例数据对应分布的最小方差值作为所述预设向上外扩比例、所述预设向左外扩比例以及所述预设向右外扩比例。

在其中一些实施例中，所述根据预设相对比例、所述视频图像中的头肩检测框以及人体检测框，确定头肩检测框与人体检测框之间的第二关联关系包括：

针对每一人体检测框，获取所述人体检测框与每一所述头肩检测框之间的第一相交面积比例；所述相交面积比例表示人体检测框与头肩检测框的相交面积占头肩检测框面积的比例；

根据所述第一相交面积比例和预设面积比例阈值，确定所述人体检测框对应的候选头肩检测框集合；所述候选头肩检测框集合包括多个候选头肩检测框；

将不满足预设相对比例的候选头肩检测框从所述候选头肩检测框集合中剔除，得到剔除处理后的候选头肩检测框集合；

根据剔除处理后候选头肩检测框集合中每一候选头肩检测框对应的第一相交面积比例，得到多个第一相交面积比例，并对多个第一相交面积比例进行排序，得到第二排序结果；

根据所述第二排序结果，从剔除处理后的候选头肩检测框集合中确定出所述人体检测框对应的目标头肩检测框，并构建所述人体检测框与对应目标头肩检测框之间的第二关联关系。

在其中一些实施例中，在所述根据预设相对比例、所述视频图像中的头肩检测框以及人体检测框，确定头肩检测框与人体检测框之间的第二关联关系之前，所述方法还包括：

获取多帧符合第二预设限定条件的第二历史视频图像；所述第二历史视频图像包括相互关联的头肩检测框与人体检测框；所述第二预设限定条件包括视频图像中的每一人体检测框内部仅有单个头肩检测框；

获取每一所述第二历史视频图像中相互关联的头肩检测框与人体检测框对应的第二相交面积比例，得到多帧第二历史视频图像对应的相交面积比例数据；

对所述相交面积比例数据进行统计分析，得到所述预设面积比例阈值。

在其中一些实施例中，在所述获取多帧符合第二预设限定条件的第二历史视频图像之后，所述方法还包括：

根据所述第二历史视频图像中多组相互关联的头肩检测框与人体检测框，得到人脸检测框与头肩检测框对应的相对比例数据；

对所述相对比例数据进行统计分析，得到所述预设相对比例；所述预设相对比例包括预设上边缘相对比例、预设宽度相对比例以及预设高度相对比例。

在其中一些实施例中，在所述根据所述第一关联关系和所述第二关联关系，得到所述视频图像中同一人员对应的人脸检测框、头肩检测框以及人体检测框之前，所述方法还包括：

根据预设的第一误关联处理规则，对所述第一关联关系进行误关联排查处理，得到第一误关联检测框，并重新确定所述第一误关联检测框对应的目标检测框；所述第一误关联检测框包括重复关联的人脸检测框以及与其对应关联的多个头肩检测框；

根据预设的第二误关联处理规则，对所述第二关联关系进行误关联排查处理，得到第二误关联检测框，并重新确定所述第二误关联检测框对应的目标检测框；所述第二误关联检测框包括重复关联的头肩检测框以及与其对应关联的多个人体检测框。

在其中一些实施例中，所述根据预设的第一误关联处理规则，对所述第一关联关系进行误关联排查处理，得到第一误关联检测框，并重新确定所述第一误关联检测框对应的目标检测框包括：

针对每一所述视频图像，遍历所述视频图像中存在第一关联关系的人脸检测框以及头肩检测框，得到与多个头肩检测框存在关联关系的重复关联人脸检测框；

针对每一所述重复关联人脸检测框，获取所述重复关联人脸检测框以及与其相关联的各个头肩检测框之间的第三交并比，得到多个第三交并比，并对多个第三交并比进行排序，得到第三排序结果；

根据所述第三排序结果，将最大第三交并比对应的头肩检测框作为所述重复关联人脸检测框对应的目标头肩检测框，并针对其他第三交并比对应的头肩检测框，根据每个头肩检测框对应候选人脸检测框集合中的其他候选人脸检测框重新确定目标人脸检测框。

在其中一些实施例中，所述根据预设的第二误关联处理规则，对所述第二关联关系进行误关联排查处理，得到第二误关联检测框，并重新确定第二误关联检测框对应的目标检测框包括：

针对每一所述视频图像，遍历所述视频图像中存在第一关联关系的人体检测框以及头肩检测框，得到与多个人体检测框存在关联关系的重复关联头肩检测框；

针对每一重复关联头肩检测框，获取所述重复关联头肩检测框以及与其相关联的各个人体检测框之间的第四交并比，得到多个第四交并比，并对多个第四交并比进行排序，得到第四排序结果；

根据所述第四排序结果，将最大第四交并比对应的人体检测框作为所述重复关联头肩检测框对应的目标人体检测框，并针对其他第四交并比对应的人体检测框，根据每个人体检测框对应候选头肩检测框集合中的其他候选头肩检测框重新确定目标头肩检测框。

第二方面，本申请实施例提供了一种人体多部位检测框关联装置，包括：

数据获取模块，用于获取视频流，所述视频流包括多帧视频图像；

目标检测模块，用于对所述视频图像进行目标检测处理，得到所述视频图像中的人脸检测框、头肩检测框以及人体检测框；

第一关联模块，用于根据预设外扩比例、所述视频图像中的人脸检测框以及头肩检测框，确定人脸检测框与头肩检测框之间的第一关联关系，所述预设外扩比例表示人脸检测框外扩到头肩检测框的距离与人脸检测框尺寸之间的比例；

第二关联模块，用于根据预设相对比例、所述视频图像中的头肩检测框以及人体检测框，确定头肩检测框与人体检测框之间的第二关联关系，所述预设相对比例表示头肩检测框与人体检测框之间的相对比例；

关联确定模块，用于根据所述第一关联关系和所述第二关联关系，得到所述视频图像中同一人员对应的人脸检测框、头肩检测框以及人体检测框。

第三方面，本申请实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的人体多部位检测框关联方法。

第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的人体多部位检测框关联方法。

相比于相关技术，本申请实施例提供的人体多部位检测框关联方法、装置、电子装置和存储介质，通过获取视频流，视频流包括多帧视频图像；对视频图像进行目标检测处理，得到视频图像中的人脸检测框、头肩检测框以及人体检测框；根据预设外扩比例、视频图像中的人脸检测框以及头肩检测框，确定人脸检测框与头肩检测框之间的第一关联关系；预设外扩比例表示人脸检测框外扩到头肩检测框的距离与人脸检测框尺寸之间的比例；根据预设相对比例、视频图像中的头肩检测框以及人体检测框，确定头肩检测框与人体检测框之间的第二关联关系；预设相对比例表示头肩检测框与人体检测框之间的相对比例；根据第一关联关系和第二关联关系，得到视频图像中同一人员对应的人脸检测框、头肩检测框以及人体检测框，解决了相关技术中，无法准确将人体多部位对应的检测框进行关联的问题。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例的人体多部位检测框关联方法的流程图；

图2为本申请实施例中确定第一关联关系的流程图；

图3为本申请实施例中确定人肩检测框对应目标人脸检测框的结构示意图；

图4为本申请实施例中获取预设外扩比例的流程图；

图5a-图5d为本申请实施例中外扩比例数据统计结果的示意图；

图6为本申请实施例中确定第二关联关系的流程图；

图7为本申请实施例中确定人肩检测框对应目标人脸检测框的结构示意图；

图8为本申请实施例中获取预设面积比例阈值的流程图；

图9为本申请实施例中对第一关联关系和第二关联关系进行误关联处理的流程图；

图10为本申请实施例中根据第一误关联处理规则，对第一关联关系进行误关联处理的流程图；

图11为本申请实施例中根据第二误关联处理规则，对第二关联关系进行误关联处理的流程图；

图12为本申请实施例的人体多部位检测框关联方法的终端的硬件结构框图；

图13为本申请实施例的人体多部位检测框关联装置的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

本申请所描述的各种技术，可以但不仅限于应用于智能视频监控、人机交互、机器人视觉导航、虚拟现实以及医学诊断等领域。

图1为本申请实施例的人体多部位检测框关联方法的流程图，如图1所示，该流程包括如下步骤：

步骤S110，获取视频流，视频流包括多帧视频图像。

步骤S120，对视频图像进行目标检测处理，得到视频图像中的人脸检测框、头肩检测框以及人体检测框。

步骤S130，根据预设外扩比例、视频图像中的人脸检测框以及头肩检测框，确定人脸检测框与头肩检测框之间的第一关联关系；预设外扩比例表示人脸检测框外扩到头肩检测框的距离与人脸检测框尺寸之间的比例。

需要说明的是，可以针对每一头肩检测框，根据预设外扩比例，从视频图像中的多个人脸检测框中筛选出该头肩检测框对应的目标人脸检测框；也可以针对每一人脸检测框，根据预设外扩比例，从视频图像中的多个头肩检测框中筛选出该人脸检测框对应的目标头肩检测框，本实施例不限制筛选的主体，只要能确定视频图像中的人脸检测框与头肩检测框之间的第一关联关系即可。

步骤S140，根据预设相对比例、视频图像中的头肩检测框以及人体检测框，确定头肩检测框与人体检测框之间的第二关联关系；预设相对比例表示头肩检测框与人体检测框之间的相对比例。

需要说明的是，可以针对每一人体检测框，根据预设外扩比例，从视频图像中的多个头肩检测框中筛选出该人体检测框对应的目标头肩检测框；也可以针对每一头肩检测框，根据预设外扩比例，从视频图像中的多个人体检测框中筛选出该头肩检测框对应的目标人体检测框，本实施例不限制筛选的主体，只要能确定视频图像中的人体检测框与头肩检测框之间的第二关联关系即可。

步骤S150，根据第一关联关系和第二关联关系，得到视频图像中同一人员对应的人脸检测框、头肩检测框以及人体检测框。

通过上述步骤S110至步骤S150，获取视频流，视频流包括多帧视频图像；对视频图像进行目标检测处理，得到视频图像中的人脸检测框、头肩检测框以及人体检测框；根据预设外扩比例、视频图像中的人脸检测框以及头肩检测框，确定人脸检测框与头肩检测框之间的第一关联关系；根据预设相对比例、视频图像中的头肩检测框以及人体检测框，确定头肩检测框与人体检测框之间的第二关联关系；根据第一关联关系和第二关联关系，得到视频图像中同一人员对应的人脸检测框、头肩检测框以及人体检测框。本实施例通过将预设外扩比例以及预设相对比例作为先验知识融入到关联方案的判定条件中，提高了关联关系的准确性和可靠性，可以有效避免由于人脸、头肩、人体等部位对应的检测框相互交错，导致多个检测框错误关联的情况，解决了相关技术中，无法准确将人体多部位对应的检测框进行关联的问题。

在其中一些实施例中，图2为本申请实施例中确定第一关联关系的流程图，如图2所示，该流程包括如下步骤：

步骤S210，针对每一头肩检测框，获取头肩检测框与每一人脸检测框之间的第一交并比。

针对每一头肩检测框，计算头肩检测框与每一人脸检测框之间的第一交并比，交并比(Intersection over Union，简称IOU)的计算公式如下：

其中，ROI_T表示人脸检测框所在的图像子区域，ROI_G表示头肩检测框所在的图像子区域，S_XY表示人脸检测框所在图像子区域的面积，S_MN表示头肩检测框所在图像子区域的面积。

步骤S220，根据预设相对位置条件、第一交并比以及预设交并比阈值，确定头肩检测框对应的候选人脸检测框集合；候选人脸检测框集合包括多个候选人脸检测框。

其中，预设相对位置条件表示人脸检测框在头肩检测框内部。预设交并比阈值为根据大量历史视频数据统计分析得到的交并比阈值。

具体地，若人脸检测框在该头肩检测框内部，且人脸检测框对应的第一交并比大于预设交并比阈值，则将该人脸检测框作为该头肩检测框对应的候选人脸检测框。

步骤S230，根据预设外扩比例，确定候选人脸检测框集合中每一候选人脸检测框对应的外扩人脸框。

步骤S240，获取每一外扩人脸框与头肩检测框之间的第二交并比，得到多个第二交并比，并对多个第二交并比进行排序，得到第一排序结果。

步骤S250，根据第一排序结果从候选人脸检测框集中确定出头肩检测框对应的目标人脸检测框，并构建头肩检测框与对应目标人脸检测框之间的第一关联关系。

进一步地，可以根据第一排序结果，将最大第二交并比对应的人脸检测框作为头肩检测框对应的目标人脸检测框。也可以将多个排名靠前的第二交并比对应的人脸检测框作为头肩检测框对应的目标人脸检测框，并按照多个目标人脸检测框对应的第二交并比设置优先级，第二交并比越大，优先级越高，优先选择高优先级对应的目标人脸检测框，若高优先级对应的目标人脸检测框不满足条件，则可以进一步选择较低优先级对应的目标人脸检测框。

图3为本申请实施例中确定人肩检测框对应目标人脸检测框的结构示意图，如图3所示，根据候选人脸检测框对应外扩人脸框与头肩检测框之间的第二交并比，可以将候选人脸检测框集合中的干扰人脸检测框排除在外，从而确定出人肩检测框对应目标人脸检测框。

上述步骤S210至步骤S250，通过根据头肩检测框与人脸检测框之间的第一交并比以及预设相对位置条件，确定头肩检测框对应的候选人脸检测框集合；并根据预设外扩比例，确定候选人脸检测框集合中每一候选人脸检测框对应的外扩人脸框；并根据每一外扩人脸框与头肩检测框之间的第二交并比，从候选人脸检测框集中确定出头肩检测框对应的目标人脸检测框。本实施例通过根据候选人脸检测框对应外扩人脸框与头肩检测框之间的第二交并比，可以排除位于人肩检测框内部边缘处的干扰人脸检测框的干扰，从而更加准确地确定出人肩检测框对应目标人脸检测框，进一步提高将人体多部位对应的检测框的关联准确度。

进一步地，针对检测到人脸检测框却缺少对应头肩检测框的人员，可以利预设外扩比例对人脸检测框进行外扩，从而构建一个人工的头肩检测框。从而可以利用人工构建的头肩检测框进行头肩检测框与人体检测框的关联检测。

在其中一些实施例中，图4为本申请实施例中获取预设外扩比例的流程图，如图4所示，该流程包括如下步骤：

步骤S410，获取多帧符合第一预设限定条件的第一历史视频图像，第一历史视频图像包括相互关联的人脸检测框与头肩检测框；第一预设限定条件包括视频图像中的每一头肩检测框内部仅有单个人脸检测框。

需要说明的是，第一历史视频图像中相互关联的人脸检测框与头肩检测框属于同一人员，且相互关联的人脸检测框与头肩检测框之间的交并比大于预设交并比阈值。

步骤S420，根据第一历史视频图像中相互关联的人脸检测框与头肩检测框，得到人脸检测框与头肩检测框对应的外扩比例数据；外扩比例数据包括向上外扩比例数据、向下外扩比例数据、向左外扩比例数据以及向右外扩比例数据。

步骤S430，对外扩比例数据进行统计分析，得到预设外扩比例；预设外扩比例表示人脸检测框外扩到头肩检测框的距离与人脸检测框尺寸之间的比例。

预设外扩比例包括预设向上外扩比例、预设向下外扩比例、预设向左外扩比例以及预设向右外扩比例。其中，预设向上外扩比例表示人脸检测框向上外扩的距离与人脸检测框高度之间的比值。预设向下外扩比例表示人脸检测框向下外扩的距离与人脸检测框高度之间的比值。预设向左外扩比例表示人脸检测框向左外扩的距离与人脸检测框宽度之间的比值。预设向右外扩比例表示人脸检测框向右外扩的距离与人脸检测框宽度之间的比值。

通过上述步骤S410至步骤S430，获取多帧符合第一预设限定条件的第一历史视频图像，第一历史视频图像包括相互关联的人脸检测框与头肩检测框；根据第一历史视频图像中相互关联的人脸检测框与头肩检测框，得到人脸检测框与头肩检测框对应的外扩比例数据；对外扩比例数据进行统计分析，得到预设外扩比例。本实施例通过获取第一历史视频图像中相互关联的人脸检测框与头肩检测框对应的外扩比例数据，并对外扩比例数据进行统计分析，可以得到比较准确的预设外扩比例，进而进一步提高视频图像中人脸检测框与头肩检测框的关联检测精度。

在其中一些实施例中，步骤S430包括：将向下外扩比例数据对应分布的均值作为预设向下外扩比例，以及，分别将向上外扩比例数据、向左外扩比例数据以及向右外扩比例数据对应分布的最小方差值作为预设向上外扩比例、预设向左外扩比例以及预设向右外扩比例。

图5b为向下外扩比例数据统计结果的示意图，如图5b所示，向下外扩比例数据对应的分布比较符合高斯分布，因此可以将向下外扩比例数据对应分布的均值作为预设向下外扩比例。

图5a、图5c以及图5d分别为向上外扩比例数据、向左外扩比例数据以及向右外扩比例数据统计结果的示意图，如图5a、图5c以及图5d所示，向上外扩比例数据、向左外扩比例数据以及向右外扩比例数据对应的分布不符合任意一种标准分布，因此可以将向上外扩比例数据、向左外扩比例数据以及向右外扩比例数据对应分布的最小方差值作为预设向上外扩比例、预设向左外扩比例以及预设向右外扩比例。

通过本实施例，将向下外扩比例数据对应分布的均值作为预设向下外扩比例，以及，分别将向上外扩比例数据、向左外扩比例数据以及向右外扩比例数据对应分布的最小方差值作为预设向上外扩比例、预设向左外扩比例以及预设向右外扩比例。本实施例通过针对向上外扩比例数据、向下外扩比例数据、向左外扩比例数据以及向右外扩比例数据对应分布的特性，可以更加准确地确定各个外扩比例数据对应的预设外扩比例，从而可以进一步提高视频图像中人脸检测框与头肩检测框的关联检测精度。

进一步地，预设向上外扩比例为[0.91,1.13,1.37,1.38]，其中，预设向上外扩比例为0.91，预设向下外扩比例为1.13，预设向左外扩比例为1.37，预设向右外扩比例为1.38。

在其中一些实施例中，图6为本申请实施例中确定第二关联关系的流程图，如图6所示，该流程包括如下步骤：

步骤S610，针对每一人体检测框，获取人体检测框与每一头肩检测框之间的第一相交面积比例；相交面积比例表示人体检测框与头肩检测框的相交面积占头肩检测框面积的比例。

步骤S620，根据第一相交面积比例和预设面积比例阈值，确定人体检测框对应的候选头肩检测框集合；候选头肩检测框集合包括多个候选头肩检测框。

具体地，若头肩检测框对应的第一相交面积比例大于预设面积比例阈值，则将该头肩检测框作为该人体检测框对应的候选头肩检测框。

步骤S630，将不满足预设相对比例的候选头肩检测框从候选头肩检测框集合中剔除，得到剔除处理后的候选头肩检测框集合。

步骤S640，根据剔除处理后候选头肩检测框集合中每一候选头肩检测框对应的第一相交面积比例，得到多个第一相交面积比例，并对多个第一相交面积比例进行排序，得到第二排序结果。

步骤S650，根据第二排序结果，从剔除处理后的候选头肩检测框集合中确定出人体检测框对应的目标头肩检测框，并构建人体检测框与对应目标头肩检测框之间的第二关联关系。

进一步地，可以根据第二排序结果，将最大第一相交面积比例对应的头肩检测框作为人体检测框对应的目标头肩检测框。也可以将多个排名靠前的第一相交面积比例对应的头肩检测框作为人体检测框对应的目标头肩检测框，并按照多个目标头肩检测框对应的第一相交面积比例设置优先级，第一相交面积比例越大，优先级越高，优先选择高优先级对应的目标头肩检测框，若高优先级对应的目标头肩检测框不满足条件，则可以进一步选择较低优先级对应的目标头肩检测框。

图7为本申请实施例中确定人肩检测框对应目标人脸检测框的结构示意图，如图7所示，根据剔除处理后候选头肩检测框集合中候选头肩检测框对应的第一相交面积比例，可以将候选头肩检测框集合中的干扰头肩检测框排除在外，从而确定出人体检测框对应目标头肩检测框。

本实施例通过将不满足预设相对比例的候选头肩检测框从候选头肩检测框集合中剔除，并根据剔除处理后候选头肩检测框集合中多个候选头肩检测框对应第一相交面积比例的第二排序结果，确定人体检测框对应的目标头肩检测框，通过结合先验数据以及逐步缩小检测范围的检测方法，能够快速准确地确定出人体检测框对应目标头肩检测框。另外，根据剔除处理后候选头肩检测框集合中候选头肩检测框对应的第一相交面积比例，将候选头肩检测框集合中的干扰头肩检测框排除在外，更加准确地确定出人体检测框对应目标头肩检测框，从而进一步提高将人体多部位对应的检测框的关联准确度。

在其中一些实施例中，图8为本申请实施例中获取预设面积比例阈值的流程图，如图8所示，该流程包括如下步骤：

步骤S810，获取多帧符合第二预设限定条件的第二历史视频图像；第二历史视频图像包括相互关联的头肩检测框与人体检测框；第二预设限定条件包括视频图像中的每一人体检测框内部仅有单个头肩检测框。

步骤S820，获取每一第二历史视频图像中相互关联的头肩检测框与人体检测框对应的第二相交面积比例，得到多帧第二历史视频图像对应的相交面积比例数据。

步骤S830，对相交面积比例数据进行统计分析，得到预设面积比例阈值。

通过上述步骤S810至步骤S830，获取每一第二历史视频图像中相互关联的头肩检测框与人体检测框对应的第二相交面积比例，得到多帧第二历史视频图像对应的相交面积比例数据；并对相交面积比例数据进行统计分析，得到预设面积比例阈值。本实施例通过获取第二历史视频图像中相互关联的头肩检测框与人体检测框对应的相交面积比例数据，并对相交面积比例数据进行统计分析，可以得到比较准确的预设面积比例阈值，进而进一步提高视频图像中人体检测框与头肩检测框的关联检测精度。

在其中一些实施例中，在步骤S810之后，该人体多部位检测框关联方法还包括：根据第二历史视频图像中多组相互关联的头肩检测框与人体检测框，得到人脸检测框与头肩检测框对应的相对比例数据；对相对比例数据进行统计分析，得到预设相对比例；预设相对比例包括预设上边缘相对比例、预设宽度相对比例以及预设高度相对比例。

其中，预设上边缘相对比例表示头肩检测框上边缘到人体检测框上边缘的距离相对于头肩检测框高度的比值。预设宽度相对比例表示头肩检测框的宽度相对于人体检测框宽度的比值。预设高度相对比例表示头肩检测框的高度相对于人体检测框高度的比值。

进一步地，预设上边缘相对比例小于等于0.1。预设宽度相对比例在[0.3,1]区间内，预设高度相对比例在[0.2,0.6]区间内。

通过上述实施例，根据第二历史视频图像中多组相互关联的头肩检测框与人体检测框，得到人脸检测框与头肩检测框对应的相对比例数据；对相对比例数据进行统计分析，得到预设相对比例。本实施例通过获取第二历史视频图像中相互关联的头肩检测框与人体检测框对应的相对比例数据，并对相对比例数据进行统计分析，可以得到比较准确的预设相对比例，进而进一步提高视频图像中人体检测框与头肩检测框的关联检测精度。

在其中一些实施例中，图9为本申请实施例中对第一关联关系和第二关联关系进行误关联处理的流程图，如图9所示，该流程包括如下步骤：

步骤S910，根据预设的第一误关联处理规则，对第一关联关系进行误关联排查处理，得到第一误关联检测框，并重新确定第一误关联检测框对应的目标检测框；第一误关联检测框包括重复关联的人脸检测框以及与其对应关联的多个头肩检测框。

第一误关联处理规则包括预设重复关联检测规则以及预设重复关联规则。

具体地，根据预设重复关联检测规则对第一关联关系进行误关联排查处理，得到第一误关联检测框，并根据预设重复关联规则重新确定第一误关联检测框对应的目标检测框。

步骤S920，根据预设的第二误关联处理规则，对第二关联关系进行误关联排查处理，得到第二误关联检测框，并重新确定第二误关联检测框对应的目标检测框；第二误关联检测框包括重复关联的头肩检测框以及与其对应关联的多个人体检测框。

第二误关联处理规则包括预设重复关联检测规则以及预设重复关联规则。

具体地，根据预设重复关联检测规则对第二关联关系进行误关联排查处理，得到第二误关联检测框，并根据预设重复关联规则重新确定第二误关联检测框对应的目标检测框。

通过上述步骤S910至步骤S920，根据预设的第一误关联处理规则，对第一关联关系进行误关联排查处理，得到第一误关联检测框，并重新确定第一误关联检测框对应的目标检测框；根据预设的第二误关联处理规则，对第二关联关系进行误关联排查处理，得到第二误关联检测框，并重新确定第二误关联检测框对应的目标检测框。本实施例通过将误关联处理规则与人脸检测框-头肩检测框关联、头肩检测框-人体检测框关联这种两阶段的关联方案相结合，能够有效减小各种交叉错误出现的可能性，以及能够解决检测框的大小不匹配、多框交错的误关联问题，可以有效的提高确定关联关系的准确性与可靠性。

在其中一些实施例中，图10为本申请实施例中根据第一误关联处理规则，对第一关联关系进行误关联处理的流程图，如图10所示，该流程包括如下步骤：

步骤S1010，针对每一视频图像，遍历视频图像中存在第一关联关系的人脸检测框以及头肩检测框，得到与多个头肩检测框存在关联关系的重复关联人脸检测框。

步骤S1020，针对每一重复关联人脸检测框，获取重复关联人脸检测框以及与其相关联的各个头肩检测框之间的第三交并比，得到多个第三交并比，并对多个第三交并比进行排序，得到第三排序结果。

步骤S1030，根据第三排序结果，将最大第三交并比对应的头肩检测框作为重复关联人脸检测框对应的目标头肩检测框，并针对其他第三交并比对应的头肩检测框，根据每个头肩检测框对应候选人脸检测框集合中的其他候选人脸检测框重新确定目标人脸检测框。

具体地，根据第三排序结果，将最大第三交并比对应的头肩检测框作为重复关联人脸检测框对应的目标头肩检测框；针对每一个其他第三交并比对应的头肩检测框，可以将该头肩检测框对应候选人脸检测框集合中第二交并比排在第二位的候选人脸检测框作为目标人脸检测框。若该头肩检测框对应的目标人脸检测框为多个，可以将其对应的重复关联人脸检测框从目标人脸检测框中排除，并根据优先级从剩余的目标人脸检测框中确定最终匹配的目标人脸检测框。

在其中一些实施例中，图11为本申请实施例中根据第二误关联处理规则，对第二关联关系进行误关联处理的流程图，如图11所示，该流程包括如下步骤：

步骤S1110，针对每一视频图像，遍历视频图像中存在第一关联关系的人体检测框以及头肩检测框，得到与多个人体检测框存在关联关系的重复关联头肩检测框；

步骤S1120，针对每一重复关联头肩检测框，获取重复关联头肩检测框以及与其相关联的各个人体检测框之间的第四交并比，得到多个第四交并比，并对多个第四交并比进行排序，得到第四排序结果；

步骤S1130，根据第四排序结果，将最大第四交并比对应的人体检测框作为重复关联头肩检测框对应的目标人体检测框，并针对其他第四交并比对应的人体检测框，根据每个人体检测框对应候选头肩检测框集合中的其他候选头肩检测框重新确定目标头肩检测框。

具体地，根据第四排序结果，将最大第四交并比对应的人体检测框作为重复关联头肩检测框对应的目标人体检测框；针对每一个其他第四交并比对应的人体检测框，可以将该人体检测框对应候选头肩检测框集合中第一相交面积比例排在第二位的候选头肩检测框作为目标头肩检测框。若该人体检测框对应的目标头肩检测框为多个，可以将其对应的重复关联头肩检测框从目标头肩检测框中排除，并根据优先级从剩余的目标头肩检测框中确定最终匹配的目标头肩检测框。

进一步地，以原视频图像的文件名为键key，以视频图像中每个人员对应的一套检测框(一套检测框包括人脸检测框、头肩检测框以及人体检测框)的列表为值value，将原视频图像中所有的关联关系的信息以字典的形式进行保存，对于没有人脸检测框的情况，则用None替代之；而对于没有头肩检测框的人物，则丢弃不写入字典。

例如，{“1.jpg”:[[人脸检测框Ⅰ，头肩检测框Ⅰ，人体检测框Ⅰ],[None，头肩检测框Ⅱ，人体检测框Ⅱ],…]}表示第1张视频图像所有人员对应的检测框，其中，第一位人员对应的一套检测框包括人脸检测框Ⅰ、头肩检测框Ⅰ以及人体检测框Ⅰ，第二位人员对应的一套检测框包括None、头肩检测框Ⅱ以及人体检测框Ⅱ，其中，None表示第1张视频图像中未检测到第二位人员对应的人脸检测框。

便于后续的分析与处理。对于没有人脸框的情况，则用None替代之；而对于没有目标头肩的人物，则丢弃之不写入字典。

需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。例如，结合图1，步骤S130和步骤S140的执行顺序可以互换，即可以先执行步骤S130，然后执行步骤S140；也可以先执行步骤S140，然后执行步骤S130。再例如，结合图9，步骤S910和步骤S920的顺序也可以互换。

本实施例提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。以运行在终端上为例，图12为本申请实施例的人体多部位检测框关联方法的终端的硬件结构框图。如图12所示，终端可以包括一个或多个(图12中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图12所示的结构仅为示意，其并不对上述终端的结构造成限定。例如，终端还可包括比图12中所示更多或者更少的组件，或者具有与图12所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本申请实施例中的人体多部位检测框关联方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

本实施例还提供了一种人体多部位检测框关联装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图13为本申请实施例的人体多部位检测框关联装置的结构框图，如图13所示，该人体多部位检测框关联装置130包括：

数据获取模块131，用于获取视频流，视频流包括多帧视频图像。

目标检测模块132，用于对视频图像进行目标检测处理，得到视频图像中的人脸检测框、头肩检测框以及人体检测框。

第一关联模块133，用于根据预设外扩比例、视频图像中的人脸检测框以及头肩检测框，确定人脸检测框与头肩检测框之间的第一关联关系，预设外扩比例表示人脸检测框外扩到头肩检测框的距离与人脸检测框尺寸之间的比例。

第二关联模块134，用于根据预设相对比例、视频图像中的头肩检测框以及人体检测框，确定头肩检测框与人体检测框之间的第二关联关系，预设相对比例表示头肩检测框与人体检测框之间的相对比例。

关联确定模块135，用于根据第一关联关系和第二关联关系，得到视频图像中同一人员对应的人脸检测框、头肩检测框以及人体检测框。

在其中一些实施例中，第一关联模块133包括交并比计算单元、候选集合确定单元、外扩人脸确定单元、交并比排序单元和关联关系确定单元，其中：

交并比计算单元，用于针对每一头肩检测框，获取头肩检测框与每一人脸检测框之间的第一交并比。

候选集合确定单元，用于根据预设相对位置条件、第一交并比以及预设交并比阈值，确定头肩检测框对应的候选人脸检测框集合；候选人脸检测框集合包括多个候选人脸检测框。

外扩人脸确定单元，用于根据预设外扩比例，确定候选人脸检测框集合中每一候选人脸检测框对应的外扩人脸框。

排序结果获取单元，用于获取每一外扩人脸框与头肩检测框之间的第二交并比，得到多个第二交并比，并对多个第二交并比进行排序，得到第一排序结果。

关联关系确定单元，用于根据第一排序结果从候选人脸检测框集中确定出头肩检测框对应的目标人脸检测框，并构建头肩检测框与对应目标人脸检测框之间的第一关联关系。

在其中一些实施例中，该人体多部位检测框关联装置130还包括第一预设比例获取模块，第一预设比例获取模块包括图像获取单元、数据获取单元和统计分析单元，其中：

图像获取单元，用于获取多帧符合第一预设限定条件的第一历史视频图像，第一历史视频图像包括相互关联的人脸检测框与头肩检测框；第一预设限定条件包括视频图像中的每一头肩检测框内部仅有单个人脸检测框。

数据获取单元，用于根据第一历史视频图像中相互关联的人脸检测框与头肩检测框，得到人脸检测框与头肩检测框对应的外扩比例数据；外扩比例数据包括向上外扩比例数据、向下外扩比例数据、向左外扩比例数据以及向右外扩比例数据。

统计分析单元，用于对外扩比例数据进行统计分析，得到预设外扩比例。

在其中一些实施例中，统计分析单元还用于将向下外扩比例数据对应分布的均值作为预设向下外扩比例，以及，分别将向上外扩比例数据、向左外扩比例数据以及向右外扩比例数据对应分布的最小方差值作为预设向上外扩比例、预设向左外扩比例以及预设向右外扩比例。

在其中一些实施例中，第二关联模块134包括比例获取单元、集合确定单元、剔除处理单元、排序处理单元和关联确定单元，其中：

比例获取单元，用于针对每一人体检测框，获取人体检测框与每一头肩检测框之间的第一相交面积比例；相交面积比例表示人体检测框与头肩检测框的相交面积占头肩检测框面积的比例。

集合确定单元，用于根据第一相交面积比例和预设面积比例阈值，确定人体检测框对应的候选头肩检测框集合；候选头肩检测框集合包括多个候选头肩检测框。

剔除处理单元，用于将不满足预设相对比例的候选头肩检测框从候选头肩检测框集合中剔除，得到剔除处理后的候选头肩检测框集合。

排序处理单元，用于根据剔除处理后候选头肩检测框集合中每一候选头肩检测框对应的第一相交面积比例，得到多个第一相交面积比例，并对多个第一相交面积比例进行排序，得到第二排序结果。

关联确定单元，用于根据第二排序结果，从剔除处理后的候选头肩检测框集合中确定出人体检测框对应的目标头肩检测框，并构建人体检测框与对应目标头肩检测框之间的第二关联关系。

在其中一些实施例中，该人体多部位检测框关联装置130还包括第二预设比例获取模块，第二预设比例获取模块包括历史图像获取单元、面积比例获取单元以及比例阈值确定单元，其中：

历史图像获取单元，用于获取多帧符合第二预设限定条件的第二历史视频图像；第二历史视频图像包括相互关联的头肩检测框与人体检测框；第二预设限定条件包括视频图像中的每一人体检测框内部仅有单个头肩检测框。

面积比例获取单元，用于获取每一第二历史视频图像中相互关联的头肩检测框与人体检测框对应的第二相交面积比例，得到多帧第二历史视频图像对应的相交面积比例数据。

比例阈值确定单元，用于对相交面积比例数据进行统计分析，得到预设面积比例阈值。

在其中一些实施例中，第二预设比例获取模块还包括相对比例数据获取单元和预设相对比例确定单元，其中：

相对比例数据获取单元，用于根据第二历史视频图像中多组相互关联的头肩检测框与人体检测框，得到人脸检测框与头肩检测框对应的相对比例数据。

预设相对比例确定单元，用于对相对比例数据进行统计分析，得到预设相对比例。

在其中一些实施例中，该人体多部位检测框关联装置130还包括误关联处理模块，误关联处理模块包括第一误关联处理单元和第二误关联处理单元，其中：

第一误关联处理单元，用于根据预设的第一误关联处理规则，对第一关联关系进行误关联排查处理，得到第一误关联检测框，并重新确定第一误关联检测框对应的目标检测框；第一误关联检测框包括重复关联的人脸检测框以及与其对应关联的多个头肩检测框。

第二误关联处理单元，用于根据预设的第二误关联处理规则，对第二关联关系进行误关联排查处理，得到第二误关联检测框，并重新确定第二误关联检测框对应的目标检测框；第二误关联检测框包括重复关联的头肩检测框以及与其对应关联的多个人体检测框。

在其中一些实施例中，第一误关联处理单元包括误关联排查单元、排序结果获取单元以及重复关联处理单元，其中：

误关联排查单元，用于针对每一视频图像，遍历视频图像中存在第一关联关系的人脸检测框以及头肩检测框，得到与多个头肩检测框存在关联关系的重复关联人脸检测框。

排序结果获取单元，用于针对每一重复关联人脸检测框，获取重复关联人脸检测框以及与其相关联的各个头肩检测框之间的第三交并比，得到多个第三交并比，并对多个第三交并比进行排序，得到第三排序结果。

重复关联处理单元，用于根据第三排序结果，将最大第三交并比对应的头肩检测框作为重复关联人脸检测框对应的目标头肩检测框，并针对其他第三交并比对应的头肩检测框，根据每个头肩检测框对应候选人脸检测框集合中的其他候选人脸检测框重新确定目标人脸检测框。

在其中一些实施例中，第二误关联处理单元包括误关联排查单元、排序结果获取单元以及重复关联处理单元，其中：

误关联排查单元，用于针对每一视频图像，遍历视频图像中存在第一关联关系的人体检测框以及头肩检测框，得到与多个人体检测框存在关联关系的重复关联头肩检测框；

排序结果获取单元，用于针对每一重复关联头肩检测框，获取重复关联头肩检测框以及与其相关联的各个人体检测框之间的第四交并比，得到多个第四交并比，并对多个第四交并比进行排序，得到第四排序结果。

重复关联处理单元，用于根据第四排序结果，将最大第四交并比对应的人体检测框作为重复关联头肩检测框对应的目标人体检测框，并针对其他第四交并比对应的人体检测框，根据每个人体检测框对应候选头肩检测框集合中的其他候选头肩检测框重新确定目标头肩检测框。

需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取视频流；视频流包括多帧视频图像。

S2，对视频图像进行目标检测处理，得到视频图像中的人脸检测框、头肩检测框以及人体检测框。

S3，根据预设外扩比例、视频图像中的人脸检测框以及头肩检测框，确定人脸检测框与头肩检测框之间的第一关联关系；预设外扩比例包括预设向上外扩比例、预设向下外扩比例、预设向左外扩比例以及预设向右外扩比例。

S4，根据预设相对比例、视频图像中的头肩检测框以及人体检测框，确定头肩检测框与人体检测框之间的第二关联关系；预设相对比例包括预设上边缘相对比例、预设宽度相对比例以及预设高度相对比例。

S5，根据第一关联关系和第二关联关系，得到视频图像中同一人员对应的人脸检测框、头肩检测框以及人体检测框。

需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

另外，结合上述实施例中的人体多部位检测框关联方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种人体多部位检测框关联方法。

本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种人体多部位检测框关联方法，其特征在于，包括：

获取视频流，所述视频流包括多帧视频图像；

对所述视频图像进行目标检测处理，得到所述视频图像中的人脸检测框、头肩检测框以及人体检测框；

根据预设外扩比例、所述视频图像中的人脸检测框以及头肩检测框，确定人脸检测框与头肩检测框之间的第一关联关系；所述预设外扩比例表示人脸检测框外扩到头肩检测框的距离与人脸检测框尺寸之间的比例，所述预设外扩比例包括预设向上外扩比例、预设向下外扩比例、预设向左外扩比例以及预设向右外扩比例；

根据预设相对比例、所述视频图像中的头肩检测框以及人体检测框，确定头肩检测框与人体检测框之间的第二关联关系；针对每一人体检测框，所述预设相对比例表示头肩检测框与人体检测框之间的第一相交面积比例，所述相交面积比例表示人体检测框与头肩检测框的相交面积占头肩检测框面积的比例；

根据所述第一关联关系和所述第二关联关系，得到所述视频图像中同一人员对应的人脸检测框、头肩检测框以及人体检测框。

2.根据权利要求1所述的方法，其特征在于，所述根据预设外扩比例、所述视频图像中的人脸检测框以及头肩检测框，确定人脸检测框与头肩检测框之间的第一关联关系包括：

针对每一头肩检测框，获取所述头肩检测框与每一人脸检测框之间的第一交并比；

根据预设相对位置条件、所述第一交并比以及预设交并比阈值，确定所述头肩检测框对应的候选人脸检测框集合；所述候选人脸检测框集合包括多个候选人脸检测框；

根据所述预设外扩比例，确定所述候选人脸检测框集合中每一候选人脸检测框对应的外扩人脸框；

获取每一所述外扩人脸框与所述头肩检测框之间的第二交并比，得到多个第二交并比，并对多个第二交并比进行排序，得到第一排序结果；

根据所述第一排序结果从所述候选人脸检测框集中确定出所述头肩检测框对应的目标人脸检测框，并构建所述头肩检测框与对应目标人脸检测框之间的第一关联关系。

3.根据权利要求2所述的方法，其特征在于，在所述根据预设外扩比例、所述视频图像中的人脸检测框以及头肩检测框，确定人脸检测框与头肩检测框之间的第一关联关系之前，所述方法还包括：

获取多帧符合第一预设限定条件的第一历史视频图像，所述第一历史视频图像包括相互关联的人脸检测框与头肩检测框；所述第一预设限定条件包括视频图像中的每一头肩检测框内部仅有单个人脸检测框；

根据所述第一历史视频图像中相互关联的人脸检测框与头肩检测框，得到人脸检测框与头肩检测框对应的外扩比例数据；所述外扩比例数据包括向上外扩比例数据、向下外扩比例数据、向左外扩比例数据以及向右外扩比例数据；

对所述外扩比例数据进行统计分析，得到所述预设外扩比例；所述预设外扩比例包括预设向上外扩比例、预设向下外扩比例、预设向左外扩比例以及预设向右外扩比例。

4.根据权利要求3所述的方法，其特征在于，所述对所述外扩比例数据进行统计分析，得到所述预设外扩比例包括：

将所述向下外扩比例数据对应分布的均值作为所述预设向下外扩比例，以及，分别将向上外扩比例数据、向左外扩比例数据以及向右外扩比例数据对应分布的最小方差值作为所述预设向上外扩比例、所述预设向左外扩比例以及所述预设向右外扩比例。

5.根据权利要求2所述的方法，其特征在于，所述根据预设相对比例、所述视频图像中的头肩检测框以及人体检测框，确定头肩检测框与人体检测框之间的第二关联关系包括：

针对每一人体检测框，获取所述人体检测框与每一所述头肩检测框之间的第一相交面积比例；所述相交面积比例表示人体检测框与头肩检测框的相交面积占头肩检测框面积的比例；

根据所述第一相交面积比例和预设面积比例阈值，确定所述人体检测框对应的候选头肩检测框集合；所述候选头肩检测框集合包括多个候选头肩检测框；

将不满足预设相对比例的候选头肩检测框从所述候选头肩检测框集合中剔除，得到剔除处理后的候选头肩检测框集合；

根据剔除处理后候选头肩检测框集合中每一候选头肩检测框对应的第一相交面积比例，得到多个第一相交面积比例，并对多个第一相交面积比例进行排序，得到第二排序结果；

根据所述第二排序结果，从剔除处理后的候选头肩检测框集合中确定出所述人体检测框对应的目标头肩检测框，并构建所述人体检测框与对应目标头肩检测框之间的第二关联关系。

6.根据权利要求5所述的方法，其特征在于，在所述根据预设相对比例、所述视频图像中的头肩检测框以及人体检测框，确定头肩检测框与人体检测框之间的第二关联关系之前，所述方法还包括：

获取多帧符合第二预设限定条件的第二历史视频图像；所述第二历史视频图像包括相互关联的头肩检测框与人体检测框；所述第二预设限定条件包括视频图像中的每一人体检测框内部仅有单个头肩检测框；

获取每一所述第二历史视频图像中相互关联的头肩检测框与人体检测框对应的第二相交面积比例，得到多帧第二历史视频图像对应的相交面积比例数据；

对所述相交面积比例数据进行统计分析，得到所述预设面积比例阈值。

7.根据权利要求6所述的方法，其特征在于，在所述获取多帧符合第二预设限定条件的第二历史视频图像之后，所述方法还包括：

根据所述第二历史视频图像中多组相互关联的头肩检测框与人体检测框，得到人脸检测框与头肩检测框对应的相对比例数据；

对所述相对比例数据进行统计分析，得到所述预设相对比例；所述预设相对比例包括预设上边缘相对比例、预设宽度相对比例以及预设高度相对比例。

8.根据权利要求5所述的方法，其特征在于，在所述根据所述第一关联关系和所述第二关联关系，得到所述视频图像中同一人员对应的人脸检测框、头肩检测框以及人体检测框之前，所述方法还包括：

根据预设的第一误关联处理规则，对所述第一关联关系进行误关联排查处理，得到第一误关联检测框，并重新确定所述第一误关联检测框对应的目标检测框；所述第一误关联检测框包括重复关联的人脸检测框以及与其对应关联的多个头肩检测框；

根据预设的第二误关联处理规则，对所述第二关联关系进行误关联排查处理，得到第二误关联检测框，并重新确定所述第二误关联检测框对应的目标检测框；所述第二误关联检测框包括重复关联的头肩检测框以及与其对应关联的多个人体检测框。

9.根据权利要求8所述的方法，其特征在于，所述根据预设的第一误关联处理规则，对所述第一关联关系进行误关联排查处理，得到第一误关联检测框，并重新确定所述第一误关联检测框对应的目标检测框包括：

针对每一所述视频图像，遍历所述视频图像中存在第一关联关系的人脸检测框以及头肩检测框，得到与多个头肩检测框存在关联关系的重复关联人脸检测框；

针对每一所述重复关联人脸检测框，获取所述重复关联人脸检测框以及与其相关联的各个头肩检测框之间的第三交并比，得到多个第三交并比，并对多个第三交并比进行排序，得到第三排序结果；

根据所述第三排序结果，将最大第三交并比对应的头肩检测框作为所述重复关联人脸检测框对应的目标头肩检测框，并针对其他第三交并比对应的头肩检测框，根据每个头肩检测框对应候选人脸检测框集合中的其他候选人脸检测框重新确定目标人脸检测框。

10.根据权利要求8所述的方法，其特征在于，所述根据预设的第二误关联处理规则，对所述第二关联关系进行误关联排查处理，得到第二误关联检测框，并重新确定第二误关联检测框对应的目标检测框包括：

针对每一所述视频图像，遍历所述视频图像中存在第一关联关系的人体检测框以及头肩检测框，得到与多个人体检测框存在关联关系的重复关联头肩检测框；

针对每一重复关联头肩检测框，获取所述重复关联头肩检测框以及与其相关联的各个人体检测框之间的第四交并比，得到多个第四交并比，并对多个第四交并比进行排序，得到第四排序结果；

根据所述第四排序结果，将最大第四交并比对应的人体检测框作为所述重复关联头肩检测框对应的目标人体检测框，并针对其他第四交并比对应的人体检测框，根据每个人体检测框对应候选头肩检测框集合中的其他候选头肩检测框重新确定目标头肩检测框。

11.一种人体多部位检测框关联装置，其特征在于，包括：

数据获取模块，用于获取视频流，所述视频流包括多帧视频图像；

目标检测模块，用于对所述视频图像进行目标检测处理，得到所述视频图像中的人脸检测框、头肩检测框以及人体检测框；

第一关联模块，用于根据预设外扩比例、所述视频图像中的人脸检测框以及头肩检测框，确定人脸检测框与头肩检测框之间的第一关联关系，所述预设外扩比例表示人脸检测框外扩到头肩检测框的距离与人脸检测框尺寸之间的比例，所述预设外扩比例包括预设向上外扩比例、预设向下外扩比例、预设向左外扩比例以及预设向右外扩比例；

第二关联模块，用于根据预设相对比例、所述视频图像中的头肩检测框以及人体检测框，确定头肩检测框与人体检测框之间的第二关联关系，针对每一人体检测框，所述预设相对比例表示头肩检测框与人体检测框之间的第一相交面积比例，所述相交面积比例表示人体检测框与头肩检测框的相交面积占头肩检测框面积的比例；

关联确定模块，用于根据所述第一关联关系和所述第二关联关系，得到所述视频图像中同一人员对应的人脸检测框、头肩检测框以及人体检测框。

12.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至10中任一项所述的人体多部位检测框关联方法。

13.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至10中任一项所述的人体多部位检测框关联方法。

Images