CN117475521A - 智能装备、人脸和人体匹配的计算方法、控制装置及存储介质 - Google Patents

Abstract

本发明公开一种智能装备、人脸和人体匹配的计算方法、控制装置及存储介质，人脸和人体匹配的计算方法包括：获取单张图像中的多个人体区域图像和多个人脸区域图像；根据各区域图像所在区域，获取各个人体中心坐标(C_{x_face}，C_{y_face})，各个人脸中心坐标(C_{x_face}，C_{y_face})、各个人体的顶部y坐标T_{y_body}、各个人脸的顶部的y坐标T_{y_face}、以及各个人脸的宽度尺寸W_face；将各所述人体区域图像分别与各所述人脸区域图像进行组队以形成多个匹配对，根据上述相关参数计算各匹配对中的人脸人体中心偏移率ρ_c、以及人脸人体顶部偏移率ρ_t；根据匹配对中的ρ_c和ρ_t，计算各匹配对的匹配距离D，D＝(ρ_c+ρ_t)/2；根据各匹配对的匹配距离D，确定各人脸以及与之匹配的人体。本发明能够快速且准确对用户进行匹配，且鲁棒性高。

Description

智能装备、人脸和人体匹配的计算方法、控制装置及存储介质

技术领域

本发明涉及智能控制技术领域，特别涉及一种智能装备、人脸和人体匹配的计算方法、控制装置及存储介质。

背景技术

在智能装备领域中，尤其是车载智能装备和监控智能装备中，常常需要对人以及人脸进行分析；因为人脸与人体是两个不同的检测目标，不同的场景下需要将人体和对应的人脸一起进行分析。如何将人脸与人体进行匹配视觉是这些场景下需要解决的基本问题。

目前，为解决智能装备软件算法中的人脸与人体匹配的基本问题，目前的思路包括：利用人体人脸关键点来进行匹配，该方法首先提取人体和人脸的关键点，然后利用人体关键点的头部系列关键点与人脸的关键点匹配来进行配对，鲁棒性较好，但是该方法需要对每个检测目标都要提取关键点，耗时巨大，处理速度慢，严重制约了该方法在智能装备上的应用；利用区域交并比(IOU)来进行匹配，速度快，但该方法在密集人体场景下会产生较多的误匹配，鲁棒性差；利用人体目标框与头部目标框的距离来进行匹配，比较快速也能取得不错的匹配准确性，但是该方法没有考虑尺度的相对性以及人体框的质量，在包含不同尺度的人脸场景或者人体被截断、人群密集场景遮挡的情况下，也容易发生误匹配，其鲁棒性有待进一步提高。

发明内容

本发明的主要目的是提出一种智能装备、人脸和人体匹配的计算方法、控制装置及存储介质，本发明提的技术方案能够快速且准确对用户进行匹配，且鲁棒性高。

为实现上述目的，本发明提供一种人脸和人体匹配的计算方法，包括：

获取单张图像中的多个人体区域图像和多个人脸区域图像；

根据各所述人体区域图像所在区域和所述人脸区域图像所在区域，获取各个人体中心坐标(C_{x_face}，C_{y_face})，各个人脸中心坐标(C_{x_face}，C_{y_face})、各个人体的顶部y坐标T_{y_body}、各个人脸的顶部的y坐标T_{y_face}、以及各个人脸的宽度尺寸W_face；

将各所述人体区域图像分别与各所述人脸区域图像进行组队以形成多个匹配对，根据上述相关参数计算各匹配对中的人脸人体中心偏移率ρ_c、以及人脸人体顶部偏移率ρ_t,其中，ρ_c＝|C_{x_body}-C_{x_face}|/W_face,ρ_t＝|T_{y_face}-T_{y_body}+H_face/α|/H_face，α为是一个系数，表示人脸高度除以人脸顶部到头顶的距离；

根据匹配对中的ρ_c和ρ_t，计算各匹配对的匹配距离D，D＝(ρ_c+ρ_t)/2；

根据各匹配对的匹配距离D，确定各人脸以及与之匹配的人体。

在一实施例中，根据各所述人体区域图像所在区域和所述人脸区域图像所在区域，获取各个人体中心坐标(C_{x_face}，C_{y_face})，各个人脸中心坐标(C_{x_face}，C_{y_face})、各个人体的顶部y坐标T_{y_body}、各个人脸的顶部的y坐标T_{y_face}、以及各个人脸的宽度尺寸W_face的步骤，包括：

获取所述人体区域图像的包围人体的最小人体区域、以及所述人脸区域图像的包围人脸的最小人脸区域；

根据所述人体区域和人脸区域，获取各个人体中心坐标(C_{x_face}，C_{y_face})，各个人脸中心坐标(C_{x_face}，C_{y_face})、各个人体的顶部y坐标T_{y_body}、各个人脸的顶部的y坐标T_{y_face}、以及各个人脸的宽度尺寸W_face。

在一实施例中，3≤α≤6。

在一实施例中，根据各匹配对的匹配距离D，确定各人脸以及与之匹配的人体的步骤，包括：

各匹配对的匹配距离D，形成消耗矩阵；

利用匈牙利算法，将各人体与对应的人脸进行匹配。

本发明还提供一种存储介质，存储有可在处理器上运行的人脸和人体匹配的计算程序，所述人脸和人体匹配的计算程序配置为实现如上述的人脸和人体匹配的计算方法的步骤。

本发明还提供一种控制装置，包括存储器、处理器以及存储在所述存储器的人脸和人体匹配的计算程序，所述处理器执行所述人脸和人体匹配的计算程序实现如上述的人脸和人体匹配的计算方法的步骤。

本发明还提供一种智能装备，包括如上述的控制装置。

本发明提供一种人脸和人体匹配的计算方法，包括：获取单张图像中的多个人体区域图像和多个人脸区域图像；根据各所述人体区域图像所在区域和所述人脸区域图像所在区域，获取各个人体中心坐标(C_{x_face}，C_{y_face})，各个人脸中心坐标(C_{x_face}，C_{y_face})、各个人体的顶部y坐标T_{y_body}、各个人脸的顶部的y坐标T_{y_face}、以及各个人脸的宽度尺寸W_face；将各所述人体区域图像分别与各所述人脸区域图像进行组队以形成多个匹配对，根据上述相关参数计算各匹配对中的人脸人体中心偏移率ρ_c、以及人脸人体顶部偏移率ρ_t,其中，ρ_c＝|C_{x_body}-C_{x_face}|/W_face,ρ_t＝|T_{y_face}-T_{y_body}+H_face/α|/H_face，α为是一个系数，表示人脸高度除以人脸顶部到头顶的距离；根据匹配对中的ρ_c和ρ_t，计算各匹配对的匹配距离D，D＝(ρ_c+ρ_t)/2；根据各匹配对的匹配距离D，确定各人脸以及与之匹配的人体。

人体中心偏移率ρ_c，在考虑了人体目标框中心x坐标与人脸目标框中心x坐标的位置偏差同时，将人脸检测框宽度作为比例系数。经过这样的处理，对于中心位置差不多的人脸，当人脸小的时候，ρ_c变大，人脸大的时候，ρ_c变小；实际上，检测的人体目标优先通常是最靠近相机的最大的目标，也就是最近的目标，这个时候，也应该优先选择较大的人脸目标进行匹配。因此，加入分母W_face符合客观实际，可以减少发生错误匹配的机会，提高鲁棒性。

人脸人体顶部偏移率ρ_t，充分体现了人脸位于人体顶部的实际意义；同时不再以人体框高度作为依据，减少了人体框不是完整的人体时的匹配问题，提高了鲁棒性；考虑了人脸框实际上与头顶还有一段距离的情况，可以防止人脸超出人体框顶部，进而减少误匹配，提高匹配准确度。

该最终距离D计算非常快速，将该最终距离作为人脸人体匹配的距离。最后，利用该距离，完成人脸人体的匹配。所以，本发明提的技术方案能够快速且准确对用户进行匹配，且鲁棒性高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明提供的控制装置的一实施例的框架示意图；

图2为本发明提供的人脸和人体匹配的计算方法的一实施例的流程示意图；

图3为本发明提供的人体和人脸的示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，全文中出现的“和/或”的含义，包括三个并列的方案，以“A和/或B”为例，包括A方案、或B方案、或A和B同时满足的方案。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

本发明提供一种平台，所述平台包括控制装置，如图1所示，所述控制装置可以包括：处理器1001，例如CPU或者芯片，通信总线1002、I/O接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。I/O接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选I/O接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

在图1所示的控制装置中，通过所述处理器1001调用存储器1005中存储的人脸和人体匹配的计算程序，并执行以下操作：

获取单张图像中的多个人体区域图像和多个人脸区域图像；

根据各所述人体区域图像所在区域和所述人脸区域图像所在区域，获取各个人体中心坐标(C_{x_face}，C_{y_face})，各个人脸中心坐标(C_{x_face}，C_{y_face})、各个人体的顶部y坐标T_{y_body}、各个人脸的顶部的y坐标T_{y_face}、以及各个人脸的宽度尺寸W_face；

将各所述人体区域图像分别与各所述人脸区域图像进行组队以形成多个匹配对，根据上述相关参数计算各匹配对中的人脸人体中心偏移率ρ_c、以及人脸人体顶部偏移率ρ_t,其中，ρ_c＝|C_{x_body}-C_{x_face}|/W_face,ρ_t＝|T_{y_face}-T_{y_body}+H_face/α|/H_face，α为是一个系数，表示人脸高度除以人脸顶部到头顶的距离；

根据匹配对中的ρ_c和ρ_t，计算各匹配对的匹配距离D，D＝(ρ_c+ρ_t)/2；

根据各匹配对的匹配距离D，确定各人脸以及与之匹配的人体。

在一实施例中，根据各所述人体区域图像所在区域和所述人脸区域图像所在区域，获取各个人体中心坐标(C_{x_face}，C_{y_face})，各个人脸中心坐标(C_{x_face}，C_{y_face})、各个人体的顶部y坐标T_{y_body}、各个人脸的顶部的y坐标T_{y_face}、以及各个人脸的宽度尺寸W_face的步骤，包括：

获取所述人体区域图像的包围人体的最小人体区域、以及所述人脸区域图像的包围人脸的最小人脸区域；

根据所述最小人体区域和最小人脸区域，获取各个人体中心坐标(C_{x_face}，C_{y_face})，各个人脸中心坐标(C_{x_face}，C_{y_face})、各个人体的顶部y坐标T_{y_body}、各个人脸的顶部的y坐标T_{y_face}、以及各个人脸的宽度尺寸W_face。

在一实施例中，3≤α≤6。

在一实施例中，根据各匹配对的匹配距离D，确定各人脸以及与之匹配的人体的步骤，包括：

各匹配对的匹配距离D，形成消耗矩阵；

利用匈牙利算法，将各人体与对应的人脸进行匹配。

请参照图2，本发明提供一种人脸和人体匹配的计算方法，包括：

步骤S10、获取单张图像中的多个人体区域图像和多个人脸区域图像；

人体与人脸属于同一个个体，体现在图像中是人脸的中心x坐标应该与人体中心x坐标比较接近或一致。但是如果只考虑中心x坐标位置偏差，忽略人脸大小，那么很可能产生错误的匹配，如匹配上人体衣服上的图案、纹身、误检等。

步骤S20、根据各所述人体区域图像所在区域和所述人脸区域图像所在区域，获取各个人体中心坐标(C_{x_face}，C_{y_face})，各个人脸中心坐标(C_{x_face}，C_{y_face})、各个人体的顶部y坐标T_{y_body}、各个人脸的顶部的y坐标T_{y_face}、以及各个人脸的宽度尺寸W_face；

步骤S30、将各所述人体区域图像分别与各所述人脸区域图像进行组队以形成多个匹配对，根据上述相关参数计算各匹配对中的人脸人体中心偏移率ρ_c、以及人脸人体顶部偏移率ρ_t,其中，ρ_c＝|C_{x_body}-C_{x_face}|/W_face,ρ_t＝|T_{y_face}-T_{y_body}+H_face/α|/H_face，α为是一个系数，表示人脸高度除以人脸顶部到头顶的距离；

其中，C_{x_body}表示人体目标框的中心x坐标，C_{x_face}表示人脸目标框中心x坐标，W_face表示人脸目标框的宽度。ρ_c越小表示匹配的可能性越高，反之，匹配的可能性越低。

人体中心偏移率ρ_c，在考虑了人体目标框中心x坐标与人脸目标框中心x坐标的位置偏差同时，将人脸检测框宽度作为比例系数。经过这样的处理，对于中心位置差不多的人脸，当人脸小的时候，ρ_c变大，人脸大的时候，ρ_c变小；实际上，检测的人体目标优先通常是最靠近相机的最大的目标，也就是最近的目标，这个时候，也应该优先选择较大的人脸目标进行匹配。因此，加入分母W_face符合客观实际，可以减少发生错误匹配的机会，提高鲁棒性。

在垂直方向上，如果用人脸框中心y坐标与人体框中心y坐标的偏差作为关联距离基准，那么，当检测的人体框不是完整的人体时，匹配往往会出现问题。实际上，人脸位于人体的顶部，那么，人脸检测框的顶部y坐标应该接近人体检测框的顶部。采用顶部的另一个好处是，智能装备的视觉感知通常是向下俯视，所以人体框的顶部和人脸框的顶部都是容易获取的且较为准确的。实际上，人脸检测框甚至是人头检测框，它们的顶部并不时时与人体的顶部重合，因此需要考虑人脸检测框与人体检测框顶部的偏差。同时，为了保持与人脸人体中心偏移率ρ_c具有相同的量纲和单位，也需要考虑其相对尺度。

其中，C_{y_face}表示人脸框中心y坐标；T_{y_body}表示人体框顶部y坐标；H_face表示人脸框的高度；α是一个系数，表示人脸高度除以人脸顶部到头顶的距离，通俗地理解为额头到头顶的高度的系数，通常设置成3-6，这里取5；T_{y_face}表示人脸框顶部y坐标。

人脸人体顶部偏移率ρ_t，充分体现了人脸位于人体顶部的实际意义；同时不再以人体框高度作为依据，减少了人体框不是完整的人体时的匹配问题，提高了鲁棒性；考虑了人脸框实际上与头顶还有一段距离的情况，可以防止人脸超出人体框顶部，进而减少误匹配，提高匹配准确度。

步骤S40、根据匹配对中的ρ_c和ρ_t，计算各匹配对的匹配距离D，D＝(ρ_c+ρ_t)/2；

步骤S50、根据各匹配对的匹配距离D，确定各人脸以及与之匹配的人体。

最后，利用该距离，完成人脸人体的匹配。所以，本发明提的技术方案能够快速且准确对用户进行匹配，且鲁棒性高。

在一实施例中，如图3所示，根据各所述人体区域图像所在区域和所述人脸区域图像所在区域，获取各个人体中心坐标(C_{x_face}，C_{y_face})，各个人脸中心坐标(C_{x_face}，C_{y_face})、各个人体的顶部y坐标T_{y_body}、各个人脸的顶部的y坐标T_{y_face}、以及各个人脸的宽度尺寸W_face的步骤，包括：

获取所述人体区域图像的包围人体的最小人体区域、以及所述人脸区域图像的包围人脸的最小人脸区域；

根据所述最小人体区域和最小人脸区域，获取各个人体中心坐标(C_{x_face}，C_{y_face})，各个人脸中心坐标(C_{x_face}，C_{y_face})、各个人体的顶部y坐标T_{y_body}、各个人脸的顶部的y坐标T_{y_face}、以及各个人脸的宽度尺寸W_face。

如此，以方便获取上述各个参数。

在一实施例中，3≤α≤6。具体地，为5.

在一实施例中，根据各匹配对的匹配距离D，确定各人脸以及与之匹配的人体的步骤，包括：

各匹配对的匹配距离D，形成消耗矩阵；

利用匈牙利算法，将各人体与对应的人脸进行匹配。

该最终距离D计算非常快速，将该最终距离作为人脸人体匹配的距离。最后，利用该距离，计算消耗矩阵，利用匈牙利算法，完成人脸人体的匹配。该方法鲁棒性高，准确率高，速度快。

本发明还提供一种智能装备，包括如上述的控制装置。所述智能终端可以是车载智能装备或者监控智能装备。

本发明还提出一种计算机可读的存储介质，所述计算机可读的存储介质上存储有人脸和人体匹配的计算程序，所述人脸和人体匹配的计算程序被处理器执行时实现如上述任一实施例的国际物流智能报价方法的步骤，在此不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，电视机，或者网络设备等)执行本发明各个实施例的方法。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围。

Claims (7)

1.一种人脸和人体匹配的计算方法，其特征在于，包括：

获取单张图像中的多个人体区域图像和多个人脸区域图像；

根据各所述人体区域图像所在区域和所述人脸区域图像所在区域，获取各个人体中心坐标(C_{x_face}，C_{y_face})，各个人脸中心坐标(C_{x_face}，C_{y_face})、各个人体的顶部y坐标T_{y_body}、各个人脸的顶部的y坐标T_{y_face}、以及各个人脸的宽度尺寸W_face；

将各所述人体区域图像分别与各所述人脸区域图像进行组队以形成多个匹配对，根据上述相关参数计算各匹配对中的人脸人体中心偏移率ρ_c、以及人脸人体顶部偏移率ρ_t,其中，ρ_c＝|C_{x_body}-C_{x_face}|/W_face,ρ_t＝|T_{y_face}-T_{y_body}+H_face/α|/H_face，α为是一个系数，表示人脸高度除以人脸顶部到头顶的距离；

根据匹配对中的ρ_c和ρ_t，计算各匹配对的匹配距离D，D＝(ρ_c+ρ_t)/2；

根据各匹配对的匹配距离D，确定各人脸以及与之匹配的人体。

2.如权利要求1所述的人脸和人体匹配的计算方法，其特征在于，根据各所述人体区域图像所在区域和所述人脸区域图像所在区域，获取各个人体中心坐标(C_{x_face}，C_{y_face})，各个人脸中心坐标(C_{x_face}，C_{y_face})、各个人体的顶部y坐标T_{y_body}、各个人脸的顶部的y坐标T_{y_face}、以及各个人脸的宽度尺寸W_face的步骤，包括：

获取所述人体区域图像的包围人体的最小人体区域、以及所述人脸区域图像的包围人脸的最小人脸区域；

根据所述最小人体区域和最小人脸区域，获取各个人体中心坐标(C_{x_face}，C_{y_face})，各个人脸中心坐标(C_{x_face}，C_{y_face})、各个人体的顶部y坐标T_{y_body}、各个人脸的顶部的y坐标T_{y_face}、以及各个人脸的宽度尺寸W_face。

3.如权利要求1所述的人脸和人体匹配的计算方法，其特征在于，3≤α≤6。

4.如权利要求1所述的人脸和人体匹配的计算方法，其特征在于，根据各匹配对的匹配距离D，确定各人脸以及与之匹配的人体的步骤，包括：

各匹配对的匹配距离D，形成消耗矩阵；

利用匈牙利算法，将各人体与对应的人脸进行匹配。

5.一种存储介质，其特征在于，存储有可在处理器上运行的人脸和人体匹配的计算程序，所述人脸和人体匹配的计算程序配置为实现如权利要求1至4中任一项所述的人脸和人体匹配的计算方法的步骤。

6.一种控制装置，其特征在于，包括存储器、处理器以及存储在所述存储器的人脸和人体匹配的计算程序，所述处理器执行所述人脸和人体匹配的计算程序实现如权利要求1至4中任一项所述的人脸和人体匹配的计算方法的步骤。

7.一种智能装备，其特征在于，包括如权利要求6所述的控制装置。