CN115661903B - 一种基于空间映射协同目标过滤的识图方法及装置 - Google Patents

Abstract

本发明公开了一种基于空间映射协同目标过滤的识图方法及装置，具体包括以下步骤：S1、获取摄像头拍摄的人脸图像、场景图像及位置信息；S2、进行空间映射获得人物图像；S3、对所述人物图像进行目标人物的检测，得到检测结果；S4、遍历检测结果，获得最大的矩形框及其在人物图像中的位置信息；S5、根据最大的矩形框的位置信息从人物图像中截取目标人物，获得目标人物图像；S6、将所述目标人物图像及其对应的人脸图像，分别输入预先训练的识别模型，获得人物对应的标签。本发明在场景图像中，通过人脸图像准确定位人物图像，通过对人脸图像、人物图像的分析，获得客群属性，实现了高效、快速的客群属性分析。

Description

一种基于空间映射协同目标过滤的识图方法及装置

技术领域

本发明涉及智慧安检技术领域，具体涉及一种基于空间映射协同目标过滤的识图方法及装置。

背景技术

在安检的场景中，我们需要对摄像头采集的人脸图和对应的人物图进行分析获取客群属性，通过分析同年龄段的客户群里的自身属性、消费属性、决策属性等，对地铁覆盖范围内的客户做标签化分析，能够帮助公共交通制定针对性的项目设置策略、定价策略和服务策略。但是实际中摄像机发送上来的只有人脸图和人物所在的场景图。需要从场景图中找到对应的人物进行分析，分析人物的性别、年龄、发量等，并分析出衣服类型，身形、是否带眼镜等，然而场景图的数据量庞大，同时存在多种干扰因素，影响分析效率的同时，采集数据空间占用率越来越多，通过简单的空间映射获得的人物图像可能包含了其他干扰的背景，如其他人物的部分信息或干扰背景信息，从而对最后的识别产生影响。

发明内容

本发明的目的在于提供一种基于空间映射协同目标过滤的识图方法及装置，在场景图像中，通过人脸图像准确定位人物图像，通过对人脸图像、人物图像的分析，获得客群属性，实现了高效、快速的客群属性分析。

一种基于空间映射协同目标过滤的识图方法，具体包括以下步骤：

S1、获取摄像头拍摄的人脸图像、场景图像及位置信息，所述场景图像包含人脸图像，所述位置信息为所述人脸图像在场景图像中的相对位置信息；

S2、根据所述人脸图像、场景图像及位置信息进行空间映射获得人物图像；

S3、对所述人物图像进行目标人物的检测，得到检测结果，所述检测结果为人物图像中检测到的目标人物的至少一个矩形框；

S4、遍历检测结果，获得最大的矩形框及其在人物图像中的位置信息；

S5、根据最大的矩形框的位置信息从人物图像中截取目标人物，获得目标人物图像；

S6、将所述目标人物图像及其对应的人脸图像，分别输入预先训练的识别模型，获得人物对应的标签。

进一步地，所述空间映射，具体包括以下步骤：

根据所述位置信息获取截取框；

根据所述截取框对场景图像进行剪切，获得人物图像。

进一步地，所述空间映射，具体包括以下步骤：

根据所述位置信息获取截取框；

根据所述截取框，获得拓展截取框；

根据所述拓展截取框对场景图像进行剪切，获得人物图像。

进一步地，所述位置信息包括人脸图像在场景图像中的其中一个顶点坐标A以及人脸图像的宽width、高height，所述截取框为场景图像中的顶点坐标为A、宽为w0，高为h0的矩形检测框，其中w0≥width，h0≥height。

进一步地，所述顶点坐标A为（x，y），所述w0=width，所述h0=height+，所述为人脸图像的下边缘与场景图像的下边缘之间的距离。

进一步地，所述截取框为矩形框，所述拓展截取框为将所述截取框分别沿第一方向和/或第二方向延伸对应的距离生成的矩形框。

进一步地，所述第一方向与第二方向为两相反方向，且平行于人脸图像的下边缘，所述拓展截取框由以下步骤生成得到：

将所述截取框沿第一方向延伸第一距离，获得第一截取框；

将所述第一截取框沿第二方向延伸第二距离，获得拓展截取框；

其中，所述拓展截取框不超过人脸图像的边缘。

进一步地，步骤S6具体包括以下步骤：

将所述人脸图像输入预先训练的人脸识别模型，获取人物的第一基本数据；

将所述目标人物图像输入预先训练的属性识别模型，获取人物的第二基本数据；

根据人物的第一基本数据和第二基本数据，实时获得人物对应的属性标签。

进一步地，所述人脸识别模型具体包括以下步骤：

对所述人脸图像进行相应分区，每个分区包括各个人脸组成部分；

提取分区后的人脸图像的各区的特征数据；

根据人脸图像的特征数据与所述人脸特征数据库内的对应数据进行比对并分别计算出人脸部分与所述人脸特征数据库内的各人脸数据的相似度，根据相似度最高的人脸数据确定人物的姓名、性别、年龄，所述人物的第一基本数据包括姓名、性别、年龄。

进一步地，第二基本数据通过以下步骤获得：

对所述目标人物图像进行相应分区，每个分区包括各个预设区域的组成部分；

提取分区后的目标人物图像的各区的特征数据；

根据目标人物图像的特征数据输入预先训练的属性识别模型，计算出整体部分内的各预设属性的相似度，根据相似度最高原则确定各预设属性的信息，确定为第二基本数据。

一种基于空间映射协同目标过滤的识图装置，包括：

一个或多个处理器；

存储单元，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现所述的一种基于空间映射协同目标过滤的识图方法。

本发明具有的有益效果：

本申请定义了摄像头上传数据的内容，上传数据包括人脸图像、场景图像及位置信息，通过位置信息准确定位人脸图像对应的人物图像，从而根据人脸图像、人物图像进行客群属性分析，克服了现有客群属性分析方法的局限性，能够直接针对结果进行分析，有效地降低了需要进分析操作的数据量，也降低了检验操作的系统资源消耗。

且通过目标过滤，排出拓展截取框中的干扰因素，降低识别数据量的同时，减少识别的干扰，从而提高了识别的准确率。

附图说明

图1为本发明的整体流程示意图；

图2为本发明的人脸图像获取流程示意图；

图3为本发明的场景图像中多个人脸的示意图；

图4为本发明的相对位置信息示意图；

图5为本发明的截取框示意图；

图6为本发明的拓展截取框示意图；

图7为本发明的人物图像示意图；

图8为本发明的目标人物图像示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

另外，为了清楚和简洁起见，可能省略了对公知的结构、功能和配置的描述。本领域普通技术人员将认识到，在不脱离本公开的精神和范围的情况下，可以对本文描述的示例进行各种改变和修改。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

实施例1

如图1所示，一种基于空间映射协同目标过滤的识图方法，具体包括以下步骤：

S1、获取摄像头拍摄的人脸图像、场景图像及位置信息，所述场景图像包含人脸图像，所述位置信息为所述人脸图像在场景图像中的相对位置信息；

S2、根据所述人脸图像、场景图像及位置信息进行空间映射获得人物图像；

S3、对所述人物图像进行目标人物的检测，得到检测结果，所述检测结果为人物图像中检测到的目标人物的至少一个矩形框；

S4、遍历检测结果，获得最大的矩形框及其在人物图像中的位置信息；

S5、根据最大的矩形框的位置信息从人物图像中截取目标人物，获得目标人物图像；

S6、将所述目标人物图像及其对应的人脸图像，分别输入预先训练的识别模型，获得人物对应的标签。

需要说明的是，步骤S3中可以利用标注了人物图像数据的样本图像对人物检测模型进行训练。为了提高人物识别模型识别的准确性和精确性，本公开实施例中，可以对人物图像元素进行像素级精确定位，例如头部、躯干部、四肢、手、足等，这样，通过训练可以获取人物的准确特征信息，从而得到人物精准的检测的矩形框。

需要说明的是，所述最大的矩形框为人物图像中像素点个数最多的矩形框，所述最大的矩形框对应的目标人物图像如图8所示。

具体地，所述空间映射，具体包括以下步骤：

根据所述位置信息获取截取框；

根据所述截取框对场景图像进行剪切，获得人物图像。

需要说明的是，在具体实施时，实现本公开实施例提供的识别方法的应用客户端调用摄像头实时采集场景图像。

具体实施时，可以利用标注了人脸图像数据的样本图像对人脸检测模型进行训练。为了提高人脸识别模型识别的准确性和精确性，本公开实施例中，可以对人脸图像元素进行像素级精确定位，例如头发、眼睛、脖子、皮肤、嘴唇等，这样，通过训练可以获取人脸五官的准确特征信息。

如图2所示，根据本公开实施例训练得到的人脸检测模型，不仅能够检测出场景图像中包含的人脸图像，还可以对人脸图像的像素点个数进行计算。

具体实施时，基于标注的样本图像，可以利用卷积神经网络建立人脸检测模型进行训练。

具体地，所述位置信息包括人脸图像在场景图像中的其中一个顶点坐标A以及人脸图像的宽width、高height，所述截取框为场景图像中的顶点坐标为A、宽为w0，高为h0的矩形检测框，其中w0≥width，h0≥height。

具体地，所述顶点坐标A为（x，y），所述w0=width，所述h0=height+，所述为人脸图像的下边缘与场景图像的下边缘之间的距离。

具体地，所述截取框为矩形框，所述拓展截取框为将所述截取框沿第一方向和/或第二方向延伸对应的距离生成的矩形框。

具体地，所述第一方向与第二方向为两相反方向，且平行于人脸图像的下边缘，所述拓展截取框由以下步骤生成得到：

将所述截取框沿第一方向延伸第一距离，获得第一截取框；

将所述第一截取框沿第二方向延伸第二距离，获得拓展截取框。

其中，所述拓展截取框不超过人脸图像的边缘。

将拓展截取框对应的图像输入人物检测模型获得目标人物图像，如图8所示。

示例性的：

摄像机传上来的人脸图记为S，场景图记为Q，同时传上来了人脸图S在全景图Q中的位置。位置信息包含{x，y，width，height}，(x,y)是人脸图左上顶点在场景图中的坐标，width和height分别为人脸图的宽和高。记场景图的宽为w，高为h，如图4所示；

1、摄像机上传了人脸图S；

2、人物图的获取。向下取框，获得左上顶点为(x，y)，右下顶点的坐标即为：(x+width，h)；

此时的截取框如图5所示。

3、从上图可以看出，截取到的人物目标并不是完全的。同时根据身体的宽度差不多是头部宽度2倍，我们可以对截取框进行向左和向右的拓展，如图6所示：

得到左上顶点为(x-0.5*width，y)和右下顶点为(x+1.5*width，h)的区域B’，当x-0.5*width<0，左上顶点为(0，y)。当x+1.5*width>w，右下顶点为(w，h)。

对拓展截取框进行剪切获得人物图像，如图7所示。

具体地，所述人脸图像，通过以下步骤得到：

控制所述摄像头在扫描范围内，拍摄每一扫描时刻摄像头视野内的场景图像；

将所述场景图像输入预先训练的人脸检测模型获得至少一个人脸图像，所述人脸检测模型为利用标注了人脸图像标签的样本图像进行训练得到的；

计算所述场景图像中每个人脸图像对应的像素点个数；

将像素点个数最大的人脸图像作为第一目标人脸图像，获得所述人脸图像在场景图像中的相对位置信息，并将其从场景图像截取出来。

如图3所示，通常，在一张图片中，像素点个数最大的人物头像被认为是距离摄像头焦点距离最近的人物头像，因此，在本发明实施例中，获取每个人物头像对应的像素点个数后，将像素点个数最大的人物头像作为第一待拍摄人物头像，将距离摄像头焦点最近的人物头像作为第一待拍摄人物头像，提高了在多个人物头像中选出目标人物头像的准确率，并且这种选择方式更加符合用户需求。

具体地，所述人脸图像，通过以下步骤得到：

控制所述摄像头在扫描范围内，拍摄每一扫描时刻摄像头视野内的场景图像；

将所述场景图像输入预先训练的人脸检测模型获得至少一个人脸图像，所述人脸检测模型为利用标注了人脸图像标签的样本图像进行训练得到的；

比较所述场景图像中每个人脸图像像对应的置信度；

将置信度最大的人脸图像作为第一目标人脸图像，获得所述人脸图像在场景图像中的相对位置信息，并将其从场景图像截取出来。

需要说明的是，上述步骤中提取出的用户的人脸图像有多个，则在一种实施方式中，可以通过显示屏显示提取出的所有用户人脸图像供用户选择，响应于用户的选择操作，确定用户选择的至少一个人脸图像为目标的人脸图像。在另外一种实施方式中，可以分别确定提取出的每一人脸图像对应的置信度；确定置信度大于预设阈值的人脸图像为目标人脸图像，例如，可以根据人脸图像占据场景图像的像素比例来确定每一人脸图像的置信度，将比例大于预设比例阈值的人脸图像确定为目标人脸图像。

具体地，步骤S6具体包括以下步骤：

将所述人脸图像输入预先训练的人脸识别模型，获取人物的第一基本数据；

将所述目标人物图像输入预先训练的属性识别模型，获取人物的第二基本数据；

根据人物的第一基本数据和第二基本数据，实时获得人物对应的属性标签。

具体地，所述人脸识别模型具体包括以下步骤：

对所述人脸图像进行相应分区，每个分区包括各个人脸组成部分；

提取分区后的人脸图像的各区的特征数据；

根据人脸图像的特征数据与所述人脸特征数据库内的对应数据进行比对并分别计算出人脸部分与所述人脸特征数据库内的各人脸数据的相似度，根据相似度最高的人脸数据确定人物的第一基本数据，所述人物的第一基本数据包括姓名、性别、年龄。

在一种实施例中，所述人脸识别模型具体包括以下步骤：

S110、预建包含多个人脸的人脸特征数据库，

S111、输入待识别的人脸图像。

S112、对输入的人脸图像进行人脸定位，即识别出人脸图像中的人脸部分。

S113、对定位后的人脸进行裁剪，例如可采用鼠标拉框或预先设置的取脸框对定位后的人脸进行裁剪。

S114、对裁减后的人脸进行预处理，所述预处理包括人脸尺寸归一化、光照补偿及姿态校正，所述预处理都为本领域技术人员所熟悉的技术，在此不再详述。

S115、将所裁减后的人脸与所述人脸特征数据库内的对应数据进行比对并计算出待识别的人脸与所述人脸特征数据库内的各人脸的相似度。

S116、结果处理，即根据所计算出的相似度在人脸特征数据库内找出与待识别的人脸最为相似的人脸，并生成对应的乘客ID，乘客ID对应人脸的姓名、性别、年龄。

具体地，所述分区之前，还包括将所述人脸识别进行正面脸识别，将正面脸的人脸图像进行分区。对人脸图像进行正面脸识别，从而对所述人脸图像进行相应的正面脸分区，具体的包括：

对待识别的人脸图像进行人脸识别以确定其是否包含人脸，并对包含人脸的待识别人脸图像进行双眼定位；

根据定位的双眼判断所述双眼是否水平，若双眼不为水平，则旋转所述待识别的人脸图像以使所述双眼水平；

根据处于水平的双眼的距离自相应待识别的人脸图像中截取出相应人脸部分；

根据所截取出的相应人脸部分生成与所述人脸部分相应的镜像人脸；

根据所述人脸部分与镜像人脸对应各像素点的灰度值计算两图像之间的差距；按照公式计算所述差距，其中，d为差距，A(x，y)为截取出的人脸部分中像素点(x，y)的灰度值，B(x，y)为镜像人脸中对应像素点(x，y)的灰度值；

将所述差距与预设的阀值进行比较以判断所述待识别的人脸图像包含的人脸是否为正面脸。

具体地，第二基本数据通过以下步骤获得：

对所述目标人物图像进行相应分区，每个分区包括各个预设区域的组成部分；

提取分区后的目标人物图像的各区的特征数据；

根据目标人物图像的特征数据输入预先训练的属性识别模型，计算出整体部分内的各预设属性的相似度，根据相似度最高原则确定各预设属性的信息，确定为第二基本数据。

即从人脸图分析人物的性别、年龄、发量等。从人物图分析出衣服类型，身形、是否带眼镜等等特性。

提取分区后的目标人物图像的各区的特征数据；

根据人物图像的特征数据输入预先训练的属性识别模型，计算出整体部分内的各预设属性的相似度，根据相似度最高原则确定各预设属性的信息，确定为第二基本数据。

预设属性包括：对应人物的是否佩戴眼镜、是否携带包裹等等。

具体地，根据所述人物的第一基本数据调取人物的第三基本数据，第三基本数据包括乘坐里程、常去目的地。

在一种实时方式中，通过第一基本数据、第二基本数据、第三基本数据实时获得人物对应的属性标签。

属性标签包括年轻人、老年人、小孩、携带包裹、佩戴眼镜等等。

实施例2

一种基于空间映射协同目标过滤的识图装置，包括：

一个或多个处理器；

存储单元，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现所述的一种基于空间映射协同目标过滤的识图方法。

实施例3，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时能实现所述的一种基于空间映射协同目标过滤的识图方法。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。

Claims (7)

1.一种基于空间映射协同目标过滤的识图方法，其特征在于，具体包括以下步骤：

S1、获取摄像头拍摄的人脸图像、场景图像及位置信息，所述场景图像包含人脸图像，所述位置信息为所述人脸图像在场景图像中的相对位置信息；

S2、根据所述人脸图像、场景图像及位置信息进行空间映射获得人物图像；

S3、对所述人物图像进行目标人物的检测，得到检测结果，所述检测结果为人物图像中检测到的目标人物的至少一个矩形框；

S4、遍历检测结果，获得最大的矩形框及其在人物图像中的位置信息；

S5、根据最大的矩形框的位置信息从人物图像中截取目标人物，获得目标人物图像；

S6、将所述目标人物图像及其对应的人脸图像，分别输入预先训练的识别模型，获得人物对应的标签；

步骤S6具体包括以下步骤：

将所述人脸图像输入预先训练的人脸识别模型，获取人物的第一基本数据；

将所述目标人物图像输入预先训练的属性识别模型，获取人物的第二基本数据；

根据人物的第一基本数据和第二基本数据，实时获得人物对应的属性标签；

所述人脸识别模型具体包括以下步骤：

对所述人脸图像进行相应分区，每个分区包括各个人脸组成部分；

提取分区后的人脸图像的各区的特征数据；

根据人脸图像的特征数据与人脸特征数据库内的对应数据进行比对并分别计算出人脸部分与所述人脸特征数据库内的各人脸数据的相似度，根据相似度最高的人脸数据确定人物的姓名、性别、年龄，所述人物的第一基本数据包括姓名、性别、年龄；

第二基本数据通过以下步骤获得：

对所述目标人物图像进行相应分区，每个分区包括各个预设区域的组成部分；

提取分区后的目标人物图像的各区的特征数据；

根据目标人物图像的特征数据输入预先训练的属性识别模型，计算出整体部分内的各预设属性的相似度，根据相似度最高原则确定各预设属性的信息，确定为第二基本数据。

2.根据权利要求1所述的一种基于空间映射协同目标过滤的识图方法，其特征在于，所述空间映射，具体包括以下步骤：

根据所述位置信息获取截取框；

根据所述截取框，获得拓展截取框；

根据所述拓展截取框对场景图像进行剪切，获得人物图像。

3.根据权利要求2所述的一种基于空间映射协同目标过滤的识图方法，其特征在于，所述位置信息包括人脸图像在场景图像中的其中一个顶点坐标A以及人脸图像的宽width、高height，所述截取框为场景图像中的顶点坐标为A、宽为w0，高为h0的矩形检测框，其中w0≥width，h0≥height。

4.根据权利要求3所述的一种基于空间映射协同目标过滤的识图方法，其特征在于，所述顶点坐标A为（x，y），所述w0=width，所述h0=height+△，所述△为人脸图像的下边缘与场景图像的下边缘之间的距离。

5.根据权利要求2所述的一种基于空间映射协同目标过滤的识图方法，其特征在于，所述截取框为矩形框，所述拓展截取框为将所述截取框分别沿第一方向和/或第二方向延伸对应的距离生成的矩形框。

6.根据权利要求5所述的一种基于空间映射协同目标过滤的识图方法，其特征在于，所述第一方向与第二方向为两相反方向，且平行于人脸图像的下边缘，所述拓展截取框由以下步骤生成得到：

将所述截取框沿第一方向延伸第一距离，获得第一截取框；

将所述第一截取框沿第二方向延伸第二距离，获得拓展截取框；

其中，所述拓展截取框不超过人脸图像的边缘。

7.一种基于空间映射获得目标的识图装置，其特征在于，包括：

一个或多个处理器；

存储单元，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现根据权利要求1至6中任意一项所述的一种基于空间映射协同目标过滤的识图方法。

Images