CN110728242A - 基于人像识别的图像匹配方法、装置、存储介质及应用 - Google Patents

Abstract

本发明提供了一种基于人像识别的图像匹配方法、装置、存储介质及应用，其可以通过人脸识别，将属于不同用户的图像匹配到各个用户，方便家长们关心自己家孩子，而且不会影响秩序，同时也节约人力，包括以下步骤：步骤1：检测图像中是否存在人脸，若存在，则标记图像中的人脸并输出其位置；步骤2：采用人脸图像作为训练样本，多次训练卷积神经网络模型，以使所述卷积神经网络模型能够识别图像中的人脸特征；步骤3：采用步骤2中训练好的神经网络模型对步骤1中的检测到的人脸进行人脸识别，若识别到的人脸的特征向量与数据库中用户的人脸的特征向量相匹配，则将包含该人脸的图像匹配给人脸图像对应的用户。

Description

基于人像识别的图像匹配方法、装置、存储介质及应用

技术领域

本发明涉及人脸识别技术领域，具体涉及一种基于人像识别的图像匹配方法、装置、存储介质及应用。

背景技术

随着经济的繁荣昌盛，人们生活水平的不断的提高，人们对于幼儿的教育重视程度也得到了不断的提高，越来越多的家长希望在了解自家子女在教学场所的正常教学过程中表现以及在玩乐的过程中的体验，就会出现家长或亲戚朋友通过窗户或者开门来探视的情况，这样经常会容易导致儿童被打扰或者分心；不利于教学的顺利开展和玩乐体验的，也存在一定的安全隐患；

也会有一些场所，会有专门的人员、老师进行拍摄，再将不同儿童的图像发给对应家长，但是这样也浪费人力，再将儿童的图像分发给对应的家长也费时费力，因此，需要一种既以方便家长们关心自己家孩子，而且不会影响秩序，而且节约人力的方法。

发明内容

针对上述问题，本发明提供了一种基于人像识别的图像匹配方法、装置、存储介质及应用，其可以通过人脸识别，将属于不同用户的图像匹配到各个用户，方便家长们关心自己家孩子，而且不会影响秩序，同时也节约人力。

其技术方案是这样的：一种基于人像识别的图像匹配方法，其特征在于，包括以下步骤：

步骤1：检测图像中是否存在人脸，若存在，则标记图像中的人脸并输出其位置；

步骤2：采用人脸图像作为训练样本，多次训练卷积神经网络模型，以使所述卷积神经网络模型能够识别图像中的人脸特征；

步骤3：采用步骤2中训练好的神经网络模型对步骤1中的检测到的人脸进行人脸识别，若识别到的人脸的特征向量与数据库中用户的人脸的特征向量相匹配，则将包含该人脸的图像匹配给人脸图像对应的用户。

进一步的，步骤1具体包括以下步骤：

步骤1-1:外脸检测：利用人体肤色进行外脸区域检测，寻找图像中的外脸区域并进行标记；

步骤1-2:内脸定位：利用面部几何特征从外脸区域中定位内脸区域；

步骤1-3：内脸区域归一化：对内脸区域的图像进行缩放得到统一大小的图像。

进一步的，步骤1-1具体包括以下步骤：

采用HSI和YCbCr两种色彩空间对图像进行二值化处理得到二值图像，设定肤色范围限定在H∈[0，46]，S∈[0.10，0.72]，Cb∈[98，130]，Cr∈[128，170]，将满足肤色范围限定条件的像素标记为肤色像素，其余的像素均为非肤色像素；

分别在以每一个肤色像素为中心的矩形邻域内统计肤色像素的个数，若其中肤色像素的数量超过半数，则将该肤色像素保留为肤色像素，否则，认定该肤色像素为非肤色像素；

将二值图像中的肤色像素点构成的肤色块作区域归并形成目标区域，并采用面积密度、长宽比、致密度、面积滤波对目标区域进行比例、结构分析，过滤掉不可能为外脸区域的目标区域。

进一步的，不可能为外脸区域的目标区域包括三角区域、矩形区域、细长的和弯曲的区域和小面积区域；

利用面积密度去除细长的和弯曲的区域，面积密度为目标区域的面积与其最小外接矩形的面积的比值，当面积密度小于等于0.4时，认定目标区域为细长的和弯曲的区域；

利用目标区域最小外接矩形的长宽比去除不符合正常的人脸比例的目标区域，当长宽比在0.8～2.0之间，则认定为不符合正常的人脸比例；

利用致密度去除矩形区域和三角区域，致密度为区域周长的平方与区域面积的比值，当致密度取值小于4或大于16是认为是矩形区域或三角区域；

采用相对重要性滤波的方法来滤除小面积区域，设定肤色最大块的面积与整幅图像的面积的比值为相对重要性系数R，当R≥10％时，把面积小于95的目标区域滤除，当R≤10％时，把面积小于70的目标区域滤除。

进一步的，步骤1-2具体包括以下步骤：在外脸区域的上半部，对二值图像进行水平方向和垂直方向的投影，确定两个包含黑点的矩形区域作为双眼的大致区域，在确定的两个区域中，对黑点进行区域膨胀，得到眼睛的基本轮廓和左右眼角，黑点坐标的平均值作为瞳孔的位置，然后通过瞳孔的位置对内脸进行定位，设左、右瞳孔的坐标分别为(Lx，Ly)和(Rx，Ry)，两个瞳孔之间的距离为d，根据人脸的几何特征，定义内脸区域为：宽度＝d×1.6，高度＝d×1.8，左上角坐标为(Lx-d×0.3，(Ly+Ry)/2-d×0.3)。

进一步的，步骤2具体包括以下步骤：

选取N张人脸图像作为训练样本，其中，N为自然数，将训练样本作为输入来训练卷积神经网络模型，卷积神经网络模型包括卷积层、池化层，采用卷积层对人脸图像进行卷积操作，采用池化层对人脸图像进行池化操作，采用随机梯度下降算法优化网络权重、降低损失函数，训练卷积神经网络模型直到收敛，得到训练好的卷积神经网络模型。

进一步的，在步骤2中，采用卷积神经网络输出特征时，以下巴为基准特征点，提取五官在极坐标系下的r和θ的二维特征点，分别对眼镜、嘴巴、鼻子、耳朵提取特征点，然后对特征点进行标记形成特征向量。

一种基于人像识别的图像匹配装置，其特征在于，其包括：包括处理器、存储器以及程序；

所述程序存储在所述存储器中，所述处理器调用存储器存储的程序，以执行上述的基于人像识别的图像匹配方法。

一种计算机可读存储介质，其特征在于，所述计算机可读存储介质被配置成存储程序，所述程序被配置成执行上述的基于人像识别的图像匹配方法。

一种基于人像识别的图像匹配方法的应用，其特征在于：在教学场景或娱乐场所场景中，通过图像采集装置采集图像，对采集到的图像，采用上述的基于人像识别的图像匹配方法将图像匹配给不同的用户。

本发明的基于人像识别的图像匹配方法、装置以及存储介质，通过摄像头等图像采集装置拍摄的图像，可以通过人脸识别，识别图像上包含的用户，再根据识别结果，将图像发送到对应用户，这样无需专人进行拍摄和图像的分发，用于方便用户获取包含目标儿童的图像，方便家长们关心自己家孩子，实时了解孩子们当前的情况，记录美好瞬间，而且也不会影响秩序，同时也节约人力。

附图说明

图1为本发明的一种基于人像识别的图像匹配方法的流程图。

具体实施方式

见图1，本发明的一种基于人像识别的图像匹配方法，包括以下步骤：

步骤1：检测图像中是否存在人脸，若存在，则标记图像中的人脸并输出其位置；

步骤2：采用人脸图像作为训练样本，多次训练卷积神经网络模型，以使卷积神经网络模型能够识别图像中的人脸特征；

步骤3：采用步骤2中训练好的神经网络模型对步骤1中的检测到的人脸进行人脸识别，若识别到的人脸的特征向量与数据库中用户的人脸的特征向量相匹配，则将包含该人脸的图像匹配给人脸图像对应的用户。

在本实施例中，步骤1具体包括以下步骤：

步骤1-1:外脸检测：利用人体肤色进行外脸区域检测，寻找图像中的外脸区域并进行标记；

步骤1-1具体包括以下步骤：

根据人类肤色在色彩空间中存在区域性的特点，将可能为人脸的像素检测出来。为更好地利用肤色特征，在本实施例中，采用HSI和YCbCr两种色彩空间对图像进行二值化处理得到二值图像，设定肤色范围限定在H∈[0，46]，S∈[0.10，0.72]，Cb∈[98，130]，Cr∈[128，170]，将满足肤色范围限定条件的像素标记为肤色像素，其余的像素均为非肤色像素；

分别在以每一个肤色像素为中心的矩形邻域内统计肤色像素的个数，若其中肤色像素的数量超过半数，则将该肤色像素保留为肤色像素，否则，认定该肤色像素为非肤色像素，在本实施例中，矩形邻域采用5*5的像素区域；

将二值图像中的肤色像素点构成的肤色块作区域归并形成目标区域，并采用面积密度、长宽比、致密度、面积滤波对目标区域进行比例、结构分析，过滤掉不可能为外脸区域的目标区域。

具体的，人脸区域形状上大体与椭圆相似，图像经过中值滤波后的边缘强化图中除了人脸的椭圆区域外，还有一些其它形状的区域，这些其它的形状基本上是不可能为外脸区域的目标区域，不可能为外脸区域的目标区域包括三角区域、矩形区域、细长的和弯曲的区域和小面积区域；

利用面积密度去除细长的和弯曲的区域，面积密度为目标区域的面积与其最小外接矩形的面积的比值，当面积密度小于等于0.4时，认定目标区域为细长的和弯曲的区域；

利用目标区域最小外接矩形的长宽比去除不符合正常的人脸比例的目标区域，当长宽比在0.8～2.0之间，则认定为不符合正常的人脸比例；

利用致密度去除矩形区域和三角区域，致密度为区域周长的平方与区域面积的比值，当致密度取值小于4或大于16是认为是矩形区域或三角区域；

采用相对重要性滤波的方法来滤除小面积区域，设定肤色最大块的面积与整幅图像的面积的比值为相对重要性系数R，当R≥10％时，把面积小于95的目标区域滤除，当R≤10％时，把面积小于70的目标区域滤除。

步骤1-2:内脸定位：利用面部几何特征从外脸区域中定位内脸区域；

将包含眼、眉、鼻和嘴的区域称为内脸区域，内脸区域能够很好地表达人脸特征，且不易受背景、头发等因素的干扰，因此内脸区域的检测和定位对后续的特征提取和识别至关重要；

在本实施例中，步骤1-2具体包括以下步骤：在外脸区域的上半部，对二值图像进行水平方向和垂直方向的投影，确定两个包含黑点的矩形区域作为双眼的大致区域，在确定的两个区域中，对黑点进行区域膨胀，得到眼睛的基本轮廓和左右眼角，黑点坐标的平均值作为瞳孔的位置，然后通过瞳孔的位置对内脸进行定位，设左、右瞳孔的坐标分别为(Lx，Ly)和(Rx，Ry)，两个瞳孔之间的距离为d，根据人脸的几何特征，定义内脸区域为：宽度＝d×1.6，高度＝d×1.8，左上角坐标为(Lx-d×0.3，(Ly+Ry)/2-d×0.3)。

步骤1-3：内脸区域归一化：对内脸区域的图像进行缩放得到统一大小的图像，在本实施例中，定义规定标准图像的大小为128×128；

由于各待测图像中的人脸大小具有很大的随机性，因此，有必要对内脸区域进行归一化操作。人脸归一化是指对内脸区域的图像进行缩放变换，得到统一大小的标准图像，其保证了人脸大小的一致性，体现了人脸在图像平面内的尺寸不变性。。

具体的，步骤2具体包括以下步骤：

选取N张人脸图像作为训练样本，其中，N为自然数，将训练样本作为输入来训练卷积神经网络模型，卷积神经网络模型包括卷积层、池化层，采用卷积层对人脸图像进行卷积操作，采用池化层对人脸图像进行池化操作，采用随机梯度下降算法优化网络权重、降低损失函数，训练卷积神经网络模型直到收敛，得到训练好的卷积神经网络模型。

在步骤2中，采用卷积神经网络输出特征时，以下巴为基准特征点，提取五官在极坐标系下的r和θ的二维特征点，眼睛选取15个特征点，嘴巴选取20个特征点，鼻子选取10个特征点，耳朵15个特征点，然后对特征点进行标记形成特征向量。

在本发明的实施例中，还提供了一种上述的基于人像识别的图像匹配方法的应用，其特征在于：在教学场景或娱乐场所场景中，通过图像采集装置采集图像，对采集到的图像，采用上述的基于人像识别的图像匹配方法将图像匹配给不同的用户。

通过摄像头等图像采集装置拍摄的图像，可以通过人脸识别，识别图像上包含的用户，再根据识别结果，将图像发送到对应用户，这样无需专人进行拍摄和图像的分发，用于方便用户获取包含目标儿童的图像，方便家长们关心自己家孩子，实时了解孩子们当前的情况，记录美好瞬间，而且也不会影响秩序，同时也节约人力。

在本发明的实施例中，还提供了一种基于人像识别的图像匹配装置，其包括：包括处理器、存储器以及程序；

程序存储在存储器中，处理器调用存储器存储的程序，以执行上述的基于人像识别的图像匹配方法。

在上述基于人像识别的图像匹配装置的实现中，存储器和处理器之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可以通过一条或者多条通信总线或信号线实现电性连接，如可以通过总线连接。存储器中存储有实现数据访问控制方法的计算机执行指令，包括至少一个可以软件或固件的形式存储于存储器中的软件功能模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理。

存储器可以是，但不限于，随机存取存储器(Random Access Memory，简称：RAM)，只读存储器(Read Only Memory，简称：ROM)，可编程只读存储器(Programmable Read-OnlyMemory，简称：PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，简称：EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，简称：EEPROM)等。其中，存储器用于存储程序，处理器在接收到执行指令后，执行程序。

处理器可以是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称：CPU)、网络处理器(NetworkProcessor，简称：NP)等。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

在本发明的实施例中，还提供了一种计算机可读存储介质，计算机可读存储介质被配置成存储程序，程序被配置成执行上述的基于人像识别的图像匹配方法。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图和或中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图中指定的功能的步骤。

以上对本发明所提供的一种基于人像识别的图像匹配方法、一种基于人像识别的图像匹配装置和一种计算机可读存储介质、基于人像识别的图像匹配方法的应用进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于人像识别的图像匹配方法，其特征在于，包括以下步骤：

步骤1：检测图像中是否存在人脸，若存在，则标记图像中的人脸并输出其位置；

步骤2：采用人脸图像作为训练样本，多次训练卷积神经网络模型，以使所述卷积神经网络模型能够识别图像中的人脸特征；

步骤3：采用步骤2中训练好的神经网络模型对步骤1中的检测到的人脸进行人脸识别，若识别到的人脸的特征向量与数据库中用户的人脸的特征向量相匹配，则将包含该人脸的图像匹配给人脸图像对应的用户。

2.根据权利要求1所述的一种基于人像识别的图像匹配方法，其特征在于，步骤1具体包括以下步骤：

步骤1-1:外脸检测：利用人体肤色进行外脸区域检测，寻找图像中的外脸区域并进行标记；

步骤1-2:内脸定位：利用面部几何特征从外脸区域中定位内脸区域；

步骤1-3：内脸区域归一化：对内脸区域的图像进行缩放得到统一大小的图像。

3.根据权利要求2所述的一种基于人像识别的图像匹配方法，其特征在于，步骤1-1具体包括以下步骤：

采用HSI和YCbCr两种色彩空间对图像进行二值化处理得到二值图像，设定肤色范围限定在H∈[0，46]，S∈[0.10，0.72]，Cb∈[98，130]，Cr∈[128，170]，将满足肤色范围限定条件的像素标记为肤色像素，其余的像素均为非肤色像素；

分别在以每一个肤色像素为中心的矩形邻域内统计肤色像素的个数，若其中肤色像素的数量超过半数，则将该肤色像素保留为肤色像素，否则，认定该肤色像素为非肤色像素；

将二值图像中的肤色像素点构成的肤色块作区域归并形成目标区域，并采用面积密度、长宽比、致密度、面积滤波对目标区域进行比例、结构分析，过滤掉不可能为外脸区域的目标区域。

4.根据权利要求3所述的一种基于人像识别的图像匹配方法，其特征在于：不可能为外脸区域的目标区域包括三角区域、矩形区域、细长的和弯曲的区域和小面积区域；

利用面积密度去除细长的和弯曲的区域，面积密度为目标区域的面积与其最小外接矩形的面积的比值，当面积密度小于等于0.4时，认定目标区域为细长的和弯曲的区域；

利用目标区域最小外接矩形的长宽比去除不符合正常的人脸比例的目标区域，当长宽比在0.8～2.0之间，则认定为不符合正常的人脸比例；

利用致密度去除矩形区域和三角区域，致密度为区域周长的平方与区域面积的比值，当致密度取值小于4或大于16是认为是矩形区域或三角区域；

采用相对重要性滤波的方法来滤除小面积区域，设定肤色最大块的面积与整幅图像的面积的比值为相对重要性系数R，当R≥10％时，把面积小于95的目标区域滤除，当R≤10％时，把面积小于70的目标区域滤除。

5.根据权利要求2所述的一种基于人像识别的图像匹配方法，其特征在于：步骤1-2具体包括以下步骤：在外脸区域的上半部，对二值图像进行水平方向和垂直方向的投影，确定两个包含黑点的矩形区域作为双眼的大致区域，在确定的两个区域中，对黑点进行区域膨胀，得到眼睛的基本轮廓和左右眼角，黑点坐标的平均值作为瞳孔的位置，然后通过瞳孔的位置对内脸进行定位，设左、右瞳孔的坐标分别为(Lx，Ly)和(Rx，Ry)，两个瞳孔之间的距离为d，根据人脸的几何特征，定义内脸区域为：宽度＝d×1.6，高度＝d×1.8，左上角坐标为(Lx-d×0.3，(Ly+Ry)/2-d×0.3)。

6.根据权利要求1所述的一种基于人像识别的图像匹配方法，其特征在于：步骤2具体包括以下步骤：

选取N张人脸图像作为训练样本，其中，N为自然数，将训练样本作为输入来训练卷积神经网络模型，卷积神经网络模型包括卷积层、池化层，采用卷积层对人脸图像进行卷积操作，采用池化层对人脸图像进行池化操作，采用随机梯度下降算法优化网络权重、降低损失函数，训练卷积神经网络模型直到收敛，得到训练好的卷积神经网络模型。

7.根据权利要求1所述的一种基于人像识别的图像匹配方法，其特征在于：在步骤2中，采用卷积神经网络输出特征时，以下巴为基准特征点，提取五官在极坐标系下的r和θ的二维特征点，分别对眼镜、嘴巴、鼻子、耳朵提取特征点，然后对特征点进行标记形成特征向量。

8.一种基于人像识别的图像匹配装置，其特征在于，其包括：包括处理器、存储器以及程序；

所述程序存储在所述存储器中，所述处理器调用存储器存储的程序，以执行权利要求1所述的基于人像识别的图像匹配方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质被配置成存储程序，所述程序被配置成执行权利要求1所述的基于人像识别的图像匹配方法。

10.一种基于人像识别的图像匹配方法的应用，其特征在于：在教学场景或娱乐场所场景中，通过图像采集装置采集图像，对采集到的图像，采用权利要求1所述的基于人像识别的图像匹配方法将图像匹配给不同的用户。