CN114445919A - 一种人脸识别方法、系统、电子设备以及存储介质 - Google Patents

Abstract

本发明提供一种人脸识别方法、系统、电子设备以及存储介质，人脸识别方法包括：获取待识别人脸的三维人脸信息以及三维静脉信息；基于所述三维人脸信息以及所述三维静脉信息确定待识别信息；利用目标识别算法对所述待识别信息进行处理，得到识别结果。该方法提高了人脸识别的准确性、安全性和稳定性。

Description

一种人脸识别方法、系统、电子设备以及存储介质

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种人脸识别方法、系统、电子设备以及存储介质。

背景技术

人像识别技术被广泛应用在金融、公安、门禁、消费电子等领域，但存在一定缺陷，例如人脸识别技术易受光照、妆容、表情等因素干扰，并且现在仍然存在对于同卵双胞胎等相似个体难以分辨的情况。

发明内容

本发明提供一种人脸识别方法、系统、电子设备以及存储介质，该方法提高了人脸识别的准确性、安全性和稳定性。

为解决上述技术问题，本发明提供的第一个技术方案为：提供一种人脸识别方法，包括：获取待识别人脸的三维人脸信息以及三维静脉信息；基于所述三维人脸信息以及所述三维静脉信息确定待识别信息；利用目标识别算法对所述待识别信息进行处理，得到识别结果。

其中，所述获取待识别人脸的三维人脸信息以及三维静脉信息的步骤，包括：从多角度获取待识别人脸的可见光图像以及红外光图像；基于所述可见光图像确定所述待识别人脸的三维人脸点云，进而得到所述三维人脸信息，以及基于所述红外光图像确定所述待识别人脸的三维静脉点云，进而得到所述三维静脉信息。

其中，所述基于所述三维人脸信息以及所述三维静脉信息确定待识别信息的步骤，包括：将所述可见光图像、所述三维人脸点云以及所述三维静脉点云进行融合，得到所述待识别信息。

其中，所述基于所述红外光图像确定所述待识别人脸的三维静脉点云的步骤，包括：对所述红外光图像进行预处理；所述预处理包括：散射介质成像重建、图像增强、图像分割中至少一种；基于预处理后的所述红外光图像确定所述三维静脉点云。

其中，所述基于所述可见光图像确定所述待识别人脸的三维人脸点云的步骤，包括：基于所述可见光图像确定第一视差图，所述第一视差图表征成像设备与所述待识别人脸的距离信息；基于所述第一视差图确定所述待识别人脸的三维人脸点云；所述基于所述红外光图像确定所述待识别人脸的三维静脉点云的步骤，包括：基于所述红外光图像确定第二视差图，所述第二视差图表征成像设备与所述待识别人脸的距离信息；基于所述第二视差图确定所述待识别人脸的三维静脉点云。

其中，所述获取待识别人脸的可见光图像以及红外光图像的步骤之前，包括：对多个成像设备进行标定，使得多个所述成像设备处于同一世界坐标系；所述将所述可见光图像、所述三维人脸点云以及所述三维静脉点云进行融合的步骤，包括：将所述可见光图像与所述三维人脸点云进行坐标系配准；基于配准后的坐标系将所述可见光图像与所述三维人脸点云进行融合，得到第一融合图像；将所述第一融合图像与所述三维静脉点云进行坐标系配准；基于配准后的坐标系将所述第一融合图像与所述三维静脉点云进行融合。

其中，所述目标识别算法为PointNet++，所述PointNet++的通道为7，且旋转矩阵的尺寸为7×7，所述旋转矩阵用于旋转校准点云。

其中，所述利用目标识别算法对所述待识别信息进行处理，得到识别结果的步骤，包括：分别利用多个点集抽象模块对所述待识别信息进行处理；将所述多个点集抽象模块的输出进行特征融合；利用全连接层对特征融合后的结果进行处理，得到N维特征向量，所述全连接层的输出通道数为N；基于所述N维特征向量在数据库中进行搜索，得到所述识别结果。

为解决上述技术问题，本发明提供的第二个技术方案为：提供一种人脸识别系统，包括：第一成像设备、第二成像设备、第一滤波片、第二滤波片；所述第一滤波片对应所述第一成像设备设置，所述第二滤波片对应所述第二成像设备设置，响应于所述第一滤波片与所述第二滤波片远离所述第一成像设备与所述第二成像设备，所述第一成像设备与所述第二成像设备获取待识别人脸的三维人脸信息；响应于所述第一滤波片与所述第二滤波片靠近所述第一成像设备与所述第二成像设备，所述第一成像设备与所述第二成像设备获取待识别人脸的三维静脉信息；处理组件，用于利用目标识别算法对所述待识别信息进行处理，得到识别结果。

其中，还包括：投影仪，响应于所述第一滤波片与所述第二滤波片远离所述第一成像设备与所述第二成像设备，所述投影仪向所述待识别人脸投射编码结构光图案；红外LED，所述红外LED为环状，包括多个不同波段的LED灯泡，响应于所述第一滤波片与所述第二滤波片靠近所述第一成像设备与所述第二成像设备，所述红外LED向所述待识别人脸投射红外光线。

为解决上述技术问题，本发明提供的第三个技术方案为：提供一种电子设备，包括：存储器和处理器，其中，存储器存储有程序指令，处理器从存储器调取程序指令以执行上述任一项的方法。

为解决上述技术问题，本发明提供的第四个技术方案为：提供一种计算机可读存储介质，存储有程序文件，程序文件能够被执行以实现上述任一项的方法。

本发明的有益效果，区别于现有技术的情况，本发明基于三维人脸信息以及三维静脉信息确定待识别信息；利用目标识别算法对所述待识别信息进行处理，得到识别结果。该方法提高了人脸识别的准确性、安全性和稳定性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：

图1为本发明人脸识别系统的一实施例的结构示意图；

图2为本发明人脸识别方法的一实施例的流程示意图；

图3为本发明电子设备的一实施例的结构示意图；

图4为本发明计算机可读存储介质的一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

具体的，请参见图1，图1为本发明人脸识别系统的一实施例的结构示意图，具体包括：第一成像设备101、第二成像设备102、第一滤波片103、第二滤波片104、投影仪105、红外LED106以及处理组件107。其中，第一滤波片103对应第一成像设备101设置，第二滤波片104对应第二成像设备102设置，响应于第一滤波片103与第二滤波片104远离第一成像设备101与所述第二成像设备102，所述第一成像设备101与所述第二成像设备102获取待识别人脸的三维人脸信息。响应于所述第一滤波片103与所述第二滤波片104靠近所述第一成像设备101与所述第二成像设备102，所述第一成像设备101与所述第二成像设备102获取待识别人脸的三维静脉信息。处理组件107用于利用目标识别算法对所述待识别信息进行处理，得到识别结果。

在一实施例中，在所述第一滤波片103与所述第二滤波片104远离所述第一成像设备101与所述第二成像设备102时，所述投影仪105向所述待识别人脸投射编码结构光图案。红外LED106为环状，包括多个不同波段的LED灯泡，在所述第一滤波片103与所述第二滤波片104靠近所述第一成像设备101与所述第二成像设备102时，所述红外LED106向所述待识别人脸投射红外光线。

具体的，第一滤波片103与第二滤波片104分别通过拨轮设置于第一成像设备101与第二成像设备102对应位置处。第一滤波片103与第二滤波片104均为红外滤波片。当拨轮带动第一滤波片103与第二滤波片104转动至第一成像设备101与第二成像设备102的镜头前时，第一成像设备101与第二成像设备102处于红外波段采集模式，此时第一成像设备101与第二成像设备102获取待识别人脸的三维静脉信息。当拨轮带动第一滤波片103与第二滤波片104远离第一成像设备101与第二成像设备102的镜头前时，第一成像设备101与第二成像设备102处于可见光采集模式，此时第一成像设备101与第二成像设备102获取待识别人脸的三维人脸信息。

在一实施例中，在红外波段采集模式，红外LED106向待识别人脸投射红外光线。在可见光采集模式，投影仪向待识别人脸投射编码结构光图案。

具体的，请结合图2，图2为本发明人脸识别方法的一实施例的流程示意图，具体包括：

步骤S11：获取待识别人脸的三维人脸信息以及三维静脉信息。

具体的，在第一阶段，第一滤波片103、第二滤波片104远离第一成像设备101和第二成像设备102的镜头，投影仪105向待识别人脸投射编码光图案，第一成像设备101和第二成像设备102从不同角度采集到投射至待识别人脸的图案，进而实现待识别人脸的三维人脸信息的采集。在第二阶段，第一滤波片103、第二滤波片104位于第一成像设备101和第二成像设备102的镜头前，红外LED106向待识别人脸投射红外光线，第一成像设备101和第二成像设备102透过第一滤波片103、第二滤波片104从不同角度采集到红外波段下待识别人脸的三维静脉信息，进而实现待识别人脸的三维静脉信息的采集。

在一实施例中，可以通过处理组件107控制电机带动拨轮实现第一滤波片103、第二滤波片104的位置切换。

具体的，在一实施例中，成像设备从多角度获取待识别人脸的可见光图像以及红外光图像。也即通过第一成像设备101和第二成像设备102首先在可见光模式下获取待识别人脸的不同角度可见光图像，在红外波段采集模式下获取不同角度的红外光图像。基于所述可见光图像确定所述待识别人脸的三维人脸点云，进而得到所述三维人脸信息，以及基于所述红外光图像确定所述待识别人脸的三维静脉点云，进而得到所述三维静脉信息。

具体的，基于所述可见光图像确定第一视差图，所述第一视差图表征成像设备与所述待识别人脸的距离信息；基于所述第一视差图确定所述待识别人脸的三维人脸点云。

基于所述红外光图像确定第二视差图，所述第二视差图表征成像设备与所述待识别人脸的距离信息；基于所述第二视差图确定所述待识别人脸的三维静脉点云。

在一实施例中，可以通过双目匹配获得可见光图像或者红外光图像的视差图，将视差图转换为点云。具体的，将视差图转换为点云可以利用三角法，根据视差图可以计算得到像素点的深度，再根据成像设备的成像坐标确定x、y的坐标，进一步将得到的坐标转化为世界坐标即可得到点云。

在一实施例中，由于皮肤是一种散射介质，如果直接对红外光图像进行处理，效果不佳，因此，本申请提出的实施例中，需要对所述红外光图像进行预处理；所述预处理包括：散射介质成像重建、图像增强、图像分割中至少一种。基于预处理后的所述红外光图像确定所述三维静脉点云。

在一实施例中，利用卷积神经网络对红外光图像进行散射介质成像重建，去除皮肤对静脉成像的干扰。进一步利用图像增强技术，提高静脉图像的清晰度、锐利度等。在另一实施例中，还可以使用图像分割技术去除静脉外的无效区域。

步骤S12：基于所述三维人脸信息以及所述三维静脉信息确定待识别信息。

在一实施例中，将所述可见光图像、所述三维人脸点云以及所述三维静脉点云进行融合，得到所述待识别信息。在一具体实施例中，为了提高融合的准确性，进一步需要对坐标系进行配准。例如，对多个成像设备进行标定，使得多个成像设备处于同一世界坐标系。具体的，对第一成像设备101和第二成像设备102进行标定，使得第一成像设备101和第二成像设备102处于同一世界坐标系。以此在进行融合时无需再对坐标系进行对准。

将所述可见光图像、所述三维人脸点云以及所述三维静脉点云进行融合，包括：先将可见光图像与三维人脸点云进行坐标系配准；基于配准后的坐标系将所述可见光图像与所述三维人脸点云进行融合，得到第一融合图像。本实施例中，若可见光图像与三维人脸点云的坐标系一致，也可以不进行坐标系的配准，直接将可见光图像与三维人脸点云进行融合。将所述第一融合图像与所述三维静脉点云进行坐标系配准；基于配准后的坐标系将所述第一融合图像与所述三维静脉点云进行融合，进而得到待识别信息。

在另一实施例中，还可以先将可见光图像与三维静脉点云进行融合，得到第一融合图像，然后将第一融合图像与三维人脸点云进行融合。

在一具体实施例中，将可见光图像与三维人脸点云进行融合，得到第一融合图像(X，Y，Z，R，G，B)，其中，X，Y，Z为三维空间坐标，R，G，B表示红色、绿色、蓝色三通道的像素值。将第一融合图像与三维静脉点云进行融合，得到的待识别信息为(X，Y，Z，R，G，B，V)。当该点位静脉点时，V＝1，当该点不为静脉点时，V＝0。

步骤S13：利用目标识别算法对所述待识别信息进行处理，得到识别结果。

具体的，利用目标识别算法对融合后的结果进行处理，融合后的结果即为待识别信息。

在一实施例中，目标识别算法为PointNet++，将待识别信息输入至PointNet++算法中。本申请将PointNet++算法的输入通道扩展为7，且用于旋转校准点云的旋转矩阵的尺寸为7×7。

在另一实施例中，分别利用多个点集抽象模块对所述待识别信息进行处理；将所述多个点集抽象模块的输出进行特征融合；利用全连接层对特征融合后的结果进行处理，得到N维特征向量，所述全连接层的输出通道数为N；基于所述N维特征向量在数据库中进行搜索，得到所述识别结果。本申请将PointNet++的点集抽象模块扩展为M组，M可以为3，在M为3的情况下，分别利用3组点集抽象模块对待识别信息进行处理，将3组点集抽象模块的输出进行一次特征融合，再经过全连接层处理，全连接层的输出通道数为N，以输出N维的特征向量。利用N维的特征向量在数据库中进行检索和匹配，若匹配的结果大于或等于阈值，则识别通过，若匹配的结果小于阈值，则识别失败。

本申请使用图1所示的光系统获取人脸面部三维数据，而非TOF相机，精度更高。本申请使用红外双目系统获取静脉三维，通过散射介质成像重建技术，在极大降低了成本的前提下保持了较好的精度。通过改进的PointNet++构建特征向量，经过迭代的训练可以获取到最优的特征提取方案。人脸点云获取装置和静脉获取装置共用两个相机，因此很容易标定至同一世界坐标系下，无需后期进行传感器对齐。

本申请针对人像识别技术的固有缺陷，如易受光照表情妆容等干扰、难以分辨相似个体、特征暴露于体外易被窃取复制破坏、需活体检测等，搭建了一套可以同步获取高精度彩色三维人脸和三维静脉信息的装置，经过散射介质成像重建后的红外静脉图像成像质量高且成本低，使用融合后的彩色三维人脸信息和三维静脉信息进行生物识别，有效提高了识别的准确性、安全性和稳定性，避免了活体检测。

请参见图3，为本发明电子设备的一实施例的结构示意图，电子设备包括相互连接的存储器202和处理器201。

存储器202用于存储实现上述任意一项的方法的程序指令。

处理器201用于执行存储器202存储的程序指令。

其中，处理器201还可以称为CPU(Central Processing Unit，中央处理单元)。处理器201可能是一种集成电路芯片，具有信号的处理能力。处理器201还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器202可以为内存条、TF卡等，可以存储设备的电子设备中全部信息，包括输入的原始数据、计算机程序、中间运动结果和最终运动结果都保存在存储器中。它根据控制器指定的位置存入和取出信息。有了存储器，电子设备才有记忆功能，才能保证正常工作。电子设备的存储器按用途可分为主存储器(内存)和辅助存储器(外存),也有分为外部存储器和内部存储器的分类方法。外存通常是磁性介质或光盘等，能长期保存信息。内存指主板上的存储部件，用来存放当前正在执行的数据和程序，但仅用于暂时存放程序和数据，关闭电源或断电，数据会丢失。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，系统服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。

请参阅图4，为本发明计算机可读存储介质的结构示意图。本申请的存储介质存储有能够实现上述所有方法的程序文件203，其中，该程序文件203可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储装置包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。

以上仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (12)

1.一种人脸识别方法，其特征在于，包括：

获取待识别人脸的三维人脸信息以及三维静脉信息；

基于所述三维人脸信息以及所述三维静脉信息确定待识别信息；

利用目标识别算法对所述待识别信息进行处理，得到识别结果。

2.根据权利要求1所述的识别方法，其特征在于，所述获取待识别人脸的三维人脸信息以及三维静脉信息的步骤，包括：

从多角度获取待识别人脸的可见光图像以及红外光图像；

基于所述可见光图像确定所述待识别人脸的三维人脸点云，进而得到所述三维人脸信息，以及基于所述红外光图像确定所述待识别人脸的三维静脉点云，进而得到所述三维静脉信息。

3.根据权利要求2所述的识别方法，其特征在于，所述基于所述三维人脸信息以及所述三维静脉信息确定待识别信息的步骤，包括：

将所述可见光图像、所述三维人脸点云以及所述三维静脉点云进行融合，得到所述待识别信息。

4.根据权利要求2所述的识别方法，其特征在于，所述基于所述红外光图像确定所述待识别人脸的三维静脉点云的步骤，包括：

对所述红外光图像进行预处理；所述预处理包括：散射介质成像重建、图像增强、图像分割中至少一种；

基于预处理后的所述红外光图像确定所述三维静脉点云。

5.根据权利要求2所述的识别方法，其特征在于，所述基于所述可见光图像确定所述待识别人脸的三维人脸点云的步骤，包括：

基于所述可见光图像确定第一视差图，所述第一视差图表征成像设备与所述待识别人脸的距离信息；

基于所述第一视差图确定所述待识别人脸的三维人脸点云；

所述基于所述红外光图像确定所述待识别人脸的三维静脉点云的步骤，包括：

基于所述红外光图像确定第二视差图，所述第二视差图表征成像设备与所述待识别人脸的距离信息；

基于所述第二视差图确定所述待识别人脸的三维静脉点云。

6.根据权利要求3所述的识别方法，其特征在于，所述获取待识别人脸的可见光图像以及红外光图像的步骤之前，包括：

对多个成像设备进行标定，使得多个所述成像设备处于同一世界坐标系；

所述将所述可见光图像、所述三维人脸点云以及所述三维静脉点云进行融合的步骤，包括：

将所述可见光图像与所述三维人脸点云进行坐标系配准；

基于配准后的坐标系将所述可见光图像与所述三维人脸点云进行融合，得到第一融合图像；

将所述第一融合图像与所述三维静脉点云进行坐标系配准；

基于配准后的坐标系将所述第一融合图像与所述三维静脉点云进行融合。

7.根据权利要求1～6任一项所述的识别方法，其特征在于，

所述目标识别算法为PointNet++，所述PointNet++的通道为7，且旋转矩阵的尺寸为7×7，所述旋转矩阵用于旋转校准点云。

8.根据权利要求7所述的识别方法，其特征在于，所述利用目标识别算法对所述待识别信息进行处理，得到识别结果的步骤，包括：

分别利用多个点集抽象模块对所述待识别信息进行处理；

将所述多个点集抽象模块的输出进行特征融合；

利用全连接层对特征融合后的结果进行处理，得到N维特征向量，所述全连接层的输出通道数为N；

基于所述N维特征向量在数据库中进行搜索，得到所述识别结果。

9.一种人脸识别系统，其特征在于，包括：

第一成像设备、第二成像设备、第一滤波片、第二滤波片；

所述第一滤波片对应所述第一成像设备设置，所述第二滤波片对应所述第二成像设备设置，响应于所述第一滤波片与所述第二滤波片远离所述第一成像设备与所述第二成像设备，所述第一成像设备与所述第二成像设备获取待识别人脸的三维人脸信息；响应于所述第一滤波片与所述第二滤波片靠近所述第一成像设备与所述第二成像设备，所述第一成像设备与所述第二成像设备获取待识别人脸的三维静脉信息；

处理组件，用于利用目标识别算法对所述待识别信息进行处理，得到识别结果。

10.根据权利要求9所述的识别系统，其特征在于，还包括：

投影仪，响应于所述第一滤波片与所述第二滤波片远离所述第一成像设备与所述第二成像设备，所述投影仪向所述待识别人脸投射编码结构光图案；

红外LED，所述红外LED为环状，包括多个不同波段的LED灯泡，响应于所述第一滤波片与所述第二滤波片靠近所述第一成像设备与所述第二成像设备，所述红外LED向所述待识别人脸投射红外光线。

11.一种电子设备，其特征在于，包括：存储器和处理器，其中，所述存储器存储有程序指令，所述处理器从所述存储器调取所述程序指令以执行如权利要求1-8任一项所述的方法。

12.一种计算机可读存储介质，其特征在于，存储有程序文件，所述程序文件能够被执行以实现如权利要求1-8任一项所述的方法。

Images