CN117953023A - 人脸对齐方法、识别方法、装置及电子设备 - Google Patents

人脸对齐方法、识别方法、装置及电子设备 Download PDF

Info

Publication number
CN117953023A
CN117953023A CN202211272259.2A CN202211272259A CN117953023A CN 117953023 A CN117953023 A CN 117953023A CN 202211272259 A CN202211272259 A CN 202211272259A CN 117953023 A CN117953023 A CN 117953023A
Authority
CN
China
Prior art keywords
face
point cloud
template
aligned
alignment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211272259.2A
Other languages
English (en)
Inventor
戴伟东
颜雪军
王晶晶
谢迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202211272259.2A priority Critical patent/CN117953023A/zh
Publication of CN117953023A publication Critical patent/CN117953023A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种人脸对齐方法、识别方法、装置及电子设备，人脸对齐方法包括：获取待对齐人脸和模板人脸；对所述待对齐人脸的缺失人脸点云进行修复，得到修复后的第一人脸点云；通过预设的人脸点云配准算法，对所述第一人脸点云和所述模板人脸所对应的模板人脸点云进行配准，确定所述待对齐人脸与所述模板人脸对齐所需的第一位置变换参数；根据所述第一位置变换参数，对所述待对齐人脸和所述模板人脸进行对齐操作。本实施例提高了人脸对齐的精准度。

Description

人脸对齐方法、识别方法、装置及电子设备
技术领域
本申请属于人脸对齐技术领域，具体涉及一种人脸对齐方法、识别方法、装置及电子设备。
背景技术
随着3D技术的发展，3D人脸识别技术逐渐成熟，并应用于各个领域。在整个3D人脸识别过程中，3D人脸对齐是3D人脸识别流程中重要的一环，3D人脸对齐是调整人脸的角度和位置，将不是正确姿态的人脸矫正到正确姿态。人脸对齐的质量好坏，对最终识别的精度具有决定性作用，因此，亟待一种提升人脸对齐精度的方法。
申请内容
本申请实施例提供一种人脸对齐方法、识别方法、装置及电子设备，以解决现有的人脸对齐技术对齐精度较低的问题。
第一方面，本申请实施例提供了一种人脸对齐方法，包括：
获取待对齐人脸和模板人脸；
对所述待对齐人脸的缺失人脸点云进行修复，得到修复后的第一人脸点云；
通过预设的人脸点云配准算法，对所述第一人脸点云和所述模板人脸所对应的模板人脸点云进行配准，确定所述待对齐人脸与所述模板人脸对齐所需的第一位置变换参数；
根据所述第一位置变换参数，对所述待对齐人脸和所述模板人脸进行对齐操作。
第二方面，本申请实施例提供了一种人脸识别方法，包括：
获取待识别人脸和模板人脸；
对所述待识别人脸的缺失人脸点云进行修复，得到修复后的人脸点云；
通过预设的人脸点云配准算法，对所述人脸点云和所述模板人脸所对应的模板人脸点云进行配准，确定所述待识别人脸与所述模板人脸对齐所需的位置变换参数；
根据所述位置变换参数，对所述待识别人脸和所述模板人脸进行对齐操作，得到对齐后的人脸图像；
基于所述人脸图像与预设人脸库，对所述待识别人脸进行识别。
第三方面，本申请实施例另提供了一种人脸对齐装置，包括：
第一获取模块，用于获取待对齐人脸和模板人脸；
第二获取模块，用于对所述待对齐人脸的缺失人脸点云进行修复，得到修复后的第一人脸点云；
第三获取模块，用于通过预设的人脸点云配准算法，对所述第一人脸点云和所述模板人脸所对应的模板人脸点云进行配准，确定所述待对齐人脸与所述模板人脸对齐所需的第一位置变换参数；
对齐模块，用于根据所述第一位置变换参数，对所述待对齐人脸和所述模板人脸进行对齐操作。
第四方面，本申请实施例另提供了一种人脸识别装置，包括：
第一获取模块，用于获取待识别人脸和模板人脸；
第二获取模块，用于对所述待识别人脸的缺失人脸点云进行修复，得到修复后的人脸点云；
第三获取模块，用于通过预设的人脸点云配准算法，对所述人脸点云和所述模板人脸所对应的模板人脸点云进行配准，确定所述待识别人脸与所述模板人脸对齐所需的位置变换参数；
第四获取模块，用于根据所述位置变换参数，对所述待识别人脸和所述模板人脸进行对齐操作，得到对齐后的人脸图像；
识别模块，用于基于所述人脸图像与预设人脸库，对所述待识别人脸进行识别。
第五方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面或第二方面所述的方法的步骤。
第六方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面或第二方面所述的方法的步骤。
本申请实施例通过获取待对齐人脸和模板人脸，对所述待对齐人脸的缺失人脸点云进行修复，得到修复后的第一人脸点云，通过预设的人脸点云配准算法，对所述第一人脸点云和所述模板人脸所对应的模板人脸点云进行配准，确定所述待对齐人脸与所述模板人脸对齐所需的第一位置变换参数，根据所述第一位置变换参数，对所述待对齐人脸和所述模板人脸进行对齐操作，实现了先对待对齐人脸进行点云修复然后再进行点云配准得到第一位置变换参数，提高了第一位置变换参数的准确性，从而使得在通过第一位置变换参数对待对齐人脸和模板人脸进行对齐操作时，能够提高人脸对齐的精准度。
附图说明
图1是本申请实施例中人脸对齐方法的流程示意图；
图2是本申请实施例中的模块示意图；
图3是本申请实施例中另一人脸对齐方法的流程示意图；
图4是本申请实施例中人脸识别方法的流程示意图；
图5是本申请实施例中人脸对齐装置的结构示意图；
图6是本申请实施例中人脸识别装置的结构示意图；
图7是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的人脸对齐方法进行详细地说明。
图1示出了本申请的一个实施例提供的人脸对齐方法，该方法可以由电子设备执行，该电子设备可以包括：服务器和/或终端设备。换言之，该方法可以由安装在该电子设备的软件或硬件来执行，该方法包括如下步骤：
步骤101：获取待对齐人脸和模板人脸。
具体的，待对齐人脸可以是待与其他人脸对齐的人脸，例如待与模板人脸对齐的人脸。
待对齐人脸可以是完整的人脸，也可以是不完整的人脸，例如部分缺失的人脸。
模板人脸可以是预定义的标准人脸。
步骤102：对所述待对齐人脸的缺失人脸点云进行修复，得到修复后的第一人脸点云。
点云修复是将残缺的点云数据修复成完整的点云数据。
具体的，在该步骤中，可以对待对齐人脸缺失的人脸点云进行修复，得到修复后人脸对应的第一人脸点云。这样避免了待对齐人脸和模板人脸之间的重合区域太低，寻找配准对应点时存在严重噪声，影响后续点云配准的性能的问题。
例如，当待对齐人脸右半边脸缺失时，由于缺少完整脸的结构信息，容易将待对齐人脸的左眼特征和模板人脸的右眼特征进行匹配，进而导致点云配准错误，此时对待对齐人脸的缺失的右半边人脸点云进行修复，得到修复后的第一人脸点云，可以提高点云配准的准确性。
步骤103：通过预设的人脸点云配准算法，对第一人脸点云和模板人脸所对应的模板人脸点云进行配准，确定待对齐人脸与模板人脸对齐所需的第一位置变换参数。
具体的，点云配准是求两个点云之间的旋转平移矩阵，将源点云变换到目标点云相同的坐标系下。
在本步骤中，可以通过预设的人脸点云配准算法，对第一人脸点云和模板人脸点云进行配准，确定待对齐人脸变换到模板人脸点云所在坐标系时所需的第一位置变换参数，该第一位置变换参数是待对齐人脸对齐所需的变换参数，这使得能够通过该第一位置变换参数将待对齐人脸变换到模板人脸点云所在坐标系下，实现人脸对齐。
具体的，由于第一人脸点云为对待对齐人脸的缺失人脸点云修复后得到，完善了待对齐人脸的结构信息，提高了第一人脸点云和模板人脸点云配准的准确性，从而提高了第一位置变换参数的准确性。
可选的，人脸点云配准算法可以包括迭代最近点(Iterative Closest Point，ICP)算法、对称迭代最近点(Symmetric ICP)算法、捕猎者(predator)算法、鲁棒性图匹配(Robust Point Matching，RPM)算法或鲁棒性点匹配(Robust graphMatching，RGM)算法。
当然，人脸点云配准算法还可以是形状描述符的点云配准框架算法、使用U-粒子滤波(Unscented Particle Filter，UPF)的点云配准算法等，在此并不对此进行具体限定。
这样通过点云配准算法估计出待对齐人脸和模板人脸之间的变换关系(即第一位置变换参数)，避免了利用关键点进行变换参数的估计，提高了第一位置变换参数的准确性。
步骤104：根据所述第一位置变换参数，对所述待对齐人脸和所述模板人脸进行对齐操作。
具体的，根据第一位置变换参数，对待对齐人脸和模板人脸进行对齐操作时，可以通过该第一位置变换参数将待对齐人脸变换到模板人脸所在坐标系下，从而实现人脸对齐。
这样，本实施例通过对所述待对齐人脸的缺失人脸点云进行修复，得到修复后的第一人脸点云，通过预设的人脸点云配准算法，对第一人脸点云和模板人脸所对应的模板人脸点云进行配准，确定待对齐人脸与模板人脸对齐所需的第一位置变换参数，根据第一位置变换参数，对待对齐人脸和模板人脸进行对齐操作，实现了先对待对齐人脸进行点云修复然后再进行点云配准得到第一位置变换参数，提高了第一位置变换参数的准确性，从而提高了人脸对齐的精准度。
在一种实现方式中，通过预设的人脸点云配准算法，对所述第一人脸点云和所述模板人脸所对应的模板人脸点云进行配准，确定所述待对齐人脸与所述模板人脸对齐所需的第一位置变换参数之前，还包括：
确定所述第一人脸点云中待对齐人脸所对应点云的第一权重值和所述缺失人脸点云的第二权重值，其中所述第二权重值小于所述第一权重值；
根据所述第一人脸点云、所述模板人脸点云、所述第一权重值和所述第二权重值，通过所述人脸点云配置算法确定所述第一位置变换参数。
具体的，第一人脸点云中包括两部分点云，其一为待对齐人脸所对应点云(即原有点云)，其二为修复得到的人脸点云(即缺失人脸点云)。
由于修复得到的人脸点云与实际的点云存在误差，因此在点云配准时，原有点云与修复得到的人脸点云二者的贡献应该是有差异性的。此时通过设置原先存在的点云具有较大的权重，修复得到的人脸点云具有较小的权重，即待对齐人脸所对应点云的第一权重值大于缺失人脸点云的第二权重值，这使得点云配准更多的依赖原先存在的点云，减少了修复得到的人脸点云带来的误差，提高了点云配准的精度。
此外，在一种实现方式中，根据所述第一人脸点云、所述模板人脸点云、所述第一权重值和所述第二权重值，通过所述人脸点云配置算法确定所述第一位置变换参数，包括：
通过下述人脸点云配置算法，计算得到所述第一位置变换参数：
其中，R表示旋转参数，t表示平移参数，xi表示所述第一人脸点云中的第i个点，yi表示所述模板人脸点云中与所述xi相对应的点，wi表示所述第一人脸点云中第i个点所对应的权重值，所述R和所述t使所述L(R,t)的取值最小，L(R,t)即为上述公式的结果值。
其中，所述第一位置变换参数包括所述L(R,t)最小时所对应的R和t。
具体的，若第一人脸点云中第i个点为待对齐人脸所对应点云中的点，则wi表示第一权重值，若第一人脸点云中第i个点为缺失人脸点云中的点，则wi表示第二权重值。
此外，在一种实现方式中，所述根据所述第一位置变换参数，对所述待对齐人脸和所述模板人脸进行对齐操作之后，还包括：
对所述第一人脸点云进行修复，得到第二人脸点云；
通过所述人脸点云配准算法，对所述第二人脸点云和所述模板人脸点云进行配准，确定所述待对齐人脸与所述模板人脸对齐所需的第二位置变换参数；
根据所述第二位置变换参数，对所述待对齐人脸和所述模板人脸进行对齐操作。
当待对齐人脸姿态较大时，单次点云修复不够精准，单次的对齐矫正不够准确。针对此，在根据第一位置变换参数对待对齐人脸和模板人脸进行对齐操作之后，还可以进行多次对齐校准，此时可以对第一人脸点云再次进行修复得到第二人脸点云，并在前一次人脸对齐的基础上，对第二人脸点云和模板人脸点云进行配准确定第二位置变换参数，然后根据第二位置变换参数再次对待对齐人脸和模板人脸进行对齐操作。这样，实现了对待对齐人脸的多级修复配准过程，提高了点云修复和点云配准的精度。
可选的，该多级修复配置过程可以是3次。
具体的，下面通过图2对一实施例中的人脸对齐方法的具体过程进行说明。
参见图2，首先将待对齐人脸输入点云修复模块，得到修复之后的待对齐点云；然后对修复之后的待对齐点云进行加权处理，接着将修复后的待对齐点云和模板人脸点云输入点云配准模块，由点云配置模块估计出待对齐人脸相对模板人脸的位置变换参数，即人脸对齐的变换参数。当然，估算出来的参数可以继续送入下一级修复和配准模块进一步修正。
下面分别对各个模块进行介绍。
点云修复模块：该模块的目的是为了对缺失的人脸点云进行修复，避免待对齐人脸和模板人脸之间的重合区域太低，寻找配准对应点时存在严重噪声，影响后续点云配准的性能。例如，当待对齐人脸右半边脸缺失时，由于缺少完整脸的结构信息，容易将待对齐人脸的左眼特征和模板人脸的右眼特征进行匹配，进而导致点云配准错误。这里的点云修复模块支持任意的点云修复方法。
点云配准模块：该模块的目的是为了通过点云配准估计出待对齐人脸和模板人脸之间的变换关系(即第一位置变换参数)，从而可以避免利用估计的关键点来进行变换参数的估计；待对齐人脸点云变换到模板人脸点云所需的变换参数即是它对齐所需要的变换参数。此处的点云配准模块支持任意的点云配准方法。
点云加权模块：由于修复补全出来的点云与实际的点云存在误差，因此在点云配准时，二者的贡献应该是有差异性的。因此点云加权模块的目的是使得原先存在的点云具有较大的权重，补全修复出来的点云具有较小的权重。使得点云配准更多的依赖原先存在的点云，减少补全修复出来的点云带来的误差，提升配准的精度。
多级修复配准模块：当待对齐人脸姿态较大时，点云修复不够精准，单次的对齐矫正不够准确。多级修复配准模块是针对该问题提出的，如图3所示，多级修复配准模块可以由三个点云修复模块和三个点云配准模块组成，下一级的修复和配准模块是基于上一级估出来的参数进行的，具体为：通过预设的人脸点云配准算法，对第一次修复的第一人脸点云和模板人脸所对应的模板人脸点云进行配准，确定待对齐人脸与模板人脸对齐所需的第一位置变换参数(R1，t1)；然后，在上一次(第一次)点云配准的基础上，继续对第一人脸点云进行修复，得到第二人脸点云，通过人脸点云配准算法，对第二人脸点云和模板人脸点云进行配准，确定待对齐人脸与模板人脸对齐所需的第二位置变换参数(R2，t2)；然后，在第二次点云配准的基础上，继续对第二人脸点云进行修复，得到第三人脸点云，通过人脸点云配准算法，对第三人脸点云和模板人脸点云进行配准，确定待对齐人脸与模板人脸对齐所需的第三位置变换参数(R3，t3)。
需要说明的是，本实施例提出的点云修复是为了使人脸对齐的效果更好，人脸对齐之后，修复后的人脸不再使用，最终识别的是对齐好的非修复人脸，这样可以避免修复部分的不真实性对识别性能的影响。
图4示出本申请的一个实施例提供的一种人脸识别方法的步骤流程图，该方法包括如下步骤：
步骤401：获取待识别人脸和模板人脸。
具体的，待识别人脸用于识别用户身份。
待识别人脸可以是完整的人脸，也可以是不完整的人脸，例如部分缺失的人脸。
模板人脸可以为预定义的标准人脸。
步骤402：对所述待识别人脸的缺失人脸点云进行修复，得到修复后的人脸点云。
步骤403：通过预设的人脸点云配准算法，对所述人脸点云和所述模板人脸所对应的模板人脸点云进行配准，确定所述待识别人脸与所述模板人脸对齐所需的位置变换参数。
步骤404：根据所述位置变换参数，对所述待识别人脸和所述模板人脸进行对齐操作，得到对齐后的人脸图像。
步骤405：基于所述人脸图像与预设人脸库，对所述待识别人脸进行识别。
在此需要说明的是，上述步骤402-405的相关内容可以参见上述人脸对齐方法实施例的相关内容，在此不再对此进行赘述。
具体的，在得到人脸图像后，可以通过人脸图像与预设人脸库，对待识别人脸进行识别，由于位置变换参数是通过修复后的人脸点云配置得到，保证了位置变换参数的准确性，从而保证了通过位置变换参数对待识别人脸进行对齐操作后得到的人脸图像的标准性，此时基于人脸图像对待识别人脸进行识别，能够提高识别的准确性和效率。
在一个实施例中，预设人脸库中存储有多个用户的人脸特征向量；基于所述人脸图像与预设人脸库，对所述待识别人脸进行识别，可以包括：从所述人脸图像中提取得到目标人脸特征向量；将所述目标人脸特征向量与所述预设人脸库中的人脸特征向量进行比对，确定所述待识别人脸对应的用户身份。由于人脸图像是进行点云对齐后得到的，实现了根据对齐后的人脸点云进行三维人脸识别，使得识别的准确性更高。
具体的，把提取到的目标人脸特征向量和预设人脸库中的人脸特征向量进行比对时，可以通过余弦距离或欧氏距离求解目标人脸特征向量与预设人脸库中的人脸特征向量的相似度，得到比对得分，并和预设阈值进行比较，若目标人脸特征向量与预设人脸库中的其中一个人脸特征向量之间的相似度大于预设阈值，则可以确定待识别人脸对应的用户身份为预设人脸库中该人脸特征向量所对应的用户身份。
这样，本实施例通过获取待识别人脸和模板人脸，对待识别人脸的缺失人脸点云进行修复，得到修复后的人脸点云，通过预设的人脸点云配准算法，对人脸点云和模板人脸所对应的模板人脸点云进行配准，确定待识别人脸与模板人脸对齐所需的位置变换参数，根据位置变换参数，对待识别人脸和模板人脸进行对齐操作，得到对齐后的人脸图像，基于人脸图像与预设人脸库，对待识别人脸进行识别，由于位置变换参数是通过修复后的人脸点云配置得到，保证了位置变换参数的准确性，从而保证了通过位置变换参数对待识别人脸进行对齐操作后得到的人脸图像的标准性，此时基于人脸图像对待识别人脸进行识别，能够提高识别的准确性和效率。
图5示出本申请的一个实施例提供的一种人脸对齐装置的结构示意图。如图5所示，一种人脸对齐装置包括：
第一获取模块501，用于获取待对齐人脸和模板人脸；
第二获取模块502，用于对所述待对齐人脸的缺失人脸点云进行修复，得到修复后的第一人脸点云；
第三获取模块503，用于通过预设的人脸点云配准算法，对所述第一人脸点云和所述模板人脸所对应的模板人脸点云进行配准，确定所述待对齐人脸与所述模板人脸对齐所需的第一位置变换参数；
对齐模块504，用于根据所述第一位置变换参数，对所述待对齐人脸和所述模板人脸进行对齐操作。
在一种实现方式中，所述第三获取模块用于，
确定所述第一人脸点云中待对齐人脸所对应点云的第一权重值和所述缺失人脸点云的第二权重值，其中所述第二权重值小于所述第一权重值；
根据所述第一人脸点云、所述模板人脸点云、所述第一权重值和所述第二权重值，通过所述人脸点云配置算法确定所述第一位置变换参数。
在一种实现方式中，所述第三获取模块用于，
通过下述人脸点云配置算法，计算得到所述第一位置变换参数：
其中，R表示旋转参数，t表示平移参数，xi表示所述第一人脸点云中的第i个点，yi表示所述模板人脸点云中与所述xi相对应的点，wi表示所述第一人脸点云中第i个点所对应的权重值，所述R和所述t使所述L(R,t)的取值最小；
其中，所述第一位置变换参数包括所述L(R,t)最小时所对应的R和t。
在一种实现方式中，所述对齐模块还用于：
对所述第一人脸点云进行修复，得到第二人脸点云；
通过所述人脸点云配准算法，对所述第二人脸点云和所述模板人脸点云进行配准，确定所述待对齐人脸与所述模板人脸对齐所需的第二位置变换参数；
根据所述第二位置变换参数，对所述待对齐人脸和所述模板人脸进行对齐操作。
在一种实现方式中，所述人脸点云配准算法包括迭代最近点ICP算法、对称迭代最近点SICP算法、捕猎者算法、鲁棒性图匹配RGM算法或鲁棒性点匹配RPM算法。
本申请实施例提供的人脸对齐装置能够实现图1-3的方法实施例实现的各个过程，为避免重复，这里不再赘述。
如图6所示，为本申请实施例中人脸识别装置的模块示意图，该人脸识别装置包括：
第一获取模块601，用于获取待识别人脸和模板人脸；
第二获取模块602，用于对所述待识别人脸的缺失人脸点云进行修复，得到修复后的人脸点云；
第三获取模块603，用于通过预设的人脸点云配准算法，对所述人脸点云和所述模板人脸所对应的模板人脸点云进行配准，确定所述待识别人脸与所述模板人脸对齐所需的位置变换参数；
第四获取模块604，用于根据所述位置变换参数，对所述待识别人脸和所述模板人脸进行对齐操作，得到对齐后的人脸图像；
识别模块605，用于基于所述人脸图像与预设人脸库，对所述待识别人脸进行识别。
需要说明的是，本说明书中关于人脸识别装置的实施例与本说明书中关于人脸识别方法的实施例基于同一申请构思，因此关于人脸识别装置实施例的具体实施可以参见前述对应的关于人脸识别方法实施例的实施，重复之处不再赘述。
本申请实施例中的人脸对齐装置或人脸识别装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的人脸对齐装置或人脸识别装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
基于相同的技术构思，本申请实施例还提供了一种电子设备，图7为实现本申请各个实施例的一种电子设备的结构示意图。电子设备可因配置或性能不同而产生比较大的差异，可以包括处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储在存储器730上并可在处理器710上运行的计算机程序，以执行下述步骤：
获取待对齐人脸和模板人脸；
对所述待对齐人脸的缺失人脸点云进行修复，得到修复后的第一人脸点云；
通过预设的人脸点云配准算法，对所述第一人脸点云和所述模板人脸所对应的模板人脸点云进行配准，确定所述待对齐人脸与所述模板人脸对齐所需的第一位置变换参数；
根据所述第一位置变换参数，对所述待对齐人脸和所述模板人脸进行对齐操作。
在一种实现方式中，所述通过预设的人脸点云配准算法，对所述第一人脸点云和所述模板人脸所对应的模板人脸点云进行配准，确定所述待对齐人脸与所述模板人脸对齐所需的第一位置变换参数之前，还包括：
确定所述第一人脸点云中待对齐人脸所对应点云的第一权重值和所述缺失人脸点云的第二权重值，其中所述第二权重值小于所述第一权重值；
根据所述第一人脸点云、所述模板人脸点云、所述第一权重值和所述第二权重值，通过所述人脸点云配置算法确定所述第一位置变换参数。
在一种实现方式中，所述根据所述第一人脸点云、所述模板人脸点云、所述第一权重值和所述第二权重值，通过所述人脸点云配置算法确定所述第一位置变换参数，包括：
通过下述人脸点云配置算法，计算得到所述第一位置变换参数：
其中，R表示旋转参数，t表示平移参数，xi表示所述第一人脸点云中的第i个点，yi表示所述模板人脸点云中与所述xi相对应的点，wi表示所述第一人脸点云中第i个点所对应的权重值，所述R和所述t使所述L(R,t)的取值最小；
其中，所述第一位置变换参数包括所述L(R,t)最小时所对应的R和t。
在一种实现方式中，所述根据所述第一位置变换参数，对所述待对齐人脸和所述模板人脸进行对齐操作之后，还包括：
对所述第一人脸点云进行修复，得到第二人脸点云；
通过所述人脸点云配准算法，对所述第二人脸点云和所述模板人脸点云进行配准，确定所述待对齐人脸与所述模板人脸对齐所需的第二位置变换参数；
根据所述第二位置变换参数，对所述待对齐人脸和所述模板人脸进行对齐操作。
在一种实现方式中，所述人脸点云配准算法包括迭代最近点ICP算法、对称迭代最近点SICP算法、捕猎者算法、鲁棒性图匹配RGM算法或鲁棒性点匹配RPM算法。
或者执行下述步骤：
获取待识别人脸和模板人脸；
对所述待识别人脸的缺失人脸点云进行修复，得到修复后的人脸点云；
通过预设的人脸点云配准算法，对所述人脸点云和所述模板人脸所对应的模板人脸点云进行配准，确定所述待识别人脸与所述模板人脸对齐所需的位置变换参数；
根据所述位置变换参数，对所述待识别人脸和所述模板人脸进行对齐操作，得到对齐后的人脸图像；
基于所述人脸图像与预设人脸库，对所述待识别人脸进行识别。
在一种实现方式中，所述预设人脸库中存储有多个用户的人脸特征向量；所述基于所述人脸图像与预设人脸库，对所述待识别人脸进行识别，包括：从所述人脸图像中提取得到目标人脸特征向量；将所述目标人脸特征向量与所述预设人脸库中的人脸特征向量进行比对，确定所述待识别人脸对应的用户身份。
需要说明的是，本申请实施例中的电子设备包括：服务器、终端或除终端之外的其他设备。
以上电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，例如，输入单元，可以包括图形处理器(Graphics Processing Unit，GPU)和麦克风，显示单元可以采用液晶显示器、有机发光二极管等形式来配置显示面板。用户输入单元包括触控面板以及其他输入设备中的至少一种。触控面板也称为触摸屏。其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
存储器可用于存储软件程序以及各种数据。存储器可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器可以包括易失性存储器或非易失性存储器，或者，存储器可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。
处理器可包括一个或多个处理单元；可选的，处理器集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器中。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种人脸对齐方法，其特征在于，包括：
获取待对齐人脸和模板人脸；
对所述待对齐人脸的缺失人脸点云进行修复，得到修复后的第一人脸点云；
通过预设的人脸点云配准算法，对所述第一人脸点云和所述模板人脸所对应的模板人脸点云进行配准，确定所述待对齐人脸与所述模板人脸对齐所需的第一位置变换参数；
根据所述第一位置变换参数，对所述待对齐人脸和所述模板人脸进行对齐操作。
2.根据权利要求1所述的人脸对齐方法，其特征在于，所述通过预设的人脸点云配准算法，对所述第一人脸点云和所述模板人脸所对应的模板人脸点云进行配准，确定所述待对齐人脸与所述模板人脸对齐所需的第一位置变换参数之前，还包括：
确定所述第一人脸点云中待对齐人脸所对应点云的第一权重值和所述缺失人脸点云的第二权重值，其中所述第二权重值小于所述第一权重值；
根据所述第一人脸点云、所述模板人脸点云、所述第一权重值和所述第二权重值，通过所述人脸点云配置算法确定所述第一位置变换参数。
3.根据权利要求2所述的人脸对齐方法，其特征在于，所述根据所述第一人脸点云、所述模板人脸点云、所述第一权重值和所述第二权重值，通过所述人脸点云配置算法确定所述第一位置变换参数，包括：
通过下述人脸点云配置算法，计算得到所述第一位置变换参数：
其中，R表示旋转参数，t表示平移参数，xi表示所述第一人脸点云中的第i个点，yi表示所述模板人脸点云中与所述xi相对应的点，wi表示所述第一人脸点云中第i个点所对应的权重值，所述R和所述t使所述L(R,t)的取值最小；
其中，所述第一位置变换参数包括所述L(R,t)最小时所对应的R和t。
4.根据权利要求1所述的人脸对齐方法，其特征在于，所述根据所述第一位置变换参数，对所述待对齐人脸和所述模板人脸进行对齐操作之后，还包括：
对所述第一人脸点云进行修复，得到第二人脸点云；
通过所述人脸点云配准算法，对所述第二人脸点云和所述模板人脸点云进行配准，确定所述待对齐人脸与所述模板人脸对齐所需的第二位置变换参数；
根据所述第二位置变换参数，对所述待对齐人脸和所述模板人脸进行对齐操作。
5.根据权利要求1所述的人脸对齐方法，其特征在于，所述人脸点云配准算法包括迭代最近点ICP算法、对称迭代最近点SICP算法、捕猎者算法、鲁棒性图匹配RGM算法或鲁棒性点匹配RPM算法。
6.一种人脸识别方法，其特征在于，包括：
获取待识别人脸和模板人脸；
对所述待识别人脸的缺失人脸点云进行修复，得到修复后的人脸点云；
通过预设的人脸点云配准算法，对所述人脸点云和所述模板人脸所对应的模板人脸点云进行配准，确定所述待识别人脸与所述模板人脸对齐所需的位置变换参数；
根据所述位置变换参数，对所述待识别人脸和所述模板人脸进行对齐操作，得到对齐后的人脸图像；
基于所述人脸图像与预设人脸库，对所述待识别人脸进行识别。
7.根据权利要求6所述的方法，其特征在于，所述预设人脸库中存储有多个用户的人脸特征向量；所述基于所述人脸图像与预设人脸库，对所述待识别人脸进行识别，包括：
从所述人脸图像中提取得到目标人脸特征向量；
将所述目标人脸特征向量与所述预设人脸库中的人脸特征向量进行比对，确定所述待识别人脸对应的用户身份。
8.一种人脸对齐装置，其特征在于，包括：
第一获取模块，用于获取待对齐人脸和模板人脸；
第二获取模块，用于对所述待对齐人脸的缺失人脸点云进行修复，得到修复后的第一人脸点云；
第三获取模块，用于通过预设的人脸点云配准算法，对所述第一人脸点云和所述模板人脸所对应的模板人脸点云进行配准，确定所述待对齐人脸与所述模板人脸对齐所需的第一位置变换参数；
对齐模块，用于根据所述第一位置变换参数，对所述待对齐人脸和所述模板人脸进行对齐操作。
9.一种人脸识别装置，其特征在于，包括：
第一获取模块，用于获取待识别人脸和模板人脸；
第二获取模块，用于对所述待识别人脸的缺失人脸点云进行修复，得到修复后的人脸点云；
第三获取模块，用于通过预设的人脸点云配准算法，对所述人脸点云和所述模板人脸所对应的模板人脸点云进行配准，确定所述待识别人脸与所述模板人脸对齐所需的位置变换参数；
第四获取模块，用于根据所述位置变换参数，对所述待识别人脸和所述模板人脸进行对齐操作，得到对齐后的人脸图像；
识别模块，用于基于所述人脸图像与预设人脸库，对所述待识别人脸进行识别。
10.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-5任一项所述的人脸对齐方法的步骤，或实现如权利要求6-7任一项所述的人脸识别方法的步骤。
CN202211272259.2A 2022-10-18 2022-10-18 人脸对齐方法、识别方法、装置及电子设备 Pending CN117953023A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211272259.2A CN117953023A (zh) 2022-10-18 2022-10-18 人脸对齐方法、识别方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211272259.2A CN117953023A (zh) 2022-10-18 2022-10-18 人脸对齐方法、识别方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN117953023A true CN117953023A (zh) 2024-04-30

Family

ID=90796671

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211272259.2A Pending CN117953023A (zh) 2022-10-18 2022-10-18 人脸对齐方法、识别方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN117953023A (zh)

Similar Documents

Publication Publication Date Title
CN112488064B (zh) 一种人脸追踪方法、系统、终端及存储介质
CN110909663B (zh) 一种人体关键点识别方法、装置及电子设备
US20110134221A1 (en) Object recognition system using left and right images and method
CN111598087B (zh) 不规则文字的识别方法、装置、计算机设备及存储介质
CN111160288A (zh) 手势关键点检测方法、装置、计算机设备和存储介质
CN110675940A (zh) 病理图像标注方法、装置、计算机设备及存储介质
CN112733767B (zh) 一种人体关键点检测方法、装置、存储介质及终端设备
CN110852311A (zh) 一种三维人手关键点定位方法及装置
CN111680544B (zh) 人脸识别方法、装置、系统、设备及介质
CN111461979B (zh) 验证码图像去噪识别方法、电子装置及存储介质
WO2022126917A1 (zh) 基于深度学习的人脸图像评估方法、装置、设备及介质
CN109165654B (zh) 一种目标定位模型的训练方法和目标定位方法及装置
CN112381071A (zh) 一种视频流中目标的行为分析方法、终端设备及介质
CN110765843A (zh) 人脸验证方法、装置、计算机设备及存储介质
CN111476096A (zh) 一种人脸图像关键点方法、装置、计算机设备及存储介质
CN113298152A (zh) 模型训练方法、装置、终端设备及计算机可读存储介质
CN111046755A (zh) 字符识别方法、装置、计算机设备和计算机可读存储介质
CN114049646A (zh) 一种银行卡识别方法、装置、计算机设备及存储介质
CN116563588A (zh) 图像聚类方法、装置、电子设备及存储介质
CN117953023A (zh) 人脸对齐方法、识别方法、装置及电子设备
CN115410281A (zh) 电子签名识别方法、装置、设备及存储介质
CN113255700B (zh) 图像的特征图的处理方法及装置、存储介质、终端
CN113822841B (zh) 一种污水杂质结块检测方法、装置及相关设备
CN115439733A (zh) 图像处理方法、装置、终端设备及计算机可读存储介质
KR20190132885A (ko) 영상으로부터 손을 검출하는 장치, 방법 및 컴퓨터 프로그램

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination