CN112232143A - 一种人脸点云优化方法、装置、机器可读介质及设备 - Google Patents

一种人脸点云优化方法、装置、机器可读介质及设备 Download PDF

Info

Publication number
CN112232143A
CN112232143A CN202011035252.XA CN202011035252A CN112232143A CN 112232143 A CN112232143 A CN 112232143A CN 202011035252 A CN202011035252 A CN 202011035252A CN 112232143 A CN112232143 A CN 112232143A
Authority
CN
China
Prior art keywords
point
face
point cloud
transformation relation
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011035252.XA
Other languages
English (en)
Other versions
CN112232143B (zh
Inventor
姚志强
周曦
曹睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Cloudwalk Artificial Intelligence Technology Co ltd
Original Assignee
Guangzhou Cloudwalk Artificial Intelligence Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Cloudwalk Artificial Intelligence Technology Co ltd filed Critical Guangzhou Cloudwalk Artificial Intelligence Technology Co ltd
Priority to CN202011035252.XA priority Critical patent/CN112232143B/zh
Publication of CN112232143A publication Critical patent/CN112232143A/zh
Application granted granted Critical
Publication of CN112232143B publication Critical patent/CN112232143B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种人脸点云优化方法，包括：获取同一人脸的多帧图像分别对应的人脸点云；获取任意两帧人脸点云间的空间变换关系；通过所述空间变换关系得到每一帧人脸点云与作为基准位置的人脸点云间的全局变换关系；基于所述全局变换关系对所述多帧图像分别对应的人脸点云进行融合，得到完整的人脸点云。本发明提出了多帧人脸点云融合方法，通过一系列方法有效保证在工程实际中能克服各种不稳定因素而精确、稳健地进行多帧人脸融合，通过多帧信息融合解决了深度图片数据残缺的问题，使得识别算法可基于更加完整的人脸信息工作。

Description

一种人脸点云优化方法、装置、机器可读介质及设备
技术领域
本发明涉及人脸识别领域，具体涉及一种人脸点云优化方法、装置、机器可读介质及设备。
背景技术
随着人工智能潮流的兴起，基于二维图像的2D人脸识别技术迅速发展成熟，已经成为个 人身份鉴别的重要手段。但是二维人脸图像在很多情况(例如不均匀光照、光照不足、人脸角 度较大、化妆)下图像纹理变化巨大，从而导致以纹理信息为基础的2D人脸识别准确率大大降 低。而三维信息则不会受到纹理变化的干扰，若基于三维信息进行人脸识别则可以很好地解决 前述问题。此外使用3维信息的人脸识别系统，也不会被二维图像、视频欺骗攻击，这也是目 前2D人脸识别技术的一大隐患。
然而，目前真正基于3维信息的3D人脸识别技术，因为有很多问题需要解决，还尚未大 规模应用。目前受限于3D相机的性能，3D相机所采集到的单帧人脸深度图像质量比较差：1、 相机及易受到强光，过曝以及反光等干扰，造成面部大面积部分缺失信息；2、在曲面梯度铰 大的部分容易丢失信息，例如面部边缘，使得每帧能采集的人脸只有一小块，与2维相机有很 大差距；3、由于相机视角、人脸角度等造成不可见部分信息的缺失。这些问题都会极大影响 到3D人脸识别系统的准确度，阻碍其工程应用。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种人脸点云优化方法、装置、机 器可读介质及设备，用于解决现有技术存在的问题。
为实现上述目的及其他相关目的，本发明提供一种人脸点云优化方法，包括：
获取同一人脸的多帧图像分别对应的人脸点云；
获取任意两帧人脸点云间的空间变换关系；
通过所述空间变换关系得到每一帧人脸点云与作为基准位置的人脸点云间的全局变换关 系；
基于所述全局变换关系对所述多帧图像分别对应的人脸点云进行融合，得到完整的人脸点 云。
可选地，所述任意两帧人脸点云间的空间变换关系包括：任意相邻两帧人脸点云间的第一 空间变换关系与任意相间隔的两帧人脸点云间的第二空间变换关系；
通过所述第一空间变换关系和/或所述第二空间变换关系得到每一帧人脸点云与作为基准 位置的人脸点云间的全局变换关系。
可选地，获取任意相邻两帧人脸点云间的第一空间变换关系和相间隔的两帧人脸点云间的 第二空间变换关系，包括：
通过最近迭代点算法最小化以下代价方程，得到任意两帧人脸点云的空间变换关系(Ri，j、 Ti，j)，其中，Ri，j为旋转矩阵，Ti，j为平移向量；当j＝i+1时，(Ri，j、Ti，j)表示任意相邻两帧人脸 点云间的第一空间变换关系，当j＝i+k，k为大于1的整数时，(Ri，j、Ti，j)表示任意相间隔两帧 人脸点云间的第二空间变换关系，所述代价方程表示为：
Figure BDA0002704803860000021
其中，σ为预设可调参数；q为点云Pj中的点；p为点云Pi中的点；C(p)为以点p的颜色为 输入计算得到一个颜色强度标量；C(q)为以点q的颜色为输入计算得到一个颜色强度标量；K 为在当前迭代估计的旋转矩阵Ri，j、平移向量Ti，j下,空间距离||Ri，jq+Ti，j-p||小于常数ε的p、q 点对的集合；np为点p的法线；
dp通过求解以下约束方程得到：
Figure BDA0002704803860000022
其中，
Figure BDA0002704803860000023
为dp的转置，
Figure BDA0002704803860000024
为点p在点云Pi中的邻近点集合,p'为点p的邻近点。
可选地，在通过最近迭代点算法最小化所述代价方程的过程中，
若点云Pi和点云Pj为相邻的两帧点云，则迭代的初始估计值
Figure BDA0002704803860000025
Ti，j＝ [0 0 0]；
若点云Pi和点云Pj为相间隔的两帧点云，则通过RANSAC算法估计旋转矩阵Ri，j、平移向 量Ti，j的初始估计值。
可选地，当点云Pi和点云Pj相间隔的两帧点云时，首先分别对点云Pi和点云Pj中的每个点 计算FPFH特征，在点云Pj中随机选取一些点，通过FPFH在点云Pi中查找与点云Pj中的点对 应的最邻近点，并将点云Pj中的点与对应的最邻近点组成集合N，然后通过最小化代价函数 ∑(p，q)∈N((Ri，jq+Ti，j-p)T)2得到旋转矩阵Ri，j和平移向量Ti，j的初始估计值。
可选地，所述基于所述第一空间变换关系与所述第二空间变换关系得到每一帧人脸点云与 全局位置基准的全局变换关系，包括：
确定全局位置基准；
获取点云Pi到全局位置基准的全局变换关系
Figure BDA0002704803860000031
所述全局变换关系
Figure BDA0002704803860000032
通过最小化以下代价方程即可得到；
Figure BDA0002704803860000033
其中，
Figure BDA0002704803860000034
Figure BDA0002704803860000035
可选地，通过所述全局变换关系对所述多帧人脸点云进行融合，得到完整人脸点云，包括： 通过全局变换关系
Figure BDA0002704803860000036
把点云Pi通过公式
Figure BDA0002704803860000037
变换到全局坐标系下，得到融合后 的完整的人脸点云。
可选地，所述获取同一人脸的多帧图像分别对应的人脸点云包括：
获取多种人脸图像，所述多种人脸图像包括人脸深度图像、人脸红外图像、人脸彩色二维 图像；
若所述多种人脸图像包括人脸深度图像和人脸红外图像，则将所述人脸红外图像中的某个 像素点的红外信息作为人脸深度图中对应的某个像素点的深度值；
若所述多种人脸图像包括人脸深度图像、人脸红外图像和人脸彩色二维图像，则将所述人 脸红外图像中的某个像素点的红外信息与彩色二维图像中的对应某个像素点的彩色像素信息 进行拼接得到人脸深度图中对应的某个像素点的深度值；
将所述人脸深度图像中的每一个像素点转化为三维空间点坐标；
基于所述深度值与所述三维空间点坐标得到人脸点云。
可选地，通过下式对所述人脸深度图像进行平滑滤波处理；
Figure BDA0002704803860000041
Figure BDA0002704803860000042
为滤波后的深度值，Iq为相邻点的深度值，S为滑动窗口，
Figure BDA0002704803860000043
是中间变量；
Figure BDA0002704803860000044
Figure BDA0002704803860000045
N表示整数；k用于滤波 计算的滑窗尺寸，σs以及σr为预设的可调参数，pi、pj为当前滤波像素p在二维深度图上的坐 标，m、n为相邻像素q的坐标。
为实现上述目的及其他相关目的，本发明提供一种人脸点云优化装置，包括：
人脸点云获取模块，用于获取同一人脸的多帧图像分别对应的人脸点云；
空间变换关系获取模块，用于获取任意两帧人脸点云间的空间变换关系；
空间关系转换模块，用于通过所述空间变换关系得到每一帧人脸点云与作为基准位置的人 脸点云间的全局变换关系；
点云融合模块，用于基于所述全局变换关系对所述多帧人脸点云进行融合，得到完整的人 脸点云。
可选地，所述任意两帧人脸点云间的空间变换关系包括：任意相邻两帧人脸点云间的第一 空间变换关系与任意相间隔的两帧人脸点云间的第二空间变换关系；
通过所述第一空间变换关系和/或所述第二空间变换关系得到每一帧人脸点云与作为基准 位置的人脸点云间的全局变换关系。
可选地，所述空间变换关系获取模块通过最近迭代点算法最小化以下代价方程，得到任意 两帧人脸点云的空间变换关系(Ri，j、Ti，j)，其中，Ri，j为旋转矩阵，Ti，j为平移向量；当j＝i+1时，(Ri，j、Ti，j)表示任意相邻两帧人脸点云间的第一空间变换关系，当j＝i+k，k为大于1的整数时， (Ri，j、Ti，j)表示任意相间隔两帧人脸点云间的第二空间变换关系，所述代价方程表示为：
Figure BDA0002704803860000051
其中，σ为预设可调参数；q为点云Pj中的点；p为点云Pi中的点；C(p)为以点p的颜色为 输入计算得到一个颜色强度标量；C(q)为以点q的颜色为输入计算得到一个颜色强度标量；
Figure BDA0002704803860000057
为在当前迭代估计的旋转矩阵Ri，j、平移向量Ti，j下,空间距离||Ri，jq+Ti，j-p||小于常数ε的p、q 点对的集合；np为点p的法线；
dp通过求解以下约束方程得到：
Figure BDA0002704803860000052
Figure BDA0002704803860000056
其中，
Figure BDA0002704803860000053
为dp的转置，
Figure BDA0002704803860000058
为点p在点云Pi中的邻近点集合,p'为点p的邻近点。
可选地，在通过最近迭代点算法最小化所述代价方程的过程中，
若点云Pi和点云Pj为相邻的两帧点云，则迭代的初始估计值
Figure BDA0002704803860000054
Ti，j＝ [0 0 0]；
若点云Pi和点云Pj为相间隔的两帧点云，则通过RANSAC算法估计旋转矩阵Ri，j、平移向 量Ti，j的初始估计值。
可选地，当点云Pi和点云Pj相间隔的两帧点云时，首先分别对点云Pi和点云Pj中的每个点 计算FPFH特征，在点云Pj中随机选取一些点，通过FPFH在点云Pi中查找与点云Pj中的点对 应的最邻近点，并将点云Pj中的点与对应的最邻近点组成集合N，然后通过最小化代价函数 ∑(p，q)∈N((Ri，jq+Ti，j-p)T)2得到旋转矩阵Ri，j和平移向量Ti，j的初始估计值。
可选地，所述空间关系转换模块包括：
基准确定子模块，用于确定全局位置基准；
关系转换子模块，用于获取点云Pi到全局位置基准的全局变换关系
Figure BDA0002704803860000055
所述全局变换关系
Figure BDA0002704803860000061
通过最小化以下代价方程即可得到；
Figure BDA0002704803860000062
其中，
Figure BDA0002704803860000063
Figure BDA0002704803860000064
可选地，通过所述全局变换关系对所述多帧人脸点云进行融合，得到完整人脸点云，包括： 通过全局变换关系
Figure BDA0002704803860000065
把点云Pi通过公式
Figure BDA0002704803860000066
变换到全局坐标系下，得到融合后 的完整的人脸点云。
为实现上述目的及其他相关目的，本发明还提供一种设备，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述 设备执行前述的一个或多个所述的方法。
为实现上述目的及其他相关目的，本发明还提供一个或多个机器可读介质，其上存储有指 令，当由一个或多个处理器执行时，使得设备执行前述的一个或多个所述的方法。
如上所述，本发明提供的一种人脸点云优化方法、装置、机器可读介质及设备，具有以下 有益效果：
本发明的一种人脸点云优化方法，包括：获取同一人脸的多帧图像分别对应的人脸点云； 获取任意两帧人脸点云间的空间变换关系；通过所述空间变换关系得到每一帧人脸点云与作为 基准位置的人脸点云间的全局变换关系；基于所述全局变换关系对所述多帧图像分别对应的人 脸点云进行融合，得到完整的人脸点云。本发明提出了多帧人脸点云融合方法，通过一系列方 法有效保证在工程实际中能克服各种不稳定因素而精确、稳健地进行多帧人脸融合，通过多帧 信息融合解决了深度图片数据残缺的问题，使得识别算法可基于更加完整的人脸信息工作。比 使用单帧数据的3D人脸识别方法精度更高，而且在复杂工况下具有更好的鲁棒性。与2D人 脸识别技术相比，在不均匀光照、光照不足、人脸角度较大、化妆等情况下更稳定，并能有效 对抗2D攻击道具。
附图说明
图1为本发明一实施例一种人脸点云优化方法的流程图；
图2为本发明一实施例获取人脸点云的流程图；
图3为本发明一实施例一种人脸点云优化装置的示意图；
图4为本发明一实施例中终端设备的硬件结构示意图；
图5为本发明一实施例中终端设备的硬件结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的 内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实 施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进 行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互 组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式 中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实 施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
如图1所示，一种人脸点云优化方法，包括：
S11获取同一人脸的多帧图像分别对应的人脸点云；
S12获取任意两帧人脸点云间的空间变换关系；
S13通过所述空间变换关系得到每一帧人脸点云与作为基准位置的人脸点云间的全局变 换关系；
S14基于所述全局变换关系对所述多帧图像分别对应的人脸点云进行融合，得到完整的人 脸点云。
本发明提出了多帧人脸点云融合方法，通过一系列方法有效保证在工程实际中能克服各种 不稳定因素而精确、稳健地进行多帧人脸融合，通过多帧信息融合解决了深度图片数据残缺的 问题，使得识别算法可基于更加完整的人脸信息工作。
在一实施例中，所述任意两帧人脸点云间的空间变换关系包括：任意相邻两帧人脸点云间 的第一空间变换关系与任意相间隔的两帧人脸点云间的第二空间变换关系；
通过所述第一空间变换关系和/或所述第二空间变换关系得到每一帧人脸点云与作为基准 位置的人脸点云间的全局变换关系。
在一实施例中，如图2所示，所述获取人脸点云包括：
S21获取多种人脸图像，包括人脸深度图像、人脸红外图像、人脸彩色二维图像；
在一实施例中，人脸图像可以通过结构光设备采集，人脸深度图像、人脸红外图像、人脸 彩色二维图像，需要说明的是，这两个人脸图像是在同一时刻采集的。
S22基于所述多种人脸图像，得到所述人脸深度图像中每一个像素点的深度值；
若人脸图像包括人脸深度图像和人脸红外图像，则将所述人脸红外图像中的某个像素点的 红外信息作为人脸深度图中对应的某个像素点的深度值；
具体地，一般来说，深度图像和红外图像源于同一个红外相机，两个图片的像素位置是一 一对应的，对于深度图上位置为(i，j)的像素点的深度值，直接取红外图像上位置为(i，j)的像 素点的红外信息作为该深度值的“颜色”信息。
若所述多种人脸图像包括人脸深度图像、人脸红外图像和人脸彩色二维图像，则将所述人 脸红外图像中的某个像素点的红外信息与彩色二维图像中的对应某个像素点的彩色像素信息 进行拼接得到人脸深度图中对应的某个像素点的深度值。
具体地，彩色相机和红外相机在空间位置上是不同的，造成视角不同，因而其像素位置并 不对应，即，彩色二维图像上的像素位置与红外图像上的像素位置不对应。此时，通过对彩色 相机和红外相机进行标定可得到摄像机的内外参矩阵，依据该内外参矩阵，可以计算得到位置 为(i，j)的像素点在彩色二维图上的对应点位置坐标为(u,v),在彩色二维图上取(u,v)点的彩色像 素信息与红外图像中相应的像素点的红外信息拼接成一个值，作为当前深度图像中对应像素点 的“颜色”。
S23将所述人脸深度图像中的每一个像素点转化为三维空间点坐标；
对于每一帧深度图，使用标定好的相机内外参矩阵通过式(1)可以把深度图上每一个有效 的深度像素Iij转化为三维空间点坐标(x,y,z)：
Figure BDA0002704803860000081
fx,fy,px,py是相机固有的内参，代表焦距和中心偏置。
S24基于所述深度值与所述三维空间点坐标得到人脸点云。
点云中每个点包含空间三维坐标点p(x,y,z)以及颜色信息，即深度值。所有的点即构成了 当前帧对应的人脸点云。
由于由相机直接采集到的深度图像一般来说噪点比较大，不利于后续的处理。因此，需要 对获取的所述人脸深度图像进行平滑滤波处理。因为深度图比较特殊，不仅残缺多，而且残缺 部分与相邻的有效区域有几百上千的绝对值差距，而人脸的深度变化幅值只有一百左右，一般 的平滑算法并不适用。因此，在一实施例中，对双边滤波算法进行了改进，采用改进行双边滤 波算法对人脸深度图像进行滤波处理，这样除了更好地保护图像高频信息外，能更好地应对低 质量的深度图。计算公式如式(2)：
Figure BDA0002704803860000091
Figure BDA0002704803860000092
为滤波后的深度值，Iq为相邻点的深度值，S是滑动窗口，其是一个正方形相邻区域， 尺寸由k控制，区域越大则滤波结果更平缓。
Figure BDA0002704803860000093
是中间变量，计算方法如式(3)。
Figure BDA0002704803860000094
Figure BDA0002704803860000095
N为整数。k为滤波计算 时滑动窗口的尺寸，σs以及σr为预设的可调参数，用于控制空间域和像素域上的滤波幅度，pi、 pj为当前滤波像素p在二维深度图上的坐标，m、n为相邻像素q的坐标。
由于人脸点云的获取是基于相机拍摄坐标系的，而拍摄时人脸会相对于相机运动，因此没 有办法直接把这些点云直接结合而形成完整的人脸，需要对这些人脸点云进行融合，形成完整 的人脸点云。
在对人脸点云进行融合前，需要获取任意相邻两帧人脸点云间的第一空间变换关系与任意 相间隔的两帧人脸点云间的第二空间变换关系。其中，空间变换关系可以用(Ri，j、Ti，j)表示，Ri，j为旋转矩阵，Ti，j为平移向量。当j＝i+1时，(Ri，i+1、Ti，i+1)表示任意相邻两帧人脸点云间的第一 空间变换关系，当j＝i+k，k为大于1的整数时，(Ri，i+k、Ti，i+k)表示任意相间隔两帧人脸点云 间的第二空间变换关系。
具体地，使用最近迭代点算法即可得到Ri，j，Ti，j，但是对于深度图上的人脸，因为残缺面 积较多，且没有棱角分明的几何特征，在工程实际中鲁棒性很差，因此需要使用颜色信息来进 行辅助计算。设Pj中的点为q，Pi中的点为p。以Ri，j和Ti，j为变量，通过最近迭代点算法最小化 以下代价方程-即式(4)，得到两帧人脸点云的空间变换关系(Ri，j、Ti，j)，其中，Ri，j为旋转矩阵， Ti，j为平移向量。
Figure BDA0002704803860000101
其中，σ为预设可调参数；C(p)为以点p的颜色为输入计算得到一个颜色强度标量；C(q) 为以点q的颜色为输入计算得到一个颜色强度标量；
Figure BDA0002704803860000107
为在当前迭代估计的旋转矩阵Ri，j、平 移向量Ti，j下,空间距离||Ri，jq+Ti，j-p||小于常数ε的p、q点对的集合；np为点p的法线；
dp通过求解以下约束方程得到，约束方程L(dp)如式(5)所示，
Figure BDA0002704803860000102
Figure BDA0002704803860000103
其中，
Figure BDA0002704803860000104
为dp的转置，p'为点p的邻近点，
Figure BDA0002704803860000105
为点p在点云Pi中的邻近点集合。
在最小化如式(4)的代价方程时，若点云Pi和点云Pj为相邻的两帧点云，则迭代的初始估计 值
Figure BDA0002704803860000106
Ti，j＝[0 0 0]；
若点云Pi和点云Pj相间隔的两帧点云时，首先分别对点云Pi和点云Pj中的每个点计算FPFH 特征，在点云Pj中随机选取一些点，通过FPFH在点云Pi中查找与点云Pj中的点对应的最邻近 点，并将点云Pj中的点与对应的最邻近点组成集合N，然后通过最小化代价函数 ∑(p，q)∈N((Ri，jq+Ti，j-p)T)2得到旋转矩阵Ri，j和平移向量Ti，j的初始估计值。
在得到第二空间变换关系(Ri，i+k，Ti，i+k)后，如果Pi和Pi+k之间的临近点集合κ在总点数 中的占比小于一定阈值，则丢弃此次计算。
对于每一帧点云Pi，如果直接利用第一空间变换关系(Ri，i+1，Ti，i+1)级联变换把点云依次 从第一帧变换到最后一帧，那么第一空间变换关系(Ri，i+1，Ti，i+1)的误差会被不断累积放大， 到最后会形成无法接受的漂移，因此必须进行接来下的整体优化，即要得到全局变换关系。
在一实施例中，所述基于所述第一空间变换关系与所述第二空间变换关系得到每一帧人脸 点云与全局位置基准的全局变换关系，包括：
确定全局位置基准；
获取点云Pi到全局位置基准的全局变换关系
Figure BDA0002704803860000111
所述全局变换关系
Figure BDA0002704803860000112
通过最小化以下代价方程即可得到；
Figure BDA0002704803860000113
其中，
Figure BDA0002704803860000114
Figure BDA0002704803860000115
在一实施例中，通过所述全局变换关系对所述多帧人脸点云进行融合，得到完整人脸点云， 包括：通过全局变换关系
Figure BDA0002704803860000116
把点云Pi通过公式
Figure BDA0002704803860000117
变换到全局坐标系下，得到 融合后的完整的人脸点云。
在一实施例中，该方法还包括：利用体素法对所述完整的人脸点云进行下采样。通过使用 体素法进行下采集，使得单位立方空间内的点不多于一定阈值，从而删除多于的重合点。
在获取到完整的人脸点云后，可以在完整的人脸点云上提取人脸特征。其中，人脸特征的 提取方法包括多种。例如，a.人工特征提取法，首先使用非刚性迭代最邻近点算法，将预定义 的人脸语义模板与点云进行对齐，从而使得点云中的点获得关于人脸的语义信息，进而可方便 地计算五官特征。b.利用体素网格划分三维点云，然后使用3DCNN神经网络提取特征。c.利 用pointNet系列网络直接对点云进行特征提取。通过这些方法我们可以得到关于当前人脸信息 的一个高维向量。
对于不同的人脸，反复执行上述步骤，对每一个人脸，得到一个高维特征向量，将这些向 量存入数据库汇总。
在需要对某个新的人脸比对时，使用相应的人脸特征和数据库中的所有向量进行比较，选 取相似度最高且相似度大于一定阈值的向量，该向量对应的人脸即可认为和当前的新人脸为同 一个人。
如图3所示，一种人脸点云优化装置，包括：
人脸点云获取模块31，用于获取同一人脸的多帧图像分别对应的人脸点云；
空间变换关系获取模块32，用于用于获取任意两帧人脸点云间的空间变换关系；
空间关系转换模块33，用于通过所述空间变换关系得到每一帧人脸点云与作为基准位置 的人脸点云间的全局变换关系；
点云融合模块34，用于基于所述全局变换关系对所述多帧人脸点云进行融合，得到完整 的人脸点云。
在一实施例中，所述任意两帧人脸点云间的空间变换关系包括：任意相邻两帧人脸点云间 的第一空间变换关系与任意相间隔的两帧人脸点云间的第二空间变换关系；
通过所述第一空间变换关系和/或所述第二空间变换关系得到每一帧人脸点云与作为基准 位置的人脸点云间的全局变换关系。
在一实施例中，所述空间变换关系获取模块通过最近迭代点算法最小化以下代价方程，得 到任意两帧人脸点云的空间变换关系(Ri，j、Ti，j)，其中，Ri，j为旋转矩阵，Ti，j为平移向量；当j＝i+1 时，(Ri，j、Ti，j)表示任意相邻两帧人脸点云间的第一空间变换关系，当j＝i+k，k为大于1的整 数时，(Ri，j、Ti，j)表示任意相间隔两帧人脸点云间的第二空间变换关系，所述代价方程表示为：
Figure BDA0002704803860000121
其中，σ为预设可调参数；q为点云Pj中的点；p为点云Pi中的点；C(p)为以点p的颜色为 输入计算得到一个颜色强度标量；C(q)为以点q的颜色为输入计算得到一个颜色强度标量；
Figure BDA0002704803860000126
为在当前迭代估计的旋转矩阵Ri，j、平移向量Ti，j下,空间距离||Ri，jq+Ti，j-p||小于常数ε的p、q 点对的集合；np为点p的法线；
dp通过求解以下约束方程得到：
Figure BDA0002704803860000122
Figure BDA0002704803860000123
其中，
Figure BDA0002704803860000124
为dp的转置，
Figure BDA0002704803860000125
为点p在点云Pi中的邻近点集合,p'为点p的邻近点。
在一实施例中，在通过最近迭代点算法最小化所述代价方程的过程中，
若点云Pi和点云Pj为相邻的两帧点云，则迭代的初始估计值
Figure BDA0002704803860000131
Ti，j＝ [0 0 0]；
若点云Pi和点云Pj为相间隔的两帧点云，则通过RANSAC算法估计旋转矩阵Ri，j、平移向 量Ti，j的初始估计值。
在一实施例中，当点云Pi和点云Pj相间隔的两帧点云时，首先分别对点云Pi和点云Pj中的 每个点计算FPFH特征，在点云Pj中随机选取一些点，通过FPFH在点云Pi中查找与点云Pj中 的点对应的最邻近点，并将点云Pj中的点与对应的最邻近点组成集合N，然后通过最小化代价 函数∑(p，q)∈N((Ri，jq+Ti，j-p)T)2得到旋转矩阵Ri，j和平移向量Ti，j的初始估计值。
在一实施例中，所述空间关系转换模块包括：
基准确定子模块，用于确定全局位置基准；
关系转换子模块，用于获取点云Pi到全局位置基准的全局变换关系
Figure BDA0002704803860000132
所述全局变换关系
Figure BDA0002704803860000133
通过最小化以下代价方程即可得到；
Figure BDA0002704803860000134
其中，
Figure BDA0002704803860000135
Figure BDA0002704803860000136
在一实施例中，通过所述全局变换关系对所述多帧人脸点云进行融合，得到完整人脸点云， 包括：通过全局变换关系
Figure BDA0002704803860000137
把点云Pi通过公式
Figure BDA0002704803860000138
变换到全局坐标系下，得到 融合后的完整的人脸点云。
在本实施例中，该装置实施例与前述的方法实施例相对应，具体功能和技术效果参照上述 实施例即可，此处不再赘述。
本申请实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和其上存储有指 令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1 所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子 可以包括：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3， Moving Picture Experts GroupAudio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4， Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计 算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。
本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块 (programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中 方法所包含步骤的指令(instructions)。
图4为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以包 括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线 1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存 储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，第一存储器1103中可以 存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。
可选的，上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit，简称CPU)、 应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器 件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，该 第一处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。
可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、 面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备 的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之 间进行数据传输的硬件插入接口(例如USB接口、串口等)；可选的，该面向用户的用户接口 例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输 入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程 接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等； 输出设备1102可以包括显示器、音响等输出设备。
在本实施例中，该终端设备的处理器包括用于执行各设备中各模块的功能，具体功能和技 术效果参照上述实施例即可，此处不再赘述。
图5为本申请的一个实施例提供的终端设备的硬件结构示意图。图5是对图4在实现过程 中的一个具体的实施例。如图所示，本实施例的终端设备可以包括第二处理器1201以及第二 存储器1202。
第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图1 所述方法。
第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示 例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二 存储器1202可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非 易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
可选地，第二处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件 1203，电源组件1204，多媒体组件1205，语音组件1206，输入/输出接口1207和/或传感器组 件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。
处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处 理器1201来执行指令，以完成上述数据处理方法中的全部或部分步骤。此外，处理组件1200 可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200 可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。
电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统， 一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。
多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施 例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板，显示屏 可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感 测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而 且还检测与所述触摸或滑动操作相关的持续时间和压力。
语音组件1206被配置为输出和/或输入语音信号。例如，语音组件1206包括一个麦克风 (MIC)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。 所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实 施例中，语音组件1206还包括一个扬声器，用于输出语音信号。
输入/输出接口1207为处理组件1200和外围接口模块之间提供接口，上述外围接口模块 可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。
传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例 如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设 备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物 理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感 器组件1208还可以包括摄像头等。
通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备 可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个实施例中， 该终端设备中可以包括SIM卡插槽，该SIM卡插槽用于插入SIM卡，使得终端设备可以登录 GPRS网络，通过互联网与服务器建立通信。
由上可知，在图5实施例中所涉及的通信组件1203、语音组件1206以及输入/输出接口 1207、传感器组件1208均可以作为图4实施例中的输入设备的实现方式。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术 的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属 技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修 饰或改变，仍应由本发明的权利要求所涵盖。

Claims (18)

1.一种人脸点云优化方法，其特征在于，包括：
获取同一人脸的多帧图像分别对应的人脸点云；
获取任意两帧人脸点云间的空间变换关系；
通过所述空间变换关系得到每一帧人脸点云与作为基准位置的人脸点云间的全局变换关系；
基于所述全局变换关系对所述多帧图像分别对应的人脸点云进行融合，得到完整的人脸点云。
2.根据权利要求1所述的人脸点云优化方法，其特征在于，所述任意两帧人脸点云间的空间变换关系包括：任意相邻两帧人脸点云间的第一空间变换关系与任意相间隔的两帧人脸点云间的第二空间变换关系；
通过所述第一空间变换关系和/或所述第二空间变换关系得到每一帧人脸点云与作为基准位置的人脸点云间的全局变换关系。
3.根据权利要求2所述的人脸点云优化方法，其特征在于，获取任意相邻两帧人脸点云间的第一空间变换关系和相间隔的两帧人脸点云间的第二空间变换关系，包括：
通过最近迭代点算法最小化以下代价方程，得到任意两帧人脸点云的空间变换关系(Ri，j、Ti，j)，其中，Ri，j为旋转矩阵，Ti，j为平移向量；当j＝i+1时，(Ri，j、Ti，j)表示任意相邻两帧人脸点云间的第一空间变换关系，当j＝i+k，k为大于1的整数时，(Ri，j、Ti，j)表示任意相间隔两帧人脸点云间的第二空间变换关系，所述代价方程表示为：
Figure FDA0002704803850000011
其中，σ为预设可调参数；q为点云Pj中的点；p为点云Pi中的点；C(p)为以点p的颜色为输入计算得到一个颜色强度标量；C(q)为以点q的颜色为输入计算得到一个颜色强度标量；
Figure FDA0002704803850000012
为在当前迭代估计的旋转矩阵Ri，j、平移向量Ti，j下，空间距离||Ri，jq+Ti，j-p||小于常数ε的p、q点对的集合；np为点p的法线；
dp通过求解以下约束方程得到：
Figure FDA0002704803850000021
Figure FDA0002704803850000022
其中，
Figure FDA0002704803850000023
为dp的转置，
Figure FDA0002704803850000028
为点p在点云Pi中的邻近点集合，p′为点p的邻近点。
4.根据权利要求3所述的人脸点云优化方法，其特征在于，在通过最近迭代点算法最小化所述代价方程的过程中，
若点云Pi和点云Pj为相邻的两帧点云，则迭代的初始估计值
Figure FDA0002704803850000024
Ti，j＝[00 0]；
若点云Pi和点云Pj为相间隔的两帧点云，则通过RANSAC算法估计旋转矩阵Ri，j、平移向量Ti，j的初始估计值。
5.根据权利要求4所述的人脸点云优化方法，其特征在于，当点云Pi和点云Pj相间隔的两帧点云时，首先分别对点云Pi和点云Pj中的每个点计算FPFH特征，在点云Pj中随机选取一些点，通过FPFH在点云Pi中查找与点云Pj中的点对应的最邻近点，并将点云Pj中的点与对应的最邻近点组成集合N，然后通过最小化代价函数∑(p，q)∈N((Ri，jq+Ti，j-p)T)2得到旋转矩阵Ri，j和平移向量Ti，j的初始估计值。
6.根据权利要求3所述的人脸点云优化方法，其特征在于，所述基于所述第一空间变换关系与所述第二空间变换关系得到每一帧人脸点云与全局位置基准的全局变换关系，包括：
确定全局位置基准；
获取点云Pi到全局位置基准的全局变换关系
Figure FDA0002704803850000025
所述全局变换关系
Figure FDA0002704803850000026
通过最小化以下代价方程即可得到；
Figure FDA0002704803850000027
其中，
Figure FDA0002704803850000031
Figure FDA0002704803850000032
7.根据权利要求6所述的人脸点云优化方法，其特征在于，通过所述全局变换关系对所述多帧人脸点云进行融合，得到完整人脸点云，包括：通过全局变换关系
Figure FDA0002704803850000033
把点云Pi通过公式
Figure FDA0002704803850000034
变换到全局坐标系下，得到融合后的完整的人脸点云。
8.根据权利要求1所的人脸点云优化方法，其特征在于，所述获取同一人脸的多帧图像分别对应的人脸点云包括：
获取多种人脸图像，所述多种人脸图像包括人脸深度图像、人脸红外图像、人脸彩色二维图像；
若所述多种人脸图像包括人脸深度图像和人脸红外图像，则将所述人脸红外图像中的某个像素点的红外信息作为人脸深度图中对应的某个像素点的深度值；
若所述多种人脸图像包括人脸深度图像、人脸红外图像和人脸彩色二维图像，则将所述人脸红外图像中的某个像素点的红外信息与彩色二维图像中的对应某个像素点的彩色像素信息进行拼接得到人脸深度图中对应的某个像素点的深度值；
将所述人脸深度图像中的每一个像素点转化为三维空间点坐标；
基于所述深度值与所述三维空间点坐标得到人脸点云。
9.根据权利要求8所述的人脸点云优化方法，其特征在于，通过下式对所述人脸深度图像进行平滑滤波处理；
Figure FDA0002704803850000035
Figure FDA0002704803850000036
为滤波后的深度值，Iq为相邻点的深度值，S为滑动窗口，
Figure FDA0002704803850000037
是中间变量；
Figure FDA0002704803850000041
Figure FDA0002704803850000043
N表示整数；k用于滤波计算的滑窗尺寸，σs以及σr为预设的可调参数，pi、pj为当前滤波像素p在二维深度图上的坐标，m、n为相邻像素q的坐标。
10.一种人脸点云优化装置，其特征在于，包括：
人脸点云获取模块，用于获取同一人脸的多帧图像分别对应的人脸点云；
空间变换关系获取模块，用于获取任意两帧人脸点云间的空间变换关系；
空间关系转换模块，用于通过所述空间变换关系得到每一帧人脸点云与作为基准位置的人脸点云间的全局变换关系；
点云融合模块，用于基于所述全局变换关系对所述多帧人脸点云进行融合，得到完整的人脸点云。
11.根据权利要求10所述的人脸点云优化装置，其特征在于，所述任意两帧人脸点云间的空间变换关系包括：任意相邻两帧人脸点云间的第一空间变换关系与任意相间隔的两帧人脸点云间的第二空间变换关系；
通过所述第一空间变换关系和/或所述第二空间变换关系得到每一帧人脸点云与作为基准位置的人脸点云间的全局变换关系。
12.根据权利要求11所述的人脸点云优化装置，其特征在于，所述空间变换关系获取模块通过最近迭代点算法最小化以下代价方程，得到任意两帧人脸点云的空间变换关系(Ri，j、Ti，j)，其中，Ri，j为旋转矩阵，Ti，j为平移向量；当j＝i+1时，(Ri，j、Ti，j)表示任意相邻两帧人脸点云间的第一空间变换关系，当j＝i+k，k为大于1的整数时，(Ri，j、Ti，j)表示任意相间隔两帧人脸点云间的第二空间变换关系，所述代价方程表示为：
Figure FDA0002704803850000042
其中，σ为预设可调参数；q为点云Pj中的点；p为点云Pi中的点；C(p)为以点p的颜色为输入计算得到一个颜色强度标量；C(q)为以点q的颜色为输入计算得到一个颜色强度标量；
Figure FDA0002704803850000051
为在当前迭代估计的旋转矩阵Ri，j、平移向量Ti，j下，空间距离||Ri，jq+Ti，j-p||小于常数ε的p、q点对的集合；np为点p的法线；
dp通过求解以下约束方程得到：
Figure FDA0002704803850000052
Figure FDA0002704803850000053
其中，
Figure FDA0002704803850000054
为dp的转置，
Figure FDA0002704803850000055
为点p在点云Pi中的邻近点集合，p′为点p的邻近点。
13.根据权利要求12所述的人脸点云优化装置，其特征在于，在通过最近迭代点算法最小化所述代价方程的过程中，
若点云Pi和点云Pj为相邻的两帧点云，则迭代的初始估计值
Figure FDA0002704803850000056
Ti，j＝[00 0]；
若点云Pi和点云Pj为相间隔的两帧点云，则通过RANSAC算法估计旋转矩阵Ri，j、平移向量Ti，j的初始估计值。
14.根据权利要求13所述的人脸点云优化装置，其特征在于，当点云Pi和点云Pj相间隔的两帧点云时，首先分别对点云Pi和点云Pj中的每个点计算FPFH特征，在点云Pj中随机选取一些点，通过FPFH在点云Pi中查找与点云Pj中的点对应的最邻近点，并将点云Pj中的点与对应的最邻近点组成集合N，然后通过最小化代价函数∑(p，q)∈N((Ri，jq+Ti，j-p)T)2得到旋转矩阵Ri，j和平移向量Ti，j的初始估计值。
15.根据权利要求12所述的人脸点云优化装置，其特征在于，所述空间关系转换模块包括：
基准确定子模块，用于确定全局位置基准；
关系转换子模块，用于获取点云Pi到全局位置基准的全局变换关系
Figure FDA0002704803850000057
所述全局变换关系
Figure FDA0002704803850000058
通过最小化以下代价方程即可得到；
Figure FDA0002704803850000061
其中，
Figure FDA0002704803850000062
Figure FDA0002704803850000063
16.根据权利要求15所述的人脸点云优化装置，其特征在于，通过所述全局变换关系对所述多帧人脸点云进行融合，得到完整人脸点云，包括：通过全局变换关系
Figure FDA0002704803850000064
把点云Pi通过公式
Figure FDA0002704803850000065
变换到全局坐标系下，得到融合后的完整的人脸点云。
17.一种设备，其特征在于，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行如权利要求1-9中一个或多个所述的方法。
18.一个或多个机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行时，使得设备执行如权利要求1-9中一个或多个所述的方法。
CN202011035252.XA 2020-09-27 2020-09-27 一种人脸点云优化方法、装置、机器可读介质及设备 Active CN112232143B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011035252.XA CN112232143B (zh) 2020-09-27 2020-09-27 一种人脸点云优化方法、装置、机器可读介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011035252.XA CN112232143B (zh) 2020-09-27 2020-09-27 一种人脸点云优化方法、装置、机器可读介质及设备

Publications (2)

Publication Number Publication Date
CN112232143A true CN112232143A (zh) 2021-01-15
CN112232143B CN112232143B (zh) 2021-09-28

Family

ID=74119385

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011035252.XA Active CN112232143B (zh) 2020-09-27 2020-09-27 一种人脸点云优化方法、装置、机器可读介质及设备

Country Status (1)

Country Link
CN (1) CN112232143B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101650777A (zh) * 2009-09-07 2010-02-17 东南大学 一种基于密集点对应的快速三维人脸识别方法
US20130187919A1 (en) * 2012-01-24 2013-07-25 University Of Southern California 3D Body Modeling, from a Single or Multiple 3D Cameras, in the Presence of Motion
CN104077808A (zh) * 2014-07-20 2014-10-01 詹曙 一种用于计算机图形图像处理的、基于深度信息的实时三维人脸建模方法
US9215382B1 (en) * 2013-07-25 2015-12-15 The United States Of America As Represented By The Secretary Of The Navy Apparatus and method for data fusion and visualization of video and LADAR data
CN105701820A (zh) * 2016-01-14 2016-06-22 上海大学 一种基于匹配区域的点云配准方法
US10032276B1 (en) * 2016-08-29 2018-07-24 PerceptIn, Inc. Visual-inertial positional awareness for autonomous and non-autonomous device
CN109903379A (zh) * 2019-03-05 2019-06-18 电子科技大学 一种基于点云优化采样的三维重建方法
CN110930444A (zh) * 2019-11-29 2020-03-27 上海有个机器人有限公司 一种基于双边优化的点云匹配方法、介质、终端和装置
CN111079684A (zh) * 2019-12-24 2020-04-28 河南中原大数据研究院有限公司 一种基于粗糙-精细拟合的三维人脸检测方法
CN111243093A (zh) * 2020-01-07 2020-06-05 腾讯科技（深圳）有限公司 三维人脸网格的生成方法、装置、设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101650777A (zh) * 2009-09-07 2010-02-17 东南大学 一种基于密集点对应的快速三维人脸识别方法
US20130187919A1 (en) * 2012-01-24 2013-07-25 University Of Southern California 3D Body Modeling, from a Single or Multiple 3D Cameras, in the Presence of Motion
US9215382B1 (en) * 2013-07-25 2015-12-15 The United States Of America As Represented By The Secretary Of The Navy Apparatus and method for data fusion and visualization of video and LADAR data
CN104077808A (zh) * 2014-07-20 2014-10-01 詹曙 一种用于计算机图形图像处理的、基于深度信息的实时三维人脸建模方法
CN105701820A (zh) * 2016-01-14 2016-06-22 上海大学 一种基于匹配区域的点云配准方法
US10032276B1 (en) * 2016-08-29 2018-07-24 PerceptIn, Inc. Visual-inertial positional awareness for autonomous and non-autonomous device
CN109903379A (zh) * 2019-03-05 2019-06-18 电子科技大学 一种基于点云优化采样的三维重建方法
CN110930444A (zh) * 2019-11-29 2020-03-27 上海有个机器人有限公司 一种基于双边优化的点云匹配方法、介质、终端和装置
CN111079684A (zh) * 2019-12-24 2020-04-28 河南中原大数据研究院有限公司 一种基于粗糙-精细拟合的三维人脸检测方法
CN111243093A (zh) * 2020-01-07 2020-06-05 腾讯科技（深圳）有限公司 三维人脸网格的生成方法、装置、设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIAOLONG YANG 等: "Go-ICP: A Globally Optimal Solution to 3D ICP Point-Set Registration", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
赵夫群: "《点云模型的优化配准方法研究》", 31 July 2018, 哈尔滨工业大学出版社 *
陈学伟: "基于SAC-IA和改进ICP算法的点云配准技术", 《西安工程大学学报》 *

Also Published As

Publication number Publication date
CN112232143B (zh) 2021-09-28

Similar Documents

Publication Publication Date Title
Jam et al. A comprehensive review of past and present image inpainting methods
Le Pendu et al. Light field inpainting propagation via low rank matrix completion
WO2020207191A1 (zh) 虚拟物体被遮挡的区域确定方法、装置及终端设备
CN109887003B (zh) 一种用于进行三维跟踪初始化的方法与设备
EP3113114B1 (en) Image processing method and device
Wan et al. Region-aware reflection removal with unified content and gradient priors
JP6154075B2 (ja) オブジェクト検出及び分割の方法，装置，コンピュータプログラム製品
Choi et al. Depth analogy: Data-driven approach for single image depth estimation using gradient samples
CN111402170A (zh) 图像增强方法、装置、终端及计算机可读存储介质
CN113793370B (zh) 三维点云配准方法、装置、电子设备及可读介质
Garces et al. Intrinsic light field images
CN114298902A (zh) 一种图像对齐方法、装置、电子设备和存储介质
Irschara et al. Large-scale, dense city reconstruction from user-contributed photos
CN111192312B (zh) 基于深度学习的深度图像获取方法、装置、设备及介质
Hu et al. Sparse transfer for facial shape-from-shading
Ruchay et al. Accuracy analysis of 3D object shape recovery using depth filtering algorithms
CN111199169A (zh) 图像处理方法和装置
US20140198177A1 (en) Realtime photo retouching of live video
CN112101252B (zh) 一种基于深度学习的图像处理方法、系统、设备及介质
CN117011493A (zh) 基于符号距离函数表示的三维人脸重建方法、装置及设备
CN112232143B (zh) 一种人脸点云优化方法、装置、机器可读介质及设备
CN111402177A (zh) 一种清晰度检测方法、系统、设备和介质
CN117011137A (zh) 基于rgb相似度特征匹配的图像拼接方法、装置及设备
Rani et al. Digital image forgery detection under complex lighting using Phong reflection model
Lee et al. Integrating wavelet transformation with Markov random field analysis for the depth estimation of light‐field images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant