CN111738988A - 人脸深度图像生成方法、装置、电子设备和存储介质 - Google Patents

人脸深度图像生成方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN111738988A
CN111738988A CN202010488700.5A CN202010488700A CN111738988A CN 111738988 A CN111738988 A CN 111738988A CN 202010488700 A CN202010488700 A CN 202010488700A CN 111738988 A CN111738988 A CN 111738988A
Authority
CN
China
Prior art keywords
face
depth image
cloud data
point cloud
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010488700.5A
Other languages
English (en)
Inventor
邱迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN202010488700.5A priority Critical patent/CN111738988A/zh
Publication of CN111738988A publication Critical patent/CN111738988A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种人脸深度图像生成方法、装置、电子设备和存储介质，所述方法包括：获取具有对应关系的深度图像和彩色图像，对所述彩色图像进行人脸检测，得到人脸检测结果，并根据所述人脸检测结果确定所述深度图像中的人脸信息，根据所述深度图像和所述人脸信息生成人脸点云数据，并对所述人脸点云数据进行预处理，根据预处理后的人脸点云数据生成人脸深度图像。通过本申请，能够对不同三维相机模组采集的深度图像进行标准化预处理，输出统一格式的人脸深度数据，进而使得采用一种人脸检测算法就可以兼容不同型号的三维相机模组所采集的数据。

Description

人脸深度图像生成方法、装置、电子设备和存储介质
技术领域
本申请涉及图像处理技术领域，具体涉及一种人脸深度图像生成方法、装置、电子设备和存储介质。
背景技术
目前人脸识别技术已经广泛应用在包括刷脸门禁，刷脸支付，刷脸取快递等线下零售、餐饮、办公等场景中。图像采集是人脸识别技术的入口，摄像头采集的图像质量直接决定了最终人脸检测、识别的准确性，二维人脸图像由于缺失了深度信息，这使得各种欺骗人脸识别应用的合成图像或视频有了可趁之机，如换脸、屏幕翻拍、戴面具、建模驱动等。而如果利用三维摄像头实现三维人脸活体识别，那么无论合成的图像或视频有多逼真，它只能在屏幕上呈现二维图像，都无法通过三维人脸活体检测。
然而，现有基于三维摄像头的人脸活体检测以及三维人脸识别算法大多是针对固定型号的三维模组采集的图像适配算法，导致一种算法无法同时兼容不同模组来源的数据。
发明内容
鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的人脸深度图像生成方法、装置、电子设备和存储介质。
依据本申请的第一方面，提供了一种人脸深度图像生成方法，包括：
获取具有对应关系的深度图像和彩色图像；
对所述彩色图像进行人脸检测，得到人脸检测结果，并根据所述人脸检测结果确定所述深度图像中的人脸信息；
根据所述深度图像和所述人脸信息生成人脸点云数据，并对所述人脸点云数据进行预处理；
根据预处理后的人脸点云数据生成人脸深度图像。
可选地，所述对所述彩色图像进行人脸检测，得到人脸检测结果，并根据所述人脸检测结果确定所述深度图像中的人脸信息包括：
对所述彩色图像进行人脸检测，得到人脸关键点坐标和人脸框坐标；
将所述人脸关键点坐标和所述人脸框坐标映射至所述深度图像上，得到所述深度图像中的人脸信息。
可选地，所述对所述彩色图像进行人脸检测，得到人脸检测结果，并根据所述人脸检测结果确定所述深度图像中的人脸信息包括：
根据所述人脸关键点坐标，提取出所述人脸关键点坐标对应的深度值；
根据所述深度值确定人脸区域的远近区间；
根据所述人脸区域的远近区间，剔除所述人脸区域以外的深度值，得到剔除后的深度图像。
可选地，所述根据所述深度图像和所述人脸信息生成人脸点云数据包括：
获取三维相机模组的内参，所述内参包括焦距、光圈中心以及缩放因子中的至少一个或多个；
基于所述内参，利用仿射变换将所述深度图像转换成人脸点云数据。
可选地，所述根据所述深度图像和所述人脸信息生成人脸点云数据包括：
根据三维相机模组的内参矩阵，确定所述深度图像中任一像素点在相机坐标系下的三维坐标；
根据三维相机模组的外参矩阵，将所述深度图像中各像素点在相机坐标系下的三维坐标转换至世界坐标系下的三维坐标；
根据各像素点在世界坐标系下的三维坐标生成所述人脸点云数据。
可选地，所述对所述人脸点云数据进行预处理包括：
在所述人脸点云数据上，根据各像素点及对应的邻域确定各像素点的初始权值；
基于各像素点与中心像素点的亮度差值，对所述初始权值进行优化，得到优化权值；
将所述优化权值与所述人脸点云数据进行卷积处理，得到优化后的人脸点云数据。
可选地，所述对所述人脸点云数据进行预处理包括：
在所述人脸点云数据上，利用中值滤波算法对所述人脸点云数据上的人脸区域进行填补处理。
依据本申请的第二方面，提供了一种人脸深度图像生成装置，包括：
获取单元，用于获取具有对应关系的深度图像和彩色图像；
检测单元，用于对所述彩色图像进行人脸检测，得到人脸检测结果，并根据所述人脸检测结果确定所述深度图像中的人脸信息；
预处理单元，用于根据所述深度图像和所述人脸信息生成人脸点云数据，并对所述人脸点云数据进行预处理；
生成单元，用于根据预处理后的人脸点云数据生成人脸深度图像。
可选地，所述检测单元还用于：
对所述彩色图像进行人脸检测，得到人脸关键点坐标和人脸框坐标；
将所述人脸关键点坐标和所述人脸框坐标映射至所述深度图像上，得到所述深度图像中的人脸信息。
可选地，所述检测单元还用于：
根据所述人脸关键点坐标，提取出所述人脸关键点坐标对应的深度值；
根据所述深度值确定人脸区域的远近区间；
根据所述人脸区域的远近区间，剔除所述人脸区域以外的深度值，得到剔除后的深度图像。
可选地，所述预处理单元还用于：
获取三维相机模组的内参，所述内参包括焦距、光圈中心以及缩放因子中的至少一个或多个；
基于所述内参，利用仿射变换将所述深度图像转换成人脸点云数据。
可选地，所述预处理单元还用于：
根据三维相机模组的内参矩阵，确定所述深度图像中任一像素点在相机坐标系下的三维坐标；
根据三维相机模组的外参矩阵，将所述深度图像中各像素点在相机坐标系下的三维坐标转换至世界坐标系下的三维坐标；
根据各像素点在世界坐标系下的三维坐标生成所述人脸点云数据。
可选地，所述预处理单元还用于：
在所述人脸点云数据上，根据各像素点及对应的邻域确定各像素点的初始权值；
基于各像素点与中心像素点的亮度差值，对所述初始权值进行优化，得到优化权值；
将所述优化权值与所述人脸点云数据进行卷积处理，得到优化后的人脸点云数据。
可选地，所述预处理单元还用于：
在所述人脸点云数据上，利用中值滤波算法对所述人脸点云数据上的人脸区域进行填补处理。
依据本申请的第三方面，提供了一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上述任一所述的人脸深度图像生成方法。
依据本申请的第四方面，提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如上述任一所述的人脸深度图像生成方法。
由上述可知，本申请的技术方案，采用获取具有对应关系的深度图像和彩色图像的方式，对所述彩色图像进行人脸检测，得到人脸检测结果，并根据所述人脸检测结果确定所述深度图像中的人脸信息，根据所述深度图像和所述人脸信息生成人脸点云数据，并对所述人脸点云数据进行预处理，根据预处理后的人脸点云数据生成人脸深度图像。通过本申请，能够对不同三维相机模组采集的深度图像进行标准化预处理，输出统一格式的人脸深度数据，进而使得采用一种人脸检测算法就可以兼容不同型号的三维相机模组所采集的数据。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本申请一个实施例的人脸深度图像生成方法的流程示意图；
图2示出了根据本申请一个实施例的人脸点云数据的示例图；
图3示出了根据本申请一个实施例的人脸深度图像处理流程示意图；
图4示出了根据本申请一个实施例的人脸深度图像生成装置的结构示意图；
图5示出了根据本申请一个实施例的电子设备的结构示意图；
图6示出了根据本申请一个实施例的计算机可读存储介质的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
现有的基于三维相机模组的人脸检测算法大多是针对固定型号的三维模组(3D模组)采集的图像适配算法，以散斑结构光原理的三维摄像头模组为例，散斑结构光会通过激光发射N个点到人脸上，获取原始点云数据，那么不同型号的3D模组获取到的点云数据的平滑程度以及精度会存在较大差异，导致获取的人脸深度信息会有所差异，进而导致在面临不同业务方采购的不同厂商、不同型号的3D模组时，需要重复针对不同的3D模组做定制化开发，仅采用一种人脸检测算法无法同时兼容不同模组来源的数据，算法开发成本较高。
基于此，本申请实施例提供了一种人脸深度图像生成方法，如图1所示，所述方法包括如下的步骤S110至步骤S140：
步骤S110，获取具有对应关系的深度图像和彩色图像。
本申请实施例提供的人脸深度图像生成方法目的是为了使三维人脸活体检测以及人脸识别算法能够兼容不同型号的3D相机模组所采集的图像数据，而对图像数据进行前期预处理的过程，因此可以先通过不同型号的3D相机模组来获取人脸的深度图像和彩色图像。深度图像也被称为距离影像，是指将从图像采集器(本申请实施例中即指3D相机模组)到场景中各点的距离(深度)作为像素值的图像，它直接反映了景物可见表面的几何形状。
在人脸图像处理场景下，3D相机模组产生的深度图像通常需要与彩色图像(colorimage)进行配准(registration)，以生成配准后的深度图像。实际上配准的目的就是想让深度图像和彩色图像重合在一起，即将深度图像的图像坐标系转换到彩色图像的图像坐标系下，因此本申请实施例的深度图像和彩色图像是针对配准后的深度图像和彩色图像而言的。
步骤S120，对所述彩色图像进行人脸检测，得到人脸检测结果，并根据所述人脸检测结果确定所述深度图像中的人脸信息。
在得到配准后的深度图像和彩色图像后，可以对彩色图像进行人脸检测，得到人脸检测结果，这里的人脸检测结果可以包括检测到的人脸关键点坐标和人脸框坐标。
在得到人脸检测结果后，根据人脸检测结果确定深度图像中的人脸信息，具体地，可以将彩色图像检测得到的人脸关键点坐标和人脸框坐标映射到对应的深度图像中，因此这里的人脸信息是指映射至深度图像中的人脸关键点坐标和人脸框坐标等人脸信息。
步骤S130，根据所述深度图像和所述人脸信息生成人脸点云数据，并对所述人脸点云数据进行预处理。
在得到映射后的深度图像后，根据深度图像中的人脸信息可以进一步将深度图像转换成人脸点云数据，点云是指当一束激光照射到物体表面时，所反射的激光会携带方位、距离等信息，本申请实施例中的人脸点云数据则可以指携带了人脸关键点坐标以及人脸框坐标等信息的点云数据。如图2所示，是本申请实施例提供的一种人脸点云数据的示例图。
人脸点云数据的具体生成方法可以采用现有技术中的深度图像与点云数据的转换方法来实现，例如，根据三维相机模组的内参和外参进行相机坐标系到世界坐标系的变换等，进而得到人脸点云数据。本申请实施例中为了保证得到的人脸深度图像数据格式的一致性，还可以对得到的人脸点云数据进行一系列的预处理操作，如人脸图像的平滑降噪、填补处理等，使得最终生成的人脸点云数据具有统一和标准化的格式。
步骤S140，根据预处理后的人脸点云数据生成人脸深度图像。
在得到预处理后的人脸点云数据后，可以通过反向矩阵变换，将人脸点云数据再转换为人脸深度图像，进而可以根据该人脸深度图像采用统一的人脸活体检测算法或者人脸识别算法进行人脸识别。
由于通过本申请实施例的图像生成方法得到的人脸深度图像具有统一、标准化的数据格式，因此即使是不同三维相机模组采集的不同精度的图像数据均可以被转换成统一格式的数据输出，无需再针对不同类型的相机模组开发对应的人脸检测算法，大大节省了算法开发成本。
在本申请的一个实施例中，所述对所述彩色图像进行人脸检测，得到人脸检测结果，并根据所述人脸检测结果确定所述深度图像中的人脸信息包括：对所述彩色图像进行人脸检测，得到人脸关键点坐标和人脸框坐标；将所述人脸关键点坐标和所述人脸框坐标映射至所述深度图像上，得到所述深度图像中的人脸信息。
具体实施时，如前所述，本申请实施例得到的彩色图像的人脸检测结果可以包括人脸关键点坐标和人脸框坐标，对于人脸关键点的检测也可称为人脸关键点定位或者人脸对齐，是指给定人脸图像，定位出人脸面部的关键区域位置，包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等。人脸框坐标即人脸检测框坐标，是指深度图像中的人脸的位置信息。人脸关键点的检测方法大致可以分为三种：基于模型的ASM(Active Shape Model，主观形状模型)和AAM(Active Appearnce Model，主观外观模型)、基于级联形状回归CPR(Cascaded poseregression)以及基于深度学习的方法，具体采用哪种检测方法本领域技术人员可以根据实际需要灵活选择，在此不做具体限定。
在得到人脸关键点坐标和人脸框坐标后，可以基于彩色图像与深度图像的对应关系，将彩色图像检测出的人脸关键点坐标和人脸框坐标映射到深度图像中，进而得到深度图像中的人脸信息。
在本申请的一个实施例中，所述对所述彩色图像进行人脸检测，得到人脸检测结果，并根据所述人脸检测结果确定所述深度图像中的人脸信息包括：根据所述人脸关键点坐标，提取出所述人脸关键点坐标对应的深度值；根据所述深度值确定人脸区域的远近区间；根据所述人脸区域的远近区间，剔除所述人脸区域以外的深度值，得到剔除后的深度图像。
具体实施时，在确定了深度图像中的人脸关键点坐标信息后，可以进一步提取出人脸关键点坐标中的眼、嘴、鼻等关键点坐标的深度值，这里的深度值是指深度图像的像素值。之后根据各关键点的深度值判断深度值的远近区间，深度值的远近区间可以是指图像中各人脸关键点与相机的最远距离和最近距离。位于该深度值远近区间内的像素点可以认为是人脸区域，也即需要进行预处理的关键区域，通过剔除掉深度图像中人脸区域以外的所有深度值信息，来得到人脸区域对应的深度图像，以作为后续预处理的基础。
在本申请的一个实施例中，所述根据所述深度图像和所述人脸信息生成人脸点云数据包括：获取三维相机模组的内参，所述内参包括焦距、光圈中心以及缩放因子中的至少一个或多个；基于所述内参，利用仿射变换将所述深度图像转换成人脸点云数据。
在将深度图像转换成人脸点云数据时，可以采用仿射变换的方法，仿射变换又称仿射映射，是指在几何中，一个向量空间进行一次线性变换并接上一个平移，变换为另一个向量空间。本申请实施例在利用仿射变换将深度图像转换成人脸点云数据时，还获取了三维相机模组的内参，具体可以包括焦距、光圈中心以及缩放因子等参数。根据三维相机模组的内参矩阵，对深度图像的坐标进行矩阵变换，进而得到人脸点云数据。
在本申请的一个实施例中，所述根据所述深度图像和所述人脸信息生成人脸点云数据包括：根据三维相机模组的内参矩阵，确定所述深度图像中任一像素点在相机坐标系下的三维坐标；根据三维相机模组的外参矩阵，将所述深度图像中各像素点在相机坐标系下的三维坐标转换至世界坐标系下的三维坐标；根据各像素点在世界坐标系下的三维坐标生成所述人脸点云数据。
深度图像经过坐标变换可以转换为人脸点云数据，具体地，可以采用如下公式(1)：
Figure BDA0002520076490000101
其中，u,v为深度图像坐标系下的任意坐标点，u0,v0分别为深度图像的中心坐标。xw,yw,zw表示世界坐标系下的三维坐标点，zc表示相机坐标系的z轴值，即人脸各关键点到相机的距离，R为外参矩阵的3×3旋转矩阵，T为外参矩阵的3×1平移矩阵。
对于外参矩阵的设置，由于世界坐标系的原点和相机坐标系的原点是重合的，即没有旋转和平移，所以有如下公式(2)：
Figure BDA0002520076490000102
相机坐标系和世界坐标系的坐标原点重合，因此相机坐标系和世界坐标系下的同一个物体具有相同的深度，即zc＝zw，于是公式(1)可进一步变换为公式(3)：
Figure BDA0002520076490000103
从以上的变换矩阵公式，可以计算得到相机坐标系下的坐标点[u,v]T到世界坐标系下的坐标点[xw,yw,zw]T的变换公式:
Figure BDA0002520076490000104
因此，本申请实施例基于上述公式(1)至(4)即可以将深度图像转换为人脸点云数据。
在本申请的一个实施例中，所述对所述人脸点云数据进行预处理包括：在所述人脸点云数据上，根据各像素点及对应的邻域确定各像素点的初始权值；基于各像素点与中心像素点的亮度差值，对所述初始权值进行优化，得到优化权值；将所述优化权值与所述人脸点云数据进行卷积处理，得到优化后的人脸点云数据。
本申请实施例中对人脸点云数据进行的预处理或者预处理操作可以包括图像的平滑降噪处理，具体地可以采用双边滤波算法来实现，双边滤波(Bilateral filter)是一种非线性的滤波方法，是结合图像的空间邻近度和像素值相似度的一种折衷处理，同时考虑空域信息和灰度相似性，达到保边去噪的目的，具有简单、非迭代、局部的特点。本申请实施例中采用的双边滤波算法的基本思想是：对通过深度图像中各个点到中心点的空间临近度计算得到的各个权值进行优化，将其优化为空间临近度计算的权值和像素值相似度计算的权值的乘积，优化后的权值再与人脸点云数据进行卷积运算，从而达到对人脸点云数据保边去噪的效果。当然本领域技术人员也可以根据实际情况采用其他的图像平滑生成方法如高斯滤波算法，在此不一一列举。
在本申请的一个实施例中，所述对所述人脸点云数据进行预处理包括：在所述人脸点云数据上，利用中值滤波算法对所述人脸点云数据上的人脸区域进行填补处理。
本申请实施例中对人脸点云数据进行的预处理或者预处理操作还可以包括人脸区域填补处理，具体地可以采用中值滤波算法来实现，中值滤波是一种非线性的信号生成方法，其基本思想是将卷积核kernel的中心与待处理的图像像素对齐，并把局部区域的像素按灰度等级进行排序，取该领域中灰度的中值作为当前像素的灰度值。本申请实施例中采用中值滤波对人脸区域进行插值填补，填补的效果可以由卷积核大小决定。当然本领域技术人员也可以根据实际情况采用其他的图像填补方法，在此不一一列举。
如图3所示，提供了一种人脸深度图像处理流程示意图。首先将人脸彩色图像与深度图像进行配准，并对配准后的彩色图像进行人脸检测，得到人脸关键点坐标和人脸框坐标，将人脸关键点坐标和人脸框坐标映射到深度图像中，以对深度图像进行预处理。之后将深度图像通过仿射变换转换成人脸点云数据，对人脸点云数据进行平滑降噪以及填补处理等操作，最后再通过反向矩阵变换将处理后的人脸点云数据转换为人脸深度图像，进而得到预处理后的人脸深度数据。
为了验证本申请实施例的人脸深度图像生成方法的处理效果，本申请以人脸深度图像活体检测模型为例，采用来自两个不同业务方采购的不同厂商的3D相机模组A和3D相机模组B，两个模组的精度具有一定差异，将模组A采集的深度图像作为模型的训练集，模组B采集的深度图像作为模型的测试集，前提是模型的网络结构以及训练参数保持一致。
表1为深度图像在预处理前后，测试集的分类准确率(Accuracy)的比较结果，可以看出，人脸深度图像在经过预处理后使得模型分类的准确率大大提高。
表1
指标 预处理前 预处理后
Accuracy 75％ 99.35％
本申请实施例提供了一种人脸深度图像生成装置400，如图4所示，所述装置400包括：获取单元410、检测单元420、预处理单元430和生成单元440。
本申请实施例的获取单元410，用于获取具有对应关系的深度图像和彩色图像。
本申请实施例提供的人脸深度图像生成方法目的是为了使三维人脸活体检测以及人脸识别算法能够兼容不同型号的3D相机模组所采集的图像数据，而对图像数据进行前期预处理的过程，因此可以先通过不同型号的3D相机模组来获取人脸的深度图像和彩色图像，深度图像也被称为距离影像，是指将从图像采集器(本申请实施例中即指3D相机模组)到场景中各点的距离(深度)作为像素值的图像，它直接反映了景物可见表面的几何形状。
在人脸图像处理场景下，3D相机模组产生的深度图像通常需要与彩色图像(colorimage)进行配准(registration)，以生成配准后的深度图像。实际上配准的目的就是想让深度图像和彩色图像重合在一起，即将深度图像的图像坐标系转换到彩色图像的图像坐标系下，因此本申请实施例的深度图像和彩色图像是针对配准后的深度图像和彩色图像而言的。
本申请实施例的检测单元420，用于对所述彩色图像进行人脸检测，得到人脸检测结果，并根据所述人脸检测结果确定所述深度图像中的人脸信息。
在得到配准后的深度图像和彩色图像后，可以对彩色图像进行人脸检测，得到人脸检测结果，这里的人脸检测结果可以包括检测到的人脸关键点坐标和人脸框坐标。
在得到人脸检测结果后，根据人脸检测结果确定深度图像中的人脸信息，具体地，可以将彩色图像检测得到的人脸关键点坐标和人脸框坐标映射到对应的深度图像中，因此这里的人脸信息是指映射至深度图像中的人脸关键点坐标和人脸框坐标等人脸信息。
本申请实施例的预处理单元430，用于根据所述深度图像和所述人脸信息生成人脸点云数据，并对所述人脸点云数据进行预处理。
在得到映射后的深度图像后，根据深度图像中的人脸信息可以进一步将深度图像转换成人脸点云数据，点云是指当一束激光照射到物体表面时，所反射的激光会携带方位、距离等信息，本申请实施例中的人脸点云数据则可以是指携带了人脸关键点坐标以及人脸框坐标等信息的点云数据。
人脸点云数据的具体生成方法可以采用现有技术中的深度图像与点云数据的转换方法来实现，例如，根据三维相机模组的内参和外参进行相机坐标系到世界坐标系的变换等，进而得到人脸点云数据。本申请实施例中为了保证得到的人脸深度图像数据格式的一致性，还可以对得到的人脸点云数据进行一系列的预处理操作，如人脸图像的平滑降噪、填补处理等，使得最终生成的人脸点云数据具有统一和标准化的格式。
本申请实施例的生成单元440，用于根据预处理后的人脸点云数据生成人脸深度图像。
在得到预处理后的人脸点云数据后，可以通过反向矩阵变换，将人脸点云数据再转换为人脸深度图像，进而可以根据该人脸深度图像采用统一的人脸活体检测算法或者人脸识别算法进行人脸识别。
由于通过本申请实施例的图像生成方法得到的人脸深度图像具有统一、标准化的数据格式，因此即使是不同三维相机模组采集的不同精度的图像数据均可以被转换成统一格式的数据输出，无需再针对不同类型的相机模组开发对应的人脸检测算法，大大节省了算法开发成本。
在本申请的一个实施例中，所述检测单元420还用于：对所述彩色图像进行人脸检测，得到人脸关键点坐标和人脸框坐标；将所述人脸关键点坐标和所述人脸框坐标映射至所述深度图像上，得到所述深度图像中的人脸信息。
在本申请的一个实施例中，所述检测单元420还用于：根据所述人脸关键点坐标，提取出所述人脸关键点坐标对应的深度值；根据所述深度值确定人脸区域的远近区间；根据所述人脸区域的远近区间，剔除所述人脸区域以外的深度值，得到剔除后的深度图像。
在本申请的一个实施例中，所述预处理单元430还用于：获取三维相机模组的内参，所述内参包括焦距、光圈中心以及缩放因子中的至少一个或多个；基于所述内参，利用仿射变换将所述深度图像转换成人脸点云数据。
在本申请的一个实施例中，所述预处理单元430还用于：根据三维相机模组的内参矩阵，确定所述深度图像中任一像素点在相机坐标系下的三维坐标；根据三维相机模组的外参矩阵，将所述深度图像中各像素点在相机坐标系下的三维坐标转换至世界坐标系下的三维坐标；根据各像素点在世界坐标系下的三维坐标生成所述人脸点云数据。
在本申请的一个实施例中，所述预处理单元430还用于：在所述人脸点云数据上，根据各像素点及对应的邻域确定各像素点的初始权值；基于各像素点与中心像素点的亮度差值，对所述初始权值进行优化，得到优化权值；将所述优化权值与所述人脸点云数据进行卷积处理，得到优化后的人脸点云数据。
在本申请的一个实施例中，所述预处理单元430还用于：在所述人脸点云数据上，利用中值滤波算法对所述人脸点云数据上的人脸区域进行填补处理。
需要说明的是，上述各装置实施例的具体实施方式可以参照前述对应方法实施例的具体实施方式进行，在此不再赘述。
综上所述，本申请的技术方案，采用获取具有对应关系的深度图像和彩色图像的方式，对所述彩色图像进行人脸检测，得到人脸检测结果，并根据所述人脸检测结果确定所述深度图像中的人脸信息，根据所述深度图像和所述人脸信息生成人脸点云数据，并对所述人脸点云数据进行预处理，根据预处理后的人脸点云数据生成人脸深度图像。通过本申请，能够对不同三维相机模组采集的深度图像进行标准化预处理，输出统一格式的人脸深度数据，进而使得采用一种人脸检测算法就可以兼容不同型号的三维相机模组所采集的数据。
需要说明的是：
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的人脸深度图像生成装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
例如，图5示出了根据本申请一个实施例的电子设备的结构示意图。该电子设备500包括处理器510和被安排成存储计算机可执行指令(计算机可读程序代码)的存储器520。存储器520可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器520具有存储用于执行上述方法中的任何方法步骤的计算机可读程序代码531的存储空间530。例如，用于存储计算机可读程序代码的存储空间530可以包括分别用于实现上面的方法中的各种步骤的各个计算机可读程序代码531。计算机可读程序代码531可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图6所述的计算机可读存储介质。图6示出了根据本申请一个实施例的一种计算机可读存储介质的结构示意图。该计算机可读存储介质600存储有用于执行根据本申请的方法步骤的计算机可读程序代码531，可以被电子设备500的处理器510读取，当计算机可读程序代码531由电子设备500运行时，导致该电子设备500执行上面所描述的方法中的各个步骤，具体来说，该计算机可读存储介质存储的计算机可读程序代码531可以执行上述任一实施例中示出的方法。计算机可读程序代码531可以以适当形式进行压缩。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种人脸深度图像生成方法，其特征在于，包括：
获取具有对应关系的深度图像和彩色图像；
对所述彩色图像进行人脸检测，得到人脸检测结果，并根据所述人脸检测结果确定所述深度图像中的人脸信息；
根据所述深度图像和所述人脸信息生成人脸点云数据，并对所述人脸点云数据进行预处理；
根据预处理后的人脸点云数据生成人脸深度图像。
2.根据权利要求1所述的人脸深度图像生成方法，其特征在于，所述对所述彩色图像进行人脸检测，得到人脸检测结果，并根据所述人脸检测结果确定所述深度图像中的人脸信息包括：
对所述彩色图像进行人脸检测，得到人脸关键点坐标和人脸框坐标；
将所述人脸关键点坐标和所述人脸框坐标映射至所述深度图像上，得到所述深度图像中的人脸信息。
3.根据权利要求2所述的人脸深度图像生成方法，其特征在于，所述对所述彩色图像进行人脸检测，得到人脸检测结果，并根据所述人脸检测结果确定所述深度图像中的人脸信息包括：
根据所述人脸关键点坐标，提取出所述人脸关键点坐标对应的深度值；
根据所述深度值确定人脸区域的远近区间；
根据所述人脸区域的远近区间，剔除所述人脸区域以外的深度值，得到剔除后的深度图像。
4.根据权利要求1所述的人脸深度图像生成方法，其特征在于，所述根据所述深度图像和所述人脸信息生成人脸点云数据包括：
获取三维相机模组的内参，所述内参包括焦距、光圈中心以及缩放因子中的至少一个或多个；
基于所述内参，利用仿射变换将所述深度图像转换成人脸点云数据。
5.根据权利要求1所述的人脸深度图像生成方法，其特征在于，所述根据所述深度图像和所述人脸信息生成人脸点云数据包括：
根据三维相机模组的内参矩阵，确定所述深度图像中任一像素点在相机坐标系下的三维坐标；
根据三维相机模组的外参矩阵，将所述深度图像中各像素点在相机坐标系下的三维坐标转换至世界坐标系下的三维坐标；
根据各像素点在世界坐标系下的三维坐标生成所述人脸点云数据。
6.根据权利要求1所述的人脸深度图像生成方法，其特征在于，所述对所述人脸点云数据进行预处理包括：
在所述人脸点云数据上，根据各像素点及对应的邻域确定各像素点的初始权值；
基于各像素点与中心像素点的亮度差值，对所述初始权值进行优化，得到优化权值；
将所述优化权值与所述人脸点云数据进行卷积处理，得到优化后的人脸点云数据。
7.根据权利要求1所述的人脸深度图像生成方法，其特征在于，所述对所述人脸点云数据进行预处理包括：
在所述人脸点云数据上，利用中值滤波算法对所述人脸点云数据上的人脸区域进行填补处理。
8.一种人脸深度图像生成装置，其特征在于，包括：
获取单元，用于获取具有对应关系的深度图像和彩色图像；
检测单元，用于对所述彩色图像进行人脸检测，得到人脸检测结果，并根据所述人脸检测结果确定所述深度图像中的人脸信息；
预处理单元，用于根据所述深度图像和所述人脸信息生成人脸点云数据，并对所述人脸点云数据进行预处理；
生成单元，用于根据预处理后的人脸点云数据生成人脸深度图像。
9.一种电子设备，其中，该电子设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1至7中任一项所述的人脸深度图像生成方法。
10.一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如权利要求1至7中任一项所述的人脸深度图像生成方法。
CN202010488700.5A 2020-06-02 2020-06-02 人脸深度图像生成方法、装置、电子设备和存储介质 Pending CN111738988A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010488700.5A CN111738988A (zh) 2020-06-02 2020-06-02 人脸深度图像生成方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010488700.5A CN111738988A (zh) 2020-06-02 2020-06-02 人脸深度图像生成方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN111738988A true CN111738988A (zh) 2020-10-02

Family

ID=72646672

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010488700.5A Pending CN111738988A (zh) 2020-06-02 2020-06-02 人脸深度图像生成方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN111738988A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132829A (zh) * 2020-10-23 2020-12-25 北京百度网讯科技有限公司 车辆信息的检测方法、装置、电子设备和存储介质
CN112766208A (zh) * 2021-01-28 2021-05-07 北京三快在线科技有限公司 一种模型训练的方法及装置
CN112883944A (zh) * 2021-04-28 2021-06-01 北京三快在线科技有限公司 活体检测方法、模型训练方法、装置、存储介质及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109684924A (zh) * 2018-11-21 2019-04-26 深圳奥比中光科技有限公司 人脸活体检测方法及设备
CN110852293A (zh) * 2019-11-18 2020-02-28 业成科技（成都）有限公司 人脸深度图对齐方法、装置、计算机设备和存储介质
CN111160309A (zh) * 2019-12-31 2020-05-15 深圳云天励飞技术有限公司 一种图像处理方法和相关设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109684924A (zh) * 2018-11-21 2019-04-26 深圳奥比中光科技有限公司 人脸活体检测方法及设备
CN110852293A (zh) * 2019-11-18 2020-02-28 业成科技（成都）有限公司 人脸深度图对齐方法、装置、计算机设备和存储介质
CN111160309A (zh) * 2019-12-31 2020-05-15 深圳云天励飞技术有限公司 一种图像处理方法和相关设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132829A (zh) * 2020-10-23 2020-12-25 北京百度网讯科技有限公司 车辆信息的检测方法、装置、电子设备和存储介质
CN112766208A (zh) * 2021-01-28 2021-05-07 北京三快在线科技有限公司 一种模型训练的方法及装置
CN112883944A (zh) * 2021-04-28 2021-06-01 北京三快在线科技有限公司 活体检测方法、模型训练方法、装置、存储介质及设备
CN112883944B (zh) * 2021-04-28 2021-07-02 北京三快在线科技有限公司 活体检测方法、模型训练方法、装置、存储介质及设备

Similar Documents

Publication Publication Date Title
CN110568447B (zh) 视觉定位的方法、装置及计算机可读介质
CN109615611B (zh) 一种基于巡检影像的绝缘子自爆缺陷检测方法
CN110675487B (zh) 基于多角度二维人脸的三维人脸建模、识别方法及装置
CN111738988A (zh) 人脸深度图像生成方法、装置、电子设备和存储介质
CN111063021A (zh) 一种空间运动目标的三维重建模型建立方法及装置
CN110909693A (zh) 3d人脸活体检测方法、装置、计算机设备及存储介质
CN103430218A (zh) 用3d脸部建模和地标对齐扩增造型的方法
CN110276831B (zh) 三维模型的建构方法和装置、设备、计算机可读存储介质
CN106372629A (zh) 一种活体检测方法和装置
CN111008935B (zh) 一种人脸图像增强方法、装置、系统及存储介质
CN115345822A (zh) 一种面向航空复杂零件的面结构光自动化三维检测方法
CN107767358B (zh) 一种图像中物体模糊度确定方法和装置
CN110728196A (zh) 一种人脸识别的方法、装置及终端设备
CN113408584B (zh) Rgb-d多模态特征融合3d目标检测方法
CN111339887B (zh) 商品识别方法及智能货柜系统
CN111144315A (zh) 目标检测方法、装置、电子设备和可读存储介质
JP2003115042A (ja) ３次元形状モデルの評価方法および生成方法並びに装置
CN113689578A (zh) 一种人体数据集生成方法及装置
CN112365578A (zh) 基于双摄像机的三维人体模型重构系统及方法
CN111680573A (zh) 人脸识别方法、装置、电子设备和存储介质
CN111208138A (zh) 一种智能木料识别装置
CN110916707A (zh) 二维骨骼图像获取方法、系统及装置
CN111027637A (zh) 一种文字检测方法及计算机可读存储介质
CN111353325A (zh) 关键点检测模型训练方法及装置
Zhang et al. Enhanced visual perception for underwater images based on multistage generative adversarial network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination