CN111382618A - 一种人脸图像的光照检测方法、装置、设备和存储介质 - Google Patents

一种人脸图像的光照检测方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN111382618A
CN111382618A CN201811627209.5A CN201811627209A CN111382618A CN 111382618 A CN111382618 A CN 111382618A CN 201811627209 A CN201811627209 A CN 201811627209A CN 111382618 A CN111382618 A CN 111382618A
Authority
CN
China
Prior art keywords
face
face image
illumination
brightness
feature points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811627209.5A
Other languages
English (en)
Other versions
CN111382618B (zh
Inventor
章菲倩
刘更代
颜乐驹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bigo Technology Singapore Pte Ltd
Original Assignee
Guangzhou Baiguoyuan Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Baiguoyuan Information Technology Co Ltd filed Critical Guangzhou Baiguoyuan Information Technology Co Ltd
Priority to CN201811627209.5A priority Critical patent/CN111382618B/zh
Priority to SG11202106040PA priority patent/SG11202106040PA/en
Priority to US17/417,003 priority patent/US11908236B2/en
Priority to PCT/CN2019/123006 priority patent/WO2020134925A1/zh
Priority to EP19905268.9A priority patent/EP3905103A4/en
Publication of CN111382618A publication Critical patent/CN111382618A/zh
Application granted granted Critical
Publication of CN111382618B publication Critical patent/CN111382618B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

本发明公开了一种人脸图像的光照检测方法、装置、设备和存储介质。其中，该方法包括：获取待检测的人脸图像以及三维人脸网格模板；根据人脸图像对三维人脸网格模板进行形变，得到重建的人脸网格模型；根据三维人脸网格模板中的关键特征点在重建的人脸网格模型中的形变位置，确定关键特征点在人脸图像中对应的特征点的亮度；根据关键特征点的预设亮度与光照的对应关系，以及，关键特征点在人脸图像中对应的特征点的亮度，确定人脸图像的光照信息。本发明实施例提供的技术方案，解决了现有技术中由于受到不同人脸图像的人脸形状的限制，通过人脸模型进行光照检测存在误差的问题，简化了人脸图像中光照检测操作，提高了光照检测的效率和准确性。

Description

一种人脸图像的光照检测方法、装置、设备和存储介质
技术领域
本发明实施例涉及图像处理领域，尤其涉及一种人脸图像的光照检测方法、装置、设备和存储介质。
背景技术
随着计算机技术的快速发展，增强现实(Augmented Reality，AR)类的产品已经广泛应用到人们的日常生活中，AR产品中的虚拟内容需要无缝嵌入到真实图像中，从而给予用户一种虚拟内容真实存在的感觉。此时需要对真实图像中的环境光照进行检测，进而为虚拟对象增加同样的光照环境，提高虚拟内容与真实环境之间融合的真实性。
由于光的传播受场景中物体几何和反射率等因素的影响，目前通常下述三种方式来获取真实场景中的光照信息：
1)采用特殊的图像获取方式，如通过获取真实场景中镜面球(光探头)的图像来检测光照，采用鱼眼相机来获取全方向真实图像，或者采用深度摄像机恢复真实场景中的三维信息和光照条件，来度量真实场景的光照条件，但该种方法通常需要执行繁重的图像获取过程，操作较为复杂。
2)根据预先放置在真实场景中的预定义几何和反射属性的标记物进行光照检测：如利用乒乓球和平面标记物、方形标记物或者立方体标记物等，该方法无需执行繁重的图像获取过程，但对于预定义的几何对象和标记物具有一定要求，难以应用在各种实际场景中。
3)考虑到人脸图像具有相似的几何位置，可以利用三维人脸模型生成对应的基准光源图像，通过对人脸图像与基准光源图像进行匹配来检测光照，如通过人工标记人脸图像中的双眼位置，建立坐标系，将不同人脸图像在该双眼坐标系下位置相同的采样点作为同一几何对应点，从而根据每个几何对应点在不同人脸图像中的亮度检测光照，但是该方法需要利用三维人脸模型确定基准光源图像，由于不同人脸图像的形状会发生相应改变，此时三维人脸模型会受到不同人脸图像的人脸形状的限制，根据基准光源图像确定的几何对应点存在一定的误差，使得光照检测存在较大误差。
发明内容
本发明实施例提供了一种人脸图像的光照检测方法、装置、设备和存储介质，简化人脸图像中光照检测操作，提高光照检测的准确性。
第一方面，本发明实施例提供了一种人脸图像的光照检测方法，该方法包括：
获取待检测的人脸图像以及三维人脸网格模板；
根据所述人脸图像对所述三维人脸网格模板进行形变，得到重建的人脸网格模型；
根据所述三维人脸网格模板中的关键特征点在重建的人脸网格模型中的形变位置，确定所述关键特征点在所述人脸图像中对应的特征点的亮度；
根据所述关键特征点的预设亮度与光照的对应关系，以及，所述关键特征点在所述人脸图像中对应的特征点的亮度，确定所述人脸图像的光照信息。
进一步的，在获取待检测的人脸图像以及三维人脸网格模板之前，还包括：
获取历史人脸图像以及所述三维人脸网格模板，并确定所述历史人脸图像的历史光照信息；
根据所述历史人脸图像对所述三维人脸网格模板进行形变，得到重建的历史人脸网格模型；
根据所述三维人脸网格模板中的关键特征点在重建的历史人脸网格模型中的形变位置，确定所述关键特征点在所述历史人脸图像中对应的特征点的亮度；
根据所述历史人脸图像的历史光照信息，以及所述关键特征点在所述历史人脸图像中对应的特征点的亮度，确定所述关键特征点的预设亮度与光照的对应关系。
进一步的，根据所述历史人脸图像的历史光照信息，以及所述关键特征点在所述历史人脸图像中对应的特征点的亮度，确定所述关键特征点的预设亮度与光照的对应关系，包括：
针对每一历史人脸图像，根据该历史人脸图像的历史光照信息，以及所述关键特征点在该历史人脸图像中对应的特征点的亮度，确定所述关键特征点的初始亮度与光照的对应关系；
采用最小二乘法对各所述历史人脸图像对应的所述关键特征点的初始亮度与光照的对应关系进行处理，得到所述关键特征点的预设亮度与光照的对应关系。
进一步的，根据所述三维人脸网格模板中的关键特征点在重建的人脸网格模型中的形变位置，确定所述关键特征点在所述人脸图像中对应的特征点的亮度，包括：
根据所述三维人脸网格模板中的关键特征点在重建的人脸网格模型中的形变位置，确定所述关键特征点在所述人脸图像中的映射位置；
获取所述人脸图像中该映射位置处对应的特征点的亮度，作为所述关键特征点在所述人脸图像中对应的特征点的亮度。
进一步的，在根据所述三维人脸网格模板中的关键特征点在重建的人脸网格模型中的形变位置，确定所述关键特征点在所述人脸图像中的映射位置之前，还包括：
获取所述三维人脸网格模板中的特征标记点，作为所述关键特征点。
进一步的，所述人脸图像为灰度图像，所述关键特征点在所述人脸图像中对应的特征点的亮度为该特征点的像素灰度值。
进一步的，根据所述关键特征点的预设亮度与光照的对应关系，以及，所述关键特征点在所述人脸图像中对应的特征点的亮度，确定所述人脸图像的光照信息，包括：
根据所述关键特征点的预设亮度与光照的对应关系，以及，所述关键特征点在所述人脸图像中对应的特征点的亮度，确定所述人脸图像的球谐光照系数；
根据所述球谐光照系数确定所述人脸图像的光照信息。
第二方面，本发明实施例提供了一种人脸图像的光照检测装置，该装置包括：
图像获取模块，用于获取待检测的人脸图像以及三维人脸网格模板；
人脸重建模块，用于根据所述人脸图像对所述三维人脸网格模板进行形变，得到重建的人脸网格模型；
亮度确定模块，用于根据所述三维人脸网格模板中的关键特征点在重建的人脸网格模型中的形变位置，确定所述关键特征点在所述人脸图像中对应的特征点的亮度；
光照信息确定模块，用于根据所述关键特征点的预设亮度与光照的对应关系，以及，所述关键特征点在所述人脸图像中对应的特征点的亮度，确定所述人脸图像的光照信息。
进一步的，所述人脸图像的光照检测装置，还包括：
历史图像获取模块，用于获取历史人脸图像以及所述三维人脸网格模板，并确定所述历史人脸图像的历史光照信息；
历史人脸重建模块，用于根据所述历史人脸图像对所述三维人脸网格模板进行形变，得到重建的历史人脸网格模型；
历史亮度确定模块，用于根据所述三维人脸网格模板中的关键特征点在重建的历史人脸网格模型中的形变位置，确定所述关键特征点在所述历史人脸图像中对应的特征点的亮度；
关系确定模块，用于根据所述历史人脸图像的历史光照信息，以及所述关键特征点在所述历史人脸图像中对应的特征点的亮度，确定所述关键特征点的预设亮度与光照的对应关系。
进一步的，所述关系确定模块，包括：
初始关系确定单元，用于针对每一历史人脸图像，根据该历史人脸图像的历史光照信息，以及所述关键特征点在该历史人脸图像中对应的特征点的亮度，确定所述关键特征点的初始亮度与光照的对应关系；
预设关系确定单元，用于采用最小二乘法对各所述历史人脸图像对应的所述关键特征点的初始亮度与光照的对应关系进行处理，得到所述关键特征点的预设亮度与光照的对应关系。
进一步的，所述亮度确定模块，包括：
映射位置确定单元，用于根据所述三维人脸网格模板中的关键特征点在重建的人脸网格模型中的形变位置，确定所述关键特征点在所述人脸图像中的映射位置；
亮度确定单元，用于获取所述人脸图像中该映射位置处对应的特征点的亮度，作为所述关键特征点在所述人脸图像中对应的特征点的亮度。
进一步的，所述人脸图像的光照检测装置，还包括：
关键特征点获取模块，用于获取所述三维人脸网格模板中的特征标记点，作为所述关键特征点。
进一步的，所述光照信息确定模块，包括：
系数确定单元，用于根据所述关键特征点的预设亮度与光照的对应关系，以及，所述关键特征点在所述人脸图像中对应的特征点的亮度，确定所述人脸图像的球谐光照系数；
光照信息确定单元，用于根据所述球谐光照系数确定所述人脸图像的光照信息。
第三方面，本发明实施例提供了一种设备，该设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例中所述的人脸图像的光照检测方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例中所述的人脸图像的光照检测方法。
本发明实施例提供了一种人脸图像的光照检测方法、装置、设备和存储介质，根据待检测的人脸图像对三维人脸网格模型进行形变，得到重建的人脸网格模型，根据关键特征点在重建的人脸网格模型中的形变位置，确定该关键特征点在人脸图像中对应的特征点的亮度，进而根据该亮度以及预设亮度与光照的对应关系，确定人脸图像的光照信息，无需执行繁重的图像获取过程，且人脸模型与人脸图像的位置匹配度较高，解决了现有技术中由于受到不同人脸图像的人脸形状的限制，通过三维人脸模型进行光照检测存在较大误差的问题，简化了人脸图像中光照检测操作，提高了光照检测的检测效率和准确性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1A为本发明实施例一提供的一种人脸图像的光照检测方法的流程图；
图1B为本发明实施例一提供的方法中三维人脸网格模板的示意图；
图2为本发明实施例二提供的方法中关键特征点的预设亮度和光照的对应关系的预先确定过程的原理示意图；
图3为本发明实施例三提供的人脸图像的光照检测过程的原理示意图；
图4为本发明实施例四提供的一种人脸图像的光照检测装置的结构示意图；
图5为本发明实施例五提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
本发明实施例主要针对现有技术中由于三维人脸模型会受到不同人脸图像中人脸形状的限制，因此根据基准光源图像确定的关键特征点在不同人脸图像中存在一定的误差，使得光照检测存在较大误差的问题，通过可形变的三维网格人脸模板重建人脸图像对应的人脸网格模型，根据关键特征点在重建的人脸网格模型中的形变位置，确定人脸图像中对应特征点的亮度，从而根据该亮度和预设亮度与光照的对应关系，得到人脸图像的光照信息，解决了现有技术中通过三维人脸模型进行光照检测存在较大误差的问题，提高了光照检测的检测效率和准确性。
具体的，本发明实施例中的人脸图像的光照检测方法可具体应用于实际的AR(Augmented Reality，增强现实)类产品中，根据在人脸图像中检测出的光照信息，为对应AR类产品中的虚拟对象增加相同的光照强度，使得虚拟对象能够无缝地嵌入到真实的人脸图像中，从而给予用户一种虚拟对象是真实存在的感觉，提高用户对于AR类产品的使用体验，如具体实现一些诸如试戴帽子、眼镜等虚拟对象的AR类产品，同时还有助于提高人脸图像中的人脸识别和人脸跟踪等的识别跟踪效果。
实施例一
图1A为本发明实施例一提供的一种人脸图像的光照检测方法的流程图，本实施例可适用于任一种通过重建人脸网格模型来检测人脸图像的光照信息处理设备中。本发明实施例的方案可以适用于如何检测人脸图像中的光照信息的情况中。本实施例提供的一种人脸图像的光照检测方法可以由本发明实施例提供的人脸图像的光照检测装置来执行，该装置可以通过软件和/或硬件的方式来实现，并集成在执行本方法的设备中，该设备可以是具备图像处理能力的任一种处理设备。
具体的，参考图1A，该方法可以包括如下步骤：
S110，获取待检测的人脸图像以及三维人脸网格模板。
其中，人脸图像是采集的包含有人脸画面的图像数据，由于本实施例主要应用于对AR类产品中采集的人脸图像的光照检测，从而使该AR类产品中的虚拟对象能够无缝嵌入到真实的人脸图像中，因此可以通过AR类产品中配置的摄像头等图像采集器来采集当前的人脸图像。具体的，本实施例中在对待检测的人脸图像进行处理时，为了加快人脸图像的处理效率，需要减少人脸图像中包含的像素信息，此时要求该人脸图像为灰度图像，若初始采集的人脸图像为彩色图像，还需要对该彩色图像进行灰度化处理，得到本实施例中需要的待检测的人脸图像。
此外，三维人脸网格模板为标准人脸形状的网格模型。具体的，三维人脸网格模板是根据标准的人脸形状预先创建的添加有网格分布示意的三维人脸模型；在三维人脸网格模板的创建过程中，可以根据选定的模型像素分辨率以及网格形状不同，而创建不同精度或者不同网格形状的三维人脸网格模板，也就是使创建的三维人脸网格模板中的网格分布密集程度或者网格分布形状不同，如图1B中所示的三维人脸网格模板，该三维人脸网格模板由四边形的网格组成，此外还可以根据需求创建由三角形的网格组成的三维人脸网格模板。本实施例在检测人脸图像的光照信息之前，会在执行人脸图像的光照检测方法的处理设备中存储一个预先创建好的三维人脸网格模板，由于现有的三维人脸模型会受到不同人脸图像中人脸形状的限制，使得光照检测存在较大的误差，本实施例中通过三维人脸网格模板与包含不同人脸形状的人脸图像进行匹配，能够根据人脸形状进行相应的形变，从而避免不同人脸图像中人脸形状的限制，后续针对不同待检测的人脸图像，均可以通过该三维人脸网格模板与其匹配，得到重建的人脸网格模型。
可选的，本实施例在对人脸图像中的光照信息进行检测时，首先需要获取当前采集的需要进行光照信息检测的人脸图像，以及预先存储的三维人脸网格模板，也就是标准人脸的网格模型，通过该三维人脸网格模板与当前待检测的人脸图像进行匹配，能够得到重建的人脸网格模型。本实施例中针对同一个三维人脸网格模板进行处理，降低了根据不同人脸图像重建对应的人脸网格模型过程中存在的噪声和和缺损干扰，而且解决了通过不同的人脸图像直接生成的网格模型不具备一致拓扑结构的问题。
S120，根据人脸图像对三维人脸网格模板进行形变，得到重建的人脸网格模型。
可选的，在得到本次待检测的人脸图像以及预先存储的三维人脸网格模板时，为了避免不同人脸图像中人脸形状的限制，可以根据获取的人脸图像中的人脸形状对该三维人脸网格模板进行形变，使得形变后的三维人脸网格模板中的人脸姿态与人脸图像中的人脸姿态近似相同，从而将形变后的三维人脸网格模板作为根据该人脸图像重建的人脸网格模型，此时对于不同的人脸图像，可以对应重建一个唯一的由三维人脸网格模板中的网格进行相应形变得到的人脸网格模型，该重建的人脸网格模型与三维人脸网格模板中具有相同的网格点。
具体的，本实施例中可以通过分层次提取三维人脸网格模板中的局部特征点，并依次根据分层次提取的局部特征点在人脸图像中的姿态匹配位置，对三维人脸网格模板进行形变，得到目标人脸网格模型；进而获取目标人脸网格模型中的全局特征点，并根据全局特征点在人脸图像中的姿态匹配位置，再次对目标人脸网格模型进行形变，得到重建的人脸网格模型。
其中，特征点为模型中能够有效表示人脸的皮肤特征的像素点，由于人脸中的皮肤点对于不同光照作用下的亮度变化效果比较明显，因此本实施例中的特征点是指能够表示出三维人脸网格模板中皮肤点所对应的像素点，也就是三维人脸网格模板中所分布的各个网格顶点或者网格面片中心点，如四边形网格的中心点。局部特征点是三维人脸网格模板中包含的部分特征点。同时，姿态匹配位置为根据各个特征点所表示的人脸目标部位在三维人脸网格模板中的位置，确定的该目标部位对应位于人脸图像中的匹配位置；例如，表示三维人脸网格模板中的脸颊的特征点在人脸图像中的姿态匹配位置为该人脸图像中脸颊所在位置。全局特征点为目标人脸网格模型中所分布的全部网格顶点或者网格面片中心点。具体的，本实施例通过分层次对三维人脸网格模板中的局部特征点进行提取，并依次确定分层次提取的各个局部特征点在人脸图像中的姿态匹配位置，根据对应的姿态匹配位置依次控制相应的三维人脸网格模板进行形变，得到与人脸图像匹配的目标人脸网格模型；同时进一步获取目标人脸网格模型中的全局特征点，并根据各个全局特征点在人脸图像中的姿态匹配位置，参照上述提及的具体形变过程，再次对目标人脸网格模型进行形变，以保证重建的人脸网格模型足够平滑的同时，也能够尽量重建出更多的细节特征，优化得到与人脸图像更加相似的人脸网格模型，从而得到重建的人脸网格模型。此外，在三维人脸网格模板的形变过程中，除局部特征点之外的其他特征点在随着三维人脸网格模板的形变进行移动时，会满足一定的约束条件，保证三维人脸网格模板在形变过程中各个网格顶点移动的一致性。
S130，根据三维人脸网格模板中的关键特征点在重建的人脸网格模型中的形变位置，确定关键特征点在人脸图像中对应的特征点的亮度。
其中，关键特征点是在三维人脸网格模板中预先选取出的能够代表一定人脸图像的部位信息的局部特征点，与三维人脸网格模板在上述形变过程中的选取的局部特征点可以不同，也可以相同，对此不作限定，本实施例中的关键特征点优选的是在全部网格顶点或者网格面片中心点中可以明确表示三维人脸网格模板中除嘴唇、眼睛等五官点之外的脸颊或下巴等皮肤点位置的具有一定几何对应位置意义的特征点。特征点的亮度是指能够表示人脸图像中的各个特征点所在位置的色调信息，也就是该位置的图像明暗的参数，本实施例中的人脸图像为灰度图像，因此关键特征点在人脸图像中对应的特征点的亮度为该特征点的像素灰度值。
可选的，在根据人脸图像对三维人脸网格模板进行形变，得到重建的人脸网格模型时，首先可以在三维人脸网格模板中确定出预先选取的关键特征点，在三维人脸网格模板进行形变的过程中，该关键特征点也会随着三维人脸网格模板的形变进行相应的移动，并满足一定的约束条件，保证三维人脸网格模板在形变过程中各个特征点移动的一致性。在对检测人脸图像中的光照信息时，还需要预先获取该人脸图像中对应特征点的亮度，此时在确定三维人脸网格模板中的关键特征点，且该三维人脸网格模板进行形变，得到重建的人脸网格模型时，可以进一步判断出该关键特征点随着三维人脸网格模板的形变进行相应移动后，在重建的人脸网格模型中对应的形变位置，由于重建的人脸网格模型与待检测的人脸图像中的人脸姿态近似相同，因此可以根据关键特征点在重建的人脸网格模型中对应的形变位置，确定出该关键特征点在人脸图像中相同位置的特征点，作为对应的特征点，从而获取该对应的特征点的亮度，以便后续根据该亮度以及该关键特征点的预设亮度与光照的对应关系，确定人脸图像的光照信息。
S140，根据关键特征点的预设亮度与光照的对应关系，以及，关键特征点在人脸图像中对应的特征点的亮度，确定人脸图像的光照信息。
其中，预设亮度与光照的对应关系是指人脸图像中特征点的亮度与该人脸图像的光照信息之间存在的对应变换关系，本实施例中可以通过大量已经确定光照信息的历史人脸图像，以及三维人脸网格模板中的关键特征点在各个历史人脸图像中对应的特征点的亮度，来训练得到各个关键特征点的预设亮度与光照的对应关系。光照信息是指在采集待检测的人脸图像的当前时刻所对应的真实环境光的光照情况，可以包括该人脸图像采集时对应的真实光照方向。
可选的，本实施例在得到三维人脸网格模板中的关键特征点在人脸图像中对应的特征点的亮度时，可以获取为各个关键特征点预先确定的预设亮度与光照的对应关系，并根据该预设亮度与光照的对应关系，对各个关键特征点在人脸图像中对应的特征点的亮度进行变换，从而得到该人脸图像在采集时真实环境中的光照信息；后续可以通过该光照信息为对应AR类产品中的虚拟对象增加相同的光照强度，也就是对虚拟对象进行相同的光照渲染，使得虚拟对象能够无缝地嵌入到真实的人脸图像中，从而给予用户一种虚拟对象是真实存在的感觉，提高用户对于AR类产品的使用体验。
本实施例提供的技术方案，根据待检测的人脸图像对三维人脸网格模型进行形变，得到重建的人脸网格模型，根据关键特征点在重建的人脸网格模型中的形变位置，确定该关键特征点在人脸图像中对应的特征点的亮度，进而根据该亮度以及预设亮度与光照的对应关系，确定人脸图像的光照信息，无需执行繁重的图像获取过程，且人脸模型与人脸图像的位置匹配度较高，解决了现有技术中由于受到不同人脸图像的人脸形状的限制，通过三维人脸模型进行光照检测存在较大误差的问题，简化了人脸图像中光照检测操作，提高了光照检测的检测效率和准确性。
实施例二
图2为本发明实施例二提供的方法中关键特征点的预设亮度和光照的对应关系的预先确定过程的原理示意图。本实施例是在上述实施例的基础上进行优化。具体的，本实施例主要通过大量历史人脸图像以及三维人脸网格模板，对该三维人脸网格模板中的各个关键特征点的预设亮度和光照的对应关系的训练过程进行详细的解释说明。
可选的，本实施例中可以具体包括如下步骤：
S210，获取历史人脸图像以及三维人脸网格模板，并确定历史人脸图像的历史光照信息。
其中，历史人脸图像是已经确定图像光照信息的包含人脸画面的图像，本实施例中在对三维人脸网格模板中关键特征点的预设亮度与光照的对应关系进行确定之前，首先需要采集大量的已经明确光照信息的历史人脸图像，构建对应的训练集。
具体的，本实施例执行对各关键特征点的预设亮度与光照的对应关系的训练过程时，可以在该训练集中获取大量的历史人脸图像，以及预先存储的三维人脸网格模板，并确定各个历史人脸图像的历史光照信息；该历史光照信息中包括历史人脸图像的光照方向。
S220，根据历史人脸图像对三维人脸网格模板进行形变，得到重建的历史人脸网格模型。
可选的，为了避免由于不同历史人脸图像中人脸形状的限制，而造成三维人脸网格模板中的关键特征点在不同历史人脸图像中对应的特征点所表示的人脸部位出现误差，使得光照检测结果存在较大误差的问题，同时由于后续需要确定三维人脸网格模板中的关键特征点在历史人脸图像中对应的特征点的亮度，此时本实施例中可以通过实施例一中描述的人脸网格模型的重建过程，相应的根据训练集中获取的各个历史人脸图像，分别对预先存储的同一个三维人脸网格模板进行形变，得到各历史人脸图像对应重建的各个历史人脸网格模型，使得各个历史人脸网格模型具备一致的网格拓扑结构，也就保证了关键特征点在不同历史人脸图像中对应的特征点所表示的人脸部位的一致性。
S230，根据三维人脸网格模板中的关键特征点在重建的历史人脸网格模型中的形变位置，确定关键特征点在历史人脸图像中对应的特征点的亮度。
可选的，在得到各个历史人脸图像对应重建的不同历史人脸网格模型时，由于三维人脸网格模板中的会随着三维人脸网格模板的形变进行相应的移动，此时可以确定三维人脸网格模板中的关键特征点在各个历史人脸图像对应重建的不同历史人脸网格模型中的形变位置，从而根据该关键特征点在各个重建的历史人脸网格模型中对应的形变位置，确定出该关键特征点在各个历史人脸图像中相同位置处的特征点，作为对应的特征点，从而获取在各个历史人脸图像中该对应的特征点的亮度，以便后续根据该亮度以及预先获取的各个历史人脸图像的光照信息，确定各个关键特征点的预设亮度与光照的对应关系。
S240，根据历史人脸图像的历史光照信息，以及关键特征点在历史人脸图像中对应的特征点的亮度，确定关键特征点的预设亮度与光照的对应关系。
可选的，得到关键特征点在历史人脸图像中对应的特征点的亮度，同时已经确定各个历史人脸图像的光照信息，此时可以针对每一关键特征点，均根据该关键特征点在各个历史人脸图像中对应的特征点的亮度，以及对应的历史人脸图像的光照信息，确定出该关键特征点的预设亮度与光照的对应关系；依照相同的方式，确定三维人脸网格模板中每个关键特征点的预设亮度与光照的对应关系。
可选的，本实施例中在对于关键特征点的预设亮度与光照的对应关系进行确定时，根据历史人脸图像的历史光照信息，以及关键特征点在历史人脸图像中对应的特征点的亮度，确定关键特征点的预设亮度与光照的对应关系，可以具体包括：
S241，针对每一历史人脸图像，根据该历史人脸图像的历史光照信息，以及关键特征点在该历史人脸图像中对应的特征点的亮度，确定关键特征点的初始亮度与光照的对应关系。
具体的，由于训练集中包括大量历史人脸图像，此时在对关键特征点的预设亮度与光照的对应关系进行确定时，需要对每一历史人脸图像均执行相同的处理操作。本实施例中针对每一历史人脸图像，在获取到三维人脸网格模板中的各个关键特征点在该历史人脸图像中对应的特征点的亮度时，可以根据该历史人脸图像的光照信息，以及各个关键特征点在该历史人脸图像中对应的特征点的亮度，确定出该历史人脸图像对应的各个关键特征点的初始亮度与光照的对应关系。
示例性的，本实施例中的光照信息可以通过球谐光照的方式来表示，球谐光照是一种由对应维度下的光照特征值组成的、能够表示相应光照信息的向量。此时三维人脸网格模板中的关键特征点xj，j为关键特征点的序号，该关键特征点xj在历史人脸图像i中对应的特征点的亮度为Ij,i，此时该历史人脸图像对应的初始亮度与光照的对应关系通过球谐光照表示为
Figure BDA0001928225050000161
其中，
Figure BDA0001928225050000162
为该历史人脸图像中对应的各个关键特征点的球谐光照表示。此时
Figure BDA0001928225050000163
其中，
Figure BDA0001928225050000164
为该历史人脸图像的光照信息中的光照方向球坐标；同时，
Figure BDA0001928225050000171
Figure BDA0001928225050000172
此外，
Figure BDA0001928225050000173
是通过如下方式递归计算得到的：
1)
Figure BDA0001928225050000174
其中，
Figure BDA0001928225050000175
x！！为小于x的所有奇数的乘积；
2)
Figure BDA0001928225050000176
3)
Figure BDA0001928225050000177
其中，L为球谐光照表示的度，可以选用任一整数值，本实施例对此不作限定。
此时，在得到每个历史人脸图像的光照信息中的光照方向球坐标
Figure BDA0001928225050000178
可以依据上述过程，得到各个该历史人脸图像的球谐光照表示，此时根据下述公式：
Figure BDA0001928225050000179
可以得到每个历史人脸图像对应的关键特征点的初始亮度与光照的对应关系。
S242，采用最小二乘法对各历史人脸图像对应的关键特征点的初始亮度与光照的对应关系进行处理，得到关键特征点的预设亮度与光照的对应关系。
可选的，在得到每一关键特征点在各个历史人脸图像对应的初始亮度与光照的对应关系，也就是上述公式中的
Figure BDA00019282250500001710
时，此时可以通过最小二乘法对各个历史人脸图像对应的初始亮度与光照的对应关系进行处理，也就是对得到的每个关键特征点在各个历史人脸图像中对应的
Figure BDA0001928225050000181
进行处理，通过最小化误差的平方和寻找各个关键特征点的最佳亮度与光照的对应关系的匹配，从而得到各个关键特征点的预设亮度与光照的对应关系，使得针对不同的历史人脸图像求得的初始亮度与光照的对应关系与该预设亮度与光照的对应关系之间误差的平方和为最小。
本实施例提供的技术方案，根据大量的历史人脸图像对三维人脸网格模板进行形变，得到各个历史人脸图像对应重建的历史人脸网格模型，从而根据各个历史人脸图像的历史光照信息，以及关键特征点在历史人脸图像中对应的特征点的亮度，得到各个关键特征点的预设亮度和光照的对应关系，采用数据驱动的方式预先获取大量历史人脸图像，提高了关键特征点的预设亮度和光照的对应关系的准确性。
实施例三
图3为本发明实施例三提供的人脸图像的光照检测过程的原理示意图。本实施例是在上述实施例的基础上进行优化。具体的，本实施例中主要对于人脸图像中的光照检测过程进行详细的解释说明。
可选的，本实施例中可以包括如下步骤：
S310，获取待检测的人脸图像以及三维人脸网格模板。
S320，根据人脸图像对三维人脸网格模板进行形变，得到重建的人脸网格模型。
S330，获取三维人脸网格模板中的特征标记点，作为关键特征点。
具体的，由于三维人脸网格模板中存在预先设定的关键特征点，本实施例在根据人脸图像对三维人脸网格模板进行形变，得到重建的人脸网格模型时，首先在三维人脸网格模板中确定出预先设定的关键特征点，由于本实施例通过人工在三维人脸网格模板中标注出对应的特征点，此时可以在三维人脸网格模板中获取对应的特征标记点，作为预先设定的关键特征点。
S340，根据三维人脸网格模板中的关键特征点在重建的人脸网格模型中的形变位置，确定关键特征点在人脸图像中的映射位置。
可选的，在三维人脸网格模板中确定出关键特征点时，在三维人脸网格模板进行形变的过程中，该关键特征点也会随着三维人脸网格模板的形变进行相应的移动，并满足一定的约束条件，保证三维人脸网格模板在形变过程中各个特征点移动的一致性；此时可以确定出该关键特征点在随着三维人脸网格模板的形变进行移动后，在重建的人脸网格模型中的形变位置，由于重建的人脸网格模型与待检测的人脸图像中的人脸姿态近似相同，此时可以根据该形变位置确定出该关键特征点移动后在人脸图像中的映射位置。
S350，获取人脸图像中该映射位置处对应的特征点的亮度，作为关键特征点在人脸图像中对应的特征点的亮度。
具体的，在确定关键特征点随着三维人脸网格模板的形变进行移动后，在人脸图像中的映射位置时，可以直接获取人脸图像中该映射位置处对应的特征点，作为该关键特征点在人脸图像中对应的特征点，此时直接获取人脸图像中该映射位置处对应的特征点的亮度，则可以作为该关键特征点在人脸图像中对应的特征点的亮度。
S360，根据关键特征点的预设亮度与光照的对应关系，以及，关键特征点在人脸图像中对应的特征点的亮度，确定人脸图像的球谐光照系数。
可选的，本实施例中人脸图像的光照信息可以通过球谐光照的方式来表示，此时在得到各个关键特征点在人脸图像中对应的特征点的亮度时，可以获取预先确定的各关键特征点的预设亮度与光照的对应关系，从而根据下述公式确定出人脸图像的球谐光照系数：
Figure BDA0001928225050000201
其中，
Figure BDA0001928225050000202
为关键特征点的预设亮度与光照的对应关系，Ij为关键特征点在人脸图像中对应的特征点的亮度，
Figure BDA0001928225050000203
为人脸图像的球谐光照系数。
S370，根据球谐光照系数确定人脸图像的光照信息。
可选的，在得到人脸图像的球谐光照系数时，可以通过该球谐光照系数确定人脸图像的光照信息，如在
Figure BDA0001928225050000204
中选取出
Figure BDA0001928225050000205
为人脸图像的光照方向。
本实施例提供的技术方案，根据待检测的人脸图像对三维人脸网格模型进行形变，得到重建的人脸网格模型，根据关键特征点在重建的人脸网格模型中的形变位置，确定该关键特征点在人脸图像中对应的特征点的亮度，进而根据该亮度以及预设亮度与光照的对应关系，确定人脸图像的光照信息，无需执行繁重的图像获取过程，且人脸模型与人脸图像的位置匹配度较高，解决了现有技术中由于受到不同人脸图像的人脸形状的限制，通过三维人脸模型进行光照检测存在较大误差的问题，简化了人脸图像中光照检测操作，提高了光照检测的检测效率和准确性。
实施例四
图4为本发明实施例四提供的一种人脸图像的光照检测装置的结构示意图，具体的，如图4所示，该装置可以包括：
图像获取模块410，用于获取待检测的人脸图像以及三维人脸网格模板；
人脸重建模块420，用于根据人脸图像对三维人脸网格模板进行形变，得到重建的人脸网格模型；
亮度确定模块430，用于根据三维人脸网格模板中的关键特征点在重建的人脸网格模型中的形变位置，确定关键特征点在人脸图像中对应的特征点的亮度；
光照信息确定模块440，用于根据关键特征点的预设亮度与光照的对应关系，以及，关键特征点在人脸图像中对应的特征点的亮度，确定人脸图像的光照信息。
本实施例提供的技术方案，根据待检测的人脸图像对三维人脸网格模型进行形变，得到重建的人脸网格模型，根据关键特征点在重建的人脸网格模型中的形变位置，确定该关键特征点在人脸图像中对应的特征点的亮度，进而根据该亮度以及预设亮度与光照的对应关系，确定人脸图像的光照信息，无需执行繁重的图像获取过程，且人脸模型与人脸图像的位置匹配度较高，解决了现有技术中由于受到不同人脸图像的人脸形状的限制，通过三维人脸模型进行光照检测存在较大误差的问题，简化了人脸图像中光照检测操作，提高了光照检测的检测效率和准确性。
进一步的，上述人脸图像的光照检测装置，还可以包括：
历史图像获取模块，用于获取历史人脸图像以及三维人脸网格模板，并确定历史人脸图像的历史光照信息；
历史人脸重建模块，用于根据历史人脸图像对三维人脸网格模板进行形变，得到重建的历史人脸网格模型；
历史亮度确定模块，用于根据三维人脸网格模板中的关键特征点在重建的历史人脸网格模型中的形变位置，确定关键特征点在历史人脸图像中对应的特征点的亮度；
关系确定模块，用于根据历史人脸图像的历史光照信息，以及关键特征点在历史人脸图像中对应的特征点的亮度，确定关键特征点的预设亮度与光照的对应关系。
进一步的，上述关系确定模块，可以包括：
初始关系确定单元，用于针对每一历史人脸图像，根据该历史人脸图像的历史光照信息，以及关键特征点在该历史人脸图像中对应的特征点的亮度，确定关键特征点的初始亮度与光照的对应关系；
预设关系确定单元，用于采用最小二乘法对各历史人脸图像对应的关键特征点的初始亮度与光照的对应关系进行处理，得到关键特征点的预设亮度与光照的对应关系。
进一步的，上述亮度确定模块430，可以包括：
映射位置确定单元，用于根据三维人脸网格模板中的关键特征点在重建的人脸网格模型中的形变位置，确定关键特征点在人脸图像中的映射位置；
亮度确定单元，用于获取人脸图像中该映射位置处对应的特征点的亮度，作为关键特征点在人脸图像中对应的特征点的亮度。
进一步的，上述人脸图像的光照检测装置，还可以包括：
关键特征点获取模块，用于获取三维人脸网格模板中的特征标记点，作为关键特征点。
进一步的，上述光照信息确定模块440，可以包括：
系数确定单元，用于根据关键特征点的预设亮度与光照的对应关系，以及，关键特征点在人脸图像中对应的特征点的亮度，确定人脸图像的球谐光照系数；
光照信息确定单元，用于根据球谐光照系数确定人脸图像的光照信息。
本实施例提供的人脸图像的光照检测装置可适用于上述任意实施例提供的人脸图像的光照检测方法，具备相应的功能和有益效果。
实施例五
图5为本发明实施例五提供的一种设备的结构示意图，如图5所示，该设备包括处理器50、存储装置51和通信装置52；设备中处理器50的数量可以是一个或多个，图5中以一个处理器50为例；设备中的处理器50、存储装置51和通信装置52可以通过总线或其他方式连接，图5中以通过总线连接为例。
存储装置51作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中提供的人脸图像的光照检测方法对应的程序指令/模块。处理器50通过运行存储在存储装置51中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述人脸图像的光照检测方法。
存储装置51可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置51可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置51可进一步包括相对于处理器50远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信装置52可用于实现设备间的网络连接或者移动数据连接。
本实施例提供的一种设备可用于执行上述任意实施例提供的人脸图像的光照检测方法，具备相应的功能和有益效果。
实施例六
本发明实施例六还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可实现上述任意实施例中的人脸图像的光照检测方法。该方法具体可以包括：
获取待检测的人脸图像以及三维人脸网格模板；
根据人脸图像对三维人脸网格模板进行形变，得到重建的人脸网格模型；
根据三维人脸网格模板中的关键特征点在重建的人脸网格模型中的形变位置，确定关键特征点在人脸图像中对应的特征点的亮度；
根据关键特征点的预设亮度与光照的对应关系，以及，关键特征点在人脸图像中对应的特征点的亮度，确定人脸图像的光照信息。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的人脸图像的光照检测方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述人脸图像的光照检测装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种人脸图像的光照检测方法，其特征在于，包括：
获取待检测的人脸图像以及三维人脸网格模板；
根据所述人脸图像对所述三维人脸网格模板进行形变，得到重建的人脸网格模型；
根据所述三维人脸网格模板中的关键特征点在重建的人脸网格模型中的形变位置，确定所述关键特征点在所述人脸图像中对应的特征点的亮度；
根据所述关键特征点的预设亮度与光照的对应关系，以及，所述关键特征点在所述人脸图像中对应的特征点的亮度，确定所述人脸图像的光照信息。
2.根据权利要求1所述的方法，其特征在于，在获取待检测的人脸图像以及三维人脸网格模板之前，还包括：
获取历史人脸图像以及所述三维人脸网格模板，并确定所述历史人脸图像的历史光照信息；
根据所述历史人脸图像对所述三维人脸网格模板进行形变，得到重建的历史人脸网格模型；
根据所述三维人脸网格模板中的关键特征点在重建的历史人脸网格模型中的形变位置，确定所述关键特征点在所述历史人脸图像中对应的特征点的亮度；
根据所述历史人脸图像的历史光照信息，以及所述关键特征点在所述历史人脸图像中对应的特征点的亮度，确定所述关键特征点的预设亮度与光照的对应关系。
3.根据权利要求2所述的方法，其特征在于，根据所述历史人脸图像的历史光照信息，以及所述关键特征点在所述历史人脸图像中对应的特征点的亮度，确定所述关键特征点的预设亮度与光照的对应关系，包括：
针对每一历史人脸图像，根据该历史人脸图像的历史光照信息，以及所述关键特征点在该历史人脸图像中对应的特征点的亮度，确定所述关键特征点的初始亮度与光照的对应关系；
采用最小二乘法对各所述历史人脸图像对应的所述关键特征点的初始亮度与光照的对应关系进行处理，得到所述关键特征点的预设亮度与光照的对应关系。
4.根据权利要求1所述的方法，其特征在于，根据所述三维人脸网格模板中的关键特征点在重建的人脸网格模型中的形变位置，确定所述关键特征点在所述人脸图像中对应的特征点的亮度，包括：
根据所述三维人脸网格模板中的关键特征点在重建的人脸网格模型中的形变位置，确定所述关键特征点在所述人脸图像中的映射位置；
获取所述人脸图像中该映射位置处对应的特征点的亮度，作为所述关键特征点在所述人脸图像中对应的特征点的亮度。
5.根据权利要求4所述的方法，其特征在于，在根据所述三维人脸网格模板中的关键特征点在重建的人脸网格模型中的形变位置，确定所述关键特征点在所述人脸图像中的映射位置之前，还包括：
获取所述三维人脸网格模板中的特征标记点，作为所述关键特征点。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述人脸图像为灰度图像，所述关键特征点在所述人脸图像中对应的特征点的亮度为该特征点的像素灰度值。
7.根据权利要求1至5任一项所述的方法，其特征在于，根据所述关键特征点的预设亮度与光照的对应关系，以及，所述关键特征点在所述人脸图像中对应的特征点的亮度，确定所述人脸图像的光照信息，包括：
根据所述关键特征点的预设亮度与光照的对应关系，以及，所述关键特征点在所述人脸图像中对应的特征点的亮度，确定所述人脸图像的球谐光照系数；
根据所述球谐光照系数确定所述人脸图像的光照信息。
8.一种人脸图像的光照检测装置，其特征在于，包括：
图像获取模块，用于获取待检测的人脸图像以及三维人脸网格模板；
人脸重建模块，用于根据所述人脸图像对所述三维人脸网格模板进行形变，得到重建的人脸网格模型；
亮度确定模块，用于根据所述三维人脸网格模板中的关键特征点在重建的人脸网格模型中的形变位置，确定所述关键特征点在所述人脸图像中对应的特征点的亮度；
光照信息确定模块，用于根据所述关键特征点的预设亮度与光照的对应关系，以及，所述关键特征点在所述人脸图像中对应的特征点的亮度，确定所述人脸图像的光照信息。
9.一种设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的人脸图像的光照检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的人脸图像的光照检测方法。
CN201811627209.5A 2018-12-28 2018-12-28 一种人脸图像的光照检测方法、装置、设备和存储介质 Active CN111382618B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201811627209.5A CN111382618B (zh) 2018-12-28 2018-12-28 一种人脸图像的光照检测方法、装置、设备和存储介质
SG11202106040PA SG11202106040PA (en) 2018-12-28 2019-12-04 Illumination detection method and apparatus for facial image, and device and storage medium
US17/417,003 US11908236B2 (en) 2018-12-28 2019-12-04 Illumination detection method and apparatus for face image, and device and storage medium
PCT/CN2019/123006 WO2020134925A1 (zh) 2018-12-28 2019-12-04 人脸图像的光照检测方法、装置、设备和存储介质
EP19905268.9A EP3905103A4 (en) 2018-12-28 2019-12-04 METHOD AND DEVICE FOR ILLUMINATION DETECTION FOR FACE IMAGES, AND DEVICE AND STORAGE MEDIUM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811627209.5A CN111382618B (zh) 2018-12-28 2018-12-28 一种人脸图像的光照检测方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN111382618A true CN111382618A (zh) 2020-07-07
CN111382618B CN111382618B (zh) 2021-02-05

Family

ID=71125693

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811627209.5A Active CN111382618B (zh) 2018-12-28 2018-12-28 一种人脸图像的光照检测方法、装置、设备和存储介质

Country Status (5)

Country Link
US (1) US11908236B2 (zh)
EP (1) EP3905103A4 (zh)
CN (1) CN111382618B (zh)
SG (1) SG11202106040PA (zh)
WO (1) WO2020134925A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112581518A (zh) * 2020-12-25 2021-03-30 百果园技术(新加坡)有限公司 基于三维卡通模型的眼球配准方法、装置、服务器和介质
CN112991159A (zh) * 2021-04-29 2021-06-18 南京甄视智能科技有限公司 人脸光照质量评估方法、系统、服务器与计算机可读介质
CN113205005A (zh) * 2021-04-12 2021-08-03 武汉大学 一种面向低光照低分辨率的人脸图像幻构方法
CN113298948A (zh) * 2021-05-07 2021-08-24 中国科学院深圳先进技术研究院 三维网格重建方法、装置、设备及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509345A (zh) * 2011-09-30 2012-06-20 北京航空航天大学 一种基于画家知识的肖像艺术光影效果生成方法
US20120183238A1 (en) * 2010-07-19 2012-07-19 Carnegie Mellon University Rapid 3D Face Reconstruction From a 2D Image and Methods Using Such Rapid 3D Face Reconstruction
CN104952063A (zh) * 2014-03-25 2015-09-30 Metaio有限公司 用于在真实环境的视图中表示虚拟对象的方法和系统
CN105719326A (zh) * 2016-01-19 2016-06-29 华中师范大学 一种基于单张照片的真实感人脸生成方法
CN106157372A (zh) * 2016-07-25 2016-11-23 深圳市唯特视科技有限公司 一种基于视频图像的3d人脸网格重构方法
US20170091529A1 (en) * 2015-09-29 2017-03-30 Disney Enterprises, Inc. Methods and systems of performing performance capture using an anatomically-constrained local model
US20170161942A1 (en) * 2015-12-02 2017-06-08 Samsung Electronics Co., Ltd. Method and device for processing graphics data in graphics processing unit
CN107506714A (zh) * 2017-08-16 2017-12-22 成都品果科技有限公司 一种人脸图像重光照的方法
CN107680158A (zh) * 2017-11-01 2018-02-09 长沙学院 一种基于卷积神经网络模型的三维人脸重建方法
CN107909640A (zh) * 2017-11-06 2018-04-13 清华大学 基于深度学习的人脸重光照方法及装置
CN108492373A (zh) * 2018-03-13 2018-09-04 齐鲁工业大学 一种人脸浮雕几何建模方法
CN108898665A (zh) * 2018-06-15 2018-11-27 上饶市中科院云计算中心大数据研究院 三维人脸重建方法、装置、设备及计算机可读存储介质
CN109035388A (zh) * 2018-06-28 2018-12-18 北京的卢深视科技有限公司 三维人脸模型重建方法及装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6072496A (en) * 1998-06-08 2000-06-06 Microsoft Corporation Method and system for capturing and representing 3D geometry, color and shading of facial expressions and other animated objects
US7755619B2 (en) * 2005-10-13 2010-07-13 Microsoft Corporation Automatic 3D face-modeling from video
US20070127787A1 (en) * 2005-10-24 2007-06-07 Castleman Kenneth R Face recognition system and method
CN101159015B (zh) 2007-11-08 2010-12-08 清华大学 一种二维人脸图像的识别方法
KR100914847B1 (ko) * 2007-12-15 2009-09-02 한국전자통신연구원 다시점 영상정보를 이용한 삼차원 얼굴 모델 생성방법 및장치
CN101320484B (zh) 2008-07-17 2012-01-04 清华大学 一种人脸虚图像生成的方法及一种三维人脸识别方法
TW201023092A (en) * 2008-12-02 2010-06-16 Nat Univ Tsing Hua 3D face model construction method
US9317954B2 (en) * 2013-09-23 2016-04-19 Lucasfilm Entertainment Company Ltd. Real-time performance capture with on-the-fly correctives
KR20150113751A (ko) * 2014-03-31 2015-10-08 (주)트라이큐빅스 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치
CN104915641B (zh) 2015-05-27 2018-02-02 上海交通大学 基于android平台获取人脸图像光源方位的方法
US10796480B2 (en) * 2015-08-14 2020-10-06 Metail Limited Methods of generating personalized 3D head models or 3D body models
US9858296B2 (en) * 2016-03-31 2018-01-02 Adobe Systems Incorporated Representative image selection for image management using face recognition
US10930086B2 (en) * 2016-11-01 2021-02-23 Dg Holdings, Inc. Comparative virtual asset adjustment systems and methods
US10497172B2 (en) * 2016-12-01 2019-12-03 Pinscreen, Inc. Photorealistic facial texture inference using deep neural networks
CN108898068B (zh) * 2018-06-06 2020-04-28 腾讯科技（深圳）有限公司 一种人脸图像的处理方法和装置以及计算机可读存储介质
CN109377563A (zh) * 2018-11-29 2019-02-22 广州市百果园信息技术有限公司 一种人脸网格模型的重建方法、装置、设备和存储介质
CN109919876B (zh) * 2019-03-11 2020-09-01 四川川大智胜软件股份有限公司 一种三维真脸建模方法及三维真脸照相系统
US11765332B2 (en) * 2021-03-02 2023-09-19 True Meeting Inc. Virtual 3D communications with participant viewpoint adjustment
US11663798B2 (en) * 2021-10-13 2023-05-30 Mitsubishi Electric Research Laboratories, Inc. System and method for manipulating two-dimensional (2D) images of three-dimensional (3D) objects
US11562597B1 (en) * 2022-06-22 2023-01-24 Flawless Holdings Limited Visual dubbing using synthetic models

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120183238A1 (en) * 2010-07-19 2012-07-19 Carnegie Mellon University Rapid 3D Face Reconstruction From a 2D Image and Methods Using Such Rapid 3D Face Reconstruction
CN102509345A (zh) * 2011-09-30 2012-06-20 北京航空航天大学 一种基于画家知识的肖像艺术光影效果生成方法
CN104952063A (zh) * 2014-03-25 2015-09-30 Metaio有限公司 用于在真实环境的视图中表示虚拟对象的方法和系统
US20170091529A1 (en) * 2015-09-29 2017-03-30 Disney Enterprises, Inc. Methods and systems of performing performance capture using an anatomically-constrained local model
US20170161942A1 (en) * 2015-12-02 2017-06-08 Samsung Electronics Co., Ltd. Method and device for processing graphics data in graphics processing unit
CN105719326A (zh) * 2016-01-19 2016-06-29 华中师范大学 一种基于单张照片的真实感人脸生成方法
CN106157372A (zh) * 2016-07-25 2016-11-23 深圳市唯特视科技有限公司 一种基于视频图像的3d人脸网格重构方法
CN107506714A (zh) * 2017-08-16 2017-12-22 成都品果科技有限公司 一种人脸图像重光照的方法
CN107680158A (zh) * 2017-11-01 2018-02-09 长沙学院 一种基于卷积神经网络模型的三维人脸重建方法
CN107909640A (zh) * 2017-11-06 2018-04-13 清华大学 基于深度学习的人脸重光照方法及装置
CN108492373A (zh) * 2018-03-13 2018-09-04 齐鲁工业大学 一种人脸浮雕几何建模方法
CN108898665A (zh) * 2018-06-15 2018-11-27 上饶市中科院云计算中心大数据研究院 三维人脸重建方法、装置、设备及计算机可读存储介质
CN109035388A (zh) * 2018-06-28 2018-12-18 北京的卢深视科技有限公司 三维人脸模型重建方法及装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
IRA KEMELMACHER-SHLIZERMAN等: "3D Face Reconstruction from a Single Image Using a Single Reference Face Shape", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
PHILIPP FECHTELER等: "Fast and High Resolution 3D Face Scanning", 《2007 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 *
杨克义: "基于单幅图像人脸重光照的算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
胡永利等: "基于形变模型的三维人脸重建方法及其改进", 《计算机学报》 *
董洪伟: "基于网格变形的从图像重建三维人脸", 《计算机辅助设计与图形学学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112581518A (zh) * 2020-12-25 2021-03-30 百果园技术(新加坡)有限公司 基于三维卡通模型的眼球配准方法、装置、服务器和介质
CN113205005A (zh) * 2021-04-12 2021-08-03 武汉大学 一种面向低光照低分辨率的人脸图像幻构方法
CN113205005B (zh) * 2021-04-12 2022-07-19 武汉大学 一种面向低光照低分辨率的人脸图像幻构方法
CN112991159A (zh) * 2021-04-29 2021-06-18 南京甄视智能科技有限公司 人脸光照质量评估方法、系统、服务器与计算机可读介质
CN113298948A (zh) * 2021-05-07 2021-08-24 中国科学院深圳先进技术研究院 三维网格重建方法、装置、设备及存储介质
CN113298948B (zh) * 2021-05-07 2022-08-02 中国科学院深圳先进技术研究院 三维网格重建方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US20220075992A1 (en) 2022-03-10
EP3905103A4 (en) 2022-03-02
WO2020134925A1 (zh) 2020-07-02
US11908236B2 (en) 2024-02-20
SG11202106040PA (en) 2021-07-29
EP3905103A1 (en) 2021-11-03
CN111382618B (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
US11468579B2 (en) Method and device for image processing
WO2021174939A1 (zh) 人脸图像的获取方法与系统
CN109325437B (zh) 图像处理方法、装置和系统
CN111382618B (zh) 一种人脸图像的光照检测方法、装置、设备和存储介质
CN108648269B (zh) 三维建筑物模型的单体化方法和系统
CN109003325B (zh) 一种三维重建的方法、介质、装置和计算设备
CN111243093B (zh) 三维人脸网格的生成方法、装置、设备及存储介质
CN111369655B (zh) 渲染方法、装置和终端设备
US20200151938A1 (en) Generating stylized-stroke images from source images utilizing style-transfer-neural networks with non-photorealistic-rendering
CN111127623B (zh) 模型的渲染方法、装置、存储介质及终端
CN109584327B (zh) 人脸老化模拟方法、装置以及设备
CN112639846A (zh) 一种训练深度学习模型的方法和装置
JP2023545200A (ja) パラメータ推定モデルの訓練方法、パラメータ推定モデルの訓練装置、デバイスおよび記憶媒体
CN111652123B (zh) 图像处理和图像合成方法、装置和存储介质
US10169891B2 (en) Producing three-dimensional representation based on images of a person
US9147279B1 (en) Systems and methods for merging textures
JP2019536162A (ja) シーンのポイントクラウドを表現するシステム及び方法
CN112651881B (zh) 图像合成方法、装置、设备、存储介质以及程序产品
CN110998671B (zh) 三维重建方法、装置、系统和存储介质
CN113628327A (zh) 一种头部三维重建方法及设备
CN115239861A (zh) 人脸数据增强方法、装置、计算机设备和存储介质
CN112749611B (zh) 人脸点云模型生成方法及装置、存储介质、电子设备
CN114450719A (zh) 人体模型重建方法、重建系统及存储介质
CN109461197B (zh) 一种基于球面uv和重投影的云实时绘制优化方法
CN109064533A (zh) 一种3d漫游方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211209

Address after: 31a, 15 / F, building 30, maple mall, bangrang Road, Brazil, Singapore

Patentee after: Baiguoyuan Technology (Singapore) Co.,Ltd.

Address before: 511400 floor 23-39, building B-1, Wanda Plaza North, Wanbo business district, 79 Wanbo 2nd Road, Nancun Town, Panyu District, Guangzhou City, Guangdong Province

Patentee before: GUANGZHOU BAIGUOYUAN INFORMATION TECHNOLOGY Co.,Ltd.