CN111696146A - 人脸模型重建方法、系统、图像处理系统及存储介质 - Google Patents

人脸模型重建方法、系统、图像处理系统及存储介质 Download PDF

Info

Publication number
CN111696146A
CN111696146A CN201910194220.5A CN201910194220A CN111696146A CN 111696146 A CN111696146 A CN 111696146A CN 201910194220 A CN201910194220 A CN 201910194220A CN 111696146 A CN111696146 A CN 111696146A
Authority
CN
China
Prior art keywords
low
face
light source
image
source device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910194220.5A
Other languages
English (en)
Other versions
CN111696146B (zh
Inventor
虞晶怡
陈章
陈安沛
陈欣
李实英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ShanghaiTech University
Original Assignee
ShanghaiTech University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ShanghaiTech University filed Critical ShanghaiTech University
Priority to CN201910194220.5A priority Critical patent/CN111696146B/zh
Publication of CN111696146A publication Critical patent/CN111696146A/zh
Application granted granted Critical
Publication of CN111696146B publication Critical patent/CN111696146B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明的人脸模型重建方法、系统、图像处理系统及存储介质，应用于一具有若干近光源和至少一图像采集装置的处理系统；通过获取由图像采集装置分别在每个近光源照射下所采集到的人脸图像，并从中选取阴影最少的一或多个作为样本人脸图像；依据人脸参数化模型数据库，拟合出对应样本人脸图像的粗糙人脸模型；划分粗糙人脸模型中的皮肤区域及毛发区域；利用皮肤区域对应的法向图来标定各近光源的位置及光源强度；对样本人脸图像分割出阴影与非阴影区域，并从所标定的各近光源中筛选实现非阴影区域的像素的一或多个；根据所筛选的近光源进行光度立体重建而得到精准人脸模型。系统结构简单且标定光源无需多余辅助设备，成本低廉，重建简便。

Description

人脸模型重建方法、系统、图像处理系统及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及人脸模型重建方法、系统、图像处理系统及存储介质。
背景技术
对于高精度人脸模型三维重建，主流方法是使用光度立体重建，其原理是根据物体表面对不同方向的光有不同强度的反射，而反射强度的大小与光方向和物体表面法向的夹角有关。因此，通过记录人脸在不同光照下的图片，就可以重建出高精度人脸模型。在一般的实现中，会使用大功率的远光源来产生近似平行的方向光，这就导致硬件系统较为庞大。为提高系统的便携性，需要使用近光源替代远光源。在光源标定上，远光源的标定较为简单，而近光源则需要更为复杂的标定设备，并往往需要额外的深度测量设备得到人脸在相机坐标系下的深度。在光源数量上，现有方法为了降低阴影的影响会使用比较多的光源，这样不仅使系统更为复杂昂贵也需要更长的拍摄时间，导致人脸在拍摄过程中更难以保持静止。虽然使用球谐梯度照明可以减少拍摄时间并得到极高质量的重建结果，但它需要大量可被精确控制的光源以模拟球谐梯度照明，使得系统造价更加昂贵。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供人脸模型重建方法、系统、图像处理系统及存储介质，解决现有技术中高精度人脸模型三维重建成本高昂的问题。
为实现上述或其它目的，本发明提供一种人脸模型重建方法，应用于一图像处理系统中，所述至少一图像处理系统包括图像采集装置以及若干近光源装置；所述方法包括：获取由所述图像采集装置分别在每个近光源装置照射下所采集到的人脸图像，并从中选取阴影最少的一或多个作为样本人脸图像；依据人脸参数化模型数据库，拟合出对应所述样本人脸图像的粗糙人脸模型；划分所述样本人脸图像中的皮肤区域及毛发区域；利用所述皮肤区域对应的法向图来标定各所述近光源装置的位置及光源强度；对样本人脸图像分割出阴影与非阴影区域，并从所标定的各近光源装置中筛选实现非阴影区域的像素的一或多个；根据所筛选的近光源装置进行光度立体重建而得到精准人脸模型。
于本发明的一实施例中，所述依据人脸参数化模型数据库，拟合出对应所述人脸图像的粗糙人脸模型，包括：依据人脸参数化模型数据库，建立参数化人脸模型；检测样本人脸图像上人脸关键点集合；通过优化所述参数化人脸模型的模型参数以减小该参数化人脸模型中人脸关键点投影到所述样本人脸图像上的坐标与所述检测出的人脸关键点的坐标间欧氏距离，以得到粗糙人脸模型。
于本发明的一实施例中，所述利用所述皮肤区域对应的法向图来标定各所述近光源装置的位置及光源强度，包括：在一粗糙人脸模型上的皮肤区域，选择m个关键像素；并且对于n个近光源装置，通过以下损失函数式2进行优化：
Figure BDA0001995271350000021
Figure BDA0001995271350000022
其中，Ii,j，为第i个像素在第j个近光源装置下的像素值，ρi为第i个像素的反照率，Ni为第i个像素的法向量，Di,j为第i个像素在第j个近光源装置下的入射光方向，βj为第j个近光源装置的光源强度，
Figure BDA0001995271350000029
为近光源装置强度的均值，Pj为第j个近光源装置的三维坐标，d为近光源装置与被拍摄人脸之间的距离，λ1、λ2、及λ3为设置参数；以利用所述式2得到各个近光源装置的位置及光源强度。
于本发明的一实施例中，所述的方法，还包括：通过以下的式3和式4来交替优化式2：
式3：
Figure BDA0001995271350000023
式4：
Figure BDA0001995271350000024
其中，λn、λβ、λP为设置参数。
于本发明的一实施例中，所述对样本人脸图像分割出阴影与非阴影区域，并从所标定的各近光源装置中筛选实现非阴影区域的像素的一或多个，包括：计算样本人脸图像中每个像素的反照率：
Figure BDA0001995271350000025
其中，Ii,j为第i个像素在第j个近光源装置下的像素值；Ni为第i个像素的法向量；Di,j为第i个像素在第j个近光源装置下的入射光方向；对不同近光源装置下拍摄的人脸图像，对第i个像素，计算它在所有图片中的平均反照率
Figure BDA0001995271350000028
第然后根据式5表示的第一筛选条件选出使这个像素处于非阴影区域的近光源装置集合Li:
式5：
Figure BDA0001995271350000026
其中，τ是控制假阳性和假阴性的参数；
利用式6所表示的将入射光与法向量夹角小于90度的近光源装置列为可用近光源装置的第二筛选条件：
式6：
Figure BDA0001995271350000027
对于第i个像素，根据第一筛选条件和第二筛选条件选出的用于光度立体重建的近光源装置如下式7所示：Vi＝Li∩Ai。
于本发明的一实施例中，所述根据所筛选的近光源装置进行光度立体重建而得到精准人脸模型，包括：对于第i个像素，在第j个近光源装置下的像素值表示为
Figure BDA0001995271350000031
通过联立三个或三个以上近光源装置的公式以计算得到第i个像素下的反照率ρi和法向量Ni；
根据所计算各像素的法向量得到对应梯度场，表示为：
Figure BDA0001995271350000032
对应所得到的梯度场求解泊松方程以得到精准人脸模型。
于本发明的一实施例中，所述的方法，还包括：对精准人脸模型中的毛发区域进行去噪。
于本发明的一实施例中，所述去噪是通过双边极值滤波的方法实现。
于本发明的一实施例中，所述的方法，还包括：将本次所得到的精准人脸模型作为粗糙模型以迭代执行所述方法以得到精准人脸模型。
于本发明的一实施例中，各人脸图像是在各近光源装置依次独自点亮的情况下采集到的。
于本发明的一实施例中，所述图像采集装置光路上设有第一偏振镜，每个近光源装置光路上设有第二偏振镜，所述第一偏振镜和第二偏振镜的偏振方向正交。
为实现上述或其它目的，本发明提供一种人脸模型重建系统，应用于一图像处理系统中，所述至少一图像处理系统包括图像采集装置以及若干近光源装置；所述系统包括：图像获取模块，用于获取由所述图像采集装置分别在每个近光源装置照射下所采集到的人脸图像，并从中选取阴影最少的一或多个作为样本人脸图像；图像处理模块，用于依据人脸参数化模型数据库，拟合出对应所述样本人脸图像的粗糙人脸模型；划分所述样本人脸图像中的皮肤区域及毛发区域；利用所述皮肤区域对应的法向图来标定各所述近光源装置的位置及光源强度；对样本人脸图像分割出阴影与非阴影区域，并从所标定的各近光源装置中筛选实现非阴影区域的像素的一或多个；根据所筛选的近光源装置进行光度立体重建而得到精准人脸模型。
为实现上述或其它目的，本发明提供一种图像处理系统，包括：图像采集装置以及若干近光源装置；其中，所述图像采集装置光路上设有第一偏振镜，每个近光源装置光路上设有第二偏振镜，所述第一偏振镜和第二偏振镜的偏振方向正交；控制装置，其包括：通信器、处理器及存储器；所述通信器耦接所述图像采集装置及近光源装置，所述存储器存储有计算机程序；所述处理器，耦接所述通信器及存储器，用于运行所述计算机程序以实现所述的人脸模型重建方法。
为实现上述或其它目的，本发明提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序运行时实现所述的人脸模型重建方法。
如上所述，本发明的人脸模型重建方法、系统、图像处理系统及存储介质，应用于一图像处理系统中，所述至少一图像处理系统包括图像采集装置以及若干近光源装置；所述方法包括：获取由所述图像采集装置分别在每个近光源装置照射下所采集到的人脸图像，并从中选取阴影最少的一或多个作为样本人脸图像；依据人脸参数化模型数据库，拟合出对应所述样本人脸图像的粗糙人脸模型；划分所述样本人脸图像中的皮肤区域及毛发区域；利用所述皮肤区域对应的法向图来标定各所述近光源装置的位置及光源强度；对样本人脸图像分割出阴影与非阴影区域，并从所标定的各近光源装置中筛选实现非阴影区域的像素的一或多个；根据所筛选的近光源装置进行光度立体重建而得到精准人脸模型。
在本发明的技术方案中，图像处理系统只需要使用若干个近光源装置、一台图像采集装置以及相关的控制装置，光源和图像采集装置前装有偏振方向相互垂直的偏振片，即能实现高精度的人脸模型重建。相较现有技术，本发明有效解决了阴影问题，因此只需要使用少量的近光源，使得图像处理系统更为便携便宜。此外，本发明可以全自动对近光源进行标定，并且不需要任何标定设备和深度测量设备，使得重建流程更为简便。
附图说明
图1显示为本发明实施例中的图像处理系统的结构示意图。
图2显示为本发明实施例中的人脸模型重建方法的流程示意图。
图3显示为本发明实施例中的人脸模型重建方法中步骤S202所包含的具体步骤流程示意图。
图4显示为本发明实施例中的人脸模型重建系统的流程示意图。
图5显示为本发明实施例中的控制装置的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
现有技术中，用于高精度人脸模型重建的系统中，由于需要采用大功率的远光源、标定设备、深度传感器等设备，导致成本昂贵。
基于此，本发明旨在提供一种替代的图像处理系统以及对应的图像处理方法，降低其成本。
如图1所示，展示本发明实施例中的图像处理系统的结构示意图。
本实施例中所展示的图像处理系统，其具有至少一图像采集装置101、以及若干近光源装置102。其中，
在一些示例中，所述所述图像采集装置101可以是高精度的相机实现，如单反相机等，且优选的，为达到降低成本的目的，可以采用入门级的单反相机。
在一些示例中，各近光源装置102，指的是靠近所述图像采集装置101所在位置设置的光源装置，用于朝向被拍摄的物体(如人脸)投射光线；各光源装置可以为LED、卤素、激光等各种光源实现，当然，基于低成本考量，可以采用LED光源实现。
所述各近光源装置102在该图像采集装置101的周围预定距离内容的不同位置设置。
举例来说，各近光源装置102应至少有分布在图像采集装置101左、右两侧、上、下两侧的多个，从而满足相对侧的拍摄光照需求。
在一优选实例中，可以如图1实施例所示，采用5个近光源装置102，固定安装于一半径1米左右的类半球的支架上。如图所示，有至少1个在图像采集装置101附近，至少1个在图像采集装置101上方，至少一个在图像采集装置101下方，至少1个在图像采集装置101左方，至少1个在图像采集装置101右方，而被拍摄物体可以位于该类半球的支架的中心位置(可以想象在纸面外)，面对该图像采集装置101及各近光源装置102。
需特别说明的是，上述近光源装置102的数量、位置和图像采集装置101的间距皆为例举，均可以根据实际情况加以变化，例如近光源装置102的数量可以是3个以上；图像采集装置101和各近光源装置102之间的间距可以是在0～1米，或1～2米，或2～3米等之间取值，皆可，并非以上述举例为限。
并且，所述图像采集装置101的光路上设有第一偏振部件，所述近光源装置102的光路上设有第二偏振部件，所述第一偏振部件和第二偏振部件的偏振方向正交，以实现令所述近光源装置102相当于点光源的效果。
所述图像处理系统还包括控制装置103，其耦接各所述光源装置及图像采集装置101，用于根据该图像处理系统所采集的人脸图像进行人脸模型重建。
如图2所示，展示本发明实施例中的人脸模型重建方法的流程示意图，该方法可应用于如图1实施例所展示的图像处理系统中。
所述方法包括：
步骤S201：获取由所述图像采集装置分别在每个近光源装置照射下所采集到的人脸图像，并从中选取阴影最少的一或多个作为样本人脸图像。
于本发明的一些实施例中，在采集各所述人脸图像时，可以控制令各个近光源装置逐一点亮并熄灭；且在每个近光源装置点亮时，控制所述图像采集装置分别进行图像采集。
也就是说，各个人脸图像的对象可能是一致的，但是光照条件不同，而形成的人脸图像上的阴影及非阴影区域的分布情况不同，这取决于各个近光源装置的位置及光照强度。
选择阴影最少的作为样本人脸图像进行后续人脸模型重建可以得到更优的人脸模型。
步骤S202：依据人脸参数化模型数据库，拟合出对应所述样本人脸图像的粗糙人脸模型。
于本发明的一些实施例中，如图3所示，所述步骤S202具体可包括：
步骤S301：依据人脸参数化模型数据库，建立参数化人脸模型。
举例来说，参数化人脸模型可以例如为巴塞尔人脸模型等，根据表情3DMM的理论，可以根据人脸参数化模型库将人脸参数化模型数据库可以将任意一个人脸模型表示为：
Figure BDA0001995271350000061
其中，V∈R3c×1，
Figure BDA0001995271350000062
c为数据库中模型的顶点数，
Figure BDA0001995271350000063
为平均人脸模型，Vid为人脸形状变化的基向量，Vexp为人脸表情变化的基向量，其中mid和mexp为主成分的维数。αid和αexp为控制人脸模型的参数。
步骤S302：检测样本人脸图像上人脸关键点集合。
承接上述举例，为了拟合出参数化人脸模型，首先选出阴影最少的一张图片并使用关键点检测方法检测出人脸关键点集合。具体的，人脸关键点检测也称为人脸关键点检测、定位或者人脸对齐，是指给定人脸图像，定位出人脸面部的关键区域位置，包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等；所述关键点检测方法可以分成几类，例如基于模型的ASM(Active Shape Model)和AAM(Active Appearnce Model)、基于级联形状回归CPR(Cascaded pose regression)及基于深度学习的方法，我们可以选择训练好的回归树集合方法来进行人脸关键点检测。
步骤S303：通过优化所述参数化人脸模型的模型参数以减小该参数化人脸模型中人脸关键点投影到所述样本人脸图像上的坐标与所述检测出的人脸关键点的坐标间欧氏距离，以得到粗糙人脸模型。
承接上述举例，通过优化所述参数化人脸模型中对应的人脸关键点投影到样本人脸图像上的坐标与检测出的人脸关键点坐标的欧氏距离，我们可以得到上述式中的人脸模型参数αid，αexp，将参数代入便可得到粗糙人脸模型。
步骤S203：划分所述样本人脸图像中的皮肤区域及毛发区域，利用所述皮肤区域对应的法向图来标定各所述近光源装置的位置及光源强度。
如前所述，由于近光源装置和图像采集装置前装有偏振方向相互垂直的偏振部件，则人脸上皮肤区域的反射模型可以近似为朗伯模型。在该反射模型下，像素值I与入射光方向L满足如下关系：
I＝ρN·L
其中，ρ为皮肤表面在该像素的反照率，N为皮肤表面在该像素的法向量。由于我们使用的是近点光源，上式可以写成：
I＝ρN·D
Figure BDA0001995271350000071
其中，β为光源的强度，P为光源的三维空间坐标，V为皮肤表面的像素在三维空间中坐标。
为了计算出P和β，我们将V和N当成已知量。V和N均可以通过前述粗糙人脸模型得到。优选的，由于V和
Figure BDA0001995271350000076
的拓扑结构是完全一致的，因此可预先在平均人脸模型
Figure BDA0001995271350000077
上分割出皮肤区域和毛发区域，然后将平均人脸模型
Figure BDA0001995271350000078
的区域分割投影到样本人脸图像上得到图像空间中的区域分割。
在样本人脸图像上的皮肤区域，选出m个关键像素，并用这m个关键像素上的信息进行光源标定。
并且对于n个近点光源，m个关键像素，通过以下损失函数进行优化：
Figure BDA0001995271350000072
其中，Ii,j为第i个像素在第j个近光源装置照射下的像素值，ρi为第i个像素的反照率，Ni为第i个像素的法向量，Di,j为第i个像素在第j个光源下的入射光方向，βj为第j个光源的强度，
Figure BDA0001995271350000073
为光源强度的均值，Pj为第j个光源的三维坐标，d为光源与被拍摄人脸之间的大致距离。
优选的，由于从粗糙人脸模型计算出的法向量是不准确的，可以通过交替优化下面两个损失函数的式子来进一步提高准确度：
Figure BDA0001995271350000074
Figure BDA0001995271350000075
在本发明的一些实施例中，我们可以将设置参数设置例如以下赋值：
λ1＝λ2＝0.001,λ3＝0.0001
λn＝10-6,λβ＝0.001,λP＝0.0001
需说明的是，上述λ1、λ2、λ3、λn、λβ、λP设置参数的赋值只是举例，在实际情况中均可以加以变化，而非以此为限制。
步骤S204：对样本人脸图像分割出阴影与非阴影区域，并从所标定的各近光源装置中筛选实现非阴影区域的像素的一或多个。
具体的，在标定出光源位置以及强度之后，我们可以利用以下式子计算出每个像素的反照率：
Figure BDA0001995271350000081
对不同光源下拍摄的图片，当同一位置的像素不在阴影中时，计算出的
Figure BDA0001995271350000082
是相近的。而当这个像素在某张图片中处于阴影中时，计算出的
Figure BDA0001995271350000083
会明显变小。根据这个规律，对第i个像素，我们先计算它在所有图片中的平均反照率
Figure BDA0001995271350000084
然后根据下面的方式选出不会使这个像素处于阴影的光源集合Li:
Figure BDA0001995271350000085
其中τ是控制假阳性和假阴性的参数。
除此之外，我们只将入射光与法向量夹角小于90度的列为可用光源：
Figure BDA0001995271350000086
对于第i个像素，最终筛选出的用于光度立体重建的近光源装置如下：
Vi＝Li∩Ai
步骤S205：根据所筛选的近光源装置进行光度立体重建而得到精准人脸模型。
于本发明的一实施例中，步骤S205可进一步包括：对于第i个像素，在第j个近光源装置下的像素值表示为
Figure BDA0001995271350000087
通过联立三个或三个以上近光源装置(如图1实施例中展示的5个)的公式以计算得到第i个像素下的反照率ρi和法向量Ni；
根据所计算各像素的法向量得到对应梯度场，表示为：
Figure BDA0001995271350000088
对应所得到的梯度场求解泊松方程以得到精准人脸模型。
可选的，由于毛发区域的梯度波动很大导致最后产生的精准人脸模型在这个区域容易出现毛刺噪声，因此需要去噪。
具体的，首先计算出中心化的梯度图：
Figure BDA0001995271350000091
然后我们通过如下方式去除梯度图中的噪声：
Figure BDA0001995271350000092
其中win(u,v)是以(u,v)为中心的窗口，σ是控制噪声去除力度的参数。
通过滑动窗口来对梯度波动大的即大于
Figure BDA0001995271350000093
的毛刺噪声进行去除。
优选的，在得到精准人脸模型之后，还可以将其作为作为粗糙模型以迭代执行上述方法以得到更优化的精准人脸模型，直至人脸模型收敛，经实验，一般迭代次数会在10次以内。
如图4所示，展示本发明实施例中的人脸模型重建系统，其可装载在图1所示的图像处理系统中的控制装置中实现。
需说明的是，由于本系统实施例与前述图2及图3等方法实施例的实现原理基本相同，因此，实施例间的技术特征可以相互通用，因此在方法实施例中所阐述过的一些技术内容在本实施例中不作重复赘述。
所述系统包括：
图像获取模块401，用于获取由所述图像采集装置分别在每个近光源装置照射下所采集到的人脸图像，并从中选取阴影最少的一或多个作为样本人脸图像；
图像处理模块402，用于依据人脸参数化模型数据库，拟合出对应所述样本人脸图像的粗糙人脸模型；划分所述样本人脸图像中的皮肤区域及毛发区域；利用所述皮肤区域对应的法向图来标定各所述近光源装置的位置及光源强度；对样本人脸图像分割出阴影与非阴影区域，并从所标定的各近光源装置中筛选实现非阴影区域的像素的一或多个；根据所筛选的近光源装置进行光度立体重建而得到精准人脸模型。
需要说明的是，应理解以上系统的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，所述图像处理模块402可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上图像图像识别模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
如图5所示，展示本发明实施例中的控制装置的结构示意图。
所述控制装置可以应用于图1所示的实施例中，以执行前述如图2、图3等方法实施例所阐述的功能。
所述控制装置包括：多个通信器501、502、503、处理器504及存储器505。
所述多个通信器501、502、503耦接所述图像采集装置506及近光源装置507。具体的，至少一个所述通信器501可通过例如HDMI等图像传输接口实现而耦接所述图像采集装置506，至少若干各通信器502、503可通过能发送电信号的接口(如IO口)实现而耦接至各所述近光源装置507、508。
所述存储器505存储有计算机程序；所述处理器504，耦接所述通信器501、502、503及存储器505，用于运行所述计算机程序以实现如图2、图3等方法实施例中所展示的人脸模型重建方法的各种技术内容。
所述存储器505，可能包括但不限于高速随机存取存储器、非易失性存储器。例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备；所述处理器504，可能包括但不限于中央处理器(Central Processing Unit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
前述实施例(如图2、图3实施例)所展示的人脸模型重建方法可以通过述运行计算机程序实现，而该些计算机程序可以存储于计算机可读存储介质中。所述计算机可读存储介质可包括，但不限于，软盘、光盘、CD-ROM(只读光盘存储器)、磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存、或适于存储机器可执行指令的其他类型的介质/机器可读介质。所述计算机可读存储介质可以是未接入计算机设备的产品，也可以是已接入计算机设备使用的部件。
在具体实现上，所述计算机程序为执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。
综上所述，本发明的人脸模型重建方法、系统、图像处理系统及存储介质，应用于一图像处理系统中，所述至少一图像处理系统包括图像采集装置以及若干近光源装置；所述方法包括：获取由所述图像采集装置分别在每个近光源装置照射下所采集到的人脸图像，并从中选取阴影最少的一或多个作为样本人脸图像；依据人脸参数化模型数据库，拟合出对应所述样本人脸图像的粗糙人脸模型；划分所述样本人脸图像中的皮肤区域及毛发区域；利用所述皮肤区域对应的法向图来标定各所述近光源装置的位置及光源强度；对样本人脸图像分割出阴影与非阴影区域，并从所标定的各近光源装置中筛选实现非阴影区域的像素的一或多个；根据所筛选的近光源装置进行光度立体重建而得到精准人脸模型。
在本发明的技术方案中，图像处理系统只需要使用若干个近光源装置、一台图像采集装置以及相关的控制装置，光源和图像采集装置前装有偏振方向相互垂直的偏振片，即能实现高精度的人脸模型重建。相较现有技术，本发明有效解决了阴影问题，因此只需要使用少量的近光源，使得图像处理系统更为便携便宜。此外，本发明可以全自动对近光源进行标定，并且不需要任何标定设备和深度测量设备，使得重建流程更为简便。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (15)

1.一种人脸模型重建方法，其特征在于，应用于一图像处理系统中，所述至少一图像处理系统包括图像采集装置以及若干近光源装置：所述方法包括：
获取由所述图像采集装置分别在每个近光源装置照射下所采集到的人脸图像，并从中选取阴影最少的一或多个作为样本人脸图像；
依据人脸参数化模型数据库，拟合出对应所述样本人脸图像的粗糙人脸模型；
划分所述样本人脸图像中的皮肤区域及毛发区域，利用所述皮肤区域对应的法向图来标定各所述近光源装置的位置及光源强度；
对样本人脸图像分割出阴影与非阴影区域，并从所标定的各近光源装置中筛选实现非阴影区域的像素的一或多个；
根据所筛选的近光源装置进行光度立体重建而得到精准人脸模型。
2.根据权利要求1所述的方法，其特征在于，所述依据人脸参数化模型数据库，拟合出对应所述人脸图像的粗糙人脸模型，包括：
依据人脸参数化模型数据库，建立参数化人脸模型；
检测样本人脸图像上人脸关键点集合；
通过优化所述参数化人脸模型的模型参数以减小该参数化人脸模型中人脸关键点投影到所述样本人脸图像上的坐标与所述检测出的人脸关键点的坐标间欧氏距离，以得到粗糙人脸模型。
3.根据权利要求1所述的方法，其特征在于，所述利用所述皮肤区域对应的法向图来标定各所述近光源装置的位置及光源强度，包括：
在一粗糙人脸模型上的皮肤区域，选择m个关键像素；并且对于n个近光源装置，通过以下损失函数式2进行优化：
Figure FDA0001995271340000011
其中Ii,j，为第i个像素在第j个近光源装置下的像素值，ρi为第i个像素的反照率，Ni为第i个像素的法向量，Di,j为第i个像素在第j个近光源装置下的入射光方向，βj为第j个近光源装置的光源强度，
Figure FDA0001995271340000012
为近光源装置强度的均值，Pj为第j个近光源装置的三维坐标，d为近光源装置与被拍摄人脸之间的距离，λ1、λ2、及λ3为设置参数；
以利用所述式2得到各个近光源装置的位置及光源强度。
4.根据权利要求3所述的方法，其特征在于，还包括：
通过以下的式3和式4来交替优化式2：
式3：
Figure FDA0001995271340000021
式4：
Figure FDA0001995271340000022
其中，λn、λβ、λP为设置参数。
5.根据权利要求1所述的方法，其特征在于，所述对样本人脸图像分割出阴影与非阴影区域，并从所标定的各近光源装置中筛选实现非阴影区域的像素的一或多个，包括：
计算样本人脸图像中每个像素的反照率：
Figure FDA0001995271340000023
其中，Ii,j为第i个像素在第j个近光源装置下的像素值；Ni为第i个像素的法向量；Di,j为第i个像素在第j个近光源装置下的入射光方向；
对不同近光源装置下拍摄的人脸图像，对第i个像素，计算它在所有图片中的平均反照率
Figure FDA0001995271340000024
第然后根据式5表示的第一筛选条件选出使这个像素处于非阴影区域的近光源装置集合Li:
式5：
Figure FDA0001995271340000025
其中，τ是控制假阳性和假阴性的参数；
利用式6所表示的将入射光与法向量夹角小于90度的近光源装置列为可用近光源装置的第二筛选条件：
式6：
Figure FDA0001995271340000026
对于第i个像素，根据第一筛选条件和第二筛选条件选出的用于光度立体重建的近光源装置如下式7所示：Vi＝Li∩Ai。
6.根据权利要求5所述的方法，其特征在于，所述根据所筛选的近光源装置进行光度立体重建而得到精准人脸模型，包括：
对于第i个像素，在第j个近光源装置下的像素值表示为式8：
Figure FDA0001995271340000027
通过联立三个或三个以上近光源装置的式8以计算得到第i个像素下的反照率ρi和法向量Ni；
根据所计算各像素的法向量得到对应梯度场，表示为：
Figure FDA0001995271340000028
对应所得到的梯度场求解泊松方程以得到精准人脸模型。
7.根据权利要求1或6所述的方法，其特征在于，还包括：对精准人脸模型中的毛发区域进行去噪。
8.根据权利要求7所述的方法，其特征在于，所述去噪是通过双边极值滤波的方法实现。
9.根据权利要求1所述的方法，其特征在于，还包括：将本次所得到的精准人脸模型作为粗糙模型以迭代执行所述方法以得到精准人脸模型。
10.根据权利要求1所述的方法，其特征在于，各人脸图像是在各近光源装置依次独自点亮的情况下采集到的。
11.根据权利要求1所述的方法，其特征在于，所述图像采集装置的光路上设有第一偏振部件，每个近光源装置的光路上设有第二偏振部件，所述第一偏振部件和第二偏振部件的偏振方向正交。
12.一种人脸模型重建系统，其特征在于，应用于一图像处理系统中，所述至少一图像处理系统包括图像采集装置以及若干近光源装置；所述系统包括：
图像获取模块，用于获取由所述图像采集装置分别在每个近光源装置照射下所采集到的人脸图像，并从中选取阴影最少的一或多个作为样本人脸图像；
图像处理模块，用于依据人脸参数化模型数据库，拟合出对应所述样本人脸图像的粗糙人脸模型；划分所述样本人脸图像中的皮肤区域及毛发区域；利用所述皮肤区域对应的法向图来标定各所述近光源装置的位置及光源强度；对样本人脸图像分割出阴影与非阴影区域，并从所标定的各近光源装置中筛选实现非阴影区域的像素的一或多个；根据所筛选的近光源装置进行光度立体重建而得到精准人脸模型。
13.一种图像处理系统，其特征在于，包括：
图像采集装置以及若干近光源装置；控制装置，其包括：通信器、处理器及存储器；所述通信器耦接所述图像采集装置及近光源装置，所述存储器存储有计算机程序；所述处理器，耦接所述通信器及存储器，用于运行所述计算机程序以实现如权利要求1至10中任一项所述的方法。
14.根据权利要求1所述的图像处理系统，其特征在于，所述图像采集装置光路上设有第一偏振镜，每个近光源装置光路上设有第二偏振镜，所述第一偏振镜和第二偏振镜的偏振方向正交。
15.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序运行时实现如权利要求1至11中任一项所述的方法。
CN201910194220.5A 2019-03-14 2019-03-14 人脸模型重建方法、系统、图像处理系统及存储介质 Active CN111696146B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910194220.5A CN111696146B (zh) 2019-03-14 2019-03-14 人脸模型重建方法、系统、图像处理系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910194220.5A CN111696146B (zh) 2019-03-14 2019-03-14 人脸模型重建方法、系统、图像处理系统及存储介质

Publications (2)

Publication Number Publication Date
CN111696146A true CN111696146A (zh) 2020-09-22
CN111696146B CN111696146B (zh) 2023-04-11

Family

ID=72475806

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910194220.5A Active CN111696146B (zh) 2019-03-14 2019-03-14 人脸模型重建方法、系统、图像处理系统及存储介质

Country Status (1)

Country Link
CN (1) CN111696146B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116580028A (zh) * 2023-07-12 2023-08-11 深圳思谋信息科技有限公司 一种物体表面缺陷检测方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009211151A (ja) * 2008-02-29 2009-09-17 Secom Co Ltd 顔画像処理装置
US20120253224A1 (en) * 2011-03-30 2012-10-04 SensiVida Medical Technologies, Inc. Skin test image analysis apparatuses and methods thereof
CN107358648A (zh) * 2017-07-17 2017-11-17 中国科学技术大学 基于单张人脸图像的实时全自动高质量三维人脸重建方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009211151A (ja) * 2008-02-29 2009-09-17 Secom Co Ltd 顔画像処理装置
US20120253224A1 (en) * 2011-03-30 2012-10-04 SensiVida Medical Technologies, Inc. Skin test image analysis apparatuses and methods thereof
CN107358648A (zh) * 2017-07-17 2017-11-17 中国科学技术大学 基于单张人脸图像的实时全自动高质量三维人脸重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张军等: "基于样例学习的任意光照下的人脸3D重建方法", 《计算机工程与应用》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116580028A (zh) * 2023-07-12 2023-08-11 深圳思谋信息科技有限公司 一种物体表面缺陷检测方法、装置、设备及存储介质
CN116580028B (zh) * 2023-07-12 2023-11-03 深圳思谋信息科技有限公司 一种物体表面缺陷检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111696146B (zh) 2023-04-11

Similar Documents

Publication Publication Date Title
Nam et al. Practical svbrdf acquisition of 3d objects with unstructured flash photography
JP7413321B2 (ja) 日常シーン復元エンジン
CN107607040B (zh) 一种适用于强反射表面的三维扫描测量装置及方法
US11380056B2 (en) 3D object acquisition method and apparatus using artificial light photograph
JP5043023B2 (ja) 画像処理方法および装置
Wang et al. Estimation of multiple directional light sources for synthesis of augmented reality images
Papadhimitri et al. Uncalibrated near-light photometric stereo
EP3051793B1 (en) Imaging apparatus, systems and methods
JP7247248B2 (ja) コンピュータビジョン方法及びシステム
US9665803B2 (en) Image processing apparatus and image processing method
JP5133626B2 (ja) 表面反射特性測定装置
JP5484133B2 (ja) 鏡面反射物体の３ｄ姿勢を推定する方法
EP3382645B1 (en) Method for generation of a 3d model based on structure from motion and photometric stereo of 2d sparse images
JP2016128816A (ja) プレノプティック・カメラを使った表面属性の推定
Liu-Yin et al. Better together: Joint reasoning for non-rigid 3d reconstruction with specularities and shading
Li et al. Neural reflectance for shape recovery with shadow handling
US10984566B2 (en) Image processing apparatus that calculates using luminance values of one or more input images produced by photoelectric conversion of multiple polarized lights, image-capturing apparatus and image processing method
US20210148694A1 (en) System and method for 3d profile determination using model-based peak selection
Angelopoulou et al. Evaluating the effect of diffuse light on photometric stereo reconstruction
CN111696146B (zh) 人脸模型重建方法、系统、图像处理系统及存储介质
JP5059503B2 (ja) 画像合成装置、画像合成方法及び画像合成プログラム
JP5441752B2 (ja) 環境内の３ｄ物体の３ｄ姿勢を推定する方法及び装置
Migita et al. Direct bundle estimation for recovery of shape, reflectance property and light position
Caracotte et al. Photometric stereo with central panoramic cameras
Inose et al. Refining outdoor photometric stereo based on sky model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant