CN101923721B - 无光照人脸图像重建方法和系统 - Google Patents

无光照人脸图像重建方法和系统 Download PDF

Info

Publication number
CN101923721B
CN101923721B CN201010267258XA CN201010267258A CN101923721B CN 101923721 B CN101923721 B CN 101923721B CN 201010267258X A CN201010267258X A CN 201010267258XA CN 201010267258 A CN201010267258 A CN 201010267258A CN 101923721 B CN101923721 B CN 101923721B
Authority
CN
China
Prior art keywords
image
face
subspace
illumination
reference picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201010267258XA
Other languages
English (en)
Other versions
CN101923721A (zh
Inventor
熊鹏飞
黄磊
刘昌平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanwang Technology Co Ltd
Original Assignee
Hanwang Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hanwang Technology Co Ltd filed Critical Hanwang Technology Co Ltd
Priority to CN201010267258XA priority Critical patent/CN101923721B/zh
Publication of CN101923721A publication Critical patent/CN101923721A/zh
Application granted granted Critical
Publication of CN101923721B publication Critical patent/CN101923721B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Collating Specific Patterns (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种无光照人脸图像重建方法和系统，属于图像重建领域。方法包括：从待识别原始人脸图像中获取人脸反射率图像；根据不同光照条件下的人脸参考图像建立光照子空间并将待识别原始人脸图像和人脸反射率图像分别投影到光照子空间得到对应的参考图像；根据对应的参考图像分别建立对应的纹理子空间并将待识别原始人脸图像、人脸反射率图像分别投影到对应的纹理子空间，分别获得原始纹理子空间基图像的投影系数以及反射率纹理子空间中的基图像、根据原始纹理子空间基图像的投影系数和反射率纹理子空间中的基图像重建无光照人脸图像。本发明主要用于无光照人脸图像重建。

Description

无光照人脸图像重建方法和系统
技术领域
本发明属于图像重建领域，尤其涉及一种具有较强的光照适应性的无光照人脸图像重建方法和系统。
背景技术
由于具有非接触式、直观友好等技术优势，基于生物特征的人脸识别技术在安防、金融安全、考勤等领域得到了广泛的应用。
人脸识别的过程大致为：捕获待识别原始人脸图像，之后再进行人脸检测并进行人脸特征提取，将提取的人脸特征与参考图像中的人脸特征进行比对，从而完成整个人脸识别的过程。在二维图像表示下，待识别原始人脸图像表现为人脸光照模板图像和人脸反射率图像的叠加。其中，人脸光照模板图像是光照沿着人脸法向的投影，人脸反射率图像为人脸光照不变量图像。在频域中，人脸光照模板图像可以近似为低频分量，人脸反射率图像近似为高频分量，所以，现有技术试图从待识别原始人脸图像中分离出人脸反射率图像，基于该人脸反射率图像进行人脸识别。现有技术之一是：采用LTV（logarithmic total variation，简称：log全变差）法对待识别原始人脸图像进行滤波和去噪处理，获得人脸光照模板图像，继而在LOG域下对待识别原始人脸图像进行差分，得到人脸反射率图像。直接基于该人脸反射率图像完成人脸识别。但是，在进行差分时，消除了大量的人脸结构特征和纹理信息，使得人脸反射率图像丢失了大量的图像特征。所以，现有技术之一的技术方案难以应对恶劣的光照条件，对光照条件的适应性较差。
现有技术之二对上述现有技术之一进行了改进简称RLS法。现有技术之二中，首先采用LTV从待识别原始人脸图像中差分出人脸光照模板图像和人脸反射率图像。然后分别对人脸光照模板图像和人脸反射率图像进行滤波和校正，将人脸光照模板图像转化为正常光照下的人脸模板图像。在对正常光照下的人脸模板图像和滤波、校正后的人脸反射率图像进行合成，从而获得正常光照下的待识别原始人脸图像。但是，差分过程中获得的人脸光照模板图像的纹理信息较少，校正的准确度较低，合成得到的正常光照下的待识别原始人脸图像出现不均匀的光斑或暗斑，降低了人脸识别的准确率。
发明内容
本发明所要解决的技术问题是提供一种无光照人脸图像重建方法和系统，以避免现有技术差分过程中纹理信息的缺少导致重建的图像与待识别原始人脸图像误差较大，从而提高了人脸识别的准确率。
为解决上述技术问题，本发明提供了一种无光照人脸图像重建方法，该方法包括：步骤1、从待识别原始人脸图像中获取人脸反射率图像；
步骤2、根据不同光照条件下的人脸参考图像建立光照子空间，并将待识别原始人脸图像和人脸反射率图像分别投影到光照子空间得到原始光照参考图像和无光照参考图像；
步骤3、根据原始光照参考图像、无光照参考图像分别建立原始纹理子空间、反射率纹理子空间，将待识别原始人脸图像投影到原始纹理子空间、人脸反射率图像投影到反射率纹理子空间，分别获得原始纹理子空间基图像的投影系数以及反射率纹理子空间中的基图像；
步骤4、根据原始纹理子空间基图像的投影系数和反射率纹理子空间中的基图像重建无光照人脸图像。
为解决上述技术问题，本发明还提供了一种无光照人脸图像重建系统，该系统包括：
反射率图像获取单元用于从待识别原始人脸图像中获取人脸反射率图像；
光照子空间投影单元用于根据不同光照条件下的人脸参考图像建立光照子空间以及将待识别原始人脸图像和人脸反射率图像分别投影到光照子空间得到原始光照参考图像和无光照参考图像；
纹理子空间投影单元用于根据原始光照参考图像、无光照参考图像分别建立原始纹理子空间、反射率纹理子空间，以及将待识别原始人脸图像、人脸反射率图像分别投影到原始纹理子空间、反射率纹理子空间分别获得原始纹理子空间基图像的投影系数以及反射率纹理子空间中的基图像；
图像重建单元用于根据原始纹理子空间基图像的投影系数和反射率纹理子空间中的基图像重建无光照人脸图像。
本发明中，分别将待识别人脸图像和人脸反射率图像投影到光照子空间得到对应的原始光照参考图像和无光照参考图像，并以此分别建立对应的原始纹理子空间、反射率纹理子空间，根据待识别原始人脸图像、人脸反射率图像投影到对应的原始纹理子空间、反射率纹理子空间计算出原始纹理子空间基图像的投影系数以及反射率纹理子空间中的基图像，根据原始纹理子空间基图像的投影系数和反射率纹理子空间中的基图像得到重建的无光照人脸图像，区别于现有技术中利用LTV方法重建得到人脸反射率图像，以及利用RLS方法对对正常光照下的人脸模板图像和滤波、校正后的人脸反射率图像进行合成得到重建的待识别原始人脸图像，避免了差分过程中纹理信息的缺少导致重建的图像与待识别原始人脸图像误差较大，从而提高了人脸识别的准确率。而且，本发明的技术方案不依赖于高分辨的待识别原始人脸图像；不需要固定光照的人脸图像训练集；不需要恢复人脸结构；仅从单张待识别原始人脸图像可以得到重建的无光照人脸图像，重建的无光照人脸图像包含有丰富的纹理信息和图像特征。 
附图说明
图1为本发明无光照人脸图像重建方法实施例一的流程图；
图2为针对一个个体建立的光照子空间示意图；
图3为本发明某种光照下的原始纹理子空间和反射率纹理子空间示意图；
图4为本发明无光照人脸图像重建方法实施例二的流程图；
图5为本发明无光照人脸图像重建方法实施例二中重建的无光照人脸图像；
图6为本发明在Yale B数据库中无光照图像重建误差与现有方法的比较示意图；
图7为本发明在Yale B数据库中重建的图像效果与现有技术之二的比较示意图；
图8为基于本发明方法与现有技术其他方法的人脸识别率比较示意图；
图9为基于本发明方法与Nishino方法在CMU PIE数据库中的人脸识别率比较示意图；
图10为本发明无光照人脸图像重建系统实施例的结构示意图。
具体实施方式
下面结合附图和实施例，对本发明的技术方案做进一步的详细描述。
图1为本发明无光照人脸图像重建方法实施例一的流程图。如图1所示，本实施例中的无光照人脸图像重建方法包括：
S101、对待识别原始人脸图像进行亮度调节。
在光照条件比较恶劣的环境中，由于待识别原始人脸图像的某些区域呈现为亮斑或者黑斑，容易给重建增加误差，因此，在获取人脸反射图像之前对待识别原始人脸图像进行亮度调节。可以采用对对应于待识别原始人脸图像的图像直方图进行拉伸的方式进行亮度调节。
S102、从亮度调节后的待识别原始人脸图像中获取人脸反射率图像。
待识别原始人脸图像可以为任意光照条件下捕获的人脸图像。本实施例中，步骤S102可以具体包括：
S112、对待识别原始人脸图像进行平滑滤波获得人脸光照模板图像。
如公式（1）所示，待识别原始人脸图像可以表示为人脸光照模板图像和人脸反射率图像乘积。由于人脸光照模板图像L近似为图像低频信号，而人脸反射率图像                                                近似为图像高频信号，所以对待识别原始人脸图像进行平滑滤波处理后即可获得人脸光照模板图像L。
                       （1）
公式（1）中，
Figure DEST_PATH_IMAGE003
表示待识别原始人脸图像，
Figure 676793DEST_PATH_IMAGE004
表示为人脸光照模板图像，
Figure 200178DEST_PATH_IMAGE001
表示人脸反射率图像。
S122、根据log全变差法以及人脸光照模板图像对待识别原始人脸图像进行差分得到人脸反射率图像。
在LOG域下，如公式（2）所示，待识别原始人脸图像为人脸光照模板图像和人脸反射率图像的log值之和。在LOG域下对待识别原始人脸图像进行LTV法，即可获得人脸反射率图像。
          （2）
公式（2）中，
Figure 3924DEST_PATH_IMAGE003
表示待识别原始人脸图像，
Figure 979970DEST_PATH_IMAGE004
表示为人脸光照模板图像，
Figure 333722DEST_PATH_IMAGE001
表示人脸反射率图像。
除了采用上述LTV法可以获得人脸反射率图像，也可以采用DCT变换方法获得人脸反射率图像。
S103、根据不同光照条件下的人脸参考图像建立光照子空间，并将待识别原始人脸图像和人脸反射率图像分别投影到光照子空间得到原始光照参考图像和无光照参考图像。
光照子空间由同一个体在不同的光照条件下的人脸参考图像组成，这些人脸参考图像预先存储在人脸参考图像库中。图2为针对一个个体建立的光照子空间示意图。如图2所示，该光照子空间由同一个体在不同的光照图像下的18幅人脸参考图像组成。如果有n个个体，就会有n个对应的待识别原始人脸图像，因此就需要建立n组光照子空间。
由于人脸光照模板图像为光照沿着人脸法向的投影，因此，如公式（3）所示，人脸光照模板图像可以分解为光照与人脸法向的矢量积。因此，根据上述公式（1）和公式（3），将待识别原始人脸图像分解为人脸反射率图像、人脸法向和光照三者之间的矢量积，如公式（4）所示。 
                （3）
公式（3）中，
Figure 374676DEST_PATH_IMAGE004
表示人脸光照模板图像，
Figure DEST_PATH_IMAGE007
表示光照，
Figure 474570DEST_PATH_IMAGE008
表示人脸法向。
Figure DEST_PATH_IMAGE009
              （4）
公式（4）中，
Figure 366433DEST_PATH_IMAGE003
表示待识别原始人脸图像，表示人脸反射率图像，
Figure 432795DEST_PATH_IMAGE007
表示光照，
Figure 960598DEST_PATH_IMAGE008
表示人脸法向。
由于人脸发射率图像、人脸法向与光照均没有关系，所以上述公式（4）中
Figure 905420DEST_PATH_IMAGE010
为常数，该常数定义为光照不变量，用表示，即
Figure 70953DEST_PATH_IMAGE012
。因此，公式（4）进一步表示为
Figure DEST_PATH_IMAGE013
。对于光照子空间组中的每个光照子空间，构成该光照子空间所有人脸参考图像具有相同的光照不变量。
本实施例中，基于郎博平面的假设，投影得到原始光照参考图像和无光照参考图像。
在郎博平面的假设下，由于任意的光照可以表示为光照子空间中的光照线性拟合，如公式（5）所示。
Figure 828267DEST_PATH_IMAGE014
               （5） 
公式（5）中，
Figure DEST_PATH_IMAGE015
表示拟合后的任意光照，
Figure 311201DEST_PATH_IMAGE016
表示第
Figure DEST_PATH_IMAGE017
个光照投影系数元素，
Figure 596820DEST_PATH_IMAGE018
表示光照子空间中的第
Figure 507007DEST_PATH_IMAGE017
个光照。
因此，根据
Figure 743822DEST_PATH_IMAGE013
以及公式（5）得到公式（6）。
Figure DEST_PATH_IMAGE019
            （6）
公式（6）中，
Figure 30447DEST_PATH_IMAGE020
表示光照子空间基图像
Figure DEST_PATH_IMAGE021
中的第个基图像元素，基图像元素
Figure 232889DEST_PATH_IMAGE020
是光照子空间中互不相关的人脸参考图像的像素点构成的向量，光照子空间基图像
Figure 517240DEST_PATH_IMAGE021
是这些向量性质的基图像元素构成的矩阵。 
将待识别原始人脸图像和人脸反射率图像分别投影到光照子空间时，由于该光照子空间中所有人脸参考图像的光照不变量
Figure 261859DEST_PATH_IMAGE011
相同，人脸光照模板图像
Figure 86596DEST_PATH_IMAGE004
不同，所以，待识别原始人脸图像和人脸反射率图像与光照子空间中的任意人脸参考图像之间的差异仅在于光照不同。此处，当光照子空间中的某幅人脸参考图像分别与待识别原始人脸图像和人脸反射率图像差异最小时，两者之间的光照一致。因此，可以通过最小化公式（7）中的能量函数得到投影系数。
Figure 81228DEST_PATH_IMAGE024
       （7）
公式（7）中，表示原始光照参考图像或无光照参考图像在光照子空间中的投影系数，表示原始光照参考图像或无光照参考图像在光照子空间中的投影系数向量，表示光照子空间中的基图像，
Figure DEST_PATH_IMAGE027
表示待识别原始人脸图像或人脸反射率图像，
Figure 438632DEST_PATH_IMAGE028
表示待识别原始人脸图像或者人脸反射率图像的能量函数。
在根据公式（7）计算得到投影系数后，再结合公式（6）即可分别得到原始光照参考图像和无光照参考图像，原始光照参考图像的光照与待识别原始人脸图像的光照一致，无光照参考图像的光照与人脸反射率图像的光照一致。
S104、根据原始光照参考图像、无光照参考图像分别建立原始纹理子空间、反射率纹理子空间，将待识别原始人脸图像投影到原始纹理子空间、人脸反射率图像投影到反射率纹理子空间，分别获得原始纹理子空间基图像的投影系数以及反射率纹理子空间的基图像。
纹理子空间由步骤S103中投影得到的参考图像构成。具体地，原始纹理子空间由原始光照参考图像构成，反射率纹理子空间由无光照参考图像构成。图3为本发明某种光照下的原始纹理子空间和反射率纹理子空间示意图。如图3所示，第一行为原始纹理子空间，该原始纹理子空间由8幅原始光照参考图像构成；第二行为反射率纹理子空间，该反射率纹理子空间同样由8幅无光照参考图像构成。
从反射率纹理子空间选取互不相关的无光照参考图像作为反射率纹理子空间的基图像
Figure DEST_PATH_IMAGE029
。从原始纹理子空间选取互不相关的原始光照参考图像作为原始纹理子空间的基图像
Figure 287770DEST_PATH_IMAGE030
。
以待识别原始人脸图像在原始纹理子空间中的投影为例，反射率图像在反射率纹理子空间中的投影与之相同。根据
Figure DEST_PATH_IMAGE031
计算待识别原始人脸图像在原始纹理子空间基图像的投影系数
Figure 976240DEST_PATH_IMAGE032
，
Figure 677873DEST_PATH_IMAGE030
表示原始纹理子空间的基图像，
Figure DEST_PATH_IMAGE033
表示原始纹理子空间基图像的投影权重，表示待识别原始人脸图像的能量函数，
Figure DEST_PATH_IMAGE035
表示待识别原始人脸图像。
上述步骤103、104中的待识别原始人脸图像是指经过亮度调节后的待识别原始人脸图像。
S105、根据原始纹理子空间基图像的投影系数和反射率纹理子空间的基图像重建无光照人脸图像。
本实施例中，根据公式（8），对原始纹理子空间基图像的投影系数和反射率纹理子空间的基图像交叉运算，得到重建的无光照人脸图像。
Figure 875954DEST_PATH_IMAGE036
                      （8）
公式（8）中，
Figure 673008DEST_PATH_IMAGE032
表示原始纹理子空间基图像的投影系数，
Figure 593429DEST_PATH_IMAGE029
表示反射率纹理子空间的基图像。
图4为本发明无光照人脸图像重建方法实施例二的流程图。如图4所示，本实施例中的无光照人脸图像重建方法包括：
S401、从待识别原始人脸图像中获取人脸反射率图像；
S402、对待识别原始人脸图像和人脸反射率图像分别进行亮度调节；
本实施例与上述实施例一不同之处在于，从待识别原始人脸图像中获取人脸反射率图像之后，分别对待识别原始人脸图像和人脸反射率图像进行亮度调节，具体亮度调节的方式可以类似于实施例一所述的利用对直方图进行拉伸的方式。
S403、根据不同光照条件下的人脸参考图像建立光照子空间，并将亮度调节后的待识别原始人脸图像和人脸反射率图像分别投影到光照子空间得到原始光照参考图像和无光照参考图像。
S404、根据原始光照参考图像、无光照参考图像分别建立原始纹理子空间、反射率纹理子空间，分别从原始纹理子空间和反射率纹理子空间中选取互不相关的原始光照参考图像、无光照参考图像作为原始纹理子空间中的基图像、反射率纹理子空间中的基图像。
从原始纹理子空间中选取互不相关的原始光照参考图像作为原始纹理子空间中的基图像；从反射率纹理子空间中选取互不相关的无光照参考图像作为反射率纹理子空间中的基图像。原始纹理子空间中的基图像和反射率纹理子空间中的基图像均是矩阵式基图像。这些矩阵式基图像由若干个原始光照参考图像或者无光照参考图像对应一个基图像向量构成。
S405、按照预定的规则对亮度调节后的待识别原始人脸图像和人脸反射率图像进行分块分别得到待识别原始人脸图像块和人脸反射率图像块。
S406、按照预定的规则分别对原始纹理子空间和反射率纹理子空间的基图像进行分块得到对应的基图像块。
即对原始纹理子空间的每一个基图像进行分块，对反射率纹理子空间的每一个基图像进行分块。
由于通常情况下，待识别原始人脸图像块、人脸反射率图像、原始光照参考图像和无光照参考图像等的图像像素数目要远远大于原始纹理子空间中的原始光照参考图像、反射率纹理子空间中的无光照参考图像的数目，所以，为了防止利用能量最小函数计算得到的原始纹理图像各块的投影系数误差过大，对待识别原始人脸图像、人脸反射率图像进行分块得到待识别原始人脸图像块和人脸反射率图像块，分别对原始纹理子空间和反射率纹理子空间的基图像进行分块得到原始纹理子空间基图像块、反射率纹理子空间基图像块。换言之，原始纹理子空间和反射率纹理子空间的中的每一幅基图像均由若干个基图像块构成。
对待识别原始人脸图像、人脸反射率图像、原始纹理子空间和反射率纹理子空间的基图像进行分块按照预定的规则进行。该预定的规则可以为：使每一幅待识别原始人脸图像包含的图像块、人脸反射率图像包含的图像块的数目分别与原始纹理子空间和反射率纹理子空间的每一幅基图像包含的基图像块数目相等。
本实施例中，为了消除图像块之间的边界效应，采用重叠分块。此处，以反射率纹理子空间的基图像分块来说明如何进行重叠分块。假如反射率纹理子空间的基图像大小为
Figure DEST_PATH_IMAGE037
（高
Figure 829238DEST_PATH_IMAGE038
宽），基于预定的规则：使反射率纹理子空间的每一幅基图像包含的基图像块的像素数目分别与反射率纹理子空间中的无光照参考图像数目相当，计算出重叠的步长
Figure DEST_PATH_IMAGE039
，所以，每一个基图像块大小为
Figure 715285DEST_PATH_IMAGE040
（高
Figure 683241DEST_PATH_IMAGE038
宽），反射率纹理子空间的每一幅基图像就包含了
Figure DEST_PATH_IMAGE041
个基图像块。原始纹理子空间的基图像、待识别原始人脸图像、人脸反射率图像的分块与此处描述的反射率纹理子空间的基图像分块方法类似。
S407、根据待识别人脸图像块的能量函数最小计算原始纹理图像各块的投影系数。
对于待识别原始人脸图像块来说，根据其在原始纹理子空间下对应的原始纹理子空间基图像块以及能量函数最小可以计算出该原始纹理图像块的投影系数，详细计算方法如公式（9）所示。
Figure 150345DEST_PATH_IMAGE042
          （9）
Figure DEST_PATH_IMAGE043
表示待识别人脸图像在原始纹理子空间的基图像中第
Figure 409419DEST_PATH_IMAGE044
块基图像块投影系数，表示待识别人脸图像中第块图像块，
Figure 52945DEST_PATH_IMAGE046
表示原始纹理子空间的基图像中第
Figure 636373DEST_PATH_IMAGE044
块基图像块的投影权重，
Figure DEST_PATH_IMAGE047
表示原始纹理子空间的基图像中第
Figure 761455DEST_PATH_IMAGE044
块基图像块，表示待识别人脸图像中第
Figure 118804DEST_PATH_IMAGE044
块图像块的能量函数。
步骤408、根据原始纹理图像各块的投影系数和反射率纹理子空间的基图像块重建无光照人脸图像。
将上述公式（9）遍历每一幅原始纹理子空间的基图像块得到原始纹理图像各块的投影系数，这些图像块的投影系数构成投影系数向量，与反射率纹理子空间的基图像块构成的基图像向量
Figure 504042DEST_PATH_IMAGE050
交叉合成得到重建无光照人脸图像，如公式（10）所示。
Figure DEST_PATH_IMAGE051
       （10）
公式（10）中，
Figure 619766DEST_PATH_IMAGE052
表示重建的无光照人脸图像，其中，
Figure 272595DEST_PATH_IMAGE032
表示由原始纹理图像块投影系数
Figure 815572DEST_PATH_IMAGE043
组成的原始纹理子空间基图像的投影系数；
Figure 108013DEST_PATH_IMAGE029
表示由反射率纹理图像的基图像块
Figure DEST_PATH_IMAGE053
组成的反射率纹理子空间中的基图像；
Figure 339012DEST_PATH_IMAGE054
表示每一幅基图像中包含的基图像块数目。
图5为本发明无光照人脸图像重建方法实施例二中重建的无光照人脸图像。如图5所示，左边第一幅为表出图像分块策略的待识别原始人脸图像，从中可看出，在待人别人脸图像的左上角有三个图像块，右下角同样有三个图像块。开始从左到右按列依次为不同光照条件下的待识别原始人脸图像、按照不同分块重建的无光照人脸图像，具体地，从左到有右依次为待识别原始人脸图像，块大小为2*2、步长为1重建的无光照人脸图像，块大小为8*8、步长为4重建的无光照人脸图像，块大小为32*32、步长为16重建的无光照人脸图像，块大小为2*2、步长为2重建的无光照人脸图像。从图中可看出，块大小为32*32、步长为16重建的无光照人脸图像效果较好，即待识别人脸图像被分为32*32块时，分块数目越多，分块越细，重建的效果愈好。
图6为本发明在Yale B数据库中无光照图像重建误差与现有方法的比较示意图。如图6所示，从上到下依次为现有技术之一LTV法的重建误差、现有技术之二RLS法的重建误差、本发明的重建误差。从图6中可看出，本发明的重建误差最小，均小于现有技术之一LTV法的重建误差和现有技术之二RLS法的重建误差。
图7为本发明在Yale B数据库中重建的图像效果与现有技术之二的比较示意图。按行依次为待识别原始人脸图像、亮度调整后的待识别原始人脸图像、人脸反射率图像、现有技术之二重建的图像以及本发明重建的图像。从图可看出，在图像的视觉表现上，本发明重建的无光照人脸图像纹理特征比较丰富和真实。
图8为基于本发明方法与现有技术其他方法的人脸识别率比较示意图。如图8所示，在Yale B数据库中，光照被分为5个子集，试验中，以其中一个子集为模板，其他四个子集作为测试对象，其中每一组分别对应利用待识别原始人脸图像、亮度调整后的待识别原始人脸图像，人脸反射率图像，现有技术之二重建图像、本发明重建图像的人脸识别率。从图7中可看出，利用本发明的重建图像得到的人脸图像识别率均是5种方法中最高的。
图9为基于本发明方法与Nishino方法在CMU PIE数据库中的人脸识别率比较示意图。如图9所示，f8-f17表示不同的光照，每组数据的第一个表示利用Nishino方法得到的人脸识别率，第二个数据表示用本发明方法的人脸识别率。从表中可看出，本发明的人脸识别率总体上要优于Nishino方法。
图10为本发明无光照人脸图像重建系统实施例的结构示意图。如图10所示，本实施例中的无光照人脸图像重建系统包括反射率图像获取单元901、光照子空间投影单元902、纹理子空间投影单元903、图像重建单元904。其中，反射率图像获取单元901用于从待识别原始人脸图像中获取人脸反射率图像。光照子空间投影单元902用于根据不同光照条件下的人脸参考图像建立光照子空间以及将待识别原始人脸图像和人脸反射率图像分别投影到光照子空间得到原始光照参考图像和无光照参考图像。纹理子空间投影单元903用于根据原始光照参考图像、无光照参考图像分别建立原始纹理子空间、反射率纹理子空间，以及将待识别原始人脸图像投影到原始纹理子空间、人脸反射率图像投影到反射率纹理子空间分别获得原始纹理子空间基图像的投影系数以及反射率纹理子空间中的基图像。图像重建单元904用于根据原始纹理子空间基图像的投影系数和反射率纹理子空间中的基图像重建无光照人脸图像。
本发明的上述实施例中，分别将待识别人脸图像和人脸反射率图像投影到光照子空间得到对应的原始光照参考图像和无光照参考图像，并以此分别建立对应的原始纹理子空间、反射率纹理子空间，根据待识别原始人脸图像、人脸反射率图像投影到对应的原始纹理子空间、反射率纹理子空间计算出原始纹理子空间基图像的投影系数以及反射率纹理子空间中的基图像，根据原始纹理子空间基图像的投影系数和反射率纹理子空间中的基图像得到重建的无光照人脸图像，区别于现有技术中利用LTV方法重建得到人脸反射率图像，以及利用RLS方法对对正常光照下的人脸模板图像和滤波、校正后的人脸反射率图像进行合成得到重建的待识别原始人脸图像，避免了差分过程中纹理信息的缺少导致重建的图像与待识别原始人脸图像误差较大，从而提高了人脸识别的准确率。而且，本发明的技术方案不依赖于高分辨的待识别原始人脸图像；不需要固定光照的人脸图像训练集；不需要恢复人脸结构；仅从单张待识别原始人脸图像可以得到重建的无光照人脸图像，重建的无光照人脸图像包含有丰富的纹理信息和图像特征。 

Claims (11)

1.一种无光照人脸图像重建方法，其特征在于，包括：
步骤1、从待识别原始人脸图像中获取人脸反射率图像；
步骤2、根据不同光照条件下的人脸参考图像建立光照子空间，并将待识别原始人脸图像和人脸反射率图像分别投影到光照子空间得到原始光照参考图像和无光照参考图像；
步骤3、根据原始光照参考图像、无光照参考图像分别建立原始纹理子空间、反射率纹理子空间，将待识别原始人脸图像投影到原始纹理子空间、人脸反射率图像投影到反射率纹理子空间，分别获得原始纹理子空间基图像的投影系数以及反射率纹理子空间中的基图像；
步骤4、根据原始纹理子空间基图像的投影系数和反射率纹理子空间中的基图像重建无光照人脸图像。
2.根据权利要求1所述的方法，其特征在于，步骤1包括：
对待识别原始人脸图像进行平滑滤波获得人脸光照模板图像；
根据log全变差法以及人脸光照模板图像对待识别原始人脸图像进行差分得到人脸反射率图像。
3.根据权利要求1或2所述的方法，其特征在于，步骤2包括：从光照子空间选取互不相关的人脸参考图像作为基图像，根据基图像以及原始光照参考图像和无光照参考图像在光照子空间中的投影系数得到原始光照参考图像和无光照参考图像。
4.根据权利要求3所述的方法，其特征在于，步骤2包括：根据光照子空间中的人脸参考图像分别与原始光照参考图像、无光照参考图像在光照上的差异，计算原始光照参考图像或无光照参考图像在光照子空间中的投影系数。
5.根据权利要求4所述的方法，其特征在于，根据光照子空间中的人脸参考图像分别与原始光照参考图像、无光照参考图像在光照上的差异，计算原始光照参考图像或无光照参考图像在光照子空间中的投影系数包括：根据 计算原始光照参考图像或无光照参考图像在光照子空间中的投影系数αin，α表示原始光照参考图像或无光照参考图像在光照子空间中的投影系数向量，BI表示光照子空间中的基图像，Iin表示待识别原始人脸图像或人脸反射率图像，E表示待识别原始人脸图像的能量函数。
6.根据权利要求1或2或5所述的方法，其特征在于，步骤3包括：根据ωI＝min(ω|Ew＝||IIn-ω·BI||)计算待识别原始人脸图像在原始纹理子空间基图像的投影系数，BI表示原始纹理子空间的基图像，ω表示原始纹理子空间基图像的投影权重，Ew 表示待识别原始人脸图像的能量函数，IIn表示待识别原始人脸图像。
7.根据权利要求6所述的方法，其特征在于，步骤3还包括：按照预定的规则对待识别原始人脸图像和人脸反射率图像进行分块，分别得到待识别原始人脸图像块和人脸反射率图像块，以及对原始纹理子空间和反射率纹理子空间中的基图像进行分块得到基图像块。
8.根据权利要求7所述的方法，其特征在于，步骤3还包括：根据ωI p＝min(ωp|Ew p＝Iin p-ωp·BI p||)计算待识别人脸图像在原始纹理子空间的基图像中第p块基图像块投影系数ωI p，其中，Iin p表示待识别人脸图像中第p块图像块，ωp表示原始纹理子空间的基图像中第p块基图像块的投影权重，BI p表示原始纹理子空间的基图像中第p块基图像块，Ew p表示待识别人脸图像中第p块图像块的能量函数。
9.根据权利要求8所述的方法，其特征在于，步骤4包括：根据 
Figure FDA0000105060490000021
得到重建的无光照人脸图像Inorm，其中，ωI表示由原始纹理子空间中图像块的投影系数ωI p组成的原始纹理子空间基图像的投影系数；Bρ表示由反射率纹理图像的基图像块 
Figure FDA0000105060490000022
组成的反射率纹理子空间中的基图像。
10.根据权利要求1所述的方法，其特征在于，还包括：对待识别原始人脸图像进行亮度调节；
或者，对待识别原始人脸图像和反射率人脸图像进行亮度调节。
11.一种无光照人脸图像重建系统，其特征在于，包括：
反射率图像获取单元，用于从待识别原始人脸图像中获取人脸反射率图像；
光照子空间投影单元，用于根据不同光照条件下的人脸参考图像建立光照子空间以及将待识别原始人脸图像和人脸反射率图像分别投影到光照子空间得到原始光照参考图像和无光照参考图像；
纹理子空间投影单元，用于根据原始光照参考图像、无光照参考图像分别建立原始纹理子空间、反射率纹理子空间，以及将待识别原始人脸图像投影到原始纹理子空间、人脸反射率图像投影到反射率纹理子空间分别获得原始纹理子空间基图像的投影系数以及反射率纹理子空间中的基图像；
图像重建单元，用于根据原始纹理子空间基图像的投影系数和反射率纹理子空间中的基图像重建无光照人脸图像。 
CN201010267258XA 2010-08-31 2010-08-31 无光照人脸图像重建方法和系统 Active CN101923721B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201010267258XA CN101923721B (zh) 2010-08-31 2010-08-31 无光照人脸图像重建方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201010267258XA CN101923721B (zh) 2010-08-31 2010-08-31 无光照人脸图像重建方法和系统

Publications (2)

Publication Number Publication Date
CN101923721A CN101923721A (zh) 2010-12-22
CN101923721B true CN101923721B (zh) 2012-02-15

Family

ID=43338631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010267258XA Active CN101923721B (zh) 2010-08-31 2010-08-31 无光照人脸图像重建方法和系统

Country Status (1)

Country Link
CN (1) CN101923721B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184832A (zh) * 2015-08-11 2015-12-23 南京邮电大学 一种改进噪声方差估计的图像重构的设计方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102592309B (zh) * 2011-12-26 2014-05-07 北京工业大学 一种非线性三维人脸的建模方法
CN103632357B (zh) * 2013-01-30 2016-08-03 中国科学院电子学研究所 一种基于光照分离的图像超分辨率增强方法
CN106295478A (zh) * 2015-06-04 2017-01-04 深圳市中兴微电子技术有限公司 一种图像特征提取方法和装置
CN107038776A (zh) * 2017-03-24 2017-08-11 新疆习美人工智能科技有限公司 一种门禁系统及门禁控制方法
CN110909676A (zh) * 2019-11-22 2020-03-24 江苏集萃智能传感技术研究所有限公司 一种光照不均匀的面部纹理特征提取方法
CN113112444B (zh) * 2020-01-09 2022-05-31 舜宇光学（浙江）研究院有限公司 鬼像检测方法及其系统、电子设备以及鬼像检测平台
CN113538655B (zh) * 2021-06-23 2023-08-04 聚好看科技股份有限公司 一种虚拟人脸的生成方法及设备

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Qing Li et al.Image-based face illumination transferring using logarithmic total variation models.《The Visual Computer: International Journal of Computer Graphics》.2009,第26卷(第1期),全文. *
Sang-Woong Lee et al.Face recognition under arbitrary illumination using illuminated exemplars.《Pattern Recognition》.2006,第40卷(第5期),全文. *
SVANTE WOLD et al.Principal Component Analysis.《Chemometrics and Intelligent Laboratory Systems》.1987,第2卷全文. *
Terrence Chen et al.Total Variation Models for Variable Lighting Face Recognition.《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》.2006,第28卷(第9期),全文. *
Xiaohua Xie et al.Face Illumination Normalization on Large and Small Scale Features.《CVPR 2008》.2008,全文. *
Xudong Xie et al.An efficient illumination normalization method for face recognition.《Pattern Recognition Letters》.2005,第27卷(第6期),全文. *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184832A (zh) * 2015-08-11 2015-12-23 南京邮电大学 一种改进噪声方差估计的图像重构的设计方法
CN105184832B (zh) * 2015-08-11 2018-08-14 南京邮电大学 一种改进噪声方差估计的图像重构的方法

Also Published As

Publication number Publication date
CN101923721A (zh) 2010-12-22

Similar Documents

Publication Publication Date Title
CN101923721B (zh) 无光照人脸图像重建方法和系统
Zhang et al. Fast haze removal for nighttime image using maximum reflectance prior
Krig Computer vision metrics: Survey, taxonomy, and analysis
Allene et al. Seamless image-based texture atlases using multi-band blending
Jiao et al. Local stereo matching with improved matching cost and disparity refinement
CN101356546B (zh) 图像高分辨率化装置、方法及系统
DE112020004810T5 (de) Systeme und verfahren zur erfassung von oberflächennormalen mit polarisation
CN104867135B (zh) 一种基于指导图像引导的高精度立体匹配方法
CN111063021A (zh) 一种空间运动目标的三维重建模型建立方法及装置
Cai et al. FCSR-GAN: Joint face completion and super-resolution via multi-task learning
Agresti et al. Deep learning for confidence information in stereo and tof data fusion
Suárez et al. Deep learning based single image dehazing
CN111179189B (zh) 基于生成对抗网络gan的图像处理方法、装置以及电子设备、存储介质
CN113362247A (zh) 一种激光融合多目相机的语义实景三维重建方法及系统
Chen et al. 3D texture mapping in multi-view reconstruction
CN106504207A (zh) 一种图像数据处理方法
CN104504672A (zh) 基于NormLV特征的低秩稀疏邻域嵌入超分辨方法
CN115841438A (zh) 基于改进gan网络的红外图像与可见光图像融合方法
Hsu et al. Object detection using structure-preserving wavelet pyramid reflection removal network
CN117115359B (zh) 一种基于深度图融合的多视图电网三维空间数据重建方法
CN104008374B (zh) 一种矿井图像中基于条件随机场的矿工检测方法
CN105528772B (zh) 一种基于指导性滤波的图像融合方法
Sarafraz et al. Performance assessment in solving the correspondence problem in underwater stereo imagery
CN106228553A (zh) 高分辨率遥感图像阴影检测装置与方法
CN110288701A (zh) 一种基于深度聚焦的三维重建方法及终端

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant