CN101425179B - 一种人脸图像重光照的方法及装置 - Google Patents

Abstract

本发明提供了一种人脸图像重光照的方法及装置，该方法包括：建立人脸光照图像数据库；获取目标人脸图像的均匀光照图像和初始商图；对初始商图进行滤波操作得到低频分量，所述初始商图与低频分量之差，构成高频分量；在人脸光照图像数据库中查找匹配预设光源位置的人脸光照图像；将所述查找得到的匹配人脸光照图像，与目标人物初始商图的高频分量组合，构成目标人物的重光照商图；依据目标人物的重光照商图与均匀光照图像生成目标人物的重光照图像。本发明对目标人物的商图进行重光照分析，进而对所述商图进行滤波操作，较好的去除了人脸源图像和目标人物的个体信息，结合调整后的均匀光照图像，获得逼真的重光照效果图。

Description

一种人脸图像重光照的方法及装置

技术领域

本发明涉及数字图像处理领域，特别涉及一种人脸图像重光照的方法，以及一种人脸图像重光照的装置。 

背景技术

随着数字图像处理技术的发展，对各种不同图像的处理中，得出图像光照条件的变化在图像成像过程中起着越来越重要的作用。尤其是在人脸图像领域，光照条件是影响人脸图像成像效果的最重要因素，为实现在复杂背景下光照条件的变化，需要在各种场景中对人脸图像进行重光照操作。 

人脸图像重光照操作，就是根据光照或外部环境的变化情况，对目标人物的人脸图像进行调整，并生成与指定的目标光照环境相一致的人脸图像。人脸图像重光照操作在人脸识别，基于图像的渲染以及电影后期制作的领域都有着非常广泛的应用。 

现有的进行人脸图像重光照的方法为采集人脸反射特性场和对人物亮度信息进行编辑。其中，采集人脸反射特性场的方法是通过采集目标人物在多种已知光源照射下的人脸图像作为光照空间的基函数图像，对基函数图像选取合适的光照方向和亮度值，再进行线性插值处理，得到以光照方向和亮度为变量的重光照函数，从而实现人脸重光照图像；在利用采集人脸反射特性场的方法进行重光照操作的过程中，为了得到基函数图像，需要对目标人物进行基本光照下的大量图像采集，再利用这些基函数图像组合得到目标人物在任意给定参数的光源下的人脸图像，该采集人脸反射特性场的方法主要缺点是重光照效果较差，且该方法不易操作。 

另外，在采集人脸反射特性场基础上发展的一种人脸图像重光照方法，也需要目标人物在多种已知光源照射下的人脸图像采集步骤，从而建立人脸反射特性场，该改进的人脸图像重光照方法还需要对目标光照环境的光照亮度值，色彩等情况有准确地了解，才可进行重光照操作，在实际实施过程中的复杂度都比较高，且重光照效果容易失真。

现有技术中，通过人物亮度信息进行编辑进行重光照操作的方法，主要是将人脸图像直接转化为向量进行分析；然而向量转换过程中，混杂了较多的所述人脸图像的个体信息，另外，在进行光照分析时，重光照图像容易受人脸皮肤材质等个体因素的影响；具体表现在进行光照分析和处理时，人脸的皮肤颜色及毛发、斑点等情况都被包含在人脸图像中，使得光照分析的结果中包含有较多的噪声和干扰，进而造成重光照效果失真。 

总之，目前需要本领域技术人员迫切解决的一个技术问题就是，如何提供一种简单易行，且重光照效果逼真的图像重光照方法。 

发明内容

本发明所要解决的技术问题是提供一种重光照效果逼真，且操作步骤简单易行的人脸图像重光照方法及一种人脸图像重光照的装置。 

为了解决上述问题，本发明公开了一种人脸图像重光照的方法，该方法可以包括： 

建立人脸光照图像数据库，所述人脸光照图像数据库包括多个光源信息及相应的人脸光照图像； 

获取目标人物人脸图像的均匀光照图像和初始商图； 

对所述初始商图中的各像素点分别设定相应的光照区域，并提取所述光照区域中的第一特征像素点；用所述第一特征像素点替换在所述初始商图中对应的像素点，所述替换后的像素点构成低频分量，所述初始商图与所述低频分量之差，构成高频分量； 

在所述人脸光照图像数据库中查找匹配所述目标人物人脸图像的预设光源位置的人脸光照图像； 

将所述查找得到的匹配人脸光照图像，与所述目标人物初始商图的高频分量组合，构成所述目标人物的重光照商图； 

依据所述目标人物的重光照商图与均匀光照图像生成所述目标人物的重光照图像。 

具体的，提取所述光照区域中的第一特征像素点的步骤包括：对所述光照区域中的像素点进行排序，提取中间像素点作为第一特征像素点；或者，计算 所述光照区域中像素点的像素平均值，将平均值像素点作为第一特征像素点。 

进一步，所述建立人脸光照图像数据库的步骤包括：获取不同光照下人脸的源图像及其光源信息；提取所述人脸源图像的均匀光照图像，计算所述人脸源图像中的像素点，与所述均匀光照图像中对应位置像素点的比值，获得所述人脸源图像的商图；对所获得的商图中的各像素点分别设定相应的光照区域，并提取所设定光照区域的第二特征像素点；用所述第二特征像素点替换在所获得的商图中对应的像素点，替换后的像素点构成所述人脸源图像的人脸光照图像；保存所述人脸源图像的光源信息及相应的人脸光照图像，生成人脸光照图像数据库。 

进一步，所述获取目标人物人脸图像的均匀光照图像和初始商图的步骤包括：选取反映所述目标人物人脸图像均匀光照的样本区域；依据所述样本区域的像素点调整所述目标人物人脸图像的像素点，所述调整后的目标人物人脸图像的像素点构成所述目标人物人脸图像的均匀光照图像；计算所述目标人物人脸图像的像素点，与所述均匀光照图像中对应位置的像素点的比值，获得所述目标人物的初始商图。 

优选的，若当前图像为彩色图像，则所述图像重光照的操作空间为亮度空间，所述方法还包括：将当前图像的RGB格式转换为YUV格式。 

进一步，若当前图像为彩色图像，所述生成目标人物的重光照图像的步骤包括：依据所述目标人物的亮度空间及重光照亮度空间，调整所述目标人物的色度空间UV，得到重光照图像的色度空间U’V’，获得YUV格式的重光照图像；将所述YUV格式的重光照图像转换为RGB格式的重光照图像。 

具体的，所述在所述人脸光照图像数据库中查找匹配预设光源位置的人脸光照图像的步骤包括：在所述人脸图像光照数据库中选取与所述目标人物在预设光源位置接近的至少三个光源信息，并获得所述光源信息对应的人脸光照图像；依据所述预设光源位置与所选择的光源信息确定所述预设光源位置的权重系数；根据所述权重系数选取与所述光源信息对应的人脸光照图像，获得在预设光源对应的人脸光照图像。 

为了解决上述问题，本发明还公开了一种人脸图像重光照的装置，该装置包括： 

人脸光照图像数据库建立单元，用于建立人脸光照图像数据库，所述人脸光照图像数据库包括多个光源信息及相应的人脸光照图像； 

目标人物操作单元，用于获取目标人物人脸图像的均匀光照图像和初始商图； 

滤波操作单元，用于对所述初始商图中的各像素点分别设定相应的光照区域，并提取所述光照区域中的第一特征像素点；用所述第一特征像素点替换在所述初始商图中对应的像素点，所述替换后的像素点构成低频分量，所述初始商图与所述低频分量之差，构成高频分量； 

预设光源的人脸光照图像获取单元，用于在所述人脸光照图像数据库中查找匹配所述目标人物的预设光源位置的人脸光照图像； 

重光照商图操作单元，将所述查找得到的匹配人脸光照图像，与所述目标人物初始商图的高频分量组合，构成所述目标人物的重光照商图； 

目标人物的重光照生成单元，用于依据所述目标人物的重光照商图与均匀光照图像生成所述目标人物的重光照图像。 

具体的，所述光照图像数据库建立单元进一步包括： 

人脸图像获取单元，用于获取不同光照下人脸的源图像及其光源信息； 

人脸源图像的商图操作单元，用于提取所述人脸源图像的均匀光照图像，计算所述人脸源图像中的像素点，与所述均匀光照图像中对应位置的像素点的比值，获得所述人脸源图像的商图； 

人脸光照图像滤波单元，用于对所获得的商图中的各像素点分别设定相应的光照区域，并提取所设定光照区域的第二特征像素点；用所述第二特征像素点替换在所获得的商图中对应的像素点，替换后的像素点构成所述源图像的人脸光照图像； 

光照图像数据库生成单元，用于保存所述人脸源图像的光源信息及相应的人脸光照图像，生成人脸光照图像数据库。 

进一步，若当前图像为彩色图像，则所述图像重光照的操作空间为亮度空间，所述装置还包括：亮度空间转换单元，用于将当前图像的RGB格式转换为YUV格式。 

进一步，若当前图像为彩色图像，所述目标人物的重光照获取单元进一步包括： 

重光照图像调整单元，用于依据所述目标人物的亮度空间及重光照亮度空间，调整所述目标人物的色度空间UV，得到重光照图像的色度空间U’V’，获得YUV格式的重光照图像； 

重光照图像转换单元，用于将所述YUV格式的重光照图像转换为RGB格式的重光照图像。 

与现有技术相比，本发明具有以下优点： 

首先，本发明对变化光照人脸图像数据库中含有的亮度信息进行提取，利用滤波操作对人脸图像数据库中包含人脸图像的个体信息进行去除，建立通用的人脸光照图像数据库；然后，对任意输入的目标人物进行分析，保留目标人物的个体信息及表面性质，并结合通用的人脸光照图像数据库将亮度空间的光照分布替换为与所需光照环境相一致的情况，通过该重光照方法较好的去除了个体信息，使光照分析的对象中包含较少的噪声和干扰。 

再者，本发明在重光照过程中首先将输入的人脸图像转化至一亮度/色度信息较为独立的色彩空间，然后针对亮度空间进行重光照操作，是一种对彩色/灰度图像均适用的重光照方法。即本发明的方法通用性强；并且，本发明的方法采用的是一组通用人脸图像的变化光照人脸图像作为参考数据，进行光照分析，减少了变换光源采集图像的复杂度，在较少工作的前提下得到目标人物在所需光照下准确逼真的重光照效果。 

附图说明

图1为本发明的一种人脸图像重光照方法实施例1的流程示意图； 

图2为本发明的一种人脸图像重光照方法实施例2的流程示意图； 

图3为本发明的一种人脸图像重光照方法获取的人脸源图像的示意图； 

图4为本发明的一种人脸图像重光照方法中获取人脸源图像的光照图像示意图； 

图5为本发明的一种人脸图像重光照方法实施例3的流程示意图； 

图6为本发明的一种人脸图像重光照装置实施例的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。 

本发明的核心构思在于，本发明采用目标人物的商图作为重光照分析的操作对象，进而对所述商图进行滤波操作，较好的去除了人脸源图像和目标人物的个体信息，结合调整后的目标人物的均匀光照图像，获得逼真的重光照效果图；且对于彩色目标人物输入图像，在进行重光照操作之前，将目标人物转化至亮度、色度信息较为独立的色彩空间，在亮度空间中进行重光照操作，光照分析的对象中包含较少的噪声和干扰，并在获得重光照亮度图像后，结合重光照亮度图像对输入图像色度空间进行调整，进而获得目标人物在所需光照下准确逼真的重光照图像。 

参照图1，示出了本发明的一种图像重光照方法实施例1的流程示意图；其主要步骤包括： 

步骤101：建立人脸光照图像数据库，所述人脸光照图像数据库包括多个光源信息及相应的人脸光照图像。 

优选的，本步骤可以通过以下子步骤实现： 

子步骤A1：获取不同光照下人脸的源图像及其光源信息，其中，所述人脸源图像可以包含一个人脸图像或多个人脸图像；所述人脸源图像数据库可以选择现有的包含多个光源及人脸光照图像的数据库，如Yale B数据库、CMUCIE数据库或可以通过普通相机拍摄的一组变换光照条件的人脸源图像，本发明无需对此作出限制； 

若所述人脸源图像为RGB(red，green，blue)格式的图像，将所述人脸源图像由RGB格式转换为YUV格式，并选择YUV格式中的亮度空间即Y分量作为重光照操作空间；若所述人脸源图像为灰度图像，直接将灰度图像空间作为亮度空间，所述建立人脸光照图像数据库的操作均在亮度空间中进行。其中，YUV是一种颜色编码方法，Y代表亮度，UV代表色度。 

子步骤A2：在人脸源图像的亮度空间中，对各个不同光源照射下的人脸图像进行光照分析，选择一张近似均匀光照、且正面角度拍摄的人脸图像，并 使所述人脸源图像中每一个人脸图像的像素点，与所述均匀光照图像中对应位置的像素点进行逐像素相除，即提取所述人脸源图像中一张均匀光照图像，计算所述人脸源图像中的像素点，与所述均匀光照图像中对应位置的像素点的比值，从而获得所述人脸源图像中每一个人脸图像对应的商图。 

子步骤A3：对所述商图中的各像素点分别设定相应的光照区域，并提取所述光照区域中的第二特征像素点；用所述第二特征像素点替换所述被处理的像素点，所述替换后的像素点构成所述源图像的人脸光照图像；例如：对所述商图中的像素点(x，y)设定一个光照区域，并提取所述光照区域中的第二特征像素点，然后用所述第二特征像素点替换所述被处理的像素点(x，y)。也就是说，对所述商图中的各像素点进行滤波操作；用所述滤波后的各像素点构成所述源图像的人脸光照图像。 

其中，提取所述第二特征像素点的操作可以是，通过对光照区域内的像素点进行排序，并提取排序后位于中间位置或某一特定位置的像素点，设定为所述被处理的像素点的光照区域的第二特征像素点；还可以是，对选取的每一个人脸光照区域的像素点求平均，得到像素平均值，设定像素平均值为第二特征像素点等。 

所述被处理像素点的相应光照区域可以为一个以被处理像素点为中心的N*N的方形区域，也可以是N*N的圆形区域或是M*N的矩形区域；此外，被处理像素点不一定是区域的中心点，如在方形区域中也可以是一个顶角点等。也就是说，本发明并不限定区域的选取方式。在实际操作过程中，区域的划分越多，得到的反映源图像的光照图像越真实，另外，所述滤波操作的窗口越大，低频分量中包含的人物个体信息越少，且人脸光照图像中的阴影边界等可能会被模糊；选择小窗口进行滤波操作，可较好的保持人脸上的光照分布，个体人物信息会被保留在结果中。 

子步骤A4：保存所述人脸源图像的光源信息及相应的人脸光照图像，生成人脸光照图像数据库。 

步骤102：获取目标人物人脸图像的均匀光照图像和初始商图。 

优选的，本步骤可以通过以下子步骤实现：

子步骤B1：获取需要进行重光照操作的目标人物的人脸图像，本发明中简称目标人物；该目标人物可以是普通相机拍摄的一张正面姿态人脸图像、或利用摄像机采集的视频中的一帧，对该目标人物的人脸图像不加以限定； 

子步骤B2：选取反映所述目标人物人脸图像的均匀光照的样本区域； 

子步骤B3：依据所述样本区域的像素点调整所述目标人物人脸图像的像素点，所述调整后的目标人物人脸图像的像素点构成所述目标人物人脸图像的均匀光照图像；通过该优选的步骤，可以节省对目标人物在多种变化光照下以及在可控均匀光照下的图像的采集过程。 

当然也可以选择可控的均匀光照对目标人物的人脸进行拍摄，来获取目标人物人脸图像均匀光照图像，则子步骤B2-B3可跳过。 

子步骤B4：将所述目标人物人脸图像的像素点与所述目标人物均匀光照图像的像素点对应相除，即计算所述目标人物人脸图像的像素点与所述均匀光照图像中对应位置的像素点的比值，获得所述目标人物人脸图像的初始商图。 

步骤103：对所述初始商图的各像素点分别设定相应的光照区域，并提取所述光照区域中的第一特征像素点；用所述第一特征像素点替换所述被处理的像素点，所述替换后的像素点构成低频分量，所述初始商图与所述低频分量之差，构成高频分量。例如：对所述初始商图中的像素点(a，b)设定一个光照区域，并提取所述光照区域中的第一特征像素点，然后用所述第一特征像素点替换所述被处理的像素点(a，b)。 

也就是说，对所述初始商图中的各像素点进行滤波操作；用所述滤波后的各像素点构成低频分量图像，输出商图与所述低频分量之差作为高频分量； 

其中，提取所述光照区域中的第一特征像素点的步骤包括： 

对所述光照区域中的像素点进行排序，提取中间像素点作为第一特征像素点；或者是，计算所述光照区域中像素点的像素平均值，将平均值像素点作为第一特征像素点等。 

步骤104：在所述人脸光照图像数据库中查找匹配所述目标人物的预设光源位置的人脸光照图像。 

其中，所述预设光源位置的人脸光照图像可以为在所述人脸光照图像数据 库中查找的最接近的人脸光照图像，也可以通过求加权平均的方式得到预设光源的人脸光照图像； 

优选的，可以通过以下子步骤得到预设光源对应的人脸光照图像的方法： 

子步骤C1：在所述人脸图像光照数据库中选取与所述目标人物在预设光源位置接近的至少三个光源信息，得到光源位置坐标，并获得所述光源信息对应的人脸光照图像； 

子步骤C2：连接在所选择的光源位置坐标对应的坐标点，形成一个平面或立体图，将预设光源投影到平面或立体图商，并计算投影位置相对所选择的光源位置的重心坐标作为权重系数，即依据所述预设光源位置与所选择的光源信息确定所述预设光源位置的权重系数； 

子步骤C3：通过权重系数和所选取的光源信息对应的人脸光照图像组合，即根据所述重心坐标选取与所述光源信息对应的人脸光照图像，获得在预设光源对应的人脸光照图像。 

步骤105：将所述人脸光照图像数据库中查找得到的与目标人物预设光源相匹配的光照图像，与所述目标人物初始商图的高频分量组合，构成所述目标人物的重光照商图；也就是说，将查找得到的与所述预设光源位置的人脸光照数据库中的人脸光照图像作为新的低频分量，与所述高频分量像素点进行组合，构成所述目标人物人脸图像的重光照商图。 

步骤106：依据所述目标人物人脸图像的重光照商图与均匀光照图像生成所述目标人物人脸图像的重光照图像。 

若当前进行重光照处理的目标人物人脸图像为灰度图像，则本发明的重光照操作完成，获得目标人物人脸图像的重光照图像； 

若当前进行重光照处理的所述目标人物人脸图像为RGB格式图像，步骤106还需要进行以下子步骤的操作： 

子步骤D1：用于依据所述目标人物人脸图像的亮度空间Y及重光照亮度空间Y，调整所述目标人物人脸图像的色度空间UV，得到重光照图像的色度空间U’V’，获得YUV格式的重光照图像； 

子步骤D2：将所述YUV格式的重光照图像转换为RGB格式的重光照图 像。 

通过增加子步骤D1和子步骤D2即可获得目标人物人脸图像为RGB格式的重光照图像， 

本实施例的重光照方法中借由建立人脸光照图像数据库的步骤较好的去除了人脸光照图像数据库中图像所包含的个体信息，进而使得光照分析的目标人物人脸图像中包含较少的噪声和干扰；另外，本发明的方法还采用一组人脸图像的变化光照人脸图像作为参考数据，进行光照分析，减少了光照分析的复杂度。 

参照图2，示出了本发明的一种人脸图像重光照方法实施例2的流程示意图；本实施例的源图像、目标人物均为彩色图像，该方法的步骤操作如下： 

步骤201：对变化光照的人脸数据库进行色彩空间转换，在亮度空间中进行操作，建立人脸光照数据库。 

优选的，本步骤通过以下步骤实现： 

子步骤S1：通过照相机拍摄获取一组可进行数据转换的人脸图像，该一组人脸图像中包含同一人物在多种变化光照下的正面姿态； 

子步骤S2：将所述一组人脸图像进行亮度空间转换，，即由RGB格式转换为YUV格式，一般的，所述RGB转换为YUV的公式都可以通用，选择Y通道作为亮度空间L_T，在第i种光照条件下的亮度空间人脸图像记为L_i；以下操作均在亮度空间中进行； 

本发明使用的所述YUV转换为RGB的公式可以表示为公式(1)： 

Y＝0.299R+0.587G+0.114B 

U＝-0.147R-0.289G+0.436B             (1) 

V＝0.615R-0.515G-0.100B 

子步骤S3：从所述一组人脸的图像中，选择一张近似均匀光照条件下，正面角度拍摄的人脸图像，作为反映人脸皮肤特性及自身属性的均匀光照图像L_u； 

子步骤S4：对亮度空间中的其他N张点光源变化光照条件下的采集得到 的亮度图像L_i，其中i＝(1，2，…，N)，与均匀光照图像L_u进行逐像素相除，去除由皮肤材质差异引起的亮度差异，得到反映脸部亮暗区域分布的商图，即光照对人脸的作用的商图  $Q_{\mathrm{ini}}^i=L_i/L_U,$ 其中i＝(1，2，…，N)； 

子步骤S5：对所述商图进行滤波操作，去除由于皮肤表面细微的几何结构变化引起的亮度差异，滤波后的商图即组成人脸光照数据库{Q_i}，i＝(1，2，…，N)。 

本实施例使用中值滤波来进行滤波操作，具体为：对所述商图中的各个像素(x，y)，将以(x，y)为中心，大小W*W的窗口设定为所属被处理像素点(x，y)的光照区域，对所属光照区域内的共N＝W*W个像素按照像素值进行排序，可以为降序排序，也可以为升序排序；定义其中位于排序后第0.5*(1+N)个位置的像素值作为特征像素点，以及，用所述特征像素点替换所述被处理像素点(x，y)，所述替换后的像素点构成所述一组人脸图像的光照图像。 

当然在本发明的方法中，使用排序滤波、平均滤波、高斯滤波或双边率波等其他多种滤波方法来进行滤波操作都是可以的。 

步骤202：输入需要进行重光照操作的目标人物的单幅人脸图像，以下统称为目标人物图像，利用人脸光照数据库得到反映目标人物皮肤性质的均匀光照图像和初始商图

优选的，本步骤通过以下步骤实现： 

子步骤M1：获取目标人物图像L_T；对目标人物图像没有限制，并按照所述RGB转换为YUV的公式(1)进行图像格式的转换，选择Y通道作为亮度空间得到亮度空间分量L_T； 

子步骤M2：选取一块用以反映目标人物均匀亮度水平的皮肤样本

及对应的亮度空间分量

子步骤M3：计算皮肤样本的亮度均值

对所述亮度空间图像L_T进行逐像素检测，对于亮度空间的像素位于正常浮动范围

的区域进行标定，得到待纠正区域R_c； 

其中，K₁<1，K₂>1，具体取值可结合实际操作要求进行调整； 

子步骤M4：对待纠正区域R_c内的各像素，选择马尔可夫随机场作为约束， 进行亮度纠正，得到目标人物的均匀光照效果

其中，该均匀光照图像是一张包含目标人物的五官特征及毛发或斑点等特征，能够对目标人物的人脸特性进行反应；同时去除了输入目标人物图像中存在的阴影及亮暗分布不均的像素点，且该均匀光照图像各处的人脸皮肤具有近似相同的亮度值的人脸图像； 

子步骤M5：对目标人物亮度空间的图像，与均匀光照效果进行逐像素相除的操作，得到测试人物的初始商图

步骤203：对初始商图中各像素点进行中值滤波，即滤波后的像素点构成低频分量

以及，初始商图与滤波后的低频分量之差为高频分量

所述高频分量反映目标人物皮肤性质，以及所述低频分量

反映光照分布情况。当然在该步骤中，对所述初始商图中的各像素点使用排序滤波、平均滤波、高斯滤波或双边率波等其他多种滤波方法来进行滤波操作都是可以的。 

步骤204：调节目标光源位置，给出目标人物重光照操作需要的预设光源，在步骤201建立的人脸光照数据库中查找匹配所述目标人物的预设光源位置的光照图像： 

优选的，本步骤通过以下步骤实现： 

子步骤N1：调节目标光源位置p，并在所述人脸光照数据库{Q_i}中寻找与光源p角度最相近的三个光源{p₁，p₂，p₃}； 

子步骤N2：计算光源{p₁，p₂，p₃}张成的平面P_data，并将目标光源p投影至该平面，得到投影位置p′，计算p′相对光源位置{p₁，p₂，p₃}的重心坐标{w₁，w₂，w₃}作为权重系数； 

子步骤N3：对所述光源位置{p₁，p₂，p₃}对应的光照图像{Q₁，Q₂，Q₃}与权重系数{w₁，w₂，w₃}进行组合，得到光源位置p对应的光照图像Q＝w₁Q₁+w₂Q₂+w₃Q₃； 

步骤205：将目标人物输入图像的原有低频分量

替换为Q，并将重光照后的低频分量Q与所述高频分量

组合，得到重光照商图  $Q_T^{\&prime;}=Q+Q_T^h;$

步骤206：将重光照商图  $Q_T^{\&prime;}=Q+Q_T^h$ 与所述均匀光照图像

进行逐像素相乘，得到目标人物重光照亮度空间  $L_T^{\&prime;}=L_T^U*Q_T^{\&prime;}.$

步骤207：根据重光照亮度空间，确定目标人物重光照色度空间，得到目 标人物彩色重光照效果； 

该步骤包括以下子步骤： 

子步骤W1：利用重光照亮度空间Y作为指导，对输入图像色度空间UV进行纠正，并结合纠正后的色度空间中

和所述重光照亮度通道

根据输入图像色度信息对重光照效果对应的色度空间进行初始设定，U′_T(x，y)＝U_T(x，y)，V′_T(x，y)＝V_T(x，y)； 

子步骤W2：对L′_T中的像素(x，y)进行检测，若重光照前后该像素的亮度值之差大于某一设定阈值T，即  $|L_T^{\&prime;}(x,y)-L_T(x,y)|>T,$ 则对该像素处的色度空间如下所述的纠正操作，否则对下一像素进行检测； 

所述纠正操作包括：设置

中以像素(x，y)为中心，窗口大小设定为N的区域，在L_T中寻找与之最匹配的大小为N×N的窗口W′，获得W′中心的坐标(i，j)；令  $U_T^{\&prime;}(x,y)=U_T(i,j),$ $V_T^{\&prime;}(x,y)=V_T(i,j),$ 完成对该像素处的色度通道

的纠正。 

子步骤W3：按照如下公式(2)进行YUV格式到RGB格式的变换，得到重光照效果

R＝Y+1.140*V 

G＝Y-0.395*U-0.581*V         (2) 

B＝Y+2.032*U 

本实施例通过具体的公式运算对彩色图像的重光照方法进行说明，其与现有技术的主要区别点为，本发明的彩色图像重光照方法主要采用目标人脸商图作为重光照分析的对象，即在目标人脸初始商图操作上进行重光照操作步骤，并且通过选取目标人脸的一块皮肤样本对目标人脸的皮肤情况进行表示，避免了采集目标人脸图像在可控均匀光照下的人脸图像这一过程；减少了采集不同光照下目标人物人脸图像的复杂度； 

另外，本发明在重光照过程中首先将输入人脸图像转化至亮度/色度信息较为独立的色彩空间，针对亮度空间进行重光照操作，是一种对彩色/灰度图像均适用的重光照方法。

一种更优选的实施例如图5所示，本发明的一种人脸图像重光照方法实施例的步骤流程图，以灰度图像的重光照操作方法为例说明，本实施例中的变化光照人脸数据库为现有的通用图像数据库，如公知的Yale B数据库，其中，该数据库包含10组人物65种光照的人脸图像，如图3所示，选用的一组人脸图像作为源图像进行重光照，即为Yale B数据库中的(07)号人物作为参考人物。具体操作步骤如下： 

步骤501：获取光照人脸数据库，选取07号人物图像作为源图像，图4显示的是本实施例使用的光照人脸图像；其中，Yale B数据库中的为灰度图像，直接将该数据中各图像作为亮度空间进行分析； 

优选的，本步骤通过以下步骤实现： 

子步骤5011：选择光源在正面水平及垂直方向均为0°时，(07)号人物的正面角度采集图像，作为反映人脸皮肤特性及自身属性的均匀光照图像L_u； 

子步骤5012：对亮度空间中的其他64张点光源变化光照条件下的采集得到的亮度图像Li(i＝1，2，…，64)，与均匀光照图像L_u进行逐像素相除的操作，去除由皮肤材质差异引起的亮度差异，得到反映脸部亮暗区域分布，即光照对人脸的作用的商图具体计算方法为： 

$Q_{\mathrm{ini}}^i(x,y)=L_i(x,y)/L_U(x,y)$

(i＝1，2，…，64)，(x＝1，2，…，640)，(y＝1，2，…，480)； 

子步骤5013：对各光照条件对应的初始商图在7×7大小的窗口内进行中值滤波操作，去除由于皮肤表面毛发、斑点等现象所引起的亮度差异，滤波后的商图{Qi}(i＝1，2，…，64)，即组成通用人脸光照数据库； 

所述通用人脸图像，就是只一张不包含皮肤材质信息，且没有明显的毛发、斑点等个体特征，可以在不同目标人物之间进行变形、迁移，并且均适用的人脸图像。 

步骤502：对于输入灰度人目标人物图像，利用光照数据库得到反映目标人物皮肤性质的均匀光照图像和初始商图； 

子步骤5021：选取目标人物的一块皮肤样本

用以反映目标人物中的均匀亮度水平；

子步骤5022：计算皮肤样本的亮度均值

对所述亮度空间图像L_T进行逐像素检测，对于亮度值位于正常浮动范围

的区域进行标定，得到待纠正区域R_c；对待纠正区域R_c内的各像素，选择马尔可夫随机场作为约束，进行亮度纠正，得到目标人物的均匀光照效果

子步骤5023：对目标人物的亮度图像，与均匀光照效果进行逐像素相除的操作，得到测试人物的初始商图

$Q_T^0(x,y)=L_T(x,y)/L_T^U(x,y).$

步骤503：对初始商图在7×7大小的窗口内进行中值滤波，得到所述反映目标人物皮肤性质的高频分量

以及反应光照分布情况的低频分量

步骤504：调节光源位置，给出目标人物在光源情况下的情况，在亮度空间进行重光照操作； 

优选的，本步骤通过以下步骤实现： 

子步骤5041：调节目标光源位置p，并在所述人脸光照数据库{Qi}(i＝1，2，…，64)中寻找与光源p距离最相近的三个光源{p₁，p₂，p₃}； 

子步骤5042：计算光源{p₁，p₂，p₃}张成的平面P_data，并将目标光源p投影至该平面，得到投影位置p′，计算p′相对光源位置{p₁，p₂，p₃}的重心坐标{w₁，w₂，w₃}作为权重系数； 

子步骤5043：对所述光源位置{p₁，p₂，p₃}对应的光照图像{Q₁，Q₂，Q₃}与权重系数{w₁，w₂，w₃}进行组合，得到光源位置p对应的光照图像Q＝w₁Q₁+w₂Q₂+w₃Q₃； 

步骤505：获取目标人物的重光照商图，具体为将目标人物输入图像的原有低频分量替换为Q，将重光照后的低频分量Q与所述高频分量组合，得到重光照商图  $Q_T^{\&prime;}=Q+Q_T^h;$

步骤506：获取目标人物的重光照图像，具体为将重光照商图与所述均匀光照图像

进行组合，得到目标人物重光照亮度空间  $L_T^{\&prime;}=L_T^U*Q_T^{\&prime;}.$

对于该目标人物的灰度图像L_T，重光照效果  $I_T^{\&prime;}=L_T^{\&prime;}.$

在具体实现过程中，本发明可以使用在图像编辑、图像动画操作、以及人脸识别等多个不同的领域，采用上述可以实现重光照的步骤都是可行的，本发明并不需要对其加以限定。 

以上对本发明实施例中的图像重光照的方法进行了详细描述；但是本领域 技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。 

以下面对本发明的图像重光照的装置进行详细介绍。 

图6为本发明的一种人脸图像重光照装置实施例的结构示意图，该装置包括： 

人脸光照图像数据库建立单元601，用于建立人脸光照图像数据库，所述人脸光照图像数据库包括多个光源信息及相应的人脸光照图像； 

优选地，所述人脸光照图像数据库建立单元601进一步包括， 

人脸源图像获取单元6011，用于获取不同光照下人脸的源图像及其光源信息； 

人脸源图像的商图操作单元6012，用于提取所述人脸源图像的均匀光照图像，计算所述人脸源图像中的像素点，与所述均匀光照图像中对应位置的像素点的比值，获得所述人脸源图像的商图； 

人脸光照图像滤波单元6013，用于对所述商图中的各像素点分别设定相应的光照区域，并提取所述光照区域中的第二特征像素点；用所述第二特征像素点替换所述被处理的像素点，所述替换后的像素点构成所述源图像的人脸光照图像； 

光照图像数据库生成单元6014，用于保存所述人脸源图像的光源信息及相应的人脸光照图像，生成人脸光照图像数据库。 

目标人物操作单元602，用于获取目标人物人脸图像的均匀光照图像和初始商图。 

滤波操作单元603，用于对所述初始商图中的各像素点分别设定相应的光照区域，并提取所述光照区域中的第一特征像素点；用所述第一特征像素点替换所述被处理的像素点，所述替换后的像素点构成低频分量，所述初始商图与所述低频分量之差，构成高频分量。

预设光源的人脸光照图像获取单元604，用于在所述人脸光照图像数据库中查找匹配所述目标人物的预设光源位置的人脸光照图像； 

重光照商图操作单元605，用于将所述查找得到的匹配人脸光照图像，与所述目标人物初始商图的高频分量组合，构成所述目标人物的重光照商图。 

目标人物的重光照生成单元606，用于依据所述目标人物人脸图像的重光照商图与均匀光照图像生成所述目标人物人脸图像的重光照图像。 

上述装置的操作，都是在亮度空间中进行；当所述人脸源图像、目标人物人脸图像为灰度图像时，可以将灰度空间直接作为亮度空间，进行重光照操作。 

当所述人脸源图像为彩色图像，目标人物为灰度图像时，则所述人脸光照图像数据库建立单元还包括， 

亮度空间转换单元，用于将当前人脸图像的RGB格式转换为YUV格式。则所述人脸图像重光照的操作空间为亮度空间。 

当所述目标人物人脸图像为彩色图像，人脸源图像为灰度图像时，所述目标人物人脸图像的重光照生成单元进一步包括， 

重光照图像调整单元，用于依据所述目标人物人脸图像的亮度空间Y及重光照亮度空间Y，调整所述目标人物人脸图像的色度空间UV，得到重光照图像的色度空间U’V’，获得YUV格式的重光照图像； 

重光照图像转换单元，用于将所述YUV格式的重光照图像转换为RGB格式的重光照图像。 

当所述目标人物人脸图像和人脸源图像都为彩色图像时，所述人脸光照图像数据库建立单元还包括， 

亮度空间转换单元，用于将当前人脸图像的RGB格式转换为YUV格式。则所述人脸图像重光照的操作空间为亮度空间； 

所述目标人物人脸图像的重光照生成单元还包括， 

重光照图像调整单元，用于依据所述目标人物人脸图像的亮度空间Y及重光照亮度空间Y，调整所述目标人物人脸图像的色度空间UV，得到重光照图像的色度空间U’V’，获得YUV格式的重光照图像； 

重光照图像转换单元，用于将所述YUV格式的重光照图像转换为RGB 格式的重光照图像。 

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于系统实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。 

以上对本发明所提供的一种人脸图像重光照的方法及装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (11)

1.一种人脸图像重光照的方法，其特征在于，包括：

建立人脸光照图像数据库，所述人脸光照图像数据库包括多个光源信息及相应的人脸光照图像；

获取目标人物人脸图像的均匀光照图像和初始商图；

对所述初始商图中的各像素点分别设定相应的光照区域，并提取所述光照区域中的第一特征像素点；用所述第一特征像素点替换在所述初始商图中对应的像素点，所述替换后的像素点构成低频分量，所述初始商图与所述低频分量之差，构成高频分量；

在所述人脸光照图像数据库中查找匹配所述目标人物人脸图像的预设光源位置的人脸光照图像；

将所述查找得到的匹配人脸光照图像与所述目标人物初始商图的高频分量组合，构成所述目标人物的重光照商图；

依据所述目标人物的重光照商图与均匀光照图像生成所述目标人物的重光照图像。

2.如权利要求1所述的方法，其特征在于，提取所述光照区域中的第一特征像素点的步骤包括：

对所述光照区域中的像素点进行排序，提取中间像素点作为第一特征像素点；

或者，计算所述光照区域中像素点的像素平均值，将平均值像素点作为第一特征像素点。

3.如权利要求1或2所述的方法，其特征在于，所述建立人脸光照图像数据库的步骤包括：

获取不同光照下人脸的源图像及其光源信息；

提取所述人脸源图像的均匀光照图像，计算所述人脸源图像中的像素点，与所述均匀光照图像中对应位置像素点的比值，获得所述人脸源图像的商图；

对所获得的商图中的各像素点分别设定相应的光照区域，并提取所设定光照区域的第二特征像素点；用所述第二特征像素点替换在所获得的商图中对应的像素点，替换后的像素点构成所述人脸源图像的人脸光照图像；

保存所述人脸源图像的光源信息及相应的人脸光照图像，生成人脸光照图像数据库。

4.如权利要求1所述的方法，其特征在于，所述获取目标人物人脸图像的均匀光照图像和初始商图的步骤包括：

选取反映所述目标人物人脸图像均匀光照的样本区域；

依据所述样本区域的像素点调整所述目标人物人脸图像的像素点，所述调整后的目标人物人脸图像的像素点构成所述目标人物人脸图像的均匀光照图像；

计算所述目标人物人脸图像的像素点，与所述均匀光照图像中对应位置的像素点的比值，获得所述目标人物的初始商图。

5.如权利要求1所述的方法，其特征在于，若当前图像为彩色图像，则所述图像重光照的操作空间为亮度空间，所述方法还包括：

将当前图像的RGB格式转换为YUV格式。

6.如权利要求5所述的方法，其特征在于，所述生成目标人物的重光照图像的步骤包括：

依据所述目标人物的亮度空间及重光照亮度空间，调整所述目标人物的色度空间UV，得到重光照图像的色度空间U’V’，获得YUV格式的重光照图像；

将所述YUV格式的重光照图像转换为RGB格式的重光照图像。

7.如权利要求1所述方法，其特征在于，所述在所述人脸光照图像数据库中查找匹配预设光源位置的人脸光照图像的步骤包括：

在所述人脸图像光照数据库中选取与所述目标人物在预设光源位置接近的至少三个光源信息，并获得所述光源信息对应的人脸光照图像；

依据所述预设光源位置与所选择的光源信息确定所述预设光源位置的权重系数；

根据所述权重系数选取与所述光源信息对应的人脸光照图像，获得在预设光源对应的人脸光照图像。

8.一种人脸图像重光照的装置，其特征在于，包括：

人脸光照图像数据库建立单元，用于建立人脸光照图像数据库，所述人脸光照图像数据库包括多个光源信息及相应的人脸光照图像；

目标人物操作单元，用于获取目标人物人脸图像的均匀光照图像和初始商图；

滤波操作单元，用于对所述初始商图中的各像素点分别设定相应的光照区域，并提取所述光照区域中的第一特征像素点；用所述第一特征像素点替换在所述初始商图中对应的像素点，所述替换后的像素点构成低频分量，所述初始商图与所述低频分量之差，构成高频分量；

预设光源的人脸光照图像获取单元，用于在所述人脸光照图像数据库中查找匹配所述目标人物的预设光源位置的人脸光照图像；

重光照商图操作单元，用于将所述查找得到的匹配人脸光照图像，与所述目标人物初始商图的高频分量组合，构成所述目标人物的重光照商图；

目标人物的重光照生成单元，用于依据所述目标人物的重光照商图与均匀光照图像生成所述目标人物的重光照图像。

9.如权利要求8所述的装置，其特征在于，所述光照图像数据库建立单元进一步包括：

人脸图像获取单元，用于获取不同光照下人脸的源图像及其光源信息；

人脸源图像的商图操作单元，用于提取所述人脸源图像的均匀光照图像，计算所述人脸源图像中的像素点，与所述均匀光照图像中对应位置的像素点的比值，获得所述人脸源图像的商图；

人脸光照图像滤波单元，用于对所获得的商图中的各像素点分别设定相应的光照区域，并提取所设定光照区域的第二特征像素点；用所述第二特征像素点替换在所获得的商图中对应的像素点，替换后的像素点构成所述源图像的人脸光照图像；

光照图像数据库生成单元，用于保存所述人脸源图像的光源信息及相应的人脸光照图像，生成人脸光照图像数据库。

10.如权利要求8所述的装置，其特征在于，若当前图像为彩色图像，则所述图像重光照的操作空间为亮度空间，所述装置还包括：

亮度空间转换单元，用于将当前图像的RGB格式转换为YUV格式。

11.如权利要求10所述的装置，其特征在于，所述目标人物的重光照获取单元进一步包括：

重光照图像调整单元，用于依据所述目标人物的亮度空间及重光照亮度空间，调整所述目标人物的色度空间UV，得到重光照图像的色度空间U’V’，获得YUV格式的重光照图像；

重光照图像转换单元，用于将所述YUV格式的重光照图像转换为RGB格式的重光照图像。

Images