CN106296748A - 一种基于块匹配变形和颜色迁移的物体图像重光照方法 - Google Patents

Abstract

本发明提出了一种基于块匹配变形和颜色迁移的物体图像重光照方法，将块匹配算法和颜色变换算法以及局部和全局光照迁移模型相结合，在保证参考图像光照情况不变的情况下，利用颜色变换算法将参考图像进行变色，使之与输入图像的颜色相一致，颜色对图像光照迁移有较大影响，如此可大大减少颜色对后期光照迁移处理的影响。在大大减少了颜色因素对发明结果的影响后，利用块匹配算法对参考图像进行变形，使之与输入图像中物体形状相匹配。最后，将输入图像和变形参考图像经过局部和全局仿射变换进行光照迁移，完成输入图像的重光照。该方法很容易通过软件实现，本发明可广泛应用推广到计算机视觉、视觉设计、数字娱乐和电影制片等中。

Description

一种基于块匹配变形和颜色迁移的物体图像重光照方法

技术领域

本发明属于可视计算、计算机视觉领域，特别是物体光照迁移方法，具体地说是基于局部和全局仿射变换模型的光照迁移方法。

背景技术

基于图像的无3D模型的逼真虚拟重光照已经在可视计算领域广泛地研究，并且在视觉设计、数字娱乐和电影制片等方面得到广泛地应用。

基于图像的虚拟重光照可以被粗略的分为以下几类：人脸重光照，场景重光照和物体重光照。除了3D重建理论，另外的研究方向是利用参考图像更实际的应用到现实世界的应用中。在此方向中，人脸重光照是最为普遍的研究方向。参考图像来源从多幅人脸参考图像，到两幅人脸参考图像再到单幅人脸参考图像。场景重光照和物体重光照仍然需要多幅参考图像。

在相同的种族中，人的脸部有着相同的皮肤反射率。因此，基于人脸的重光照方法通常采用只将光照迁移应用到相应的光照组件中的方法。然而，一般的物体通常都有各种各样的颜色，上述的方法就不再适用。本发明从人脸重光照方法中获得了灵感，首先，将参考图像A和B参照输入图像进行颜色变换。

不同于人脸有着相似的几何形状，在物体重光照方向，针对一般的物体，如汽车、杯子、茶壶等，虽然它们可能有相同的语义标签，但是仍具有各种各样的几何形状和材质。现在的针对人脸轮廓检测的人脸校准算法并不能直接应用于一般的物体。另外，类似皮肤的反射率的假设也不再适合于一般物体。因此，提出一种适用于物体的重光照方法是非常必要的。之前的发明中将输入图像I中的每一个像素与变色后的参考图像A的一个像素进行匹配。然而，这种高密集度的匹配会消耗大量的时间。

发明内容

本发明要解决技术问题为：克服现有技术的不足，提供一种基于块匹配变形和颜色迁移的物体图像重光照方法，该方法能够有效的减少参考图像的数量，降低发明成本，而且将像素级匹配提升至块级别匹配，大大节约运行时间，提高运行效率。

本发明采用的技术方案为：一种基于块匹配变形和颜色迁移的物体图像重光照方法，其特征在于实现步骤：

(1)选定与输入物体图像相匹配的参考图像A和B，进行颜色变换；

(2)将变色后的参考图像A'和B'与输入图像进行块匹配变形；

(3)将变形后的参考图像和与输入图像通过局部和全局仿射变换模型，实现将参考图像B的光照状态迁移到输入图像上。

其中，步骤(1)所述颜色变换方法采取以下步骤：

(11)确定输入图像在RGB通道参数值，确定输入图像中物体前景的色相值I₁；

(12)确定参考图像A的前景部分RGB通道参数值，确定其色相值A₁；

(13)参照输入图像物体前景色相值I₁对参考图像物体前景色相值A₁进行对应性调整，得到变色后的参考图像A'；

(14)确定参考图像B的前景部分RGB通道参数值，确定其色相值B₁；

(15)参照输入图像物体前景色相值I₁对参考图像物体前景色相值B₁进行对应性调整，得到变色后的参考图像B'。

其中，步骤(2)所述的块匹配变形方法采取以下步骤：

(21)对于输入图像I，按照L₂范数，将其分割为边长为2r+1的N块；

(22)在参考图像A'中遍历寻找与I中N块相似的每一块，其对应关系如公式其中，(x_p,y_p)是每个像素在块中的坐标；

(23)参照(22)中方法实现参考图像A'的变形，得到变形参考图像

(24)在参考图像B'中遍历寻找与I中N块相似的每一块，其对应关系如公式其中，(x_p,y_p)是每个像素在块中的坐标；

(25)参照(24)中方法实现参考图像B'的变形，得到变形参考图像

其中，步骤(3)所述基于局部和全局仿射变换模型的光照迁移方法采取以下步骤：

(31)将输入图像I,变形参考图像变形参考图像在CIELAB色彩空间分离为亮度层和色彩层；

(32)在L通道(亮度层)对输入图像的每一块按照局部迁移公式和进行参考图像与输入图像I块级别的光照迁移；

(33)对块级别完成光照迁移之后，对输入图像I,变形参考图像变形参考图像全图范围进行过拟合调整，按照 的公式进行全局迁移，得到输入图像I在参考图像B光照条件迁移后的重光照结果。

本发明的原理在于：

根据目前物体重光照方案的缺陷和不足，可以总结出设计基于块匹配变形和颜色迁移的物体图像重光照方法一些规则，如下所述：

(1)在场景重光照和传统的物体重光照方法中，参考视频和多幅参考图像的使用对重光照方法的运行时间和空间都是极大的考验；

(2)不同于人脸，在物体重光照领域，针对一般的物体，如汽车、杯子、茶壶有各种各样的几何形状。现在的针对人脸轮廓检测的人脸校准算法并不能直接应用于一般的物体。因此，必须使用一个适用于物体的匹配和变形算法；

(3)不同于人脸，在相同的种族中，人的脸部有着相同的皮肤反射率，只需将光照迁移应用到相应的部位中即可，在物体重光照领域，一般的物体通常都有各种各样的颜色，无法直接进行光照迁移。因此，必须使用一个适用于物体的颜色变换算法；

(4)在多种色彩空间中，CIELAB色彩空间能够更好的描述图像的光影效果和色彩效果，对图像的重光照处理提供了极好的处理空间。

根据上述规则，本发明利用颜色变换、块匹配变形、局部和全局光照迁移方法，设计了一种新的物体重光照方案。在该方案中，颜色变换用来降低颜色对后期光照迁移的影响，提高迁移效果的鲁棒性。块匹配变形用来对参考图像中物体前景区域与输入图像进行块级别匹配，找到与输入图像对应的相似块，对参考图像在块级别进行重排。局部和全局光照迁移用来实行将参考图像光照效果迁移到输入图像中。实验分析表基于块匹配变形和颜色迁移的物体图像重光照方法，能够适合实际的物体重光照应用。

本发明与现有的技术相比，其优势在于：

(1)方法在多类型物体参考图像中都具有较强的鲁棒性，将以往的多幅参考图像降低至2幅参考图像，大大降低了发明成本，节省了运行空间；

(2)将物体图像的匹配由像素级别提升到块级别，大大节约了运行时间，提高了运行效率；

(3)物体重光照方案结构简单，易于实现。

附图说明

图1是本发明应用场景图；

图2是本发明方案流程图。

具体实施方式：

下面结合附图和具体实施方式对本发明作进一步详细的说明。

块匹配变形过程：

输入物体图像I和两幅变色后的参考物体图像A'和B'均作为本发明在局部和全局的光照迁移过程的输入，在实际操作中，这3幅图像以矩阵形式存在。

对于长度为2r+1的平方块，采用L₂范数。对于像素p∈I和与之对应的像素q∈A的关系,将其简化为如下公式：

$\underset{i=-r}{\overset{r}{\Σ}}\underset{j=-r}{\overset{r}{\Σ}}\left|\right|I(x_p+i,y_p+j)-A(x_p+i,y_p+j)|{|}^2---\left(1\right)$

其中，(x_p,y_p)是每个像素在块中的坐标，p为块对应的像素基点，i和j为每个块的坐标位置变化量，r为块边长的基数，||·||²为L₂范数。

得到变形后参考图像和

光照迁移过程：

输入物体图像I和两幅变形后的参考物体图像和均作为本发明在局部和全局的光照迁移过程的输入，在实际操作中，这3幅图像以矩阵形式存在。

用P_k(·)来表示已提到图像的第k块。因为一个块包含N个像素，所以P_k(·)为一个1×N的矩阵。每个块的局部迁移函数定义为T_k。能量函数的第一项定义了从到的迁移，我们在这里使用L₂范数将此迁移过程表示为：

$\underset{k}{\Σ}\left|\right|P_k\left(\tilde{B}\right)-T_k\left(\tilde{A}\right)|{|}^2---\left(2\right)$

使用同样的迁移函数T_k将输入图像I转变为输出的重光照结果R，如下式：

$\underset{k}{\Σ}\left|\right|P_k\left(R\right)-T_k\left(I\right)|{|}^2---\left(3\right)$

用一个正则项来避免过拟合，我们针对和的全图选择了全局迁移函数G，现将局部和全局迁移模型的能量函数定义如下：

$\begin{array}{c}R=\arg {\min }_{R,\left\{T_k\right\}}\underset{k}{\Σ}\left|\right|P_k\left(\tilde{B}\right)-T_k\left(\tilde{A}\right)|{|}^2\\ +a\underset{k}{\Σ}\left|\right|P_k\left(\tilde{B}\right)-T_k\left(\tilde{A}\right)|{|}^2\\ +b\underset{k}{\Σ}\left|\right|T_k-G|{|}^2\end{array}---\left(4\right)$

其中，a和b为每一项的相关系数。上述的最小值的获得可以通过一个标准的线性回归来解决。对于本发明，设定a＝0.01，b＝1，(像素值区间为[0,255]),N＝25(5×5块)。

总之，本发明中提出的基于块匹配变形和颜色迁移的物体图像重光照方法能够适用于多种物体作为参考物体的场景。本发明首次将块匹配变形算法和颜色变换算法以及局部和全局光照迁移模型相结合，并应用到物体图像重光照中，大大降低了运行空间，减少了运行时间，提高了运算效率。通过实验显示出本发明提出的方法能够有效减少以往参考视频和多幅参考图像所占用的空间，大大降低了发明成本，节省了运行空间；通过使用块匹配变形方法，大大节约了运行时间，提高了运行效率。并且该物体重光照方法很容易通过软件实现，本发明可广泛应用计算机视觉、视觉设计、数字娱乐和电影制片等中。

以上所述仅为本发明的一些基本说明，依据本发明的技术方案所做的任何等效变换，均应属于本发明的保护范围。

Claims (4)

1.一种基于块匹配变形和颜色迁移的物体图像重光照方法，其特征在于实现步骤：

(1)选定与输入图像相匹配的参考图像A和B，进行颜色变换，得到变色后的参考图像A'和B'；

(2)将变色后的参考图像A'和B'与输入图像进行块匹配变形，得到变形后的参考图像和

(3)将变形后参考图像和与输入图像通过局部和全局仿射变换模型，将参考图像B的光照状态迁移到输入图像上，得到输入图像I在参考图像B光照条件迁移后的重光照结果。

2.根据权利要求1所述的基于块匹配变形和颜色迁移的物体图像重光照方法，其特征在于：步骤(1)所述颜色变换方法采取以下步骤：

(11)确定输入图像在RGB通道参数值，确定输入图像中物体前景色相值I₁；

(12)确定参考图像A的前景部分RGB通道参数值，确定参考图像A的色相值A₁；

(13)参照输入图像物体前景色相值I₁对参考图像物体前景色相值A₁进行对应性调整，得到变色后的参考图像A'；

(14)确定参考图像B的前景部分RGB通道参数值，确定参考图像B的色相值B₁；

(15)参照输入图像物体前景色相值I₁对参考图像物体前景色相值B₁进行对应性调整，得到变色后的参考图像B'。

3.根据权利要求1所述的基于块匹配变形和颜色迁移的物体图像重光照方法，其特征在于：步骤(2)所述块匹配变形方法采取以下步骤：

(21)对于输入图像I，按照L₂范数，将输入图像I分割为边长为2r+1的N块；

(22)在参考图像A'中遍历寻找与I中N块相似的每一块，对应关系如公式其中，(x_p,y_p)是每个像素在块中的坐标，p为块对应的像素基点，i和j为每个块的坐标位置变化量，r为块边长的基数，||·||²为L₂范数；

(23)参照(22)中方法实现参考图像A'的变形，得到变形参考图像

(24)在参考图像B'中遍历寻找与I中N块相似的每一块，对应关系如公式

(25)参照(24)中方法实现参考图像B'的变形，得到变形参考图像

4.根据权利要求1所述的基于块匹配变形和颜色迁移的物体图像重光照方法，其特征在于：步骤(3)所述基于局部和全局仿射变换模型的光照迁移方法采取以下步骤：

(31)将输入图像I,变形参考图像变形参考图像在CIELAB色彩空间分离为亮度层和色彩层；

(32)在L通道(亮度层)对输入图像的每一块按照局部迁移公式和进行参考图像与输入图像I块级别的光照迁移，其中，P(·)为一个1×N的矩阵，P_k(·)表示已提到图像的第k块，T_k每个块的局部迁移函数；

(33)对块级别完成光照迁移之后，对输入图像I,变形参考图像变形参考图像全图范围进行过拟合调整，按照 的公式进行全局迁移，得到输入图像I在参考图像B光照条件迁移后的重光照结果，其中，a和b为每一项的相关系数，为防止过拟合的最小变量值，G为全局迁移函数。