CN102214364B - 结合直方图回归和纹理分析的灰度图像自动着色方法 - Google Patents

Abstract

本发明涉及影视制作、游戏动漫、虚拟现实等场合的图像处理。为提供一种简便易行的图像自动着色方法，能取得准确的着色结果。为达上述目的，本发明采取的技术方案是，结合直方图回归和纹理分析的灰度图像自动着色方法，包括以下步骤：1)图像直方图的局部加权回归分析：将局部加权回归算法同时运用到灰度图像和色源图像的直方图，得到直方图上每一点线性拟合后的斜率，其中，灰度图像为待着色的黑白图像，色源图像为颜色参考图像，获得斜率为零的点，称之为极点，极点包括极大值点和极小值点；2)极点的调整与匹配；3)纹理分析；4)加权着色。本发明主要应用于图像处理。

Description

结合直方图回归和纹理分析的灰度图像自动着色方法

技术领域

本发明涉及影视制作、游戏动漫、虚拟现实等场合的图像处理，具体讲涉及结合直方图回归和纹理分析的灰度图像自动着色方法。

背景技术

灰度图像着色是黑白影像资料彩色化、医学图像增强及卡通动漫创作等领域中的关键技术。现有的方法大都基于用户交互实现。然而，大量的交互操作无疑限制了这类方法的实际应用。

Welsh等[1]提出了一种基色图像间颜色传递的灰度图像着色方法。该方法需要用户采用窗口交互选择并匹配着色区域。Levin等[2]实现了一种基于优化的灰度图像着色方法，将着色过程转化为优化求解过程。其中，用户的交互操作成为优化过程的约束条件。Luan等[3]提出了一种基于笔画交互分割的自然景物图像着色新方法。该方法需要大量的笔画输入来实现对自然景物图像较为准确的分割。Liu等[4]利用互联网上丰富的图像资源，从中分析得到若干参考图像用于灰度图像的着色。Qu等[5]进一步将图像着色推广到漫画领域，提出一种基于纹理的水平集方法的黑白漫画着色方法。该方法需要用户采用笔画交互的方式分割不同的纹理区域。贾云涛等[6]提出了一种基于图切分技术的交互式图像着色方法。该方法将着色问题转化为一个全局能量函数的构造和优化，并通过图切分技术求得最佳的图像分割块。然而，基于图切分的分割方法使得图像中不同区域之间颜色没有过渡。胡伟等[7]提出了基于最优化着色的金字塔模型的高分辨率灰度图像着色方法。该方法能够控制矩阵计算的规模，适合图形硬件加速。

现有的灰度图像的着色技术大都需要较多的用户交互操作，费事费力，而且难以运用于大量图像或者视频的着色领域。此外，这些方法只采用图像的亮度信息进行区域分割，对于具有丰富纹理细节的图像容易产生错误的着色结果。

发明内容

为克服现有技术的不足，提供一种简便易行的图像自动着色方法，能取得准确的着色结果。为达上述目的，本发明采取的技术方案是，结合直方图回归和纹理分析的灰度图像自动着色方法，包括以下步骤：

1)图像直方图的局部加权回归分析：将局部加权回归算法同时运用到灰度图像和色源图像的直方图，得到直方图上每一点线性拟合后的斜率，其中，灰度图像为待着色的黑白图像，色源图像为颜色参考图像，获得斜率为零的点，称之为极点，极点包括极大值点和极小值点；

2)极点的调整与匹配：采用极点的数量、极大值点和极小值点的交替序列对灰度图像和色源图像进行区域分割，再通过对极点序列的调整实现灰度图像和色源图像之间的匹配；

3)纹理分析：采用联合双边滤波获得灰度图像的高频信息，并由此划分图像的局部纹理细节；

4)加权着色：计算每一个亮度所对应在色源图像中的颜色的平均值，再对与色源图像的直方图匹配的灰度图像亮度直方图及纹理细节图像直方图的分区着色，采用局部加权回归中的权值方程来构建加权着色算法。

图像直方图的局部加权回归分析具体计算公式如下：

$\mathrm{\θ}=\arg \min \underset{j}{\mathrm{\Σ}}{w}^{\left(j\right)}({\mathrm{\θ}}^T{x}^{\left(j\right)}-y^{\left(j\right)}),---\left(1\right)$

$\mathrm{\θ}=\left(\begin{array}{c}{\mathrm{\θ}}_0\\ {\mathrm{\θ}}_1\end{array}\right),x^{\left(j\right)}=\left(\begin{array}{c}1\\ j\end{array}\right),y^{\left(j\right)}=g\left(j\right)---\left(2\right)$

其中，θ和x分别是拟合数据和训练数据；θ^T表示θ的转置；g(j)为图像直方图；二维向量θ表示亮度j对应的回归分析结果，θ₀为y轴的截距，θ₁为斜率；w^(j)是非负的权值，由下式计算得到：

$w^{\left(j\right)}=\exp (-\frac{{\left|\right|x^{\left(j\right)}-x\left|\right|}^2}{2{\mathrm{\ω}}^2}),---\left(3\right)$

其中，ω为用户指定的常数，得到斜率为0的点，称之为极点，极点包括极大值点和极小值点。

极点的调整与匹配具体为：由求得的极点生成极点序列Z，和极值交替序列T，Z即为所有极点的集合，T里的值表示了Z中极大值点与极小值点的交替，当T(i)＝1时，Z(i)是局部极大值点，当T(i)＝-1时，Z(i)为局部极小值点，记Z_S和T_S表示色源图像的序列，Z_T和T_T表示目标图像即灰度图像的序列，S_S和S_T表示色源图像和灰度图像的直方图，如果T_S＝T_T，那么色源图像和灰度图像的内容是相似的，可以由此进行分区之间的匹配，如果T_S≠T_T，需要调整序列T和Z，使它们匹配而便于着色，具体算法如下：

(1)检测两个序列大小的差是否为奇数，如果是奇数，去掉处于序列之首的点或末尾的点；

(2)找出较大的一个序列，并比较两个序列的首和尾，只要首或尾任意一个不相等，则在较大序列中去掉它；

首尾匹配后，得到首和尾相匹配的极点序列，而两个序列本身有可能还并不互相匹配，但是序列大小相差是偶数，可以从较大的序列里删除偶数个点，最终使两个序列匹配，每一次循环删除两个相邻的点，具体如下：找出处于上升的趋势和处于下降趋势的点对，比较它们在直方图中的差值，然后，在一次循环中去掉值相差最小的点对。

纹理分析具体计算如下式所示，该方法可以产生得到边缘较为清晰的纹理细节图像：

$T{\left(I\right)}_p=\frac{1}{k}\underset{q\∈\left|H\right|}{\mathrm{\Σ}}{g}_{{\mathrm{\σ}}_s}\left(\right||p-q|\left|\right)g_{{\mathrm{\σ}}_r}\left(\right|I_p-I_q\left|\right){\left|H\right|}_q,---\left(4\right)$

$k=\underset{q\∈I}{\mathrm{\Σ}}{g}_{{\mathrm{\σ}}_s}\left(\right||p-q|\left|\right)g_{{\mathrm{\σ}}_r}\left(\right|I_p-I_q\left|\right){\left|H\right|}_q,---\left(5\right)$

其中，I_p和I_q分别为像素p和像素q的强度，T(I)_p为滤波之后的像素p的强度，H为高斯高通滤波得到的高频图像，g_σ(x)＝exp(-x²/σ²)，σ_s与σ_r分别控制邻域大小及强度差异对结果的影响。

加权着色具体算法如下：计算每一个亮度所对应在色源图像中的颜色的平均值，再对与色源图像的直方图匹配的灰度图像亮度直方图及纹理细节图像直方图的分区着色，其中，采用局部加权回归中的权值方程来构建加权着色算法，具体如下式所示：

$C_T\left(j\right)=\frac{\underset{i=1}{\overset{255}{\mathrm{\Σ}}}w(i,(j-{\mathrm{\η}}_T)\frac{\mathrm{\δ}\left(S_S\right)}{\mathrm{\δ}\left(S_T\right)}+{\mathrm{\η}}_S,\frac{\mathrm{\δ}\left(S_S\right)}{\mathrm{\δ}\left(S_T\right)})\·C_S\left(i\right)}{\underset{i=1}{\overset{255}{\mathrm{\Σ}}}w(i,(j-{\mathrm{\η}}_T)\frac{\mathrm{\δ}\left(S_S\right)}{\mathrm{\δ}\left(S_T\right)}+{\mathrm{\η}}_S,\frac{\mathrm{\δ}\left(S_S\right)}{\mathrm{\δ}\left(S_T\right)})},---\left(6\right)$

$w(x,\mathrm{\μ},\mathrm{\τ})=\exp (-\frac{{\left|\right|x-\mathrm{\μ}\left|\right|}^2}{2{\mathrm{\τ}}^2}),---\left(7\right)$

$\mathrm{\μ}=(j-{\mathrm{\η}}_T)\frac{\mathrm{\δ}\left(S_S\right)}{\mathrm{\δ}\left(S_T\right)}+{\mathrm{\η}}_S,$ $\mathrm{\τ}=\frac{\mathrm{\δ}\left(S_S\right)}{\mathrm{\δ}\left(S_T\right)},---\left(8\right)$

其中，C_T(j)表示亮度j对应的颜色的平均值，δ(·)表示序列包含的元素的数目，w为权值函数，μ和τ分别为权值函数的中心值及带宽，η_S和η_T表示S_S和S_T中的最小值。

本发明具有以下技术效果：

本发明可以作为影视特技制作人员、动漫师等提供便捷的图像着色工具，大大提高设计效率。此外，本发明也可以用于医学图像、遥感图像等的特征增强，对于帮助上述领域的科学研究与探索等也具有十分重要的意义。

附图说明

图1是本发明图像处理效果对比图。图中，a色源图像，b灰度图像，c着色结果。

具体实施方式

结合直方图回归和纹理分析的灰度图像自动着色方法，包括以下步骤：

1)图像直方图的局部加权回归分析：将局部加权回归算法同时运用到灰度图像和色源图像的直方图(其中，灰度图像为待着色的黑白图像，色源图像为用户提供的一张颜色参考图像)，得到直方图上每一点线性拟合后的斜率。由此，获得斜率为零的点，称之为极点。极点包括极大值点和极小值点。

2)极点的调整与匹配：采用极点的数量、极大值点和极小值点的交替序列对灰度图像和色源图像进行区域分割。再通过对极点序列的调整实现灰度图像和色源图像之间的匹配。

3)纹理分析：采用联合双边滤波获得灰度图像的高频信息，并由此划分图像的局部纹理细节。该方法可以产生得到边缘较为清晰的纹理细节图像。

4)加权着色：计算每一个亮度所对应在色源图像中的颜色的平均值，再对与色源图像的直方图匹配的灰度图像亮度直方图及纹理细节图像直方图的分区着色。其中，采用局部加权回归中的权值方程来构建加权着色算法。

下面结合附图和实施例进一步详细说明本发明：

1、图像直方图的局部加权回归分析：将局部加权回归算法同时运用到色源图像和灰度图像的直方图，得到直方图上每一点线性拟合后的斜率。具体计算公式如下：

$\mathrm{\θ}=\arg \min \underset{j}{\mathrm{\Σ}}{w}^{\left(j\right)}({\mathrm{\θ}}^T{x}^{\left(j\right)}-y^{\left(j\right)}),---\left(1\right)$

$\mathrm{\θ}=\left(\begin{array}{c}{\mathrm{\θ}}_0\\ {\mathrm{\θ}}_1\end{array}\right),x^{\left(j\right)}=\left(\begin{array}{c}1\\ j\end{array}\right),y^{\left(j\right)}=g\left(j\right),---\left(2\right)$

其中，θ和x分别是拟合数据和训练数据；θ^T表示θ的转置；g(j)为图像直方图；二维向量θ表示亮度j对应的回归分析结果，θ₀为y轴的截距，θ₁为斜率；w^(j)是非负的权值，由下式计算得到：

$w^{\left(j\right)}=\exp (-\frac{{\left|\right|x^{\left(j\right)}-x\left|\right|}^2}{2{\mathrm{\ω}}^2}),---\left(3\right)$

其中，ω为用户指定的常数。通过上述计算，我们可以得到斜率为0的点，称之为极点。极点包括极大值点和极小值点。

2、极点的调整与匹配：采用极点的数量、极大值点和极小值点的交替序列对灰度图像和色源图像进行区域分割。由求得的极点生成极点序列Z，和极值交替序列T。Z即为所有极点的集合。T里的值表示了Z中极大值点与极小值点的交替。当T(i)＝1时，Z(i)是局部极大值点，当T(i)＝-1时，Z(i)为局部极小值点。记Z_S和T_S表示色源图像的序列，Z_T和T_T表示目标图像(灰度图像)的序列，S_S和S_T表示色源图像和灰度图像的直方图。如果T_S＝T_T，那么色源图像和灰度图像的内容是相似的，可以由此进行分区之间的匹配。如果T_S≠T_T，需要调整序列T和Z，使它们匹配而便于着色，具体算法如下：

(1)检测两个序列大小的差是否为奇数。如果是奇数，去掉处于序列之首的点或末尾的点。

(2)找出较大的一个序列，并比较两个序列的首和尾。只要首或尾任意一个不相等，则在较大序列中去掉它。

(3)首尾匹配后，得到首和尾相匹配的极点序列。而两个序列本身有可能还并不互相匹配，但是序列大小相差是偶数。可以从较大的序列里删除偶数个点，最终使两个序列匹配。本发明提出一个带有循环的算法，每一次循环删除两个相邻的点，称它为配对算法。具体如下：找出处于上升的趋势和处于下降趋势的点对，比较它们在直方图中的差值。然后，在一次循环中去掉值相差最小的点对。

3、纹理分析：采用联合双边滤波获得灰度图像的高频信息，并由此划分图像的局部纹理细节，具体计算如下式所示：该方法可以产生得到边缘较为清晰的纹理细节图像。

$T{\left(I\right)}_p=\frac{1}{k}\underset{q\∈\left|H\right|}{\mathrm{\Σ}}{g}_{{\mathrm{\σ}}_s}\left(\right||p-q|\left|\right)g_{{\mathrm{\σ}}_r}\left(\right|I_p-I_q\left|\right){\left|H\right|}_q,---\left(4\right)$

$k=\underset{q\∈I}{\mathrm{\Σ}}{g}_{{\mathrm{\σ}}_s}\left(\right||p-q|\left|\right)g_{{\mathrm{\σ}}_r}\left(\right|I_p-I_q\left|\right){\left|H\right|}_q,---\left(5\right)$

其中，I_p和I_q分别为像素p和像素q的强度，T(I)_p为滤波之后的像素p的强度，H为高斯高通滤波得到的高频图像，g_σ(x)＝exp(-x²/σ²)，σ_s与σ_r分别控制邻域大小及强度差异对结果的影响。

4、加权着色：计算每一个亮度所对应在色源图像中的颜色的平均值，再对与色源图像的直方图匹配的灰度图像亮度直方图及纹理细节图像直方图的分区着色。其中，采用局部加权回归中的权值方程来构建加权着色算法，具体如下式所示：

$C_T\left(j\right)=\frac{\underset{i=1}{\overset{255}{\mathrm{\Σ}}}w(i,(j-{\mathrm{\η}}_T)\frac{\mathrm{\δ}\left(S_S\right)}{\mathrm{\δ}\left(S_T\right)}+{\mathrm{\η}}_S,\frac{\mathrm{\δ}\left(S_S\right)}{\mathrm{\δ}\left(S_T\right)})\·C_S\left(i\right)}{\underset{i=1}{\overset{255}{\mathrm{\Σ}}}w(i,(j-{\mathrm{\η}}_T)\frac{\mathrm{\δ}\left(S_S\right)}{\mathrm{\δ}\left(S_T\right)}+{\mathrm{\η}}_S,\frac{\mathrm{\δ}\left(S_S\right)}{\mathrm{\δ}\left(S_T\right)})},---\left(6\right)$

$w(x,\mathrm{\μ},\mathrm{\τ})=\exp (-\frac{{\left|\right|x-\mathrm{\μ}\left|\right|}^2}{2{\mathrm{\τ}}^2}),---\left(7\right)$

$\mathrm{\μ}=(j-{\mathrm{\η}}_T)\frac{\mathrm{\δ}\left(S_S\right)}{\mathrm{\δ}\left(S_T\right)}+{\mathrm{\η}}_S,\mathrm{\τ}=\frac{\mathrm{\δ}\left(S_S\right)}{\mathrm{\δ}\left(S_T\right)},---\left(8\right)$

其中，C_T(j)表示亮度j对应的颜色的平均值，δ(·)表示序列包含的元素的数目，w为权值函数，μ和τ分别为权值函数的中心值及带宽，η_S和η_T表示S_S和S_T中的最小值。

5、本发明在实施时，涉及到一些参数的取值，根据我们的实验，以下参数值可获得较好的着色效果：ω＝10(公式3)。本发明的着色速度与图像的分辨率有关，用户提供的色源图像应尽量与待着色的灰度图像内容相似。

本发明的运行环境如下：支持Windows98、Windows 2000、Windows XP环境，1G内存以上、nVidia 6800以上显卡配置的微机。

参考文献：

[1]Welsh T，Ashikhimin M，Mueller K.Transferring color to greyscale images.ACMTransactions on Graphics，2002，21(3)：277-280.

[2]Levin A，Lischinski D，Weiss Y.Colorization using optimization.Proceedings ofACM SIGGRAPH，USA：ACM Press，2004：689-694.

[3]Luan Q，Wen F，Cohen-Or D.，Liang L，et al.Natural image colorization.Proceedingsof Rendering Techniques，Grenoble，France：IEEE Computer Society Press，2007：309-320.

[4]Liu Xiaopei，Wan Liang，Qu Yingge，Wong Tien Tsin，Lin Stephen，Leung Chi Sing，Heng Pheng Ann.Intrinsic colorization.ACM Transactions on Graphics，2008，27(5)：152：1-152：9.

[5]Qu Y，Wong T T，Heng，P A.Manga colorization.ACM Transaction on Graphics，2006，25(3)：1214-1220.

[6]贾云涛，胡事民.基于图切分的交互式图像染色算法.计算机学报，2006，29(3)：508-513.

[7]胡伟，秦开怀.高分辨率灰度图像的快速多分辨率着色.计算机学报，2009，32(5)：1062-1068.

Claims (3)

1.一种结合直方图回归和纹理分析的灰度图像自动着色方法，其特征是，包括以下步骤：

1)图像直方图的局部加权回归分析：将局部加权回归算法同时运用到灰度图像和色源图像的直方图，得到直方图上每一点线性拟合后的斜率，其中，灰度图像为待着色的黑白图像，色源图像为颜色参考图像，获得斜率为零的点，称之为极点，极点包括极大值点和极小值点；

2)极点的调整与匹配：采用极点的数量、极大值点和极小值点的交替序列对灰度图像和色源图像进行区域分割，再通过对极点序列的调整实现灰度图像和色源图像之间的匹配；

3)纹理分析：采用联合双边滤波获得灰度图像的高频信息，并由此划分灰度图像的局部纹理细节；

4)加权着色：计算每一个亮度所对应在色源图像中的颜色的平均值，再对与色源图像的直方图匹配的灰度图像亮度直方图及纹理细节图像直方图的分区着色，采用局部加权回归中的权值方程来构建加权着色算法；

图像直方图的局部加权回归分析具体计算公式如下：

$\mathrm{\θ}=\arg \min \underset{j}{\mathrm{\Σ}}{w}^{\left(j\right)}({\mathrm{\θ}}^T{x}^{\left(j\right)}-y^{\left(j\right)}),---\left(1\right)$ $\mathrm{\θ}=\left(\begin{array}{c}{\mathrm{\θ}}_0\\ {\mathrm{\θ}}_1\end{array}\right),$ $x^{\left(j\right)}=\left(\begin{array}{c}1\\ j\end{array}\right),$ y^(j)＝g(j)      (2)

其中，θ和x分别是拟合数据和训练数据；θ^T表示θ的转置；g(j)为图像直方图；二维向量θ表示亮度j对应的回归分析结果，θ₀为y轴的截距，θ₁为斜率；w^(j)是非负的权值，由下式计算得到：

$w^{\left(j\right)}=\exp (-\frac{{\left|\right|x^{\left(j\right)}-x\left|\right|}^2}{{2\mathrm{\ω}}^2}),---\left(3\right)$

其中，ω为用户指定的常数，通过上述计算，得到斜率为0的点，称之为极点，极点包括极大值点和极小值点。

2.如权利要求1所述的方法，其特征是，纹理分析具体计算如下式所示，该方法产生得到边缘较为清晰的纹理细节图像：

${T\left(I\right)}_p=\frac{1}{k}\underset{q\∈\left|H\right|}{\mathrm{\Σ}}{g}_{{\mathrm{\σ}}_s}\left(\right||p-q|\left|\right)g_{{\mathrm{\σ}}_r}({|I}_p-I_q|){\left|H\right|}_q,---\left(4\right)$

$k=\underset{q\∈I}{\mathrm{\Σ}}{g}_{{\mathrm{\σ}}_s}\left(\right||p-q|\left|\right)g_{{\mathrm{\σ}}_r}({|I}_p-I_q|){\left|H\right|}_q,---\left(5\right)$

其中，I_p和I_q分别为像素p和像素q的强度，T(I)_p为滤波之后的像素p的强度，H为高斯高通滤波得到的高频图像，g_σ(x)＝exp(-x²/σ²)，σ_s与σ_r分别为控制邻域大小及强度差异对结果的影响的参数，|H|q表示经高斯高通滤波得到的高频图像中像素q对应的高频值的绝对值。

3.如权利要求1所述的方法，其特征是，加权着色具体算法如下：计算每一个亮度所对应在色源图像中的颜色的平均值，再对与色源图像的直方图匹配的灰度图像亮度直方图及纹理细节图像直方图的分区着色，其中，采用局部加权回归中的权值方程来构建加权着色算法，具体如下式所示：

$C_T\left(j\right)=\frac{\underset{i=1}{\overset{255}{\mathrm{\Σ}}}w(i,(j-{\mathrm{\η}}_T)\frac{\mathrm{\δ}\left(S_S\right)}{\mathrm{\δ}\left(S_T\right)}+{\mathrm{\η}}_S,\frac{\mathrm{\δ}\left(S_S\right)}{\mathrm{\δ}\left(S_T\right)})\·C_S\left(i\right)}{\underset{i=1}{\overset{255}{\mathrm{\Σ}}}w(i,(j-{\mathrm{\η}}_T)\frac{\mathrm{\δ}\left(S_S\right)}{\mathrm{\δ}\left(S_T\right)}+{\mathrm{\η}}_S,\frac{\mathrm{\δ}\left(S_S\right)}{\mathrm{\δ}\left(S_T\right)})},---\left(6\right)$

$w(x,\mathrm{\μ},\mathrm{\τ})=\exp (-\frac{{\left|\right|x-\mathrm{\μ}\left|\right|}^2}{{2\mathrm{\τ}}^2}),---\left(7\right)$

$\mathrm{\μ}=(j={\mathrm{\η}}_T)\frac{\mathrm{\δ}\left(S_S\right)}{\mathrm{\δ}\left(S_T\right)}+{\mathrm{\η}}_S,$ $\mathrm{\τ}=\frac{\mathrm{\δ}\left(S_S\right)}{\mathrm{\δ}\left(S_T\right)},---\left(8\right)$

其中，C_T(j)表示亮度j对应的颜色的平均值，C_S(i)表示色源图像中亮度i对应的颜色的平均值，δ(·)表示序列包含的元素的数目，w为权值函数，μ和τ分别为权值函数的中心值及带宽，η_S和η_T表示S_S和S_T中的最小值。

Images