CN101860655A - 基于双边滤波器的黑白图像彩色化方法 - Google Patents

Abstract

一种图像处理领域的基于双边滤波器的黑白图像彩色化方法，包括以下步骤：标注黑白图像；对黑白图像做距离变换，得到图像块的处理优先级；在双边滤波器框架下计算当前块和相邻块间的几何距离加权和平均灰度梯度值，若平均灰度梯度值大于阈值，则相邻块与当前块相似性不足，因此不能用来预测当前块；反之，若平均灰度梯度值小于阈值，则计算当前块和相邻块灰度值变化加权，最后当前块的恢复值由当前块、几何距离加权和灰度变化加权得到。本发明克服了色彩化过程中的亮度与色度的相关性假设缺陷，有效地实现了对破损黑白图像的彩色化，且所用时间短，得到的峰值信噪比高。

Description

基于双边滤波器的黑白图像彩色化方法

技术领域

本发明涉及的是一种图像处理技术领域的方法，具体是一种基于双边滤波器的黑白图像彩色化方法。

背景技术

黑白图像彩色化是给黑白图像加上色彩的处理过程。早期的彩色化技术主要用于黑白照片或电影，并且通常采用人工染色的方法来处理照片或电影。这样的做的工作量非常巨大。随着计算机技术的出现，计算机辅助的彩色化方法极大地提高了处理的工作效率。计算机辅助的彩色化方法通常分为：基于模板的方法和半人工干预的方法，前者在做彩色化的最大挑战是获取合适的图像模板；而后者则是通过增加了人工干预来准确地添加目标颜色。因此相对于模板匹配的彩色化方法，后者具有更好的实用性。

经过对现有技术的文献检索发现，A.Levin.，D.Lischinski.，Y.Weiss在《ACM TransactionOn Graphics(美国计算机学会图形学汇刊)》第23卷，第3期，第689页到694页发表的“Colorization Using Optimization(基于优化的彩色化方法)”一文中提出基于YUV空间亮度和色度相关性假设，通过最小均方差求解地彩色化方法，该技术是基于已有的色度信息，利用了亮度和色度相关性来获取未知色度信息的方法，并且求解空间在YUV空间。但是该技术无法对图像中信息丢失的区域进行彩色化。

又经过检索发现，L.Yatiz.，G.Sapiro在《IEEE Transaction 0n Image Processing(IEEE图像处理学报)》第15卷，第5期，第1120页到1129页发表的“Fast Image and VideoColorization Chrominance Blending(基于色度混合的快速图像/视频彩色化方法)”一文中提出基于测地距离(geodesic distance)的色度加权的彩色化方法。但是该技术未能考虑亮度信息缺失的情况，即原黑白图像破损的情况。另外，由于破损区域的亮度信息丢失，从而无法获得正确的色度空间的加权，这就带来了破损区域误着色的问题。

发明内容

本发明的目的在于克服现有技术的上述不足，提供一种基于双边滤波器的黑白图像彩色化方法。本发明采用距离变换获得像素处理优先级，以便保证色彩扩散的正确性；并且建立双边滤波器处理框架，利用框架中的点加权和块加权来描述图像的自相似性；最后采用自适应加权选择策略来加速色彩化的过程。

本发明是通过以下技术方案实现的，具体包括如下步骤：

步骤一，对待处理黑白图像进行标注处理，得到包含标注点和非标注点的标注图像。

所述的标注处理是通过Photoshop实现的。

步骤二，以标注图像中左上角的像素点为原点建立直角坐标系，得到标注图像中每个像素点的位置信息和灰度信息，进而将标注的图像作色彩空间转换，得到转换后的图像的亮度分量Y、色度分量U和色度分量V，并将转换后的图像划分为m×n个大小相等的子图像，分别给每个子图像进行数字编号。

所述的色彩空间转换，是将图像从RGB空间转换到YUV空间，具体公式为：

Y＝0.299*R+0.587*G+0.114*B

U＝0.436*(B-Y)/(1-0.114)  ，

V＝0.615*(R-Y)/(1-0.299)

其中：R，G，B分别为图像的红、绿、蓝颜色分量，Y为图像的亮度分量，U，V为图像的色度分量。

步骤三，分别对每个子图像中的非标注点进行距离变换处理，得到每个非标注点的变换距离，将每个子图像中变换距离最大的非标注点作为该子图像的参考点，将包含变换距离最大的参考点的子图像的处理顺序设为最高，以此类推，包含变换距离最小的参考点的子图像的处理顺序最低。

所述的距离变换处理，是：

$D_f\left(p\right)=\underset{q\∈{\mathrm{\Ω}}_s,p\∈{\mathrm{\Ω}}_r}{\min }(d(p,q)+f\left(q\right)),$

其中： $f\left(q\right)=\left\{\begin{array}{cc}\∞& p\∈q\\ 0& p\∉q\end{array}\right.,$

d(p，q)是非标注像素点p和标注像素点q的欧式距离，Ω_s是标注点集合，Ω_r是非标注点集合，D_f(p)是非标注点p的变换距离。

步骤四，按照步骤三的子图像的处理顺序从高到低，分别对每个子图像进行基于块的双边滤波处理，得到图像新的色度分量U’和色度分量V’，亮度分量Y保持不变，从而得到m×n个新的子图像。

所述的基于块的双边滤波处理，包括以下步骤：

4.1)为第k个子图像进行相邻子图像选择处理，得到该子图像的相邻子图像集合；

所述的相邻子图像选择处理，是：在第k个子图像的周围选择S个子图像，进而分别得到这S个子图像中每个子图像与第k个子图像之间的平均块梯度值，去除其中平均块梯度值等于0或者大于阈值T的子图像，剩下的子图像组成第k个子图像的相邻子图像集合。

4.2)得到第k个子图像的几何距离加权和灰度值变换加权，具体是：

$W_S^{\left(l\right)}=\exp \{-\frac{k^2+l^2}{{2\mathrm{\σ}}_s^2}\},$

$W_{R\left(u\right)}^{\left(l\right)}=\exp \{-\frac{{[U_k-U_l]}^2}{{2\mathrm{\σ}}_r^2}\},$

$W_{R\left(v\right)}^{\left(l\right)}=\exp \{-\frac{{[V_k-V_l]}^2}{{2\mathrm{\σ}}_r^2}\},$

其中：是第k个子图像的数字编号为l的相邻子图像的几何距离加权，

是第k个子图像的数字编号为l的相邻子图像的U分量灰度值变换加权，

是第k个子图像的数字编号为l的相邻子图像的V分量灰度值变换加权，σ_s是W_S的高斯核方差，σ_r是W_R的高斯核方差，k，l为子图像的编号，U_k和V_k分别是第k个子图像处理前的的色度分量U值和色度分量V值，U_l和V_l分别是第l个子图像处理前的色度分量U值和色度分量V值。

4.3)得到第k个子图像新的色度分量U’和色度分量V’，具体是：

${U^{\′}}_k=\frac{1}{\underset{l\∈N_k}{\mathrm{\Σ}}{W}_S^{\left(l\right)}\·W_{R\left(u\right)}^{\left(l\right)}}\underset{j\∈N_K}{\mathrm{\Σ}}{W}_S^{\left(l\right)}\·W_{R\left(u\right)}^{\left(l\right)}\·U_l,$

$V_k^{\′}=\frac{1}{\underset{l\∈N_k}{\mathrm{\Σ}}{W}_S^{\left(l\right)}\·W_{R\left(v\right)}^{\left(l\right)}}\underset{j\∈N_K}{\mathrm{\Σ}}{W}_S^{\left(l\right)}\·W_{R\left(v\right)}^{\left(l\right)}\·V_l,$

其中：U′_k和V′_k分别是第k个子图像处理后的色度分量U值和色度分量V值，N(k)是第k个子图像的相邻子图像集合。

步骤五，将m×n个新的子图像按照原来的顺序进行拼接，并对拼接后的图像进行颜色空间反变换，得到待处理黑白图像的彩色图像。

所述的颜色空间反变换，是将图像从YUV空间转换到RGB空间，具体公式为：

R′＝Y+1.13983*V′

G′＝Y-0.39465*U′-0.58060*V′，

B′＝Y+2.03211*U′

其中：R′，G′，B′为变换后的图像红、绿、蓝颜色分量，U′，V′为新的U、V分量，Y为图像的亮度分量。

与现有技术相比，本发明的有益效果是：利用距离变换、基于块的双边滤波器结构及自适应加权选择策略，建立色彩修复和扩散的统一框架，克服了图像破损区域不能着色的问题；现有的半人工干预的彩色化方法，都是基于亮度与色度的相关性假设，在亮度信息丢失的情况下，色度信息同样无法得到正确恢复，而本发明充分利用了图像的自相似性，通过基于块的双边滤波器统一框架实现了破损图像的修复和彩色化。由于本发明将色彩化归结为色彩修复，不需要计算亮度空间的加权，从而克服了传统色彩化方法所无法解决的问题，且以较短的计算时间获得了较高的峰值信噪比(PSNR)。

附图说明

图1是实施例的待处理黑白图像；

图2是实施例的第一种标注后的待处理图像；

图3是实施例的第二种标注后的待处理图像；

图4是实施例的第三种标注后的待处理图像；

图5是实施例的第四种标注后的待处理图像；

图6是实施例的第五种标注后的待处理图像。

具体实施方式

下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。

实施例

本实施例对图1所示的大小为320×256像素的黑白图像作色彩化处理，包括如下步骤：

第一步，在图像处理软件Photoshop中，对待处理黑白图像进行人工标注，标注线条为5个像素点宽度。

本实施例分别进行了五种不同的标注，标注后的图像分别如图2、图3、图4、图5和图6所示。

步骤二，以标注图像中左上角的像素点为原点建立直角坐标系，得到标注图像中每个像素点的位置信息和灰度信息，进而将标注的图像作色彩空间转换，得到转换后的图像的亮度分量Y、色度分量U和色度分量V，并将转换后的图像划分为m×n个大小相等的子图像，分别给每个子图像进行数字编号。

所述的色彩空间转换，是将图像从RGB空间转换到YUV空间，具体公式为：

Y＝0.299*R+0.587*G+0.114*B

U＝0.436*(B-Y)/(1-0.114) ，

V＝0.615*(R-Y)/(1-0.299)

其中：R，G，B分别为图像的红、绿、蓝颜色分量，Y为图像的亮度分量，U，V为图像的色度分量。

步骤三，分别对每个子图像中的非标注点进行距离变换处理，得到每个非标注点的变换距离，将每个子图像中变换距离最大的非标注点为该子图像的参考点，将包含变换距离最大的参考点的子图像的处理顺序设为最高，以此类推，包含变换距离最小的参考点的子图像的处理顺序最低。

所述的距离变换处理，是：

$D_f\left(p\right)=\underset{q\∈{\mathrm{\Ω}}_s,p\∈{\mathrm{\Ω}}_r}{\min }(d(p,q)+f\left(q\right)),$

其中： $f\left(q\right)=\left\{\begin{array}{cc}\∞& p\∈q\\ 0& p\∉q\end{array}\right.,$

d(p，q)是非标注像素点p和标注像素点q的欧式距离，Ω_s是标注点集合，Ω_r是非标注点集合，D_f(p)是非标注点p的变换距离。

步骤四，按照步骤三的子图像的处理顺序从高到低，分别对每个子图像进行基于块的双边滤波处理，得到图像新的色度分量U’和色度分量V’，亮度分量Y保持不变，从而得到m×n个新的子图像。

所述的基于块的双边滤波处理，包括以下步骤：

4.1)为第k个子图像进行相邻子图像选择处理，得到该子图像的相邻子图像集合；

所述的相邻子图像选择处理，是：在第k个子图像的周围选择S个子图像，进而分别得到这S个子图像中每个子图像与第k个子图像之间的平均块梯度值，去除其中平均块梯度值等于0或者大于阈值T的子图像，剩下的子图像组成第k个子图像的相邻子图像集合。

本实施例中S是4，阈值T是0.3。

所述的平均块梯度值，具体公式为：

$\stackrel{\‾}{\▿v}\left(l\right)=(\stackrel{\‾}{{\▿v}_x}\left(l\right),\stackrel{\‾}{{\▿v}_y}\left(l\right)),$

其中：

是编号为l的子图像与第k个子图像之间的平均梯度值，是编号为l的子图像与第k个子图像之间的水平梯度，

是编号为l的子图像与第k个子图像之间的垂直梯度。

4.2)得到第k个子图像的几何距离加权和灰度值变换加权，具体是：

$W_S^{\left(l\right)}=\exp \{-\frac{k^2+l^2}{{2\mathrm{\σ}}_s^2}\},$

$W_{R\left(u\right)}^{\left(l\right)}=\exp \{-\frac{{[U_k-U_l]}^2}{{2\mathrm{\σ}}_r^2}\},$

$W_{R\left(v\right)}^{\left(l\right)}=\exp \{-\frac{{[V_k-V_l]}^2}{{2\mathrm{\σ}}_r^2}\},$

其中：

是第k个子图像的数字编号为l的相邻子图像的几何距离加权，

是第k个子图像的数字编号为l的相邻子图像的U分量灰度值变换加权，

是第k个子图像的数字编号为l的相邻子图像的V分量灰度值变换加权，σ_s是W_S的高斯核方差，σ_r是W_R的高斯核方差，k，l为子图像的编号，U_k和V_k分别是第k个子图像处理前的的色度分量U值和色度分量V值，U_l和V_l分别是第l个子图像处理前的色度分量U值和色度分量V值。

4.3)得到第k个子图像新的色度分量U’和色度分量V’，具体是：

${U^{\′}}_k=\frac{1}{\underset{l\∈N_k}{\mathrm{\Σ}}{W}_S^{\left(l\right)}\·W_{R\left(u\right)}^{\left(l\right)}}\underset{j\∈N_K}{\mathrm{\Σ}}{W}_S^{\left(l\right)}\·W_{R\left(u\right)}^{\left(l\right)}\·U_l,$

$V_k^{\′}=\frac{1}{\underset{l\∈N_k}{\mathrm{\Σ}}{W}_S^{\left(l\right)}\·W_{R\left(v\right)}^{\left(l\right)}}\underset{j\∈N_K}{\mathrm{\Σ}}{W}_S^{\left(l\right)}\·W_{R\left(v\right)}^{\left(l\right)}\·V_l,$

其中：U′_k和V′_k分别是第k个子图像处理后的色度分量U值和色度分量V值，N(k)是第k个子图像的相邻子图像集合。

步骤五，将m×n个新的子图像按照原来的顺序进行拼接，并对拼接后的图像进行颜色空间反变换，得到待处理黑白图像的彩色图像。

所述的颜色空间反变换，是将图像从YUV空间转换到RGB空间，具体公式为：

R′＝Y+1.13983*V′

G′＝Y-0.39465*U′-0.58060*V′，

B′＝Y+2.03211*U′

其中：R′，G′，B′为变换后的图像红、绿、蓝颜色分量，U′，V′为新的U、V分量，Y为图像的亮度分量。

本实施例的彩色化原理是：通过建立统一双边滤波器框架，引入了距离变换和自适应加权策略，保持了颜色分量之间的独立性，有效地解决了亮度信息缺失情况下的黑白图像彩色化问题；在统一框架下实现了图像的修复和色彩化，并采用距离变换克服色彩误扩散的问题；通过平均灰度梯度值阈值的控制有效地减少了灰度值变化加权的计算。因此，通过建立了一种统一基于块的双边滤波器方法，可实现有效的图像修复和色彩化。

在同一的条件(硬件：CPU Intel(R)Core(TM)2Duo，E4600@2.4GHz，RAM 1.98G；软件：MATLAB R2007b)下，分别采用中值滤波方法、最佳邻域匹配方法、方向熵自适应方法和本实施例方法对图2到图6共五幅标注后的黑白图像进行彩色化处理，得到的时间和PSNR的结果如表1所示。由该表可知，本实施例方法不仅计算时间短，而且得到了最高的PSNR值。

表1

Claims (7)

1.一种基于双边滤波器的黑白图像彩色化方法，其特征在于，包括以下步骤：

步骤一，对待处理黑白图像进行标注处理，得到包含标注点和非标注点的标注图像；

步骤二，以标注图像中左上角的像素点为原点建立直角坐标系，得到标注图像中每个像素点的位置信息和灰度信息，进而将标注的图像作色彩空间转换，得到转换后的图像的亮度分量Y、色度分量U和色度分量V，并将转换后的图像划分为m×n个大小相等的子图像，分别给每个子图像进行数字编号；

步骤三，分别对每个子图像中的非标注点进行距离变换处理，得到每个非标注点的变换距离，将每个子图像中变换距离最大的非标注点为该子图像的参考点，将包含变换距离最大的参考点的子图像的处理顺序设为最高，以此类推，包含变换距离最小的参考点的子图像的处理顺序最低；

步骤四，按照步骤三的子图像的处理顺序从高到低，分别对每个子图像进行基于块的双边滤波处理，得到图像新的色度分量U’和色度分量V’，亮度分量Y保持不变，从而得到m×n个新的子图像；

步骤五，将m×n个新的子图像按照原来的顺序进行拼接，并对拼接后的图像进行颜色空间反变换，得到待处理黑白图像的彩色图像。

2.根据权利要求1所述的基于双边滤波器的黑白图像彩色化方法，其特征是，步骤一中所述的标注处理是通过Photoshop实现的。

3.根据权利要求1所述的基于双边滤波器的黑白图像彩色化方法，其特征是，步骤二中所述的色彩空间转换，是将图像从RGB空间转换到YUV空间，为：

Y＝0.299*R+0.587*G+0.114*B

U＝0.436*(B-Y)/(1-0.114)，

V＝0.615*(R-Y)/(1-0.299)

其中：R，G，B分别为图像的红、绿、蓝颜色分量，Y为图像的亮度分量，U，V为图像的色度分量。

4.根据权利要求1所述的基于双边滤波器的黑白图像彩色化方法，其特征是，步骤三中所述的距离变换处理，是：

$D_f\left(p\right)=\underset{q\∈{\mathrm{\Ω}}_s,p\∈{\mathrm{\Ω}}_r}{\min }(d(p,q)+f\left(q\right)),$

其中： $f\left(q\right)=\left\{\begin{array}{cc}\∞& p\∈q\\ 0& p\∉q\end{array}\right.,$

d(p，q)是非标注像素点p和标注像素点q的欧式距离，Ω_s是标注点集合，Ω_r是非标注点集合，D_f(p)是非标注点p的变换距离。

5.根据权利要求1所述的基于双边滤波器的黑白图像彩色化方法，其特征是，步骤四中所述的基于块的双边滤波处理，包括以下步骤：

4.1)为第k个子图像进行相邻子图像选择处理，得到该子图像的相邻子图像集合；

4.2)得到第k个子图像的几何距离加权和灰度值变换加权，为：

$W_S^{\left(l\right)}=\exp \{-\frac{k^2+l^2}{{2\mathrm{\σ}}_s^2}\},$

$W_{R\left(u\right)}^{\left(l\right)}=\exp \{-\frac{{[U_k-U_l]}^2}{{2\mathrm{\σ}}_r^2}\},$

$W_{R\left(v\right)}^{\left(l\right)}=\exp \{-\frac{{[V_k-V_l]}^2}{{2\mathrm{\σ}}_r^2}\},$

其中：

是第k个子图像的数字编号为l的相邻子图像的几何距离加权，

是第k个子图像的数字编号为l的相邻子图像的U分量灰度值变换加权，是第k个子图像的数字编号为l的相邻子图像的V分量灰度值变换加权，σ_s是W_S的高斯核方差，σ_r是W_R的高斯核方差，k，l为子图像的编号，U_k和V_k分别是第k个子图像处理前的的色度分量U值和色度分量V值，U_l和V_l分别是第l个子图像处理前的色度分量U值和色度分量V值；

4.3)得到第k个子图像新的色度分量U’和色度分量V’，为：

${U^{\′}}_k=\frac{1}{\underset{l\∈N_k}{\mathrm{\Σ}}{W}_S^{\left(l\right)}\·W_{R\left(u\right)}^{\left(l\right)}}\underset{j\∈N_K}{\mathrm{\Σ}}{W}_S^{\left(l\right)}\·W_{R\left(u\right)}^{\left(l\right)}\·U_l,$

$V_k^{\′}=\frac{1}{\underset{l\∈N_k}{\mathrm{\Σ}}{W}_S^{\left(l\right)}\·W_{R\left(v\right)}^{\left(l\right)}}\underset{j\∈N_K}{\mathrm{\Σ}}{W}_S^{\left(l\right)}\·W_{R\left(v\right)}^{\left(l\right)}\·V_l,$

其中：U′_k和V′_k分别是第k个子图像处理后的色度分量U值和色度分量V值，N(k)是第k个子图像的相邻子图像集合。

6.根据权利要求5所述的基于双边滤波器的黑白图像彩色化方法，其特征是，所述的相邻子图像选择处理，是：在第k个子图像的周围选择S个子图像，进而分别得到这S个子图像中每个子图像与第k个子图像之间的平均块梯度值，去除其中平均块梯度值等于0或者大于阈值T的子图像，剩下的子图像组成第k个子图像的相邻子图像集合。

7.根据权利要求1所述的基于双边滤波器的黑白图像彩色化方法，其特征是，步骤五中所述的颜色空间反变换，是将图像从YUV空间转换到RGB空间，为：

R′＝Y+1.13983*V′

G′＝Y-0.39465*U′-0.58060*V′，

B′＝Y+2.03211*U′

其中：R′，G′，B′为变换后的图像红、绿、蓝颜色分量，U′，V′为新的U、V分量，Y为图像的亮度分量。

Images