CN103489161A - 一种灰度图像彩色化方法及装置 - Google Patents

Abstract

本发明公开了一种灰度图像彩色化方法，属于数字图像处理技术领域。本发明针对现有基于YUV联合相关性的图像彩色化方法所存在的边缘区域颜色混叠失真的问题，对其进行了改进：首先采用综合考虑空间位置信息和亮度信息的相似度度量，从以待彩色化像素为中心的较大的窗口区域中搜索出若干极相似像素；然后计算极相似像素的归一化后的局部亮度加权系数；再求解由所有像素的色度和局部亮度加权系数表示成的色度-系数约束矩阵方程，得到待彩色化像素的色度；最后将图像从YUV空间转换至RGB空间，得到彩色化后的图像。本发明还公开了一种使用上述方法的灰度图像彩色化装置。本发明能够减小图像边缘区域的颜色混叠失真，提高彩色化的图像的主客观质量。

Description

一种灰度图像彩色化方法及装置

技术领域

本发明涉及一种灰度图像彩色化方法，主要解决现有的基于YUV联合相关性图像彩色化方法在图像边缘处产生明显的颜色混叠失真的问题，属于数字图像处理技术领域。

背景技术

图像是客观世界经过光的反射直接或间接作用于人眼而产生视觉的结果，而人眼对色彩的敏感度是高于灰度的，因此增强图像的色度信息可以有效的提高图像的视觉效果。图像彩色化就是这样一种技术。图像彩色化是一个根据人工添加的少量颜色信息为图像或视频添加颜色的处理过程可以广泛的应用于图像编辑中。例如，通过手工的标定部分颜色达到更换彩色图片中的颜色的目的。

基于YUV联合相关性的图像彩色化方法主要基于亮度图像与色度图像具有相似的自回归图像模型结构，算法首先需要先求出灰度图像即Y通道的自回归系数，然后假设色度图像具有与Y图像相似的自回归模型，最后在已知部分标定的U，V值的条件下，通过自回归模型约束条件，求出其余未标定的图像的U，V的数据值。由于在图像边缘，相邻像素的U,V色度值不一定相同，如果使用邻近的Y通道的局部自回归模型，可能会造成边界的颜色混叠（参见文献[Levin A,Lischinski D,Weiss Y.Colorization usingoptimization.Special Interest Group for Computer GRAPHICS,2004:689-694]）。

发明内容

本发明所要解决的技术问题在于克服现有基于YUV联合相关性的图像彩色化方法所存在的边缘区域颜色混叠失真缺陷，利用图像的自相似特性，提供一种灰度图像彩色化方法，能够减小图像边缘区域的颜色混叠失真，提高彩色化的图像的主客观质量。

本发明提出的灰度图像彩色化方法，包括以下步骤：

步骤A、对待彩色化灰度图像，进行部分像素的颜色标定；

步骤B、对每一个待彩色化的像素，在以该待彩色化像素为中心的窗口区域中的所有非待彩色化像素中，搜索与该待彩色化像素的相似度最大的前Q个像素作为该待彩色化像素的极相似像素，Q为自然数；

步骤C、对每一个待彩色化像素，建立该待彩色化像素与其极相似像素的亮度约束方程，并求解此亮度约束方程，得到各极相似像素的局部亮度加权系数并进行归一化；

步骤D、用局部亮度加权系数表示局部色度加权系数，将已标定颜色像素的色度、待彩色化像素的色度、极相似像素的色度、局部色度加权系数表示成色度-系数约束矩阵方程，并对其进行求解得到待彩色化像素的色度值；

步骤E、根据得到的色度值，将待彩色化灰度图像从YUV空间转换至RGB空间，得到彩色化后的图像。

作为本发明优选方案之一，任意两个像素r和i的相似度d_i的计算公式为：

$d_i=\exp (-\frac{|x_r=x_i{|}^2}{{\mathrm{\σ}}_s^2})\exp (-\frac{|Y_r-Y_i{|}^2}{{\mathrm{\σ}}_r^2})$

式中，x_r和x_i分别为像素r和i的空间位置；Y_r和Y_i分别为像素r和i的亮度值；和

分别为空间距离和亮度距离的尺度因子，均为常数。

优选地，步骤C中所述待彩色化像素和其极相似像素的亮度约束方程的建立，具体如下：

首先分别以待彩色化像素r和其每一个极相似像素s_i为中心，i=1,2,...,Q，取3×3的矩形块；将以r为中心的3×3矩形块中的9个像素表示为列向量

将以s_i为中心的3×3矩形块中的9个像素表示为列向量

建立如下约束方程：

$\left\{\begin{array}{c}\stackrel{\→}{Y_r}=\underset{i=1}{\overset{Q}{\mathrm{\Σ}}}{w}_{{\mathrm{rs}}_i}\stackrel{\→}{Y_{{\mathrm{rs}}_i}}\\ w_{{\mathrm{rs}}_i}\≥0\end{array}\right.,$

其中，为待彩色化像素r的第i个极相似像素s_i的局部亮度加权系数，i=1,2,...,Q；

然后，令 $Z=(\stackrel{\→}{Y_{{\mathrm{rs}}_1}},\stackrel{\→}{Y_{{\mathrm{rs}}_2}},...,\stackrel{\→}{Y_{{\mathrm{rs}}_Q}}),w={(w_{{\mathrm{rs}}_1,}{w}_{{\mathrm{rs}}_2},...,w_{{\mathrm{rs}}_Q})}^T,P=\stackrel{\→}{Y_r},$ 将所述约束方程转化为如下的矩阵方程形式：

Zw=P

$\mathrm{st}:w_{{\mathrm{rs}}_i}\≥0,i=\mathrm{1,2},...,Q.$

进一步地，步骤D中所述的色度-系数约束矩阵方程具体按照以下方法建立：

步骤D1、设U_r和V_r为待彩色化像素r的色度值，U_k和V_k为已标定颜色的像素k的色度值，

和

为待彩色化像素r的第i个极相似像素s_i的色度值，i=1,2,...,Q；将归一化后的局部亮度加权系数

作为局部色度加权系数代入如下色度-系数约束方程组：

步骤D2、分别将上述色度-系数约束方程组写成矩阵形式，构建色度-系数约束矩阵方程如下：

WU=E_U

WV=E_V

其中,W为M×N行、M×N列的矩阵，U、V、E_U和E_V均为M×N行的列向量，且W、E_U、E_V均为已知，U、V为待求的色度，M和N分别为待彩色化灰度图像的行数和列数；

W、E_U、E_V、U和V具体按照以下方法构建：

若待彩色化灰度图像中坐标为(i，j)处的像素是待彩色化像素r，其Q个极相似像素的坐标分别为(i₁，j₁)、(i₂，j₂)、……(i_Q，j_Q)处，则W的第i×j行的第i₁×j₁列、第i₂×j₂列、……第i_Q×j_Q列和第i×j列这Q+1个元素分别为

和1，第i×j行的其余元素均为0，同时E_U和E_V的第i×j行的元素均为0；若待彩色化灰度图像中坐标为(m，n)处的像素是已标定颜色像素k，则W的第m×n行中只有第m×n列元素为1，第m×n行中的其余元素均为0，同时E_U的第m×n行元素为U_k，E_V的第m×n行元素为V_k；U=(U₁ U₂…U_(x-1)×N+y…U_M×N)^Τ，其中U_(x-1)×N+y代表坐标(x，y)处像素的U值，V=(V₁ V₂…V_(x-1)×N+y…V_M×N)^Τ，其中V_(x-1)×N+y代表坐标(x，y)处像素的V值。

本发明还提供一种使用上述方法的灰度图像彩色化装置，包括：

极相似像素搜索模块，用于搜索待彩色化灰度图像中每一个待彩色化像素的极相似像素；

加权系数计算模块，用于计算每一个待彩色化像素的各极相似像素的局部亮度加权系数，并对其进行归一化；

色度值计算模块，用于将待彩色化像素的色度、其极相似像素的色度、其局部色度加权系数和已标定颜色像素的色度表示成色度-系数约束矩阵方程，并对其求解得到待彩色化像素的色度；

空间转换模块，用于根据色度值计算模块得到的待彩色化像素的色度，将图像从YUV空间转换至RGB空间，得到彩色化后的图像并输出。

相比现有技术，本发明具有以下有益效果：

（1）本发明提出的灰度图像彩色化方法是在以待彩色化像素为中心的窗口区域内搜索空间位置和亮度取值都相似的像素，从而得到待彩色化像素的极相似像素，相比于现有的基于YUV联合相关性图像彩色化方法直接选取以待彩色化像素为中心的邻域内的像素为邻域相似像素，可以有效地避免选取亮度取值相差很大的邻域像素作为邻域相似像素；

（2）本发明用待彩色化像素的极相似像素来拟合待彩色化像素的色度，因为极相似像素在选取时既考虑了空间位置又考虑亮度取值，使边缘像素的颜色混叠较小，尤其是当人工给予的颜色较少时，本发明提出的方法能够明显地减小边缘处的颜色失真。

附图说明

图1为本发明灰度图像彩色化装置的结构框图；

图2为本发明灰度图像彩色化方法的流程示意图。

具体实施方式

下面结合附图对本发明的技术方案进行详细说明：

本发明针对现有基于YUV联合相关性的图像彩色化方法所存在的边缘区域颜色混叠失真的问题，对其进行了改进：首先采用综合考虑空间位置信息和亮度信息的相似度度量，从以待彩色化像素为中心的较大的窗口区域（而非较小的邻域）中搜索出在位置上及亮度取值上均离待彩色化像素点较近的极相似像素；然后计算极相似像素的归一化后的局部亮度加权系数；再求解由所有像素的色度和局部亮度加权系数表示成的色度-系数约束矩阵方程，得到待彩色化像素的色度；最后将图像从YUV空间转换至RGB空间，得到彩色化后的图像。

本发明的灰度图像彩色化装置，如图1所示，包括：

极相似像素搜索模块，用于搜索待彩色化灰度图像中每一个待彩色化像素的极相似像素；

加权系数计算模块，用于计算每一个待彩色化像素的各极相似像素的局部亮度加权系数，并对其进行归一化；

色度值计算模块，用于将待彩色化像素的色度、其极相似像素的色度、其局部色度加权系数和已标定颜色像素的色度表示成色度-系数约束矩阵方程，并对其求解得到待彩色化像素的色度；

空间转换模块，用于根据色度值计算模块得到的待彩色化像素的色度，将图像从YUV空间转换至RGB空间，得到彩色化后的图像并输出。

下面以上述装置为例来对本发明的灰度图像彩色化方法进行说明，本发明提出的灰度图像彩色化方法的流程如图2所示，包括以下步骤：

步骤1、对尺寸为M×N的灰度图像，进行一部分像素的颜色标定，已标定颜色的像素k的色度值为U_k和V_k。

步骤2、对于输入的已手工标注部分颜色的待彩色化灰度图像，极相似像素搜索模块对其中的每一个待彩色化像素，在以该待彩色化像素为中心的窗口区域搜索各待彩色化像素所对应的极相似像素。

本发明对待彩色化像素的色度空间的极相似像素的寻找是基于图像的YUV联合相关性，认为对于彩色图像中任意一点像素，在亮度空间的加权系数和在色度空间的加权系数是相似的，从而将寻找色度空间的极相似像素转化为寻找亮度空间的极相似像素。

本发明提出的极相似像素的搜索方法，既考虑了像素之间的空间相对距离，又考虑了像素的亮度取值，保证选取的极相似像素不但在位置上离待彩色化像素点较近，在亮度取值上同样离待彩色化像素点较近，因此本发明采用了能同时描述像素之间的空间关系与亮度取值关系的相似度度量。

极相似像素的搜索具体如下：

步骤2-1、以待彩色化像素r为中心，取一个窗口区域，为简单起见，本发明优选矩形窗口；对于矩形窗口区域内所有非r的像素点i，计算它们与像素点r的相似度。

本发明中，待彩色化像素r与像素i的相似度d_i按照下式计算：

$d_i=\exp (-\frac{|x_r-x_i{|}^2}{{\mathrm{\σ}}_s^2})\exp (-\frac{|Y_r-Y_i{|}^2}{{\mathrm{\σ}}_r^2})$

式中，x_r和x_i分别为像素r和i的空间位置；Y_r和Y_i分别为像素r和i的亮度值；

和

分别为空间距离和亮度距离的尺度因子，均为常数；

对于图像边界区域，本发明在进行极相似像素的搜索时，仅考虑矩形窗口区域中有效的像素点，具体操作方法如下：对于尺寸为M×N的待彩色化灰度图像，假定矩形窗口区域中的某像素点位置为(i,j)，即其在图像的第i行第j列处，那么用

i=min(M,max(0,i))和j=min(N,max(0,j))来剔除超过图像边界的像素点。

值得注意的是，选取的矩形窗口不能选的太大，也不能太小。两个像素空间距离太大，则即使亮度取值接近也不是邻域像素，易造成误差，空间距离太小导致邻域信息不够丰富，同样影响彩色化结果。本发明优选地窗口大小为30x30像素。

步骤2-2、在计算出矩形窗口区域内所有非r的像素i与待彩色化像素r的相似度d_i后，对这些相似度进行从大到小的排序，选取相似度最大的前Q个非r像素点作为待彩色化像素的极相似像素；Q的取值可实际情况灵活选取，本实施例中Q的取值为8。

步骤3、对每一个待彩色化像素，加权系数计算模块分别计算出其极相似像素的局部亮度加权系数并进行归一化；具体包括以下步骤：

步骤3-1、计算待彩色化像素r的极相似像素s_i（i=1,2,...,Q，本实施例中i=1,2,...,8）的局部亮度加权系数

分别以待彩色化像素r和其每一个极相似像素s_i为中心，i=1,2,...,Q，取3×3的矩形块；将以r为中心的3×3矩形块中的9个像素表示为列向量将以s_i为中心的3×3矩形块中的9个像素表示为列向量 $\stackrel{\→}{Y_{{\mathrm{rs}}_i}}={(Y_{{\mathrm{rs}}_{i}1,}{Y}_{{\mathrm{rs}}_{i}2},...Y_{{\mathrm{rs}}_{i}9})}^T,i=\mathrm{1,2},...,Q,$ 建立如下约束方程：

$\left\{\begin{array}{c}{\stackrel{\→}{Y}}_r=\underset{i=1}{\overset{Q}{\mathrm{\Σ}}}{w}_{{\mathrm{rs}}_i}\stackrel{\→}{Y_{{\mathrm{rs}}_i}}\\ w_{{\mathrm{rs}}_i}\≥0\end{array}\right.,$

其中，

为待彩色化像素r的第i个极相似像素s_i的局部亮度加权系数，i=1,2,...,Q；

然后，令 $Z=(\stackrel{\→}{Y_{{\mathrm{rs}}_1}},\stackrel{\→}{Y_{{\mathrm{rs}}_2}},...,\stackrel{\→}{Y_{{\mathrm{rs}}_Q}}),w={(w_{{\mathrm{rs}}_1},w_{{\mathrm{rs}}_2},...,w_{{\mathrm{rs}}_Q})}^T,P={\stackrel{\→}{Y}}_r,$ 将所述约束方程转化为如下的矩阵方程形式：

Zw=P

$\mathrm{st}:w_{{\mathrm{rs}}_i}\≥0,i=\mathrm{1,2},...,Q$

对以上约束矩阵方程求解即可得到待彩色化像素r的各极相似像素的局部亮度加权系数具体的求解可采用现有各种算法，本发明优选使用非负最小二乘算法求解上述约束矩阵方程。

步骤3-2：用如下公式将步骤3-1求出的局部亮度加权系数

归一化，得到归一化后的各极相似像素的局部亮度加权系数

$\hat{w_{{\mathrm{rs}}_i}}=\frac{w_{{\mathrm{rs}}_i}}{\underset{i=1}{\overset{Q}{\mathrm{\Σ}}}{w}_{{\mathrm{rs}}_i}};$

步骤4、色度值计算模块计算图像中待彩色化像素的色度U和V。具体操作步骤如下：

步骤4-1、设U_r和V_r为待彩色化像素r的色度值，U_k和V_k为已标定颜色的像素k的色度值，

和

为待彩色化像素r的第i个极相似像素s_i的色度值，i=1,2,...,Q；将归一化后的局部亮度加权系数

作为局部色度加权系数代入如下色度-系数约束方程组：

以及，

步骤4-2、分别将上述色度-系数约束方程组写成矩阵形式，构建色度-系数约束矩阵方程如下：

WU=E_U

WV=E_V

其中,W为M×N行、M×N列的矩阵，U、V、E_U和E_V均为M×N行的列向量，且W、E_U、E_V均为已知，U、V为待求的色度，M和N分别为待彩色化灰度图像的行数和列数；

W、E_U、E_V、U和V具体按照以下方法构建：

若待彩色化灰度图像中坐标为(i，j)处的像素是待彩色化像素r，其Q个极相似像素的坐标分别为(i₁，j₁)、(i₂，j₂)、……(i_Q，j_Q)处，则W的第i×j行的第i₁×j₁列、第i₂×j₂列、……第i_Q×j_Q列和第i×j列这Q+1个元素分别为

和1，第i×j行的其余元素均为0，同时E_U和E_V的第i×j行的元素均为0；若待彩色化灰度图像中坐标为(m，n)处的像素是已标定颜色像素k，则W的第m×n行中只有第m×n列元素为1，第m×n行中的其余元素均为0，同时E_U的第m×n行元素为U_k，E_V的第m×n行元素为V_k；U=(U₁ U₂…U_(x-1)×N+y…U_M×N)^Τ，其中U_(x-1)×N+y代表坐标(x，y)处像素的U值，V=(V₁ V₂…V_(x-1)×N+y…V_M×N)^Τ，其中V_(x-1)×N+y代表坐标(x，y)处像素的V值。

步骤4-3、对上述色度-系数约束矩阵方程求解，得到所有待彩色化像素的色度。本实施例中采用最小二乘法对所述色度-系数约束矩阵方程进行求解，色度U和色度V的最终表达式分别如下：

U=(W^ΤW)^-1W^ΤE_U

V=(W^ΤW)^-1W^ΤE_V

步骤5、根据得到的色度值U和V，将待彩色化灰度图像从YUV空间转换至RGB空间，得到彩色化后的图像。

Claims (8)

1.一种灰度图像彩色化方法，其特征在于，包括以下步骤：

步骤A、对待彩色化灰度图像，进行部分像素的颜色标定；

步骤B、对每一个待彩色化的像素，在以该待彩色化像素为中心的窗口区域中的所有非待彩色化像素中，搜索与该待彩色化像素的相似度最大的前Q个像素作为该待彩色化像素的极相似像素，Q为自然数；

步骤C、对每一个待彩色化像素，建立该待彩色化像素与其极相似像素的亮度约束方程，并求解此亮度约束方程，得到各极相似像素的局部亮度加权系数并进行归一化；

步骤D、用局部亮度加权系数表示局部色度加权系数，将已标定颜色像素的色度、待彩色化像素的色度、极相似像素的色度、局部色度加权系数表示成色度-系数约束矩阵方程，并对其进行求解得到待彩色化像素的色度值；

步骤E、根据得到的色度值，将待彩色化灰度图像从YUV空间转换至RGB空间，得到彩色化后的图像。

2.如权利要求1所述灰度图像彩色化方法，其特征在于，所述窗口区域为大小为30x30像素的矩形窗口区域。

3.如权利要求1所述灰度图像彩色化方法，其特征在于，所述Q的值为8。

4.如权利要求1所述灰度图像彩色化方法，其特征在于，任意两个像素r和i的相似度d_i的计算公式为：

$d_i=\exp (-\frac{|x_r-x_i{|}^2}{{\mathrm{\σ}}_s^2})\exp (-\frac{|Y_r-Y_i{|}^2}{{\mathrm{\σ}}_r^2})$

式中，x_r和x_i分别为像素r和i的空间位置；Y_r和Y_i分别为像素r和i的亮度值；

和

分别为空间距离和亮度距离的尺度因子，均为常数。

5.如权利要求1所述灰度图像彩色化方法，其特征在于，步骤C中所述待彩色化像素和其极相似像素的亮度约束方程的建立，具体如下：

首先分别以待彩色化像素r和其每一个极相似像素s_i为中心，i=1,2,...,Q，取3×3的矩形块；将以r为中心的3×3矩形块中的9个像素表示为列向量

将以s_i为中心的3×3矩形块中的9个像素表示为列向量

建立如下约束方程：

$\left\{\begin{array}{c}{\stackrel{\→}{Y}}_r=\underset{i=1}{\overset{Q}{\mathrm{\Σ}}}{w}_{{\mathrm{rs}}_i}\stackrel{\→}{Y_{{\mathrm{rs}}_i}}\\ w_{{\mathrm{rs}}_i}\≥0\end{array}\right.,$

其中，

为待彩色化像素r的第i个极相似像素s_i的局部亮度加权系数，i=1,2,...,Q；

然后，令 $Z=\left(\stackrel{\→}{Y_{{\mathrm{rs}}_1},}\stackrel{\→}{Y_{{\mathrm{rs}}_2,...,}}\stackrel{\→}{Y_{{\mathrm{rs}}_Q}}\right),w={\left(w_{{\mathrm{rs}}_1,}{w}_{{\mathrm{rs}}_2,...,}{w}_{{\mathrm{rs}}_Q}\right)}^T,P={\stackrel{\→}{Y}}_r,$ 将所述约束方程转化为如下的矩阵方程形式：

Zw=P

$\mathrm{st}:w_{{\mathrm{rs}}_i}\≥0,i=\mathrm{1,2},...,Q.$

6.如权利要求5所述灰度图像彩色化方法，其特征在于，使用非负最小二乘算法求解所述矩阵方程。

7.如权利要求5所述灰度图像彩色化方法，其特征在于，步骤D中所述的色度-系数约束矩阵方程具体按照以下方法建立：

步骤D1、设U_r和V_r为待彩色化像素r的色度值，U_k和V_k为已标定颜色的像素k的色度值，

和

为待彩色化像素r的第i个极相似像素s_i的色度值，i=1,2,...,Q；将归一化后的局部亮度加权系数

作为局部色度加权系数代入如下色度-系数约束方程组：

步骤D2、分别将上述色度-系数约束方程组写成矩阵形式，构建色度-系数约束矩阵方程如下：

WU=E_U

WV=E_V

其中,W为M×N行、M×N列的矩阵，U、V、E_U和E_V均为M×N行的列向量，且W、E_U、E_V均为已知，U、V为待求的色度，M和N分别为待彩色化灰度图像的行数和列数；

W、E_U、E_V、U和V具体按照以下方法构建：

若待彩色化灰度图像中坐标为(i，j)处的像素是待彩色化像素r，其Q个极相似像素的坐标分别为(i₁，j₁)、(i₂，j₂)、……(i_Q，j_Q)处，则W的第i×j行的第i₁×j₁列、第i₂×j₂列、……第i_Q×j_Q列和第i×j列这Q+1个元素分别为

和1，第i×j行的其余元素均为0，同时E_U和E_V的第i×j行的元素均为0；若待彩色化灰度图像中坐标为(m，n)处的像素是已标定颜色像素k，则W的第m×n行中只有第m×n列元素为1，第m×n行中的其余元素均为0，同时E_U的第m×n行元素为U_k，E_V的第m×n行元素为V_k；U=(U₁ U₂…U_(x-1)×N+y…U_M×N)^Τ，其中U_(x-1)×N+y代表坐标(x，y)处像素的U值，V=(V₁ V₂…V_(x-1)×N+y…V_M×N)^Τ，其中V_(x-1)×N+y代表坐标(x，y)处像素的V值。

8.一种使用权利要求1至7任一项所述方法的灰度图像彩色化装置，其特征在于，包括：

极相似像素搜索模块，用于搜索待彩色化灰度图像中每一个待彩色化像素的极相似像素；

加权系数计算模块，用于计算每一个待彩色化像素的各极相似像素的局部亮度加权系数，并对其进行归一化；

色度值计算模块，用于将待彩色化像素的色度、其极相似像素的色度、其局部色度加权系数和已标定颜色像素的色度表示成色度-系数约束矩阵方程，并对其求解得到待彩色化像素的色度；

空间转换模块，用于根据色度值计算模块得到的待彩色化像素的色度，将图像从YUV空间转换至RGB空间，得到彩色化后的图像并输出。

Images