CN105118076B - 基于过度分割和局部与全局一致性的图像彩色化方法 - Google Patents
基于过度分割和局部与全局一致性的图像彩色化方法 Download PDFInfo
- Publication number
- CN105118076B CN105118076B CN201510460077.1A CN201510460077A CN105118076B CN 105118076 B CN105118076 B CN 105118076B CN 201510460077 A CN201510460077 A CN 201510460077A CN 105118076 B CN105118076 B CN 105118076B
- Authority
- CN
- China
- Prior art keywords
- mrow
- color
- image
- mover
- msub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000008569 process Effects 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 15
- 238000009792 diffusion process Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 12
- 239000003086 colorant Substances 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000009499 grossing Methods 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 238000003892 spreading Methods 0.000 claims description 2
- 230000007480 spreading Effects 0.000 claims description 2
- 238000013461 design Methods 0.000 abstract description 2
- 238000004519 manufacturing process Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 12
- 238000002474 experimental method Methods 0.000 description 11
- 238000004040 coloring Methods 0.000 description 5
- 239000003550 marker Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000004043 dyeing Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 235000002566 Capsicum Nutrition 0.000 description 2
- 241000758706 Piperaceae Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000005295 random walk Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 241000764238 Isis Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于过度分割和局部与全局一致性的图像彩色化方法，对粗略分割的灰度图像进行初始色彩标记；将初始色彩标记图像从RGB颜色空间转换到亮度与颜色分量分离的YUV颜色空间；利用灰度直方图计算出标记点所在的位置；标记点自动选择颜色，得到一幅半自动色彩标记图像；最小化一个基于局部与全局一致性学习的彩色化框架，得到最终的颜色分量和；将原始的亮度分量Y和最终求得颜色分量整合到一起并转换到RGB空间得到最终的彩色化图像，所得图像颜色清晰自然。方法具有较好的鲁棒性和稳定性，取得较高的峰值信噪比。本发明不仅降低了人工交互的复杂度而且提高了图像彩色化的质量，可用于影视制作、医学图像增强以及广告设计等领域。
Description
技术领域
本发明涉及一种计算机图像处理技术，特别涉及一种基于过度分割和局部与全局一致性的图像彩色化方法。
背景技术
图像彩色化是利用计算机自动给灰度图像添加颜色的过程。彩色图像在现代信息交流与传递过程中起着重要的作用，一幅彩色图像所包含的信息量是相当丰富的，彩色化图像相对于灰度图像来说，更加突出了图像的细节信息便于人眼观察，例如为黑白电影添加颜色使其更具观赏性，为医学图像添加颜色使其更加醒目等，可广泛应用于广告设计，古画修复以及视频处理等领域，因此灰度图像的彩色化处理技术具有非常重要的意义。
色彩标记在局部颜色扩散法中占有重要的地位，包含了彩色化处理过程中所有的颜色信息，用户不但可以通过色彩标记对最终的染色效果进行控制，而且还可以得到同一幅图像多种色彩的效果。基于局部颜色扩散法的彩色化方法层出不穷，其中Levin等人在文章“Colorization using Optimization”中将彩色化问题看作一个全局优化的问题来处理，并提出相邻像素亮度值接近其色度值也接近这一假设，也成为众多彩色化方法的实现的基础。此外，也有研究者从其他角度实现图像的彩色化，其中包括K.-C.Ho等人在文章“Blending-weight diffusion for image colourisation”提出了基于优先级的颜色混合的彩色化方法。但对于结构复杂的图像来说，色彩标记的数量和位置在一定程度上会影响最终的彩色化效果，需要用户花费大量的精力和时间对灰度图像的每一块同质区域内手动涂上足够的色彩标记，这显然是繁琐的。如果用户只需要给出色彩标记的大致位置，然后进行少量的标记，就可大大的减少人工交互的复杂度。
图像分割是图像处理中的重要研究课题,它决定着最终的图像分析和图像理解的结果和质量。Teng Sheng-hua等人在文章“An Improved Colorization Algorithm forGray-Scale Image Based on Over-Segmentation”中将形态学中分水岭过度分割的思想应用到图像彩色化方法中。
半监督学习作为机器学习领域中最为活跃的主流方法，可以综合的利用有限的标记样本和大量的未标记样本来提高学习性能。Tae Hoon Kim等人在文章“Edge-preservingcolorization using data-driven Random Walks with Restart”中将机器学习中随机游走的思想应用于灰度图像的彩色化，实现了机器学习与图像处理有效的结合。
对于基于局部颜色扩散法来说，Levin的方法、Tae Hoon Kim的方法以及TengSheng-hua的方法对初始色彩标记的位置具有一定的依赖性，色彩标记的位置不够准确的话，可能会出现颜色误染等现象。
发明内容
本发明是针对图像彩色化现在所用上述方法存在的问题，提出了一种基于过度分割和局部与全局一致性的图像彩色化方法，。
本发明的技术方案为：一种基于过度分割和局部与全局一致性的图像彩色化方法，具体包括如下步骤：
1)对灰度图像进行色彩标记，即利用计算机画图软件对灰度图像进行初始色彩标记，利用一种基于图的分割算法对图像进行粗略的过度分割，在分割好的区域内标记少量的感兴趣的颜色，得到一幅粗略的色彩标记的图像；
2)将色彩标记图像从RGB颜色空间转换到YUV颜色空间，以得到分离的亮度分量Y和初始颜色分量U′、V′；
3)计算出分割区域内灰度直方图峰值所在的位置，将处于这些位置的像素的灰度值设置为255，即用白色的标记点在灰度图像上显示出来，得到一幅自动生成标记点的图像；
4)依据每个分割区域内标记的颜色，白色标记点所在位置的像素自动获取合适的颜色,得到一幅半自动色彩标记的图像,其中亮度分量为Y，颜色分量分别为U和V；
5)将基于图的半监督学习的正则化框架引入到颜色扩散模型中，构建一个基于局部与全局一致性学习的彩色化框架，即首先构建一个能够体现两像素间灰度关系以及空间位置关系的数据图，然后最小化基于局部与全局一致性学习的彩色化目标函数，将彩色化问题转化为一个优化问题，从而计算出其余未着色像素的颜色值，完成整幅图像的彩色化，得到最终的颜色分量
6)将最终得到的颜色分量和原始的Y亮度分量整合到一起并变换到RGB颜色空间，即得到最终的彩色化图像。
所述步骤5)具体步骤如下：
A:数据图的构建：我们用P＝{P1,P2,…,Pn}表示图像上的像素点集合，n表示图像上总的像素个数，对于半自动彩色标记图像，令Y＝{Yi}，U＝{Ui}和V＝{Vi}表示其在YUV颜色空间的像素的三个分量；对于最终的彩色化图像，令 和表示其YUV颜色空间的像素的三个分量，其中，即亮度分量不作处理恰能保持图像在处理前后亮度一致；图像上像素之间根据它们的空间关系连接成图，用权值wij来表示两像素点Pi和Pj之间的近似关系，具体形式如下：
其中，表示方差为σs的高斯核函数，i和j分别表示两像素点Pi和Pj的空间坐标，体现了两像素之间空间位置关系；表示方差为σg的高斯核函数，Yi和Yj分别表示两像素点Pi和Pj的灰度值，体现了两像素之间的灰度变化关系；Ni表示像素点Pi的邻域，两像素点的亮度值以及空间位置越接近，它们的之间的权重就越大；
B:颜色扩散：和是两个独立的颜色分量，分量的求解过程与分量求解过程相同，
将涂色U分量按列堆积表示为U＝[u1,u2,…,un]T,涂色分量U由染色像素到未染色像素扩散的过程，即是如下目标函数的最小化的过程：
其中，上式右边第一项为平滑约束项，即颜色分量在图像的同质区域内具有平滑性；上式右边第二项为拟合约束项，即初始色彩标记的颜色值不应该被改变太多，即求得的颜色值与初始给出的颜色值之间的差异应尽量小；λ为控制平滑约束项和拟合约束项的参数，λ的值被设置为0.01；Ui是像素点Pi的初始的颜色值，为最终求得像素点Pi的颜色值；矩阵S＝D-1/2WD-1/2，I为单位矩阵，D为对角矩阵，即W为权值矩阵，W＝{wij}；
首先对进行求导并令导数为零，即
最后整理可得：
其中，Q＝D-1W＝D-1/2WD-1/2；
同理可得，
本发明的有益效果在于：本发明基于过度分割和局部与全局一致性的图像彩色化方法，不仅降低了人工交互的复杂度而且提高了图像彩色化的质量，可用于影视制作、医学图像增强以及广告设计等领域。
附图说明
图1为本发明方法流程图；
图2为待着色的灰度图像；
图3为基于粗略分割下的手动色彩标记图；
图4为自动生成标记点示例图；
图5为色彩标记半自动生成的图像；
图6为最终彩色化效果图；
图7为本文发明方法染色流程及与原彩色图的对比图；
图8为同一幅图像不同的色彩标记效果图；
图9为Levin方法、Tae Hoon Kim方法和本文发明方法最终彩色化效果比较图；
图10为Levin方法、Tae Hoon Kim方法和本文发明方法彩色化图像的峰值信噪比(PSNR)对比图。
具体实施方式
本发明方法：首先，将待染色的灰度图像利用一种基于图的分割算法进行粗略的过度分割，在分割好区域内进行标记少量感兴趣的颜色，不仅为接下来彩色化处理提供着色依据，而且还降低了对初始色彩标记位置的依赖性，得到一幅初始的色彩标记图像；然后，利用灰度直方图统计出分割区域内标记点所在位置，即直方图峰值所处位置，依据初始标记的颜色，为这些标记点附上合理的颜色，从而生成更多更分散的色彩标记点，既能减少人工交互的复杂度，又能为后续的颜色扩散处理提供更多的着色依据，得到一幅半自动色彩标记图像；最后，引入机器学习中基于图的半监督学习的思想，构建一个基于局部与全局一致性学习的彩色化框架，即首先构建一个能够体现两像素间灰度关系以及空间位置关系的数据图，然后最小化基于局部与全局一致性学习的彩色化目标函数，将彩色化问题转化为一个优化问题，从而计算出其余未着色像素的颜色值，完成整幅图像的彩色化，并使图像颜色清晰自然。
如图1所示本发明方法的流程图，具体步骤如下：
1、灰度图像手动色彩标记：
图像彩色化从本质上讲就是建立一种从一维灰度空间(亮度)到三维彩色空间(如亮度、色度和饱和度)的映射，需设定一些合理的假设或者利用某些先验知识来解决此问题。在色差空间常见的图像彩色化方法是一种局部颜色扩散法，其一般基于相邻像素的亮度值接近其颜色值也接近这一假设，该方法类似于传统的人工着色，需事先手工在图像的同质区域内添加一些色彩标记作为着色的依据，然后将彩色化问题看作一个优化问题，并利用计算机来完成自动着色工作。
首先输入一幅灰度图像，如图2所示待着色的灰度图像。为了让灰度图像的每一块区域都能染上合理的颜色，需要用户在图像的每一块区域上都手动进行色彩标记。对于一些结构复杂的图像来说，用户在进行手动标记时往往会遗漏一些区域或者将同一彩色线条被标记在不同的区域内，因此，本文在手动色彩标记阶段首先对灰度图像利用K近邻图分割算法进行粗略的分割，从而对手动色彩标记做一些可视化的指导作用，如图3所示基于粗略分割下的手动色彩标记图。
2、颜色空间转换；
将手动色彩标记图像从RGB颜色空间转换到YUV颜色空间，以得到分离的亮度分量Y和色度分量U′、V′。其他只要能将亮度与颜色分量的颜色空间也是可以用，比如NTSC或者YCbCr等。
3、生成一幅半自动色彩标记图像；
对于结构简单的图像，一般选取直方图阈值法对图像进行分割，直方图两个波谷之间(也即直方图波峰所在位置附近)的灰度级可表示一块区域。而对于近邻图的分割算法分割出来的某一块区域，可近似看作一幅结构简单的图像，因此本文选取该区域直方图峰值所在的灰度级来近似表示该区域。就是计算出分割区域内灰度直方图峰值所在的位置，将处于这些位置的像素的灰度值设置为255，即用白色的标记点在灰度图像上显示出来，得到一幅自动生成标记点的图像。具体过程如下；
1)[Yi]M×N表示M×N大小的图像中像素点Pi的灰度值。
2)IA＝{Pi|Pi∈A}表示分割区域A中像素的集合。
3)L表示像素的灰度级，对于一般的灰度图像，灰度级区间一般在[0,255]之间，即L∈[0,255]。
4)SAL＝{Pi|Pi∈A,Yi∈L}，表示IA中灰度级为L的像素。
5)SAL'＝max(SAL)，表示直方图峰值处灰度级为L'的像素，换句话说，L'就是区域A中占有像素数量最多的灰度级。
6){Yi|Pi∈SAL'}＝255。
通过对每个区域实施以上步骤，就可以将标记点以白色点的形式在灰度图像上表示出来，如图4所示自动生成标记点示例图。然后依据每个分割区域内手动色彩标记的颜色，白色标记点所在位置的像素自动获取合适的色度值，即U和V,得到一幅半自动色彩标记的图像，如图5所示。
4、颜色扩散；
基于图的半监督学习的正则化框架，能够将少量标签从标记数据点传递到整个数据集。为了让已染色像素的色度值传递到整幅图像上，我们将图像的灰度值看作基于图的半监督学习中的数据点，图像的色度值看作其相应的标签，然后通过构建一个适合于彩色化的数据图，最后通过求解一个优化目标函数来完成颜色的扩散。具体包括如下步骤：
1)数据图的构建。我们用P＝{P1,P2,…,Pn}表示图像上的像素点集合，n表示图像上总的像素个数。对于彩色标记图像，令Y＝{Yi}，U＝{Ui}和V＝{Vi}表示其YUV颜色空间的像素的三个分量；对于最终的彩色化图像，令和表示其YUV颜色空间的像素的三个分量。其中，即亮度分量不作处理恰能保持图像在处理前后亮度一致。图像上像素之间根据它们的空间关系连接成图，最常见的就是8邻域关系。我们用权值wij来表示两像素点Pi和Pj之间的近似关系，具体形式如下：
其中，表示方差为σs的高斯核函数，i和j分别表示两像素点Pi和Pj的空间坐标，体现了两像素之间空间位置关系；表示方差为σg的高斯核函数，Yi和Yj分别表示两像素点Pi和Pj的灰度值，体现了两像素之间的灰度变化关系。Ni表示像素点Pi的邻域。两像素点的亮度值以及空间位置越接近，那么它们的之间的权重也就越大。
2)求出颜色分量和和是两个独立的颜色分量，本文重点介绍分量的求解过程，按同样的方法可以求解分量。
将涂色U分量按列堆积表示为U＝[U1,U2,…,Un]T,涂色分量U由染色像素到未染色像素扩散的过程，即是如下目标函数的最小化的过程，
其中，上式右边第一项为平滑约束项，即颜色分量在图像的同质区域内具有平滑性。上式右边第二项为拟合约束项，即初始色彩标记的颜色值不应该被改变太多，即求得的颜色值与初始给出的颜色值之间的差异应尽量小。λ为控制平滑约束项和拟合约束项的参数，在文本中λ的值被设置为0.01。Ui是像素点Pi的初始的颜色值，为最终求得像素点Pi的颜色值，为最终求得像素点Pj的颜色值。矩阵S＝D-1/2WD-1/2，I为单位矩阵，D为对角矩阵，即W为权值矩阵，W＝{wij}。
首先对进行求导并令导数为零，即
最后整理可得：
其中，Q＝D-1W＝D-1/2WD-1/2。
同理可得，
5、将最终得到的分量和原始的Y分量整合到一起并变换到RGB颜色空间，即得到最终的彩色化图像，如图6所示。
本发明的效果可以通过以下实验结果进一步分析说明：
为了评价本文发明方法的性能，我们进行了如下实验，实验包括本文发明方法具体流程及与原彩色图像对比，鲁棒性与稳定性验证实验，定性与定量实验，选取了具有代表意义的彩色化方法进行，包括Levin的方法和Tae Hoon Kim的方法以及本文发明方法。本文实验是用MATLAB代码编写，实验环境为Intel(R)Co re(TM)i3 CPU M350 @2.27GHz,4GBRAM的个人笔记本电脑。
一、本文发明方法染色流程及与原彩色图像的对比：
手动标记的颜色取自于原彩色图像，最终彩色化对比效果如图7所示，可见本文发明方法能够最大程度的还原真实场景的颜色细节。图中(a)为输入灰度图像，(b)为图像粗略分割下的少量手动色彩标记的图像，(c)为自动生成标记点的图像，(d)为标记点自动选择颜色的图像，(e)为最终彩色化效果图，(f)为原彩色图像。
二、鲁棒性与稳定性验证实验分析：
对同一幅灰度图像赋予不同的初始彩色线条，用本文算法进行彩色化实验，实验结果如图8所示。对于同一幅图像，人工标记不同的颜色线条，都能得到良好的彩色化效果。(g)手动色彩标记图像，(h)半自动色彩标记图像，(i)最终彩色化效果,可见本文算法具有较好的鲁棒性和稳定性，能够满足用户对不同彩色化效果的需求。
三、定性与定量实验分析
将本文算法与Levin的方法和Tae Hoon Kim的方法进行比较，考虑到定性方面的指标要求，本文选取两幅图像“butterfly”和“peppers”进行实验，并且采取对同一幅图像使用相同的彩色标记进行对比，结果如图9(j)所示。Levin在着色过程中提出了两种利用像素的亮度值及图像亮度的均值和方差来构造能量函数求解权值，不足之处是染色结果依赖于色彩标记的位置和分布。如图9(k)中红框内区域所示，如果色彩标记设置不当，则在区域边界可能出现颜色越界的现象。Tae Hoon Kim在构建权值函数时没有考虑到像素间的位置信息，当色彩标记点的数量较少时，可能会出现颜色变淡或者误染现象,如图9(l)红方框内区域所示。而本文发明方法不仅利用过度分割和灰度直方图的性质能够解决对初始色彩标记的数量和位置的依赖性，而且还将基于图的半监督学习的方法运用到图像的彩色化中，因此能够取得较好的彩色化效果，如图9(m)红方框内所示。
此外，考虑到定量方面的指标要求，相对于原始彩色图像，分别计算Levin的方法和Tae Hoon Kim的方法以及本文发明方法的彩色化图像的峰值信噪比(PSNR)：
式中I*是原始彩色图像，I是彩色化结果，图像大小为M×N。图10列出了3种方法对以上2幅图像“butterfly”和“peppers”进行实验得到的彩色化图像的PSNR值。可见本文发明方法能够取得较高的峰值信噪比。
Claims (2)
1.一种基于过度分割和局部与全局一致性的图像彩色化方法，其特征在于，具体包括如下步骤：
1)对灰度图像进行色彩标记，即利用计算机画图软件对灰度图像进行初始色彩标记，利用一种基于图的分割算法对图像进行粗略的过度分割，在分割好的区域内标记少量的感兴趣的颜色，得到一幅粗略的色彩标记的图像；
2)将色彩标记图像从RGB颜色空间转换到YUV颜色空间，以得到分离的亮度分量Y和初始颜色分量U′、V′；
3)计算出分割区域内灰度直方图峰值所在的位置，将处于这些位置的像素的灰度值设置为255，即用白色的标记点在灰度图像上显示出来，得到一幅自动生成标记点的图像；
4)依据每个分割区域内标记的颜色，白色标记点所在位置的像素自动获取合适的颜色,得到一幅半自动色彩标记的图像,其中亮度分量为Y，颜色分量分别为U和V；
5)将基于图的半监督学习的正则化框架引入到颜色扩散模型中，构建一个基于局部与全局一致性学习的彩色化框架，即首先构建一个能够体现两像素间灰度关系以及空间位置关系的数据图，然后最小化基于局部与全局一致性学习的彩色化目标函数，将彩色化问题转化为一个优化问题，从而计算出其余未着色像素的颜色值，完成整幅图像的彩色化，得到最终的颜色分量
6)将最终得到的颜色分量和原始的Y亮度分量整合到一起并变换到RGB颜色空间，即得到最终的彩色化图像。
2.根据权利要求1所述基于过度分割和局部与全局一致性的图像彩色化方法，其特征在于，所述步骤5)具体步骤如下：
A:数据图的构建：用P＝{P1,P2,…,Pn}表示图像上的像素点集合，n表示图像上总的像素个数，对于半自动彩色标记图像，令Y＝{Yi}，U＝{Ui}和V＝{Vi}表示其在YUV颜色空间的像素的三个分量；对于最终的彩色化图像，令和表示其YUV颜色空间的像素的三个分量，其中，即亮度分量不作处理恰能保持图像在处理前后亮度一致；图像上像素之间根据它们的空间关系连接成图，用权值wij来表示两像素点Pi和Pj之间的近似关系，具体形式如下：
<mrow>
<msub>
<mi>w</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mfrac>
<mrow>
<msubsup>
<mi>w</mi>
<mi>s</mi>
<mrow>
<mo>(</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
</msubsup>
<msubsup>
<mi>w</mi>
<mi>g</mi>
<mrow>
<mo>(</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
</msubsup>
</mrow>
<mrow>
<msub>
<mi>&Sigma;</mi>
<mrow>
<mi>j</mi>
<mo>&Element;</mo>
<msub>
<mi>N</mi>
<mi>i</mi>
</msub>
</mrow>
</msub>
<msubsup>
<mi>w</mi>
<mi>s</mi>
<mrow>
<mo>(</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
</msubsup>
<msubsup>
<mi>w</mi>
<mi>g</mi>
<mrow>
<mo>(</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
</msubsup>
</mrow>
</mfrac>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
<mi> </mi>
<mi>i</mi>
<mo>&NotEqual;</mo>
<mi>j</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>0</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
<mi> </mi>
<mi>i</mi>
<mo>=</mo>
<mi>j</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
其中，表示方差为σs的高斯核函数，i和j分别表示两像素点Pi和Pj的空间坐标，体现了两像素之间空间位置关系；表示方差为σg的高斯核函数，Yi和Yj分别表示两像素点Pi和Pj的灰度值，体现了两像素之间的灰度变化关系；Ni表示像素点Pi的邻域，两像素点的亮度值以及空间位置越接近，它们之间的权重就越大；
B:颜色扩散：和是两个独立的颜色分量，分量的求解过程与分量求解过程相同：
将涂色U分量按列堆积表示为U＝[u1,u2,…,un]T,涂色分量U由染色像素到未染色像素扩散的过程，即是如下目标函数的最小化的过程：
<mfenced open = "" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>J</mi>
<mrow>
<mo>(</mo>
<mover>
<mi>U</mi>
<mo>^</mo>
</mover>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<msub>
<mi>w</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mover>
<mi>U</mi>
<mo>^</mo>
</mover>
<mi>i</mi>
</msub>
<mo>/</mo>
<msqrt>
<msub>
<mi>D</mi>
<mrow>
<mi>i</mi>
<mi>i</mi>
</mrow>
</msub>
</msqrt>
<mo>-</mo>
<msub>
<mover>
<mi>U</mi>
<mo>^</mo>
</mover>
<mi>j</mi>
</msub>
<mo>/</mo>
<msqrt>
<msub>
<mi>D</mi>
<mrow>
<mi>j</mi>
<mi>j</mi>
</mrow>
</msub>
</msqrt>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mi>&lambda;</mi>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mover>
<mi>U</mi>
<mo>^</mo>
</mover>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>U</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>=</mo>
<msup>
<mover>
<mi>U</mi>
<mo>^</mo>
</mover>
<mi>T</mi>
</msup>
<mrow>
<mo>(</mo>
<mrow>
<mi>I</mi>
<mo>-</mo>
<mi>S</mi>
</mrow>
<mo>)</mo>
</mrow>
<mover>
<mi>U</mi>
<mo>^</mo>
</mover>
<mo>+</mo>
<mi>&lambda;</mi>
<msup>
<mrow>
<mo>(</mo>
<mrow>
<mover>
<mi>U</mi>
<mo>^</mo>
</mover>
<mo>-</mo>
<mi>U</mi>
</mrow>
<mo>)</mo>
</mrow>
<mi>T</mi>
</msup>
<mrow>
<mo>(</mo>
<mrow>
<mover>
<mi>U</mi>
<mo>^</mo>
</mover>
<mo>-</mo>
<mi>U</mi>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
其中，上式右边第一项为平滑约束项，即颜色分量在图像的同质区域内具有平滑性；上式右边第二项为拟合约束项，即初始色彩标记的颜色值不应该被改变太多，即求得的颜色值与初始给出的颜色值之间的差异应尽量小；λ为控制平滑约束项和拟合约束项的参数，λ的值被设置为0.01；Ui是像素点Pi的初始的颜色值，为最终求得像素点Pi的颜色值；矩阵S＝D-1/2WD-1/2，I为单位矩阵，D为对角矩阵，即W为权值矩阵，W＝{wij}；
首先对进行求导并令导数为零，即
<mrow>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>J</mi>
<mrow>
<mo>(</mo>
<mover>
<mi>U</mi>
<mo>^</mo>
</mover>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mo>&part;</mo>
<mover>
<mi>U</mi>
<mo>^</mo>
</mover>
</mrow>
</mfrac>
<mo>=</mo>
<mn>0</mn>
<mo>,</mo>
</mrow>
最后整理可得：
<mrow>
<mover>
<mi>U</mi>
<mo>^</mo>
</mover>
<mo>=</mo>
<msup>
<mrow>
<mo>(</mo>
<mi>I</mi>
<mo>-</mo>
<mi>&alpha;</mi>
<mi>Q</mi>
<mo>)</mo>
</mrow>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<mi>U</mi>
<mo>,</mo>
</mrow>
其中，Q＝D-1W＝D-1/2WD-1/2；
同理可得，
<mrow>
<mover>
<mi>V</mi>
<mo>^</mo>
</mover>
<mo>=</mo>
<msup>
<mrow>
<mo>(</mo>
<mi>I</mi>
<mo>-</mo>
<mi>&alpha;</mi>
<mi>Q</mi>
<mo>)</mo>
</mrow>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<mi>V</mi>
<mo>.</mo>
</mrow>
2
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510460077.1A CN105118076B (zh) | 2015-07-30 | 2015-07-30 | 基于过度分割和局部与全局一致性的图像彩色化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510460077.1A CN105118076B (zh) | 2015-07-30 | 2015-07-30 | 基于过度分割和局部与全局一致性的图像彩色化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105118076A CN105118076A (zh) | 2015-12-02 |
| CN105118076B true CN105118076B (zh) | 2017-12-01 |
Family
ID=54666049
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510460077.1A Expired - Fee Related CN105118076B (zh) | 2015-07-30 | 2015-07-30 | 基于过度分割和局部与全局一致性的图像彩色化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105118076B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106055879A (zh) * | 2016-05-24 | 2016-10-26 | 北京千安哲信息技术有限公司 | 药物不良反应挖掘方法和系统 |
| TWI596572B (zh) * | 2016-07-06 | 2017-08-21 | Method of automatically coloring image blocks | |
| CN106709880A (zh) * | 2016-12-08 | 2017-05-24 | 彭志勇 | 灰度图像的保存方法和灰度图像原始像素的获取方法 |
| CN106600526B (zh) * | 2016-12-12 | 2018-02-23 | 温州大学 | 一种基于gpu加速的灰度图像彩色化方法 |
| CN107392967B (zh) * | 2017-07-05 | 2018-07-10 | 温州大学 | 一种基于多峰高斯分布函数的彩色图像灰度化方法 |
| CN110136214B (zh) * | 2019-05-15 | 2023-05-23 | 天津科技大学 | 一种彩色图像颜色一致性描述方法 |
| CN110349231B (zh) * | 2019-05-23 | 2023-04-28 | 广东智媒云图科技股份有限公司 | 一种绘画方法、电子设备、存储介质 |
| CN117689762B (zh) * | 2024-02-04 | 2024-06-04 | 江苏无右微创医疗科技有限公司 | 一种内窥镜图像染色方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101299277A (zh) * | 2008-06-25 | 2008-11-05 | 北京中星微电子有限公司 | 一种黑白图像彩色化处理的方法和系统 |
| CN102360506A (zh) * | 2011-09-30 | 2012-02-22 | 北京航空航天大学 | 一种基于局部线性保持的场景颜色风格一致化处理方法 |
| CN103164843A (zh) * | 2011-12-15 | 2013-06-19 | 无锡中星微电子有限公司 | 一种医学影像彩色化方法 |
| CN103839079A (zh) * | 2014-03-18 | 2014-06-04 | 浙江师范大学 | 一种基于分类学习的相似图像彩色化算法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110043535A1 (en) * | 2009-08-18 | 2011-02-24 | Microsoft Corporation | Colorization of bitmaps |
| KR20140099986A (ko) * | 2013-02-04 | 2014-08-14 | 동서대학교산학협력단 | 평균이동 알고리즘 적용형 컬러라이제이션 기반 컬러영상 코딩방법 |
-
2015
- 2015-07-30 CN CN201510460077.1A patent/CN105118076B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101299277A (zh) * | 2008-06-25 | 2008-11-05 | 北京中星微电子有限公司 | 一种黑白图像彩色化处理的方法和系统 |
| CN102360506A (zh) * | 2011-09-30 | 2012-02-22 | 北京航空航天大学 | 一种基于局部线性保持的场景颜色风格一致化处理方法 |
| CN103164843A (zh) * | 2011-12-15 | 2013-06-19 | 无锡中星微电子有限公司 | 一种医学影像彩色化方法 |
| CN103839079A (zh) * | 2014-03-18 | 2014-06-04 | 浙江师范大学 | 一种基于分类学习的相似图像彩色化算法 |
Non-Patent Citations (2)
| Title |
|---|
| 一种改进的基于过度分割的图像彩色化方法;滕升华 等;《电子与信息学报》;20060731;第28卷(第7期);第1160-1164页 * |
| 基于图像分割和色彩扩展的灰度图像彩色化方法;朱黎博 等;《徽型电脑应用》;20090531;第25卷(第5期);第4-6页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105118076A (zh) | 2015-12-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105118076B (zh) | 基于过度分割和局部与全局一致性的图像彩色化方法 | |
| Huang et al. | Deep learning for image colorization: Current and future prospects | |
| US9036860B2 (en) | Method for editing propagation of video and image content based on local feature structure preservation | |
| CN109784281A (zh) | 基于人脸特征的产品推荐方法、装置及计算机设备 | |
| CN103914699A (zh) | 一种基于色彩空间的自动唇彩的图像增强的方法 | |
| Wang et al. | Variational single nighttime image haze removal with a gray haze-line prior | |
| CN102779351A (zh) | 基于局部线性模型优化的交互式灰度图像彩色化方法 | |
| CN103617596A (zh) | 一种基于流型转换的图像色彩风格变换方法 | |
| WO2023273246A1 (zh) | 人脸图像处理方法及装置、计算机可读存储介质、终端 | |
| Huang et al. | A fully-automatic image colorization scheme using improved CycleGAN with skip connections | |
| CN109493309A (zh) | 一种保持显著性信息的红外与可见光图像变分融合方法 | |
| Liu et al. | Selective color transferring via ellipsoid color mixture map | |
| CN109598770A (zh) | 一种城市建筑物的智能配色方法及智能配色系统 | |
| Abbadi et al. | Automatic gray images colorization based on lab color space | |
| CN105956995A (zh) | 一种基于实时视频本征分解的人脸外观编辑方法 | |
| Xiao et al. | Example-based color transfer for gradient meshes | |
| Huang et al. | Example-based painting guided by color features | |
| Maslennikova et al. | Interactive local color transfer between images | |
| CN112218006B (zh) | 一种多媒体数据处理方法、装置、电子设备及存储介质 | |
| Li et al. | Directive local color transfer based on dynamic look-up table | |
| Murray et al. | Towards automatic concept transfer | |
| Zheng et al. | Study on image retrieval based on image texture and color statistical projection | |
| Jin et al. | Automatic and real-time green screen keying | |
| Shen et al. | Re-texturing by intrinsic video | |
| CN115018729A (zh) | 一种面向内容的白盒图像增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20171201 Termination date: 20200730 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |