CN104143203B - 一种图像编辑传播方法 - Google Patents

Abstract

本发明公开了一种图像编辑传播方法，包括以下步骤：1)输入待处理的原始图像，并获取所述原始图像的深度图；2)接收用户对原始图像期望的传播颜色；3)对原始图像和所述深度图分别进行域变换，并结合原始图像域变换结果和深度图域变换结果，得到混合域变换结果；4)利用步骤3)中域变换结果对步骤2)中用户输入的颜色信息进行滤波处理，得到图片中各像素点编辑后的色度参考值；5)根据步骤4)得到的各像素点的色度参考值确定得到各像素点的色度值，结合所述色度值和原始图像的灰度值，确定得到编辑传播后的结果图像。本发明的图像编辑传播方法，编辑传播效果较好，没有颜色传播错误和混乱的现象，且边缘处的颜色传播也较正确。

Description

一种图像编辑传播方法

【技术领域】

本发明涉及计算机视觉技术和图像处理领域，特别是涉及一种基于混合域变换的图像编辑传播方法。

【背景技术】

图像编辑传播方法是当前计算机图像处理、视频处理等学科领域的研究热点，被广泛应用于影视制作、动画制作，交互式视频和图像处理等领域。图像编辑传播是依据原图像的信息将用户期望的编辑效果传播到整个图像中去。例如，用户期望将图片中人脸区域编辑成红色，图像编辑传播技术即是根据用户的这一期望，对图片进行处理，获得处理后的结果，处理后图片中人脸所在区域变成红色的。

传统的图像编辑传播方法是使用原图像的颜色或纹理的边界信息，然后基于相似度的度量来将用户期望的编辑效果传播到整个图片中相似的目标区域，最后再优化传播结果。图像编辑传播的方法有两大类：基于窗口的局部方法和利用能量函数的全局方法。基于窗口的局部方法的特点是计算复杂度低，执行效率高，但得到的编辑传播效果不够理想。基于能量的全局方法中的能量函数一般是以下两部分能量之和：首先是数据项，用来测量期望的结果和目标结果的相似程度；其次是平滑项，用来约束相邻像素之间的变换大小，即连续性。构造完能量函数后，即可再利用优化算法来最小化或最大化能量函数和求得图像编辑传播的结果。目前用于图像编辑传播的常用方法有流形保持算法(ManifoldPreserving)和稀疏控制模型(A Sparse Control Model)。传统的图像编辑传播方法编辑传播效果不理想，表现在传播后整个图片颜色较混乱，或者传播后图像边缘处出现颜色传播错误。

【发明内容】

本发明所要解决的技术问题是：弥补上述现有技术的不足，提出一种图像编辑传播方法，编辑传播效果较好，没有颜色传播错误和混乱的现象，且边缘处的颜色传播也较正确。

本发明的技术问题通过以下的技术方案予以解决：

一种图像编辑传播方法，包括以下步骤：1)输入待处理的原始图像，并获取所述原始图像的深度图；2)接收用户对原始图像期望的传播颜色；3)对原始图像和所述深度图分别进行域变换，并结合原始图像域变换结果和深度图域变换结果，得到混合域变换结果；4)利用步骤3)中域变换结果对步骤2)中用户输入的颜色信息进行滤波处理，得到图片中各像素点编辑后的色度参考值；5)根据步骤4)得到的各像素点的色度参考值确定得到各像素点的色度值，结合所述色度值和原始图像的灰度值，确定得到编辑传播后的结果图像。

本发明与现有技术对比的有益效果是：

本发明的图像编辑传播方法，除了基于原始图像的颜色纹理信息进行编辑传播，还引入了深度信息，对原始图像和深度图均进行域变换，结合两者域变换结果将用户期望的颜色编辑传播到目标区域。编辑传播过程中基于颜色、纹理、深度信息进行相似性度量，这样，在颜色和纹理相似度很大的区域，而用户期望的编辑不一样时，可依据深度信息很好地区分不同的物体和区域，从而获得比现有只利用图像颜色纹理信息的方法更加好的编辑传播效果。特别是边缘区域的编辑传播，确保边缘处的颜色传播较正确。

【附图说明】

图1是本发明具体实施方式的图像编辑传播方法的流程图。

【具体实施方式】

下面结合具体实施方式并对照附图对本发明做进一步详细说明。

本发明的图像编辑传播方法是一种基于能量的局部方法。真实的场景往往包含多种信息，例如颜色，纹理，形状，深度等等，通过仔细研究场景的深度信息和纹理颜色信息以及场景中相似区域的关系，发现通过颜色的差异能够很好地区分场景中颜色不同的物体，通过纹理的差异也能很好地区别不同纹理的物体和区域。这样，基于颜色和纹理，使用原图像区域的相似做编辑传播，利用域变换模型(Domain Transform)对原图像做域变换，通过预设的参数确定像素之间的相似性，根据相似性将用户期望的编辑传播到目标区域中去。除此之外，在上述模型的基础上引入场景的深度信息，除了可以保证上述模型能够做到的基于颜色和纹理差异的编辑传播效果，还能克服颜色和纹理相似或一样时编辑传播的缺陷。这是因为：如果场景中的物体颜色和纹理相似度很大，甚至完全一样，而用户期望的编辑却不一样，则基于颜色和纹理相似度的编辑传播往往会失效。而结合深度信息后，不同的物体和区域的深度信息不一样，则深度信息能很好地区分不同的物体和区域，从而确保此时编辑传播效果较好。而真实的场景中，物体总是有深度差异的，因此，深度信息的使用也具有普适性，使得整张图片的编辑传播效果均较好。

如图1所示，为本具体实施方式中图像编辑传播方法的流程图，包括以下步骤：

A1)输入待处理的原始图像，并获取所述原始图像的深度图。

输入的原始图像可为彩色图片或者灰度图片，可以是相机所拍摄或者从视频序列中抽取出来的任意一帧图像。

获取图像的深度图时，可以通过相应的深度相机拍摄原始图像对应的场景直接获取深度图，也可以用当前比较成熟的计算深度图的方法计算得到的深度图。

A2)接收用户对原始图像期望的传播颜色。

用户输入期望被传播的颜色时，可通过计算机输入接口输入可视的笔画和颜色，从而为图像中某些对象或者区域指定新的颜色。通过笔画和颜色即可识别出用户期望为哪些像素编辑赋予新颜色。

A3)对原始图像和所述深度图分别进行域变换，并结合原始图像域变换结果和深度图域变换结果，得到混合域变换结果。

优选地，域变换时循环3～5次重复进行，且当前次域变换时基于前一次域变换的结果，这样可提高相似度度量的准确性。根据经验，一般3次即可，再重复多次，虽然效果又一定提升，但计算量也相应增加了。

优选地，进行域变换时按行、列交错进行，且当前按列进行域变换时基于前一次行域变换的结果；将一次行、列变换作为一个循环，循环3～5次得到最终域变换结果。将域变换直接按照行或者列进行，不涉及像素邻域之间的相关性，使得整个处理过程极其高效快速，而且还能获得十分令人满意的编辑传播效果。

其中，原图像域变换为：

原始图像是单通道的灰度图时，域变换时按行或者列进行，具体表达式为：其中，u表示像素点x的行坐标或者列坐标；σ_H，σ_s，σ_r分别是用户设定的参数，由用户根据图像域变换后的平滑程度以及编辑传播后结果图像的视觉效果调整设定得到，σ_H和σ_s的取值范围为20～200，σ_r的取值范围为0.1～2。其中，σ_H反映后续域变换结果用于滤波处理时的滤波器核的标准差，σ_s反映用户期望的滤波后图像的空间域标准差，σ_r反映用户期望的滤波后图像的幅值标准差，这三个参数控制图像域变换后的平滑程度。I(x)，在首次域变换时，为原始图像中像素点x的灰度值；在非首次域变换时，为像素点x原始图像前一次域变换的结果；I'(x)表示I(x)的导数。由于域变换按行或列进行，所以把二维图像I(x，y)表示成一维的I(x)。

原始图像是三通道的彩色图，域变换时分通道、按行或者列进行，具体表达式为：其中，k＝1，2，3，分别表示3个通道；u表示像素点x的行坐标或者列坐标；σ_H，σ_s，σ_rk分别是用户设定的参数，由用户根据图像域变换后的平滑程度以及编辑传播后结果图像的视觉效果调整设定得到，σ_H和σ_s的取值范围为20～200，σ_rk的取值范围为0.1～2。其中，σ_H反映后续域变换结果用于滤波处理时的滤波器核的标准差，σ_s反映用户期望的滤波后图像空间域标准差，σ_rk反映用户期望的滤波后图像相应通道的幅值标准差，这五个参数控制图像域变换后的平滑程度。I_k(x)，在首次域变换时，为原始图像中像素点x相应通道的灰度值；在非首次域变换时，为像素点x原始图像相应通道的前一次域变换的结果；I_k'(x)表示I_k(x)的导数。同样地，由于域变换按行或列进行，所以把二维图像I(x，y)表示成一维的I(x)。上述域变换中，对彩色图像的处理是分通道进行的，从而不涉及通道之间的相关性，且对单个通道的处理又是直接按照行或者列进行的，不涉及像素邻域之间的相关性，使得整个处理过程非常地高效快速，而且还能获得十分令人满意的编辑传播效果。

深度图域变换时按行或者列进行，具体表达式进行：其中，u表示像素点x的行坐标或者列坐标；σ_d由用户根据原始图像的颜色和纹理差异情况而设定的参数，表示深度图对域变换结果的影响程度，取值范围为0.5～50；D(x)，在首次域变换时，为深度图中像素点x的灰度值；在非首次域变换时，为像素点x深度图前一次域变换的结果；D'(x)表示D(x)的导数。同样地，由于域变换按行或列进行，所以把二维图像D(x，y)表示成一维的D(x)。表达式中参数σ_d控制着深度图域变换结果的影响程度大小。参数σ_d越大，深度图的域变换结果对混合域变换结果的影响越大；参数σ_d越小，深度图的域变换结果对混合域变换结果影响越小。因此，设置参数时，可以通过设置参数σ_d的大小来调节深度图域变换结果的影响程度。对于颜色和纹理差异较大的原始图像，可以设置参数σ_d较小，在0.5≤σ_d≤5的范围内，使得深度图对其编辑传播效果的影响很小。对于颜色和纹理差异很小的原始图像，可以设置参数σ_d较大，在5＜σ_d≤50的范围内，使得编辑传播在很大程度上决定于深度信息。

将原始图像的域变换结果和深度图的域变换结果结合，得到混合域变换结果为ct(u)＝ct1(u)+ct2(u)，其中，ct1(u)表示原始图像的域变换结果；ct2(u)表示深度图的域变换结果。也即或，

A4)利用步骤A3)中域变换结果对步骤A2)中用户输入的颜色信息进行滤波处理，得到各像素点的色度参考值。

滤波处理时可先确定当前像素点p对应的将要滤波的图像邻域，然后将图像邻域内各像素点的用户期望的编辑颜色平均后作为当前像素点p的色度参考值。具体地，可根据按照如下步骤进行：

首先，根据H(t(p),t(q))＝δ{|t(p)-t(q)|≤r}，确定得到当前像素点p对应的像素点q的集合D(Ω)，像素点q带入函数中后使H函数的值为1。其中，t(p)、t(q)分别表示像素点p、q处的混合域变换结果，t(p)＝ct(p)，t(q)＝ct(q)。r为根据原始图像域变换时设定的滤波器核的标准差参数σ_H而确定的参数，当参数σ_H越大，r也越大，滤波后平滑程度越大。参数σ_H越小，r也越小，滤波后平滑程度越小。δ函数为逻辑函数，当满足设定的条件时，δ函数取值为1；当不满足设定的条件时，δ函数取值为0。

该步骤中H函数即发挥滤波作用，r相当于滤波的半径。混合域变换的结果作为H函数的输入，经过H函数滤波选择后，确定出符合条件的相邻像素点的集合D(Ω)。

其次，根据确定的像素点q的集合D(Ω)，计算得到当前像素点p对应的归一化系数K_p，

最后，计算像素点p对应的色度参考值J(p)，其中，I(q)表示用户在像素点q处期望传播的颜色的像素值。

根据第一个步骤，集合D(Ω)计算中的像素点q均使得H函数的值为1，因此上述第二个步骤中计算的K_p即是集合D(Ω)内像素点的个数总和，第三个步骤中计算的J(p)即是多个I(q)的平均。从而，通过后两个步骤将图像邻域D(Ω)内各像素点的用户期望的编辑颜色平均后作为当前像素点p的色度参考值J(p)。需说明的是，对于像素值I(q)，分别取R、G、B三个通道的灰度值，从而分别计算得到R、G、B三个通道相对应的三个色度参考值。

A5)根据步骤A4)得到的各像素点的色度参考值确定得到各像素点的色度值，结合所述色度值和原始图像的灰度值，确定得到编辑传播后的结果图像。

经过步骤A4)的处理后，整个图片所有像素点已计算得到色度参考值，根据该色度参考值确定得到各像素点期望被传播的色度值，具体地：

当步骤A4)中得到的像素点的色度参考值为0时，像素点的色度值取原始图像中像素点的色度值。此时对应用户没有在像素点p的领域集合D(Ω)内的各像素点q处赋予期望编辑的颜色的情形。由于没有赋予颜色，所以I(q)均为0，所以出现计算得到J(p)也为0。由于用户没有期望赋予新的颜色值，因此像素点的色度值仍然保持为原始图像的色度值。

当步骤A4)中得到的像素点的色度参考值不为0时，像素点的色度值取步骤4)中得到的色度参考值。此时对应用户在像素点p的领域集合D(Ω)内的各像素点q处赋予期望编辑的颜色的情形。由于用户在邻域内赋予新的颜色，所以像素点的色度值取变换传播后的色度值。

确定编辑传播后的色度值后，只需要将步骤A1)输入的原始图像的灰度值和确定得到的各像素点的色度值进行合并，即可得到最后的结果，一张经过编辑传播后的图像。

本具体实施方式的图像编辑传播方法，通过引入更多关于原场景的信息来获得对相似区域或物体的更好区分，结合域变换模型进行原场景相似性的度量，然后根据相似程度将用户期望的编辑效果传播到期望的区域中。混合域变换时结合了原图像的颜色纹理信息和深度信息，可以准确区分原场景中颜色相似但深度数值上有差异的物体，也能很好地辨识图像中区域和物体的边界。在强边界处，混合域变换的输出值比较大，在很弱的边界或者非物体边界处，混合域变换的输出值很小。混合域变换的输出可以很好地刻画图像中各个区域的边界情况，从而用于基于相似性的图像编辑传播中时，可很好地识别物体的边界，确保边界的编辑传播的准确性。同时，整张图像的编辑传播效果也较好，没有颜色传播错误和混乱的现象。方法能够快速高效的进行运算，而且能还够获得很好的编辑传播效果。

通过实验验证，也可以证明本申请的图像编辑传播效果。针对用户的同一期望传播需求，采用现有的基于Uruma算法的编辑传播方法时，从整体上看，颜色传开得不理想，原来的用户输入的期望笔画依然很明显。从细节上看，图像中区域边缘颜色传播发生严重的不可接受的错误。采用现有的基于Levin算法的编辑传播方法时，整体上虽然无大的颜色传播错误，但传播超出目标区域，导致整个图片颜色混乱。细节上也仍可以发现颜色在边缘处发生的混乱很明显。采用仅基于颜色和纹理信息的编辑传播方法时，出现的问题同基于Levin算法时的问题是一样的。而采用本具体实施方式的图像编辑传播方法时，颜色整体上传播得很自然，细节上，边缘处没有传播错误，效果明显优于前面的几个结果。根据实验验证，混合域变换可以获得相比其他方法更好的结果。一些现有的经典的方法在处理复杂场景的编辑传播的时候显得力不从心，然而本具体实施方式中的混合域变换却可以获得很好的结果。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下做出若干替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种图像编辑传播方法，其特征在于：包括以下步骤：

1)输入待处理的原始图像，并获取所述原始图像的深度图；

2)接收用户对原始图像期望的传播颜色；

3)对原始图像和所述深度图分别进行域变换，并结合原始图像域变换结果和深度图域变换结果，得到混合域变换结果；

4)利用步骤3)中混合域变换结果对步骤2)中用户输入的颜色信息进行滤波处理，得到图片中各像素点编辑后的色度参考值；

5)根据步骤4)得到的各像素点的色度参考值确定得到各像素点的色度值，结合所述色度值和原始图像的灰度值，确定得到编辑传播后的结果图像。

2.根据权利要求1所述的图像编辑传播方法，其特征在于：所述步骤3)中进行域变换时循环3～5次重复进行，且当前次域变换时基于前一次域变换的结果。

3.根据权利要求1所述的图像编辑传播方法，其特征在于：所述步骤3)中进行域变换时按行、列交错进行，且当前按列进行域变换时基于前一次行域变换的结果；将一次行、列变换作为一个循环，循环3～5次得到最终域变换结果。

4.根据权利要求1所述的图像编辑传播方法，其特征在于：所述步骤3)中原始图像是单通道的灰度图，域变换时按行或者列进行，具体表达式为：其中，u表示像素点x的行坐标或者列坐标；σ_H，σ_s，σ_r分别是用户设定的参数，由用户根据图像域变换后的平滑程度以及编辑传播后结果图像的视觉效果调整设定得到，σ_H和σ_s的取值范围为20～200，σ_r的取值范围为0.1～2；I(x)，在首次域变换时，为原始图像中像素点x的灰度值；在非首次域变换时，为像素点x原始图像前一次域变换的结果；I'(x)表示I(x)的导数。

5.根据权利要求1所述的图像编辑传播方法，其特征在于：所述步骤3)中原始图像是三通道的彩色图，域变换时分通道、按行或者列进行，具体表达式为：其中，k＝1，2，3，分别表示3个通道；u表示像素点x的行坐标或者列坐标；σ_H，σ_s，σ_rk分别是用户设定的参数，由用户根据图像域变换后的平滑程度以及编辑传播后结果图像的视觉效果调整设定得到，σ_H和σ_s的取值范围为20～200，σ_rk的取值范围为0.1～2；I_k(x)，在首次域变换时，为原始图像中像素点x相应通道的灰度值；在非首次域变换时，为像素点x原始图像相应通道的前一次域变换的结果；I_k'(x)表示I_k(x)的导数。

6.根据权利要求1所述的图像编辑传播方法，其特征在于：所述步骤3)中深度图域变换时按行或者列进行，具体表达式进行：其中，u表示像素点x的行坐标或者列坐标；σ_d是由用户根据原始图像的颜色和纹理差异情况而设定的参数，表示深度图对域变换结果的影响程度，取值范围为0.5～50；D(x)，在首次域变换时，为深度图中像素点x的灰度值；在非首次域变换时，为像素点x深度图前一次域变换的结果；D'(x)表示D(x)的导数。

7.根据权利要求6所述的图像编辑传播方法，其特征在于：当原始图像的颜色和纹理差异较大时，设定σ_d在0.5≤σ_d≤5的范围内；当原始图像的颜色和纹理差异较小时，设定σ_d在5＜σ_d≤50的范围内。

8.根据权利要求1所述的图像编辑传播方法，其特征在于：所述步骤3)中混合域变换结果为ct(u)＝ct1(u)+ct2(u)，其中，ct1(u)表示原始图像的域变换结果；ct2(u)表示深度图的域变换结果。

9.根据权利要求1或4或5所述的图像编辑传播方法，其特征在于：所述步骤4)中进行滤波处理时，按照如下步骤进行，得到当前像素点p的色度参考值：

首先，根据H(t(p),t(q))＝δ{|t(p)-t(q)|≤r}，确定得到当前像素点p对应的像素点q的集合D(Ω)，像素点q带入函数中后使H函数的值为1；其中，t(p)、t(q)分别表示像素点p、q处的混合域变换结果；r为根据原始图像域变换时设定的滤波器核的标准差参数σ_H而确定的参数，当满足设定的条件时，δ函数取值为1；当不满足设定的条件时，δ函数取值为0；

其次，根据确定的像素点q的集合D(Ω)，计算得到当前像素点p对应的归一化系数K_p，

最后，计算像素点p对应的色度参考值J(p)，其中，I(q)表示用户在像素点q处期望传播的颜色的像素值。

10.根据权利要求1所述的图像编辑传播方法，其特征在于：所述步骤5)中：当步骤4)中得到的像素点的色度参考值为0时，像素点的色度值取原始图像中像素点的色度值；当步骤4)中得到的像素点的色度参考值不为0时，像素点的色度值取步骤4)中得到的色度参考值。