CN108022268B - 图像颜色编辑方法及装置 - Google Patents

Abstract

本发明提供了一种图像颜色编辑方法及装置，所述方法通过用户输入的不同类别的用户交互信息，确定待编辑图像中每一类别的种子像素集对应的距离图，并将每一距离图作为待编辑图像的一个新的通道图，结合待编辑图像的RGB三个通道图，确定预设数量的多通道图像子块。基于训练好的多特征联合网络模型，提取每一多通道图像子块中的深度特征，根据深度特征，得到待编辑图像中每一像素所属类别的概率。最后根据得到的概率，并基于最小化的图像分割能量函数，确定待编辑图像中每一像素所属类别，并对所述待编辑图像的颜色进行编辑。本实施例提供的图像颜色编辑方法，有效的结合待编辑图像中像素的距离信息和颜色信息，从而保证了图像颜色编辑的准确性。

Description

图像颜色编辑方法及装置

技术领域

本发明涉及图像处理领域，更具体地，涉及图像颜色编辑方法及装置。

背景技术

目前，随着手机拍照功能和数码相机的普及，人们在生活中常常会拍摄出大量的图像和视频。且伴随着互联网的迅速发展，人们会在互联网上进行图片和视频的分享。为此，人们希望寻求方便快捷的图像和视频处理工具以满足实际应用的需求，其中图像的颜色编辑技术近年来倍受研究人员关注。现有的图像颜色编辑方法主要分为两大类：基于用户交互的图像颜色编辑方法和基于实例的图像颜色编辑方法。其中，基于用户交互的图像颜色编辑方法需要用户具有一定的图像处理的专业素质，通过提供充足的用户交互信息以得到令用户满意的图像颜色编辑结果；基于实例的图像颜色编辑方法则需要用户提供合适的彩色参考图像，此类方法的颜色编辑效果几乎完全取决于提供的彩色参考图像，即当所选的彩色参考图像与待编辑图像的风格迥异时，此类方法很难得到理想的图像颜色编辑结果。

随着深度学习的发展，深度神经网络(Deep Neural Network，DNN)被广泛地应用于图像语义分类、目标物体检测、场景图像语义分割等任务且取得了突破性成绩，这是因为DNN具有监督式端到端逐层特征自学习方式和强大的特征表达能力。近几年，研究学者提出了许多基于DNN的图像颜色编辑工作。在结合DNN后，基于实例的图像颜色编辑方法首先根据提供的大规模图像数据库，通过训练DNN以获得网络模型的参数，即构建训练后的网络模型。在训练结束后，用户只需要将待编辑图像作为深度神经网络的输入，通过进行网络的前向计算就能很快地进行图像颜色编辑，且颜色编辑效果得到了明显改善。而基于用户交互的图像颜色编辑方法是将待编辑图像和用户交互图像作为网络的输入，并进行网络模型训练；已训练的网络模型能够传播用户交互图像上的颜色信息到原图像上，从而得到最终的颜色编辑结果。

现有技术中有研究人员从彩色图像数据库中采样彩色图像作为训练样本，且进行精确的特征提取，包括较低层次的原图像子块、中等层次的DAISY特征和高层次语义特征，以训练网络模型。最后利用双边滤波技术进一步改善网络输出的色度图，从而最终获得理想的彩色化结果。由于需要对所有训练样本进行精确的分割，且得到的颜色编辑结果依赖于图像分割，当所没有对应的分割类别时，会导致图像颜色编辑结果很不理想。

发明内容

为克服上述问题或者至少部分地解决上述问题，本发明提供了一种图像颜色编辑方法及装置。

一方面，本发明提供了一种图像颜色编辑方法，包括：

S1，基于不同类别的用户交互信息，提取待编辑图像上不同类别的像素构成不同类别的种子像素集，并根据所述待编辑图像上每一像素与每一类别的种子像素集中每一种子像素之间的空间距离，确定每一类别的种子像素集对应的所述待编辑图像的距离图；

S2，将每一个所述距离图作为所述待编辑图像的一个新的通道图，并结合所述待编辑图像的RGB三个通道图，确定所述待编辑图像的多通道图像，并从所述多通道图像中预设位置处提取预设数量的多通道图像子块，所述预设位置为所述多通道图像中与每一类别的用户交互信息对应的位置；

S3，基于训练好的多特征联合网络模型，提取每一多通道图像子块中的深度特征，根据所述深度特征，得到所述待编辑图像中每一像素所属类别的概率；

S4，根据得到的所述待编辑图像中每一像素所属类别的概率以及最小化的图像分割能量函数，确定所述待编辑图像中每一像素所属类别，并根据所述待编辑图像中每一像素所属类别，对所述待编辑图像的颜色进行编辑。

优选地，所述从所述多通道图像中预设位置处提取预设数量的多通道图像子块，具体包括：

从所述多通道图像的每一个通道图中所述预设位置处选取预设数量组像素点，每组像素点构成一个图像子块，所有通道图中相同位置处的图像子块构成一个多通道图像子块。

优选地，所述多特征联合网络模型具体包括：深度特征抽取层、全连接层和概率估计层；

所述深度特征抽取层用于提取所述多通道图像子块中的深度特征；所述全连接层用于将提取到的深度特征进行全连接；所述概率估计层，用于根据全连接后的深度特征，采用soft-max函数得到所述待编辑图像中每一像素所属类别的概率。

优选地，每一类别对应唯一的类别标签值，所述多特征联合网络模型通过如下方法进行训练以确定模型参数：

将所述预设数量的多通道图像子块中每一多通道图像子块以及所述每一多通道图像子块对应的类别标签值作为一个训练样本，根据所有训练样本对所述多特征联合网络模型进行训练；

基于随机梯度下降算法，当训练次数达到所述预设数量时，或者所述多特征联合网络模型的模型参数使所述多特征联合网络模型的损失函数收敛时，则结束训练；

所述损失函数用于基于所述待编辑图像中每一像素所属类别的概率，度量所述每一多通道图像子块对应的类别标签估计值与所述每一多通道图像子块对应的类别标签值的接近程度。

优选地，所述基于用户交互信息的类别，提取待编辑图像上不同类别的像素以构成不同类别的种子像素集具体包括：

提取所述待编辑图像上与每一类别的用户交互信息对应的像素，并构成每一类别的种子像素集；

其中，每一类别的种子像素集中种子像素的数量满足几何分布，每一类别的种子像素集中种子像素在所述待编辑图像上的位置满足高斯分布。

优选地，所述根据所述待编辑图像上每一像素与每一类别的种子像素集中每一种子像素之间的空间距离，确定每一类别的种子像素集对应的所述待编辑图像的距离图，具体包括：

对于所述不同类别的种子像素集中任一类别的种子像素集，计算所述待编辑图像上每一像素与所述任一类别的种子像素集中种子像素之间的最小空间距离，并将计算得到的每一最小空间距离作为所述待编辑图像对应位置上的像素值，确定所述任一类别的种子像素集对应的所述待编辑图像的距离图。

优选地，若判断获知计算得到的任一最小空间距离大于255，则将所述任一最小空间距离更新为255。

另一方面，本发明还提供了一种图像颜色编辑装置，包括：距离图确定单元、多通道图像子块提取单元、概率确定单元和颜色编辑单元。其中，

距离图确定单元，用于基于不同类别的用户交互信息，提取待编辑图像上不同类别的像素构成不同类别的种子像素集，并根据所述待编辑图像上每一像素与每一类别的种子像素集中每一种子像素之间的空间距离，确定每一类别的种子像素集对应的所述待编辑图像的距离图；

多通道图像子块提取单元，用于将每一个所述距离图作为所述待编辑图像的一个新的通道图，并结合所述待编辑图像的RGB三个通道图，确定所述待编辑图像的多通道图像，并从所述多通道图像中预设位置处提取预设数量的多通道图像子块，所述预设位置为所述多通道图像中与每一类别的用户交互信息对应的位置；

概率确定模块，用于基于训练好的多特征联合网络模型，提取每一多通道图像子块中的深度特征，根据所述深度特征，得到所述待编辑图像中每一像素所属类别的概率；

颜色编辑单元，用于根据得到的所述待编辑图像中每一像素所属类别的概率以及最小化的图像分割能量函数，确定所述待编辑图像中每一像素所属类别，并根据所述待编辑图像中每一像素所属类别，对所述待编辑图像的颜色进行编辑。

另一方面，本发明还提供了一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述的方法。

另一方面，本发明还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述的方法。

本发明提供的图像颜色编辑方法及装置，通过用户输入的不同类别的用户交互信息，确定待编辑图像中每一类别的种子像素集对应的距离图，并将每一距离图作为一个通道图，结合待编辑图像的RGB三个通道图，确定所述待编辑图像的多通道图像，并从所述多通道图像中预设位置处提取预设数量的多通道图像子块。提取每一多通道图像子块中的深度特征，根据所述深度特征，得到待编辑图像中每一像素所属类别的概率。最后根据得到的所述待编辑图像中每一像素所属类别的概率以及最小化的图像分割能量函数，确定待编辑图像中每一像素所属类别，并对所述待编辑图像的颜色进行编辑。本实施例提供的图像颜色编辑方法，有效的结合待编辑图像中像素的距离信息和颜色信息，保证了图像颜色编辑的准确性。通过结合基于图像分割能量函数的最小化求解，从而最终实现高质量和快速的图像颜色编辑。同时，本发明可以在用户提供少量用户交互信息的情况下得到较理想的图像颜色编辑结果，这不仅降低了用户交互操作的难度，还降低了用户专业水平的需求。

附图说明

图1为本发明实施例提供的一种图像颜色编辑方法的流程示意图；

图2为本发明实施例提供的一种图像颜色编辑方法中多特征联合网络模型的结构示意图；

图3为本发明实施例提供的一种图像颜色编辑方法中由待编辑图像得到多通道图像子块的示意图；

图4为本发明实施例提供的一种图像颜色编辑方法中绘制出的概率图；

图5为本发明实施例提供的一种图像颜色编辑方法的流程示意图；

图6为本发明实施例提供的一种图像颜色编辑装置的结构示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

如图1所示，本发明一实施例提供了一种图像颜色编辑方法，包括：

S1，基于不同类别的用户交互信息，提取待编辑图像上不同类别的像素构成不同类别的种子像素集，并根据所述待编辑图像上每一像素与每一类别的种子像素集中每一种子像素之间的空间距离，确定每一类别的种子像素集对应的所述待编辑图像的距离图；

S2，将每一个所述距离图作为所述待编辑图像的一个新的通道图，并结合所述待编辑图像的RGB三个通道图，确定所述待编辑图像的多通道图像，并从所述多通道图像中预设位置处提取预设数量的多通道图像子块，所述预设位置为所述多通道图像中与每一类别的用户交互信息对应的位置；

S3，基于训练好的多特征联合网络模型，提取每一多通道图像子块中的深度特征，根据所述深度特征，得到所述待编辑图像中每一像素所属类别的概率；

S4，根据得到的所述待编辑图像中每一像素所属类别的概率以及最小化的图像分割能量函数，确定所述待编辑图像中每一像素所属类别，并根据所述待编辑图像中每一像素所属类别，对所述待编辑图像的颜色进行编辑。

具体地，由于目前现有技术中对图像进行重新着色时并没有考虑到用户交互信息与待编辑图像上位置的对应关系，可能会导致在图形重新着色时，不能清晰划分出不同类别的像素，进而导致图像重新着色时出现错位现象，导致图像重新着色的位置不准确。

本发明提供了一种图像颜色编辑方法，基于用户交互信息的不同类别，根据待编辑图像上的颜色信息，以及待编辑图像上其他像素与用户交互信息对应的像素的距离信息，确定待编辑图像中同一类别的像素，进而实现待编辑图像的颜色编辑。这里的距离信息即为空间距离。

需要说明的是，这里所说的用户交互信息可以是带有不同颜色的线条，每种颜色的线条代表一种类别的用户交互信息。每种类别的用户交互信息具有一个唯一的类别标签值。类别标签值可以是用户自定义的值，比如红色线条的类别标签值为1，蓝色线条的类别标签值为2，黄色线条的类别标签值为3等。用户交互信息通常是用户用画笔直接在待编辑图像上的不同位置进行标注的，以显示待编辑图像上的不同位置需要变换成不同的颜色。由于采用的画笔的粗细不同，通常画笔画出的一个线条在画笔直径方向可能覆盖多个像素。用户可以在待编辑图像上绘制多条同种颜色的线条。例如，用户在待编辑图像上绘制出M条线条，待编辑图像的对应位置上构成类别线条集S。即S＝{s₁,…,s_j,…,s_M}，其中，s_j表示线条j覆盖待编辑图像的像素的总数量。每一线条均对应着一个类别标签值，构成类别标签集合L_S。即L_S＝{L₁,…,L_j,…,L_M}，其中，L_j表示线条j对应的类别标签值。由于类别线条集S中可能包含多条相同颜色的线条，所以L_S中可能有取值相同的情况。例如，类别线条集S中具有K个不同的类别标签值g＝{g₁,…,g_k,…,g_K}，2≤k≤K。类别标签集合L_S中每一元素的取值均为g中的一个值。这里，线条的颜色可以表示用户提供的想要将待编辑图像中某一区域重着色后的目标颜色，也可以仅仅起到区别不同类别的作用。

根据用户交互信息的不同类别，获取待编辑图像上不同类别的像素构成不同类别的种子像素集，其中种子像素集中的种子像素是从待编辑图像上被用户交互信息覆盖的像素中选取的。某一类别的种子像素集中的种子像素用于作为标准计算待编辑图像上任一像素到该种子像素的空间距离。空间距离可采用欧式距离变换公式进行计算。根据得到的空间距离，即可确定每一类别的种子像素集对应的待编辑图像的距离图。这里需要说明的是，得到每一类别的种子像素集对应的距离图是为了将距离图作为待编辑图像的一个新的通道图，结合待编辑图像的RGB三个通道图，从这些通道图中确定预设数量的多通道图像子块，在每一通道图中的相同位置上选取一定像素数量的区域作为该通道图中的图像子块，所有通道图中的图像子块即构成多通道图像子块。这个相同位置需要在用户交互信息在待编辑图像上的覆盖区域内。

这里需要说明的是，预设位置为所述多通道图像中与每一类别的用户交互信息对应的位置，在提取预设数量的多通道图像子块时，需要保证预设数量的多通道图像子块的总类别数量与用户交互信息的类别数量相同。

基于训练好的多特征联合网络模型，提取多通道图像子块中的深度特征，根据多通道图像子块的深度特征，可以得到待编辑图像中每一像素所属类别的概率。这里所说的每一像素所属类别是指按照用户交互信息的类别进行的归类。这里可以通过soft-max函数，在得到多通道图像子块的深度特征的情况下，得到待编辑图像中每一像素所属类别的概率。

虽然得到了概率，但是在确定每一像素所属类别时，还需要使图像分割能量函数达到最小化，这里采用了图像分割能量函数是将确定每一像素所述类别等效为按类别对待编辑图像进行分割，此时需要满足图像分割能量函数达到最小化，确定的待编辑图像中每一像素所属类别才是准确的。

最后根据确定的每一像素所属类别，对待编辑图像进行颜色编辑，即对属于同一类别的像素赋予相同的像素值，使其显示同种的目标颜色，对所述待编辑图像进行颜色编辑的过程实际上就是颜色传播的过程。这里需要说明的是，颜色传播实际上是已经确定好待编辑图像中哪一区域编辑哪种目标颜色。此时只需将用户选中的目标颜色添加到相应区域即可。这里关于目标颜色信息，可以是用户交互信息中携带，也可以是在确定好待编辑图像中哪一区域编辑哪种目标颜色后再由用户选择。本发明在此不做具体限定。

本实施例中，通过用户输入的不同类别的用户交互信息，确定待编辑图像中每一类别的种子像素集对应的距离图，并将每一距离图作为一个新的通道图，结合待编辑图像的RGB三个通道图，确定所述待编辑图像的多通道图像，并从所述多通道图像中预设位置处提取预设数量的多通道图像子块。提取每一多通道图像子块中的深度特征，根据所述深度特征，得到待编辑图像中每一像素所属类别的概率。最后根据得到的所述待编辑图像中每一像素所属类别的概率以及最小化的图像分割能量函数，确定待编辑图像中每一像素所属类别，并对所述待编辑图像的颜色进行编辑。本实施例提供的图像颜色编辑方法，有效的结合待编辑图像中像素的距离信息和颜色信息，保证了图像颜色编辑的准确性。通过结合基于图像分割能量函数的最小化求解，从而最终实现高质量和快速的图像颜色编辑。同时，本发明可以在用户提供少量用户交互信息的情况下得到较理想的图像颜色编辑结果，这不仅降低了用户交互操作的难度，还降低了用户专业水平的需求。

在上述实施例的基础上，所述多特征联合网络模型具体包括：深度特征抽取层、全连接层和概率估计层。所述深度特征抽取层用于提取所述多通道图像子块中的深度特征；所述全连接层用于将提取到的深度特征进行全连接；所述概率估计层，用于根据全连接后的深度特征，采用soft-max函数得到所述待编辑图像中每一像素所属类别的概率。

具体地，如图2所示，多特征联合网络模型是一种深度神经网络(Deep NeuralNetwork，DNN)模型，具体为一个前馈神经网络模型，主要由深度特征抽取层21、全连接层22和概率估计层23组成。由于有效的高层次特征是通过卷积层进行抽取的，DNN模型的输入为多通道图像子块。

深度特征抽取层21由若干卷积层、最大池化层和激活函数组成，其主要用于抽取多通道图像子块p中的位置特征和颜色特征。图2中，深度特征抽取层21由第一卷积层211、第一最大池化层212、第二卷积层223、第二最大池化层224组成。对于输入的9×9×c的多通道图像子块p，深度特征抽取层21整体可以用函数式描述为f_h＝G_h(p；θ_h)，其中，c表示多通道图像子块p包含的通道数，9×9表示每一通道中的图像子块的大小为9×9个像素。

是从多通道图像子块p中抽取的高层次特征；θ_h是深度特征抽取层21的模型参数；函数G_h由两个卷积函数f_conv1和f_conv2、一个最大池化函数f_mp和一个激活函数ReLU组成。其中，第一卷积层211通过函数f_conv1实现，采用具有偏置项为b的128个3×3×c大小的卷积核对多通道图像子块p进行卷积，并通过激活函数ReLU进行处理，得到7×7×128的子块225。第一最大池化层212将第一卷积层211得到的结果通过最大池化函数f_mp进行处理，得到4×4×128大小的子块226。第二卷积层213通过函数f_conv2实现，采用256个3×3×128大小的卷积核对第一最大池化层212得到的结果进行处理，得到2×2×256大小的子块227。第二最大池化层224将第二卷积层213得到的结果通过最大池化函数f_mp再次进行处理，得到1×1×256大小的子块228，即高层次特征。其中，激活函数ReLU用于实现非线性变换处理；f_mp是以步长为2的2×2大小的最大池化函数，用于保留卷积后图像子块中的局部特征。

在全连接层22中，通过同时捕获位置特征和颜色特征之间的相关性能够自动确定位置特征和颜色特征的重要度。全连接层22可用函数式f_c＝G_fc(f_h；θ_c)描述，其中

是抽取的深度特征；

是全连接层22对应的模型参数。

概率估计层23根据全连接层22抽取的深度特征f_c估计待编辑图像中所有像素所属不同类别的概率图y＝G_l(f_c；θ_l)，即通过soft-max函数实现，其中，

是概率估计层23的模型参数，K为用户交互信息对应的类别数量。其中，概率图y是由待编辑图像中所有像素所属不同类别的概率构成，y＝{y₁,…,y_i,…y_I}，其中i表示第i个像素，1≤i≤I，I为待编辑图像中像素的总数量。y中的元素y_i具体为某一像素i所属不同类别的概率的列矩阵，

其中y_i中的每一个元素分别表示某一像素i所属相应类别的概率。例如，某一像素i所属类别k的概率为

本实施例中，通过提供一种多特征联合网络模型，可以根据输入的多通道图像子块，将待编辑图像中像素的距离特征和颜色特征结合在一起，保证了图像颜色编辑的准确性。

在上述实施例的基础上，每一类别对应唯一的类别标签值，所述多特征联合网络模型通过如下方法进行训练以确定模型参数：

将所述预设数量的多通道图像子块中每一多通道图像子块以及所述每一多通道图像子块对应的类别标签值作为一个训练样本，根据所有训练样本对所述多特征联合网络模型进行训练；

基于随机梯度下降算法，当训练次数达到所述预设数量时，或者所述多特征联合网络模型的模型参数使所述多特征联合网络模型的损失函数收敛时，则结束训练；

所述损失函数用于基于所述待编辑图像中每一像素所属类别的概率，度量所述每一多通道图像子块对应的类别标签估计值与所述每一多通道图像子块对应的类别标签值的接近程度。

具体地，首先构建训练样本数据库对多特征联合网络模型进行训练，训练样本数据库是由预设数量个训练样本组成，每个训练样本为预设数量的多通道图像子块中每一多通道图像子块和所述每一多通道图像子块对应的类别标签值，为了与后面估计得到的类别标签估计值区分，此处与每一多通道图像子块对应的类别标签值记为真实的类别标签值。

这里需要说明的是，预设数量的多通道图像子块可构成一个一维列矩阵，该列矩阵中的元素即为预设数量个多通道图像子块。同样地，由于每一个多通道图像子块对应着一个类别标签值(即真实的类别标签值)，所以预设数量的类别标签值也可以构成一个一维列矩阵，该列矩阵中的元素为预设数量的类别标签值。以下以预设数量的多通道图像子块构成一维列矩阵p，预设数量的类别标签值构成一维列矩阵g为例，且有p＝{p₁，p₂，…，p_i，…，p_m}，g＝{g₁，g₂，…，p_i，…，g_m}，其中，2≤i≤m，m为多通道图像子块的数量，即预设数量，也即训练样本的数量。

根据已构建的训练样本数据库，包括多通道图像子块p_i和其对应的类别标签值g_i。这里，可以通过最小化损失函数以获得模型参数θ＝(θ_h,θ_c,θ_l)。损失函数主要用于度量估计的多通道图像子块的类别标签估计值y_i′与其真实的类别标签值g_i之间的接近程度。这里所说的接近程度，实际上是指估计的类别标签估计值y_i′与其真实的类别标签值g_i是否相同。模型参数的公式具体为：(θ_h,θ_c,θ_l)＝argmin∑L(G_l(G_fc(G_h(p_i；θ_h)；θ_c)；θ_l),g_i)。其中，L为交叉熵损失函数，简称损失函数。设真实的类别标签值分别为1、2、3、…、k、…、K，分别对应于类别1、2、3、…、k、…、K，则损失函数可定义为：

其中，K≥2为不同的用户交互信息的类别数量，y＝{y₁,......,y_i,......,y_m}，这里的y中的某一元素y_i表示多通道图像子块p_i的所属不同类别的概率的列矩阵。由于多通道图像子块中的像素属于同一类别，所以多通道图像子块中每一像素所属不同类别的概率的列矩阵是相同的，选取其中一个即代表该多通道图像子块的所属不同类别的概率的列矩阵。损失函数中的函数1{*}表示指示性函数(indicator function)，当函数1{*}中的变量*为真时，函数结果为1，否则函数结果为0。

这里需要说明是的是，类别标签估计值y_i′是根据得到的待编辑图像中多通道图像子块p_i所属类别的概率y_i得到的p_i所属类别的类别标签值，通常选取对应最大概率的类别标签值作为类别标签估计值。由于是通过概率得到的，所以称为类别标签估计值，且不一定与真实的类别标签值相同。

采用随机梯度下降(Stochastic Gradient Descent，SGD)算法进行误差后向传播，并当损失函数收敛时或迭代次数达到所述预设数量，则结束训练。当损失函数收敛时，即损失函数有最小值。

本实施例中，由于采用多通道图像子块对模型进行训练，充分利用位置特征和颜色特征的对应关系，且反向传播过程并不会陷入局部最小，从而能够得到有效的模型参数。同时，本实施例中能够结合位置信息和颜色信息训练多特征联合网络模型，这在模型训练过程中可以有效地避免过拟合的情况。根据已训练的多特征联合网络模型能够更准确地估计出待编辑图像中每一像素所述类别的概率。

在上述实施例的基础上，所述从所述多通道图像中预设位置处提取预设数量的多通道图像子块，具体包括：

从所述多通道图像的每一个通道图中所述预设位置处选取预设数量组像素点，每组像素点构成一个图像子块，所有通道图中相同位置处的图像子块构成一个多通道图像子块。

具体地，多通道图像

其中，I为待编辑图像；

为类别k对应的距离图；K为不同类别的数量；N为种子像素集的数量。然后，我们在多通道图像中采集训练样本构建训练样本数据库，训练样本为多通道图像子块。如图3所示，图3(a)表示带有用户交互信息的待编辑图像，图3(b)、图3(c)、图3(d)和图3(e)共同表示多通道图像。用户交互信息为第一类别线条31、第二类别线条32和第三类别线条33。图3(b)为待编辑图像的RGB三个通道图的结合，图3(c)为第二类别线条32中的种子像素集对应的距离图，图3(d)为第三类别线条33中的种子像素集对应的距离图，图3(e)为第一类别线条31中的种子像素集对应的距离图。图中，随机在用户交互信息覆盖的区域选取多通道图像子块，在图3(b)、图3(c)、图3(d)和图3(e)上，分别用长虚线框321、短虚线框331和实线框311在三个类别线条覆盖的相同区域选取图像子块，每个图中相同区域的图像子块共同构成一个多通道图像子块。

每一个多通道图像子块需要在同一类别的用户交互信息覆盖的位置进行提取，以保证每个多通道图像子块只属于一个类别。每组像素点中可以以用户交互信息覆盖的一个像素为中心，构成h*h的一组像素，即一个图像子块。例如，可以构成9*9的图像子块。

另外，由于每次随机采样产生的种子像素集各不相同，因而会获得大量的多通道图像。此时，仅需要在不同类别的线条上随机选取部分像素，并以此采集多通道图像子块及对应的类别标签值作为训练样本，这样即可为训练样本数据库提供充足的训练样本。

在上述实施例的基础上，所述基于不同类别的用户交互信息，提取待编辑图像上不同类别的像素以构成不同类别的种子像素集具体包括：

提取所述待编辑图像上与每一类别的用户交互信息对应的像素，并构成每一类别的种子像素集；

其中，每一类别的种子像素集中种子像素的数量满足几何分布，每一类别的种子像素集中种子像素在所述待编辑图像上的位置满足高斯分布。

具体地，根据用户输入的用户交互信息，可利用如下三种方法进行种子像素集的随机选取：

(1)确定用户交互信息的类别，直接在用户输入的每一个类别用户交互信息(即每一类别的线条)上随机抽取一定数量的种子像素构成该类别的种子像素集。

(2)为了避免随机采样过程中产生的种子像素过于集中，可以首先根据每一类别的线条的长度设置采样间距。由此，可以选取具有一定顺序的种子像素构成该类别的种子像素集。

(3)首先确定每一类别的线条的范围，包括线条的分段数量、最大长度和线条宽度。在每一类别的线条中，即可采用几何分布选取种子像素的数量，采用高斯分布确定种子像素的位置。

所述用户交互信息的类别通过采用不同的颜色绘制来区分。

本实施例中，为种子像素集的选取提供了三种方法，为用户提供了多种选择当用户追求处理速度时可采用(1)方法，当用户更追求计算的准确度，可采用(3)方法。

在上述实施例的基础上，所述根据所述待编辑图像上每一像素与每一类别的种子像素集中每一种子像素之间的空间距离，确定每一类别的种子像素集对应的所述待编辑图像的距离图，具体包括：

对于所述不同类别的种子像素集中任一类别的种子像素集，计算所述待编辑图像上每一像素与所述任一类别的种子像素集中种子像素之间的最小空间距离，并将计算得到的每一最小空间距离作为所述待编辑图像对应位置上的像素值，确定所述任一类别的种子像素集对应的所述待编辑图像的距离图。

具体地，由于属于某一类别的种子像素集中包含很多种子像素，会使待编辑图像上任一像素计算的空间距离具有多个，需要从中选取最小空间距离。待编辑图像上的每一个像素均对应着一个最小空间距离，根据待编辑图像上的每一个像素对应的最小空间距离，即可产生对应某一类别的种子像素集的距离图。需要说明的是，距离图实际上描述的是某一类别的种子像素集对应的待编辑图像的灰度图。所以当计算得到的待编辑图像上的某一个像素对应的最小空间距离大于255，则将该最小空间距离更新为255。以便于将最小空间距离的取值限制在0-255的范围内，确保得到正确的待编辑图像的距离图。在生成的距离图中，如果某一像素周围显示越黑暗，则说明该像素与种子像素之间的空间距离越小，即越近；反之，距离种子像素较远的像素周围则越明亮。

具体如图3中的图3(c)、图3(d)和图3(e)分别代表三个不同类别的种子像素集对应的距离图。从图中可以看出，这些距离图还可以用来描述待编辑图像中对应不同类型的目标物体，目标物体即为用户需要重新着色的对象。

在上述实施例的基础上，所述多特征联合网络模型还用于：根据得到的所述待编辑图像中每一像素所属类别的概率，绘制出概率图。

即概率估计层23可根据提供的用户交互信息，为待编辑图像中每一像素估计每一像素所属类别的概率，从而最终获得每一类别对应的概率图。需要说明的是，由于得到的概率是在0至1之间的数值，需要将概率映射到0至255之间，才能绘制出概率图。如图4所示，图4(a)则表示第一类别线条31对应的概率图，图中越亮的部分表示对应的概率值越大，反之越暗的部分表示对应的概率值越小；图4(b)表示第三类别线条33对应的概率图，图4(c)表示第二类别线条32对应的概率图。

本实施例中，通过绘制概率图，可知更直观的看到待编辑图像中每一类别的像素所在的区域。

由于逐个像素的概率估计的计算代价高，将无法满足实时性的要求。因此，可以采用SLIC超像素分割算法将待编辑图像RGB三个通道图以及确定的距离图划分成多个具有规则形状的图像子块，这些图像子块即为超像素。通过为每一超像素估计属于不同类别的概率，然后再将该概率分配给超像素中所有的像素，从而提高了整个过程的计算效率。

在上述实施例的基础上，经训练好的多特征联合网络模型输出的待编辑图像中每一类别对应的概率图为

而概率图中每一元素

描述的是待编辑图像中像素属于当前类别的可能性，即概率。最终可将基于用户交互信息的颜色编辑传播问题看作是图像分割能量函数的优化问题：

其中，D(g_i)为衡量类别标签估计值与类别标签值之间误差的函数，称为平衡数据项；V(g_i,g_j)是衡量相邻两个类别标签估计值不一致程度的函数，称为平滑项。λ为D(g_i)和V(g_i,g_j)之间的权重系数。g＝{g₁,…,g_K}为K个不同的类别标签值构成的集合。v的取值为2至K，ε某种邻接关系。最后，通过采用最小化的图像分割能量函数以为每一像素分配正确的类别，从而最终获得颜色编辑处理结果。

如图5所示，在上述实施例的基础上，本发明另一实施例提供了一种图像颜色编辑方法，具体包括：首先进行多特征联合网络模型的设计，同时由用户输入用户交互信息，采用随机采样方式获取种子像素集，并得到每一类别的种子像素集对应的距离图。基于距离图和待编辑图像的RGB三个通道图，构建训练样本数据库。将训练样本数据库中的训练样本逐个输入值设计的多特征联合网络模型中，对多特征联合网络模型进行训练，并得到待编辑图像中每一像素所述类别的概率。最终实现待编辑图像的颜色编辑传播。由于每个过程均与上述的对应过程是相同的，本实施例在此不再赘述。

如图6所示，在上述实施例的基础上，本发明另一实施例提供了一种图像颜色编辑装置，包括：距离图确定单元61、多通道图像子块提取单元62、概率确定单元63和颜色编辑单元64。

其中，距离图确定单元61用于基于不同类别的用户交互信息，提取待编辑图像上不同类别的像素构成不同类别的种子像素集，并根据所述待编辑图像上每一像素与每一类别的种子像素集中每一种子像素之间的空间距离，确定每一类别的种子像素集对应的所述待编辑图像的距离图；

多通道图像子块提取单元62用于将每一个所述距离图作为所述待编辑图像的一个新的通道图，并结合所述待编辑图像的RGB三个通道图，确定所述待编辑图像的多通道图像，并从所述多通道图像中预设位置处提取预设数量的多通道图像子块，所述预设位置为所述多通道图像中与每一类别的用户交互信息对应的位置；

概率确定模块63用于基于训练好的多特征联合网络模型，提取每一多通道图像子块中的深度特征，根据所述深度特征，得到所述待编辑图像中每一像素所属类别的概率；

颜色编辑单元64用于根据得到的所述待编辑图像中每一像素所属类别的概率以及最小化的图像分割能量函数，确定所述待编辑图像中每一像素所属类别，并根据所述待编辑图像中每一像素所属类别，对所述待编辑图像的颜色进行编辑。

具体地，本实施例中各单元的处理流程与采用的方法与上述方法类实施例是一一对应的，本实施例在此不再赘述。

本实施例中，距离图确定单元根据用户输入的不同类别的用户交互信息，确定待编辑图像中每一类别的种子像素集对应的距离图。多通道图像子块提取单元将每一个所述距离图作为一个通道图，并结合所述待编辑图像的RGB三个通道图，确定所述待编辑图像的多通道图像，并从所述多通道图像中预设位置处提取预设数量的多通道图像子块。概率确定单元提取每一多通道图像子块中的深度特征，根据所述深度特征，得到所述待编辑图像中每一像素所属类别的概率。最后颜色编辑单元根据得到的每一像素所属类别的概率，并基于最小化的图像分割能量函数，确定待编辑图像中每一像素所属类别，并对所述待编辑图像的颜色进行编辑。本实施例提供的图像颜色编辑方法，有效的结合待编辑图像中像素的距离信息和颜色信息，保证了图像颜色编辑的准确性。通过结合基于图像分割能量函数的最小化求解，从而最终实现高质量和快速的图像颜色编辑。同时，本发明可以在用户提供少量用户交互信息的情况下得到较理想的图像颜色编辑结果，这不仅降低了用户交互操作的难度，还降低了用户专业水平的需求。

在上述实施例的基础上，本发明另一实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行如图1所述的方法。

在上述实施例的基础上，本发明另一实施例还提供了一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如图1所述的方法。

最后，本发明的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种图像颜色编辑方法，其特征在于，包括：

S1，基于不同类别的用户交互信息，提取待编辑图像上不同类别的像素以构成不同类别的种子像素集，并根据所述待编辑图像上每一像素与每一类别的种子像素集中每一种子像素之间的空间距离，确定每一类别的种子像素集对应的所述待编辑图像的距离图；

S2，将每一个所述距离图作为所述待编辑图像的一个新的通道图，并结合所述待编辑图像的RGB三个通道图，确定所述待编辑图像的多通道图像，并从所述多通道图像中预设位置处提取预设数量的多通道图像子块，所述预设位置为所述多通道图像中与每一类别的用户交互信息对应的位置；

S3，基于训练好的多特征联合网络模型，提取每一多通道图像子块中的深度特征，根据所述深度特征，得到所述待编辑图像中每一像素所属类别的概率；

S4，根据得到的所述待编辑图像中每一像素所属类别的概率以及最小化的图像分割能量函数，确定所述待编辑图像中每一像素所属类别，并根据所述待编辑图像中每一像素所属类别，对所述待编辑图像的颜色进行编辑；

其中，每一类别对应唯一的类别标签值，所述训练好的多特征联合网络模型基于如下方式训练得到：将预设数量的多通道图像子块中每一多通道图像子块以及所述每一多通道图像子块对应的类别标签值作为一个训练样本，根据所有训练样本对所述多特征联合网络模型。

2.根据权利要求1所述的方法，其特征在于，所述从所述多通道图像中预设位置处提取预设数量的多通道图像子块，具体包括：

从所述多通道图像的每一个通道图中所述预设位置处选取预设数量组像素点，每组像素点构成一个图像子块，所有通道图中相同位置处的图像子块构成一个多通道图像子块。

3.根据权利要求1所述的方法，其特征在于，所述多特征联合网络模型具体包括：深度特征抽取层、全连接层和概率估计层；

所述深度特征抽取层用于提取所述多通道图像子块中的深度特征；所述全连接层用于将提取到的深度特征进行全连接；所述概率估计层，用于根据全连接后的深度特征，采用soft-max函数得到所述待编辑图像中每一像素所属类别的概率。

4.根据权利要求3所述的方法，其特征在于，所述多特征联合网络模型通过如下方法进行训练以确定模型参数：

基于随机梯度下降算法，当训练次数达到所述预设数量时，或者所述多特征联合网络模型的模型参数使所述多特征联合网络模型的损失函数收敛时，则结束训练；

所述损失函数用于基于所述待编辑图像中每一像素所属类别的概率，度量所述每一多通道图像子块对应的类别标签估计值与所述每一多通道图像子块对应的类别标签值的接近程度。

5.根据权利要求1所述的方法，其特征在于，所述基于不同类别的用户交互信息，提取待编辑图像上不同类别的像素以构成不同类别的种子像素集具体包括：

提取所述待编辑图像上与每一类别的用户交互信息对应的像素，并构成每一类别的种子像素集；

其中，每一类别的种子像素集中种子像素的数量满足几何分布，每一类别的种子像素集中种子像素在所述待编辑图像上的位置满足高斯分布。

6.根据权利要求1-5中任一项所述的方法，其特征在于，所述根据所述待编辑图像上每一像素与每一类别的种子像素集中每一种子像素之间的空间距离，确定每一类别的种子像素集对应的所述待编辑图像的距离图，具体包括：

对于所述不同类别的种子像素集中任一类别的种子像素集，计算所述待编辑图像上每一像素与所述任一类别的种子像素集中种子像素之间的最小空间距离，并将计算得到的每一最小空间距离作为所述待编辑图像对应位置上的像素值，确定所述任一类别的种子像素集对应的所述待编辑图像的距离图。

7.根据权利要求6所述的方法，其特征在于，若判断获知计算得到的任一最小空间距离大于255，则将所述任一最小空间距离更新为255。

8.一种图像颜色编辑装置，其特征在于，包括：

距离图确定单元，用于基于不同类别的用户交互信息，提取待编辑图像上不同类别的像素构成不同类别的种子像素集，并根据所述待编辑图像上每一像素与每一类别的种子像素集中每一种子像素之间的空间距离，确定每一类别的种子像素集对应的所述待编辑图像的距离图；

多通道图像子块提取单元，用于将每一个所述距离图作为所述待编辑图像的一个新的通道图，并结合所述待编辑图像的RGB三个通道图，确定所述待编辑图像的多通道图像，并从所述多通道图像中预设位置处提取预设数量的多通道图像子块，所述预设位置为所述多通道图像中与每一类别的用户交互信息对应的位置；

概率确定模块，用于基于训练好的多特征联合网络模型，提取每一多通道图像子块中的深度特征，根据所述深度特征，得到所述待编辑图像中每一像素所属类别的概率；

颜色编辑单元，用于根据得到的所述待编辑图像中每一像素所属类别的概率以及最小化的图像分割能量函数，确定所述待编辑图像中每一像素所属类别，并根据所述待编辑图像中每一像素所属类别，对所述待编辑图像的颜色进行编辑；

其中，每一类别对应唯一的类别标签值，所述训练好的多特征联合网络模型基于如下方式训练得到：将预设数量的多通道图像子块中每一多通道图像子块以及所述每一多通道图像子块对应的类别标签值作为一个训练样本，根据所有训练样本对所述多特征联合网络模型。

9.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至7任一所述的方法。

Images