CN108171776B - 一种基于改进的卷积神经网络实现图像编辑传播的方法 - Google Patents

Abstract

一种基于改进的卷积神经网络实现图像编辑传播的方法，首先引入组合卷积来代替传统的卷积，通过这个结构可以提取更加合理的图像特征，并且减少模型的参数量和卷积的操作数。同时引入对错分的背景类进行加权的有偏损失函数，以防止背景类被误着色而造成颜色溢出。该方法包括以下步骤：通过交互的方式对一幅待处理的图像加以笔触；根据笔触从图像中提取训练集和测试集；利用改进的卷积神经网络进行模型训练；利用训练得到的模型进行测试，最终实现图像上色。

Description

一种基于改进的卷积神经网络实现图像编辑传播的方法

技术领域

本发明涉及一种图像编辑传播的方法，特别是一种基于改进的卷积神经网络实现图像编辑传播的方法。

背景技术

随着数字多媒体硬件的发展和软件技术的兴起，图像色彩处理的需求不断增长，在显示设备上进行快速高效的图像颜色处理变得尤其重要。编辑传播是指通过用户交互的方式，用户对图像中不同的物体给予不同的颜色笔触，进行特征提取和识别，实现图像编辑处理的过程。

目前，基于单幅图像的编辑传播算法有很多，主要分为两大类。第一类方法可以通过一些约束，将编辑传播问题转换为一个优化问题，通过解该优化问题实现编辑传播。比如在保持流行结构的约束条件下，通过保持这种流行结构来实现编辑传播。但是在处理片段的图像区域时，需要更多的笔触才能达到满意的效果，并且该类方法往往比消耗计算机的内存以及处理时间。

另一类方法是将该问题转换为一个分类问题，可以使用一些分类模型实现编辑传播。使用卷积神经网络等分类模型对笔触覆盖的像素点提取特征，根据提取到的特征将不同的像素点染为不同的颜色，从而将该问题转换为一个分类问题。然而当我们使用卷积提取特征时，也意味着我们假定了模型的几何变换是固定的。这样先验知识不利于模型的泛化，尤其是对训练集较小的数据集。

发明内容

本发明要克服图像编辑传播中对笔触要求较高、模型泛化能力不好导致图像上色不好的问题，提出一种基于改进的卷积神经网络实现图像编辑传播的方法，该方法能提取更加合理的图像特征，同时能够改善编辑传播过程中颜色溢出的问题。

本发明使用组合卷积来提取笔触覆盖的像素点的特征，并结合有偏的损失函数可以实现基于较少笔触的实现编辑传播。同时，由于本发明使用了组合卷积，使得模型的接受视野更加合理，利用该结构可以一定程度上改善编辑传播过程中颜色溢出的情况，取得较好的视觉效果。本发明使用组合卷积构建了一个双分支的卷积神经网络模型，通过该模型可以实现图像的有效上色。

本发明的一种基于改进的卷积神经网络实现单幅图像编辑传播的方法，具体步骤如下：

1)、通过交互的方式对一幅待处理的图像加以笔触；

2)、根据笔触从图像中提取训练集和测试集；

3)、利用改进的卷积神经网络进行模型训练；

4)、利用训练得到的模型进行测试，实现图像编辑传播；

进一步，所述的步骤1)中的给待处理的图像加以笔触主要包括以下步骤：

(11)对于一幅待处理的图像，通过photoshop等图像处理软件，可以对该图像加以任意颜色的笔触，效果如图1中的颜色笔触.

进一步，所述的步骤2)中数据集的提取主要包括以下步骤：

(21)训练集的提取：在笔触覆盖的所有像素点中，随机选取10％的像素点，并且以图像左上角作为坐标原点，得到这些像素点的相对坐标；然后分别以这些坐标为中心，选取9*9的邻域，得到大小为9*9的图像小片，并记录这些中心坐标的坐标值；这里在提取9*9邻域的时候，可能会发生邻域的选取超出边界的情况，处理的办法是分别对图像的四条边进行四个像素点的扩充，扩充的像素点的值用零填充；最后将这些像素点所覆盖的笔触颜色作为该图像小片的标签；

(22)测试集的提取：使用SLIC方法，将待处理的图像划分成超像素集。这里要求调整SILC方法中的参数，使得超像素划分得到的超像素在保持合理性的同时尽量接近于一个矩形。每一个超像素包含多个像素点，将多个像素点的坐标求和取平均并向下取整，得到一个新的坐标。再将此坐标作为中心坐标，选取9*9邻域，得到多个大小为9*9的图像小片，并保存这些中心坐标值。最后将这些图像小片作为测试集。

进一步，所述的步骤3)中利用改进的卷积神经网络进行模型训练主要包括以下步 骤：

(31)提出组合卷积的结构，具体步骤如下：

101)组合卷积由可变形卷积和可分离卷积组成，用来替换传统卷积神经网络中的卷积层，可以提取有效的特征。以输入特征的左上角为坐标原点，可以得到输入特征图中每一个元素的坐标值(x_i,y_i)，x_i表示某元素的x轴坐标，y_i表示某元素的y轴坐标。然后对x_i和y_i进行随机地偏移，公式可以表示为：

x′_i＝x_i+Δf_xi,

y′_i＝y_i+Δf_yi,

这里的Δf_xi表示x轴坐标随机偏移的量，x_i'表示偏移后的x轴坐标，Δf_yi表示y轴坐标随机偏移的量，y_i'表示偏移后的y轴坐标。根据每一个元素偏移后的坐标，可以通过双线性插值得到偏移后坐标对应的像素值。至此可以得到偏移后的特征图。

102)对上述操作得到的特征图，使用可分离卷积提取图像特征。可分离卷积通过两个卷积操作来提取图像特征。若输入特征图的大小为D_F×D_F×M，首先使用大小为D_K×D_K×M的卷积核进行卷积操作，这里的D_F为特征图的宽和高，D_K卷积核的宽和高，M为输入特征图的数量，同时也表示第一个卷积操作使用的卷积核的数量。假设卷积操作不改变图像的大小，那么可以得到大小为D_F×D_F×M的输出特征图。然后再使用大小为1×1×N的卷积核进行卷积操作，这里的N表示第二个卷积的卷积核数量；得到输出大小为D_F×D_F×N的输出特征图。可分离卷积一共包含D_F×D_F×M+N个参数，以及所需的乘法操作数量为D_F×D_F×M×D_K×D_K+D_F×D_F×N×M。

(32)提出有偏的交叉熵损失函数的形式：

在模型的训练过程中，将有偏的损失函数作为目标函数，即在训练模型时极小化如下目标函数：

这里的p表示真实标记的分布，q表示模型的预测标记分布，x表示输入数据，α表示背景类的损失和非背景类的损失之间的偏倚程度。

(33)构造双分支的卷积神经网络模型：

该模型的第一个分支的输入时9*9的图像小片，第二个分支的输入对应该图像小片的坐标值，为一个二维的向量。第一个分支使用两层组合卷积提取图像特征，并将两层组合卷积的输出展开成一个一维向量；第二个分支使用一层全连接层提取坐标的特征，并与第一个分支连接，形成一个包含两个分支特征的一维向量。最后使用一层全连接对该一维向量提取特征并使用softmax函数进行分类。

进一步，所述的步骤4)中的用训练得到的模型进行预测实现图像编辑传播主要包 括以下步骤：

(41)使用步骤3)训练得到的模型，将测试集中的图像小片作为模型的输入做前向传播，可以得到每一个图像小片对应的每一个颜色类别的概率。选取概率值最大的颜色作为预测得到的结果，并将该图像小片对应的超像素中的每一个元素着色为预测的颜色。最终实现对图像的整体上色。

本发明的技术构思是：为了较好的实现图像编辑传播，本发明提出了一种基于改进的卷积神经网络实现图像编辑传播的方法。首先，方法通过交互式图像处理软件对待处理的图像加以颜色笔触.然后，从待处理的图像中提取训练集和测试集.接着使用结合组合卷积和有偏损失函数的双分支卷积神经网络提取图像特征，得到有效的模型参数.最后，使用训练得到的模型参数进行预测，完成图像编辑传播。

本发明的优点在于：该方法使用了更加合理的卷积结构，能够提取更有效的图像特征.并结合有偏的损失函数，使得模型训练更加合理，有效实现了图像编辑传播。

附图说明

图1为本发明的笔触图

图2为本发明的组合卷积

图3为本发明的可变性卷积

图4为本发明的典型的卷积和可分离卷积

图5为本发明的双分支网络模型结构图

图6为应用本发明的编辑传播结果图

图7为本发明的方法流程图

具体实施方式

参照附图，进一步说明本发明：

一种基于改进的卷积神经网络实现图像编辑传播的方法，包括以下步骤：

1)、对一副待处理的图像，通过交互式的方式对图像加以颜色笔触，得到图1的笔触图；

2)、对步骤1)中的图像提取训练集和测试集，分别用于模型的训练和测试；

3)、使用图2中的组合卷积结构，构造图5的双分支卷积神经网络，对训练集进行训练；其中组合卷积由图3可变形卷积和图4可分离卷积组成；

4)、对训练集进行测试，实现图6中的编辑传播效果；

该方法与现有的编辑传播方法功能基本一致，其改进在于使用了组合卷积和有偏的损失函数，使得模型能够提取更有效的特征，更有效的实现图像编辑传播，并且能改善颜色溢出的情况。

进一步，所述的步骤1)中的给待处理的图像加以笔触主要包括以下步骤：

(11)对于一幅待处理的图像，通过photoshop等图像处理软件，可以对该图像加以任意颜色的笔触，效果如图1中的颜色笔触.

进一步，所述的步骤2)中数据集的提取主要包括以下步骤：

(21)训练集的提取：在笔触覆盖的所有像素点中，随机选取10％的像素点，并且以图像左上角作为坐标原点，得到这些像素点的相对坐标。然后分别以这些坐标为中心，选取9*9的邻域，得到大小为9*9的图像小片，并记录这种中心坐标的坐标值。这里在提取9*9邻域的时候，可能会发生邻域的选取超出边界的情况，处理的办法是分别对图像的四条边进行四个像素点的扩充，扩充的像素点的值用零填充。最后将这些像素点所覆盖的笔触颜色作为该图像小片的标签。

(22)测试集的提取：使用SLIC方法，将待处理的图像划分成超像素集。这里要求调整SILC方法中的参数，使得超像素划分得到的超像素在保持合理性的同时尽量接近于一个矩形。每一个超像素包含多个像素点，将多个像素点的坐标求和取平均并向下取整，得到一个新的坐标。再将此坐标作为中心坐标，选取9*9邻域，得到多个大小为9*9的图像小片，并保存这些中心坐标值。最后将这些图像小片作为测试集。

进一步，所述的步骤3)中利用改进的卷积神经网络进行模型训练主要包括以下步骤：

(31)提出组合卷积的结构，具体步骤如下：

101)组合卷积由可变形卷积和可分离卷积组成，用来替换传统卷积神经网络中的卷积层，可以提取有效的特征。以输入特征的左上角为坐标原点，可以得到输入特征图中每一个元素的坐标值(x_i,y_i)，x_i表示某元素的x轴坐标，y_i表示某元素的y轴坐标。然后对x_i和y_i进行随机地偏移，公式可以表示为：

x′_i＝x_i+Δf_xi,

y′_i＝y_i+Δf_yi,

这里的Δf_xi表示x轴坐标随机偏移的量，x_i'表示偏移后的x轴坐标，Δf_yi表示y轴坐标随机偏移的量，y_i'表示偏移后的y轴坐标。根据每一个元素偏移后的坐标，可以通过双线性插值得到偏移后坐标对应的像素值。至此可以得到偏移后的特征图。

102)对上述操作得到的特征图，使用可分离卷积提取图像特征。可分离卷积通过两个卷积操作来提取图像特征。若输入特征图的大小为D_F×D_F×M，首先使用大小为D_K×D_K×M的卷积核进行卷积操作，这里的D_F为特征图的宽和高，D_K卷积核的宽和高，M为输入特征图的数量，同时也表示第一个卷积操作使用的卷积核的数量。假设卷积操作不改变图像的大小，那么可以得到大小为D_F×D_F×M的输出特征图。然后再使用大小为1×1×N的卷积核进行卷积操作，这里的N表示第二个卷积的卷积核数量；得到输出大小为D_F×D_F×N的输出特征图。可分离卷积一共包含D_F×D_F×M+N个参数，以及所需的乘法操作数量为D_F×D_F×M×D_K×D_K+D_F×D_F×N×M。

(32)提出有偏的交叉熵损失函数的形式：

在模型的训练过程中，将有偏的损失函数作为目标函数，即在训练模型时极小化如下目标函数：

这里的p表示真实标记的分布，q表示模型的预测标记分布，x表示输入数据，α表示背景类的损失和非背景类的损失之间的偏倚程度。

(33)构造双分支的卷积神经网络模型：

该模型的第一个分支的输入时9*9的图像小片，第二个分支的输入对应该图像小片的坐标值，为一个二维的向量。第一个分支使用两层组合卷积提取图像特征，并将两层组合卷积的输出展开成一个一维向量；第二个分支使用一层全连接层提取坐标的特征，并与第一个分支连接，形成一个包含两个分支特征的一维向量。最后使用一层全连接对该一维向量提取特征并使用softmax函数进行分类。

进一步，所述的步骤4)中的用训练得到的模型进行预测实现图像编辑传播主要包括以下步骤：

(41)使用步骤3)训练得到的模型，将测试集中的图像小片作为模型的输入做前向传播，可以得到每一个图像小片对应的每一个颜色类别的概率。选取概率值最大的颜色作为预测得到的结果，并将该图像小片对应的超像素中的每一个元素着色为预测的颜色。最终实现对图像的整体上色。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.一种基于改进的卷积神经网络实现图像编辑传播的方法，具体步骤如下：

1）、通过交互的方式对一幅待处理的图像加以笔触；具体包括：对于一幅待处理的图像，通过photoshop图像处理软件，对该图像加以任意颜色的笔触；

2）、根据笔触从图像中提取训练集和测试集；具体包括：

（21）训练集的提取：在笔触覆盖的所有像素点中，随机选取10%的像素点，并且以图像左上角作为坐标原点，得到这些像素点的相对坐标；然后分别以这些坐标为中心，选取9*9的邻域，得到大小为9*9的图像小片，并记录这些中心坐标的坐标值；这里在提取9*9邻域的时候，可能会发生邻域的选取超出边界的情况，处理的办法是分别对图像的四条边进行四个像素点的扩充，扩充的像素点的值用零填充；最后将这些像素点所覆盖的笔触颜色作为该图像小片的标签；

（22）测试集的提取：使用SLIC方法，将待处理的图像划分成超像素集；这里要求调整SILC方法中的参数，使得超像素划分得到的超像素在保持合理性的同时尽量接近于一个矩形；每一个超像素包含多个像素点，将多个像素点的坐标求和取平均并向下取整，得到一个新的坐标；再将此坐标作为中心坐标，选取9*9邻域，得到多个大小为9*9的图像小片，并保存这些中心坐标值；最后将这些图像小片作为测试集；

3）、利用改进的卷积神经网络进行模型训练；具体包括：

（31）提出组合卷积的结构，具体步骤如下：

101) 组合卷积由可变形卷积和可分离卷积组成，用来替换传统卷积神经网络中的卷 积层，可以提取有效的特征；以输入特征的左上角为坐标原点，可以得到输入特征图中每一 个元素的坐标值

，

表示某元素的轴坐标，

表示某元素的轴坐标；然后对

和

进行随机地偏移，公式可以表示为：

,

,

这里的

表示

轴坐标随机偏移的量，

表示偏移后的

轴坐标，

表示

轴坐标随机偏移的量，

表示偏移后的

轴坐标；根据每一个元素偏移后的坐标，可以通过双线性插值得到偏移后坐标对应的像素值；至此可以得到偏移后的特征图；

102) 对步骤101）得到的特征图，使用可分离卷积提取图像特征；可分离卷积通过两个卷积操作来提取图像特征；若输入特征图的大小为

，首先使用大小为

的卷积核进行卷积操作，这里的

为特征图的宽和高，

卷积核的宽和高，

为输入特征图的数量，同时也表示第一个卷积操作使用的卷积核的数量；假设卷积操作不改变图像的大小，那么可以得到大小为

的输出特征图；然后再使用大小为

的卷积核进行卷积操作，这里的

表示第二个卷积的卷积核数量；得到输出大小为

的输出特征图；可分离卷积一共包含

个参数，以及所需的乘法操作数量为

；

（32）提出有偏的交叉熵损失函数的形式：

在模型的训练过程中，将有偏的损失函数作为目标函数，即在训练模型时极小化如下目标函数：

这里的

表示真实标记的分布，

表示模型的预测标记分布，

表示输入数据，

表示背 景类的损失和非背景类的损失之间的偏倚程度；

（33）构造双分支的卷积神经网络模型：

该模型的第一个分支的输入时9*9的图像小片，第二个分支的输入对应该图像小片的坐标值，为一个二维的向量；第一个分支使用两层组合卷积提取图像特征，并将两层组合卷积的输出展开成一个一维向量；第二个分支使用一层全连接层提取坐标的特征，并与第一个分支连接，形成一个包含两个分支特征的一维向量；最后使用一层全连接对该一维向量提取特征并使用softmax函数进行分类；

4）、利用训练得到的模型进行测试，实现图像编辑传播；具体包括：使用步骤3）训练得到的模型，将测试集中的图像小片作为模型的输入做前向传播，得到每一个图像小片对应的每一个颜色类别的概率；选取概率值最大的颜色作为预测得到的结果，并将该图像小片对应的超像素中的每一个元素着色为预测的颜色；最终实现对图像的整体上色。

Images