CN115601456A - 一种基于神经网络的货车图片编辑方法、存储介质及设备 - Google Patents

Abstract

本发明公开了一种基于神经网络的货车图片编辑方法、存储介质及设备，包括采集货车图片，并对货车图片数据进行预处理和标准化；构建卷积神经网络模型并设定损失函数，并对卷积神经网络模型进行训练和测试；构建特征提取器提取货车图片特征，采用一对多的空间颜色特征对来构建卷积神经网络模型，利用生成器和鉴别器构建着色网络，并引入自适应归一化层，最后引入特征融合模块滤除不必要的颜色改变；根据训练完成的网络模型进行测试，并引入融合模块滤除背景杂色，得到最终图片编辑结果。本发明构建卷积神经网络模型,实现了货车图片的高质量颜色属性编辑，解决了一般的图像生成方法所带来的外形和车牌等纹理细节的改变的问题。

Description

一种基于神经网络的货车图片编辑方法、存储介质及设备

技术领域

本发明涉及计算机视觉图像生成技术领域，特别涉及一种基于神经网络的货车图片编辑方法、存储介质及设备。

背景技术

随着社会的发展，图像生成作为图片颜色编辑方法重要的技术越来越受到人们的重视，应用范围也逐渐扩大，划分出了很多小领域，如：人脸属性编辑、图像着色、图像去雾去噪以及图像风格化等。日常生活中，小到手机上的美颜相机，大到AI老照片修复等，都有图像生成技术的身影。在深度学习应用到图像生成领域之后，生成图像的质量得到了极大的改善，生成的可操纵性也更加灵活，逐步衍生出两大主流方法：自编码器和对抗生成网络。

虽然两大主流方法都发展迅猛，但是都存在不足之处。两者结合的变种也存在不少，但仍存在如下问题：一、无法在有限数据集下对货车颜色进行编辑；二、无法对保证除颜色之外，货车图像的纹理不变；三、对货车特定部位的颜色编辑大多在训练时就需要大量的掩膜。

发明内容

本发明的目的克服现有技术存在的不足，为实现以上目的，采用一种基于神经网络的货车图片编辑方法、存储介质及设备，以解决上述背景技术中提出的问题。

一种基于神经网络的货车图片编辑方法，具体步骤包括：

采集货车图片，并对货车图片数据进行预处理和标准化；

构建卷积神经网络模型并设定损失函数，并对卷积神经网络模型进行训练和测试；

构建特征提取器提取货车图片特征，采用一对多的空间颜色特征对来构建卷积神经网络模型，利用生成器和鉴别器构建着色网络，并引入自适应归一化层，最后引入特征融合模块滤除不必要的颜色改变；

根据训练完成的网络模型进行测试，并引入融合模块滤除背景杂色，得到最终图片编辑结果。

作为进一步的技术方案：所述构建特征提取器提取货车图片特征的具体步骤包括：

构建残差网络ResNet18，并引入预训练参数并进行固定不参与更新过程，调整最后一层输出为512维特征向量，即输出特征向量为X_res∈R⁵¹²；

在残差网络ResNet18后接入输入维度为512的全连接层，输出的空间特征维度S，即q∈R^S。

作为进一步的技术方案：所述步骤二采用一对多的空间颜色特征对来构建记忆增广网络模型的具体步骤包括：

设定空间特征信息S、颜色特征信息V，以及时间信息T，并确定对应关系，其中颜色特征信息若为二维数组，则每一列颜色特征的颜色属性相同，每一行是同一个空间特征对应的所有颜色特征信息，空间特征信息、颜色特征信息，以及时间信息的数目相同，即记忆增广网络的大小；

设定空间特征和颜色特征的对应关系是一对多的，时间信息和空间信息是一一对应的，其中若当前空间特征信息S正在被访问，则对应的信息T值更新为0，否则值加1。

作为进一步的技术方案：所述步骤三利用生成器和鉴别器构建着色网络，并引入自适应归一化层的具体步骤包括：

构建生成器，采用全卷积网络的形式，设置网络输入输出为256*256的图像，其中全卷积网络的编码器设置有若干个编码模块，一编码模块包括一个卷积层和一个自适应归一化层，解码器设置有若干个解码模块，一解码模块包括一个转置卷积和一个自适应归一化层；

利用自适应归一化层将记忆增广网络检索得到的颜色特征送入生成器匹配着色，得到多样化的着色结果；

构建鉴别器：采用Conv2d卷积和LeakyReLU堆叠的结构形式，每次通道数乘2，特征图除2，并经过全连接层得到最终鉴别结果，其中全连接层由BatchNorm1d、Linear和Sigmoid构成。

作为进一步的技术方案：所述步骤四最后引入特征融合模块滤除不必要的颜色改变的具体步骤包括：

获取经过生成器生成的多样化颜色生成图片

同时将掩膜m_x引入融合模块，得到多样化着色结果y′为：

式中，x为输入图片。

作为进一步的技术方案：所述设定损失函数，以及利用训练集进行网络模型训练更新的具体步骤包括：

设定损失函数，利用设置有阈值的triplet loss来进行特征提取器的更新；

通过空间特征、颜色特征和时间记忆的更新记忆增广网络；

设置有smooth L1损失的对抗损失来进行更新生成器和鉴别器；

生成器和鉴别器的主体函数为损失函数，损失函数公式为：

式中，y为真值，即输入图片x对应的真实RGB图，

是生成器的生成结果，δ是设定的阈值。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述一种基于神经网络的货车图片编辑方法的步骤。

一种电子设备，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行上述任一项所述一种基于神经网络的货车图片编辑方法的步骤。

与现有技术相比，本发明存在以下技术效果：

通过采用上述的技术方案，利用对货车图片进行图片预处理、记忆增广网络和深度卷积神经网络搭建、特征提取等技术手段。实现了货车图片的高质量颜色属性编辑，解决了一般的图像生成方法所带来的外形和车牌等纹理细节的改变的问题。以记忆增广网络为颜色特征的存储网路，使得稀有样本也可以不被覆盖，解决了样本不平衡问题。同时本方法可以只改变货车颜色，不改变车牌等纹理，应用到目标检测等领域。

附图说明

下面结合附图，对本发明的具体实施方式进行详细描述：

图1为本申请公开的一些实施例的货车图片颜色编辑方法的步骤示意图；

图2为本申请公开的一些实施例的算法流程示意图；

图3为本申请公开的一些实施例的特征提取器和记忆增广网络结构示意图；

图4为本申请公开的一些实施例的生成器和鉴别器结构示意图；

图5为本申请公开的一些实施例的测试时使用融合模块示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的原理步骤为：获取真实场景下货车图像，对训练集的图片进行处理，将输入图片RGB空间转为LAB空间，并进行裁剪和缩放至大小一样，之后对图片进行标准化，并对图片进行颜色特征的提取，完成输入图像的预处理部分；构建记忆增广网络、生成器和鉴别器，准备开始训练。输入图像送到特征提取器，提取得到空间特征；将空间特征送入记忆增广网络，根据特征提取器和记忆网络的更新规则进行更新记忆信息和参数；将输入图像的灰度图以及预处理部分得到的真实颜色特征送入生成器和鉴别器，完成对抗训练部分，得到着色图像；待模型训练完成之后，输入测试图片到记忆网络检索出与之最近的空间特征所对应的一系列颜色特征，将其送入生成器得到多样的颜色编辑结果，并可根据需要送入融合模块滤除不想要的区域颜色变化，从而得到最终的多样化颜色编辑结果。

请参考图1和图2，本发明实施例中，一种基于神经网络的货车图片编辑方法，具体步骤包括：

S1、采集货车图片，并对货车图片数据进行预处理和标准化，对训练集的图片数据预处理和标准化，并进行图片颜色特征提取；

具体步骤包括：

获取货车图片的训练集，所述训练集包括M张训练图片X＝{X₁，X₂，…，X_i，…，X_M}，其中X_i表示第i张训练图片；同时设置对应的颜色标签，所述训练集的图片设置有对应的颜色标签为L＝{L₁，L₂，…，L_i，…，L_n}，其中L_i代表第i张训练图片的标签。设置N张图像Y＝{Y₁，Y₂，…，Y_j，…，Y_N}为测试集，其中Y_j表示测试集中第j张图像；

再将输入图片RGB空间转为LAB空间，并将图片进行裁剪和缩放，对输入的图像进行标准化，所述训练集的图像标准化公式为：P_x＝(P_x-P_mean)/P_std，其中P_mean为像素均值，P_std为像素标准差。

最后，提取输入图片的颜色特征，是通过Color Thief来提取。

S2、构建卷积神经网络模型并设定损失函数，并对卷积神经网络模型进行训练和测试，具体步骤如下：

S3、构建特征提取器提取货车图片特征，采用一对多的空间颜色特征对来构建卷积神经网络模型，利用生成器和鉴别器构建着色网络，并引入自适应归一化层，最后引入特征融合模块滤除不必要的颜色改变，具体步骤包括：

S31、构建特征提取器提取货车图片的空间特征：

如图3所示，将ResNet18作为骨干并引入预训练参数并进行固定，不参与更新过程，调整最后一层输出为512维，即输出特征为X_res∈R⁵¹²；在ResNet18后接入一个全连接层输入维度是512，输出为所设定的空间特征的维度S，即形状为[512，S]，输出特征为q∈R^S；本实验中设S为313。

S32、采用一对多的空间颜色特征对来构建记忆增广网络模型：

设定空间特征信息为：S＝{S₁，S₂，…，S_i，…，S_m}；颜色特征信息为

如果将颜色特征信息看为二维数组的话，每一列颜色特征的颜色属性相同，每一行是同一个空间特征对应的所有颜色特征信息；时间信息为T＝{T₁，T₂，…，T_i，…，T_m}；其中C是颜色属性的数目，m是记忆增广网络的大小，也是记忆增广网络中空间特征信息的个数；颜色特征信息的个数为m*C，其中C为颜色的个数；时间信息的数目也为m个。空间特征和颜色特征的对应关系是一对多的，S_i对应{V_i ¹，V_i ²，…，V_i ^C}；时间信息和空间信息是一一对应的，其值与空间特征没有被访问的次数有关，若当前空间特征S_i正在被访问，则对应的T_i值更新为0，否则值加1。

S33、利用生成器和鉴别器构建着色网络，并引入自适应归一化层；具体步骤包括：

如图4所示，构建生成器：采用全卷积网络的形式，设置网络输入输出为256*256的图像，其中全卷积网络的编码器设置有7个编码模块，一编码模块包括一个卷积层和一个自适应归一化层，解码器设置有8个解码模块，一解码模块包括一个转置卷积和一个自适应归一化层；

利用自适应归一化层将记忆增广网络检索得到的颜色特征送入生成器匹配着色，得到多样化的着色结果；

构建鉴别器：采用Conv2d卷积和LeakyReLU堆叠的结构形式，每次通道数乘2，特征图除2，并经过全连接层得到最终鉴别结果，其中全连接层由BatchNorm1d、Linear和Sigmoid构成。

S34、最后引入特征融合模块滤除不必要的颜色改变。

获取经过生成器生成的多样化颜色生成图片

同时将掩膜m_x引入融合模块，得到多样化着色结果y′为：

式中，x为输入图片。

S35、设定损失函数，以及利用训练集进行网络模型训练更新；

设定损失函数，利用设置有阈值的triplet loss来进行特征提取器的更新；

通过空间特征、颜色特征和时间记忆的更新记忆增广网络；

设置有smooth L1损失的对抗损失来进行更新生成器和鉴别器；

具体步骤为：

特征提取器的更新：输入图片先经过ResNet18得到X_res，后经过全连接层得到输出为512维的空间特征q，表示为：q＝WX_res+b；再将其进行标准化，使得||q||₂＝1；随后将q送入记忆增广网络，将q与记忆增广网络中所有的空间特征计算余弦距离d_i＝q·S[i]，选出与之最相近的k个空间特征，即：

上式中的(n₁,…,n_k)为选出的k个空间特征在S中的索引；查询q的颜色特征为V，颜色属性为c。根据颜色属性c选出k个空间特征所对应的颜色特征(l₁,…,l_k)＝(n₁*m+c,…,n_k*m+c)，m是记忆增广网络的大小，(l₁,…,l_k)为颜色特征在记忆网络V中的索引。

随后通过triplet loss来更新特征提取器。

具体的，将选出的k个最近邻空间特征中的正样本在记忆网络S中的索引表示为

负样本索引表示为

对应的颜色特征中的正样本在记忆网络V中的索引表示为

负样本相应为

正负样本索引之间的对应关系为：

计算查询q的颜色特征v与选出的颜色特征之间的KL散度，并设定阈值，可以区分正负样本；具体表示如下：

上式是颜色特征被判定为正样本的情况；

上式是颜色特征被判定为负样本的情况。总体的triplet loss设定阈值β，保证正样本和负样本之间的余弦距离存在β这个最小值，具体表示如下：

通过上述最大化式可以达到最小化正样本与查询q之间的余弦距离，最大化负样本与查询q之间的余弦距离；如此一来特征提取器得到了准确更新。

记忆增广网络的更新：输入查询q到记忆增广网络，首先将q与S中所有的空间特征计算余弦距离，选出与之最相近的空间特征

然后根据q的颜色属性c检索出

对应的颜色特征

最后计算

与查询q的颜色特征v之间的KL散度，根据KL散度结果分两种情况进行记忆增广网络的记忆更新。具体包括：

当KL散度的值小于ε时，先计算查询q和索引

对应的空间特征两者的均值，并对其进行归一化，将其归一化后的结果送到S中索引

对应的空间特征，并替换其值；同时时间信息中索引

对应的值会被置为0；

具体为，当

时，更新如下：

当KL散度的值大于ε时，说明此时记忆网络中不存在与查询q相近的颜色特征，所以应该将查询q的空间特征和颜色特征写入记忆增广网络。基于时间信息记忆T，选择其中值最大的块o，对应在T中的索引为

此时的o为很长时间没有被访问过的块；将其对应的空间特征

和对应颜色属性为c的颜色特征

的值分别替换为q和v；具体为，当

时，更新如下：

注意

也对应着空间特征和颜色特征是一对多的关系，而空间特征和时间信息是一对一的关系。

生成器和鉴别器的更新：鉴别器尽可能的鉴别真实图像和用灰度图和颜色特征作为条件而生成的着色图像，而生成器通过由输入的灰度图和颜色特征来产生尽可能真实的着色图像，从而尽可能地骗过鉴别器；对于生成图像

和ground truth图像y之间的判定采用smooth L1损失损失函数公式为：

式中，y为真值，即输入图片x对应的真实RGB图，

是生成器的生成结果，δ是设定的阈值。

鉴别器和生成器的主体函数就是对抗损失，只是生成器部分多了smooth L1loss。

S4、根据训练完成的网络模型进行测试，并引入融合模块滤除背景杂色，得到最终图片编辑结果。具体包括：

如图5所示，测试图片先经过预处理得到颜色特征，后送到特征提取器提取出空间特征，也就是查询q；再将q送到记忆增广网路，检索与之最近的空间特征，并返回其对应的一系列颜色特征；将这些颜色特征和输入图片的灰度图送入生成器得到多样化的颜色编辑结果

然后根据需要可以引入掩码m_x；将输入图片x、生成器生成的图片

和掩码m_x送入融合模块进行滤除背景不必要的颜色改变，得到更精细的颜色编辑结果为：

式中，m_x为掩膜，x为输入图片。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述一种基于神经网络的货车图片编辑方法的步骤。

一种电子设备，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行上述任一项所述一种基于神经网络的货车图片编辑方法的步骤。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于神经网络的货车图片编辑方法，其特征在于，包括：

采集货车图片，并对货车图片数据进行预处理和标准化；

构建卷积神经网络模型并设定损失函数，并对卷积神经网络模型进行训练和测试；

构建特征提取器提取货车图片特征，采用一对多的空间颜色特征对来构建卷积神经网络模型，利用生成器和鉴别器构建着色网络，并引入自适应归一化层，最后引入特征融合模块滤除不必要的颜色改变；

根据训练完成的网络模型进行测试，并引入融合模块滤除背景杂色，得到最终图片编辑结果。

2.根据权利要求1所述一种基于神经网络的货车图片编辑方法，其特征在于，所述构建特征提取器提取货车图片特征的具体步骤包括：

构建残差网络ResNet18，并引入预训练参数并进行固定不参与更新过程，调整最后一层输出为512维特征向量，即输出特征向量为X_res∈R⁵¹²；

在残差网络ResNet18后接入输入维度为512的全连接层，输出的空间特征维度S，即q∈R^S。

3.根据权利要求1所述一种基于神经网络的货车图片编辑方法，其特征在于，所述步骤二采用一对多的空间颜色特征对来构建记忆增广网络模型的具体步骤包括：

设定空间特征信息S、颜色特征信息V，以及时间信息T，并确定对应关系，其中颜色特征信息若为二维数组，则每一列颜色特征的颜色属性相同，每一行是同一个空间特征对应的所有颜色特征信息，空间特征信息、颜色特征信息，以及时间信息的数目相同，即记忆增广网络的大小；

设定空间特征和颜色特征的对应关系是一对多的，时间信息和空间信息是一一对应的，其中若当前空间特征信息S正在被访问，则对应的信息T值更新为0，否则值加1。

4.根据权利要求1所述一种基于神经网络的货车图片编辑方法，其特征在于，所述步骤三利用生成器和鉴别器构建着色网络，并引入自适应归一化层的具体步骤包括：

构建生成器，采用全卷积网络的形式，设置网络输入输出为256*256的图像，其中全卷积网络的编码器设置有若干个编码模块，一编码模块包括一个卷积层和一个自适应归一化层，解码器设置有若干个解码模块，一解码模块包括一个转置卷积和一个自适应归一化层；

利用自适应归一化层将记忆增广网络检索得到的颜色特征送入生成器匹配着色，得到多样化的着色结果；

构建鉴别器：采用Conv2d卷积和LeakyReLU堆叠的结构形式，每次通道数乘2，特征图除2，并经过全连接层得到最终鉴别结果，其中全连接层由BatchNorm1d、Linear和Sigmoid构成。

5.根据权利要求1所述一种基于神经网络的货车图片编辑方法，其特征在于，所述步骤四最后引入特征融合模块滤除不必要的颜色改变的具体步骤包括：

获取经过生成器生成的多样化颜色生成图片

同时将掩膜m_x引入融合模块，得到多样化着色结果y′为：

式中，x为输入图片。

6.根据权利要求1所述一种基于神经网络的货车图片编辑方法，其特征在于，所述设定损失函数，以及利用训练集进行网络模型训练更新的具体步骤包括：

设定损失函数，利用设置有阈值的triplet loss来进行特征提取器的更新；

通过空间特征、颜色特征和时间记忆的更新记忆增广网络；

设置有smooth L1损失的对抗损失来进行更新生成器和鉴别器；

生成器和鉴别器的主体函数为损失函数，损失函数公式为：

式中，y为真值，即输入图片x对应的真实RGB图，

是生成器的生成结果，δ是设定的阈值。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至6任一项所述一种基于神经网络的货车图片编辑方法的步骤。

8.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至6任一项所述一种基于神经网络的货车图片编辑方法的步骤。

Images