CN111583352B - 一种用于移动终端的风格化图标智能生成方法 - Google Patents

Abstract

本发明公开了一种用于移动终端的风格化图标智能生成方法，采用编解码器中的编码器分别对手绘风格图标及非手绘风格图标进行特征图提取，设提取的手绘风格图标的特征图为F_S；设提取的非手绘风格图标的特征图为F_C；将F_S和F_C融合后输入解码器，由解码器生成风格化图标。本发明该方法利用深度学习的相关技术，在设计人员提供少量的手绘图标后可以自动生成同风格的应用图标，节省了设计工时。

Description

一种用于移动终端的风格化图标智能生成方法

技术领域

本发明涉及计算机应用技术中的图像处理技术领域，特别涉及一种用于移动终端的风格化图标智能生成方法。

背景技术

目前，随着移动终端越来越多，尤其是智能手机的普及。用户对于终端界面的交互设计更加重视，对于主题的多样化也有了更多的需求。目前主题图标的制作分为两类，第一类是只改变图标的背板与色系，一套主题中的图标采用同一种背板，直观上比较单调；第二类是设计师手绘图标，每一款应用都对应一个手工绘制的图标，这类图标更受到消费者喜爱，但是需要消耗更多的人工。智能手机上的应用有成百上千个，若要对所有的图标都进行重绘，工作量是很大的，通常为了减少工作量，选取排名靠前的一些应用进行重新绘制，这也就意味着很大一部分图标还是原始图标，并不符合当前主题。

目前的一些技术主要是针对第一类图标进行辅助设计，通过计算技术帮助设计人员快速合成应用图标。但是针对第二类图标，并没有有效的方法可以帮助设计人员提高效率。

发明内容

本发明为解决公知技术中存在的技术问题而提供一种用于移动终端的风格化图标智能生成方法。

本发明为解决公知技术中存在的技术问题所采取的技术方案是：一种用于移动终端的风格化图标智能生成方法，构建基于深度神经网络的编解码器；采用编解码器中的编码器分别对手绘风格图标及非手绘风格图标进行特征图提取，设提取的手绘风格图标的特征图为F_S；设提取的非手绘风格图标的特征图为F_C；将F_S和F_C融合后输入编解码器中的解码器，由解码器生成风格化图标。

进一步地，包括如下步骤：采集手绘风格图标及非手绘风格图标作为训练样本，并对手绘风格图标训练样本进行预处理；构建编解码器；使用非手绘风格图标训练样本及经过预处理的手绘风格图标训练样本训练解码器；编码器采用ImageNet上预训练的参数；采用编码器分别提取F_S和F_C；将F_S和F_C融合后输入训练完成的解码器。

进一步地，对手绘风格图标训练样本进行预处理的方法包括：对手绘风格图标训练样本进行应用类别的标注。

进一步地，构建编解码器的方法包括：编码器采用没有归一化的VGG网络，在每次池化后的第一个卷积层都输出当前的特征图，在不同的节点输出的特征图尺寸不同，对应不同尺度特征图，分别构建对应的解码器，构成多对编解码器。

进一步地，训练编解码器方法包括：每对编解码器单独训练。

进一步地，将多对编解码器依次顺序编号：分别为第1对编解码器至第n对编解码器；各对编解码器中的编码器分别提取手绘风格图标的特征图；设第i对编解码器中的编码器提取的手绘风格图标的特征图为F_Si，i＝1、2…n；将非手绘风格图标输入至第1对编解码器中；设第i对编解码器中的编码器输出的特征图为F_Ci，i＝1、2…n；将F_Si和F_Ci融合后输入至第i对编解码器中的解码器中；设第i对编解码器中的解码器的输出为I_i，i＝1、2…n-1；将I_i输入至第i+1对编解码器中的编码器中；第n对编解码器中的解码器的输出为风格化图标。

进一步地，训练编解码器方法包括：训练过程中的损失包括结构损失、颜色矩损失及像素级损失；采用这三个损失的加权和作为整个网络的损失函数。

本发明具有的优点和积极效果是：该方法利用深度学习的相关技术，在设计人员提供少量的手绘图标后可以自动生成同风格的应用图标，节省了设计工时。

附图说明

图1是本发明的一种工作原理示意图。

图2是本发明的损失函数中的结构损失原理图。

图3是本发明的一种工作流程示意图。

具体实施方式

为能进一步了解本发明的发明内容、特点及功效，兹列举以下实施例，并配合附图详细说明如下：

请参见图1至图3，一种用于移动终端的风格化图标智能生成方法，构建基于深度神经网络的编解码器；采用编解码器中的编码器分别对手绘风格图标及非手绘风格图标进行特征图提取，设提取的手绘风格图标的特征图为F_S；设提取的非手绘风格图标的特征图为F_C；将F_S和F_C融合后输入编解码器中的解码器，由解码器生成风格化图标。

附图及说明书中的英文feature map中文释义为特征图。CNN中文释义为卷积神经网络。

可采用现有技术中的适用神经网络构建编解码器；编解码器包括编码器和解码器；采用编码器提取特征图，将不同的特征图融合后输入至解码器，由解码器生成融合两种特征的风格化图标。

可采用现有技术中的各种特征图融合方法将几种特征图进行融合，例如可采用如下几种特征图像融合的方法：加权平均法、贝叶斯估计方法、聚类分析方法等。

优选地，该方法可包括如下步骤：采集手绘风格图标及非手绘风格图标作为训练样本，并对手绘风格图标训练样本进行预处理；构建编解码器；使用非手绘风格图标训练样本及经过预处理的手绘风格图标训练样本训练解码器；编码器采用ImageNet上预训练的参数；采用编码器分别提取F_S和F_C；将F_S和F_C融合后输入训练完成的解码器，由解码器生成风格化图标。

优选地，对手绘风格图标训练样本进行预处理的方法可包括：对手绘风格图标训练样本进行应用类别的标注。

优选地，构建编解码器的方法可包括：编码器可采用没有归一化的VGG网络，在每次池化后的第一个卷积层都输出当前的特征图，在不同的节点输出的特征图尺寸可不同，对应不同尺度特征图，分别构建对应的解码器，构成多对编解码器。

VGG网络通过反复堆叠3*3的小卷积核和2*2的最大池化层，可成功的搭建了16-19层的深度卷积神经网络。VGG网络错误率低同时泛化能力非常好，在不同的图片数据集上都有良好的表现。VGG网络可用来提取特征图像。

优选地，训练编解码器方法可包括：每对编解码器单独训练。

优选地，可将多对编解码器依次顺序编号：分别为第1对编解码器至第n对编解码器，各对编解码器中的编码器分别提取手绘风格图标的特征图；可设第i对编解码器中的编码器提取的手绘风格图标的特征图为F_Si，i＝1、2…n；将非手绘风格图标输入至第1对编解码器中；可设第i对编解码器中的编码器输出的特征图为F_Ci，i＝1、2…n；将F_Si和F_Ci融合后输入至第i对编解码器中的解码器中；可设第i对编解码器中的解码器的输出为I_i，i＝1、2…n-1；将I_i输入至第i+1对编解码器中的编码器中；第n对编解码器中的解码器的输出为风格化图标。

优选地，训练编解码器方法包括：训练过程中的损失可包括结构损失、颜色矩损失及像素级损失；采用这三个损失的加权和作为整个网络的损失函数。

下面以本发明的一个优选实施例来进一步说明本发明的工作流程及工作原理：

一种用于移动终端的风格化图标智能生成方法，具体包括如下步骤：

数据预处理步骤：对不同风格的手绘图标进行类别的标注。这里的类别是指应用的类别，不用的应用具有不同的类别标签。

模型构建步骤：整体的结构采用自编码器神经网络模型结构。对于解码器，在不同的节点有不同尺度的特征图的输出，对应不同尺度特征图，分别构建解码器。

模型训练步骤：训练过程中的损失包括结构损失、颜色矩损失及像素级损失；采用这三个损失的加权和作为整个网络的损失函数。其中结构损失函数是根据应用图标特点设计的，由边缘提取和分类器组成。

生成应用图标步骤：解码器对设计师手绘的小部分同风格图标进行特征提取并压缩得到FS。对未绘制的图标进行风格化时，由解码器提取原始图标的特征FC,融合FS和FC,应用解码器生成风格化后的图标。

在数据预处理步骤中，为了保证神经网络可以得到有效的训练，要尽可能多的收集适合的图标数据。我们主要是针对手绘风格进行收集。对收集的图标进行标注，确保标签与应用类型一一对应。

在模型构建步骤中，编码器采用没有归一化的vgg网络，在每次池化后的第一个卷积层都输出当前的特征图，一共输出四个特征图，他们的尺寸分别为128*128*64、64*64*128、32*32*256、16*16*512；对于不同大小的特征图设计不同的解码器，目的是将featuremap解码成图标图片。

在模型训练步骤中，要分别训练四对编解码器，其中编码器使用ImageNet数据集上预训练的参数，解码器的参数需要进行训练。ImageNet数据集是一个用于视觉对象识别软件研究的大型可视化数据库,超过1400万的图像URL被ImageNet手动注释，以指示图片中的对象；在至少一百万个图像中，还提供了边界框。ImageNet包含2万多个类别。

训练过程中的损失函数一共由三部分构成，第一部分是结构损失，公式表示为：

F₁＝L_{cross_entropy}(y,f(x))；

其中L_{cross_entropy}表示交叉熵损失函数，y为图标的真实类别，f(x)为预测类别，f(x)的结构如图2所示。结构损失函数主要由边缘提取和分类器构成，其中分类器需要事先进行训练，它是对解码器生成的图像先使用边缘检测算子进行边缘提取，然后进行类别判断。

第二部分是颜色矩损失，颜色矩包括一阶颜色矩(均值)：

二阶颜色矩(标准差)：

三阶颜色矩(方差)：

对RGB每个颜色通道都提取颜色矩，可得到一个9维颜色矩向量：

LC＝[μ_R,σ_R,s_R,μ_G,σ_G,s_G,μ_B,σ_B,s_B]；

对原始图像的颜色矩向量和解码后图像的颜色矩向量求L1loss作为两张图像的颜色矩损失，即：

F₂＝L₁(LC_source,LC_target)；

其中，L₁表示L1loss,LC_source为原始图像颜色矩，LC_target为解码后图像颜色矩。

第三部分是像素级损失，是对解码后的图像与原始图像求解L2loss。即：

F₃＝L₂(I_source,I_decoder)；

其中L2为L2loss损失函数，I_source为图标的原始图像，I_decoder为解码器输出后的图标图像。

使用这三个损失的加权和作为整个网络的损失函数L：

L＝λ₁F₁+λ₂F₂+λ₃F₃。

这样训练得到的解码器在尽可能复原图像的前提下能够对图标结构和颜色分布更加敏感。通过训练可以得到4个网络层数由浅到深的编码器E1、E2、E3、E4，以及阈值对应的4个解码器D1、D2、D3、D4。

在生成应用图标步骤中，首先对已经绘制的应用图标提取特征，如图1所示，对多对编解码器依次顺序编号；分别为第1对编解码器至第4对编解码器，第1对编解码器的编码器为编码器1，第2对编解码器的编码器为编码器2，第2对编解码器的编码器为编码器3，第2对编解码器的编码器为编码器4；，第1对编解码器的解码器为解码器1，第2对编解码器的解码器为解码器2，第2对编解码器的解码器为解码器3，第2对编解码器的解码器为解码器4。

各对编解码器中的编码器分别提取手绘风格图标的特征图；将N个手绘图标送入编码器中，得到W*H*C*N大小的特征图,然后再调整尺寸为M*C*N(其中M＝W*H)，由四个编码器可以得到四个不同的特征图F_s1、F_s2、F_s3、F_s4。

融合四个不同的特征F_s1、F_s2、F_s3、F_s4生成风格化的应用图标的流程可如图3所示。

具体包括如下步骤：

步骤1：用编码器1对非手绘图标I_in进行编码得到F_c1；

步骤2：融合F_c1与F_s1得到F₁；

步骤3：解码器1对F₁解码得到风格化的图标图像I₁；

步骤4：I₁作为编码器2的输入，得到F_c2；

步骤5：融合F_c2与F_s2得到F₂；

步骤6：解码器2对F₂解码得到风格化后的图标图像I₂；

步骤7：I₂作为编码器3的输入，得到F_c3；

步骤8：融合F_c3与F_s3得到F₃；

步骤9：解码器3对F₃解码得到风格化后的图标图像I₃；

步骤10：I₃作为编码器4的输入，得到F_c4；

步骤11：融合F_c4和F_s4得到F₄；

步骤12：解码器4对F₄解码得到最终生成的应用图标I_out。

其中，可采用如下方法融合F_S和F_C：

对于F_s∈R^M×C×N,F_s可以表示为f_i∈R^M×C，i＝1,2,…,N的集合，对每一个f_i定义为：

其中E_i为进行特征分解后的特征向量构成的矩阵，D_i为特征值构成的对角矩阵，令：

有对于整个F_s，会得到N个s_i,i＝1,2,...,N，对其求均值有：

S＝mean({s₁,s₂,...,s_N})；

对于Fc∈R^w×h×C，对齐调整大小F′_C∈R^M×C,其中M＝w×h，定义为：

其中E_c为进行特征分解后的特征向量构成的矩阵,D_c为特征值构成的对角矩阵，将Fc和F_s融合时执行如下公式：

以上所述的实施例仅用于说明本发明的技术思想及特点，其目的在于使本领域内的技术人员能够理解本发明的内容并据以实施，不能仅以本实施例来限定本发明的专利范围，即凡本发明所揭示的精神所作的同等变化或修饰，仍落在本发明的专利范围内。

Claims (5)

1.一种用于移动终端的风格化图标智能生成方法，其特征在于，构建基于深度神经网络的编解码器；采用编解码器中的编码器分别对手绘风格图标及非手绘风格图标进行特征图提取，设提取的手绘风格图标的特征图为F_S；设提取的非手绘风格图标的特征图为F_C；将F_S和F_C融合后输入编解码器中的解码器，由解码器生成风格化图标；

包括如下步骤：采集手绘风格图标及非手绘风格图标作为训练样本，并对手绘风格图标训练样本进行预处理；构建编解码器；使用非手绘风格图标训练样本及经过预处理的手绘风格图标训练样本训练解码器；编码器采用ImageNet上预训练的参数；采用编码器分别提取F_S和F_C；将F_S和F_C融合后输入训练完成的解码器；

训练编解码器方法包括：训练过程中的损失包括结构损失、颜色矩损失及像素级损失；采用这三个损失的加权和作为整个网络的损失函数；

结构损失公式表示为：

F₁＝L_{cross_entropy}(f，f(x))；

其中L_{cross_entropy}表示交叉熵损失函数，y为图标的真实类别，f(x)为预测类别，结构损失函数主要由边缘提取和分类器构成，其中分类器需要事先进行训练，它是对解码器生成的图像先使用边缘检测算子进行边缘提取，然后进行类别判断；

颜色矩损失：

颜色矩包括一阶颜色矩(均值)：

二阶颜色矩(标准差)：

三阶颜色矩(方差)：

对RGB每个颜色通道都提取颜色矩，得到一个9维颜色矩向量：

LC＝[μ_R，σ_R，s_R，μ_G，σ_G，s_G，μ_B，σ_B，s_B]；

对原始图像的颜色矩向量和解码后图像的颜色矩向量求L1loss作为两张图像的颜色矩损失，即：

F₂＝L₁(LC_source，LC_target)；

其中，L₁表示L1loss，LC_source为原始图像颜色矩，LC_target为解码后图像颜色矩；

第三部分是像素级损失，是对解码后的图像与原始图像求解L2loss；即：

F₃＝L₂(I_source，I_dec)；

其中L2为L2loss损失函数，I_source为图标的原始图像，I_decoder为解码器输出后的图标图像；

使用这三个损失的加权和作为整个网络的损失函数L：

L＝λ₁F₁+λ₂F₂+λ₃F₃。

2.根据权利要求1所述的用于移动终端的风格化图标智能生成方法，其特征在于，对手绘风格图标训练样本进行预处理的方法包括：对手绘风格图标训练样本进行应用类别的标注。

3.根据权利要求1所述的用于移动终端的风格化图标智能生成方法，其特征在于，构建编解码器的方法包括：编码器采用没有归一化的VGG网络，在每次池化后的第一个卷积层都输出当前的特征图，在不同的节点输出的特征图尺寸不同，对应不同尺度特征图，分别构建对应的解码器，构成多对编解码器。

4.根据权利要求3所述的用于移动终端的风格化图标智能生成方法，其特征在于，训练编解码器方法包括：每对编解码器单独训练。

5.根据权利要求3所述的用于移动终端的风格化图标智能生成方法，其特征在于，将多对编解码器依次顺序编号：分别为第1对编解码器至第n对编解码器；各对编解码器中的编码器分别提取手绘风格图标的特征图；设第i对编解码器中的编码器提取的手绘风格图标的特征图为F_Si，i＝1、2…n；将非手绘风格图标输入至第1对编解码器中；设第i对编解码器中的编码器输出的特征图为F_Ci，i＝1、2…n；将F_Si和F_Ci融合后输入至第i对编解码器中的解码器中；设第i对编解码器中的解码器的输出为I_i，i＝1、2…n-1；将I_j输入至第i+1对编解码器中的编码器中；第n对编解码器中的解码器的输出为风格化图标。