CN108898647A - 图像处理方法、装置、移动终端以及存储介质 - Google Patents

Abstract

本申请实施例公开了一种图像处理方法、装置、移动终端以及存储介质，涉及机器学习技术领域。所述方法包括：获取目标图像的待填充轮廓，将该待填充轮廓输入生成网络，对待填充轮廓进行填充，该生成网络基于卷积神经网络构架并通过对多个轮廓样本和多个物体样本进行训练获得，该多个轮廓样本和多个物体样本一一对应，获得对待填充轮廓进行填充后输出的填充物体。本申请实施例提供的图像处理方法、装置、移动终端以及存储介质通过卷积神经网络对图像全局语义信息的学习，利用数据集训练卷积网络，然后使用训练完成之后的网络模型根据物体的轮廓进行图像填充，提升填充效果。

Description

图像处理方法、装置、移动终端以及存储介质

技术领域

本申请涉及机器学习技术领域，更具体地，涉及一种图像处理方法、装置、移动终端以及存储介质。

背景技术

图像中物体的轮廓填充是根据物体的轮廓信息，通过算法对物体的空白区域进行填充具有语义信息的图像编辑技术。目前对图像的填充处理一般使用纹理合成的方法，这种方法对于图像整体的语义信息填充的效果很差，导致整体违和感比较严重。

发明内容

鉴于上述问题，本申请提出了一种图像处理方法、装置、移动终端以及存储介质，通过卷积神经网络对图像全局语义信息的学习，利用数据集训练卷积网络，然后使用训练完成之后的网络模型根据物体的轮廓进行图像填充，提升填充效果。

第一方面，本申请实施例提供了一种图像处理方法，所述方法包括：获取目标图像的待填充轮廓；将所述待填充轮廓输入生成网络，对所述待填充轮廓进行填充，所述生成网络基于卷积神经网络构架并通过对多个轮廓样本和多个物体样本进行训练获得，所述多个轮廓样本和所述多个物体样本一一对应；获得对所述待填充轮廓进行填充后输出的填充物体。

第二方面，本申请实施例提供了一种图像处理装置，所述装置包括：待填充轮廓获取模块，用于获取目标图像的待填充轮廓；待填充轮廓填充模块，用于将所述待填充轮廓输入生成网络，对所述待填充轮廓进行填充，所述生成网络基于卷积神经网络构架并通过对多个轮廓样本和多个物体样本进行训练获得，所述多个轮廓样本和所述多个物体样本一一对应；填充物体生成模块，用于获得对所述待填充轮廓进行填充后生成的填充物体。

第三方面，本申请实施例提供了一种移动终端，包括触摸屏、存储器以及处理器，所述触摸屏与所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时所述处理器执行上述方法。

第四方面，本申请实施例提供了一种具有处理器可执行的程序代码的计算机可读取存储介质，所述程序代码使所述处理器执行上述方法。

本申请实施例提供的一种图像处理方法、装置、移动终端以及存储介质，获取目标图像的待填充轮廓，将该待填充轮廓输入生成网络，对待填充轮廓进行填充，该生成网络基于卷积神经网络构架并通过对多个轮廓样本和多个物体样本进行训练获得，该多个轮廓样本和多个物体样本一一对应，获得对待填充轮廓进行填充后输出的填充物体，从而通过卷积神经网络对图像全局语义信息的学习，利用数据集训练卷积网络，然后使用训练完成之后的网络模型根据物体的轮廓进行图像填充，提升填充效果。

本申请的这些方面或其它方面在以下实施例的描述中会更加简明易懂。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1示出了本申请第一实施例提供的图像处理方法的流程示意图；

图2示出了本申请第二实施例提供的图像处理方法的流程示意图；

图3示出了本申请第二实施例提供的图像处理方法的步骤S230的流程示意图；

图4示出了本申请第二实施例提供的图像处理方法的步骤S233的流程示意图；

图5示出了本申请第三实施例提供的图像处理装置的模块框图；

图6示出了本申请第四实施例提供的图像处理装置的模块框图；

图7示出了本申请实施例提供的一种移动终端的结构示意图；

图8示出了用于执行根据本申请实施例的图像处理方法的移动终端的框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

图像中物体的轮廓填充是根据物体的轮廓信息，通过算法对物体的空白区域进行填充具有语义信息的图像编辑技术，使得轮廓填充之后的图像看起来比较真实，填充部分和物体轮廓之间没有明显的违和感。目前，对物体轮廓的填充一般是使用纹理合成的方法，发明人经过研究发现，虽然这种方法在图像高频的表现力上比较优秀，但是对于图像整体的语义信息填充的效果很差。针对上述问题，发明人提出了本申请实施例提供的图像处理方法、装置、移动终端以及存储介质，通过卷积神经网络对图像全局语义信息的学习，利用数据集训练卷积网络，然后使用训练完成之后的网络模型根据物体的轮廓进行图像填充，提升填充效果。其中，具体的图像处理方法在后续的实施例中进行详细的说明。

第一实施例

请参阅图1，图1示出了本申请第一实施例提供的图像处理方法的流程示意图。所述图像处理方法用于通过卷积神经网络对图像全局语义信息的学习，利用数据集训练卷积网络，然后使用训练完成之后的网络模型根据物体的轮廓进行图像填充，提升填充效果。在具体的实施例中，所述图像处理方法应用于如图5所示的图像处理装置200以及配置有所述图像处理装置200的移动终端(图7)。下面将以移动终端为例，说明本实施例的具体流程，当然，可以理解的，本实施例所应用的移动终端可以为智能手机、平板电脑、穿戴式电子设备等，在此不做具体的限定。下面将针对图1所示的流程进行详细的阐述，所述图像处理方法具体可以包括以下步骤：

步骤S110：获取目标图像的待填充轮廓。

在本实施例中，所述目标图像的待填充轮廓可以是移动终端通过摄像头拍摄的由线条构成的轮廓，可以是预先获取并保存在移动终端本地的由线条构成的轮廓，也可以是由移动终端从服务器获取的由线条构成的轮廓等，同时，所述待填充轮廓可以是二维图像构成的轮廓，也可以是三维图像构成的轮廓等，在此不做限定。

作为一种方式，在获取所述待填充轮廓后，可以对所述待填充轮廓进行一些预处理工作，例如缩放处理、归一化处理以及去燥处理等，其中，具体进行缩放处理、归一化处理以及去燥处理所使用的参数根据实际情况进行设置，在此不做限定。

步骤S120：将所述待填充轮廓输入生成网络，对所述待填充轮廓进行填充，所述生成网络基于卷积神经网络构架并通过对多个轮廓样本和多个物体样本进行训练获得，所述多个轮廓样本和所述多个物体样本一一对应。

进一步地，移动终端预先存储有生成网络，该生成网络用于接收输入信息，并对输入信息进行处理，以输出与所述输入信息对应的输出信息，其中，在本实施例中，在获取待填充轮廓后，将所述待填充轮廓输入预先存储的生成网络，以通过所述生成网络对待填充轮廓进行设定方式的填充。

其中，该生成网络是基于卷积神经网络构架建立的，建立完成后，再通过多个轮廓样本和多个物体样本进行训练获得，需要说明的是，在本实施例中，多个轮廓样本和多个物体样本一一对应，即多个轮廓样本中的每个轮廓样本对应多个物体样本中的一个物体样本。具体地，在本实施例中，首先采集多个训练数据集，该训练数据集包括多个轮廓样本和多个物体样本，其中，多个轮廓样本和多个物体样本可以由移动终端通过摄像头拍摄获取，可以从移动终端本地保存中获取，也可以是由移动终端从服务器获取等。进一步地，在获取训练数据集后，以多个轮廓样本作为输入向量，多个物体样本作为输出向量，对生成网络进行机器学习，以建立轮廓和物体之间的生成网络模型。

作为一种方式，在本实施例中，所述生成网络中每层的具体含义可以为：第1层InputLR表示输入待填充轮廓；第2层和第3层表示一个卷积层和ReLU(Rectified linearunit，修正线性单元，为深度学习激活函数的一种)激活函数层，其中卷积操作的步长为1，卷积核大小为3*3，卷积核数量为64；第4层到第9层是一个残差网络功能块，使用了两组两组卷积层紧跟批量规范化层，以ReLU作为激活函数，最后是元素级相加层，其中卷积操作的步长为1，卷积核大小为3*3，卷积核数量为64；第10到第33层是4个残差网络功能块，每个残差网络功能块同上；第34到第37层是两组反卷积单元，用于图像上采样。反卷积层操作的步长为0.5，卷积核大小为3*3，卷积核数量为64；第38层是一个卷积层，卷积操作步长为1，卷积核大小为3*3，卷积核数量为3，目的是生成3通道的RGB数据。该生成网络的最后一层对所述待填充轮廓进行填充后输出的填充物体。

步骤S130：获得对所述待填充轮廓进行填充后输出的填充物体。

可以理解的，通过生成网络对待填充轮廓进行填充后可以输出填充物体，其中，可以将所述填充物体在所述移动终端的显示屏上显示，以供用户确定该填充物体是否满足要求。

本申请第一实施例提供的图像处理方法，获取目标图像的待填充轮廓，将该待填充轮廓输入生成网络，对待填充轮廓进行填充，该生成网络基于卷积神经网络构架并通过对多个轮廓样本和多个物体样本进行训练获得，该多个轮廓样本和多个物体样本一一对应，获得对待填充轮廓进行填充后输出的填充物体，从而通过卷积神经网络对图像全局语义信息的学习，利用数据集训练卷积网络，然后使用训练完成之后的网络模型根据物体的轮廓进行图像填充，提升填充效果。

第二实施例

请参阅图2，图2示出了本申请第二实施例提供的图像处理方法的流程示意图。下面将针对图2所示的流程进行详细的阐述，所述方法具体可以包括以下步骤：

步骤S210：基于卷积神经网络构建生成网络和判别网络。

其中，生成对抗网络(Generative Adversarial Network)是深度学习的一个分支。其目的是生成与真实数据非常相似的数据。通过生成对抗网络，可以生成与训练样本具有同一性质但训练样本中没有的数据。生成对抗网络由生成网络和判别网络组成，在本实施例中，生成网络的输入是输入待填充轮廓，输出是填充物体。判别网络的输入是真实的填充物体图片和生成网络生成的参考样本图片，输出是图片属于真实的填充物体图片的概率。即生成网络的作用是生成符合真实图片分布的图片，来欺骗判别网络，而判别网络的作用是分辨图片是由生成网络生成的还是真实图片，最终的目的是使得生成网络产生以假乱真的图片。因此，在本实施例中，为了获得更逼真的填充物体，基于卷积神经网络构建生成网络和判别网络。

作为一种方式，在本实施例中，所述判别网络中每层的具体含义可以为：InputHR/SR表示输入的物体样本和参考样本；第2层和第3层表示一个卷积层和一个激活函数层；其中卷积层步长为1，卷积核大小为3*3，卷积核数量为64；第4层到第6层表示一个卷积层、一个激活函数层和一个批量规则化层；其中卷积层步长为2，卷积核大小为3*3，卷积核数量为64；第7层到第9层表示一个卷积层、一个激活函数层和一个批量规则化层；其中卷积层步长为1，卷积核大小为3*3，卷积核数量为128；第10层到第12层表示一个卷积层、一个激活函数层和一个批量规则化层；其中卷积层步长为2，卷积核大小为3*3，卷积核数量为128；第13层到第18层类似于第7到第12层，唯一区别是卷积核数量为256；第19层到第24层类似于第7到第12层，唯一区别是卷积核数量为512；第25层和第26层是一个全连接层和一个ReLU激活函数层；第27层和第28层是一个全连接层和一个Sigmoid(利用sigmoid函数作为激活函数，为深度学习激活函数的一种)激活函数层，其中全连接层节点个数为1；该判别网络的最后一层输出一个概率值，表示输入图像为真实图像的概率。

步骤S220：获取训练数据集，所述训练数据集包括所述多个轮廓样本和所述多个物体样本。

其中，步骤S220的实现方法请参阅步骤S120，在此不再赘述。

步骤S230：基于所述训练数据集对所述生成网络和所述判别网络进行训练，获得训练完成之后的生成网络和训练完成之后的判别网络。

在本实施例中，在获取训练数据集后，基于训练数据集中的多个轮廓样本和多个物体样本对生成网络和判别网络进行训练，以获得训练完成之后的生成网络和训练完成之后的判别网络。作为一种方式，重复对生成网络和判别网络进行训练，在训练的次数达到预设次数(例如，当所述训练次数达到200次、400次)时，或者当该判别网络输出的结果处于收敛(例如，判别网络输出0.5)时，将当前生成网络确定为训练完成之后的生成网络以及将当前判别网络确定为训练完成之后的判别网络。

具体地，作为一种方式，在生成网络中创建轮廓填充代价函数以及在判别网络中创建判别代价函数，首先基于轮廓填充代价函数和预先获取的训练数据集对生成网络进行训练获得训练完成之后的生成网络，然后基于判别代价函数、预先获得的训练数据集以及生成网络的输出对判别网络进行训练获得训练完成之后的判别网络。作为另一种方式，首先固定判别网络，即不对判别网络中的参数进行更新，只训练生成网络，然后固定生成网络，即不对生成网络中的参数进行更新，只训练判别网络，以交替训练生成旺火和判别网络。

请参阅图3，图3示出了本申请第二实施例提供的图像处理方法的步骤S230的流程示意图，下面将针对图3所示的流程进行详细的阐述，所述方法具体可以包括以下步骤：

步骤S231：将所述轮廓样本输入所述生成网络，获得对所述轮廓样本填充后的参考样本。

作为一种具体的实施方式，将轮廓样本输入生成网络，以获得生成网络对轮廓样本进行填充后的参考样本，其中，在将所述轮廓样本输入生成网络之前，也可以对轮廓样本进行预处理工作，例如缩放处理、归一化处理以及去燥处理等。

步骤S232：分别将所述物体样本和所述参考样本输入所述判别网络，获得所述判别网络输出的判别概率，其中，所述判别概率为所述判别网络的输入图像为物体样本的概率。

在本实施例中，将训练数据集中的物体样本和生成网络输出的参考样本输入判别网络，以此来检测判别网络的校验准确性。其中，无论是输入物体样本还是输入参考样本，判别网络都会输出一个判别概率，该判别概率用于描述输入图像在判别网络检验后为物体样本的概率。

步骤S233：基于所述判别概率对所述生成网络和所述判别网络的配置参数进行调整，获得所述训练完成之后的生成网络和所述训练完成之后的判别网络。

由于本申请在训练阶段利用生成网络和判别网络相互对抗，因此，基于判别网络输出的判别概率，可以对生成网络和判别网络的配置参数进行调整。

请参阅图4，图4示出了本申请第二实施例提供的图像处理方法的步骤S233的流程示意图。下面将针对图4所示的流程进行详细的阐述，所述方法具体可以包括以下步骤：

步骤S2331：根据所述判别概率、所述物体样本以及所述参考样本确定所述轮廓填充代价函数和所述判别代价函数。

作为一种方式，分别针对生成网络以及判别网络确定各自的代价函数，其中，对于生成网络来说，当所述生成网络的轮廓填充代价函数越小，与所述生成网络所输出的参考样本的真实度越高，而对于判别网络来说，当所述判别网络的损失函数越小，所述判别网络输出的判别概率的准确度越高。

步骤S2332：根据所述轮廓填充代价函数和所述判别代价函数对所述生成网络和所述判别网络的配置参数进行调整。

进一步地，由于生成网络和判别网络的类型为卷积神经网络，其分别由卷积单元和多个函数作为功能模块组成，因此，在本实施例中，可以基于生成网络的轮廓填充代价函数对生成网络中各个网络节点的权重值进行调整，以及基于判别代价函数对判别网络中各个网络节点的权重值进行调整。

步骤S240：获取目标图像的待填充轮廓。

步骤S250：将所述待填充轮廓输入生成网络，对所述待填充轮廓进行填充。

步骤S260：获得对所述待填充轮廓进行填充后输出的填充物体。

本申请第二实施例提供的图像处理方法，基于卷积神经网络构建生成网络和判别网络，获取训练数据集，该训练数据集包括多个轮廓样本和多个物体样本，基于训练数据集对生成网络和判别网络进行训练，获得训练完成之后的生成网络和训练完成之后的判别网络，获取目标图像的待填充轮廓，将待填充轮廓输入生成网络，对待填充轮廓进行填充，获得对待填充轮廓进行填充后输出的填充物体，从而通过卷积神经网络对图像全局语义信息的学习，利用数据集训练卷积网络，然后使用训练完成之后的网络模型根据物体的轮廓进行图像填充，提升填充效果。

第三实施例

请参阅图5，图5示出了本申请第三实施例提供的图像处理装置200的模块框图。下面将针对图5所示的框图进行阐述，所述图像处理装置200包括：待填充轮廓获取模块210、待填充轮廓填充模块220以及填充物体生成模块230，其中：

待填充轮廓获取模块210，用于获取目标图像的待填充轮廓。

待填充轮廓填充模块220，用于将所述待填充轮廓输入生成网络，对所述待填充轮廓进行填充，所述生成网络基于卷积神经网络构架并通过对多个轮廓样本和多个物体样本进行训练获得，所述多个轮廓样本和所述多个物体样本一一对应。

填充物体生成模块230，用于获得对所述待填充轮廓进行填充后生成的填充物体。

第四实施例

请参阅图6，图6示出了本申请第四实施例提供的图像处理装置300的模块框图。下面将针对图6所示的框图进行阐述，所述图像处理装置300包括：网络构建模块310、训练数据集获取模块320、网络训练模块330、待填充轮廓获取模块340、待填充轮廓填充模块350以及填充物体生成模块360，其中：

网络构建模块310，用于基于卷积神经网络构建生成网络和判别网络。

训练数据集获取模块320，用于获取训练数据集，所述训练数据集包括所述多个轮廓样本和所述多个物体样本。

网络训练模块330，用于基于所述训练数据集对所述生成网络和所述判别网络进行训练，获得训练完成之后的生成网络和训练完成之后的判别网络。进一步地，所述网络训练模块330包括：网络训练子模块、网络确定子模块、轮廓填充代价函数创建子模块、生成网络获取子模块、判别代价函数创建子模块、判别网络获取子模块、参考样本获取子模块、判别概率获取子模块以及配置参数调整子模块，其中：

网络训练子模块，用于基于所述训练数据集对所述生成网络和所述判别网络进行训练。

网络确定子模块，用于当训练次数达到预设次数或所述判别网络输出的结构处于收敛时，将当前生成网络确定为训练完成之后的生成网络，以及将当前判别网络确定为训练完成之后的判别网络。

轮廓填充代价函数创建子模块，用于在所述生成网络中创建轮廓填充代价函数。

生成网络获取子模块，用于基于所述轮廓填充代价函数和所述训练数据集对所述生成网络进行训练，获得所述训练完成之后的生成网络。

判别代价函数创建子模块，用于在所述判别网络中创建判别代价函数。

判别网络获取子模块，用于基于所述判别代价函数和所述训练数据集对所述判别网络进行训练，获得所述训练完成之后的判别网络。

参考样本获取子模块，用于将所述轮廓样本输入所述生成网络，获得对所述轮廓样本填充后的参考样本。

判别概率获取子模块，用于分别将所述物体样本和所述参考样本输入所述判别网络，获得所述判别网络输出的判别概率，其中，所述判别概率为所述判别网络的输入图像为物体样本的概率。

配置参数调整子模块，用于基于所述判别概率对所述生成网络和所述判别网络的配置参数进行调整，获得所述训练完成之后的生成网络和所述训练完成之后的判别网络。进一步地，所述配置参数调整子模块包括：代价函数确定单元和配置参数调整单元，其中：

代价函数确定单元，用于根据所述判别概率、所述物体样本以及所述参考样本确定所述轮廓填充代价函数和所述判别代价函数。

配置参数调整单元，用于根据所述轮廓填充代价函数和所述判别代价函数对所述生成网络和所述判别网络的配置参数进行调整。

待填充轮廓获取模块340，用于获取目标图像的待填充轮廓。

待填充轮廓填充模块350，用于将所述待填充轮廓输入生成网络，对所述待填充轮廓进行填充，所述生成网络基于卷积神经网络构架并通过对多个轮廓样本和多个物体样本进行训练获得，所述多个轮廓样本和所述多个物体样本一一对应。

填充物体生成模块360，用于获得对所述待填充轮廓进行填充后生成的填充物体。

综上所述，本申请实施例提供的一种图像处理方法、装置、移动终端以及存储介质，获取目标图像的待填充轮廓，将该待填充轮廓输入生成网络，对待填充轮廓进行填充，该生成网络基于卷积神经网络构架并通过对多个轮廓样本和多个物体样本进行训练获得，该多个轮廓样本和多个物体样本一一对应，获得对待填充轮廓进行填充后输出的填充物体，从而通过卷积神经网络对图像全局语义信息的学习，利用数据集训练卷积网络，然后使用训练完成之后的网络模型根据物体的轮廓进行图像填充，提升填充效果。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。对于方法实施例中的所描述的任意的处理方式，在装置实施例中均可以通过相应的处理模块实现，装置实施例中不再一一赘述。

请再次参阅图7，基于上述的图像处理方法、装置，本申请实施例还提供一种移动终端100，其包括电子本体部10，所述电子本体部10包括壳体12及设置在所述壳体12上的主显示屏120。所述壳体12可采用金属、如钢材、铝合金制成。本实施例中，所述主显示屏120通常包括显示面板111，也可包括用于响应对所述显示面板111进行触控操作的电路等。所述显示面板111可以为一个液晶显示面板(Liquid Crystal Display，LCD)，在一些实施例中，所述显示面板111同时为一个触摸屏109。

请同时参阅图8，在实际的应用场景中，所述移动终端100可作为智能手机终端进行使用，在这种情况下所述电子本体部10通常还包括一个或多个(图中仅示出一个)处理器102、存储器104、RF(Radio Frequency，射频)模块106、音频电路110、传感器114、输入模块118、电源模块122。本领域普通技术人员可以理解，图8所示的结构仅为示意，其并不对所述电子本体部10的结构造成限定。例如，所述电子本体部10还可包括比图8中所示更多或者更少的组件，或者具有与图8所示不同的配置。

本领域普通技术人员可以理解，相对于所述处理器102来说，所有其它的组件均属于外设，所述处理器102与这些外设之间通过多个外设接口124相耦合。所述外设接口124可基于以下标准实现：通用异步接收/发送装置(Universal Asynchronous Receiver/Transmitter，UART)、通用输入/输出(General Purpose Input Output，GPIO)、串行外设接口(Serial Peripheral Interface，SPI)、内部集成电路(Inter-Integrated Circuit，I2C)，但不并限于上述标准。在一些实例中，所述外设接口124可仅包括总线；在另一些实例中，所述外设接口124还可包括其它元件，如一个或者多个控制器，例如用于连接所述显示面板111的显示控制器或者用于连接存储器的存储控制器。此外，这些控制器还可以从所述外设接口124中脱离出来，而集成于所述处理器102内或者相应的外设内。

所述存储器104可用于存储软件程序以及模块，所述处理器102通过运行存储在所述存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理。所述存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其它非易失性固态存储器。在一些实例中，所述存储器104可进一步包括相对于所述处理器102远程设置的存储器，这些远程存储器可以通过网络连接至所述电子本体部10或所述主显示屏120。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述RF模块106用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通讯网络或者其它设备进行通讯。所述RF模块106可包括各种现有的用于执行这些功能的电路元件，例如，天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(SIM)卡、存储器等等。所述RF模块106可与各种网络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与其它设备进行通讯。上述的无线网络可包括蜂窝式电话网、无线局域网或者城域网。上述的无线网络可以使用各种通信标准、协议及技术，包括但并不限于全球移动通信系统(Global System for Mobile Communication，GSM)、增强型移动通信技术(Enhanced Data GSM Environment，EDGE)，宽带码分多址技术(wideband codedivision multiple access，W-CDMA)，码分多址技术(Code division access，CDMA)、时分多址技术(time division multiple access，TDMA)，无线保真技术(Wireless，Fidelity，WiFi)(如美国电气和电子工程师协会标准IEEE 802.10A，IEEE802.11b，IEEE802.11g和/或IEEE 802.11n)、网络电话(Voice over internet protocal，VoIP)、全球微波互联接入(Worldwide Interoperability for Microwave Access，Wi-Max)、其它用于邮件、即时通讯及短消息的协议，以及任何其它合适的通讯协议，甚至可包括那些当前仍未被开发出来的协议。

音频电路110、听筒101、声音插孔103、麦克风105共同提供用户与所述电子本体部10或所述主显示屏120之间的音频接口。具体地，所述音频电路110从所述处理器102处接收声音数据，将声音数据转换为电信号，将电信号传输至所述听筒101。所述听筒101将电信号转换为人耳能听到的声波。所述音频电路110还从所述麦克风105处接收电信号，将电信号转换为声音数据，并将声音数据传输给所述处理器102以进行进一步的处理。音频数据可以从所述存储器104处或者通过所述RF模块106获取。此外，音频数据也可以存储至所述存储器104中或者通过所述RF模块106进行发送。

所述传感器114设置在所述电子本体部10内或所述主显示屏120内，所述传感器114的实例包括但并不限于：光传感器、运行传感器、压力传感器、重力加速度传感器、以及其它传感器。

具体地，所述传感器114可包括光线传感器114F、压力传感器114G。其中，压力传感器114G可以检测由按压在移动终端100产生的压力的传感器。即，压力传感器114G检测由用户和移动终端之间的接触或按压产生的压力，例如由用户的耳朵与移动终端之间的接触或按压产生的压力。因此，压力传感器114G可以用来确定在用户与移动终端100之间是否发生了接触或者按压，以及压力的大小。

请再次参阅图8，具体地，在图8所示的实施例中，所述光线传感器114F及所述压力传感器114G邻近所述显示面板111设置。所述光线传感器114F可在有物体靠近所述主显示屏120时，例如所述电子本体部10移动到耳边时，所述处理器102关闭显示输出。

作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别所述移动终端100姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等。另外，所述电子本体部10还可配置陀螺仪、气压计、湿度计、温度计等其它传感器，在此不再赘述，

本实施例中，所述输入模块118可包括设置在所述主显示屏120上的所述触摸屏109，所述触摸屏109可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在所述触摸屏109上或在所述触摸屏109附近的操作)，并根据预先设定的程序驱动相应的连接装置。可选的，所述触摸屏109可包括触摸检测装置和触摸控制器。其中，所述触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给所述触摸控制器；所述触摸控制器从所述触摸检测装置上接收触摸信息，并将该触摸信息转换成触点坐标，再送给所述处理器102，并能接收所述处理器102发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现所述触摸屏109的触摸检测功能。除了所述触摸屏109，在其它变更实施方式中，所述输入模块118还可以包括其它输入设备，如按键107。所述按键107例如可包括用于输入字符的字符按键，以及用于触发控制功能的控制按键。所述控制按键的实例包括“返回主屏”按键、开机/关机按键等等。

所述主显示屏120用于显示由用户输入的信息、提供给用户的信息以及所述电子本体部10的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、数字、视频和其任意组合来构成，在一个实例中，所述触摸屏109可设置于所述显示面板111上从而与所述显示面板111构成一个整体。

所述电源模块122用于向所述处理器102以及其它各组件提供电力供应。具体地，所述电源模块122可包括电源管理系统、一个或多个电源(如电池或者交流电)、充电电路、电源失效检测电路、逆变器、电源状态指示灯以及其它任意与所述电子本体部10或所述主显示屏120内电力的生成、管理及分布相关的组件。

所述移动终端100还包括定位器119，所述定位器119用于确定所述移动终端100所处的实际位置。本实施例中，所述定位器119采用定位服务来实现所述移动终端100的定位，所述定位服务，应当理解为通过特定的定位技术来获取所述移动终端100的位置信息(如经纬度坐标)，在电子地图上标出被定位对象的位置的技术或服务。

应当理解的是，上述的移动终端100并不局限于智能手机终端，其应当指可以在移动中使用的计算机设备。具体而言，移动终端100，是指搭载了智能操作系统的移动计算机设备，移动终端100包括但不限于智能手机、智能手表、平板电脑，等等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其它方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其它方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其它可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(移动终端)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其它合适的介质，因为可以例如通过对纸或其它介质进行光学扫描，接着进行编辑、解译或必要时以其它合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：

获取目标图像的待填充轮廓；

将所述待填充轮廓输入生成网络，对所述待填充轮廓进行填充，所述生成网络基于卷积神经网络构架并通过对多个轮廓样本和多个物体样本进行训练获得，所述多个轮廓样本和所述多个物体样本一一对应；

获得对所述待填充轮廓进行填充后输出的填充物体。

2.根据权利要求1所述的方法，其特征在于，所述获取目标图像的待填充轮廓之前，还包括：

基于卷积神经网络构建生成网络和判别网络；

获取训练数据集，所述训练数据集包括所述多个轮廓样本和所述多个物体样本；

基于所述训练数据集对所述生成网络和所述判别网络进行训练，获得训练完成之后的生成网络和训练完成之后的判别网络。

3.根据权利要求2所述的方法，其特征在于，所述基于所述训练数据集对所述生成网络和所述判别网络进行训练，获得训练完成之后的生成网络和训练完成之后的判别网络，包括：

基于所述训练数据集对所述生成网络和所述判别网络进行训练；

当训练次数达到预设次数或所述判别网络输出的结果处于收敛时，将当前生成网络确定为训练完成之后的生成网络，以及将当前判别网络确定为训练完成之后的判别网络。

4.根据权利要求2所述的方法，其特征在于，所述基于所述训练数据集对所述生成网络和所述判别网络进行训练，获得训练完成之后的生成网络和训练完成之后的判别网络，包括：

在所述生成网络中创建轮廓填充代价函数；

基于所述轮廓填充代价函数和所述训练数据集对所述生成网络进行训练，获得所述训练完成之后的生成网络。

5.根据权利要求2-4任一项所述的方法，其特征在于，所述基于所述训练数据集对所述生成网络和所述判别网络进行训练，获得训练完成之后的生成网络和训练完成之后的判别网络，包括：

在所述判别网络中创建判别代价函数；

基于所述判别代价函数和所述训练数据集对所述判别网络进行训练，获得所述训练完成之后的判别网络。

6.根据权利要求5所述的方法，其特征在于，所述基于所述训练数据集对所述生成网络和所述判别网络进行训练，获得训练完成之后的生成网络和训练完成之后的判别网络，包括：

将所述轮廓样本输入所述生成网络，获得对所述轮廓样本填充后的参考样本；

分别将所述物体样本和所述参考样本输入所述判别网络，获得所述判别网络输出的判别概率，其中，所述判别概率为所述判别网络的输入图像为物体样本的概率；

基于所述判别概率对所述生成网络和所述判别网络的配置参数进行调整，获得所述训练完成之后的生成网络和所述训练完成之后的判别网络。

7.根据权利要求6所述的方法，其特征在于，所述基于所述判别概率对所述生成网络和所述判别网络的配置参数进行调整，包括：

根据所述判别概率、所述物体样本以及所述参考样本确定所述轮廓填充代价函数和所述判别代价函数；

根据所述轮廓填充代价函数和所述判别代价函数对所述生成网络和所述判别网络的配置参数进行调整。

8.一种图像处理装置，其特征在于，所述装置包括：

待填充轮廓获取模块，用于获取目标图像的待填充轮廓；

待填充轮廓填充模块，用于将所述待填充轮廓输入生成网络，对所述待填充轮廓进行填充，所述生成网络基于卷积神经网络构架并通过对多个轮廓样本和多个物体样本进行训练获得，所述多个轮廓样本和所述多个物体样本一一对应；

填充物体生成模块，用于获得对所述待填充轮廓进行填充后生成的填充物体。

9.一种移动终端，其特征在于，包括触摸屏、存储器以及处理器，所述触摸屏与所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时所述处理器执行如权利要求1-7任一项所述的方法。

10.一种具有处理器可执行的程序代码的计算机可读取存储介质，其特征在于，所述程序代码使所述处理器执行如权利要求1-7任一项所述的方法。