CN108010031B - 一种人像分割方法及移动终端 - Google Patents

Abstract

本发明公开了一种人像分割方法，适于在移动终端中执行，该方法利用预定分割网络对待处理图像进行分割处理，其中，预定分割网络包括编码阶段和解码阶段：编码阶段包括第一数目对依次连接的卷积层和下采样层，且每一对卷积层和下采样层形成一个卷积‑下采样对，经第一数目个卷积‑下采样对迭代后，输出编码阶段的下采样特征图；解码阶段包括第一数目对依次连接的卷积层和上采样层，且每一对卷积层和上采样层形成一个卷积‑上采样对，在经第一数目个卷积‑上采样对迭代后，输出分割结果图。本发明一并公开了相应的移动终端。

Description

一种人像分割方法及移动终端

技术领域

本发明涉及图像处理技术领域，尤其是一种人像分割方法及移动终端。

背景技术

图像分割是图像处理中的一项基础应用，将图像需要处理的部分精确地分割出来，有助于提高最终的处理效果。随着现在移动终端应用越来越广泛，用户可以利用移动终端拍摄人像，然后将人像自动分割出来，去添加许多其他特效，例如景深、换背景、其他AR效果等等。

现有的图像分割方案，一种是直接使用Photoshop等图像编辑类软件，使用者需要熟练掌握Photoshop的各种操作，甚至需要具有一定的实践经验，对操作者要求较高；且Photoshop不能够在移动终端上实现。另一种是通过传统的图像分割算法，如Graph Cut，进行图像分割处理，但这些算法通常无法处理复杂的图像情况，例如衣服款式多等，并且分割效果比较粗糙。

并且，在针对人像分割的应用中，传统的图像分割算法需要提供一定的先验信息来辅助人像分割，如手动选取一定区域再让算法针对这个区域进行分割，或者，利用皮肤颜色信息进行定位来辅助算法分割等。对于复杂的背景或衣服分割效果不理想，并且基于颜色先验的方法也会受光照影响使得定位错误。

而基于深度学习的语义分割方法可以更好应对人像分割处理中的复杂情况，但现有的网络模型一般比较大，运行时间长，所占内存高，并不适于移动终端上的使用。

因此，需要一种既准确又高效的人像分割方案。

发明内容

为此，本发明提供了一种人像分割方法及移动终端，以力图解决或者至少缓解上面存在的至少一个问题。

根据本发明的一个方面，提供了一种人像分割方法，适于在移动终端中执行，该方法利用预定分割网络对待处理图像进行分割处理，其中，预定分割网络包括编码阶段和解码阶段：编码阶段包括第一数目对依次连接的卷积层和下采样层，且每一对卷积层和下采样层形成一个卷积-下采样对，其中，卷积层适于提取经上一个卷积-下采样对输出的特征图以生成该层的特征图，其中，输入第一个卷积-下采样对的特征图为待处理图像；下采样层适于对该层的特征图进行下采样处理，生成该层的下采样特征图；经第一数目个卷积-下采样对迭代后，输出编码阶段的下采样特征图；以及解码阶段包括第一数目对依次连接的卷积层和上采样层，且每一对卷积层和上采样层形成一个卷积-上采样对，其中，卷积层适于提取经上一个卷积-上采样对输出的特征图以生成该层的特征图，其中，输入第一个卷积-上采样对的特征图为编码阶段的下采样特征图；上采样层适于结合该层的特征图和对应卷积-下采样对的下采样特征图进行上采样处理，生成该层的上采样特征图；在经第一数目个卷积-上采样对迭代后，输出分割结果图。

在根据本发明的人像分割方法中，卷积层中包含多个卷积单元，卷积单元中的卷积核依次为1×1、3×3和1×1。

在根据本发明的人像分割方法中，卷积单元为bottleneck结构。

在根据本发明的人像分割方法中，还包括为每个上采样层分配对应下采样层的步骤：第一个卷积-上采样对的上采样层与最后一个卷积-下采样对的下采样层相对应；第二个卷积-上采样对的上采样层与倒数第二个卷积-下采样对的下采样层相对应；以及按上述对应关系依次为每个上采样层分配对应的下采样层。

在根据本发明的人像分割方法中，上采样层还适于：通过转置卷积对该层的特征图进行上采样处理以得到第一上采样特征图；对对应下采样层的下采样特征图进行上采样处理以得到第二上采样特征图；以及将第一上采样特征图和第二上采样特征图进行融合，生成该层的上采样特征图。

在根据本发明的人像分割方法中，还包括训练预定分割网络的步骤：将训练图像输入初始分割网络，生成分割结果图；以第一计算方式根据分割结果图与预先标定的分割结果图计算第一训练误差；结合分割结果图和原始图像生成第一分割图；结合预先标定的分割结果图和原始图像生成第二分割图；以第二计算方式根据第一分割图和第二分割图计算第二训练误差；以及根据第一训练误差和第二训练误差对初始分割网络进行优化，直至满足预定条件，得到预定分割网络。

在根据本发明的人像分割方法中，在将训练图像输入初始分割网络、生成分割结果图的步骤之前，还包括生成训练图像的步骤：对初始训练图像进行预处理以生成预处理后的图像；按照预处理后的图像的复杂度确定预处理后的图像的分辨率；以及根据所确定的分辨率生成训练图像。

在根据本发明的人像分割方法中，预处理包括以下处理中的一种或多种：镜面反转、图像旋转、图像尺度缩放、图像亮度的gamma变换。

在根据本发明的人像分割方法中，图像的复杂度根据图像的高频信息确定。

在根据本发明的人像分割方法中，按照预处理后图像的复杂度确定预处理后的图像的分辨率的步骤包括：若预处理后的图像是复杂图像，则确定该预处理后的图像的分辨率为640×480；以及若预处理后的图像不是复杂图像，则确定该预处理后的图像的分辨率为320×240。

在根据本发明的人像分割方法中，第一计算方式采用二分类逻辑回归方法。

在根据本发明的人像分割方法中，第二计算方式采用生成对抗网络方法。

根据本发明的另一方面，提供了一种移动终端，包括：一个或多个处理器；和存储器；一个或多个程序，其中一个或多个程序存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序包括用于执行如上所述方法中的任一方法的指令。

根据本发明的再一方面，提供了一种存储一个或多个程序的计算机可读存储介质，一个或多个程序包括指令，该指令当移动终端执行时，使得移动终端执行如上所述的方法中的任一方法。

根据本发明的人像分割方案，不受复杂背景、衣服穿着、人物姿态、光照变化等影响，具有很好的分割效果。另外，根据本发明的预定分割网络针对移动终端进行神经网络模型的优化，大大缩短了运行时间和内存占用率。

附图说明

为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。

图1示出了根据本发明一个实施例的移动终端100的构造示意图；

图2示出了根据本发明一个实施例的预定分割网络200的网络结构图；

图3示出了根据本发明一个实施例的卷积单元的结构示意图；

图4示出了根据本发明一个实施例的训练预定分割网络的方法400的流程图；

图5A和图5B示出了根据本发明一个实施例的原图和经预定分割网络处理后的分割结果图的对比示意图；

图6A和图6B示出了根据本发明另一个实施例的原图和经预定分割网络处理后的分割结果图的对比示意图；以及

图7A和图7B示出了根据本发明又一个实施例的原图和经预定分割网络处理后的分割结果图的对比示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1是移动终端100的结构框图。移动终端100可以包括存储器接口102、一个或多个数据处理器、图像处理器和/或中央处理单元104，以及外围接口106。

存储器接口102、一个或多个处理器104和/或外围接口106既可以是分立元件，也可以集成在一个或多个集成电路中。在移动终端100中，各种元件可以通过一条或多条通信总线或信号线来耦合。传感器、设备和子系统可以耦合到外围接口106，以便帮助实现多种功能。

例如，运动传感器110、光线传感器112和距离传感器114可以耦合到外围接口106，以方便定向、照明和测距等功能。其他传感器116同样可以与外围接口106相连，例如定位系统(例如GPS接收机)、加速度传感器、温度传感器、生物测定传感器或其他感测设备，由此可以帮助实施相关的功能。

相机子系统120和光学传感器122可以用于方便诸如记录照片和视频剪辑的相机功能的实现，其中所述相机子系统和光学传感器例如可以是电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光学传感器。可以通过一个或多个无线通信子系统124来帮助实现通信功能，其中无线通信子系统可以包括射频接收机和发射机和/或光(例如红外)接收机和发射机。无线通信子系统124的特定设计和实施方式可以取决于移动终端100所支持的一个或多个通信网络。例如，移动终端100可以包括被设计成支持LTE、3G、GSM网络、GPRS网络、EDGE网络、Wi-Fi或WiMax网络以及Bluebooth^TM网络的通信子系统124。

音频子系统126可以与扬声器128以及麦克风130相耦合，以便帮助实施启用语音的功能，例如语音识别、语音复制、数字记录和电话功能。I/O子系统140可以包括触摸屏控制器142和/或一个或多个其他输入控制器144。触摸屏控制器142可以耦合到触摸屏146。举例来说，该触摸屏146和触摸屏控制器142可以使用多种触摸感测技术中的任何一种来检测与之进行的接触和移动或是暂停，其中感测技术包括但不局限于电容性、电阻性、红外和表面声波技术。

一个或多个其他输入控制器144可以耦合到其他输入/控制设备148，例如一个或多个按钮、摇杆开关、拇指旋轮、红外端口、USB端口、和/或指示笔之类的指点设备。所述一个或多个按钮(未显示)可以包括用于控制扬声器128和/或麦克风130音量的向上/向下按钮。

存储器接口102可以与存储器150相耦合。该存储器150可以包括高速随机存取存储器和/或非易失性存储器，例如一个或多个磁盘存储设备，一个或多个光学存储设备，和/或闪存存储器(例如NAND，NOR)。存储器150可以存储操作系统152，例如Android、iOS或是Windows Phone之类的操作系统。该操作系统152可以包括用于处理基本系统服务以及执行依赖于硬件的任务的指令。在一些实施例中，操作系统152中包含了用于执行人像分割方法的指令。存储器150还可以存储应用154。在移动终端运行时，会从存储器150中加载操作系统152，并且由处理器104执行。应用154在运行时，也会从存储器150中加载，并由处理器104执行。应用154运行在操作系统之上，利用操作系统以及底层硬件提供的接口实现各种用户期望的功能，如即时通信、网页浏览、图片管理、视频播放等。应用154可以是独立于操作系统提供的，也可以是操作系统自带的，包括各种社交应用软件，也包括各种视频播放应用软件，还可以包括相册、计算器、录音笔等系统自带应用程序。另外，应用154被安装到移动终端100中时，也可以向操作系统添加驱动模块。

本发明提供了一种人像分割方案，通过在移动终端100的存储器150中存储相应的一个或多个程序(包括前文所述的相关指令)来对待处理图像中的人像进行分割处理，其中，待处理图像可以通过相机子系统120获取，也可以通过无线通信子系统124获取，本发明的实施例对此不作限制。

根据本发明的实现方式，将待处理图像输入预定分割网络，通过预定分割网络对待处理图像进行分割处理，输出分割出人像部分的分割结果图。在根据本发明的实施例中，将人像部分作为图像的前景，剩余部分作为图像背景。

以下将结合图2，详细阐述预定分割网络200的网络结构。

鉴于预定分割网络200的目标是输出一个与输入大小一致的分割结果，故，需要用全卷积网络进行End-to-End训练；另外，因为语义分割需要高层语义信息，故，预定分割网络200采用Encoder-Decoder结构，Encoder部分从输入图像提取必要的语义信息，再通过Decoder部分恢复出需要的输出结构。在根据本发明的实现方式中，预定分割网络200包括编码阶段210和解码阶段220，其中，由编码阶段210提取多个层次的图像特征，再由解码阶段220融合多个层次的图像特征生成分割结果。

编码阶段210包括第一数目对依次连接的卷积层，且每一对卷积层和下采样层形成一个卷积-下采样对，如图2所示，编码阶段的第一个卷积层2122和第一个下采样层2124构成一个卷积-下采样对212，第二个卷积层2142和第二个下采样层2144构成一个卷积-下采样对214，……，依次类推，编码阶段210共包含第一数目个这样的卷积-下采样对。其中，卷积层2122提取输入的待处理图像的特征得到第一个卷积层的特征图，下采样层2124对第一个卷积层的特征图进行下采样处理，生成第一个下采样层的下采样特征图；接着，卷积层2142对第一个下采样层的下采样特征图提取特征得到第二个卷积层的特征图，输入下采样层2144对第二个卷积层的特征图进行下采样处理，生成第二个下采样层的下采样特征图；……；经第一数目个卷积-下采样对依次迭代，最终输出编码阶段的下采样特征图。为了便于描述，在图2中仅示出了两个卷积-下采样对(即，第一数目为2)，在实际应用中，可根据需要设置第一数目的个数，本发明对此不作限制。

解码阶段220包括第一数目对依次连接的卷积层和上采样层，且每一对卷积层和上采样层形成一个卷积-上采样对，如图2所示，解码阶段的第一个卷积层2222和第一个上采样层2224构成一个卷积-上采样对222，第二个卷积层2242和第二个上采样层2244构成一个卷积-上采样对224，……，依次类推，解码阶段220共包含第一数目个这样的卷积-上采样对。其中，卷积层2222对输入的编码阶段的下采样特征图进行特征提取生成解码阶段第一个卷积层的特征图，上采样层2224结合解码阶段第一个卷积层的特征图和对应卷积-下采样对的下采样特征图进行上采样处理，生成解码阶段上采样层2224的上采样特征图；接着，卷积层2242对上采样层2224的上采样特征图提取特征得到解码阶段第二个卷积层的特征图，输入上采样层2244，上采样层2244结合输入的该特征图和对应卷积-下采样对的下采样特征图进行上采样处理，生成第二个上采样层的上采样特征图；……；经第一数目个卷积-上采样对依次迭代，输出分割结果图。同样，在图2中仅示出了两个卷积-上采样对。

根据本发明的一个实施例，解码阶段220中每个上采样层对应的编码阶段210的下采样层定义为：解码阶段220中第一个卷积-上采样对的上采样层与编码阶段210中的最后一个卷积-下采样对的下采样层相对应；解码阶段220的第二个卷积-上采样对的上采样层与编码阶段210的倒数第二个卷积-下采样对的下采样层相对应；……；按照上述对应关系一一对应，为每个下采样层分配对应的上采样层。以图2为例，鉴于图2中第一数目为2，此时，卷积-上采样对222与卷积-下采样对214相对应，卷积-上采样对224与卷积-下采样对212相对应。

根据本发明的一种实施方式，编码阶段210的卷积层和解码阶段220的卷积层采用同样的卷积结构。每个卷积层中包含有多个卷积单元，如图3示出了根据本发明一个实施例的卷积单元的网络结构示意图，每个卷积单元中的卷积核依次为1×1、3×3和1×1，如图3中对应的64、64和256分别表示卷积核1×1、3×3和1×1的个数。由于移动终端GPU的计算能力有限，所以在根据本发明的一个实施例中，卷积单元采用bottleneck结构，以减少特征的数量和计算量，缩短运行时间。如图3所示，先通过1×1的卷积核降低特征数量，然后经过3×3的卷积核卷积后，再通过1×1的卷积核恢复原有特征数，并将结果加上输入构成残差网络。其中，在1×1跟3×3卷积后加入激活函数(Relu)，以及在与输入相加后的输出上加入激活函数。并且，预定分割网络210是全卷积网络，不需要全连接层。本领域技术人员应当对bottleneck层的应用及结构有所了解，关于其进一步描述亦可参考ResNet网络(DeepResidual Learning for Image Recognition)，此处不做过多展开。

更进一步地，解码阶段220的每个上采样层在结合该层的特征图和对应卷积-下采样对的下采样特征图进行上采样处理时，一方面通过转置卷积(transposed convolution)对该层的特征图(即，该卷积-上采样对中卷积层的特征图)进行上采样处理以得到第一上采样特征图；另一方面，对对应下采样层的下采样特征图进行上采样处理(即，Unpool层)以得到第二上采样特征图；最后，将第一上采样特征图和第二上采样特征图进行融合，生成该层的上采样特征图。本发明的实施例对转置卷积的具体做法不作限制，可根据实际应用场景和卷积过程进行选择。

根据一种实现方式，Unpool层是MaxPool(最大值池化)的反操作，在编码阶段下采样时采用maxpooling(即，最大值池化)，利用maxpooling记录最大值所在的位置，通过unpool得到上采样的特征图，其非0值即是maxpooling中得到的数值。

这样，根据本发明的预定分割网络200，编码部分210前期快速降采样，既可以保留图像的细节信息，又可以迅速降低输出的特征图大小，加快后面的运算速度；并且每次降采样时，保留降采样前的特征，将其作为另一个分支，给后面的解码阶段220使用。而在解码阶段220部分，在上采样时，一个分支直接通过转置卷积上采样，另一个分支通过Unpool层上采样，将两个分支的结果融合，使得上采样可以利用更多的信息。

根据本发明的实施例还提供了训练预定分割网络200的步骤，如图4示出了根据本发明一个实施例的训练预定分割网络的方法400的流程图。

如图4，方法400始于步骤S410，将训练图像输入初始分割网络，生成分割结果图。

首先，收集具有人像的图像作为训练图像。

为了更有效利用现有的数据，需要对现有的训练数据(即，初始训练图像)进行一定的增广。一般地，对初始训练图像进行预处理以生成预处理后的图像，预处理操作包括镜面反转、图像旋转、图像尺度缩放、图像亮度的gamma变换等等。当然，也可以直接收集具有人像的图像作为训练图像，而不进行预处理，此时，需要收集的训练图像能够包含各种人像姿态、衣服穿着、背景与人物的遮挡关系、光照变化等情况。本发明的实施例对此不再做限制。

其次，确定要输入网络的训练图像的分辨率大小。

输入图像的分辨率对于网络前向速度影响很大，同时还使得内存占用变高，但图像分辨率太小又会失去细节信息，根据本发明的实施例，按照预处理后的图像的复杂度确定预处理后的图像的分辨率，再根据所确定的分辨率生成训练图像。可选地，图像的复杂度根据图像所包含的高频信息确定。

根据本发明的实施例，通过实验得到一个平衡处理速度和效果的图像分辨率大小：若确定预处理后的图像是复杂图像，则该预处理后的图像的分辨率为640×480；若确定预处理后的图像不是复杂图像，则该预处理后的图像的分辨率为320×240。其他具体需求的应用会在这个范围内进行调整。本发明的实施例只是给出一个示例性的实施方式，对此并不作限制。

然后，将训练图像输入初始分割网络，生成分割结果图。初始分割网络的网络结构可参考预定分割网络200。

随后在步骤S420中，以第一计算方式根据分割结果图与预先标定的分割结果图(即，标准分割结果)计算第一训练误差。即，计算本次训练的分割结果图与预先标定的分割结果图相比的分割损失。可选地，第一计算方式采用传统的二分类逻辑回归方法。当然，本发明对第一计算方式具体采用何种方法/选用何种损失函数，并不做限制。

随后在步骤S430中，结合分割结果图和原始图像生成第一分割图。根据本发明的一个实施例，分割结果图以蒙版图的形式示出，如图5B所示。通过将分割结果图与原始图像融合生成的第一分割图能够完整地展示根据本次训练结果得到的分割效果。

随后在步骤S440中，结合预先标定的分割结果图和原始图像生成第二分割图。即，第二分割图展示了标准的(或称为真实的)分割效果图。

随后在步骤S450中，以第二计算方式根据第一分割图和第二分割图计算第二训练误差。第二计算方式采用生成对抗网络(GAN)的方法。以第二分割图作为真实图片(realimage)，以第一分割图作为伪图片(fake image)，将二者一并输入判别器中，输出一个表示输入是自然图片或者伪造图片的二分类置信度。其中，生成对抗网络包括生成器G和判别器D，其最终的损失函数定义为：

式中，P_data(x)是第二分割图的样本分布，P_z(z)是第一分割图的样本分布，D(·)表示判别器的输出结果，G(·)表示生成器的输出结果。该损失函数代表要最大化判别器D的区分度，最小化生成器G与真实数据的数据分布。

选用GAN的方式作为损失函数可以更多地关注整体信息，使得背景的误检减少，并且使得分割结果的过渡比较平缓。关于GAN的应用和描述较多，此处不再做展开描述。

随后在步骤S460中，根据第一训练误差和第二训练误差对初始分割网络进行优化。根据上述步骤对分割网络进行多次优化，直至满足预定条件，得到最终的预定分割网络200。

根据本发明的人像分割方案，不需要对待处理图像进行人脸检测或人脸关键点定位或人体关键点定位等预处理，直接将待处理图像输入预定分割网络进行分割处理，大大简化了算法步骤。另外，根据本发明的预定分割网络针对移动终端进行神经网络模型的优化，以输入图像分辨率为640×480、测试环境为Ubuntu 14.0，GPU为GTX1080为例，一次分割计算的时间约20.03ms，运行时间大大缩短。

并且，根据本发明的人像分割方案不受复杂背景、衣服穿着、人物姿态、光照变化等的影响，具有很好的分割效果。如图5A～图5B，图6A～图6B，图7A～图7B分别示出了三组输入原图与输出的分割结果图的对比示意图，其中，图5A、图6A和图7A是输入预定分割网络的图像，图5B、图6B和图7B是对应的经预定分割网络处理后输出的分割结果图。可以看出，根据本发明的人像分割方案能够取得很好的分割效果。

应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

本发明一并公开了：

A9、如A7或8所述的方法，其中，图像的复杂度根据图像的高频信息确定。

A10、如A7-9中任一项所述的方法，其中，所述按照预处理后图像的复杂度确定所述预处理后的图像的分辨率的步骤包括：若所述预处理后的图像是复杂图像，则确定该预处理后的图像的分辨率为640×480；以及若所述预处理后的图像不是复杂图像，则确定该预处理后的图像的分辨率为320×240。

A11、如A6-10中任一项所述的方法，其中，所述第一计算方式采用二分类逻辑回归方法。

A12、如A6-12中任一项所述的方法，其中，所述第二计算方式采用生成对抗网络方法。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如软盘、CD-ROM、硬盘驱动器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本发明的设备。

在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本发明所述的方法。

以示例而非限制的方式，计算机可读介质包括计算机存储介质和通信介质。计算机可读介质包括计算机存储介质和通信介质。计算机存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在计算机可读介质的范围之内。

此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。

如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (13)

1.一种人像分割方法，适于在移动终端中执行，所述方法利用预定分割网络对待处理图像进行分割处理，其中，所述预定分割网络包括编码阶段和解码阶段：

所述编码阶段包括第一数目对依次连接的一个卷积层和下采样层，且每一对卷积层和下采样层形成一个卷积-下采样对，其中，

所述卷积层适于提取经上一个卷积-下采样对输出的特征图以生成该层的特征图，其中，输入第一个卷积-下采样对的特征图为待处理图像；

所述下采样层适于对该层的特征图进行下采样处理，生成该层的下采样特征图；

经第一数目个卷积-下采样对迭代后，输出编码阶段的下采样特征图；以及

所述解码阶段包括第一数目对依次连接的一个卷积层和上采样层，且每一对卷积层和上采样层形成一个卷积-上采样对，其中，

所述卷积层适于提取经上一个卷积-上采样对输出的特征图以生成该层的特征图，其中，输入第一个卷积-上采样对的特征图为编码阶段的下采样特征图；

所述上采样层适于，通过转置卷积对该层的特征图进行上采样处理以得到第一上采样特征图，对对应卷积-下采样对的下采样特征图进行上采样处理以得到第二上采样特征图；以及，将所述第一上采样特征图和第二上采样特征图进行融合，生成该层的上采样特征图；

在经第一数目个卷积-上采样对迭代后，输出分割结果图。

2.如权利要求1所述的方法，其中，所述卷积层中包含多个卷积单元，所述卷积单元中的卷积核依次为1×1、3×3和1×1。

3.如权利要求2所述的方法，其中，所述卷积单元为bottleneck结构。

4.如权利要求1-3中任一项所述的方法，还包括为每个上采样层分配对应下采样层的步骤：

第一个卷积-上采样对的上采样层与最后一个卷积-下采样对的下采样层相对应；

第二个卷积-上采样对的上采样层与倒数第二个卷积-下采样对的下采样层相对应；以及

按上述对应关系依次为每个上采样层分配对应的下采样层。

5.如权利要求1-3中任一项所述的方法，还包括训练预定分割网络的步骤：

将训练图像输入初始分割网络，生成分割结果图；

以第一计算方式根据所述分割结果图与预先标定的分割结果图计算第一训练误差；

结合所述分割结果图和原始图像生成第一分割图；

结合所述预先标定的分割结果图和原始图像生成第二分割图；

以第二计算方式根据所述第一分割图和第二分割图计算第二训练误差；以及

根据所述第一训练误差和第二训练误差对所述初始分割网络进行优化，直至满足预定条件，得到预定分割网络。

6.如权利要求5所述的方法，其中，在所述将训练图像输入初始分割网络、生成分割结果图的步骤之前，还包括生成训练图像的步骤：

对初始训练图像进行预处理以生成预处理后的图像；

按照预处理后的图像的复杂度确定所述预处理后的图像的分辨率；以及

根据所确定的分辨率生成训练图像。

7.如权利要求6所述的方法，其中，所述预处理包括以下处理中的一种或多种：镜面反转、图像旋转、图像尺度缩放、图像亮度的gamma变换。

8.如权利要求6所述的方法，其中，图像的复杂度根据图像的高频信息确定。

9.如权利要求6所述的方法，其中，所述按照预处理后图像的复杂度确定所述预处理后的图像的分辨率的步骤包括：

若所述预处理后的图像是复杂图像，则确定该预处理后的图像的分辨率为640×480；以及

若所述预处理后的图像不是复杂图像，则确定该预处理后的图像的分辨率为320×240。

10.如权利要求5所述的方法，其中，所述第一计算方式采用二分类逻辑回归方法。

11.如权利要求5所述的方法，其中，所述第二计算方式采用生成对抗网络方法。

12.一种移动终端，包括：

一个或多个处理器；和

存储器；

一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1-11所述方法中的任一方法的指令。

13.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当移动终端执行时，使得所述移动终端执行根据权利要求1-11所述的方法中的任一方法。

Images