CN109493350B - 人像分割方法及装置 - Google Patents

Abstract

本发明涉及图像分割技术领域，提供一种人像分割方法及装置。其中，人像分割方法包括：对原始图像进行预处理，获得待处理图像；利用训练好的人像分割模型对待处理图像进行处理，获得人像分割模型输出的人像分割掩膜，其中，人像分割模型包括编码器以及与编码器连接的解码器，编码器用于利用普通卷积、深度可分离卷积以及带洞卷积提取待处理图像的图像特征，解码器用于根据图像特征生成人像分割掩膜；根据人像分割掩膜从原始图像中分割出人像。上述方法不依赖于特定设备，其适用范围较广，实施成本较低。同时，该方法运算量较小，人像分割的效率较高，并且分割结果具有较好的鲁棒性。

Description

人像分割方法及装置

技术领域

本发明涉及图像分割技术领域，具体而言，涉及一种人像分割方法及装置。

背景技术

人像分割是一种将图像中的人像从背景中分离出来的技术，在当今智能手机和数码摄像机中的人像背景虚化、摄像中的绿幕或蓝幕摄影、图像背景替换等诸多领域都具有广泛的应用。但目前的人像分割算法普遍依赖于特定设备，例如绿幕或蓝幕、双摄像头、景深摄像头等，其实施成本较高，并且这些算法普遍非常复杂，执行效率低下，无法满足一些实际应用的需求。

发明内容

有鉴于此，本发明实施例提供一种人像分割方法及装置，其不依赖于特定设备，并且具有较高的执行效率，从而可以改善上述技术问题。

为实现上述目的，本发明提供如下技术方案：

第一方面，本发明实施例提供一种人像分割方法，包括：

对原始图像进行预处理，获得待处理图像；

利用训练好的人像分割模型对待处理图像进行处理，获得人像分割模型输出的人像分割掩膜，其中，人像分割模型包括编码器以及与编码器连接的解码器，编码器用于利用普通卷积、深度可分离卷积以及带洞卷积提取待处理图像的图像特征，解码器用于根据图像特征生成人像分割掩膜；

根据人像分割掩膜从原始图像中分割出人像。

第二方面，本发明实施例提供一种人像分割装置，包括：

图像获取模块，用于对原始图像进行预处理，获得待处理图像；

掩膜获取模块，用于利用训练好的人像分割模型对待处理图像进行处理，获得人像分割模型输出的人像分割掩膜，其中，人像分割模型包括编码器以及与编码器连接的解码器，编码器用于利用普通卷积、深度可分离卷积以及带洞卷积提取待处理图像的图像特征，解码器用于根据图像特征生成人像分割掩膜；

人像分割模块，用于根据人像分割掩膜从原始图像中分割出人像。

第三方面，本发明实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序指令，计算机程序指令被处理器读取并运行时，执行本发明实施例提供的方法的步骤。

第四方面，本发明实施例提供一种电子设备，包括存储器以及处理器，存储器中存储有计算机程序指令，计算机程序指令被处理器读取并运行时，执行本发明实施例提供的方法的步骤。

本发明的技术方案至少具有以下有益效果：

第一，本发明实施例提供的人像分割方法不依赖于特定设备，即是一种平台无关的通用方法，其适用范围较广，实施成本较低。

第二，本发明实施例提供的人像分割方法在通过编码器进行特征提取时结合了普通卷积、深度可分离卷积以及带洞卷积的特点，显著降低了卷积神经网络的运算量，使得人像分割的效率得到明显提升，同时，模型具有较好的鲁棒性，人像分割效果较好。

为使本发明的上述目的、技术方案和有益效果能更明显易懂，下文特举实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了一种可应用于本发明实施例中的电子设备的结构框图；

图2示出了本发明实施例提供的一种人像分割方法的流程图；

图3示出了本发明实施例提供的一种人像分割模型的结构示意图；

图4示出了本发明实施例提供的一种反转残差块的结构示意图；

图5示出了本发明实施例提供的一种人像分割装置的功能模块图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于将一个实体或者操作与另一个实体或操作区分开来，而不能理解为指示或暗示相对重要性，也不能理解为要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

图1示出了一种可应用于本发明实施例中的电子设备100的结构框图。参照图1，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108以及图像采集装置110，这些组件通过总线系统112和/或其他形式的连接机构(未示出)互连。

处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备100中的其他组件以执行期望的功能。

存储装置104可以各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行计算机程序指令，以实现下文的本发明实施例中的方法以及/或者其他期望的功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据，例如应用程序使用和/或产生的各种数据等。

输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

可以理解，图1所示的结构仅为示意，电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。于本发明实施例中，电子设备100可以是服务器、个人计算机、移动设备、智能穿戴设备、车载设备等设备，也可以不限于物理设备，例如可以是虚拟机、云服务器等。

图2示出了本发明实施例提供的一种人像分割方法的流程图。该方法使用一个已经训练好的卷积神经网络进行人像分割，称此卷积神经网络为人像分割模型。参照图2，该方法包括：

步骤S20：对原始图像进行预处理，获得待处理图像。

原始图像即要进行人像分割图像，原始图像中可以包含人像，待处理图像为原始图像经过预处理后获得的图像。

在步骤S21中，会将待处理图像输入至人像分割模型，针对不同的实施方式，该模型对于输入的待处理图像的属性可能会有一些要求，待处理图像应当符合这些要求模型才能够正确处理。然而，有时直接获得的原始图像并不能满足这些要求，因此需要对原始图像进行预处理，使其转化为待处理图像，图3中的图像预处理方框即步骤S20。

在一种情况下，人像分割模型要求输入图像的尺寸为预设尺寸，例如128x128，如果原始图像不是预设尺寸，应当将其调整为预设尺寸，以便人像分割模型能够正确处理。

在一种情况下，人像分割模型要求输入图像的像素值应当归一化，例如，像素值应当为[0，1]之间的实数，如果尺寸调整后的图像的像素值未归一化，应当将其归一化，例如，尺寸调整后的图像的像素值表示为[0，255]之间的整数，可以通过除以255的方式进行归一化，以便人像分割模型能够正确处理。可以理解的，归一化可以有不同的定义，例如在另一种归一化的定义中，像素值应当为[－1，1]之间的实数，针对不同的归一化定义，归一化的方式应当相应地调整。

在一种情况下，人像分割模型要求输入图像的颜色通道的顺序为预设顺序(如果输入图像为黑白图像可以忽略此问题)。该预设顺序是由人像分割模型的训练方式决定的，例如训练集中的训练样本的颜色通道的顺序均为RGB(红绿蓝)顺序，则可以理解的，人像分割模型在使用时，输入图像的颜色通道顺序也应当为RGB顺序，如此才能体现训练的意义，获得良好的分割结果。如果像素值归一化后的图像的颜色通道的顺序不是预设顺序，应当将其调整为预设顺序，例如像素值归一化后的图像的颜色通道的顺序为BGR顺序，应当将其调整为RGB顺序。

经上述预处理步骤后，获得的图像即为待处理图像。可以理解的，以上几个预处理步骤的执行顺序不限于上述执行顺序，例如，也可以先将原始图像的像素值归一化，再调整图像的尺寸等等。还需要指出，以上几个预处理步骤不是必然需要执行的，例如原始图像本来就为预设尺寸，则无需调整图像的尺寸，人像分割模型并不要求像素值归一化，则无需将像素值归一化，原始图像的颜色通道的顺序本来就为预设顺序，则无需调整颜色通道的顺序。特别地，如果已经确定原始图像就能够满足人像分割模型的全部要求，可以直接将原始图像确定为待处理图像，此时预处理步骤至多包含一些对原始图像的属性的验证过程甚至可以不包含任何具体内容。

步骤S21：利用训练好的人像分割模型对待处理图像进行处理，获得人像分割模型输出的人像分割掩膜。

参照图3，人像分割模型包括编码器以及与编码器连接的解码器，编码器用于利用普通卷积、深度可分离卷积以及带洞卷积提取待处理图像的图像特征，解码器用于根据编码器输出的图像特征生成人像分割掩膜(Mask)，此处的连接是指编码器的输出按照正常的数据流向会输入至解码器，后文中的连接一词均应当类似理解。在图像分割领域，掩膜可以实现为，但不限于实现为二值图像，例如，每个像素值只能取0或1，用1表示该像素值属于前景(对于人像分割而言前景就是人像)，用0表示该像素值属于背景。

继续参照图3，在一种实现方式中，编码器可以进一步包括依次连接的普通卷积模块、至少一个反转残差块以及带洞卷积模块。

普通卷积模块包括依次连接的至少一个第一卷积层，每个第一卷积层均采用普通卷积进行特征提取，第一卷积层采用何种卷积核不作限定，例如可以采用1x1、3x3、5x5等尺寸的卷积核。

至少一个反转残差块中的每个反转残差块均包括依次连接的第二卷积层、第三卷积层以及第四卷积层，其中，第二卷积层采用输出通道数不小于输入通道数的逐点卷积(pointwiseconvolution)，第三卷积层采用逐层卷积(depthwiseconvolution)，第四卷积层采用输出通道数不大于输入通道数的逐点卷积，并且，第四卷积层的输出通道数不小于第二卷积层的输入通道数。

图4示出了本发明实施例提供的一种反转残差块的结构示意图。参照图4，左侧的方框为第二卷积层，中间的方框为第三卷积层，右侧的方框为第四卷积层，BN表示批标准化(Batch Normalization)，ReLU和Linear均为激活函数。

第二卷积层的作用是升维，即提升输入的特征图的通道数量，例如在图4中，输入特征图的通道数为Cin，则经过第二卷积层后，通道数提升为升维倍数xCin，其中升维倍数为大于等于1的整数。

第三卷积层针对每个通道独立地进行卷积运算。为提高运算速度，在一些实现方式中，第三卷积层的卷积步进(stride)可以设置为大于1的整数，在另一些实现方式中，为获得较大的感受野，第三卷积层可以采用带洞卷积(dilatedconvolution)，其扩张率(dilationrate)为大于1的整数(扩张率为1可以认为就是普通卷积)，当然在一些实现方式中，第三卷积层也可以既采用带洞卷积同时又将步进设置为大于1的整数。

第四卷积层的作用是降维，即降低输入的特征图的通道数量，但降维后的第四卷积层的输出通道数不低于反转残块的输入通道数(即第二卷积层的输入通道数)，例如在图4中，输入特征图的通道数为升维倍数xCin，则经过第四卷积层后，输出特征图的通道数Cout下降为约等于(等于或略大于)反转残差块的输入通道数Cin，其中降维倍数(图未示出)为大于等于1的整数，但降维倍数不大于升维倍数。

在反转残差块中，第三卷积层和第四卷积层可以视为构成了深度可分离卷积，因此反转残差块能够在保证特征提取效果的同时大幅降低运算量和参数数量。

下表给出了图3中普通卷积(即第一卷积层)以及反转残差块的具体构成方式。其中，升维倍数即上面提到的反转残差块的升维倍数，输出通道数表示某个组件输出的特征图的通道数，复制倍数表示某个组件使用的次数，例如某个反转残差块的复制倍数为2，表示该反转残差块在人像分割模型中使用了2次，步进表示某个组件中卷积层的步进，对于反转残差块来说，步进是指第三卷积层的步进，扩张率是指第三卷积层在采用带洞卷积时的扩张率。

表1

带洞卷积模块包括第五卷积层，至少一个第六卷积层，池化单元以及第七卷积层，第五卷积层采用逐点卷积，每个第六卷积层均采用带洞卷积且扩张率逐个增大，池化单元包括依次连接的第一池化层以及第一上采样层，第七卷积层采用逐点卷积。其中，第一池化层的池化方式不作限定，例如可以是最大池化、平均池化等。第一上采样层的上采样方式也不作限定，例如可以是双线性差值、最近邻插值等。

参照图3，在带洞卷积模块中，第五卷积层的卷积核尺寸为1x1，第六卷积层一共有3个，卷积核尺寸均为3x3，扩张率分别为6、12、18逐渐增大，第一池化层采用8x8的平均池化，第一上采样层采用8倍上采样，第七卷积层的卷积核尺寸为1x1。

第五卷积层、每个第六卷积层以及池化单元分别对带洞卷积模块的输入特征图进行处理(相当于多个并列的处理分支)，其输出的特征图拼接后，利用第七卷积层进行通道融合。

在上述带洞卷积模块中，通过采用带洞卷积，在计算资源有限的情况下，有效扩大了特征提取时的感受野，并且通过融合不具有不同感受野的特征，使获得的图像特征更加鲁棒与完整，有利于改善模型质量，提高人像分割精度。

继续参照图3，在一种实现方式中，解码器可以进一步包括依次连接的至少一个上采样模块以及分类器，图3中示出了两个上采样模块。在编码器中，因为设置了卷积步进，导致编码器输出的特征图(图3中为带洞卷积模块输出的特征图)尺寸相对于待处理图像已经缩小了若干倍，可以通过上采样模块对编码器输出的特征图进行放大，例如放大为和待处理图像相同的尺寸，以便生成尺寸合适的人像分割掩膜。

分类器对最后一个上采样模块输出的特征图进行逐像素二分类，以生成人像分割掩膜。例如，该特征图中的每个像素的像素值(即该像素属于人像的概率)大于0.5的就将其分类为人像，同时将人像分割掩膜的对应像素置为1，否则分类为背景，同时将人像分割掩膜的对应像素置为0。

进一步的，每个上采样模块可以包括依次连接的加法单元、第八卷积层以及第二上采样层，其中，加法单元用于对该上采样模块输入的特征图以及一个反转残差块输出的特征图进行通道拼接，以便将低层次的特征引入到上采样部分，若该上采样模块为最接近编码器的上采样模块，上述输入特征图是指编码器输出的特征图，若该上采样模块为其他上采样模块，上述输入特征图是指它的上一个采样模块输出的特征图。越靠近分类器的上采样模块，其引入的特征层次越低，即该特征对应的反转残差块越接近普通卷积模块。第八卷积层用于对拼接后的特征图进行通道融合与特征变换，在图3中，第八卷积层可以采用1x1、3x3、5x5等卷积核。第二上采样层用于放大特征图，每个上采样模块的第二上采样层的上采样倍数可以不同，在图3中，两个上采样层的上采样倍数分别是4倍和8倍。第二上采样层的上采样方式不作限定，例如可以是双线性差值、最近邻插值等。

人像分割模块应当在进行人像分割前训练好，以便在进行人像分割时直接将待处理图像输入至该模型，就可以获得模型输出的人像分割掩膜。

需要指出，图3、图4以及表1示出的人像分割模型中的参数，例如卷积核的尺寸(明确说明是逐点卷积的除外)、扩张率、步进、上采样倍数等都是可调的。而模型的结构，例如反转残差块的总个数，每种反转残差块的个数，各卷积层之间的顺序等也是可调的。因此，以上图表仅仅是为便于阐述所举的示例，并不应当视为对本发明保护范围的限制。

步骤S22：根据人像分割掩膜从原始图像中分割出人像。

若人像分割掩膜的尺寸恰好和原始图像相同，直接将人像分割掩膜与原始图像进行匹配就可以从中分割出人像，例如，将人像分割掩膜中所有像素值为1的位置在原始图像中对应的像素保留，所有像素值为0的位置在原始图像中对应的像素设置为0或者其他预设的数值，最终获得的图像即人像分割结果，图3中的图像后处理方框即步骤S22。若人像分割掩膜的尺寸和原始图像不同，则应该先将人像分割掩膜的尺寸调整为原始图像的尺寸，然后再将人像分割掩膜与原始图像进行匹配，可以采用的匹配方法上面已经阐述，不再重复。

综上所述，本发明实施例提供的人像分割方法在通过编码器进行特征提取时结合了普通卷积、深度可分离卷积以及带洞卷积的特点，通过深度可分离卷积显著降低了卷积神经网络的运算量，使得人像分割的效率得到明显提升，同时，通过带洞卷积扩大感受野，并进行了多尺度的特征融合，使得最终获得的模型具有较好的鲁棒性，并且人像分割精度较高。

另一方面，上述人像分割方法不依赖于特定设备，即是一种平台无关的通用方法，其适用范围较广，实施成本较低。

原始图像的来源有多种方式，例如可以来自摄像头直接采集的照片或视频，也可以来自预先制作好的图像数据库。若原始图像来自图像序列(包括视频或有序的图片)中的一帧，为使得人像分割的结果更加平滑，在分割时可以引入上一帧的分割信息。

为便于阐述，假设原始图像的颜色通道的顺序经过了调整并且已经调整完毕，可以在当前图像的颜色通道之后新增一个通道，若原始图像是图像序列中的第一帧，将新增的通道的每个像素值均设置为预设数值，例如1，若原始图像不是图像序列中的第一帧，将新增的通道设置为原始图像的上一帧进行人像分割(如采用步骤S20至步骤S22的方法)后产生的上一个人像分割掩膜，如果上一个人像分割掩膜的尺寸与当前图像的尺寸不同，可以调整掩膜尺寸后再将其设置为新增的通道。将新增通道后的图像作为待处理图像输入至人像分割模型进行处理，可以获得更加平滑的分割结果。

以上阐述时以原始图像为彩色图像的情况为例，黑白图像增加通道的情况也是类似的，因为黑白图像可以视为颜色通道只有一个的彩色图像。

本发明实施例还提供一种人像分割装置300，图5示出了该装置的功能模块图。参照图5，该装置包括：

图像获取模块310，用于对原始图像进行预处理，获得待处理图像；

掩膜获取模块320，用于利用训练好的人像分割模型对待处理图像进行处理，获得人像分割模型输出的人像分割掩膜，其中，人像分割模型包括编码器以及与编码器连接的解码器，编码器用于利用普通卷积、深度可分离卷积以及带洞卷积提取待处理图像的图像特征，解码器用于根据图像特征生成人像分割掩膜；

人像分割模块330，用于根据人像分割掩膜从原始图像中分割出人像。

本发明实施例提供的人像分割装置300，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法施例中的相应内容。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序指令，计算机程序指令被处理器读取并运行时，执行本发明实施例提供的人像分割方法的步骤。该计算机可读存储介质可以实现为，但不限于图1示出的存储装置104。

本发明实施例还提供一种电子设备，包括存储器以及处理器，存储器中存储有计算机程序指令，计算机程序指令被处理器读取并运行时，执行本发明实施例提供的人像分割方法的步骤。该电子设备可以实现为，但不限于图1示出的电子设备100。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其他的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得计算机设备执行本发明各个实施例所述方法的全部或部分步骤。前述的计算机设备包括：个人计算机、服务器、移动设备、智能穿戴设备、网络设备、虚拟设备等各种具有执行程序代码能力的设备，前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟、磁带或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.一种人像分割方法，其特征在于，包括：

对原始图像进行预处理，获得待处理图像；

所述对原始图像进行预处理的方法为：

在当前图像的颜色通道之后新增一个通道；

若所述原始图像是图像序列中的第一帧，将新增的通道的每个像素值均设置为预设数值；若所述原始图像不是图像序列中的第一帧，将新增的通道设置为所述原始图像的上一帧进行人像分割后产生的上一个人像分割掩膜；

利用训练好的人像分割模型对所述待处理图像进行处理，获得所述人像分割模型输出的人像分割掩膜，其中，所述人像分割模型包括编码器以及与所述编码器连接的解码器，所述编码器用于利用普通卷积、深度可分离卷积以及带洞卷积提取所述待处理图像的图像特征，所述解码器用于根据所述图像特征生成所述人像分割掩膜；

根据人像分割掩膜从所述原始图像中分割出人像；

所述编码器包括依次连接的普通卷积模块、至少一个反转残差块以及带洞卷积模块；

所述普通卷积模块包括依次连接的至少一个第一卷积层，每个第一卷积层均采用普通卷积；

所述至少一个反转残差块中的每个反转残差块均包括依次连接的第二卷积层、第三卷积层以及第四卷积层，其中，所述第二卷积层采用输出通道数不小于输入通道数的逐点卷积，所述第三卷积层采用逐层卷积，所述第四卷积层采用输出通道数不大于输入通道数且输出通道数不小于所述第二卷积层的输入通道数的逐点卷积；

所述带洞卷积模块包括第五卷积层，至少一个第六卷积层，池化单元以及第七卷积层，所述第五卷积层采用逐点卷积，每个第六卷积层均采用带洞卷积且扩张率逐个增大，所述池化单元包括依次连接的第一池化层以及第一上采样层，所述第七卷积层采用逐点卷积，其中，所述第五卷积层、每个第六卷积层以及所述池化单元分别对所述带洞卷积模块的输入特征图进行处理，所述第七卷积层用于对所述第五卷积层、每个第六卷积层以及所述池化单元输出的特征图进行通道融合。

2.根据权利要求1所述的人像分割方法，其特征在于，所述第三卷积层采用带洞的逐层卷积，和/或，所述第三卷积层采用步进大于1的逐层卷积。

3.根据权利要求1所述的人像分割方法，其特征在于，所述解码器包括依次连接的至少一个上采样模块以及分类器，每个上采样模块均包括依次连接的加法单元、第八卷积层以及第二上采样层，其中，所述加法单元用于对该上采样模块输入的特征图以及一个反转残差块输出的特征图进行通道拼接，该上采样模块输入的特征图是指所述编码器输出的特征图或上一个采样模块输出的特征图，所述分类器用于对最后一个上采样模块输出的特征图逐像素二分类，以生成所述人像分割掩膜。

4.根据权利要求1－3中任一项所述的人像分割方法，其特征在于，所述对原始图像进行预处理，包括：

将所述原始图像的尺寸调整为预设尺寸，其中，所述预设尺寸是指所述人像分割模型要求的输入图像的尺寸。

5.根据权利要求4所述的人像分割方法，其特征在于，所述将所述原始图像的尺寸调整为预设尺寸之后，所述方法还包括：将尺寸调整后的图像的像素值归一化。

6.根据权利要求5所述的人像分割方法，其特征在于，所述将尺寸调整后的图像的像素值归一化之后，所述方法还包括：

将像素值归一化后的图像的颜色通道的顺序调整为预设顺序，其中，所述预设顺序是指训练所述人像分割模型时使用的训练样本的颜色通道的顺序。

7.根据权利要求1－3中任一项所述的人像分割方法，其特征在于，所述根据人像分割掩膜从所述原始图像中分割出人像，包括：

将所述人像分割掩膜的尺寸调整为所述原始图像的尺寸；根据尺寸调整后的人像分割掩膜从所述原始图像中分割出人像。

8.一种人像分割装置，其特征在于，包括：

图像获取模块，用于对原始图像进行预处理，获得待处理图像；

所述对原始图像进行预处理的方法为：

在当前图像的颜色通道之后新增一个通道；

若所述原始图像是图像序列中的第一帧，将新增的通道的每个像素值均设置为预设数值；若所述原始图像不是图像序列中的第一帧，将新增的通道设置为所述原始图像的上一帧进行人像分割后产生的上一个人像分割掩膜；

掩膜获取模块，用于利用训练好的人像分割模型对所述待处理图像进行处理，获得所述人像分割模型输出的人像分割掩膜，其中，所述人像分割模型包括编码器以及与所述编码器连接的解码器，所述编码器用于利用普通卷积、深度可分离卷积以及带洞卷积提取所述待处理图像的图像特征，所述解码器用于根据所述图像特征生成所述人像分割掩膜；

人像分割模块，用于根据人像分割掩膜从所述原始图像中分割出人像；

所述编码器包括依次连接的普通卷积模块、至少一个反转残差块以及带洞卷积模块；

所述普通卷积模块包括依次连接的至少一个第一卷积层，每个第一卷积层均采用普通卷积；

所述至少一个反转残差块中的每个反转残差块均包括依次连接的第二卷积层、第三卷积层以及第四卷积层，其中，所述第二卷积层采用输出通道数不小于输入通道数的逐点卷积，所述第三卷积层采用逐层卷积，所述第四卷积层采用输出通道数不大于输入通道数且输出通道数不小于所述第二卷积层的输入通道数的逐点卷积；

所述带洞卷积模块包括第五卷积层，至少一个第六卷积层，池化单元以及第七卷积层，所述第五卷积层采用逐点卷积，每个第六卷积层均采用带洞卷积且扩张率逐个增大，所述池化单元包括依次连接的第一池化层以及第一上采样层，所述第七卷积层采用逐点卷积，其中，所述第五卷积层、每个第六卷积层以及所述池化单元分别对所述带洞卷积模块的输入特征图进行处理，所述第七卷积层用于对所述第五卷积层、每个第六卷积层以及所述池化单元输出的特征图进行通道融合。

Images