CN110796147B - 图像分割方法及相关产品 - Google Patents

Abstract

本申请实施例公开了一种图像分割方法及相关产品，所述方法包括：获取目标图像，所述目标图像中包括预设目标；将所述目标图像输入到预设语义分割网络，得到目标分割结果，所述预设语义分割网络包括空间路径模块、上下文路径模块、特征融合模块、第一连接模块和卷积模块。采用本申请实施例能够提升图像分割精度。

Description

图像分割方法及相关产品

技术领域

本申请涉及图像处理技术领域，具体涉及一种图像分割方法及相关产品。

背景技术

随着电子设备(如手机、平板电脑等等)的大量普及应用，电子设备能够支持的应用越来越多，功能越来越强大，电子设备向着多样化、个性化的方向发展，成为用户生活中不可缺少的电子用品。

目前来看，图像处理技术越来越流行，尤其是语义分割网络虽然能够实现图像分割，但是分割精度存在一定的局限性，因此，如何提升语音分割网络的分割精度的问题亟待解决。

发明内容

本申请实施例提供了一种图像分割方法及相关产品，能够提升图像分割精度。

第一方面，本申请实施例提供一种图像分割方法，所述方法包括：

获取目标图像，所述目标图像中包括预设目标；

将所述目标图像输入到预设语义分割网络，得到目标分割结果，所述预设语义分割网络包括空间路径模块、上下文路径模块、特征融合模块、第一连接模块和卷积模块，所述空间路径模块包括2倍下采样卷积层和第一4倍下采样卷积层，所述上下文路径模块包括第二4倍下采样卷积层、8倍下采样卷积层、16倍下采样卷积层、32倍下采样卷积层和第二连接模块，其中，所述8倍下采样卷积层、所述16倍下采样卷积层和所述32倍下采样卷积层均通过一个注意力优化模块与所述第二连接模块进行连接，所述第一4倍下采样卷积层与所述第二连接模块连接所述特征融合模块，所述特征融合模块连接所述第二连接模块以及所述2倍下采样卷积层通过解码器连接所述第二连接模块，所述第二连接模块连接所述卷积模块。

第二方面，本申请实施例提供一种图像分割装置，所述装置包括：

获取单元，用于获取目标图像，所述目标图像中包括预设目标；

分割单元，用于将所述目标图像输入到预设语义分割网络，得到目标分割结果，所述预设语义分割网络包括空间路径模块、上下文路径模块、特征融合模块、第一连接模块和卷积模块，所述空间路径模块包括2倍下采样卷积层和第一4倍下采样卷积层，所述上下文路径模块包括第二4倍下采样卷积层、8倍下采样卷积层、16倍下采样卷积层、32倍下采样卷积层和第二连接模块，其中，所述8倍下采样卷积层、所述16倍下采样卷积层和所述32倍下采样卷积层均通过一个注意力优化模块与所述第二连接模块进行连接，所述第一4倍下采样卷积层与所述第二连接模块连接所述特征融合模块，所述特征融合模块连接所述第二连接模块以及所述2倍下采样卷积层通过解码器连接所述第二连接模块，所述第二连接模块连接所述卷积模块。

第三方面，本申请实施例提供了一种电子设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面中的步骤的指令。

第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。

第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

实施本申请实施例，具备如下有益效果：

可以看出，本申请实施例中所描述的图像分割方法及相关产品，获取目标图像，目标图像中包括预设目标，将目标图像输入到预设语义分割网络，得到目标分割结果，预设语义分割网络包括空间路径模块、上下文路径模块、特征融合模块、第一连接模块和卷积模块，空间路径模块包括2倍下采样卷积层和第一4倍下采样卷积层，上下文路径模块包括第二4倍下采样卷积层、8倍下采样卷积层、16倍下采样卷积层、32倍下采样卷积层和第二连接模块，其中，8倍下采样卷积层、16倍下采样卷积层和32倍下采样卷积层均通过一个注意力优化模块与第二连接模块进行连接，第一4倍下采样卷积层与第二连接模块连接特征融合模块，特征融合模块连接第二连接模块以及2倍下采样卷积层通过解码器连接第二连接模块，第二连接模块连接卷积模块，该预设语义分割网络能够通过空间路径模块来保留空间信息，以及通过上下文路径模块来扩大感受野，这样可以实现对图像的深层信息进行分割，另外，特征融合模块增加对空间路径模块以及上下文路径模块运算结果的浅层像素位置信息的利用，如此，对目标的深层以及浅层信息均加以利用，能够实现深度目标分割，提升了图像分割效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A是本申请实施例提供的一种双边语义分割网络的结构示意图；

图1B是本申请实施例提供的一种ARM模块的结构示意图；

图1C是本申请实施例提供的一种FFM模块的结构示意图；

图1D是本申请实施例提供的一种电子设备的结构示意图；

图1E是本申请实施例提供的一种图像分割方法的流程示意图；

图1F是本申请实施例提供的改进的双边语义分割网络的结构示意图；

图1G是本申请实施例提供的两种双边语义分割网络的分割效果演示示意图；

图2是本申请实施例提供的另一种图像分割方法的流程示意图；

图3是本申请实施例提供的另一种电子设备的结构示意图；

图4是本申请实施例提供的一种图像分割装置的功能单元组成框图。

具体实施方式

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请实施例所涉及到的电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备(智能手表、智能手环、无线耳机、增强现实/虚拟现实设备、智能眼镜)、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(userequipment，UE)，移动台(mobile station，MS)，终端设备(terminal device)等等。为方便描述，上面提到的设备统称为电子设备。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例中，预设语义分割网络可以为双边语义分割网络(bilateral segmentation network，BiSeNet)，相关技术中，BiSeNet的具体模型如图1A所示，该双边语义分割网络包括空间路径模块(spatial path)、上下文路径模块(contextpath)和特征融合模块(feature fusion module，FFM)，空间路径模块包括2倍下采样层(2x)、4倍下采样层(4x)和8倍下采样层(8x)，上下文路径模块包括：4倍下采样层(4x)、8倍下采样层(8x)、16倍下采样层(16x)、32倍下采样层(32x)以及连接模块(concatenate，concat)，16倍下采样层通过注意力优化模块(attention refinement module，ARM)连接连接模块，32倍下采样层还通过全局平均池化层(global average pooling)以及注意力优化模块分别连接乘法器(mul)，乘法器连接连接模块。空间路径模块的8倍下采样层的运算结果以及连接模块的运算结果均与注意力优化模块连接，再将注意力优化模块的运算结果进行2倍上采样，得到最终运算结果。

其中，16倍下采样层对应的ARM经过2倍上采样之后，连接连接模块，32倍下采样层对应的mul经过4倍上采样之后，连接连接模块。

其中，ARM模块的具体结构如图1B所示，可见，ARM模块主要由全局池化globalpool、1*1卷积、归一化层batch norm、激活函数sigmoid和乘法器mul组成，ARM模块借助全局平均池化捕获全局语境并计算注意力向量以指导特征学习，该设计可以优化ContextPath中每一阶段的输出特征，无需任何上采样操作即可轻易整合全局语境信息。

其中，FFM模块的具体结构如图1C所示，在FFM前得到的两条路径的输出特征尺寸不同，因此不能简单的相加。富含位置信息的空间路径SP特征和富含语义信息的上下文路径CP特征二者在不同的层次，因此需要FFM来融合，即对于给定的不同特征输入，首先将二者连接模块concat，然后利用批量归一化(batch normalization，BN)来调整特征的尺度，接着对concat结果进行池化，得到一个特征向量并计算一个权重向量，权重向量可以调整特征的权重，从而带来特征的选区和结合。

下面对本申请实施例进行详细介绍。

请参阅图1D，图1D是本申请实施例公开的一种电子设备的结构示意图，电子设备100包括存储和处理电路110，以及与所述存储和处理电路110连接的传感器170，其中：

电子设备100可以包括控制电路，该控制电路可以包括存储和处理电路110。该存储和处理电路110可以存储器，例如硬盘驱动存储器，非易失性存储器(例如闪存或用于形成固态驱动器的其它电子可编程只读存储器等)，易失性存储器(例如静态或动态随机存取存储器等)等，本申请实施例不作限制。存储和处理电路110中的处理电路可以用于控制电子设备100的运转。该处理电路可以基于一个或多个微处理器，微控制器，数字信号处理器，基带处理器，功率管理单元，音频编解码器芯片，专用集成电路，显示驱动器集成电路等来实现。

存储和处理电路110可用于运行电子设备100中的软件，例如互联网浏览应用程序，互联网协议语音(Voice over Internet Protocol,VOIP)电话呼叫应用程序，电子邮件应用程序，媒体播放应用程序，操作系统功能等。这些软件可以用于执行一些控制操作，例如，基于照相机的图像采集，基于环境光传感器的环境光测量，基于接近传感器的接近传感器测量，基于诸如发光二极管的状态指示灯等状态指示器实现的信息显示功能，基于触摸传感器的触摸事件检测，与在多个(例如分层的)显示屏上显示信息相关联的功能，与执行无线通信功能相关联的操作，与收集和产生音频信号相关联的操作，与收集和处理按钮按压事件数据相关联的控制操作，以及电子设备100中的其它功能等，本申请实施例不作限制。

电子设备100可以包括输入-输出电路150。输入-输出电路150可用于使电子设备100实现数据的输入和输出，即允许电子设备100从外部设备接收数据和也允许电子设备100将数据从电子设备100输出至外部设备。输入-输出电路150可以进一步包括传感器170。传感器170可以包括环境光传感器，基于光和电容的接近传感器，指纹识别模组，触摸传感器(例如，基于光触摸传感器和/或电容式触摸传感器，其中，触摸传感器可以是触控显示屏的一部分，也可以作为一个触摸传感器结构独立使用)，加速度传感器，摄像头，和其它传感器等，摄像头可以为前置摄像头或者后置摄像头，指纹识别模组可集成于显示屏下方，用于采集指纹图像。

输入-输出电路150还可以包括一个或多个显示屏，例如显示屏130。显示屏130可以包括液晶显示屏，有机发光二极管显示屏，电子墨水显示屏，等离子显示屏，使用其它显示技术的显示屏中一种或者几种的组合。显示屏130可以包括触摸传感器阵列(即，显示屏130可以是触控显示屏)。触摸传感器可以是由透明的触摸传感器电极(例如氧化铟锡(ITO)电极)阵列形成的电容式触摸传感器，或者可以是使用其它触摸技术形成的触摸传感器，例如音波触控，压敏触摸，电阻触摸，光学触摸等，本申请实施例不作限制。

电子设备100还可以包括音频组件140。音频组件140可以用于为电子设备100提供音频输入和输出功能。电子设备100中的音频组件140可以包括扬声器，麦克风，蜂鸣器，音调发生器以及其它用于产生和检测声音的组件。

通信电路120可以用于为电子设备100提供与外部设备通信的能力。通信电路120可以包括模拟和数字输入-输出接口电路，和基于射频信号和/或光信号的无线通信电路。通信电路120中的无线通信电路可以包括射频收发器电路、功率放大器电路、低噪声放大器、开关、滤波器和天线。举例来说，通信电路120中的无线通信电路可以包括用于通过发射和接收近场耦合电磁信号来支持近场通信(Near Field Communication，NFC)的电路。例如，通信电路120可以包括近场通信天线和近场通信收发器。通信电路120还可以包括蜂窝电话收发器和天线，无线局域网收发器电路和天线等。

电子设备100还可以进一步包括电池，电力管理电路和其它输入-输出单元160。输入-输出单元160可以包括按钮，操纵杆，点击轮，滚动轮，触摸板，小键盘，键盘，照相机，发光二极管和其它状态指示器等。

用户可以通过输入-输出电路150输入命令来控制电子设备100的操作，并且可以使用输入-输出电路150的输出数据以实现接收来自电子设备100的状态信息和其它输出。

基于图1D所描述的电子设备，能够实现如下功能：

获取目标图像，所述目标图像中包括预设目标；

将所述目标图像输入到预设语义分割网络，得到目标分割结果，所述预设语义分割网络包括空间路径模块、上下文路径模块、特征融合模块、第一连接模块和卷积模块，所述空间路径模块包括2倍下采样卷积层和第一4倍下采样卷积层，所述上下文路径模块包括第二4倍下采样卷积层、8倍下采样卷积层、16倍下采样卷积层、32倍下采样卷积层和第二连接模块，其中，所述8倍下采样卷积层、所述16倍下采样卷积层和所述32倍下采样卷积层均通过一个注意力优化模块与所述第二连接模块进行连接，所述第一4倍下采样卷积层与所述第二连接模块连接所述特征融合模块，所述特征融合模块连接所述第二连接模块以及所述2倍下采样卷积层通过解码器连接所述第二连接模块，所述第二连接模块连接所述卷积模块。

可以看出，本申请实施例中所描述的电子设备，获取目标图像，目标图像中包括预设目标，将目标图像输入到预设语义分割网络，得到目标分割结果，预设语义分割网络包括空间路径模块、上下文路径模块、特征融合模块、第一连接模块和卷积模块，空间路径模块包括2倍下采样卷积层和第一4倍下采样卷积层，上下文路径模块包括第二4倍下采样卷积层、8倍下采样卷积层、16倍下采样卷积层、32倍下采样卷积层和第二连接模块，其中，8倍下采样卷积层、16倍下采样卷积层和32倍下采样卷积层均通过一个注意力优化模块与第二连接模块进行连接，第一4倍下采样卷积层与第二连接模块连接特征融合模块，特征融合模块连接第二连接模块以及2倍下采样卷积层通过解码器连接第二连接模块，第二连接模块连接卷积模块，该预设语义分割网络能够通过空间路径模块来保留空间信息，以及通过上下文路径模块来扩大感受野，这样可以实现对图像的深层信息进行分割，另外，特征融合模块增加对空间路径模块以及上下文路径模块运算结果的浅层像素位置信息的利用，如此，对目标的深层以及浅层信息均加以利用，能够实现深度目标分割，提升了图像分割效率。

请参阅图1E，图1E是本申请实施例提供的一种图像分割方法的流程示意图，如图所示，应用于如图1D所示的电子设备，本图像分割方法包括：

101、获取目标图像，所述目标图像中包括预设目标。

其中，预设目标可以为人、动物(如猫、狗、熊猫等等)、物体(桌子、椅子、衣服)等等，在此不作限定。电子设备可以通过拍摄头拍摄得到目标图像，或者，目标图像也可以为任意一幅预先保存的图像。

在一个可能的示例中，在所述预设目标为人时，上述步骤101，获取目标图像，可以包括如下步骤：

11、获取预览图像，所述预览图像中包括所述预设目标；

12、对所述预览图像进行人脸识别，得到人脸区域图像；

13、获取所述人脸区域图像的目标肤色信息；

14、按照预设的肤色信息与拍摄参数之间的映射关系，确定所述目标肤色信息对应的目标拍摄参数；

15、依据所述目标拍摄参数进行拍摄，得到所述目标图像。

其中，本申请实施例中，肤色信息可以为以下至少一种：颜色、平均亮度值、位置等等，在此不作限定。拍摄参数可以下至少一种：感光度ISO、白平衡参数、焦距、物距、曝光时长、拍摄模式等等，在此不作限定。电子设备中还可以预先存储预设的肤色信息与拍摄参数之间的映射关系。

具体实现中，电子设备可以获取预览图像，该预览图像中可以包括预设目标，还可以对该预览图像进行人脸识别，得到人脸区域图像，可以基于该人脸区域图像得到目标肤色信息，进而，可以依据上述预设的肤色信息与拍摄参数之间的映射关系确定目标肤色信息对应的目标拍摄参数，并依据该目标拍摄参数进行拍摄，得到目标图像，如此，可以拍摄得到清晰的人脸图像。

102、将所述目标图像输入到预设语义分割网络，得到目标分割结果，所述预设语义分割网络包括空间路径模块、上下文路径模块、特征融合模块、第一连接模块和卷积模块，所述空间路径模块包括2倍下采样卷积层和第一4倍下采样卷积层，所述上下文路径模块包括第二4倍下采样卷积层、8倍下采样卷积层、16倍下采样卷积层、32倍下采样卷积层和第二连接模块，其中，所述8倍下采样卷积层、所述16倍下采样卷积层和所述32倍下采样卷积层均通过一个注意力优化模块与所述第二连接模块进行连接，所述第一4倍下采样卷积层与所述第二连接模块连接所述特征融合模块，所述特征融合模块连接所述第二连接模块以及所述2倍下采样卷积层通过解码器(Decoder)连接所述第二连接模块，所述第二连接模块连接所述卷积模块。

在一个可能的示例中，所述32倍下采样卷积层还通过全局平均池化层连接一个乘法器，该乘法器还连接与所述32倍下采样卷积层所连接的注意力优化模块。

在一个可能的示例中，所述注意力优化模块包括一个全局池化层、1*1卷积层、归一化层、sigmoid函数和一个乘法器。

在一个可能的示例中，所述第二4倍下采样卷积层、所述8倍下采样卷积层、所述16倍下采样卷积层、所述32倍下采样卷积层之间依次串联。

在一个可能的示例中，所述8倍下采样卷积层与对应的注意力优化模块连接之后，进行2倍上采样运算之后，连接所述第二连接模块；

所述16倍下采样卷积层与对应的注意力优化模块连接之后，进行4倍上采样运算之后，连接所述第二连接模块；

所述32倍下采样卷积层与对应的注意力优化模块连接之后，进行8倍上采样运算之后，连接所述第二连接模块。

在一个可能的示例中，所述特征融合模块的运算结果在进行2倍上采样之后，连接所述第一连接模块。

在一个可能的示例中，所述卷积模块的运算结果在进行2倍上采样之后，得到所述目标分割结果。

本申请实施例中，如图1F所示，图1F与图1B相比较，其在context path增加对8倍下采样特征图的利用；将context path中8倍下采样卷积层(8x)的特征图连接ARM模块，再进行2倍上采样，再与16倍下采样卷积层(16x)和32倍下采样卷积层(32x)的特征图进行连接，为与修改后的spatial path相对应，将16倍下采样卷积层和32倍下采样卷积层的特征图分别进行4倍上采样和8倍上采样，其次，去除spatial path模块中的8倍下采样卷积层，只保留2倍(2x)和4倍(4x)下采样卷积层，对spatial path模块增加decoder模块；将FFM模块出来的特征图与spatial path模块中的2倍下采样卷积层的特征图进行连接操作，增加对浅层像素位置信息的利用，对decoder模块的输出，增加一个卷积运算，对连接后的特征图进一步提取融合后特征，用于最终的人像预测。

本申请实施例，针对图1A所示的BiSeNet进行改进，实现了一种实时的高精度的人像分割算法，对BiSeNet主要进行两个方面的改进：1、丰富了context path部分所利用的高层级语义信息；2、增加了spatial path部分对精确的像素点位置信息的利用。在提高精度的同时，本方案还有效控制了运算量的增长，使得优化后模型依旧能够保持实时的分割的优点。

本申请实施例中，在3个不同尺度层(8x、16x和32x)上应用ARM模块，使得改进后模型的context path提取得到的高层级语义信息中能够包含更多不同尺度的感受野上的特征信息，而spatial path部分的设计初衷在于用较短的提取路径得到精确的像素点的位置信息，但3个2倍下采样的卷积模块会使得图像被下采样8倍，即使卷积路径较短，但下采样倍数过多，很容易导致细节的像素点被过度下采样而丢失，反而使得spatial path失去提取精确的像素位置信息的设计初衷。而图1A所使用的BiSeNet只使用了最底层的8倍下采样卷积层的图像特征图，而鉴于decoder模块在图像语义分割领域中的有效性，本申请实施例中对spatial path部分进行改进，只采用两个2倍的下采样卷积层的卷积运算，而且增加进decoder模块，对2倍下采样卷积层的图像特征进行进一步的融合，对融合后的特征在进行卷积运算，提取最终用于预测的特征图。

具体实现中，改进后的模型虽然增加了一个ARM模块和decoder的融合部分，但相应的也去除了一层下采样卷积层，而且ARM模块主要由global pool、1*1卷积、batch norm、sigmoid和mul组成，并不会增加太多的运算，而一个下采样卷积由卷积、bn和relu组成，相比之下，该部分的卷积运算量更大，因此，修改后的模型的整体运算量并不会增加太多。

在一个可能的示例中，在所述预设目标为人脸时，在上述步骤101与步骤102之间还可以包括如下步骤：

A1、从所述目标图像中提取目标人脸图像；

A2、将所述目标人脸图像与预设人脸模板进行匹配；

A3、在所述目标人脸图像与所述预设人脸模板匹配成功时，进行步骤102。

其中，电子设备中可以预先存储预设人脸模板。电子设备可以将目标人脸图像与预设人脸模板进行匹配，在该目标人脸图像与预设人脸模板匹配成功时，执行步骤102，否则，不执行步骤102。如此，一方面，能够仅仅针对指定人脸实现人脸分割，另一方面，可以提升安全性。

在一个可能的示例中，上述步骤A2，将所述目标人脸图像与预设人脸模板进行匹配，可以包括如下步骤：

A21、对所述目标人脸图像进行图像分割，得到目标人脸区域图像；

A22、分析所述目标人脸区域图像的特征点分布；

A23、按照M个不同圆心对所述目标人脸区域图像进行圆形图像截取，得到M个圆形人脸区域图像，所述M为大于3的整数；

A24、从所述M个圆形人脸区域图像中选出目标圆形人脸区域图像，所述目标圆形人脸区域图像所包含的特征点的数量大于所述M个圆形人脸区域图像中的其他圆形人脸区域图像；

A25、将所述目标圆形人脸区域图像划分得到N个圆环，所述N个圆环的环宽相同；

A26、从所述N个圆环中半径最小的圆环开始，将所述N个圆环依次与预设人脸模板进行特征点匹配，并累计已匹配圆环的匹配值；

A27、当累计的匹配值大于目标人脸识别阈值时立即停止进行特征点匹配，并输出人脸识别成功的提示消息。

其中，电子设备可以对目标人脸图像进行图像分割，得到目标人脸区域图像，进而，分析该目标人脸区域图像的特征点分布，按照M个不同圆心对该目标人脸区域图像进行圆形图像截取，得到M个圆形人脸区域图像，M为大于3的整数，从M个圆形人脸区域图像中选出目标圆形人脸区域图像，目标圆形人脸区域图像所包含的特征点的数量大于M个圆形人脸区域图像中的其他圆形人脸区域图像，将目标圆形人脸区域图像划分得到N个圆环，N个圆环的环宽相同，从N个圆环中半径最小的圆环开始，将N个圆环依次与预设人脸模板进行特征点匹配，并累计已匹配圆环的匹配值，如此，在人脸识别过程中，可以将不同位置或者不同人脸的特征点用于匹配，相当于对整个人脸图像进行采样，且该采样能够覆盖整个人脸区域，从而，从每个区域中均可以找到相应的代表性特征以用于匹配，当累计的匹配值大于目标人脸识别阈值时立即停止进行特征点匹配，并输出人脸识别成功的提示消息，如此，能够快速且精准识别人脸识别。

需要说明的是，本申请实施例对图1A所示的BiSeNet进行改进，实现了一种实时的高精度的人像分割算法，相较于图1A所示的BiSeNet，本申请实施例可以在不增减明显运算量的前提下，实现更高精度的人像分割。

为进一步说明本申请所描述方法的有效性，举例说明下，如图1G所示，图1G中展示分割效果图和数据对比，其中，(a)图为图1A所示的BiSeNet的分割结果，(b)图为图1F所示的优化后的BiSeNet模型分割结果。

从1G图中可看出，(b)图的人物手部细节要明显优于(a)图，(b)图的手部与身体的连接处没有明显的缺失，身体轮廓清晰可见，而(a)图手部与身体的连接处则出现明显的缺失，边缘也凹凸不平。由此可以看出优化后模型可以显著改善人像分割效果，细节要明显优于优化前的模型，且可以很好的解决了人物缺失现象。

除去效果图展示，本申请实施例，还将从两个方面说明优化后方案的有效性：时间和均交并比(Mean Intersection over Union，mIOU)，优化前后的数据如下表所示。测试集为全身人像图像，包含了日常生活中能接触到的各类人物图像及各类边缘细节，如人物携带了小件随身物体、图像中包含了假人等物体、人物被部分遮挡等各类情况。测试集的图片大小为576*576。从表中可以看出，相较于图1A所示的BiSeNet，mIOU能提升2.3％，而时间的消耗则几乎可以忽略不计。

可以看出，本申请实施例中所描述的图像分割方法，获取目标图像，目标图像中包括预设目标，将目标图像输入到预设语义分割网络，得到目标分割结果，预设语义分割网络包括空间路径模块、上下文路径模块、特征融合模块、第一连接模块和卷积模块，空间路径模块包括2倍下采样卷积层和第一4倍下采样卷积层，上下文路径模块包括第二4倍下采样卷积层、8倍下采样卷积层、16倍下采样卷积层、32倍下采样卷积层和第二连接模块，其中，8倍下采样卷积层、16倍下采样卷积层和32倍下采样卷积层均通过一个注意力优化模块与第二连接模块进行连接，第一4倍下采样卷积层与第二连接模块连接特征融合模块，特征融合模块连接第二连接模块以及2倍下采样卷积层通过解码器连接第二连接模块，第二连接模块连接卷积模块，该预设语义分割网络能够通过空间路径模块来保留空间信息，以及通过上下文路径模块来扩大感受野，另外，特征融合模块增加对空间路径模块以及上下文路径模块运算结果的浅层像素位置信息的利用，如此，对目标实现深度分割，提升了图像分割效率。

综上所述，即本申请实施例所描述的BiSeNet与图1A所示的BiseNet相比较，存在下述差异：

1、对context path进行改进，增加对8倍下采样层的特征图的利用，将contextpath中8倍下采样层的特征图连接ARM模块，再进行2倍上采样，再与16倍和32倍的特征图进行连接，为与修改后的spatial path相对应，将16倍和32倍下采样层的特征图分别进行4倍和8倍上采样；

2、去除spatial path模块中的8倍下采样卷积，只保留2倍和4倍，一方面是为了减小运算量，另一方面是此处的8倍下采样卷积提取的特征不够精细，容易丢失精细的位置坐标信息；

3、对spatial path模块增加decoder模块，将FFM模块出来的特征图与spatialpath模块中的2倍下采样层的特征图进行连接操作(concat)，增加对浅层像素位置信息的利用；

4、对decoder模块的输出，增加一个卷积运算，对连接后的特征图进一步提取融合后特征，用于最终的人像预测；

改进后的BiSeNet增加了对有用信息的利用和冗余信息的删除，在明显增加运算量的前提下，实现完全的实时人像分割和精度的平衡，能实现完全实时的高精度的人像语义分割。

与上述图1E所示的实施例一致地，请参阅图2，图2是本申请实施例提供的一种图像分割方法的流程示意图，如图所示，应用于如图1D所示的电子设备，本图像分割方法包括：

201、获取目标图像，所述目标图像中包括人脸。

202、从所述目标图像中提取目标人脸图像。

203、将所述目标人脸图像与预设人脸模板进行匹配。

204、在所述目标人脸图像与所述预设人脸模板匹配成功时，将所述目标图像输入到预设语义分割网络，得到目标分割结果，所述预设语义分割网络包括空间路径模块、上下文路径模块、特征融合模块、第一连接模块和卷积模块，所述空间路径模块包括2倍下采样卷积层和第一4倍下采样卷积层，所述上下文路径模块包括第二4倍下采样卷积层、8倍下采样卷积层、16倍下采样卷积层、32倍下采样卷积层和第二连接模块，其中，所述8倍下采样卷积层、所述16倍下采样卷积层和所述32倍下采样卷积层均通过一个注意力优化模块与所述第二连接模块进行连接，所述第一4倍下采样卷积层与所述第二连接模块连接所述特征融合模块，所述特征融合模块连接所述第二连接模块以及所述2倍下采样卷积层通过解码器连接所述第二连接模块，所述第二连接模块连接所述卷积模块。

其中，上述步骤201-步骤204的具体描述可以参照上述图1E所描述的图像分割方法的相应步骤，在此不再赘述。

可以看出，本申请实施例中所描述的图像分割方法，针对人脸图像，能够采用预设语义分割网络，即改进后的BiSeNet算法实现图像分割，该预设语义分割网络能够通过空间路径模块来保留空间信息，以及通过上下文路径模块来扩大感受野，这样可以实现对图像的深层信息进行分割，另外，特征融合模块增加对空间路径模块以及上下文路径模块运算结果的浅层像素位置信息的利用，如此，对目标的深层以及浅层信息均加以利用，能够实现深度目标分割，提升了图像分割效率。

与上述实施例一致地，请参阅图3，图3是本申请实施例提供的一种电子设备的结构示意图，如图所示，该电子设备包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，本申请实施例中，上述程序包括用于执行以下步骤的指令：

获取目标图像，所述目标图像中包括预设目标；

将所述目标图像输入到预设语义分割网络，得到目标分割结果，所述预设语义分割网络包括空间路径模块、上下文路径模块、特征融合模块、第一连接模块和卷积模块，所述空间路径模块包括2倍下采样卷积层和第一4倍下采样卷积层，所述上下文路径模块包括第二4倍下采样卷积层、8倍下采样卷积层、16倍下采样卷积层、32倍下采样卷积层和第二连接模块，其中，所述8倍下采样卷积层、所述16倍下采样卷积层和所述32倍下采样卷积层均通过一个注意力优化模块与所述第二连接模块进行连接，所述第一4倍下采样卷积层与所述第二连接模块连接所述特征融合模块，所述特征融合模块连接所述第二连接模块以及所述2倍下采样卷积层通过解码器连接所述第二连接模块，所述第二连接模块连接所述卷积模块。

可以看出，本申请实施例中所描述的电子设备，获取目标图像，目标图像中包括预设目标，将目标图像输入到预设语义分割网络，得到目标分割结果，预设语义分割网络包括空间路径模块、上下文路径模块、特征融合模块、第一连接模块和卷积模块，空间路径模块包括2倍下采样卷积层和第一4倍下采样卷积层，上下文路径模块包括第二4倍下采样卷积层、8倍下采样卷积层、16倍下采样卷积层、32倍下采样卷积层和第二连接模块，其中，8倍下采样卷积层、16倍下采样卷积层和32倍下采样卷积层均通过一个注意力优化模块与第二连接模块进行连接，第一4倍下采样卷积层与第二连接模块连接特征融合模块，特征融合模块连接第二连接模块以及2倍下采样卷积层通过解码器连接第二连接模块，第二连接模块连接卷积模块，该预设语义分割网络能够通过空间路径模块来保留空间信息，以及通过上下文路径模块来扩大感受野，这样可以实现对图像的深层信息进行分割，另外，特征融合模块增加对空间路径模块以及上下文路径模块运算结果的浅层像素位置信息的利用，如此，对目标的深层以及浅层信息均加以利用，能够实现深度目标分割，提升了图像分割效率。

在一个可能的示例中，所述32倍下采样卷积层还通过全局平均池化层连接一个乘法器，该乘法器还连接与所述32倍下采样卷积层所连接的注意力优化模块。

在一个可能的示例中，所述注意力优化模块包括一个全局池化层、1*1卷积层、归一化层、sigmoid函数和一个乘法器。

在一个可能的示例中，所述第二4倍下采样卷积层、所述8倍下采样卷积层、所述16倍下采样卷积层、所述32倍下采样卷积层之间依次串联。

在一个可能的示例中，所述8倍下采样卷积层与对应的注意力优化模块连接之后，进行2倍上采样运算之后，连接所述第二连接模块；

所述16倍下采样卷积层与对应的注意力优化模块连接之后，进行4倍上采样运算之后，连接所述第二连接模块；

所述32倍下采样卷积层与对应的注意力优化模块连接之后，进行8倍上采样运算之后，连接所述第二连接模块。

在一个可能的示例中，所述特征融合模块的运算结果在进行2倍上采样之后，连接所述第一连接模块。

在一个可能的示例中，所述卷积模块的运算结果在进行2倍上采样之后，得到所述目标分割结果。

上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

图4是本申请实施例中所涉及的图像分割装置400的功能单元组成框图。该图像分割装置400，应用于电子设备，所述装置400包括：获取单元401和分割单元402，其中，

获取单元401，用于获取目标图像，所述目标图像中包括预设目标；

分割单元402，用于将所述目标图像输入到预设语义分割网络，得到目标分割结果，所述预设语义分割网络包括空间路径模块、上下文路径模块、特征融合模块、第一连接模块和卷积模块，所述空间路径模块包括2倍下采样卷积层和第一4倍下采样卷积层，所述上下文路径模块包括第二4倍下采样卷积层、8倍下采样卷积层、16倍下采样卷积层、32倍下采样卷积层和第二连接模块，其中，所述8倍下采样卷积层、所述16倍下采样卷积层和所述32倍下采样卷积层均通过一个注意力优化模块与所述第二连接模块进行连接，所述第一4倍下采样卷积层与所述第二连接模块连接所述特征融合模块，所述特征融合模块连接所述第二连接模块以及所述2倍下采样卷积层通过解码器连接所述第二连接模块，所述第二连接模块连接所述卷积模块。

可以看出，本申请实施例中所描述的图像分割装置，获取目标图像，目标图像中包括预设目标，将目标图像输入到预设语义分割网络，得到目标分割结果，预设语义分割网络包括空间路径模块、上下文路径模块、特征融合模块、第一连接模块和卷积模块，空间路径模块包括2倍下采样卷积层和第一4倍下采样卷积层，上下文路径模块包括第二4倍下采样卷积层、8倍下采样卷积层、16倍下采样卷积层、32倍下采样卷积层和第二连接模块，其中，8倍下采样卷积层、16倍下采样卷积层和32倍下采样卷积层均通过一个注意力优化模块与第二连接模块进行连接，第一4倍下采样卷积层与第二连接模块连接特征融合模块，特征融合模块连接第二连接模块以及2倍下采样卷积层通过解码器连接第二连接模块，第二连接模块连接卷积模块，该预设语义分割网络能够通过空间路径模块来保留空间信息，以及通过上下文路径模块来扩大感受野，这样可以实现对图像的深层信息进行分割，另外，特征融合模块增加对空间路径模块以及上下文路径模块运算结果的浅层像素位置信息的利用，如此，对目标的深层以及浅层信息均加以利用，能够实现深度目标分割，提升了图像分割效率。

在一个可能的示例中，所述32倍下采样卷积层还通过全局平均池化层连接一个乘法器，该乘法器还连接与所述32倍下采样卷积层所连接的注意力优化模块。

在一个可能的示例中，所述注意力优化模块包括一个全局池化层、1*1卷积层、归一化层、sigmoid函数和一个乘法器。

在一个可能的示例中，所述第二4倍下采样卷积层、所述8倍下采样卷积层、所述16倍下采样卷积层、所述32倍下采样卷积层之间依次串联。

在一个可能的示例中，所述8倍下采样卷积层与对应的注意力优化模块连接之后，进行2倍上采样运算之后，连接所述第二连接模块；

所述16倍下采样卷积层与对应的注意力优化模块连接之后，进行4倍上采样运算之后，连接所述第二连接模块；

所述32倍下采样卷积层与对应的注意力优化模块连接之后，进行8倍上采样运算之后，连接所述第二连接模块。

在一个可能的示例中，所述特征融合模块的运算结果在进行2倍上采样之后，连接所述第一连接模块。

在一个可能的示例中，所述卷积模块的运算结果在进行2倍上采样之后，得到所述目标分割结果。

可以理解的是，本实施例的图像分割装置的各程序模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。

本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种图像分割方法，其特征在于，所述方法包括：

获取目标图像，所述目标图像中包括预设目标；

将所述目标图像输入到预设语义分割网络，得到目标分割结果，所述预设语义分割网络包括空间路径模块、上下文路径模块、特征融合模块、第一连接模块和卷积模块，所述空间路径模块包括2倍下采样卷积层和第一4倍下采样卷积层，所述上下文路径模块包括第二4倍下采样卷积层、8倍下采样卷积层、16倍下采样卷积层、32倍下采样卷积层和第二连接模块，其中，所述8倍下采样卷积层、所述16倍下采样卷积层和所述32倍下采样卷积层均通过一个注意力优化模块与所述第二连接模块进行连接，所述第一4倍下采样卷积层与所述第二连接模块连接所述特征融合模块，所述特征融合模块连接所述第二连接模块以及所述2倍下采样卷积层通过解码器连接所述第二连接模块，所述第二连接模块连接所述卷积模块。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

所述32倍下采样卷积层还通过全局平均池化层连接一个乘法器，该乘法器还连接与所述32倍下采样卷积层所连接的注意力优化模块。

3.根据权利要求1或2所述的方法，其特征在于，所述注意力优化模块包括一个全局池化层、1*1卷积层、归一化层、激活函数sigmoid函数和一个乘法器。

4.根据权利要求1或2所述的方法，其特征在于，所述第二4倍下采样卷积层、所述8倍下采样卷积层、所述16倍下采样卷积层、所述32倍下采样卷积层之间依次串联。

5.根据权利要求1或2所述的方法，其特征在于，所述8倍下采样卷积层与对应的注意力优化模块连接之后，进行2倍上采样运算之后，连接所述第二连接模块；

所述16倍下采样卷积层与对应的注意力优化模块连接之后，进行4倍上采样运算之后，连接所述第二连接模块；

所述32倍下采样卷积层与对应的注意力优化模块连接之后，进行8倍上采样运算之后，连接所述第二连接模块。

6.根据权利要求5所述的方法，其特征在于，所述特征融合模块的运算结果在进行2倍上采样之后，连接所述第一连接模块。

7.根据权利要求6所述的方法，其特征在于，所述卷积模块的运算结果在进行2倍上采样之后，得到所述目标分割结果。

8.一种图像分割装置，其特征在于，所述装置包括：

获取单元，用于获取目标图像，所述目标图像中包括预设目标；

分割单元，用于将所述目标图像输入到预设语义分割网络，得到目标分割结果，所述预设语义分割网络包括空间路径模块、上下文路径模块、特征融合模块、第一连接模块和卷积模块，所述空间路径模块包括2倍下采样卷积层和第一4倍下采样卷积层，所述上下文路径模块包括第二4倍下采样卷积层、8倍下采样卷积层、16倍下采样卷积层、32倍下采样卷积层和第二连接模块，其中，所述8倍下采样卷积层、所述16倍下采样卷积层和所述32倍下采样卷积层均通过一个注意力优化模块与所述第二连接模块进行连接，所述第一4倍下采样卷积层与所述第二连接模块连接所述特征融合模块，所述特征融合模块连接所述第二连接模块以及所述2倍下采样卷积层通过解码器连接所述第二连接模块，所述第二连接模块连接所述卷积模块。

9.一种电子设备，其特征在于，包括处理器、存储器，所述存储器用于存储一个或多个程序，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-7任一项所述的方法中的步骤的指令。

10.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-7任一项所述的方法。

Images