CN111968134A - 目标分割方法、装置、计算机可读存储介质及计算机设备 - Google Patents

Abstract

本申请适用于图像处理领域，提供了一种目标分割方法、装置、计算机可读存储介质及计算机设备。所述方法包括：采用预设的目标获取模型获得目标图像中的第一目标框；按照第一预设比例扩大第一目标框，得到扩大后的第一目标框；采用预设的目标分割模型对扩大后的第一目标框对应的图像区域进行处理，获得目标分割后的掩膜图和位于目标分割后的掩膜图中的第二目标框；将目标分割后的掩膜图映射到目标图像的尺寸，获得目标图像的第一掩膜图；并按照第二预设比例扩大第二目标框，得到扩大后的第二目标框，将扩大后的第二目标框对应的图像与第一掩膜图进行融合获得目标图像的第二掩膜图。本申请有助于修正目标实例外的误分割像素，提高了目标分割的精度。

Description

目标分割方法、装置、计算机可读存储介质及计算机设备

技术领域

本申请属于图像处理领域，尤其涉及一种目标分割方法、装置、计算机可读存储介质及计算机设备。

背景技术

目标分割是指对图像中包含目标的部分进行目标分割检测，将图像中的目标和背景进行分离，得到目标分割后的掩膜图以供后续对目标进行处理。目标可以是人像、动物、车等任何目标。例如，当目标是人像时，后续对目标进行处理可以是对目标进行美颜、虚化等处理。

然而，现有技术的目标分割方法通常是采用预设分割模型，根据扩大后的第一目标框获取目标分割后的掩膜图。采用这种方法的分割精度不高，无法准确分割出目标的边缘。

发明内容

本申请实施例的目的在于提供一种目标分割方法、装置、计算机可读存储介质、计算机设备及相机，旨在解决以上问题之一。

第一方面，本申请提供了一种目标分割方法，所述方法包括：

S101、采用预设的目标获取模型获得目标图像中的第一目标框，所述目标图像具有待分割的目标；

S102、按照第一预设比例扩大第一目标框，得到扩大后的第一目标框；

S103、采用预设的目标分割模型对扩大后的第一目标框对应的图像区域进行处理，获得目标分割后的掩膜图和位于所述目标分割后的掩膜图中的第二目标框；

S104、将目标分割后的掩膜图映射到目标图像的尺寸，获得目标图像的第一掩膜图；按照第二预设比例扩大第二目标框，得到扩大后的第二目标框，将扩大后的第二目标框对应的图像与第一掩膜图进行融合获得目标图像的第二掩膜图。

第二方面，本申请提供了一种目标分割装置，所述装置包括：

第一目标框获取模块，用于采用预设的目标获取模型获得目标图像中的第一目标框，所述目标图像具有待分割的目标；

第一扩大模块，用于按照第一预设比例扩大第一目标框，得到扩大后的第一目标框；

目标分割模块，用于采用预设的目标分割模型对扩大后的第一目标框对应的图像区域进行处理，获得目标分割后的掩膜图和位于所述目标分割后的掩膜图中的第二目标框；

第二扩大模块，用于将目标分割后的掩膜图映射到目标图像的尺寸，获得目标图像的第一掩膜图；并按照第二预设比例扩大第二目标框，得到扩大后的第二目标框，将扩大后的第二目标框对应的图像与第一掩膜图进行融合获得目标图像的第二掩膜图。

第三方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如所述的目标分割方法的步骤。

第四方面，本申请提供了一种计算机设备，包括：

一个或多个处理器；

存储器；以及

一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如所述的目标分割方法的步骤。

第五方面，本申请提供了一种相机，包括：

一个或多个处理器；

存储器；以及

一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如所述的目标分割方法的步骤。

在本申请实施例中，由于采用预设的目标分割模型对扩大后的第一目标框对应的图像区域进行处理后获得目标分割后的掩膜图和位于所述目标分割后的掩膜图中的第二目标框；然后将目标分割后的掩膜图映射到目标图像的尺寸，并按照第二预设比例扩大第二目标框，得到扩大后的第二目标框，将扩大后的第二目标框对应的图像与第一掩膜图进行融合获得目标图像的第二掩膜图。因此有助于修正目标实例外的误分割像素，提高了目标分割的精度。

附图说明

图1是本申请一实施例提供的目标分割方法的应用场景示意图。

图2是本申请一实施例提供的目标分割方法的流程图。

图3是目标图像为平面图像的示意图。

图4是将第一目标框的每个边扩大第一预设比例，得到扩大后的第一目标框的示意图。

图5是目标分割后的掩膜图的示意图。

图6是目标图像的第一掩膜图的示意图。

图7是扩大后的第二目标框的示意图。

图8是目标图像的第二掩膜图的示意图。

图9是目标图像的人物分割图的示意图。

图10是具有多个待分割的目标的目标图像的示意图。

图11是目标图像的第三掩膜图的示意图。

图12是目标图像的人物分割图的示意图。

图13是本申请一实施例提供的目标分割装置示意图。

图14是本申请一实施例提供的计算机设备的具体结构框图。

图15是本申请一实施例提供的相机的具体结构框图。

具体实施方式

为了使本申请的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。

本申请一实施例提供的目标分割方法的应用场景可以是计算机设备或相机，计算机设备或相机执行本申请一实施例提供的目标分割方法获得目标图像的掩膜图。本申请一实施例提供的目标分割方法的应用场景也可以包括相连接的计算机设备100和相机200(如图1所示)。计算机设备100和相机200中可运行至少一个的应用程序。计算机设备100可以是服务器、台式计算机、移动终端等，移动终端包括手机、平板电脑、笔记本电脑、个人数字助理等。相机200可以是普通的相机或者全景相机等。普通的相机是指用于拍摄平面图像和平面视频的拍摄装置。计算机设备100或者是相机200执行本申请一实施例提供的目标分割方法获得目标图像的掩膜图。

请参阅图2，是本申请一实施例提供的目标分割方法的流程图，本实施例主要以该目标分割方法应用于计算机设备或相机为例来举例说明，本申请一实施例提供的目标分割方法包括以下步骤：

S101、采用预设的目标获取模型获得目标图像中的第一目标框，所述目标图像具有待分割的目标。

在本申请一实施例中，所述目标图像可为平面图像(如图3所示)、全景图像或从全景图像中截取的待分割的目标对应的图像。

待分割的目标可以是人、动物、车等任何目标。待分割的目标对应的图像可包括待分割的目标的一部分，例如待分割的目标是人时，待分割的目标对应的图像可以是人脸、人上半身或者完整的人体等。

预设的目标获取模型可以是目标检测模型或目标跟踪模型。目标检测模型可以为经典的机器学习方法检测模型或利用目标检测数据集进行学习的深度学习目标检测模型。目标跟踪模型包括线图模型(Stick Figures Model)、二维轮廓模型(2D Contours Model)和立体模型(Volumetric Model)等。

如果是针对视频中的目标进行实时分割的话，则预设的目标获取模型可以是目标跟踪模型，也可以是目标检测模型。

在本申请一实施例中，目标检测模型可以是利用目标检测数据集进行学习的深度学习目标检测模型。如果采用利用目标检测数据集进行学习的深度学习目标检测模型获得目标图像中的第一目标框，目标检测数据集包括全景图像时，对于全景图像、从全景图像中截取的待分割的目标对应的图像和目标存在稍微形变的平面图像，图像分割效果比经典的机器学习方法检测模型效果更好。因为目标检测数据集包括全景图像，全景图像中物体有形变，经过数据训练后，模型输出的结果对有形变的目标分割的效果比其他算法好，模型在形变图像上的泛化能力更强，能够兼容处理有稍微形变的图像，目标的分割精度较高。

在本申请一实施例中，所述利用目标检测数据集进行学习的深度学习目标检测模型是单阶段的目标检测模型或双阶段的目标检测模型，并在保证精度的情况下通过模型压缩等方法降低计算量，因此在模型推理速度上相对于没有通过模型压缩的方法更有优势。模型压缩是指对于深度学习网络结构和参数进行压缩，即采用更少的网络层数，更少的深度卷积神经网络的通道数量等达到相似或符合任务要求精度。

S102、按照第一预设比例扩大第一目标框，得到扩大后的第一目标框。

在本申请一实施例中，S102具体可以为：

将第一目标框的每个边扩大第一预设比例，得到扩大后的第一目标框(如图4所示)。第一预设比例的范围可为5％至30％之间，即扩大后的第一目标框的每个边是原第一目标框的每个边的105％至130％之间，当然也可以是其他比例。

由于扩边有可能超出图像的边界，因此所述将第一目标框的每条边扩大第一预设比例，得到扩大后的第一目标框之后，所述方法还可以包括：

判断扩大后的第一目标框的所有边中是否有超出目标图像覆盖的范围的，如果有，则将超出目标图像覆盖的范围的边修改为扩大至与目标图像所对应的边缘一致的位置。因此能避免扩大后的第一目标框超出图像的边界。

S103、采用预设的目标分割模型对扩大后的第一目标框对应的图像区域进行处理，获得目标分割后的掩膜图和位于所述目标分割后的掩膜图中的第二目标框(如图5所示)。

所述位于所述目标分割后的掩膜图中的第二目标框具体可以通过以下方式获得：识别目标分割后的掩膜图中的目标，并将目标的边界形成的矩形框作为第二目标框。

所述预设的目标分割模型可为经典的分割机器学习算法，如YOLACT(You OnlyLook At CoefficienTs)等算法，还可为采用利用获得的目标分割数据集进行学习的深度学习目标分割模型，该模型经过学习训练可实现在端侧的部署，如相机、计算机设备等，可达到实时实例分割的效果。本申请实施例中的目标分割数据集可以包括平面图像和全景图像。全景图像具有更好的泛化能力，使目标的分割效果更好。且对于目标轮廓标注更加精准，每个目标实例标注polygon(多边形)建模实例由更多个像素点组成。

YOLACT(You Only Look At CoefficienTs)等算法为单阶段实例分割算法模型，无需对应区域的多尺度特征信息(多尺度特征信息在神经网络结构中从不同卷积层提取)。单阶段实例分割模型，速度更快，对于深度神经网络做了进一步模型压缩等，以进一步提高实例分割模型速度。

所述采用利用获得的目标分割数据集进行学习的深度学习目标分割模型可以是单阶段目标分割模型或双阶段目标分割模型，并在保证精度的情况下通过模型压缩等方法降低计算量，因此在模型推理速度上相对于没有通过模型压缩的方法更有优势。模型压缩是指对于深度学习网络结构和参数进行压缩，即采用更少的网络层数，更少的深度卷积神经网络的通道数量等达到相似或符合任务要求精度。

对于目标分割模型，目前开源的数据集，对于人物的实例分割精度不够，无法准确分割出人物的边缘。比如coco(Common Objects in Context，上下文中的公共对象)数据集，由于标注比较粗糙，无法满足高精度人物分割需求。Supervisely数据集标注精度较高，但是数据量较小，包含图像场景有限，无法直接使用其进行训练并应用到高精度人物分割产品。本申请可以采用利用目标分割数据集进行学习的深度学习目标分割模型，本申请中采用的目标分割数据集相较于coco数据集，对于人体轮廓标注更加精准，基于此数据集训练后的目标分割模型对于人体边缘、随身携带物品(如手机、帽子、头盔、背包、头盔、球拍、雨伞等人体可能随身携带或手持的)等具有更好的分割效果，分割精度较高。

S104、将目标分割后的掩膜图映射到目标图像的尺寸，获得目标图像的第一掩膜图；按照第二预设比例扩大第二目标框，得到扩大后的第二目标框，将扩大后的第二目标框对应的图像与第一掩膜图进行融合获得目标图像的第二掩膜图。

在本申请一实施例中，所述将目标分割后的掩膜图映射到目标图像的尺寸，获得目标图像的第一掩膜图具体为：

扩大目标分割后的掩膜图的边，使扩大边后的目标分割后的掩膜图的尺寸与目标图像的尺寸相同，获得目标图像的第一掩膜图，如图6所示。

由于S102中，按照第一预设比例扩大第一目标框，得到扩大后的第一目标框时，可能增加更多背景像素，图像中可能包含超过一个人，可能存在其它人干扰或背景误分类。因此通过所述按照第二预设比例扩大第二目标框(如图7中的内框)，得到扩大后的第二目标框(如图7所示)。

第二预设比例的范围可为5％至30％之间，即扩大后的第二目标框的每个边是原第二目标框的每个边的105％至130％之间，当然也可以是其他比例。

S104之后，所述方法还可以包括以下步骤：

将目标图像的第二掩膜图(如图8所示)与目标图像进行融合，获得目标图像的人物分割图(如图9所示)。

在S101中，如果所述目标图像具有多个待分割的目标，则获得的第一目标框有多个。

如图10所示，所述目标图像具有多个待分割的目标，则针对每个待分割的目标均执行S102至S104，得到多个所述目标图像的第二掩膜图，然后将多个所述目标图像的第二掩膜图进行融合得到目标图像的第三掩膜图，如图11所示，最后将目标图像的第三掩膜图与目标图像进行融合，获得目标图像的人物分割图，如图12所示。

在本申请一实施例中，S101前，所述方法还可以包括以下步骤：

对目标图像进行归一化得到归一化后的目标图像。归一化是降采样的一种方式，对目标图像进行归一化是指对目标图像进行降采样，以提高计算速度。

则S101具体为：采用预设的目标获取模型获得归一化后的目标图像中的第一目标框，所述目标图像具有待分割的目标。

在本申请一实施例中，在S102和S103之间，所述方法还可以包括以下步骤：

对扩大后的第一目标框对应的图像区域进行归一化得到归一化后的图像。即对预设的目标分割模型的输入做归一化(减均值、除方差等)，对预设的目标分割模型的输入做归一化是目前深度学习大部分模型的常规操作，即将图像的像素值从0-255归一化到如[-1,+1]之间的，以0为中心，可以加速模型收敛等。

则S103具体为：采用预设的目标分割模型对归一化后的图像进行处理，获得目标分割后的掩膜图和位于所述目标分割后的掩膜图中的第二目标框。

S103和S104之间，所述方法还可以包括以下步骤：

对目标分割后的掩膜图进行上采样操作。

上采样是指将目标分割后的掩膜图放大，以得到和输入预设的目标分割模型的图像尺寸一致的目标分割后的掩膜图。

请参阅图13，本申请一实施例提供的目标分割装置可以是运行于计算机设备或相机中的一个计算机程序或一段程序代码，例如该目标分割装置为一个应用软件；该目标分割装置可以用于执行本申请实施例提供的目标分割方法中的相应步骤。本申请一实施例提供的目标分割装置包括：

第一目标框获取模块11，用于采用预设的目标获取模型获得目标图像中的第一目标框，所述目标图像具有待分割的目标；

第一扩大模块12，用于按照第一预设比例扩大第一目标框，得到扩大后的第一目标框；

目标分割模块13，用于采用预设的目标分割模型对扩大后的第一目标框对应的图像区域进行处理，获得目标分割后的掩膜图和位于所述目标分割后的掩膜图中的第二目标框；

第二扩大模块14，用于将目标分割后的掩膜图映射到目标图像的尺寸，获得目标图像的第一掩膜图；并按照第二预设比例扩大第二目标框，得到扩大后的第二目标框，将扩大后的第二目标框对应的图像与第一掩膜图进行融合获得目标图像的第二掩膜图。

本申请一实施例提供的目标分割装置与本申请一实施例提供的目标分割方法属于同一构思，其具体实现过程详见说明书全文，此处不再赘述。

本申请一实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本申请一实施例提供的目标分割方法的步骤。

图14示出了本申请一实施例提供的计算机设备的具体结构框图，该计算机设备可以是图1中所示的计算机设备，一种计算机设备100包括：一个或多个处理器101、存储器102、以及一个或多个计算机程序，其中所述处理器101和所述存储器102通过总线连接，所述一个或多个计算机程序被存储在所述存储器102中，并且被配置成由所述一个或多个处理器101执行，所述处理器101执行所述计算机程序时实现如本申请一实施例提供的目标分割方法的步骤。

计算机设备可以是台式计算机、移动终端等，移动终端包括手机、平板电脑、笔记本电脑、个人数字助理等。

图15示出了本申请一实施例提供的相机的具体结构框图，该相机可以是图1中所示的相机，一种相机200包括：一个或多个处理器201、存储器202、以及一个或多个计算机程序，其中所述处理器201和所述存储器202通过总线连接，所述一个或多个计算机程序被存储在所述存储器202中，并且被配置成由所述一个或多个处理器201执行，所述处理器201执行所述计算机程序时实现如本申请一实施例提供的目标分割方法的步骤。

在本申请中，由于采用预设的目标分割模型对扩大后的第一目标框对应的图像区域进行处理后获得目标分割后的掩膜图和位于所述目标分割后的掩膜图中的第二目标框；然后将目标分割后的掩膜图映射到目标图像的尺寸，并按照第二预设比例扩大第二目标框，得到扩大后的第二目标框，将扩大后的第二目标框对应的图像与第一掩膜图进行融合获得目标图像的第二掩膜图。因此有助于修正目标实例外的误分割像素，即其它非实例目标的像素、其它类似目标像素等，提高了目标分割的精度。

应该理解的是，本申请各实施例中的各个步骤并不是必然按照步骤标号指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种目标分割方法，其特征在于，所述方法包括：

S101、采用预设的目标获取模型获得目标图像中的第一目标框，所述目标图像具有待分割的目标；

S102、按照第一预设比例扩大第一目标框，得到扩大后的第一目标框；

S103、采用预设的目标分割模型对扩大后的第一目标框对应的图像区域进行处理，获得目标分割后的掩膜图和位于所述目标分割后的掩膜图中的第二目标框；

S104、将目标分割后的掩膜图映射到目标图像的尺寸，获得目标图像的第一掩膜图；按照第二预设比例扩大第二目标框，得到扩大后的第二目标框，将扩大后的第二目标框对应的图像与第一掩膜图进行融合获得目标图像的第二掩膜图。

2.如权利要求1所述的目标分割方法，其特征在于，所述预设的目标获取模型是目标检测模型或目标跟踪模型。

3.如权利要求1所述的目标分割方法，其特征在于，所述S102具体为：

将第一目标框的每个边扩大第一预设比例，得到扩大后的第一目标框；所述将第一目标框的每条边扩大第一预设比例，得到扩大后的第一目标框之后，所述方法还包括：

判断扩大后的第一目标框的所有边中是否有超出目标图像覆盖的范围的，如果有，则将超出目标图像覆盖的范围的边修改为扩大至与目标图像所对应的边缘一致的位置。

4.如权利要求1所述的目标分割方法，其特征在于，所述S104之后，所述方法还包括：

将目标图像的第二掩膜图与目标图像进行融合，获得目标图像的人物分割图。

5.如权利要求1至4任一项所述的目标分割方法，其特征在于，在S101中，如果所述目标图像具有多个待分割的目标，则获得的第一目标框有多个；

针对每个待分割的目标均执行S102至S104，得到多个所述目标图像的第二掩膜图，然后将多个所述目标图像的第二掩膜图进行融合得到目标图像的第三掩膜图，最后将目标图像的第三掩膜图与目标图像进行融合，获得目标图像的人物分割图。

6.如权利要求1所述的目标分割方法，其特征在于，所述S101之前，所述方法还包括：对目标图像进行归一化得到归一化后的目标图像；

S101具体为：采用预设的目标获取模型获得归一化后的目标图像中的第一目标框；

在S102和S103之间，所述方法还包括：对扩大后的第一目标框对应的图像区域进行归一化得到归一化后的图像；

S103具体为：采用预设的目标分割模型对归一化后的图像进行处理，获得目标分割后的掩膜图和位于所述目标分割后的掩膜图中的第二目标框；

S103和S104之间，所述方法还包括：对目标分割后的掩膜图进行上采样操作。

7.一种目标分割装置，其特征在于，所述装置包括：

第一目标框获取模块，用于采用预设的目标获取模型获得目标图像中的第一目标框，所述目标图像具有待分割的目标；

第一扩大模块，用于按照第一预设比例扩大第一目标框，得到扩大后的第一目标框；

目标分割模块，用于采用预设的目标分割模型对扩大后的第一目标框对应的图像区域进行处理，获得目标分割后的掩膜图和位于所述目标分割后的掩膜图中的第二目标框；

第二扩大模块，用于将目标分割后的掩膜图映射到目标图像的尺寸，获得目标图像的第一掩膜图；并按照第二预设比例扩大第二目标框，得到扩大后的第二目标框，将扩大后的第二目标框对应的图像与第一掩膜图进行融合获得目标图像的第二掩膜图。

8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的目标分割方法的步骤。

9.一种计算机设备，包括：

一个或多个处理器；

存储器；以及

一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的目标分割方法的步骤。

10.一种相机，包括：

一个或多个处理器；

存储器；以及

一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的目标分割方法的步骤。

Images