CN117095019B - 一种图像分割方法及相关装置 - Google Patents

Abstract

本申请涉及人工智能领域，尤其涉及一种图像分割方法及相关装置，该方法为：首先，分别获取待处理帧图像和前帧分割图像，然后，分别提取前帧分割图像中目标元素的边缘区域相应的局部特征，以及待处理帧图像中目标元素的整体区域相应的全局特征，进而对局部特征和全局特征进行特征融合，最后基于融合特征，对待处理帧图像中的目标元素进行分割。这样，通过单独对前帧分割图像进行特征提取，获得目标元素的局部特征，使得网络模型更有针对性地参考前帧图像的分割结果；通过将局部特征和全局特征融合，使得网络模型更全面地学习到目标元素的特征，从而减少对待处理帧图像包含像素点的错误分类情况，进而提升图像分割准确率。

Description

一种图像分割方法及相关装置

技术领域

本申请涉及人工智能领域，尤其涉及一种图像分割方法及相关装置。

背景技术

图像分割在计算机视觉领域具有广泛的应用，例如：视频会议中的背景虚化、视频通话中的背景特效等。在图像分割技术中，通过对图像包含的像素进行分类，达到对图像中的前景区域和背景区域进行区分的效果。

现有技术下，在一些基于图像的分割任务中，通常采用直接对输入图像进行处理的方式来实现图像分割，具体的，采用编码器和解码器相结合的分割模型对图像进行分割，首先，利用编码器对输入图像进行编码获取深层图像特征，然后，利用解码器对深层图像特征进行解码，并结合编码器基于输入图像提取的浅层图像特征，通过上采样操作得到最终的分割结果。

进一步地，在一些基于视频的分割任务中，通常采用参考前帧图像特征的方法来实现对当前帧的图像分割，具体的，将若干前帧图像输入到分割模型中，分别得到若干前帧图像特征，然后综合若干前帧图像特征，通过上采样操作获取当前帧的图像分割结果。

然而，采用上述方法时，使用的分割模型通常参数量较大，并且对图像处理模型布署端的计算能力要求较高，在存储能力和计算能力有限的图像处理模型部署端上，通常将上述分割模型进行压缩后再进行布署，从而简化模型结构、减少模型参数，降低模型训练时的计算量。然而，这种压缩后的分割模型，通常难以学习到图像的有效区别特征，因此无法实现对图像的准确分割。

其次，在现有的图像分割技术中，通常将图像和对应的蒙版在图像深度层面进行叠加后，直接输入到分割模型中，这样，分割模型会对图像和对应的蒙版同时进行特征提取，从而无法有针对性地提取蒙版图像特征，因此也无法实现对图像的准确分割。

有鉴于此，需要提出一种新的图像分割模型训练、图像分割方法，以克服上述缺陷。

发明内容

本申请提供了一种图像分割方法及相关装置，用以提高图像分割准确性。

第一方面，本申请实施例提供了一种图像分割方法，所述方法包括：

获取待处理帧图像和前帧分割图像；其中，所述前帧分割图像，是对所述待处理帧图像的第一前帧图像包含的目标元素进行分割后生成的，所述待处理帧图像包含所述目标元素；所述待处理帧图像和所述第一前帧图像之间的间隔帧数符合预设间隔帧数要求；

对所述前帧分割图像包含的所述目标元素的边缘区域，进行局部特征提取，获得相应的局部特征；

对所述待处理帧图像包含的所述目标元素的整体区域，进行全局特征提取，获得相应的全局特征；

对所述局部特征和所述全局特征进行特征融合处理，获得第一融合特征；

基于所述第一融合特征，在所述待处理帧图像中，对所述目标元素进行分割，获得分割结果。

第二方面，本申请实施例还提供了一种图像分割装置，所述装置包括：

图像获取模块，用于获取待处理帧图像和前帧分割图像；其中，所述前帧分割图像，是对所述待处理帧图像的第一前帧图像包含的目标元素进行分割后生成的，所述待处理帧图像包含所述目标元素；所述待处理帧图像和所述第一前帧图像之间的间隔帧数符合预设间隔帧数要求；

第一特征获取模块，用于对所述前帧分割图像包含的所述目标元素的边缘区域，进行局部特征提取，获得相应的局部特征；

第二特征获取模块，用于对所述待处理帧图像包含的所述目标元素的整体区域，进行全局特征提取，获得相应的全局特征；

特征融合模块，用于对所述局部特征和所述全局特征进行特征融合处理，获得第一融合特征；

分割处理模块，用于基于所述第一融合特征，在所述待处理帧图像中，对所述目标元素进行分割，获得分割结果。

可选的，基于所述第一融合特征，在所述待处理帧图像中，对所述目标元素进行分割，获得分割结果，分割处理模块还用于：

基于所述第一融合特征，获得所述待处理帧图像包含的各像素点对应的第一概率集合；其中，每个所述第一概率表征：相应像素点在所述待处理帧图像中，归属于所述目标元素的概率；

获取N个第二前帧图像，并基于所述N个第二前帧图像各自对应的第二融合特征，分别获取所述N个第二前帧图像各自包含的各像素点对应的第二概率集合；每个所述第二概率表征：相应像素点在对应的第二前帧图像中，归属于所述目标元素的概率；

针对所述待处理帧图像包含的各像素点位置，分别执行以下操作：

基于一个像素点位置，分别在所述N个第二前帧图像中各自对应的像素点的第二概率，对所述一个像素点位置在所述待处理帧图像中对应的目标像素点的第一概率进行调整，获得相应的第三概率；

基于所述第三概率和预设概率阈值，当确定所述目标像素点归属于所述目标元素时，对所述目标像素点进行分割处理。

可选的，基于一个像素点位置，分别在所述N个第二前帧图像中各自对应的像素点的第二概率，对所述一个像素点位置在所述待处理帧图像中对应的目标像素点的第一概率进行调整，获得相应的第三概率，分割处理模块还用于：

获取所述一个像素点位置，分别在所述N个第二前帧图像中各自对应的像素点的第二概率；

分别基于获得的各第二概率，各自与所述目标像素点的第一概率的差值，获得相应第二概率的权重；

基于所述各第二概率各自对应的权重，结合所述各第二概率各自与所述目标像素点的第一概率的差值，获得所述第三概率。

可选的，图像获取模块还用于：

当所述待处理帧图像是第一帧图像时，将预先设置的分割图像作为前帧分割图像；

当所述待处理帧图像不是第一帧图像时，将基于图像分割模型，对所述第一前帧图像包含的目标元素进行分割后生成的图像，作为前帧分割图像。

可选的，所述装置还包括模型训练模块，所述模型训练模块用于训练所述图像分割模型，具体执行以下操作：

获取预设的训练样本集；每个训练样本包含：样本图像、参照图像和标注分割图像；所述参照图像，是对所述标注分割图像进行图像变换后生成的；所述标注分割图像，是对所述样本图像包含的目标元素进行分割后生成的；

基于所述训练样本集，对待训练的所述图像分割模型进行多轮迭代训练；其中，在一轮迭代过程中，执行以下操作：

在选取的训练样本包含的参照图像中，对所述目标元素的边缘区域进行局部特征提取，获得样本局部特征，以及在所述训练样本包含的样本图像中，对所述目标元素的整体区域进行全局特征提取，获得样本全局特征；

对所述样本局部特征和样本全局特征进行特征融合处理，获得样本融合特征，并基于所述样本融合特征，在所述样本图像中，对所述目标元素进行分割，获得样本分割结果；

基于所述样本分割结果和所述训练样本包含的标注分割图像之间的损失值，进行模型参数调整。

可选的，所述模型训练模块还用于：

获取随机蒙版图像；

对所述标注分割图像进行变换处理，获得中间分割图像；其中，所述变换处理包括旋转、平移和剪切中的至少一种；

基于所述随机蒙版图像，对所述中间分割图像进行覆盖处理，获得所述参照图像。

第三方面，本申请实施例提供一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述的方法。

第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一所述方法的步骤。

第五方面，本申请实施例提供一种计算机程序产品，所述计算机程序产品在被计算机调用时，使得所述计算机执行如第一方面所述的方法。

本申请实施例提供了一种图像分割方法，首先，分别获取待处理帧图像和前帧分割图像，然后，分别提取前帧分割图像中目标元素的边缘区域相应的局部特征，以及待处理帧图像中目标元素的整体区域相应的全局特征，进而对局部特征和全局特征进行特征融合，最后基于融合特征，对待处理帧图像中的目标元素进行分割。

这样，通过单独对前帧分割图像进行特征提取，获得目标元素的局部特征，使得网络模型更有针对性地参考前帧图像的分割结果；通过将局部特征和全局特征融合，使得网络模型更全面地学习到目标元素的特征，从而减少对待处理帧图像包含像素点的错误分类情况，进而提升图像分割准确率。

附图说明

图1为本申请实施例中的应用场景示意图；

图2为本申请实施例中的一种图像分割方法的流程示意图；

图3为本申请实施例中的图像帧序列示意图；

图4 为本申请实施例中的前帧分割图像的选择方法示意图；

图5为本申请实施例中的图像分割模型结构示意图；

图6为本申请实施例中的基于第一融合特征对待处理帧图像进行分割的方法流程示意图；

图7为本申请实施例中获得待处理帧图像中像素点的第三概率的流程示意图；

图8为本申请实施例中的分割结果平滑处理方法示意图；

图9为本申请实施例中的训练样本示意图；

图10为本申请实施例中的一种图像分割模型训练方法流程示意图；

图11为本申请实施例中的模型训练过程中参照图像生成方法流程示意图；

图12为本申请实施例中参照图像生成过程的图像变换示意图；

图13为本申请实施例中一种图像分割装置的结构示意图；

图14为本申请实施例中一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请技术方案的一部分实施例，而不是全部的实施例。基于本申请文件中记载的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请技术方案保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够在除了这里图示或描述的那些以外的顺序实施。

以下对本申请实施例中的部分用语进行解释说明，以便于本领域技术人员理解。

（1）编码器：深度学习中将原始数据转换为低维度向量表示的模型结构，能够提取原始数据关键特征。

（2）解码器：深度学习中，将编码器生成的低维度向量表示，转换回原始数据空间的模型结构。

（3）上采样：深度学习中通过像素点填充使得低维特征图转换为预设大小特征图的操作。

（4）蒙版：对RGB图像中的目标元素进行分割后形成的分割图像，其中，目标元素为前景色，其他区域为背景色。

（5）覆盖处理：在分割图像中，对分割图像和随机蒙版中目标元素所包含的像素点取并集。

下面对本申请实施例的设计思想进行简要介绍：

图像分割是计算机视觉中的一项基本任务，涉及到根据图像的视觉属性将图像分割成多个区域或阶段。目前，在对图像进行分割的任务中，通常采用编码器和解码器相结合的模型直接对输入图像进行分割；在对视频进行分割的任务中，通过参考前帧图像特征，实现对当前图像中目标元素的分割。

然而，在这些方法中，通常模型复杂度较高、参数量较大，因此在实际场景中，通常将模型进行压缩处理后再进行布署，这种压缩后的模型难以达到压缩前的分割准确率；其次，现有的前帧图像参考方法中，将原始图像和对应蒙版在图像深度层面进行叠加后输入到分割模型中，这样，分割模型难以学习到前帧图像中目标元素的有效特征，因而无法提升图像分割准确率。

有鉴于此，本申请实施例中，提出了一种图像分割方法及相关装置。

本申请实施例中，首先，分别获取待处理帧图像和前帧分割图像，然后，分别提取前帧分割图像中目标元素的边缘区域相应的局部特征，以及待处理帧图像中目标元素的整体区域相应的全局特征，进而对局部特征和全局特征进行特征融合，最后基于融合特征，对待处理帧图像中的目标元素进行分割，这样，不将待处理帧图像和前帧分割图像在深度层面进行叠加，而是通过单独对前帧分割图像进行特征提取，获得目标元素的局部特征，使得网络模型更有针对性地参考前帧图像的分割结果；通过将局部特征和全局特征融合，使得网络模型更全面地学习到目标元素的特征，从而减少对待处理帧图像包含像素点的错误分类情况，进而提升图像分割准确率。

其次，本申请实施例中，通过综合参考N个前帧图像的分割结果，获得当前图像的分割结果，提高了对目标元素边缘区域的分割准确率；在图像分割模型训练过程中，通过对样本图像对应的标注分割图像进行图像变换，生成参照图像，实现对前帧分割图像的模拟，减少了标注工作量；并且，通过在训练样本中引入随机蒙版图像来模拟网络模型的误分情况，激励网络模型更好地学习到目标元素的有效特征，从而提升网络模型的分割准确率。

在介绍完本申请实施例的设计思想之后，下面对本申请实施例涉及到的主要技术进行介绍。

人工智能（Artificial Intelligence，AI）是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

机器学习（Machine Learning，ML）是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

本申请实施例提供的方案主要涉及属于人工智能领域下属的机器学习/深度学习等技术，具体而言，通过本申请提供的方法进行深度学习获取图像分割模型，进而可以利用该图像分割模型对待处理帧图像中的目标元素进行分割。

以下结合说明书附图对本申请的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请，并且在不冲突的情况下，本申请实施例及实施例中的特征可以相互组合。

如图1所示，其为本申请实施例中的应用场景示意图。其为本申请实施例的应用场景示意图。该应用场景图中包括两个终端设备110和一个服务器120。终端设备110与服务器120之间可以通过通信网络进行通信。用户可通过终端设备110浏览视频，终端设备110上可以安装有视频相关的应用，例如视频软件，短视频软件等，本申请实施例涉及的应用可以是软件，也可以是网页、小程序等客户端，后台服务器则是与软件或是网页、小程序等相对应的后台服务器，不限制客户端的具体类型。

在一种可选的实施方式中，通信网络是有线网络或无线网络。终端设备110以及服务器120可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

在本申请实施例中，终端设备110为用户使用的电子设备，该电子设备可以是个人计算机、手机、平板电脑、笔记本、电子书阅读器、智能家居等具有一定计算能力并且运行有即时通讯类软件及网站或者社交类软件及网站的计算机设备。各终端设备110通过无线网络与服务器120，服务器120可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN（Content Delivery Network，内容分发网络）、以及大数据和人工智能平台等基础云计算服务的云服务器。

其中，图像分割模型可部署于服务器120上进行训练，服务器120中可存储有大量训练样本，用于训练图像分割模型。可选的，在基于本申请实施例中的训练方法训练得到图像分割模型之后，可直接将训练好的图像分割模型部署于服务器120或终端设备110上。一般情况下都是直接将图像分割模型部署于服务器120上，在本申请实施例中，图像分割模型主要用于对待处理视频所包含图像帧中的各个目标元素进行分割。依据该模型即可自动提取待处理视频中目标元素的全局特征和局部特征，并且基于全局特征和局部特征，还可在其他视频中，对相同目标元素进行分割。

在一种可能的应用场景中，本申请中的训练样本可以采用云存储技术进行存储。云存储（cloudstorage）是在云计算概念上延伸和发展出来的一个新的概念，分布式云存储系统（以下简称存储系统）是指通过集群应用、网格技术以及分布存储文件系统等功能，将网络中大量各种不同类型的存储设备（存储设备也称之为存储节点）通过应用软件或应用接口集合起来协同工作，共同对外提供数据存储和业务访问功能的一个存储系统。

在一种可能的应用场景中，为了便于降低通信时延，可以在各个地区部署服务器120，或为了负载均衡，可以由不同的服务器120分别去服务各个终端备110对应的地区。多个服务器120通过区块链实现数据的共享，多个服务器120相当于多个服务器120组成的数据共享系统。例如终端设备110位于地点a，与服务器120之间进行通信连接，终端设备110位于地点b，与其他服务器120之间通信连接。

对于数据共享系统中的每个服务器120，均具有与该服务器120对应的节点标识，数据共享系统中的每个服务器120均可以存储有数据共享系统中其他服务器120的节点标识，以便后续根据其他服务器120的节点标识，将生成的区块广播至数据共享系统中的其他服务器120。每个服务器120中可维护一个如下表所示的节点标识列表，将服务器120名称和节点标识对应存储至该节点标识列表中。其中，节点标识可为网络之间互联的协议（InternetProtocol，IP）地址以及其他任一种能够用于标识该节点的信息，表1中仅以IP地址为例进行说明。

表1

下面结合上述描述的应用场景，参考附图来描述本申请示例性实施方式提供的图像分割方法，需要注意的是，上述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施方式在此方面不受任何限制。

参见图2所示，其为本申请实施例中的一种图像分割方法的流程示意图，该方法的具体实施流程如下：

步骤21：获取待处理帧图像和前帧分割图像。

其中，前帧分割图像，是对待处理帧图像的第一前帧图像包含的目标元素进行分割后生成的，待处理帧图像包含目标元素；待处理帧图像和第一前帧图像之间的间隔帧数符合预设间隔帧数要求；

在本申请实施例中，服务器首先获取一段视频所包含的所有帧图像，然后将视频中的每帧图像分别作为待处理帧图像，输入到图像分割模型中进行分割处理。例如，当目标元素为人时，则对视频中包含人的帧图像进行分割处理。

例如，如图3所示，其为本申请实施例中的图像帧序列示意图，其中包含n帧彩色图像，图像301为对图像帧序列中的第2帧图像包含的目标元素进行分割后生成的。假设第3帧图像为待处理帧图像，选取第2帧图像作为第3帧图像的第一前帧图像，则第2帧图像对应的分割图像301即为前帧分割图像。

进一步的，在获取前帧分割图像时，服务器还执行以下步骤，如图4所示，其为本申请实施例中的前帧分割图像的选择方法示意图，该方法的具体实施流程如下：

步骤211：判断待处理帧图像是否为第一帧图像，若是，则执行步骤212，否则，执行步骤213。

步骤212：将预先设置的分割图像作为前帧分割图像。

在本申请实施例中，由于图像帧序列中的第一帧图像不存在前帧图像，因此前帧分割图像需要预先设置，例如，可以将不包含任何元素的空白图像作为第一帧图像的前帧分割图像。

步骤213：将基于图像分割模型，对第一前帧图像包含的目标元素进行分割后生成的图像，作为前帧分割图像。

在本申请实施例中，由于在图像帧序列中，相隔较近的帧图像通常区别较小，因此，对于图像帧序列中除第一帧图像之外的图像，分别选取图像帧序列中符合预设间隔帧数要求的图像作为前帧图像，并将采用图像分割模型对前帧图像包含的人进行分割后生成的图像，作为前帧分割图像。

例如，假设预设间隔帧数为3，待处理帧图像为图3中图像帧序列的第4帧，则可以任意选取第1、2、3帧图像作为前帧分割图像。

需要说明的是，预设间隔帧数可由本领域技术人员根据实际情况进行设置，本申请实施例对此不作限制。

步骤22：对前帧分割图像包含的目标元素的边缘区域，进行局部特征提取，获得相应的局部特征。

在本申请实施例中，前帧分割图像为包含前景色和背景色的二值化图像，其中目标元素为前景色，其他区域为背景色。

由于在图像分割任务中，图像分割模型最容易对目标元素边缘像素点分类错误，因此引入前帧分割图像，使得图像分割模型学习到目标元素的边缘局部特征，从而对待处理帧图像中目标元素的边缘像素点分类更加准确。

为了能够更精确地捕捉到目标元素的边缘局部特征，采用注意力模块对前帧分割图像中包含的目标元素的边缘区域进行特征提取。如图5所示，其为本申请实施例中的图像分割模型结构示意图，其中包括编码模块510、解码模块520、注意力模块530和特征融合模块540，注意力模块530可以采用SE（Squeeze-and-Excitation）模块、CBAM（ConvolutionalBlock Attention Module）模块、ECA（Effificient Channel Attention）模块等，本申请实施例对此不作限定。

例如，如图5所示，将前帧分割图像560输入到注意力模块530中，获得对应的局部特征图5301，局部特征图5301包含有人的边缘特征信息。

这样，相较于现有的图像分割方法，将前帧分割图像和待处理帧图像在深度层面叠加为四通道图像，同时输入到图像分割模型进行特征提取，本申请实施例所采用的通过注意力模块单独对前帧分割图像进行特征提取，能够更有针对性的提取到前帧分割图像中目标元素的局部特征，从而使得图像分割模型能够对待处理帧图像中的目标元素进行更加精确的分割。

步骤23：对待处理帧图像包含的目标元素的整体区域，进行全局特征提取，获得相应的全局特征。

在本申请实施例中，待处理帧图像为彩色图像，对其包含的目标元素的整体区域进行特征提取后，获得全局特征，其中，全局特征包括目标元素的颜色特征、形状特征、位置特征等。

例如，如图5所示，将待处理帧图像550输入到编码模块510进行卷积操作后，获得人的全局特征图5101。

步骤24: 对局部特征和全局特征进行特征融合处理，获得第一融合特征。

在本申请实施例中，通过将获取的局部特征图和全局特征图在图像深度层面叠加来实现特征融合，获得第一融合特征。

例如，如图5所示，将全局特征图和局部特征图进行通道拼接，获得融合特征图540。

在一种可选的实施方式中，当局部特征图和全局特征图大小不同时，可以分别对局部特征图和全局特征图进行卷积操作，从而获得大小一致的局部特征图和全局特征图，然后进行特征融合。

在一种可选的实施方式中，在获得第一融合特征图后，对第一融合特征图进行卷积操作，获得局部特征和全局特征进一步融合的第一融合特征图。

这样，图像分割模型能够综合参考目标元素的局部特征和全局特征，使得图像分割模型能够更加全面地学习目标元素的有效区别特征，从而对待处理帧图像中的目标元素进行更加准确地分割。

步骤25：基于第一融合特征，在待处理帧图像中，对目标元素进行分割，获得分割结果。

具体的，在执行步骤25时，服务器还执行以下步骤，如图6所示，其为本申请实施例中的基于第一融合特征对待处理帧图像进行分割的方法流程示意图。下面结合附图6，对具体执行的步骤进行详细说明：

步骤251：基于第一融合特征，获得待处理帧图像包含的各像素点对应的第一概率集合。

其中，每个第一概率表征：相应像素点在待处理帧图像中，归属于目标元素的概率。

在本申请实施例中，对获得的第一融合特征进行上采样后，获得第一概率集合。第一概率集合中包含概率的数量与待处理帧图像中包含像素点的数量相同，每一个概率分别对应待处理帧图像中一个像素点归属于目标元素的概率。

例如，假设待处理帧图像550为512*512*3的图像，概率集合可以用图5中的模型输出结果5201来表示，则5201为512*512*1的概率图，其中的每个概率分别表示图像550中对应像素点属于人的概率。

步骤252：获取N个第二前帧图像，并基于N个第二前帧图像各自对应的第二融合特征，分别获取N个第二前帧图像各自包含的各像素点对应的第二概率集合。

其中，每个第二概率表征：相应像素点在对应的第二前帧图像中，归属于目标元素的概率。

在本申请实施例中，N个第二前帧图像各自对应的第二融合特征，是分别将N个第二前帧图像作为待处理帧图像，并采用上述步骤21~24的方法获得的。同样的，分别对N个第二前帧图像各自对应的第二融合特征进行上采样后，获得N个第二前帧图像各自包含的各像素点对应的第二概率集合。

例如，假设N = 2，图3中的第4帧图像为待处理帧图像，则可以选取第2帧和第3帧图像作为第二前帧图像，分别将第2帧、第3帧作为待处理帧图像，获得各自的第二概率集合。

值得说明的是，N个第二前帧图像可以包括步骤21中提到的第一前帧图像，也可以不包括第一前帧图像。

步骤253：针对待处理帧图像包含的各像素点位置，分别执行以下操作：

基于一个像素点位置，分别在N个第二前帧图像中各自对应的像素点的第二概率，对一个像素点位置在待处理帧图像中对应的目标像素点的第一概率进行调整，获得相应的第三概率；

基于第三概率和预设概率阈值，当确定目标像素点归属于目标元素时，对目标像素点进行分割处理。

具体的，在获得上述第三概率时，服务器还执行以下步骤，如图7所示，其为本申请实施例中获得待处理帧图像中像素点的第三概率的流程示意图，下面结合附图7，对具体执行的步骤进行详细说明：

步骤2531：获取一个像素点位置，分别在N个第二前帧图像中各自对应的像素点的第二概率。

在本申请实施例中，将一个像素点位置在待处理帧图像中对应的目标像素点的第一概率表示为，在N个第二前帧图像中各自对应的像素点的第二概率表示为/>，i可取1，2，…，N。

例如，如图8所示，其为本申请实施例中的分割结果平滑处理方法示意图，由于图5中的模型输出结果可以映射为512*512*1的概率图，因此待处理帧图像对应的模型输出结果映射为图8中的概率图801，2个第二前帧图像对应的模型输出结果分别映射为图8中的概率图802、803。

针对图8中的黑色像素点位置，假设概率图801中该像素点位置的第二概率为，概率图802中该像素点第二位置的概率/>，概率图803中该像素点位置的第二概率/>。

步骤2532：分别基于获得的各第二概率，各自与目标像素点的第一概率的差值，获得相应第二概率的权重。

在本申请实施例中，一个像素点位置，分别在N个第二前帧图像中各自对应的像素点的第二概率的权重的计算公式如下：

其中，，/>均为常数。

步骤2533：基于各第二概率各自对应的权重，结合各第二概率各自与目标像素点的第一概率的差值，获得第三概率。

在本申请实施例中，一个像素点位置在待处理帧图像中对应的目标像素点的第三概率的计算公式如下：

其中，，/>均为常数。/>

例如，针对如图8所示的黑色像素点位置，N = 2，概率图802、803中该像素点位置的第二概率和概率图801中该像素点位置的差值分别为

将上述差值分别代入上述第三概率计算公式，获得概率图804中该像素点位置调整后的第一概率，即第三概率。

进一步的，当第三概率大于预设概率阈值时，确定待处理帧图像中对应像素点归属于目标元素，并对该像素点进行标记。

这样，通过参考N个前帧图像的分割结果，对当前待处理帧图像的分割结果进行平滑处理，能够提高待处理帧图像中目标元素边缘像素点的分类准确率，进一步优化分割结果。

另一方面，本申请实施例还提供了一种图像分割模型训练方法，首先，获取预设的训练样本集，其中，每个训练样本包含：样本图像、参照图像和标注分割图像；参照图像，是对标注分割图像进行图像变换后生成的；标注分割图像，是对样本图像包含的目标元素进行分割后生成的。

例如，如图9所示，其为本申请实施例中的训练样本示意图。其中，图像901为样本图像，图像902为样本图像901对应的标注分割图像，参照图像903是标注分割图像902经过图像变换后生成的。

基于训练样本集，对待训练的图像分割模型进行多轮迭代训练。如图10所示，其为本申请实施例中的一种图像分割模型训练方法流程示意图，在每一轮训练中，服务器均执行以下步骤：

步骤1001：在选取的训练样本包含的参照图像中，对目标元素的边缘区域进行局部特征提取，获得样本局部特征，以及在训练样本包含的样本图像中，对目标元素的整体区域进行全局特征提取，获得样本全局特征。

具体的，参照图像是采用以下方式生成的，如图11所示，其为本申请实施例中的模型训练过程中参照图像生成方法流程示意图，如图12所示，其为本申请实施例中参照图像生成过程的图像变换示意图，下面结合附图11和附图12，对具体执行的步骤进行详细说明：

步骤1101：获取随机蒙版图像。

例如，如图12所示，图像1205为采用图像生成算法随机生成的蒙版图像。

步骤1102：对标注分割图像进行变换处理，获得中间分割图像；其中，变换处理包括旋转、平移和剪切中的至少一种。

例如，如图12所示，图像1202、1203、1204分别为标注分割图像1201分别经过旋转、平移、剪切后生成的中间分割图像。

步骤1103：基于随机蒙版图像，对中间分割图像进行覆盖处理，获得参照图像。

例如，如图12所示，对随机蒙版图像1205和中间分割图像1204中的人所包含的像素点取并集后，生成参照图像1206。

这样，通过随机蒙版图像，为训练样本引入误差因子，来模拟图像分割模型对图像中的像素点的错误分类情况，能够激励模型学习目标元素更有效的区别特征。

进一步的，对图9中样本图像901中的人进行全局特征提取的方法与前述步骤23中的方法相同，对参照图像903中的人进行局部特征提取的方法与前述步骤22中的方法相同，此处不再赘述。

步骤1002：对样本局部特征和样本全局特征进行特征融合处理，获得样本融合特征，并基于样本融合特征，在样本图像中，对目标元素进行分割，获得样本分割结果。

具体的，此处获得样本融合特征的方法和前述步骤24中获得第一融合特征的方法相同，此处基于样本融合特征获得样本分割结果的方法和步骤25中基于第一融合特征获取分割结果的方法相同，此处不再赘述。

步骤1003：基于样本分割结果和训练样本包含的标注分割图像之间的损失值，进行模型参数调整。

例如，样本分割结果和标注分割图像902之间的损失值可采用交叉熵损失函数等图像分割领域常见的损失函数来计算，本申请实施例对此不作限制。

此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

基于相同技术构思，参阅图13所示，本申请实施例还提供了一种图像分割装置，该装置包括：

图像获取模块1301，用于获取待处理帧图像和前帧分割图像；其中，前帧分割图像，是对待处理帧图像的第一前帧图像包含的目标元素进行分割后生成的，待处理帧图像包含目标元素；待处理帧图像和第一前帧图像之间的间隔帧数符合预设间隔帧数要求；

第一特征获取模块1302，用于对前帧分割图像包含的目标元素的边缘区域，进行局部特征提取，获得相应的局部特征；

第二特征获取模块1303，用于对待处理帧图像包含的目标元素的整体区域，进行全局特征提取，获得相应的全局特征；

特征融合模块1304，用于对局部特征和全局特征进行特征融合处理，获得第一融合特征；

分割处理模块1305，用于基于第一融合特征，在待处理帧图像中，对目标元素进行分割，获得分割结果。

可选的，基于第一融合特征，在待处理帧图像中，对目标元素进行分割，获得分割结果，分割处理模块1305还用于：

基于第一融合特征，获得待处理帧图像包含的各像素点对应的第一概率集合；其中，每个第一概率表征：相应像素点在待处理帧图像中，归属于目标元素的概率；

获取N个第二前帧图像，并基于N个第二前帧图像各自对应的第二融合特征，分别获取N个第二前帧图像各自包含的各像素点对应的第二概率集合；每个第二概率表征：相应像素点在对应的第二前帧图像中，归属于目标元素的概率；

针对待处理帧图像包含的各像素点位置，分别执行以下操作：

基于一个像素点位置，分别在N个第二前帧图像中各自对应的像素点的第二概率，对一个像素点位置在待处理帧图像中对应的目标像素点的第一概率进行调整，获得相应的第三概率；

基于第三概率和预设概率阈值，当确定目标像素点归属于目标元素时，对目标像素点进行分割处理。

可选的，基于一个像素点位置，分别在N个第二前帧图像中各自对应的像素点的第二概率，对一个像素点位置在待处理帧图像中对应的目标像素点的第一概率进行调整，获得相应的第三概率，分割处理模块1305还用于：

获取一个像素点位置，分别在N个第二前帧图像中各自对应的像素点的第二概率；

分别基于获得的各第二概率，各自与目标像素点的第一概率的差值，获得相应第二概率的权重；

基于各第二概率各自对应的权重，结合各第二概率各自与目标像素点的第一概率的差值，获得第三概率。

可选的，图像获取模块1301还用于：

当待处理帧图像是第一帧图像时，将预先设置的分割图像作为前帧分割图像；

当待处理帧图像不是第一帧图像时，将基于图像分割模型，对第一前帧图像包含的目标元素进行分割后生成的图像，作为前帧分割图像。

可选的，装置还包括模型训练模块1306，模型训练模块1306用于训练图像分割模型，具体执行以下操作：

获取预设的训练样本集；每个训练样本包含：样本图像、参照图像和标注分割图像；参照图像，是对标注分割图像进行图像变换后生成的；标注分割图像，是对样本图像包含的目标元素进行分割后生成的；

基于训练样本集，对待训练的图像分割模型进行多轮迭代训练；其中，在一轮迭代过程中，执行以下操作：

在选取的训练样本包含的参照图像中，对目标元素的边缘区域进行局部特征提取，获得样本局部特征，以及在训练样本包含的样本图像中，对目标元素的整体区域进行全局特征提取，获得样本全局特征；

对样本局部特征和样本全局特征进行特征融合处理，获得样本融合特征，并基于样本融合特征，在样本图像中，对目标元素进行分割，获得样本分割结果；

基于样本分割结果和训练样本包含的标注分割图像之间的损失值，进行模型参数调整。

可选的，模型训练模块1306还用于：

获取随机蒙版图像；

对标注分割图像进行变换处理，获得中间分割图像；其中，变换处理包括旋转、平移和剪切中的至少一种；

基于随机蒙版图像，对中间分割图像进行覆盖处理，获得参照图像。

基于相同的技术构思，本申请实施例还提供了一种电子设备，该电子设备可实现本申请上述实施例提供的图像分割的方法流程。

在一种实施例中，该电子设备可以是服务器，也可以是终端设备或其他电子设备。

参阅图14所示，该电子设备可包括：

至少一个处理器1401，以及与至少一个处理器1401连接的存储器1402，本申请实施例中不限定处理器1401与存储器1402之间的具体连接介质，图14中是以处理器1401和存储器1402之间通过总线1400连接为例。总线1400在图14中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线1400可以分为地址总线、数据总线、控制总线等，为便于表示，图14中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。或者，处理器1401也可以称为控制器，对于名称不做限制。

在本申请实施例中，存储器1402存储有可被至少一个处理器1401执行的指令，至少一个处理器1401通过执行存储器1402存储的指令，可以执行前文论述的一种图像分割方法。处理器1401可以实现图13所示的装置中各个模块的功能。

其中，处理器1401是该装置的控制中心，可以利用各种接口和线路连接整个该控制设备的各个部分，通过运行或执行存储在存储器1402内的指令以及调用存储在存储器1402内的数据，该装置的各种功能和处理数据，从而对该装置进行整体监测。

在一种可能的设计中，处理器1401可包括一个或多个处理单元，处理器1401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1401中。在一些实施例中，处理器1401和存储器1402可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。

处理器1401可以是通用处理器，例如CPU、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的一种图像分割方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器1402作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器1402可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器（Random AccessMemory，RAM）、静态随机访问存储器（Static Random Access Memory，SRAM）、可编程只读存储器（Programmable Read Only Memory，PROM）、只读存储器（Read Only Memory，ROM）、带电可擦除可编程只读存储器（Electrically Erasable Programmable Read-Only Memory，EEPROM）、磁性存储器、磁盘、光盘等等。存储器1402是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器1402还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。

通过对处理器1401进行设计编程，可以将前述实施例中介绍的一种图像分割方法所对应的代码固化到芯片内，从而使芯片在运行时能够执行图2所示的实施例的一种图像分割方法的步骤。如何对处理器1401进行设计编程为本领域技术人员所公知的技术，这里不再赘述。

基于同一发明构思，本申请实施例还提供一种存储介质，该存储介质存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行前文论述的一种图像分割方法。

在一些可能的实施方式中，本申请提供一种图像分割方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在装置上运行时，程序代码用于使该控制设备执行本说明书上述描述的根据本申请各种示例性实施方式的一种图像分割方法中的步骤。

应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (9)

1.一种图像分割方法，其特征在于，包括：

获取待处理帧图像和前帧分割图像；其中，所述前帧分割图像，是对所述待处理帧图像的第一前帧图像包含的目标元素进行分割后生成的，所述待处理帧图像包含所述目标元素；所述待处理帧图像和所述第一前帧图像之间的间隔帧数符合预设间隔帧数要求；

对所述前帧分割图像包含的所述目标元素的边缘区域，进行局部特征提取，获得相应的局部特征；

对所述待处理帧图像包含的所述目标元素的整体区域，进行全局特征提取，获得相应的全局特征；

对所述局部特征和所述全局特征进行特征融合处理，获得第一融合特征；

基于所述第一融合特征，获得所述待处理帧图像包含的各像素点对应的第一概率集合，以及获取N个第二前帧图像，并基于所述N个第二前帧图像各自对应的第二融合特征，分别获取所述N个第二前帧图像各自包含的各像素点对应的第二概率集合；其中，每个所述第一概率表征：相应像素点在所述待处理帧图像中，归属于所述目标元素的概率；每个所述第二概率表征：相应像素点在对应的第二前帧图像中，归属于所述目标元素的概率；

基于所述第二概率集合，对所述第一概率集合进行调整，获得相应的第三概率集合，以及基于所述第三概率集合，在所述待处理帧图像中，对所述目标元素进行分割，获得分割结果。

2.如权利要求1所述的方法，其特征在于，所述基于所述第二概率集合，对所述第一概率集合进行调整，获得相应的第三概率集合，以及基于所述第三概率集合，在所述待处理帧图像中，对所述目标元素进行分割，获得分割结果，包括：

针对所述待处理帧图像包含的各像素点位置，分别执行以下操作：

基于一个像素点位置，分别在所述N个第二前帧图像中各自对应的像素点的第二概率，对所述一个像素点位置在所述待处理帧图像中对应的目标像素点的第一概率进行调整，获得相应的第三概率；

基于所述第三概率和预设概率阈值，当确定所述目标像素点归属于所述目标元素时，对所述目标像素点进行分割处理。

3.如权利要求2所述的方法，其特征在于，所述基于一个像素点位置，分别在所述N个第二前帧图像中各自对应的像素点的第二概率，对所述一个像素点位置在所述待处理帧图像中对应的目标像素点的第一概率进行调整，获得相应的第三概率，包括：

获取所述一个像素点位置，分别在所述N个第二前帧图像中各自对应的像素点的第二概率；

分别基于获得的各第二概率，各自与所述目标像素点的第一概率的差值，获得相应第二概率的权重；

基于所述各第二概率各自对应的权重，结合所述各第二概率各自与所述目标像素点的第一概率的差值，获得所述第三概率。

4.如权利要求1、2或3所述的方法，其特征在于，所述获取待处理帧图像和前帧分割图像，包括：

当所述待处理帧图像是第一帧图像时，将预先设置的分割图像作为前帧分割图像；

当所述待处理帧图像不是第一帧图像时，将基于图像分割模型，对所述第一前帧图像包含的目标元素进行分割后生成的图像，作为前帧分割图像。

5.如权利要求1、2或3所述的方法，其特征在于，所述方法是通过图像分割模型执行的，所述图像分割模型的训练过程如下：

获取预设的训练样本集；每个训练样本包含：样本图像、参照图像和标注分割图像；所述参照图像，是对所述标注分割图像进行图像变换后生成的；所述标注分割图像，是对所述样本图像包含的目标元素进行分割后生成的；

基于所述训练样本集，对待训练的所述图像分割模型进行多轮迭代训练；其中，在一轮迭代过程中，执行以下操作：

在选取的训练样本包含的参照图像中，对所述目标元素的边缘区域进行局部特征提取，获得样本局部特征，以及在所述训练样本包含的样本图像中，对所述目标元素的整体区域进行全局特征提取，获得样本全局特征；

对所述样本局部特征和样本全局特征进行特征融合处理，获得样本融合特征，并基于所述样本融合特征，在所述样本图像中，对所述目标元素进行分割，获得样本分割结果；

基于所述样本分割结果和所述训练样本包含的标注分割图像之间的损失值，进行模型参数调整。

6.如权利要求5所述的方法，其特征在于，所述参照图像，是采用以下方式生成的：

获取随机蒙版图像；

对所述标注分割图像进行变换处理，获得中间分割图像；其中，所述变换处理包括旋转、平移和剪切中的至少一种；

基于所述随机蒙版图像，对所述中间分割图像进行覆盖处理，获得所述参照图像。

7.一种图像分割装置，其特征在于，包括：

图像获取模块，用于获取待处理帧图像和前帧分割图像；其中，所述前帧分割图像，是对所述待处理帧图像的第一前帧图像包含的目标元素进行分割后生成的，所述待处理帧图像包含所述目标元素；所述待处理帧图像和所述第一前帧图像之间的间隔帧数符合预设间隔帧数要求；

第一特征获取模块，用于对所述前帧分割图像包含的所述目标元素的边缘区域，进行局部特征提取，获得相应的局部特征；

第二特征获取模块，用于对所述待处理帧图像包含的所述目标元素的整体区域，进行全局特征提取，获得相应的全局特征；

特征融合模块，用于对所述局部特征和所述全局特征进行特征融合处理，获得第一融合特征；

分割处理模块，用于基于所述第一融合特征，获得所述待处理帧图像包含的各像素点对应的第一概率集合，以及获取N个第二前帧图像，并基于所述N个第二前帧图像各自对应的第二融合特征，分别获取所述N个第二前帧图像各自包含的各像素点对应的第二概率集合，以及基于所述第二概率集合，对所述第一概率集合进行调整，获得相应的第三概率集合，以及基于所述第三概率集合，在所述待处理帧图像中，对所述目标元素进行分割，获得分割结果；其中，每个所述第一概率表征：相应像素点在所述待处理帧图像中，归属于所述目标元素的概率；每个所述第二概率表征：相应像素点在对应的第二前帧图像中，归属于所述目标元素的概率。

8.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-6中任一项所述的方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一所述方法的步骤。