CN114037710A - 图像分割方法、装置、电子设备和存储介质 - Google Patents

Abstract

本公开提出一种图像分割方法、装置、电子设备和存储介质，涉及人工智能技术领域，具体为计算机视觉和深度学习技术领域，可应用于图像处理和图像识别场景。具体方案为：将待分割的视频图像帧输入图像分割模型，得到目标分割图像，目标分割图像中各元素指示视频图像帧中对应像素点属于前景物体的目标分割置信度，根据视频图像帧中的各候选区域的像素梯度和视频图像帧的像素梯度，确定视频图像帧中存在运动模糊的目标图像区域，根据设定阈值，对目标图像区域中各像素点对应的目标分割置信度进行修正，根据修正后的目标分割图像，对视频图像帧进行图像分割，根据梯度变化监测出运动模糊区域，并对其分割结果进行修正，提升了图像分割的准确度。

Description

图像分割方法、装置、电子设备和存储介质

技术领域

本公开涉及人工智能技术领域，具体为计算机视觉和深度学习技术领域，可应用于图像处理和图像识别场景，尤其涉及图像分割方法、装置、电子设备和存储介质。

背景技术

图像分割，例如，人像分割是图像/视频编辑领域的基础技术之一，其作用是将 人像前景与背景分离，可以应用在视频背景切换等场景中。

但是对于视频图像，尤其是存在人物快速移动的视频图像，由于成像设备的限制，图像中会存在运动模糊现象，导致图像分割边缘存在杂色，图像分割的效果较差。

发明内容

本公开提供了一种图像分割方法、装置、电子设备和存储介质。

根据本公开的一方面，提供了一种图像分割方法，包括：

获取待分割的视频图像帧；

将所述待分割的视频图像帧，输入图像分割模型，得到目标分割图像；其中，所 述目标分割图像中各元素用于指示所述视频图像帧中对应像素点属于前景物体的目 标分割置信度；

根据所述视频图像帧中包含的各候选区域的像素梯度和所述视频图像帧的像素梯度，确定所述视频图像帧中存在运动模糊的目标图像区域；

根据设定阈值，对所述目标图像区域中各像素点对应的目标分割置信度进行修正；

根据修正后的目标分割图像，对所述视频图像帧进行图像分割。

根据本公开的另一方面，提供了一种图像分割装置，包括：

获取模块，用于获取待分割的视频图像帧；

识别模块，用于将所述待分割的视频图像帧，输入图像分割模型，得到目标分割图像； 其中，所述目标分割图像中各元素用于指示所述视频图像帧中对应像素点属于前景物体的 目标分割置信度；

确定模块，用于根据所述视频图像帧中包含的各候选区域的像素梯度和所述视频图像 帧的像素梯度，确定所述视频图像帧中存在运动模糊的目标图像区域；

修正模块，用于根据设定阈值，对所述目标图像区域中各像素点对应的目标分割置信 度进行修正；

分割模块，用于根据修正后的目标分割图像，对所述视频图像帧进行图像分割。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执 行，以使所述至少一个处理器能够执行前述一方面所述方法的步骤。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行前述一方面所述方法的步骤。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机指令，所述计算机指令在被处理器执行时实现前述一方面所述方法的步骤。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征， 也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1为本公开实施例所提供的一种图像分割方法的流程示意图；

图2为本公开实施例提供的一种目标分割图像的示意图；

图3为本公开实施例提供的最终分割得到的图像的示意图；

图4为本公开实施例提供的另一种图像分割方法的流程示意图；

图5为本公开实施例提供的一种像素梯度在不同方向上的差异间关系的示意图；

图6为本公开实施例提供的另一种图像分割方法的流程示意图；

图7为本公开实施例提供的一种图像分割模型的结构示意图；

图8为本公开实施例提供的一种图像分割装置的结构示意图；

图9为本公开的实施例提供的电子设备的示意性框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当 认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和 精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

下面参考附图描述本公开实施例的图像分割方法、装置、电子设备和存储介质。

图1为本公开实施例所提供的一种图像分割方法的流程示意图。

如图1所示，该方法包含以下步骤：

步骤101，获取待分割的视频图像帧。

其中，视频图像帧，是存在对象快速移动的视频图像中的一帧，由于对象的快速移动，视频图像帧中存在运动模糊的现象。

在某些业务场景下，需要对视频图像帧进行分割，已得到只包含前景的图像，例如在虚拟人项目中，需要对视频图像帧中的虚拟人像进行分割，得到仅包含虚拟人像 的图像，从而更换虚拟人的背景，以满足不同场景的需求。

其中，本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均 符合相关法律法规的规定，且不违背公序良俗。

步骤102，将待分割的视频图像帧，输入图像分割模型，得到目标分割图像，其 中，目标分割图像中各元素用于指示视频图像帧中对应像素点属于前景物体的目标分 割置信度。

其中，图像分割模型，是预先训练得到的，已经学习得到了视频图像帧和对应的目标分割图像间的对应关系，而目标分割图像并不是通常说的仅包含前景物体的最终 的彩色图像，目标分割图像是各个元素组成的矩阵对应的灰度图，各个元素用于指示 视频图像帧中对应像素点属于前景物体的目标分割置信度。作为一种实现方式，目标 分割图像是混合或前景蒙版Alpha matte，也称前景透明度或透明度蒙版，是前景和背 景分离的结果，是一个灰度图，每一个像素点的灰度值表示原始图像每个像素点属于 前景物体的程度，即置信度。

作为一种示例，如图2所示，图2为本公开实施例提供的一种目标分割图像的示 意图，图2中的右图中即为目标分割示意图，其中，白色代表某一个像素确定属于前 景，即手部，黑色代表某一个像素点确定属于背景。

步骤103，根据视频图像帧中包含的各候选区域的像素梯度和视频图像帧的像素梯度，确定视频图像帧中存在运动模糊的目标图像区域。

本公开实施例中，清晰图像的像素梯度在不同方向上的分布较为一致，而存在运动模糊的图像的像素梯度在不同方向上的分布则不一致，从而将视频图像帧的图像区 域划分为设定大小的多个候选区域，将各候选区域的像素梯度和视频图像帧的像素梯 度进行比较，以确定视频图像帧中存在运动模糊的目标图像区域。

例如，如图2所示，其中的A区域即为存在运动模糊的一个区域，在分割图像 中表现则边缘锯齿状，不平滑。

步骤104，根据设定阈值，对目标图像区域中各像素点对应的目标分割置信度进行修正。

本公开实施例中，目标图像区域中各像素点具有对应的目标分割置信度，由于目标图像区域是存在模糊的区域，而模糊的区域的像素点的目标分割置信度具有明显特 点，通常是小于设定阈值，因此，根据设定阈值，可实现对目标图像区域中各像素点 对应的目标分割置信度进行修正，以提高存在运动模糊的目标图像区域中各像素点对 应的目标分割置信度的准确性。

需要说明的是，存在运动模糊的目标图像区域可以为一个或多个，当目标图像区域为多个时，需要按照同样的方法，对每一个目标图像区域中各像素点对应的目标分 割置信度进行修正。

步骤105，根据修正后的目标分割图像，对视频图像帧进行图像分割。

本公开实施例的一种实现方式中，修正后的目标分割图像中已经修正了存在运动模糊的各像素点对应的目标分割置信度，从而根据修正后的目标分割图像，和原始的 视频图像帧进行对应像素点的像素信息相乘，即可得到对视频图像帧进行图像分割得 到的目标图像，即仅包含前景物体的目标图像，避免了目标图像中前景物体周围出现 杂色，提高了前景物体分割的精度。作为一种示例，如图3所示，图3中将视频图像 帧中像素点的像素信息和修正后的目标分割图对应像素点的目标分割置信度相乘，可 得到对视频图像帧进行图像分割得到的目标图像，该目标图像可应用于背景切换场景 下，根据业务需求随意更换背景。

本公开的图像分割方法中，将待分割的视频图像帧输入图像分割模型，得到目标分割图像，目标分割图像中各元素指示视频图像帧中对应像素点属于前景物体的目标 分割置信度，根据视频图像帧中包含的各候选区域的像素梯度和视频图像帧的像素梯 度，确定视频图像帧中存在运动模糊的目标图像区域，根据设定阈值，对目标图像区 域中各像素点对应的目标分割置信度进行修正，根据修正后的目标分割图像，对视频 图像帧进行图像分割。本公开中根据图像中不同方向梯度变化的统计差异性，检测出 运动模糊区域并对其分割结果进行修正，从而帮助提升最终图像分割的准确度。

基于上述实施例，图4为本公开实施例提供的另一种图像分割方法的流程示意图，如图4所示，该方法包含以下步骤：

步骤401，获取待分割的视频图像帧。

步骤402，将待分割的视频图像帧，输入图像分割模型，得到目标分割图像，其 中，目标分割图像中各元素用于指示视频图像帧中对应像素点属于前景物体的目标分 割置信度。

其中，关于步骤401和步骤402的解释说明，可参照前述实施例中的解释说明， 本实施例中不再赘述。

本公开实施例中，图像分割模型是预先训练得到的，对于模型的训练方法，作为一种 实现方式，可获取训练样本图像，训练样本图像的背景为设定颜色的纯背景，例如为绿幕 背景，蓝幕背景等，根据训练样本图像，对图像分割模型进行训练，通过不断的调整图像分割模型的参数，在模型的损失函数最小时完成模型的训练，通过设置设定背景的训练样本图像，可学习到纯色背景的先验信息，使得模型训练完成后，只需要输入原图即可对其中的前景对象部分进行分割，提高了训练样本获取的便利性，提高了训练效率。

步骤403，获取设定大小的滑动窗口。

其中，滑动窗口的大小可根据精度需求进行设置，本实施例中不进行限定。

步骤404，将滑动窗口在视频图像帧中按照设定的步长移动，以确定视频图像帧中的多个候选图像区域。

本公开实施例中，设定滑动窗口在视频图像帧中每次移动的步长，根据移动步长，控制滑动窗口在视频图像帧中不断移动，每移动一次视频图像帧的一个候选区域，从 而确定视频图像帧中的多个候选图像区域，通过滑动窗口的滑动确定多个候选图像区 域，增加了候选图像区域的数量，提高对模糊图像区域识别的准确性。

步骤405，确定各候选图像区域在各个设定方向上的像素梯度。

本公开实施例中，运动模糊在图像表现上具有显著特征，通常表现为运动模糊区域的像素梯度在不同方向上的分布具有显著差异，具体像素梯度在运动方向上的分布 和与运动方向垂直的方向上的分布差别最大。针对图像中不同方向上像素梯度的变化 情况，作为一种示例，如图5所示，图5中(d)图中，图像的像素梯度在x方向上 的分布和在y方向上的分布较为一致，而(e)图中图像的像素梯度在x方向上的分 布和在y方向上的分布差异较大，从而根据像素梯度可以对图像中的运动模糊区域进 行检测识别。

本公开实施例的一种实现方式中，针对每一个候选图像区域，将相应候选图像区域划分为多个方向，例如，为16个方向，方向间的间隔为2π/16＝π/8，其中，π为 圆周率。进而，计算候选图像区域内每个像素在各个方向上的梯度，得到候选图像区 域在各个设定方向上的像素梯度。

步骤406，根据各候选图像区域在各个设定方向上的像素梯度，确定各个候选图像区域的像素梯度方差。

本公开实施例的一种实现方式中，根据各候选图像区域在各个设定方向上的像素梯度，确定各个候选图像区域的像素梯度方差，其中，各个候选图像区域的像素梯度 方差描述了各个候选图像区域的像素梯度的偏差程度，偏差程度越小，说明该候选图 像区域越清晰，偏差程度越大，说明该候选图像区域越模糊。

步骤407，根据各候选图像区域的像素梯度方差，与视频图像帧的像素梯度方差的匹配程度，确定视频图像帧中存在运动模糊的目标图像区域。

本公开实施例的一种实现方式中，针对任一候选图像区域的像素梯度方差与视频图像帧的像素梯度方差进行匹配，若相应候选图像区域的像素梯度方差是视频图像帧 的像素梯度方差的设定倍数，例如1.2倍，则认为相应候选图像区域为视频图像帧中 存在运动模糊的目标图像区域。重复该过程，直至对所有候选图像区域均确定完毕， 以确定出视频图像帧中存在运动模糊的所有目标图像区域。

步骤408，根据设定阈值，对目标图像区域中各像素点对应的目标分割置信度进行修正。

本公开实施例的一种实现方式中，将目标图像区域中各像素点对应的目标分割置信度与设定阈值比较，将目标分割置信度小于设定阈值的各像素点的目标分割置信度 设置为设定值，例如，设定值为0，通过将模糊区域中的各像素点与设定阈值比较， 查找出真正存在模糊的各像素点，并将各像素点的置信度置零，以修正目标图像区域 中各像素点的目标分割置信度，从而提高了修正后的目标分割图像的准确性，进而提 高了后续对视频图像帧进行图像分割的精度。

步骤409，根据修正后的目标分割图像，对视频图像帧进行图像分割。

具体可参照前述实施例中的解释说明，本实施例中不再赘述。

本公开实施例的的图像分割方法中，将待分割的视频图像帧输入图像分割模型，得到目标分割图像，目标分割图像中各元素指示视频图像帧中对应像素点属于前景物 体的目标分割置信度，根据视频图像帧中包含的各候选区域的像素梯度和视频图像帧 的像素梯度，确定视频图像帧中存在运动模糊的目标图像区域，根据设定阈值，对目 标图像区域中各像素点对应的目标分割置信度进行修正，根据修正后的目标分割图像， 对视频图像帧进行图像分割。本公开中根据图像中不同方向梯度变化的统计差异性， 即根据各候选图像区域的像素梯度方差，与视频图像帧的像素梯度方差的匹配程度， 确定视频图像帧中存在运动模糊的目标图像区域，检测出运动模糊区域并对其分割结 果进行修正，从而帮助提升最终图像分割的准确度。

基于上述实施例，本公开实施例提供了另一种图像分割方法，图6为本公开实施例提供的另一种图像分割方法的流程示意图，如图6所示，该方法包含以下步骤：

步骤601，获取待分割的视频图像帧。

具体可参照前述实施例中的说明，本实施例中不再赘述。

步骤602，将视频图像帧，输入图像分割模型的分割网络，以得到初始分割图像和误 差估计图。

其中，初始分割图像中各元素用于指示视频图像帧中对应像素点的初始分割置信度， 误差估计图中各元素用于指示视频图像帧中对应像素点的初始分割置信度的估计误差。

本公开实施例中，在对人像进行抠图的场景下，对应的图像分割模型是根据抠图模型 (Background Matting，BGM)分割方法演化而来，二者间最大的区别是BGM在进行分割得到alphamatte的分割图像时，需要输入视频图像帧和其对应的背景图片。而本公开中的图像分割模型利用绿幕背景的先验信息，只需要输入视频图像帧即可对其中的人像进行分割。作为一种实现方式，分割网络包含编码网络和解码网络，分割网络的输入为视频图像帧，视频图像帧通过编码网络后输出中间特征，将中间特征输入解码网络解码得到视频图像帧中各像素点对应的初始分割置信度和误差估计图。

步骤603，将视频图像帧、误差估计图和初始分割图像，输入图像分割模型的修正网 络，得到目标分割图像。

本公开实施例中，矫正网络根据误差估计图和视频图像帧，输出各像素点的初始分割 置信度的实际误差，根据实际误差对初始分割图像的初始分割置信度进行修正，得到目标 分割图像，目标分割图像中各元素用于指示视频图像帧中对应像素点的目标分割置信度。

步骤604，根据视频图像帧中包含的各候选区域的像素梯度和视频图像帧的像素梯度， 确定视频图像帧中存在运动模糊的目标图像区域。

步骤605，根据设定阈值，对目标图像区域中各像素点对应的目标分割置信度进行修 正。

步骤606，根据修正后的目标分割图像，对视频图像帧进行图像分割。

其中，步骤604-步骤606，可参照前述方法实施例中的解释说明，本实施例中不 再限定。

针对本公开实施例的图像分割模型的分割网络，作为一种实现方式，图7为本公开实施例提供的一种图像分割模型的结构示意图，如图7所示，分割网络包含编码网 络和解码网络，分割网络的输入为视频图像帧，视频图像帧通过编码网络后输出中间 特征，将中间特征输入解码网络解码得到视频图像帧中各像素点对应的初始分割置信 度和误差估计图。进而，将误差估计图和初始分割置信度输入矫正网络，矫正后得到 目标分割图像，目标分割图像中各元素用于指示视频图像帧中对应像素点的目标分割 置信度，提高了目标分割图像的准确度。

本公开实施例的图像分割方法中，通过已学习到绿幕背景的先验知识，即通过绿幕背景的样本图像训练得到的图像分割模型对视频图像帧进行分割，简化了分割的输 入数据，同时，图像分割模型的第一阶段即通过分割网络输出初阶alphamate，即初始 分割图像和对应的误差估计图，第二阶段在第一阶段的基础上，将原图的视频图像帧 和误差估计结合起来对误差较大的区域进行分割置信度的修正，输出最终的目标图像 分割结果，提高了目标分割结果输出的准确性。

为了实现上述实施例，本公开实施例提供了一种图像分割装置。

图8为本公开实施例提供的一种图像分割装置的结构示意图，如图8所示，该装 置包括：

获取模块81，用于获取待分割的视频图像帧。

识别模块82，用于将所述待分割的视频图像帧，输入图像分割模型，得到目标分割图像；其中，所述目标分割图像中各元素用于指示所述视频图像帧中对应像素点属于前景物体的目标分割置信度。

确定模块83，用于根据所述视频图像帧中包含的各候选区域的像素梯度和所述视频 图像帧的像素梯度，确定所述视频图像帧中存在运动模糊的目标图像区域。

修正模块84，用于根据设定阈值，对所述目标图像区域中各像素点对应的目标分割 置信度进行修正。

分割模块85，用于根据修正后的目标分割图像，对所述视频图像帧进行图像分割。

进一步，在本公开实施例的一种实现方式中，确定模块83，还用于：

确定各所述候选图像区域在各个设定方向上的像素梯度；

根据各所述候选图像区域在各个设定方向上的像素梯度，确定各个所述候选图像区域 的像素梯度方差；

根据各所述候选图像区域的像素梯度方差，与所述视频图像帧的像素梯度方差的匹配 程度，确定所述视频图像帧中存在运动模糊的目标图像区域。

在本公开实施例的一种实现方式中，确定模块83，还包括：

获取设定大小的滑动窗口；

将所述滑动窗口在所述视频图像帧中按照设定的步长移动，以确定所述视频图像帧中 的多个候选图像区域。

在本公开实施例的一种实现方式中，识别模块82，还用于：

将所述视频图像帧，输入图像分割模型的分割网络，以得到初始分割图像和误差估计 图；所述初始分割图像中各元素用于指示所述视频图像帧中对应像素点的初始分割置信度； 误差估计图中各元素用于指示所述视频图像帧中对应像素点的初始分割置信度的估计误 差；

将所述视频图像帧、所述误差估计图和所述初始分割图像，输入所述图像分割模型的 修正网络，得到所述目标分割图像；所述修正网络根据误差估计图和视频图像帧，输出各 像素点的初始分割置信度的实际误差，根据实际误差对所述初始分割图像的初始分割置信 度进行修正，得到目标分割图像；目标分割图像中各元素用于指示所述视频图像帧中对应 像素点的目标分割置信度。

在本公开实施例的一种实现方式中，修正模块84，用于：

将所述目标图像区域中各像素点对应的目标分割置信度与设定阈值比较；

将目标分割置信度小于设定阈值的各所述像素点的目标分割置信度设置为设定值。

在本公开实施例的一种实现方式中，该装置还包括：

训练模块，用于获取训练样本图像；所述训练样本图像的背景为设定颜色的纯背景； 根据所述训练样本图像，对所述图像分割模型进行训练。

其中，前述对方法实施例的解释说明也适用于本实施例的装置，原理相同，本实施例中不再赘述。

本公开的图像分割装置中，将待分割的视频图像帧输入图像分割模型，得到目标分割图像，目标分割图像中各元素指示视频图像帧中对应像素点属于前景物体的目标 分割置信度，根据视频图像帧中包含的各候选区域的像素梯度和视频图像帧的像素梯 度，确定视频图像帧中存在运动模糊的目标图像区域，根据设定阈值，对目标图像区 域中各像素点对应的目标分割置信度进行修正，根据修正后的目标分割图像，对视频 图像帧进行图像分割。本公开中根据图像中不同方向梯度变化的统计差异性，检测出 运动模糊区域并对其分割结果进行修正，从而帮助提升最终图像分割的准确度。

为了实现上述实施例，本公开实施例还提供了一种电子设备，包括：

至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执 行，以使所述至少一个处理器能够执行前述方法实施例所述方法的步骤。

为了实现上述实施例，本公开实施例还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行前述方法实施例所 述方法的步骤。

为了实现上述实施例，本公开实施例还提供了一种计算机程序产品，包括计算机指令，所述计算机指令在被处理器执行时实现前述方法实施例所述方法的步骤。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图9为本公开的实施例提供的电子设备的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务 器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形 式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似 的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例， 并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图9所示，电子设备900包括计算单元901，其可以根据存储在ROM(Read-OnlyMemory，只读存储器)902中的计算机程序或者从存储单元908加载到RAM(Random AccessMemory，随机访问/存取存储器)903中的计算机程序，来执行各种适当的动 作和处理。在RAM 903中，还可存储电子设备900操作所需的各种程序和数据。计 算单元901、ROM 902以及RAM 903通过总线904彼此相连。I/O(Input/Output，输 入/输出)接口905也连接至总线904。

电子设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键 盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例 如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。 通信单元909允许电子设备900通过诸如因特网的计算机网络和/或各种电信网络与其 他设备交换信息/数据。

计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于CPU(Central Processing Unit，中央处理单元)、 GPU(Graphic Processing Units，图形处理单元)、各种专用的AI(Artificial Intelligence，人工智能)计算芯片、各种运行机器学习模型算法的计算单元、DSP(Digital SignalProcessor，数字信号处理器)、以及任何适当的处理器、控制器、微控制器等。计算 单元901执行上文所描述的各个方法和处理，例如图像分割方法。例如，在一些实施 例中，图像分割方法可被实现为计算机软件程序，其被有形地包含于机器可读介质， 例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902 和/或通信单元909而被载入和/或安装到电子设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的图像分割方法的一个或多个步骤。 备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助 于固件)而被配置为执行图像分割方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、FPGA(Field Programmable Gate Array，现场可编程门阵列)、ASIC(Application-Specific Integrated Circuit，专用集成电路)、ASSP(ApplicationSpecific Standard Product，专用标准产品)、SOC(System On Chip，芯片上系统的系统)、CPLD(Complex Programmable Logic Device，复杂可编程逻辑设备)、计算机硬件、 固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者 多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可 编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以 从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据 和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置 的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所 规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作 为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或 服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。 机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括 但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备， 或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多 个线的电气连接、便携式计算机盘、硬盘、RAM、ROM、EPROM(Electrically Programmable Read-Only-Memory，可擦除可编程只读存储器)或快闪存储器、光纤、 CD-ROM(Compact Disc Read-Only Memory，便捷式紧凑盘只读存储器)、光学储存 设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(Cathode-Ray Tube，阴极射线 管)或者LCD(Liquid Crystal Display，液晶显示器)监视器)；以及键盘和指向装 置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计 算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以 是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用 任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部 件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通 过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、 或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以 通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。 通信网络的示例包括：LAN(Local Area Network，局域网)、WAN(Wide Area Network， 广域网)、互联网和区块链网络。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的 计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服 务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS 服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性 弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

其中，需要说明的是，人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的 技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存 储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、 自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方 向。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。 例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序 执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何 在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护 范围之内。

Claims (15)

1.一种图像分割方法，包括：

获取待分割的视频图像帧；

将所述待分割的视频图像帧，输入图像分割模型，得到目标分割图像；其中，所述目标分割图像中各元素用于指示所述视频图像帧中对应像素点属于前景物体的目标分割置信度；

根据所述视频图像帧中包含的各候选区域的像素梯度和所述视频图像帧的像素梯度，确定所述视频图像帧中存在运动模糊的目标图像区域；

根据设定阈值，对所述目标图像区域中各像素点对应的目标分割置信度进行修正；

根据修正后的目标分割图像，对所述视频图像帧进行图像分割。

2.如权利要求1所述的方法，其中，所述根据所述视频图像帧中包含的各候选区域的像素梯度和所述视频图像帧的像素梯度，确定所述视频图像帧中存在运动模糊的目标图像区域，包括：

确定各所述候选图像区域在各个设定方向上的像素梯度；

根据各所述候选图像区域在各个设定方向上的像素梯度，确定各个所述候选图像区域的像素梯度方差；

根据各所述候选图像区域的像素梯度方差，与所述视频图像帧的像素梯度方差的匹配程度，确定所述视频图像帧中存在运动模糊的目标图像区域。

3.如权利要求2所述的方法，其中，所述根据各所述候选图像区域的像素梯度方差，与所述视频图像帧的像素梯度方差的匹配程度，确定所述视频图像帧中存在运动模糊的目标图像区域之前，包括：

获取设定大小的滑动窗口；

将所述滑动窗口在所述视频图像帧中按照设定的步长移动，以确定所述视频图像帧中的多个候选图像区域。

4.如权利要求1所述的方法，其中，所述将所述待分割的视频图像帧，输入图像分割模型，得到目标分割图像，包括：

将所述视频图像帧，输入图像分割模型的分割网络，以得到初始分割图像和误差估计图；所述初始分割图像中各元素用于指示所述视频图像帧中对应像素点的初始分割置信度；误差估计图中各元素用于指示所述视频图像帧中对应像素点的初始分割置信度的估计误差；

将所述视频图像帧、所述误差估计图和所述初始分割图像，输入所述图像分割模型的修正网络，得到所述目标分割图像；所述修正网络根据误差估计图和视频图像帧，输出各像素点的初始分割置信度的实际误差，根据实际误差对所述初始分割图像的初始分割置信度进行修正，得到目标分割图像；目标分割图像中各元素用于指示所述视频图像帧中对应像素点的目标分割置信度。

5.如权利要求1所述的方法，其中，所述根据设定阈值，对所述目标图像区域中各像素点对应的目标分割置信度进行修正，包括：

将所述目标图像区域中各像素点对应的目标分割置信度与设定阈值比较；

将目标分割置信度小于设定阈值的各所述像素点的目标分割置信度设置为设定值。

6.如权利要求1-5任一项所述的方法，其中，所述方法还包括：

获取训练样本图像；所述训练样本图像的背景为设定颜色的纯背景；

根据所述训练样本图像，对所述图像分割模型进行训练。

7.一种图像分割装置，包括：

获取模块，用于获取待分割的视频图像帧；

识别模块，用于将所述待分割的视频图像帧，输入图像分割模型，得到目标分割图像；其中，所述目标分割图像中各元素用于指示所述视频图像帧中对应像素点属于前景物体的目标分割置信度；

确定模块，用于根据所述视频图像帧中包含的各候选区域的像素梯度和所述视频图像帧的像素梯度，确定所述视频图像帧中存在运动模糊的目标图像区域；

修正模块，用于根据设定阈值，对所述目标图像区域中各像素点对应的目标分割置信度进行修正；

分割模块，用于根据修正后的目标分割图像，对所述视频图像帧进行图像分割。

8.如权利要求7所述的装置，其中，所述确定模块，还用于：

确定各所述候选图像区域在各个设定方向上的像素梯度；

根据各所述候选图像区域在各个设定方向上的像素梯度，确定各个所述候选图像区域的像素梯度方差；

根据各所述候选图像区域的像素梯度方差，与所述视频图像帧的像素梯度方差的匹配程度，确定所述视频图像帧中存在运动模糊的目标图像区域。

9.如权利要求8所述的装置，其中，所述确定模块，还用于：

获取设定大小的滑动窗口；

将所述滑动窗口在所述视频图像帧中按照设定的步长移动，以确定所述视频图像帧中的多个候选图像区域。

10.如权利要求7所述的装置，其中，所述识别模块，还用于：

将所述视频图像帧，输入图像分割模型的分割网络，以得到初始分割图像和误差估计图；所述初始分割图像中各元素用于指示所述视频图像帧中对应像素点的初始分割置信度；误差估计图中各元素用于指示所述视频图像帧中对应像素点的初始分割置信度的估计误差；

将所述视频图像帧、所述误差估计图和所述初始分割图像，输入所述图像分割模型的修正网络，得到所述目标分割图像；所述修正网络根据误差估计图和视频图像帧，输出各像素点的初始分割置信度的实际误差，根据实际误差对所述初始分割图像的初始分割置信度进行修正，得到目标分割图像；目标分割图像中各元素用于指示所述视频图像帧中对应像素点的目标分割置信度。

11.如权利要求7所述的装置，其中，所述修正模块，用于：

将所述目标图像区域中各像素点对应的目标分割置信度与设定阈值比较；

将目标分割置信度小于设定阈值的各所述像素点的目标分割置信度设置为设定值。

12.如权利要求7-11任一项所述的装置，其中，所述装置还包括：

训练模块，用于获取训练样本图像；所述训练样本图像的背景为设定颜色的纯背景；根据所述训练样本图像，对所述图像分割模型进行训练。

13.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。

15.一种计算机程序产品，包括计算机指令，所述计算机指令在被处理器执行时实现根据权利要求1-6中任一项所述的方法。

Images