CN109492608B - 图像分割方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请涉及一种图像分割方法、装置、计算机设备及存储介质，该方法包括：在视频中按照时序依次选取当前图像帧；从在所述视频中的时序位于当前图像帧之前的图像帧中，确定参考图像帧；获取所述参考图像帧中目标对象关键点的第一位置信息；参照第一位置信息和目标对象关键点模板之间的仿射变换关系，对当前图像帧进行仿射变换，得到当前图像帧的目标对象图；对所述目标对象图进行关键点检测，得到目标对象关键点的第二位置信息；从所述目标对象图中分割目标对象，得到目标对象的分割信息；根据所述分割信息和所述第二位置信息，从所述当前图像帧中分割出所述目标对象。本申请的方案，减少了计算量。

Description

图像分割方法、装置、计算机设备及存储介质

技术领域

本发明涉及计算机技术领域，特别是涉及一种图像分割方法、装置、计算机设备及存储介质。

背景技术

随着科学技术的飞速发展，各种视频技术的应用也越来越广泛。视频中每帧图像中都可能存在多个对象，在一些应用场景中，通常需要将其中某个目标对象从视频图像中分割出来。比如，在医学领域，通常需要从针对人体区域的超声视频图像中分割出某一部分的图像。

传统方法在针对视频图像的某一目标对象进行分割时，是将视频中的原图和光流图一并输入至卷积神经网络中进行编码，然后将各自编码后得到的特征图串联，再统一解码，以从原图中分割出目标对象。这样一来，需要进行大量的数据处理，耗费大量计算处理资源。

发明内容

基于此，有必要针对传统方法需耗费大量计算处理资源的问题，提供一种图像分割方法、装置、计算机设备及存储介质。

一种图像分割方法，所述方法包括：

在视频中按照时序依次选取当前图像帧；

从在所述视频中的时序位于当前图像帧之前的图像帧中，确定参考图像帧；

获取所述参考图像帧中目标对象关键点的第一位置信息；

参照第一位置信息和目标对象关键点模板之间的仿射变换关系，对当前图像帧进行仿射变换，得到当前图像帧的目标对象图；

对所述目标对象图进行关键点检测，得到目标对象关键点的第二位置信息；

从所述目标对象图中分割目标对象，得到目标对象的分割信息；

根据所述分割信息和所述第二位置信息，从所述当前图像帧中分割出所述目标对象。

一种图像分割装置，所述装置包括：

选取模块，用于在视频中按照时序依次选取当前图像帧；

仿射变换模块，用于从在所述视频中的时序位于当前图像帧之前的图像帧中，确定参考图像帧；获取所述参考图像帧中目标对象关键点的第一位置信息；参照第一位置信息和目标对象关键点模板之间的仿射变换关系，对当前图像帧进行仿射变换，得到当前图像帧的目标对象图；

目标对象信息获取模块，用于对所述目标对象图进行关键点检测，得到目标对象关键点的第二位置信息；从所述目标对象图中分割目标对象，得到目标对象的分割信息；

分割模块，用于根据所述分割信息和所述第二位置信息，从所述当前图像帧中分割出所述目标对象。

一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

在视频中按照时序依次选取当前图像帧；

从在所述视频中的时序位于当前图像帧之前的图像帧中，确定参考图像帧；

获取所述参考图像帧中目标对象关键点的第一位置信息；

参照第一位置信息和目标对象关键点模板之间的仿射变换关系，对当前图像帧进行仿射变换，得到当前图像帧的目标对象图；

对所述目标对象图进行关键点检测，得到目标对象关键点的第二位置信息；

从所述目标对象图中分割目标对象，得到目标对象的分割信息；

根据所述分割信息和所述第二位置信息，从所述当前图像帧中分割出所述目标对象。

一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行如下步骤：

在视频中按照时序依次选取当前图像帧；

从在所述视频中的时序位于当前图像帧之前的图像帧中，确定参考图像帧；

获取所述参考图像帧中目标对象关键点的第一位置信息；

参照第一位置信息和目标对象关键点模板之间的仿射变换关系，对当前图像帧进行仿射变换，得到当前图像帧的目标对象图；

对所述目标对象图进行关键点检测，得到目标对象关键点的第二位置信息；

从所述目标对象图中分割目标对象，得到目标对象的分割信息；

根据所述分割信息和所述第二位置信息，从所述当前图像帧中分割出所述目标对象。

上述图像分割方法、装置、计算机设备和存储介质，选取视频中时序位于当前图像帧之前的图像帧，作为参考图像帧，并预先生成了目标对象关键点模板，将参考图像帧中目标对象关键点的第一位置信息作为仿射变换参考信息，按照参考图像帧中目标对象关键点的第一位置信息和目标对象关键点模板之间的仿射变换关系，对所述当前图像帧进行仿射变换处理，得到所述当前图像帧中的目标对象图。即，根据之前的参考图像帧的目标对象关键点的第一位置信息这一时序先验知识，结合仿射变换处理，能够比较快速地确定出目标对象图，而不需要大量计算，减少了计算处理资源。得到的目标对象图中即为目标对象的感兴趣区域，相当于剔除了很多不相关的其他图像内容，进而仅针对所述目标对象图进行关键点检测，得到目标对象关键点的第二位置信息；从所述目标对象图中分割目标对象，得到目标对象的分割信息，将所述分割信息和所述第二位置信息映射至所述当前图像帧。映射有分割信息和第二位置信息的当前图像帧中就能够明显地区分出目标对象，实现了对当前图像帧中目标对象的分割，而且基于目标对象图进行的分割和关键点检测处理，既排除了其他不相关的图像的干扰，又能减少计算量。

一种图像分割方法，所述方法包括：

在心脏超声检测的视频中按照时序依次选取当前图像帧；

从在所述视频中的时序位于当前图像帧之前的图像帧中，确定参考图像帧；

获取所述参考图像帧中左心室关键点的第一位置信息；

参照第一位置信息和左心室关键点模板之间的仿射变换关系，对当前图像帧进行仿射变换，得到当前图像帧的左心室图；

对所述左心室图进行关键点检测，得到左心室关键点的第二位置信息；

从所述左心室图中分割左心室，得到左心室的分割信息；

根据所述分割信息和所述第二位置信息，从所述当前图像帧中分割出左心室。

在其中一个实施例中，在所述在视频中按照时序依次选取当前图像帧之前，所述方法还包括：

从所述视频的首位图像帧中，初步检测出左心室关键点的初始位置信息；

将所述首位图像帧作为前一图像帧以及将所述初始位置信息作为前一位置信息，参照所述前一位置信息，检测所述前一图像帧的后一图像帧中的左心室关键点的位置信息；

将所述后一图像帧作为前一图像帧以及将所述后一图像帧中的左心室关键点的位置信息作为前一位置信息，返回所述参照所述前一位置信息，检测所述前一图像帧的后一图像帧中的左心室关键点的位置信息的步骤，以进行迭代处理，直至得到所述视频的末位图像帧中的左心室关键点的位置信息；

将末位图像帧当作所述首位图像帧的前一图像帧，参照末位图像帧中的左心室关键点的位置信息，确定首位图像帧中最终的左心室关键点的位置信息。

在其中一个实施例中，所述参照所述前一位置信息，检测所述前一图像帧的后一图像帧中的左心室关键点的位置信息包括：

按照所述前一位置信息和左心室关键点模板之间的仿射变换关系，对所述前一图像帧的后一图像帧进行仿射变换，得到所述后一图像帧中的左心室图；

对所述后一图像帧中的左心室图进行关键点检测，得到所述后一图像帧中的左心室关键点的位置信息。

在其中一个实施例中，所述从在所述视频中的时序位于当前图像帧之前的图像帧中，确定参考图像帧包括：

按照距所述当前图像帧由近到远的顺序，将所述视频中在所述当前图像帧之前的预设数量的图像帧，确定为参考图像帧；

所述将所述分割信息和所述第二位置信息映射至所述当前图像帧包括：

当参考图像帧为多个时，则对依照每个参考图像帧中左心室关键点的第一位置信息所确定出的左心室的分割信息求平均，得到最终的左心室的分割信息；

求取分别依照每个参考图像帧中左心室关键点的第一位置信息所确定出的第二位置信息的平均值，得到最终的左心室关键点的第二位置信息；

将所述最终的左心室的分割信息和所述最终的左心室关键点的第二位置信息映射至所述当前图像帧。

在其中一个实施例中，所述方法还包括：

将所述左心室图输入至多任务网络中，编码得到所述左心室图的特征图；

所述对所述左心室图进行关键点检测，得到左心室关键点的第二位置信息包括：

通过多任务网络中的关键点检测模型，对所述特征图进行关键点检测处理，输出与所述左心室图对应的左心室关键点的第二位置信息；

所述从所述左心室图中分割左心室，得到左心室的分割信息包括：

通过多任务网络中的分割模型，对所述特征图进行语义分割处理，输出相应左心室的分割信息。

在其中一个实施例中，所述方法还包括：

通过多任务网络中的切面分类模型，对所述特征图进行切面分类处理，得到所述当前图像帧所属的切面类别；

当确定出所述视频中每一图像帧所属的切面类别后，则

确定每个切面类别所对应的图像帧的数量；

将数量最多的切面类别作为所述视频所对应的切面类别。

在其中一个实施例中，所述通过多任务网络中的关键点检测模型，对所述特征图进行关键点检测处理包括：

将特征图输入预先训练的关键点检测模型中，输出所述左心室图中的左心室关键点与左心室关键点模板中的左心室关键点之间的位置信息差值；

将所述左心室关键点模板中的左心室关键点的预设位置信息与所述位置信息差值相加，得到所述左心室图的左心室关键点的第二位置信息。

在其中一个实施例中，所述通过多任务网络中的分割模型，对所述特征图进行语义分割处理，输出相应左心室的分割信息包括：

将所述特征图输入预先训练的分割模型进行解码，输出得到的解码图像中每个像素点属于前景类别的第一分类概率和属于背景类别的第二分类概率；

针对所述解码图像中每个像素点，选取所述像素点所对应的第一分类概率和第二分类概率中较大的分类概率所对应的类别，作为所述像素点所属的类别；

根据所述解码图像中属于前景类别的各像素点，确定与所述左心室图相应的左心室的分割信息。

在其中一个实施例中，所述分割模型的训练步骤包括：

获取样本视频中的各样本图像帧；

获取分别与各样本图像帧相应的第一左心室分割标签；

将各所述样本图像帧和相应第一左心室分割标签输入初始分割模型中，进行迭代地机器学习训练，得到基本的分割模型。

在其中一个实施例中，所述分割模型的训练步骤还包括：

从所述样本图像帧中依次选取当前样本图像帧，针对每个当前样本图像帧，从所述当前样本图像帧的前一样本图像帧的第一左心室分割标签所形成的标签轮廓上，选取预设数量的表示左心室边界的边界特征点；

通过光流跟踪操作，跟踪所述边界特征点在所述当前样本图像帧中的位置信息；

将所述边界特征点在所述当前样本图像帧中的位置信息连接并进行平滑，得到所述当前样本图像帧的第二左心室分割标签；

根据每个样本图像帧和相应的第二左心室分割标签对所述基本的分割模型进行迭代优化训练，得到优化后的分割模型。

在其中一个实施例中，所述方法还包括：

通过所述基本的分割模型挖掘所述当前样本图像帧中的难样本像素点；

从所述当前样本图像帧中剔除除所述难样本像素点和左心室像素点之外的像素点；

所述根据每个样本图像帧和相应的第二左心室分割标签对所述基本的分割模型进行迭代优化训练包括：

将每个剔除像素点之后的样本图像帧和相应的第二左心室分割标签输入所述基本的分割模型中，进行迭代地模型优化训练。

在其中一个实施例中，所述左心室关键点模板生成步骤包括：

将样本视频中各样本图像帧的第一左心室分割标签所形成的标签轮廓外扩预设范围；

按照左心室在图像帧中的位置规律，对每个外扩后的范围进行增扩，得到裁剪范围；

从每个所述样本图像帧中，裁剪出与所述裁剪范围相符的剪裁图片；

将与每个剪裁图片中的左心室关键点的位置信息求平均，得到左心室关键点的预设位置信息；

根据所述左心室关键点的预设位置信息，生成左心室关键点模板。

一种图像分割装置，所述装置包括：

选取模块，用于在心脏超声检测的视频中按照时序依次选取当前图像帧；

仿射变换模块，用于从在所述视频中的时序位于当前图像帧之前的图像帧中，确定参考图像帧；获取所述参考图像帧中左心室关键点的第一位置信息；参照第一位置信息和左心室关键点模板之间的仿射变换关系，对当前图像帧进行仿射变换，得到当前图像帧的左心室图；

左心室信息检测模块，用于对所述左心室图进行关键点检测，得到左心室关键点的第二位置信息；从所述左心室图中分割左心室，得到左心室的分割信息；

分割模块，用于根据所述分割信息和所述第二位置信息，从所述当前图像帧中分割出左心室。

一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

在心脏超声检测的视频中按照时序依次选取当前图像帧；

从在所述视频中的时序位于当前图像帧之前的图像帧中，确定参考图像帧；

获取所述参考图像帧中左心室关键点的第一位置信息；

参照第一位置信息和左心室关键点模板之间的仿射变换关系，对当前图像帧进行仿射变换，得到当前图像帧的左心室图；

对所述左心室图进行关键点检测，得到左心室关键点的第二位置信息；

从所述左心室图中分割左心室，得到左心室的分割信息；

根据所述分割信息和所述第二位置信息，从所述当前图像帧中分割出左心室。

一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行如下步骤：

在心脏超声检测的视频中按照时序依次选取当前图像帧；

从在所述视频中的时序位于当前图像帧之前的图像帧中，确定参考图像帧；

获取所述参考图像帧中左心室关键点的第一位置信息；

参照第一位置信息和左心室关键点模板之间的仿射变换关系，对当前图像帧进行仿射变换，得到当前图像帧的左心室图；

对所述左心室图进行关键点检测，得到左心室关键点的第二位置信息；

从所述左心室图中分割左心室，得到左心室的分割信息；

根据所述分割信息和所述第二位置信息，从所述当前图像帧中分割出左心室。

上述图像分割方法、装置、计算机设备和存储介质，根据之前的参考图像帧的左心室关键点的第一位置信息这一时序先验知识，结合仿射变换处理，能够比较快速地确定出左心室图，而不需要大量计算，减少了计算处理资源。得到的左心室图中即为左心室的感兴趣区域，相当于剔除了很多不相关的其他图像内容，进而仅针对所述左心室图进行关键点检测，得到左心室关键点的第二位置信息；从所述左心室图中分割左心室，得到左心室的分割信息，将所述分割信息和所述第二位置信息映射至所述当前图像帧。映射有分割信息和第二位置信息的当前图像帧中就能够明显地区分出左心室，实现了对当前图像帧中的左心室的分割，而且基于左心室图进行的分割和关键点检测处理，既排除了其他不相关的图像的干扰，又能减少计算量。

附图说明

图1为一个实施例中图像分割方法的应用场景图；

图2为一个实施例中图像分割方法的流程示意图；

图3为一个实施例中切面图的示意图；

图4为一个实施例中图像分割方法的原理示意图；

图5为一个实施例中多时序检测的原理示意图；

图6为一个实施例中多任务网络结构示意图；

图7为一个实施例中自适应训练分割光滑边缘的分割模型的方法；

图8为一个实施例中生成目标对象关键点模板的原理示意图；

图9为一个实施例中图像分割装置的框图；

图10为另一个实施例中图像分割装置的框图；

图11为一个实施例中计算机设备的内部结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1为一个实施例中图像分割方法的应用场景图。参照图1，该应用场景中包括通过网络连接的终端110和服务器120。终端110可以是智能电视机、台式计算机或移动终端，移动终端可以包括手机、平板电脑、笔记本电脑、个人数字助理和穿戴式设备等中的至少一种。服务器120可以用独立的服务器或者是多个物理服务器组成的服务器集群来实现。

终端110可以将视频传输至服务器120，使服务器120分割出该视频的每一帧图像中的目标对象。

具体地，服务器120可以在视频中按照时序依次选取当前图像帧；从在所述视频中的时序位于当前图像帧之前的图像帧中，确定参考图像帧；获取所述参考图像帧中目标对象关键点的第一位置信息；参照第一位置信息和目标对象关键点模板之间的仿射变换关系，对当前图像帧进行仿射变换，得到当前图像帧的目标对象图；对所述目标对象图进行关键点检测，得到目标对象关键点的第二位置信息；从所述目标对象图中分割目标对象，得到目标对象的分割信息；根据所述分割信息和所述第二位置信息，从所述当前图像帧中分割出所述目标对象。进一步地，服务器120可以将分割结果反馈至终端110进行显示。

可以理解，终端110可以不将视频发送至服务器进行检测分析处理，终端110自身也可以具备执行本申请各实施例中图像分割方法的功能。比如，终端自身具备计算机处理功能，从而可以针对视频执行本申请各实施例中图像分割方法的各个步骤。

在一个实施例中，该终端110还可以包括医疗检测终端。医疗检测终端是用于医疗检测的仪器终端。医疗检测终端可以包括检测探头和显示设备。其中，检测探头能够起到摄像机的镜头的作用。随着检测探头的转动，能够将检测对象的各个结构清晰地显示在显示设备上。在一个实施例中，医疗检测终端可以是心脏超声检测仪。心脏超声检测仪，是通过使用超声波的方法对心脏进行检测的仪器。可以理解，医疗检测终端还可以是针对人体其他部位进行超声检测的仪器。

为了便于理解，现以终端110为心脏超声检测仪为例，对使用场景进行举例说明。比如，医生可以将终端110中的检测探头放在患者的心脏部位，进行检测，检测探头可以使用超声波，采集一帧一帧的心脏超声切面图，构成心脏超声检测的视频在显示设备上进行显示。终端110还可以将心脏超声检测的视频传输至服务器120，使服务器120分割出该视频的每一帧图像中的左心室。

需要说明的是，上述举例仅用于示意，并不限定于终端110必须是医疗检测终端。视频可以不限定于心脏超声检测的视频，也可以是其他任意类型的视频，要检测的也可以不是左心室图像，还可以是视频中的任意单一目标对象。

图2为一个实施例中图像分割方法的流程示意图。本实施例主要以该图像分割方法应用于计算机设备进行举例说明，计算机设备可以为图1中的服务器120，也可以是终端110。参照图2，该方法具体包括如下步骤：

S202，在视频中按照时序依次选取当前图像帧。

需要说明的是，视频可以是任意类型的视频。视频，包括按时序排列的一帧一帧的图像帧。

在一个实施例中，视频可以包括日常生活中的普通视频。比如，手机录的视频、或者视频网站的各种视频节目里面的视频。

在一个实施例中，视频也可以包括使用特定检测技术采集的特定类型的视频。比如，超声视频。超声视频，是指使用超声波技术进行超声检测时所采集到的视频。

在一个实施例中，超声视频，可以是对人体器官进行超声检测得到的视频。超声视频可以包括腹部超声检测的视频，比如，对肝脏、胆囊、胃部等部位进行超声检测得到的视频。超声视频可以不限定于对人体器官的检测得到，比如，也可以由对非人体器官进行超声检测得到。

在一个实施例中，超声视频可以包括心脏超声检测的视频。心脏超声检测的视频，是对心脏进行超声检测时所采集到的视频。

在一个实施例中，视频中的图像帧可以为正常的图像帧。正常的图像帧，是指目标对象是以其正常状态呈现的图像帧。在一个实施例中，视频中的图像帧也可以为切面图。切面图，是指模拟一个物体被“切开”的效果图，在切面图中，目标对象呈现的是被“切开”的状态。

在一个实施例中，图像帧也可以为超声切面图。超声切面图，是二维超声图，是检测探头产生的超声声束进入胸壁后呈扇形扫描，将从人体反射回来的回波信号以光点形式组成切面图像。可以理解，从比较形象的角度来表述，该反射回来的回波信号，使该扇形扫描形成的这个扫描面有一种将器官“切开”的效果，所以从人体反射回来的回波信号以光点形式组成了切面图像。

可以理解，切面图并不限定于通过超声方式得到，比如使用日常普通的采集方法直接采集在物理世界中就呈现为切面的目标对象的图像，也能够得到切面图。

在一个实施例中，超声切面图可以包括心脏超声切面图，心脏超声检测的视频中包括按时序排列的一帧一帧的心脏超声切面图。即，当视频为心脏超声检测的视频时，当前图像帧，可以是心脏超声切面图。

可以理解，超声切面图还可以包括肝脏超声切面图或肺部超声切面图等。

为了便于理解切面图，现结合图3进行举例说明。图3是以心脏超声切面图为例对切面图进行说明的示意图。超声声束呈扇形扫描，得到一个扫描面302，有一种近似将将心脏“切开”的效果，就能得到的图3中的心脏超声切面图。可以理解，扫描面并未真正的将心脏切开，而是根据反射回来的回波信号的远近，能够组成近似由该扫描面切割得到的切面图像而已。

具体地，计算机设备可以在视频中按照时序依次选取当前图像帧。即，计算机设备可以按照时序由前到后的顺序，依次选取一个当前图像帧，针对所选取的当前图像帧，执行下述步骤S204～S214。在按照本申请各实施例中图像分割方法从一个当前图像帧中分割出目标对象之后，则可以按照时序从视频中选取下一个图像帧作为当前图像帧，继续针对新的当前图像帧执行本申请各实施例中图像分割方法的各处理步骤。

S204，从在视频中的时序位于当前图像帧之前的图像帧中，确定参考图像帧。

可以理解，视频中图像帧都是按照时序进行排序的。可以理解，时序位于当前图像帧之前的图像帧，是指视频中时序在当前图像帧之前的全部或部分图像帧。比如，当前图像帧为第5个图像帧，那么，在视频中时序位于第5个图像帧之前的图像帧，可以是时序在前4位的图像帧中的全部或部分。

其中，参考图像帧，是在分割当前图像帧中的目标对象时，用于提供参照信息的时序在当前图像帧之前的图像帧。可以理解，可以使用参考图像帧所提供的时序先验参照信息，对当前图像帧进行目标对象分割处理。

可以理解，参考图像帧可以为至少一个。

在一个实施例中，当参考图像帧为一个时，可以是时序位于当前图像帧之前的图像帧中的任意一个图像帧，也可以是当前图像帧的前一图像帧。当参考图像帧为多个时，则可以是时序位于当前图像帧之前的图像帧中的任意多个图像帧，也可以是按照距当前图像帧由近到远的顺序依次选取的多个图像帧。

S206，获取参考图像帧中目标对象关键点的第一位置信息。

其中，目标对象，是需要从当前图像帧中分割出来的对象。

目标对象可以是任意想要分割出来的对象。比如，在一个自行车比赛视频中，目标对象可以是视频画面中的某辆自行车，也可以是视频画面中的某一参赛运动员。

在一个实施例中，目标对象可以是左心室。可以理解，目标对象还可以是肝脏或肺部等，在此不作一一列举。

目标对象关键点，是用于表示目标对象的特征的点。

在一个实施例中，当目标对象为左心室时，目标对象关键点，即为左心室关键点。左心室关键点，则指在图片中用于表示左心室的特征的点。

在一个实施例中，左心室关键点包括左心室顶尖点和二尖瓣的两个端点。左心室顶尖点，即心尖，是心脏左下呈圆锥状的尖端部。二尖瓣(mitral valve)即左房室瓣，附于左纤维房室环上，系由心内膜的皱褶形成。二尖瓣有两个瓣膜，二尖瓣的两个端点即为两个瓣膜的端点。需要说明的是，左心室关键点，不限于上述3个点，还可以设置左心室其他位置的点为关键点。

在一个实施例中，当目标对象为人脸时，则目标对象关键点可以包括表示五官特征的点。可以理解，在正常情况下，人的五官特征基本上不会发生变化，所以能够表示出人脸的特征，因此可以用作关键点。

可以理解，参考图像帧中目标对象关键点的第一位置信息，是已知的。因为，按照本申请实施例中的图像分割方法，是按时序选取当前图像帧，在对一个当前图像帧中的目标对象分割完毕后，则会选取下一个图像帧作为新的当前图像帧，以此迭代，那么，在对当前图像帧中的目标对象进行分割时，时序在该当前图像帧之前的图像帧则已经分割出其中的目标对象关键点的第一位置信息和目标对象的分割信息。因此，在该当前图像帧之前的图像帧中确定的参考图像帧中，就已经包括了该参考图像帧中的目标对象关键点的第一位置信息和目标对象的分割信息。所以，计算机设备可以获取参考图像帧中已知的目标对象关键点的第一位置信息。

S208，按照第一位置信息和目标对象关键点模板之间的仿射变换关系，对当前图像帧进行仿射变换，得到当前图像帧中的目标对象图。

其中，关键点模板，用于表示预先设置的关键点的位置信息。目标对象关键点模板，用于表示以主要区域为目标对象区域的图像为参照，预先设置的目标对象关键点的预设位置信息。也就是说，目标对象关键点模板中各个目标对象关键点的预设位置信息，是在主要区域为目标对象区域的图像上标示出来的目标对象关键点的位置信息。可以理解，主要区域为目标对象区域，是指目标对象的区域面积在图像中占主要部分。

仿射变换关系，用于表示由参考图像帧中目标对象关键点的第一位置信息变换到目标对象关键点模板中目标对象关键点的预设位置信息，所要经过的仿射变换操作。

在一个实施例中，按照该仿射变换关系，可以将当前图像帧进行旋转，平移，裁剪等仿射变换操作，得到当前图像帧的目标对象图。

在一个实施例中，仿射变换关系，可以通过仿射变换矩阵进行表示。

可以理解，第一位置信息和目标对象关键点模板之间的仿射变换关系，用于表示将参考图像帧中目标对象关键点的第一位置信息变换到与目标对象关键点模板中的目标对象关键点的预设位置信息一致时，所需要经过的仿射变换处理。而，由于当前图像帧中的目标对象关键点与在其之前的参考图像帧中的目标对象关键点，都是表示同一个目标对象的关键点，所以两个图像帧中目标对象关键点之间的相对位置是一致的。因此，根据该仿射变换关系对当前图像帧进行仿射变换，也就相当于将当前图像帧的目标对象关键点的位置信息调整为与目标对象关键点模板中目标对象关键点的预设位置信息。由于目标对象关键点模板用于表示以主要区域为目标对象区域的图像为参照，预先设置的目标对象关键点的预设位置信息，所以按照上述仿射变换关系对当前图像帧进行仿射变换处理后，能够得到当前图像帧中的目标对象的感兴趣区域(ROI，region of interest)，即为目标对象图。感兴趣区域，就是从图像中选择一个表示图像分析所关注的焦点的区域。可以理解，目标对象图中目标对象区域为主要的焦点区域。

在一个实施例中，计算机设备可以从目标对象关键点模板中提取目标对象关键点的预设位置信息，并根据第一位置信息和目标对象关键点模板中目标对象关键点的预设位置信息计算出一个变换矩阵。计算机设备可以将当前图像帧按照该变换矩阵进行仿射变换处理，得到当前图像帧的目标对象图。具体地，计算机设备可以将当前图像帧乘以该变换矩阵，得到当前图像帧的目标对象图。

可以理解，当目标对象为左心室时，目标对象图为左心室图。左心室图，即为左心室的感兴趣区域，是以左心室的区域为主要区域的图像。

S210，对目标对象图进行关键点检测，得到目标对象关键点的第二位置信息。

可以理解，计算机设备可以直接对目标对象图自身进行图像分析，从中识别出目标对象关键点，得到目标对象关键点的第二位置信息。

在一个实施例中，计算机设备可以将目标对象图输入多任务网络中，通过多任务网络中的关键点检测模型，对目标对象图进行关键点检测处理，输出与所述目标对象图对应的目标对象关键点的第二位置信息。其中，多任务网络，是能够并行执行多个处理任务的网络。多任务网络中包括关键点检测模型。

在一个实施例中，计算机设备可以通过关键点检测模型，检测目标对象图中的目标对象关键点与目标对象关键点模板中目标对象关键点之间的位置信息差值；将所述目标对象关键点模板中的目标对象关键点的预设位置信息与所述位置信息差值相加，得到所述目标对象图的目标对象关键点的第二位置信息。

S212，从目标对象图中分割目标对象，得到目标对象的分割信息。

目标对象的分割信息，用于将目标对象区域从目标对象图中分割出来。即，用于将目标对象区域从目标对象图中与其他区域区分开来。在一个实施例中，目标对象的分割信息，包括目标对象的像素点。

具体地，计算机设备可以对目标对象图进行目标对象分割处理，得到目标对象的分割轮廓。

在一个实施例中，多任务网络中还可以包括分割模型。计算机设备可以将目标对象图输入多任务网络中预先训练的分割模型中，通过该分割模型，对所述目标对象图进行语义分割处理，输出相应目标对象的分割信息。

在一个实施例中，计算机设备可以通过分割模型预测出目标对象图中每个像素点所属的类别，根据属于前景类别的各像素点，构成目标对象图相应的目标对象分割信息。可以理解，每个像素点所属的类别包括前景类别和背景类别。属于前景类别的像素点，则为目标对象的像素点，即能够构成目标对象图相应的目标对象的分割信息。

S214，根据分割信息和第二位置信息，从当前图像帧中分割出目标对象。

在一个实施例中，计算机设备可以将目标对象图中的目标对象的分割信息和目标对象关键点的第二位置信息，映射至当前图像帧。

在一个实施例中，计算机设备可以按照步骤S208中对当前图像帧进行的仿射变换操作的逆变换操作，将目标对象图中的目标对象的分割信息和目标对象关键点的第二位置信息，进行仿射变换处理，以将目标对象图中的目标对象的分割信息和目标对象关键点的第二位置信息，映射至当前图像帧。

可以理解，映射目标对象的分割信息和目标对象关键点的第二位置信息之后的当前图像帧中，能够将目标对象明显地区分显示出来，即实现了将目标对象从当前图像帧中分割出来的目的。

需要说明的是，由于首位图像帧之前没有图像帧，所以当当前图像帧不为首位图像帧时，则可以执行步骤S202～S214。

在一个实施例中，当当前图像帧为首位图像帧时，计算机设备可以对首位图像帧这一整帧进行目标对象关键点检测，得到首位图像帧中目标对象关键点的位置信息，以及从首位图像帧这一整帧中分割目标对象，得到目标对象的分割信息，将首位图像帧中的目标对象关键点的位置信息和目标对象的分割信息映射至首位图像帧。

在一个实施例中，计算机设备也可以将首位图像帧这一整帧输入多任务网络中，通过多任务网络中的关键点检测模型，对首位图像帧进行目标对象关键点检测，通过多任务网络中的分割模型，对首位图像帧进行语义分割处理，输出相应目标对象的分割信息。

在一个实施例中，在执行步骤S202之前，计算机设备就可以计算出首位图像帧的目标对象关键点的位置信息，以及首位图像帧的目标对象的分割信息。这样一来，当当前图像帧为首位图像帧时，则可以直接获取已经计算出的首位图像帧的目标对象关键点的位置信息，以及首位图像帧的目标对象的分割信息。

为了便于理解，现结合图4对图像分割方法的原理进行解释说明。图4是以视频为心脏超声检测的视频、视频中的图像帧心脏超声切面图、以及以目标对象为左心室进行举例说明的。需要说明的是，图4是以当前图像帧的前一图像帧作为参考图像帧为例进行说明的，但并不限定参考图像帧仅为当前图像帧的前一图像帧。参照图4，P1～P3这3个点即为前一图像帧的左心室关键点(Last Frame Landmark)，402为当前图像帧。左心室关键点模板上的3个点表示左心室关键点模板中的左心室关键点。计算机设备可以根据前一图像帧的左心室关键点(即P1～P3这3个点)的第一位置信息，以及左心室关键点模板中左心室关键点的预设位置信息之间的仿射变换关系，对当前图像帧进行仿射变换，得到左心室图(即图4中的ROI图像)。计算机设备可以将ROI图像分别输入多任务网络(Multi-task Network)中的关键点检测模型、分割模型中，输出该ROI图像中左心室的分割信息，404中的白色区域即为该ROI图像中左心室的分割信息。还会输出该ROI图像中左心室关键点的第二位置信息，406中的3个点所处的位置，即表示该ROI图像中左心室关键点的第二位置信息。将所输出的信息皆对应至ROI图像中，即可得到图像408。408中的点408a、408b以及408c即为ROI图像中左心室关键点。其中，408a为左心室顶尖点，408b和408c分别为二尖瓣的2个端点。408中的区域408d即为分割信息所表示的分割出的左心室区域。计算机设备可以将408的ROI图像中左心室的分割信息和左心室关键点的第二位置信息，映射至当前图像帧，即得到当前图像帧的最终结果。当前图像帧的最终结果，即是映射后的检测出左心室的相关信息的当前图像帧。从图4中当前图像帧的最终结果中可以看出，已经将左心室从当前图像帧中区分出来了。可以理解，图4中的仿射变换网络(TAN，temporal affine network)，用于表示从仿射变换处理到检测出左心室图中的左心室相关信息这一过程所涉及的网络框架。

上述图像分割方法，根据之前的参考图像帧的目标对象关键点的第一位置信息这一时序先验知识，结合仿射变换处理，能够比较快速地确定出目标对象图，而不需要大量计算，减少了计算处理资源。得到的目标对象图中即为目标对象的感兴趣区域，相当于剔除了很多不相关的其他图像内容，进而仅针对所述目标对象图进行关键点检测，得到目标对象关键点的第二位置信息；从所述目标对象图中分割目标对象，得到目标对象的分割信息，将所述分割信息和所述第二位置信息映射至所述当前图像帧。映射有分割信息和第二位置信息的当前图像帧中就能够明显地区分出目标对象，实现了对当前图像帧中的目标对象的检测识别，而且基于目标对象图进行的分割和关键点检测处理，既排除了其他不相关的图像的干扰，又能减少计算量。

在一个实施例中，当当前图像帧为切面图时，切面图具有相应的切面类别。切面类别可以根据切面图中的图像组成种类来划分。计算机设备还可以对目标对象图进行切面类别识别处理，得到目标对象图所属的切面类别。

在一个实施例中，当当前图像帧为心脏超声切面图时，切面类别包括心尖二腔心切面(A2C，apical two chamber view)和心尖四腔心切面(A4C，apical four chamberview)中的至少一种。在其他实施例中，切面类别还可以包括其他类别，比如，心尖五腔心切面。

在一个实施例中，多任务网络中还可以包括切面分类模型。计算机设备可以通过多任务网络中的切面分类模型，对目标对象图进行切面分类处理，得到所述当前图像帧所属的切面类别。可以理解，当当前图像帧是心脏超声切面图时，识别出当前图像帧所属的切面类别，能够提供给医生非常重要的诊断参考信息。当当前图像帧是其他类型的切面图时，识别出来的切面类别，也能够提供一定的参考信息量。

在一个实施例中，在步骤S202之前，该方法还包括：从视频的首位图像帧中，初步检测出目标对象关键点的初始位置信息；将首位图像帧作为前一图像帧以及将初始位置信息作为前一位置信息，参照前一位置信息，检测前一图像帧的后一图像帧中的目标对象关键点的位置信息；将后一图像帧作为前一图像帧以及将后一图像帧中的目标对象关键点的位置信息作为前一位置信息，返回参照前一位置信息，检测前一图像帧的后一图像帧中的目标对象关键点的位置信息的步骤，以进行迭代处理，直至得到视频的末位图像帧中的目标对象关键点的位置信息；将末位图像帧当作首位图像帧的前一图像帧，参照末位图像帧中的目标对象关键点的位置信息，确定首位图像帧中最终的目标对象关键点的位置信息。

可以理解，首位图像帧的前面是没有图像帧的，所以，计算机设备可以从首位图像帧中，初步检测出目标对象关键点的初始位置信息。即，对首位图像帧先进行粗略的关键点检测，得到首位图像帧中目标对象关键点的初始位置信息。

计算机设备可以将参照首位图像帧的初始位置信息，检测视频中第二个图像帧(即首位图像帧的后一图像帧)中的目标对象关键点的位置信息，然后，再参照第二个图像帧中的目标对象关键点的位置信息，检测视频中第三个图像帧中的目标对象关键点的位置信息，以此类推，进行迭代处理，直至得到视频的末位图像帧中的目标对象关键点的位置信息。计算机设备可以将末位图像帧当作首位图像帧的前一图像帧，参照末位图像帧中的目标对象关键点的位置信息，确定首位图像帧中最终的目标对象关键点的位置信息。

在一个实施例中，参照前一位置信息，检测前一图像帧的后一图像帧中的目标对象关键点的位置信息包括：按照前一位置信息和目标对象关键点模板之间的仿射变换关系，对前一图像帧的后一图像帧进行仿射变换，得到后一图像帧中的目标对象图；对后一图像帧中的目标对象图进行关键点检测，得到后一图像帧中的目标对象关键点的位置信息。

可以理解，对后一图像帧中的目标对象图进行关键点检测，得到的是后一图像帧的目标对象图中目标对象关键点的位置信息，进而后一图像帧的目标对象图中目标对象关键点的位置信息映射至后一图像帧，即可以将得到后一图像帧中的目标对象关键点的位置信息。

具体地，从首位图像帧开始描述，按照首位图像帧的初始位置信息和目标对象关键点模板之间的仿射变换关系，对第二个图像帧进行仿射变换，得到第二个图像帧中的目标对象图，对第二个图像帧中的目标对象图进行关键点检测，得到第二个图像帧中的目标对象图中的目标对象关键点的位置信息，然后可以将第二个图像帧中的目标对象图中的目标对象关键点的位置信息映射至第二个图像帧中，得到第二个图像帧中的目标对象关键点的位置信息。接着，再按照第二个图像帧中的目标对象关键点的位置信息和目标对象关键点模板之间的仿射变换关系，对第三个图像帧进行仿射变换，得到第三个图像帧中的目标对象图，对第三个图像帧中的目标对象图进行关键点检测，得到第三个图像帧中的目标对象图中的目标对象关键点的位置信息，然后可以将第三个图像帧中的目标对象图中的目标对象关键点的位置信息映射至第三个图像帧中，得到第三个图像帧中目标对象关键点的位置信息。以此类推，直至按照倒数第二个图像帧中的目标对象关键点的位置信息和目标对象关键点模板之间的仿射变换关系，对末位图像帧进行仿射变换，得到末位图像帧中的目标对象图，对末位图像帧中的目标对象图进行关键点检测，得到末位图像帧中的目标对象关键点的位置信息。

计算机设备可以将末位图像帧当作首位图像帧的前一图像帧，按照末位图像帧中的目标对象关键点的位置信息和目标对象关键点模板之间的仿射变换关系，对首位图像帧进行仿射变换，得到首位图像帧中的目标对象图，对首位图像帧中的目标对象图进行关键点检测，得到首位图像帧中最终的目标对象关键点的位置信息。

可以理解，当当前图像帧为首位图像帧时，计算机设备可以直接获取该优化后的首位图像帧中最终的目标对象关键点的位置信息。计算机设备还可以对上述得到的首位图像帧中的目标对象图，进行目标对象分割处理，得到首位图像帧中的目标对象图的目标对象的分割信息。计算机设备可以根据该首位图像帧中的目标对象图的目标对象的分割信息和目标对象关键点的位置信息，从首位图像帧中分割出目标对象。比如，计算机设备可以将该首位图像帧中的目标对象图的目标对象的分割信息和目标对象关键点的位置信息，映射至首位图像帧中，以从首位图像帧中分割出目标对象。在一个实施例中，计算机设备还可以对首位图像帧中的目标对象图进行切面分类处理，得到首位图像帧所属的切面类别。

上述实施例中，按照上述方式得到的首位图像帧中最终的目标对象关键点的位置信息，相较于首位图像帧的初始位置信息而言，进行了优化，更为准确。因此，当参考图像帧包括首位图像帧时，参照该首位图像帧的最终的目标对象关键点的位置信息和目标对象关键点模板之间的仿射变换关系，对当前图像帧进行仿射变换，能够使得到的当前图像帧的目标对象图更加的准确。进而，使后续得到的该目标对象图的目标对象的分割信息和目标对象关键点的第二位置信息更加准确，从而，将更加准确的分割信息和目标对象关键点的位置信息映射至当前图像帧，能够使得当前图像帧中所检测出的目标对象图像的相关信息更加的准确。

在一个实施例中，步骤S204包括：按照距当前图像帧由近到远的顺序，将视频中在当前图像帧之前的预设数量的图像帧，确定为参考图像帧。步骤S214包括：当参考图像帧为多个时，则对依照每个参考图像帧中目标对象关键点的第一位置信息所确定出的目标对象的分割信息求平均，得到最终的目标对象的分割信息；求取分别依照每个参考图像帧中目标对象关键点的第一位置信息所确定出的第二位置信息的平均值，得到最终的目标对象关键点的第二位置信息；将最终的目标对象的分割信息和最终的目标对象关键点的第二位置信息映射至当前图像帧。

其中，预设数量可以为一个或多个。需要说明的是，本申请各实施例中所述的多个，指至少两个。

当参考图像帧为多个时，计算机设备则可以针对参考图像帧都执行步骤S206～S210。即，计算机设备可以分别参照每个参考图像帧中目标对象关键点的第一位置信息和目标对象关键点模板之间的仿射变换关系，对当前图像帧进行仿射变换，得到当前图像帧的目标对象图。可以理解，有几个参考图像帧，就会对当前图像帧进行几次仿射变换，就会得到相应个数的当前图像帧的目标对象图。并对每个目标对象图都进行关键点检测得到目标对象关键点的第二位置信息，并从中分割出目标对象，得到目标对象的分割信息。这样一来，就会有多个目标对象关键点的第二位置信息和目标对象的分割信息。

进一步地，计算机设备可以对依照每个参考图像帧中目标对象关键点的第一位置信息所确定出的目标对象的分割信息求平均，得到最终的目标对象的分割信息，并求取分别依照每个参考图像帧中目标对象关键点的第一位置信息所确定出的第二位置信息的平均值，得到最终的目标对象关键点的第二位置信息。计算机设备可以将最终的目标对象的分割信息和最终的目标对象关键点的第二位置信息映射至当前图像帧。

在一个实施例中，预设数量为两个，参考图像帧可以为当前图像帧的前一图像帧和前第二个图像帧。那么，计算机设备则可以分别根据当前图像帧的前一图像帧中目标对象关键点的第一位置信息，以及前第二个图像帧中目标对象关键点的第一位置信息，分别执行步骤S206～S210，最后得到2种目标对象的分割信息和2种目标对象关键点的第二位置信息。计算机设备可以将2种目标对象的分割信息求平均，并对2种目标对象关键点的第二位置信息求平均，得到最终的目标对象的分割信息和最终的目标对象关键点的第二位置信息。计算机设备可以将最终的目标对象的分割信息和最终的目标对象关键点的第二位置信息映射至当前图像帧。

图5为一个实施例中多时序处理的原理示意图。即，使用多个时序在前的图像帧目标对象关键点的第一位置信息分割当前图像帧中目标对象的原理示意。需要说明的是，图5是以视频为心脏超声检测的视频、视频中的图像帧心脏超声切面图、以及以目标对象为左心室进行举例说明的。参照图5，输入一个完整的视频，由于首位图像帧F1没有往前帧的左心室关键点的位置信息，所以，可以使用多任务网络对首位图像帧F1进行粗略的左心室关键点检测，检测到的左心室关键点的位置信息作为下一帧的时序仿射变换信息，使后一图像帧F2参照该左心室关键点的位置信息和左心室关键点模板之间的仿射变换关系，进行仿射变换处理，得到相应左心室图，进而对其左心室图进行关键点检测，并将检测到的左心室关键点的位置信息映射至该后一图像帧F2，然后再将映射后的F2中的左心室关键点的位置信息作为再后一图像帧F3的时序仿射变换信息，使图像帧F3进行仿射变换及后续处理，得到相应的左心室关键点的位置信息，以此类推，直到获得视频中末位图像帧的关键点信息。如图5中带有初始化的箭头所示，再将末位图像帧的左心室关键点的位置信息返回作为视频首位图像帧的仿射变换参考信息，对首位图像帧进行仿射变换处理，得到相应左心室图，进而基于首位图像帧的左心室图，计算出优化的、较为可靠的初始化的首位图像帧中最终的左心室关键点的位置信息。基于优化后的首位图像帧中最终的左心室关键点的位置信息，按照时序依次选取当前图像帧，当当前图像帧为首位图像帧时，则可以直接获取该首位图像帧的最终的左心室关键点的位置信息，并根据上述首位图像帧的左心室图确定出首位图像帧的左心室的分割信息，将该首位图像帧的最终的左心室关键点的位置信息和左心室的分割信息映射至首位图像帧。当当前图像帧为第二个图像帧时，由于其前面只有首位图像帧，所以，可以参照首位图像帧的最终的左心室关键点的位置信息，确定出第二个图像帧的左心室图，对其进行关键点检测以及分割左心室，并将得到的分割信息和所述第二位置信息映射至该第二个图像帧。当当前图像帧为第三个图像帧及以其以后的图像帧时，则可以按照距当前图像帧由近到远的顺序，选取2个参考图像帧。如图5所示，可以第三个图像帧F3为当前图像帧时，则可以将首位图像帧F1和第二个图像帧F2作为参考图像帧，结合多任务网络，将分别依照首位图像帧和第二个图像帧中左心室关键点的第一位置信息确定出的第二位置信息求平均，并将分别依照首位图像帧和第二个图像帧中左心室关键点的第一位置信息所确定出的左心室的分割信息求平均。然后，将得到的最终的左心室的分割信息和最终的左心室关键点的第二位置信息集成映射至第三个图像帧F3。此外，还可以确定出每个当前图像帧所属的切面类别。如图5所示，F1～F3映射后图像分别为f1～f3，f1～f3中的3个点即为左心室关键点，突出显示的以3个左心室关键点为端点的区域，即为左心室的分割信息所表示的左心室区域，A2C和A4C即为所属的切面类别。

上述实施例中，通过与当前图像帧的亲近关系，往前选取多个参考图像帧，作为该当前图像帧的仿射变换参考信息，能够保证当前图像帧的仿射变换参考信息来源多样化，能够减少单一参考图像帧信息缺失对后续结果的误导，提高了准确性。

在一个实施例中，该方法还包括：将所述目标对象图输入至多任务网络中，编码得到所述目标对象图的特征图。步骤S210包括：通过多任务网络中的关键点检测模型，对所述特征图进行关键点检测处理，输出与所述目标对象图对应的目标对象关键点的第二位置信息。步骤S212包括：通过多任务网络中的分割模型，对所述特征图进行语义分割处理，输出相应目标对象的分割信息。

其中，多任务网络，是能够并行执行多个处理任务的网络。多任务网络中包括关键点检测模型和分割模型。关键点检测模型，是用于检测目标对象关键点的机器学习模型。分割模型，是用于分割出目标对象的机器学习模型。

特征图(Feature Map)，是指图像和滤波器进行卷积后得到的特征图。可以理解，特征图相较于原图进行了特征提取，能够更加突出图像特征。

在一个实施例中，多任务网络中还包括轻量级的编码模型。计算机设备可以将目标对象图输入至多任务网络中的编码模型，编码得到目标对象图的特征图。在一个实施例中，轻量级的编码模型可以包括MobileNetV2。

在一个实施例中，计算机设备可以通过关键点检测模型使用L1-norm损失函数回归出目标对象图对应的目标对象关键点的第二位置信息。

图6为一个实施例中多任务网络结构示意图。参照图6，输入224*224*3的图像即为目标对象图(ROI图像)，经过轻量级网络MobileNetV2进行编码，输出7*7*1280的特征图。随后将特征图分别输入3个不同的任务通道中，即分别输入切面分类通道、目标对象分割通道以及目标对象关键点检测通道中，并行地进行三种不同的检测处理。如图6中所示，切面分类通道中的切面分类模型对特征图处理，最终得到切面类别的二分类结果。目标对象关键点检测通道中关键点检测模型进行回归处理，输出3个目标对象关键点的X坐标信息和Y坐标信息，所以是6个位置参数。通过目标对象分割通道中的分割模型进行2次解码，得到解码图像中每个像素点所属的类别，像素点所属的类别包括前景类别和背景类别。可以理解，属于前景类别的像素点即为前景，属于背景类别的像素点即为背景。由于输出的解码图像尺寸为112*112，是输入的目标对象图的尺寸的1/2，所以可以继续对解码图像进行插值，使其尺寸与输入的目标对象图的尺寸一致为224*224，然后再根据插值之后的解码图像中属于前景类别的各像素点，构成目标对象图相应的目标对象分割信息。

上述实施例中，通过多任务网络对目标对象图进行编码，得到特征图。特征图能够更准确地表达目标对象图的特征信息。进而，通过多任务网络中的关键点检测模型、以及分割模型并发地对特征图进行处理，能够提高目标对象图像信息的检测效率，实时性比较高。此外，多任务网络相当于属于使用小网络达到大网络的准确性，而且属于轻量级。

在一个实施例中，所述方法还包括：通过多任务网络中的切面分类模型，对所述特征图进行切面分类处理，得到所述当前图像帧所属的切面类别。

可以理解，多任务网络中还包括切面分类模型。其中，切面分类模型，是用于检测图像所属的切面类别的模型。

可以理解，切面分类模型输出的是目标对象图所属的切面类别。由于目标对象图是从当前图像帧中提取出来的，所以，目标对象图所属的切面类别即为当前图像帧所属的切面类别。在一个实施例中，计算机设备可以通过切面分类模型使用交叉熵损失算法，得到所述当前图像帧所属的切面类别。

在一个实施例中，该方法还包括：当确定出所述视频中每一图像帧所属的切面类别后，则确定每个切面类别所对应的图像帧的数量；将数量最多的切面类别作为所述视频所对应的切面类别。

可以理解，这里的相当于对所确定出的各个切面类别进行投票处理；将投票数量最多的切面类别作为视频所对应的切面类别。这里的投票处理并非指人为表决投票，而是一种计算机处理过程。

现结合图5进行举例说明。图5中，f1和f2显示为A2C，而f3显示为A4C，所以，检测出同一视频不同图像帧所属切面类别不同，而通常情况下，同一视频属于一个切面类别，所以，可以对所确定出的各个切面类别进行投票处理，图5中，A2C这一类别的投票数量最多，因此，可以判定该视频的切面类别为A2C，而不是A4C。

上述实施例中，还能够识别出视频的切面类别，相当于能够同时完成视频中目标对象的分割与标准切面的识别，能够为后续的处理更快地提供更多的信息量。此外，通过投票的方法，将数量最多的切面类别作为视频所对应的切面类别。能够保证所确定的切面类别的准确性，进而能够为后续处理提供更加准确的参考信息。

在一个实施例中，通过多任务网络中的关键点检测模型，对特征图进行关键点检测处理包括：将特征图输入预先训练的关键点检测模型中，输出目标对象图中的目标对象关键点与目标对象关键点模板中的目标对象关键点之间的位置信息差值；将目标对象关键点模板中的目标对象关键点的预设位置信息与位置信息差值相加，得到目标对象图的目标对象关键点的第二位置信息。

具体地，计算机设备可以预先提取样本图像帧中的目标对象图，根据样本图像帧中的目标对象图，结合所标记的该目标对象图中目标对象关键点与目标对象关键点模板中的目标对象关键点之间的样本位置差值进行机器学习训练，得到关键点检测模型。因此，将特征图输入该关键点检测模型之后，可以输出目标对象图中的目标对象关键点与目标对象关键点模板中的目标对象关键点之间的位置信息差值。

上述实施例中，通过关键点检测模型，输出目标对象图中的目标对象关键点与目标对象关键点模板中的目标对象关键点之间的位置信息差值；将目标对象关键点模板中的目标对象关键点的预设位置信息与位置信息差值相加，得到目标对象图的目标对象关键点的第二位置信息。位置信息差值比完整的位置信息数据量更小，从而节省了计算资源。

在一个实施例中，通过多任务网络中的分割模型，对特征图进行语义分割处理，输出相应目标对象的分割信息包括：将特征图输入预先训练的分割模型进行解码，输出得到的解码图像中每个像素点属于前景类别的第一分类概率和属于背景类别的第二分类概率；针对解码图像中每个像素点，选取像素点所对应的第一分类概率和第二分类概率中较大的分类概率所对应的类别，作为像素点所属的类别；根据解码图像中属于前景类别的各像素点，确定与目标对象图相应的目标对象的分割信息。

可以理解，分割模型可以预测出解码图像中每个像素点分别属于前景类别和背景类别的分类概率。

当解码图像与目标对象图的尺寸一致时，则可以将直接根据解码图像中属于前景类别的各像素点，得到与目标对象图相应的目标对象的分割信息。

需要说明的是，解码图像可能存在与目标对象图的尺寸不一致的情况。当解码图像的尺寸小于目标对象图的尺寸时，则可以对解码图像进行插值，使其尺寸与输入的目标对象图的尺寸一致，然后再根据插值之后的解码图像中属于前景类别的各像素点，构成目标对象图相应的目标对象分割信息。

上述实施例中，通过分割模型来确定每个像素点的类别，进而实现分割，能够细化分割粒度，提高了分割准确性。

在一个实施例中，所述分割模型的训练步骤包括：获取样本视频中的各样本图像帧；获取分别与各所述样本图像帧相应的第一目标对象分割标签；将各所述样本图像帧和相应第一目标对象分割标签输入初始分割模型中，进行迭代地机器学习训练，得到基本的分割模型。

其中，样本视频，是作为训练数据用于训练机器学习模型的视频。样本图像帧，是训练视频中用于训练机器学习模型的图像帧。样本视频可以为多个。

可以理解，训练数据可以包括样本视频，以及与样本视频中每个样本图像帧分别对应的第一目标对象分割标签。第一目标对象分割标签，即用于标记出相应样本图像帧中的目标对象轮廓。

可以理解，第一目标对象分割标签即为人工添加的标注。第一目标对象分割标签可以在样本图像帧的掩码图中进行标记。将第一目标对象分割标签输入初始分割模型，相当于将样本图像帧的掩码图输入初始分割模型。在样本图像帧的掩码图中标记第一目标对象分割标签，相当于标记出了样本图像帧中的目标对象轮廓。

计算机设备可以将各所述样本图像帧和相应第一目标对象分割标签输入预设的初始化的分割模型中，进行迭代地机器学习训练，得到基本的分割模型。

可以理解，计算机设备可以将目标对象图或者目标对象图的特征图输入基本的分割模型中，进行目标对象的分割处理，得到该目标对象图的分割信息。

计算机设备也可以对该分割模型进一步地进行优化调整，提高该分割模型的准确性，并基于调整后的最终的分割模型，对目标对象图或者目标对象图的特征图进行目标对象的分割处理。

在一个实施例中，分割模型的训练步骤还包括对基本的分割模型的优化调整步骤，具体包括以下步骤：从样本图像帧中依次选取当前样本图像帧，针对每个当前样本图像帧，从当前样本图像帧的前一样本图像帧的第一目标对象分割标签所形成的标签轮廓上，选取预设数量的表示目标对象边界的边界特征点；通过光流跟踪操作，跟踪边界特征点在当前样本图像帧中的位置信息；将边界特征点在当前样本图像帧中的位置信息连接并进行平滑，得到当前样本图像帧的第二目标对象分割标签；根据每个样本图像帧和相应的第二目标对象分割标签对所述基本的分割模型进行迭代优化训练，得到优化后的分割模型。

具体地，在分割模型的训练过程中，计算机设备可以从样本图像帧中依次选取当前样本图像帧，针对每个当前样本图像帧，从当前样本图像帧的前一样本图像帧的第一目标对象分割标签所形成的标签轮廓上，选取预设数量的表示目标对象边界的边界特征点。

其中，边界特征点，是能够表示目标对象边界的特征点。在一个实施例中，计算机设备可以在从当前样本图像帧的前一样本图像帧的第一目标对象分割标签所形成的标签轮廓上，均匀选取预设数量的点，作为边界特征点。比如，在前一样本图像帧的第一目标对象分割标签所形成的标签轮廓上均匀选取20个点，作为边界特征点。

可以理解，由于超声图像边缘模糊且存在大量伪影，在标签轮廓上均匀选取预设数量的点作为目标对象的边界特征点，能够避开模糊边缘及伪影这些信息的干扰，从而提高计算准确性。

进一步地，计算机设备可以通过光流跟踪操作，使用光流算法跟踪所选取的边界特征点在当前样本图像帧中的位置信息。可以理解，跟踪的边界特征点在当前样本图像帧中的位置信息相当于形成了新的边界特征点。计算机设备可以将边界特征点在当前样本图像帧中的位置信息连接并进行平滑。即，相当于将跟踪形成的新的边界特征点连接，并通过曲线拟合形成标签轮廓，即得到当前样本图像帧的第二目标对象分割标签(即，得到一套新的目标对象分割标签)。

需要说明的是，第二目标对象分割标签，并非人工添加的标注，而是通过光流算法跟踪生成的、且用于标记出样本图像帧中的目标对象轮廓的标签。

计算机设备可以将每个样本图像帧和通过光流追踪生成的第二目标对象分割标签输入基本的分割模型中，进行迭代地模型优化训练，得到优化后的分割模型。

可以理解，光流算法可以用于对光流的跟踪，也可以对整个目标对象进行跟踪。但光流算法对图像质量有一定要求，但视频图像中可能存在丰富的伪影和模糊的边界，对光流算法的跟踪结构有非常的误导。比如，视频为超声视频时，如果对整个目标对象进行跟踪，目标对象区域内充血、伪影以及模糊边界势必会产生较大的跟踪误差，同时，整片的目标对象跟踪，时效很差。本实施例中，从标签轮廓上选取了目标对象的边界特征点(即位于目标对象轮廓的关键点)进行跟踪，因为轮廓的点相比于目标对象内部的点有更多的图像对比度信息，特征明显，跟踪误差较小，此外跟踪点少，时效好，计算量也小。

此外，本实施例中的光流跟踪只发生在两帧之间，所以，不需要在每张样本图像帧中添加目标对象轮廓关键点的标注信息，就能够实现对前一样本图像帧中选取的边界特征点的跟踪，因此，避免了手工标注边界特征点的处理。

另外，由于本实施例中避免了添加目标对象轮廓关键点的标注信息的情况，光流在两帧之间的跟踪，属于在线训练模型中生成标签的一个处理，不需要考虑光流算法的可导实现，实现方式简单易操作。而且，相当于在训练模型的同时训练学习了光流跟踪算法，使得网络模型自身具备了光流跟踪能力，从而在从而在测试过程中，网络能够在分割出当前帧中的目标对象的同时，通过光流追踪考虑到上一帧目标对象的平滑分割标签信息，导致结果更加平滑。

可以理解，本实施例中能够自动生成分割标签，所以非常适用于半监督学习，特别适用于缺乏人工标注的视频。本实施例用一种间接的方法，通过将光流算法扩展到生成分割标签上，从而能够自动地对分割模型进行调整优化，实现了端到端训练，时效性强，容易实现。

在一个实施例中，该方法还包括：通过所述基本的分割模型挖掘所述当前样本图像帧中的难样本像素点；从所述当前样本图像帧中剔除除所述难样本像素点和目标对象像素点之外的像素点。本实施例中，所述根据每个样本图像帧和相应的第二目标对象分割标签对所述基本的分割模型进行迭代优化训练包括：将每个剔除像素点之后的样本图像帧和相应的第二目标对象分割标签输入所述基本的分割模型中，进行迭代地模型优化训练。

可以理解，专门将难样本挖掘出来，和目标对象像素点一起输入分割模型中，能够针对性地对边缘的难样本像素点进行训练，进而能够提升分割模型在边缘的注意力和识别能力，从而能够使得优化后的分割模型所分割出的边缘更加的光滑。

其中，基本的分割模型，是指前面通过一套第一目标对象分割标签进行迭代地机器学习训练得到的分割模型。难样本像素点，是指容易分类错误的背景像素点。一般情况下，难样本像素点，通常位于图像的边缘以及目标对象分割边缘等这些边界区域。

可以理解，目标对象像素点，即为前景像素点。背景像素点，是除目标对象像素点以外的像素点。

在一个实施例中，通过基本的分割模型挖掘当前样本图像帧中的难样本像素点包括：将所述具有相应第二目标对象分割标签的各个样本图像帧输入所述基本的分割模型中，得到所述样本图像帧中各像素点的分割损失；按照分割损失由大到小的顺序，从样本图像帧中选取与样本图像帧中目标对象像素点个数相匹配的背景像素点，得到难样本像素点。

其中，分割损失，即用于表示预测值与真实值之间的差异。两者差异越大，分割损失越大，两者越接近，分割损失越小。

可以理解，基本的分割模型已经具备一定的分割能力，所以，将具有相应第二目标对象分割标签的各个样本图像帧输入基本的分割模型中，能够对各个样本图像帧进行目标对象分割处理，得到各个样本图像帧的目标对象的分割信息。由于光流追踪的边界特征点在所述当前样本图像帧中的位置信息连接并进行平滑后，相当于形成第二目标对象分割标签。所以，第二目标对象分割标签相当于能够表示出样本图像帧中的真实值，即样本图像帧中位于第二目标对象分割标签所形成的轮廓内的像素点为目标对象像素点，位于该轮廓外的像素点是背景像素点。得到的各个样本图像帧的目标对象分割信息能够表示出各个样本图像帧中的预测值，即位于分割出的目标对象区域内的像素点为目标对象像素点，位于该目标对象区域外的是背景像素点。因此，计算机设备可以通过第二目标对象分割标签确定样本图像帧中各像素点的真实值，通过由基本的分割模型分割出的样本图像帧的目标对象分割信息，确定样本图像帧中各像素点的预测值，通过预测值与真实值的比对，得到样本图像帧中各像素点的分割损失。

进一步地，计算机设备可以按照背景像素点的分割损失由大到小的顺序，从样本图像帧中选取与样本图像帧中目标对象像素点个数相匹配的背景像素点，得到难样本像素点。可以理解，与目标对象像素点个数相匹配，并不限定于背景像素点的个数必须与目标对象像素点个数完全一致，只要满足背景像素点的个数与目标对象像素点个数差异在预设的均衡范围之内即可，即不要使二者个数差异过大，以免进行大量的没必要的计算。比如，目标对象像素点个数为100，则可以从背景像素点中选取分割损失在前100名的背景像素点，得到100个难样本像素点。假设，均衡范围为正负20个范围区间，则可以按照背景像素点的分割损失由大到小的顺序，选取80～120个背景像素点，作为难样本像素点。

计算机设备可以从每个样本图像帧中剔除除相应难样本像素点和目标对象像素点之外的像素点。

计算机设备可以将每个剔除像素点之后的样本图像帧和相应的第二目标对象分割标签输入所述基本的分割模型中，进行迭代地模型优化训练，得到优化后的分割模型。

可以理解，计算机设备可以通过在线难样本挖掘算法OHEM(online hard exampleminiing)算法，来挖掘出难样本像素点。

图7为一个实施例中自适应训练分割光滑边缘的分割模型的方法。需要说明的是，图7是以视频为心脏超声检测的视频、视频中的图像帧心脏超声切面图、以及以目标对象为左心室进行举例说明的。所以，第一目标对象分割标签，是第一左心室分割标签，第二目标对象分割标签，是第二左心室分割标签。参照图7，第一左心室分割标签是人工标注的。所以，可以先根据针对每个样本图像帧进行人工标注的这一套第一左心室分割标签和相应样本图像帧作为样本数据进行机器学习训练，训练出基本的分割模型，即执行①。在分割模型的训练过程中，计算机设备可以从第t-1个样本图像帧的第一左心室分割标签所表示的标签轮廓上均匀选取预设数量的点，作为边界特征点，通过Lucas-kanade(LK)光流算法，跟踪这些边界特征点在第t个样本图像帧中的位置信息，然后将边界特征点在第t个样本图像帧中的位置信息连接并进行平滑，得到连接平滑后的标签，即为第二左心室分割标签。702中的深色柱形图表示背景像素点，浅色柱形图表示左心室像素点(即前景像素点)，702的左边一组柱形图表示的是，以第二左心室分割标签进行分割时，第t个样本图像帧中背景像素点和左心室像素点的数量，可见，背景像素点明显多于左心室像素点，所以需要进行平衡处理，从第t个样本图像帧中剔除除难样本像素点和左心室像素点之外的像素点，减少过多的背景像素点所带来的不必要的计算量。右边这组柱形图表示的是剔除像素点之后的第t个样本图像帧中难样本像素点和左心室像素点的数量，右边柱形图明显看出背景像素点和左心室像素点的数量比较均衡，不至于差异过大。剔除像素点之后的第t个样本图像帧的掩码图即为704。可见704中仍然包括第t个样本图像帧的第二左心室分割标签。接着，可以将每个剔除像素点之后的样本图像帧和相应第二左心室分割标签输入所述基本的分割模型中，即执行②，进行迭代地模型优化训练。需要说明的是，图7仅用于示例，并不用于限定。

上述实施例中，在模型训练过程中，通过计算机自动化地进行光流追踪产生新的一套目标对象分割标签，即第二目标对象分割标签，结合难样本的挖掘，能够自适应地对分割模型进行优化，而且，能够在模型训练过程中即可自动化实现该优化效果，从而节省了大量的繁复测试工作。此外，自适应训练分割光滑边缘的分割模型的方法，仅是选取目标对象分割标签所形成的标签轮廓上的点进行光流追踪，即局部进行光流追踪，所以并不需要很大的计算量，节省了计算资源。

在一个实施例中，目标对象关键点模板生成步骤包括：将样本视频中各样本图像帧的第一目标对象分割标签所形成的标签轮廓外扩预设范围；按照目标对象在预设切面类别的心脏超声切面图中的位置规律，对每个外扩后的范围进行增扩，得到裁剪范围；从每个样本图像帧中，裁剪出与裁剪范围相符的剪裁图片；将与每个剪裁图片中的目标对象关键点的位置信息求平均，得到目标对象关键点的预设位置信息；根据目标对象关键点的预设位置信息，生成目标对象关键点模板。

可以理解，样本视频为多个，每个样本视频中的每个样本图像帧都有相应的第一目标对象分割标签。目标对象分割标签是用于表示目标对象外部轮廓的标注。

由于不同切面类别的心脏超声切面图中的目标对象区域的大小会存在一些差异，而目标对象关键点模板是对所有切面类别的心脏超声切面图统一适用的，所以，为了能够通用于所有的切面类别，计算机设备可以在每个样本图像帧中，将相应第一目标对象分割标签所形成的标签轮廓外扩预设范围，外扩预设范围后标签轮廓内的区域基本上能够覆盖所有不同切面类别的心脏超声切面图中的目标对象区域。因此，可以将外扩预设范围后标签轮廓内的区域粗略当作目标对象的位置。

进一步地，计算机设备可以找出目标对象在预设的不同切面类别的切面图中的位置规律，对每个样本图像帧中外扩后的范围进行增扩，得到裁剪范围。需要说明的是，这里对外扩后的范围进行增扩，是为了确定裁剪范围，而并不会再对第一目标对象分割标签所形成的标签轮廓再进行外扩。可以理解，在对外扩后的范围进行增扩时，第一目标对象分割标签所形成的标签轮廓不再进行外扩，而是基于目标对象在预设的不同切面类别的切面图中的位置规律，选取一个比该标签轮廓所形成的范围大一些的范围作为裁剪范围。该裁剪范围覆盖标签轮廓所形成的范围。

在一个实施例中，当目标对象为左心室时，左心室在预设的不同切面类别的切面图中的位置规律，为左心室位于心脏超声切面图中的左上角。计算机设备可以在外扩后的范围的基础上，往样本图像帧的左边和下面分别增扩50％的左心室宽高，得到裁剪范围。可以理解，增扩后的裁剪范围除了能够函括左心室区域外，还能够包括更多的用于判断切面类别的信息。

计算机设备可以从每个样本图像帧中，裁剪出与裁剪范围相符的剪裁图片。这样就可以得到多个裁剪图片，可以理解，有多少个样本图像帧就有多少个裁剪图片。在一个实施例中，计算机设备可以将按照裁剪范围裁剪出的图片进行尺寸调整，调整为与多任务网络的输入尺寸相符的尺寸，将调整尺寸后的图片作为裁剪图片。

计算机设备可以将所有剪裁图片中的目标对象关键点的位置信息求平均，得到目标对象关键点的预设位置信息；根据目标对象关键点的预设位置信息，生成目标对象关键点模板。

在一个实施例中，针对每个裁剪图片，计算机设备可以确定该裁剪图片中由第一目标对象分割标签所表示的目标对象关键点，并确定该目标对象关键点在该裁剪图片中的位置信息。计算机设备可以将所有裁剪图片中目标对象关键点的位置信息求平均，得到目标对象关键点的预设位置信息。

可以理解，可以使用属于不同的切面类型的样本视频作为训练数据，所以样本图像帧也对应多种切面类别。基于不同切面类别的样本图像帧的样本图像帧确定出的目标对象关键点模板，能够用于对多种不同切面类别的图像帧进行检测。

图8为一个实施例中生成目标对象关键点模板的原理示意图。需要说明的是，图8是以视频中的图像帧心脏超声切面图、以及以目标对象为左心室进行举例说明的。那么，左心室关键点模板即为要生成的目标对象关键点模板。参照图8，以不同切面类别A2C和A4C的心脏超声切面图作为生成左心室关键点模板的基础数据，通过下述一系列处理：将各个作为样本图像帧的心脏超声切面图中的左心室的标签轮廓外扩一定范围、根据左心室在不同类别的切面图中的位置规律对外扩范围后进行增扩得到裁剪范围、再按照裁剪范围采集图像并调整为与多任务网络的输入尺寸相符的裁剪图片、以及对所有裁剪图片的左心室关键点的位置信息求平均，得到左心室关键点的预设位置信息。根据所述左心室关键点的预设位置信息，最终生成左心室关键点模板802。

上述实施例中，将通过上述方法确定的目标对象关键点的位置信息求均值，能够提高目标对象关键点模板的准确性和适用性。进而，为后续的仿射变换提供准确参考依据。

如图9所示，提供了一种图像分割装置900，其特征在于，装置包括：选取模块902、仿射变换模块904、目标对象信息获取模块906以及分割模块908，其中：

选取模块902，用于在视频中按照时序依次选取当前图像帧。

仿射变换模块904，用于从在视频中的时序位于当前图像帧之前的图像帧中，确定参考图像帧；获取参考图像帧中目标对象关键点的第一位置信息；参照第一位置信息和目标对象关键点模板之间的仿射变换关系，对当前图像帧进行仿射变换，得到当前图像帧的目标对象图。

目标对象信息获取模块906，用于对目标对象图进行关键点检测，得到目标对象关键点的第二位置信息；从目标对象图中分割目标对象，得到目标对象的分割信息。

分割模块908，用于根据分割信息和第二位置信息，从当前图像帧中分割出目标对象。

如图10所示，在一个实施例中，该装置900还包括：

首帧关键点信息优化模块901，用于从视频的首位图像帧中，初步检测出目标对象关键点的初始位置信息；将首位图像帧作为前一图像帧以及将初始位置信息作为前一位置信息，参照前一位置信息，检测前一图像帧的后一图像帧中的目标对象关键点的位置信息；将后一图像帧作为前一图像帧以及将后一图像帧中的目标对象关键点的位置信息作为前一位置信息，返回参照前一位置信息，检测前一图像帧的后一图像帧中的目标对象关键点的位置信息的步骤，以进行迭代处理，直至得到视频的末位图像帧中的目标对象关键点的位置信息；将末位图像帧当作首位图像帧的前一图像帧，参照末位图像帧中的目标对象关键点的位置信息，确定首位图像帧中最终的目标对象关键点的位置信息。

在一个实施例中，首帧关键点信息优化模块901还用于按照前一位置信息和目标对象关键点模板之间的仿射变换关系，对前一图像帧的后一图像帧进行仿射变换，得到后一图像帧中的目标对象图；对后一图像帧中的目标对象图进行关键点检测，得到后一图像帧中的目标对象关键点的位置信息。

在一个实施例中，仿射变换模块904还用于按照距当前图像帧由近到远的顺序，将视频中在当前图像帧之前的预设数量的图像帧，确定为参考图像帧；分割模块908，还用于当参考图像帧为多个时，则对依照每个参考图像帧中目标对象关键点的第一位置信息所确定出的目标对象的分割信息求平均，得到最终的目标对象的分割信息；求取分别依照每个参考图像帧中目标对象关键点的第一位置信息所确定出的第二位置信息的平均值，得到最终的目标对象关键点的第二位置信息；将最终的目标对象的分割信息和最终的目标对象关键点的第二位置信息映射至当前图像帧。

在一个实施例中，目标对象信息获取模块906还用于将目标对象图输入至多任务网络中，编码得到目标对象图的特征图；通过多任务网络中的关键点检测模型，对特征图进行关键点检测处理，输出与目标对象图对应的目标对象关键点的第二位置信息；通过多任务网络中的分割模型，对特征图进行语义分割处理，输出相应目标对象的分割信息。

在一个实施例中，目标对象信息获取模块906还用于通过多任务网络中的切面分类模型，对特征图进行切面分类处理，得到当前图像帧所属的切面类别；当确定出视频中每一图像帧所属的切面类别后，则确定每个切面类别所对应的图像帧的数量；将数量最多的切面类别作为视频所对应的切面类别。

在一个实施例中，目标对象信息获取模块906还用于将特征图输入预先训练的关键点检测模型中，输出目标对象图中的目标对象关键点与目标对象关键点模板中的目标对象关键点之间的位置信息差值；将目标对象关键点模板中的目标对象关键点的预设位置信息与位置信息差值相加，得到目标对象图的目标对象关键点的第二位置信息。

在一个实施例中，目标对象信息获取模块906还用于将特征图输入预先训练的分割模型进行解码，输出得到的解码图像中每个像素点属于前景类别的第一分类概率和属于背景类别的第二分类概率；针对解码图像中每个像素点，选取像素点所对应的第一分类概率和第二分类概率中较大的分类概率所对应的类别，作为像素点所属的类别；根据解码图像中属于前景类别的各像素点，确定与目标对象图相应的目标对象的分割信息。

在一个实施例中，目标对象信息获取模块906还用于获取样本视频中的各样本图像帧；获取分别与各样本图像帧相应的第一目标对象分割标签；将各样本图像帧和相应第一目标对象分割标签输入初始分割模型中，进行迭代地机器学习训练，得到基本的分割模型。

在一个实施例中，目标对象信息获取模块906还用于从样本图像帧中依次选取当前样本图像帧，针对每个当前样本图像帧；从当前样本图像帧的前一样本图像帧的第一目标对象分割标签所形成的标签轮廓上，选取预设数量的表示目标对象边界的边界特征点；通过光流跟踪操作，跟踪边界特征点在当前样本图像帧中的位置信息；将边界特征点在当前样本图像帧中的位置信息连接并进行平滑，得到当前样本图像帧的第二目标对象分割标签；根据每个样本图像帧和相应的第二目标对象分割标签对基本的分割模型进行迭代优化训练，得到优化后的分割模型。

在一个实施例中，目标对象信息获取模块906还用于通过基本的分割模型挖掘当前样本图像帧中的难样本像素点；从当前样本图像帧中剔除除难样本像素点和目标对象像素点之外的像素点；将每个剔除像素点之后的样本图像帧和相应的第二目标对象分割标签输入基本的分割模型中，进行迭代地模型优化训练。

在一个实施例中，仿射变换模块904还用于将样本视频中各样本图像帧的第一目标对象分割标签所形成的标签轮廓外扩预设范围；按照目标对象在图像帧中的位置规律，对每个外扩后的范围进行增扩，得到裁剪范围；从每个样本图像帧中，裁剪出与裁剪范围相符的剪裁图片；将与每个剪裁图片中的目标对象关键点的位置信息求平均，得到目标对象关键点的预设位置信息；根据目标对象关键点的预设位置信息，生成目标对象关键点模板。

图11为一个实施例中计算机设备的内部结构示意图。参照图11，该计算机设备可以是图1中所示的服务器120。可以理解，计算机设备也可以是终端110。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质可存储操作系统和计算机程序。该计算机程序被执行时，可使得处理器执行一种图像分割方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该内存储器中可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行一种图像分割方法。计算机设备的网络接口用于进行网络通信。

本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，本申请提供的图像分割装置可以实现为一种计算机程序的形式，计算机程序可在如图11所示的计算机设备上运行，计算机设备的非易失性存储介质可存储组成该异常检测装置的各个程序模块，比如，图9所示的选取模块902、仿射变换模块904、目标对象信息获取模块906以及分割模块908。各个程序模块所组成的计算机程序用于使该计算机设备执行本说明书中描述的本申请各个实施例的图像分割方法中的步骤，例如，计算机设备可以通过如图9所示的图像分割装置900中的选取模块902在视频中按照时序依次选取当前图像帧。计算机设备可以通过仿射变换模块904从在视频中的时序位于当前图像帧之前的图像帧中，确定参考图像帧；获取参考图像帧中目标对象关键点的第一位置信息；参照第一位置信息和目标对象关键点模板之间的仿射变换关系，对当前图像帧进行仿射变换，得到当前图像帧的目标对象图。计算机设备可以通过目标对象信息获取模块906对目标对象图进行关键点检测，得到目标对象关键点的第二位置信息；从目标对象图中分割目标对象，得到目标对象的分割信息。计算机设备可以通过分割模块908根据分割信息和第二位置信息，从当前图像帧中分割出目标对象。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述图像分割方法的步骤。此处图像分割方法的步骤可以是上述各个实施例的图像分割方法中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述图像分割方法的步骤。此处图像分割方法的步骤可以是上述各个实施例的图像分割方法中的步骤。

需要说明的是，本申请各实施例中的“第一”、“第二”和“第三”仅用作区分，而并不用于大小、先后、从属等方面的限定。

应该理解的是，虽然本申请各实施例中的各个步骤并不是必然按照步骤标号指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种图像分割方法，所述方法包括：

在视频中按照时序依次选取当前图像帧；

从在所述视频中的时序位于当前图像帧之前的图像帧中，确定参考图像帧；

获取所述参考图像帧中目标对象关键点的第一位置信息；

参照第一位置信息和目标对象关键点模板之间的仿射变换关系，对当前图像帧进行仿射变换，得到当前图像帧的目标对象图；所述目标对象关键点模板，用于表示以主要区域为目标对象区域的图像为参照，预先设置的目标对象关键点的预设位置信息；

对所述目标对象图进行关键点检测，得到目标对象关键点的第二位置信息；

从所述目标对象图中分割目标对象，得到目标对象的分割信息；

根据所述分割信息和所述第二位置信息，从所述当前图像帧中分割出所述目标对象。

2.根据权利要求1所述的方法，其特征在于，在所述在视频中按照时序依次选取当前图像帧之前，所述方法还包括：

从所述视频的首位图像帧中，初步检测出目标对象关键点的初始位置信息；

将所述首位图像帧作为前一图像帧以及将所述初始位置信息作为前一位置信息，参照所述前一位置信息，检测所述前一图像帧的后一图像帧中的目标对象关键点的位置信息；

将所述后一图像帧作为前一图像帧以及将所述后一图像帧中的目标对象关键点的位置信息作为前一位置信息，返回所述参照所述前一位置信息，检测所述前一图像帧的后一图像帧中的目标对象关键点的位置信息的步骤，以进行迭代处理，直至得到所述视频的末位图像帧中的目标对象关键点的位置信息；

将末位图像帧当作所述首位图像帧的前一图像帧，参照末位图像帧中的目标对象关键点的位置信息，确定首位图像帧中最终的目标对象关键点的位置信息。

3.根据权利要求2所述的方法，其特征在于，所述参照所述前一位置信息，检测所述前一图像帧的后一图像帧中的目标对象关键点的位置信息包括：

按照所述前一位置信息和目标对象关键点模板之间的仿射变换关系，对所述前一图像帧的后一图像帧进行仿射变换，得到所述后一图像帧中的目标对象图；

对所述后一图像帧中的目标对象图进行关键点检测，得到所述后一图像帧中的目标对象关键点的位置信息。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述从在所述视频中的时序位于当前图像帧之前的图像帧中，确定参考图像帧包括：

按照距所述当前图像帧由近到远的顺序，将所述视频中在所述当前图像帧之前的预设数量的图像帧，确定为参考图像帧；

所述根据所述分割信息和所述第二位置信息，从所述当前图像帧中分割出所述目标对象包括：

当参考图像帧为多个时，则对依照每个参考图像帧中目标对象关键点的第一位置信息所确定出的目标对象的分割信息求平均，得到最终的目标对象的分割信息；

求取分别依照每个参考图像帧中目标对象关键点的第一位置信息所确定出的第二位置信息的平均值，得到最终的目标对象关键点的第二位置信息；

将所述最终的目标对象的分割信息和所述最终的目标对象关键点的第二位置信息映射至所述当前图像帧。

5.根据权利要求1至3中任一项所述的方法，其特征在于，所述方法还包括：

将所述目标对象图输入至多任务网络中，编码得到所述目标对象图的特征图；

所述对所述目标对象图进行关键点检测，得到目标对象关键点的第二位置信息包括：

通过多任务网络中的关键点检测模型，对所述特征图进行关键点检测处理，输出与所述目标对象图对应的目标对象关键点的第二位置信息；

所述从所述目标对象图中分割目标对象，得到目标对象的分割信息包括：

通过多任务网络中的分割模型，对所述特征图进行语义分割处理，输出相应目标对象的分割信息。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

通过多任务网络中的切面分类模型，对所述特征图进行切面分类处理，得到所述当前图像帧所属的切面类别；

当确定出所述视频中每一图像帧所属的切面类别后，则

确定每个切面类别所对应的图像帧的数量；

将数量最多的切面类别作为所述视频所对应的切面类别。

7.根据权利要求5所述的方法，其特征在于，所述通过多任务网络中的关键点检测模型，对所述特征图进行关键点检测处理包括：

将特征图输入预先训练的关键点检测模型中，输出所述目标对象图中的目标对象关键点与目标对象关键点模板中的目标对象关键点之间的位置信息差值；

将所述目标对象关键点模板中的目标对象关键点的预设位置信息与所述位置信息差值相加，得到所述目标对象图的目标对象关键点的第二位置信息。

8.根据权利要求5所述的方法，其特征在于，所述通过多任务网络中的分割模型，对所述特征图进行语义分割处理，输出相应目标对象的分割信息包括：

将所述特征图输入预先训练的分割模型进行解码，输出得到的解码图像中每个像素点属于前景类别的第一分类概率和属于背景类别的第二分类概率；

针对所述解码图像中每个像素点，选取所述像素点所对应的第一分类概率和第二分类概率中较大的分类概率所对应的类别，作为所述像素点所属的类别；

根据所述解码图像中属于前景类别的各像素点，确定与所述目标对象图相应的目标对象的分割信息。

9.根据权利要求5所述的方法，其特征在于，所述分割模型的训练步骤包括：

获取样本视频中的各样本图像帧；

获取分别与各样本图像帧相应的第一目标对象分割标签；

将各所述样本图像帧和相应第一目标对象分割标签输入初始分割模型中，进行迭代地机器学习训练，得到基本的分割模型。

10.根据权利要求9所述的方法，其特征在于，所述分割模型的训练步骤还包括：

从所述样本图像帧中依次选取当前样本图像帧，针对每个当前样本图像帧，从所述当前样本图像帧的前一样本图像帧的第一目标对象分割标签所形成的标签轮廓上，选取预设数量的表示目标对象边界的边界特征点；

通过光流跟踪操作，跟踪所述边界特征点在所述当前样本图像帧中的位置信息；

将所述边界特征点在所述当前样本图像帧中的位置信息连接并进行平滑，得到所述当前样本图像帧的第二目标对象分割标签；

根据每个样本图像帧和相应的第二目标对象分割标签对所述基本的分割模型进行迭代优化训练，得到优化后的分割模型。

11.根据权利要求10所述的方法，其特征在于，所述方法还包括：

通过所述基本的分割模型挖掘所述当前样本图像帧中的难样本像素点；

从所述当前样本图像帧中剔除除所述难样本像素点和目标对象像素点之外的像素点；

所述根据每个样本图像帧和相应的第二目标对象分割标签对所述基本的分割模型进行迭代优化训练包括：

将每个剔除像素点之后的样本图像帧和相应的第二目标对象分割标签输入所述基本的分割模型中，进行迭代地模型优化训练。

12.根据权利要求1至3中任一项所述的方法，其特征在于，所述目标对象关键点模板生成步骤包括：

将样本视频中各样本图像帧的第一目标对象分割标签所形成的标签轮廓外扩预设范围；

按照目标对象在图像帧中的位置规律，对每个外扩后的范围进行增扩，得到裁剪范围；

从每个所述样本图像帧中，裁剪出与所述裁剪范围相符的剪裁图片；

将与每个剪裁图片中的目标对象关键点的位置信息求平均，得到目标对象关键点的预设位置信息；

根据所述目标对象关键点的预设位置信息，生成目标对象关键点模板。

13.一种图像分割装置，其特征在于，所述装置包括：

选取模块，用于在视频中按照时序依次选取当前图像帧；

仿射变换模块，用于从在所述视频中的时序位于当前图像帧之前的图像帧中，确定参考图像帧；获取所述参考图像帧中目标对象关键点的第一位置信息；参照第一位置信息和目标对象关键点模板之间的仿射变换关系，对当前图像帧进行仿射变换，得到当前图像帧的目标对象图；所述目标对象关键点模板，用于表示以主要区域为目标对象区域的图像为参照，预先设置的目标对象关键点的预设位置信息；

目标对象信息获取模块，用于对所述目标对象图进行关键点检测，得到目标对象关键点的第二位置信息；从所述目标对象图中分割目标对象，得到目标对象的分割信息；

分割模块，用于根据所述分割信息和所述第二位置信息，从所述当前图像帧中分割出所述目标对象。

14.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1至12中任一项所述方法的步骤。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1至12中任一项所述方法的步骤。