CN116012589A - 一种图像分割方法、装置、设备及存储介质 - Google Patents

Abstract

本申请是一种图像分割方法、装置、设备及存储介质，具体涉及图像检测技术领域。所述方法包括：获取样本图像数据；通过目标检测模型的下采样模块对样本图像数据进行特征提取，得到目标样本特征图；通过目标检测模型中的上采样模块对目标样本特征图进行上采样，得到至少两个层次的上采样特征图；根据顶层的上采样特征图以及样本标注获取第一损失函数值；分别对至少两个层次的上采样特征图进行通道压缩，获得至少两层压缩特征图；根据至少两层压缩特征图以及样本标注，获取第二损失函数值；根据第一损失函数值以及第二损失函数值，对目标检测模型进行训练，得到训练后的目标检测模型。基于上述方案，提高了目标检测模型的图像识别准确度。

Description

一种图像分割方法、装置、设备及存储介质

技术领域

本申请涉及图像检测领域，具体涉及一种图像分割方法、装置、设备及存储介质。

背景技术

CT图像是根据人体不同组织器官对X射线的吸收能力不同扫描得到的，由许多轴向切片组成三维图像。

近年来，深度学习逐渐应用于图像分割中。U型网络结构Unet是遵循FCN的原理并进行相应改进，以适应小样本简单分割的基于深度学习的语义分割算法。深监督在分类和分割都有广泛的使用，其中心思想是为隐藏层提供直接监督，使得梯度信息能够更深层地注入网络，有效应对梯度消失，促进中间层的训练。通过将深监督与U型网络结构进行结合，可以有效解决U型网络结构的训练梯度消失和收敛速度过慢等问题。

然而，由于在训练过程中CT图像中的有效信息只停留在网络的浅层，网络模型的识别准确度较差。

发明内容

本申请提供了一种图像分割方法、装置、设备及存储介质，在实现图像分割时，识别准确度高，该技术方案如下。

一方面，提供了一种图像分割方法，所述方法包括：

获取样本图像数据；所述样本图像数据中包括样本标注；

通过目标检测模型的下采样模块对所述样本图像数据进行特征提取，得到目标样本特征图；

通过目标检测模型中的上采样模块对目标样本特征图进行上采样，得到至少两个层次的上采样特征图；所述上采样模块中包括至少两层上采样层；

根据顶层的上采样特征图以及所述样本标注获取第一损失函数值；

分别对所述至少两个层次的上采样特征图进行通道压缩，获得至少两层压缩特征图；

根据至少两层压缩特征图以及所述样本标注，获取第二损失函数值；

根据所述第一损失函数值以及第二损失函数值，对所述目标检测模型进行训练，得到训练后的目标检测模型；所述训练后的目标检测模型用于对目标图像数据进行处理，以得到目标分割结果。

又一方面，提供了一种图像分割装置，所述装置包括：

数据获取单元，用于获取样本图像数据；所述样本图像数据中包括样本标注；

特征提取单元，用于通过目标检测模型的下采样模块对所述样本图像数据进行特征提取，得到目标样本特征图；

上采样单元，用于通过目标检测模型中的上采样模块对目标样本特征图进行上采样，得到至少两个层次的上采样特征图；所述上采样模块中包括至少两层上采样层；

第一损失函数获取单元，用于根据顶层的上采样特征图以及所述样本标注获取第一损失函数值；

通道压缩单元，用于分别对所述至少两个层次的上采样特征图进行通道压缩，获得至少两层压缩特征图；

第二损失函数获取单元，用于根据至少两层压缩特征图以及所述样本标注，获取第二损失函数值；

训练单元，用于根据所述第一损失函数值以及第二损失函数值，对所述目标检测模型进行训练，得到训练后的目标检测模型；所述训练后的目标检测模型用于对目标图像数据进行处理，以得到目标分割结果。

在一种可能的实现方式中，所述根据至少两层压缩特征图以及所述样本标注，获取第二损失函数值，包括：

根据每层压缩特征图对应的层数，分别将每层压缩特征图放大至指定分辨率，获得各个第一样本特征图；

将所述各个第一样本特征图按照通道进行拼接，并通过卷积层以及全连接层进行处理，获得第一识别结果；

根据所述第一识别结果以及样本标注，确定所述第二损失函数值。

在一种可能的实现方式中，根据顶层的上采样特征图以及所述样本标注获取第一损失函数值，包括：

对所述顶层的上采样特征图进行上采样处理，获得第二样本特征图；

根据所述第二样本特征图与所述样本标注，获得所述第一损失函数值。

在一种可能的实现方式中，在所述样本图像中，根据位于在样本标注的区域外，且与样本标注的边界相距第一阈值的像素点，确定外环边界；

在所述样本图像中，根据位于在样本标注的区域内，且与样本标注的边界相距第二阈值的像素点，确定内环边界；

将所述外环边界与所述样本标注的边界之间的区域确定为外环区域；

将所述内环边界与所述样本标注的边界之间的区域确定为内环区域；

根据所述内环区域、所述外环区域以及所述上采样特征图，确定所述第三损失函数值；

所述根据所述第一损失函数值以及第二损失函数值，对所述目标检测模型进行训练，包括：

根据所述第一损失函数值、第二损失函数值以及第三损失函数值，对所述目标检测模型进行训练。

在一种可能的实现方式中，所述根据所述内环区域、所述外环区域以及所述上采样特征图，确定所述第三损失函数值，包括：

根据上采样特征图，确定所述样本图像的内环区域的各个像素点的预测概率和；

根据上采样特征图，确定所述样本图像的外环区域的各个像素点的预测概率和；

根据所述内环区域的各个像素点的预测概率和，以及外环区域的各个像素点的预测概率和，获得第三损失函数值。

在一种可能的实现方式中，所述下采样模块包括至少两层特征提取层；

所述通过目标检测模型的下采样模块对所述样本图像数据进行特征提取，得到目标样本特征图，包括：

通过所述至少两层特征提取层依次对所述样本图像数据进行特征提取处理，获得至少两层下采样特征图；所述目标样本特征图为底层的下采样特征图。

在一种可能的实现方式中，所述特征提取层中包括卷积层以及GC block层。

再一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述的图像分割方法。

又一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述的图像分割方法。

再一方面，提供了一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质中读取所述计算机指令，处理器执行所述计算机指令，使得所述计算机设备执行上述图像分割方法。

本申请提供的技术方案可以包括以下有益效果：

先获取样本图像数据；样本图像数据中包括样本标注；通过目标检测模型的下采样模块对样本图像数据进行特征提取，得到目标样本特征图；通过目标检测模型中的上采样模块对目标样本特征图进行上采样，得到至少两个层次的上采样特征图；上采样模块中包括至少两层上采样层；根据顶层的上采样特征图以及样本标注获取第一损失函数值；分别对至少两个层次的上采样特征图进行通道压缩，获得至少两层压缩特征图；根据至少两层压缩特征图以及样本标注，获取第二损失函数值；根据第一损失函数值以及第二损失函数值，对目标检测模型进行训练，得到训练后的目标检测模型；训练后的目标检测模型用于对目标图像数据进行处理，以得到目标分割结果。上述方案，通过将顶层的上采样特征图以及样本标注进行对比获取第一损失函数值，通过将至少两层压缩特征图以及样本标注进行对比，获取第二损失函数值，再根据第一损失函数值和第二损失函数值对目标检测模型进行优化，从而提高了目标检测模型的图像识别准确度。

附图说明

为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据一示例性实施例示出的一种图像分割系统的结构示意图。

图2是根据一示例性实施例示出的一种图像分割方法的流程图。

图3是根据一示例性实施例示出的一种图像分割方法的流程图。

图4是本申请实施例涉及的一种目标检测模型的结构示意图。

图5是本申请实施例涉及的肿瘤边缘区域示意图。

图6是根据一示例性实施例示出的一种图像分割装置的结构方框图。

图7是根据一示例性实施例示出的计算机设备的结构框图。

具体实施方式

下面将结合附图对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应理解，在本申请的实施例中提到的“指示”可以是直接指示，也可以是间接指示，还可以是表示具有关联关系。举例说明，A指示B，可以表示A直接指示B，例如B可以通过A获取；也可以表示A间接指示B，例如A指示C，B可以通过C获取；还可以表示A和B之间具有关联关系。

在本申请实施例的描述中，术语“对应”可表示两者之间具有直接对应或间接对应的关系，也可以表示两者之间具有关联关系，也可以是指示与被指示、配置与被配置等关系。

本申请实施例中，“预定义”可以通过在设备(例如，包括终端设备和网络设备)中预先保存相应的代码、表格或其他可用于指示相关信息的方式来实现，本申请对于其具体的实现方式不做限定。

图1是根据一示例性实施例示出的一种图像分割系统的结构示意图。该图像分割系统中包含服务器110以及终端设备120。其中，该终端设备120中可以包含数据处理设备以及数据存储模块。

可选的，该终端设备120通过传输网络(如无线通信网络)与服务器110实现通信连接，该终端设备120可以通过无线通信网络，将数据存储模块中存储的各个数据(如图像数据)上传至服务器110，以便服务器110对获取到的图像数据进行处理，例如通过上传的图像数据对应用于图像分割等方面的卷积神经网络模型进行训练。

可选的，该终端设备120中还包括有指令输入组件，如鼠标、键盘、触控屏等组件(图1未示出)，该指令输入组件接收到用户输入的指定指令后，可以在终端设备上输入对应的数据。例如当终端设备上安装有图像分割软件时，用户可以通过指令输入组件向终端设备输入对应的指令，以控制该图像分割软件输出对应的图像分割结果。

可选的，该终端设备可以将该图像文件上传至服务器110，以便服务器110对应用于图像分割等方面的卷积神经网络模型进行训练。

可选的，该终端设备中还包含有数据处理设备，该数据处理设备可以在终端设备120打开图像文件时，通过服务器下发的卷积神经网络模型对图像文件进行分割。

可选的，该服务器110可以获取到各个终端设备上传的图像文件，并通过人工等方式对图像文件进行标注，以通过上传的图像文件以及标注信息对卷积神经网络模型进行训练，当训练完成后可以将训练后的卷积神经网络模型传输至终端设备中，以便终端设备对图像文件进行图像分割。

可选的，当该终端设备接收并打开图像文件后，终端设备可以将该图像文件上传至服务器110中，以便服务器110中训练好的卷积神经网络模型对图像文件进行分割，得到分割结果并返回至终端设备，以实现图像文件的在线分割。

可选的，上述服务器可以是由多个物理服务器构成的服务器集群或者是分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等技术运计算服务的云服务器。

可选的，该系统还可以包括管理设备，该管理设备用于对该系统进行管理(如管理各个模块与服务器之间的连接状态等)，该管理设备与服务器之间通过通信网络相连。可选的，该通信网络是有线网络或无线网络。

可选的，上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网，但也可以是其他任何网络，包括但不限于局域网、城域网、广域网、移动、有限或无线网络、专用网络或者虚拟专用网络的任何组合。在一些实施例中，使用包括超文本标记语言、可扩展标记语言等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层、传输层安全、虚拟专用网络、网际协议安全等常规加密技术来加密所有或者一些链路。在另一些实施例中，还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。

图2是根据一示例性实施例示出的一种图像分割方法的流程图。该方法由计算机设备执行，该计算机设备可以是如图1中所示的终端设备与服务器中的一者。如图2所示，该图像分割方法可以包括如下步骤：

步骤201，获取样本图像数据；该样本图像数据中包括样本标注。

图像分割是指根据灰度、彩色、空间纹理、几何形状等特征把图像划分成若干个互不相交的区域，使得这些特征在同一区域内表现出一致性或相似性，而在不同区域间表现出明显的不同，简单的说就是在一副图像中，把目标从背景中分离出来。

为了提升进行图像分割的目标检测模型的精度，需要对该目标检测模型进行训练。首先，需要获取用于训练的样本图像数据，该样本图像数据包括由专家对样本图像中的目标物体进行轮廓标注得到的样本标注。

步骤202，通过目标检测模型的下采样模块对该样本图像数据进行特征提取，得到目标样本特征图。

下采样可以通俗地理解为缩小图像,减少矩阵的采样点数，特征提取是将任意数据(如文本或图像)转换为可用于机器学习的数字特征。通过下采样模块对样本图像数据进行特征提取，能够使图像生成对应图像的缩略图(即目标样本特征图)以减少运算量。

步骤203，通过目标检测模型中的上采样模块对目标样本特征图进行上采样，得到至少两个层次的上采样特征图。

上采样的主要目的是放大原图像到目标分辨率。可选的，通过内插值对目标样本特征图进行上采样。内插值即在原图像的像素点之间采用合适的插值算法插入新的像素点。

该上采样模块中包括至少两层上采样层。该上采样层的数量可根据实际需求进行设置。

步骤204，根据顶层的上采样特征图以及该样本标注获取第一损失函数值。

损失函数能够体现神经网络每次迭代的前向计算结果与真实值的差距，从而指导下一步的训练向正确的方向进行。通过获取损失函数值，能够衡量目标检测模型的预测准确度，再对目标检测模型进行优化，使得损失函数值更小，以提升该目标检测模型的预测准确度。

首先，根据顶层的上采样特征图与样本标注之间的差距，获取第一损失函数值。

步骤205，分别对该至少两个层次的上采样特征图进行通道压缩，获得至少两层压缩特征图。

通常而言，增加神经网络的深度可以一定程度上提高网络的表征能力，但随着深度加深，会逐渐出现神经网络难以训练的情况，其中就包括像梯度消失和梯度爆炸等现象。深监督(Deep Supervision)，就是在深度神经网络的某些中间隐藏层加了一个辅助的分类器作为一种网络分支来对主干网络进行监督，用来解决深度神经网络训练梯度消失和收敛速度过慢等问题。

通过引入深监督，可以优化该目标检测模型。然而，在目标图像中不同目标物体的尺寸差异大，导致在下采样过程中小尺寸目标物体的有效信息只存在于目标检测模型的浅层，而在分辨率较低的层所施加的监督信号会因缺乏有效信息而导致特征学习紊乱。因此在上采样过程中可以对至少两个层次的上采样特征图进行通道压缩。

步骤206，根据至少两层压缩特征图以及该样本标注，获取第二损失函数值。

在对至少两个层次的上采样特征图进行通道压缩获得至少两层压缩特征图后，可以将该至少两层压缩特征图进行拼接，拼接后的特征图包含多个层次的目标物体的有效信息，从而解决了分辨率较低的层所施加的监督信号因缺乏有效信息而导致特征学习紊乱的问题。

进一步的，将拼接后的特征图与样本标注进行比较，跟拼接后的特征图与样本标注之间的差距，获取第二损失函数值。

步骤207，根据该第一损失函数值以及第二损失函数值，对该目标检测模型进行训练，得到训练后的目标检测模型。

该训练后的目标检测模型用于对目标图像数据进行处理，以得到目标分割结果。

综上所述，本方法先获取样本图像数据；样本图像数据中包括样本标注；通过目标检测模型的下采样模块对样本图像数据进行特征提取，得到目标样本特征图；通过目标检测模型中的上采样模块对目标样本特征图进行上采样，得到至少两个层次的上采样特征图；上采样模块中包括至少两层上采样层；根据顶层的上采样特征图以及样本标注获取第一损失函数值；分别对至少两个层次的上采样特征图进行通道压缩，获得至少两层压缩特征图；根据至少两层压缩特征图以及样本标注，获取第二损失函数值；根据第一损失函数值以及第二损失函数值，对目标检测模型进行训练，得到训练后的目标检测模型；训练后的目标检测模型用于对目标图像数据进行处理，以得到目标分割结果。上述方案，通过将顶层的上采样特征图以及样本标注进行对比获取第一损失函数值，通过将至少两层压缩特征图以及样本标注进行对比，获取第二损失函数值，再根据第一损失函数值和第二损失函数值对目标检测模型进行优化，从而提高了目标检测模型的图像识别准确度。

图3是根据一示例性实施例示出的一种图像分割方法的流程图。该方法由计算机设备执行，该计算机设备可以是如图1中所示的终端设备与服务器中的一者。如图3所示，该图像分割方法可以包括如下步骤：

步骤301，获取样本图像数据。

该样本图像数据中包括样本标注。

可选的，该样本图像数据可以通过直接下载已有的样本图像数据集来获取，也可以自行拍摄样本图像并由专家进行标注，制作样本图像数据集。

可选的，使用数据标注工具LabelMe对样本图像进行标注，以获取样本图像数据集。

可选的，该样本图像为包含肿瘤信息的CT图像。

步骤302，通过至少两层特征提取层依次对该样本图像数据进行特征提取处理，获得至少两层下采样特征图。

可选的，通过U型网络Unet作为进行CT图像分割的模型(目标检测模型)。图4是本申请实施例涉及的一种目标检测模型的结构示意图。Unet是一个对称的卷积神经网络结构，左侧为下采样，右侧为上采样。在图4中，Roi(region of interest)表示感兴趣区，crop表示裁剪，直接从图像中截出一部分，保留原图像的真实尺寸比，downsample表示下采样，upsample表示上采样，conv3×3×3表示3×3×3的卷积，softmax表示归一化指数函数，non-local operation表示非局部操作，L_dice表示骰子系数，是一种集合相似度的度量函数，用于计算两个样本的相似度。

可选的，该下采样模块包括至少两层特征提取层。该特征提取层中包括卷积层以及GC block层。该特征提取层的层数可以根据实际需求进行设置，例如，在图4中该模型包含6层特征提取层。

在对CT图像进行分割的过程中，捕获长距离依赖关系可以获得目标区域的上下文信息，提升模型对视觉场景的全局理解，有利于对目标区域的定位。然而卷积操作只是一个局部操作，卷积神经网络是通过堆叠卷积层来实现捕获长距离依赖关系，小肿瘤CT图像(即包含较小肿瘤信息的CT图像)在下采样过程中会丢失信息，其有效信息仅停留在浅层，但浅层堆叠的层数少，因此现有的卷积神经网络无法捕获有效的长距离依赖关系导致分割小肿瘤CT图像的效果差。这就要求对卷积神经网络的基础组件卷积层进行改进，使其在浅层没有堆叠足够的卷积数量的条件下依然能够有效捕获目标的长距离依赖关系。

为了改善对小目标(即小肿瘤CT图像)的分割效果，决定采用GC block(Globalcontext block全局上下文块)对编码器浅层(即特征提取层)的卷积层进行结构改进，在编码器浅层的卷积层的最后添加GC block(即图4中的③部分)，帮助网络的浅层捕获目标的长距离依赖关系，改善对小肿瘤CT图像的分割效果。该GC block可以通过现有的结构实现。通过GC block可以对像素点间的查询计算进行精简，节约大量计算成本，实现模块轻量化，使得将模块应用到卷积神经网络的浅层卷积层成为可能；其次又与通道注意力模块SEblock进行了融合，使模块不仅能有效建立空间上的长距离依赖关系，还能建立通道上的依赖关系。

步骤303，通过目标检测模型中的上采样模块对目标样本特征图进行上采样，得到至少两个层次的上采样特征图。

该上采样模块中包括至少两层上采样层。该目标样本特征图为底层的下采样特征图。该上采样层的层数可以根据实际需求进行设置，例如，在图4中该模型包含5层上采样层。

步骤304，根据顶层的上采样特征图以及该样本标注获取第一损失函数值。

在训练目标检测模型的过程中，需要先得到该目标检测模型的目标损失函数，再根据该目标损失函数对目标检测模型进行优化。为了得到目标损失函数，首先获取第一损失函数值。

可选的，对该顶层的上采样特征图进行上采样处理，获得第二样本特征图。

进一步的，根据该第二样本特征图与该样本标注，获得该第一损失函数值。

步骤305，分别对该至少两个层次的上采样特征图进行通道压缩，获得至少两层压缩特征图。

深监督在分类和分割都有广泛的使用，其中心思想是为隐藏层提供直接监督，使得梯度信息能够更深层地注入网络，有效应对梯度消失，促进中间层的训练。可选的，将深监督引入该目标检测模型中，对该目标检测模型进行优化。

但在实际应用场景中，深监督是在解码器的一些层施加与输出层相同的掩膜监督信号，这在处理尺寸差异大的病灶(例如肿瘤)分割时会对小尺寸的病灶(例如小肿瘤)的分割训练造成不好的影响。因为编码器下采样的存在，小肿瘤的有效信息只停留在网络的浅层，在分辨率较低的层所施加的监督信号就会因为缺乏有效信息而导致特征学习的紊乱。

可选的，为了应对深监督在目标检测模型的更深层注入监督信号与对小肿瘤CT图像分割训练的矛盾，对深监督结构进行了改造(即图4中的②部分)，用1×1×1卷积将应用了深监督的上采样层的上采样特征图的通道数压缩到第二层上采样特征图通道数的1/4。

步骤306，根据至少两层压缩特征图以及该样本标注，获取第二损失函数值。

对应用了深监督的上采样层的上采样特征图进行通道压缩后，再进行拼接，拼接后再进行通道压缩和预测，以获取第二损失函数对该目标检测模型进行优化，这样可以有效避免应用了深监督的所有上采样层中包含的相同监督信号对小肿瘤CT图像分割训练造成的特征学习的紊乱。

首先，根据每层压缩特征图对应的层数，分别将每层压缩特征图放大至指定分辨率，获得各个第一样本特征图。

进一步的，将各个第一样本特征图按照通道进行拼接，并通过卷积层以及全连接层进行处理，获得第一识别结果。

进一步的，根据该第一识别结果以及样本标注，确定该第二损失函数值。

步骤307，根据该内环区域的各个像素点的预测概率和，以及外环区域的各个像素点的预测概率和，获得第三损失函数值。

为提升CT图像中不确定性目标(如肿瘤)边缘的分割精度，引入边缘损失(即图4中的①部分)。由于在CT图像中，肿瘤与周围组织的灰度接近，肿瘤边缘区域的分割预测往往会出现严重的过分割与欠分割。并且，距离肿瘤边缘一定距离(例如5mm)的区域蕴藏着丰富的空间信息，识别这些信息对肿瘤区分定位很有帮助。图5是本申请实施例涉及的肿瘤边缘区域示意图。如图5所示，可以先由专家标注出肿瘤边缘(即样本标注)，再根据样本标注定义肿瘤的内环区域和外环区域，再针对肿瘤的内环区域与外环区域设计边缘损失函数，改善因边缘模糊引发的过分割和欠分割，提升边缘分割精度。图5中，分割结果即目标检测模型对样本图像的识别结果(例如第一识别结果)，欠分割区域即分割结果与样本标注对比后欠分割的区域，过分割区域即分割结果与样本标注对比后过分割的区域。

可选的，在该样本图像中，根据位于在样本标注的区域外，且与样本标注的边界相距第一阈值的像素点，确定外环边界；

在该样本图像中，根据位于在样本标注的区域内，且与样本标注的边界相距第二阈值的像素点，确定内环边界；

将该外环边界与该样本标注的边界之间的区域确定为外环区域；

将该内环边界与该样本标注的边界之间的区域确定为内环区域；

进一步的，根据该内环区域、该外环区域以及该上采样特征图，确定第三损失函数值。

先根据上采样特征图，确定该样本图像的内环区域的各个像素点的预测概率和；根据上采样特征图，确定该样本图像的外环区域的各个像素点的预测概率和。

进一步的，设计边缘损失函数确定第三损失函数值L_boundary。可选，通过如下公式计算第三损失函数值L_boundary：

其中，一张CT图像中肿瘤的内环区域有M个像素点，该目标检测模型对内环区域的第m个像素点的前景预测概率为P_m；肿瘤的外环区域有N个像素点，该目标检测模型对外环区域的第n个像素点的前景预测概率为P_n；ε为无穷小量。

该边缘损失函数通过增大内环区域与外环区域的所有像素点的前景预测概率的平均值之差，提升网络对肿瘤边缘区域前景与背景的区分能力，减少过分割和欠分割，进而提升边缘的分割效果。

步骤308，根据该第一损失函数值、第二损失函数值以及第三损失函数值，对该目标检测模型进行训练，得到训练后的目标检测模型。

通过对目标检测模型进行训练，可以提升目标检测模型对肿瘤的识别精度，使得目标检测模型的预测结果(预测掩膜)更接近样本标注(金标准)。

应说明的是，图4中左侧为下采样模块，右侧为上采样模块。

应说明的是，该训练后的目标检测模型用于对目标图像数据进行处理，以得到目标分割结果。

综上所述，本方法先获取样本图像数据；样本图像数据中包括样本标注；通过目标检测模型的下采样模块对样本图像数据进行特征提取，得到目标样本特征图；通过目标检测模型中的上采样模块对目标样本特征图进行上采样，得到至少两个层次的上采样特征图；上采样模块中包括至少两层上采样层；根据顶层的上采样特征图以及样本标注获取第一损失函数值；分别对至少两个层次的上采样特征图进行通道压缩，获得至少两层压缩特征图；根据至少两层压缩特征图以及样本标注，获取第二损失函数值；根据第一损失函数值以及第二损失函数值，对目标检测模型进行训练，得到训练后的目标检测模型；训练后的目标检测模型用于对目标图像数据进行处理，以得到目标分割结果。上述方案，通过将顶层的上采样特征图以及样本标注进行对比获取第一损失函数值，通过将至少两层压缩特征图以及样本标注进行对比，获取第二损失函数值，再根据第一损失函数值和第二损失函数值对目标检测模型进行优化，从而提高了目标检测模型的图像识别准确度。

图6是根据一示例性实施例示出的一种图像分割装置的结构方框图。该图像分割装置包括：

数据获取单元601，用于获取样本图像数据；该样本图像数据中包括样本标注；

特征提取单元602，用于通过目标检测模型的下采样模块对该样本图像数据进行特征提取，得到目标样本特征图；

上采样单元603，用于通过目标检测模型中的上采样模块对目标样本特征图进行上采样，得到至少两个层次的上采样特征图；该上采样模块中包括至少两层上采样层；

第一损失函数获取单元604，用于根据顶层的上采样特征图以及该样本标注获取第一损失函数值；

通道压缩单元605，用于分别对该至少两个层次的上采样特征图进行通道压缩，获得至少两层压缩特征图；

第二损失函数获取单元606，用于根据至少两层压缩特征图以及该样本标注，获取第二损失函数值；

训练单元607，用于根据该第一损失函数值以及第二损失函数值，对该目标检测模型进行训练，得到训练后的目标检测模型；该训练后的目标检测模型用于对目标图像数据进行处理，以得到目标分割结果。

在一种可能的实现方式中，该根据至少两层压缩特征图以及该样本标注，获取第二损失函数值，包括：

根据每层压缩特征图对应的层数，分别将每层压缩特征图放大至指定分辨率，获得各个第一样本特征图；

将该各个第一样本特征图按照通道进行拼接，并通过卷积层以及全连接层进行处理，获得第一识别结果；

根据该第一识别结果以及样本标注，确定该第二损失函数值。

在一种可能的实现方式中，根据顶层的上采样特征图以及该样本标注获取第一损失函数值，包括：

对该顶层的上采样特征图进行上采样处理，获得第二样本特征图；

根据该第二样本特征图与该样本标注，获得该第一损失函数值。

在一种可能的实现方式中，在该样本图像中，根据位于在样本标注的区域外，且与样本标注的边界相距第一阈值的像素点，确定外环边界；

在该样本图像中，根据位于在样本标注的区域内，且与样本标注的边界相距第二阈值的像素点，确定内环边界；

将该外环边界与该样本标注的边界之间的区域确定为外环区域；

将该内环边界与该样本标注的边界之间的区域确定为内环区域；

根据该内环区域、该外环区域以及该上采样特征图，确定该第三损失函数值；

该根据该第一损失函数值以及第二损失函数值，对该目标检测模型进行训练，包括：

根据该第一损失函数值、第二损失函数值以及第三损失函数值，对该目标检测模型进行训练。

在一种可能的实现方式中，该根据该内环区域、该外环区域以及该上采样特征图，确定该第三损失函数值，包括：

根据上采样特征图，确定该样本图像的内环区域的各个像素点的预测概率和；

根据上采样特征图，确定该样本图像的外环区域的各个像素点的预测概率和；

根据该内环区域的各个像素点的预测概率和，以及外环区域的各个像素点的预测概率和，获得第三损失函数值。

在一种可能的实现方式中，该下采样模块包括至少两层特征提取层；

该通过目标检测模型的下采样模块对该样本图像数据进行特征提取，得到目标样本特征图，包括：

通过该至少两层特征提取层依次对该样本图像数据进行特征提取处理，获得至少两层下采样特征图；该目标样本特征图为底层的下采样特征图。

在一种可能的实现方式中，该特征提取层中包括卷积层以及GC block层。

综上所述，本方法先获取样本图像数据；样本图像数据中包括样本标注；通过目标检测模型的下采样模块对样本图像数据进行特征提取，得到目标样本特征图；通过目标检测模型中的上采样模块对目标样本特征图进行上采样，得到至少两个层次的上采样特征图；上采样模块中包括至少两层上采样层；根据顶层的上采样特征图以及样本标注获取第一损失函数值；分别对至少两个层次的上采样特征图进行通道压缩，获得至少两层压缩特征图；根据至少两层压缩特征图以及样本标注，获取第二损失函数值；根据第一损失函数值以及第二损失函数值，对目标检测模型进行训练，得到训练后的目标检测模型；训练后的目标检测模型用于对目标图像数据进行处理，以得到目标分割结果。上述方案，通过将顶层的上采样特征图以及样本标注进行对比获取第一损失函数值，通过将至少两层压缩特征图以及样本标注进行对比，获取第二损失函数值，再根据第一损失函数值和第二损失函数值对目标检测模型进行优化，从而提高了目标检测模型的图像识别准确度。

图7示出了本申请一示例性实施例示出的计算机设备700的结构框图。该计算机设备可以实现为本申请上述方案中的服务器。所述计算机设备700包括中央处理单元(Central Processing Unit，CPU)701、包括随机存取存储器(Random Access Memory，RAM)702和只读存储器(Read-Only Memory，ROM)703的系统存储器704，以及连接系统存储器704和中央处理单元701的系统总线705。所述计算机设备700还包括用于存储操作系统709、应用程序710和其他程序模块711的大容量存储设备706。

所述大容量存储设备706通过连接到系统总线705的大容量存储控制器(未示出)连接到中央处理单元701。所述大容量存储设备706及其相关联的计算机可读介质为计算机设备700提供非易失性存储。也就是说，所述大容量存储设备706可以包括诸如硬盘或者只读光盘(Compact Disc Read-Only Memory，CD-ROM)驱动器之类的计算机可读介质(未示出)。

不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读寄存器(Erasable Programmable Read Only Memory，EPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-OnlyMemory，EEPROM)闪存或其他固态存储其技术，CD-ROM、数字多功能光盘(DigitalVersatile Disc，DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器704和大容量存储设备706可以统称为存储器。

根据本公开的各种实施例，所述计算机设备700还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备700可以通过连接在所述系统总线705上的网络接口单元707连接到网络708，或者说，也可以使用网络接口单元707来连接到其他类型的网络或远程计算机系统(未示出)。

所述存储器还包括至少一条计算机程序，所述至少一条计算机程序存储于存储器中，中央处理单元701通过执行该至少一条计算机程序来实现上述各个实施例所示的方法中的全部或部分步骤。

在一示例性实施例中，还提供了一种计算机可读存储介质，用于存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行以实现上述方法中的全部或部分步骤。例如，该计算机可读存储介质可以是只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。

在一示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述图2或图3任一实施例所示方法的全部或部分步骤。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像分割方法，其特征在于，所述方法包括：

获取样本图像数据；所述样本图像数据中包括样本标注；

通过目标检测模型的下采样模块对所述样本图像数据进行特征提取，得到目标样本特征图；

通过目标检测模型中的上采样模块对目标样本特征图进行上采样，得到至少两个层次的上采样特征图；所述上采样模块中包括至少两层上采样层；

根据顶层的上采样特征图以及所述样本标注获取第一损失函数值；

分别对所述至少两个层次的上采样特征图进行通道压缩，获得至少两层压缩特征图；

根据至少两层压缩特征图以及所述样本标注，获取第二损失函数值；

根据所述第一损失函数值以及第二损失函数值，对所述目标检测模型进行训练，得到训练后的目标检测模型；所述训练后的目标检测模型用于对目标图像数据进行处理，以得到目标分割结果。

2.根据权利要求1所述的方法，其特征在于，所述根据至少两层压缩特征图以及所述样本标注，获取第二损失函数值，包括：

根据每层压缩特征图对应的层数，分别将每层压缩特征图放大至指定分辨率，获得各个第一样本特征图；

将所述各个第一样本特征图按照通道进行拼接，并通过卷积层以及全连接层进行处理，获得第一识别结果；

根据所述第一识别结果以及样本标注，确定所述第二损失函数值。

3.根据权利要求1所述的方法，其特征在于，根据顶层的上采样特征图以及所述样本标注获取第一损失函数值，包括：

对所述顶层的上采样特征图进行上采样处理，获得第二样本特征图；

根据所述第二样本特征图与所述样本标注，获得所述第一损失函数值。

4.根据权利要求1至3任一所述的方法，其特征在于，所述方法还包括：

在所述样本图像中，根据位于在样本标注的区域外，且与样本标注的边界相距第一阈值的像素点，确定外环边界；

在所述样本图像中，根据位于在样本标注的区域内，且与样本标注的边界相距第二阈值的像素点，确定内环边界；

将所述外环边界与所述样本标注的边界之间的区域确定为外环区域；

将所述内环边界与所述样本标注的边界之间的区域确定为内环区域；

根据所述内环区域、所述外环区域以及所述上采样特征图，确定第三损失函数值；

所述根据所述第一损失函数值以及第二损失函数值，对所述目标检测模型进行训练，包括：

根据所述第一损失函数值、第二损失函数值以及第三损失函数值，对所述目标检测模型进行训练。

5.根据权利要求4所述的方法，其特征在于，所述根据所述内环区域、所述外环区域以及所述上采样特征图，确定所述第三损失函数值，包括：

根据上采样特征图，确定所述样本图像的内环区域的各个像素点的预测概率和；

根据上采样特征图，确定所述样本图像的外环区域的各个像素点的预测概率和；

根据所述内环区域的各个像素点的预测概率和，以及外环区域的各个像素点的预测概率和，获得第三损失函数值。

6.根据权利要求1至3任一所述的方法，其特征在于，所述下采样模块包括至少两层特征提取层；

所述通过目标检测模型的下采样模块对所述样本图像数据进行特征提取，得到目标样本特征图，包括：

通过所述至少两层特征提取层依次对所述样本图像数据进行特征提取处理，获得至少两层下采样特征图；所述目标样本特征图为底层的下采样特征图。

7.根据权利要求6所述的方法，其特征在于，所述特征提取层中包括卷积层以及GCblock层。

8.一种图像分割装置，其特征在于，所述装置包括：

数据获取单元，用于获取样本图像数据；所述样本图像数据中包括样本标注；

特征提取单元，用于通过目标检测模型的下采样模块对所述样本图像数据进行特征提取，得到目标样本特征图；

上采样单元，用于通过目标检测模型中的上采样模块对目标样本特征图进行上采样，得到至少两个层次的上采样特征图；所述上采样模块中包括至少两层上采样层；

第一损失函数获取单元，用于根据顶层的上采样特征图以及所述样本标注获取第一损失函数值；

通道压缩单元，用于分别对所述至少两个层次的上采样特征图进行通道压缩，获得至少两层压缩特征图；

第二损失函数获取单元，用于根据至少两层压缩特征图以及所述样本标注，获取第二损失函数值；

训练单元，用于根据所述第一损失函数值以及第二损失函数值，对所述目标检测模型进行训练，得到训练后的目标检测模型；所述训练后的目标检测模型用于对目标图像数据进行处理，以得到目标分割结果。

9.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如权利要求1至7任一所述的图像分割方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至7任一所述的图像分割方法。

Images