CN114972211A - 图像分割模型的训练方法、分割方法、装置、设备和介质 - Google Patents

Abstract

本说明书实施方式提供了一种图像分割模型的训练方法、分割方法、装置、设备和介质。所述图像分割模型包括编码器和分割解码器；所述方法包括：使用所述编码器提取无标注样本图像的图像特征；将所述图像特征输入分割解码器，得到所述无标注样本图像的第一掩码信息；基于所述基础图像和所述无标注样本图像之间的差异确定第二掩码信息；根据所述第一掩码信息和所述第二掩码信息确定的共同损失更新所述图像分割模型。通过将第一掩码信息和第一重构图像与无标注图像之间的差异作为第二掩码信息计算图像分割模型的损失，从而更新图像分割模型，实现了在对训练样本进行少量标注的情况下，提升图像分割模型分割目标对象的准确性。

Description

图像分割模型的训练方法、分割方法、装置、设备和介质

技术领域

本说明书实施方式涉及图像处理领域，具体涉及图像分割模型的训练方法、分割方法、装置、设备和介质。

背景技术

随着医学影像检查对于辅助医学诊疗的作用逐渐提升，医学影像的数据量也呈现出逐渐增长的态势。由于医生对于医学影像的读取诊断时间长、工作量大、易于疲劳、人工判读受经验的影响存在误差等情况，计算机辅助诊断系统大大减少了医生的工作量，提高了诊断的效率和准确性。现有的计算机辅助诊断方法主要是采用基于监督学习的深度模型对病灶区域进行分割，然而基于监督学习的深度学习模型需要医生对大量的训练样本进行标注，从而提升了医生的工作量，且由于医生经验不足，对训练样本的标注容易引入人工误差。

发明内容

有鉴于此，本说明书多个实施方式致力于提供一种图像分割模型的训练方法、分割方法、装置、设备和介质，以提供一种在对标注样本较少的情况下，可以在一定程度上提升图像分割模型准确性的方法。

本说明书一个实施方式提出了一种图像分割模型的训练方法，包括：使用所述编码器提取无标注样本图像的图像特征；其中，所述无标注样本图像对应有基础图像；其中，所述基础图像中不存在目标对象；将所述图像特征输入分割解码器，得到所述无标注样本图像的第一掩码信息；其中，所述第一掩码信息用于表示所述无标注样本图像中潜在的目标对象的第一预测区域；基于所述基础图像和所述无标注样本图像之间的差异确定第二掩码信息；其中，所述第二掩码信息用于表示所述无标注样本图像中潜在的目标对象的第二预测区域；根据所述第一掩码信息和所述第二掩码信息确定的共同损失更新所述图像分割模型。

本说明书一个实施方式提出了一种图像分割方法，包括：对初始图像进行预处理，得到目标图像；将所述目标图像输入图像分割模型的编码器中，提取所述目标图像的图像特征；将所述目标图像的图像特征输入所述图像分割模型的分割解码器中，得到所述目标图像中表示目标对象的像元；其中，所述图像分割模型使用如上述实施方式中任一所述的方法训练得到。

本说明书一个实施方式提出了一种图像分割模型的训练装置，所述训练装置包括编码器和分割解码器，所述训练装置包括：特征提取模块，用于使用所述编码器提取无标注样本图像的图像特征；其中，所述无标注样本图像对应有基础图像；其中，所述基础图像中不存在目标对象；第一掩码信息确定模块，用于将所述图像特征输入分割解码器，得到所述无标注样本图像的第一掩码信息；其中，所述第一掩码信息用于表示所述无标注样本图像中潜在的目标对象的第一预测区域；第二掩码信息确定模块，用于基于所述基础图像和所述无标注样本图像之间的差异确定第二掩码信息；其中，所述第二掩码信息用于表示所述无标注样本图像中潜在的目标对象的第二预测区域；图像分割模型更新模块，用于根据所述第一掩码信息和所述第二掩码信息确定的共同损失更新所述图像分割模型。

本说明书一个实施方式提出了一种图像分割装置，包括：预处理模块，用于对初始图像进行预处理，得到目标图像；特征提取模块，用于将所述目标图像输入图像分割模型的编码器中，提取所述目标图像的图像特征；图像分割模块，用于将所述目标图像的图像特征输入所述图像分割模型的分割解码器中，得到所述目标图像中表示目标对象的像元；其中，所述图像分割模型使用如上述实施方式中所述的方法训练得到。

本说明书一个实施方式提出了一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于执行上述实施方式中所述的方法。

本说明书一个实施方式提出了一种计算机可读存储介质，包括：所述存储介质存储有计算机程序，所述计算机程序用于执行上述实施方式中所述的方法。

本说明书多个实施方式通过构造一个分割解码器和一个重建解码器，将分割解码器生成的第一掩码信息和基础未标注样本图像对应的基础图像特征重建的基础图像与未标注样本图像之间差异确定的第二掩码信息之间的共同损失更新图像分割模型，从而使得在标注的训练样本较少的情况下，提升图像分割模型分割目标对象的准确性。

附图说明

图1所示为一实施方式提供的一个场景示例中图像分割模型的训练方法的示意图。

图2所示为一实施方式提供的一个场景示例中不同端交互的示意图。

图3所示为一实施方式提供的图像分割模型的训练方法的流程示意图。

图4所示为一实施方式提供的图像分割方法的流程示意图。

图5所示为一实施方式提供的图像分割模型的训练装置示意图。

图6所示为一实施方式提供的图像分割装置示意图。

图7所示为一实施方式提供的电子设备的示意图。

具体实施方式

为了使本技术领域的人员更好的理解本说明书方案，下面将结合本说明书实施方式中的附图，对本说明书实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅是本说明书一部分实施方式，而不是全部的实施方式。基于本说明书中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本说明书保护的范围。

请参阅图1，本说明书实施方式提供一种图像分割模型训练方法的场景示例。患者因为肺部问题在医院就诊时，医生可以为患者开具医学影像检查单进行一次肺部CT(Computed Tomography，计算机断层扫描)检查，并生成肺部图像序列发送给客户端供医生查看，并可以对肺部图像序列中不同扫描层上的病灶区域进行标注。服务器可以用于获取所述客户端中的肺部图像序列中的扫描层作为训练样本集训练图像分割模型。其中，服务器获取的扫描层包括健康人肺部扫描图像H-image、有明确诊断信息的肺部扫描图像P-image和未标注的扫描图像R-image。服务器上还可以存储有预先设置的初始图像分割模型，可以包括编码器、重建解码器和分割解码器。

首先，服务器可以将H-image输入到编码器中提取H-image的图像特征，然后将H-image的图像特征存储到存储记忆模块中作为基础图像特征，并且将基础图像特征输入到重建解码器中得到重建后的健康人肺部扫描图像H'-image。基于H-image和H'-image计算健康人肺部扫描图像的重建损失。

随后，服务器可以针对有明确诊断信息的肺部扫描图像P-image和未标注的肺部扫描图像R-image进行协同训练。

对于有明确诊断信息的肺部扫描图像P-image，服务器将P-image输入到编码器中提取P-image的基础图像特征，然后在存储记忆模块中确定P-image的基础图像特征，将基础图像特征输入到重建解码器中得到重建后掩盖诊断信息的肺部扫描图像P'-image，并且将基础图像特征和与P-image相邻图像的特征进行融合得到P-image的扩展图像特征输入到重建解码器中得到重建后包括诊断信息的肺部扫描图像P”-image。然后，基于P”-image和P-image计算有明确诊断信息的肺部扫描图像的重建损失。将P-image和P'-image中对应非肺部病灶区域的像元计算非病灶区域损失，将P-image和P'-image中对应肺部病灶区域的像元计算病灶区域损失，然后基于非病灶区域损失和病灶区域损失计算掩盖诊断信息的肺部扫描图像的重建损失。之后，服务器将P-image的基础图像特征输入到分割解码器中得到对有明确诊断信息的肺部扫描图像的预测病灶区域P-seg，基于P-seg和P-image中标注病灶区域的像元计算有明确诊断信息的肺部扫描图像的分割损失。

对于未标注的肺部扫描图像R-image，服务器R-image输入到服务器将R-image输入到编码器中提取R-image的基础图像特征，然后在存储记忆模块中确定R-image的基础图像特征，将基础图像特征输入到重建解码器中得到重建后掩盖病灶区域的肺部扫描图像R'-image，并且将基础图像特征和与R-image相邻图像的特征进行融合得到R-image的扩展图像特征输入到重建解码器中得到重建后包括病灶区域的肺部扫描图像R”-image。然后，基于R”-image和R-image计算包括病灶区域的肺部扫描图像的重建损失。将R'-image和R-image中相同位置的像素强度差大于25的像元作为重建病灶区域R-rec。服务器将R-image的基础图像特征输入到分割解码器中得到对未标注肺部扫描图像的预测病灶区域R-seg。基于重建病灶区域R-rec和预测病灶区域R-seg计算未标注的肺部扫描图像的共同损失。

最后，服务器可以基于健康人肺部扫描图像的重建损失、有明确诊断信息的肺部扫描图像的重建损失、掩盖诊断信息的肺部扫描图像的重建损失、包括病灶区域的肺部扫描图像的重建损失、未标注的肺部扫描图像的共同损失和有明确诊断信息的肺部扫描图像的分割损失更新编码器，基于健康人肺部扫描图像的重建损失、有明确诊断信息的肺部扫描图像的重建损失、掩盖诊断信息的肺部扫描图像的重建损失、包括病灶区域的肺部扫描图像的重建损失和未标注的肺部扫描图像的共同损失更新重建解码器，基于未标注的肺部扫描图像的共同损失和有明确诊断信息的肺部扫描图像的分割损失更新分割解码器。在以上损失均为收敛的情况下，得到包括编码器和分割解码器的图像分割模型。

以上所述仅为本说明书提供的一个场景示例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。

请参阅图2，本说明书实施方式提供一种图像分割系统。且本说明书提供的图像分割模型的训练方法和/或图像分割方法可以应用于该图像分割系统。该图像分割系统可以包括由医学成像设备110、客户端120和服务器130形成的硬件环境。医学成像设备110与客户端120连接，服务器130通过网络与客户端120通过通信网络相连。其中，通信网络可以是有线网络或无线网络。医学成像设备110对肺部进行检查并成像，得到肺部图像序列。通过通信医学成像设备110将肺部图像序列传输至客户端120。客户端120向服务器130发送肺部图像序列，服务器130接收肺部图像序列。其中，医学成像设备110可以但不限于是超声波医学设备、CT医学检查设备、MRI医学检查设备中的至少一个。客户端120可以是具有网络访问能力的电子设备。具体的，例如，客户端可以是台式电脑、平板电脑、笔记本电脑、智能手机、数字助理、智能可穿戴设备、导购终端、电视机、智能音箱、麦克风等。其中，智能可穿戴设备包括但不限于智能手环、智能手表、智能眼镜、智能头盔、智能项链等。或者，客户端也可以为能够运行于所述电子设备中的软件。本领域技术人员可以知晓，上述客户端120的数量可以一个或多个，其类型可以相同或者不同。比如上述客户端120可以为一个，或者上述客户端120为几十个或几百个，或者更多数量。本申请实施方式中对客户端120的数量和设备类型不加以限定。服务器130可以是具有一定运算处理能力的电子设备。其可以具有网络通信模块、处理器和存储器等。当然，所述服务器也可以是指运行于所述电子设备中的软体。所述服务器还可以为分布式服务器，可以是具有多个处理器、存储器、网络通信模块等协同运作的系统。或者，服务器还可以为若干服务器形成的服务器集群。或者，随着科学技术的发展，服务器还可以是能够实现说明书实施方式相应功能的新的技术手段。例如，可以是基于量子计算实现的新形态的“服务器”。

请参阅图3，本说明书实施方式提供图像分割模型的训练方法。所述图像分割模型的训练方法可以应用于电子设备。所述方法图像分割模型的训练方法可以包括以下步骤。

步骤S210：使用所述编码器提取无标注样本图像的图像特征；其中，所述无标注样本图像对应有基础图像；其中，所述基础图像中不存在目标对象。

在一些情况下，在对图像进行分割之前，首先需要提取待分割图像的特征。因此，在对无标注样本图像进行分割之前，可以利用图像分割模型的编码器提取无标注样本图像的图像特征。

所述无标注样本图像可以是训练样本中没有标注目标对象区域的样本图像。具体的，例如，无标注样本图像为患者在一次医学检查后生成的医学影像序列。其中，医学影像序列可以是多层的医学影像叠加而成。医学影像序列中的每一层影像都可以作为一个训练样本。无标注样本图像可以是对医学影像序列中没有进行病灶区域的标注的训练样本。当然，无标注样本图像也可以是遥感影像中没有标注目标区域的训练样本。无标注样本图像还可以是图片中没有标注目标区域的训练样本。

所述基础图像是基于无标注样本图像的特征对应的没有目标对象的样本图像的基础图像特征，然后基于基础图像特征生成无标注样本图像对应的基础图像。具体的，例如，没有目标对象的样本图像共有13种不同的基础图像特征，在这13种不同的基础图像之中确定无标注样本的图像特征对应的基础图像特征，然后基于该基础图像重建无标注样本图像对应的重建图像作为基础图像。

所述编码器可以用于提取图像的特征。具体的，例如，无标注样本图像为肺部的CT影像，其尺寸为2080*1520个像素，采用2*2的卷积核进行四次卷积运算提取图像特征，最终得到130*95的图像特征。

所述提取无标注样本图像的图像特征的方法可以是将无标注样本图像输入到构建好的图像分割的网络模型的编码器中，通过多次卷积提取无标注样本图像的图像特征。具体的，例如，将2080*1520个像素的无标注样本图像输入到U-net网络模型中经过四次2*2的卷积运算得到130*95的图像特征。当然，提取无标注样本图像的图像特征的方法可以使用任意的神经网络模型，例如，卷积神经网络(Convolutional Neural Network，CNN)、深度神经网络(Deep Neural Network，DNN)或循环神经网络(Recurrent Neural Network，RNN)等，本实施方式中对图像分割模型的具体类型不作限定。本实施方式中的图像分割模型可以包括输入层、卷积层、池化层、连接层等神经网络层，本实施方式中对此不作具体限定。另外，本实施方式中对每一种神经网络层的个数也不作限定。

步骤S220：将所述图像特征输入分割解码器，得到所述无标注样本图像的第一掩码信息；其中，所述第一掩码信息用于表示所述无标注样本图像中潜在的目标对象的第一预测区域。

在一些情况下，无标注样本图像的特征是对无标注样本图像经过多次不同的卷积核进行卷积运算得到的。因此，还需要将无标注样本图像特征输入到图像分割模型的分割解码器中进行多次上采样，从而形成与无标注样本图像数据量相同的预测分割图像。其中，所述预测分割图像包括表示对目标对象的像元的预测结果。

所述分割解码器可以用于在图像特征中确定图像的目标像元。具体的，例如，无标注样本图像具有2080*1520个像素，采用2*2的卷积核进行四次卷积运算得到130*95个像素的图像特征。将130*95个像素的图像特征进行四次2*2的上采样处理，得到2080*1520个像素的仅包括目标区域像元和非目标区域像元的图像。

所述第一掩码信息用于表示将图像通过编码器提取图像特征之后，将图像特征输入到分割解码器得到的图像中目标区域的预测结果。具体的，例如，肺部CT图像具有2080*1520个像素，对肺部CT图像进行特征提取后输入到分割解码器得到包括38400个包含病灶的像素作为目标区域(可以用“1”表示目标区域的像素的像素值)，其余3123200个为非病灶区域的像元(可以用“0”表示非目标区域的像素的像素值)。

步骤S230：基于所述基础图像和所述无标注样本图像之间的差异确定第二掩码信息；其中，所述第二掩码信息用于表示所述无标注样本图像中潜在的目标对象的第二预测区域。

在一些情况下，确定分割解码器生成的表示目标对象的预测区域的准确性需要有对应的标注区域作为参考。因此，可以通过构建一个虚拟的标注区域作为判断分割解码器生成的表示目标对象的预测区域的准确性的参考。

所述基础图像可以基于无标注样本图像的基础图像特征重建得到。具体的，例如，在使用编码器提取到了无标注样本图像的无标注样本图像特征之后，可以确定无标注图像的基础图像特征，然后基于无标注样本图像的基础图像特征得到无标注样本图像的重建结果作为基础图像。其中，所述基础图像的数据量与所述无标注样本图像的数据量相同。其中，所述基础图像特征是基于没有目标对象的样本图像生成的。由于没有目标对象的样本图像之间的差异较小，因此，在对没有目标对象的样本图像进行特征提取压缩后，可以用少部分的图像特征来表示所有的没有目标对象的样本图像。

所述第二掩码信息可以用于表示无标注样本图像对应的基础图像与无标注样本图像之间的像素强度差较大的区域。具体的，例如，无标注样本图像对应的基础图像与无标注样本图像均为2080*1520个像素的图像。其中，所述无标注样本图像对应的基础图像中有38400个像元的像素值与所述无标注样本图像中对应位置的像元的像素值的像素强度差大于预设阈值25，那么这38400个像元所表示的区域即为第二掩码信息中预测的表示目标对象的区域。需要说明的是，无标注样本图像对应的基础图像与无标注样本图像之间的像素强度差可以是绝对值的形式，可以是无标注样本图像对应的基础图像中的像元的像素值大于无标注样本图像中的像元的像素值，也可以是无标注样本图像对应的基础图像中的像元的像素值小于无标注样本图像中的像元的像素值，只需要其在对应位置上差值的绝对值大于预设阈值即可。当然，确定无标注样本图像对应的基础图像与无标注样本图像之间差异的方法还可以是对无标注样本图像对应的基础图像和无标注样本图像对应位置的像素强度进行相似度得分运算。具体的，例如，像素度得分最高的为1，相似度得分最低的为0，设置的阈值为0.8，在两者的像素强度的相似度运算得到小于或等于0.8的情况下，将该像元作为表示目标对象的区域；否则，将该像元作为表示非目标对象的区域。

步骤S240：根据所述第一掩码信息和所述第二掩码信息确定的共同损失更新所述图像分割模型。

在一些情况下，需要基于损失函数更新图像分割模型。因此，在更新图像分割模型的过程中，可以基于第一掩码信息和第二掩码信息计算两者的共同损失，从而更新图像分割模型。

所述共同损失用于表示图像分割模型的损失和无标注样本图像对应的基础图像的损失。在计算图像分割模型的损失过程中，可以将第一掩码信息作为预测的分割结果，将第二掩码信息作为虚拟的标注分割结果，从而更新图像分割模型的分割解码器。在计算无标注样本图像对应的基础图像的损失的过程中，可以将第二掩码信息作为预测的重建结果，将第一掩码信息作为虚拟的标注重建结果，从而更新图像分割模型的编码器。具体的，例如，第一掩码信息的预测分割结果为R，第二掩码信息的预测分割结果为Q，其一致性损失可以表示为L_loss＝(R∩Q)/(R∪Q)。

通过将分割解码器生成的第一掩码信息和无标注样本图像对应的基础图像与无标注图像之间的差异得到的第二掩码信息计算图像分割模型的损失，从而更新图像分割模型，实现了在对训练样本进行少量标注的情况下，提升图像分割模型分割目标对象的准确性。

在一些实施方式中，图像分割模型的训练方法还可以包括：确定所述无标注样本图像的图像特征对应的基础图像特征；其中，所述基础图像特征是基于没有目标对象的样本图像生成的；使用所述基础图像特征重构对应所述无标注样本图像的基础图像；相应的，基于根据所述基础图像和所述无标注样本图像之间的差异确定第二掩码信息的步骤，包括：将所述基础图像和所述无标注样本图像中相同位置的像素强度差大于或等于预设阈值的像素集合作为第二掩码信息。

在一些情况下，第二掩码信息接近于训练样本图像中对图像中目标区域的标注结果。因此，可以将初始训练样本图像与初始训练样本的重构图像之间的差异作为第二掩码信息，从而作为图像分割模型的标注样本信息。

所述基础图像特征可以是基于与无标注样本图像的特征相近的预设的存储记忆模块中的基础图像特征。具体的，例如，所述训练样本为人体的肺部影像。由于肺部在正常情况下经过特征提取压缩处理后，其特征提取的结果相近，因此可以将正常人不同的图像特征利用一个存储记忆模块存储下来，得到基础图像特征。由于未标注样本图像特征与存储记忆模块中的某个基础图像特征只在表示目标对象的特征中存在着差异，因此，可以将存储记忆模块中的基础图像特征与无标注样本图像特征最为近似的作为无标注样本图像的基础图像特征。

在一些实施方式中，所述图像分割模型还可以包括用于根据图像特征重构图像的重建解码器，所述方法还可以包括：使用所述编码器提取没有目标对象的样本图像的图像特征，作为基础图像特征；将所述基础图像特征输入到所述重建解码器中，得到所述没有目标对象的样本图像对应的基础图像；基于所述基础图像和所述没有目标对象的样本图像，生成所述没有目标对象的样本图像的第一重建损失；根据所述共同损失和所述第一重建损失更新所述图像分割模型。

在一些情况下，由于没有目标对象的图像有着一些共同的特征。因此，可以用一个存储记忆模块，将没有目标对象的图像特征存储下来。具体的，例如，所述训练样本为人体的肺部影像。由于肺部在正常情况下经过特征提取压缩处理后，其特征提取的结果相近，因此可以将正常人不同的图像特征利用一个存储记忆模块存储下来作为基础图像特征，并且使用重建解码器生成基础图像特征的重建图像，然后基于基础图像特征的重建图像没有目标对象的图像的重建损失。并且基于共同损失和第一重建损失更新重建解码器。

所述基础图像特征是使用编码器提取的没有目标对象的样本图像的特征。具体的，例如，健康人的肺部CT影像是没有病灶区域的。为了识别患者的肺部病灶区域，因此可以将健康人的肺部CT影像作为没有目标对象的样本图像。然后，使用编码器提取健康人的肺部CT影像的图像特征，并且将健康人的肺部CT影像的图像特征作为基础图像特征。

在一些实施方式中，所述无标注样本图像具有相邻样本图像，图像分割模型的训练方法还可以包括：获取所述无标注样本图像的第一扩展图像特征；其中，所述第一扩展图像特征是基于所述无标注样本图像对应的基础图像特征和所述相邻样本图像的图像特征生成的；将所述第一扩展图像特征输入到所述重建解码器中，生成所述无标注样本图像的重构图像；根据所述无标注样本图像的重构图像和所述无标注样本图像生成无标注样本图像的第二重建损失；根据所述共同损失、所述第一重建损失和所述第二重建损失更新所述图像分割模型。

在一些情况下，重建解码器构建的无标注样本图像的基础图像质量的高低难以直接通过计算无标注样本图像的基础图像与无标注样本图像之间的损失得到。因此，可以引入一个即时参考模块，其中，即时参考模块用于获取相邻样本图像的图像特征，然后基于相邻样本图像的图像特征和无标注样本图像的基础图像特征进行融合得到无标注样本图像的扩展图像特征，基于无标注样本图像的扩展图像特征生成无标注样本图像的重构图像，最后基于无标注样本图像的重构图像与无标注样本图像计算重建解码器的重建损失。

所述获取所述无标注样本图像的第一扩展图像特征的方法可以是根据无标注样本图像的基础图像特征和无标注样本图像的相邻样本图像的图像特征进行融合得到。具体的，例如，无标注样本图像为肺部CT影像，其相邻样本图像为与该肺部CT影像处于同一CT影像序列中，且与该层CT影像相邻的样本图像。例如，该CT影像序列共包括32层影像，该CT影像位于15层，因此，可以将该CT影像序列的14和16层作为该CT影像的相邻样本图像。然后，使用编码器提取14层和16层的CT影像的图像特征，最后对15层CT影像的基础图像特征和14、16层CT影像的图像特征进行融合得到CT影像的扩展图像特征。其中，特征融合的方法可以是对这三层影像进行平均计算，也可以根据距离该层CT影像的远近采用预设的权重进行计算。还需要说明的是，本实施方式对相邻样本图像的个数和位置不做限定，相邻样本图像的个数至少为1个，可以全部处于无标注样本图像的左侧，也可以全部处于无标注样本图像的右侧，还可以部分处于无标注样本图像的左侧，其余处于无标注样本图像的右侧。

当然，在所述无标注样本图像为遥感影像的时候，所述相邻样本图像可以是在时间序列上与所述无标注样本图像相邻的遥感影像。本说明书实施方式中对无标注样本图像的类型不做限定。

所述无标注样本图像对应的重构图像与无标注样本图像对应的基础图像中对应位置的像素强度大致相同。具体的，例如，在无标注样本图像为肺部CT影像的情况下，与之相邻的样本图像与之相似。因此，可以引入相邻样本图像，从而丰富无标注样本图像的图像特征，避免了在特征提取过程中掩盖了无标注样本图像中表示肺部病灶的图像特征。与之相同的是，在无标注样本图像为遥感影像的情况下，在时间序列上与无标注样本图像相邻的图像与无标注样本图像相似，因此，同样可以借助相邻样本图像丰富无标注样本图像的图像特征。

在一些实施方式中，所述无标注样本图像的重构图像用于表征所述无标注样本图像；在基于根据所述基础图像和所述无标注样本图像之间的差异确定第二掩码信息的步骤中，可以包括：在基于根据所述基础图像和所述无标注样本图像的重构图像之间的差异确定第二掩码信息。

在一些实施方式中，除了利用无标注样本图像和无标注样本图像对应的基础图像之间的差异确定第二掩码信息以外，还可以基于无标注样本图像对应的基础图像和无标注样本图像对应的重构图像之间的差异确定第二掩码信息。在一些情况下，通过无标注样本图像对应的重构图像与无标注样本图像之间较为近似，因此，也可以将无标注样本图像对应的重构图像替代无标注样本图像。

在一些实施方式中，图像分割模型的训练方法还可以包括：使用所述编码器提取有标注样本图像的标注样本图像特征；确定所述标注样本图像特征对应的基础图像特征；将所述基础图像特征输入到所述重建解码器中，得到所述标注样本图像对应的基础图像；基于所述基础图像、所述标注样本图像和所述标注样本图像的标注信息，生成所述标注样本图像的基础重建损失；根据所述共同损失、所述第一重建损失、所述第二重建损失和所述基础重建损失更新所述图像分割模型。

在一些情况下，如果仅使用无标注样本图像对图像分割模型进行训练，由于无标注样本图像的分割结果没有明确的标注分割结果。因此，还需要引入标注样本图像，从而提高图像分割模型的分割解码器对于生成的表示目标对象的结果更为准确。

所述标注样本图像对应的基础图像与上述无标注样本图像对应的基础图像的生成方法相同，在此不在赘述。

所述基础重建损失用于表示标注样本图像对应的基础图像与标注样本图像之间的差异。由于标注样本图像对应有表示目标对象区域，且标注样本图像对应的基础图像与标注样本图像之间存在差异，因此，可以基于标注样本图像、标注样本图像对应的基础图像和标注样本图像中的标注目标对象区域建立基础重建损失。

在一些实施方式中，图像分割模型的训练方法还可以包括：基于所述基础图像、所述标注样本图像和所述标注样本图像的标注信息，生成所述标注样本图像的基础重建损失的步骤，可以包括：计算所述标注样本图像中非目标对象的像元与所述标注样本图像中非目标对象的像元对应于所述基础图像中像元的非目标对象重建损失；计算所述标注样本图像中表示目标对象的像元与所述标注样本图像中表示目标对象的像元对应于所述基础图像中像元的目标对象重建损失；基于所述非目标对象重建损失和所述目标对象重建损失生成所述基础重建损失。

在一些情况下，确定基础重建损失有助于提高重建解码器的重建精度。由于标注样本图像对应的基础图像与标注样本图像中表示目标对象的区域的像元的像素值存在着较大的差异。因此，可以将标注样本图像对应的基础图像与标注样本图像分成标注目标对象的区域和未标注目标对象的区域两部分进行计算。具体的，例如，在表示目标对象的区域，其标注样本图像对应的基础图像中表示目标对象的区域和标注样本图像中表示目标对象的区域差异较大，因此可以将标注样本图像对应的基础图像中表示目标对象的区域和标注样本图像中表示目标对象的区域进行取对数进行运算，而对于标注样本图像对应的基础图像中表示非目标对象的区域和标注样本图像中表示非目标对象的区域使用两者的交并比进行运算。需要说明的是，本说明书实施方式对标注样本图像对应的基础图像中表示目标对象的区域和标注样本图像中表示目标对象的区域之间的损失函数并不限制，只需要表示出标注样本图像对应的基础图像中表示目标对象的区域和标注样本图像之间的差异即可。

在一些实施方式中，图像分割模型的训练方法还可以包括：将所述基础图像特征和与所述标注样本图像相邻的样本图像特征进行融合得到所述标注样本图像对应的第二扩展图像特征；将所述第二扩展图像特征输入到所述重建解码器中，得到所述标注样本图像的重构图像；基于所述标注样本的重构图像与所述标注样本图像生成所述标注样本图像的扩展重建损失；根据所述共同损失、所述第一重建损失、所述第二重建损失、所述基础重建损失和所述扩展重建损失更新所述图像分割模型。

在一些情况下，还需要评估重建解码器对于标注样本图像重构的精度。本说明书实施方式中使用扩展重建损失对重建解码器生成的标注样本图像的重构图像与标注样本图像计算扩展重建损失。其中，扩展重建损失与上述实施方式中的无标注样本图像的第二重建损失的构建方法相同，在此不在赘述。但是，需要说明的是，本说明书实施方式对扩展重建损失所使用的损失函数并不加以限定。

在一些实施方式中，获取所述无标注样本图像的第一扩展图像特征的步骤，可以包括：获取与所述无标注样本图像的相邻样本图像；使用所述编码器生成所述相邻样本图像的图像特征；将所述无标注样本图像对应的基础图像特征和所述相邻样本的图像特征进行融合处理，得到所述第一扩展图像特征。

在一些情况下，由于与无标注样本图像相邻的图像与无标注样本图像对应位置的像素强度大致相同。因此，可以借助无标注样本图像的相邻样本图像丰富无标注样本图像的特征，从而使得无标注样本图像的重建结果更为准确。

所述将所述无标注样本图像对应的基础图像特征和所述相邻样本的图像特征采用预设的融合规则进行融合处理，得到第一扩展图像特征可以是对无标注样本图像对应的基础图像特征和使用所述编码器提取的相邻样本图像的图像特征进行融合。具体的，例如，无标注样本图像为肺部CT影像，其相邻样本图像为与该肺部CT影像处于同一CT影像序列中，且与该层CT影像相邻的样本图像。例如，该CT影像序列共包括32层影像，该CT影像位于15层，因此，可以将该CT影像序列的14和16层作为该CT影像的相邻样本图像。然后，使用编码器提取14层和16层的CT影像的图像特征，最后对15层CT影像的基础图像特征和14、16层CT影像的图像特征进行融合得到CT影像的扩展图像特征。其中，特征融合的方法可以是对这三层影像进行平均计算，也可以根据距离该层CT影像的远近采用预设的权重进行计算。还需要说明的是，本实施方式对相邻样本图像的个数和位置不做限定，相邻样本图像的个数至少为1个，可以全部处于无标注样本图像的左侧，也可以全部处于无标注样本图像的右侧，还可以部分处于无标注样本图像的左侧，其余处于无标注样本图像的右侧。

当然，在所述无标注样本图像为遥感影像的时候，所述相邻样本图像可以是在时间序列上与所述无标注样本图像相邻的遥感影像。本说明书实施方式中对无标注样本图像的类型不做限定。

在一些实施方式中，图像分割模型的训练方法还可以包括：使用所述编码器提取有标注样本图像的标注样本图像特征；将所述标注样本图像特征输入所述分割解码器，得到所述有标注样本图像的第一掩码信息；其中，所述标注样本图像的第一掩码信息用于表示所述有标注样本图像中潜在的目标对象的预测分割区域；基于所述预测分割区域和所述有标注样本图像的标注信息计算分割损失；根据所述共同损失和所述分割损失更新所述图像分割模型。

在一些情况下，如果仅使用无标注样本图像计算分割解码器的损失，则可能造成分割解码器的预测结果不够准确。由于标注样本图像标注有明确的目标对象的区域，因此，可以通过标注样本图像进一步提升分割解码器对于表示目标对象区域分割的准确性。

所述分割损失用于表示第一掩码信息和标注样本图像中表示目标对象区域的损失。具体的，例如，第一掩码信息用R表示，标注样本图像中表示目标对象的区域用Q表示，使用交并比的形式表示分割损失，则分割损失可以表示为(R∩Q)/(R∪Q)，在(R∩Q)/(R∪Q)的结果趋向于1的情况下，表示分割解码器对于标注样本图像的分割结果较为精确。在分割损失和标注损失均趋于收敛的情况下，更新图像分割模型中的编码器和分割解码器，从而使用图像分割模型的分割结果较为准确。需要说明的是，本说明书实施方式对于分割损失所使用的损失函数并不加以限定。

请参阅图4，本说明书实施方式提供一种图像分割方法。所述图像分割方法可以应用于电子设备。所述图像分割方法可以包括以下步骤。

S310：对初始图像进行预处理，得到目标图像。

S320：将所述目标图像输入图像分割模型的编码器中，提取所述目标图像的图像特征。

S330：将所述目标图像的图像特征输入所述图像分割模型的分割解码器中，得到所述目标图像中表示目标对象的像元；其中，所述图像分割模型使用如上述实施方式中所述的图像分割模型的训练方法训练得到。

在一些情况下，只需要将初始图像进行预处理后得到目标图像，然后将目标图像输入训练好的图像分割模型的编码器中进行特征提取，得到目标图像的特征，然后将目标图像的特征输入到训练好的图像分割模型的分割解码器中得到目标图像中表示目标对象的区域范围。但是，需要说明的是，所述图像分割模型可以是卷积神经网络(ConvolutionalNeural Network，CNN)、深度神经网络(Deep Neural Network，DNN)或循环神经网络(Recurrent Neural Network，RNN)等，本实施方式中对图像分割模型的具体类型不作限定。本实施方式中初始肾动脉分割模型可以包括输入层、卷积层、池化层、连接层等神经网络层，本实施方式中对此不作具体限定。另外，本实施方式中对每一种神经网络层的个数也不作限定。

当然，也可以在预设的存储记忆模块中目标图像的基础图像特征，然后将基础图像特征输入到训练好的重建解码器中得到目标图像对应的基础图像，基于目标图像对应的基础图像和目标图像之间的差异确定表示目标对象的区域范围。

请参阅图5，本说明书实施方式提供一种图像分割模型的训练装置，所述训练装置可以包括编码器和分割解码器，所述训练装置可以包括：特征提取模块、第一掩码信息确定模块、第二掩码信息确定模块、图像分割模型更新模块。

特征提取模块，用于使用所述编码器提取无标注样本图像的图像特征；其中，所述无标注样本图像对应有基础图像；其中，所述基础图像中不存在目标对象。

第一掩码信息确定模块，用于将所述图像特征输入分割解码器，得到所述无标注样本图像的第一掩码信息；其中，所述第一掩码信息用于表示所述无标注样本图像中潜在的目标对象的第一预测区域。

第二掩码信息确定模块，用于基于所述基础图像和所述无标注样本图像之间的差异确定第二掩码信息；其中，所述第二掩码信息用于表示所述无标注样本图像中潜在的目标对象的第二预测区域。

图像分割模型更新模块，用于根据所述第一掩码信息和所述第二掩码信息确定的共同损失更新所述图像分割模型。

请参阅图6，本说明书实施方式提供一种图像分割装置，可以包括：预处理模块、特征提取模块和图像分割模块。

预处理模块，用于对初始图像进行预处理，得到目标图像。

特征提取模块，用于将所述目标图像输入图像分割模型的编码器中，提取所述目标图像的图像特征。

图像分割模块，用于将所述目标图像的图像特征输入所述图像分割模型的分割解码器中，得到所述目标图像中表示目标对象的像元；其中，所述图像分割模型使用如上述实施方式中所述的图像分割模型的训练方法训练得到。

关于图像分割模型的训练装置和/或图像分割装置实现的具体功能和效果，可以参照本说明书其他实施方式对照解释，在此不再赘述。所述图像分割模型的训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。所述各模块可以以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

请参阅图7，在一些实施方式中可以提供一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于执行上述实施方式中所述的方法。

在一些实施方式中可以提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现所述实施方式中的方法步骤。

本领域普通技术人员可以理解实现所述实施方式方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如所述各方法的实施方式的流程。其中，本说明书所提供的各实施方式中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

本说明书多个实施方式之间，采用递进的方式进行描述。不同的实施方式着重于描述相较于其它实施方式不相同的部分。所属领域技术人员在阅读本说明书之后，可以获知本说明书中的多个实施方式，以及实施方式揭示的多个技术特征，可以进行更多种的组合，为使描述简洁，未对所述实施方式中的各个技术特征所有可能的组合都进行描述。然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本说明书中的多个实施方式本身均着重于强调与其他实施方式不同的部分，各实施方式之间可以相互对照解释。所属领域技术人员基于一般的技术常识对本说明书中的多个实施方式的任意组合均涵盖于本说明书的揭示范围内。

以上所述仅为本案的实施方式而已，并不用以限制本案的权利要求保护范围。对于本领域技术人员来说，本案可以有各种更改和变化。凡在本案的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本案的权利要求范围之内。

Claims (15)

1.一种图像分割模型的训练方法，其特征在于，所述图像分割模型包括编码器和分割解码器；所述方法包括：

使用所述编码器提取无标注样本图像的图像特征；其中，所述无标注样本图像对应有基础图像；其中，所述基础图像中不存在目标对象；

将所述图像特征输入分割解码器，得到所述无标注样本图像的第一掩码信息；其中，所述第一掩码信息用于表示所述无标注样本图像中潜在的目标对象的第一预测区域；

基于所述基础图像和所述无标注样本图像之间的差异确定第二掩码信息；其中，所述第二掩码信息用于表示所述无标注样本图像中潜在的目标对象的第二预测区域；

根据所述第一掩码信息和所述第二掩码信息确定的共同损失更新所述图像分割模型。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

确定所述无标注样本图像的图像特征对应的基础图像特征；其中，所述基础图像特征是基于没有目标对象的样本图像生成的；

使用所述基础图像特征重构对应所述无标注样本图像的基础图像；

相应的，基于根据所述基础图像和所述无标注样本图像之间的差异确定第二掩码信息的步骤，包括：将所述基础图像和所述无标注样本图像中相同位置的像素强度差大于或等于预设阈值的像素集合作为第二掩码信息。

3.根据权利要求2所述的方法，其特征在于，所述图像分割模型还包括用于根据图像特征重构图像的重建解码器，所述方法还包括：

使用所述编码器提取没有目标对象的样本图像的图像特征，作为基础图像特征；

将所述基础图像特征输入到所述重建解码器中，得到所述没有目标对象的样本图像对应的基础图像；

基于所述基础图像和所述没有目标对象的样本图像，生成所述没有目标对象的样本图像的第一重建损失；

根据所述共同损失和所述第一重建损失更新所述图像分割模型。

4.根据权利要求3所述的方法，其特征在于，所述无标注样本图像具有相邻样本图像，所述方法还包括：

获取所述无标注样本图像的第一扩展图像特征；其中，所述第一扩展图像特征是基于所述无标注样本图像对应的基础图像特征和所述相邻样本图像的图像特征生成的；

将所述第一扩展图像特征输入到所述重建解码器中，生成所述无标注样本图像的重构图像；

根据所述无标注样本图像的重构图像和所述无标注样本图像生成无标注样本图像的第二重建损失；

根据所述共同损失、所述第一重建损失和所述第二重建损失更新所述图像分割模型。

5.根据权利要求4所述的方法，其特征在于，所述无标注样本图像的重构图像用于表征所述无标注样本图像；在基于根据所述基础图像和所述无标注样本图像之间的差异确定第二掩码信息的步骤中，包括：

在基于根据所述基础图像和所述无标注样本图像的重构图像之间的差异确定第二掩码信息。

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

使用所述编码器提取有标注样本图像的标注样本图像特征；

确定所述标注样本图像特征对应的基础图像特征；

将所述基础图像特征输入到所述重建解码器中，得到所述标注样本图像对应的基础图像；

基于所述基础图像、所述标注样本图像和所述标注样本图像的标注信息，生成所述标注样本图像的基础重建损失；

根据所述共同损失、所述第一重建损失、所述第二重建损失和所述基础重建损失更新所述图像分割模型。

7.根据权利要求6所述的方法，其特征在于，基于所述基础图像、所述标注样本图像和所述标注样本图像的标注信息，生成所述标注样本图像的基础重建损失的步骤，包括：

计算所述标注样本图像中非目标对象的像元与所述标注样本图像中非目标对象的像元对应于所述基础图像中像元的非目标对象重建损失；

计算所述标注样本图像中表示目标对象的像元与所述标注样本图像中表示目标对象的像元对应于所述基础图像中像元的目标对象重建损失；

基于所述非目标对象重建损失和所述目标对象重建损失生成所述基础重建损失。

8.根据权利要求6所述的方法，其特征在于，所述方法还包括：

将所述基础图像特征和与所述标注样本图像相邻的样本图像特征进行融合得到所述标注样本图像对应的第二扩展图像特征；

将所述第二扩展图像特征输入到所述重建解码器中，得到所述标注样本图像的重构图像；

基于所述标注样本的重构图像与所述标注样本图像生成所述标注样本图像的扩展重建损失；

根据所述共同损失、所述第一重建损失、所述第二重建损失、所述基础重建损失和所述扩展重建损失更新所述图像分割模型。

9.根据权利要求4所述的方法，其特征在于，获取所述无标注样本图像的第一扩展图像特征的步骤，包括：

获取与所述无标注样本图像的相邻样本图像；

使用所述编码器生成所述相邻样本图像的图像特征；

将所述无标注样本图像对应的基础图像特征和所述相邻样本的图像特征进行融合处理，得到所述第一扩展图像特征。

10.根据权利要求1所述的方法，其特征在于，所述方法还包括：

使用所述编码器提取有标注样本图像的标注样本图像特征；

将所述标注样本图像特征输入所述分割解码器，得到所述有标注样本图像的第一掩码信息；其中，所述标注样本图像的第一掩码信息用于表示所述有标注样本图像中潜在的目标对象的预测分割区域；

基于所述预测分割区域和所述有标注样本图像的标注信息计算分割损失；

根据所述共同损失和所述分割损失更新所述图像分割模型。

11.一种图像分割方法，其特征在于，包括：

对初始图像进行预处理，得到目标图像；

将所述目标图像输入图像分割模型的编码器中，提取所述目标图像的图像特征；

将所述目标图像的图像特征输入所述图像分割模型的分割解码器中，得到所述目标图像中表示目标对象的像元；其中，所述图像分割模型使用如权利要求1至10中任一所述的方法训练得到。

12.一种图像分割模型的训练装置，其特征在于，所述训练装置包括编码器和分割解码器，所述训练装置包括：

特征提取模块，用于使用所述编码器提取无标注样本图像的图像特征；其中，所述无标注样本图像对应有基础图像；其中，所述基础图像中不存在目标对象；

第一掩码信息确定模块，用于将所述图像特征输入分割解码器，得到所述无标注样本图像的第一掩码信息；其中，所述第一掩码信息用于表示所述无标注样本图像中潜在的目标对象的第一预测区域；

第二掩码信息确定模块，用于基于所述基础图像和所述无标注样本图像之间的差异确定第二掩码信息；其中，所述第二掩码信息用于表示所述无标注样本图像中潜在的目标对象的第二预测区域；

图像分割模型更新模块，用于根据所述第一掩码信息和所述第二掩码信息确定的共同损失更新所述图像分割模型。

13.一种图像分割装置，其特征在于，包括：

预处理模块，用于对初始图像进行预处理，得到目标图像；

特征提取模块，用于将所述目标图像输入图像分割模型的编码器中，提取所述目标图像的图像特征；

图像分割模块，用于将所述目标图像的图像特征输入所述图像分割模型的分割解码器中，得到所述目标图像中表示目标对象的像元；其中，所述图像分割模型使用如权利要求1至11中任一所述的方法训练得到。

14.一种电子设备，其特征在于，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于执行上述权利要求1至11中任一项所述的方法。

15.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1至11中任一项所述的方法。

Images