CN112365512A

CN112365512A - 训练图像分割模型的方法、图像分割的方法及其装置

Info

Publication number: CN112365512A
Application number: CN202011299408.5A
Authority: CN
Inventors: 许静; 邱宇; 刘云; 朱静雯
Original assignee: Nankai University
Current assignee: Nankai University
Priority date: 2020-11-18
Filing date: 2020-11-18
Publication date: 2021-02-12
Anticipated expiration: 2040-11-18
Also published as: CN112365512B

Abstract

本发明提供了一种训练图像分割模型的方法、图像分割的方法及其装置。所述图像分割模型包括知识矩阵，所述训练图像分割模型的方法包括：获取待训练图像的特征图；对所述特征图与所述知识矩阵进行特征融合，得到目标特征图，所述知识矩阵用于区分所述待训练图像中的目标区域；基于所述目标特征图进行图像分割，得到图像分割结果，所述图像分割结果用于指示所述待训练图像中的所述目标区域；根据所述图像分割结果调整所述知识矩阵。根据本发明中的方法训练所述图像分割模型，并使用所述图像分割模型进行图像分割，可以提高图像分割的准确率。

Description

训练图像分割模型的方法、图像分割的方法及其装置

技术领域

本发明涉及图像处理领域，具体涉及一种训练图像分割模型的方法、图像分割的方法及其装置。

背景技术

医学图像往往能够反映病人当前的身体状况，例如，计算机断层扫描(computedtomography，CT)等医学图像已经被广泛应用于疾病诊断、精准治疗、术前分析以及术中引导等场合。医学图像分割技术指根据医学图像中正常区域和病变区域的不同分割出病变区域，医学图像分割的准确率在治疗过程中至关重要，早期的医学图像分割完全依靠医生完成。

随着深度学习方法及图像处理技术的快速发展，基于深度学习的图像处理方法在医学领域也得到了飞速的发展，许多研究人员已经开始研究和开发医学图像分割系统。但是，由于医学图像的对比度通常较低、身体各组织的特征复杂以及人体解剖的个体差异较大等原因，使得这些医学图像分割系统的效果并不理想。

因此，如何提高医学图像分割的准确率，成为一个亟需解决的技术问题。

发明内容

有鉴于此，本发明实施例致力于提供一种，以解决现有技术中医学图像分割的准确率不高的问题。

第一方面，本发明提供了一种训练图像分割模型的方法，所述图像分割模型包括知识矩阵，所述方法包括：

获取待训练图像的特征图；对所述特征图与所述知识矩阵进行特征融合，得到目标特征图，所述知识矩阵用于区分所述待训练图像中的目标区域；基于所述目标特征图进行图像分割，得到图像分割结果，所述图像分割结果用于指示所述待训练图像中的所述目标区域；根据所述图像分割结果调整所述知识矩阵。

在本发明实施例中，通过设计所述知识矩阵，在训练的过程中不断地调整所述知识矩阵的参数，可以使得所述知识矩阵能够具备类似医生的经验知识，即像医生一样对医学图像进行分割的经验知识，此时，基于所述目标特征图与所述知识矩阵特征融合后得到的所述目标特征图进行图像分割，并根据所述图像分割结果调整所述知识矩阵，可以提高所述图像分割模型进行图像分割的准确率。

在一个实施例中，所述图像分割模型还包括尺度矩阵，所述尺度矩阵用于增大所述目标区域与所述待训练图像中的其他区域的差异；其中，所述对所述特征图与所述知识矩阵进行特征融合，得到目标特征图，包括：根据所述特征图与所述知识矩阵确定候选特征图；根据所述候选特征图与所述尺度矩阵确定所述目标特征图。

在本发明实施例中，所述尺度矩阵用于增大所述目标区域与所述待训练图像中的其他区域的差异，通过所述候选特征图与所述尺度矩阵确定所述目标特征图，可以使得所述目标特征图中的所述目标区域与其他区域的差异变大(或者说，使所述目标区域与其他区域的差异更加明显或容易区分)，此时，基于所述目标特征图与所述知识矩阵特征融合后得到的所述目标特征图进行图像分割，并根据所述图像分割结果调整所述知识矩阵，可以进一步提高所述图像分割模型进行图像分割的准确率。

在一个实施例中，所述根据所述特征图与所述知识矩阵确定候选特征图，包括：计算所述特征图与所述知识矩阵的残差，得到所述候选特征图。

在一个实施例中，所述根据所述图像分割结果调整所述知识矩阵，包括：

根据所述图像分割结果调整所述知识矩阵和所述尺度矩阵。

在一个实施例中，所述待训练图像为电子计算机断层扫描CT图像，所述目标区域为所述待训练图像中的病变区域。

在一个实施例中，所述待训练图像包括多个身体部位的CT图像。

在本发明实施例中，所述待训练图像包括多个身体部位的CT图像，基于所述待训练图像训练所述图像分割模型，可以使得所述图像分割模型能够用于不同类型的医学图像的图像分割，从而可以提升所述图像分割模型的性能。

第二方面，本发明提供了一种图像分割的方法，该方法包括：

获取输入图像的特征图；使用图像分割模型，对所述特征图进行图像分割，得到图像分割结果，所述图像分割结果用于指示所述输入图像中的所述目标区域；其中，所述图像分割模型是通过第一方面所述的训练图像分割模型的方法训练后得到的。

在本发明实施例中，所述图像分割模型包括所述知识矩阵，在训练所述图像分割模型的过程中不断地调整所述知识矩阵的参数，可以使得所述知识矩阵能够具备类似医生的经验知识，即像医生一样对医学图像进行分割的经验知识，此时，使用所述图像分割模型进行图像分割，可以提高图像分割的准确率。

第三方面，本发明提供了一种训练图像分割模型的装置，所述装置用于执行所述第一方面或者第一方面的任一可能的实现方式中的方法。

第四方面，本发明提供了一种图像分割的装置，所述装置用于执行所述第二方面或者第二方面的任一可能的实现方式中的方法。

第五方面，提供了一种训练图像分割模型的装置，所述装置包括存储介质和中央处理器，所述存储介质可以是非易失性存储介质，所述存储介质中存储有计算机可执行程序，所述中央处理器与所述非易失性存储介质连接，并执行所述计算机可执行程序以实现所述第一方面或者第一方面的任一可能的实现方式中的方法。

第六方面，提供了一种图像分割的装置，所述装置包括存储介质和中央处理器，所述存储介质可以是非易失性存储介质，所述存储介质中存储有计算机可执行程序，所述中央处理器与所述非易失性存储介质连接，并执行所述计算机可执行程序以实现所述第二方面或者第二方面的任一可能的实现方式中的方法。

第七方面，提供一种芯片，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，执行第一方面或第一方面的任一可能的实现方式中的方法。

可选地，作为一种实现方式，所述芯片还可以包括存储器，所述存储器中存储有指令，所述处理器用于执行所述存储器上存储的指令，当所述指令被执行时，所述处理器用于执行第一方面或第一方面的任一可能的实现方式中的方法。

第八方面，提供一种芯片，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，执行第二方面或第二方面的任一可能的实现方式中的方法。

可选地，作为一种实现方式，所述芯片还可以包括存储器，所述存储器中存储有指令，所述处理器用于执行所述存储器上存储的指令，当所述指令被执行时，所述处理器用于执行第二方面或第二方面的任一可能的实现方式中的方法。

第九方面，提供一种计算机可读存储介质，所述计算机可读介质存储用于设备执行的程序代码，所述程序代码包括用于执行第一方面或者第一方面的任一可能的实现方式中的方法的指令。

第十方面，提供一种计算机可读存储介质，所述计算机可读介质存储用于设备执行的程序代码，所述程序代码包括用于执行第二方面或者第二方面的任一可能的实现方式中的方法的指令。

附图说明

图1适用于本发明实施例的一个应用场景图。

图2为本发明一个实施例中的训练图像分割模型的方法的示意性框图。

图3为本发明另一个实施例中的训练图像分割模型的方法的示意性框图。

图4为本发明一个实施例中的图像分割模型的示意性框图。

图5为本发明一个实施例中的KEM的示意性框图。

图6为本发明一个实施例中的图像分割的方法的示意性框图。

图7为本发明一个实施例提供的训练图像分割模型的装置的示意性框图。

图8为本发明一个实施例提供的图像分割的装置的示意性框图。

图9为本发明另一个实施例提供的图像分割的装置的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例中的方法可以应用于各种对图像进行分割(即图像分割)的场景，本发明实施例中对此并不限定。例如，本发明实施例中的方法可以应用于医学图像分割。

下面结合图1中的应用场景100，以医学图像分割为例，对本发明实施例的具体应用进行介绍。需要说明的是，下述关于图1的描述仅为示例而非限定，本发明实施例中的方法并不限于医学图像分割，也可以应用于其他对图像进行分割(即图像分割)的场景。

图1为适用于本发明实施例的一个应用场景图。

图1中的应用场景100可以包括图像获取装置110及图像分割装置120。

其中，所述图像获取装置110可以为电子计算机断层(computed tomography，CT)扫描仪、磁共振成像(magnetic resonance imaging，MRI)或其他用于拍摄医学图像的装置或设备，所述图像分割装置120可以为计算机设备、服务器(例如，云端服务器)或其他能够对图像进行图像分割等处理的装置或设备。

可以看出，本发明实施例对医学图像并不限定，本发明实施例中的所述医学图像可以包括CT图像、MRI图像或其他应用于医学领域的图像。

例如，所述图像获取装置110可以为CT扫描仪，CT扫描仪可以用于对人体组织进行X线扫描，得到人体组织的横断位的CT图像序列，该CT图像序列包括按时间顺序/扫描位置顺序排序的多张包括人体组织的CT图像。

在一实施例中，通过CT扫描仪对骨骼进行扫描，可以得到包括骨骼的横断位CT图像序列。该骨骼例如可以为动物或者人体的脊柱、胫骨、股骨、肋骨和髌骨或者其他骨组织，本申请实施例对此不作限定。

例如，所述图像分割装置可以为计算机设备，所述计算机设备可以是通用型计算机或者由专用的集成电路组成的计算机装置等，本申请实施例对此不做限定。

本领域技术人员可以知晓，上述计算机设备的数量可以为一个或大于一个，多个计算机设备的类型可以相同或者不同。本申请实施例对终端的数量和设备类型不加以限定。

计算机设备中可以部署有神经网络模型，用于对待处理图像进行图像分割等处理。计算机设备可以将其从CT扫描仪获取到的包括骨骼的横断位CT图像序列进行图像处理和图像重建，得到包括骨骼三维信息的矢状位图像。计算机设备还可以通过其中部署的神经网络模型对该矢状位图像进行图像分割，得到骨骼各区间段的分割结果。

计算机设备可以为服务器或云端服务器，直接对待处理图像进行图像分割等处理。

或者，计算机设备也可以与服务器(图中未示出)之间通过通信网络相连。计算机设备可以将其从CT扫描仪获取到的包括骨骼的横断位CT图像序列等发送给服务器，利用服务器获得骨骼的矢状位图像，并且将该骨骼的矢状位图像存储为样本图像，以对神经网络进行训练，得到神经网络模型。

计算机设备还可以从服务器中获取横断位CT图像序列或骨骼的矢状位图像，进而通过神经网络模型对横断位CT图像序列或骨骼的矢状位图像进行处理，以得到分割结果图像，本申请实施例对此不做限定。

图2是本申请一示例性实施例提供的训练图像分割模型的方法200的流程示意图。

所述训练图像分割模型的方法200可以应用于如图1所提供的实施环境中，由上述图1中所示的图像分割装置120执行，但本申请实施例不以此为限。下文将以通过计算机设备执行该方法为例，描述了本申请的示例性实施例。

其中，所述图像分割模型可以包括知识矩阵，所述方法200可以包括步骤210、步骤220，步骤230及步骤240，具体如下。

S210，获取待训练图像的特征图。

其中，所述待训练图像可以为CT图像或MRI图像。

可选地，所述待训练图像可以包括多个图像。

进一步地，所述待训练图像可以包括多个身体部位(或者说身体中的多个部位)的图像。

例如，所述待训练图像可以包括肾脏图像、肺部图像、肝脏图像及胆囊图像等多个身体部分的图像。

S220，对所述特征图与所述知识矩阵进行特征融合，得到目标特征图。

其中，所述知识矩阵用于区分所述待训练图像中的目标区域。

例如，如下述图5所示，所述知识矩阵可以由多个向量组成。本领域技术人员可知，矩阵可以看作是由多个向量组成的。

可选地，所述目标区域可以为所述待训练图像中的病变区域。

例如，若所述待训练图像包括肾脏图像、肺部图像、肝脏图像及胆囊图像，那么，所述目标区域可以指肾脏图像中的肿瘤区域、肺部图像中的肿瘤区域、肝脏图像中的肿瘤区域及胆囊图像中的结石区域。

需要说明的是，本发明实施例中对病变的类型并不做限定，本领域技术可以根据实际需要预先设定病变类型，以确定所述待训练图像中的目标区域。

比如，若希望基于图像分割结果进行肿瘤排查，则所述目标区域可以为所述待训练图像中的肿瘤区域；若希望基于图像分割结果进行检查结石，则所述目标区域可以为所述待训练图像中的结石区域。

可选地，所述图像分割模型还可以包括尺度矩阵，所述尺度矩阵可以用于增大所述目标区域与所述待训练图像中的其他区域的差异。

相应地，所述对所述特征图与所述知识矩阵进行特征融合，得到目标特征图，可以包括：

根据所述特征图与所述知识矩阵确定候选特征图；根据所述候选特征图与所述尺度矩阵确定所述目标特征图。

换句话说，在对所述特征图与所述知识矩阵进行特征融合的过程中，可以先使用所述知识矩阵确定出所述特征图中的目标区域(即，根据所述特征图与所述知识矩阵得到候选特征图)，再使用所述尺度矩阵增大所述目标区域与所述候选特征图中的其他区域的差异(即根据所述候选特征图与所述尺度矩阵得到所述目标特征图)，从而有助于提高所述图像分割模型进行图像分割的准确率。

进一步地，所述根据所述特征图与所述知识矩阵确定候选特征图，可以包括：

计算所述特征图与所述知识矩阵的残差，得到所述候选特征图。

需要说明的是，本发明实施例中对根据所述特征图与所述知识矩阵确定所述候选特征图的具体方式并不限定。

例如，也可以将所述特征图与所述知识矩阵相加，得到所述候选特征图，或者，还可以将所述特征图与所述知识矩阵相乘，得到所述候选特征图，或者，还可以采用现有技术中的其他方式，根据所述特征图与所述知识矩阵确定所述候选特征图，本发明实施例中对此并不限定。

S230，基于所述目标特征图进行图像分割，得到图像分割结果。

其中，所述图像分割结果可以用于指示所述待训练图像中的所述目标区域。

上述S230中的具体的图像分割方法可以参照现有技术，本发明实施例中不再赘述。

可选地，所述图像分割结果中可以通过不同的颜色指示所述待训练图像中的所述目标区域与(所述目标区域以外的)其他区域。

例如，所述图像分割结果中可以采用红色表示病变区域(即所述目标区域)，采用黄色表示病变区域以外的其他区域(即所述目标区域以外的其他区域)。

需要说明的是，本发明实施例中对所述图像分割结果指示所述目标区域的方式并不作限定，比如，所述图像分割结果中也可以通过其他方式指示所述待训练图像中的所述目标区域与(所述目标区域以外的)其他区域，本发明实施例中对此并不限定。

S240，根据所述图像分割结果调整所述知识矩阵。

其中，所述图像分割模型可以包括所述知识矩阵。

可选地，所述根据所述图像分割结果调整所述知识矩阵，可以包括：根据所述图像分割结果调整所述图像分割模型。

换句话说，可以根据所述图像分割结果调整所述知识矩阵与所述图像分割模型中的其他参数。

其中，所述其他参数可以指所述图像分割模型中除所述知识矩阵以外的其他参数。例如，所述图像分割模型中的超参、卷积核及各种权重等。

进一步地，所述图像分割模型还可以包括所述尺度矩阵。

相应地，所述根据所述图像分割结果调整所述知识矩阵，可以包括：根据所述图像分割结果调整所述知识矩阵和所述尺度矩阵。

类似地，也可以根据所述图像分割结果调整所述知识矩阵、所述尺度矩阵与所述图像分割模型中的其他参数。

图3是本申请一示例性实施例提供的训练图像分割模型的方法300的流程示意图。

所述图像处理方法300可以应用于如图1所提供的实施环境中，由上述图1中所示的图像分割装置120执行，但本申请实施例不以此为限。下文将以通过计算机设备执行该方法为例，描述了本申请的示例性实施例。

所述方法300可以包括步骤310、步骤320，步骤330及步骤340，具体如下。

S310，获取待训练图像的特征图。

如图4所示，所述图像分割模型可以包括主干网络、知识嵌入模块(knowledgeembedding module，KEM)及图像分割模块。

需要说明的是，在训练所述图像分割模型的过程中，所述输入图像可以指待训练图像；在应用(即使用所述图像分割模型进行图像分割)的过程中，所述输入图像可以指待处理图像。

其中，所述主干网络可以为2015年发表的VGG16的主干网络，或者，所述主干网络也可以为ResNet50或其他模型的主干网络，本发明实施例中对此并不限定。

例如，可以删除VGG16中的所有全连接层以获得全连接网络(fullyconvolutional networks，FCN)，此时，可以得到五个卷积特征图，即X⁽ⁱ⁾(i∈{1，2，…，5}，其中，i为正整数。

如图4所示，这五个卷积特征图可以分别对应于VGG16的五个卷积阶段，也就是说，这五个卷积特征图可以分别是由图4中的五个卷积阶段卷积后得到的。

(这五个卷积阶段中的)每个卷积阶段可以包括一个或多个卷积层，本发明实施例中对此并不限定。

例如，卷积特征图X⁽¹⁾可以表示(这五个卷积阶段中的)第一个卷积阶段卷积后得到的特征图，卷积特征图X⁽²⁾可以表示(这五个卷积阶段中的)第二个卷积阶段卷积后得到的特征图。

其余的卷积特征图与卷积特征图X⁽¹⁾、卷积特征图X⁽²⁾类似，这里不再一一赘述。

如图4所示，除了这五个卷积阶段之外，本发明实施例中还可以在所述图像分割模型的主干网络中再添加一个卷积阶段，作为第六个卷积阶段.

该第六个卷积阶段可以包含两个卷积层，该第六个卷积阶段以X⁽⁵⁾输入，卷积后得到X⁽⁶⁾。加入该第六个卷积阶段可以使得所述图像分割模型的网络层次变得更深。

该第六个卷积阶段中的两个卷积层可以通过下式表示：

其中，

表示第一个卷积层卷积后得到的特征图，

表示第二个卷积层卷积后得到的特征图，Conv^3×3(·)表示具有512个输出通道的3×3卷积，Conv^1×1(·)表示具有512个输出通道的1×1卷积，BN(·)表示批标准化层，ReLU(·)表示ReLU层。

从上式可以看出，特征图X⁽⁶⁾实际包括特征图

及

该第六个卷积层输出的特征图为

即所述待训练图像的特征图为

如图4所示，所述图像分割模型中的KEM可以包括知识矩阵V及尺度矩阵S，其中，所述知识矩阵包括K个知识向量V_k∈R^C，尺度矩阵S∈R^K×C，k、K和C均为正整数，k∈{1，2，…，K}。

如图4所示，所述图像分割模块可以包括特征融合(图4中的concat操作)、3×3卷积、四倍上采样及1×1卷积。

需要说明的是，上述实施例仅为示例而非限定，本发明实施例并不一定要增加额外的卷积阶段(即上述第六个卷积阶段)。

例如，在使用ResNet50作为主干网络的情况下，ResNet50网络已经足够深，不需要再添加额外的卷积阶段便可以实现很好的图像分割效果。

此时，可以按照上述实施例的分割方法，可以仅保留前三个下采样操作，并将后续下采样的步幅从2更改为1，并使用扩展卷积来保持同样的感受野大小，这样的话，输出特征图大小为输入原图的1/8。

具体的方法可以参照现有技术，本发明实施例中对此并不限定。

S320，将知识矩阵嵌入所述特征图，得到目标特征图。

如图4所示，可以通过KEM将所述知识矩阵V嵌入所述特征图

得到所述目标特征图

这一过程可以通过下述各式表示：

其中，Conv^1×1(·)表示具有512个输出通道的1×1卷积，BN(·)表示批标准化层，ReLU(·)表示ReLU层，

表示KEM中的嵌入操作的转换函数。

后续图5中的实施例对KEM中的嵌入操作进行详细，具体可以参照关于图5的描述，这里不再赘述。

S330，基于所述目标特征图进行图像分割，得到图像分割结果。

可选地，可以通过图4中的图像分割模块对所述目标特征图

进行图像分割，得到图像分割结果。

例如，可以先将特征图

进行2倍的上采样(例如，从所述待训练图像的1/8上采样到1/4)，并将

与X⁽³⁾进行融合(这里的融合可以包括图4中所示的concat及3×3卷积)，X⁽³⁾的尺寸也是所述待训练图像的1/4。具体的过程可以通过下述各式表示：

X^fuse＝ReLU(BN(Conv^3×3(X^concat)))

其中，Upsample(·，2)表示2倍的上采样，Conv^1×1(·)表示具有64个输出通道的1×1卷积，Conv^3×3(·)表示具有256个输出通道的3×3卷积，BN(·)表示批标准化层，ReLU(·)表示ReLU层，Concat(·)表示concat操作。

可选地，X^fuse可以认为是所述图像分割结果。

S340，根据所述图像分割结果调整所述图像分割模型的参数。

可选地，可以对X^fuse进行1×1卷积并4倍的上采样来得到最终的预测结果，基于所述预测结果调整所述图像分割模型的参数。

其中，所述预测结果可以为病变预测图(prediction)。

具体地，可以根据所述预测结果调整所述图像分割模型的参数。

例如，可以使用真值(ground truth)对最终病变预测图进行监督，对所述图像分割模型中的网络主干、KEM及图像分割模块进行监督。

其中，损失函数可以使用交叉熵损失函数，关于交叉熵损失函数的详细描述可以参考现有技术，这里不再赘述。或者，也可以使用其他的损失函数，本发明实施例中对此并不限定。

可选地，在调整所述图像分割模型的参数时，也可以只调整某一模块中的部分参数。

调整所述图像分割模型的参数的具体方式(或者，也可以称为训练所述图像分割模型)可以参考现有技术，本发明实施例中对此并不限定。

例如，对于网络主干，可以只对该网络主干中的第三个卷积阶段、第四个卷积阶段及第五个卷积阶段进行深监督。

下面结合图5，对所述图像分割模型中的知识嵌入模块(knowledge embeddingmodule，KEM)进行详细介绍。

如图5所示，X为使用深层FCN(即所述主干网络)从CT切片中提取的输入图像的特征图。

其中，C、H和W分别是特征图X的通道数、高度和宽度，H′和W′分别是CT切片I的高度和宽度。

在本发明实施例中，如上述图4所示，可以使用输出步长为8的VGG16或ResNet50的卷积层部分作为所述图像分割模型的网络主干进行特征提取，此时，H＝H′/8，W＝W′/8。

对于知识嵌入模块，如上述图4所示，可以设计一个知识矩阵V，例如，所述知识矩阵V可以包括K个知识向量V_k，也就是说，这K个知识向量V_k即可构成所述知识矩阵V。

其中，V_k∈R^C(k∈{1，2，…，K}，V∈R^K×C，k、K和C均为正整数。

除此之外，还可以设计一个尺度矩阵S，S∈R^K×C。

本发明实施例的具体思想是先学习知识矩阵V和尺度矩阵S，然后将学习到的知识矩阵V和尺度矩阵S嵌入到特征图X中，以获得新的特征图

其中，

表示KEM中的嵌入操作的转换函数。

根据本发明实施例中的方法，通过所述知识矩阵V和尺度矩阵S可以学习到的整体和全局知识，因此，(通过将知识矩阵V和尺度矩阵S嵌入特征图X后得到的)新特征

更易于对医学图像按像素分类，因此，可以获得更好的图像分割效果，从而可以提高医学图像分割的准确率。

下面结合图5，详细介绍用于学习所述知识矩阵V和尺度矩阵S的KEM的处理流程。

如图5所示，首先，对特征图X进行重排(reshape)操作，将特征图X的尺寸由C×H×W转化为N×C，然后通过自我复制(replicate)K份，将尺寸再转化为N×K×C，其中，N＝H×W。

可以根据残差学习的理论从X减去V得到残差D，可以将其表示为下式：

D＝X-V

其中，残差D表示X中每个像素点的特征与V中每个知识向量之间的残差值，D∈R^N ^×K×C，V的尺寸也需要先进行转化并自我复制到与X相同的大小才能通过上式计算残差。

接下来，可以计算权重系数A，以用于对D进行融合，计算权重系数A的计算方式可以下式所示：

其中，k∈{1，2，…，K}，A∈R^N×K×C，

表示对应元素逐个相乘。

另外，在对应元素逐个相乘之前可以将S进行自我复制，使其与D相尺寸相同。

这样，权重系数矩阵A不仅与可学习变量S相关，还与残差值D相关，即，既包含通用属性又包含与输入相关的属性。

在所得到的D和A基础上，我们可以计算得到重加权的残差值：

其中，D′∈R^N×K×C。

然后，可以将D′沿着维度K进行融合(或者说沿维度K相加)，计算方式可以通过下式表示：

紧接着，可以将D″尺寸转换为D″∈R^C×H×W，即与X的尺寸相同。

此外，还可以对D″进一步进行尺度缩放操作，以增强其通道内表征，这个操作可以称为嵌入重缩放(embedding re-scaling，ER)。

如图5所示，ER首先沿着维度K融合D′，以此来整合不同知识向量的残差值，然后沿着维度N融合结果来计算CT切片的全局信息E，这一过程可以通过下式表示：

其中，E∈R^C，E表示CT切片I的整体编码器，n、k和K均为正整数。

接下来，可以通过下式将E转换为注意力向量：

E′＝σ(FC(E))

其中，E′∈R^C，FC(·)表示一个全连接层，σ(·)表示标准的sigmoid函数。

此时，KEM的输出可以通过下式表示：

其中，Y∈R^C×H×W。

通过上述处理过程可以看出，这种通道内表征增强与仅依赖特征图的传统通道注意力(即自注意力)有所不同，E′是同时基于特征图和学习到的通用数据知识得到的。

总之，KEM模仿放射科医生积累的经验知识，定义了可学习的数据知识(知识矩阵V和尺度矩阵S)来对CT切片的场景进行编码。所学习的数据知识以逐像素方式嵌入到特征图X中，从而构造新的特征图Y。在整体和通用的知识指导下，更容易区分Y中的每个像素点是正常像素还是病变像素。

同时，KEM的输入X和输出Y具有相同的大小，因此KEM可以灵活地嵌入到任何卷积神经网络(convolutional neural networks，CNN)中。

图6是本申请一示例性实施例提供的图像分割的方法600的流程示意图。

所述图像分割的方法600可以应用于如图1所提供的实施环境中，由上述图1中所示的图像分割装置120执行，但本申请实施例不以此为限。下文将以通过计算机设备执行该方法为例，描述了本申请的示例性实施例。

所述方法600可以包括步骤610和步骤620，具体如下。

S610，获取输入图像的特征图。

S620，使用图像分割模型，对所述特征图进行图像分割，得到图像分割结果。

其中，所述图像分割结果可以用于指示所述输入图像中的所述目标区域。

可选地，所述图像分割模型可以包括知识矩阵，所述图像分割模型可以是通过上述图2中的训练图像分割模型的方法200训练后得到的。

可选地，所述图像分割模型的结构可以如上述图4所示，包括主干网络、知识嵌入模块(knowledge embedding module，KEM)及图像分割模块。

关于这几个模块的详细描述，可以参照上述方法200及方法300中的实施例，这里不再赘述。

例如，在使用所述图像分割模型对输入图像进行处理时，可以先使用网络主干获取所述输入图像的特征图；接下来，可以使用KEM将知识矩阵V和尺度矩阵嵌入所述输入图像的特征图中，得到目标特征图；随后，可以使用图像分割模块对所述目标特征图进行图像分割。

本发明实施例中对图像分割过程中的处理并不限定，具体的图像分割方法可以参考现有技术，这里不再赘述。

图7是本发明一个实施例提供的训练图像分割模型的装置700的示意性框图。应理解，图7示出的训练图像分割模型的装置700仅是示例，本发明实施例的装置700还可包括其他模块或单元。

应理解，装置700能够执行图2及图3的方法中的各个步骤，为了避免重复，此处不再详述。

在本发明一种可能的实现该或，所述装置包括：

获取单元710，用于获取待训练图像的特征图；

特征融合单元720，用于对所述特征图与所述知识矩阵进行特征融合，得到目标特征图，所述知识矩阵用于区分所述待训练图像中的目标区域；

图像分割单元730，用于基于所述目标特征图进行图像分割，得到图像分割结果，所述图像分割结果用于指示所述待训练图像中的所述目标区域；

调整单元740，用于根据所述图像分割结果调整所述知识矩阵。

可选地，所述图像分割模型还包括尺度矩阵，所述尺度矩阵用于增大所述目标区域与所述待训练图像中的其他区域的差异；

其中，所述特征融合单元720具体用于：

可选地，所述特征融合单元720具体用于：

可选地，所述调整单元740具体用于：

根据所述图像分割结果调整所述知识矩阵和所述尺度矩阵。

可选地，所述待训练图像为电子计算机断层扫描CT图像，所述目标区域为所述待训练图像中的病变区域。

可选地，所述待训练图像包括多个身体部位的CT图像。

应理解，这里的训练图像分割模型的装置700以功能模块的形式体现。这里的术语“模块”可以通过软件和/或硬件形式实现，对此不作具体限定。例如，“模块”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(application specific integrated circuit，ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。

作为一个示例，本发明实施例提供的训练图像分割模型的装置700可以是处理器或芯片，以用于执行本发明实施例所述的方法。

图8是本发明一个实施例提供的图像分割的装置800的示意性框图。应理解，图8示出的图像分割的装置800仅是示例，本发明实施例的装置800还可包括其他模块或单元。

应理解，装置800能够执行图6的方法600中的各个步骤，为了避免重复，此处不再详述。

可选地，所述装置800可以是基于图2及图3中的方法预先训练后得到的。

在本发明一种可能的实现该或，所述装置包括：

获取单元810，用于获取输入图像的特征图；

图像分割单元820，用于使用图像分割模型，对所述特征图进行图像分割，得到图像分割结果，所述图像分割结果用于指示所述输入图像中的所述目标区域。

关于所述装置800的详细训练过程可以参照上述方法200及方法300中的实施例，这里不再赘述。

应理解，这里的图像分割的装置800以功能模块的形式体现。这里的术语“模块”可以通过软件和/或硬件形式实现，对此不作具体限定。例如，“模块”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(applicationspecific integrated circuit，ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。

作为一个示例，本发明实施例提供的图像分割的装置800可以是处理器或芯片，以用于执行本发明实施例所述的方法。

图9是本发明一个实施例的图像分割的装置400的示意性框图。图9所示的装置400包括存储器401、处理器402、通信接口403以及总线404。其中，存储器401、处理器402、通信接口403通过总线404实现彼此之间的通信连接。

存储器401可以是只读存储器(read only memory，ROM)，静态存储设备，动态存储设备或者随机存取存储器(random access memory，RAM)。存储器401可以存储程序，当存储器401中存储的程序被处理器402执行时，处理器402用于执行本发明实施例的训练图像分割模型的方法及图像分割的方法的各个步骤，例如，可以执行图2、图3及图6所示实施例的各个步骤。

处理器402可以采用通用的中央处理器(central processing unit，CPU)，微处理器，应用专用集成电路(application specific integrated circuit，ASIC)，或者一个或多个集成电路，用于执行相关程序，以实现本发明方法实施例的训练图像分割模型的方法及图像分割的方法。

处理器402还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本发明实施例的训练图像分割模型的方法及图像分割的方法的各个步骤可以通过处理器402中的硬件的集成逻辑电路或者软件形式的指令完成。

上述处理器402还可以是通用处理器、数字信号处理器(digital signalprocessing，DSP)、专用集成电路(ASIC)、现成可编程门阵列(field programmable gatearray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器401，处理器402读取存储器401中的信息，结合其硬件完成本发明实施例中图像分割的装置包括的单元所需执行的功能，或者，执行本发明方法实施例的训练图像分割模型的方法及图像分割的方法，例如，可以执行图2、图3及图6所示实施例的各个步骤/功能。

通信接口403可以使用但不限于收发器一类的收发装置，来实现装置400与其他设备或通信网络之间的通信。

总线404可以包括在装置400各个部件(例如，存储器401、处理器402、通信接口403)之间传送信息的通路。

应理解，本发明实施例所示的装置400可以是处理器或芯片，以用于执行本发明实施例所述的方法。

应理解，本发明实施例中的处理器可以为中央处理单元(central processingunit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digital signalprocessor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A,B可以是单数或者复数。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系，但也可能表示的是一种“和/或”的关系，具体可参考前后文进行理解。

本发明中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a,b,或c中的至少一项(个)，可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。

应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。

Claims

1.一种训练图像分割模型的方法，其特征在于，所述图像分割模型包括知识矩阵，所述方法包括：

获取待训练图像的特征图；

对所述特征图与所述知识矩阵进行特征融合，得到目标特征图，所述知识矩阵用于区分所述待训练图像中的目标区域；

基于所述目标特征图进行图像分割，得到图像分割结果，所述图像分割结果用于指示所述待训练图像中的所述目标区域；

根据所述图像分割结果调整所述知识矩阵。

2.根据权利要求1所述的方法，其特征在于，所述图像分割模型还包括尺度矩阵，所述尺度矩阵用于增大所述目标区域与所述待训练图像中的其他区域的差异；

其中，所述对所述特征图与所述知识矩阵进行特征融合，得到目标特征图，包括：

根据所述特征图与所述知识矩阵确定候选特征图；

根据所述候选特征图与所述尺度矩阵确定所述目标特征图。

3.根据权利要求2所述的方法，其特征在于，所述根据所述特征图与所述知识矩阵确定候选特征图，包括：

4.根据权利要求2或3所述的方法，其特征在于，所述根据所述图像分割结果调整所述知识矩阵，包括：

根据所述图像分割结果调整所述知识矩阵和所述尺度矩阵。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述待训练图像为电子计算机断层扫描CT图像，所述待训练图像包括多个身体部位的CT图像，所述目标区域为所述待训练图像中的病变区域。

6.一种图像分割的方法，其特征在于，包括：

获取输入图像的特征图；

使用图像分割模型，对所述特征图进行图像分割，得到图像分割结果，所述图像分割结果用于指示所述输入图像中的所述目标区域；

其中，所述图像分割模型是通过所述权利要求1至5中任一项所述的方法训练后得到的。

7.一种训练图像分割模型的装置，其特征在于，所述装置用于执行所述权利要求1至5中任一项所述的方法。

8.一种图像分割的装置，其特征在于，所述装置用于执行所述权利要求6所述的方法。

9.一种训练图像分割模型的装置，其特征在于，包括处理器和存储器，所述存储器用于存储程序指令，所述处理器用于调用所述程序指令来执行权利要求1至5中任一项所述的方法。

10.一种图像分割的装置，其特征在于，包括处理器和存储器，所述存储器用于存储程序指令，所述处理器用于调用所述程序指令来执行权利要求6所述的方法。