CN111429464B - 医学图像分割方法、医学图像分割装置及终端设备 - Google Patents

医学图像分割方法、医学图像分割装置及终端设备 Download PDF

Info

Publication number
CN111429464B
CN111429464B CN202010166149.2A CN202010166149A CN111429464B CN 111429464 B CN111429464 B CN 111429464B CN 202010166149 A CN202010166149 A CN 202010166149A CN 111429464 B CN111429464 B CN 111429464B
Authority
CN
China
Prior art keywords
medical image
segmentation
output
model
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010166149.2A
Other languages
English (en)
Other versions
CN111429464A (zh
Inventor
王书强
陈卓
申妍燕
张炽堂
吴国宝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202010166149.2A priority Critical patent/CN111429464B/zh
Publication of CN111429464A publication Critical patent/CN111429464A/zh
Application granted granted Critical
Publication of CN111429464B publication Critical patent/CN111429464B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供的一种医学图像分割方法包括：获取待检测医学图像；将所述待检测医学图像输入已训练的分割模型，其中，所述分割模型包括编码器和解码器，所述编码器包括多个第一层级结构，所述多个第一层级结构包括第一输入层、至少一个第一中间层和第一输出层，所述解码器包括第二输入层、至少一个第二中间层和第二输出层，其中，任意第二中间层的输入包括所述第二中间层的前一层的输出与至少两个第一层级结构的输出的融合结果；通过所述分割模型对所述待检测医学图像进行处理，获得所述分割模型的输出结果，所述输出结果包括关于待检测医学图像中的医学特征区域的分割结果。通过上述方法，可以提升对医学图像进行图像分割的准确性。

Description

医学图像分割方法、医学图像分割装置及终端设备
技术领域
本申请属于图像分割技术领域，尤其涉及医学图像分割方法、医学图像分割装置、终端设备及计算机可读存储介质。
背景技术
医学图像分割是医学图像处理与分析的关键步骤。近年来，以人工智能为代表的信息技术和高端医学影像技术不断发展，深度学习在医学影像分割领域的应用也获得了越来越多的关注。
然而，在对医学图像进行分割时，现有的分割模型往往难以很好地利用医学图像中的一些上下文信息，难以很好地捕捉诸如病变区域等医学特征区域中的像素点之间的依赖关系，导致分割模型所获取到的有效特征信息不够充分，从而影响了对医学图像进行图像分割的准确性。
发明内容
本申请实施例提供了医学图像分割方法、医学图像分割装置、终端设备及计算机可读存储介质，可以提升对医学图像进行图像分割的准确性。
第一方面，本申请实施例提供了一种医学图像分割方法，包括：
获取待检测医学图像；
将所述待检测医学图像输入已训练的分割模型，其中，所述分割模型包括编码器和解码器，所述编码器包括多个第一层级结构，所述多个第一层级结构包括第一输入层、至少一个第一中间层和第一输出层，所述解码器包括第二输入层、至少一个第二中间层和第二输出层，其中，任意第二中间层的输入包括所述第二中间层的前一层的输出与至少两个第一层级结构的输出的融合结果；
通过所述分割模型对所述待检测医学图像进行处理，获得所述分割模型的输出结果，其中，所述输出结果包括关于所述待检测医学图像中的医学特征区域的分割结果。
第二方面，本申请实施例提供了一种医学图像分割装置，包括：
第一获取模块，用于获取待检测医学图像；
输入模块，用于将所述待检测医学图像输入已训练的分割模型，其中，所述分割模型包括编码器和解码器，所述编码器包括多个第一层级结构，所述多个第一层级结构包括第一输入层、至少一个第一中间层和第一输出层，所述解码器包括第二输入层、至少一个第二中间层和第二输出层，其中，任意第二中间层的输入包括所述第二中间层的前一层的输出与至少两个第一层级结构的输出的融合结果；
处理模块，用于通过所述分割模型对所述待检测医学图像进行处理，获得所述分割模型的输出结果，其中，所述输出结果包括关于所述待检测医学图像中的医学特征区域的分割结果。
第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器、显示器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如第一方面所述的医学图像分割方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的医学图像分割方法。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中所述的医学图像分割方法。
本申请实施例与现有技术相比存在的有益效果是：本申请实施例中，可以获取待检测医学图像，并将所述待检测医学图像输入已训练的分割模型，其中，所述分割模型包括编码器和解码器，所述编码器包括多个第一层级结构，所述多个第一层级结构包括第一输入层、至少一个第一中间层和第一输出层，所述解码器包括第二输入层、至少一个第二中间层和第二输出层，其中，任意第二中间层的输入包括所述第二中间层的前一层的输出与至少两个第一层级结构的输出的融合结果；此时，至少可以通过所述解码器中的各个中间层获取到解码器中的多个层所提取的不同尺度的特征，从而充分利用医学图像中的像素点的上下文信息来进行医学图像分割；以获取到所述待检测医学图像中的医学特征区域的分割结果。通过本申请实施例，可以在通过分割模型对医学图像进行处理时有效地利用所提取到的多尺度特征，实现多信息融合，从而提高分割模型的泛化性能，并提升对医学图像进行图像分割的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的一种医学图像分割方法的流程示意图；
图2是本申请一实施例提供的所述分割模型的一种示例性结构；
图3是本申请一实施例提供的步骤S103的一种流程示意图；
图4是本申请一实施例提供的通过所述权重获取模块对所述第一特征矩阵进行第二处理的一种示例性示意图；
图5是本申请一实施例提供的所述分割模型和所述判别模型的一种示例性示意图；
图6是本申请一实施例提供的一种医学图像分割装置的结构示意图；
图7是本申请一实施例提供的终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
本申请实施例提供的医学图像分割方法可以应用于服务器、台式电脑、手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtualreality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)等终端设备上，本申请实施例对终端设备的具体类型不作任何限制。
具体地，图1示出了本申请实施例提供的一种医学图像分割方法的流程图，该医学图像分割方法可以应用于终端设备。
该医学图像分割方法可以包括：
步骤S101，获取待检测医学图像。
本申请实施例中，所述待检测医学图像的类型以及获取方式等在此不做限制。示例性的，所述待检测医学图像可以包括诸如内窥镜图像、血管造影图像、计算机断层扫描图像、正子发射断层扫描图像、核磁共振图像以及超声图像等中的一种或多种。所述待检测医学图像中往往包括医学特征区域，其中，该医学特征区域可以是诸如病灶区域、特定组织或者器官区域等等。
步骤S102，将所述待检测医学图像输入已训练的分割模型，其中，所述分割模型包括编码器和解码器，所述编码器包括多个第一层级结构，所述多个第一层级结构包括第一输入层、至少一个第一中间层和第一输出层，所述解码器包括第二输入层、至少一个第二中间层和第二输出层，其中，任意第二中间层的输入包括所述第二中间层的前一层的输出与至少两个第一层级结构的输出的融合结果。
本申请实施例中，所述已训练的分割模型可以用于对所述待检测医学图像进行图像分割，以获得所述待检测医学图像中的医学特征区域的轮廓等信息。所述已训练的分割模型可以包括编码器和解码器，其中，所述编码器和所述解码器的具体结构可以基于现有的或者以后出现的机器学习模型而确定。
所述编码器和所述解码器的结构可以对称，此时，所述编码器中的第一层级结构的个数与所述解码器所包含的第二层级结构的个数相同。所述第一层级结构的个数可以根据实际需求来确定。在一种示例中，所述第一层级结构可以有5层，则此时，所述编码器中可以包括3个第一中间层。需要说明的是，任一所述第一层级结构中可以包括一个或多个子层，例如，所述编码器中的任一层级结构可以包括一个卷积层和一个下采样层，相应的，解码器中与该第一层级结构对应的第二层级结构可以包括一个上采样层和一个卷积层。此时，所述编码器中的任意第一层级结构的输出可以是该第一层级结构中的下采样层的输出。
在一些实施例中，所述已训练的分割模型可以基于现有的诸如U-Net模型改进得到。
其中，现有的U-Net模型基于跳跃式连接的全卷积网络而设计得到，其中包括结构对称的编码器和解码器，此时，现有的U-Net模型的编码器和解码器中存在一一对应的中间层，该编码器的中间层的输出可以传递至解码器中的对应中间层，并且，传递之后，与解码器中的该对应中间层的前一层的输出进行拼接融合，并将该拼接融合的结果作为解码器中该对应中间层的输入。
然而，现有技术中，基于编码器和解码器的对称性，仅考虑到U-Net模型中的相对应的中间层之间的特征的传递。
而本申请实施例中，所述解码器中的任意第二中间层的输入可以包括所述第二中间层的前一层的输出与至少两个第一层级结构的输出的融合结果。例如，所述解码器中的任意第二中间层的输入可以包括所述第二中间层的前一层的输出、与所述第二中间层相对应的第一层级结构的输出以及与所述第二中间层相对应的第一层级结构的至少一个相邻层(如前一层和/或后一层)的输出的融合结果。此时，该解码器可以获取到多个第一层级结构的所提取到的不同尺度的特征，从而对多尺度的特征进行融合，以充分利用医学图像中的像素点的上下文信息来进行医学图像分割。
其中，具体的融合方式可以有多种，例如，可以将所述第二中间层的前一层的输出与至少两个第一层级结构的输出进行拼接，获得所述融合结果。
在一些实施例中，所述第二中间层的前一层的输出与至少两个第一层级结构的输出的融合结果为所述第二中间层的前一层的输出、与所述第二中间层相对应的第一层级结构的输出以及与所述第二中间层相对应的第一层级结构的前一层的输出的融合结果。
本申请实施例中，此时，所述第二中间层可以通过多个从编码器到解码器的跳跃连接，获取到并充分利用不同深度的特征信息，从而提高特征表达的效率，提升分割模型的分割性能。
下面一个具体示例示例性说明本申请实施例中，所述分割模型的一种示例结构。
如图2所示，为所述分割模型的一种示例性结构，其中，所述分割网络的编码器可以有5层第一层级结构，分别为A、B、C、D、E，所述解码器的结构与所述编码器对称，即所述编码器的A、B、C、D、E层分别对应解码器中的A’、B’、C’、D’、E’层，那么解码器中的A’层可以获取到编码器的A层的输出与解码器B’层的输出的融合结果，解码器中的B’层可以获取到编码器的A层的输出、B层的输出与解码器C’层的输出的融合结果，解码器中的C’层可以获取到编码器的B层的输出、C层的输出与解码器D’层的输出的融合结果，以此类推。需要说明的是，图2仅为所述分割模型的一种示例性结构，而非限制。
步骤S103，通过所述分割模型对所述待检测医学图像进行处理，获得所述分割模型的输出结果，其中，所述输出结果包括关于所述待检测医学图像中的医学特征区域的分割结果。
本申请实施例中，所述分割模型可以输出关于所述待检测医学图像中的医学特征区域的分割结果，其中，具体的，该分割结果中包含所述医学特征区域的轮廓信息。
在一些实施例中，所述分割模型包括权重获取模块，所述权重获取模块位于所述编码器和所述解码器之间；
所述通过所述分割模型对所述待检测医学图像进行处理，获得所述分割模型的输出结果，包括：
步骤S301，通过所述编码器对所述待检测医学图像进行第一处理，获得所述编码器输出的第一特征矩阵；
步骤S302，将所述第一特征矩阵输入所述权重获取模块；
步骤S303，通过所述权重获取模块对所述第一特征矩阵进行第二处理，获得所述权重获取模块输出的权重矩阵；
步骤S304，将所述权重矩阵与所述第一特征矩阵进行融合，获得第二特征矩阵；
步骤S305，基于所述第二特征矩阵，通过所述解码器进行第三处理，获得所述输出结果。
本申请实施例中，为了进一步提高分割模型的分割性能，可以在所述编码器和所述解码器之间设置所述权重获取模块，从而利用注意力机制，提高分割模型对分割区域的表征能力。
其中，所述权重获取模块可以通过预设的关联函数，对所述第一特征矩阵进行第二处理，从而获得所述权重获取模块输出的权重矩阵。该关联函数的具体设置方式可以有多种，例如，所述关联函数可以是结合卷积运算和激活函数得到，或者，也可以结合乘法、加法以及其他特定函数得到。
在一些实施例中，所述权重矩阵中的各个元素可以分别表示对应的第一特征矩阵中的相应元素的权重值。所述权重矩阵与所述第一特征矩阵的融合方式可以有多种，例如，可以是所述权重矩阵与所述第一特征矩阵相加，或者可以是所述权重矩阵中的相应元素分别与所述第一特征矩阵中的相应元素相乘；此外，所述融合还可以包括矩阵的维度变换等等，例如，还可以对所述权重矩阵、所述第一特征矩阵或者二者相加之后所得的矩阵进行维度变换，以获得所述第二特征矩阵。
在一些实施例中，所述通过所述权重获取模块对所述第一特征矩阵进行第二处理，获得所述权重获取模块输出的权重矩阵，包括：
对所述第一特征矩阵进行第一卷积处理，获得第三特征矩阵；
对所述第一特征矩阵进行第二卷积处理，获得第四特征矩阵；
将所述第三特征矩阵与第四特征矩阵相乘，获得第五特征矩阵；
通过激活函数对所述第五特征矩阵进行激活，获得所述权重矩阵。
其中，所述对所述第一特征矩阵进行第一卷积处理可以是将第一卷积矩阵与所述第一特征矩阵进行卷积运算，其中，所述第一卷积矩阵可以是维度为1*1的矩阵；所述对所述第一特征矩阵进行第二卷积处理可以是将第二卷积矩阵与所述第一特征矩阵进行卷积运算，其中，所述第二卷积矩阵可以是维度为1*1的矩阵。示例性的，所述激活函数可以为Softmax激活函数等。
在一种示例中，通过所述权重获取模块对所述第一特征矩阵进行的上述第二处理可以通过一个关联函数来表示。其中，示例性的，通过所述权重获取模块，可以对所述第一特征矩阵中的每个位置(xi，xj)的元素通过关联函数f(xi，xj)计算得到相应的权重值，所述关联函数f(xi，xj)可以表示为：
Figure BDA0002407533120000091
其中，α(xi)为权重获取模块中的第一嵌入层所做的第一卷积处理，β(xj)为权重获取模块中的第二嵌入层所做的第二卷积处理。
在一些实施例中，所述基于所述第二特征矩阵，通过所述解码器进行第三处理，获得所述输出结果，包括：
将所述第二特征矩阵与所述第一输出层的前一层的输出进行融合，获得第六特征矩阵；
将所述第六特征矩阵输入所述解码器；
基于所述第六特征矩阵，通过所述解码器进行第三处理，获得所述输出结果。
如图4所示，为通过所述权重获取模块对所述第一特征矩阵进行第二处理的一种示例性示意图。
其中，所述第一卷积处理可以为所述对所述第一特征矩阵进行第一卷积处理可以是将维度为1*1的第一卷积矩阵与所述第一特征矩阵进行卷积运算；所述对所述第一特征矩阵进行第二卷积处理可以是将维度为1*1的第二卷积矩阵与所述第一特征矩阵进行卷积运算。所述激活函数可以为Softmax激活函数。此外，还可以通过reshape操作，对所述第一特征矩阵等进行矩阵变换，以调整相应矩阵的维度，实现矩阵之间的融合。
本申请实施例中，在获得所述第二特征矩阵之后，为了使得所述解码器的第一输入层可以获得更多尺度的特征，可以进一步将所述第二特征矩阵与所述第一输出层的前一层的输出进行融合，获得第六特征矩阵，再将所述第六特征矩阵输入所述解码器，此时，所述解码器的第二输入层可以获取到所述编码器在不同深度所提取到的特征信息，并可以将不同深度的特征信息进行融合，从而使得所述编码器的第二输入层可以更好地利用医学图像中的一些上下文信息，以进行处理，从而提高所述分割模型的分割性能。
在一些实施例中，在将所述待检测医学图像输入已训练的分割模型之前，还包括：
通过判别模型对待训练的分割模型进行训练，直到训练完成，并获得已训练的分割模型，其中，所述判别模型的输入包括所述待训练的分割模型的至少部分输出，所述判别模型包括卷积神经网络和上采样层，所述卷积神经网络的输出为所述上采样层的输入。
在现有技术中，医学图像分割面临的一大挑战是大量高质量标注数据的获取，足够的标注数据是深度学习模型可靠与否的重要因素。然而，医学图像标注高度依赖专业医师，成本高，且涉及到病人隐私问题，此外，目前国内尚未就医学影像质量和规范实现完全的同质化，不同种类和质量的影像数据不但会影响模型的准确性和普适性，更限制了有效标注的医学图像数据集的规模，从而提高了用于医学图像分割的各类深度学习模型的训练难度。
而本申请实施例中，通过结合所述判别模型和所述分割模型，基于生成对抗网络的形式进行训练，从而可以利用少量标注的医学图像数据和大量未标注的医学图像数据进行训练，从而减小了对所述大量精细标注的医学图像数据的依赖，并提升了训练性能。
具体的，所述判别模型中可以包括卷积神经网络和上采样层，其中，所述上采样层可以用于输出置信图，所述置信图可以用于指示各个所述预测分割结果中与所述真实分割标签所对应的真实医学特征区域的相似度符合预设相似度条件的位置区域。通过在判别模型中加入所述上采样层，加大了判别模型对空间置信度的学习难度，能够使得判别模型的判别性能更强，并且通过对抗学习，可以进一步提升分割模型的分割性能。
需要说明的是，所述判别模型中，可以包括除所述卷积神经网络模型和所述上采样层之外的其他结构，以用于诸如对所述卷积神经网络的输入或者输出、或者所述上采样层的输入或者输出做其他处理，例如，图像增强处理、图像二值化处理等等。并且，所述判别模型的输入可以包括所述待训练的分割模型的至少部分输出，此外，还可以包括标注医学图像样本的真实分割标签，以用于训练所述判别模型的判别性能。
可选的，在一些实施例中，所述通过判别模型对待训练的分割模型进行训练，直到训练完成，并获得已训练的分割模型，包括：
获取医学图像样本，其中，所述医学图像样本包括标注医学图像样本和未标注医学图像样本，所述标注医学图像样本为标注有真实分割标签的医学图像样本，所述未标注医学图像样本为未进行标注的医学图像样本；
将所述标注医学图像样本和未标注医学图像样本输入待训练的分割模型，获得所述待训练的分割模型对各个医学图像样本的预测分割结果；
将所述预测分割结果输入所述判别模型，获得所述判别模型的判别结果和置信图，其中，所述置信图由所述判别模型中的上采样层输出，所述判别结果由所述判别模型中的卷积神经网络输出；
根据所述判别结果、所述置信图和所述预测分割结果，基于预设损失函数计算关于所述待训练的分割模型和所述判别模型的损失值；
基于所述损失值对所述判别模型和所述待训练的分割模型进行训练，直到所得到的损失值符合预设损失条件，则训练完成，并获得已训练的分割模型。
本申请实施例中，在一些示例中，所述医学图像样本可以是对相应的原始医学图像进行归一化处理后得到的。当然，在一些示例中，所述医学图像样本也可以是未做归一化处理的医学图像。
其中，所述置信图可以用于指示各个所述预测分割结果中与所述真实分割标签所对应的真实医学特征区域的相似度符合预设相似度条件的位置区域。
本申请实施例中，关于所述待训练的分割模型和所述判别模型的损失值的类型和具体计算方式可以有多种。示例性的，所述损失值可以包括关于所述分割网络的交叉熵损失、关于标注医学图像样本的监督损失、关于未标注医学图像样本的半监督损失和/或所述判别模型的判别损失等等中的一种或多种。
其中，所述关于未标注医学图像样本的半监督损失可以基于所述置信图确定。具体的，在获得所述置信图之后，可以根据所述置信图，判断关于所述未标注医学图像样本的半监督损失。其中，在一些示例中，可以对所述置信图做进一步处理，例如，可以对所述置信图做二值化或者其他编码处理，以突出所述置信图中的可信区域，从而计算所述未标注医学图像样本的半监督损失。
在基于所述损失值和所述置信图对所述判别模型和所述待训练的分割模型进行训练时，可以通过反向传播进行梯度更新等方式，调整所述判别模型和所述待训练的分割模型的参数，直到所得到的损失值符合预设损失条件。示例性的预设损失条件可以是所述损失值小于预设损失阈值，并且收敛等条件。
现有技术中，传统的半监督训练中，不能很好地评估未标注样本的训练损失，从而导致对采用大量未标注的医学图像数据结合少量标注的医学图像数据对分割模型的训练效果不佳。
而本申请实施例中，通过结合所述置信图，可以有效利用所述标注医学图像样本和未标注医学图像样本之间的关联性，获取所述标注医学图像样本和未标注医学图像样本之间的映射关系，以对所述未标注医学图像样本所对应的第二预测分割子结果与标注医学图像样本所对应的第一预测分割子结果进行比较评估，从而有效提升半监督训练的有效性。
在一些实施例中，所述根据所述判别结果、所述置信图和所述预测分割结果，基于预设损失函数计算关于所述待训练的分割模型和所述判别模型的损失值，包括：
根据所述预测分割结果中，所述标注医学图像样本所对应的第一预测分割子结果与所述标注医学图像样本的真实分割标签，计算关于所述分割模型的第一损失值；
根据所述预测分割结果中所述未标注医学图像样本所对应的第二预测分割子结果和所述置信图，计算所述分割模型的第二损失值；
根据所述预测分割结果，计算关于所述判别模型的第三损失值；
根据所述第一损失值、第二损失值和第三损失值，计算得到所述损失值。
本申请实施例中，所述第一损失值可以根据所述标注医学图像样本所对应的第一预测分割子结果与所述标注医学图像样本的真实分割标签计算得到，而所述第一损失值的具体计算方式和所包含的损失函数类型等可以根据实际经验等来确定。例如，所述第一损失值可以包括关于所述分割网络的交叉熵损失和/或关于标注医学图像样本的监督损失等等。所述第三损失值可以指所述判别模型的判别损失。
而所述第二损失值可以根据所述未标注医学图像样本所对应的第二预测分割子结果和所述置信图计算得到，此时，所述第二损失值也可以称为半监督损失。
本申请实施例中，根据所述第一损失值、第二损失值和第三损失值，计算得到所述损失值的具体方式可以有多种，例如，可以将所述第一损失值、第二损失值和第三损失值，或者，也可以预先设置所述第一损失值、第二损失值和第三损失值所分别对应的权重值，并根据所述第一损失值、第二损失值和第三损失值所分别对应的权重值以及所述第一损失值、第二损失值和第三损失值，计算得到所述损失值。
在一些实施例中，所述根据所述预测分割结果中所述未标注医学图像样本所对应的第二预测分割子结果和所述置信图，计算所述分割模型的第二损失值，包括：
对所述置信图中的各个位置进行编码运算，获得所述置信图所对应的编码图像，所述编码图像包含所述置信图中的每个位置的编码值；
根据编码图像和所述未标注医学图像样本所对应的第二预测分割子结果，计算所述分割模型的第二损失值。
本申请实施例中，所述编码运算可以根据用于对所述置信图中的各个位置进行编码，编码的具体方式可以有多种，所述编码可以用于对所述置信图中的各个位置进行类别标注。示例性的，当所述置信图中的各个位置的类别包括两个类别时，所述编码运算可以是二值化运算；当然，所述编码运算还可以包括其他编码方式，例如，所述编码运算可以基于独热编码(One-Hot Encoding)等方式来进行编码等等。
在一些实施例中，所述编码图像可以用于标注所述第二预测分割子结果中的可信区域，其中，所述可信区域可以基于所述第二预测分割子结果中与真实医学特征区域的相似度符合预设相似度条件的位置区域来确定。此时，在一些情况下，可以根据所述编码图像中的可信区域判断所述未标注医学图像样本所对应的相关损失，即所述第二损失值。
下面以一个具体示例，说明本申请实施例中所述损失值的一种示例性具体计算方式。
在一些示例中，所述标注医学图像样本为{If，Lf}，其中，所述Lf为所述标注医学图像样本的真实分割标签。所述未标注医学图像样本为{I0}。
将所述标注医学图像样本和未标注医学图像样本输入待训练的分割模型，获得所述待训练的分割模型对各个医学图像样本的预测分割结果，其中，所述标注医学图像样本所对应的第一预测分割子结果为
Figure BDA0002407533120000151
所述未标注医学图像样本所对应的第二预测分割子结果为S(Lf)。
此时，根据所述标注医学图像样本为{If，Lf}和第一预测分割子结果
Figure BDA0002407533120000152
计算关于所述分割模型的第一损失值。
所述第一损失值可以包括所述分割网络的交叉熵损失
Figure BDA0002407533120000153
和关于标注医学图像样本的监督损失
Figure BDA0002407533120000154
其中，所述交叉熵损失
Figure BDA0002407533120000155
Figure BDA0002407533120000156
所述监督损失
Figure BDA0002407533120000157
Figure BDA0002407533120000158
此外，可以通过所述判别模型中的上采样层，获得所述第二预测分割子结果的置信图
Figure BDA0002407533120000159
此时，根据所述预测分割结果中所述未标注医学图像样本所对应的第二预测分割子结果和所述置信图，计算所述分割模型的第二损失值
Figure BDA00024075331200001510
Figure BDA00024075331200001511
其中，所述I(·)是指示函数，Tsemi为预设置信阈值，所述Y({If，L0})用于指示所述置信图所对应的编码图像的编码类别，所述编码类别指示所述编码图像是否对应未标注医学图像样本，其中，若编码类别指示所述编码图像对应未标注医学图像样本，则所述Y({If，L0})＝1。
其中，所述预设置信阈值Tsemi可以根据实际经验或者测试结果等来设置。通过设置所述预设置信阈值Tsemi，可以控制模型训练的敏感性。
此外，还可以计算关于所述判别模型的判别损失，即所述第三损失值
Figure BDA0002407533120000161
Figure BDA0002407533120000162
其中，当λ＝0时，对应的是待训练的分割模型输出的预测分割结果；当λ＝1时，对应的是标注有真实分割标签的标注医学图像样本。
在得到所述第一损失值、第二损失值和第三损失值之后，可以根据所述第一损失值、第二损失值和第三损失值，计算得到所述损失值
Figure BDA0002407533120000163
Figure BDA0002407533120000164
其中，所述λadv可以是所述监督损失
Figure BDA0002407533120000165
所对应的权值系数，所述λsemi可以是所述第二损失值
Figure BDA0002407533120000166
所对应的权值系数。
此时，通过调节所述λadv、λsemi，可以权衡调整所述分割模型和所述判别模型的训练结果，例如可以避免过度修正，避免削弱诸如交叉熵损失的效果等。当然，在一些情况下，所述交叉熵损失
Figure BDA0002407533120000167
和所述第三损失值也可以存在对应的权值系数。
在一些情况下，在基于所述损失值对所述判别模型和所述待训练的分割模型进行训练，直到所得到的损失值符合预设损失条件之后，还可以通过用于测试的医学图像测试样本以及用于验证的医学图像验证样本对所述分割模型进行测试和验证，以从所得到的损失值符合预设损失条件的分割模型中，选择最优的分割模型作为所述已训练的分割模型。
如图5所示，为所述分割模型和所述判别模型的一种示例性示意图。
其中，所述分割模型和所述判别模型可以利用标注医学图像样本和未标注医学图像样本，实现半监督训练。
本申请实施例中，可以获取待检测医学图像，并将所述待检测医学图像输入已训练的分割模型，其中，所述分割模型包括编码器和解码器，所述编码器包括多个第一层级结构，所述多个第一层级结构包括第一输入层、至少一个第一中间层和第一输出层，所述解码器包括第二输入层、至少一个第二中间层和第二输出层，其中，任意第二中间层的输入包括所述第二中间层的前一层的输出与至少两个第一层级结构的输出的融合结果；此时，至少可以通过所述解码器中的各个中间层获取到解码器中的多个层所提取的不同尺度的特征，从而充分利用医学图像中的像素点的上下文信息来进行医学图像分割；以获取到所述待检测医学图像中的医学特征区域的分割结果。通过本申请实施例，可以在通过分割模型对医学图像进行处理时有效地利用所提取到的多尺度特征，实现多信息融合，从而提高分割模型的泛化性能，并提升对医学图像进行图像分割的准确性。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的医学图像分割方法，图6示出了本申请实施例提供的一种医学图像分割装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。
参照图6，该医学图像分割装置6包括：
第一获取模块601，用于获取待检测医学图像；
输入模块602，用于将所述待检测医学图像输入已训练的分割模型，其中，所述分割模型包括编码器和解码器，所述编码器包括多个第一层级结构，所述多个第一层级结构包括第一输入层、至少一个第一中间层和第一输出层，所述解码器包括第二输入层、至少一个第二中间层和第二输出层，其中，任意第二中间层的输入包括所述第二中间层的前一层的输出与至少两个第一层级结构的输出的融合结果；
处理模块603，用于通过所述分割模型对所述待检测医学图像进行处理，获得所述分割模型的输出结果，其中，所述输出结果包括关于所述待检测医学图像中的医学特征区域的分割结果。
可选的，所述分割模型包括权重获取模块，所述权重获取模块位于所述编码器和所述解码器之间；
所述处理模块603具体包括：
第一处理单元，用于通过所述编码器对所述待检测医学图像进行第一处理，获得所述编码器输出的第一特征矩阵；
第一输入单元，用于将所述第一特征矩阵输入所述权重获取模块；
第二处理单元，用于通过所述权重获取模块对所述第一特征矩阵进行第二处理，获得所述权重获取模块输出的权重矩阵；
第一融合单元，用于将所述权重矩阵与所述第一特征矩阵进行融合，获得第二特征矩阵；
第三处理单元，用于基于所述第二特征矩阵，通过所述解码器进行第三处理，获得所述输出结果。
可选的，所述第二处理单元具体包括：
第一处理子单元，用于对所述第一特征矩阵进行第一卷积处理，获得第三特征矩阵；
第二处理子单元，用于对所述第一特征矩阵进行第二卷积处理，获得第四特征矩阵；
第三处理子单元，用于将所述第三特征矩阵与第四特征矩阵相乘，获得第五特征矩阵；
第四处理子单元，用于通过激活函数对所述第五特征矩阵进行激活，获得所述权重矩阵。
可选的，所述第三处理单元具体包括：
第一融合子单元，用于将所述第二特征矩阵与所述第一输出层的前一层的输出进行融合，获得第六特征矩阵；
第一输入子单元，用于将所述第六特征矩阵输入所述解码器；
第五处理子单元，用于基于所述第六特征矩阵，通过所述解码器进行第三处理，获得所述输出结果。
可选的，该医学图像分割装置6还包括：
训练模块，用于通过判别模型对待训练的分割模型进行训练，直到训练完成，并获得已训练的分割模型，其中，所述判别模型的输入包括所述待训练的分割模型的至少部分输出，所述判别模型包括卷积神经网络和上采样层，所述卷积神经网络的输出为所述上采样层的输入。
可选的，所述训练模块具体包括：
获取单元，用于获取医学图像样本，其中，所述医学图像样本包括标注医学图像样本和未标注医学图像样本，所述标注医学图像样本为标注有真实分割标签的医学图像样本，所述未标注医学图像样本为未进行标注的医学图像样本；
第四处理单元，用于将所述标注医学图像样本和未标注医学图像样本输入待训练的分割模型，获得所述待训练的分割模型对各个医学图像样本的预测分割结果；
第五处理单元，用于将所述预测分割结果输入所述判别模型，获得所述判别模型的判别结果和置信图，其中，所述置信图由所述判别模型中的上采样层输出，所述判别结果由所述判别模型中的卷积神经网络输出；
计算单元，用于根据所述判别结果、所述置信图和所述预测分割结果，基于预设损失函数计算关于所述待训练的分割模型和所述判别模型的损失值；
训练单元，用于基于所述损失值对所述判别模型和所述待训练的分割模型进行训练，直到所得到的损失值符合预设损失条件，则训练完成，并获得已训练的分割模型。
可选的，所述计算单元具体包括：
第一计算子单元，用于根据所述预测分割结果中，所述标注医学图像样本所对应的第一预测分割子结果与所述标注医学图像样本的真实分割标签，计算关于所述分割模型的第一损失值；
第二计算子单元，用于根据所述预测分割结果中所述未标注医学图像样本所对应的第二预测分割子结果和所述置信图，计算所述分割模型的第二损失值；
第三计算子单元，用于根据所述预测分割结果，计算关于所述判别模型的第三损失值；
第四计算子单元，用于根据所述第一损失值、第二损失值和第三损失值，计算得到所述损失值。
可选的，所述第二计算子单元具体用于：
对所述置信图中的各个位置进行编码运算，获得所述置信图所对应的编码图像，所述编码图像包含所述置信图中的每个位置的编码值；
根据编码图像和所述未标注医学图像样本所对应的第二预测分割子结果，计算所述分割模型的第二损失值。
可选的，所述第二中间层的前一层的输出与至少两个第一层级结构的输出的融合结果为所述第二中间层的前一层的输出、与所述第二中间层相对应的第一层级结构的输出以及与所述第二中间层相对应的第一层级结构的前一层的输出的融合结果。
本申请实施例中，可以获取待检测医学图像，并将所述待检测医学图像输入已训练的分割模型，其中，所述分割模型包括编码器和解码器，所述编码器包括多个第一层级结构，所述多个第一层级结构包括第一输入层、至少一个第一中间层和第一输出层，所述解码器包括第二输入层、至少一个第二中间层和第二输出层，其中，任意第二中间层的输入包括所述第二中间层的前一层的输出与至少两个第一层级结构的输出的融合结果；此时，至少可以通过所述解码器中的各个中间层获取到解码器中的多个层所提取的不同尺度的特征，从而充分利用医学图像中的像素点的上下文信息来进行医学图像分割；以获取到所述待检测医学图像中的医学特征区域的分割结果。通过本申请实施例，可以在通过分割模型对医学图像进行处理时有效地利用所提取到的多尺度特征，实现多信息融合，从而提高分割模型的泛化性能，并提升对医学图像进行图像分割的准确性。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
图7为本申请一实施例提供的终端设备的结构示意图。如图7所示，该实施例的终端设备7包括：至少一个处理器70(图7中仅示出一个)、存储器71以及存储在上述存储器71中并可在上述至少一个处理器70上运行的计算机程序72，上述处理器70执行上述计算机程序72时实现上述任意各个医学图像分割方法实施例中的步骤。
上述终端设备7可以是服务器、手机、可穿戴设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、桌上型计算机、笔记本、台式电脑以及掌上电脑等计算设备。该终端设备可包括，但不仅限于，处理器70、存储器71。本领域技术人员可以理解，图7仅仅是终端设备7的举例，并不构成对终端设备7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入设备、输出设备、网络接入设备等。其中，上述输入设备可以包括键盘、触控板、指纹采集传感器(用于采集用户的指纹信息和指纹的方向信息)、麦克风、摄像头等，输出设备可以包括显示器、扬声器等。
所述处理器70可以是中央处理单元(Central Processing Unit，CPU)，该处理器70还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
上述存储器71在一些实施例中可以是上述终端设备7的内部存储单元，例如终端设备7的硬盘或内存。上述存储器71在另一些实施例中也可以是上述终端设备7的外部存储设备，例如上述终端设备7上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，上述存储器71还可以既包括上述终端设备7的内部存储单元也包括外部存储设备。上述存储器71用于存储操作系统、应用程序、引导装载程序(Boot Loader)、数据以及其他程序等，例如上述计算机程序的程序代码等。上述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。
另外，尽管未示出，上述终端设备7还可以包括网络连接模块，如蓝牙模块Wi-Fi模块、蜂窝网络模块等等，在此不再赘述。
本申请实施例中，上述处理器70执行上述计算机程序72以实现上述任意各个医学图像分割方法实施例中的步骤时，可以获取待检测医学图像，并将所述待检测医学图像输入已训练的分割模型，其中，所述分割模型包括编码器和解码器，所述编码器包括多个第一层级结构，所述多个第一层级结构包括第一输入层、至少一个第一中间层和第一输出层，所述解码器包括第二输入层、至少一个第二中间层和第二输出层，其中，任意第二中间层的输入包括所述第二中间层的前一层的输出与至少两个第一层级结构的输出的融合结果；此时，至少可以通过所述解码器中的各个中间层获取到解码器中的多个层所提取的不同尺度的特征，从而充分利用医学图像中的像素点的上下文信息来进行医学图像分割；以获取到所述待检测医学图像中的医学特征区域的分割结果。通过本申请实施例，可以在通过分割模型对医学图像进行处理时有效地利用所提取到的多尺度特征，实现多信息融合，从而提高分割模型的泛化性能，并提升对医学图像进行图像分割的准确性。
本申请实施例还提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现可实现上述各个方法实施例中的步骤。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上上述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (16)

1.一种医学图像分割方法，其特征在于，包括：
获取待检测医学图像；
将所述待检测医学图像输入已训练的分割模型，其中，所述分割模型包括编码器和解码器，所述编码器包括多个第一层级结构，所述多个第一层级结构包括第一输入层、至少一个第一中间层和第一输出层，所述解码器包括第二输入层、至少一个第二中间层和第二输出层，其中，任意第二中间层的输入包括所述第二中间层的前一层的输出与至少两个第一层级结构的输出的融合结果；
通过所述分割模型对所述待检测医学图像进行处理，获得所述分割模型的输出结果，其中，所述输出结果包括关于所述待检测医学图像中的医学特征区域的分割结果；
在将所述待检测医学图像输入已训练的分割模型之前，还包括：
通过判别模型对待训练的分割模型进行训练，直到训练完成，并获得已训练的分割模型，其中，所述判别模型的输入包括所述待训练的分割模型的至少部分输出，所述判别模型包括卷积神经网络和上采样层，所述卷积神经网络的输出为所述上采样层的输入；
所述通过判别模型对待训练的分割模型进行训练，直到训练完成，并获得已训练的分割模型，包括：
获取医学图像样本，其中，所述医学图像样本包括标注医学图像样本和未标注医学图像样本，所述标注医学图像样本为标注有真实分割标签的医学图像样本，所述未标注医学图像样本为未进行标注的医学图像样本；
将所述标注医学图像样本和未标注医学图像样本输入待训练的分割模型，获得所述待训练的分割模型对各个医学图像样本的预测分割结果；
将所述预测分割结果输入所述判别模型，获得所述判别模型的判别结果和置信图，其中，所述置信图由所述判别模型中的上采样层输出，所述判别结果由所述判别模型中的卷积神经网络输出；
根据所述判别结果、所述置信图和所述预测分割结果，基于预设损失函数计算关于所述待训练的分割模型和所述判别模型的损失值；
基于所述损失值对所述判别模型和所述待训练的分割模型进行训练，直到所得到的损失值符合预设损失条件，则训练完成，并获得已训练的分割模型。
2.如权利要求1所述的医学图像分割方法，其特征在于，所述分割模型包括权重获取模块，所述权重获取模块位于所述编码器和所述解码器之间；
所述通过所述分割模型对所述待检测医学图像进行处理，获得所述分割模型的输出结果，包括：
通过所述编码器对所述待检测医学图像进行第一处理，获得所述编码器输出的第一特征矩阵；
将所述第一特征矩阵输入所述权重获取模块；
通过所述权重获取模块对所述第一特征矩阵进行第二处理，获得所述权重获取模块输出的权重矩阵；
将所述权重矩阵与所述第一特征矩阵进行融合，获得第二特征矩阵；
基于所述第二特征矩阵，通过所述解码器进行第三处理，获得所述输出结果。
3.如权利要求2所述的医学图像分割方法，其特征在于，所述通过所述权重获取模块对所述第一特征矩阵进行第二处理，获得所述权重获取模块输出的权重矩阵，包括：
对所述第一特征矩阵进行第一卷积处理，获得第三特征矩阵；
对所述第一特征矩阵进行第二卷积处理，获得第四特征矩阵；
将所述第三特征矩阵与第四特征矩阵相乘，获得第五特征矩阵；
通过激活函数对所述第五特征矩阵进行激活，获得所述权重矩阵。
4.如权利要求2所述的医学图像分割方法，其特征在于，所述基于所述第二特征矩阵，通过所述解码器进行第三处理，获得所述输出结果，包括：
将所述第二特征矩阵与所述第一输出层的前一层的输出进行融合，获得第六特征矩阵；
将所述第六特征矩阵输入所述解码器；
基于所述第六特征矩阵，通过所述解码器进行第三处理，获得所述输出结果。
5.如权利要求1所述的医学图像分割方法，其特征在于，所述根据所述判别结果、所述置信图和所述预测分割结果，基于预设损失函数计算关于所述待训练的分割模型和所述判别模型的损失值，包括：
根据所述预测分割结果中，所述标注医学图像样本所对应的第一预测分割子结果与所述标注医学图像样本的真实分割标签，计算关于所述分割模型的第一损失值；
根据所述预测分割结果中所述未标注医学图像样本所对应的第二预测分割子结果和所述置信图，计算所述分割模型的第二损失值；
根据所述预测分割结果，计算关于所述判别模型的第三损失值；
根据所述第一损失值、第二损失值和第三损失值，计算得到所述损失值。
6.如权利要求5所述的医学图像分割方法，其特征在于，所述根据所述预测分割结果中所述未标注医学图像样本所对应的第二预测分割子结果和所述置信图，计算所述分割模型的第二损失值，包括：
对所述置信图中的各个位置进行编码运算，获得所述置信图所对应的编码图像，所述编码图像包含所述置信图中的每个位置的编码值；
根据编码图像和所述未标注医学图像样本所对应的第二预测分割子结果，计算所述分割模型的第二损失值。
7.如权利要求1至6任意一项所述的医学图像分割方法，其特征在于，所述第二中间层的前一层的输出与至少两个第一层级结构的输出的融合结果为所述第二中间层的前一层的输出、与所述第二中间层相对应的第一层级结构的输出以及与所述第二中间层相对应的第一层级结构的前一层的输出的融合结果。
8.一种医学图像分割装置，其特征在于，包括：
第一获取模块，用于获取待检测医学图像；
输入模块，用于将所述待检测医学图像输入已训练的分割模型，其中，所述分割模型包括编码器和解码器，所述编码器包括多个第一层级结构，所述多个第一层级结构包括第一输入层、至少一个第一中间层和第一输出层，所述解码器包括第二输入层、至少一个第二中间层和第二输出层，其中，任意第二中间层的输入包括所述第二中间层的前一层的输出与至少两个第一层级结构的输出的融合结果；
处理模块，用于通过所述分割模型对所述待检测医学图像进行处理，获得所述分割模型的输出结果，其中，所述输出结果包括关于所述待检测医学图像中的医学特征区域的分割结果；
医学图像分割装置还包括：
训练模块，用于通过判别模型对待训练的分割模型进行训练，直到训练完成，并获得已训练的分割模型，其中，所述判别模型的输入包括所述待训练的分割模型的至少部分输出，所述判别模型包括卷积神经网络和上采样层，所述卷积神经网络的输出为所述上采样层的输入；
所述训练模块具体包括：
获取单元，用于获取医学图像样本，其中，所述医学图像样本包括标注医学图像样本和未标注医学图像样本，所述标注医学图像样本为标注有真实分割标签的医学图像样本，所述未标注医学图像样本为未进行标注的医学图像样本；
第四处理单元，用于将所述标注医学图像样本和未标注医学图像样本输入待训练的分割模型，获得所述待训练的分割模型对各个医学图像样本的预测分割结果；
第五处理单元，用于将所述预测分割结果输入所述判别模型，获得所述判别模型的判别结果和置信图，其中，所述置信图由所述判别模型中的上采样层输出，所述判别结果由所述判别模型中的卷积神经网络输出；
计算单元，用于根据所述判别结果、所述置信图和所述预测分割结果，基于预设损失函数计算关于所述待训练的分割模型和所述判别模型的损失值；
训练单元，用于基于所述损失值对所述判别模型和所述待训练的分割模型进行训练，直到所得到的损失值符合预设损失条件，则训练完成，并获得已训练的分割模型。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如下步骤：
获取待检测医学图像；
将所述待检测医学图像输入已训练的分割模型，其中，所述分割模型包括编码器和解码器，所述编码器包括多个第一层级结构，所述多个第一层级结构包括第一输入层、至少一个第一中间层和第一输出层，所述解码器包括第二输入层、至少一个第二中间层和第二输出层，其中，任意第二中间层的输入包括所述第二中间层的前一层的输出与至少两个第一层级结构的输出的融合结果；
通过所述分割模型对所述待检测医学图像进行处理，获得所述分割模型的输出结果，其中，所述输出结果包括关于所述待检测医学图像中的医学特征区域的分割结果；
所述处理器执行所述计算机程序时，在将所述待检测医学图像输入已训练的分割模型之前，还包括：
通过判别模型对待训练的分割模型进行训练，直到训练完成，并获得已训练的分割模型，其中，所述判别模型的输入包括所述待训练的分割模型的至少部分输出，所述判别模型包括卷积神经网络和上采样层，所述卷积神经网络的输出为所述上采样层的输入；
所述处理器执行所述计算机程序时，所述通过判别模型对待训练的分割模型进行训练，直到训练完成，并获得已训练的分割模型，包括：
获取医学图像样本，其中，所述医学图像样本包括标注医学图像样本和未标注医学图像样本，所述标注医学图像样本为标注有真实分割标签的医学图像样本，所述未标注医学图像样本为未进行标注的医学图像样本；
将所述标注医学图像样本和未标注医学图像样本输入待训练的分割模型，获得所述待训练的分割模型对各个医学图像样本的预测分割结果；
将所述预测分割结果输入所述判别模型，获得所述判别模型的判别结果和置信图，其中，所述置信图由所述判别模型中的上采样层输出，所述判别结果由所述判别模型中的卷积神经网络输出；
根据所述判别结果、所述置信图和所述预测分割结果，基于预设损失函数计算关于所述待训练的分割模型和所述判别模型的损失值；
基于所述损失值对所述判别模型和所述待训练的分割模型进行训练，直到所得到的损失值符合预设损失条件，则训练完成，并获得已训练的分割模型。
10.如权利要求9所述的终端设备，其特征在于，所述分割模型包括权重获取模块，所述权重获取模块位于所述编码器和所述解码器之间；
所述处理器执行所述计算机程序时，所述通过所述分割模型对所述待检测医学图像进行处理，获得所述分割模型的输出结果，包括：
通过所述编码器对所述待检测医学图像进行第一处理，获得所述编码器输出的第一特征矩阵；
将所述第一特征矩阵输入所述权重获取模块；
通过所述权重获取模块对所述第一特征矩阵进行第二处理，获得所述权重获取模块输出的权重矩阵；
将所述权重矩阵与所述第一特征矩阵进行融合，获得第二特征矩阵；
基于所述第二特征矩阵，通过所述解码器进行第三处理，获得所述输出结果。
11.如权利要求10所述的终端设备，其特征在于，所述处理器执行所述计算机程序时，所述通过所述权重获取模块对所述第一特征矩阵进行第二处理，获得所述权重获取模块输出的权重矩阵，包括：
对所述第一特征矩阵进行第一卷积处理，获得第三特征矩阵；
对所述第一特征矩阵进行第二卷积处理，获得第四特征矩阵；
将所述第三特征矩阵与第四特征矩阵相乘，获得第五特征矩阵；
通过激活函数对所述第五特征矩阵进行激活，获得所述权重矩阵。
12.如权利要求11所述的终端设备，其特征在于，所述处理器执行所述计算机程序时，所述基于所述第二特征矩阵，通过所述解码器进行第三处理，获得所述输出结果，包括：
将所述第二特征矩阵与所述第一输出层的前一层的输出进行融合，获得第六特征矩阵；
将所述第六特征矩阵输入所述解码器；
基于所述第六特征矩阵，通过所述解码器进行第三处理，获得所述输出结果。
13.如权利要求9所述的终端设备，其特征在于，所述处理器执行所述计算机程序时，所述根据所述判别结果、所述置信图和所述预测分割结果，基于预设损失函数计算关于所述待训练的分割模型和所述判别模型的损失值，包括：
根据所述预测分割结果中，所述标注医学图像样本所对应的第一预测分割子结果与所述标注医学图像样本的真实分割标签，计算关于所述分割模型的第一损失值；
根据所述预测分割结果中所述未标注医学图像样本所对应的第二预测分割子结果和所述置信图，计算所述分割模型的第二损失值；
根据所述预测分割结果，计算关于所述判别模型的第三损失值；
根据所述第一损失值、第二损失值和第三损失值，计算得到所述损失值。
14.如权利要求13所述的终端设备，其特征在于，所述处理器执行所述计算机程序时，所述根据所述预测分割结果中所述未标注医学图像样本所对应的第二预测分割子结果和所述置信图，计算所述分割模型的第二损失值，包括：
对所述置信图中的各个位置进行编码运算，获得所述置信图所对应的编码图像，所述编码图像包含所述置信图中的每个位置的编码值；
根据编码图像和所述未标注医学图像样本所对应的第二预测分割子结果，计算所述分割模型的第二损失值。
15.如权利要求9至14任意一项所述的终端设备，其特征在于，所述处理器执行所述计算机程序时，所述第二中间层的前一层的输出与至少两个第一层级结构的输出的融合结果为所述第二中间层的前一层的输出、与所述第二中间层相对应的第一层级结构的输出以及与所述第二中间层相对应的第一层级结构的前一层的输出的融合结果。
16.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的医学图像分割方法。
CN202010166149.2A 2020-03-11 2020-03-11 医学图像分割方法、医学图像分割装置及终端设备 Active CN111429464B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010166149.2A CN111429464B (zh) 2020-03-11 2020-03-11 医学图像分割方法、医学图像分割装置及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010166149.2A CN111429464B (zh) 2020-03-11 2020-03-11 医学图像分割方法、医学图像分割装置及终端设备

Publications (2)

Publication Number Publication Date
CN111429464A CN111429464A (zh) 2020-07-17
CN111429464B true CN111429464B (zh) 2023-04-25

Family

ID=71546427

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010166149.2A Active CN111429464B (zh) 2020-03-11 2020-03-11 医学图像分割方法、医学图像分割装置及终端设备

Country Status (1)

Country Link
CN (1) CN111429464B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111932555A (zh) * 2020-07-31 2020-11-13 商汤集团有限公司 一种图像处理方法及装置、计算机可读存储介质
CN112132841B (zh) * 2020-09-22 2024-04-09 上海交通大学 医疗图像切割方法及装置
CN113140291B (zh) * 2020-12-17 2022-05-10 慧影医疗科技(北京)股份有限公司 图像分割方法、装置、模型训练方法及电子设备
CN112785575B (zh) * 2021-01-25 2022-11-18 清华大学 一种图像处理的方法、装置和存储介质
CN112966687B (zh) * 2021-02-01 2024-01-19 深圳市优必选科技股份有限公司 图像分割模型训练方法、装置及通信设备
CN113160243A (zh) * 2021-03-24 2021-07-23 联想(北京)有限公司 一种图像分割方法及电子设备
CN113284088B (zh) * 2021-04-02 2024-03-29 中国科学院深圳先进技术研究院 一种csm图像分割方法、装置、终端设备及存储介质
CN113326851B (zh) * 2021-05-21 2023-10-27 中国科学院深圳先进技术研究院 图像特征提取方法、装置、电子设备及存储介质
CN113159056B (zh) * 2021-05-21 2023-11-21 中国科学院深圳先进技术研究院 图像分割方法、装置、设备及存储介质
CN113643318B (zh) * 2021-06-30 2023-11-24 深圳市优必选科技股份有限公司 图像分割方法、图像分割装置及终端设备
CN113393469A (zh) * 2021-07-09 2021-09-14 浙江工业大学 基于循环残差卷积神经网络的医学图像分割方法和装置
CN113822901B (zh) * 2021-07-21 2023-12-12 南京旭锐软件科技有限公司 图像分割方法、装置、存储介质及电子设备
CN117372306B (zh) * 2023-11-23 2024-03-01 山东省人工智能研究院 一种基于双编码器的肺部医学影像增强方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097131A (zh) * 2019-05-08 2019-08-06 南京大学 一种基于对抗协同训练的半监督医疗图像分割方法
CN110136147A (zh) * 2019-05-21 2019-08-16 湖北工业大学 一种基于U-Net模型的分割医学图像的方法、装置及存储介质
CN110738663A (zh) * 2019-09-06 2020-01-31 上海衡道医学病理诊断中心有限公司 双域适应模块金字塔型网络及无监督域适应图像分割方法
CN110827297A (zh) * 2019-11-04 2020-02-21 中国科学院自动化研究所 基于改进的条件生成对抗网络的绝缘子分割方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10825219B2 (en) * 2018-03-22 2020-11-03 Northeastern University Segmentation guided image generation with adversarial networks
CN108876792B (zh) * 2018-04-13 2020-11-10 北京迈格威科技有限公司 语义分割方法、装置和系统及存储介质
CN109034162B (zh) * 2018-07-13 2022-07-26 南京邮电大学 一种图像语义分割方法
CN110197493B (zh) * 2019-05-24 2021-04-23 清华大学深圳研究生院 眼底图像血管分割方法
CN110503654B (zh) * 2019-08-01 2022-04-26 中国科学院深圳先进技术研究院 一种基于生成对抗网络的医学图像分割方法、系统及电子设备
CN110675406A (zh) * 2019-09-16 2020-01-10 南京信息工程大学 基于残差双注意力深度网络的ct图像肾脏分割算法
CN110807762B (zh) * 2019-09-19 2021-07-06 温州大学 一种基于gan的视网膜血管图像智能分割方法
CN110689083B (zh) * 2019-09-30 2022-04-12 苏州大学 一种上下文金字塔融合网络及图像分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097131A (zh) * 2019-05-08 2019-08-06 南京大学 一种基于对抗协同训练的半监督医疗图像分割方法
CN110136147A (zh) * 2019-05-21 2019-08-16 湖北工业大学 一种基于U-Net模型的分割医学图像的方法、装置及存储介质
CN110738663A (zh) * 2019-09-06 2020-01-31 上海衡道医学病理诊断中心有限公司 双域适应模块金字塔型网络及无监督域适应图像分割方法
CN110827297A (zh) * 2019-11-04 2020-02-21 中国科学院自动化研究所 基于改进的条件生成对抗网络的绝缘子分割方法

Also Published As

Publication number Publication date
CN111429464A (zh) 2020-07-17

Similar Documents

Publication Publication Date Title
CN111429464B (zh) 医学图像分割方法、医学图像分割装置及终端设备
WO2021179205A1 (zh) 医学图像分割方法、医学图像分割装置及终端设备
CN113159147B (zh) 基于神经网络的图像识别方法、装置、电子设备
CN113077434B (zh) 基于多模态信息的肺癌识别方法、装置及存储介质
CN114462412B (zh) 实体识别方法、装置、电子设备及存储介质
CN112614144A (zh) 一种图像分割方法、装置、设备及存储介质
CN111325714A (zh) 感兴趣区域的处理方法、计算机设备和可读存储介质
CN117112829B (zh) 医疗数据跨模态检索方法、装置和相关设备
CN113192639B (zh) 信息预测模型的训练方法、装置、设备及存储介质
CN111028940A (zh) 肺结节多尺度检测方法、装置、设备及介质
CN113764101A (zh) 基于cnn的乳腺癌新辅助化疗多模态超声诊断系统
CN116721772B (zh) 肿瘤治疗预后预测方法、装置、电子设备及存储介质
CN113192031A (zh) 血管分析方法、装置、计算机设备和存储介质
CN116778579A (zh) 多人姿态的识别方法、装置、存储介质及电子设备
CN116434303A (zh) 基于多尺度特征融合的人脸表情捕捉方法、装置及介质
CN113239814B (zh) 基于光流重构的面部表情识别方法、装置、设备及介质
CN115497092A (zh) 图像处理方法、装置及设备
CN114943695A (zh) 医学序列影像的异常检测方法、装置、设备及存储介质
CN117036658A (zh) 一种图像处理方法及相关设备
Ding et al. AGIM-net based subject-sensitive hashing algorithm for integrity authentication of HRRS images
CN108154107B (zh) 一种确定遥感图像归属的场景类别的方法
CN112991266A (zh) 用于小样本医疗影像的语义分割方法及系统
CN113077440A (zh) 病理图像的处理方法、装置、计算机设备和存储介质
CN117036788B (zh) 图像分类方法、训练图像分类模型的方法及装置
Tyagi et al. ForensicNet: Modern CNN-based Image Forgery Detection Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant