CN111373439A - 使用cnn进行图像分割的方法 - Google Patents

使用cnn进行图像分割的方法 Download PDF

Info

Publication number
CN111373439A
CN111373439A CN202080000389.3A CN202080000389A CN111373439A CN 111373439 A CN111373439 A CN 111373439A CN 202080000389 A CN202080000389 A CN 202080000389A CN 111373439 A CN111373439 A CN 111373439A
Authority
CN
China
Prior art keywords
feature map
input
input feature
attention
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080000389.3A
Other languages
English (en)
Other versions
CN111373439B (zh
Inventor
刘尚平
王陆
张平平
卢湖川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hong Kong Applied Science and Technology Research Institute ASTRI
Original Assignee
Hong Kong Applied Science and Technology Research Institute ASTRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/785,784 external-priority patent/US11270447B2/en
Application filed by Hong Kong Applied Science and Technology Research Institute ASTRI filed Critical Hong Kong Applied Science and Technology Research Institute ASTRI
Publication of CN111373439A publication Critical patent/CN111373439A/zh
Application granted granted Critical
Publication of CN111373439B publication Critical patent/CN111373439B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

在使用编码器‑解码器结构进行图像分割的卷积神经网络(CNN)中，多尺度上下文聚合模块从编码器接收最终编码特征图，并顺序地从全局尺度到局部尺度聚合该特征图的多尺度上下文，以强化不同尺度上下文的语义关系，从而提高分割精度。通过对特征图计算不同扩张率的空洞卷积来获得多尺度上下文。为了减少CNN所需的计算量，在解码器中使用了基于通道的特征选择(CFS)模块来合并两个输入特征图。每个特征图都由全局池化层，然后是全连接层或1×1卷积层处理，以选择高激活的通道。通过随后的按通道进行相乘和按元素进行相加，在合并的特征图中仅保留和增强了两个特征图中均具有高激活的通道。

Description

使用CNN进行图像分割的方法
缩略语表
2D 二维
3D 三维
CFS 基于通道的特征选择
CNN 卷积神经网络
CPU 中央处理器
CT 计算机断层扫描
DS DICE 分数
FLOP 浮点运算
GP 全局池化
GPU 图形处理单元
MB 兆字节
MRI 磁共振成像
OCT 光学相干断层扫描
PET 正电子发射断层扫描
TDP 热设计功率
技术领域
本公开总体上涉及使用CNN的图像分割。特别地，本公开涉及用于提高分割精度并减少计算需求的CNN的网络结构。
背景技术
医学图像分割涉及通过自动或半自动过程从医学图像或一系列图像中提取感兴趣的解剖区域。人工智能在自动分割医学图像中应用广泛。特别地，在图像理解中可配置成类似于人类视觉系统的神经回路的CNN也越来越多地被应用到医学图像分割中。
大多数的CNN模型被设计用于处理自然图像。这些模型(例如PSPNet、Mask-RCNN和DeepLabv3+)是大型网络，每个都拥有大量参数。例如，PSPNet具有6600万个参数，而DeepLabv3+具有4100万个参数。由于大部分尖端医学设备更侧重于优化其所提供的医学功能，而不是计算力，所以这类大型网络很难被部署。如果尖端医学设备是移动或便携式的，则实现大型CNN甚至会更加困难。另外，使用有限数量的训练图像的医学数据集来训练大型网络也较为困难。例如，用于训练DeepLabv3+的数据集包括PASCAL VOC 2012(11540张图像)和Cityscapes(5000张图像)。医学数据集是为特定的临床成像(如脑成像)量身定制的。此外，存在许多成像模态，例如CT、MRI、X射线、超声、显微镜检查、内窥镜检查、OCT、皮肤镜检查等。针对不同的模态，CNN训练需要使用不同的医学数据集。因此，开发具有大量用于CNN训练的分割图像的医学数据集通常并不容易。
尽管一些例如ENet、ESPNet和Fast-SCNN之类的轻量级网络已经被设计用于移动计算设备，但是这些网络所实现的分割精度对于大多数医学应用而言往往不够高。U-Net被设计用于分割生物医学图像，并且相对轻量级，但是它也存在分割精度的问题。为了满足大多数医学应用的分割精度要求，仍需要提高U-Net的分割精度。针对U-Net的大多数扩展和修改都是为了提高精度而进行的，但是这会导致大量的额外计算成本。例如，U-Net++所需的计算量是U-Net所需的计算量的2.5倍。
在本领域中，需要一种在分割精度上优于U-Net，同时与U-Net相比保持或甚至减少了计算需求的轻量级CNN模型。尽管此轻量级CNN模型对于医学图像分割特别有利，但可以预期，此CNN模型也可用于对医学图像以外的图像进行分割。
发明内容
本公开提供了一种用于将输入图像分割成分割图的计算机实现的方法。该方法包括在卷积神经网络(CNN)被训练之后，运行该CNN以从输入图像生成分割图的步骤。
该CNN包括编码器、多尺度上下文聚合模块和解码器。编码器被设置为通过多个编码级将输入图像编码为最终编码特征图，在生成最终编码特征图之前生成一个或多个中间中间编码特征图。多尺度上下文聚合模块用于相对于U-Net提高分割精度。多尺度上下文聚合模块被设置为顺序地从全局尺度到局部尺度聚合最终编码特征图的多尺度上下文，以允许强化不同尺度的相应上下文的语义关系，从而提高分割精度。由此通过多尺度上下文聚合模块生成聚合上下文特征图。解码器被设置为直接或间接地根据最终编码特征图和一个或多个中间编码特征图对聚合上下文特征图进行解码，从而生成分割图。
多尺度上下文聚合模块还被设置为计算最终编码特征图的多个空洞卷积特征图，并从多个空洞卷积特征图计算聚合上下文特征图。特别地，分别针对N个不同的扩张率，计算最终编码特征图的N个空洞卷积特征图，以从最终编码特征图提取多尺度上下文，其中N≥2。对于n∈{1,2,…,N}，通过计算
Figure BDA0002430376860000031
的递归过程，计算聚合上下文特征图sN，其中，rn是第n个计算的空洞卷积特征图，sn是聚合上下文特征图的第n个中间结果，s0是空特征图，
Figure BDA0002430376860000032
表示按元素进行相加，并且fn是第n个非线性函数。另外，(r1,r2,…,rN)形成空洞卷积特征图的序列，该序列以扩张率的降序排列，从而在聚合上下文特征图的计算中允许最终编码特征图的局部尺度上下文在其全局尺度上下文的引导下被聚合。非线性函数f1,f2,…,fN是独立配置的。
优选地，fn由fn(x)＝x+gn(x)给出，其中，x表示输入特征图，fn(x)表示第n个非线性函数对于输入特征图的输出，并且gn(x)是fn(x)的非线性分量。多尺度上下文聚合模块可以包括用于计算f1,f2,…,fN的多个瓶颈块。单独的瓶颈块可以包括一个或多个卷积层。
解码器包括多个解码级。单独的解码级被设置为接收第一和第二输入特征图以生成一个输出图。第一和第二输入特征图均具有相同的尺寸和相同数量的通道。单独的解码级包括合并模块和解码块。合并模块被设置为合并第一输入特征图和第二输入特征图以形成合并的特征图。解码块被设置为对合并的特征图进行解码以给出输出图。
优选地，合并模块是用于减少计算需求的CFS模块。CFS模块被设置为用GP层和注意力层的单独的级联处理第一输入特征图和第二输入特征图中的每一个，以分别生成尺寸为1×1×C的第一注意力特征图和第二注意力特征图。第一输入特征图和第二输入特征图中的每一个都具有W×H×C的尺寸。GP层对相应的输入特征图的C个通道中的每个通道中的W×H个数据执行池化操作，以产生尺寸为1×1×C的GP输出特征图。注意力层通过根据GP输出特征图确定C个通道中的每一个的注意力使得C个通道中激活更高的通道具有更高的注意力来生成相应的注意力特征图。注意力层是全连接层，也可以是1×1卷积层。在处理第一输入特征图和第二输入特征图时，单独的级联的注意力层中使用了相同的一组权重。CFS模块还被设置为：将第一输入特征图与第二注意力特征图按通道进行相乘，以产生第一后处理的输入特征图；将第二输入特征图与第一注意力特征图按通道进行相乘，以产生第二后处理的输入特征图；和对第一后处理的输入特征图和第二后处理的输入特征图按元素进行相加以给出合并的特征图，以便保留和增强在第一输入特征图和第二输入特征图中具有高激活的通道。
在某些实施例中，池化操作是计算平均值的第一操作或找到最大值的第二操作。
在某些实施例中，注意力层采用Sigmoid函数作为激活函数。
在某些实施例中，相应的注意力特征图中的每个数据在0至1的范围内。
多个解码级包括初始解码级和一个或多个后续解码级。一个或多个后续解码级包括最后解码级。初始解码级的第一输入特征图是聚合上下文特征图，并且其第二输入特征图是最终编码特征图或从最终编码特征图导出。单独的后续解码级的第一输入特征图是紧接在该单独的后续解码级之前的解码级的输出图，并且其第二输入特征图是从一个或多个中间编码特征图中选择的特征图或从其导出。最后解码级的输出图是分割图。在某些实施例中，单独的解码级的解码块包括一个或多个卷积层。最后解码级的解码块被实现为1×1卷积层。
可选地，该CNN还包括一个或多个1×1卷积层。单独的1×1卷积层被设置为导出从多个解码级中选择的解码级的第二输入特征图。通过重采样由编码器生成的对应的特征图来从对应的特征图导出所选择的解码级的第二输入特征图，以使所选择的解码级的第一输入特征图和第二输入特征图具有相同的尺寸。
在某些实施例中，单独的编码级包括一个或多个卷积层。
本公开还提供了用于将输入图像分割成分割图的第二计算机实现的方法。该方法包括在CNN被训练之后，运行该CNN以从输入图像生成分割图的步骤。
该CNN包括编码器和解码器。编码器被设置为通过多个编码级将输入图像编码为最终编码特征图，在生成最终编码特征图之前生成一个或多个中间编码特征图。解码器被设置为直接或间接地根据一个或多个中间编码特征图对最终编码特征图进行解码，从而生成分割图。解码器包括多个解码级。单独的解码级被设置为接收第一和第二输入特征图以生成一个输出图。第一和第二输入特征图均具有相同的尺寸和相同数量的通道。单独的解码级包括合并模块和解码块。合并模块被设置为合并第一输入特征图和第二输入特征图以形成合并的特征图。解码块被设置为对合并的特征图进行解码以给出输出图。合并模块是以上针对第一计算机实现的方法所公开的CFS模块的任何实施例。
多个解码级包括初始解码级和一个或多个后续解码级。一个或多个后续解码级包括最后解码级。初始解码级的第一输入特征图是最终编码特征图。单独的后续解码级的第一输入特征图是紧接在该单独的后续解码级之前的解码级的输出图。单独的解码级的第二输入特征图是从一个或多个中间编码特征图中选择的特征图或从其导出。最后解码级的输出图是分割图。在某些实施例中，单独的解码级的解码块包括一个或多个卷积层。最后解码级的解码块被实现为1×1卷积层。
可选地，该CNN还包括一个或多个1×1卷积层。单独的1×1卷积层被设置为导出从多个解码级中选择的解码级的第二输入特征图。通过重采样由编码器生成的对应的特征图来从对应的特征图导出所选择的解码级的第二输入特征图，以使所选择的解码级的第一输入特征图和第二输入特征图具有相同的尺寸。
在某些实施例中，单独的编码级包括一个或多个卷积层。
如下文的实施例所示，公开了本公开的其他方面。
附图说明
图1描绘了U-Net的结构。
图2描绘了示例性CNN模型，其包括用于提高分割精度的多尺度上下文聚合模块，以及优选地，包括用于减少计算需求的CFS模块。
图3描绘了CNN模型的多尺度上下文聚合模块的示例性示意图。
图4描绘了用作CNN模型的合并模块的示例性CFS模块的示意图。
图5描绘了由U-Net使用的常规合并方案和基于CFS模块的合并方案，用于比较两个方案的乘法数。
图6描绘了对图2的CNN模型的修改，以实现减少计算的优势。
具体实施方式
CNN是具有多个隐藏层的神经网络，至少一些隐藏层是卷积层，其中，每个卷积层用于以提供给该层的输入执行卷积或点积。CNN由计算设备实现并运行，该计算设备被编程有用于根据CNN的网络结构执行数据操作的程序代码。
本文公开了一种CNN模型，其相对于U-Net提高了医学图像的分割性能，同时与U-Net相比保持或减少了计算要求。特别地，该CNN模型采用多尺度上下文聚合模块以实现提高分割性能的第一目标，并采用CFS模块以减少计算需求。
在阐述所公开的CNN模型之前，下面提供U-Net的概述。U-Net由O.RONNEBERGER、P.FISCHER和T.BROX于2015年在“U-Net：用于生物医学图像分割的卷积网络(U-Net:Convolutional Networks for Biomedical Image Segmentation)”中提出，该文记载在计算机科学讲义，第9351卷，Springer，医学图像计算和计算机辅助干预-MICCAI 2015，NavabN.、Hornegger J.、Wells W.、Frangi A.(编辑)，通过引用将其公开内容并入本文。图1描绘了U-Net的结构。U-Net采用编码器-解码器结构100。输入图像102由编码器110处理，以通过卷积和下采样生成高维特征。编码器110的主要输出是包含所生成的高维特征的多通道特征图118。编码器110通过多个编码级来处理输入图像102。最终编码级产生特征图118，其可以被称为最终编码特征图。每个先前的编码级产生中间编码特征图。如图1所示，有四个中间编码特征图111-114。每个中间编码特征图111-114是多通道的。注意，作为说明的示例，中间编码特征图111与经历了更多数量的编码级的另一中间编码特征图114相比具有较少数量的通道。这表明经过更多编码级之后，中间编码特征图的特征将变得更加丰富。最终编码特征图118的特征最丰富。解码器120获取最终编码特征图118中的高维特征，并通过卷积和上采样从其生成输出分割图103。解码器120具有多个解码级。由编码器110生成的中间编码特征图111-114也由解码器120在各个解码级期间使用，以生成输出分割图103。
下面借助图2说明本文公开的CNN模型，图2描绘了用于将输入图像202分割成分割图203的示例性CNN模型200。
类似于U-Net，CNN模型200采用编码器-解码器结构来分割输入图像202。CNN模型200包括编码器210和解码器260。有利地，CNN模型200还包括多尺度上下文聚合模块250，用于进一步处理由编码器210生成的最终编码特征图215-M，而不是使最终编码特征图215-M由解码器260直接解码。
编码器210被设置为通过多个编码级(实现为M个编码块211-1:M)将输入图像202编码为最终编码特征图215-M，在生成最终编码特征图215-M之前生成一个或多个中间编码特征图215-1:(M-1)。一个或多个中间编码特征图215-1:(M-1)和最终编码特征图215-M共同形成由编码器210生成的多个特征图215-1:M。当编码级被实现为M个编码块211-1:M(其中M≥2)时，在编码器210中有M个编码级。类似于U-Net，每个编码块211-1:M通常包括一个或多个卷积层。此外，下采样可以在一个或多个编码块211-1:M中用于特征图生成。下采样的方法包括最大池化和卷积下采样。
最终编码特征图215-M包含上下文信息。大尺度或全局尺度的上下文信息包含更多的语义，而小尺度或局部尺度的上下文信息包含更多的几何细节。最终编码特征图215-M可分解为多尺度上下文，其包括大尺度上下文和小尺度上下文。在人类视觉系统中，通过使用全局先验信息来指导理解局部特征，在神经回路中分析图像。例如，参见C.-C.WU、F.A.WICK和M.POMPLUN的评论文章，“通过现实世界场景中的语义信息引导视觉注意力(Guidance of visual attention by semantic information in real-world scenes)”，心理学前沿，第5卷，第54篇，2014年2月，其公开内容通过引用合并于此。通过考虑多尺度上下文之间的关系，即语义鸿沟和全局引导，有利的是顺序地将上下文信息从全局尺度上下文聚合到局部尺度上下文，以便使用所得的聚合上下文信息进行分割有可能相对于直接使用最终编码特征图215-M增加分割精度。基于上述观察，开发了多尺度上下文聚合模块250。
多尺度上下文聚合模块250被设置为顺序地从全局尺度到局部尺度聚合最终编码特征图215-M的多尺度上下文，以允许强化不同尺度的相应上下文的语义关系。多尺度上下文聚合模块250生成聚合上下文特征图255作为输出。有利地，多尺度上下文聚合模块250是可配置的。通过根据人类视觉机制强化多尺度上下文之间的语义关系，在解码时通过使用聚合上下文特征图255而相对于直接使用最终编码特征图215-M提高了所得分割精度。
解码器260被设置为直接或间接地根据最终编码特征图215-M和一个或多个中间编码特征图215-1:(M-1)对聚合上下文特征图255进行解码。分割图203由解码器260生成。
图3描绘了多尺度上下文聚合模块250的示例性示意图。
在多尺度上下文聚合模块250中，通过在不同的扩张率下对最终编码特征图215-M进行空洞卷积，从最终编码特征图215-M中提取多尺度上下文。空洞卷积也称为扩张卷积。空洞卷积及其数学公式的细节在本领域中是可获得的，例如：F.YU和V.KOLTUN的“通过扩张卷积的多尺度上下文聚合(Multi-scale context aggregation by dilatedconvolutions)”，该文发表于ICLR 2016会议，arXiv:1511.07122，其公开内容通过引用并入本文。扩张率，也称为扩张因子，是用于计算空洞卷积的参数。较大尺度的上下文通过以较大的扩张率进行空洞卷积而获得。相反，在较小的扩张率下进行空洞卷积产生较小尺度的上下文。与提取多尺度上下文信息的其他技术相比，空洞卷积的一个主要优势是支持感受域的指数扩张而不损失分辨率或覆盖范围。空洞卷积的另一主要优势是只需少量的计算就可以生成较大尺度的上下文。例如，扩张率为9的3×3核与19×19核具有相同的视野。多尺度上下文聚合模块250被设置为对最终编码特征图215-M以N个不同的扩张率d1,d2,…,dN进行N个实例的空洞卷积，其中N≥2且d1>d2>…>dN。这产生r1,r2,…,rN，其中rn是第n个空洞卷积特征图。将最大的扩张率d1选择为足够大，例如9和17，以便提取全局尺度上下文。通常，最小的扩张率dN被选择为1以提取局部尺度上下文。总体上，扩张率由最终编码特征图215-M中的特征的大小确定。请注意，(r1,r2,…,rN)形成空洞卷积特征图的序列，该序列以扩张率的降序排列，或者等效地从全局尺度上下文到局部尺寸上下文排列。
如上所述，聚合上下文特征图255是通过顺序地从全局尺度上下文到局部尺度上下文聚合上下文信息而获得的。特别地，对于n∈{1,2,…,N}通过递归过程
Figure BDA0002430376860000091
从r1,r2,…,rN计算聚合上下文特征图255，其中，sN是聚合上下文特征图255，sn是聚合上下文特征图255的第n个中间结果，s0被初始化为空特征图，
Figure BDA0002430376860000092
表示按元素进行相加，并且fn是第n个非线性函数。注意，sn-1表示从r1到rn-1的上下文信息的非线性聚合。由于r1,r2,…,rN以扩张率的降序排列，或等效地从全局尺度到局部尺度排列，因此rn中的上下文信息的尺度小于sn-1中存在的上下文信息的任何尺度。rn和sn-1的按元素进行相加意味着将较小尺度的新上下文信息添加到sn-1。由于r1,r2,…,rN从全局尺度到局部尺度排列，因此使得最终编码特征图215-M的局部尺度上下文在其全局尺度上下文的引导下被聚合。非线性函数f1,f2,…,fN是独立配置的。多尺度上下文聚合模块250引入更复杂的非线性操作(作为所使用的多个非线性函数)。结果，与简单的卷积操作相比，它具有更强的容量来建模不同上下文的关系。
利用聚集上下文特征图255的空洞卷积和递归计算的多尺度上下文聚集模块250的优势总结如下。第一，结合了增强的深度特征以帮助提高分割精度。第二，全局到局部的聚合减少了不同尺度的上下文之间的语义鸿沟，从而导致平滑的预测。第三，以残差提炼的方式逐步整合局部特征，从而有效地帮助端到端的训练。
优选地，将非线性函数fn选择为fn(x)＝x+gn(x)，其中，x表示输入特征图，fn(x)表示第n个非线性函数对于输入特征图的输出，并且gn(x)是fn(x)的非线性分量。对fn的这种选择避免了这样一种不利情况，即由于训练不良的非线性函数，
Figure BDA0002430376860000101
中包含的上下文信息会被破坏或失真。另外，可以通过ResNet的瓶颈块来计算由fn(x)＝x+gn(x)建模的每个非线性函数f1,f2,…,fN。对于瓶颈块的描述，请参见2016年CVPR中K.HE等人的“用于图像识别的深度残差学习(Deep Residual Learning for Image Recognition)”，其公开内容通过引用合并于此。优选地，多尺度上下文聚合模块250包括用于计算f1,f2,…,fN的多个瓶颈块320-1:N。瓶颈块320-1:N中的每一个都可以用一个或多个卷积层来实现。
参考图2。解码器260包括多个解码级261-1:M。在下文的描述中，除非另有说明，否则m被认为是m∈{1,2,…,M}。单独的解码级261-m被设置为接收第一输入特征图265-m和第二输入特征图266-m以生成输出图。第一和第二输入特征图265-m、266-m中的每一个具有相同的尺寸和相同数量的通道。单独的解码级261-m包括合并模块262-m和解码块263-m。合并模块262-m被设置为合并第一和第二输入特征图265-m、266-m以形成合并的特征图267-m。解码块263-m被设置为对合并的特征图267-m进行解码以给出输出图。
多个解码级261-1:M包括初始解码级261-1和一个或多个后续解码级261-2:M。一个或多个后续解码级261-2:M包括最后解码级261-M。最后解码级261-M的输出图是分割图203。
初始解码级261-1的第一输入特征图265-1是聚合上下文特征图255。初始解码级261-1的第二输入特征图266-1是最终编码特征图215-M或从其导出。
单独的后续解码级261-m'的第一输入特征图265-m'是紧接在单独的后续解码级261-m'之前的解码级261-(m'-1)的输出图，其中，m′∈{2,3,…,M}。解码级261-m'的第二输入特征图266-m'是从一个或多个中间编码特征图215-1:(M-1)中选择的特征图或从其导出。
可选地，CNN模型200还包括一个或多个1×1卷积层270-1:M。由于需要由各个解码级261-m接收的第一和第二输入特征图265-m、266-m具有相同的尺寸，并且由于由编码器210生成并由合并块262-m使用的对应的特征图可能与第一输入特征图265-m的尺寸不匹配，因此1×1卷积层270-1:M中的一个可用于重采样上述对应的特征图，以导出第二输入特征图266-m，使得第一和第二输入特征图265-m、266-m具有相同的尺寸。
单独的解码级261-m的解码块263-m包括一个或多个卷积层。特别地，最后解码级261-M的解码块263-M被实现为1×1卷积层。
合并块262-m可以通过类似于U-Net的设置来实现。即，合并块262-m可以被设置为级联第一输入特征图265-m和第二输入特征图266-m，以形成扩展的特征图(具有比两个输入特征图265-m、266-m中的每一个更高数量的通道)，然后应用卷积层以将扩展的特征图压缩为合并的特征图267-m，其中，合并的特征图267-m具有比扩展的特征图少的通道数。但是，这种设置涉及很多计算。为了减少计算量，本文公开的CFS模块有利地用于实现合并块262-m。
图4描绘了示例性CFS模块400的示意图，该模块用于接收第一和第二输入特征图265-m、266-m以生成合并的特征图267-m。
在CFS模块400中，第一输入特征图265-m由第一GP层411和第一注意力层412的第一级联410处理，以产生第一注意力特征图413。类似地，第二输入特征图266-m由第二GP层416和第二注意力层417的第二级联415处理，以产生第二注意力特征图418。为了说明，考虑第一输入特征图265-m和第二输入特征图266-m中的每一个的尺寸为W×H×C。第一注意力特征图413和第二注意力特征图418中的每一个的尺寸为1×1×C。
在第一级联410中，第一GP层411对第一输入特征图265-m的C个通道中的每个通道中的W×H个数据执行池化操作，以产生尺寸为1×1×C的第一GP输出特征图414。第一注意力层412通过根据第一GP输出特征图414确定C个通道中的每一个的注意力使得C个通道中激活更高的通道具有更高的注意力来生成第一注意力特征图413。通道具有高激活意味着该通道中包含大量信息，并且该信息预期从例如一层传递到下一层。因此，具有高激活的通道被给予更高的注意力。第一注意力特征图413包含第一输入特征图265-m的丰富语义信息。如果由第一注意力特征图413给出的第i个通道的值大，则表明第i个通道具有高激活，从而第一输入特征图265-m包含由第i个通道表示的语义。
第一和第二级联410、415执行类似的功能。在第二级联415中，第二GP层416对第二输入特征图266-m的C个通道中的每个通道中的W×H个数据执行池化操作，以产生尺寸为1×1×C的第二GP输出特征图419。第二注意力层417通过根据第二GP输出特征图419确定C个通道中的每一个的注意力使得C个通道中激活更高的通道具有更高的注意力来生成第二注意力特征图418。类似地，第二注意力特征图418包含第二输入特征图266-m的丰富语义信息。如果第二注意力特征图418给出的第i个通道的值大，则表明第i个通道具有高激活，从而第二输入特征图266-m包含第i个通道表示的语义。
注意，在第一GP层411和第二GP层416中的每一个中实现相同的池化操作，从而以相同的池化操作来处理第一输入特征图265-m和第二输入特征图266-m。通常，可以将相应GP层的池化操作选择为通用的池化函数之一。通常和方便地，将池化操作选择为计算平均值的第一操作或寻找最大值的第二操作。
注意力层412、417中的每一个是全连接层或1×1卷积层。因此，第一和第二注意力特征图413、418的尺寸为1×1×C。有利地和优选地，注意力层412、417中的每一个采用Sigmoid函数作为激活函数。Sigmoid函数利用注意力来保留或去除语义信息。Sigmoid函数S(x)的选择由S(x)＝1/(1+exp(-x))给出。通过使用S(x)或适当的激活函数的这种选择，第一或第二注意力特征图413、418中的数据值在0至1的范围内。此外，共享第一和第二注意力层412、417，使得在处理第一和第二输入特征图265-m、266-m时，在两个注意力层412、417中使用相同的一组权重。
CFS模块400还被设置为将第一输入特征图265-m与第二注意力特征图418进行按通道进行相乘(如由按通道进行相乘420指示)。由此获得第一后处理的输入特征图421。类似地，CFS模块400被附加地设置为将第二输入特征图266-m与第一注意力特征图413进行按通道进行相乘(如由按通道进行相乘425指示)。由此获得第二后处理的输入特征图426。注意，第一输入特征图265-m和第二输入特征图266-m分别与第二注意力特征图418和第一注意力特征图413进行交叉处理。原因是要取得第一输入特征图265-m和第二输入特征图266-m两者中具有高激活的通道被保留和增强的期望的结果。通过附加地执行第一和第二后处理的输入特征图421、426的按元素进行相加430来取得该期望的结果。求和给出合并的特征图267-m。
总的来说，y(合并的特征图267-m)通过
Figure BDA0002430376860000131
来计算，其中：x1是第一输入特征图265-m；x2是第二输入特征图266-m；GP(.)是全局池化操作；DM(.)是由(共享)全连接层或1×1卷积层实现的注意力操作；
Figure BDA0002430376860000132
表示按通道进行相乘；并且
Figure BDA0002430376860000133
表示按元素进行相加。
进行了常规合并设置(如在U-Net中使用)和CFS模块400所需的乘法数的比较。图5描绘了用于合并尺寸均为W×H×C的两个输入特征图x1和x2的常规合并方案和基于CFS模块400的合并操作。对于常规合并方案，所需的乘法数约为W×H×k×k×2C×C，其中，k×k是卷积核大小。通常，在实践中使用3×3核大小。对于基于CFS模块的合并方案，首先要注意的是，两个GP层在执行对x1和x2取平均值或找到最大值的池化操作时所需的乘法次数可忽略不计。此外，两个全连接层或卷积层对尺寸为1×1×C的特征图进行操作。这两个层所需的乘法数也可以忽略不计。两个基于通道的相乘算子520、525涉及约2×W×H×C个乘法。简而言之，CFS模块400在合并x1和x2时仅需要计算少量乘法。通过使用CFS模块400，可显著减少计算。
表1列出了在大小为64×64且通道数不同的输入特征图下，常规合并设置和基于CFS模块的合并方案所需的FLOP数量。表2比较了用CFS模块400实现的CNN模型200的FLOP。
表1.大小为64×64的输入特征图的FLOP的比较。
通道数 常规(GFLOP) 基于CFS模块(GFLOP)
64 0.3 0.001
128 1.2 0.003
256 4.8 0.005
512 19.3 0.01
1024 77.3 0.02
表2.具有常规合并设置与具有CFS模块的所公开的CNN模型的FLOP的比较。
图像大小 常规(GFLOP) 基于CFS模块(GFLOP)
64×64 1.9 0.9
128×128 7.9 4.0
256×256 32.8 17.2
512×512 136.0 74.8
1024×1024 563.3 314.4
表1的结果表明CFS模块400大大减少了所需的计算。在表2中，示出了与不具有CFS模块的模型相比，通过使用CFS模块400实现的所公开的CNN模型实现了FLOP的约45％的减少。
进行了实验，以证明通过使用采用了具有多尺度上下文聚合模块250且具有由CFS模块400实现的每个合并块262-1:M的CNN模型200的原型CNN(缩写为CNNp)，相对于U-Net提高了分割精度并减少了计算需求。实验中使用的CNNp和U-Net具有相同的配置，即使用相同数量的编码和解码块以及对于每个编码/解码块使用相同数量的卷积核。表3中列出的医学数据集分别被用于训练CNNp和U-Net。请注意，私有数据集GLOM_SEG和GBM_SEG是小训练数据集，而KiTs19和LITS17是大训练数据集。
表3.实验中使用的数据集。
Figure BDA0002430376860000151
*非公开的私有数据集。
用训练数据集分别训练CNNp和U-Net。基于训练数据集，平均DS被用于检查和测量分割精度。表4列出了U-Net与CNNp得到的分割精度(就DS来说)，以及通过使用CNNp而不是U-Net提高的平均DS(ΔmDS)。
表4.分割精度。
Figure BDA0002430376860000152
显然，对于所有训练数据集，不管是大还是小，CNNp的分割精度均优于U-Net。对于GLOM_SEG、CVC Colon DB和ISIC 2018(分别具有525、612和2596张图像)，平均DS至少提高了3个点。由此可见，即使训练数据集具有有限数量的训练图像，CNNp仍可以实现分割精度的显著提高。对于GBM_SEG(这是一个非常小的只有200张训练图像的数据集)，CNNp仍比U-Net提高1.7个点。前述结果证明了所公开的CNN模型对于具有有限数量的训练图像的小训练数据集提供的性能提高优势。对于LITS17和KiTs19等大数据集，CNNp也比U-Net提高了约2个点的分割精度。
CNNp和U-Net所需的处理时间在三个计算平台和不同图像大小下进行了测量。计算平台1(CP1)是使用英伟达RTX 2080Ti(TDP为250W)实现的基于GPU的平台。计算平台2(CP2)是使用英特尔i9-9900K(TDP为95W)实现的台式机CPU。计算平台3(CP3)是使用英特尔i7-8750H(TDP为45W)实现的笔记本电脑CPU。表5列出了在不同输入图像大小下对于图像分割任务通过在三个计算平台上运行CNNp和U-Net所消耗的处理时间。
表5.处理时间(毫秒)。
Figure BDA0002430376860000161
CNNp在CP1上比U-Net快1.3倍，在CP2上快1.6倍，在CP3上快1.3倍。结果表明，使用CNNp而非U-Net可以减少计算时间。
最后，比较CNNp、U-Net和Deeplabv3+中使用的参数数量。参数数量与实现CNN所需的存储器空间有关。尖端医学设备往往会针对医学来源的高级功能(例如非侵入式感应)在空间使用、功率使用等方面进行优化，而不是针对计算能力进行优化。因此，更希望有较少数量的参数。表6列出了Deeplabv3+、U-Net和CNNp使用的参数数量，以及用于存储这些参数的存储器空间大小。
表6.参数数量(百万为单位)和所需存储器空间大小(兆字节为单位)。
Deeplabv3+ U-Net CNNp
64×64 41 8 10(41MB)
128×128 41 8 12
256×256 41 8 15
512×512 41(160MB) 8(31MB) 17(69MB)
尽管CNNp比U-Net使用更多的参数，但是CNNp对于尖端医学设备来说仍然足够轻量级(存储器需求约为41MB至69MB)。
在本公开中，多尺度上下文聚合模块250和CFS模块400分别旨在提高分割精度和减少计算需求。这两个模块250、400实现不同且独立的优势。可以仅采用模块250、400之一来实现特定优势。
在CNN模型200的第一实施方式中，存在多尺度上下文聚合模块250，并且每个合并块262-1:M被实现为CFS模块400。获得了分割精度提高和计算减少两个优势。
在CNN模型200的第二实施方式中，存在多尺度上下文聚合模块250，用于获得分割精度的提高。合并块262-1:M中的每一个通过常规合并方案来实现，例如级联，随后应用卷积层以减小通道大小。
如果期望对于使用例如U-Net及其变体的编码器-解码器结构的现有CNN模型获得减少计算的优势，则需要对CNN模型200进行修改，从而导致如图6所示的修改的CNN模型600。进行以下修改。首先，将CNN模型200中的每个合并块262-1:M实现为CFS模块400的副本，从而在修改的CNN模型600中产生相应的CFS模块662-1:M。其次，原始在CNN模型200中的多尺度上下文聚合模块250被附加编码块211-(M+1)取代，其输出特征图215-(M+1)作为其第一输入特征图265-1被发送到初始解码级261-1。该附加编码块211-(M+1)在编码器210中形成附加编码级，并连接到编码块211-M以接收输入。就这一点而言，编码器210包括M+1个编码块211-1:(M+1)或M+1个编码级。附加编码块211-(M+1)成为编码的最终级编码块。附加编码块211-(M+1)的输出特征图215-(M+1)成为由初始解码级261-1接收的最终编码特征图215-(M+1)作为其第一输入特征图265-1。直接或间接形成初始解码级261-1的第二输入特征图266-1的特征图215-M成为由修改的CNN模型600中的编码器210生成的中间编码特征图。
本公开的一方面在于提供一种用于将输入图像分割成分割图的计算机实现的方法。该方法包括运行CNN以在CNN被训练之后从输入图像生成分割图的步骤。该方法还可以包括用一个或多个训练数据集的标记图像训练CNN的步骤。该CNN被实现为以上针对两个CNN模型200、600所公开的任何实施例。
输入图像可以是2D图像或多通道2D图像。多通道2D图像可以简单地是彩色图像。多通道2D图像也可以是由2D图像的序列形成的3D图像。为了各种诊断目的，需要对患者的身体部位进行3D扫描。例如，MRI被广泛用于大脑的3D扫描，并且对由在头部的不同深度处成像的大脑的许多横截面图像构成的所得3D图像进行分析，以进行肿瘤检测。另外，多通道2D图像经常出现在医学成像中，因为在操作扫描装置的不同参数下使用多种模态对患者的身体部位进行成像。在一个示例中，当如同在PET-CT扫描中一样同时使用CT和PET来扫描身体部位时，通过包括从CT扫描获得的一个图像切片和从PET扫描获得的另一图像切片来形成多通道图像。
尽管所公开的方法对于医学图像分割特别有利并且有用，但是这并不意味着所公开的方法仅限于输入图像是医学图像或3D医学图像的特定情况。所公开的方法还可以用于分割非医学来源的图像，同时获得该方法的优势，例如提高分割精度和减少计算需求。
可以使用例如计算机、计算服务器、通用处理器、专用计算处理器、数字信号处理器、专用于计算卷积积或图像相关性的处理器(例如GPU)、可编程逻辑器件和现场可编程门阵列的计算设备来实现本文公开的实施例，其中，根据本公开的教导来配置或编程该计算设备。基于本公开的教导，软件或电子领域的技术人员可以容易地准备在计算设备中运行的计算机指令或软件代码。计算设备可以是移动计算设备，例如智能电话、平板电脑等。计算设备也可以集成在用于诊断或治疗的医学设备中。
在不脱离本发明的精神或基本特征的情况下，本发明可以以其他特定形式来实现。因此，本实施例在所有方面都应被认为是说明性的而非限制性的。本发明的范围由所附的权利要求书而不是由前面的描述来指示，因此，落入权利要求书的等同含义和范围内的所有改变均旨在包含在其中。

Claims (20)

1.一种用于将输入图像分割成分割图的计算机实现的方法，该方法包括在卷积神经网络(CNN)被训练之后，运行该CNN以从所述输入图像生成所述分割图的步骤，
其中，所述CNN包括：
编码器，所述编码器被设置为通过多个编码级将所述输入图像编码为最终编码特征图，在生成所述最终编码特征图之前生成一个或多个中间编码特征图；
多尺度上下文聚合模块，所述多尺度上下文聚合模块被设置为顺序地从全局尺度到局部尺度聚合所述最终编码特征图的多尺度上下文，以允许强化不同尺度的相应上下文的语义关系，从而提高分割精度，所述多尺度上下文聚合模块生成聚合上下文特征图；和
解码器，所述解码器被设置为直接或间接地根据所述最终编码特征图和所述一个或多个中间编码特征图对所述聚合上下文特征图进行解码，从而生成所述分割图。
2.根据权利要求1所述的方法，其中，所述多尺度上下文聚合模块还被设置为：
分别针对N个不同的扩张率，计算所述最终编码特征图的N个空洞卷积特征图，以从所述最终编码特征图提取所述多尺度上下文，其中N≥2；和
对于n∈{1,2,…,N}，通过计算
Figure FDA0002430376850000011
的递归过程，计算所述聚合上下文特征图，其中，rn是第n个计算的空洞卷积特征图，sn是所述聚合上下文特征图的第n个中间结果，s0是空特征图，
Figure FDA0002430376850000012
表示按元素进行相加，并且fn是第n个非线性函数，其中，(r1,r2,…,rN)形成空洞卷积特征图的序列，该序列以扩张率的降序排列，从而使得所述最终编码特征图的局部尺度上下文在其全局尺度上下文的引导下被聚合，其中，f1,f2,…,fN是独立配置的。
3.根据权利要求2所述的方法，其中，fn由fn(x)＝x+gn(x)给出，其中，x表示输入特征图，fn(x)表示第n个非线性函数对于所述输入特征图的输出，并且gn(x)是fn(x)的非线性分量。
4.根据权利要求3所述的方法，其中，所述多尺度上下文聚合模块包括用于计算f1,f2,…,fN的多个瓶颈块。
5.根据权利要求4所述的方法，其中，单独的瓶颈块包括一个或多个卷积层。
6.根据权利要求1所述的方法，其中：
所述解码器包括多个解码级，单独的解码级被设置为接收第一输入特征图和第二输入特征图以生成一个输出图，所述第一输入特征图和第二输入特征图均具有相同的尺寸和相同数量的通道，其中，所述单独的解码级包括合并模块和解码块，所述合并模块被设置为合并所述第一输入特征图和所述第二输入特征图以形成合并的特征图，所述解码块被设置为对所述合并的特征图进行解码以给出所述输出图。
7.根据权利要求6所述的方法，其中，所述合并模块是基于通道的特征选择(CFS)模块，被设置为：
用全局池化(GP)层和注意力层的单独的级联处理所述第一输入特征图和所述第二输入特征图的每一个，以分别生成尺寸为1×1×C的第一注意力特征图和第二注意力特征图，其中：
所述第一输入特征图和所述第二输入特征图的每一个的尺寸为W×H×C；
所述GP层对相应的输入特征图的C个通道中的每个通道中的W×H个数据执行池化操作，以产生尺寸为1×1×C的GP输出特征图；并且
所述注意力层通过根据所述GP输出特征图确定所述C个通道中的每一个的注意力使得所述C个通道中激活更高的通道具有更高的注意力来生成相应的注意力特征图，所述注意力层为全连接层或1×1卷积层，在处理所述第一输入特征图和所述第二输入特征图时，所述单独的级联的所述注意力层中使用了相同的一组权重；
将所述第一输入特征图与所述第二注意力特征图按通道进行相乘，以产生第一后处理的输入特征图；
将所述第二输入特征图与所述第一注意力特征图按通道进行相乘，以产生第二后处理的输入特征图；和
对所述第一后处理的输入特征图和所述第二后处理的输入特征图按元素进行相加以给出所述合并的特征图，以便保留和增强在所述第一输入特征图和所述第二输入特征图中具有高激活的通道。
8.根据权利要求7所述的方法，其中，所述池化操作是计算平均值的第一操作或找到最大值的第二操作。
9.根据权利要求7所述的方法，其中，所述注意力层采用Sigmoid函数作为激活函数。
10.根据权利要求7所述的方法，其中，相应的注意力特征图中的每个数据在0至1的范围内。
11.根据权利要求6所述的方法，其中：
所述多个解码级包括初始解码级和一个或多个后续解码级，所述一个或多个后续解码级包括最后解码级；
所述初始解码级的第一输入特征图为所述聚合上下文特征图，其第二输入特征图为所述最终编码特征图，或从所述最终编码特征图导出；
单独的后续解码级的第一输入特征图为紧接在所述单独的后续解码级之前的解码级的输出图，并且其第二输入特征图为从所述一个或多个中间编码特征图中选择的特征图或从其导出；
所述最后解码级的输出图为所述分割图；
所述单独的解码级的解码块包括一个或多个卷积层；并且
所述最后解码级的解码块被实现为1×1卷积层。
12.根据权利要求11所述的方法，其中，所述CNN还包括：
一个或多个1×1卷积层，单独的1×1卷积层被设置为导出从所述多个解码级中选择的解码级的第二输入特征图，其中，通过重采样由所述编码器生成的对应的特征图来从所述对应的特征图导出所选择的解码级的第二输入特征图，以使所选择的解码级的第一输入特征图和第二输入特征图具有相同的尺寸。
13.根据权利要求1所述的方法，其中，单独的编码级包括一个或多个卷积层。
14.一种用于将输入图像分割成分割图的计算机实现的方法，该方法包括在卷积神经网络(CNN)被训练之后，运行该CNN以从所述输入图像生成所述分割图的步骤，其中：
所述CNN包括：
编码器，所述编码器被设置为通过多个编码级将所述输入图像编码为最终编码特征图，在生成所述最终编码特征图之前生成一个或多个中间编码特征图；和
解码器，所述解码器被设置为直接或间接地根据所述一个或多个中间编码特征图对所述最终编码特征图进行解码，从而生成所述分割图；
所述解码器包括多个解码级，单独的解码级被设置为接收第一输入特征图和第二输入特征图以生成一个输出图，所述第一输入特征图和第二输入特征图均具有相同的尺寸和相同数量的通道，其中，所述单独的解码级包括合并模块和解码块，所述合并模块被设置为合并所述第一输入特征图和所述第二输入特征图以形成合并的特征图，所述解码块被设置为对所述合并的特征图进行解码以给出所述输出图；并且
所述合并模块是基于通道的特征选择(CFS)模块，其被设置为：
用全局池化(GP)层和注意力层的单独的级联处理所述第一输入特征图和所述第二输入特征图中的每一个，以分别生成尺寸为1×1×C的第一注意力特征图和第二注意力特征图，其中：
所述第一输入特征图和所述第二输入特征图的每一个的尺寸为W×H×C；
所述GP层对相应的输入特征图的C个通道中的每个通道中的W×H个数据执行池化操作，以产生尺寸为1×1×C的GP输出特征图；并且
所述注意力层通过根据所述GP输出特征图确定所述C个通道中的每一个的注意力使得所述C个通道中激活更高的通道具有更高的注意力来生成相应的注意力特征图，所述注意力层为全连接层或1×1卷积层，在处理所述第一输入特征图和所述第二输入特征图时，所述单独的级联的所述注意力层中使用了相同的一组权重；
将所述第一输入特征图与所述第二注意力特征图按通道进行相乘，以产生第一后处理的输入特征图；
将所述第二输入特征图与所述第一注意力特征图按通道进行相乘，以产生第二后处理的输入特征图；和
对所述第一后处理的输入特征图和所述第二后处理的输入特征图按元素进行相加以给出所述合并的特征图，以便保留和增强在所述第一输入特征图和所述第二输入特征图中具有高激活的通道。
15.根据权利要求14所述的方法，其中，所述池化操作是计算平均值的第一操作或找到最大值的第二操作。
16.根据权利要求14所述的方法，其中，所述注意力层采用Sigmoid函数作为激活函数。
17.根据权利要求14所述的方法，其中，相应的注意力特征图中的每个数据在0至1的范围内。
18.根据权利要求14所述的方法，其中：
所述多个解码级包括初始解码级和一个或多个后续解码级，所述一个或多个后续解码级包括最后解码级；
所述初始解码级的第一输入特征图为所述最终编码特征图；
单独的后续解码级的第一输入特征图是紧接在所述单独的后续解码级之前的解码级的输出图；
单独的解码级的第二输入特征图是从所述一个或多个中间编码特征图中选择的特征图或从其导出；
所述最后解码级的输出图为所述分割图；
所述单独的解码级的解码块包括一个或多个卷积层；和
所述最后解码级的解码块被实现为1×1卷积层。
19.根据权利要求14所述的方法，其中，所述CNN还包括：
一个或多个1×1卷积层，单独的1×1卷积层被设置为导出从所述多个解码级中选择的解码级的第二输入特征图，其中，通过重采样由所述编码器生成的对应的特征图来从所述对应的特征图导出所选择的解码级的第二输入特征图，以使所选择的解码级的第一输入特征图和第二输入特征图具有相同的尺寸。
20.根据权利要求14所述的方法，其中，单独的编码级包括一个或多个卷积层。
CN202080000389.3A 2020-02-10 2020-02-25 使用cnn进行图像分割的方法 Active CN111373439B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/785,784 2020-02-10
US16/785,784 US11270447B2 (en) 2020-02-10 2020-02-10 Method for image segmentation using CNN
PCT/CN2020/076560 WO2021159557A1 (en) 2020-02-10 2020-02-25 Method for image segmentation using cnn

Publications (2)

Publication Number Publication Date
CN111373439A true CN111373439A (zh) 2020-07-03
CN111373439B CN111373439B (zh) 2023-05-02

Family

ID=71211167

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080000389.3A Active CN111373439B (zh) 2020-02-10 2020-02-25 使用cnn进行图像分割的方法

Country Status (1)

Country Link
CN (1) CN111373439B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112967294A (zh) * 2021-03-11 2021-06-15 西安智诊智能科技有限公司 一种肝脏ct图像分割方法及系统
CN113256526A (zh) * 2021-05-25 2021-08-13 烟台艾睿光电科技有限公司 一种红外图像增强方法、装置、设备及存储介质
CN113643310A (zh) * 2021-05-21 2021-11-12 北京工业大学 一种基于上下文聚合的mri图像肝血管分割方法
WO2022105608A1 (zh) * 2020-11-19 2022-05-27 上海点泽智能科技有限公司 一种快速人脸密度预测和人脸检测方法、装置、电子设备及存储介质
CN115082500A (zh) * 2022-05-31 2022-09-20 苏州大学 基于多尺度与局部特征引导网络的角膜神经纤维分割方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180181628A1 (en) * 2016-12-28 2018-06-28 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for providing information based on artificial intelligence
CN109190752A (zh) * 2018-07-27 2019-01-11 国家新闻出版广电总局广播科学研究院 基于深度学习的全局特征和局部特征的图像语义分割方法
CN110263833A (zh) * 2019-06-03 2019-09-20 韩慧慧 基于编码-解码结构的图像语义分割方法
US10482603B1 (en) * 2019-06-25 2019-11-19 Artificial Intelligence, Ltd. Medical image segmentation using an integrated edge guidance module and object segmentation network
CN110689083A (zh) * 2019-09-30 2020-01-14 苏州大学 一种上下文金字塔融合网络及图像分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180181628A1 (en) * 2016-12-28 2018-06-28 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for providing information based on artificial intelligence
CN109190752A (zh) * 2018-07-27 2019-01-11 国家新闻出版广电总局广播科学研究院 基于深度学习的全局特征和局部特征的图像语义分割方法
CN110263833A (zh) * 2019-06-03 2019-09-20 韩慧慧 基于编码-解码结构的图像语义分割方法
US10482603B1 (en) * 2019-06-25 2019-11-19 Artificial Intelligence, Ltd. Medical image segmentation using an integrated edge guidance module and object segmentation network
CN110689083A (zh) * 2019-09-30 2020-01-14 苏州大学 一种上下文金字塔融合网络及图像分割方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022105608A1 (zh) * 2020-11-19 2022-05-27 上海点泽智能科技有限公司 一种快速人脸密度预测和人脸检测方法、装置、电子设备及存储介质
CN112967294A (zh) * 2021-03-11 2021-06-15 西安智诊智能科技有限公司 一种肝脏ct图像分割方法及系统
CN113643310A (zh) * 2021-05-21 2021-11-12 北京工业大学 一种基于上下文聚合的mri图像肝血管分割方法
CN113643310B (zh) * 2021-05-21 2024-06-25 北京工业大学 一种基于上下文聚合的mri图像肝血管分割方法
CN113256526A (zh) * 2021-05-25 2021-08-13 烟台艾睿光电科技有限公司 一种红外图像增强方法、装置、设备及存储介质
CN115082500A (zh) * 2022-05-31 2022-09-20 苏州大学 基于多尺度与局部特征引导网络的角膜神经纤维分割方法
CN115082500B (zh) * 2022-05-31 2023-07-11 苏州大学 基于多尺度与局部特征引导网络的角膜神经纤维分割方法

Also Published As

Publication number Publication date
CN111373439B (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
US11270447B2 (en) Method for image segmentation using CNN
CN111373439B (zh) 使用cnn进行图像分割的方法
Khanna et al. A deep Residual U-Net convolutional neural network for automated lung segmentation in computed tomography images
Henry et al. Brain tumor segmentation with self-ensembled, deeply-supervised 3D U-net neural networks: a BraTS 2020 challenge solution
Huang et al. Channel prior convolutional attention for medical image segmentation
Men et al. Cascaded atrous convolution and spatial pyramid pooling for more accurate tumor target segmentation for rectal cancer radiotherapy
CN112767417B (zh) 一种基于级联U-Net网络的多模态图像分割方法
Xu et al. ω-net: Dual supervised medical image segmentation with multi-dimensional self-attention and diversely-connected multi-scale convolution
Yamanakkanavar et al. A novel M-SegNet with global attention CNN architecture for automatic segmentation of brain MRI
CN112634265B (zh) 基于dnn的胰腺全自动分割模型的构建、分割方法及系统
Halder et al. Atrous convolution aided integrated framework for lung nodule segmentation and classification
Liu et al. A Deep‐Learning Model with Learnable Group Convolution and Deep Supervision for Brain Tumor Segmentation
Sun et al. ISSMF: Integrated semantic and spatial information of multi-level features for automatic segmentation in prenatal ultrasound images
Fu et al. TSCA-Net: Transformer based spatial-channel attention segmentation network for medical images
Hafhouf et al. An improved and robust encoder–decoder for skin lesion segmentation
Zhang et al. HAU-Net: Hybrid CNN-transformer for breast ultrasound image segmentation
Jiang et al. DPCFN: Dual path cross fusion network for medical image segmentation
Xu et al. Brain tumour segmentation framework with deep nuanced reasoning and Swin‐T
Ni et al. DNL-Net: deformed non-local neural network for blood vessel segmentation
Ferdinandus et al. Covid-19 lung segmentation using U-Net CNN based on computed tomography image
Li et al. OverSegNet: A convolutional encoder–decoder network for image over-segmentation
Shao et al. FCG-Net: an innovative full-scale connected network for thyroid nodule segmentation in ultrasound images
Wang et al. Multi-scale hierarchical transformer structure for 3d medical image segmentation
Garehdaghi et al. Positron emission tomography image enhancement using magnetic resonance images and U-net structure
Li et al. Multi-level feature extraction and reconstruction for 3D MRI image super-resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40044779

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant