CN113506310A - 医学图像的处理方法、装置、电子设备和存储介质 - Google Patents

医学图像的处理方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN113506310A
CN113506310A CN202110808858.0A CN202110808858A CN113506310A CN 113506310 A CN113506310 A CN 113506310A CN 202110808858 A CN202110808858 A CN 202110808858A CN 113506310 A CN113506310 A CN 113506310A
Authority
CN
China
Prior art keywords
feature map
level
map
convolution
level feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110808858.0A
Other languages
English (en)
Other versions
CN113506310B (zh
Inventor
聂曦明
王龙
刘丽萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tiantan Hospital
Original Assignee
Beijing Tiantan Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tiantan Hospital filed Critical Beijing Tiantan Hospital
Priority to CN202110808858.0A priority Critical patent/CN113506310B/zh
Publication of CN113506310A publication Critical patent/CN113506310A/zh
Application granted granted Critical
Publication of CN113506310B publication Critical patent/CN113506310B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种医学图像的处理方法、装置、电子设备和存储介质，方法包括：获取待处理的医学图像；利用多级特征提取网络，对医学图像进行分级特征提取，获得多级特征图，多级特征图包括多个低级特征图和多个高级特征图，其中低级特征图包含的边缘信息多于高级特征图包含的边缘信息；利用低级特征图，获得病变区域边界图；基于多个高级特征图与病变区域边界图，获得拼接特征图；基于拼接特征图进行图像分割处理，获得病变区域分割图。本申请实施例中提供的技术方案，能够提高医学图像的病变区域分割的准确度。

Description

医学图像的处理方法、装置、电子设备和存储介质
技术领域
本发明涉及图像处理技术领域，更具体地，涉及一种医学图像的处理方法、装置、电子设备和存储介质。
背景技术
一般来说医学图像处理的对象是各种不同成像机理得到的医学影像，临床常见的医学成像主要包括X-射线成像、血管摄影、心血管造影、计算机断层扫面成像、乳房摄影术、正子发射断层扫面、核磁共振成像、核医学成像和超声波成像等。
近年来利用计算机图象处理技术进行医学图像的处理成为研发的热点，例如基于计算机图像处理技术对二维切片图象进行分析和处理，实现对人体器官、软组织和病变体的分割提取、三维重建和三维显示。作为医学图像处理非常重要的一个方向，病变区域分割可以辅助医生对病变体及其它感兴趣的区域进行定性甚至定量的分析，从而大大提高医疗诊断的准确性和可靠性。但是由于很多医学图像本身经常存在病变区域与正常区域对比度低导致病变区域边界不清楚的问题，给计算机图像处理技术的准确性带来很大的挑战。例如中风可分为出血性中风和缺血性中风，其中缺血性中风较为常见，脑CT图像经常作为中风(Stroke)诊断的首选医学图像。在脑CT图像的每个切片中缺血性病变区域的空间几何形状和位置具有可变性，病变区域和正常区域之间的对比度较低，病变区域边界难以准确识别，从而使得脑CT图像中的缺血性病变区域分割准确度较低。
发明内容
本申请实施例提供一种医学图像的处理方法、装置、电子设备及存储介质，以提高医学图像的病变区域分割的准确度。
第一方面，本申请一实施例提供了一种医学图像的处理方法，包括：
获取待处理的医学图像；
利用多级特征提取网络，对所述医学图像进行分级特征提取，获得多级特征图，所述多级特征图包括多个低级特征图和多个高级特征图，其中低级特征图包含的边缘信息多于高级特征图包含的边缘信息；
利用所述低级特征图，获得病变区域边界图；
基于所述多个高级特征图与所述病变区域边界图，获得拼接特征图；和
基于所述拼接特征图进行图像分割处理，获得病变区域分割图。
可选地，所述利用所述低级特征图，获得病变区域边界图，包括：将所述低级特征图输入到已训练的辅助病变边缘生成模型中，获得病变区域边界图。
可选地，所述基于所述多个高级特征图与所述病变区域边界图，获得拼接特征图，包括：
利用所述多个高级特征图进行聚合处理，获得金字塔特征图；和
将所述金字塔特征图进行并行解码，将解码后的金字塔特征图与所述病变区域边界图进行拼接，获得拼接特征图。
可选地，所述利用所述多个高级特征图进行聚合处理，获得金字塔特征图，包括：
分别对每个高级特征图进行膨胀卷积，获得每个高级特征图对应的第一卷积高级特征图；和
利用多个第一卷积高级特征图进行聚合处理，获得金字塔特征图。
可选地，所述利用多个第一卷积高级特征图进行聚合处理，获得金字塔特征图，包括：
针对最高层级，将所述最高层级的第一卷积高级特征图输入所述最高层级对应的第一可变形卷积网络，获得金字塔特征图中最高层级的特征图；
针对除所述最高层级以外的第n个层级，进行如下操作：
对第(n+1)个层级中输入第一可变形卷积网络的特征图进行上采样处理，
将上采样处理后的特征图输入第(n+1)个层级对应的第二可变形卷积网络，获得第(n+1)个层级的第二卷积高级特征图，
基于第(n+1)个层级的第二卷积高级特征图和第n个层级的第一卷积高级特征图进行融合处理，获得融合特征图，以及
将获得的融合特征图输入第n个层级对应的第一可变形卷积网络，获得金字塔特征图中第n个层级的特征图。
可选地，所述基于第(n+1)个层级的第二卷积高级特征图和第n个层级的第一卷积高级特征图进行融合处理，包括：
对第(n+1)个层级的第二卷积高级特征图、第n个层级的第一卷积高级特征图和层级最高的低级特征图进行融合处理，获得融合特征图。
可选地，所述医学图像所述将所述金字塔特征图进行并行解码，包括：
将所述金字塔特征图中每个层级的特征图分别输入解码网络，获得解码后的金字塔特征图，其中，解码网络包括级联的可变形卷积网络和注意力网络。
第二方面，本申请一实施例提供了一种医学图像的处理装置，包括：
获取单元，用于获取待处理的医学图像；
多级特征提取单元，用于利用多级特征提取网络，对所述医学图像进行分级特征提取，获得多级特征图，所述多级特征图包括多个低级特征图和多个高级特征图，其中低级特征图包含的边缘信息多于高级特征图包含的边缘信息；
病变区域边界图获取单元，用于利用所述低级特征图，获得病变区域边界图；
拼接单元，用于基于所述多个高级特征图与所述病变区域边界图，获得拼接特征图；和
病变区域分割单元；基于所述拼接特征图进行图像分割处理，获得病变区域分割图。
可选地，所述病变区域边界图获取单元，具体用于：
将所述低级特征图输入到已训练的辅助病变边缘生成模型中，获得病变区域边界图。
可选地，所述拼接单元，具体用于：
利用所述多个高级特征图进行聚合处理，获得金字塔特征图；和
将所述金字塔特征图进行并行解码，将解码后的金字塔特征图与所述病变区域边界图进行拼接，获得拼接特征图。
可选地，所述拼接单元用于利用所述多个高级特征图进行聚合处理，获得金字塔特征图时，具体用于：
分别对每个高级特征图进行膨胀卷积，获得每个高级特征图对应的第一卷积高级特征图；和
利用多个第一卷积高级特征图进行聚合处理，获得金字塔特征图。
可选地，所述拼接单元用于利用多个第一卷积高级特征图进行聚合处理，获得金字塔特征图时，具体用于：
针对最高层级，将所述最高层级的第一卷积高级特征图输入所述最高层级对应的第一可变形卷积网络，获得金字塔特征图中最高层级的特征图；
针对除所述最高层级以外的第n个层级，进行如下操作：
对第(n+1)个层级中输入第一可变形卷积网络的特征图进行上采样处理，
将上采样处理后的特征图输入第(n+1)个层级对应的第二可变形卷积网络，获得第(n+1)个层级的第二卷积高级特征图，
基于第(n+1)个层级的第二卷积高级特征图和第n个层级的第一卷积高级特征图进行融合处理，获得融合特征图，以及
将获得的融合特征图输入第n个层级对应的第一可变形卷积网络，获得金字塔特征图中第n个层级的特征图。
可选地，所述拼接单元用于基于第(n+1)个层级的第二卷积高级特征图和第n个层级的第一卷积高级特征图进行融合处理时，具体用于：
对第(n+1)个层级的第二卷积高级特征图、第n个层级的第一卷积高级特征图和层级最高的低级特征图进行融合处理，获得融合特征图。
可选地，所述拼接单元用于将所述金字塔特征图进行并行解码时，具体用于：将所述金字塔特征图中每个层级的特征图分别输入解码网络，获得解码后的金字塔特征图，其中，解码网络包括级联的可变形卷积网络和注意力网络。
第三方面，本申请一实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行计算机程序时实现上述任一种方法的步骤。
第四方面，本申请一实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，该计算机程序指令被处理器执行时实现上述任一种方法的步骤。
本申请实施例提供的技术方案，首先利用多级特征提取网络从医学图像中提取处多级特征图，多级特征图包括多个低级特征图和多个高级特征图，其中高级特征图包含更多的语义信息，低级特征图包含更多的边缘信息；进一步从边缘信息丰富的低级特征图中提取出病变区域边界图，利用病变区域边界图和包含丰富语义信息的高级特征图进行拼接，获得拼接特征图；其中病变区域边界图对拼接特征图中的病变区域的边界具有很好的加强和约束作用，最后对拼接特征图进行分割得到的病变区域分割图，采用本申请中的技术方案可以很好的识别病变区域的边界从而实现对病变区域的有效分割，提高病变区域分割的准确度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他的附图。
图1示出了根据本发明一个实施例的一种医学图像的处理方法的流程图。
图2示出了根据本发明一个实施例的步骤1041对应的功能模块的结构示意图。
图3示出了根据本发明另一个实施例的步骤1042对应的功能模块结构示意图。
图4示出了根据本发明一个实施例的本发明一个实施例中的脑CT图像的原始图像、标签图和缺血性病变区域图。
图5示出了根据本发明一个实施例中的医学图像的处理系统的结构示意图；
图6示出了根据本发明另一个实施例中的一种医学图像的处理装置的结构示意图。
图7示出了根据本发明另一个实施例中的一种计算机设备的内部结构图。
图8示出了根据本发明中的实验例1中的性能比较结果图。
图9示出了根据本发明中的实验例1中本发明的技术方案与部分对比模型在各种类型病变上的分割结果图。
图10示出了根据本发明中的实验例2中的不同的融合策略的结构图。
图11和图12示出了根据本发明中的实验例5中本发明实施例所提出的IS-Net和对比模型的推理速度与分割性能的关系。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
为了方便理解，下面对本申请实施例中涉及的名词进行解释：
中风(Stroke)：一种严重且急性的脑血管疾病，通常会给受害者带来灾难性的后果。中风可分为出血性中风和缺血性中风，其中缺血性中风较为常见。
特征图(Feature Map)：利用特征提取网络对图像进行特征提取，提取到的特征点组成特征图。
低级特征图和高级特征图：在本申请中采用多级特征图提取网络对医学图像进行分级特征提取，获得多级特征图。多级特征图包括多个低级特征图和多个高级特征图。低级特征图和高级特征图是相对的概念：低级特征图具有较高的分辨率和较多的空间结构细节(例如图像中不同目标位置i西信息或者不同目标之间的边缘信息)，但是语义信息较弱；高级特征图具有较低的分辨率和较少的空间结构细节，但是语义信息较强。
金字塔特征图：通过特征金字塔网络对多级特征图进行融合后获得的多个层级的特征图。
边缘信息：边缘指的是图像中不同属性的区域的交接处，是区域属性发生突变的地方，是图像中不确定性最大的地方，也是图像信息最集中的地方，边缘信息指的是与边缘相关的图像信息。
并行解码：不同层级的特征图并行式地进行处理，然后对处理后的多个特征图分别进行上采样，对上采样后的特征图进行拼接处理后得到解码后的拼接特征图，解码后的拼接特征图与特征提取的输入图像具有相同的尺寸。
膨胀卷积(Dilated Convolution)：也称为空洞卷积，与标准的卷积核不同，膨胀卷积在卷积核(kernel)中增加了一些空洞，从而可以扩大模型的感受野。
可变形卷积(Deformable Convolution)：是指卷积核在每一个元素上额外增加了一个参数方向参数，这样卷积核就能在训练过程中扩展到很大的范围。
病变区域边界图：从原始医学图像中提取的病变区域轮廓，通常来说是一个或多个封闭的多边形。
下面介绍本申请实施例的设计思想。
近年来利用计算机图象处理技术进行医学图像的处理成为研发的热点，作为医学图像处理非常重要的一个方向，病变区域分割可以辅助医生对病变体及其它感兴趣的区域进行定性甚至定量的分析，从而大大提高医疗诊断的准确性和可靠性。
申请人对传统技术进行分析发现，在传统技术中很多医学图像本身经常存在病变区域与正常区域对比度低导致病变区域边界不清楚的问题，例如在缺血性中风患者的脑CT图像中，每个切片中缺血性病变区域的空间几何形状和位置具有可变性，病变区域和正常区域之间的对比度较低，病变区域边界难以准确识别，从而使得脑CT图像中的缺血性病变区域分割准确度较低。因此亟需一种可以准确识别病变区域边界，从而提高医学图像的病变区域分割的准确度的技术方案。鉴于此，申请人考虑可以通过多级特征提取网络从医学图像中提取多级特征图，多级特征图包括多个包含更多的边缘信息低级特征图和多个包含更多的语义信息的高级特征图；从边缘信息丰富的低级特征图中提取出病变区域边界图，利用病变区域边界图和包含丰富语义信息的高级特征图进行拼接，获得拼接特征图；其中病变区域边界图对拼接特征图中的病变区域的边界具有很好的加强和约束作用，最后对拼接特征图进行分割得到的病变区域分割图。通过该技术方案得到的分割图，对病变区域的分割准确度高。
在介绍完本申请实施的设计思想后，下面对本申请实施的技术方案能够使用给的应用场景做一些简单的介绍，需要说明的是，以下介绍的应用场景仅用于说明本申请实施例而非限定。在具体实施过程中，可以根据实际需要灵活地应用本申请实施例提供的技术方案。
为进一步说明本申请实施例提供的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获取的所有其他实施例，都属于本发明保护的范围。
在一个实施例中，如图1所示，提供了一种医学图像的处理方法的流程图，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
步骤101，获取待处理的医学图像。
在本发明实施例中，待处理的医学图像为任意需要进行病变区域分割的医学图像。在一个具体实施例中，医学图像可以为疑似中风患者的脑CT图像，在该脑CT图像上需要进行病变区域的划分；在一个更为具体的实施例中，其中病变区域为缺血性病变区域。
步骤102，利用多级特征提取网络，对所述医学图像进行分级特征提取，获得多级特征图，所述多级特征图包括多个低级特征图和多个高级特征图，其中低级特征图包含的边缘信息多于高级特征图包含的边缘信息。
在本发明实施例中，采用多级特征提取网络对输入待处理的医学图像进行多级特征(也称为多层次特征或者多尺度特征)提取，获得不同级别的特征图；其中低级特征图具有较高的分辨率，但是语义信息较少；高级特征图分辨率较低但是具有较多的语义信息；低级特征图包含的边缘信息多于高级特征图包含的边缘信息。
在本发明实施例中，多级特征提取网络一般来说指的是骨干网络(backbone)，例如可以为VGG、ResNet或Swin-T(Swin Transformer)等。
在一个可能的实施例中，骨干网络可以为ResNet、ResNet-16、Res2Net、Swin-T(Swin Transformer)等。
步骤103，利用所述低级特征图，获得病变区域边界图。
在本发明实施例中，低级特征图中包含丰富的边缘信息，利用低级特征图获得的病变区域边界图，可以增强低级特征的边缘信息，从而为后续步骤中的高级特征图进行边缘约束，提高对病变区域边界的识别能力，从而提高病变区域划分的准确性。
步骤104，基于所述多个高级特征图与所述病变区域边界图，获得拼接特征图。
在本发明实施例中，获得拼接特征图指的是将不同的特征图通过拼接(concatenate)的方式进行融合。
步骤105，基于所述拼接特征图进行图像分割处理，获得病变区域分割图。
本发明实施例中的医学图像的处理方法，通过从边缘信息丰富的低级特征图中提取出病变区域边界图，并将病变区域边界图和包含丰富语义信息的高级特征图进行拼接，获得拼接特征图；使得低级特征图中的边缘信息可以很好的转移到最终得到的拼接特征图中，对病变区域的边界起到很好的加强和约束作用，最后对拼接特征图进行分割得到的病变区域分割图，采用该方法中的技术方案可以很好的识别病变区域的边界从而实现对病变区域的有效分割，提高病变区域分割的准确度。
在一个实施例中，步骤103具体包括：将所述低级特征图输入到已训练的辅助病变边缘生成模型中，获得病变区域边界图。其中辅助病变边缘生成模型，利用完成病变区域边界标注的医学图像，采用监督学习方法进行训练获得的。在一个具体实施中，病变边缘生成模型为包含至少一个卷积层的卷积网络。
在一个实施例中，步骤105具体包括：将所述拼接特征图输入到已训练的分割模型中，获得病变区域分割图。其中分割模型是利用完成病变区域标注的医学图像，采用监督学习方法进行训练获得的。在一个具体实施例中，分割模型可以是深度神经网络模型或卷积神经网络模型。
在一个实施例中，步骤104具体包括：步骤1041，利用所述多个高级特征图进行聚合处理，获得金字塔特征图；步骤1042，将所述金字塔特征图进行并行解码，将解码后的金字塔特征图与所述病变区域边界图进行拼接，获得拼接特征图。
在本发明实施例中，金字塔特征图与高级特征图的个数是相同，金字塔特征图指的是对多个高级特征图进行聚合得到的多个特征图，这种方法能够对每一种尺度的图像进行特征提取，能够产生多尺度的特征图，并且所有层级的特征图都具有较强的语义信息，便于后续病变区域的分割。
在一个实施例中，步骤1041利用所述多个高级特征图进行聚合处理，获得金字塔特征图，具体包括：分别对每个高级特征图进行膨胀卷积，获得每个高级特征图对应的第一卷积高级特征图；利用多个第一卷积高级特征图进行聚合处理，获得金字塔特征图。本发明实施例通过引入膨胀卷积，可以为金字塔特征图提供更多的多尺度上下文信息。
在一个实施例中，不同的高级特征图的膨胀率不同，具体来说不同的高级特征图的膨胀率随着级别的增加而增加。
在本发明一个实施例中的步骤1041利用多个第一卷积高级特征图进行聚合处理，获得金字塔特征图的方法流程图，具体包括：
步骤10411，针对最高层级，将所述最高层级的第一卷积高级特征图输入所述最高层级对应的第一可变形卷积网络，获得金字塔特征图中最高层级的特征图；
步骤10412，针对除所述最高层级以外的第n个层级，进行如下操作：
对第(n+1)个层级中输入第一可变形卷积网络的特征图进行上采样处理，
将上采样处理后的特征图输入第(n+1)个层级对应的第二可变形卷积网络，获得第(n+1)个层级的第二卷积高级特征图，
基于第(n+1)个层级的第二卷积高级特征图和第n个层级的第一卷积高级特征图进行融合处理，获得融合特征图，以及
将获得的融合特征图输入第n个层级对应的第一可变形卷积网络，获得金字塔特征图中第n个层级的特征图。
在一个实施例中，步骤基于第(n+1)个层级的第二卷积高级特征图和第n个层级的第一卷积高级特征图进行融合处理，获得融合特征图，具体包括：对第(n+1)个层级的第二卷积高级特征图、第n个层级的第一卷积高级特征图和层级最高的低级特征图进行融合处理，获得融合特征图。
在一个实施例中，步骤对第(n+1)个层级的第二卷积高级特征图、第n个层级的第一卷积高级特征图和层级最高的低级特征图进行融合处理具体包括：将层级最高的低级特征图下采样至与第(n+1)个层级的第二卷积高级特征图相同的分辨率，并通过可变形卷积进行处理；将第(n+1)个层级的第二卷积高级特征图、第n个层级的第一卷积高级特征图与处理后的层级最高的低级特征图进行融合处理；通过这种方式，使得获得的金字塔特征图受到了低级特征图中的边缘信息的约束，从而使得金字塔特征图的边缘信息得到增强，实现对边缘信息的充分挖掘。
图2为本发明一个实施例中的与步骤1041对应的功能模块的结构示意图。在该实施例中低级特征图包括f1和f2，高级特征图包括f3、f4和f5。步骤1041的具体过程如图2所示：
首先，高级特征图f3、f4和f5分别经过膨胀卷积处理，分别获得f3、f4和f5对应的第一卷积高级特征图。针对最高层级的f5，将其对应的第一卷积高级特征图输入到其对应的第一可变形卷积网络，获得f5对应的金字塔特征图P5。针对次高层级的f4：对f5对应的第一卷积高级特征图进行2倍上采样处理；上采样处理后的特征图输入到f5对应的第二可变形卷积网络，获得f5对应的第二卷积高级特征图；对低级特征图f2进行4倍下采样和可变形卷积处理；对f5对应的第二卷积高级特征图、f4对应的第一卷积高级特征图和处理后的低级特征图f2进行融合处理，获得f4对应的融合特征图；将f4对应的融合特征图输入f4对应的第一可变形卷积网络，获得f4对应的金字塔特征图P4。针对最低层级的f3：对f4对应的融合特征图进行2倍上采样处理；上采样处理后的特征图输入到f4对应的第二可变形卷积网络，获得f4对应的第二卷积高级特征图；对低级特征图f2进行2倍下采样和可变形卷积处理；对f4对应的第二卷积高级特征图、f3对应的第一卷积高级特征图和处理后的低级特征图f2进行融合处理，获得f3对应的融合特征图；将获得的融合特征图输入f3对应的第一可变形卷积网络，获得f3对应的金字塔特征图P4。
在本发明实施例中，高级特征图f3、f4和f5分别通过一个膨胀卷积层进行膨胀卷积处理，膨胀率分别为6、12和18。
在一个实施例中，步骤1042中的将所述金字塔特征图进行并行解码，具体包括：将所述金字塔特征图中每个层级的特征图分别输入解码网络，获得解码后的金字塔特征图，其中，解码网络包括级联的可变形卷积网络和注意力网络。
在一个实施例中，步骤1042中的将解码后的金字塔特征图与所述病变区域边界图进行拼接，获得拼接特征图，具体包括：将解码后的金字塔特征图上采样，上采样后的特征图与所述病变区域边界图进行拼接，获得拼接特征图。
图3为本发明一个实施例中的与步骤1042对应的功能模块结构示意图。在该实施例中低级特征图包括f1和f2，高级特征图包括f3、f4和f5。步骤1042的具体过程如图3所示：将金字塔特征图P3、P4和P5分别依次输入解码网络(包括级联的可变形卷积层(DeformableConv)和注意力层(Attention layer))中，获得对应三个解码后的金字塔特征图；将三个解码后的金字塔特征图进行上采样，将上采样后的特征与病变区域边界图P2进行拼接(Concatenation)，获得拼接特征图。如图3所示，在本发明实施例中，可变形卷积层和注意力层分别为串联的两层。在本发明实施例中，金字塔特征图中各层级的特征图上采样后的图尺寸与病变区域边界图P2相同。
本发明实施例中的可变形卷积层和注意力层的计算过程如下：可变形卷积层输出的特征为pi∈Rn×w×h，其中n是特征通道数，w和h分别是特征的权重和高度；注意力层使用三个核大小为1的卷积运算和展平运算生成queries
Figure BDA0003167541350000131
keys
Figure BDA0003167541350000132
和values
Figure BDA0003167541350000133
其中dq＝dk＝dv＝h×w；注意力矩阵按照式(1)获得：
Figure BDA0003167541350000134
然后将注意力矩阵调整为输入大小，并添加pi，这样，每个通道中的pi都是所有实体的加权求和。本发明实施例中的解码网络结合了可变形卷积层和注意力层，同时利用了邻域和长程依赖。
在本发明实施例中，步骤1042在将所述金字塔特征图进行并行解码时，同时引入了级联的可变形卷积网络和注意力网络作为解码网络，解决了医学图像中存在的不连续病变和连续标签之间的不一致，以及病变区域和正常区域之间的对比度较低等技术问题。
下面以脑CT图像上的缺血性病变区域的分割为例来说明这个问题，图4所示为本发明一个实施例中的脑CT图像的原始图像、标签图和缺血性病变区域图。其中a)列为原始图像、b)列为病变标签，c)列为缺血性病变区域。如b)列和c)列中所示，在临床识别和病变标签中，病变被分割成连续的掩膜，而正常组织孔总是嵌在缺血病变上；引入的可变形卷积通过额外的学习偏移量来增加空间采样位置，因此可以呈现出比经典卷积操作更灵活的几何结构，因此引入可变形卷积可以缓解图像中不连续病变和连续标记之间的不一致性。另外，针对病变区域与周围正常组织的对比度较低的问题，本发明引入的注意力网络做出很大的贡献，如a)列所示，虽然缺血性病变区域和周围正常组织的对比度较低，但是缺血性病变与其对称区域呈现较高的对比度；注意力网络可以可自动利用每个实体与包括对称区域在内的完整空间域之间的交互。在解码网络中，可变形卷积网络与关注层集成在一起，可以同时利用局部邻域依赖性和远距离依赖性，从而灵活地利用病变区域与医学图像上其他区域之间的多范围依赖性，使得最终的分割效果更好。
图5为本发明一个实施例中的医学图像的处理系统的结构示意图，该系统包括：输入模块、特征提取模块、病变区域边界图获取模块、特征金字塔模块，并行解码模块、病变区域分割模块以及输出模块。
输入模块用于输入待处理的医学图像I。其中医学图像I为任意需要进行病变区域分割的医学图像，例如在一个实施例中为需要进行缺血性病变区域分割的脑CT图像。
特征提取模块，用于利用多级特征提取网络，对所述医学图像进行分级特征提取，获得多级特征图，所述多级特征图包括多个低级特征图和多个高级特征图，其中低级特征图包含的边缘信息多于高级特征图包含的边缘信息。如图5所示，在本发明实施例中特征提取网络为残差网络，对图像I进行逐级提取(Stage1至Stage5)，获得多级特征图，其中f1和f2为低级特征图，f3、f4和f5为高级特征图。
病变区域边界图获取模块，用于利用所述低级特征图，获得病变区域边界图。如图5所示，在本实施例中，将所述低级特征图输入到已训练的辅助病变边缘生成模型(Auxiliary layer)中，获得病变区域边界图P2。
特征金字塔模块，用于利用所述多个高级特征图进行聚合处理，获得金字塔特征图。如图5所示，其中的模块PFA为特征金字塔模块，对高级特征图f3、f4和f5进行聚合获得金字塔特征图P3、P4和P5。该模块的展开结构参见图2及其相关描述，在此不做赘述。
并行解码模块，用于将所述金字塔特征图进行并行解码，将解码后的金字塔特征图与所述病变区域边界图进行拼接(Concatenation)，获得拼接特征图。如图4所示，本发明实施例中的并行解码模块可以是模块NPD，该模块NPD的展开结构参见图3及其相关描述，在此不做赘述。
病变区域分割模块，用于基于所述拼接特征图进行图像分割处理，获得病变区域分割图。如图5所示，本实施例中的模块Head为病变区域分割模块。
输出模块，用于输出病变区域分割图。如图5所示的图Ps即为输出的病变区域分割图，在分割完成之后对病变区域分割图进行4倍上采样之后再进行输出。在病变区域分割图中用白色部分标识病变区域，其他部分均为黑色。
在一个实施例中，辅助病变边缘生成模型和分割模型的训练过程是一起进行的，在训练过程中，辅助病变边缘生成模型由一个标准的二进制交叉熵损失Ledge来监督，分割模型的输出由Lseg监督，其中Lseg由
Figure BDA0003167541350000151
(weighted dice loss)和
Figure BDA0003167541350000152
(weighted binarycross entropy loss)组成，具体参见式(2)：
Figure BDA0003167541350000153
其中，Gs是分割真值，Ps为分割模型的输出。Gs是根据医学图像中标注的病变区域生成的。
总的损失函数如式(3)中的定义：
Ltotal＝λLseg(Gs，Ps)+(1-λ)Ledge(Gedge，Pedge) (3)
其中，Gedge为病变区域边界的标签，Pedge为辅助病变边缘生成模型的输出；参数λ是权重，设置为0.9以获得更关注的分割输出。
由图5可知Gs是经过由Ge梯度处理得到，在训练过程中式(3)中的Gedge即为图5中的Ge；在训练过程中，图5中的P2即为Pedge。
为了进一步证明本发明实施例中的技术方案在病变区域划分中的性能，本发明进行了以下实验例中的实验。
实验例中数据来源如下：收集了来自中国18个综合性卒中中心的721例AIS(临床缺血性卒中)患者的1006张脑CT图像。所有脑CT图像文件都以集中的方式存储，并由两名不了解临床数据的放射科医生独立审查。研究方案由天坛医院伦理委员会和所有参与中心批准。获得所有参与者或其家庭成员的知情同意。这些脑CT图像是在中风发作后24小时到5天内拍摄的。数据集主要包括前循环病变(n＝747)和后循环病变(n＝175)，在形状、体积和对比度上有很大的变化的。通过加窗处理将CT切片转换为RGB图像，然后对裁剪图像进行中心化处理，去除不相关的背景信息。病变像素数小于200的转换图像将被丢弃。经过数据处理和清洁后，总共收集脑CT图像9020幅。对于所有实验例，均采用五重交叉验证策略。整个数据集分为5个部分，其中4个部分用于模型训练，1个部分用于验证，用于在每个循环中进行验证。模型的性能由5个循环的Dice指数、IoU、灵敏度和特异性的平均值来评估。
本发明实施例中的技术方案和对比模型都是在Python环境下，采用Pytorch实现的。U-Net和U-Net++以VGG16为骨干网络，Swin-UperNet以Swin-T为骨干网络。
此外，所有骨干网络都在ImageNet上进行了图像分类的预训练，并移除了最后连接的层。对于模型训练，我们使用Adam优化器训练20个时期的所有模型。学习速率设置为1e-4，在第10、15纪元(epoch)时降低系数0.1。为了公平比较，所有模型都使用分割损失函数。模型输出由sigmoid函数激活，并以阈值0.5进行二值化处理，以区分缺血性病变(病变区域)和正常组织。
实验例1性能评估和对比实验
我们在收集的缺血性中风脑CT图像上评估了本发明实施例中的技术方案(如图5所示)和对比模型的性能，其中对比模型包括U-Net、U-Net++、PSP-Net、DeepLabv3+、SF-Net、Inf-Net、CE-Net、OC-Net和新提出的Swin-UperNet(transformer model)。此外，如果没有特别说明，本发明实施例中的技术方案采用ResNet-16为骨干网络进行特征提取。本发明和对比模型的分割性能结果如表1所示。
如表1所示，本发明实施例中的技术方案，在Dice指数、IoU和灵敏度上都达到了最高值，分别比排名第二的模型提高了1.3％、1.2％和3.1％。在特异性方面，由于缺血性病变和正常区域之间的极度不平衡，所有模型之间的差异很小。灵敏度最高的评分证明本发明实施例中的技术方案适合于临床应用，可以帮助临床医生尽可能多地鉴别缺血性病变。图8给出了基于Dice指数和灵敏度的所有模型的性能比较。
表1
Model 骨干网络 Dice(％) IoU(％) Sensitivity(％) Specificity(％)
U-Net VGG16 61.6 50.4 71.1 98.6
U-Net++ VGG16 61.7 50.8 70.5 98.6
PSP-Net ResNet 64.7 53.7 67.3 99.2
DeepLabv3+ ResNet-16 65.9 54.9 68.5 99.3
CE-Net ResNet 63.6 52.7 67.6 99.1
OC-Net ResNet 61.6 50.8 66.0 99.1
Inf-Net Res2Net 66.2 55.5 68.4 99.3
SF-Net ResNet 64.4 53.6 68.1 99.2
Swin-UperNet Swin-T 62.7 51.4 72.5 99.1
本发明 ResNet-16 67.5 56.7 74.4 99.1
图9显示了本发明的技术方案与部分对比模型在各种类型病变上的定性表现。从图9可以看出，几乎所有的模型对于临床上也容易识别的高对比度、大区域的病变都能输出满意的结果，如图中的第1行和第2行所示。对于第4行和第5行的微小病变，以及第6行和第7行的低对比度病变，分割性能是多样的，本发明的技术方案的分割性能明显更佳，由上述结果可知本发明实施例中的技术方案在复杂场景中保持良好的性能。
实施例2骨干网络替换对比实验
本实验例是在图5技术方案的基础上，对其中的特征提取模块进行替换进行实验，然后将替换后的技术方案与具有相同骨干网络的其他模型进行对比，结果如表2所示。其中IS-Net基本采用图5中的技术方案，仅仅采用不同的骨干网络作为其特征提取模块。
表2
Figure BDA0003167541350000171
如表2所示：对于每个骨干网络，将本发明IS-Net与一种基准测试模式进行了比较，即具有骨干网络ResNet-16的IS-Net与DeepLabv3+比较、具有骨干网络Res2Net的IS-Net与Inf-Net比较、具有骨干网络Swin-T的IS-Net与Swin-UperNet比较。括号中的数据说明了IS-Net相对于具有相同骨干网络对比模型的改进。实验结果表明，本发明中技术方案IS-Net，在Dice、IoU和灵敏度方面均提高了所有骨干网络的分割性能。与骨干网络ResNet相比，骨干网络ResNet-16采用了伸缩卷积，去除了最后阶段的跨步，输出了2倍大的特征图，有助于提高分割性能。综上所述，对所有骨干网络的改进证明了本发明中的技术方案的灵活性和鲁棒性。
实验例3融合策略替换对比实验
本实验例是在图5技术方案的基础上，采用不同的融合策略对其中的特征金字塔模块进行替换。采用具有不同融合策略的方案进行病变区域分割，并进行分割性能评估和对比，结果如表3所示。
表3
融合策略 Dice(％) IoU(％) Sens.(％)
边缘约束 67.5 56.7 74.4
边缘注意 66.5 55.3 71.8
FAM 67.3 56.1 74.3
FPN 67.0 55.8 73.6
不同的融合策略如图10所示。其中FPN通过将上采样的高层级的高级特征图通过加法融合来增强低层级的高级特征图。FAM为特征对齐模块，增强高层级的高级特征图和低层级的高级特征图之间的信息传播。在采用不同融合策略FPN和FAM中技术方案中，采用FPN和FAM代替了图5技术方案中的FPA模块,并且删除了“辅助层”模块。
在表3中的“边缘约束”代表的为图5和图2中所示出的PFA和辅助层两部分，采用下采样的高层级的低级特征图和高层级的高级特征图共同与本层级高级特征图进行加法融合，实现低级特征图边缘信息对高级特征图的边缘约束作用。如图10所示，比较了两种不同的约束方案。c)中的“边缘注意”方案在注意方式中应用边缘约束，即低级特征图在可变形卷积后使用sigmoid激活函数生成注意图，然后将加法融合后的低层级的高级特征图和高层级的高级特征图与注意图按元素相乘。从表3可以看出：与采用FPN的技术方案相比，采用“边缘约束”作为融合策略的技术方案提高了分割性能；而采用“边缘注意”的技术方案与采用FPN的技术方案相比性能有所下降。此外，与其他采用其他融合策略的技术方案相比，采用“边缘约束”技术方案的分割效果有了最大的提高，证明了边缘约束在缺血性脑卒中病灶分割中的优越性。
实验例4消融实验
本实验例在图5技术方案的基础上，不同模块的消融研究。结果如表4所示。
表4
Figure BDA0003167541350000191
其中基本模型为：以ResNet为骨干网络进行多级特征提取，采用FPN作为特征金字塔模块，去除边缘约束(病变区域边界图获取模块)，用两个叠加卷积代替并行解码模块中可变形卷积层和注意力层的结合。另外几个模型均以ResNet为骨干网络进行多级特征提取，通过变化基本模型中的其他部分得到的。
实验结果表明，本发明实施例中设计的PFA(特征金字塔模块)和NPD(并行解码模块)都提高了分割性能。尤其是NPD在Dice、IoU和灵敏度方面分别提高了1.8％、1.6％和4.7％，证明了利用邻域依赖和长程依赖对病变区域分割有很大的好处。此外，边缘约束(病变区域边界图获取模块)可以进一步提高模型的性能。结果表明，本发明实施例所设计的关键部件PFA、NPD和边缘约束对病变区域的分割是有价值的。
实验例5模型参数、计算复杂度和推理速度对比
本实验例对实验例1中本发明实施例技术方案(以下简称be)所采用的结构与对比模型的模型参数、计算复杂度和推理速度进行了对比。结果如表5所示，在表5中分别用参数(单位：百万)(Param.(M))、浮点运算(单位：千兆)(FLOPs(G))和FPS(帧/秒)表示。
表5
骨干网络 Param.(M) FLOPs(G) FPS
U-Net VGG16 34.5 123.6 42
U-Net++ VGG16 47.2 377.4 12
PSP-Net ResNet 53.3 95.2 28
DeepLabv3+ ResNet-16 40.3 32.8 33
CE-Net ResNet 175.7 52.8 23
OC-Net ResNet 43.34 15.7 51
Inf-Net Res2Net 31.1 13.9 29
SF-Net ResNet 31.2 35.9 37
Swin-UperNet Swin-T 59.8 99.9 22
本发明 ResNet-16 34.5 42.9 32
在一个GeForce RTX 3080GPU上对9020幅图像进行了推理速度测试。IS-Net的由可变形卷积层和注意力层组成的并行解码模块使得与其他模型相比，IS-Net的复杂度和计算量是可以接受的。而U-Net和U-Net++对大分辨率特征采用卷积运算，导致计算量大。图11和图12显示了本发明实施例所提出的IS-Net和对比模型的推理速度与分割性能的关系，其中着色圆表示模型参数。从表5、图11和图12可以看出，IS-Net实现了最高的分割性能，同时保持了可接受的计算量和复杂度。
根据以上验证实验结果可知，本发明实施例中的技术方案提，利用PFA(特征金字塔模块)和边缘约束(病变区域边界图获取模块)有效地利用了多级特征图。PFA模块对高级特征图进行聚合，并采用合理的策略进行融合，同时提供足够的细节信息和强大的语义表示。边缘约束通过对病变边界的监督，增强了低级特征图的边缘表示。增强的边缘表示被传播到PFA模块和NPD(并行解码模块)以充分挖掘病灶边界线索。NPD由可变形卷积层和注意力层组成，利用了邻域和长程依赖性。实验结果表明，本发明实施例所提出的技术方案在Dice指数、IoU和灵敏度方面均优于现有的分割模型。消融研究进一步证明了所设计的PFA、边缘约束和NPD对病变的分割是有价值的。此外，该技术方案适用于不同的骨干网络，证明了该技术方案的灵活性和鲁棒性。
本发明中的研究成果是在国家自然科学基金(No.81971614)和国家自然科学基金(No.82001920)的支持下获得的。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上对本发明所提供的一种计算机设备进行了详细介绍，对于本领域的一般技术人员，依据本申请实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种医学图像的处理方法，其特征在于，包括：
获取待处理的医学图像；
利用多级特征提取网络，对所述医学图像进行分级特征提取，获得多级特征图，所述多级特征图包括多个低级特征图和多个高级特征图，其中低级特征图包含的边缘信息多于高级特征图包含的边缘信息；
利用所述低级特征图，获得病变区域边界图；
基于所述多个高级特征图与所述病变区域边界图，获得拼接特征图；和
基于所述拼接特征图进行图像分割处理，获得病变区域分割图。
2.根据权利要求1所述的处理方法，其特征在于，所述利用所述低级特征图，获得病变区域边界图，包括：
将所述低级特征图输入到已训练的辅助病变边缘生成模型中，获得病变区域边界图。
3.根据权利要求1或2所述的处理方法，其特征在于，所述基于所述多个高级特征图与所述病变区域边界图，获得拼接特征图，包括：
利用所述多个高级特征图进行聚合处理，获得金字塔特征图；和
将所述金字塔特征图进行并行解码，将解码后的金字塔特征图与所述病变区域边界图进行拼接，获得拼接特征图。
4.根据权利要求3所述的处理方法，其特征在于，所述利用所述多个高级特征图进行聚合处理，获得金字塔特征图，包括：
分别对每个高级特征图进行膨胀卷积，获得每个高级特征图对应的第一卷积高级特征图；和
利用多个第一卷积高级特征图进行聚合处理，获得金字塔特征图。
5.根据权利要求4所述的处理方法，其特征在于，所述利用多个第一卷积高级特征图进行聚合处理，获得金字塔特征图，包括：
针对最高层级，将所述最高层级的第一卷积高级特征图输入所述最高层级对应的第一可变形卷积网路，获得金字塔特征图中最高层级的特征图；
针对除所述最高层级以外的第n个层级，进行如下操作：
对第(n+1)个层级中输入第一可变形卷积网络的特征图进行上采样处理，
将上采样处理后的特征图输入第(n+1)个层级对应的第二可变形卷积网络，获得第(n+1)个层级的第二卷积高级特征图，
基于第(n+1)个层级的第二卷积高级特征图和第n个层级的第一卷积高级特征图进行融合处理，获得融合特征图，以及
将获得的融合特征图输入第n个层级对应的第一可变形卷积网路，获得金字塔特征图中第n个层级的特征图。
6.根据权利要求5所述的处理方法，其特征在于，所述基于第(n+1)个层级对应的第二卷积高级特征图和第n个层级的第一卷积高级特征图进行融合处理，包括：
对第(n+1)个层级对应的第二卷积高级特征图、第n个层级的第一卷积高级特征图和层级最高的低级特征图进行融合处理，获得融合特征图。
7.根据权利要求3所述的处理方法，其特征在于，所述将所述金字塔特征图进行并行解码，包括：
将所述金字塔特征图中每个层级的特征图分别输入解码网络，获得解码后的金字塔特征图，其中，解码网络包括级联的可变形卷积网络和注意力网络。
8.一种医学图像的处理装置，其特征在于，包括：
获取单元，用于获取待处理的医学图像；
多级特征提取单元，用于利用多级特征提取网络，对所述医学图像进行分级特征提取，获得多级特征图，所述多级特征图包括多个低级特征图和多个高级特征图，其中低级特征图包含的边缘信息多于高级特征图包含的边缘信息；
病变区域边界图获取单元，用于利用所述低级特征图，获得病变区域边界图；
拼接单元，用于基于所述多个高级特征图与所述病变区域边界图，获得拼接特征图；和
病变区域分割单元；基于所述拼接特征图进行图像分割处理，获得病变区域分割图。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该计算机程序指令被处理器执行时实现权利要求1至7任一项所述方法的步骤。
CN202110808858.0A 2021-07-16 2021-07-16 医学图像的处理方法、装置、电子设备和存储介质 Active CN113506310B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110808858.0A CN113506310B (zh) 2021-07-16 2021-07-16 医学图像的处理方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110808858.0A CN113506310B (zh) 2021-07-16 2021-07-16 医学图像的处理方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN113506310A true CN113506310A (zh) 2021-10-15
CN113506310B CN113506310B (zh) 2022-03-01

Family

ID=78013673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110808858.0A Active CN113506310B (zh) 2021-07-16 2021-07-16 医学图像的处理方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN113506310B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114098640A (zh) * 2021-11-18 2022-03-01 北京鹰之眼智能健康科技有限公司 体质识别方法、装置、存储介质及设备
JP2022529557A (ja) * 2019-04-22 2022-06-23 テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド 医用画像分割方法、医用画像分割装置、電子機器及びコンピュータプログラム
CN114758137A (zh) * 2022-06-15 2022-07-15 深圳瀚维智能医疗科技有限公司 超声图像分割方法、装置及计算机可读存储介质
CN115541578A (zh) * 2022-09-28 2022-12-30 佐健(上海)生物医疗科技有限公司 一种高通量超分辨宫颈细胞病理切片快速扫描分析系统
WO2023116231A1 (zh) * 2021-12-22 2023-06-29 腾讯科技（深圳）有限公司 图像分类方法、装置、计算机设备及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017210690A1 (en) * 2016-06-03 2017-12-07 Lu Le Spatial aggregation of holistically-nested convolutional neural networks for automated organ localization and segmentation in 3d medical scans
CN109886986A (zh) * 2019-01-23 2019-06-14 北京航空航天大学 一种基于多分支卷积神经网络的皮肤镜图像分割方法
CN110674866A (zh) * 2019-09-23 2020-01-10 兰州理工大学 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法
CN111402264A (zh) * 2020-03-11 2020-07-10 南京三百云信息科技有限公司 图像区域分割方法、装置及其模型训练方法及计算机设备
CN111681273A (zh) * 2020-06-10 2020-09-18 创新奇智(青岛)科技有限公司 图像分割方法、装置、电子设备及可读存储介质
CN111784701A (zh) * 2020-06-10 2020-10-16 深圳市人民医院 结合边界特征增强和多尺度信息的超声图像分割方法及系统
CN112184748A (zh) * 2020-09-30 2021-01-05 陕西科技大学 可变形的上下文编码网络模型及对肝脏及肝脏肿瘤的分割方法
CN112183542A (zh) * 2020-09-21 2021-01-05 上海眼控科技股份有限公司 基于文本图像的识别方法、装置、设备和介质
CN112381097A (zh) * 2020-11-16 2021-02-19 西南石油大学 一种基于深度学习的场景语义分割方法
CN112561937A (zh) * 2020-12-18 2021-03-26 深圳先进技术研究院 基于病变边界信息响应的上下文感知医学图像分割方法
CN112927250A (zh) * 2021-03-05 2021-06-08 重庆邮电大学 一种基于多粒度注意力分层网络的边缘检测系统和方法
CN113033570A (zh) * 2021-03-29 2021-06-25 同济大学 一种改进空洞卷积和多层次特征信息融合的图像语义分割方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017210690A1 (en) * 2016-06-03 2017-12-07 Lu Le Spatial aggregation of holistically-nested convolutional neural networks for automated organ localization and segmentation in 3d medical scans
CN109886986A (zh) * 2019-01-23 2019-06-14 北京航空航天大学 一种基于多分支卷积神经网络的皮肤镜图像分割方法
CN110674866A (zh) * 2019-09-23 2020-01-10 兰州理工大学 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法
CN111402264A (zh) * 2020-03-11 2020-07-10 南京三百云信息科技有限公司 图像区域分割方法、装置及其模型训练方法及计算机设备
CN111681273A (zh) * 2020-06-10 2020-09-18 创新奇智(青岛)科技有限公司 图像分割方法、装置、电子设备及可读存储介质
CN111784701A (zh) * 2020-06-10 2020-10-16 深圳市人民医院 结合边界特征增强和多尺度信息的超声图像分割方法及系统
CN112183542A (zh) * 2020-09-21 2021-01-05 上海眼控科技股份有限公司 基于文本图像的识别方法、装置、设备和介质
CN112184748A (zh) * 2020-09-30 2021-01-05 陕西科技大学 可变形的上下文编码网络模型及对肝脏及肝脏肿瘤的分割方法
CN112381097A (zh) * 2020-11-16 2021-02-19 西南石油大学 一种基于深度学习的场景语义分割方法
CN112561937A (zh) * 2020-12-18 2021-03-26 深圳先进技术研究院 基于病变边界信息响应的上下文感知医学图像分割方法
CN112927250A (zh) * 2021-03-05 2021-06-08 重庆邮电大学 一种基于多粒度注意力分层网络的边缘检测系统和方法
CN113033570A (zh) * 2021-03-29 2021-06-25 同济大学 一种改进空洞卷积和多层次特征信息融合的图像语义分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIFENG DAI,ET AL: "《Deformable Convolutional Networks》", 《ARXIV:1703.06211V3》 *
冯兴杰等: "《一种融合多级特征信息的图像语义分割方法》", 《计算机应用研究》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022529557A (ja) * 2019-04-22 2022-06-23 テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド 医用画像分割方法、医用画像分割装置、電子機器及びコンピュータプログラム
US11887311B2 (en) 2019-04-22 2024-01-30 Tencent Technology (Shenzhen) Company Limited Method and apparatus for segmenting a medical image, and storage medium
CN114098640A (zh) * 2021-11-18 2022-03-01 北京鹰之眼智能健康科技有限公司 体质识别方法、装置、存储介质及设备
WO2023116231A1 (zh) * 2021-12-22 2023-06-29 腾讯科技（深圳）有限公司 图像分类方法、装置、计算机设备及存储介质
CN114758137A (zh) * 2022-06-15 2022-07-15 深圳瀚维智能医疗科技有限公司 超声图像分割方法、装置及计算机可读存储介质
CN115541578A (zh) * 2022-09-28 2022-12-30 佐健(上海)生物医疗科技有限公司 一种高通量超分辨宫颈细胞病理切片快速扫描分析系统
CN115541578B (zh) * 2022-09-28 2023-10-24 佐健(上海)生物医疗科技有限公司 一种高通量超分辨宫颈细胞病理切片快速扫描分析系统

Also Published As

Publication number Publication date
CN113506310B (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
Shamshad et al. Transformers in medical imaging: A survey
CN113506310B (zh) 医学图像的处理方法、装置、电子设备和存储介质
Dou et al. Pnp-adanet: Plug-and-play adversarial domain adaptation network at unpaired cross-modality cardiac segmentation
Gu et al. Automatic lung nodule detection using a 3D deep convolutional neural network combined with a multi-scale prediction strategy in chest CTs
Parvaiz et al. Vision transformers in medical computer vision—A contemplative retrospection
Wee et al. Cortical graph neural network for AD and MCI diagnosis and transfer learning across populations
Ni et al. GC-Net: Global context network for medical image segmentation
Cheng et al. Contour-aware semantic segmentation network with spatial attention mechanism for medical image
Al-Masni et al. CMM-Net: Contextual multi-scale multi-level network for efficient biomedical image segmentation
Xu et al. ω-net: Dual supervised medical image segmentation with multi-dimensional self-attention and diversely-connected multi-scale convolution
Zhou et al. A unified visual information preservation framework for self-supervised pre-training in medical image analysis
CN114581662A (zh) 一种脑肿瘤图像的分割方法、系统、装置及存储介质
Arai et al. Significant dimension reduction of 3D brain MRI using 3D convolutional autoencoders
Yamanakkanavar et al. MF2-Net: A multipath feature fusion network for medical image segmentation
Van De Leemput et al. Multiclass brain tissue segmentation in 4D CT using convolutional neural networks
CN115546570A (zh) 一种基于三维深度网络的血管图像分割方法及系统
Liu et al. Bladder cancer multi-class segmentation in MRI with Pyramid-In-Pyramid network
Xu et al. Mammographic mass segmentation using multichannel and multiscale fully convolutional networks
Martín-Isla et al. Stacked BCDU-Net with semantic CMR synthesis: Application to myocardial pathology segmentation challenge
Li et al. Automatic quantification of epicardial adipose tissue volume
Jia et al. Two-branch network for brain tumor segmentation using attention mechanism and super-resolution reconstruction
He Automated detection of intracranial hemorrhage on head computed tomography with deep learning
Affane et al. Literature review of deep learning models for liver vessels reconstruction
Ilesanmi et al. Organ segmentation from computed tomography images using the 3D convolutional neural network: a systematic review
Zade et al. An improved capsule network for glioma segmentation on MRI images: A curriculum learning approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant