CN116228792A - 一种医学图像分割方法、系统及电子装置 - Google Patents

一种医学图像分割方法、系统及电子装置 Download PDF

Info

Publication number
CN116228792A
CN116228792A CN202310112134.1A CN202310112134A CN116228792A CN 116228792 A CN116228792 A CN 116228792A CN 202310112134 A CN202310112134 A CN 202310112134A CN 116228792 A CN116228792 A CN 116228792A
Authority
CN
China
Prior art keywords
network
feature
layer
boundary
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310112134.1A
Other languages
English (en)
Inventor
郑健
汪子宇
刘德森
曹玉柱
朱峰
陆文强
宋洪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Jiulong Hospital Co ltd
Suzhou Institute of Biomedical Engineering and Technology of CAS
Original Assignee
Suzhou Jiulong Hospital Co ltd
Suzhou Institute of Biomedical Engineering and Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Jiulong Hospital Co ltd, Suzhou Institute of Biomedical Engineering and Technology of CAS filed Critical Suzhou Jiulong Hospital Co ltd
Priority to CN202310112134.1A priority Critical patent/CN116228792A/zh
Publication of CN116228792A publication Critical patent/CN116228792A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了一种医学图像分割方法，属于医学图像处理领域，通过数据集预处理、建立U型基线分割网络、构建管状特征提取模块、构建多尺度信息融合模块、构建边界引导模块和空间坐标信息特征、构建自注意力蒸馏模块、建立管状器官分割网络、分割网络自动分割出病灶等步骤，提升网络对管状器官的末端精细分支的分割性能，学习到图像全局尺度和局部尺度的上下文信息，充分利用气管、肺血管区域的边界信息和空间位置信息来引导网络更加关注待分割目标的边界区域，提升网络的分割准确度。本发明还涉及实施上述医学图像分割方法的系统以及电子装置。

Description

一种医学图像分割方法、系统及电子装置
技术领域
本发明涉及医学图像处理领域，尤其是涉及医学图像分割方法、系统以及电子装置。
背景技术
医学图像分割，是根据医学图像的某种相似性特征，将医学图像划分为若干个互不相交的“连通”的区域的过程，是计算机辅助诊断的关键步骤，如胸部CT中气管、肺血管的分割。气管、肺血管的分割有助于观察其形态学变化，以诊断支气管狭窄、慢性阻塞性肺疾病、肺栓塞、动静脉畸形等疾病，还能在支气管镜检查和手术导航中发挥重要作用。
目前主流的气管、肺血管分割技术大多采用基于卷积神经网络的深度学习方法，尽管这些方法在多个公开数据集上取得了优异的表现，但仍然存在以下挑战：1、粗大管状结构和细微管状结构之间的体素强度分布存在差异。气管和肺血管主支与背景强度对比明显，但随着管径的减小和分叉的增多，管状结构和背景之间的强度差异越来越小，边界越来越模糊。2、完整的气管、肺血管树的空间分布范围广，而气管、肺血管管状结构的末端尺度较小，因此气管、肺血管的分割需要网络兼顾全局尺度和局部尺度的上下文信息。3、卷积神经网络主要基于图像的体素强度来提取特征，但对空间结构信息(如边界信息、空间坐标位置信息)利用不充分。针对以上挑战，研究一种分割精确、应用广泛的医学图像分割算法进行气管、肺血管的分割具有重要意义。
发明内容
为了克服现有技术的不足，本发明的目的之一在于提供一种分割精确、应用广泛的医学图像分割方法进行气管、肺血管的分割。
为了克服现有技术的不足，本发明的目的之二在于提供一种分割精确、应用广泛的医学图像分割系统进行气管、肺血管的分割。
为了克服现有技术的不足，本发明的目的之三在于提供一种分割精确、应用广泛的电子装置，以便于进行气管、肺血管的分割。
本发明的目的之一采用如下技术方案实现：
一种医学图像分割方法，包括以下步骤：
数据集预处理：采集三维医学图像形成数据集，对数据进行增强处理；
建立U型基线分割网络：采用3D U-Net作为分割的基线网络，3D U-Net网络包括编码阶段以及解码阶段，编码阶段由三维卷积层、归一化层、非线性激活函数ReLU以及最大池化层组成，采用四层分辨率结构；
构建管状特征提取模块：通过堆叠图卷积层，使得图中的节点能够学习到与其直接相邻的邻域外的信息，让网络能够从距离当前体素较远但共享了特征信息的图像区域里进行学习；
构建多尺度信息融合模块：采用三个不同尺度的空洞卷积来扩大感受野并获得多尺度特征图，采用特征重校准层来自动获取每个通道的权重，然后依据权重去提升有用的特征并抑制对当前任务用处较小的特征；
构建边界引导模块和空间坐标信息特征：通过构建边界引导模块和空间坐标信息特征来充分利用管状器官区域的边界信息和空间位置信息从而引导网络更加关注待分割目标的边界区域，提升网络的分割准确度；
构建自注意力蒸馏模块：通过构建自注意力蒸馏模块来充分获取有价值的上下文信息，并在监督信号不足的情况下探索利用自注意力蒸馏本身来充当辅助学习任务，提供额外的监督信号来辅助训练；
建立管状器官分割网络：在建立好的基线网络上，插入管状特征提取模块、多尺度信息融合模块、自注意力蒸馏模块；
训练管状器官分割网络：将预处理后的原图及分割金标准送入整个网络进行监督学习；
分割网络自动分割出病灶：在网络训练好后，保存网络权重，在测试分割网络时只需输入待测试图片，分割网络会自动根据测试图片，分割出病灶。
进一步地，所述构建管状特征提取模块步骤中，每层图卷积层的图卷积运算的定义为：
Figure BDA0004077154420000021
其中，σ(·)是修正后的线性单元激活函数(ReLU)，Xl∈RM×N是包含M个节点和N个特征输入到第l个GNN层的节点特征矩阵，可学习的GNN卷积的权重为
Figure BDA0004077154420000022
Z是二进制邻接矩阵，Y是从Z派生的度矩阵，邻接矩阵在很大程度上是稀疏的，通过将邻接矩阵处理为稀疏张量，上述的图卷积运算能快速完成。
进一步地，所述构建管状特征提取模块步骤中，管状特征提取模块的初始特征图定义为：
X0＝f(H) (2)
其中H∈RM×F是从3D U-Net导出的F维节点特征矩阵，f(·)具有F个输入单元和N个输出单元的线性整流单元以及归一化层。
进一步地，所述构建多尺度信息融合模块中，采用特征重校准层来自动获取每个通道的权重具体为：特征重校准层首先对输入的特征图进行全局平均池化实现空间维度的特征压缩，生成压缩特征图，然后激活特征图，并为每个通道的特征图生成可学习的权重参数，权重参数用来表示不同特征通道的重要性。
进一步地，依据权重去提升有用的特征并抑制对当前任务用处较小的特征具体为：对激活特征图进行广播操作(broadcasting)恢复至原始大小，对应元素相加后再与原始输入特征图逐元素相乘得到重新校准的特征图，将提取到的多尺度特征图与特征重校准层连接，为来自不同通道的信息按照重要程度赋予不同的权重，突出有助于分割任务的通道信息，抑制对于分割任务没有帮助的通道信息。
进一步地，所述构建边界引导模块和空间坐标信息特征步骤的网络结构为：从提取的浅层特征图中检测局部边界信息，得到边界特征图，边界特征图经过两个卷积层后恢复至原始图像大小，并与从金标准中得到的边界图计算损失，得到误差并反向传播更新特征图，对边界特征图进行监督，引导网络加强对边界区域的关注，帮助网络更好地学习边界特征，从原始图像中提取管状器官体素的坐标，并将坐标信息转换为与网络大小一致的多通道空间坐标信息特征图。
进一步地，计算边界特征图的过程中使用的损失函数为：
LEdge＝-GEdge·logPEdge-(1-GEdge)log(1-PEdge) (3)
其中，PEdge表示边界特征图，GEdge表示边界图的金标准，LEdge表示边界特征图和边界图金标准之间的交叉熵损失。
进一步地，在构建自注意力蒸馏模块步骤的网络结构为：自注意力蒸馏模块在当前层产生基于激活的注意力图，并将靠后的层作为“教师层”，较前的层作为“学生层”，“教师层”得到的注意力图作为“学生层”蒸馏的目标，有价值的上下文信息可以作为一种辅助监督的形式，通过在网络内部执行注意力蒸馏来进一步学习。
进一步地，构建自注意力蒸馏模块步骤具体为：自注意力蒸馏是在连续的两个特征层之间实现，其中基于激活的注意力图为：
Figure BDA0004077154420000031
其中，Fm为注意力图生成函数，Am表示网络第m层的激活输出，Ami表示第m层激活输出的第i个通道，P＞1能更多地关注高度激活的区域；
接着对得到的注意力图进行softmax操作和三线性插值操作得到处理后的注意力图
Figure BDA0004077154420000032
然后通过最小化蒸馏损失使/>
Figure BDA0004077154420000033
更加接近下一层注意力图/>
Figure BDA0004077154420000034
蒸馏损失的定义为：
Figure BDA0004077154420000035
通过优化蒸馏损失，
Figure BDA0004077154420000036
将会逐渐接近/>
Figure BDA0004077154420000037
使得注意力从最深的层传递到最浅的层。
进一步地，在所述建立管状器官分割网络步骤具体为：管状特征提取模块被放置在编码端的后两级和解码端的前两级，管状特征提取模块将来自上一级编码块/解码块输出的特征图中获得图结构并作为其输入，经过四次图卷积运算后输出一个具有与输入图相同节点的图以及学习到的每个节点对应的特征向量，管状特征提取模块的输出作为下一级编码块/解码块的输入，接着在编码端与解码端的连接处插入所述多尺度信息融合模块，其能够捕捉多尺度的上下文信息，并减少图像细节的丢失，并且多尺度信息融合模块引入了特征重校准层，能够自适应地获取每个通道的权重，然后依照这个权重去提升有用的特征并抑制对当前任务用处较小的特征。
进一步地，训练管状器官分割网络步骤中，网络的总损失由三部分组成：dice损失用来反映网络分割结果和金标准的相似度，Focal loss用来提高气管和肺血管中的难分样本的分割准确度，此外还引入径向损失来描述气管和血管的空间拓扑结构，将这三部分损失之和作为总损失，反向传播更新参数，引导整个网络的优化。
进一步地，损失函数的定义为：
Figure BDA0004077154420000041
Figure BDA0004077154420000042
Figure BDA0004077154420000043
其中，Ldice代表dice损失，i表示每个训练样本，N为批次大小，Pi表示网络的输出概率图，Gi表示该样本的金标准，Lfocal代表Focal损失，当Gi为1时，pt(i)＝Pi，否则pt(i)＝1-Pi，Lradial代表径向损失，pi,k表示第i个体素的预测结果，k∈[0,1]，di,k表示第i个体素的径向距离图，W为不同类别体积比的倒数，总损失的定义为：
Ltotal＝Ldice+Lfocal+λLradial (9)
其中，其中λ为权重参数。
本发明的目的之二采用如下技术方案实现：
一种医学图像分割系统，所述医学图像分割系统用于实施上述医学图像分割方法。
本发明的目的之三采用如下技术方案实现：
一种电子设置，包括
处理器；
存储器，所述存储器与所述处理器通信连接；
所述存储器存储有可被所述处理器执行的指令，所述指令被所述处理器执行以实现上述医学图像分割方法。
相比现有技术，本发明医学图像分割方法具有以下优点：
1、本申请针对细微管状结构与背景之间强度对比不明显，边界模糊而导致难以分割的问题，引入了管状特征提取模块，通过多层图卷积的方式使网络能够学习到距离当前节点较远但共享某些特征的邻域外信息，从而提升网络对气管和肺血管末端精细分支的分割性能。
2、本申请针对气管、肺血管空间分布范围广，管状结构内部尺度差异大，网络需兼顾全局尺度和局部尺度上下文信息的问题，引入了多尺度信息融合模块，其能够在提取到全局尺度上下文信息的同时减小图像细节的丢失，并通过特征重校准层去提升对分割任务有用的特征并抑制用处较小的特征。
3、本申请针对CNN对于空间结构信息利用不充分的问题，引入了边界引导模块和空间坐标信息特征，从而引导网络更加关注管状结构的边界区域，提升网络的分割性能。
附图说明
图1为本发明医学图像分割方法的流程图；
图2为本发明医学图像分割方法的网络架构；
图3为本发明医学图像分割方法的多尺度信息融合模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，当组件被称为“固定于”另一个组件，它可以直接在另一个组件上或者也可以存在另一中间组件，通过中间组件固定。当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在另一中间组件。当一个组件被认为是“设置于”另一个组件，它可以是直接设置在另一个组件上或者可能同时存在另一中间组件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
图1为本发明医学图像分割方法的流程图，医学图像分割方法包括以下步骤：
数据集预处理：采集三维医学图像形成数据集，对数据进行增强处理；
建立U型基线分割网络：采用3D U-Net作为分割的基线网络，3D U-Net网络包括编码阶段以及解码阶段，编码阶段由三维卷积层、批归一化层、非线性激活函数ReLU以及最大池化层组成，采用四层分辨率结构；
构建管状特征提取模块：通过堆叠图卷积层，使得图中的节点能够学习到与其直接相邻的邻域外的信息，让网络能够从距离当前体素较远但共享了特征信息的图像区域里进行学习；
构建多尺度信息融合模块：采用三个不同尺度的空洞卷积来扩大感受野并获得多尺度特征图，采用特征重校准层来自动获取每个通道的权重，然后依据权重去提升有用的特征并抑制对当前任务用处较小的特征；
构建边界引导模块和空间坐标信息特征：通过构建边界引导模块和空间坐标信息特征来充分利用管状器官区域的边界信息和空间位置信息从而引导网络更加关注待分割目标的边界区域，提升网络的分割准确度；
构建自注意力蒸馏模块：通过构建自注意力蒸馏模块来充分获取有价值的上下文信息，并在监督信号不足的情况下探索利用自注意力蒸馏本身来充当辅助学习任务，提供额外的监督信号来辅助训练；
建立管状器官分割网络：在建立好的基线网络上，插入管状特征提取模块、多尺度信息融合模块、自注意力蒸馏模块；
训练管状器官分割网络：将预处理后的原图及分割金标准送入整个网络进行监督学习；
分割网络自动分割出病灶：在网络训练好后，保存网络权重，在测试分割网络时只需输入待测试图片，分割网络会自动根据测试图片，分割出病灶。
请继续参阅图2，数据集预处理步骤具体为：
本申请所使用的数据为三维医学图像数据集，影像模态为CT图像。CT图像分辨率均为512×512，将所有CT图像的CT值截断至[-1000,400]、归一化至[0,1]，接着利用形态学方法提取肺实质，由于GPU显存的限制，CT图像经过裁剪后送入网络。数据增强使用具体为：随机水平翻转、随机-90度到90度旋转、随机移动和高斯平滑等在线数据增强方法。
建立U型基线分割网络步骤具体为：
在本申请中，分割网络模型是以3D U-Net作为分割的基线网络。原始3DU-Net网络的编码阶段是由一系列的三维卷积层、归一化层、非线性激活函数ReLU以及最大池化层构成，解码阶段是由多个三维反卷积层和三维卷积层构成。本申请中，采用了四层分辨率结构以扩大网络的感受野，提升网络对于气管及肺血管整体空间结构的感知能力。
构建管状特征提取模块步骤具体为：
针对细微管状结构与背景强度对比不明显，边界模糊而导致难以分割的难点。本发明基于图神经网络(GNN)，构建管状特征提取模块，提升网络对细微管状结构的分割能力。传统CNN依赖于连续的卷积和池化获取局部特征和远程信息，但这会导致分辨率严重降低，使得图像细节大量丢失。而管状特征提取模块通过堆叠图卷积层，使得图中的节点能够学习到与其直接相邻的邻域外的信息，让网络能够从距离当前体素较远但共享了某些特征信息(如形状、分叉方向等)的图像区域里进行学习。这些信息可以帮助网络更好地预测气管和肺血管的细微分支，提升网络分割的准确度。
具体而言，管状特征提取模块由多个图卷积层组成，通过将多个图卷积层堆叠在一起，图卷积层中的每个节点都利用来自高阶邻域的信息更新其特征，这可以提升分割的结果。每层图卷积层的图卷积运算的定义为：
Figure BDA0004077154420000071
其中，σ(·)是修正后的线性单元激活函数(ReLU)，Xl∈RM×N是包含M个节点和N个特征输入到第l个GNN层的节点特征矩阵。可学习的GNN卷积的权重为
Figure BDA0004077154420000072
Z是二进制邻接矩阵，Y是从Z派生的度矩阵。邻接矩阵在很大程度上是稀疏的，通过将邻接矩阵处理为稀疏张量，上述的图卷积运算能快速完成。
管状特征提取模块的初始特征图定义为：
X0＝f(H) (2)
其中H∈RM×F是从3D U-Net导出的F维节点特征矩阵，f(·)具有F个输入单元和N个输出单元，线性整流单元，以及归一化层。管状特征提取模块能够帮助网络学习和组合来自图像更大区域的信息，提升网络对气管和肺血管末端精细分支的分割性能。克服了CNN由于依赖局部特征提取，并通过连续的卷积和池化获取远程信息，而导致的分辨率严重降低的缺点。有助于缓解外周支气管、毛细血管等细微管状结构与背景之间边界模糊，强度对比不明显的问题。
构建多尺度信息融合模块步骤具体为：
针对气管、肺血管网络需要兼顾全局尺度和局部尺度的上下文信息的问题，本发明通过构建多尺度信息融合模块来融合不同尺度的特征信息，在提取具有较大感受野的特征同时，尽可能保留图像的细节。在网络结构设计上，如图3所示，多尺度信息融合模块由两部分组成：1、1×1卷积、三个不同尺度的空洞卷积；2、一个特征重校准层。第一部分用来扩大感受野并获得多尺度特征图，第二部分通过学习的方式来自动获取每个通道的权重，然后依据权重去提升有用的特征并抑制对当前任务用处较小的特征。具体而言，特征重校准层首先对输入的特征图进行全局平均池化实现空间维度(深度、高度、宽度)的特征压缩，生成三个压缩特征图。然后激活特征图，并为每个通道的特征图生成可学习的权重参数，权重参数用来表示不同特征通道的重要性。最后对三个激活特征图进行广播操作(broadcasting)恢复至原始大小，对应元素相加后再与原始输入特征图逐元素相乘得到重新校准的特征图。第一部分提取到多尺度特征图后，与第二部分的特征重校准层连接，来显式地建模特征通道之间的相互依赖关系。特征重校准层的引入可以为来自不同通道的信息按照重要程度赋予不同的权重，突出有助于分割任务的通道信息，抑制对于分割任务没有帮助的通道信息。
构建边界引导模块和空间坐标信息特征步骤具体为：
针对空间结构信息利用不充分的问题，本发明通过构建边界引导模块和空间坐标信息特征来充分利用气管、肺血管区域的边界信息和空间位置信息从而引导网络更加关注待分割目标的边界区域，提升网络的分割准确度。
在网络结构设计上，由于网络提取的低级特征含有丰富的图像细节，因此从提取的浅层特征图中检测局部边界信息，得到边界特征图。边界特征图经过两个卷积层后恢复至原始图像大小，并与从金标准中得到的边界图计算损失，得到误差并反向传播更新特征图，对边界特征图进行监督，引导网络加强对边界区域的关注，帮助网络更好地学习边界特征。根据解剖学的先验知识，空间坐标信息特征有助于气管、肺血管的分割。从原始图像中提取气管、肺血管体素的坐标，并将坐标信息转换为与网络大小一致的多通道空间坐标信息特征图。
接下来说明计算边界特征图的过程中使用的损失函数的定义：
LEdge＝-GEdge·logPEdge-(1-GEdge)log(1-PEdge) (3)
其中，PEdge表示边界特征图，GEdge表示边界图的金标准，LEdge表示边界特征图和边界图金标准之间的交叉熵损失。
本申请在网络解码端插入多个边界引导模块和空间坐标信息特征，能够在多个阶段充分利用气管、肺血管的边界特征和上下文信息，从而提高网络的分割准确度。
构建自注意力蒸馏模块步骤具体为：
本发明通过构建自注意力蒸馏模块来充分获取有价值的上下文信息，并在监督信号不足的情况下探索利用自注意力蒸馏本身来充当辅助学习任务，提供额外的监督信号来辅助训练。在网络结构设计上，自注意力蒸馏模块在当前层产生基于激活的注意力图，并将靠后的层作为“教师层”，较前的层作为“学生层”。“教师层”得到的注意力图作为“学生层”蒸馏的目标，有价值的上下文信息可以作为一种辅助监督的形式，通过在网络内部执行注意力蒸馏来进一步学习。具体来说，自注意力蒸馏是在连续的两个特征层之间实现，其中基于激活的注意力图的定义为：
Figure BDA0004077154420000081
其中，Fm为注意力图生成函数，Am表示网络第m层的激活输出，Ami表示第m层激活输出的第i个通道，P＞1能更多地关注高度激活的区域(如肺边界、支气管、血管等)。接着对得到的注意力图进行softmax操作和三线性插值操作得到处理后的注意力图
Figure BDA0004077154420000082
然后通过最小化蒸馏损失使/>
Figure BDA0004077154420000083
更加接近下一层注意力图/>
Figure BDA0004077154420000084
蒸馏损失的定义为：
Figure BDA0004077154420000085
通过优化蒸馏损失，
Figure BDA0004077154420000086
将会逐渐接近/>
Figure BDA0004077154420000087
使得注意力从最深的层传递到最浅的层。这在不需要额外标注的前提下，提高了网络对分割目标细节的关注。本发明设计的自注意力蒸馏模块放置在网络的解码端，这是由于解码器中的高级特征具有高分辨率并且与分割目标高度相关，采用解码端的自注意力蒸馏来传递先前低分辨率注意力图中缺失的细节。
建立管状器官分割网络步骤具体为：
在建立好的基线网络上，插入本发明提出的管状特征提取模块。管状特征提取模块被放置在编码端的后两级和解码端的前两级，管状特征提取模块将来自上一级编码块/解码块输出的特征图中获得图结构并作为其输入，经过四次图卷积运算后输出一个具有与输入图相同节点的图以及学习到的每个节点对应的特征向量。管状特征提取模块的输出作为下一级编码块/解码块的输入。
接着在编码端与解码端的连接处插入本发明提出的多尺度信息融合模块，其能够捕捉多尺度的上下文信息，并减少图像细节的丢失。并且多尺度信息融合模块引入了一个先进的特征重校准层，能够自适应地获取每个通道的权重，然后依照这个权重去提升有用的特征并抑制对当前任务用处较小的特征。该模块通过自学习更新参数，引导整个分割网络的优化。
为了能充分利用自注意力蒸馏对肺血管细节的提取能力，本发明在解码端的各个解码块上均放置自注意力蒸馏模块。放置在解码端的原因是因为解码器中的高级特征具有高分辨率并且与分割目标高度相关，而编码器端由于包含大量的低级特征，因此更具局部性和通用性，放置自注意力蒸馏模块的效果不佳。边界引导模块提取的特征图被插入到解码端的各个解码块中，使得解码端能够学习到来自网络浅层的边界特征信息。空间坐标信息特征图与解码端第三个解码块的输出级联。
训练管状器官分割网络步骤具体为：
训练整个气管及肺血管分割网络，需要将预处理后的原图及分割金标准送入整个网络进行监督学习。网络的总损失由三部分组成：dice损失用来反映网络分割结果和金标准的相似度，Focal loss用来提高气管和肺血管中的难分样本的分割准确度，此外还引入径向损失来描述气管和血管的空间拓扑结构。将这三部分损失之和作为总损失，反向传播更新参数，引导整个网络的优化。其中损失函数的定义为：
Figure BDA0004077154420000091
Figure BDA0004077154420000092
Figure BDA0004077154420000093
其中，Ldice代表dice损失，i表示每个训练样本，N为批次大小，Pi表示网络的输出概率图，Gi表示该样本的金标准。Lfocal代表Focal损失，当Gi为1时，pt(i)＝Pi，否则pt(i)＝1-Pi。Lradial代表径向损失，pi,k表示第i个体素的预测结果，k∈[0,1]，di,k表示第i个体素的径向距离图，W为不同类别体积比的倒数。总损失的定义为：
Ltotal＝Ldice+Lfocal+λLradial (9)
其中，其中λ为权重参数。
分割网络自动分割出病灶步骤具体为：
在网络训练好后，保存网络权重。在测试分割网络时只需输入待测试图片，不需要输入分割金标准，分割网络会自动根据测试图片，分割出气管和肺血管。
本发明针对细微管状结构与背景之间强度对比不明显，边界模糊而导致难以分割的问题，引入了管状特征提取模块，通过多层图卷积的方式使网络能够学习到距离当前节点较远但共享某些特征的邻域外信息，从而提升网络对气管和肺血管末端精细分支的分割性能。
本发明针对气管、肺血管空间分布范围广，管状结构内部尺度差异大，网络需兼顾全局尺度和局部尺度上下文信息的问题，引入了多尺度信息融合模块，其能够在提取到全局尺度上下文信息的同时减小图像细节的丢失，并通过特征重校准层去提升对分割任务有用的特征并抑制用处较小的特征。
本发明针对CNN对于空间结构信息利用不充分的问题，引入了边界引导模块和空间坐标信息特征，从而引导网络更加关注管状结构的边界区域，提升网络的分割性能。
本申请还涉及一种实施医学图像分割方法的系统，医学图像分割系统包括数据集预处理模块、分割网络、管状特征提取模块、多尺度信息融合模块、边界引导模块、自注意力蒸馏模块以及训练模块。数据集预处理模块用于与处于图像数据，分割网络用于分割管状器官图片，管状特征提取模块使网络能够学习到距离当前节点较远但共享某些特征的邻域外信息，从而提升网络对气管和肺血管末端精细分支的分割性能，多尺度信息融合模块能够在提取到全局尺度上下文信息的同时减小图像细节的丢失，并通过特征重校准层去提升对分割任务有用的特征并抑制用处较小的特征。边界引导模块引导网络更加关注管状结构的边界区域，提升网络的分割性能。
本申请还涉及一种实施医学图像分割方法的电子装置。电子装置包括处理器以及存储器，存储器与处理器通信连接，存储器存储有可被处理器执行的指令，指令被处理器执行上述医学图像分割方法。
以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进演变，都是依据本发明实质技术对以上实施例做的等同修饰与演变，这些都属于本发明的保护范围。

Claims (14)

1.一种医学图像分割方法，其特征在于，包括以下步骤：
数据集预处理：采集三维医学图像形成数据集，对数据进行增强处理；
建立U型基线分割网络：采用3D U-Net作为分割的基线网络，3D U-Net网络包括编码阶段以及解码阶段，编码阶段由三维卷积层、归一化层、非线性激活函数ReLU以及最大池化层组成，采用四层分辨率结构；
构建管状特征提取模块：通过堆叠图卷积层，使得图中的节点能够学习到与其直接相邻的邻域外的信息，让网络能够从距离当前体素较远但共享了特征信息的图像区域里进行学习；
构建多尺度信息融合模块：采用三个不同尺度的空洞卷积来扩大感受野并获得多尺度特征图，采用特征重校准层来自动获取每个通道的权重，然后依据权重去提升有用的特征并抑制对当前任务用处较小的特征；
构建边界引导模块和空间坐标信息特征：通过构建边界引导模块和空间坐标信息特征来充分利用管状器官区域的边界信息和空间位置信息从而引导网络更加关注待分割目标的边界区域，提升网络的分割准确度；
构建自注意力蒸馏模块：通过构建自注意力蒸馏模块来充分获取有价值的上下文信息，并在监督信号不足的情况下探索利用自注意力蒸馏本身来充当辅助学习任务，提供额外的监督信号来辅助训练；
建立管状器官分割网络：在建立好的基线网络上，插入管状特征提取模块、多尺度信息融合模块、自注意力蒸馏模块；
训练管状器官分割网络：将预处理后的原图及分割金标准送入整个网络进行监督学习；
分割网络自动分割出病灶：在网络训练好后，保存网络权重，在测试分割网络时只需输入待测试图片，分割网络会自动根据测试图片，分割出病灶。
2.根据权利要求1所述的医学图像分割方法，其特征在于：所述构建管状特征提取模块步骤中，每层图卷积层的图卷积运算的定义为：
Figure FDA0004077154410000011
其中，σ(·)是修正后的线性单元激活函数(ReLU)，Xl∈RM×N是包含M个节点和N个特征输入到第l个GNN层的节点特征矩阵，可学习的GNN卷积的权重为
Figure FDA0004077154410000012
Z是二进制邻接矩阵，Y是从Z派生的度矩阵，邻接矩阵在很大程度上是稀疏的，通过将邻接矩阵处理为稀疏张量，上述的图卷积运算能快速完成。
3.根据权利要求2所述的医学图像分割方法，其特征在于：所述构建管状特征提取模块步骤中，管状特征提取模块的初始特征图定义为：
X0＝f(H) (2)
其中H∈RM×F是从3D U-Net导出的F维节点特征矩阵，f(·)具有F个输入单元和N个输出单元的线性整流单元以及归一化层。
4.根据权利要求1所述的医学图像分割方法，其特征在于：所述构建多尺度信息融合模块中，采用特征重校准层来自动获取每个通道的权重具体为：特征重校准层首先对输入的特征图进行全局平均池化实现空间维度的特征压缩，生成压缩特征图，然后激活特征图，并为每个通道的特征图生成可学习的权重参数，权重参数用来表示不同特征通道的重要性。
5.根据权利要求4所述的医学图像分割方法，其特征在于：依据权重去提升有用的特征并抑制对当前任务用处较小的特征具体为：对激活特征图进行广播操作(broadcasting)恢复至原始大小，对应元素相加后再与原始输入特征图逐元素相乘得到重新校准的特征图，将提取到的多尺度特征图与特征重校准层连接，为来自不同通道的信息按照重要程度赋予不同的权重，突出有助于分割任务的通道信息，抑制对于分割任务没有帮助的通道信息。
6.根据权利要求1所述的医学图像分割方法，其特征在于：所述构建边界引导模块和空间坐标信息特征步骤的网络结构为：从提取的浅层特征图中检测局部边界信息，得到边界特征图，边界特征图经过两个卷积层后恢复至原始图像大小，并与从金标准中得到的边界图计算损失，得到误差并反向传播更新特征图，对边界特征图进行监督，引导网络加强对边界区域的关注，帮助网络更好地学习边界特征，从原始图像中提取管状器官体素的坐标，并将坐标信息转换为与网络大小一致的多通道空间坐标信息特征图。
7.根据权利要求6所述的医学图像分割方法，其特征在于：计算边界特征图的过程中使用的损失函数为：
LEdge＝-GEdge·log PEdge-(1-GEdge)log(1-PEdge) (3)
其中，PEdge表示边界特征图，GEdge表示边界图的金标准，LEdge表示边界特征图和边界图金标准之间的交叉熵损失。
8.根据权利要求1所述的医学图像分割方法，其特征在于：在构建自注意力蒸馏模块步骤的网络结构为：自注意力蒸馏模块在当前层产生基于激活的注意力图，并将靠后的层作为“教师层”，较前的层作为“学生层”，“教师层”得到的注意力图作为“学生层”蒸馏的目标，有价值的上下文信息可以作为一种辅助监督的形式，通过在网络内部执行注意力蒸馏来进一步学习。
9.根据权利要求8所述的医学图像分割方法，其特征在于：构建自注意力蒸馏模块步骤具体为：自注意力蒸馏是在连续的两个特征层之间实现，其中基于激活的注意力图为：
Figure FDA0004077154410000021
其中，Fm为注意力图生成函数，Am表示网络第m层的激活输出，Ami表示第m层激活输出的第i个通道，P＞1能更多地关注高度激活的区域；
接着对得到的注意力图进行softmax操作和三线性插值操作得到处理后的注意力图
Figure FDA0004077154410000022
然后通过最小化蒸馏损失使/>
Figure FDA0004077154410000023
更加接近下一层注意力图/>
Figure FDA0004077154410000024
蒸馏损失的定义为：
Figure FDA0004077154410000031
通过优化蒸馏损失，
Figure FDA0004077154410000032
将会逐渐接近/>
Figure FDA0004077154410000033
使得注意力从最深的层传递到最浅的层。
10.根据权利要求1所述的医学图像分割方法，其特征在于：在所述建立管状器官分割网络步骤具体为：管状特征提取模块被放置在编码端的后两级和解码端的前两级，管状特征提取模块将来自上一级编码块/解码块输出的特征图中获得图结构并作为其输入，经过四次图卷积运算后输出一个具有与输入图相同节点的图以及学习到的每个节点对应的特征向量，管状特征提取模块的输出作为下一级编码块/解码块的输入，接着在编码端与解码端的连接处插入所述多尺度信息融合模块，其能够捕捉多尺度的上下文信息，并减少图像细节的丢失，并且多尺度信息融合模块引入了特征重校准层，能够自适应地获取每个通道的权重，然后依照这个权重去提升有用的特征并抑制对当前任务用处较小的特征。
11.根据权利要求1所述的医学图像分割方法，其特征在于：训练管状器官分割网络步骤中，网络的总损失由三部分组成：dice损失用来反映网络分割结果和金标准的相似度，Focalloss用来提高气管和肺血管中的难分样本的分割准确度，此外还引入径向损失来描述气管和血管的空间拓扑结构，将这三部分损失之和作为总损失，反向传播更新参数，引导整个网络的优化。
12.根据权利要求11所述的医学图像分割方法，其特征在于：损失函数的定义为：
Figure FDA0004077154410000034
Figure FDA0004077154410000035
Figure FDA0004077154410000036
其中，Ldice代表dice损失，i表示每个训练样本，N为批次大小，Pi表示网络的输出概率图，Gi表示该样本的金标准，Lfocal代表Focal损失，当Gi为1时，pt(i)＝Pi，否则pt(i)＝1-Pi，Lradial代表径向损失，pi,k表示第i个体素的预测结果，k∈[0,1]，di,k表示第i个体素的径向距离图，W为不同类别体积比的倒数，总损失的定义为：
Ltotal＝Ldice+Lfocal+λLradial (9)
其中，其中λ为权重参数。
13.一种医学图像分割系统，其特征在于：所述医学图像分割系统用于实施如权利要求1-12任意一项所述的医学图像分割方法。
14.一种电子设置，其特征在于：包括
处理器；
存储器，所述存储器与所述处理器通信连接；
所述存储器存储有可被所述处理器执行的指令，所述指令被所述处理器执行以实现权利要求1-12任意一项所述的医学图像分割方法。
CN202310112134.1A 2023-02-14 2023-02-14 一种医学图像分割方法、系统及电子装置 Pending CN116228792A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310112134.1A CN116228792A (zh) 2023-02-14 2023-02-14 一种医学图像分割方法、系统及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310112134.1A CN116228792A (zh) 2023-02-14 2023-02-14 一种医学图像分割方法、系统及电子装置

Publications (1)

Publication Number Publication Date
CN116228792A true CN116228792A (zh) 2023-06-06

Family

ID=86570885

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310112134.1A Pending CN116228792A (zh) 2023-02-14 2023-02-14 一种医学图像分割方法、系统及电子装置

Country Status (1)

Country Link
CN (1) CN116228792A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116958163A (zh) * 2023-09-20 2023-10-27 海杰亚（北京）医疗器械有限公司 一种多器官和/或病灶的医学图像分割方法及装置
CN117132616A (zh) * 2023-10-25 2023-11-28 山东大学 一种医学图像器官分割方法、系统及病灶分类系统
CN117274282A (zh) * 2023-10-08 2023-12-22 首都医科大学附属北京朝阳医院 一种基于知识蒸馏的医学图像分割方法、系统、设备
CN117789207A (zh) * 2024-02-28 2024-03-29 吉林大学 基于图神经网络的细胞组织病理图像智能分析方法及系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116958163A (zh) * 2023-09-20 2023-10-27 海杰亚（北京）医疗器械有限公司 一种多器官和/或病灶的医学图像分割方法及装置
CN116958163B (zh) * 2023-09-20 2023-12-08 海杰亚（北京）医疗器械有限公司 一种多器官和/或病灶的医学图像分割方法及装置
CN117274282A (zh) * 2023-10-08 2023-12-22 首都医科大学附属北京朝阳医院 一种基于知识蒸馏的医学图像分割方法、系统、设备
CN117274282B (zh) * 2023-10-08 2024-04-19 首都医科大学附属北京朝阳医院 一种基于知识蒸馏的医学图像分割方法、系统、设备
CN117132616A (zh) * 2023-10-25 2023-11-28 山东大学 一种医学图像器官分割方法、系统及病灶分类系统
CN117789207A (zh) * 2024-02-28 2024-03-29 吉林大学 基于图神经网络的细胞组织病理图像智能分析方法及系统
CN117789207B (zh) * 2024-02-28 2024-04-30 吉林大学 基于图神经网络的细胞组织病理图像智能分析方法及系统

Similar Documents

Publication Publication Date Title
CN110889853B (zh) 基于残差-注意力深度神经网络的肿瘤分割方法
CN116228792A (zh) 一种医学图像分割方法、系统及电子装置
CN111091573B (zh) 基于深度学习的ct影像肺血管的分割方法及系统
WO2021203795A1 (zh) 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法
CN110889852A (zh) 基于残差-注意力深度神经网络的肝脏分割方法
CN111429473B (zh) 基于多尺度特征融合的胸片肺野分割模型建立及分割方法
CN111127482A (zh) 基于深度学习的ct影像肺气管的分割方法及系统
CN113012172A (zh) 一种基于AS-UNet的医学图像分割方法及系统
CN112712528B (zh) 一种多尺度u型残差编码器与整体反向注意机制结合的肠道病灶分割方法
CN112734755A (zh) 基于3d全卷积神经网络与多任务学习的肺叶分割方法
CN110349170B (zh) 一种全连接crf级联fcn和k均值脑肿瘤分割算法
CN111784762A (zh) X光造影图像血管中心线提取方法及装置
CN111340816A (zh) 一种基于双u型网络框架的图像分割方法
CN110930378A (zh) 基于低数据需求的肺气肿影像处理方法及系统
CN110648331A (zh) 用于医学图像分割的检测方法、医学图像分割方法及装置
CN111724401A (zh) 一种基于边界约束级联U-Net的图像分割方法和系统
CN115311194A (zh) 一种基于transformer和SE块的CT自动肝脏图像分割方法
CN114266794B (zh) 基于全卷积神经网络的病理切片图像癌症区域分割系统
CN114820655A (zh) 可靠区域作为注意力机制监督的弱监督建筑物分割方法
CN113160229A (zh) 基于层级监督级联金字塔网络的胰腺分割方法及装置
CN117152433A (zh) 一种基于多尺度跨层注意力融合网络的医学图像分割方法
CN115457057A (zh) 一种采用深监督策略的多尺度特征融合腺体分割方法
CN111667488B (zh) 一种基于多角度U-Net的医学图像分割方法
CN111209946B (zh) 三维图像处理方法、图像处理模型训练方法及介质
CN113052857A (zh) 一种基于CovSegNet的肺部病变图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination