CN116258933A - 基于全局信息感知的医学图像分割装置 - Google Patents

基于全局信息感知的医学图像分割装置 Download PDF

Info

Publication number
CN116258933A
CN116258933A CN202310238744.6A CN202310238744A CN116258933A CN 116258933 A CN116258933 A CN 116258933A CN 202310238744 A CN202310238744 A CN 202310238744A CN 116258933 A CN116258933 A CN 116258933A
Authority
CN
China
Prior art keywords
module
global
medical image
feature
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310238744.6A
Other languages
English (en)
Inventor
张毅
孙文方
李静媛
李冠亚
胡杨
张文超
王佳
冀渭斌
樊潇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202310238744.6A priority Critical patent/CN116258933A/zh
Publication of CN116258933A publication Critical patent/CN116258933A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Pulmonology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Physiology (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于全局信息感知的医学图像分割装置，扫描头扫描医学影像；存储器存储医学影像、医学影像样本集以及医学图像分割网络模型；处理卡利用训练好的医学图像分割网络模型对医学影像进行分割，获得边界清晰的分割结果图。本发明的医学图像分割网络模型通过低计算复杂度的CAB来建模高低维度特征图之间逐像素点的相关关系，在特征编码过程中实现低维细节信息与高维语义信息的无缝融合；CAB在编解码特征融合时提供语义桥梁缓解语义鸿沟问题。此外特征融合模块AAFM通过空洞卷积对齐各级特征感受野，通过特征融合激活方式实现各级特征在空间维度的显著区域校准。因此本发明可以针对边界纹理复杂的医学影像提供更为准确的分割结果。

Description

基于全局信息感知的医学图像分割装置
技术领域
本发明属于医疗器械技术领域，具体涉及一种基于全局信息感知的医学图像分割装置。
背景技术
随着科技的发展，医疗器械被广泛应用。由于我国人口基数重大就医压力较大，好的医疗器械可以降低医院的接待压力，同时提高医生的工作效率。一些医疗器械通过医学影像为患者和医生提供更为直观的参考图像。而医学影像学也是医学领域较为重要的学科。
在医学影像学科上，有很多影像设备，例如B超设备、CT设备、X光扫描设备，这些设备通过扫描得出医学影像，从而为医生提供直观的参考。在CT影像中，不同的组织器官以不同的CT值呈现以供医生参考；但是CT影像为单通道灰度图，且CT值的范围远大于人类视觉感知范围，导致医生在判读过程中，对于边界模糊且视觉特征相似的相邻组织的划分存在困难。因此需要通过图像预处理提高组织器官之间的类间差距，为后续处理提供更丰富的信息。目前大多数基于深度学习的医学图像自动分割方法主要采用U-Net作为基础网络框架，并在网络中引入密集连接、注意力机制等模块进行改进。但是受限于卷积计算的局部特性，上述方法无法捕获长距离依赖信息。而不同器官因个体差异在形状和大小上呈现多变性，内部纹理复杂，且与周围组织类间边界模糊，需要综合考虑全局上下文信息与局部细节特征来获得准确的分割结果。近年来一些研究将Transformer引入医学图像分割任务中，通过多头自注意力机制实现特征上下文信息的建模。Cao等人设计了Swin-UNet，使用Transformer替代U-Net中的卷积模块进行特征提取，实现了腹部CT影像与心脏MRI影像的准确分割。Ali等人提出的UNTER将3D医学影像采样为token序列，使用Transformer替代编码器来增强网络的上下文信息建模能力，同时采用跳跃连接融合多尺度特征用于分割结果预测。实验表明UNTER在脑肿瘤和脾脏分割任务中取得了优异表现。一些团队尝试结合CNN与Transformer各自的优势来提高网络模型的分割性能。Chen等人将Transformer和CNN相结合，编码器的深层嵌入Transformer结构构成了TransUNet，并在腹部CT数据集和心脏MRI数据集上验证了其有效性。Zhang等人提出的MBT-Net应用混合残差transformer特征提取模块，充分发挥卷积计算和transformer在局部细节和全局语义方面的优势，实现了角膜内皮细胞的准确分割。
Cao等人设计的Swin-Unet及Ali等人提出的UNTER，均基于纯Transformer结构提取图像特征，但是Transformer缺乏局部细节信息的建模能力，且缺乏平移不变性与归纳偏置特性，导致基于纯Transformer的分割方法对目标区域的边缘细节分割结果较为粗糙。此外Transformer在计算过程在计算机的存储空间有着很高的要求。而结合CNN与Transformer的分割模型虽然通过在CNN的深层嵌入自注意机制来减轻计算负担，但是仅在CNN深层使用自注意机制无法对浅层细粒度信息中的形状纹理等特征进行上下文信息建模。此外当前大多数方法仅关注于特征图自身的全局上下文关系，忽略了不同语义级别特征图之间的全局交互关系。而对这些全局交互关系进行建模在弥合不同语义维度特征的语义鸿沟方面起着重要作用。因此如何通过利用跨尺度依赖关系促进多级特征的无缝融合，从而更好地纳入全局与局部信息增强医学影像分割网络的表征能力值，设计出一种影像分割装置或者影像区域检测装置，是一个亟待解决的技术问题。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种基于全局信息感知的医学图像分割装置。本发明要解决的技术问题通过以下技术方案实现：
本发明提供了一种基于全局信息感知的医学图像分割装置包括：
扫描头，用于通过扫描采集用户预定部位的医学影像；
存储器，与所述扫描头通过通信线连接，用于存储所述医学影像、预先采集的预定部位的医学影像样本集以及预先构建的基于全局信息感知的医学图像分割网络模型；
处理卡，设置在计算设备上，用于执行下述过程：
利用所述医学影像样本集对所述医学图像分割网络模型进行迭代训练，在训练过程中利用定义的深监督损失函数以及优化器优化所述医学图像分割网络模型的权重参数，得到最优权重参数分割网络模型；将所述医学影像作为待分割影像，并输入至最优权重参数分割网络模型中，得到区分边界清晰的分割结果图；
显示器，与所述计算设备通过无线或有线方式远程通信，用于展示边界清晰的分割结果图。
本发明提供了一种计算设备，用于实现处理卡执行的具体过程。
本发明提供了一种基于全局信息感知的医学图像分割装置，通过扫描头，扫描采集用户预定部位的医学影像；存储器，存储医学影像、预先采集的预定部位的医学影像样本集以及预先构建的基于全局信息感知的医学图像分割网络模型；处理卡，利用训练好的医学图像分割网络模型对待分割影像进行分割，得到边界清晰的分割结果图，并通过显示器进行显示。本发明的医学图像分割网络模型通过低计算复杂度的CAB来建模高低维度特征图之间逐像素点的相关关系，在特征编码过程中实现低维细节信息与高维语义信息的无缝融合；另一方面使用CAB在编解码特征融合时提供语义桥梁，缓解语义鸿沟问题。此外在解码器外部设置了独立的特征融合模块AAFM实现了解码器中多级特征的自适应融合，从而为预测任务提供全面且丰富的依据。AAFM通过空洞卷积对齐各级特征感受野，并通过特征融合-激活的方式实现了各级特征在空间维度的显著区域校准。因此本发明可以针对边界纹理复杂的医学影像提供更为准确的分割结果。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1为本发明的一种基于全局信息感知的医学图像分割装置的结构示意图；
图2为本发明的基于全局信息感知的医学图像分割网络模型示意图；
图3为本发明的全局增强卷积模块示意图；
图4为本发明的全局空间注意力模块示意图；
图5为本发明的交叉注意力机制模块示意图；
图6为本发明的全自适应特征融合模块示意图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
如图1所示，本发明提供了一种基于全局信息感知的医学图像分割装置，包括：
扫描头，用于通过扫描采集用户预定部位的医学影像；
存储器，与所述扫描头通过通信线连接，用于存储所述医学影像、预先采集的预定部位的医学影像样本集以及预先构建的基于全局信息感知的医学图像分割网络模型；
处理卡，设置在计算设备上，用于执行下述过程：
利用所述医学影像样本集对所述医学图像分割网络模型进行迭代训练，在训练过程中利用定义的深监督损失函数以及优化器优化所述医学图像分割网络模型的权重参数，得到最优权重参数分割网络模型；将所述医学影像作为待分割影像，并输入至最优权重参数分割网络模型中，得到区分边界清晰的分割结果图；
以胸部CT为例，本发明可以采集胸部CT影像作为原始数据集，并对数据集中的胸腺上皮性肿瘤区域进行勾画；使用三通道伪彩图像预处理方法将原始数据集映射为三通道伪彩图像数据集。将预处理后的数据集按照4：1比例分为训练集和测试集；设置网络初始学习率、学习率衰减方式、网络迭代次数、优化方法与优化器；利用医学影像样本集进行网络模型训练，训练完成后使用测试集图像进行模型分割效果评估。
显示器，与所述计算设备通过无线或有线方式远程通信，用于展示分割结果图。
实施例二
作为本发明一种可选的实施例，所述处理卡还用于：
对所述医学影像样本集中的每个医学影像样本进行三通道伪彩图预处理，得到每个医学影像样本对应的三通道伪彩图像；
所述三通道伪彩图预处理过程为：
(1)从存储器中读取原始DICOM格式的每个医学影像样本，将其像素值映射到Hounsfield单位下的CT值；
(2)基于CT窗技术，在每个医学影像样本上分别叠加纵膈窗与预定部位对应的窗口，获得纵膈窗图像和预定部位窗口图像；
值得说明的是：如果预定部位是骨骼，则预定部位对应的窗口为骨窗，如果是腹部，则为腹窗；如果是肺部，则为肺窗。
(3)将叠加得到的纵膈窗和预定部位窗口图像逐像素相加并取均值，获得平均窗图像；
(4)将所述纵膈窗图像、平均窗图像与预定部位窗口图像的CT值映射到0-255范围，并在依次通道维度进行堆叠，获得三通道伪彩图像。
本发明利用三通道伪彩图像预处理方法可以整合胸腺上皮性肿瘤及周围结构在CT影像的CT窗下的影像学表现，从而突出胸腺上皮性肿瘤的类内特征以及与周围组织的类间差异，为后续分割网络模型提供可靠丰富的信息。
参考图2所示，所述存储器中存储的基于全局信息感知的医学图像分割网络模型是基于编解码结构构建的，其包括包含残差结构的初始模块、编码器、解码器、全局注意力模块、自适应特征融合模块以及分割结果输出层；
其中，编解码结构中的编码器包括4全局增强卷积模块，所述解码器包括与四个全局增强卷积模块一一对应的4卷积模块，在编码器中的全局增强卷积模块与解码器中对应的卷积模块之间存在一个全局空间注意力模块，编码器的输入端连接初始模块，初始模块的输入端输入待分割图像；初始模块、第1个全局增强卷积模块至第4全局增强卷积模块之间都具有进行最大池化操作以及双三次线性插值的神经层，第4全局增强卷积模块与第四个全局空间注意力模块之间存在一个反卷积层；在解码器第i个卷积模块与第i-1个全局空间注意力模块之间存在一个反卷积层；解码器的四个卷积模块的输出端均连接所述自适应特征融合模块，自适应特征融合模块输出连接分割结果输出层的输入。
所述初始模块，用于将待分割图像从图像空间映射到特征空间；
用于最大池化操作的神经层，用于将上一层的图像特征进行最大池化操作送至下一层全局增强卷积模块；
用于双三次线性插值的神经层，用于将上一层的图像特征进行双三次线性插值送至下一层全局增强卷积模块；
每个全局增强卷积模块，用于根据最大池化操作获得的图像特征以及双三次线性插值获得的图像特征进行全局信息建模，输出至全局空间注意力模块；
每个全局空间注意力模块，用于以语义一致方式将全局信息中的低维度细节特征补充至解码器中的高维度语义特征；
解码器中的每个卷积模块，用于对全局空间注意力模块输出的图像特征进行卷积，送至自适应特征融合模块；
反卷积层，用于对输入的图像特征进行反卷积送至连接的全局空间注意力模块；
自适应特征融合模块，用于融合所有卷积模块输出的图像特征，并输入至输出层；
分割结果输出层，用于从多个特征通道输出通道融合图像特征，每个通道对应一个分割目标种类。
本发明分割结果输出层的特征通道数为分割目标种类数目+1，可以将用于分割目标\背景的卷积层作为最后的分割结果输出层。
实施例三
作为本发明一种可选的实施例，参考图3以及图5所示，所述全局增强卷积模块包括用于双三次线性插值的神经层、用于最大池化操作的神经层、残差模块、第一交叉注意模块和自注意力模块；
用于双三次线性插值的神经层将上一级的特征矩阵F使用双三次线性插值法进行二倍下采样，得到特征图Xh；
最大池化操作的神经层，将上一级的特征矩阵F进行最大池化操作，得到特征图Xr’；
残差模块，将特征图Xr’中的显著信息进行建模获得语义特征Xr；
第一交叉注意模块，利用交叉注意力机制计算Xr与Xh之间的全局依赖关系；与Xr在通道维度上进行串联；并使用一个1×1卷积运算进行特征融合与通道维度降维，获得特征图X；
自注意力模块，使用自注意力机制对特征图X的全局信息进行建模：
Figure SMS_1
其中，将特征图按照通道维度进行分组计算，一个特征图的大小是W×H×C，C是通道数，将C分为了4组分别计算，d＝C/4；如果分为1组，d＝C；特征图X中位置i处的特征值表示为xi，位置j处的特征值表示为xj；
并全局信息输出至连接的全局空间注意力模块。
实施例四
作为本发明一种可选的实施例，参考图4以及图5所示，所述全局空间注意力模块包括第二交叉注意模块以及空间注意力模块；
第二交叉注意模块，用于使用交叉注意力机制计算与之间的全局依赖关系，获得CA(D,L)；
其中，D为来自编码器的包含细粒度细节信息的低语义维度特征图，L为来自解码器的包含粗粒度语义信息的高语义维度特征图；
空间注意力模块，使用空间注意力机制在空间维度来高亮CA(D,L)中与分割目标相关的区域：
Figure SMS_2
Figure SMS_3
其中，ωψ，ωx和ωg是三个线性变换，bg和bψ是相应的偏置值，σ1和σ2分别为ReLu和Sigmoid激活函数，
Figure SMS_4
代表点乘，/>
Figure SMS_5
代表点加；
将AT(D,L)与L在通道维度叠加获得输出结果，并将输出结果送至连接的卷积模块；
HA(D,L)＝AT(AT(D,L),)
其中，CAT(…)代表将特征矩阵在通道维度上进行串联。
交叉注意力机制计算公式为：
Figure SMS_6
其中，Xh与Xr分别为分割网络中不同语义级别下的特征矩阵；Q(·)，K(·)，V(·)为三个1×1卷积运算，用于表征特征矩阵中每个坐标点上的信息；
Figure SMS_7
与/>
Figure SMS_8
为坐标矩阵，用于补充交叉注意力计算过程中的坐标点位置信息；/>
Figure SMS_9
表示将特征矩阵在空间维度进行下采样；d为特征矩阵通道维度的深度。
全局增强卷积模块克服卷积运算中缺乏全局上下文模型能力的限制，并且实现高低维特征有效且紧密的融合。全局空间注意感知模块通过CAB对齐编解码器特征中的信息建立语义桥梁，从而实现编解码特征有效融合，此外通过空间注意力机制模块赋予任务相关区域更高的权值，从而使特征图可以更有的放矢地为目标任务提供信息。
本发明提出的交叉注意力机制可以将计算远距离依赖关系时使用的显式建模方式推广到不同维度特征之间全局相关关系的表征中。可以通过在不同特征图之间建模逐像素相互关系实现语义桥梁的建立。同时，可以在多级特征融合时对齐感受野并矫正显著区域，会为每个像素点上语义类别的准确预测提供可靠信息。
实施例五
参考图6所示，自适应特征融合模块包括插值采样模块、四个通道注意力模块、四个空洞注意力模块、激活门模块以及串联模块；
插值采样模块，对四个大小不同的特征图DF＝{df1,df2,…,dfn},(n＝4)进行三次插值上采样以使特征图尺寸统一，将尺寸统一的四个特征图DFU＝{df1 U,df2 U,…,dfn U},(n＝4)输出至通道注意力模块；
通道注意力模块，对四个特征图的通道进行矫正，得到特征图DFU—SE；
空洞注意力模块，对特征图DFU—SE通过不同空洞率的空洞卷积在空间维度进行矫正，获得特征图M；
激活门模块，将M＝{m1,m2,…,mn}在通道维度进行点加，并使用ReLU与Sigmoid函数获得显著区域注意力图，并与DFU—SE点乘获得A；
Figure SMS_10
Figure SMS_11
其中，A＝{a1,a2,…,an}；
串联模块，将每个激活门模块输出的特征矩阵在通道维度叠加获得AC，并将AC输出至分割结果输出层。
本发明的自适应特征融合模块以交互式方法自适应融合多级特征，充分利用不同维度特征的互补信息。
实施例六
作为本发明一种可选的实施例，定义深监督损失函数的过程为：
(1)使用交叉熵损失与dice损失构建初步损失函数：
L＝Ldice+Lce
Figure SMS_12
Figure SMS_13
其中gti与pi分别为勾画的金标准与分割网络预测结果，Lce与Ldice分别为交叉熵损失函数与dice损失函数；
(2)构建深监督损失函数：
Figure SMS_14
/>
其中，Li是由DF＝{df1,df2,…,dfn},(n＝4)获得的分割结果的损失值，LA是由AC获得的分割结果的损失值，αi与β为权重系数。
本发明提供了一种计算设备，实现处理卡执行的具体过程。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于全局信息感知的医学图像分割装置，其特征在于，包括：
扫描头，用于通过扫描采集用户预定部位的医学影像；
存储器，与所述扫描头通过通信线连接，用于存储所述医学影像、预先采集的预定部位的医学影像样本集以及预先构建的基于全局信息感知的医学图像分割网络模型；
处理卡，设置在计算设备上，用于执行下述过程：
利用所述医学影像样本集对所述医学图像分割网络模型进行迭代训练，在训练过程中利用定义的深监督损失函数以及优化器优化所述医学图像分割网络模型的权重参数，得到最优权重参数分割网络模型；将所述医学影像作为待分割影像，并输入至最优权重参数分割网络模型中，得到区分边界清晰的分割结果图；
显示器，与所述计算设备通过无线或有线方式远程通信，用于展示边界清晰的分割结果图。
2.根据权利要求1所述的一种基于全局信息感知的医学图像分割装置，其特征在于，所述处理卡还用于：
对所述医学影像样本集中的每个医学影像样本进行三通道伪彩图预处理，得到每个医学影像样本对应的三通道伪彩图像；
所述三通道伪彩图预处理过程为：
(1)从存储器中读取原始DICOM格式的每个医学影像样本，将其像素值映射到Hounsfield单位下的CT值；
(2)基于CT窗技术，在每个医学影像样本上分别叠加纵膈窗与预定部位窗口，获得纵膈窗图像和预定部位窗口图像；
(3)将叠加得到的纵膈窗和预定部位窗口图像逐像素相加并取均值，获得平均窗图像；
(4)将所述纵膈窗图像、平均窗图像与预定部位窗口图像的CT值映射到0-255范围，并在依次通道维度进行堆叠，获得三通道伪彩图像。
3.根据权利要求1所述的一种基于全局信息感知的医学图像分割装置，其特征在于，所述存储器中存储的基于全局信息感知的医学图像分割网络模型是基于编解码结构构建的，其包括包含残差结构的初始模块、编码器、解码器、全局注意力模块、自适应特征融合模块以及分割结果输出层；
其中，编解码结构中的编码器包括4全局增强卷积模块，所述解码器包括与四个全局增强卷积模块一一对应的4卷积模块，在编码器中的全局增强卷积模块与解码器中对应的卷积模块之间存在一个全局空间注意力模块，编码器的输入端连接初始模块，初始模块的输入端输入待分割图像；初始模块、第1个全局增强卷积模块至第4全局增强卷积模块之间都具有进行最大池化操作以及双三次线性插值的神经层，第4全局增强卷积模块与第四个全局空间注意力模块之间存在一个反卷积层；在解码器第i个卷积模块与第i-1个全局空间注意力模块之间存在一个反卷积层；解码器的四个卷积模块的输出端均连接所述自适应特征融合模块，自适应特征融合模块输出连接分割结果输出层的输入。
4.根据权利要求3所述的一种基于全局信息感知的医学图像分割装置，其特征在于，所述初始模块，用于将待分割图像从图像空间映射到特征空间；
用于最大池化操作的神经层，用于将上一层的图像特征进行最大池化操作送至下一层全局增强卷积模块；
用于双三次线性插值的神经层，用于将上一层的图像特征进行双三次线性插值送至下一层全局增强卷积模块；
每个全局增强卷积模块，用于根据最大池化操作获得的图像特征以及双三次线性插值获得的图像特征进行全局信息建模，输出至全局空间注意力模块；
每个全局空间注意力模块，用于以语义一致方式将全局信息中的低维度细节特征补充至解码器中的高维度语义特征；
解码器中的每个卷积模块，用于对全局空间注意力模块输出的图像特征进行卷积，送至自适应特征融合模块；
反卷积层，用于对输入的图像特征进行反卷积送至连接的全局空间注意力模块；
自适应特征融合模块，用于融合所有卷积模块输出的图像特征，并输入至输出层；
分割结果输出层，用于从多个特征通道输出通道融合图像特征，每个通道对应一个分割目标种类。
5.根据权利要求4所述的一种基于全局信息感知的医学图像分割装置，其特征在于，所述全局增强卷积模块包括用于双三次线性插值的神经层、用于最大池化操作的神经层、残差模块、第一交叉注意模块和自注意力模块；
用于双三次线性插值的神经层将上一级的特征矩阵F使用双三次线性插值法进行二倍下采样，得到特征图Xh；
最大池化操作的神经层，将上一级的特征矩阵F进行最大池化操作，得到特征图Xr’；
残差模块，将特征图Xr’中的显著信息进行建模获得语义特征Xr；
交叉注意模块，利用交叉注意力机制计算Xr与Xh之间的全局依赖关系；与Xr在通道维度上进行串联；并使用一个1×1卷积运算进行特征融合与通道维度降维，获得特征图X；
自注意力模块，使用自注意力机制对特征图X的全局信息进行建模：
Figure FDA0004123380260000031
其中，将特征图按照通道维度进行分组计算，一个特征图的大小是W×H×C，C是通道数，将C分为了4组分别计算，d就是C/4，如果分为1组，d＝C；特征图X中位置i处的特征值表示为xi，位置j处的特征值表示为xj；
并全局信息输出至连接的全局空间注意力模块。
6.根据权利要求4所述的一种基于全局信息感知的医学图像分割装置，其特征在于，所述全局空间注意力模块包括第二交叉注意模块以及空间注意力模块；
第二交叉注意模块，用于使用交叉注意力机制计算与之间的全局依赖关系，获得CA(D,L)；
其中，D为来自编码器的包含细粒度细节信息的低语义维度特征图，L为来自解码器的包含粗粒度语义信息的高语义维度特征图；
空间注意力模块，使用空间注意力机制在空间维度来高亮CA(D,L)中与分割目标相关的区域：
Figure FDA0004123380260000041
/>
Figure FDA0004123380260000042
其中，ωψ，ωx和ωg是三个线性变换，bg和bψ是相应的偏置值，σ1和σ2分别为ReLu和Sigmoid激活函数，
Figure FDA0004123380260000043
代表点乘，/>
Figure FDA0004123380260000044
代表点加；
将AT(D,L)与L在通道维度叠加获得输出结果，并将输出结果送至连接的卷积模块；
HA(D,L)＝CAT(AT(D,L),L)
其中，CAT(…)代表将特征矩阵在通道维度上进行串联。
7.根据权利要求5或6所述的一种基于全局信息感知的医学图像分割装置，其特征在于，交叉注意力机制计算公式为：
Figure FDA0004123380260000045
其中，Xh与Xr分别为分割网络中不同语义级别下的特征矩阵；Q(·)，K(·)，V(·)为三个1×1卷积运算，用于表征特征矩阵中每个坐标点上的信息；
Figure FDA0004123380260000046
与/>
Figure FDA0004123380260000047
为坐标矩阵，用于补充交叉注意力计算过程中的坐标点位置信息；/>
Figure FDA0004123380260000048
表示将特征矩阵在空间维度进行下采样；d为特征矩阵通道维度的深度。
8.根据权利要求6所述的一种基于全局信息感知的医学图像分割装置，其特征在于，自适应特征融合模块包括插值采样模块、四个通道注意力模块、四个空洞注意力模块、激活门模块以及串联模块；
插值采样模块，对四个大小不同的特征图DF＝{d11,df2,…,dfn},(n＝4)进行三次插值上采样以使特征图尺寸统一，将尺寸统一的四个特征图DFU＝{df1 U,df2 U,…,dfn U},(n＝4)输出至通道注意力模块；
通道注意力模块，对四个特征图的通道进行矫正，得到特征图DFU—SE；
空洞注意力模块，对特征图DFU—SE通过不同空洞率的空洞卷积在空间维度进行矫正，获得特征图M；
激活门模块，将M＝{m1,m2,…,mn}在通道维度进行点加，并使用ReLU与Sigmoid函数获得显著区域注意力图，并与DFU—SE点乘获得A；
Figure FDA0004123380260000051
Figure FDA0004123380260000052
其中，A＝{a1,a2,…,an}；
串联模块，将每个激活门模块输出的特征矩阵在通道维度叠加获得AC，并将AC输出至分割结果输出层。
9.根据权利要求8所述的一种基于全局信息感知的医学图像分割装置，其特征在于，定义深监督损失函数的过程为：
(1)使用交叉熵损失与dice损失构建初步损失函数：
L＝Ldice+Lce
Figure FDA0004123380260000053
Figure FDA0004123380260000054
其中gti与pi分别为勾画的金标准与分割网络预测结果，Lce与Ldice分别为交叉熵损失函数与dice损失函数；
(2)构建深监督损失函数：
Figure FDA0004123380260000055
其中，Li是由DF＝{df1,df2,…,dfn},(n＝4)获得的分割结果的损失值，LA是由AC获得的分割结果的损失值，αi与β为权重系数。
10.一种计算设备，其特征在于，用于实现权利要求1至权利要求9中任一项的处理卡执行的具体过程。
CN202310238744.6A 2023-03-13 2023-03-13 基于全局信息感知的医学图像分割装置 Pending CN116258933A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310238744.6A CN116258933A (zh) 2023-03-13 2023-03-13 基于全局信息感知的医学图像分割装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310238744.6A CN116258933A (zh) 2023-03-13 2023-03-13 基于全局信息感知的医学图像分割装置

Publications (1)

Publication Number Publication Date
CN116258933A true CN116258933A (zh) 2023-06-13

Family

ID=86680767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310238744.6A Pending CN116258933A (zh) 2023-03-13 2023-03-13 基于全局信息感知的医学图像分割装置

Country Status (1)

Country Link
CN (1) CN116258933A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152441A (zh) * 2023-10-19 2023-12-01 中国科学院空间应用工程与技术中心 一种基于跨尺度解码的生物图像实例分割方法
CN117372451A (zh) * 2023-09-20 2024-01-09 中山大学 基于sam图像分割模型的水体水位监测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117372451A (zh) * 2023-09-20 2024-01-09 中山大学 基于sam图像分割模型的水体水位监测方法
CN117152441A (zh) * 2023-10-19 2023-12-01 中国科学院空间应用工程与技术中心 一种基于跨尺度解码的生物图像实例分割方法
CN117152441B (zh) * 2023-10-19 2024-05-07 中国科学院空间应用工程与技术中心 一种基于跨尺度解码的生物图像实例分割方法

Similar Documents

Publication Publication Date Title
US11430140B2 (en) Medical image generation, localizaton, registration system
CN110930416B (zh) 一种基于u型网络的mri图像前列腺分割方法
CN107492071A (zh) 医学图像处理方法及设备
CN109978037B (zh) 图像处理方法、模型训练方法、装置、和存储介质
CN111429460B (zh) 图像分割方法、图像分割模型训练方法、装置和存储介质
CN111932550B (zh) 一种基于深度学习的3d心室核磁共振视频分割系统
CN107909622B (zh) 模型生成方法、医学成像的扫描规划方法及医学成像系统
CN111047572A (zh) 一种基于Mask RCNN的医学图像中脊柱自动定位方法
CN116258933A (zh) 基于全局信息感知的医学图像分割装置
CN110175998A (zh) 基于多尺度深度学习的乳腺癌图像识别方法、装置及介质
JP2023540910A (ja) 病変検出のための共同訓練を伴う接続機械学習モデル
CN115496771A (zh) 一种基于脑部三维mri图像设计的脑肿瘤分割方法
CN112529909A (zh) 一种基于图像补全的肿瘤图像脑区分割方法及系统
CN114494296A (zh) 一种基于Unet和Transformer相融合的脑部胶质瘤分割方法与系统
CN115511767B (zh) 一种自监督学习的多模态图像融合方法及其应用
CN112819831B (zh) 基于卷积Lstm及多模型融合的分割模型生成方法及装置
CN115731178A (zh) 一种跨模态的无监督域自适应医学图像分割方法
CN110751187A (zh) 异常区域图像生成网络的训练方法和相关产品
CN113781488A (zh) 舌象图像的分割方法、装置及介质
CN112633416A (zh) 一种融合多尺度超像素的脑ct图像分类方法
CN112036298A (zh) 一种基于双段区块卷积神经网络的细胞检测方法
CN113269774B (zh) 一种mri图像的帕金森病分类及标注病灶区域的方法
CN114399510A (zh) 结合图像和临床元数据的皮肤病灶分割和分类方法及系统
CN110570425B (zh) 一种基于深度强化学习算法的肺结节分析方法及装置
CN111918611B (zh) 胸部x线图像的异常显示控制方法、记录介质及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination