CN116309507A - 注意力机制下对ctp进行特征融合的ais病灶预测方法 - Google Patents

注意力机制下对ctp进行特征融合的ais病灶预测方法 Download PDF

Info

Publication number
CN116309507A
CN116309507A CN202310321238.3A CN202310321238A CN116309507A CN 116309507 A CN116309507 A CN 116309507A CN 202310321238 A CN202310321238 A CN 202310321238A CN 116309507 A CN116309507 A CN 116309507A
Authority
CN
China
Prior art keywords
module
output
unit
input
ais
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310321238.3A
Other languages
English (en)
Inventor
李林峰
陈善雄
李咏梅
刘嘉杨
廖其华
董肖霄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest University
Original Assignee
Southwest University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest University filed Critical Southwest University
Priority to CN202310321238.3A priority Critical patent/CN116309507A/zh
Publication of CN116309507A publication Critical patent/CN116309507A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/501—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the head, e.g. neuroimaging or craniography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/507—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for determination of haemodynamic parameters, e.g. perfusion CT
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Dentistry (AREA)
  • Mathematical Physics (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Pulmonology (AREA)
  • General Engineering & Computer Science (AREA)
  • Fuzzy Systems (AREA)

Abstract

本发明公开了注意力机制下对CTP进行特征融合的AIS病灶预测方法，主要涉及医学图像分割和计算机辅助医疗技术领域；包括步骤：S1、采集一定数量的AIS病人的多模态CTP和MRI图像；S2、获得训练集；S3、构建注意力机制下对CTP进行特征融合的AIS病灶预测模型；S4、将训练集输入注意力机制下对CTP进行特征融合的AIS病灶预测模型中进行训练，得到训练好的注意力机制下对CTP进行特征融合的AIS病灶预测模型；S5、将待分割预测的急性缺血性脑卒中的多模态CTP图像送入到训练好的预测模型中进行分割；本发明能够解决现有的基于CTP预测AIS病情时，自动化分割效果差，难以满足医学实际需求的问题。

Description

注意力机制下对CTP进行特征融合的AIS病灶预测方法
技术领域
本发明涉及医学图像分割和计算机辅助医疗技术领域，具体是注意力机制下对CTP进行特征融合的AIS病灶预测方法。
背景技术
脑卒中是在全球范围内，致死和伤残的主要脑部疾病之一。从发病情况来看，脑卒中可分为两种类型，分别是缺血性脑卒中和出血性脑卒中，前者的发病率占比极高，约占脑卒中病例的75％至85％，并且伤害性和致死性极高。其爆发的源头往往是由于心源性栓塞、血栓栓塞引起的小血管闭塞以及脑部动脉血管堵塞，这些堵塞的形成，使得脑部局部组织无法通过血管得到足量的血液和氧气，最终使得该区域的脑组织因为缺氧而坏死。从发病时期来看，脑卒中可分为急性期、亚急性期和慢性期三大时期，其中急性缺血性脑卒中(Acute ischemic stroke，AIS)，由于发病快，有效治疗时间短，病情严重等原因，是我们研究的重中之重。
在临床医疗中，医生首先需要对病人的情况进行评估，然后根据评估情况确定治疗方案，评估流程越快，评估结果越准确，就越能选取更加适宜的治疗方案，病人所遭受的最终创伤就越小，所修复的脑部组织就越多，并发后遗症的产生的风险和程度就越小。因此准确而快速的评估方法具有重大的临床意义。
当前，最广受认可且准确的方案，是利用磁共振成像(Magnetic resonanceimaging，MRI)技术，但是，该方案由于需要对病人进行长达数小时的磁共振扫描，这一时间花销对本就稀缺的最佳治疗时间带来了更大的压力。并且磁共振扫描也会对脑部带来损伤，造成一定的二次伤害。因此，行业内越来越倾向于采用另一种更快速，破坏性更小的方案，即计算机断层扫描灌注成像(Computed tomography perfusion，CTP)技术。而在使用CTP的这些灌注参数帮助诊断急性缺血性脑卒中时，传统的医学方法包括人工分析和定量分析方法。这些方法的主观性强且计算复杂，结果受到医生主观因素的影响，存在一定的误差和不稳定性。为解决这一问题，人工智能技术被广泛应用于医学影像分类。利用人工智能技术，可以对大规模的医学影像进行快速自动分割评估，可以提高工作效率和准确性，减轻医生的工作压力。因此，通过人工智能帮助急性缺血性脑卒中评估成为主流的方向。
发明内容
本发明的目的在于解决现有技术中存在的问题，提供注意力机制下对CTP进行特征融合的AIS病灶预测方法，解决现有的基于CTP预测AIS病情时，自动化分割效果差，难以满足医学实际需求的问题。
本发明为实现上述目的，通过以下技术方案实现：
注意力机制下对CTP进行特征融合的AIS病灶预测方法，包括步骤：
S1、采集足够数量的AIS病人的多模态CTP和MRI图像；
S2、将原始CTP序列转换为伪RGB图像，在转换前清除图像周边病人隐私信息，并将各项参数保存为单独图像，并对标签数据(MRI)进行配准，之后采用平移、旋转和位移等方法扩充原数据集，进行离线数据增强；
S3、构建注意力机制下对CTP进行特征融合的AIS病灶预测模型；
S4、将步骤S2中预处理后的训练集输入步骤S3构建的注意力机制下对CTP进行特征融合的AIS病灶预测模型中进行训练，用骰子和交叉熵混合损失函数进行反向传播更新网络参数，并通过自适应矩估计(adaptive moment estimation，Adam)优化模型，得到训练好的注意力机制下对CTP进行特征融合的AIS病灶预测模型；
S5、将待分割预测的急性缺血性脑卒中的多模态CTP图像送入到步骤S4所得到的训练好的注意力机制下对CTP进行特征融合的AIS病灶预测模型中进行分割，得到该数据的多模态CTP图像的分割预测结果。
优选的，步骤S3中，注意力机制下对CTP进行特征融合的AIS病灶预测模型包括4个编码器模块、2个WMHCA特征融合模块、2个解码器模块、1个分割预测模块和1个分割优化模块；
4个编码器对应CTP的4种不同模态数据，编码器之后接WMHCA特征融合模块，特征融合模块需要将两个编码器的特征融合起来，并送入解码器；解码器通过上采样和跳跃连接，来逐步恢复细节信息；两个解码器结果输入分割预测模块，生成初步预测结果，并送入分割优化模块；分割优化模块输出通过优化后的最终预测结果。
进一步的，编码器模块的每个阶段皆由2个3×3卷积(含激活层和归一化层)单元、1个1×1卷积单元(第一阶段除外)和1个最大池化层单元组成。上一个阶段的输出端作为下一个阶段的输入端连接第一个3×3卷积单元的输入端，第一个3×3卷积单元的输出端连接第二个3×3卷积单元的输入端，第二个3×3卷积单元的输出端连接最大池化层单元的输入端，最大池化层单元的输出端连接1×1卷积单元的输入端，1×1卷积单元的输出端作为编码器模块的输出端；对于每个3×3卷积单元：所有层依次串联，3×3卷积的输入端形成3×3卷积单元的输入端，3×3卷积单元的输出端形成归一化层的输入端，批一化层的输出端形成ReLU激活函数的输入端，ReLU激活函数的输出端形成3×3卷积单元的输出端。
进一步的，WMHCA特征融合模块含有2个输入端和1个输出端，内部共3条支路，支路1、2的输入分别是WMHCA特征融合模块的两个输入端输入，支路3的输入是WMHCA特征融合模块的两个输入端输入的按像素相交结果。3条支路的输入连接1个1×1卷积，1×1卷积的输出连接unfold单元(1个内置权重为1，偏置为0的1×1卷积)的输入，unfold单元的输出连接Flatten层(展平特征图)的输入。支路1的Flatten层的输出连接Permute层(转置)的输入，Permute层的输出与支路2的unfold单元的输出进行矩阵乘法。矩阵乘法后的输出连接SEBlock模块的输入，SE Block模块的输出连接Softmax层的输入，Softmax层的输出与支路3的unfold单元的输出进行第二次矩阵乘法。第二次矩阵乘法的输出经过Fold层和Concat层后恢复为WMHCA特征融合模块的输入端的输入数据的数据形式，最后与支路3的输入进行按像素相加，并将结果连接WMHCA特征融合模块的输出端。
进一步的，解码器模块的每个阶段皆由2个3×3卷积(含激活层和归一化层)单元、1个信道交叉注意力(channel-wise cross attention,CCA)单元(第一阶段除外)和1个反卷积层单元组成。上一个阶段的输出与编码器器同阶段的输出共同作为下一个阶段的CCA单元的输入，CCA单元的输出与上一阶段的输出又同时作为下一阶段的输入。一个阶段的输入端连接第一个3×3卷积单元的输入端，第一个3×3卷积单元的输出端连接第二个3×3卷积单元的输入端，第二个3×3卷积单元的输出端连接反卷积层单元的输入端，反卷积层单元的输出作为本阶段的输出。
进一步的，分割预测模块含有1个1×1卷积单元和1个Sigmoid层单元组成。2个解码器模块的输出端，作为分割预测模块的输入端。分割预测模块的输入端作为1×1卷积单元的输入端，1×1卷积单元的输出端作为Sigmoid层单元的输入端。
进一步的，分割优化模块含有Network模块(之前的所有模块聚合而成)和RefineNet模块。Network模块含有之前的全部模块，4个编码器的输入端共同作为Network模块的输入端，分割预测模块的输出端作为Network模块的输出端。Network模块的输出需要计算不确定度，以二分类为例，不确定度计算公式为：
Y＝abs(Seg1-0.5)
Seg1是Network模块的输出，Y是不确定度；
由不确定度，找到Network模块的输出中，不确定度最高的区域，并在Network模块的输入中找到相对应的区域。将该区域再次输入Network模块，得到第二次分割结果。第二次分割结果和第一次分割结果共同作为RefineNet模块的输入。RefineNet模块含有2个3×3卷积单元、1个1×1卷积单元和2个Residual block单元。RefineNet模块的输入端作为第一个3×3卷积单元的输入端，第一个3×3卷积单元的输出端连接第二个3×3卷积单元的输入端，第二个3×3卷积单元的输出端连接第一个Residual block单元的输入端，第一个Residual block单元的输出端连接第二个Residual block单元的输入端，第二个Residualblock单元的输出端连接1×1卷积单元的输入端。1×1卷积单元的输出端作为RefineNet模块的输出端，RefineNet模块的输出端作为注意力机制下对CTP进行特征融合的AIS病灶预测模型的输出端。
对比现有技术，本发明的有益效果在于：
为了充分发掘CTP图像中的疾病信息，本发明对CTP的灌注参数图像信息进行了建模学习，对每个参数进行了有效的特征提取，并实现了高效的信息融合，本发明构建的深度学习模型可以实现对AIS疾病的比较精确地分割预测。
附图说明
图1是本发明注意力机制下对CTP进行特征融合的AIS病灶预测方法的基本流程图；
图2是本发明的分割优化模块的示意图；
图3是本发明的Network模块的示意图；
图4是编码器模块的示意图；
图5是WMHCA特征融合模块的示意图；、
图6是部分卷积结构的示意图；
图7是解码器模块的示意图；
图8是RefineNet模块的示意图；
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所限定的范围。
实施例：如附图1-8，本发明所述是注意力机制下对CTP进行特征融合的AIS病灶预测方法，是一种核磁共振图像和计算机断层扫描灌注的分割方法，包括步骤：
S1：采集104例AIS人群的CTP和MRI图像。本发明基于重庆医科大学放射科收集的数据。
S2：首先对CTP图像进行去除冗余文字信息、参数切分的处理，并对MRI图像进行医学配准，到与CTP图像吻合。最终得到512×512像素的一组CTP参数和MRI标签图像。将图像数据集按7：3划分为训练集和测试集，最后对所有图像进行随机旋转，缩放和镜像等数据增强操作。
S3：构建注意力机制下对CTP进行特征融合的AIS病灶预测的模型，并设置模型参数。
注意力机制下对CTP进行特征融合的AIS病灶预测方法的模型，如图2和3所示，包括编码器模块、WMHCA特征融合模块、解码器模块、分割预测模块和分割优化模块。
(1)编码器模块
参见图4，编码器模块共四个阶段，每个阶段的输出端连接下一个阶段的输入端。每个阶段皆由2个3×3卷积(含激活层和归一化层)单元、1个1×1卷积单元(第一阶段除外)和1个最大池化层单元组成。在编码器模块中，一个阶段的输出端作为下一个阶段的输入端连接第一个3×3卷积单元的输入端，第一个3×3卷积单元的输出端连接第二个3×3卷积单元的输入端，第二个3×3卷积单元的输出端连接最大池化层单元的输入端，最大池化层单元的输出端连接1×1卷积单元的输入端，1×1卷积单元的输出端作为编码器模块的输出端。
参见图4中(a)，对于每个3×3卷积单元：所有层依次串联，3×3卷积的输入端形成3×3卷积单元的输入端，3×3卷积单元的输出端形成归一化层的输入端，批一化层的输出端形成ReLU激活函数的输入端，ReLU激活函数的输出端形成3×3卷积单元的输出端。
(2)WMHCA特征融合模块
参见图5，WMHCA特征融合模块含有2个输入端和1个输出端，内部共3条支路，支路1、2的输入分别是WMHCA特征融合模块的两个输入端输入，支路3的输入是WMHCA特征融合模块的两个输入端输入的按像素相交结果。
参见图6(a)，3条支路的输入连接1个1×1卷积，1×1卷积的输出连接unfold单元(1个内置权重为1，偏置为0的1×1卷积)的输入。
unfold单元的输出连接Flatten层(展平特征图)的输入。支路1的Flatten层的输出连接Permute层(转置)的输入，Permute层的输出与支路2的unfold单元的输出进行矩阵乘法。矩阵乘法后的输出连接SE Block模块的输入，SE Block模块的输出连接Softmax层的输入，Softmax层的输出与支路3的unfold单元的输出进行第二次矩阵乘法。第二次矩阵乘法的输出经过Fold层和Concat层后恢复为WMHCA特征融合模块的输入端的输入数据的数据形式，最后与支路3的输入进行按像素相加，并将结果连接WMHCA特征融合模块的输出端。
(3)解码器模块
参见图7，解码器模块的每个阶段皆由2个3×3卷积(含激活层和归一化层)单元、1个信道交叉注意力(channel-wise cross attention,CCA)单元(第一阶段除外)和1个反卷积层单元组成。上一个阶段的输出D与编码器器同阶段的输出O共同作为下一个阶段的CCA单元的输入，CCA单元的输出与上一阶段的输出又同时作为下一阶段的输入。一个阶段的输入端连接第一个3×3卷积单元的输入端，第一个3×3卷积单元的输出端连接第二个3×3卷积单元的输入端，第二个3×3卷积单元的输出端连接反卷积层单元的输入端，反卷积层单元的输出作为本阶段的输出。
参见图6(b)，一个阶段的输入端连接第一个3×3卷积单元的输入端，第一个3×3卷积单元的输出端连接第二个3×3卷积单元的输入端。对于每个3×3卷积单元：所有层依次串联，3×3卷积的输入端形成3×3卷积单元的输入端，3×3卷积单元的输出端形成归一化层的输入端，批一化层的输出端形成ReLU激活函数的输入端，ReLU激活函数的输出端形成3×3卷积单元的输出端。对于第二个3×3卷积单元，还需要将输入连接反卷积(Deconv)层单元的输入端，反卷积层单元的输出端连接归一化层的输入端，批一化层的输出端形成ReLU激活函数的输入端，ReLU激活函数的输出端形成反卷积单元的输出端。
(4)分割预测模块
分割预测模块含有1个1×1卷积单元和1个Sigmoid层单元组成。
参见图6(c)，2个解码器模块的输出端，作为分割预测模块的输入端。分割预测模块的输入端作为1×1卷积单元的输入端，1×1卷积单元的输出端作为Sigmoid层单元的输入端。
(5)分割优化模块
分割优化模块含有Network模块(之前的所有模块聚合而成)和RefineNet模块。
参见图3，Network模块含有之前的全部模块，4个编码器的输入端共同作为Network模块的输入端，分割预测模块的输出端作为Network模块的输出端。
参见图2，由不确定度，找到Network模块的输出中，不确定度最高的区域，并在Network模块的输入中找到相对应的区域。将该区域再次输入Network模块，得到第二次分割结果。第二次分割结果和第一次分割结果共同作为RefineNet模块的输入。
参见图8，RefineNet模块含有2个3×3卷积单元、1个1×1卷积单元和2个Residualblock单元。RefineNet模块的输入端作为第一个3×3卷积单元的输入端，第一个3×3卷积单元的输出端连接第二个3×3卷积单元的输入端，第二个3×3卷积单元的输出端连接第一个Residual block单元的输入端，第一个Residual block单元的输出端连接第二个Residual block单元的输入端，第二个Residual block单元的输出端连接1×1卷积单元的输入端。1×1卷积单元的输出端作为RefineNet模块的输出端，RefineNet模块的输出端作为注意力机制下对CTP进行特征融合的AIS病灶预测模型的输出端。
对于每个Residual block单元，其包含2个1×1卷积单元和1个3×3卷积单元。Residual block单元的输入端作为第一个1×1卷积单元的输入端，第一个1×1卷积单元的输出端连接归一化层的输入端，批一化层的输出端形成ReLU激活函数的输入端，ReLU激活函数的输出端作为3×3卷积单元的输入端，3×3卷积单元的输出端连接归一化层的输入端，批一化层的输出端形成ReLU激活函数的输入端。ReLU激活函数的输出端作为第二个1×1卷积单元的输入端，第二个1×1卷积单元的输出端连接归一化层的输入端，批一化层的输出端和Residual block单元的输入端共同作为ReLU激活函数的输入端，ReLU激活函数的输出端作为Residual block单元的输出端。
在构建完深度学习模型后，需要对网络的初始参数进行设置。
在本实施例中，设置的网络参数与训练过程包括：训练过程100轮次，初始学习效率为10-3，学习率采用余弦退火策略，逐步降低，整体训练流程共分为三步：
1)初次训练，此时网络结构最简单，没有分割优化模块和CCA模块，完成100轮次训练后进入下一步骤；
2)加入CCA模块，以前一步骤产生的网络参数数值作为初始化参数，同样策略训练50轮次，然后进入下一步；
3)在上述基础上，将分割结果输入分割优化模块，执行相应网络流程，此时学习率为4e-4，训练50轮次，至此完成网络训练。
S4：将步骤S2中预处理后的训练集输入步骤S3构建的注意力机制下对CTP进行特征融合的AIS病灶预测方法的模型中进行训练，用骰子和交叉熵混合损失函数进行反向传播更新网络参数，并通过自适应矩估计(adaptive moment estimation，Adam)优化模型，得到训练好的注意力机制下对CTP进行特征融合的AIS病灶预测模型。
交叉熵损失函数公式：
Figure BDA0004151757030000101
骰子损失函数公式：
Figure BDA0004151757030000102
其中，N表示样本数量，rn表示样本n的标签，正类为1，负类为0。pn表示样本n预测为正类的概率。
S5：将待分割预测的急性缺血性脑卒中的多模态CTP图像送入到步骤S4所得到的训练好的注意力机制下对CTP进行特征融合的AIS病灶预测模型中进行分割，得到该数据的多模态CTP图像的分割预测结果。

Claims (8)

1.注意力机制下对CTP进行特征融合的AIS病灶预测方法，其特征在于，包括步骤：
S1、采集一定数量的AIS病人的多模态CTP和MRI图像；
S2、将原始CTP序列转换为伪RGB图像，在转换前清除图像周边病人隐私信息，并将各项参数保存为单独图像，并对标签数据进行配准，之后再扩充原数据集，进行离线数据增强，获得训练集；
S3、构建注意力机制下对CTP进行特征融合的AIS病灶预测模型；
S4、将步骤S2中预处理后的训练集输入步骤S3构建的注意力机制下对CTP进行特征融合的AIS病灶预测模型中进行训练，用骰子和交叉熵混合损失函数进行反向传播更新网络参数，并通过自适应矩估计优化模型，得到训练好的注意力机制下对CTP进行特征融合的AIS病灶预测模型；
S5、将待分割预测的急性缺血性脑卒中的多模态CTP图像送入到步骤S4所得到的训练好的注意力机制下对CTP进行特征融合的AIS病灶预测模型中进行分割，得到该数据的多模态CTP图像的分割预测结果。
2.根据权利要求1所述的注意力机制下对CTP进行特征融合的AIS病灶预测方法，其特征在于，步骤S2中，原数据集的扩充方法包括平移、旋转、位移。
3.根据权利要求1所述的注意力机制下对CTP进行特征融合的AIS病灶预测方法，其特征在于，步骤S3中，注意力机制下对CTP进行特征融合的AIS病灶预测模型包括4个编码器模块、2个WMHCA特征融合模块、2个解码器模块、1个分割预测模块和1个分割优化模块；
4个编码器对应CTP的4种不同模态数据，编码器之后接WMHCA特征融合模块，特征融合模块需要将两个编码器的特征融合起来，并送入解码器；解码器通过上采样和跳跃连接，来逐步恢复细节信息；两个解码器结果输入分割预测模块，生成初步预测结果，并送入分割优化模块；分割优化模块输出通过优化后的最终预测结果。
4.根据权利要求3所述的注意力机制下对CTP进行特征融合的AIS病灶预测方法，其特征在于，编码器模块的每个阶段皆由2个3×3卷积单元、1个1×1卷积单元和1个最大池化层单元组成；上一个阶段的输出端作为下一个阶段的输入端连接第一个3×3卷积单元的输入端，第一个3×3卷积单元的输出端连接第二个3×3卷积单元的输入端，第二个3×3卷积单元的输出端连接最大池化层单元的输入端，最大池化层单元的输出端连接1×1卷积单元的输入端，1×1卷积单元的输出端作为编码器模块的输出端；
对于每个3×3卷积单元：所有层依次串联，3×3卷积的输入端形成3×3卷积单元的输入端，3×3卷积单元的输出端形成归一化层的输入端，批一化层的输出端形成ReLU激活函数的输入端，ReLU激活函数的输出端形成3×3卷积单元的输出端。
5.根据权利要求3所述的注意力机制下对CTP进行特征融合的AIS病灶预测方法，其特征在于，WMHCA特征融合模块含有2个输入端和1个输出端，内部共3条支路，支路1、2的输入分别是WMHCA特征融合模块的两个输入端输入，支路3的输入是WMHCA特征融合模块的两个输入端输入的按像素相交结果；
3条支路的输入连接1个1×1卷积，1×1卷积的输出连接unfold单元的输入，unfold单元的输出连接Flatten层的输入；
支路1的Flatten层的输出连接Permute层的输入，Permute层的输出与支路2的unfold单元的输出进行矩阵乘法；
矩阵乘法后的输出连接SE Block模块的输入，SE Block模块的输出连接Softmax层的输入，Softmax层的输出与支路3的unfold单元的输出进行第二次矩阵乘法；第二次矩阵乘法的输出经过Fold层和Concat层后恢复为WMHCA特征融合模块的输入端的输入数据的数据形式，最后与支路3的输入进行按像素相加，并将结果连接WMHCA特征融合模块的输出端。
6.根据权利要求3所述的注意力机制下对CTP进行特征融合的AIS病灶预测方法，其特征在于，解码器模块的每个阶段皆由2个3×3卷积单元、1个信道交叉注意力单元和1个反卷积层单元组成；
上一个阶段的输出与编码器器同阶段的输出共同作为下一个阶段的CCA单元的输入，CCA单元的输出与上一阶段的输出又同时作为下一阶段的输入；
一个阶段的输入端连接第一个3×3卷积单元的输入端，第一个3×3卷积单元的输出端连接第二个3×3卷积单元的输入端，第二个3×3卷积单元的输出端连接反卷积层单元的输入端，反卷积层单元的输出作为本阶段的输出。
7.根据权利要求3所述的注意力机制下对CTP进行特征融合的AIS病灶预测方法，其特征在于，分割预测模块含有1个1×1卷积单元和1个Sigmoid层单元组成；2个解码器模块的输出端，作为分割预测模块的输入端；分割预测模块的输入端作为1×1卷积单元的输入端，1×1卷积单元的输出端作为Sigmoid层单元的输入端。
8.根据权利要求7所述的注意力机制下对CTP进行特征融合的AIS病灶预测方法，其特征在于，分割优化模块含有Network模块和RefineNet模块；Network模块含有之前的全部模块，4个编码器的输入端共同作为Network模块的输入端，分割预测模块的输出端作为Network模块的输出端；Network模块的输出需要计算不确定度，以二分类为例，不确定度计算公式为：
Seg1是Network模块的输出，Y是不确定度；
由不确定度，找到Network模块的输出中，不确定度最高的区域，并在Network模块的输入中找到相对应的区域；将该区域再次输入Network模块，得到第二次分割结果；第二次分割结果和第一次分割结果共同作为RefineNet模块的输入；RefineNet模块含有2个3×3卷积单元、1个1×1卷积单元和2个Residual block单元；RefineNet模块的输入端作为第一个3×3卷积单元的输入端，第一个3×3卷积单元的输出端连接第二个3×3卷积单元的输入端，第二个3×3卷积单元的输出端连接第一个Residual block单元的输入端，第一个Residual block单元的输出端连接第二个Residual block单元的输入端，第二个Residualblock单元的输出端连接1×1卷积单元的输入端；1×1卷积单元的输出端作为RefineNet模块的输出端，RefineNet模块的输出端作为注意力机制下对CTP进行特征融合的AIS病灶预测模型的输出端。
CN202310321238.3A 2023-03-29 2023-03-29 注意力机制下对ctp进行特征融合的ais病灶预测方法 Pending CN116309507A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310321238.3A CN116309507A (zh) 2023-03-29 2023-03-29 注意力机制下对ctp进行特征融合的ais病灶预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310321238.3A CN116309507A (zh) 2023-03-29 2023-03-29 注意力机制下对ctp进行特征融合的ais病灶预测方法

Publications (1)

Publication Number Publication Date
CN116309507A true CN116309507A (zh) 2023-06-23

Family

ID=86813134

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310321238.3A Pending CN116309507A (zh) 2023-03-29 2023-03-29 注意力机制下对ctp进行特征融合的ais病灶预测方法

Country Status (1)

Country Link
CN (1) CN116309507A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116759079A (zh) * 2023-08-23 2023-09-15 首都医科大学附属北京朝阳医院 基于多特征融合的出血转化判定方法、装置、介质及终端

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116759079A (zh) * 2023-08-23 2023-09-15 首都医科大学附属北京朝阳医院 基于多特征融合的出血转化判定方法、装置、介质及终端
CN116759079B (zh) * 2023-08-23 2023-11-03 首都医科大学附属北京朝阳医院 基于多特征融合的出血转化判定方法、装置、介质及终端

Similar Documents

Publication Publication Date Title
CN110232383B (zh) 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统
CN110163260B (zh) 基于残差网络的图像识别方法、装置、设备及存储介质
CN109584254A (zh) 一种基于深层全卷积神经网络的心脏左心室分割方法
CN111091575B (zh) 一种基于强化学习方法的医学图像分割方法
CN111415361B (zh) 基于深度学习的胎儿大脑脑龄估计和异常检测方法及装置
CN114565816B (zh) 一种基于全局信息融合的多模态医学图像融合方法
CN115375711A (zh) 基于多尺度融合的全局上下文关注网络的图像分割方法
CN116309507A (zh) 注意力机制下对ctp进行特征融合的ais病灶预测方法
CN110827283B (zh) 基于卷积神经网络的头颈血管分割方法及装置
CN113643261A (zh) 一种基于频率注意网络的胸肺部疾病诊断方法
CN116563533A (zh) 基于目标位置先验信息的医学图像分割方法及系统
CN116503668A (zh) 一种基于小样本元学习的医学影像分类方法
CN114565601A (zh) 基于DeepLabV3+改进的肝脏CT图像分割算法
CN109215035B (zh) 一种基于深度学习的脑部mri海马体三维分割方法
CN112634308B (zh) 基于不同感受野的鼻咽癌靶区和危及器官的勾画方法
CN113989206A (zh) 一种基于轻量化模型的骨龄预测方法及装置
CN116309754A (zh) 一种基于局部-全局信息协作的大脑医学图像配准方法及系统
CN117372452A (zh) 结合高效Transformer与UNet的3D脑肿瘤分割模型
CN114972291B (zh) 基于混合增强智能的医学影像结构化自动标注方法与系统
Qiu et al. Research on ME-NBI gastric lesion recognition system based on improved UNet structure
CN114119354A (zh) 医学图像配准训练及使用方法、系统及装置
CN114419015A (zh) 一种基于多模态配准的脑功能融合分析方法
CN113689544A (zh) 一种跨视图几何约束的医学影像三维重建方法
CN117036162B (zh) 轻量级胸部ct图像超分辨率的残差特征注意力融合方法
CN115375665B (zh) 一种基于深度学习策略的早期阿尔兹海默症发展预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination