CN117132849A - 基于ct平扫影像与图神经网络的脑卒中出血转化预测方法 - Google Patents

基于ct平扫影像与图神经网络的脑卒中出血转化预测方法 Download PDF

Info

Publication number
CN117132849A
CN117132849A CN202311143952.4A CN202311143952A CN117132849A CN 117132849 A CN117132849 A CN 117132849A CN 202311143952 A CN202311143952 A CN 202311143952A CN 117132849 A CN117132849 A CN 117132849A
Authority
CN
China
Prior art keywords
graph
image
neural network
layer
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311143952.4A
Other languages
English (en)
Inventor
雷洪
周军
崔少国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing General Hospital
Original Assignee
Chongqing General Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing General Hospital filed Critical Chongqing General Hospital
Priority to CN202311143952.4A priority Critical patent/CN117132849A/zh
Publication of CN117132849A publication Critical patent/CN117132849A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/7635—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks based on graphs, e.g. graph cuts or spectral clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于CT平扫影像与图神经网络的脑卒中出血转化预测方法，包括先将患者的脑部CT平扫影像通过MAE模型进行自监督预训练得到特征提取器，接着通过特征提取器对患者CT平扫影像进行分块及提取每块的特征向量，之后通过聚类算法对每张图的不同块特征向量进行聚类来建立图结构，最后通过图神经网络预测模块对构建出的图结构进行分类，预测患者溶栓治疗后发生脑卒中出血转化的概率。本申请运用自监督预训练的方法缓解了医学图像中数据样本较少学习影像特征不充分的问题，同时无需人工收集处理大量临床数据和运用影像组学处理影像数据，仅需患者脑部CT平扫影像，易于在医疗中实际应用，使用的图神经网络层数更少，参数量更少，更加轻量化。

Description

基于CT平扫影像与图神经网络的脑卒中出血转化预测方法
技术领域
本发明涉及医学图像处理及深度学习技术领域，具体涉及一种基于CT平扫影像与图神经网络的脑卒中出血转化预测方法。
背景技术
急性缺血性脑卒中(Acute Ischemic Stroke，AIS)是由于脑动脉的闭塞导致的脑组织的梗死，伴随着神经元、星形胶质细胞、少突胶质细胞损伤的一种脑动脉疾病。出血转化是指急性脑梗死后，缺血区血管重新恢复血流灌注导致的出血，包括自然发生的出血和溶栓、取栓、抗凝等干预措施后造成的出血，是急性缺血性脑卒中最严重的并发症之一。构建一个良好的出血转化预测模型，可以辅助医师进行治疗方案的精准选择，降低患者并发脑出血的风险，从而使得患者获得良好的预后。
深度学习技术以及图神经网络相关技术的出现与发展，使得医学图像处理与分类方法较传统方法有了显著提升。然而，国内目前有关急性缺血性脑卒中患者溶栓治疗后发生出血转换预测方法的研究还不成熟，目前主要集中在风险因素方面的探讨，对于脑卒中出血转化预测的问题有待进一步讨论研究；并且用于出血转化预测的方法多使用机器学习、影像组学等传统方法，鲜有采用深度学习及图神经网络方法。
本申请的发明人经过研究发现，传统的脑卒中出血转化预测方法需要收集患者临床指标以及使用影像组学对患者医学影像进行特征分析，并基于提取到的影像特征和临床指标使用机器学习方法建立模型进行预测，需要人工收集和处理大量数据，在医疗实际应用中十分不便。
发明内容
针对现有脑卒中出血转化预测方法需要收集患者临床指标以及使用影像组学对患者医学影像进行特征分析，并基于提取到的影像特征和临床指标使用机器学习方法建立模型进行预测，需要人工收集和处理大量数据，在医疗实际应用中十分不便的技术问题，本发明提供一种基于CT平扫影像与图神经网络的脑卒中出血转化预测方法。
为了解决上述技术问题，本发明采用了如下的技术方案：
基于CT平扫影像与图神经网络的脑卒中出血转化预测方法，包括以下步骤：
S1、脑卒中出血转化预测网络模型搭建：
脑卒中出血转化预测网络模型包括特征提取模块、图数据构建模块和图神经网络预测模块，所述特征提取模块采用MAE模型进行自监督预训练，具体为将患者的脑部CT平扫影像掩盖住75％，并分块嵌入为特征向量，输入10层TransformerEncoder进行编码，然后将提取到的特征向量输入8层TransformerDecoder进行解码，将解码后的特征向量还原成最初影像大小，并使得重建的影像最大限度接近未被掩盖前的原影像，训练收敛后，取训练后的图像分块嵌入层以及10层TransformerEncoder作为预测网络模型的特征提取器，特征提取器由图像分块嵌入层以及10层TransformerBlock组成，通过特征提取器对患者脑部CT平扫影像进行分块及提取每块的特征向量；
所述图数据构建模块通过聚类算法将特征提取器提取到的不同块特征向量聚为不同的类簇，将每一个特征向量视为图结构的一个节点，聚为同个类簇的节点之间视为有一条边，以此来建立图结构数据；
所述图神经网络预测模块包括从输入端到输出端顺序连接的三层图卷积层、一层Readout层以及一个分类头，每层图卷积层由图卷积和ReLU激活函数组成，用于对构建出的图结构数据进行信息聚合，使得每个邻居节点之间充分交换信息；一层Readout层由全局平均池化完成，用于对全图每个节点的信息进行读取和聚合，成为一个代表全图的特征向量；分类头由dropout层、全连接层以及归一化指数函数softmax组成，用于将全图的特征向量转化为概率分布输出，预测患者溶栓治疗后发生脑卒中出血转化的概率；
S2、数据预处理：
S21、使用Python脚本将原始影像数据从DICOM格式转换为NII格式；
S22、使用ITK-SNAP软件对影像进行开窗操作，使影像呈现出与脑部结果相关的信息；
S23、通过裁剪或填充体素的方式将CT平扫影像的每张切片大小固定为512*512；通过重采样的方式，将切片数量固定为32张；
S24、对CT平扫影像的体素值进行归一化处理；
S3、网络模型训练与参数优化：
S31、通过数据增强技术来扩充训练数据样本；
S32、将数据集按8：2比例划分为训练集和测试集，采用五折交叉验证将训练集划分为五份，并将其中一份作为验证集来训练模型以更准确地评估模型效果，获得最佳模型；
S33、采用Xavier方法与高斯分布初始化方法对MAE模型参数进行初始化；
S34、采用交叉熵损失函数作为模型训练的网络优化目标函数，交叉熵损失函数定义如下：
其中，B是批大小即样本数，C是类别数，Y'是样本标签，Y是预测概率，λ是L2正则化因子，Q是模型参数个数；
S35、以求L最小值为优化目标，采用Adam算法优化目标函数，通过反向传播算法更新参数权重，达到训练模型的效果，具体优化过程如下：
Vt＝γVt-1+ηL(θt-1)
θt＝θt-1-Vt
其中，Vt为当前的时间步长，即对参数的更新动量；t表示迭代次数；γ为动量系数；η为学习率；L(θt-1)表示当使用θt-1为网络参数时计算得到的损失函数；
S36、采用学习率动态调整策略，使得模型被充分训练收敛以接近最优；
S4、脑卒中患者溶栓治疗后出血转化概率预测：
S41、用学得的最优网络参数，搭建基于CT平扫影像与图神经网络的脑卒中出血转化预测系统；
S42、将待预测的患者脑部CT平扫影像进行预处理，得到归一化后的大小为512*512*32的图像；
S43、将影像分块并嵌入为向量，输入特征提取器，通过特征提取器提取得到每一块的特征向量；
S44、将得到的特征向量进行聚类，每一个特征向量视为图结构的一个节点，聚为同一类的特征向量之间视为有一条边，以此建立起一个图结构数据；
S45、将图结构数据输入三层图卷积层进行信息传递与聚合，使得每个图节点的特征向量得到更新；
S46、通过Readout层对所有图节点的信息进行聚合，并将聚合的特征向量输入分类头得到最终的出血转化预测概率，根据预测概率分析病人会否发生出血转化。
进一步，所述步骤S1中每个TransformerBlock多头自注意力的多头个数保持一致，多头个数包括但不限于设为2、4、6或8；特征向量维度包括但不限于设为64、128或256。
进一步，所述步骤S1中每个TransformerBlock多头自注意力，通过将输入数据分为多个头，并对每个头进行自注意力计算，最后将多个头的结果拼接起来得到最终输出，注意力分数的计算公式如下：
其中，Attention是注意力函数，Q,K,V是原始特征向量分别通过与3个可学习的权重矩阵相乘得到的3个特征向量，分别代表查询、键、值，d为缩放点积的系数，dk表示K特征向量的维度数，softmax是将向量的不同维度映射到0-1概率值，且概率总和为1的映射函数；
多头注意力采用下式进行计算：
MultiHead(Q,K,V)＝Concat(head1,...,headh)WO
where headi＝Attention(QWi Q,KWi K,VWi V)
其中，MultiHead是多头注意力函数，Concat表示向量之间的拼接操作，WO是一个可学习的权重矩阵，用于进一步对每个头的注意力分数进行融合，Wi Q表示第i个头Q特征向量的权重矩阵，Wi K表示第i个头K特征向量的权重矩阵，Wi V表示第i个头V特征向量的权重矩阵。
进一步，所述步骤S1中将特征提取器提取的每块特征向量进行层归一化后再通过图数据构建模块构图，层归一化的计算公式如下：
其中，x是层归一化的输入，y是层归一化的输出，ε是一个极小值防止除数为0，γ和β是可学习的仿射变换参数，E[·]表示求均值，Var[·]表示求方差。
进一步，所述步骤S1中图卷积层的计算公式如下：
其中，l为当前图卷积的层数，当l＝0时，Hl＝X即第一层输入的图结构数据，X∈RN *M，N为图结构数据的节点个数，M为节点的特征维度；A'＝D-A，D为图结构数据的度矩阵，A为图结构数据的邻接矩阵；Wl为第l层的权重参数矩阵，σ(·)为非线性激活函数。
进一步，所述步骤S1中ReLU激活函数用于将图卷积后的图中每个节点的特征向量进行非线性转化，ReLU的计算公式如下：
f(z)＝max(0,z)
其中，max表示求最大值，z是一个输入值。
进一步，所述步骤S1中softmax函数将图神经网络输出的出血转化预测分值转换成概率分布，softmax函数定义如下：
其中，Yi是某个样本在第i类上的概率，Oi是某个样本在第i类上的预测分值，C代表类别数。
进一步，所述步骤S34中批大小B＝4，类别数C＝2，L2正则化因子λ设为0.001。
进一步，所述步骤S35中学习率η初始设置为1e-3，动量系数γ设为0.9。
进一步，所述步骤S36中采用学习率动态调整策略，使得模型被充分训练收敛以接近最优包括：在对预测网络模型的训练过程中，当计算的验证损失连续10轮没有显著下降，则将学习率动态下降为之前的80％，继续进行训练，直至训练结束或学习率下降到最小阈值，学习率最小阈值设置为0。
本发明提供的基于CT平扫影像与图神经网络的脑卒中出血转化预测方法，首先将患者的脑部CT平扫影像通过MAE模型进行自监督预训练，得到特征提取器，接着通过特征提取器对患者CT平扫影像进行分块及提取每块的特征向量，之后通过K-Means等聚类算法对每张图的不同块特征向量进行聚类来建立图结构，最后通过图神经网络预测模块对构建出的图结构进行分类，预测患者溶栓治疗后发生脑卒中出血转化的概率，因此与现有技术相比具有以下优点：
1、MAE自监督预训练模型通过高难度的训练任务，使得在样本数量较少的情况下，依然能提取到较高质量的特征向量，有效缓解了医学图像中数据样本较少学习影像特征不充分的问题，一定程度上解决了医学图像样本数据少导致的训练模型效果不佳的问题；
2、引入了三层图神经网络作为分类预测网络，与传统的深度学习卷积神经网络、Transformer等网络相比，本方法使用的图神经网络层数更少，参数量更少，更加轻量化的同时保留了较好的性能；
3、与基于传统机器学习与影像组学的预测方法相比，无需人工收集处理大量的临床数据和提取影像特征，只需要使用脚本预处理患者脑部CT平扫影像，输入预测网络即可完成预测，易于在医疗中实际应用；
4、综合上述第2点和第3点，模型的输入易于快速获取与处理，且模型本身更加轻量化，易于在医疗服务中实际部署应用，能够辅助医师制定精准的治疗方案，帮助患者获得更好的预后。
附图说明
图1是本发明提供的基于CT平扫影像与图神经网络的脑卒中出血转化预测方法流程示意图。
图2是本发明提供的基于CT平扫影像与图神经网络的脑卒中出血转化预测网络模型架构图。
图3是本发明提供的单个TransformerBlock结构示意图。
图4是本发明提供的基于CT平扫影像与图神经网络的脑卒中出血转化预测网络模型训练流程示意图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。
请参考图1至图4所示，本发明提供一种基于CT平扫影像与图神经网络的脑卒中出血转化预测方法，包括以下步骤：
S1、脑卒中出血转化预测网络模型搭建：
脑卒中出血转化预测网络模型包括特征提取模块、图数据构建模块和图神经网络预测模块，所述特征提取模块采用MAE(Masked Auto-encoders，掩码自编码器)模型进行自监督预训练，具体为将患者的脑部CT平扫影像掩盖住75％，并分块嵌入为特征向量，输入10层TransformerEncoder进行编码，然后将提取到的特征向量输入8层TransformerDecoder进行解码，将解码后的特征向量还原成最初影像大小，并使得重建的影像最大限度接近未被掩盖前的原影像，编码器能够在高难度的还原训练中尽可能多地学习到影像的特征，提取到高质量的特征向量；训练收敛后，取训练后图像分块嵌入层以及的10层TransformerEncoder作为预测网络模型的特征提取器，特征提取器由图像分块嵌入层以及10层TransformerBlock组成，通过特征提取器对患者脑部CT平扫影像进行分块及提取每块的特征向量，由此可对CT平扫影像提取到高质量特征向量；
所述图数据构建模块通过聚类算法将特征提取器提取到的不同块特征向量聚为不同的类簇，将每一个特征向量视为图结构的一个节点，聚为同个类簇的节点之间视为有一条边，以此来建立图结构数据；聚类算法具体可选用现有的K-Means、DBSCAN、DPC等，类簇个数具体可设为16、32、64、128等；
所述图神经网络预测模块包括从输入端到输出端顺序连接的三层图卷积层、一层Readout层以及一个分类头，每层图卷积层由图卷积和ReLU激活函数组成，用于对构建出的图结构数据进行信息聚合，使得每个邻居节点之间充分交换信息；一层Readout层由全局平均池化完成，用于对全图每个节点的信息进行读取和聚合，成为一个代表全图的特征向量，维度与每个节点的特征向量维度保持一致；分类头由dropout层、全连接层以及归一化指数函数softmax组成，用于将全图的特征向量转化为概率分布输出，预测患者溶栓治疗后发生脑卒中出血转化的概率；其中，三层图卷积层的隐藏层特征向量维度可设为32、64、128等，除第一个图卷积层输入维度为图节点特征向量维度，其他图卷积层的输入输出维度都为隐藏层特征向量维度；分类头的dropout层概率值设为0.5，仅在训练时生效；全连接层的输入神经元个数设置为全图特征向量维度数，输出神经元个数设置为2。
以输入一张512*512*32大小的脑部CT平扫影像图片为例，整个预测模型的参数如下表1所示。
表1脑卒中出血转化预测网络模型参数表
作为具体实施例，所述步骤S1中每个TransformerBlock多头自注意力的多头个数保持一致，多头个数包括但不限于设为2、4、6或8；特征向量维度包括但不限于设为64、128或256。
作为具体实施例，所述步骤S1中每个TransformerBlock多头自注意力(Multi-HeadSelf-Attention)，通过将输入数据分为多个头(Head)，并对每个头进行自注意力(Self-Attention)计算，最后将多个头的结果拼接起来得到最终输出，注意力分数的计算公式如下：
其中，Attention是注意力函数，Q,K,V是原始特征向量分别通过与3个可学习的权重矩阵相乘得到的3个特征向量，分别代表查询、键、值，d为缩放点积的系数，dk表示K特征向量的维度数，softmax是将向量的不同维度映射到0-1概率值，且概率总和为1的映射函数，详见下式(6)；
多头注意力采用下式进行计算：
其中，MultiHead是多头函数，Concat表示向量之间的拼接操作，WO是一个可学习的权重矩阵，用于进一步对每个头的注意力分数进行融合，Wi Q表示第i个头Q特征向量的权重矩阵，Wi K表示第i个头K特征向量的权重矩阵，Wi V表示第i个头V特征向量的权重矩阵。
作为具体实施例，为了让每一层输入的分布更加稳定，加速模型的训练与收敛，采用层归一化(Layer Normalization，LN)方法，将同层隐藏神经元的响应值作为集合范围，求整个集合的均值与方差并进行归一化计算；具体在所述步骤S1中将特征提取器提取的每块特征向量进行层归一化后再通过图数据构建模块构图，层归一化的计算公式如下：
其中，x是层归一化的输入，y是层归一化的输出，ε是一个极小值防止除数为0，本发明中设为1e-5；γ和β是可学习的仿射变换参数，E[·]表示求均值，Var[·]表示求方差。
作为具体实施例，图卷积(Graph Convolution)是将图结构数据中的所有节点依据邻居关系进行信息传递与聚合，对所有节点的特征向量进行更新，具体在所述步骤S1中图卷积层的计算公式如下：
其中，l为当前图卷积的层数，当l＝0时，Hl＝X即第一层输入的图结构数据，X∈RN *M，N为图结构数据的节点个数，M为节点的特征维度；A'＝D-A，D为图结构数据的度矩阵，A为图结构数据的邻接矩阵；Wl为第l层的权重参数矩阵，σ(·)为非线性激活函数。
作为具体实施例，所述步骤S1中ReLU激活函数用于将图卷积后的图中每个节点的特征向量进行非线性转化，ReLU的计算公式如下：
f(z)＝max(0,z) 式(5)
其中，max表示求最大值，z是一个输入值。
作为具体实施例，所述步骤S1中softmax函数将图神经网络输出的出血转化预测分值转换成概率分布，softmax函数定义如下：
其中，Yi是某个样本在第i类上的概率，Oi是某个样本在第i类上的预测分值，C代表类别数，本发明中设为2，代表会发生出血转化与不会发生出血转化。
S2、数据预处理：
本发明基于急性缺血性脑卒中患者的脑部CT平扫影像进行静脉溶栓治疗后的出血转化概率预测，在将CT平扫影像输入预测网络模型之前需要进行一些预处理，具体方法如下：
S21、使用Python脚本将原始影像数据从DICOM格式转换为NII格式，其具体转换处理为本领域技术人员熟知，在此不再赘述；
S22、使用ITK-SNAP软件对影像进行开窗操作，使影像呈现出与脑部结果相关的信息，其具体开窗操作为本领域技术人员熟知，在此不再赘述；
S23、通过裁剪或填充体素的方式将CT平扫影像的每张切片大小固定为512*512；通过重采样的方式，将切片数量固定为32张；
S24、对CT平扫影像的体素值进行归一化处理。
S3、网络模型训练与参数优化：
S31、通过沿深度轴翻转影像、随机仿射变换、随机弹性形变、随机各项异性、动态模糊、随机鬼影、随机尖峰缺陷、随机偏置场伪影、随机Gama矫正等数据增强技术来扩充训练数据样本。
S32、将数据集按8：2比例划分为训练集和测试集，采用五折交叉验证将训练集划分为五份，并将其中一份作为验证集来训练模型以更准确地评估模型效果，获得最佳模型。
S33、采用Xavier方法与高斯分布初始化方法对MAE模型参数进行初始化。
S34、采用交叉熵损失函数作为模型训练的网络优化目标函数，交叉熵损失函数定义如下：
其中，B是批大小(Batch Size)即样本数，C是类别数，Y'是样本标签，Y是预测概率；本模型中，批大小B＝4，类别数C＝2；
为了防止过拟合，在损失函数中加入L2正则化项，得到最终网络优化目标函数如下：
其中，λ是L2正则化因子，设为0.001，Q是模型参数个数。
S35、以求L最小值为优化目标，采用Adam算法优化目标函数，通过反向传播算法更新参数权重，达到训练模型的效果，具体优化过程如下：
Vt＝γVt-1+ηL(θt-1) 式(9)
θt＝θt-1-Vt 式(10)
其中，Vt为当前的时间步长，即对参数的更新动量；t表示迭代次数；γ为动量系数，本模型中设为0.9；η为学习率，初始设置为1e-3；L(θt-1)表示当使用θt-1为网络参数时计算得到的损失函数。具体Adam算法是一种可以替代传统随机梯度下降过程的一阶优化算法，它能基于训练数据迭代地更新神经网络权重，Adam算法和传统随的机梯度下降不同：传统随机梯度下降保持单一的学习率(即alpha)更新所有的参数，学习率在训练过程中并不会改变，而Adam算法通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率，具有实现简单、计算高效及对内存需求少的优点。
S36、采用学习率动态调整策略，使得模型被充分训练，尽可能地收敛以接近最优；其具体包括：在对预测网络模型的训练过程中，当计算的验证损失连续10轮没有显著下降，则将学习率动态下降为之前的80％，继续进行训练即一直重复以上步骤，直至训练结束或学习率下降到最小阈值，学习率最小阈值设置为0。
S4、脑卒中患者溶栓治疗后出血转化概率预测：
S41、用学得的最优网络参数，搭建基于CT平扫影像与图神经网络的脑卒中出血转化预测系统；
S42、将待预测的患者脑部CT平扫影像进行预处理，得到归一化后的大小为512*512*32的图像；
S43、将影像分块并嵌入为向量，输入特征提取器，通过特征提取器提取得到每一块的特征向量；
S44、将得到的特征向量进行聚类，每一个特征向量视为图结构的一个节点，聚为同一类的特征向量之间视为有一条边，以此建立起一个图结构数据；
S45、将图结构数据输入三层图卷积层进行信息传递与聚合，使得每个图节点的特征向量得到更新；
S46、通过Readout层对所有图节点的信息进行聚合，并将聚合的特征向量输入分类头得到最终的出血转化预测概率，根据预测概率分析病人会否发生出血转化。
本发明提供的基于CT平扫影像与图神经网络的脑卒中出血转化预测方法，首先将患者的脑部CT平扫影像通过MAE模型进行自监督预训练，得到特征提取器，接着通过特征提取器对患者CT平扫影像进行分块及提取每块的特征向量，之后通过K-Means等聚类算法对每张图的不同块特征向量进行聚类来建立图结构，最后通过图神经网络预测模块对构建出的图结构进行分类，预测患者溶栓治疗后发生脑卒中出血转化的概率，因此与现有技术相比具有以下优点：
1、MAE自监督预训练模型通过高难度的训练任务，使得在样本数量较少的情况下，依然能提取到较高质量的特征向量，有效缓解了医学图像中数据样本较少学习影像特征不充分的问题，一定程度上解决了医学图像样本数据少导致的训练模型效果不佳的问题；
2、引入了三层图神经网络作为分类预测网络，与传统的深度学习卷积神经网络、Transformer等网络相比，本方法使用的图神经网络层数更少，参数量更少，更加轻量化的同时保留了较好的性能；
3、与基于传统机器学习与影像组学的预测方法相比，无需人工收集处理大量的临床数据和提取影像特征，只需要使用脚本预处理患者脑部CT平扫影像，输入预测网络即可完成预测，易于在医疗中实际应用；
4、综合上述第2点和第3点，模型的输入易于快速获取与处理，且模型本身更加轻量化，易于在医疗服务中实际部署应用，能够辅助医师制定精准的治疗方案，帮助患者获得更好的预后。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.基于CT平扫影像与图神经网络的脑卒中出血转化预测方法，其特征在于，包括以下步骤：
S1、脑卒中出血转化预测网络模型搭建：
脑卒中出血转化预测网络模型包括特征提取模块、图数据构建模块和图神经网络预测模块，所述特征提取模块采用MAE模型进行自监督预训练，具体为将患者的脑部CT平扫影像掩盖住75％，并分块嵌入为特征向量，输入10层TransformerEncoder进行编码，然后将提取到的特征向量输入8层TransformerDecoder进行解码，将解码后的特征向量还原成最初影像大小，并使得重建的影像最大限度接近未被掩盖前的原影像，训练收敛后，取训练后的图像分块嵌入层以及10层TransformerEncoder作为预测网络模型的特征提取器，特征提取器由图像分块嵌入层以及10层TransformerBlock组成，通过特征提取器对患者脑部CT平扫影像进行分块及提取每块的特征向量；
所述图数据构建模块通过聚类算法将特征提取器提取到的不同块特征向量聚为不同的类簇，将每一个特征向量视为图结构的一个节点，聚为同个类簇的节点之间视为有一条边，以此来建立图结构数据；
所述图神经网络预测模块包括从输入端到输出端顺序连接的三层图卷积层、一层Readout层以及一个分类头，每层图卷积层由图卷积和ReLU激活函数组成，用于对构建出的图结构数据进行信息聚合，使得每个邻居节点之间充分交换信息；一层Readout层由全局平均池化完成，用于对全图每个节点的信息进行读取和聚合，成为一个代表全图的特征向量；分类头由dropout层、全连接层以及归一化指数函数softmax组成，用于将全图的特征向量转化为概率分布输出，预测患者溶栓治疗后发生脑卒中出血转化的概率；
S2、数据预处理：
S21、使用Python脚本将原始影像数据从DICOM格式转换为NII格式；
S22、使用ITK-SNAP软件对影像进行开窗操作，使影像呈现出与脑部结果相关的信息；
S23、通过裁剪或填充体素的方式将CT平扫影像的每张切片大小固定为512*512；通过重采样的方式，将切片数量固定为32张；
S24、对CT平扫影像的体素值进行归一化处理；
S3、网络模型训练与参数优化：
S31、通过数据增强技术来扩充训练数据样本；
S32、将数据集按8：2比例划分为训练集和测试集，采用五折交叉验证将训练集划分为五份，并将其中一份作为验证集来训练模型以更准确地评估模型效果，获得最佳模型；
S33、采用Xavier方法与高斯分布初始化方法对MAE模型参数进行初始化；
S34、采用交叉熵损失函数作为模型训练的网络优化目标函数，交叉熵损失函数定义如下：
其中，B是批大小即样本数，C是类别数，Y'是样本标签，Y是预测概率，λ是L2正则化因子，Q是模型参数个数；
S35、以求L最小值为优化目标，采用Adam算法优化目标函数，通过反向传播算法更新参数权重，达到训练模型的效果，具体优化过程如下：
Vt＝γVt-1+ηL(θt-1)
θt＝θt-1-Vt
其中，Vt为当前的时间步长，即对参数的更新动量；t表示迭代次数；γ为动量系数；η为学习率；L(θt-1)表示当使用θt-1为网络参数时计算得到的损失函数；
S36、采用学习率动态调整策略，使得模型被充分训练收敛以接近最优；
S4、脑卒中患者溶栓治疗后出血转化概率预测：
S41、用学得的最优网络参数，搭建基于CT平扫影像与图神经网络的脑卒中出血转化预测系统；
S42、将待预测的患者脑部CT平扫影像进行预处理，得到归一化后的大小为512*512*32的图像；
S43、将影像分块并嵌入为向量，输入特征提取器，通过特征提取器提取得到每一块的特征向量；
S44、将得到的特征向量进行聚类，每一个特征向量视为图结构的一个节点，聚为同一类的特征向量之间视为有一条边，以此建立起一个图结构数据；
S45、将图结构数据输入三层图卷积层进行信息传递与聚合，使得每个图节点的特征向量得到更新；
S46、通过Readout层对所有图节点的信息进行聚合，并将聚合的特征向量输入分类头得到最终的出血转化预测概率，根据预测概率分析病人会否发生出血转化。
2.根据权利要求1所述的基于CT平扫影像与图神经网络的脑卒中出血转化预测方法，其特征在于，所述步骤S1中每个TransformerBlock多头自注意力的多头个数保持一致，多头个数包括但不限于设为2、4、6或8；特征向量维度包括但不限于设为64、128或256。
3.根据权利要求1所述的基于CT平扫影像与图神经网络的脑卒中出血转化预测方法，其特征在于，所述步骤S1中每个TransformerBlock多头自注意力，通过将输入数据分为多个头，并对每个头进行自注意力计算，最后将多个头的结果拼接起来得到最终输出，注意力分数的计算公式如下：
其中，Attention是注意力函数，Q,K,V是原始特征向量分别通过与3个可学习的权重矩阵相乘得到的3个特征向量，分别代表查询、键、值，d为缩放点积的系数，dk表示K特征向量的维度数，softmax是将向量的不同维度映射到0-1概率值，且概率总和为1的映射函数；
多头注意力采用下式进行计算：
MultiHead(Q,K,V)＝Concat(head1,...,headh)WO
where headi＝Attention(QWi Q,KWi K,VWi V)
其中，MultiHead是多头注意力函数，Concat表示向量之间的拼接操作，WO是一个可学习的权重矩阵，用于进一步对每个头的注意力分数进行融合，Wi Q表示第i个头Q特征向量的权重矩阵，Wi K表示第i个头K特征向量的权重矩阵，Wi V表示第i个头V特征向量的权重矩阵。
4.根据权利要求1所述的基于CT平扫影像与图神经网络的脑卒中出血转化预测方法，其特征在于，所述步骤S1中将特征提取器提取的每块特征向量进行层归一化后再通过图数据构建模块构图，层归一化的计算公式如下：
其中，x是层归一化的输入，y是层归一化的输出，ε是一个极小值防止除数为0，γ和β是可学习的仿射变换参数，E[·]表示求均值，Var[·]表示求方差。
5.根据权利要求1所述的基于CT平扫影像与图神经网络的脑卒中出血转化预测方法，其特征在于，所述步骤S1中图卷积层的计算公式如下：
其中，l为当前图卷积的层数，当l＝0时，Hl＝X即第一层输入的图结构数据，X∈RN*M，N为图结构数据的节点个数，M为节点的特征维度；A'＝D-A，D为图结构数据的度矩阵，A为图结构数据的邻接矩阵；Wl为第l层的权重参数矩阵，σ(·)为非线性激活函数。
6.根据权利要求1所述的基于CT平扫影像与图神经网络的脑卒中出血转化预测方法，其特征在于，所述步骤S1中ReLU激活函数用于将图卷积后的图中每个节点的特征向量进行非线性转化，ReLU的计算公式如下：
f(z)＝max(0,z)
其中，max表示求最大值，z是一个输入值。
7.根据权利要求1所述的基于CT平扫影像与图神经网络的脑卒中出血转化预测方法，其特征在于，所述步骤S1中softmax函数将图神经网络输出的出血转化预测分值转换成概率分布，softmax函数定义如下：
其中，Yi是某个样本在第i类上的概率，Oi是某个样本在第i类上的预测分值，C代表类别数。
8.根据权利要求1所述的基于CT平扫影像与图神经网络的脑卒中出血转化预测方法，其特征在于，所述步骤S34中批大小B＝4，类别数C＝2，L2正则化因子λ设为0.001。
9.根据权利要求1所述的基于CT平扫影像与图神经网络的脑卒中出血转化预测方法，其特征在于，所述步骤S35中学习率η初始设置为1e-3，动量系数γ设为0.9。
10.根据权利要求1所述的基于CT平扫影像与图神经网络的脑卒中出血转化预测方法，其特征在于，所述步骤S36中采用学习率动态调整策略，使得模型被充分训练收敛以接近最优包括：在对预测网络模型的训练过程中，当计算的验证损失连续10轮没有显著下降，则将学习率动态下降为之前的80％，继续进行训练，直至训练结束或学习率下降到最小阈值，学习率最小阈值设置为0。
CN202311143952.4A 2023-09-06 2023-09-06 基于ct平扫影像与图神经网络的脑卒中出血转化预测方法 Pending CN117132849A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311143952.4A CN117132849A (zh) 2023-09-06 2023-09-06 基于ct平扫影像与图神经网络的脑卒中出血转化预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311143952.4A CN117132849A (zh) 2023-09-06 2023-09-06 基于ct平扫影像与图神经网络的脑卒中出血转化预测方法

Publications (1)

Publication Number Publication Date
CN117132849A true CN117132849A (zh) 2023-11-28

Family

ID=88852601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311143952.4A Pending CN117132849A (zh) 2023-09-06 2023-09-06 基于ct平扫影像与图神经网络的脑卒中出血转化预测方法

Country Status (1)

Country Link
CN (1) CN117132849A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117747104A (zh) * 2023-12-20 2024-03-22 三亚学院 一种基于大数据的脑卒中数字智能化预警方法及系统
CN117936105A (zh) * 2024-03-25 2024-04-26 杭州安鸿科技股份有限公司 基于深度学习网络的多模态黑色素瘤免疫治疗预测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117747104A (zh) * 2023-12-20 2024-03-22 三亚学院 一种基于大数据的脑卒中数字智能化预警方法及系统
CN117936105A (zh) * 2024-03-25 2024-04-26 杭州安鸿科技股份有限公司 基于深度学习网络的多模态黑色素瘤免疫治疗预测方法

Similar Documents

Publication Publication Date Title
CN108268870B (zh) 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN108062753B (zh) 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
CN110211045B (zh) 基于srgan网络的超分辨率人脸图像重建方法
CN108460726B (zh) 一种基于增强递归残差网络的磁共振图像超分辨重建方法
CN117132849A (zh) 基于ct平扫影像与图神经网络的脑卒中出血转化预测方法
CN110992351B (zh) 基于多输入卷积神经网络的sMRI图像分类方法和装置
CN112396587B (zh) 一种基于协同训练和密度图的公交车厢内拥挤度检测方法
CN113344864A (zh) 一种基于深度学习的超声甲状腺结节良恶性预测方法
CN106157249A (zh) 基于光流法和稀疏邻域嵌入的单图像超分辨率重建算法
CN111080591A (zh) 基于编码解码结构结合残差模块的医学图像分割方法
US20240054760A1 (en) Image detection method and apparatus
CN111444844A (zh) 一种基于变分自编码器的液基细胞人工智能检测方法
CN112950480A (zh) 一种融合多感受野和密集残差注意的超分辨率重建方法
CN111523483B (zh) 中餐菜品图像识别方法及装置
CN112529063A (zh) 一种适用于帕金森语音数据集的深度域适应分类方法
CN114897782A (zh) 基于生成式对抗网络的胃癌病理切片图像分割预测方法
CN112085742B (zh) 一种基于上下文注意力的nafld超声视频诊断方法
CN111612739B (zh) 一种基于深度学习的脑梗死分类方法
CN117523203A (zh) 一种基于Transformer半监督算法的蜂窝肺病灶图像分割识别方法
CN117437423A (zh) 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置
CN112861879A (zh) 基于双重迁移的认知障碍辅助决策支持方法和系统
CN116895016A (zh) 一种sar图像船舶目标生成与分类方法
CN116523877A (zh) 一种基于卷积神经网络的脑mri图像肿瘤块分割方法
CN108304546B (zh) 一种基于内容相似度和Softmax分类器的医学图像检索方法
CN115049603B (zh) 一种基于小样本学习的肠息肉分割方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination