CN117275681B - 基于Transformer并行交叉融合模型的蜂窝肺病程周期检测评估方法及装置 - Google Patents
基于Transformer并行交叉融合模型的蜂窝肺病程周期检测评估方法及装置 Download PDFInfo
- Publication number
- CN117275681B CN117275681B CN202311567971.XA CN202311567971A CN117275681B CN 117275681 B CN117275681 B CN 117275681B CN 202311567971 A CN202311567971 A CN 202311567971A CN 117275681 B CN117275681 B CN 117275681B
- Authority
- CN
- China
- Prior art keywords
- layer
- image
- residual
- model
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 37
- 208000019693 Lung disease Diseases 0.000 title claims abstract description 23
- 210000004072 lung Anatomy 0.000 claims abstract description 71
- 230000006870 function Effects 0.000 claims abstract description 56
- 230000007246 mechanism Effects 0.000 claims abstract description 56
- 230000000007 visual effect Effects 0.000 claims abstract description 36
- 238000011176 pooling Methods 0.000 claims abstract description 27
- 230000003044 adaptive effect Effects 0.000 claims abstract description 21
- 238000011156 evaluation Methods 0.000 claims abstract description 18
- 238000001514 detection method Methods 0.000 claims abstract description 16
- 230000008447 perception Effects 0.000 claims abstract description 13
- 230000001413 cellular effect Effects 0.000 claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 239000013598 vector Substances 0.000 claims description 72
- 239000011159 matrix material Substances 0.000 claims description 45
- 238000013528 artificial neural network Methods 0.000 claims description 40
- 238000004364 calculation method Methods 0.000 claims description 36
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 31
- 230000001537 neural effect Effects 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 21
- 230000009466 transformation Effects 0.000 claims description 21
- 230000002457 bidirectional effect Effects 0.000 claims description 16
- 238000010606 normalization Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000003062 neural network model Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 5
- 238000012795 verification Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000007499 fusion processing Methods 0.000 claims description 2
- 238000003745 diagnosis Methods 0.000 description 7
- 238000013145 classification model Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 210000003456 pulmonary alveoli Anatomy 0.000 description 4
- 201000009794 Idiopathic Pulmonary Fibrosis Diseases 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 208000036971 interstitial lung disease 2 Diseases 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010007559 Cardiac failure congestive Diseases 0.000 description 1
- 206010019280 Heart failures Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 208000006673 asthma Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000000414 obstructive effect Effects 0.000 description 1
- 238000010837 poor prognosis Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- Biodiversity & Conservation Biology (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于Transformer并行交叉融合模型的蜂窝肺病程周期检测评估方法及装置，属于蜂窝肺病程周期检测评估技术领域；所要解决的技术问题为：提供一种基于Transformer并行交叉融合模型的蜂窝肺病程周期检测评估方法及装置；解决该技术问题采用的技术方案为：获取蜂窝肺CT图像数据，进行数据预处理，搭建视觉转换器网络模型，包括输入嵌入层、多头注意力机制、多层感知机制层、池化层、全连接层，设置视觉转换器超参数，使用交叉熵损失函数定义损失函数；基于自适应矩估计优化器的自适应学习率算法，根据梯度的一阶矩估计和二阶矩估计自适应地调整学习率；本发明应用于蜂窝肺病程周期检测。
Description
技术领域
本发明提供一种基于Transformer并行交叉融合模型的蜂窝肺病程周期检测评估方法及装置，属于蜂窝肺病程周期检测评估技术领域。
背景技术
蜂窝状肺是特发性肺纤维化(IPF)的主要组织病理学特征，是多种晚期肺部疾病形成的蜂窝状肺改变，据统计，蜂窝肺的年发病率为每十万人6.8-16.3，患者初诊后，从诊断到死亡的中位生存期为2-4年，预后不佳，患者的死亡率高，且绝大多数患者早期症状不明显，漏诊和延误诊断现象普遍，超过50%的患者首诊时被误诊为慢阻肺、哮喘和充血性心力衰竭或其他肺病，耽误了宝贵的早期诊治时间；且由于在IPF病情发展过程中，不同患者疾病进展情况有很大差异，目前需要医生对大量CT图像数据进行人工采样和分析，并根据经验判断该病例的病程周期，检测分析工作量大，且存在检测错误的可能，已不能满足目前蜂窝状肺病程的检测评估需求。
发明内容
本发明为了克服现有技术中存在的不足，所要解决的技术问题为：提供一种基于Transformer并行交叉融合模型的蜂窝肺病程周期检测评估方法及装置。
为了解决上述技术问题，本发明采用的技术方案为：基于Transformer并行交叉融合模型的蜂窝肺病程周期检测评估方法，包括如下的检测评估步骤：
步骤S1：获取蜂窝肺CT图像数据，进行数据预处理，将蜂窝肺CT图像缩放为512*512像素尺寸作为数据集，将数据集整理为有标注数据与无标注数据，并将其划分为训练集、验证集、测试集，并对蜂窝肺CT图像数据进行标注，将每个CT图像的类别信息转换为类别标签；
步骤S2：搭建视觉转换器网络模型，包括输入嵌入层、多头注意力机制层、多层感知机制层、池化层、全连接层；
步骤S3：设置视觉转换器网络模型的超参数：设置图像块大小和输入图像的通道数，将每个图像块编码为向量的维度，设置多头注意力机制头数，设置多层感知机制中的隐藏层；
步骤S4：使用交叉熵函数定义损失函数；
步骤S5：基于自适应矩估计优化器的自适应学习率算法，根据梯度的一阶矩估计和二阶矩估计自适应地调整学习率；
步骤S6：通过视觉转换器分支获取到的蜂窝肺CT图像的全局特征，用于与残差神经网络获取的局部特征双向融合；
步骤S7：将蜂窝肺CT图像输入卷积神经网络分支模块，来提取蜂窝肺的局部特征，搭建残差神经网络-50网络模型；
步骤S8：将经过卷积操作输出的蜂窝肺特征与视觉转换器支路提取到的全局特征进行双向融合；
步骤S9：在视觉转换器分支和残差神经网络分支之间建立双向特征融合结构，融合两个分支的特征；
步骤S10：将两个分支提取的分类向量进行融合后计算损失，并进行逆梯度计算，调整模型参数；
步骤S11：输出检测评估的类别标签，定义标签显示0表示正常肺，1表示轻度蜂窝肺，2表示中度蜂窝肺，3表示重度蜂窝肺。
所述步骤2中搭建视觉转换器网络模型的具体方法为：
步骤S21：输入嵌入层：把输入的裁剪好的蜂窝肺CT图像切分成32块，设置为图像块0~图像块32，将输入图像块展开成向量，并对每个向量进行线性变换和位置编码，得到嵌入向量序列；
步骤S22：搭建多头注意力机制层：将由蜂窝肺CT图像转换的嵌入向量序列划分为多个头，多头注意力机制层包括多层自注意力机制、残差连接、层归一化操作，其中自注意力机制的计算公式为：
；
其中，d是输入序列的维度或特征向量的长度；
Q是查询矩阵，维度为N×d，用于计算注意力权重；
K是键矩阵，维度为N×d，用于计算注意力权重；
V是值矩阵，其维度为N×d，用于计算注意力加权和；
Wq是查询矩阵的权重矩阵，其维度为d×d；
Wk是键矩阵的权重矩阵，其维度为d×d；
Wv是值矩阵的权重矩阵，其维度为d×d；
softmax(·)是softmax函数，将注意力权重进行归一化，使其总和为1；
Attention(·, ·, ·)是自注意力计算函数，输入为查询、键和值矩阵，输出为注意力加权和；
并将输入的蜂窝肺CT图像转换成序列：；
其中，表示序列中的第i个元素，d表示输入向量的维度；
步骤S23：搭建多层感知机制层：对多头注意力机制得到的向量进行多层感知机操作，对输入的向量进行线性变换操作，包括一个全连接层和一个激活函数ReLU，在线性变换操作后添加残差连接，将输入的向量加上线性变换后得到的向量，得到新的向量，然后在残差连接后添加批归一化操作；
步骤S24：搭建池化层：将多层感知机制层得到的向量进行均值池化，得到整个图像的特征表示；
步骤S25：搭建全连接层：对池化得到的特征表示进行全连接层操作，得到最终的分类结果。
所述步骤S22中自注意力机制具体的计算方法为：
步骤S221：对于输入序列中的每个元素x i ，通过一个线性变换转换为 Query、Key和 Value 向量，即：
q i =W q x i ，k i =W k x i ，v i =W v x i ；
其中：分别是Query、Key和Value的线性变换矩阵；
步骤S222：对于每个位置i，计算与其他所有位置之间的相似度，用于计算注意力权重，采用点积的方式计算相似度，计算公式为：
；
其中，a i,j 表示位置i与位置j之间的注意力权重，q i 和k j 分别表示位置i和位置j的Query和Key向量，·表示点积运算；参数l表示自注意力机制中的一个索引，用于表示键矩阵K中的一个特定列向量；
步骤S223：基于步骤S222计算得到的注意力权重，对每个位置i的Value向量进行加权求和，得到自注意力机制的输出向量：
；
其中，y i 表示位置i的输出向量，v j 表示位置j的Value向量，j=1和n表示自注意力机制中Value向量的索引范围。
所述步骤S4中定义损失函数的具体方法为：
步骤S41：定义用于分类任务的交叉熵损失函数，表达式为：
；
其中，N表示样本数，C表示分类数，y i,j 表示第i个样本的第j个类别的真实标签，表示第i个样本的第j个类别的预测结果；
步骤S42：将预处理后的医学影像数据输入到视觉转换器模型中进行前向传播，得到模型的预测结果；
步骤S43：将模型的预测结果和真实标签输入到交叉熵损失函数中，计算模型的损失函数值；
步骤S44：将损失函数值反向传播回视觉转换器模型中，计算梯度并更新模型的参数，以最小化损失函数；
步骤S45：重复上述步骤S42至S44，直到模型的损失函数收敛或达到预定的训练轮数。
所述步骤S5中采用自适应矩估计优化器调整学习率的具体方法为：
步骤S51：初始化模型的参数，使用自适应矩估计优化器对模型参数进行更新，设置学习率为0.001，权重衰减为0.0001；
步骤S52：对于每个训练样本，计算模型在当前参数下的梯度；
步骤S53：计算梯度的一阶矩估计，即梯度的平均值，用于表示梯度的方向：
自适应矩估计优化器使用指数移动平均数来计算梯度的一阶矩估计m，计算公式为：
；
其中，m t 表示第t个时间步的一阶矩估计，β1是一个指数衰减率，通常取0.9或0.999；
步骤S54：计算梯度的二阶矩估计，即梯度的平方的平均值，用于表示梯度的大小：
自适应矩估计优化器使用指数移动平均数来计算梯度的二阶矩估计v，计算公式为：
；
其中，v t 表示第t个时间步的二阶矩估计，β2也是一个指数衰减率，通常取0.999；
步骤S55：根据一阶矩估计和二阶矩估计自适应地调整学习率，根据梯度的一阶矩估计和二阶矩估计来更新模型的参数θ，更新的计算公式为：
；
其中，α是学习率，ε是常数，防止分母为0；
步骤S56：根据调整后的学习率和梯度更新模型的参数，以最小化损失函数；
步骤S57：重复上述步骤S52至S56，直到模型的损失函数收敛或达到预定的训练轮数。
所述步骤S7中搭建残差神经网络-50分支模块的具体方法为：
步骤S71：搭建输入层：输入层接收图像数据，并传递给第一个卷积层；
步骤S72：搭建卷积层：残差神经网络-50包含多个卷积层，每个卷积层包括卷积操作、激活函数操作、批量归一化操作；
步骤S73：搭建残差块：残差神经网络-50包括多个残差块，每个残差块由多个卷积层和一个残差连接组成；
每个残差块包括一个主路径和一个残差路径；
每个阶段包含多个残差块：
阶段1：包含一个卷积层和3个残差块；
阶段2：包含一个卷积层和4个残差块；
阶段3：包含一个卷积层和6个残差块；
阶段4：包含一个卷积层和3个残差块；
阶段5：包含一个全局平均池化层和一个全连接层；
经过多个残差块的处理后，得到蜂窝肺CT图像数据的特征表示；
步骤S74：搭建池化层：残差神经网络-50包含多个池化层，用于对卷积层的输出进行降维和采样；
步骤S75：搭建全连接层：残差神经网络-50包含一个全连接层，用于对池化层的输出进行分类，输出图像所属的类别。
所述步骤S9中建立双向特征融合结构的具体方法为：
步骤S91：针对双向特征融合分别为残差神经网络→视觉转换器和视觉转换器→残差神经网络；
步骤S92：设X为视觉转换器分支提取到的特征，设Y为残差神经网络分支提取到的特征；
步骤S93：残差神经网络→视觉转换器融合时，将Y中的Wk与X做相似度计算，即点乘运算，运算后使用softmax将权重值控制在（0，1）之间，用算出的权重值与Wv点乘运算，得出的值和X连接运算，即融合完成；
步骤S94：视觉转换器→残差神经网络融合时，将X与Y提取的Wq点乘做相似度计算，使softmax得到权重值，将权重值与X做乘积得到的值经过Wo得到规格相同的值与Y相加连接，即融合完成；其中Wo是一个参数矩阵，用于将融合后的值与Y进行线性变换。
所述步骤S93和步骤S94中融合过程的具体计算方法为：
残差神经网络以图像为输入，提取局部特征；
其中，H是图像的高度，表示图像在垂直方向上的像素数，W是图像的宽度，表示图像在水平方向上的像素数，3是图像的通道数，表示图像的颜色通道数；
基于注意力机制的神经网络模型以可学习参数为输入，表示为，其中d为输入向量的维数，M为输入向量的个数；
为了与残差神经网络融合，选择d和M与目标融合层具有相同的维度，对输入的原始图像进行卷积得到初始的Y 0，Y 0表示经过卷积操作得到的初始特征表示矩阵。
实现基于Transformer并行交叉融合模型的蜂窝肺病程周期检测评估方法所使用的装置，包括用于获取、整理、标注蜂窝肺CT图像数据的采集计算机；
用于搭建设置视觉转换器网络模型和残差神经网络模型的评估服务器；
所述评估服务器内部设置有：
用于搭建残差神经网络-50网络模型的卷积神经网络分支模块；
用于在视觉转换器分支和残差神经网络分支之间建立双向特征融合结构的融合计算模块；
用于计算调整并输出检测评估结果的输出模块。
本发明相对于现有技术具备的有益效果为：本发明采用的蜂窝肺病程周期检测评估方法将视觉转换器ViT和残差神经网络ResNet并行且进行双分支结合，可以在蜂窝肺CT分类处理任务中利用各自的优势更好地进行特征表示、提高计算效率、增强模型可解释性并提高泛化能力，视觉转换器使用自注意力机制进行特征提取，可以捕捉全局特征，残差神经网络使用残差连接和卷积神经网络进行特征提取，可以捕捉局部特征，从而提高蜂窝肺CT分类模型的特征表示；与此同时视觉转换器的计算复杂度较高，而残差神经网络的计算复杂度较低；本发明将视觉转换器和残差神经网络结合可以在保证蜂窝肺CT分类模型性能的同时，降低模型的计算复杂度，提高模型计算效率，从而提高蜂窝肺CT模型性能。
附图说明
下面结合附图对本发明做进一步说明：
图1是本发明的评估步骤流程图；
图2是本发明实施例采用预测评估模型的结构示意图；
图3是本发明实施例采用双向特征融合的结构示意图。
具体实施方式
如图1所示，本发明提供一种基于Transformer并行交叉融合模型的蜂窝肺病程周期检测评估方法及装置，采用的Transformer是一种基于注意力机制的神经网络模型，用于处理序列数据，主要根据蜂窝肺CT图像的医学特征，充分利用卷积神经网络的局部特征提取能力和Transformer的全局特征提取优势，采用一种双向特征融合的双向桥模型，即视觉转换器-残差神经网络Res-VIT Net，将残差神经网络ResNet和视觉转换器ViT同步并行提取到的蜂窝肺特征根据交叉融合原理进行双向融合，其中ViT即VisionTransformer是一种基于Transformer架构的深度学习模型，用于处理计算机视觉任务。
具体的，本发明为了减轻医生的负担，提高诊断的准确率，利用计算机辅助技术、利用机器学习和深度学习算法，将提取的特征输入到分类模型中进行训练和测试，分类模型可以根据已标记的CT图像数据进行训练，以区分正常肺部和蜂窝肺病变，通过将未知图像输入已训练好的模型，可以自动对蜂窝征进行分类，并给出诊断结果；其实现原理在于，针对蜂窝肺病变常分布于中下肺野，形成直径约1cm左右的囊泡，逐个排列，宛如蜂窝或蜂巢样的外观，蜂窝肺的CT图像本身结构稳定，关注区域固定，容易形成信息、感知冗余，卷积神经网络关注局部性，Transform的注意力机制能更好的处理肺部信息。
本发明具体方法包括以下步骤：
步骤S1：获取蜂窝肺CT图像数据，进行数据预处理，将蜂窝肺CT图像缩放为512*512尺寸，将数据集整理为有标注数据与无标注数据，并将其划分为训练集、验证集和测试集；
对蜂窝肺CT图像数据集进行标注，将每个CT图像的类别信息转换为类别标签。对于医学影像多分类任务，类别标签通常是整数值，用于表示不同的CT图像类别。将类别标签设置为：0表示正常肺，1表示轻度蜂窝肺，2表示中度窝肺，3表示重度蜂窝肺。
在训练过程中，模型将根据输入影像的类别标签来计算损失函数，并根据损失函数进行反向传播和模型参数更新。在模型预测阶段，类别标签将用于确定每个蜂窝肺CT图像的预测类别，从而对其进行分类。
需要注意的是，在设置类别标签时，应该根据实际应用场景和数据集特征进行选择，并避免出现类别不平衡的情况。此外，在数据集准备阶段还需要进行数据增强、划分训练集、验证集和测试集等操作，以提高模型的泛化能力和性能。
步骤S2：搭建视觉转换器网络模型，包括输入嵌入层、多头注意力机制层、多层感知机制层、池化层、全连接层；其中搭建视觉转换器分支的具体步骤细节及流程如下：
步骤S21：输入嵌入层：把输入的裁剪好的蜂窝肺CT图像切分成32块，设置为图像块0~图像块32，将输入图像块展开成向量，并对每个向量进行线性变换和位置编码，得到嵌入向量。
步骤S22：多头注意力机制层：将由蜂窝肺CT图像转换的嵌入向量序列划分为多个头，每个头独立地进行注意力计算，从而能够学习到不同的特征表示。在多头注意力机制中，对于每个头，视觉转换器都会计算出一个注意力矩阵，该矩阵反映了序列中每个元素与其他元素的关系，然后将所有头的注意力矩阵进行加权平均，得到最终的特征表示对嵌入向量进行多头注意力机制处理，以获取图像块之间的相互关系和权重。多头注意力机制层包括多层自注意力机制、残差连接和层归一化等操作。
具体地：
自注意力机制的计算公式如下：
；
其中，d是输入序列的维度或特征向量的长度；
Q是查询矩阵，维度为N×d，用于计算注意力权重；
K是键矩阵，维度为N×d，用于计算注意力权重；
V是值矩阵，其维度为N×d，用于计算注意力加权和；
Wq是查询矩阵的权重矩阵，其维度为d×d；
Wk是键矩阵的权重矩阵，其维度为d×d；
Wv是值矩阵的权重矩阵，其维度为d×d；
softmax(·)是softmax函数，将注意力权重进行归一化，使其总和为1；
Attention(·, ·, ·)是自注意力计算函数，输入为查询、键和值矩阵，输出为注意力加权和；
并将输入的蜂窝肺CT图像转换成序列：
；
其中，表示序列中的第i个元素，d表示输入向量的维度。
自注意力机制的计算可以分为以下几个步骤：
步骤S221：计算 Query、Key 和 Value：对于输入序列中的每个元素x i ，都可以通过一个线性变换将其转换为 Query、Key 和 Value 向量，即：
q i =W q x i ，k i =W k x i ，v i =W v x i ；
其中：分别是Query、Key和Value的线性变换矩阵。
步骤S222：计算注意力权重：对于每个位置i，可以计算它与其他所有位置之间的相似度，用于计算注意力权重。这里通常采用点积的方式计算相似度，即：
；
其中，a i,j 表示位置i与位置j之间的注意力权重，q i 和k j 分别表示位置i和位置j的Query和Key向量，·表示点积运算。
步骤S223：计算加权和：利用步骤 2 中计算出来的注意力权重，我们可以对每个位置i的Value向量进行加权求和，得到自注意力机制的输出向量：
；
其中，y i 表示位置i的输出向量，v j 表示位置j的Value向量。
总之，自注意力机制通过计算Query、Key和Value向量之间的相似度来建模序列中不同位置之间的关系，并将不同位置的信息融合起来，生成一个更全局的表示。
步骤S23：多层感知机制层：对多头注意力机制得到的向量进行多层感知机制（MLP）操作，以提高特征表示的能力。线性变换：对输入的向量进行线性变换，得到新的向量。线性变换操作包括一个全连接层和一个激活函数ReLU。在线性变换操作后添加残差连接，将输入的向量加上线性变换后得到的向量，得到新的向量。然后在残差连接后添加批归一化操作，避免蜂窝肺CT分类模型的过拟合和梯度消失问题。
步骤S24：池化层：将多层感知机制层得到的向量进行均值池化，得到整个图像的特征表示。
步骤S25：全连接层：对池化得到的特征表示进行全连接层操作，得到最终的分类结果。
步骤S3：设置视觉转换器超参数，具体步骤为：
patch_size=32（图像块大小为：32*32）
num_channels=1（输入图像的通道数，对于蜂窝肺CT图像属于灰度图像，num_channels为1）
embedding_dim = patch_size * patch_size * num_channels（嵌入维度指的是将每个图像块编码为向量的维度大小）
num_attention_heads=8（多头注意力机制头数为：8）
mlp_hidden_size=1024（应用于变换器编码器中补丁嵌入的多层感知机制（MLP）中隐藏层的大小）。
步骤S4：定义损失函数，使用交叉熵损失函数，具体步骤如下：
视觉转换器ViT（Vision Transformer）模型的损失函数通常是交叉熵损失函数，用于衡量分类任务中预测结果和真实标签之间的差异；具体流程如下：
步骤S41：定义交叉熵损失函数：交叉熵损失函数通常用于分类任务，其定义如下：
；
其中，N表示样本数，C表示分类数，y i,j 表示第i个样本的第j个类别的真实标签，表示第i个样本的第j个类别的预测结果。
步骤S42：前向传播：将预处理后的医学影像数据输入到视觉转换器模型中进行前向传播，得到模型的预测结果。
步骤S43：计算损失函数：将模型的预测结果和真实标签输入到交叉熵损失函数中，计算模型的损失函数值。
步骤S44：反向传播：将损失函数值反向传播回视觉转换器模型中，计算梯度并更新模型的参数，以最小化损失函数。
步骤S45：重复训练：重复进行上述步骤，直到模型的损失函数收敛或达到预定的训练轮数。
步骤S5：定义优化器：自适应矩估计优化器。
自适应矩估计（Adaptive Moment Estimation）优化器是一种常用的梯度下降优化算法，用于更新神经网络模型的参数。它是一种自适应学习率算法，可以根据梯度的一阶矩估计和二阶矩估计自适应地调整学习率，具体流程如下：
步骤S51：初始化参数：初始化模型的参数：权重、偏置等。使用自适应矩估计优化器对模型参数进行更新，设置学习率为0.001，权重衰减为0.0001。在每个训练轮次中，我们遍历训练集中的每个批次，通过向前传递计算损失函数，然后使用反向传播算法计算各个参数相对于损失函数的梯度，并使用优化器对模型参数进行更新。
自适应矩估计优化器是一种基于梯度的优化算法，可以根据梯度的一阶矩估计和二阶矩估计来调整学习率，从而提高训练速度和稳定性。具体来说，自适应矩估计优化器的计算过程如下：
步骤S52：计算梯度：对于每个训练样本，计算模型在当前参数下的梯度。对于模型的参数θ，首先需要计算其在当前批次上的梯度g，通常使用反向传播算法来计算。
步骤S53：计算一阶矩估计：计算梯度的一阶矩估计，即梯度的平均值，用于表示梯度的方向。自适应矩估计优化器使用指数移动平均数来计算梯度的一阶矩估计m，公式如下：
；
其中，m t 表示第t个时间步的一阶矩估计，β1是一个指数衰减率，通常取0.9或0.999。
步骤S54：计算二阶矩估计：计算梯度的二阶矩估计，即梯度的平方的平均值，用于表示梯度的大小。自适应矩估计优化器使用指数移动平均数来计算梯度的二阶矩估计v，公式如下：
；
其中，v t 表示第t个时间步的二阶矩估计，β2也是一个指数衰减率，通常取0.999。
步骤S55：更新学习率：根据一阶矩估计和二阶矩估计自适应地调整学习率，以避免梯度消失或梯度爆炸问题。更新模型参数：根据梯度的一阶矩估计和二阶矩估计来更新模型的参数θ，公式如下：
；
其中，α是学习率，ε是常数，防止分母为0。
步骤S56：更新参数：根据调整后的学习率和梯度更新模型的参数，以最小化损失函数。
步骤S57：重复训练：重复进行上述步骤，直到模型的损失函数收敛或达到预定的训练轮数。
步骤S6：通过视觉转换器分支获取到的蜂窝肺CT图像的全局特征用于与残差神经网络获取的局部特征双向融合。
步骤S7：将蜂窝肺CT图像输入卷积神经网络分支模块，来提取蜂窝肺的局部特征，搭建残差神经网络-50网络模型（包含多个残差块和一些卷积层、池化层和全连接层）。
残差神经网络-50分支模块具体步骤为：
步骤S71：输入层：输入层接收图像数据，并将其传递给第一个卷积层。
步骤S72：卷积层：残差神经网络-50包含多个卷积层，每个卷积层包括卷积操作、激活函数和批量归一化等操作。卷积操作用于提取图像的特征，激活函数用于激活神经元，批量归一化用于加速网络收敛和提高模型的鲁棒性。conv1通过7*7大卷积核、stride=2迅速降低分辨率。conv2通过3*3卷积核、带重叠的最大池化、stride=2。
步骤S73：残差块（Residual Block）：残差神经网络-50包括多个残差块，每个残差块由多个卷积层和一个残差连接组成。每个残差块包括一个主路径和一个残差路径。主路径包括多个卷积层，分别用于提取特征。残差路径包括一个恒等映射和一个卷积层，用于将主路径的输出和输入进行加权求和，实现残差连接。每个阶段包含多个残差块：阶段1：包含一个卷积层和3个残差块；阶段2：包含一个卷积层和4个残差块；阶段3：包含一个卷积层和6个残差块；阶段4：包含一个卷积层和3个残差块；阶段5：包含一个全局平均池化层和一个全连接层。
经过多个残差块的处理后，得到蜂窝肺CT图像数据的特征表示。
步骤S74：池化层：残差神经网络-50包含多个池化层，用于对卷积层的输出进行降维和采样，减少网络参数和计算量，提高蜂窝肺CT图像分类模型的鲁棒性。
步骤S75：全连接层：残差神经网络-50包含一个全连接层，用于对池化层的输出进行分类，输出图像所属的类别。
步骤S8：经过卷积操作输出的蜂窝肺特征需要与视觉转换器支路提取到的全局特征进行双向融合。
步骤S9：在两个分支之间建立双向特征融合结构，融合两个分支的特征。这里的特征融合是双向融合，可以提取更丰富、更全面的特征，提高分类精度。
双向特征融合结构的具体步骤为：
步骤S91：双向特征融合分别为残差神经网络→视觉转换器和视觉转换器→残差神经网络。
步骤S92：设X为视觉转换器分支提取到的特征，设Y为残差神经网络分支提取到的特征。
步骤S93：残差神经网络→视觉转换器融合时，将Y中的Wk与X做相似度计算，即点乘运算，运算后使用softmax将权重值控制在（0，1）之间，用算出的权重值与Wv点乘运算，得出的值和X连接运算，即融合完成。
步骤S94：视觉转换器→残差神经网络融合时，将X与Y提取的Wq点乘做相似度计算然后softmax得到权重值，将权重值与X做乘积得到的值经过Wo得到规格相同的值与Y相加连接，即融合完成。
步骤S93、步骤S94具体操作如下：
残差神经网络以图像为输入，提取局部特征。Transformer以可学习参数为输入，表示为/>，其中d为输入向量的维数，M为输入向量的个数。为了与残差神经网络融合，选择d和M与目标融合层具有相同的维度，对输入的原始图像进行卷积得到初始的Y 0。
如图2左侧部分所示，它是残差神经网络→视觉转换器的单向结构，其中使用注意机制融合局部特征(来自残差神经网络)和全局特征(来自视觉转换器)。在通道较少的残差神经网络层中进行特征向量融合。
将局部特征图记为X，全局标签记为Y。
将它们分为X∈[X h ]和Y∈[Y h ](1≤h≤H)，h表示多头自注意的头数。局部到全局融合的定义如下：
headi=Attention(YhWh Q,Xh,Xh)；
Yout=Y+[Concat(head1,...,headh)]Wo；
式中，Wh Q为查询在多个标题中的投影矩阵，Wo用于组合多个标题，Attention(Q,K,V)为Q、K、V上的标准Attention函数，如下所示：
；
将全局输入特征Y为Q，局部输入特征X为K和V。Wh Q和Wo应用于全局特征Y。同理，从全局到局部的特征融合结构计算公式如下：
headi=Attention(Xh,YhWh K,YhWh V)；
Xout=X+[Concat(head1,...,headh)]；
式中，Wh K和Wh V是键和值的投影矩阵。局部特征X是query，全局特征Y是key和value。该方向的特征融合示意图如图3(视觉转换器→残差神经网络)所示。
输入输出：残差神经网络→视觉转换器块有两个输入：
(a)局部特征图，有C个通道和hw个空间位置(hw=h×w，其中h和w为特征图的高度和宽度)；
(b)全局标记，其中M和d分别为特征块的数量和维数。
步骤S10：对两个分支提取的分类向量进行融合后，计算损失。并进行逆梯度计算，调整模型参数。
步骤S11：输出类别标签0表示正常肺，1表示轻度蜂窝肺，2表示中度蜂窝肺，3表示重度蜂窝肺。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (7)
1.基于Transformer并行交叉融合模型的蜂窝肺病程周期检测评估方法，其特征在于：包括如下的检测评估步骤：
步骤S1：获取蜂窝肺CT图像数据，进行数据预处理，将蜂窝肺CT图像缩放为512*512像素尺寸作为数据集，将数据集整理为有标注数据与无标注数据，并将其划分为训练集、验证集、测试集，并对蜂窝肺CT图像数据进行标注，将每个CT图像的类别信息转换为类别标签；
步骤S2：搭建视觉转换器网络模型，包括输入嵌入层、多头注意力机制层、多层感知机制层、池化层、全连接层；
步骤S3：设置视觉转换器网络模型的超参数：设置图像块大小和输入图像的通道数，将每个图像块编码为向量的维度，设置多头注意力机制头数，设置多层感知机制中的隐藏层；
步骤S4：使用交叉熵函数定义损失函数；
步骤S5：基于自适应矩估计优化器的自适应学习率算法，根据梯度的一阶矩估计和二阶矩估计自适应地调整学习率；
步骤S6：通过视觉转换器分支获取到的蜂窝肺CT图像的全局特征，用于与残差神经网络获取的局部特征双向融合；
步骤S7：将蜂窝肺CT图像输入卷积神经网络分支模块，来提取蜂窝肺的局部特征，搭建残差神经网络-50网络模型；
步骤S8：将经过卷积操作输出的蜂窝肺特征与视觉转换器支路提取到的全局特征进行双向融合；
步骤S9：在视觉转换器分支和残差神经网络分支之间建立双向特征融合结构，融合两个分支的特征，具体方法为：
步骤S91：针对双向特征融合分别为残差神经网络→视觉转换器和视觉转换器→残差神经网络；
步骤S92：设X为视觉转换器分支提取到的特征，设Y为残差神经网络分支提取到的特征；
步骤S93：残差神经网络→视觉转换器融合时，将Y中的Wk与X做相似度计算，即点乘运算，运算后使用softmax将权重值控制在（0，1）之间，用算出的权重值与Wv点乘运算，得出的值和X连接运算，即融合完成；
步骤S94：视觉转换器→残差神经网络融合时，将X与Y提取的Wq点乘做相似度计算，使softmax得到权重值，将权重值与X做乘积得到的值经过Wo得到规格相同的值与Y相加连接，即融合完成；其中Wo是一个参数矩阵，用于将融合后的值与Y进行线性变换；
所述步骤S93和步骤S94中融合过程的具体计算方法为：
残差神经网络以图像 为输入，提取局部特征；
其中，H是图像的高度，表示图像在垂直方向上的像素数，W是图像的宽度，表示图像在水平方向上的像素数，3是图像的通道数，表示图像的颜色通道数；
基于注意力机制的神经网络模型以可学习参数为输入，表示为，其中d为输入向量的维数，M为输入向量的个数；
为了与残差神经网络融合，选择d和M与目标融合层具有相同的维度，对输入的原始图像进行卷积得到初始的Y 0，Y 0表示经过卷积操作得到的初始特征表示矩阵；
步骤S10：将两个分支提取的分类向量进行融合后计算损失，并进行逆梯度计算，调整模型参数；
步骤S11：输出检测评估的类别标签，定义标签显示0表示正常肺，1表示轻度蜂窝肺，2表示中度蜂窝肺，3表示重度蜂窝肺。
2.根据权利要求1所述的基于Transformer并行交叉融合模型的蜂窝肺病程周期检测评估方法，其特征在于：所述步骤S2中搭建视觉转换器网络模型的具体方法为：
步骤S21：输入嵌入层：把输入的裁剪好的蜂窝肺CT图像切分成32块，设置为图像块0~图像块32，将输入图像块展开成向量，并对每个向量进行线性变换和位置编码，得到嵌入向量序列；
步骤S22：搭建多头注意力机制层：将由蜂窝肺CT图像转换的嵌入向量序列划分为多个头，多头注意力机制层包括多层自注意力机制、残差连接、层归一化操作，其中自注意力机制的计算公式为：
；
其中，d是输入序列的维度或特征向量的长度；
Q是查询矩阵，维度为N×d，用于计算注意力权重；
K是键矩阵，维度为N×d，用于计算注意力权重；
V是值矩阵，其维度为N×d，用于计算注意力加权和；
Wq是查询矩阵的权重矩阵，其维度为d×d；
Wk是键矩阵的权重矩阵，其维度为d×d；
Wv是值矩阵的权重矩阵，其维度为d×d；
softmax(·)是softmax函数，将注意力权重进行归一化，使其总和为1；
Attention(·, ·, ·)是自注意力计算函数，输入为查询、键和值矩阵，输出为注意力加权和；
并将输入的蜂窝肺CT图像转换成序列：；
其中，表示序列中的第i个元素，d表示输入向量的维度；
步骤S23：搭建多层感知机制层：对多头注意力机制得到的向量进行多层感知机操作，对输入的向量进行线性变换操作，包括一个全连接层和一个激活函数ReLU，在线性变换操作后添加残差连接，将输入的向量加上线性变换后得到的向量，得到新的向量，然后在残差连接后添加批归一化操作；
步骤S24：搭建池化层：将多层感知机制层得到的向量进行均值池化，得到整个图像的特征表示；
步骤S25：搭建全连接层：对池化得到的特征表示进行全连接层操作，得到最终的分类结果。
3.根据权利要求2所述的基于Transformer并行交叉融合模型的蜂窝肺病程周期检测评估方法，其特征在于：所述步骤S22中自注意力机制具体的计算方法为：
步骤S221：对于输入序列中的每个元素x i ，通过一个线性变换转换为 Query、Key 和Value 向量，即：
q i =W q x i ，k i =W k x i ，v i =W v x i ；
其中：分别是Query、Key和Value的线性变换矩阵；
步骤S222：对于每个位置i，计算与其他所有位置之间的相似度，用于计算注意力权重，采用点积的方式计算相似度，计算公式为：
；
其中，a i,j 表示位置i与位置j之间的注意力权重，q i 和k j 分别表示位置i和位置j的Query和Key向量，·表示点积运算；参数l表示自注意力机制中的一个索引，用于表示键矩阵K中的一个列向量；
步骤S223：基于步骤S222计算得到的注意力权重，对每个位置i的Value向量进行加权求和，得到自注意力机制的输出向量：
；
其中，y i 表示位置i的输出向量，v j 表示位置j的Value向量，j=1和n表示自注意力机制中Value向量的索引范围。
4.根据权利要求1所述的基于Transformer并行交叉融合模型的蜂窝肺病程周期检测评估方法，其特征在于：所述步骤S4中定义损失函数的具体方法为：
步骤S41：定义用于分类任务的交叉熵损失函数，表达式为：
；
其中，N表示样本数，C表示分类数，y i,j 表示第i个样本的第j个类别的真实标签，表示第i个样本的第j个类别的预测结果；
步骤S42：将预处理后的医学影像数据输入到视觉转换器模型中进行前向传播，得到模型的预测结果；
步骤S43：将模型的预测结果和真实标签输入到交叉熵损失函数中，计算模型的损失函数值；
步骤S44：将损失函数值反向传播回视觉转换器模型中，计算梯度并更新模型的参数，以最小化损失函数；
步骤S45：重复上述步骤S42至S44，直到模型的损失函数收敛或达到预定的训练轮数。
5.根据权利要求1所述的基于Transformer并行交叉融合模型的蜂窝肺病程周期检测评估方法，其特征在于：所述步骤S5中采用自适应矩估计优化器调整学习率的具体方法为：
步骤S51：初始化模型的参数，使用自适应矩估计优化器对模型参数进行更新，设置学习率为0.001，权重衰减为0.0001；
步骤S52：对于每个训练样本，计算模型在当前参数下的梯度；
步骤S53：计算梯度的一阶矩估计，即梯度的平均值，用于表示梯度的方向：
自适应矩估计优化器使用指数移动平均数来计算梯度的一阶矩估计m，计算公式为：
；
其中，m t 表示第t个时间步的一阶矩估计，β1是一个指数衰减率，通常取0.9或0.999；
步骤S54：计算梯度的二阶矩估计，即梯度的平方的平均值，用于表示梯度的大小：
自适应矩估计优化器使用指数移动平均数来计算梯度的二阶矩估计v，计算公式为：
；
其中，v t 表示第t个时间步的二阶矩估计，β2也是一个指数衰减率，通常取0.999；
步骤S55：根据一阶矩估计和二阶矩估计自适应地调整学习率，根据梯度的一阶矩估计和二阶矩估计来更新模型的参数θ，更新的计算公式为：
；
其中，α是学习率，ε是常数，防止分母为0；
步骤S56：根据调整后的学习率和梯度更新模型的参数，以最小化损失函数；
步骤S57：重复上述步骤S52至S56，直到模型的损失函数收敛或达到预定的训练轮数。
6.根据权利要求1所述的基于Transformer并行交叉融合模型的蜂窝肺病程周期检测评估方法，其特征在于：所述步骤S7中搭建残差神经网络-50分支模块的具体方法为：
步骤S71：搭建输入层：输入层接收图像数据，并传递给第一个卷积层；
步骤S72：搭建卷积层：残差神经网络-50包含多个卷积层，每个卷积层包括卷积操作、激活函数操作、批量归一化操作；
步骤S73：搭建残差块：残差神经网络-50包括多个残差块，每个残差块由多个卷积层和一个残差连接组成；
每个残差块包括一个主路径和一个残差路径；
每个阶段包含多个残差块：
阶段1：包含一个卷积层和3个残差块；
阶段2：包含一个卷积层和4个残差块；
阶段3：包含一个卷积层和6个残差块；
阶段4：包含一个卷积层和3个残差块；
阶段5：包含一个全局平均池化层和一个全连接层；
经过多个残差块的处理后，得到蜂窝肺CT图像数据的特征表示；
步骤S74：搭建池化层：残差神经网络-50包含多个池化层，用于对卷积层的输出进行降维和采样；
步骤S75：搭建全连接层：残差神经网络-50包含一个全连接层，用于对池化层的输出进行分类，输出图像所属的类别。
7.为实现权利要求1所述的基于Transformer并行交叉融合模型的蜂窝肺病程周期检测评估方法所使用的装置，其特征在于：包括用于获取、整理、标注蜂窝肺CT图像数据的采集计算机；
用于搭建设置视觉转换器网络模型和残差神经网络模型的评估服务器；
所述评估服务器内部设置有：
用于搭建残差神经网络-50网络模型的卷积神经网络分支模块；
用于在视觉转换器分支和残差神经网络分支之间建立双向特征融合结构的融合计算模块；
用于计算调整并输出检测评估结果的输出模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311567971.XA CN117275681B (zh) | 2023-11-23 | 2023-11-23 | 基于Transformer并行交叉融合模型的蜂窝肺病程周期检测评估方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311567971.XA CN117275681B (zh) | 2023-11-23 | 2023-11-23 | 基于Transformer并行交叉融合模型的蜂窝肺病程周期检测评估方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117275681A CN117275681A (zh) | 2023-12-22 |
| CN117275681B true CN117275681B (zh) | 2024-02-09 |
Family
ID=89203090
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311567971.XA Active CN117275681B (zh) | 2023-11-23 | 2023-11-23 | 基于Transformer并行交叉融合模型的蜂窝肺病程周期检测评估方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117275681B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112861881A (zh) * | 2021-03-08 | 2021-05-28 | 太原理工大学 | 一种基于改进MobileNet模型的蜂窝肺识别方法 |
| JPWO2021132633A1 (zh) * | 2019-12-26 | 2021-07-01 | ||
| CN114170245A (zh) * | 2021-12-02 | 2022-03-11 | 太原理工大学 | 一种基于SAA-Unet网络的蜂窝肺病灶分割方法 |
| CN114219044A (zh) * | 2021-12-22 | 2022-03-22 | 深圳大学 | 一种图像分类方法、装置、终端及存储介质 |
| CN115526829A (zh) * | 2022-07-29 | 2022-12-27 | 太原理工大学 | 基于ViT与上下文特征融合的蜂窝肺病灶分割方法及网络 |
| WO2022272251A2 (en) * | 2021-06-21 | 2022-12-29 | The Trustees Of Princeton University | Systems and methods for analyzing genetic data for assessment of gene regulatory activity |
| CN116030325A (zh) * | 2023-01-16 | 2023-04-28 | 重庆大学 | 基于深度混合学习框架的肺结节ct图像识别方法 |
| CN116188436A (zh) * | 2023-03-03 | 2023-05-30 | 合肥工业大学 | 基于局部特征和全局特征融合的膀胱镜图像分类方法 |
| CN116309650A (zh) * | 2023-05-22 | 2023-06-23 | 湖南大学 | 基于双分支嵌入注意力机制的医学图像分割方法与系统 |
| CN116739985A (zh) * | 2023-05-10 | 2023-09-12 | 浙江医院 | 一种基于Transformer和卷积神经网络的肺部CT图像分割方法 |
| CN116825363A (zh) * | 2023-08-29 | 2023-09-29 | 济南市人民医院 | 基于融合深度学习网络的早期肺腺癌病理类型预测系统 |
| CN116912253A (zh) * | 2023-09-14 | 2023-10-20 | 吉林大学 | 基于多尺度混合神经网络的肺癌病理图像分类方法 |
-
2023
- 2023-11-23 CN CN202311567971.XA patent/CN117275681B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2021132633A1 (zh) * | 2019-12-26 | 2021-07-01 | ||
| CN112861881A (zh) * | 2021-03-08 | 2021-05-28 | 太原理工大学 | 一种基于改进MobileNet模型的蜂窝肺识别方法 |
| WO2022272251A2 (en) * | 2021-06-21 | 2022-12-29 | The Trustees Of Princeton University | Systems and methods for analyzing genetic data for assessment of gene regulatory activity |
| CN114170245A (zh) * | 2021-12-02 | 2022-03-11 | 太原理工大学 | 一种基于SAA-Unet网络的蜂窝肺病灶分割方法 |
| CN114219044A (zh) * | 2021-12-22 | 2022-03-22 | 深圳大学 | 一种图像分类方法、装置、终端及存储介质 |
| CN115526829A (zh) * | 2022-07-29 | 2022-12-27 | 太原理工大学 | 基于ViT与上下文特征融合的蜂窝肺病灶分割方法及网络 |
| CN116030325A (zh) * | 2023-01-16 | 2023-04-28 | 重庆大学 | 基于深度混合学习框架的肺结节ct图像识别方法 |
| CN116188436A (zh) * | 2023-03-03 | 2023-05-30 | 合肥工业大学 | 基于局部特征和全局特征融合的膀胱镜图像分类方法 |
| CN116739985A (zh) * | 2023-05-10 | 2023-09-12 | 浙江医院 | 一种基于Transformer和卷积神经网络的肺部CT图像分割方法 |
| CN116309650A (zh) * | 2023-05-22 | 2023-06-23 | 湖南大学 | 基于双分支嵌入注意力机制的医学图像分割方法与系统 |
| CN116825363A (zh) * | 2023-08-29 | 2023-09-29 | 济南市人民医院 | 基于融合深度学习网络的早期肺腺癌病理类型预测系统 |
| CN116912253A (zh) * | 2023-09-14 | 2023-10-20 | 吉林大学 | 基于多尺度混合神经网络的肺癌病理图像分类方法 |
Non-Patent Citations (4)
| Title |
|---|
| Vision Transformer based ResNet Model for Pneumonia Prediction;Thatikonda Sai Sowmya 等;《Proceedings of the Fourth International Conference on Electronics and Sustainable Communication Systems》;第755-760页 * |
| 基于医学影像和基因数据的肺癌辅助诊断方法研究;董云云;《中国博士学位论文全文数据库 医药卫生科技辑》(第1期);第E072-136页 * |
| 基于双路径交叉融合网络的肺结节CT图像分类方法;杨萍 等;《激光与光电子学进展》;第1-16页 * |
| 融合多头注意力机制的新冠肺炎联合诊断与分割;李金星 等;《中国图象图形学报》;第27卷(第12期);第3651-3662页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117275681A (zh) | 2023-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021139069A1 (zh) | 自适应注意力指导机制的一般性目标检测方法 | |
| CN111723674B (zh) | 基于马尔科夫链蒙特卡洛与变分推断的半贝叶斯深度学习的遥感图像场景分类方法 | |
| CN112766172B (zh) | 一种基于时序注意力机制的人脸连续表情识别方法 | |
| CN109817276A (zh) | 一种基于深度神经网络的蛋白质二级结构预测方法 | |
| CN113239897B (zh) | 基于时空特征组合回归的人体动作评价方法 | |
| CN106529570B (zh) | 基于深度脊波神经网络的图像分类方法 | |
| CN113610144A (zh) | 一种基于多分支局部注意力网络的车辆分类方法 | |
| CN116580440B (zh) | 基于视觉transformer的轻量级唇语识别方法 | |
| CN110930378A (zh) | 基于低数据需求的肺气肿影像处理方法及系统 | |
| CN114360067A (zh) | 一种基于深度学习的动态手势识别方法 | |
| CN115131313A (zh) | 基于Transformer的高光谱图像变化检测方法及装置 | |
| CN116311186A (zh) | 一种基于改进Transformer模型的植物叶片病变识别方法 | |
| CN116563682A (zh) | 一种基于深度霍夫网络的注意力方案和条带卷积语义线检测的方法 | |
| CN117523203B (zh) | 一种基于Transformer半监督算法的蜂窝肺病灶图像分割识别方法 | |
| CN117275681B (zh) | 基于Transformer并行交叉融合模型的蜂窝肺病程周期检测评估方法及装置 | |
| CN117636183A (zh) | 一种基于自监督预训练的小样本遥感图像分类方法 | |
| CN117078956A (zh) | 一种基于点云多尺度并行特征提取和注意力机制的点云分类分割网络 | |
| CN117011668A (zh) | 一种基于时序预测神经网络的天气雷达回波外推方法 | |
| CN115512214A (zh) | 一种基于因果注意力的室内视觉导航方法 | |
| CN115861490A (zh) | 一种基于注意力机制的图像动画构建方法和系统 | |
| CN112396089B (zh) | 基于lfgc网络和压缩激励模块的图像匹配方法 | |
| Burugupalli | Image classification using transfer learning and convolution neural networks | |
| CN116805337B (zh) | 一种基于跨尺度视觉变换网络的人群定位方法 | |
| CN115984846B (zh) | 一种基于深度学习的高分辨率图像中小目标的智能识别方法 | |
| CN113989665B (zh) | 一种基于路由聚合感知fpn的sar船只检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |