CN114283301A - 一种基于Transformer的自适应医学影像分类方法及系统 - Google Patents
一种基于Transformer的自适应医学影像分类方法及系统 Download PDFInfo
- Publication number
- CN114283301A CN114283301A CN202111324473.3A CN202111324473A CN114283301A CN 114283301 A CN114283301 A CN 114283301A CN 202111324473 A CN202111324473 A CN 202111324473A CN 114283301 A CN114283301 A CN 114283301A
- Authority
- CN
- China
- Prior art keywords
- medical image
- network
- feature map
- channel attention
- transformer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 26
- 238000010586 diagram Methods 0.000 claims abstract description 6
- 238000013145 classification model Methods 0.000 claims description 16
- 238000009826 distribution Methods 0.000 claims description 11
- 230000003044 adaptive effect Effects 0.000 claims description 10
- 230000005284 excitation Effects 0.000 claims description 7
- 210000004072 lung Anatomy 0.000 claims description 6
- 241000894006 Bacteria Species 0.000 claims description 5
- 241000233866 Fungi Species 0.000 claims description 5
- 241000700605 Viruses Species 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 239000013598 vector Substances 0.000 abstract description 6
- 238000004422 calculation algorithm Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 8
- 241000711573 Coronaviridae Species 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明提出一种基于Transformer的自适应医学影像分类方法及系统，包括通过卷积神经网络获取基础的图像特征信息，将图像特征信息传到通道注意力网络结构中，得到加权之后的通道注意力特征图，将通道注意力特征图传到Transformer网络中，得到经过Transformer处理之后的特征向量，最后将得到的特征向量输入到全连接层中，全连接层直接输出算法最后的分类结果。本发明将卷积神经网络与Transformer模型有效地结合在一起，既降低了模型冗余度，又可以捕获图像的全局上下文信息提取强有力的特征信息。
Description
技术领域
本发明涉及基于人工智能的影像分类技术领域，并特别涉及一种基于Transformer的自适应医学影像分类方法及系统。
背景技术
随着医学影像的不断累积，给使用传统机器学习模型对医学影像进行分类辅助的医生带来了巨大的挑战。深度学习算法在计算机视觉领域日渐成熟，为辅助医生进行精确的诊断提供了契机。卷积神经网络作为深度学习的一个重要分支在图像处理领域占据着十分重要的位置，卷积神经网络的局部感知和参数共享的特点可以有效提取图像特征，降低模型复杂度。目前经典的卷积神经网络模型比如：VGG模型，ResNet模型和DensNet模型等都被广泛应用于医学影像的特征提取。现有技术通过运用多种卷积神经网络对核磁共振脑部图像进行疾病诊断，对脑部的早期微小病变提供了重要的参考信息。以及现有技术提出基于深度学习算法的新型冠状病毒分类方法通过卷积神经网络提取特征向量，使用自编码器训练优化新型冠状病毒序列分类模型，有效提升了新型冠状病毒分类的准确性。
卷积神经网络是一种分层数据表示，高层特征依赖于底层特征，网络深度有助于提取语义信息，网络宽度有助于提取更丰富的特征信息。虽然卷积神经网络具备如此多的优点，但是由于卷积神经网络的局部感知和参数共享的特性，图像的像素之间关联信息较少，不利于网络充分利用上下文信息进行特征捕捉。虽然卷积神经网络可以通过不断叠加更深的网络层来提取覆盖全图的特征感受野，但是这样明显会增加网络计算量，造成梯度弥散等网络训练问题。
发明内容
本发明旨在解决以上现有技术的问题。提出了一种有效降低模型冗余度、融合全局上下文信息的基于Transformer的自适应医学影像分类算法。
具体来说，本发明提出一种基于Transformer的自适应医学影像分类方法，其中包括：
步骤1、构建包括卷积神经网络、通道注意力网络和Transformer网络的医学影像分类模型，获取多个已标注类别的原始医学影像；
步骤2、通过该卷积神经网络提取该原始图像的基础特征图，将该基础特征图输入至该通道注意力网络，得到加权之后的通道注意力特征图；
步骤3、该通道注意力特征图依次通过Transformer网络的编码层和解码层，得到各类别的概率分布，基于该概率分布得到该原始医学影像的分类结果；
步骤4、基于该分类结果和该原始医学影像已标注的类别，构建损失函数，以迭代训练该医学影像分类模型，直到损失函数收敛或达到预设迭代次数，保存当前医学影像分类模型作为最终识别模型；
步骤5、将待分类医学影像输入该最终识别模型，得到该待分类医学影像的医学影像类别。
所述的基于Transformer的自适应医学影像分类方法，其中该多个原始医学影像已通过缩放完成影像尺寸归一化处理。
所述的基于Transformer的自适应医学影像分类方法，其中该步骤2包括：
该通道注意力网络将该基础特征图进行压缩，得到通道级别的全局特征，然后对全局特征进行激发操作得到不同通道的权重；通过权重和该基础特征图进行相乘，得到该通道注意力特征图。
所述的基于Transformer的自适应医学影像分类方法，其中该原始医学影像和该待分类医学影像均为肺部CT影像，对应的类别包括：细菌、病毒、真菌和新冠。
本发明还提出了一种基于Transformer的自适应医学影像分类系统，其中包括：
模块1，用于构建包括卷积神经网络、通道注意力网络和Transformer网络的医学影像分类模型，获取多个已标注类别的原始医学影像；
模块2，用于通过该卷积神经网络提取该原始图像的基础特征图，将该基础特征图输入至该通道注意力网络，得到加权之后的通道注意力特征图；
模块3，用于使该通道注意力特征图依次通过Transformer网络的编码层和解码层，得到各类别的概率分布，基于该概率分布得到该原始医学影像的分类结果；
模块4，用于以该分类结果和该原始医学影像已标注的类别，构建损失函数，以迭代训练该医学影像分类模型，直到损失函数收敛或达到预设迭代次数，保存当前医学影像分类模型作为最终识别模型；
模块5，用于将待分类医学影像输入该最终识别模型，得到该待分类医学影像的医学影像类别。
所述的基于Transformer的自适应医学影像分类系统，其中该多个原始医学影像已通过缩放完成影像尺寸归一化处理。
所述的基于Transformer的自适应医学影像分类系统，其中该模块2，用于使该通道注意力网络将该基础特征图进行压缩，得到通道级别的全局特征，然后对全局特征进行激发操作得到不同通道的权重；通过权重和该基础特征图进行相乘，得到该通道注意力特征图。
所述的基于Transformer的自适应医学影像分类系统，其中该原始医学影像和该待分类医学影像均为肺部CT影像，对应的类别包括：细菌、病毒、真菌和新冠。
本发明还提出了一种存储介质，用于存储执行所述任意一种基于Transformer的自适应医学影像分类方法的程序。
本发明还提出了一种客户端，用于任意一种基于Transformer的自适应医学影像分类系统。
由以上方案可知，本发明的优点在于：
基于以上卷积神经网络存在的弊端，本发明将卷积神经网络与Transformer模型有效地结合在一起，既降低了模型冗余度，又可以捕获图像的全局上下文信息提取强有力的特征信息。
Transformer原本是面向自然语言处理技术领域所使用的网络结构，而非图像处理领域。本发明的提出将用于语言处理的Transformer和卷积神经网络相互结合，来解决病理影像分类的技术问题。Transformer网络结构的特点是参数较少因此模型较小，同时可以输入任意长度的特征信息来进行处理这样可以获取整图的全局上下文特征信息。
本发明中还加入了通道注意力网络结构，通过对特征通道的加权，实现对输入Transformer特征的自适应调节。
附图说明
图1为本发明的方法流程图；
图2为本发明网络结构图。
具体实施方式
本发明提出了一种基于Transformer的自适应医学影像分类方法，包括以下步骤：
S1、首先，获取原始图像(影像)，将原始图像缩放至统一大小传输到卷积神经网络中，通过卷积神经网络获取基础的图像特征信息。
S2、其次，将S1中得到的基础特征图传到通道注意力网络结构中，得到加权之后的通道注意力特征图。
S3、再次，将通道注意力特征图传到Transformer网络中，得到经过Transformer处理之后的特征向量。
S4、最后将S3得到的特征向量输入到全连接层中，全连接层直接输出算法最后的分类结果。
为让本发明的上述特征和效果能阐述的更明确易懂，下文特举实施例，并配合说明书附图作详细说明如下。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的具体实施例包括：
步骤S1：先得到医学影像图片，将原始医学影像图片缩放到512×512大小，将缩放之后的影像图片输入到ResNet-50网络结构中提取通用特征图(基础特征图)。其中医学影像图片可为肺部、脑部等器官的CT影像。
Y＝F(x) (1)
式(1)中，x表示缩放之后的医学影像图片，F表示ResNet-50网络结构，Y表示提取到的通用特征图。
步骤S2：将步骤S1得到的通用特征图输入到通道注意力网络结构中，该网络结构主要由压缩和激发两部分组成，首先将通用特征图进行压缩操作，得到通道级别的全局特征，然后对全局特征进行激发操作得到不同通道的权重。
式(2)W1和W2表示全连接层，RELU表示Relu激活函数，H和W表示特征图Y的长和宽，·表示乘操作，σ表示sigmod激活函数。
步骤S3：将通道注意力特征图输入到Transformer网络结构中，通道注意力特征图依次通过Transformer网络结构中的编码层和解码层输出对应类别的概率分布。
R＝T(s) (3)
式(3)中，T表示Transformer网络结构。
步骤S4：最后将S3中得到的特征向量输入到全连接层网络中输出最后的类别预测结果。
以下为与上述方法实施例对应的系统实施例，本实施方式可与上述实施方式互相配合实施。上述实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在上述实施方式中。
本发明还提出了一种基于Transformer的自适应医学影像分类系统，其中包括：
模块1，用于构建包括卷积神经网络、通道注意力网络和Transformer网络的医学影像分类模型，获取多个已标注类别的原始医学影像；
模块2，用于通过该卷积神经网络提取该原始图像的基础特征图，将该基础特征图输入至该通道注意力网络，得到加权之后的通道注意力特征图；
模块3，用于使该通道注意力特征图依次通过Transformer网络的编码层和解码层，得到各类别的概率分布，基于该概率分布得到该原始医学影像的分类结果；
模块4，用于以该分类结果和该原始医学影像已标注的类别，构建损失函数，以迭代训练该医学影像分类模型，直到损失函数收敛或达到预设迭代次数，保存当前医学影像分类模型作为最终识别模型；
模块5，用于将待分类医学影像输入该最终识别模型，得到该待分类医学影像的医学影像类别。
所述的基于Transformer的自适应医学影像分类系统，其中该多个原始医学影像已通过缩放完成影像尺寸归一化处理。
所述的基于Transformer的自适应医学影像分类系统，其中该模块2，用于使该通道注意力网络将该基础特征图进行压缩，得到通道级别的全局特征，然后对全局特征进行激发操作得到不同通道的权重；通过权重和该基础特征图进行相乘，得到该通道注意力特征图。
所述的基于Transformer的自适应医学影像分类系统，其中该原始医学影像和该待分类医学影像均为肺部CT影像，对应的类别包括：细菌、病毒、真菌和新冠。
本发明还提出了一种存储介质，用于存储执行所述任意一种基于Transformer的自适应医学影像分类方法的程序。
本发明还提出了一种客户端，用于所述任意一种基于Transformer的自适应医学影像分类系统。
Claims (10)
1.一种基于Transformer的自适应医学影像分类方法，其特征在于，包括：
步骤1、构建包括卷积神经网络、通道注意力网络和Transformer网络的医学影像分类模型，获取多个已标注类别的原始医学影像；
步骤2、通过该卷积神经网络提取该原始图像的基础特征图，将该基础特征图输入至该通道注意力网络，得到加权之后的通道注意力特征图；
步骤3、该通道注意力特征图依次通过Transformer网络的编码层和解码层，得到各类别的概率分布，基于该概率分布得到该原始医学影像的分类结果；
步骤4、基于该分类结果和该原始医学影像已标注的类别，构建损失函数，以迭代训练该医学影像分类模型，直到损失函数收敛或达到预设迭代次数，保存当前医学影像分类模型作为最终识别模型；
步骤5、将待分类医学影像输入该最终识别模型，得到该待分类医学影像的医学影像类别。
2.如权利要求1所述的基于Transformer的自适应医学影像分类方法，其特征在于，该多个原始医学影像已通过缩放完成影像尺寸归一化处理。
3.如权利要求1所述的基于Transformer的自适应医学影像分类方法，其特征在于，该步骤2包括：
该通道注意力网络将该基础特征图进行压缩，得到通道级别的全局特征，然后对全局特征进行激发操作得到不同通道的权重；通过权重和该基础特征图进行相乘，得到该通道注意力特征图。
4.如权利要求1所述的基于Transformer的自适应医学影像分类方法，其特征在于，该原始医学影像和该待分类医学影像均为肺部CT影像，对应的类别包括：细菌、病毒、真菌和新冠。
5.一种基于Transformer的自适应医学影像分类系统，其特征在于，包括：
模块1，用于构建包括卷积神经网络、通道注意力网络和Transformer网络的医学影像分类模型，获取多个已标注类别的原始医学影像；
模块2，用于通过该卷积神经网络提取该原始图像的基础特征图，将该基础特征图输入至该通道注意力网络，得到加权之后的通道注意力特征图；
模块3，用于使该通道注意力特征图依次通过Transformer网络的编码层和解码层，得到各类别的概率分布，基于该概率分布得到该原始医学影像的分类结果；
模块4，用于以该分类结果和该原始医学影像已标注的类别，构建损失函数，以迭代训练该医学影像分类模型，直到损失函数收敛或达到预设迭代次数，保存当前医学影像分类模型作为最终识别模型；
模块5，用于将待分类医学影像输入该最终识别模型，得到该待分类医学影像的医学影像类别。
6.如权利要求4所述的基于Transformer的自适应医学影像分类系统，其特征在于，该多个原始医学影像已通过缩放完成影像尺寸归一化处理。
7.如权利要求4所述的基于Transformer的自适应医学影像分类系统，其特征在于，该模块2，用于使该通道注意力网络将该基础特征图进行压缩，得到通道级别的全局特征，然后对全局特征进行激发操作得到不同通道的权重；通过权重和该基础特征图进行相乘，得到该通道注意力特征图。
8.如权利要求4所述的基于Transformer的自适应医学影像分类系统，其特征在于，该原始医学影像和该待分类医学影像均为肺部CT影像，对应的类别包括：细菌、病毒、真菌和新冠。
9.一种存储介质，用于存储执行如权利要求1到4所述任意一种基于Transformer的自适应医学影像分类方法的程序。
10.一种客户端，用于权利要求5至8中任意一种基于Transformer的自适应医学影像分类系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111324473.3A CN114283301A (zh) | 2021-11-10 | 2021-11-10 | 一种基于Transformer的自适应医学影像分类方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111324473.3A CN114283301A (zh) | 2021-11-10 | 2021-11-10 | 一种基于Transformer的自适应医学影像分类方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114283301A true CN114283301A (zh) | 2022-04-05 |
Family
ID=80868934
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111324473.3A Pending CN114283301A (zh) | 2021-11-10 | 2021-11-10 | 一种基于Transformer的自适应医学影像分类方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114283301A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114999637A (zh) * | 2022-07-18 | 2022-09-02 | 华东交通大学 | 多角度编码与嵌入式互学习的病理图像诊断方法与系统 |
-
2021
- 2021-11-10 CN CN202111324473.3A patent/CN114283301A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114999637A (zh) * | 2022-07-18 | 2022-09-02 | 华东交通大学 | 多角度编码与嵌入式互学习的病理图像诊断方法与系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107273800B (zh) | 一种基于注意机制的卷积递归神经网络的动作识别方法 | |
| CN113314205B (zh) | 一种高效的医学影像标注与学习系统 | |
| CN111738363B (zh) | 基于改进的3d cnn网络的阿尔茨海默病分类方法 | |
| CN116645716B (zh) | 基于局部特征和全局特征的表情识别方法 | |
| CN111583285A (zh) | 一种基于边缘关注策略的肝脏影像语义分割方法 | |
| CN116311483B (zh) | 基于局部面部区域重构和记忆对比学习的微表情识别方法 | |
| CN112836602B (zh) | 基于时空特征融合的行为识别方法、装置、设备及介质 | |
| CN111967358B (zh) | 一种基于注意力机制的神经网络步态识别方法 | |
| CN111008570B (zh) | 一种基于压缩-激励伪三维网络的视频理解方法 | |
| CN114694255B (zh) | 基于通道注意力与时间卷积网络的句子级唇语识别方法 | |
| CN113033276A (zh) | 一种基于转换模块的行为识别方法 | |
| CN113379606B (zh) | 一种基于预训练生成模型的人脸超分辨方法 | |
| CN114283301A (zh) | 一种基于Transformer的自适应医学影像分类方法及系统 | |
| CN112541566B (zh) | 一种基于重构损失的图像翻译方法 | |
| CN113379597A (zh) | 人脸超分辨率重构方法 | |
| Lai et al. | Generative focused feedback residual networks for image steganalysis and hidden information reconstruction | |
| CN116704585A (zh) | 一种基于质量感知的人脸识别方法 | |
| CN116630964A (zh) | 一种基于离散小波注意力网络的食品图像分割方法 | |
| CN116012903A (zh) | 一种人脸表情自动标注的方法及系统 | |
| CN114529564A (zh) | 一种基于上下文信息的轻量级婴儿脑组织图像分割方法 | |
| CN115984911A (zh) | 属性生成对抗网络以及基于该网络的人脸图像连续变换方法 | |
| CN113569867A (zh) | 一种图像处理方法、装置、计算机设备及存储介质 | |
| CN111080730A (zh) | 基于跨通道和空间加权卷积特征的脑图像解码方法及系统 | |
| Ren | The advance of generative model and variational autoencoder | |
| Huang et al. | Cpips: Learning to preserve perceptual distances in end-to-end image compression |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240108 Address after: Room 401121, No. 210, West Section of Jinkai Avenue, Yubei District, Chongqing, 3rd Floor, No. 3-11-01803 Applicant after: Chongqing Zhijian Life Technology Co.,Ltd. Address before: A876, third floor, building 14, Cuiwei Zhongli, Haidian District, Beijing 100036 Applicant before: Beijing Zhijian Life Technology Co.,Ltd. Applicant before: Chongqing Zhijian Life Technology Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| CB02 | Change of applicant information |
Address after: No. 313 Jinyue Road, Jinfeng Town, Jiulongpo District, Chongqing, 401329 Applicant after: Chongqing Zhijian Life Technology Co.,Ltd. Address before: Room 401121, No. 210, West Section of Jinkai Avenue, Yubei District, Chongqing, 3rd Floor, No. 3-11-01803 Applicant before: Chongqing Zhijian Life Technology Co.,Ltd. |
|
| CB02 | Change of applicant information |