CN113628297A - 一种基于注意力机制和迁移学习的covid-19深度学习诊断系统 - Google Patents

一种基于注意力机制和迁移学习的covid-19深度学习诊断系统 Download PDF

Info

Publication number
CN113628297A
CN113628297A CN202110900084.4A CN202110900084A CN113628297A CN 113628297 A CN113628297 A CN 113628297A CN 202110900084 A CN202110900084 A CN 202110900084A CN 113628297 A CN113628297 A CN 113628297A
Authority
CN
China
Prior art keywords
samples
sample
covid
model
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110900084.4A
Other languages
English (en)
Inventor
魏东旭
阎丽华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Women and Childrens Hospital
Original Assignee
Qingdao Women and Childrens Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Women and Childrens Hospital filed Critical Qingdao Women and Childrens Hospital
Priority to CN202110900084.4A priority Critical patent/CN113628297A/zh
Publication of CN113628297A publication Critical patent/CN113628297A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Abstract

本发明公开了一种基于注意力机制和迁移学习的COVID‑19深度学习诊断系统，包括数据收集与存储模块，构建动态数据库用于存储和动态更新肺CT样本；数据预处理模块，将预处理后的肺CT样本导入缓冲数据库作为神经网络的输入数据源；深度学习神经网络模型构造模块，将迁移学习与预训练的深度卷积神经网络、注意力机制结合；模型训练与验证，按比例将CT图像样本随机分配到训练数据集和测试数据集中；模型诊断预测，将独立于训练集和测试集中的第三方CT图像输入到保存好的模型中。本发明提供的基于注意力机制和迁移学习的COVID‑19深度学习诊断系统，能够将深度学习技术应用于COVID‑19早期的辅助诊断，省时省力且大大提高了诊断效率。

Description

一种基于注意力机制和迁移学习的COVID-19深度学习诊断 系统
技术领域
本发明属于医学图像处理领域，涉及一种基于注意力机制和深度迁移学习的COVID-19早期辅助诊断系统。
背景技术
COVID-19的早期诊断途径主要有两种，一种基于核酸检测，另一种基于医学影像识别。虽然核酸检测应用普遍，但是其基于逆转录聚合酶链反应原理检测特定核酸序列，实时性较差且对初始阶段的病毒识别敏感性较低，存在明显的漏诊隐患。相比之下，肺CT等医学影像识别方式具有实时性高、敏感性好、不易漏诊等优点。
在当前全球COVID-19疫情确诊人数持续快速增长的形势下，传统的CT图像人工判读的方式由于耗时费力、效率低下，已无法满足对COVID-19识别的快速响应需求。近年来，以卷积神经网络为代表的深度学习算法在图像识别和分类任务中取得了巨大的成功。本技术方案探究如何将深度学习技术应用于COVID-19早期的辅助诊断，以便能够省时省力，提高效率。
发明内容
本发明的目的在于提供一种基于注意力机制和迁移学习的COVID-19深度学习诊断系统，解决了如何将深度学习技术应用于COVID-19早期的辅助诊断的技术问题，省时省力且大大提高了诊断效率。
一种基于注意力机制和迁移学习的COVID-19深度学习诊断系统，其特征在于，包括数据收集与存储模块，通过多渠道收集肺CT样本，构建动态数据库用于存储和动态更新肺CT样本；
数据预处理模块，对所有肺CT样本进行标准化操作，并建立缓冲数据库，将预处理后的样本导入缓冲数据库作为神经网络的输入数据源；
深度学习神经网络模型构造模块，通过引入迁移学习技术，并将迁移学习与预训练的深度卷积神经网络相结合，最后在预训练网络的基础上再引入注意力机制；
模型训练与验证，按比例将CT图像样本随机分配到训练数据集和测试数据集中，训练数据集中的样本负责模型的训练，测试数据集中的样本负责模型的验证；
模型诊断预测，将独立于训练集和测试集中的第三方CT图像输入到保存好的模型中，模型即可输出对该CT样本的诊断结果。
所述数据预处理模块的运行步骤包括：
（1）将CT样本像素重组，即提取不同数据源CT样本图像像素，转换成像素矩阵，随后对样本像素矩阵规格进行统一，像素规格统一后，对像素大小进行归一化操作，最后再将处理后的像素矩阵转化为CT图像样本；
（2）对CT样本进行初步筛选，即将上述处理后的CT样本分为两类，一类是COVID-19阳性，一类是COVID-19阴性，对COVID-19阳性样本建立“Positive”标签，对COVID-19阴性样本建立“Normal”标签；
（3）对CT样本扩展，即应用数据增强技术对样本进行扩展来生成更多样本；
（4）建立缓冲数据库，即将上述预处理后的样本导入缓冲数据库，作为神经网络的输入数据源。
所述深度学习神经网络模型构造模块的运行步骤包括：
（1）引入迁移学习技术，将迁移学习与预训练的深度卷积神经网络相结合，通过在网络中使用微调策略对重构的迁移网络进行微调以克服不同数据域之间的差异性；
（2）在上述预训练网络的基础上引入注意力机制，可以自适应地选择关注图片中的关键区域特征信息而忽略其他不重要的信息，从而实现对图片关键区域的自动聚焦，注意力机制基于输入特征的空间关系进行建模，生成与之对应的空间注意力权重系数，使得网络更加关注权重系数较大的区域即局部关键特征。
所述迁移学习技术采用VGG-16网络作为预训练网络，该网络的主要技术特征包括：卷积层均采用相同的卷积核；池化层均采用相同的池化尺寸；模型由若干卷积层和池化层以反复串联堆叠的方式构成，在形成较深的网络结构的同时，拥有更少的参数量和更多的非线性变换程式。
所述步骤（3）中，数据增强技术的具体操作步骤为：
（1）首先对每幅图像样本在±15°的范围内进行随机旋转；
（2）将随机旋转变换后的所有样本以0.5的概率进行随机水平翻转；
（3）将随机水平翻转后的所有样本以0.5的概率进行随机垂直翻转；
（4）利用直方图修正技术增强每一个图像样本的对比度；
（5）统计此时两类样本的数量，若两类样本数量差距悬殊，则进行样本平衡处理，使两类样本的数量达到平衡，若两类样本数量差距较小，则无需进行样本平衡处理。
所述VGG-16网络构建的具体操作步骤：
（1）保留预训练网络中前2个block卷积组块；
（2）分别将block3组块中的Conv3-3、block4组块中的Conv4-3、block5组块中的Conv5-3替换为SAM模块，形成ML-SAM结构；
其中，SAM是注意力机制（attention mechanism）的缩写，ML-SAM是多级空间注意力机制（multi level spatial attention mechanism）的缩写；
（3）在block5组块后加入BatchNormalization层，加快模型训练过程的收敛速度；
（4）在BatchNormalization层后加入Flatten层，把多维输入一维化，用于Conv卷积层到Dense全连接层的过渡；
（5）在Flatten层后加入Dropout层，以缓解过拟合现象的发生；
（6）在Dropout层后依次加入Dense全连接层和包含2个标签的Softmax分类。
所述模型训练与验证的具体操作步骤：
（1）随机选取80％的样本作为训练数据集，剩余20％的样本作为测试数据集；
（2）使用多类交叉熵函数作为损失函数；
（3）选择Adam优化方案；
（4）采用自适应的学习率调整策略，其中初始学习率设定为0.001，训练过程的迭代次数设为100；
（5）工作模式设置为GPU模式，该发明工作平台的软硬件配置为：64G内存、两块GeForce RTX 2080 Ti独立GPU显卡，操作系统为Linux Ubuntu，程序源码环境为Python，深度学习框架为基于Tensorflow后端的Keras；
（6）使用准确率作为衡量本发明中模型性能的指标，准确率是指在所有样本中做出正确预测的比例，或者说正确预测样本数占总预测样本数的比例，其表达式为：
Figure 838314DEST_PATH_IMAGE002
,
其中，TP表示被正确地划分为正例的个数，即实际为正例且被分类器划分为正例的样本数；TN表示被正确地划分为负例的个数，即实际为负例且被分类器划分为负例的样本数；P表示实际为正例的样本数；N表示实际为负例的样本数。
所述模型诊断预测模块中，诊断结果包括该CT样本所属的类别标签，即Positive或 Normal，如果CT被判定为Positive类，模型会进一步输出对该样本的诊断依据即病灶区域空间特征提取结果，那么CT样本特征信息最终被系统以可视化形式呈现出来。
在特征信息可视化呈现时，在测试集上选取了6幅实际属于Positive标签且被诊断系统判定为Positive标签的CT图像，将诊断系统提取到的图像特征信息进行可视化操作即绘制特征信息的热力图，为了便于对比，对于每个热力图，均给出相应的原始CT样本图像。
本发明基于收集到的肺部CT图像数据将深度学习技术应用于COVID-19肺炎的辅助识别和诊断，为了弥补数据样本的不足，本发明使用迁移学习策略，将迁移学习与预训练深度卷积神经网络相结合。在此基础上，通过在预训练主干网络结构中嵌入多级空间注意力机制（ML-SAM），实现弱监督条件下（即只需给出每张肺CT图像样本的分类标签属性而无需人为圈定病变区域）对关键特征的有效提取，最终构建了一种高效的基于ML-SAM和深度迁移学习卷积神经网络的肺CT自动诊断系统。
本发明将图像分类和关键特征提取两种应用场景很好地融合在一起，同时获得了较好的分类效果和较精准的关键特征提取结果。同时，本发明还具有较好的“可解释性”，不仅回答了“图像是什么”的问题，而且还可以通过将关键特征作为判据对分类问题背后的逻辑进行较为精准的解释。本发明在训练时只需给出CT样本的分类标签属性，无需对关键病灶区域进行人为圈定，通过自适应的ML-SAM完成关键特征多级聚焦，实现弱监督条件下对关键特征的有效提取，这意味着在实际应用中，本发明能最大限度降低人工干预成本，更加通用与高效。
本发明达成以下显著效果：
（1）将深度学习技术应用于COVID-19早期辅助诊断，诊断过程（预测阶段）中无需人为因素的介入，排除了主观因素的干扰，有助于实现对肺CT快速有效的筛查，可节约大量的时间成本和人力成本。
（2）本发明建立了一种COVID-19辅助诊断系统，该系统将迁移学习策略和ML-SAM引入到深度学习框架中，只需给出CT样本的分类标签属性，无需对关键病灶区域进行人为圈定，通过自适应的ML-SAM完成关键特征多级聚焦，实现小样本、弱监督条件下对关键特征的有效提取。该系统在实际应用中将能准确地锁定CT上的关键病变区域，并以此为依据将CT图像进行精准归类，整个诊断过程无需人为因素的介入，排除了主观因素的干扰，节约了大量的时间成本和人力成本。
附图说明
图1为本发明实施例中的深度学习诊断流程图。
图2为本发明实施例中数据增强前后部分的样本示意图。
图3为本发明实施例中VGG-16的网络结构图。
图4 为本发明实施例中ML-SAM的结构示意图。
图5 为本发明实施例中神经网络模型架构图。
图6 为本发明实施例中输出的特征信息可视化热力示意图。
具体实施方式
为了能更加清楚说明本方案的技术特点，下面通过具体实施方式，对本方案进行阐述。
参见图1，一种基于注意力机制和迁移学习的COVID-19深度学习诊断系统，其特征在于，包括数据收集与存储模块，通过多渠道收集肺CT样本，构建动态数据库用于存储和动态更新肺CT样本；
数据预处理模块，对所有肺CT样本进行标准化操作，并建立缓冲数据库，将预处理后的样本导入缓冲数据库作为神经网络的输入数据源；
深度学习神经网络模型构造模块，通过引入迁移学习技术，并将迁移学习与预训练的深度卷积神经网络相结合，最后在预训练网络的基础上再引入注意力机制；
模型训练与验证，按比例将CT图像样本随机分配到训练数据集和测试数据集中，训练数据集中的样本负责模型的训练，测试数据集中的样本负责模型的验证；
模型诊断预测，将独立于训练集和测试集中的第三方CT图像输入到保存好的模型中，模型即可输出对该CT样本的诊断结果。
参见图2，所述数据预处理模块的运行步骤包括：
（1）将CT样本像素重组，即提取不同数据源CT样本图像像素，转换成像素矩阵，随后对样本像素矩阵规格进行统一，像素规格统一后，对像素大小进行归一化操作，最后再将处理后的像素矩阵转化为CT图像样本；
（2）对CT样本进行初步筛选，即将上述处理后的CT样本分为两类，一类是COVID-19阳性，一类是COVID-19阴性，对COVID-19阳性样本建立“Positive”标签，对COVID-19阴性样本建立“Normal”标签；
（3）对CT样本扩展，即应用数据增强技术对样本进行扩展来生成更多样本；
（4）建立缓冲数据库，即将上述预处理后的样本导入缓冲数据库，作为神经网络的输入数据源。
所述深度学习神经网络模型构造模块的运行步骤包括：
（1）引入迁移学习技术，将迁移学习与预训练的深度卷积神经网络相结合，通过在网络中使用微调策略对重构的迁移网络进行微调以克服不同数据域之间的差异性；
（2）在上述预训练网络的基础上引入注意力机制，可以自适应地选择关注图片中的关键区域特征信息而忽略其他不重要的信息，从而实现对图片关键区域的自动聚焦，注意力机制基于输入特征的空间关系进行建模，生成与之对应的空间注意力权重系数，使得网络更加关注权重系数较大的区域即局部关键特征。
参见图3，所述迁移学习技术采用VGG-16网络作为预训练网络，该网络的主要技术特征包括：卷积层均采用相同的卷积核；池化层均采用相同的池化尺寸；模型由若干卷积层和池化层以反复串联堆叠的方式构成，在形成较深的网络结构的同时，拥有更少的参数量和更多的非线性变换程式。
所述步骤（3）中，数据增强技术的具体操作步骤为：
（1）首先对每幅图像样本在±15°的范围内进行随机旋转；
（2）将随机旋转变换后的所有样本以0.5的概率进行随机水平翻转；
（3）将随机水平翻转后的所有样本以0.5的概率进行随机垂直翻转；
（4）利用直方图修正技术增强每一个图像样本的对比度；
（5）统计此时两类样本的数量，若两类样本数量差距悬殊，则进行样本平衡处理，使两类样本的数量达到平衡，若两类样本数量差距较小，则无需进行样本平衡处理。
参见图3、图4和图5，所述VGG-16网络构建的具体操作步骤：
（1）保留预训练网络中前2个block卷积组块；
（2）分别将block3组块中的Conv3-3、block4组块中的Conv4-3、block5组块中的Conv5-3替换为SAM模块，形成ML-SAM结构；
（3）在block5组块后加入BatchNormalization层，加快模型训练过程的收敛速度；
（4）在BatchNormalization层后加入Flatten层，把多维输入一维化，用于Conv卷积层到Dense全连接层的过渡；
（5）在Flatten层后加入Dropout层，以缓解过拟合现象的发生；
（6）在Dropout层后依次加入Dense全连接层和包含2个标签的Softmax分类。
所述模型训练与验证的具体操作步骤：
（1）随机选取80％的样本作为训练数据集，剩余20％的样本作为测试数据集；
（2）使用多类交叉熵函数作为损失函数；
（3）选择Adam优化方案；
（4）采用自适应的学习率调整策略，其中初始学习率设定为0.001，训练过程的迭代次数设为100；
（5）工作模式设置为GPU模式，该发明工作平台的软硬件配置为：64G内存、两块GeForce RTX 2080 Ti独立GPU显卡，操作系统为Linux Ubuntu，程序源码环境为Python，深度学习框架为基于Tensorflow后端的Keras；
（6）使用准确率作为衡量本发明中模型性能的指标，准确率是指在所有样本中做出正确预测的比例，或者说正确预测样本数占总预测样本数的比例，其表达式为：
Figure 926094DEST_PATH_IMAGE004
,
其中，TP表示被正确地划分为正例的个数，即实际为正例且被分类器划分为正例的样本数；TN表示被正确地划分为负例的个数，即实际为负例且被分类器划分为负例的样本数；P表示实际为正例的样本数；N表示实际为负例的样本数。
参见图6，所述模型诊断预测模块中，诊断结果包括该CT样本所属的类别标签，即Positive 或 Normal，如果CT被判定为Positive类，模型会进一步输出对该样本的诊断依据即病灶区域空间特征提取结果，那么CT样本特征信息最终被系统以可视化形式呈现出来。
在特征信息可视化呈现时，在测试集上选取了6幅实际属于Positive标签且被诊断系统判定为Positive标签的CT图像，将诊断系统提取到的图像特征信息进行可视化操作即绘制特征信息的热力图，为了便于对比，对于每个热力图，均给出相应的原始CT样本图像。
本发明基于收集到的肺部CT图像数据将深度学习技术应用于COVID-19肺炎的辅助识别和诊断，为了弥补数据样本的不足，本发明使用迁移学习策略，将迁移学习与预训练深度卷积神经网络相结合。在此基础上，通过在预训练主干网络结构中嵌入多级空间注意力机制（ML-SAM），实现弱监督条件下（即只需给出每张肺CT图像样本的分类标签属性而无需人为圈定病变区域）对关键特征的有效提取，最终构建了一种高效的基于ML-SAM和深度迁移学习卷积神经网络的肺CT自动诊断系统。
本发明将图像分类和关键特征提取两种应用场景很好地融合在一起，同时获得了较好的分类效果和较精准的关键特征提取结果。同时，本发明还具有较好的“可解释性”，不仅回答了“图像是什么”的问题，而且还可以通过将关键特征作为判据对分类问题背后的逻辑进行较为精准的解释。本发明在训练时只需给出CT样本的分类标签属性，无需对关键病灶区域进行人为圈定，通过自适应的ML-SAM完成关键特征多级聚焦，实现弱监督条件下对关键特征的有效提取，这意味着在实际应用中，本发明能最大限度降低人工干预成本，更加通用与高效。
本发明未经描述的技术特征可以通过或采用现有技术实现，在此不再赘述，当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (9)

1.一种基于注意力机制和迁移学习的COVID-19深度学习诊断系统，其特征在于，包括数据收集与存储模块，通过多渠道收集肺CT样本，构建动态数据库用于存储和动态更新肺CT样本；
数据预处理模块，对所有肺CT样本进行标准化操作，并建立缓冲数据库，将预处理后的样本导入缓冲数据库作为神经网络的输入数据源；
深度学习神经网络模型构造模块，通过引入迁移学习技术，并将迁移学习与预训练的深度卷积神经网络相结合，最后在预训练网络的基础上再引入注意力机制；
模型训练与验证，按比例将CT图像样本随机分配到训练数据集和测试数据集中，训练数据集中的样本负责模型的训练，测试数据集中的样本负责模型的验证；
模型诊断预测，将独立于训练集和测试集中的第三方CT图像输入到保存好的模型中，模型即可输出对该CT样本的诊断结果。
2.根据权利要求1所述的基于注意力机制和迁移学习的COVID-19深度学习诊断系统，其特征在于，所述数据预处理模块的运行步骤包括：
（1）将CT样本像素重组，即提取不同数据源CT样本图像像素，转换成像素矩阵，随后对样本像素矩阵规格进行统一，像素规格统一后，对像素大小进行归一化操作，最后再将处理后的像素矩阵转化为CT图像样本；
（2）对CT样本进行初步筛选，即将上述处理后的CT样本分为两类，一类是COVID-19阳性，一类是COVID-19阴性，对COVID-19阳性样本建立“Positive”标签，对COVID-19阴性样本建立“Normal”标签；
（3）对CT样本扩展，即应用数据增强技术对样本进行扩展来生成更多样本；
（4）建立缓冲数据库，即将上述预处理后的样本导入缓冲数据库，作为神经网络的输入数据源。
3.根据权利要求2所述的基于注意力机制和迁移学习的COVID-19深度学习诊断系统，其特征在于，所述深度学习神经网络模型构造模块的运行步骤包括：
（1）引入迁移学习技术，将迁移学习与预训练的深度卷积神经网络相结合，通过在网络中使用微调策略对重构的迁移网络进行微调以克服不同数据域之间的差异性；
（2）在上述预训练网络的基础上引入注意力机制，可以自适应地选择关注图片中的关键区域特征信息而忽略其他不重要的信息，从而实现对图片关键区域的自动聚焦，注意力机制基于输入特征的空间关系进行建模，生成与之对应的空间注意力权重系数，使得网络更加关注权重系数较大的区域即局部关键特征。
4.根据权利要求3所述的基于注意力机制和迁移学习的COVID-19深度学习诊断系统，其特征在于，所述迁移学习技术采用VGG-16网络作为预训练网络，该网络的主要技术特征包括：卷积层均采用相同的卷积核；池化层均采用相同的池化尺寸；模型由若干卷积层和池化层以反复串联堆叠的方式构成，在形成较深的网络结构的同时，拥有更少的参数量和更多的非线性变换程式。
5.根据权利要求2所述的基于注意力机制和迁移学习的COVID-19深度学习诊断系统，其特征在于，所述步骤（3）中，数据增强技术的具体操作步骤为：
（1）首先对每幅图像样本在±15°的范围内进行随机旋转；
（2）将随机旋转变换后的所有样本以0.5的概率进行随机水平翻转；
（3）将随机水平翻转后的所有样本以0.5的概率进行随机垂直翻转；
（4）利用直方图修正技术增强每一个图像样本的对比度；
（5）统计此时两类样本的数量，若两类样本数量差距悬殊，则进行样本平衡处理，使两类样本的数量达到平衡，若两类样本数量差距较小，则无需进行样本平衡处理。
6.根据权利要求4所述的基于注意力机制和迁移学习的COVID-19深度学习诊断系统，其特征在于，所述VGG-16网络构建的具体操作步骤：
（1）保留预训练网络中前2个block卷积组块；
（2）分别将block3组块中的Conv3-3、block4组块中的Conv4-3、block5组块中的Conv5-3替换为SAM模块，形成ML-SAM结构；
（3）在block5组块后加入BatchNormalization层，加快模型训练过程的收敛速度；
（4）在BatchNormalization层后加入Flatten层，把多维输入一维化，用于Conv卷积层到Dense全连接层的过渡；
（5）在Flatten层后加入Dropout层，以缓解过拟合现象的发生；
（6）在Dropout层后依次加入Dense全连接层和包含2个标签的Softmax分类。
7.根据权利要求1所述的基于注意力机制和迁移学习的COVID-19深度学习诊断系统，其特征在于，所述模型训练与验证的具体操作步骤：
（1）随机选取80％的样本作为训练数据集，剩余20％的样本作为测试数据集；
（2）使用多类交叉熵函数作为损失函数；
（3）选择Adam优化方案；
（4）采用自适应的学习率调整策略，其中初始学习率设定为0.001，训练过程的迭代次数设为100；
（5）工作模式设置为GPU模式，该发明工作平台的软硬件配置为：64G内存、两块GeForceRTX 2080 Ti独立GPU显卡，操作系统为Linux Ubuntu，程序源码环境为Python，深度学习框架为基于Tensorflow后端的Keras；
（6）使用准确率作为衡量本发明中模型性能的指标，准确率是指在所有样本中做出正确预测的比例，或者说正确预测样本数占总预测样本数的比例，其表达式为：
Figure DEST_PATH_IMAGE001
,
其中，TP表示被正确地划分为正例的个数，即实际为正例且被分类器划分为正例的样本数；TN表示被正确地划分为负例的个数，即实际为负例且被分类器划分为负例的样本数；P表示实际为正例的样本数；N表示实际为负例的样本数。
8.根据权利要求3所述的基于注意力机制和迁移学习的COVID-19深度学习诊断系统，其特征在于，所述模型诊断预测模块中，诊断结果包括该CT样本所属的类别标签，即Positive 或 Normal，如果CT被判定为Positive类，模型会进一步输出对该样本的诊断依据即病灶区域空间特征提取结果，那么CT样本特征信息最终被系统以可视化形式呈现出来。
9.根据权利要求8所述的基于注意力机制和迁移学习的COVID-19深度学习诊断系统，其特征在于，在特征信息可视化呈现时，在测试集上选取了6幅实际属于Positive标签且被诊断系统判定为Positive标签的CT图像，将诊断系统提取到的图像特征信息进行可视化操作即绘制特征信息的热力图。
CN202110900084.4A 2021-08-06 2021-08-06 一种基于注意力机制和迁移学习的covid-19深度学习诊断系统 Withdrawn CN113628297A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110900084.4A CN113628297A (zh) 2021-08-06 2021-08-06 一种基于注意力机制和迁移学习的covid-19深度学习诊断系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110900084.4A CN113628297A (zh) 2021-08-06 2021-08-06 一种基于注意力机制和迁移学习的covid-19深度学习诊断系统

Publications (1)

Publication Number Publication Date
CN113628297A true CN113628297A (zh) 2021-11-09

Family

ID=78383151

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110900084.4A Withdrawn CN113628297A (zh) 2021-08-06 2021-08-06 一种基于注意力机制和迁移学习的covid-19深度学习诊断系统

Country Status (1)

Country Link
CN (1) CN113628297A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114488140A (zh) * 2022-01-24 2022-05-13 电子科技大学 一种基于深度迁移学习的小样本雷达一维像目标识别方法
CN117218602A (zh) * 2023-10-20 2023-12-12 青岛理工大学 一种结构健康监测数据异常诊断方法及系统
CN117316396A (zh) * 2023-09-13 2023-12-29 四川大学华西医院 基于dicom标准的医学影像多序列对比标注方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114488140A (zh) * 2022-01-24 2022-05-13 电子科技大学 一种基于深度迁移学习的小样本雷达一维像目标识别方法
CN114488140B (zh) * 2022-01-24 2023-04-25 电子科技大学 一种基于深度迁移学习的小样本雷达一维像目标识别方法
CN117316396A (zh) * 2023-09-13 2023-12-29 四川大学华西医院 基于dicom标准的医学影像多序列对比标注方法及系统
CN117218602A (zh) * 2023-10-20 2023-12-12 青岛理工大学 一种结构健康监测数据异常诊断方法及系统

Similar Documents

Publication Publication Date Title
WO2021134871A1 (zh) 基于局部二值模式和深度学习的合成人脸图像取证方法
CN110210539B (zh) 多级深度特征融合的rgb-t图像显著性目标检测方法
CN110852316B (zh) 一种采用密集结构卷积网络的图像篡改检测和定位方法
EP3690714A1 (en) Method for acquiring sample images for inspecting label among auto-labeled images to be used for learning of neural network and sample image acquiring device using the same
CN113628297A (zh) 一种基于注意力机制和迁移学习的covid-19深度学习诊断系统
CN111523553B (zh) 一种基于相似度矩阵的中心点网络多目标检测方法
CN114897779B (zh) 基于融合注意力的宫颈细胞学图像异常区域定位方法及装置
CN111612008A (zh) 基于卷积网络的图像分割方法
CN114998220B (zh) 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法
CN104751485B (zh) 一种基于gpu自适应的前景提取方法
CN110287777A (zh) 一种自然场景下的金丝猴躯体分割算法
CN114419413A (zh) 感受野自适应的变电站绝缘子缺陷检测神经网络构建方法
CN114255403A (zh) 基于深度学习的光学遥感图像数据处理方法及系统
CN112149526B (zh) 一种基于长距离信息融合的车道线检测方法及系统
Fang et al. Multiscale CNNs ensemble based self-learning for hyperspectral image classification
CN114841961B (zh) 基于图像增强和改进YOLOv5的小麦赤霉病检测方法
CN112257741A (zh) 一种基于复数神经网络的生成性对抗虚假图片的检测方法
CN111524140A (zh) 基于cnn和随机森林法的医学图像语义分割方法
CN115601330A (zh) 一种基于多尺度空间反向注意力机制的结肠息肉分割方法
CN116597224A (zh) 基于改进yolo v8网络模型的马铃薯缺陷检测方法
CN115240259A (zh) 一种基于yolo深度网络的课堂环境下人脸检测方法及其检测系统
CN114241564A (zh) 一种基于类间差异强化网络的人脸表情识别方法
CN111127407B (zh) 一种基于傅里叶变换的风格迁移伪造图像检测装置及方法
Rethik et al. Attention Based Mapping for Plants Leaf to Classify Diseases using Vision Transformer
TWI803243B (zh) 圖像擴增方法、電腦設備及儲存介質

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20211109