CN113643261A - 一种基于频率注意网络的胸肺部疾病诊断方法 - Google Patents
一种基于频率注意网络的胸肺部疾病诊断方法 Download PDFInfo
- Publication number
- CN113643261A CN113643261A CN202110930377.7A CN202110930377A CN113643261A CN 113643261 A CN113643261 A CN 113643261A CN 202110930377 A CN202110930377 A CN 202110930377A CN 113643261 A CN113643261 A CN 113643261A
- Authority
- CN
- China
- Prior art keywords
- frequency
- chest
- discrete cosine
- cosine transform
- method based
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000003745 diagnosis Methods 0.000 title claims abstract description 32
- 208000019693 Lung disease Diseases 0.000 title claims abstract description 25
- 238000011976 chest X-ray Methods 0.000 claims abstract description 35
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 24
- 239000011159 matrix material Substances 0.000 claims abstract description 17
- 201000010099 disease Diseases 0.000 claims abstract description 15
- 201000003144 pneumothorax Diseases 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 239000000203 mixture Substances 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 239000002994 raw material Substances 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 230000009466 transformation Effects 0.000 abstract description 2
- 210000000038 chest Anatomy 0.000 description 14
- 230000006870 function Effects 0.000 description 6
- 230000003902 lesion Effects 0.000 description 6
- 210000004072 lung Anatomy 0.000 description 6
- 206010007572 Cardiac hypertrophy Diseases 0.000 description 3
- 208000006029 Cardiomegaly Diseases 0.000 description 3
- 101100064676 Mus musculus Edem1 gene Proteins 0.000 description 2
- 206010035664 Pneumonia Diseases 0.000 description 2
- 206010056342 Pulmonary mass Diseases 0.000 description 2
- 238000000137 annealing Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007170 pathology Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 206010003598 Atelectasis Diseases 0.000 description 1
- 206010014561 Emphysema Diseases 0.000 description 1
- 206010016654 Fibrosis Diseases 0.000 description 1
- 206010019909 Hernia Diseases 0.000 description 1
- 206010025080 Lung consolidation Diseases 0.000 description 1
- 206010025102 Lung infiltration Diseases 0.000 description 1
- 206010054107 Nodule Diseases 0.000 description 1
- 206010030113 Oedema Diseases 0.000 description 1
- 206010035600 Pleural fibrosis Diseases 0.000 description 1
- 208000007123 Pulmonary Atelectasis Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 208000030270 breast disease Diseases 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004761 fibrosis Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20052—Discrete cosine transform [DCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Animal Behavior & Ethology (AREA)
- Evolutionary Computation (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Surgery (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- High Energy & Nuclear Physics (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种基于频率注意网络的胸肺部疾病诊断方法,包括,利用离散余弦变换将胸部X光片由空间域转换到频率域,将相同频率的离散余弦变换系数组合为矩阵,获得所述胸部X光片的不同频率标记;去除所述胸部X光片中的高频离散余弦变换系数矩阵以减少噪声对诊断结果的影响;将三个经过选择的不同频率的所述离散余弦变换系数矩阵分别输入设计了注意力模块的分支;融合每个频率提取出的特征后得出胸部疾病的诊断结果。本发明使用DCT变换获得胸部X片在不同频率的表示,以获取多尺度的特征,借助注意力模块可以有效地提取胸肺部疾病特征,并有效提升胸肺部疾病的诊断性能。
Description
技术领域
本发明涉及胸肺部疾病诊断的技术领域,尤其涉及一种基于频率注意网络的胸肺部疾病诊断方法。
背景技术
在临床实践中,胸部X光射线(CXR)因其价格低廉且易于获取而成为诊断心脏肥大、肺炎和结节等心胸疾病最常用的放射学检查之一。然而,使用CXR图像诊断疾病需要具有专业知识的放射科医生花费大量时间观察并手动标记它们。由于不同病变的细微纹理变化以及病理之间的复杂关联,即使对于经过长期临床训练的医生来说,准确诊断所有疾病也是一个挑战。为了缓解医疗资源的紧张,提高胸部疾病诊断的准确性,有必要开发高性能的计算机辅助诊断系统。
随着深度学习技术的发展和大规模CXR数据集的普及,许多研究尝试应用深度学习技术来自动分析CXR图像。大多数现有工作是从空间域的角度处理输入到网络中的CXR图像。通常有两种方法:(1)只考虑全局图像作为输入;(2)将疑似病灶区域的全局图像和局部图像进行特征融合以诊断相关疾病。许多方法直接将全局CXR图像输入到经典的CNN模型及其变体中以提取相关特征。Yao等人将全局图像输入到密集连接网络(DenseNet)作为编码器,长短期记忆网络(LSTM)作为解码器,利用目标标签之间的依赖性来诊断14种胸部疾病。Wang等人使用在ImageNet数据集中预训练过残差网络(Resnet)的提取特征,只训练过渡层和分类器,使用类激活图定位病变区域。Ma等人在骨干网络中添加了一个挤压激励模块(squeeze-and-excitation,SE)来掌握通道之间的依赖关系,并配备了一个空间注意力模块来关注疑似病变区域。Guan等人使用分类残差注意力机制通过分配较小的权重来抑制不相关的特征,同时分配较大的权重来增强相关特征。Chen等人使用分割网络从全局CXR图像中分割肺部区域,并将全局图像和肺部图像输入网络以提取特征。
现有的工作大多在空间域中切出疑似病变区域或肺区域以降低噪声,但难以准确定位病变区域,而肺区域的分割需要一个子网络来训练和处理CXR图像。由于不同胸部疾病的临床诊断依据通常有较大差异,有时同一CXR图像中存在多种疾病。例如,肺结节的诊断通常需要在小范围内检测病变,而心脏肥大的诊断需要模型在更广泛的区域内掌握肺部的轮廓和心脏以建模获得患者的心胸比。通常,图像的低频部分包含更丰富的细节信息,在高频时物体的轮廓更明显。因此本发明使用CXR图像的多个选定频率作为输入,是模型更容易地学习更多特征并提高模型的性能。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊,而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有存在的问题,提出了本发明。
因此,本发明提供了一种基于频率注意网络的胸肺部疾病诊断方法,能够解决现有的算法特征提取不充分、诊断精度低、训练推理时间长的问题。
为解决上述技术问题,本发明提供如下技术方案:包括,利用离散余弦变换将胸部X光片由空间域转换到频率域,将相同频率的离散余弦变换系数组合为矩阵,获得所述胸部X光片的不同频率标记;去除所述胸部X光片中的高频离散余弦变换系数矩阵以减少噪声对诊断结果的影响;将三个经过选择的不同频率的所述离散余弦变换系数矩阵分别输入设计了注意力模块的分支;融合每个频率提取出的特征后得出胸部疾病的诊断结果。
作为本发明所述的基于频率注意网络的胸肺部疾病诊断方法的一种优选方案,其中:包括,对所述胸部X光片在区域大小为2×2的范围内进行离散余弦变换,如下,
其中,p(x,y)是图片的x行y列的像素,N是DCT变换的区域大小,i、j分别代表图片中像素的行数和列数,N=2。
作为本发明所述的基于频率注意网络的胸肺部疾病诊断方法的一种优选方案,其中:包括,将相同频率的离散余弦变换系数按照空间位置拼接成离散余弦变换系数矩阵;每个所述离散余弦变换系数矩阵的大小均为512×512。
作为本发明所述的基于频率注意网络的胸肺部疾病诊断方法的一种优选方案,其中:包括,在输入网络之前,将所述离散余弦变换系数矩阵使用max-min归一化方法转换到[0,1]的范围内,
其中,xmax为样本数据的最大值,xmin为样本数据的最小值。
作为本发明所述的基于频率注意网络的胸肺部疾病诊断方法的一种优选方案,其中:设计所述注意力模块包括,对特征图进行全局平均池化后,使用不同大小的卷积核对其进行一维卷积,
wk=C1Dk(GAP(y))
其中,y指输入的特征图,大小为1×1×C,GAP代表全局平均池化,C1Dk代表不同卷积核大小的一维卷积,k=3,5,7,即每次都对GAP(y)进行三次卷积核大小分别为3,5,7的一维卷积。
作为本发明所述的基于频率注意网络的胸肺部疾病诊断方法的一种优选方案,其中:还包括,
将GAP(y)与wk融合,大小为1×1×4C,并作为全连接层的输入,
f=δ(FC(W))
其中,FC指全连接操作,δ为sigmoid激活函数,f为每个通道对应的权重,大小为1×1×C。
作为本发明所述的基于频率注意网络的胸肺部疾病诊断方法的一种优选方案,其中:还包括,
作为本发明所述的基于频率注意网络的胸肺部疾病诊断方法的一种优选方案,其中:包括,在排除了所述胸部X光片图像在最高频率的表示之后,将剩下的三个输入进一个三分支的网络;每个分支都添加了多尺度通道注意力模块以增强特征的提取;将特征融合后输入FC层,经过sigmoid激活函数后得到最终的结果。
作为本发明所述的基于频率注意网络的胸肺部疾病诊断方法的一种优选方案,其中:还包括,使用焦点损失作为损失函数,
其中,β=2,为超参数。
本发明的有益效果:本发明使用DCT变换获得胸部X片在不同频率的表示,以获取多尺度的特征,借助注意力模块可以有效地提取胸肺部疾病特征,并有效提升胸肺部疾病的诊断性能。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。其中:
图1为本发明一个实施例所述的基于频率注意网络的胸肺部疾病诊断方法的流程示意图;
图2为本发明一个实施例所述的基于频率注意网络的胸肺部疾病诊断方法的将胸部X光片通过离散余弦变换转换到频率域的流程示意图;
图3为本发明一个实施例所述的基于频率注意网络的胸肺部疾病诊断方法的CXR图片在不同频率的表示示意图;
图4为本发明一个实施例所述的基于频率注意网络的胸肺部疾病诊断方法的多尺度通道注意力模块示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合说明书附图对本发明的具体实施方式做详细的说明,显然所描述的实施例是本发明的一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是本发明还可以采用其他不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广,因此本发明不受下面公开的具体实施例的限制。
其次,此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例,也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述,在详述本发明实施例时,为便于说明,表示器件结构的剖面图会不依一般比例作局部放大,而且所述示意图只是示例,其在此不应限制本发明保护的范围。此外,在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中,需要说明的是,术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一、第二或第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定,术语“安装、相连、连接”应做广义理解,例如:可以是固定连接、可拆卸连接或一体式连接;同样可以是机械连接、电连接或直接连接,也可以通过中间媒介间接相连,也可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
实施例1
参照图1~图4,为本发明的第一个实施例,提供了一种基于频率注意网络的胸肺部疾病诊断方法,其特征在于:包括,
S1:利用离散余弦变换将胸部X光片由空间域转换到频率域,将相同频率的离散余弦变换系数组合为矩阵,获得胸部X光片的不同频率标记。
S2:去除胸部X光片中的高频离散余弦变换系数矩阵以减少噪声对诊断结果的影响。
S3:将三个经过选择的不同频率的离散余弦变换系数矩阵分别输入设计了注意力模块的分支。
S4:融合每个频率提取出的特征后得出胸部疾病的诊断结果。
参照图2,对胸部X光片在区域大小为2×2的范围内进行离散余弦变换,如下,
其中,p(x,y)是图片的x行y列的像素,N是DCT变换的区域大小,i、j分别代表图片中像素的行数和列数,N=2。
参照图3,将相同频率的离散余弦变换系数按照空间位置拼接成离散余弦变换系数矩阵;每个离散余弦变换系数矩阵的大小均为512×512。
在输入网络之前,将离散余弦变换系数矩阵使用max-min归一化方法转换到[0,1]的范围内,
其中,xmax为样本数据的最大值,xmin为样本数据的最小值。
进一步的,设计注意力模块包括:
对特征图进行全局平均池化后,使用不同大小的卷积核对其进行一维卷积,
wk=C1Dk(GAP(y))
其中,y指输入的特征图,大小为1×1×C,GAP代表全局平均池化,C1Dk代表不同卷积核大小的一维卷积,k=3,5,7,即每次都对GAP(y)进行三次卷积核大小分别为3,5,7的一维卷积;
将GAP(y)与wk融合,大小为1×1×4C,并作为全连接层的输入,
f=δ(FC(W))
其中,FC指全连接操作,δ为sigmoid激活函数,f为每个通道对应的权重,大小为1×1×C;
参照图4,在排除了胸部X光片图像在最高频率的表示之后,将剩下的三个输入进一个三分支的网络;每个分支都添加了多尺度通道注意力模块以增强特征的提取;将特征融合后输入FC层,经过sigmoid激活函数后得到最终的结果。
使用焦点损失作为损失函数,
其中,β=2,为超参数。
优选地,本发明使用DCT变换获得胸部X片在不同频率的表示,以获取多尺度的特征,借助注意力模块可以有效地提取胸肺部疾病特征,并有效提升胸肺部疾病的诊断性能。
实施例2
为了更好地对本发明方法中采用的技术效果加以验证说明,本实施例选择以传统方法与本发明方法进行对比测试,以科学论证的手段对比试验结果,以验证本发明方法所具有的真实效果。
为了公平的验证本专利与传统方法在胸部疾病诊断上性能的差异,将实验在目前最大的胸部X光片数据集Chest X-ray14上进行,该数据集包含来自30,805位患者的112,120张CXR图片,具有14种常见的疾病类别。
Chest X-ray14中的每张图片大小都为1024×1024,经过如实施例1所述的本发明方法所示步骤,会生成4张大小为的512×512图片,舍弃频率最高的图片,将剩余的三个随机裁剪至448×448并随机水平翻转实现数据增强。
本发明方法使用Pytorch框架实现,使用AdmaW优化器优化网络,初始学习率设置为1×10-4,训练时期,在前十轮使用热身(warm-up)策略,即学习率由1×10-4线性增长至1×10-3,之后使用余弦退火(Cosine Annealing)策略调整学习率。
为了可观且全面的评价网络的诊断性能,同时方便与其他算法进行比较,本实施例采用受试者操作特征曲线(Receiver Operating Characteristics,ROC)来表现算法对每种疾病的识别能力并计算ROC线下面积值(area under ROC curve,AUC)进行定量分析和比较。
表1:展示了本发明与传统方法在性能上的比较。
方法 | Wang | Yao | Ma | Guendel | Rajpurkar | Guan | Chen | 本发明 |
Atel | 0.7003 | 0.733 | 0.7627 | 0.767 | 0.769 | 0.781 | 0.785 | 0.7820 |
Card | 0.8100 | 0.856 | 0.8835 | 0.883 | 0.885 | 0.880 | 0.887 | 0.9018 |
Effu | 0.7585 | 0.806 | 0.8159 | 0.828 | 0.825 | 0.829 | 0.831 | 0.8389 |
Infi | 0.6614 | 0.673 | 0.6786 | 0.709 | 0.694 | 0.702 | 0.703 | 0.7050 |
Mass | 0.6933 | 0.718 | 0.8012 | 0.821 | 0.824 | 0.834 | 0.833 | 0.8399 |
Nodu | 0.6687 | 0.777 | 0.7293 | 0.758 | 0.759 | 0.773 | 0.798 | 0.7892 |
Pneu1 | 0.6580 | 0.684 | 0.7097 | 0.731 | 0.715 | 0.729 | 0.731 | 0.7416 |
Pneu2 | 0.7933 | 0.805 | 0.8377 | 0.846 | 0.852 | 0.857 | 0.881 | 0.8788 |
Cons | 0.7032 | 0.711 | 0.7443 | 0.745 | 0.745 | 0.754 | 0.754 | 0.7566 |
Edem | 0.8052 | 0.806 | 0.8414 | 0.835 | 0.842 | 0.850 | 0.849 | 0.8523 |
Emph | 0.8330 | 0.742 | 0.8836 | 0.895 | 0.906 | 0.908 | 0.930 | 0.9206 |
Fibr | 0.7859 | 0.743 | 0.8077 | 0.818 | 0.821 | 0.830 | 0.833 | 0.8360 |
P_T | 0.6835 | 0.724 | 0.7536 | 0.761 | 0.766 | 0.778 | 0.782 | 0.7952 |
Hern | 0.8717 | 0.775 | 0.8763 | 0.896 | 0.901 | 0.917 | 0.921 | 0.9357 |
Mean | 0.7451 | 0.761 | 0.7941 | 0.807 | 0.807 | 0.816 | 0.823 | 0.8267 |
参照表1,ChestX-ray14中的14种病理分别是肺不张(Atel)、心脏肥大(Card)、积液(Effu)、肺浸润(Infi)、肺肿块(Mass)、肺结节(Nodu)、肺炎(Pneu1)、气胸(Pneu2)、肺实变(Cons)、水肿(Edem)、肺气肿(Emph)、纤维化(Fibr)、胸膜增厚(P_T)和疝气(Hern)。
优选地,本发明方法与之前在ChestX-Ray14数据集上的表现优异的算法的对比,对于每一列,最佳结果以粗体突出显示,表中计算每个类别的AUC分数和14种疾病的平均AUC分数。
应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (9)
1.一种基于频率注意网络的胸肺部疾病诊断方法,其特征在于:包括,
利用离散余弦变换将胸部X光片由空间域转换到频率域,将相同频率的离散余弦变换系数组合为矩阵,获得所述胸部X光片的不同频率标记;
去除所述胸部X光片中的高频离散余弦变换系数矩阵以减少噪声对诊断结果的影响;
将三个经过选择的不同频率的所述离散余弦变换系数矩阵分别输入设计了注意力模块的分支;
融合每个频率提取出的特征后得出胸部疾病的诊断结果。
3.根据权利要求1或2所述的基于频率注意网络的胸肺部疾病诊断方法,其特征在于:包括,
将相同频率的离散余弦变换系数按照空间位置拼接成离散余弦变换系数矩阵;
每个所述离散余弦变换系数矩阵的大小均为512×512。
5.根据权利要求4所述的基于频率注意网络的胸肺部疾病诊断方法,其特征在于:设计所述注意力模块包括,
对特征图进行全局平均池化后,使用不同大小的卷积核对其进行一维卷积,wk=C1Dk(GAP(y))
其中,y指输入的特征图,大小为1×1×C,GAP代表全局平均池化,C1Dk代表不同卷积核大小的一维卷积,k=3,5,7,即每次都对GAP(y)进行三次卷积核大小分别为3,5,7的一维卷积。
6.根据权利要求5所述的基于频率注意网络的胸肺部疾病诊断方法,其特征在于:还包括,
将GAP(y)与wk融合,大小为1×1×4C,并作为全连接层的输入,
f=δ(FC(W))
其中,FC指全连接操作,δ为sigmoid激活函数,f为每个通道对应的权重,大小为1×1×C。
8.根据权利要求7所述的基于频率注意网络的胸肺部疾病诊断方法,其特征在于:包括,
在排除了所述胸部X光片图像在最高频率的表示之后,将剩下的三个输入进一个三分支的网络;
每个分支都添加了多尺度通道注意力模块以增强特征的提取;
将特征融合后输入FC层,经过sigmoid激活函数后得到最终的结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110930377.7A CN113643261B (zh) | 2021-08-13 | 2021-08-13 | 一种基于频率注意网络的胸肺部疾病诊断方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110930377.7A CN113643261B (zh) | 2021-08-13 | 2021-08-13 | 一种基于频率注意网络的胸肺部疾病诊断方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113643261A true CN113643261A (zh) | 2021-11-12 |
CN113643261B CN113643261B (zh) | 2023-04-18 |
Family
ID=78421714
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110930377.7A Active CN113643261B (zh) | 2021-08-13 | 2021-08-13 | 一种基于频率注意网络的胸肺部疾病诊断方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113643261B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115439702A (zh) * | 2022-11-08 | 2022-12-06 | 武昌理工学院 | 一种基于频域处理的弱噪声图像分类方法 |
CN117437207A (zh) * | 2023-11-09 | 2024-01-23 | 重庆师范大学 | 一种多专家融合胸部x线影像辅助诊断系统及方法 |
CN117635962A (zh) * | 2024-01-25 | 2024-03-01 | 云南大学 | 基于多频率融合的通道注意力图像处理方法 |
Citations (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102572450A (zh) * | 2012-01-10 | 2012-07-11 | 中国传媒大学 | 基于sift特征与grnn网络的立体视频颜色校正方法 |
CN107292275A (zh) * | 2017-06-28 | 2017-10-24 | 北京飞搜科技有限公司 | 一种频域划分的人脸特征识别方法及系统 |
CN109074820A (zh) * | 2016-05-10 | 2018-12-21 | 谷歌有限责任公司 | 使用神经网络进行音频处理 |
CN109727238A (zh) * | 2018-12-27 | 2019-05-07 | 贵阳朗玛信息技术股份有限公司 | X光胸片的识别方法及装置 |
CN110472530A (zh) * | 2019-07-29 | 2019-11-19 | 中山大学 | 基于小波变换和迁移学习的视网膜oct图像分类方法 |
CN110598584A (zh) * | 2019-08-26 | 2019-12-20 | 天津大学 | 一种基于小波变换和dct的卷积神经网络人脸识别算法 |
CN110781923A (zh) * | 2019-09-27 | 2020-02-11 | 重庆特斯联智慧科技股份有限公司 | 特征提取方法及装置 |
CN111027670A (zh) * | 2019-11-04 | 2020-04-17 | 重庆特斯联智慧科技股份有限公司 | 特征图处理方法、装置、电子设备及存储介质 |
CN111191737A (zh) * | 2020-01-05 | 2020-05-22 | 天津大学 | 基于多尺度反复注意力机制的细粒度图像分类方法 |
CN111310805A (zh) * | 2020-01-22 | 2020-06-19 | 中能国际建筑投资集团有限公司 | 一种对图像中的目标进行密度预测的方法、装置及介质 |
CN111354051A (zh) * | 2020-03-03 | 2020-06-30 | 昆明理工大学 | 一种自适应优化网络的图像压缩感知方法 |
CN111382795A (zh) * | 2020-03-09 | 2020-07-07 | 交叉信息核心技术研究院(西安)有限公司 | 基于频域小波基处理的神经网络的图像分类处理方法 |
CN111414988A (zh) * | 2020-02-13 | 2020-07-14 | 湖北工业大学 | 基于多尺度特征自适应融合网络的遥感影像超分辨率方法 |
CN111429473A (zh) * | 2020-02-27 | 2020-07-17 | 西北大学 | 基于多尺度特征融合的胸片肺野分割模型建立及分割方法 |
CN111429407A (zh) * | 2020-03-09 | 2020-07-17 | 清华大学深圳国际研究生院 | 基于双通道分离网络的胸部x光疾病检测装置及方法 |
CN111630570A (zh) * | 2019-05-31 | 2020-09-04 | 深圳市大疆创新科技有限公司 | 图像处理方法、设备及计算机可读存储介质 |
CN111709446A (zh) * | 2020-05-14 | 2020-09-25 | 天津大学 | 基于改进的密集连接网络的x线胸片分类装置 |
CN111797326A (zh) * | 2020-05-27 | 2020-10-20 | 中国科学院计算技术研究所 | 一种融合多尺度视觉信息的虚假新闻检测方法及系统 |
US20210041548A1 (en) * | 2019-08-08 | 2021-02-11 | Syracuse University | Motion detection and classification using ambient wireless signals |
CN112529870A (zh) * | 2020-12-10 | 2021-03-19 | 重庆大学 | 基于源域与频域结合的多尺度CNNs肺结节假阳性剔除方法 |
CN112784856A (zh) * | 2021-01-29 | 2021-05-11 | 长沙理工大学 | 胸部x射线图像的通道注意力特征提取方法和识别方法 |
CN112926457A (zh) * | 2021-02-26 | 2021-06-08 | 中国电子科技集团公司第二十八研究所 | 一种基于融合频域和空间域网络模型的sar图像识别方法 |
CN112927217A (zh) * | 2021-03-23 | 2021-06-08 | 内蒙古大学 | 一种基于目标检测的甲状腺结节侵袭性预测方法 |
CN113011444A (zh) * | 2020-12-18 | 2021-06-22 | 浙江大学 | 一种基于神经网络频域注意力机制的图像识别方法 |
CN113139898A (zh) * | 2021-03-24 | 2021-07-20 | 宁波大学 | 基于频域分析和深度学习的光场图像超分辨率重建方法 |
CN113240047A (zh) * | 2021-06-02 | 2021-08-10 | 西安电子科技大学 | 基于部件解析多尺度卷积神经网络的sar目标识别方法 |
-
2021
- 2021-08-13 CN CN202110930377.7A patent/CN113643261B/zh active Active
Patent Citations (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102572450A (zh) * | 2012-01-10 | 2012-07-11 | 中国传媒大学 | 基于sift特征与grnn网络的立体视频颜色校正方法 |
CN109074820A (zh) * | 2016-05-10 | 2018-12-21 | 谷歌有限责任公司 | 使用神经网络进行音频处理 |
CN107292275A (zh) * | 2017-06-28 | 2017-10-24 | 北京飞搜科技有限公司 | 一种频域划分的人脸特征识别方法及系统 |
CN109727238A (zh) * | 2018-12-27 | 2019-05-07 | 贵阳朗玛信息技术股份有限公司 | X光胸片的识别方法及装置 |
CN111630570A (zh) * | 2019-05-31 | 2020-09-04 | 深圳市大疆创新科技有限公司 | 图像处理方法、设备及计算机可读存储介质 |
CN110472530A (zh) * | 2019-07-29 | 2019-11-19 | 中山大学 | 基于小波变换和迁移学习的视网膜oct图像分类方法 |
US20210041548A1 (en) * | 2019-08-08 | 2021-02-11 | Syracuse University | Motion detection and classification using ambient wireless signals |
CN110598584A (zh) * | 2019-08-26 | 2019-12-20 | 天津大学 | 一种基于小波变换和dct的卷积神经网络人脸识别算法 |
CN110781923A (zh) * | 2019-09-27 | 2020-02-11 | 重庆特斯联智慧科技股份有限公司 | 特征提取方法及装置 |
CN111027670A (zh) * | 2019-11-04 | 2020-04-17 | 重庆特斯联智慧科技股份有限公司 | 特征图处理方法、装置、电子设备及存储介质 |
CN111191737A (zh) * | 2020-01-05 | 2020-05-22 | 天津大学 | 基于多尺度反复注意力机制的细粒度图像分类方法 |
CN111310805A (zh) * | 2020-01-22 | 2020-06-19 | 中能国际建筑投资集团有限公司 | 一种对图像中的目标进行密度预测的方法、装置及介质 |
CN111414988A (zh) * | 2020-02-13 | 2020-07-14 | 湖北工业大学 | 基于多尺度特征自适应融合网络的遥感影像超分辨率方法 |
CN111429473A (zh) * | 2020-02-27 | 2020-07-17 | 西北大学 | 基于多尺度特征融合的胸片肺野分割模型建立及分割方法 |
CN111354051A (zh) * | 2020-03-03 | 2020-06-30 | 昆明理工大学 | 一种自适应优化网络的图像压缩感知方法 |
CN111382795A (zh) * | 2020-03-09 | 2020-07-07 | 交叉信息核心技术研究院(西安)有限公司 | 基于频域小波基处理的神经网络的图像分类处理方法 |
CN111429407A (zh) * | 2020-03-09 | 2020-07-17 | 清华大学深圳国际研究生院 | 基于双通道分离网络的胸部x光疾病检测装置及方法 |
CN111709446A (zh) * | 2020-05-14 | 2020-09-25 | 天津大学 | 基于改进的密集连接网络的x线胸片分类装置 |
CN111797326A (zh) * | 2020-05-27 | 2020-10-20 | 中国科学院计算技术研究所 | 一种融合多尺度视觉信息的虚假新闻检测方法及系统 |
CN112529870A (zh) * | 2020-12-10 | 2021-03-19 | 重庆大学 | 基于源域与频域结合的多尺度CNNs肺结节假阳性剔除方法 |
CN113011444A (zh) * | 2020-12-18 | 2021-06-22 | 浙江大学 | 一种基于神经网络频域注意力机制的图像识别方法 |
CN112784856A (zh) * | 2021-01-29 | 2021-05-11 | 长沙理工大学 | 胸部x射线图像的通道注意力特征提取方法和识别方法 |
CN112926457A (zh) * | 2021-02-26 | 2021-06-08 | 中国电子科技集团公司第二十八研究所 | 一种基于融合频域和空间域网络模型的sar图像识别方法 |
CN112927217A (zh) * | 2021-03-23 | 2021-06-08 | 内蒙古大学 | 一种基于目标检测的甲状腺结节侵袭性预测方法 |
CN113139898A (zh) * | 2021-03-24 | 2021-07-20 | 宁波大学 | 基于频域分析和深度学习的光场图像超分辨率重建方法 |
CN113240047A (zh) * | 2021-06-02 | 2021-08-10 | 西安电子科技大学 | 基于部件解析多尺度卷积神经网络的sar目标识别方法 |
Non-Patent Citations (6)
Title |
---|
CUI GAO ET AL: "YOLOv4 Object Detection Algorithm with Efficient Channel Attention Mechanism", 《ICMCCE》 * |
SONG YANG ET AL: "An Attention Pooling based Channel Accumulation for Target Classification of Harmonic Radar", 《ICTA》 * |
张爱梅等: "注意力分层双线性池化残差网络的表情识别", 《计算机工程与应用》 * |
杨卫总主编: "《视听觉信息的认知计算》", 30 November 2019 * |
杨杰编著: "《人工智能基础》", 30 April 2020 * |
田萱等: "《基于深度学习的图像语义分割技术》", 31 May 2019 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115439702A (zh) * | 2022-11-08 | 2022-12-06 | 武昌理工学院 | 一种基于频域处理的弱噪声图像分类方法 |
CN115439702B (zh) * | 2022-11-08 | 2023-03-24 | 武昌理工学院 | 一种基于频域处理的弱噪声图像分类方法 |
CN117437207A (zh) * | 2023-11-09 | 2024-01-23 | 重庆师范大学 | 一种多专家融合胸部x线影像辅助诊断系统及方法 |
CN117635962A (zh) * | 2024-01-25 | 2024-03-01 | 云南大学 | 基于多频率融合的通道注意力图像处理方法 |
CN117635962B (zh) * | 2024-01-25 | 2024-04-12 | 云南大学 | 基于多频率融合的通道注意力图像处理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113643261B (zh) | 2023-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111476292B (zh) | 医学图像分类处理人工智能的小样本元学习训练方法 | |
CN113643261B (zh) | 一种基于频率注意网络的胸肺部疾病诊断方法 | |
CN110889853B (zh) | 基于残差-注意力深度神经网络的肿瘤分割方法 | |
CN107492099B (zh) | 医学图像分析方法、医学图像分析系统以及存储介质 | |
CN110889852B (zh) | 基于残差-注意力深度神经网络的肝脏分割方法 | |
Yi et al. | Optimizing and visualizing deep learning for benign/malignant classification in breast tumors | |
CN112465827A (zh) | 一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法 | |
CN113674253A (zh) | 基于U-Transformer的直肠癌CT影像自动分割方法 | |
Wang et al. | Enhanced diagnosis of pneumothorax with an improved real-time augmentation for imbalanced chest X-rays data based on DCNN | |
CN111709446B (zh) | 基于改进的密集连接网络的x线胸片分类装置 | |
JP7333132B1 (ja) | マルチビューサブ空間クラスタリングに基づくマルチモード医学データ融合システム | |
CN115578404B (zh) | 一种基于深度学习的肝脏肿瘤图像增强和分割的方法 | |
CN111430025B (zh) | 一种基于医疗影像数据扩增的疾病诊断模型训练方法 | |
CN105023023B (zh) | 一种用于计算机辅助诊断的乳腺b超图像特征自学习提取方法 | |
CN114202545A (zh) | 一种基于UNet++的低级别胶质瘤图像分割方法 | |
CN114972362A (zh) | 一种基于RMAU-Net网络的医学图像自动分割方法与系统 | |
CN110570394A (zh) | 医学图像分割方法、装置、设备及存储介质 | |
CN113989551A (zh) | 一种基于改进ResNet网络的阿尔茨海默病分类方法 | |
CN117710760B (zh) | 残差的注意神经网络用于胸部x线病灶检测的方法 | |
El-Shafai et al. | Efficient classification of different medical image multimodalities based on simple CNN architecture and augmentation algorithms | |
Badretale et al. | Fully convolutional architecture for low-dose CT image noise reduction | |
CN116309754A (zh) | 一种基于局部-全局信息协作的大脑医学图像配准方法及系统 | |
Wang et al. | An improved CapsNet applied to recognition of 3D vertebral images | |
Guo et al. | Thyroid nodule ultrasonic imaging segmentation based on a deep learning model and data augmentation | |
CN113936006A (zh) | 一种处理高噪低质医学图像的分割方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |