CN111429407A - 基于双通道分离网络的胸部x光疾病检测装置及方法 - Google Patents
基于双通道分离网络的胸部x光疾病检测装置及方法 Download PDFInfo
- Publication number
- CN111429407A CN111429407A CN202010157966.1A CN202010157966A CN111429407A CN 111429407 A CN111429407 A CN 111429407A CN 202010157966 A CN202010157966 A CN 202010157966A CN 111429407 A CN111429407 A CN 111429407A
- Authority
- CN
- China
- Prior art keywords
- network
- chest
- image
- ray
- channel separation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 201000010099 disease Diseases 0.000 title claims abstract description 53
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 53
- 238000000926 separation method Methods 0.000 title claims abstract description 48
- 238000001514 detection method Methods 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000011976 chest X-ray Methods 0.000 claims abstract description 58
- 238000012549 training Methods 0.000 claims abstract description 31
- 230000003902 lesion Effects 0.000 claims abstract description 27
- 238000012800 visualization Methods 0.000 claims abstract description 11
- 238000010606 normalization Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 210000000038 chest Anatomy 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 10
- 230000036285 pathological change Effects 0.000 claims description 10
- 231100000915 pathological change Toxicity 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 8
- 230000009977 dual effect Effects 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 5
- 210000000115 thoracic cavity Anatomy 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 210000000481 breast Anatomy 0.000 abstract 1
- 208000030270 breast disease Diseases 0.000 abstract 1
- 206010035664 Pneumonia Diseases 0.000 description 11
- 238000000605 extraction Methods 0.000 description 8
- 210000004072 lung Anatomy 0.000 description 7
- 238000003745 diagnosis Methods 0.000 description 6
- 230000004927 fusion Effects 0.000 description 5
- 206010030113 Oedema Diseases 0.000 description 4
- 238000004195 computer-aided diagnosis Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000004807 localization Effects 0.000 description 4
- 201000003144 pneumothorax Diseases 0.000 description 4
- 206010014561 Emphysema Diseases 0.000 description 3
- 206010016654 Fibrosis Diseases 0.000 description 3
- 206010019909 Hernia Diseases 0.000 description 3
- 230000000747 cardiac effect Effects 0.000 description 3
- 238000003759 clinical diagnosis Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000004761 fibrosis Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000007170 pathology Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 201000008827 tuberculosis Diseases 0.000 description 3
- 206010035600 Pleural fibrosis Diseases 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000007596 consolidation process Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 230000002685 pulmonary effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005316 response function Methods 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 206010003598 Atelectasis Diseases 0.000 description 1
- 206010007572 Cardiac hypertrophy Diseases 0.000 description 1
- 208000006029 Cardiomegaly Diseases 0.000 description 1
- 208000019693 Lung disease Diseases 0.000 description 1
- 208000007123 Pulmonary Atelectasis Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 231100000517 death Toxicity 0.000 description 1
- 238000012631 diagnostic technique Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 210000002216 heart Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000008595 infiltration Effects 0.000 description 1
- 238000001764 infiltration Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 210000001370 mediastinum Anatomy 0.000 description 1
- 238000011369 optimal treatment Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000004224 pleura Anatomy 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 230000008719 thickening Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- High Energy & Nuclear Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
一种基于双通道分离网络的胸部X光的疾病检测装置及方法，该装置包括处理器，所述处理器经配置执行如下操作：将胸部X光图像的训练数据集进行预处理，分为数据增强和归一正则化两部分；训练双通道分离深度网络，分通道提取各级特征并进行融合，在分类层进行损失函数最小化，进行网络的完整训练；利用训练好的网络对输入的胸部X光图像进行分类，得到图像中包含的病变种类和概率；利用训练好的网络对输入的胸部X光图像中的疾病进行定位。本发明在胸部疾病的识别任务中能够极大地提高胸部病变的识别准确率，同时在可视化任务中可以对疾病位置完成较为精准的定位。
Description
技术领域
本发明涉及计算机视觉与医学图像处理领域，特别涉及一种基于双通道分离网络的胸部X光疾病检测装置及方法。
背景技术
医学X光图像是一种根据不同组织对X射线的不同吸收程度来反映人体内部结构的成像方式，可以显示多种复杂的病理特征。胸部X射线(Chest X-ray，CXR)成像是目前用于筛查和临床诊断的最广泛可用的放射学检查之一。然而，由于图像上不同类型的肺部病变的复杂病理，因此对CXR 图像进行自动检测并理解已经成为目前在技术上具有挑战性的任务。因为胸部X光射线成像技术不仅快捷、简便，而且价格经济，所以人们在检查胸廓(包括肋骨，胸椎，软组织等)、胸腔、肺组织、纵隔、心脏等的胸部疾病时，通常都会选择X光。CXR目前是诊断肺炎等疾病的最佳检测项目，在临床诊断及护理和流行病理研究中发挥了关键作用。而治疗效果与发现的早晚密切相关，由于个体差异，这些症状在发病前并不一定明显。传统的医院放射诊断方法可能无法及时准确地发现相应的症状，为医生提供决策依据。导致患者无法及早得到治疗，错过了最佳治疗时间。据研究调查，仅在美国就有超过100万成年人因肺炎住院，每年约有50,000人因为患有该类疾病而死亡。所以，利用先进的计算机技术对胸部X光图像进行检测与分析，提高胸部疾病的确诊率是目前医学图像处理领域需要解决的一大问题。
计算机辅助诊断(Computer Aided Diagnosis,CAD)方法始于60年代但在那段时间没有取得很大成功。大规模的CAD使用在80年代到来，采用了不取代医学专业人员的新方法，但只能帮助他们进行诊断。最近计算能力的增长使得卷积神经网络应用在图像的识别和检测上得以扩展，特别是在2012年引入AlexNet之后。这种增长也适用于使用卷积神经网络对患者进行分类的CAD系统。过去十年以来，作为一项有前途的技术，医学人工智能(Medical Artificial Intelligence)在全球范围内引起了人们的兴趣。特别是在深度学习的出现和急速发展之后，计算机辅助诊断技术的革命正式开始并在许多生物医学应用中受到影响。
在临床实践中，基于CXR图像的分析和诊断在很大程度上取决于具有至少多年专业经验的放射科医师的专业知识。虽然现有的很多深度学习方法在胸部X光图像分类上已经取得了比较好的成果，但目前大部分方法在对图像进行特征提取时，均选择只采用单个网络及分类层的方法，不可避免地降低了网络对不同通道之间层次特征的提取及特征表示能力，同时也限制了网络的加深以及训练的效率。因此，目前利用计算机检测CXR 图像上的胸部疾病仍然是机器智能的一项具有挑战性的任务，主要难点如下：
1)缺乏训练数据集以及图像的相关注释/标签，专业知识限制导致标注难度高。此外，就算有专家标注的数据，存在的标签噪声也会产生干扰。
2)从不同类型的胸部疾病样本中提取的视觉模式通常在外观、大小和位置上具有高度多样性，传统图像处理方法对嘈杂标签监督不力而无法学习有意义的表征。
3)图像类别不平衡，数据库中通常正常图像比异常图像多很多，导致临床特征容易被淹没。
4)CXR图像的空间尺寸通常为2000×3000像素。局部病理图像区域可以显示出不同的大小或范围，但是与全图像比例相比通常非常小，病变区域难以检测，在X射线图像上训练分类器比通用图像更难。
发明内容
本发明的主要目的在于克服上述技术缺陷中的至少一种，提供一种基于双通道分离网络的胸部X光疾病检测装置及方法。
为实现上述目的，本发明采用以下技术方案：
一种基于双通道分离网络的胸部X光的疾病检测装置，包括计算机可读存储介质和处理器，所述计算机可读存储介质存储有可执行程序，其特征在于，所述可执行程序被所述处理器执行时，执行如下操作：
第一步：将胸部X光图像的训练数据集进行预处理，分为数据增强和归一正则化两部分；
第二步：训练双通道分离深度网络，分通道提取各级特征并进行融合，在分类层进行损失函数最小化，进行网络的完整训练；
第三步：利用训练好的网络对输入的胸部X光图像进行分类，得到图像中包含的病变种类和概率；
第四步：利用训练好的网络对输入的胸部X光图像中的疾病进行定位。
所述第一步具体包括：使用包含多个患者的多张胸部正面视图的X射线原始图像，将所述原始图像进行预处理，首先通过将图像进行翻转、平移和缩放变换进行数据增强，之后将图像进行标准归一化和正则化处理，以平衡数据分布，加快网络收敛。
所述第二步具体包括：将经过预处理后的输入图像进行通道分离，一部分通道经过上半分支的残差学习网络(ResNet)，另一部分通过下半分支的密集连接网络(DenseNet)，之后将提取的特征进行融合，分别经过池化层、全连接层和分类层之后搭建完整的双通道分离网络，使用所有训练集图像对网络进行训练，得到最优的网络参数。
所述第三步具体包括：将待检测的胸部X光图像输入上一步训练好的网络中，经过最后的分类层，在分类端输出该待检测图像是否包含病变的结果，并输出所包含病变的种类和预测概率。
所述第四步具体包括：将上一步得到检测结果图像进行显著性显示，使用类激活图的方法，然后将检测结果图像中的重要区域用输出层权重映射回卷积层特征，得到待检测图像中病变区域的可视化结果。
所述第四步还包括：通过热力图显示病变的位置，并对病变区域使用矩形框进行标注。
一种计算机可读存储介质，所述计算机可读存储介质存储有可执行程序，所述可执行程序被处理器执行时，执行所述的操作。
一种基于双通道分离网络的胸部X光的疾病检测装置，其特征在于，包括：
图像采集装置，其经配置以采集胸部X光图像；
处理器，其经配置以执行所述的操作。
一种用于胸部X光的疾病检测的双通道分离网络建立方法，其特征在于，包括所述的第一步和第二步。
本发明与现有技术对比的有益效果包括：
利用本发明提出的一种基于双通道分离网络的胸部X光图像的疾病检测装置，能够直接构建一种端到端的高效检测胸部X光中所包含的疾病类型和位置，所提出的双通道分离网络可通过残差学习和密集连接两种分支来尽可能多地提取通道内和通道间的细节特征图和上下文关系，残差学习可使特征重用，密集连接可保留小细节浅层特征并组合，这种双分支融合的方式可促进分层特征之间的信息共享和集成，改善网络信息流并加速收敛，分类结果证明可得到较高的疾病分类检测率，本发明同时将网络最后一层的卷积权重提取并进行不同区域的线性加权，可得到关于区域重要程度的类激活图，可显示网络检测到的具体病变的位置，所以本发明可实现一种完整的对胸部X光中常见疾病进行同时分类和定位的辅助系统，可方便医生二次诊断，提高检测的速度和精度，降低胸部疾病的漏诊和误诊的几率，改善医疗服务质量，以实现早诊断、早发现、早治疗。
附图说明
图1是本发明实施例的基于双通道分离网络进行胸部X光图像疾病检测装置的处理流程简图。
图2是本发明实施例的基于双通道分离网络进行胸部X光图像疾病检测的使用方法图。
图3是本发明实施例的基于双通道分离网络的分类功能实现图，其中 (a)表示双通道分离网络(DCSN)的整体结构，(b)表示通道分离模块 (Channel Split Block，CSB)的内部结构。
图4是本发明实施例的基于双通道分离网络的定位功能实现图。
图5是本发明实施例的基于双通道分离网络的胸部X光图像中病变区域的定位可视化结果图，其中：(a)肺扩张(b)心脏肿大(c)肺积液(d)浸润性肺炎(e)肿块(f)肺结核(g)肺炎(h)气胸。
具体实施方式
以下对本发明的实施方式作详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。
图1是本发明实施例的基于双通道分离网络进行胸部X光图像疾病检测装置的处理流程简图。本发明实施例提供一种基于双通道分离网络的胸部X光的疾病检测装置，包括处理器，该处理器经过配置，执行如图1所示的步骤A1-A3：
第一步：将胸部X光图像训练数据集进行预处理，分为数据增强和归一正则化两部分，该过程可扩大训练数据集，减少过拟合并加速网络收敛，提高网络泛化性能。
本步操作中，可使用包含多名患者的多张胸部正面视图的X射线图像，将这些原始X射线图像进行预处理以方便后续网络训练，首先通过将图像进行翻转、平移和缩放变换进行数据增强，之后将图像进行标准归一化和正则化处理，平衡数据分布，加快网络收敛。
第二步：训练双通道分离深度网络，分通道提取各级特征并进行融合，在分类层进行损失函数最小化，进行网络的完整训练。
参见图3，本步操作中，将输入图像进行通道分离，一部分通道经过上半分支的残差学习网络(ResNet)，另一部分通过下半分支的密集连接网络(DenseNet)，之后将提取的特征进行融合，分别经过池化层、全连接层和分类层之后搭建完整的双通道分离网络，使用所有训练集图像将所述网络进行训练，得到最优的网络参数。
参见图2至图4，第三步：利用训练好的网络对输入的胸部X光图像进行分类，得到图像中包含的病变种类和概率。
本步操作中，将待检测胸部X光图像输入上一步训练好的网络中，经过最后的分类层，在分类端输出该待检测图像是否包含病变的结果，并输出所包含病变的种类和预测概率。
第四步：利用训练好的网络对输入的胸部X光图像中的疾病进行定位，通过热力图显示病变的位置，并使用矩形框进行标注。
本步操作中，将上一步得到检测结果图像进行显著性显示，使用类激活图的方法，然后将X光图像中的重要区域用输出层权重映射回卷积层特征，可得到待检测图像中病变区域的可视化结果，病变区域使用矩形框标注。
本发明优选的实施例中，检测装置先将输入的胸部X光图像进行预处理，使其能更好的表征医学特征；其次利用深度学习技术，搭建基于双通道分离的深度网络模型，所述网络模型包括图像特征提取、非线性映射和图像分类三部分，在特征提取过程中，舍弃了单网络结构，而是将输入图像进行残差学习网络和密集连接网络的并行处理；其次在非线性映射部分，在通道方向上将特征图分离，使其分别通过上下分支的不同网络进行特征学习，最终将双通道的输出进行融合，可使用不同卷积核大小的卷积层进行尺度调整，之后通过池化层、全连接层和分类层以最小化代价函数为目标函数来对所述双通道分离网络进行训练；将诊断的胸部X光图像输入到所述神经网络模型，输出能够反映疾病种类和具体病变位置的检测结果图像。
本发明实施例的检测装置主要可用于检测十四种常见胸肺部疾病，包括肺扩张、心脏肿大、肺积液、浸润性肺炎、肿块、肺结核、肺炎、气胸、巩固性肺炎、浮肿、肺气肿、纤维化、胸膜增厚和疝气。本发明的基于双通道分离网络的胸部X光疾病检测装置，在十四种胸部疾病的识别任务中能够极大地提高胸部病变的识别准确率，同时在可视化任务中可以对疾病位置完成较为精准的定位。
在一些实施例中，一种基于双通道分离网络的胸部X光疾病检测装置，包括处理器，其经配置以执行所述的操作：
根据胸部X光图像的具体图像特征进行特定图像预处理操作，本发明使用NIH临床中心于2017年开源的ChestX-ray14数据集，其中包含30,805 名患者的112,120张胸部正面视图的X射线图像，首先通过将图像进行翻转、平移和缩放变换进行数据增强，之后将图像进行标准归一化和正则化处理，平衡数据分布，减少过拟合并加快网络收敛。
将原始图像输入三个基本卷积层进行浅层特征提取，之后将处理得到的特征图进行通道分离，该处理方式不是将前一层的特征映射完全转移到下一层，而是将特征映射分成具有不同信息传输的两个不同部分，一部分通道经过上半分支的残差学习网络，另一部分通过下半分支的密集连接网络，每次分离构成一个通道分离模块，可以通过控制不同模块数量控制网络深度，此外，为尽可能保留原始信息，网络中加入局部残差学习和全局跳跃连接增加网络中信息流动。
通道分离模块之后连接全局特征融合部分，将各级提取的特征进行融合，分别经过池化层、全连接层和Sigmoid分类层之后搭建完整的双通道分离网络，输出为14维的概率向量，使用所有训练集图像将所述网络进行训练，得到最优的网络参数。
将待检测胸部X光图像输入上一步训练好的网络中，经过最后的分类层，在分类端输出该待检测图像是否包含常见十四种病变的结果，并输出所包含病变的种类和预测概率。
将上一步得到检测结果图像进行显著性显示，使用类激活图的方法，然后将X光图像中的重要区域用输出层权重映射回卷积层特征，可得到待检测图像中病变区域的可视化结果，病变区域使用矩形框标注。
在另一种实施例中，本发明还提出一种用于胸部X光的疾病检测的双通道分离网络建立方法，包括前述实施例的第一步和第二步。
下面进一步说明具体实施例的基于双通道分离网络的胸部X光图像的病变检测装置的应用方法。
图像的预处理：根据胸部X光图像的具体图像特征进行特定图像预处理操作，将原始X光图像进行翻转、平移和缩放变换进行数据增强，之后将图像进行标准归一化和正则化处理，平衡数据分布，减少过拟合并加快网络收敛。原始胸部X光图像可使用NIH临床中心于2017年开源的 ChestX-ray14数据集，其中包含30,805名患者的112,120张胸部正面视图的X射线图像。
双通道分离网络：如图3所示，双通道分离网络的整体结构可分为三部分：
1)特征提取(Feature Extract)
特征提取部分由2个3×3的卷积层和1个1×1的卷积层组成，定义FE(·)为该处理过程的响应函数，所以提取的浅层特征为：
xE＝FE(x)
其中，x为输入的图像原始数据。
2)非线性映射(Nonlinear Mapping)
非线性映射部分主要由通道分离模块(CSB)组成，将提取的特征分成两个分支进行处理，这里我们定义CSB模块的响应函数为Fc(·)，该函数的细节将在3.4.2节中详细描述，假设该部分有n个CSB模块，则第i个CSB 模块的输出为：
可知该部分的原始输入x0为特征提取部分的输出xE，故最终输出为：
3)图像分类(Image Classification)
图像分类部分包括两个步骤：全局特征融合和特征图分类。
①全局特征融合
全局特征由前面每一个CSB模块的输出聚合而成，如图3所示，进行全局特征融合(Global Feature Fusion，GFF)、假设有n个CSB模块，表达为一个聚合向量xM：
xM＝[x0,x1,...,xn]
然后，此聚合向量经过两个卷积层处理(3×3+1×1)后得到融合特征，这里将其定义为函数FF(·)。此外，还添加了一个全局跳跃连接模块(Global Skip Connection，GSC)，将浅层特征直接添加到聚合特征中进行一次局部残差学习，从而得到最终的全局特征xR：
xR＝FF(xM)+x0＝FF([x0,x1,...,xn])+x0
②特征图分类
将得到的全局特征xR分别经过池化层(Pooling)、全连接层(FC)和 Sigmoid归一化层，最终输出为14维向量。代表每种疾病的预测概率：
其中，I代表输入图像，
表示图像I属于类别c的概率分数， c∈{1,2,...,C},C＝14，之后通过最小化二进制交叉熵(Binary Cross-Entropy， BCE)损失函数来优化模型参数：
lc表示类别c的训练标签。
由图3可知该网络的深度D可表示为：
D＝n(2m+1)+8
其中，n为CSB模块的数量，m为每个CSB模块中操作的级数。
胸部X光图像的疾病分类：使用训练集对图三搭建的双通道分离网络进行训练，网络采用50层的残差学习网络和121层的密集连接网络，网络的深度参数设置为n＝m＝4，梯度优化使用自适应学习率的Adam算法(使用标准参数：β1＝0.9,β2＝0.999,ε＝10-8)，训练得到最优网络参数后对待检测X 光图像进行特征提取、映射和分类，最终输出该图像中的病变分类结果，如表1所示的基于双通道分离网络的胸部X光图像的病变分类准确率表格，包括十四种常见胸部疾病在该装置上的检测准确率及平均值。
表1
| 疾病类型 | 准确率(％) |
| 肺不张 | 85.87 |
| 心脏肥大 | 95.20 |
| 积液 | 91.13 |
| 浸润 | 75.41 |
| 肿块. | 91.26 |
| 结节 | 81.74 |
| 肺炎. | 80.86 |
| 气胸 | 93.17 |
| 变实 | 84.67 |
| 水肿 | 93.40 |
| 肺气肿 | 95.06 |
| 纤维变性 | 87.93 |
| 胸膜增厚 | 85.72 |
| 疝气 | 97.71 |
| 平均值 | 88.50 |
胸部X光图像的疾病定位可视化：本发明的装置将测试图像检测出的胸部疾病进行定位可视化，这里使用由卷积神经网络的全局池化层(Global Average Pooling，GAP)生成的类激活图(Class Activation Mapping，CAM) 来表示，具体过程如定位功能实现图即图4所示。
将双通道分离网络输出的卷积特征图后面加入GAP层，然后将X光图像中的重要区域用输出层权重映射回卷积层特征，将类激活图与输入图像的尺寸保持一致，就能清楚地显示出与特定类最相关的区域。之后在原图像上进行标记，得到胸部疾病分类显著性区域的可视化定位图。用公式表示如下：
其中，用fk(x,y)代表最后一个卷积层在空间坐标(x,y)中单元k的激活值。然后，对于每个单元k，通过GAP后的结果为
代表单元k对应的类c的权重。实际上，
就是该单元对类c的重要性，最终得到每一类的得分，实现特定类的区别性区域的可视化。
图5展示了本发明的基于双通道分离网络的胸部X光图像中病变区域的定位可视化结果，图中使用黑色矩形框标注病变的区域，框中较深区域表示病变显著，变浅处则显著性次之。该装置可准确显示特定病理的所在区域，故可通过该网络的可视化功能在临床诊断中为放射科医生提供分类依据。
上述具体实施方式完整阐释了本发明的一种基于双通道网络的胸部X 光图像的疾病检测装置的处理过程，同可时实现常见胸部疾病的分类和定位。
本发明的基于双通道分离网络的胸部X光图像疾病检测装置，显著地提高了深度学习技术在检测胸部X光常见疾病的分类正确率和定位准确率。主要成果为：
1)利用深度学习，构建一种新的深度神经网络模型，完成对肺扩张、心脏肿大、肺积液、浸润性肺炎、肿块、肺结核、肺炎、气胸、巩固性肺炎、浮肿、肺气肿、纤维化、胸膜增厚和疝气十四种疾病的检测。
2)对于输入的胸部X光片图像，该模型可以对其存在的疾病类型进行分类，同时将图像中最能预示患有疾病的区域可视化，对诊断出的疾病位置进行标注，便于医生进行二次诊断。
3)发明一种端到端的完整的计算机辅助系统模型来检测并诊断出常见的胸部疾病类型。
本发明的背景部分可以包含关于本发明的问题或环境的背景信息，而不一定是描述现有技术。因此，在背景技术部分中包含的内容并不是申请人对现有技术的承认。
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中，参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明的实施例及其优点，但应当理解，在不脱离发明的保护范围的情况下，可以在本文中进行各种改变、替换和变更。
Claims (9)
1.一种基于双通道分离网络的胸部X光的疾病检测装置，包括计算机可读存储介质和处理器，所述计算机可读存储介质存储有可执行程序，其特征在于，所述可执行程序被所述处理器执行时，执行如下操作：
第一步：将胸部X光图像的训练数据集进行预处理，分为数据增强和归一正则化两部分；
第二步：训练双通道分离深度网络，分通道提取各级特征并进行融合，在分类层进行损失函数最小化，进行网络的完整训练；
第三步：利用训练好的网络对输入的胸部X光图像进行分类，得到图像中包含的病变种类和概率；
第四步：利用训练好的网络对输入的胸部X光图像中的疾病进行定位。
2.如权利要求1所述的胸部X光疾病检测装置，其特征在于：所述第一步具体包括：使用包含多个患者的多张胸部正面视图的X射线原始图像，将所述原始图像进行预处理，首先通过将图像进行翻转、平移和缩放变换进行数据增强，之后将图像进行标准归一化和正则化处理，以平衡数据分布，加快网络收敛。
3.如权利要求1或2所述的胸部X光疾病检测装置，其特征在于：所述第二步具体包括：将经过预处理后的输入图像进行通道分离，一部分通道经过上半分支的残差学习网络(ResNet)，另一部分通过下半分支的密集连接网络(DenseNet)，之后将提取的特征进行融合，分别经过池化层、全连接层和分类层之后搭建完整的双通道分离网络，使用所有训练集图像对网络进行训练，得到最优的网络参数。
4.如权利要求1至3任一项所述的胸部X光疾病检测装置，其特征在于：所述第三步具体包括：将待检测的胸部X光图像输入上一步训练好的网络中，经过最后的分类层，在分类端输出该待检测图像是否包含病变的结果，并输出所包含病变的种类和预测概率。
5.如权利要求1至4任一项所述的胸部X光疾病检测装置，其特征在于：所述第四步具体包括：将上一步得到检测结果图像进行显著性显示，使用类激活图的方法，然后将检测结果中的重要区域用输出层权重映射回卷积层特征，得到待检测图像中病变区域的可视化结果。
6.如权利要求1至5任一项所述的胸部X光疾病检测装置，其特征在于：所述第四步还包括：通过热力图显示病变的位置，并对病变区域使用矩形框进行标注。
7.一种计算机可读存储介质，所述计算机可读存储介质存储有可执行程序，其特征在于，所述可执行程序被处理器执行时，执行如权利要求1至6任一项所述的操作。
8.一种基于双通道分离网络的胸部X光的疾病检测装置，其特征在于，包括：
图像采集装置，其经配置以采集胸部X光图像；
处理器，其经配置以用于执行如权利要求1至6任一项所述的操作。
9.一种用于胸部X光的疾病检测的双通道分离网络建立方法，其特征在于，包括如权利要求1至6任一项所述的第一步和第二步。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010157966.1A CN111429407B (zh) | 2020-03-09 | 2020-03-09 | 基于双通道分离网络的胸部x光疾病检测装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010157966.1A CN111429407B (zh) | 2020-03-09 | 2020-03-09 | 基于双通道分离网络的胸部x光疾病检测装置及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111429407A true CN111429407A (zh) | 2020-07-17 |
| CN111429407B CN111429407B (zh) | 2023-05-09 |
Family
ID=71546244
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010157966.1A Active CN111429407B (zh) | 2020-03-09 | 2020-03-09 | 基于双通道分离网络的胸部x光疾病检测装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111429407B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112183435A (zh) * | 2020-10-12 | 2021-01-05 | 河南威虎智能科技有限公司 | 一种两阶段的手部目标检测方法 |
| CN112200794A (zh) * | 2020-10-23 | 2021-01-08 | 苏州慧维智能医疗科技有限公司 | 一种基于卷积神经网络的多模型糖网病变自动筛查方法 |
| CN112836629A (zh) * | 2021-02-01 | 2021-05-25 | 清华大学深圳国际研究生院 | 一种图像分类方法 |
| CN113313699A (zh) * | 2021-06-09 | 2021-08-27 | 光华临港工程应用技术研发(上海)有限公司 | 基于弱监督学习的x光胸部疾病分类及定位方法、电子设备 |
| CN113327666A (zh) * | 2021-06-21 | 2021-08-31 | 青岛科技大学 | 一种胸片疾病多分类网络的多标签局部至全局学习方法 |
| CN113643261A (zh) * | 2021-08-13 | 2021-11-12 | 江南大学 | 一种基于频率注意网络的胸肺部疾病诊断方法 |
| CN113657558A (zh) * | 2021-10-18 | 2021-11-16 | 广东航宇卫星科技有限公司 | 一种针对骶髂关节ct图像的分类评级方法及装置 |
| CN116311003A (zh) * | 2023-05-23 | 2023-06-23 | 澳克多普有限公司 | 一种基于双通道加载机制的视频检测方法及系统 |
| CN116503933A (zh) * | 2023-05-24 | 2023-07-28 | 北京万里红科技有限公司 | 一种眼周特征提取方法、装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107977456A (zh) * | 2017-12-15 | 2018-05-01 | 清华大学 | 一种基于多任务深度网络的多源大数据分析方法 |
| CN108363979A (zh) * | 2018-02-12 | 2018-08-03 | 南京邮电大学 | 基于双通道三维卷积神经网络的新生儿疼痛表情识别方法 |
| CN109949235A (zh) * | 2019-02-26 | 2019-06-28 | 浙江工业大学 | 一种基于深度卷积神经网络的胸部x光片去噪方法 |
| CN110348515A (zh) * | 2019-07-10 | 2019-10-18 | 腾讯科技（深圳）有限公司 | 图像分类方法、图像分类模型训练方法及装置 |
-
2020
- 2020-03-09 CN CN202010157966.1A patent/CN111429407B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107977456A (zh) * | 2017-12-15 | 2018-05-01 | 清华大学 | 一种基于多任务深度网络的多源大数据分析方法 |
| CN108363979A (zh) * | 2018-02-12 | 2018-08-03 | 南京邮电大学 | 基于双通道三维卷积神经网络的新生儿疼痛表情识别方法 |
| CN109949235A (zh) * | 2019-02-26 | 2019-06-28 | 浙江工业大学 | 一种基于深度卷积神经网络的胸部x光片去噪方法 |
| CN110348515A (zh) * | 2019-07-10 | 2019-10-18 | 腾讯科技（深圳）有限公司 | 图像分类方法、图像分类模型训练方法及装置 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112183435A (zh) * | 2020-10-12 | 2021-01-05 | 河南威虎智能科技有限公司 | 一种两阶段的手部目标检测方法 |
| CN112200794A (zh) * | 2020-10-23 | 2021-01-08 | 苏州慧维智能医疗科技有限公司 | 一种基于卷积神经网络的多模型糖网病变自动筛查方法 |
| CN112836629B (zh) * | 2021-02-01 | 2024-03-08 | 清华大学深圳国际研究生院 | 一种图像分类方法 |
| CN112836629A (zh) * | 2021-02-01 | 2021-05-25 | 清华大学深圳国际研究生院 | 一种图像分类方法 |
| CN113313699A (zh) * | 2021-06-09 | 2021-08-27 | 光华临港工程应用技术研发(上海)有限公司 | 基于弱监督学习的x光胸部疾病分类及定位方法、电子设备 |
| CN113327666A (zh) * | 2021-06-21 | 2021-08-31 | 青岛科技大学 | 一种胸片疾病多分类网络的多标签局部至全局学习方法 |
| CN113327666B (zh) * | 2021-06-21 | 2022-08-12 | 青岛科技大学 | 一种胸片疾病多分类网络的多标签局部至全局学习方法 |
| CN113643261A (zh) * | 2021-08-13 | 2021-11-12 | 江南大学 | 一种基于频率注意网络的胸肺部疾病诊断方法 |
| CN113643261B (zh) * | 2021-08-13 | 2023-04-18 | 江南大学 | 一种基于频率注意网络的胸肺部疾病诊断方法 |
| CN113657558A (zh) * | 2021-10-18 | 2021-11-16 | 广东航宇卫星科技有限公司 | 一种针对骶髂关节ct图像的分类评级方法及装置 |
| CN116311003A (zh) * | 2023-05-23 | 2023-06-23 | 澳克多普有限公司 | 一种基于双通道加载机制的视频检测方法及系统 |
| CN116503933A (zh) * | 2023-05-24 | 2023-07-28 | 北京万里红科技有限公司 | 一种眼周特征提取方法、装置、电子设备及存储介质 |
| CN116503933B (zh) * | 2023-05-24 | 2023-12-12 | 北京万里红科技有限公司 | 一种眼周特征提取方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111429407B (zh) | 2023-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111429407B (zh) | 基于双通道分离网络的胸部x光疾病检测装置及方法 | |
| Qi et al. | Automated diagnosis of breast ultrasonography images using deep neural networks | |
| Chen et al. | Multi-label chest X-ray image classification via semantic similarity graph embedding | |
| CN113902761B (zh) | 基于知识蒸馏的肺部疾病病灶无监督分割方法 | |
| Luo et al. | Retinal image classification by self-supervised fuzzy clustering network | |
| Han et al. | Automatic recognition of 3D GGO CT imaging signs through the fusion of hybrid resampling and layer-wise fine-tuning CNNs | |
| Aledhari et al. | Optimized CNN-based diagnosis system to detect the pneumonia from chest radiographs | |
| Khanna et al. | Radiologist-level two novel and robust automated computer-aided prediction models for early detection of COVID-19 infection from chest X-ray images | |
| Feng et al. | Deep learning for chest radiology: a review | |
| Uparkar et al. | Vision transformer outperforms deep convolutional neural network-based model in classifying X-ray images | |
| Kumar et al. | Lungcov: A diagnostic framework using machine learning and Imaging Modality | |
| Zhao et al. | A novel multi-scale CNNs for false positive reduction in pulmonary nodule detection | |
| Pham et al. | Chest x-rays abnormalities localization and classification using an ensemble framework of deep convolutional neural networks | |
| Tang et al. | NSCGCN: A novel deep GCN model to diagnosis COVID-19 | |
| Dong et al. | Momentum contrast transformer for COVID-19 diagnosis with knowledge distillation | |
| Xu et al. | Identification of benign and malignant lung nodules in CT images based on ensemble learning method | |
| Xue et al. | CT-based COPD identification using multiple instance learning with two-stage attention | |
| Li et al. | Medical image identification methods: A review | |
| Pavithra et al. | An Overview of Convolutional Neural Network Architecture and Its Variants in Medical Diagnostics of Cancer and Covid-19 | |
| Wang et al. | Controlling False-Positives in Automatic Lung Nodule Detection by Adding 3D Cuboid Attention to a Convolutional Neural Network | |
| Chetoui et al. | Automated Detection of COVID-19 Cases using Recent Deep Convolutional Neural Networks and CT images | |
| Lin et al. | Lesion detection of chest X-Ray based on scalable attention residual CNN | |
| Darapaneni et al. | Multi-lesion detection using deep neural networks | |
| Wu et al. | Asa-coronet: Adaptive self-attention network for covid-19 automated diagnosis using chest x-ray images | |
| AlTalli et al. | Chest pathology detection in x-ray scans using social spider optimization algorithm with generalization deep learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |