CN111667469A - 肺部疾病分类方法、装置及设备 - Google Patents
肺部疾病分类方法、装置及设备 Download PDFInfo
- Publication number
- CN111667469A CN111667469A CN202010493014.7A CN202010493014A CN111667469A CN 111667469 A CN111667469 A CN 111667469A CN 202010493014 A CN202010493014 A CN 202010493014A CN 111667469 A CN111667469 A CN 111667469A
- Authority
- CN
- China
- Prior art keywords
- deep learning
- feature vector
- ray image
- mask
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 208000019693 Lung disease Diseases 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 51
- 239000013598 vector Substances 0.000 claims abstract description 90
- 238000013136 deep learning model Methods 0.000 claims abstract description 83
- 238000000605 extraction Methods 0.000 claims abstract description 23
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 9
- 238000001514 detection method Methods 0.000 claims description 55
- 238000012549 training Methods 0.000 claims description 31
- 210000004072 lung Anatomy 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 28
- 230000011218 segmentation Effects 0.000 claims description 19
- 238000012216 screening Methods 0.000 claims description 15
- 238000003708 edge detection Methods 0.000 claims description 7
- 230000003628 erosive effect Effects 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims 1
- 210000000038 chest Anatomy 0.000 description 26
- 201000010099 disease Diseases 0.000 description 21
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 21
- 238000013135 deep learning Methods 0.000 description 14
- 238000011976 chest X-ray Methods 0.000 description 9
- 238000002790 cross-validation Methods 0.000 description 9
- 238000003745 diagnosis Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000003672 processing method Methods 0.000 description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 208000006029 Cardiomegaly Diseases 0.000 description 2
- 206010016654 Fibrosis Diseases 0.000 description 2
- 206010019909 Hernia Diseases 0.000 description 2
- 206010030113 Oedema Diseases 0.000 description 2
- 206010035664 Pneumonia Diseases 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000007596 consolidation process Methods 0.000 description 2
- 230000004761 fibrosis Effects 0.000 description 2
- 230000008595 infiltration Effects 0.000 description 2
- 238000001764 infiltration Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 201000003144 pneumothorax Diseases 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 208000030270 breast disease Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000000115 thoracic cavity Anatomy 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习模型和X光影像的肺部疾病分类方法、装置及设备，该方法包括：提取X光影像中的胸部区域掩膜图，将掩膜图输入到预先训练好的深度学习模型的卷积神经网络进行编码抽取位置特征信息，获得第一特征向量xmask；对X光影像进行在线数据增强，将增强后的X光影像输入到深度学习模型的DenSeNet网络进行特征提取，每张X光影像获得第二特征向量xdense；将第一特征向量xmask与第二特征向量xdense结合，得到第三特征向量xi＝(xmask,xdense)，将第三特征向量xi输入到深度学习模型的全连接网络，获得肺部疾病的第一分类结果。
Description
技术领域
本发明涉及人工智能技术领域，尤其是涉及一种基于深度学习模型和X光影像的肺部疾病分类方法、装置及设备。
背景技术
在胸部疾病诊断当中，胸部X-Ray影像是最常用检查方法之一，每年由超过20亿人进行胸部X光检查。这对于胸部疾病的筛查、诊断和治疗至关重要。
但与此同时，胸部X光影像的疾病识别属于多标签分类问题，往往同一个病人产生多种疾病征象。这对于计算机的自动化识别是一项巨大的挑战。
发明内容
本发明的目的在于提供一种基于深度学习模型和X光影像的肺部疾病分类方法、装置及设备，旨在解决现有技术中的上述问题。
本发明提供一种基于深度学习模型和X光影像的肺部疾病分类方法，包括：
提取X光影像中的胸部区域掩膜图，将掩膜图输入到预先训练好的深度学习模型的卷积神经网络进行编码抽取位置特征信息，获得第一特征向量xmask；
对X光影像进行在线数据增强，将增强后的X光影像输入到深度学习模型的DenSeNet网络进行特征提取，每张X光影像获得第二特征向量xdense；
将第一特征向量xmask与第二特征向量xdense结合，得到第三特征向量xi＝(xmask,xdense)，将第三特征向量xi输入到深度学习模型的全连接网络，获得肺部疾病的第一分类结果。
本发明提供一种基于深度学习模型和X光影像的肺部疾病分类系统，包括：
提取单元，用于提取X光影像中的胸部区域掩膜图；
卷积神经网络单元，用于将掩膜图输入到预先训练好的深度学习模型的卷积神经网络进行编码抽取位置特征信息，获得第一特征向量xmask；
数据增强单元，用于对X光影像进行在线数据增强；
DenSeNet网络单元，用于将增强后的X光影像输入到深度学习模型的DenSeNet网络进行特征提取，每张X光影像获得第二特征向量xdense；
全连接网络单元，用于将第一特征向量xmask与第二特征向量xdense结合，得到第三特征向量xi＝(xmask,xdense)，将第三特征向量xi输入到深度学习模型的全连接网络，获得肺部疾病的第一分类结果。
本发明实施例还提供一种基于深度学习模型和X光影像的肺部疾病分类设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现上述基于深度学习模型和X光影像的肺部疾病分类方法的步骤。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有信息传递的实现程序，程序被处理器执行时实现上述基于深度学习模型和X光影像的肺部疾病分类方法的步骤。
采用本发明实施例，通过将传统图像处理得到的肺部区域掩膜图送入第一个深度学习网络提取特征，将该特征做为输入与DenseNet提取的X影像特征结合起来，用于最后的分类，解决了现有技术中胸部X光影像疾病识别的多标签分类问题，能够获得准确的肺部疾病分类结果，为医生提供实质性帮助，减轻医生的工作压力，避免经验不足带来的诊断偏差。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的基于深度学习模型和X光影像的肺部疾病分类方法的流程图；
图2是本发明实施例的基于深度学习模型和X光影像的肺部疾病分类方法的结构框图；
图3是本发明实施例的基于深度学习模型和X光影像的肺部疾病分类系统的示意图；
图4是本发明实施例的基于深度学习模型和X光影像的肺部疾病分类设备的示意图。
具体实施方式
随着计算机和数字图像处理技术的发展，出现了许多算法用于从X光图像识别疾病，帮助医生诊断。尤其深度学习算法的大面积推广，给图像算法带来新的有力手段。本发明实施例结合传统图像处理方法和深度学习方法解决X光影像的多标签疾病分类问题。
基于公开的胸部X光图像数据集，研究使用结合传统图像处理方法和深度学习网络结构的多标签疾病识别算法，提高胸部X光影像的诊断水平。该胸部X光公开数据集来自于美国国立卫生研究院。随着深度学习的推广，有很多基于深度学习的方法被用于X光的疾病识别上，其中一些研究表明如果能知道胸部的位置信息有助于提升识别精度，但位置信息往往需要费时费力的标注。本发明实施例使用深度学习和传统图像处理结合的方法，用传统图像处理提取肺部的位置信息，并结合深度学习方法识别胸部X光疾病。
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“坚直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。此外，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
方法实施例
根据本发明实施例，提供了一种基于深度学习模型和X光影像的肺部疾病分类方法：
本发明实施例在结合传统的图像处理方法和深度学习方法构建一个针对胸部X光数据的多标签疾病识别模型，辅助医生筛查、诊断疾病。
首先对本发明实施例在数据训练时使用的数据进行介绍。本发明实施例使用的X光数据来自于在美国国立卫生研究院公开的ChestXRay-14数据集。该数据集包含来自30805位病人的112120张胸部X光数据，平均每个病人3.6张图像。疾病类别为14类：Atelectasis,Cardiomegaly,Effusion,Infiltration,Mass,Nodule,Pneumonia,Edema,Pneumothorax,Consolidation,Emphysema,Fibrosis,Pleural Thickening,Hernia。数据集的标签由自然语言处理的分类器从疾病诊断报告中提取。官方将数据集分为训练集和测试集两部分，两部分数据集中不包含来自同一位病人的图像，即一位病人的X光图像只出现于训练集或者验证集中。训练集包含86524张图像，测试集包含25596张图像。
本发明实施例采用上述数据集对深度学习模型进行训练，深度学习模型包括一个卷积神经网络模型，一个DenSeNet网络以及一个全连接网络，在进行全连接网络训练时，由于X光疾病识别是一个多标签分类问题，因此采用Binary Cross Entropy Loss函数计算损失，即公式1。整个过程可以进行端到端的训练。在训练时，本发明实施例使用Adam优化器，初始学习率0.0001，学习率变化策略采用余弦变化。
其中，y表示真实标签，由1和0表示，
表示模型最后输出的标签，为0-1之间的一个数。
此外，本发明采用十折交叉验证的方法进行训练，每一轮交叉验证的训练数据都不一样，因此也会得到不同的深度学习模型。
图1是本发明实施例的基于深度学习模型和X光影像的肺部疾病分类方法的流程图，如图1所示，根据本发明实施例的基于深度学习模型和X光影像的肺部疾病分类方法具体包括：
步骤101，提取X光影像中的胸部区域掩膜图，将掩膜图输入到预先训练好的深度学习模型的卷积神经网络进行编码抽取位置特征信息，获得第一特征向量xmask；在步骤101中，提取X光影像中的胸部区域掩膜图具体包括：
对X光影像进行高斯模糊处理，对模糊后的X光影像使用大津算法获取阈值，对X光影像进行阈值分割；使用图像形态学的腐蚀操作处理阈值分割后的X光影像，使得X光影像的肺部区域与其他部分不联通；使用边缘检测算法获取X光影像中各个分割部分的检测框，筛选出左肺和右肺的检测框，使用每个检测框的角点与图像长宽比进行比较，确定检测框是否位于中心从而筛选出位于中心区域的检测框，将其作为胸部区域的检测框；获取检测框后，得到X光影像中的胸部区域的二值化掩膜图。
步骤102，对X光影像进行在线数据增强，将增强后的X光影像输入到深度学习模型的DenSeNet网络进行特征提取，每张X光影像获得第二特征向量xdense；在步骤102中，对X光影像进行在线数据增强具体包括：
使用上下翻转和/或左右翻转的方式进行在线数据增强。
步骤103，将第一特征向量xmask与第二特征向量xdense结合，得到第三特征向量xi＝(xmask,xdense)，将第三特征向量xi输入到深度学习模型的全连接网络，获得肺部疾病的第一分类结果。
为了使分类结果更加稳定，本发明实施例的技术方案还包括以下处理：
方法一：将增强后的X光影像输入到深度学习模型的EfficientNet网络进行特征提取，每张X光影像获得第四特征向量xdense；将第一特征向量xmask与第四特征向量xdense结合，得到第五特征向量xi＝(xmask,xdense)，将第五特征向量xi输入到深度学习模型的全连接网络，获得肺部疾病的第二分类结果；将第一分类结果和第二分类结果进行融合，获取最终的肺部疾病的分类结果。
方法二：将掩膜图输入到与深度学习模型仅仅采用不同的训练数据训练得到的结构相同的其他多个深度学习模型中，执行步骤101-103的处理，获得肺部疾病的多个不同的分类结果，将第一分类结果与多个不同的分类结果进行融合，获取最终的肺部疾病的分类结果。
以下结合附图，对本发明实施例的上述技术方案进行详细说明。
图2是本发明实施例的基于深度学习模型和X光影像的肺部疾病分类方法的结构框图，如图2所示，本发明实施例的技术方案包括两部分，第一部分是传统的图像处理方法提取X光影像中的胸部区域掩膜图。然后将掩膜图做为attention输入到第二部分的主干网络。第二部分使用DenseNet提取X光图像的特征。DenseNet采用密集连接的方式将深层和浅层特征结合起来，丰富了提取的特征且可以有效避免梯度消失问题。在第二部分中DenseNet提取的特征与Mask的信息结合起来用于分类。
具体包括如下处理：
步骤1，胸部区域MASK提取。
首先进行高斯模糊处理，模糊后使用大津算法(OTSU)获取阈值，对图像进行阈值分割。之后使用图像形态学的腐蚀操作处理图像，使得肺部区域不与其他部分联通。接下来使用边缘检测算法获取图像中各个分割部分的检测框。此时包含多个检测框，需要筛选出左肺和右肺的检测框。由于绝大多数影像中胸部区域为图像中心区域，因此使用每个检测框的角点与图像长宽比进行比较，确定检测框是否位于中心从而筛选出位于中心区域的框。此时就获得了胸部区域的检测框，即胸部的位置信息。获取检测框后可以得到一个二值化掩膜图，将掩膜图输入一个5层的卷积神经网络进行编码抽取位置特征信息，前四层的每一层卷积操作后跟BatchNormalization层、ReLU层和最大值池化，最后一层使用平均池化层。最后每个掩膜图可以获得一个1024维的特征向量xmask。
步骤2，在线数据增强。
数据增强已成为深度学习中必不可少的防止或减轻过拟合的手段，本发明实施例使用的增强的处理方式包括上下翻转、左右翻转等。
步骤3，提取X光图像特征与分类。
为了更好地描述图像所包含的内容，需要将输入图像转化为向量的形式，即进行特征提取。X光图像经过在线随机增强后，输入到DenSeNet121网络提取特征。每张图像可以获得一个1024维的特征向量xdense。将xmask与xdense连接在一起可以得到一个2048维的特征向量xi＝(xmask，xdense)，该特征向量经过一个2层的全连接网络即可获得分类结果。由于X光疾病识别是一个多标签分类问题，因此这里采用Binary Cross Entropy Loss函数计算损失(公式1)。整个过程可以进行端到端的训练。在训练时，本发明实施例使用Adam优化器，初始学习率0.0001，学习率变化策略采用余弦变化。
步骤4，多模型融合。
在采用了数据增强方式后，仍然存在一定程度的过拟合现象，为此采用多模型融合的策略稳定最后输出结果。多模型来自两种处理：第一种是使用不同的骨干网络，这里本发明实施例使用EfficientNet做为第二个网络用于从X光图像中提取特征向量并获取分类结果；第二种是交叉验证，本发明实施例在深度学习模型训练时，采用十折交叉验证，每一轮交叉验证的训练数据都不一样，因此也会得到不同的模型。在预测测试集的数据时，将多个模型输出的结果进行平均即得到多模型融合的结果。
本发明实施例的技术方案通过在ChestXray14数据集上的实验，本发明所提出的基于深度学习和传统图像处理的X光图像疾病识别方法具有较好的表现。具体来说，测试集中，本文算法达到了平均AUC 0.8468的表现。
综上所述，本发明实施例在训练分类模型的过程中，将传统图像处理得到的肺部区域掩膜图送入第一个深度学习网络提取特征，将该特征做为attention与DenseNet提取的X影像特征结合起来，用于最后的分类。肺部区域图像可以更好的让网络聚焦于肺部区域，提升模型的分类性能。最后通过不同网络模型和交叉验证的方式获取多个不同的模型参数，并对多个模型的结果进行融合，以此减轻数据量过少导致的模型表现不稳定的问题。
系统实施例
根据本发明实施例，提供了一种基于深度学习模型和X光影像的肺部疾病分类系统：
本发明实施例在结合传统的图像处理方法和深度学习方法构建一个针对胸部X光数据的多标签疾病识别模型，辅助医生筛查、诊断疾病。
首先对本发明实施例在数据训练时使用的数据进行介绍。本发明实施例使用的X光数据来自于在美国国立卫生研究院公开的ChestXRay-14数据集。该数据集包含来自30805位病人的112120张胸部X光数据，平均每个病人3.6张图像。疾病类别为14类：Atelectasis,Cardiomegaly,Effusion,Infiltration,Mass,Nodule,Pneumonia,Edema,Pneumothorax,Consolidation,Emphysema,Fibrosis,Pleural Thickening,Hernia。数据集的标签由自然语言处理的分类器从疾病诊断报告中提取。官方将数据集分为训练集和测试集两部分，两部分数据集中不包含来自同一位病人的图像，即一位病人的X光图像只出现于训练集或者验证集中。训练集包含86524张图像，测试集包含25596张图像。
本发明实施例采用上述数据集对深度学习模型进行训练，深度学习模型包括一个卷积神经网络模型，一个DenSeNet网络以及一个全连接网络，在进行全连接网络训练时，由于X光疾病识别是一个多标签分类问题，因此采用Binary Cross Entropy Loss函数计算损失，即公式1。整个过程可以进行端到端的训练。在训练时，本发明实施例使用Adam优化器，初始学习率0.0001，学习率变化策略采用余弦变化。
其中，y表示真实标签，由1和0表示，
表示模型最后输出的标签，为0-1之间的一个数。
此外，本发明采用十折交叉验证的方法进行训练，每一轮交叉验证的训练数据都不一样，因此也会得到不同的深度学习模型。
图3是本发明实施例的基于深度学习模型和X光影像的肺部疾病分类系统的示意图，如图3所示，根据本发明实施例的基于深度学习模型和X光影像的肺部疾病分类系统具体包括：
提取单元30，用于提取X光影像中的胸部区域掩膜图；提取单元30具体用于：
对X光影像进行高斯模糊处理，对模糊后的X光影像使用大津算法获取阈值，对X光影像进行阈值分割；使用图像形态学的腐蚀操作处理阈值分割后的X光影像，使得X光影像的肺部区域与其他部分不联通；使用边缘检测算法获取X光影像中各个分割部分的检测框，筛选出左肺和右肺的检测框，使用每个检测框的角点与图像长宽比进行比较，确定检测框是否位于中心从而筛选出位于中心区域的检测框，将其作为胸部区域的检测框；获取检测框后，得到X光影像中的胸部区域的二值化掩膜图；
卷积神经网络单元32，用于将掩膜图输入到预先训练好的深度学习模型的卷积神经网络进行编码抽取位置特征信息，获得第一特征向量xmask；
数据增强单元34，用于对X光影像进行在线数据增强；数据增强单元34具体用于：使用上下翻转和/或左右翻转的方式进行在线数据增强。
DenSeNet网络单元36，用于将增强后的X光影像输入到深度学习模型的DenSeNet网络进行特征提取，每张X光影像获得第二特征向量xdense；
全连接网络单元38，用于将第一特征向量xmask与第二特征向量xdense结合，得到第三特征向量xi＝(xmask,xdense)，将第三特征向量xi输入到深度学习模型的全连接网络，获得肺部疾病的第一分类结果。
为了稳定输出的分类结果，系统进一步包括：
EfficientNet网络单元，用于将增强后的X光影像输入到深度学习模型的EfficientNet网络进行特征提取，每张X光影像获得第四特征向量xdense；
全连接网络单元38进一步用于：将第一特征向量xmask与第四特征向量xdense结合，得到第五特征向量xi＝(xmask,xdense)，将第五特征向量xi输入到深度学习模型的全连接网络，获得肺部疾病的第二分类结果；
融合单元，用于将第一分类结果和第二分类结果进行融合，获取最终的肺部疾病的分类结果；
获取单元，用于将掩膜图输入到与深度学习模型仅仅采用不同的训练数据训练得到的结构相同的其他多个深度学习模型中，获得肺部疾病的多个不同的分类结果；
融合单元进一步用于，将第一分类结果与多个不同的分类结果进行融合，获取最终的肺部疾病的分类结果。
本发明实施例是与上述方法实施例对应的系统实施例，各个模块的具体处理可以参照上述方法实施例的描述进行理解，在此不再赘述。
装置实施例一
本发明实施例提供一种基于深度学习模型和X光影像的肺部疾病分类设备，如图4所示，包括：存储器40、处理器42及存储在所述存储器40上并可在所述处理器42上运行的计算机程序，所述计算机程序被所述处理器42执行时实现如下方法步骤：
步骤101，提取X光影像中的胸部区域掩膜图，将掩膜图输入到预先训练好的深度学习模型的卷积神经网络进行编码抽取位置特征信息，获得第一特征向量xmask；在步骤101中，提取X光影像中的胸部区域掩膜图具体包括：
对X光影像进行高斯模糊处理，对模糊后的X光影像使用大津算法获取阈值，对X光影像进行阈值分割；使用图像形态学的腐蚀操作处理阈值分割后的X光影像，使得X光影像的肺部区域与其他部分不联通；使用边缘检测算法获取X光影像中各个分割部分的检测框，筛选出左肺和右肺的检测框，使用每个检测框的角点与图像长宽比进行比较，确定检测框是否位于中心从而筛选出位于中心区域的检测框，将其作为胸部区域的检测框；获取检测框后，得到X光影像中的胸部区域的二值化掩膜图。
步骤102，对X光影像进行在线数据增强，将增强后的X光影像输入到深度学习模型的DenSeNet网络进行特征提取，每张X光影像获得第二特征向量xdense；在步骤102中，对X光影像进行在线数据增强具体包括：
使用上下翻转和/或左右翻转的方式进行在线数据增强。
步骤103，将第一特征向量xmask与第二特征向量xdense结合，得到第三特征向量xi＝(xmask,xdense)，将第三特征向量xi输入到深度学习模型的全连接网络，获得肺部疾病的第一分类结果。
为了使分类结果更加稳定，本发明实施例的技术方案还包括以下处理：
方法一：将增强后的X光影像输入到深度学习模型的EfficientNet网络进行特征提取，每张X光影像获得第四特征向量xdense；将第一特征向量xmask与第四特征向量xdense结合，得到第五特征向量xi＝(xmask,xdense)，将第五特征向量xi输入到深度学习模型的全连接网络，获得肺部疾病的第二分类结果；将第一分类结果和第二分类结果进行融合，获取最终的肺部疾病的分类结果。
方法二：将掩膜图输入到与深度学习模型仅仅采用不同的训练数据训练得到的结构相同的其他多个深度学习模型中，执行步骤101-103的处理，获得肺部疾病的多个不同的分类结果，将第一分类结果与多个不同的分类结果进行融合，获取最终的肺部疾病的分类结果。
装置实施例二
本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传输的实现程序，所述程序被处理器42执行时实现如下方法步骤：
步骤101，提取X光影像中的胸部区域掩膜图，将掩膜图输入到预先训练好的深度学习模型的卷积神经网络进行编码抽取位置特征信息，获得第一特征向量xmask；在步骤101中，提取X光影像中的胸部区域掩膜图具体包括：
对X光影像进行高斯模糊处理，对模糊后的X光影像使用大津算法获取阈值，对X光影像进行阈值分割；使用图像形态学的腐蚀操作处理阈值分割后的X光影像，使得X光影像的肺部区域与其他部分不联通；使用边缘检测算法获取X光影像中各个分割部分的检测框，筛选出左肺和右肺的检测框，使用每个检测框的角点与图像长宽比进行比较，确定检测框是否位于中心从而筛选出位于中心区域的检测框，将其作为胸部区域的检测框；获取检测框后，得到X光影像中的胸部区域的二值化掩膜图。
步骤102，对X光影像进行在线数据增强，将增强后的X光影像输入到深度学习模型的DenSeNet网络进行特征提取，每张X光影像获得第二特征向量xdense；在步骤102中，对X光影像进行在线数据增强具体包括：
使用上下翻转和/或左右翻转的方式进行在线数据增强。
步骤103，将第一特征向量xmask与第二特征向量xdense结合，得到第三特征向量xi＝(xmask,xdense)，将第三特征向量xi输入到深度学习模型的全连接网络，获得肺部疾病的第一分类结果。
为了使分类结果更加稳定，本发明实施例的技术方案还包括以下处理：
方法一：将增强后的X光影像输入到深度学习模型的EfficientNet网络进行特征提取，每张X光影像获得第四特征向量xdense；将第一特征向量xmask与第四特征向量xdense结合，得到第五特征向量xi＝(xmask,xdense)，将第五特征向量xi输入到深度学习模型的全连接网络，获得肺部疾病的第二分类结果；将第一分类结果和第二分类结果进行融合，获取最终的肺部疾病的分类结果。
方法二：将掩膜图输入到与深度学习模型仅仅采用不同的训练数据训练得到的结构相同的其他多个深度学习模型中，执行步骤101-103的处理，获得肺部疾病的多个不同的分类结果，将第一分类结果与多个不同的分类结果进行融合，获取最终的肺部疾病的分类结果。
综上所述，本发明实施例在训练分类模型的过程中，将传统图像处理得到的肺部区域掩膜图送入第一个深度学习网络提取特征，将该特征做为attention与DenseNet提取的X影像特征结合起来，用于最后的分类。肺部区域图像可以更好的让网络聚焦于肺部区域，提升模型的分类性能。最后通过不同网络模型和交叉验证的方式获取多个不同的模型参数，并对多个模型的结果进行融合，以此减轻数据量过少导致的模型表现不稳定的问题。
本实施例所述计算机可读存储介质包括但不限于为：ROM、RAM、磁盘或光盘等。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种基于深度学习模型和X光影像的肺部疾病分类方法，其特征在于，包括：
提取X光影像中的胸部区域掩膜图，将所述掩膜图输入到预先训练好的深度学习模型的卷积神经网络进行编码抽取位置特征信息，获得第一特征向量xmask；
对所述X光影像进行在线数据增强，将增强后的X光影像输入到所述深度学习模型的DenSeNet网络进行特征提取，每张X光影像获得第二特征向量xdense；
将第一特征向量xmask与第二特征向量xdense结合，得到第三特征向量xi＝(xmask,xdense)，将第三特征向量xi输入到所述深度学习模型的全连接网络，获得肺部疾病的第一分类结果。
2.根据权利要求1所述的方法，其特征在于，提取X光影像中的胸部区域掩膜图具体包括：
对X光影像进行高斯模糊处理，对模糊后的X光影像使用大津算法获取阈值，对X光影像进行阈值分割；
使用图像形态学的腐蚀操作处理阈值分割后的X光影像，使得X光影像的肺部区域与其他部分不联通；
使用边缘检测算法获取X光影像中各个分割部分的检测框，筛选出左肺和右肺的检测框，使用每个检测框的角点与图像长宽比进行比较，确定检测框是否位于中心从而筛选出位于中心区域的检测框，将其作为胸部区域的检测框；
获取检测框后，得到X光影像中的胸部区域的二值化掩膜图。
3.根据权利要求1所述的方法，其特征在于，对所述X光影像进行在线数据增强具体包括：
使用上下翻转和/或左右翻转的方式进行在线数据增强。
4.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：
将增强后的X光影像输入到所述深度学习模型的EfficientNet网络进行特征提取，每张X光影像获得第四特征向量xdense；
将第一特征向量xmask与第四特征向量xdense结合，得到第五特征向量xi＝(xmask,xdense)，将第五特征向量xi输入到所述深度学习模型的全连接网络，获得肺部疾病的第二分类结果；
将第一分类结果和第二分类结果进行融合，获取最终的肺部疾病的分类结果。
5.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：
将所述掩膜图输入到与所述深度学习模型仅仅采用不同的训练数据训练得到的结构相同的其他多个深度学习模型中，获得肺部疾病的多个不同的分类结果，将所述第一分类结果与所述多个不同的分类结果进行融合，获取最终的肺部疾病的分类结果。
6.一种基于深度学习模型和X光影像的肺部疾病分类系统，其特征在于，包括：
提取单元，用于提取X光影像中的胸部区域掩膜图；
卷积神经网络单元，用于将所述掩膜图输入到预先训练好的深度学习模型的卷积神经网络进行编码抽取位置特征信息，获得第一特征向量xmask；
数据增强单元，用于对所述X光影像进行在线数据增强；
DenSeNet网络单元，用于将增强后的X光影像输入到所述深度学习模型的DenSeNet网络进行特征提取，每张X光影像获得第二特征向量xdense；
全连接网络单元，用于将第一特征向量xmask与第二特征向量xdense结合，得到第三特征向量xi＝(xmask,xdense)，将第三特征向量xi输入到所述深度学习模型的全连接网络，获得肺部疾病的第一分类结果。
7.根据权利要求6所述的系统，其特征在于，
所述提取单元具体用于：
对X光影像进行高斯模糊处理，对模糊后的X光影像使用大津算法获取阈值，对X光影像进行阈值分割；
使用图像形态学的腐蚀操作处理阈值分割后的X光影像，使得X光影像的肺部区域与其他部分不联通；
使用边缘检测算法获取X光影像中各个分割部分的检测框，筛选出左肺和右肺的检测框，使用每个检测框的角点与图像长宽比进行比较，确定检测框是否位于中心从而筛选出位于中心区域的检测框，将其作为胸部区域的检测框；
获取检测框后，得到X光影像中的胸部区域的二值化掩膜图；
所述数据增强单元具体用于：
使用上下翻转和/或左右翻转的方式进行在线数据增强。
8.根据权利要求6所述的系统，其特征在于，所述系统进一步包括：
EfficientNet网络单元，用于将增强后的X光影像输入到所述深度学习模型的EfficientNet网络进行特征提取，每张X光影像获得第四特征向量xdense；
所述全连接网络单元进一步用于：将第一特征向量xmask与第四特征向量xdense结合，得到第五特征向量xi＝(xmask,xdense)，将第五特征向量xi输入到所述深度学习模型的全连接网络，获得肺部疾病的第二分类结果；
融合单元，用于将第一分类结果和第二分类结果进行融合，获取最终的肺部疾病的分类结果；
获取单元，用于将所述掩膜图输入到与所述深度学习模型仅仅采用不同的训练数据训练得到的结构相同的其他多个深度学习模型中，获得肺部疾病的多个不同的分类结果；
所述融合单元进一步用于，将所述第一分类结果与所述多个不同的分类结果进行融合，获取最终的肺部疾病的分类结果。
9.一种基于深度学习模型和X光影像的肺部疾病分类设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的基于深度学习模型和X光影像的肺部疾病分类方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现如权利要求1至5中任一项所述的基于深度学习模型和X光影像的肺部疾病分类方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010493014.7A CN111667469B (zh) | 2020-06-03 | 2020-06-03 | 肺部疾病分类方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010493014.7A CN111667469B (zh) | 2020-06-03 | 2020-06-03 | 肺部疾病分类方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111667469A true CN111667469A (zh) | 2020-09-15 |
| CN111667469B CN111667469B (zh) | 2023-10-31 |
Family
ID=72385573
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010493014.7A Active CN111667469B (zh) | 2020-06-03 | 2020-06-03 | 肺部疾病分类方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111667469B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112669312A (zh) * | 2021-01-12 | 2021-04-16 | 中国计量大学 | 一种基于深度特征对称融合的胸片肺炎检测方法及系统 |
| CN116109655A (zh) * | 2023-01-16 | 2023-05-12 | 阿里巴巴（中国）有限公司 | 图像编码器处理方法及装置、图像分割方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108171232A (zh) * | 2017-11-15 | 2018-06-15 | 中山大学 | 基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法 |
| CN110210543A (zh) * | 2019-05-24 | 2019-09-06 | 上海联影智能医疗科技有限公司 | 图像分类系统、方法、设备和存储介质 |
| WO2019192397A1 (zh) * | 2018-04-04 | 2019-10-10 | 华中科技大学 | 一种任意形状的场景文本端到端识别方法 |
| CN110599448A (zh) * | 2019-07-31 | 2019-12-20 | 浙江工业大学 | 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统 |
| CN110598782A (zh) * | 2019-09-06 | 2019-12-20 | 上海杏脉信息科技有限公司 | 一种训练用于医学影像的分类网络的方法与装置 |
-
2020
- 2020-06-03 CN CN202010493014.7A patent/CN111667469B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108171232A (zh) * | 2017-11-15 | 2018-06-15 | 中山大学 | 基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法 |
| WO2019192397A1 (zh) * | 2018-04-04 | 2019-10-10 | 华中科技大学 | 一种任意形状的场景文本端到端识别方法 |
| CN110210543A (zh) * | 2019-05-24 | 2019-09-06 | 上海联影智能医疗科技有限公司 | 图像分类系统、方法、设备和存储介质 |
| CN110599448A (zh) * | 2019-07-31 | 2019-12-20 | 浙江工业大学 | 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统 |
| CN110598782A (zh) * | 2019-09-06 | 2019-12-20 | 上海杏脉信息科技有限公司 | 一种训练用于医学影像的分类网络的方法与装置 |
Non-Patent Citations (2)
| Title |
|---|
| KUN QIAN, ET AL: "Classification of the Excitation Location of Snore Sounds in the Upper Airway by Acoustic Multifeature Analysis", IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING * |
| 周进凡;张荣芬;马治楠;葛自立;刘宇红;: "基于深度学习的胸部X光影像分析系统", 电子技术应用, no. 11 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112669312A (zh) * | 2021-01-12 | 2021-04-16 | 中国计量大学 | 一种基于深度特征对称融合的胸片肺炎检测方法及系统 |
| CN116109655A (zh) * | 2023-01-16 | 2023-05-12 | 阿里巴巴（中国）有限公司 | 图像编码器处理方法及装置、图像分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111667469B (zh) | 2023-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110232383B (zh) | 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统 | |
| CN109461495B (zh) | 一种医学图像的识别方法、模型训练的方法及服务器 | |
| Mansilla et al. | Learning deformable registration of medical images with anatomical constraints | |
| US20200327721A1 (en) | Autonomous level identification of anatomical bony structures on 3d medical imagery | |
| Gridach | PyDiNet: Pyramid dilated network for medical image segmentation | |
| CN113888475A (zh) | 图像检测方法及相关模型的训练方法、相关装置和设备 | |
| CN111667469A (zh) | 肺部疾病分类方法、装置及设备 | |
| CN114092450A (zh) | 一种基于胃镜检查视频的实时图像分割方法、系统、装置 | |
| Lin et al. | Batformer: Towards boundary-aware lightweight transformer for efficient medical image segmentation | |
| CN115272647A (zh) | 一种肺部图像的识别处理方法及系统 | |
| CN115147636A (zh) | 基于胸部x光图像肺部疾病识别和分类方法 | |
| Chen et al. | Adaptive distribution learning with statistical hypothesis testing for COVID-19 CT scan classification | |
| CN112381818B (zh) | 面向亚类疾病的医学图像识别增强方法 | |
| CN113743280A (zh) | 一种脑神经元电子显微镜图像卷分割方法、装置以及存储介质 | |
| CN113822323A (zh) | 脑部扫描图像的识别处理方法、装置、设备及存储介质 | |
| CN113610746A (zh) | 一种图像处理方法、装置、计算机设备及存储介质 | |
| CN116797817A (zh) | 基于自监督图卷积模型的自闭症疾病预测技术 | |
| CN113554641B (zh) | 一种儿科咽部图像采集方法及装置 | |
| Xu et al. | A pilot study to utilize a deep convolutional network to segment lungs with complex opacities | |
| Subramanian et al. | Design and Evaluation of a Deep Learning Aided Approach for Kidney Stone Detection in CT scan Images | |
| CN112349429A (zh) | 疾病预测方法、疾病预测模型训练方法及装置、存储介质 | |
| Xu et al. | Correlation via synthesis: End-to-end image generation and radiogenomic learning based on generative adversarial network | |
| CN111598870A (zh) | 基于卷积神经网络端对端推理计算冠状动脉钙化比的方法 | |
| Lei et al. | GNN-fused CapsNet with multi-head prediction for diabetic retinopathy grading | |
| CN117975170B (zh) | 基于大数据的医疗信息处理方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |