CN113449791B - 基于深度学习的肺炎图像分类方法及系统 - Google Patents
基于深度学习的肺炎图像分类方法及系统 Download PDFInfo
- Publication number
- CN113449791B CN113449791B CN202110719421.XA CN202110719421A CN113449791B CN 113449791 B CN113449791 B CN 113449791B CN 202110719421 A CN202110719421 A CN 202110719421A CN 113449791 B CN113449791 B CN 113449791B
- Authority
- CN
- China
- Prior art keywords
- image
- pneumonia
- lung
- follows
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 206010035664 Pneumonia Diseases 0.000 title claims abstract description 102
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000013135 deep learning Methods 0.000 title claims abstract description 21
- 210000004072 lung Anatomy 0.000 claims abstract description 99
- 230000006870 function Effects 0.000 claims abstract description 46
- 238000007781 pre-processing Methods 0.000 claims abstract description 16
- 238000005457 optimization Methods 0.000 claims abstract description 13
- 230000004927 fusion Effects 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000011157 data evaluation Methods 0.000 claims abstract description 11
- 238000012986 modification Methods 0.000 claims abstract description 9
- 230000004048 modification Effects 0.000 claims abstract description 9
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 238000005516 engineering process Methods 0.000 claims abstract description 4
- 230000015654 memory Effects 0.000 claims description 27
- 238000012549 training Methods 0.000 claims description 25
- 238000011156 evaluation Methods 0.000 claims description 20
- 230000004913 activation Effects 0.000 claims description 18
- 230000008859 change Effects 0.000 claims description 18
- 230000009466 transformation Effects 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 230000001965 increasing effect Effects 0.000 claims description 9
- 210000003123 bronchiole Anatomy 0.000 claims description 7
- 208000007123 Pulmonary Atelectasis Diseases 0.000 claims description 6
- 238000003745 diagnosis Methods 0.000 claims description 6
- 230000002685 pulmonary effect Effects 0.000 claims description 6
- 238000010008 shearing Methods 0.000 claims description 6
- 230000008719 thickening Effects 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 206010003598 Atelectasis Diseases 0.000 claims description 3
- 206010035742 Pneumonitis Diseases 0.000 claims description 3
- 230000002146 bilateral effect Effects 0.000 claims description 3
- 210000000621 bronchi Anatomy 0.000 claims description 3
- 238000007596 consolidation process Methods 0.000 claims description 3
- 125000004122 cyclic group Chemical group 0.000 claims description 3
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 230000010412 perfusion Effects 0.000 claims description 3
- 201000003144 pneumothorax Diseases 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000005012 migration Effects 0.000 claims 1
- 238000013508 migration Methods 0.000 claims 1
- 238000004195 computer-aided diagnosis Methods 0.000 abstract description 7
- 238000013526 transfer learning Methods 0.000 abstract description 7
- 238000013507 mapping Methods 0.000 abstract 1
- 238000004422 calculation algorithm Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 4
- 208000019693 Lung disease Diseases 0.000 description 3
- 230000034994 death Effects 0.000 description 3
- 231100000517 death Toxicity 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000011976 chest X-ray Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 230000007787 long-term memory Effects 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 201000001178 Bacterial Pneumonia Diseases 0.000 description 1
- 206010020751 Hypersensitivity Diseases 0.000 description 1
- 206010061218 Inflammation Diseases 0.000 description 1
- 206010035737 Pneumonia viral Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 208000026935 allergic disease Diseases 0.000 description 1
- 230000007815 allergy Effects 0.000 description 1
- 239000003242 anti bacterial agent Substances 0.000 description 1
- 229940088710 antibiotic agent Drugs 0.000 description 1
- 230000001580 bacterial effect Effects 0.000 description 1
- 238000000546 chi-square test Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000036737 immune function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 230000004199 lung function Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 244000000010 microbial pathogen Species 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000003389 potentiating effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 208000005069 pulmonary fibrosis Diseases 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 229960005486 vaccine Drugs 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 208000009421 viral pneumonia Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- High Energy & Nuclear Physics (AREA)
- Radiology & Medical Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的肺炎图像分类方法及系统，属于医学影像分类处理领域，本发明要解决的技术问题为如何熟练运用计算机辅助诊断(CAD)技术，实现对x射线图像中患有肺炎的图像进行分类，采用的技术方案为：该方法是通过使用迁移学习作为初始化数据，对所选取的肺部x图像样本数据进行增强处理，提取样本特征之间的关联，再将提取到的样本特征映射到输出空间上进行肺部x图像的分类；具体如下：数据预处理；Lsception模型融合：通过Lsception模型对肺部x图像进行特征提取，通过提取的肺部特征完成对肺部x图像的预测分类；Lsception模型优化：通过优化器、损失函数、数据评估及超参数修改优化Lsception模型；评价预测结果。
Description
技术领域
本发明涉及医学影像分类处理领域，具体地说是一种基于深度学习的肺炎 图像分类方法及系统。
背景技术
肺炎是指肺内的细支气管、终来支气管、肺泡和肺间质的炎症，多是由于 病原微生物感染、理化因素刺激、免疫功能损伤以及过敏及药物因素所引起。 其中，细菌性和病毒性肺炎是最常见的肺炎，对儿童及老年人的健康威胁极大。 近年来，尽管应用强力的抗生素和有效的疫苗，但是肺炎总的病死率有所上升。 因此，肺炎仍是需要进行积极的治疗和预防的疾病。现如今造成5岁以下孩童 最高的死亡原因之一就是肺炎，造成约140万人死亡，约占全世界5岁以下儿 童的18％。在低收入国家的五大死亡原因位居榜首的就是肺炎。
肺部疾病检查手段很多，像胸透、胸片、胸部CT、磁共振成像(MRI)、肺 功能、支气管镜等都是常用检查方法，是有助于诊断肺疾病的CAD方案的常见 例子。尽管检测肺部疾病的方案手段有许多，但是医疗资源仍然匮乏。相比较 而言，胸部X光图像(CXRAY)的精确率不能完全等同于胸部CT、MRI的诊断。但 是，如今使用CXRAY仍然是最需要的放射学检查。
近两年来儿童时期患肺炎的概率增加，故如何熟练运用计算机辅助诊断 (CAD)技术，实现对x射线图像中患有肺炎的图像进行分类，帮助医生以及病人 识别到医学图像中不同类型的异常，从而可以更佳准确及时的对疾病进行分析 诊断是目前亟待解决的问题。
发明内容
本发明的技术任务是提供一种基于深度学习的肺炎图像分类方法及系统， 来解决如何熟练运用计算机辅助诊断(CAD)技术，实现对x射线图像中患有肺炎 的图像进行分类的问题。
本发明的技术任务是按以下方式实现的，一种基于深度学习的肺炎图像分 类方法，该方法是通过使用迁移学习(Transfer learning)作为初始化数据，对 所选取的肺部x图像样本数据进行增强处理，提取样本特征之间的关联，再将 提取到的样本特征映射到输出空间上进行肺部x图像的分类；具体如下：
数据预处理：获取肺部x图像数据集，对肺部x图像数据集中的训练集进 行数据预处理；
Lsception模型融合：通过Lsception模型对肺部x图像进行特征提取， 通过提取的肺部特征完成对肺部x图像的预测分类；
Lsception模型优化：通过优化器、损失函数、数据评估及超参数修改优 化Lsception模型；
评价预测结果：采用不同评价指标评价预测结果。
作为优选，数据预处理具体如下：
尺度变换：对肺部x图像进行尺度变换，尺度变换的缩放因子为1/255， 通过尺度变换将肺部x图像的长度和宽度放大或缩小，进而改变肺部x图像的 整体大小，并不是剪切图片；
旋转或反射变换：对肺部x图像进行随机旋转角度，即绕肺部x图像的中 心旋转角度，旋转角度的范围内为±7度；
宽度移动：对肺部x图像在水平方向上移动±0.2％～±0.5％；
高度移动：对肺部x图像在垂直方向上移动±0.2％～±0.5％；
剪切：对肺部x图像剪切范围为±0.2％；
缩放：随机对肺部x图像进行0.45倍的放大或缩小；
水平翻转图像：将肺部x图像再次进行水平方向的翻转。
作为优选，所述Lsception模型的体系结构是由36个卷积层和一个长短记 忆循环神经网络组成；将36个卷积层划分为14个模块，14个模块中除了第一 个模块和最后一个模块外，其余模块都具有线性残差连接，完全是基于深度可 分卷积层的卷积神经网络架构；36个卷积层总体划分为输入块、中间块和输出 块；
其中，输入块用于不断下采样，减少空间维度；
中间块用于不断分析，过滤特征；
输出块用于下降参数个数。
更优地，Lsception模型融合具体如下：
预处理后的肺部x图像输入到输入块，得出四维特征数据；
输出块输出的四维特征数据输入到中间块，输出四维肺炎特征数据；
中间块输出的四维肺炎特征数据输入到输出块，获取K个肺炎特征；
将K个肺炎特征输入到长短记忆循环神经网络，经历三个阶段，分别是忘 记阶段、选择记忆阶段及输出阶段，对肺炎图像的特征更加精确的识别。
更优地，预处理后的肺部x图像输入到输入块，具体如下：
(一)、传入尺寸为224*224的肺部x图像，经过两层卷积，从原始输入层 中提取肺炎x图像中基础特征；具体为：通过对肺部x图像处理，将两肺纹理 增粗、肺野内带可见斑片状阴影、密度不均匀、边缘模糊不清的基础特征提取 出来；在输入块中，第一个数字表示过滤器大小，第二个数字表示卷积核大小 (3*3)，最后一个数字表示步幅的大小(2*2)；同时，伴随RELU激活函数，增 强卷积层中提取出来特征的稀疏性，随之代表性，泛化能力也越强；
(二)、在经卷积处理时，分别学习feature channels间的关联关系与 feature单个channel内部空间上的关联关系，使用大量的1x1大小的卷积核 来重视学习；随后链接两层深度可分离卷积(SepConv)，对卷积层中提取的特 征图数量进行调整，最后通过池化层(Maxp)，运用2*2的步长降维提取重要特 征；
(三)、通过增加过滤器数量，减少参数数量，得出四维特征数据；
输出块输出的四维特征数据输入到中间块，具体如下：
运用三层过滤层为728，卷积核个数为3*3的深度可分离卷积，每层深度 可分离卷积后，都有RELU作为激活函数，重复8次的中间流，将肺炎胸片可见 细支气管壁增厚、肺门周围的线性高密度、细支气管周围实变、常为双侧以及 表现为斑片状肺膨胀不全、常合并支气管壁增厚和马赛克样肺灌注的进行深度 特征整合，输出四维肺炎特征数据。
更优地，中间块输出的四维肺炎特征数据输入到输出块，具体如下：
(1)、将中间块下深度提取的四维特征再进行两次深度可分离卷积(过滤 器个数分别为728、1024)伴随RELU激活函数，进一步下降参数个数；
(2)、将1x1 Conv输出的feature maps进行分割；
(3)、与两个高维深度可分卷积层(过滤器个数分别为1536、2048)结合， 伴随RELU激活函数，获取K个肺炎特征；
将K个肺炎特征输入到长短记忆循环神经网络，经历三个阶段，分别是忘 记阶段、选择记忆阶段及输出阶段，对肺炎图像的特征更加精确的识别，具体 如下：
①、K个肺炎特征中输出的四维结构中，将第三维和第四维进行相乘，转 换成LSTM可运行的三维结构进行读取；
②、将提取到的K个肺炎特征中一些重叠、不明确的特征的部分进行遗忘， 选择去记忆现在重要信息，最终学会运用将过去记忆与现在记忆合并来提高医 学诊断的真实性和有效性；
③、通过Lsception模型的肺炎图像特征提取完成后，通过四层dense全 连接，前三层神经元个数通过逐层2倍递减的速度下降，同时伴随RELU激活函 数，将以前的局部特征重新通过权值矩阵组装成完整的图；
④、最后一层通过选择sigmoid激活函数进行预测分类，并对其中超参数 进行微调。
作为优选，所述优化器采用RMSprop(均方根)优化器，通过RMSprop优 化器对参数进行自动调节，具体公式如下：
Tdv＝αTdv+(1-α)(dv)2；
Tdb＝αTdb+(1-α)(db)2；
其中，(dv)2及(db)2表示对向量的各个分量分别计算平方；Tdv与Tdb展 开也是一个向量，每个分量是权重dv、db对应分量值的平方的指数加权移动平 均；α控制加权平均数；v表示着在横轴上的参数,其变化率很小,所以dv的值 十分小,所以Tdv也小,而b在纵轴上波动很大,所以斜率在b方向上特别大，所 以这些微分中,db较大,dv较小；为均衡Tdv和Tdb之间变化幅度，从而更新参数 值V、b，V的除数是一个较小的数,总体来说,V的变化很大，V的变化通过如下 公式表示：
而b的除数是一个较大的数,b的更新就会被减缓，纵向的变化相对平缓， b的变化通过如下公式表示：
其中，γ表示超参数，用两个超参数γ是为了减缓参数下降时的摆动,并允 许你使用一个更大的学习率，加快算法速率；
所述损失函数具体如下：
设数据通过Lsception模型预测后的输出概率为
真实 标签值的概率为p＝[p1,p2,...,pt],；其中，t表示数据总数量，以 binary_crossentropy为基础，损失函数公式如下：
其中，x2表示衡量实际值与预测值的差异程度；p表示当前真实标签值；
表示当前预测标签值；L表示损失函数；
融合皮尔逊提出的特征选择的方法，公式为：
进一步，得出损失函数公式为：
数据评估及超参数修改具体如下：
通过对数据集划分，发现患有肺炎患者的数量明显高于正常数量的患者， 样本不平衡，通过计算训练集的不平衡比IR，公式如下：
其中，Max_class表示数据集中所占数量多的类别；Min_class代表数据集 中所占少的类别；
根据IR的值是否大于1.5来判断训练集的平衡性；数据集的不平衡会引起 分类性能的改变，为了更加合理均衡类别比，选择对权重值进行平衡，修改超 参数类别权重，公式如下：
Wm＝i_sum/(i_class*i_summ)；
其中，Wm表示每个类的最终计算得出的权重值；i_sum表示该类数据集中 所有样本量；i_class表示总样本中类别数目；i_summ表示在m类别所对应样 本数目。
作为优选，评价预测结果具体如下：
评价指标准确率(Accuracy)的目的为检测正确分类的正例个数占总样本 数之比，公式如下：
其中，TP表示标签和预测都为正常人的数量；FN表示标签为正常人，预测 为患有肺炎的数量；FP表示标签为患有肺炎，预测为正常人的数量；TN表示标 签和预测都为患有肺炎的数量；
精准率(Precision)反映为预测正例的样本数占正例的实例个数的比例， 目的是为了衡量“查准率”，公式如下：
召回率(Recall)反映预测为正例的样本数占所有正样本个数的比例，目 的是衡量“查全率”，公式如下：
为了能够评价不同算法优劣，在精准率(Precision)和召回率(Recall) 的基础上提出了F1值的概念，来对精准率(Precision)和召回率(Recall) 和Recall进行整体评价，公式如下：
其中，Precision表示精准率；Recall表示召回率。
一种基于深度学习的肺炎图像分类系统，该系统包括，
预处理模块，用于获取肺部x图像数据集，对肺部x图像数据集中的训练 集进行数据预处理；
融合模块，用于通过Lsception模型对肺部x图像进行特征提取，通过提 取的肺部特征完成对肺部x图像的预测分类；
优化模块，用于通过优化器、损失函数、数据评估及超参数修改优化 Lsception模型；
评价模块，用于采用不同评价指标评价预测结果。
一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储 有计算机程序，所述计算机程序可被处理器执行以实现如上述的基于深度学习 的肺炎图像分类方法。
本发明的基于深度学习的肺炎图像分类方法及系统具有以下优点：
(一)本发明可以实现对肺部x射线图像中患有肺炎的患者自动分类，采 用Lsception网络对数据的特征进行多次深度提取，最终选取最需要特征；在 训练集样本中，传统的交叉熵损失，无法更加均衡类别间的不匹配，本发明结 合了皮尔森的特征选择思想，融合两者损失函数之间相关性，优化该问题；
(二)本发明通过使用迁移学习(Transfer learning)作为初始化数据，对 所选取的样本数据进行增强，可以更好提取这些特征之间的关联，最后将提取 到的特征映射到输出空间上进行CXRAYs的处理与分类；
(三)迁移学习有关Xception模型结构，在原有基础上，本发明增加长短 期记忆算法(LSTM)，两者融合即Lsception模型，再通过训练图像数据集对网 络的batch_size、图像质量的增强等参数进行细化调整，以提高模型准确率和 泛化能力。最终运用神经网络注意机制对Lsception产生的特征进行合并分析， 并通过全连接层FC将特征归一化串联融合成融合特征；
(四)在运用binary_crossentropy时，可以比较误差，当其大的时候， 加快权重更新速度；当小的时候，权重更新慢，但是传统的交叉熵也存在一定 问题，虽然在特征可分上有显著优势，但是在向量内部之间有关类的相似性还 相对匮乏；本发明可以通过卡方检验，比较两个及两个以上样本(构成比)以及 两个分类变量的关联性分析，同时，可以计算出对于实际与预测频数的吻合程 度或拟合优度问题；
(五)样本不平衡，导致样本不是总体样本的无偏估计，从而可能导致我 模型预测能力下降，如果给少数类赋予非常高的类权重，算法很可能会偏向少 数类，并且会增加多数类中的错误，本发明可以通过调节样本权重来尝试解决 这个问题。
附图说明
下面结合附图对本发明进一步说明。
附图1为基于深度学习的肺炎图像分类方法的流程框图；
附图2为融合Lsception模型的示意图；
附图3为训练集中正常与患肺炎图像数量的柱形图；
附图4为沿损失变化的折线图；
附图5为准确率变化的折线图。
具体实施方式
参照说明书附图和具体实施例对本发明的基于深度学习的肺炎图像分类方 法及系统作以下详细地说明。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安 装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆 卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接连接， 也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普 通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1：
如附图1所示，本发明的基于深度学习的肺炎图像分类方法，该方法是通 过使用迁移学习(Transfer learning)作为初始化数据，对所选取的肺部x图像 样本数据进行增强处理，提取样本特征之间的关联，再将提取到的样本特征映 射到输出空间上进行肺部x图像的分类；具体如下：
S1、数据预处理：获取肺部x图像数据集，对肺部x图像数据集中的训练 集进行数据预处理；
S2、Lsception模型融合：通过Lsception模型对肺部x图像进行特征提 取，通过提取的肺部特征完成对肺部x图像的预测分类；
S3、Lsception模型优化：通过优化器、损失函数、数据评估及超参数修 改优化Lsception模型；
S4、评价预测结果：采用不同评价指标评价预测结果。
本实施例中步骤S1的数据预处理具体如下：
S101、尺度变换：对肺部x图像进行尺度变换，尺度变换的缩放因子为1/255， 通过尺度变换将肺部x图像的长度和宽度放大或缩小，进而改变肺部x图像的 整体大小，并不是剪切图片；
S102、旋转或反射变换：对肺部x图像进行随机旋转角度，即绕肺部x图 像的中心旋转角度，旋转角度的范围内为±7度；
S103、宽度移动：对肺部x图像在水平方向上移动±0.2％～±0.5％；
S104、高度移动：对肺部x图像在垂直方向上移动±0.2％～±0.5％；
S105、剪切：对肺部x图像剪切范围为±0.2％；
S106、缩放：随机对肺部x图像进行0.45倍的放大或缩小；
S107、水平翻转图像：将肺部x图像再次进行水平方向的翻转。
举例：
本实施例中主要用到的数据集是由Kermuny等人在2018年公开，该数据集 共有5863张x射线图像(JPEG)和两个类别(正常图像/患有肺炎图像)，来源 于广州市妇女儿童医疗中心1-5岁儿童患者。为了提高对于胸片准确性的分析 与评估，通过对质量进行筛选，总共收集和标记5856张胸部x射线图像。综合 考虑到，由于外部因素，例如：扫描位置、个人习惯以及患者有过其他疾病等 影响，造成了图像拍摄的不清晰，会在研究过程中，使图像进行增强，提高可 读取性，如下表：
在训练集中，针对图像进行缩放、增大变换。本实施例设置了缩放因子为 1/255，缩放的目的是把图像的长和宽放大或缩小，改变的图像的整体大小，并 不是剪切图片。旋转范围代表着图像在训练期间随机旋转的角度(绕图像的中 心旋转)，即7度。高度位移代表着图像在垂直方向上有0.2％程度的移动。宽 度位移与高度位移同理，只是角度从垂直方向变成了水平方向0.2％幅度的变化。 在以上增强图像过程中，会随机对尺寸进行0.45倍的放大或缩小，起到增强图 像的作用,最后需要将图像再次进行水平方向的翻转。
针对胸部x射线图像诊断分类，虽然深度可分卷积可以带来准确率的部分 提升，但是由于计算过程比较零散，现有的卷积神经网络实现它的效率都不高。 为更好实现Lsception在医学图像的泛化能力，如附图2所示，本实施例中步 骤S2的Lsception模型的体系结构是由36个卷积层和一个长短记忆循环神经 网络组成；将36个卷积层划分为14个模块，14个模块中除了第一个模块和最 后一个模块外，其余模块都具有线性残差连接，完全是基于深度可分卷积层的 卷积神经网络架构；36个卷积层总体划分为输入块、中间块和输出块；其中， 输入块用于不断下采样，减少空间维度；中间块用于不断分析，过滤特征；输出块用于下降参数个数。
本实施例中步骤S2上午Lsception模型融合具体如下：
S201、预处理后的肺部x图像输入到输入块，得出四维特征数据；
S202、输出块输出的四维特征数据输入到中间块，输出四维肺炎特征数据；
S203、中间块输出的四维肺炎特征数据输入到输出块，获取K个肺炎特征；
S204、将K个肺炎特征输入到长短记忆循环神经网络，经历三个阶段，分 别是忘记阶段、选择记忆阶段及输出阶段，对肺炎图像的特征更加精确的识别。
本实施例中步骤S201的预处理后的肺部x图像输入到输入块，具体如下：
(一)、传入尺寸为224*224的肺部x图像，经过两层卷积，从原始输入层 中提取肺炎x图像中基础特征；具体为：通过对肺部x图像处理，将两肺纹理 增粗、肺野内带可见斑片状阴影、密度不均匀、边缘模糊不清的基础特征提取 出来；在输入块中，第一个数字表示过滤器大小，第二个数字表示卷积核大小 (3*3)，最后一个数字表示步幅的大小(2*2)；同时，伴随RELU激活函数，增 强卷积层中提取出来特征的稀疏性，随之代表性，泛化能力也越强；
(二)、在经卷积处理时，分别学习feature channels间的关联关系与 feature单个channel内部空间上的关联关系，使用大量的1x1大小的卷积核 来重视学习；随后链接两层深度可分离卷积(SepConv)，对卷积层中提取的特 征图数量进行调整，最后通过池化层(Maxp)，运用2*2的步长降维提取重要特 征；
(三)、与步骤(二)一致，通过增加过滤器数量，减少参数数量，得出四 维特征数据；
本实施例中步骤S202的输出块输出的四维特征数据输入到中间块，具体如 下：
运用三层过滤层为728，卷积核个数为3*3的深度可分离卷积，每层深度 可分离卷积后，都有RELU作为激活函数，重复8次的中间流，将肺炎胸片可见 细支气管壁增厚、肺门周围的线性高密度、细支气管周围实变、常为双侧以及 表现为斑片状肺膨胀不全、常合并支气管壁增厚和马赛克样肺灌注的进行深度 特征整合，输出四维肺炎特征数据。
本实施例中步骤S203的中间块输出的四维肺炎特征数据输入到输出块，具 体如下：
(1)、将中间块下深度提取的四维特征再进行两次深度可分离卷积(过滤 器个数分别为728、1024)伴随RELU激活函数，进一步下降参数个数；
(2)、将1x1 Conv输出的feature maps进行分割；
(3)、与两个高维深度可分卷积层(过滤器个数分别为1536、2048)结合， 伴随RELU激活函数，获取K个肺炎特征；
对于不同时期肺炎特征提取的重点也不同，在提取K个特征后，信息彼此 间有着复杂的关联性，若当时诊断为重症期患者，出现了双肺弥漫性病变、“白 肺”；48小时病灶范围增加50％；此外，可见有肺纤维化，并且信息长度各种 各样，这时，医生更应争分夺秒诊断。医疗与深度学习进一步融合，本实施例 中步骤S204的将K个肺炎特征输入到长短记忆循环神经网络，经历三个阶段， 分别是忘记阶段、选择记忆阶段及输出阶段，对肺炎图像的特征更加精确的识 别，具体如下：
①、K个肺炎特征中输出的四维结构中，将第三维和第四维进行相乘，转 换成LSTM可运行的三维结构进行读取；
②、将提取到的K个肺炎特征中一些重叠、不明确的特征的部分进行遗忘， 选择去记忆现在重要信息，最终学会运用将过去记忆与现在记忆合并来提高医 学诊断的真实性和有效性；
③、通过Lsception模型的肺炎图像特征提取完成后，通过四层dense全 连接，前三层神经元个数通过逐层2倍递减的速度下降，同时伴随RELU激活函 数，将以前的局部特征重新通过权值矩阵组装成完整的图；
④、最后一层通过选择sigmoid激活函数进行预测分类，并对其中超参数 进行微调。
一般来说训练图像数据集对网络的batch_size越大，其确定的下降方向 越准，引起训练震荡越小，但是在针对肺炎图像分类中，我们的主要目的是图 像识别的精准，每次运行过程若输入过大，其消耗时间较长、内存容量较多对 于参数的修正也相对缓慢。因此本实验在参数设置中选则将训练集的 batch_size设置为32，测试集设置为1，可以更好的提高模型准确率和泛化能 力。
综合判断肺炎图像在Lsception模型的提取下，可以更加精确的对肺部阴 影、密度及纹理等特征放大，实现诊断可靠性。
由于在相同数据集下，本实验选择RMSprop(均方根)优化器，目的是可 以使数据更好的逼近或者达到最优值，加快梯度下降的算法,调整更新参数时 的步伐大小,在横轴方向上变化幅度会比较小,但是相反在纵轴上变化幅度较 大。横轴整体用参数V表示，纵轴用b表示。RMSprop对于梯度下降,在横轴方 向运动,对于纵轴会有大幅度的波动。本实施例中步骤S3的优化器采用RMSprop (均方根)优化器，通过RMSprop优化器对参数进行自动调节，使得可有效缓 解变量间的梯度差异，具体公式如下：
Tdv＝αTdv+(1-α)(dv)2；
Tdb＝αTdb+(1-α)(db)2；
其中，(dv)2及(db)2表示对向量的各个分量分别计算平方；Tdv与Tdb展 开也是一个向量，每个分量是权重dv、db对应分量值的平方的指数加权移动平 均；α控制加权平均数；v表示着在横轴上的参数,其变化率很小,所以dv的值 十分小,所以Tdv也小,而b在纵轴上波动很大,所以斜率在b方向上特别大，所 以这些微分中,db较大,dv较小；为均衡Tdv和Tdb之间变化幅度，从而更新参数 值V、b，V的除数是一个较小的数,总体来说,V的变化很大，V的变化通过如下 公式表示：
而b的除数是一个较大的数,b的更新就会被减缓，纵向的变化相对平缓， b的变化通过如下公式表示：
其中，γ表示超参数，用两个超参数γ是为了减缓参数下降时的摆动,并允 许你使用一个更大的学习率，加快算法速率；
本实施例中步骤S3的损失函数具体如下：
设数据通过Lsception模型预测后的输出概率为
真实 标签值的概率为p＝[p1,p2,...,pt],；其中，t表示数据总数量，以 binary_crossentropy为基础，损失函数公式如下：
其中，x2表示衡量实际值与预测值的差异程度；p表示当前真实标签值；
表示当前预测标签值；L表示损失函数；
融合皮尔逊提出的特征选择的方法，公式为：
进一步，得出损失函数公式为：
本实施例中步骤S3的数据评估及超参数修改具体如下：
发明通过对数据集划分，发现患有肺炎患者的数量明显高于正常数量的患 者，样本不平衡，导致样本不是总体样本的无偏估计，从而可能导致模型预测 能力下降。如果给数据集中少数类(正常人)赋予非常高的类权重，算法很可 能会偏向少数类，并且会增加多数类(患有肺炎的患者)中的错误。遇到这种 情况，可以通过调节样本权重来尝试解决这个问题。为了可以对两者之间不平 衡比重进行精确判断，如附图3所示，首先可在视觉化上明显看出训练集中的 类别不均衡化，为进一步验证，通过计算训练集的不平衡比IR，公式如下：
其中，Max_class表示数据集中所占数量多的类别；Min_class代表数据集 中所占少的类别；
根据IR的值是否大于1.5来判断训练集的平衡性；数据集的不平衡会引起 分类性能的改变，为了更加合理均衡类别比，选择对权重值进行平衡，修改超 参数类别权重，class_weights的值为“None”可以将None转变为“balanced”； 公式如下：
Wm＝i_sum/(i_class*i_summ)；
其中，Wm表示每个类的最终计算得出的权重值；i_sum表示该类数据集中 所有样本量；i_class表示总样本中类别数目；i_summ表示在m类别所对应样 本数目。
通过上述公式分别计算了在“balanced”情况下训练集中正常人和肺炎患 者的权重值，分别为W1＝1.94(N)，W2＝0.68(P)，当类权重＝“平衡”时，模型 会自动分配与其各自频率成反比的类权重。有目的地增加少数阶级的权力，减 少多数阶级的权力，由此类别间的不平衡性得到了优化。
本实施例中步骤S4的评价预测结果具体如下：
本发明实验采取不同评价指标来评价预测结果，采用准确率Accuracy、精 准率Precision、召回率Recall和F1_score四种指标可以更加准确的评估， 从而避免只通过一种评价指标存在的不公平性，具体如下：
①、评价指标准确率(Accuracy)的目的为检测正确分类的正例个数占总 样本数之比，公式如下：
其中，TP表示标签和预测都为正常人的数量；FN表示标签为正常人，预测 为患有肺炎的数量；FP表示标签为患有肺炎，预测为正常人的数量；TN表示标 签和预测都为患有肺炎的数量；
②、精准率(Precision)反映为预测正例的样本数占正例的实例个数的比 例，目的是为了衡量“查准率”，公式如下：
③、召回率(Recall)反映预测为正例的样本数占所有正样本个数的比例， 目的是衡量“查全率”，公式如下：
④、为了能够评价不同算法优劣，在精准率(Precision)和召回率(Recall) 的基础上提出了F1值的概念，来对精准率(Precision)和召回率(Recall) 和Recall进行整体评价，公式如下：
其中，Precision表示精准率；Recall表示召回率。
Accuracy与Loss又是成反比关系，Accuracy越大Loss值越小。如附图4 所示，Loss初始值训练损失大约在0.27，测试的损失约在0.13。数据在迭代5 次的过程中，下降速度急促，随后下降相对缓慢，但是整体呈现减少状态。对 于Accuracy，前三次的迭代可以迅速高达90％的精度，后续整体呈现缓慢上升 趋势，如附图5所示。
总体来讲，由附图4和5可知，精度随着时间的推移而增加，损失整体也 在呈现下降，本发明的准确率为96％，AUC准确率为99％，精准率为95％，召回 率为93％，F1分准确率为94％。与现有的技术方法相比，本发明在当前可用的 数据集上取得了预期的结果，并协助医生在儿童肺炎分类任务中提供较高的可 靠性。
实施例2：
本发明的基于深度学习的肺炎图像分类系统，该系统包括，
预处理模块，用于获取肺部x图像数据集，对肺部x图像数据集中的训练 集进行数据预处理；
融合模块，用于通过Lsception模型对肺部x图像进行特征提取，通过提 取的肺部特征完成对肺部x图像的预测分类；
优化模块，用于通过优化器、损失函数、数据评估及超参数修改优化 Lsception模型；
评价模块，用于采用不同评价指标评价预测结果。
实施例3：
本发明实施例还提供了一种计算机可读存储介质，其中存储有多条指令， 指令由处理器加载，使处理器执行本发明任一实施例中的基于深度学习的肺炎 图像分类方法。具体地，可以提供配有存储介质的系统或者装置，在该存储介 质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统 或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。
在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何 一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的 一部分。
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如 CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RYM、DVD-RW、DVD+RW)、磁带、非易失 性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。
此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且 可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全 部的实际操作，从而实现上述实施例中任意一项实施例的功能。
此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的 扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储 器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执 行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其 限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术 人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者 对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相 应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (6)
1.一种基于深度学习的肺炎图像分类方法，其特征在于，该方法是通过使用迁移学习作为初始化数据，对所选取的肺部x图像样本数据进行增强处理，提取样本特征之间的关联，再将提取到的样本特征映射到输出空间上进行肺部x图像的分类；具体如下：
数据预处理：获取肺部x图像数据集，对肺部x图像数据集中的训练集进行数据预处理；
Lsception模型融合：通过Lsception模型对肺部x图像进行特征提取，通过提取的肺部特征完成对肺部x图像的预测分类；具体如下：
预处理后的肺部x图像输入到输入块，得出四维特征数据；
输出块输出的四维特征数据输入到中间块，输出四维肺炎特征数据；
中间块输出的四维肺炎特征数据输入到输出块，获取K个肺炎特征；
将K个肺炎特征输入到长短记忆循环神经网络，经历三个阶段，分别是忘记阶段、选择记忆阶段及输出阶段，对肺炎图像的特征更加精确的识别；
Lsception模型的体系结构是由36个卷积层和一个长短记忆循环神经网络组成；将36个卷积层划分为14个模块，14个模块中除了第一个模块和最后一个模块外，其余模块都具有线性残差连接，完全是基于深度可分卷积层的卷积神经网络架构；36个卷积层总体划分为输入块、中间块和输出块；
其中，输入块用于不断下采样，减少空间维度；
中间块用于不断分析，过滤特征；
输出块用于下降参数个数；
Lsception模型优化：通过优化器、损失函数、数据评估及超参数修改优化Lsception模型；
其中，优化器采用RMSprop优化器，通过RMSprop优化器对参数进行自动调节，具体公式如下：
Tdv＝αTdv+(1-α)(dv)2；
Tdb＝αTdb+(1-α)(db)2；
其中，(dv)2及(db)2表示对向量的各个分量分别计算平方；Tdv与Tdb展开也是一个向量，每个分量是权重dv、db对应分量值的平方的指数加权移动平均；α控制加权平均数；v表示着在横轴上的参数，为均衡Tdv和Tdb之间变化幅度，从而更新参数值V、b，V的变化通过如下公式表示：
b的变化通过如下公式表示：
其中，γ表示超参数；
所述损失函数具体如下：
设数据通过Lsception模型预测后的输出概率为
真实标签值的概率为p＝[p1,p2,...,pt],；其中，t表示数据总数量，以binary_crossentropy为基础，损失函数公式如下：
其中，x2表示衡量实际值与预测值的差异程度；p表示当前真实标签值；
表示当前预测标签值；L表示损失函数；
融合皮尔逊提出的特征选择的方法，公式为：
进一步，得出损失函数公式为：
数据评估及超参数修改具体如下：
通过对数据集划分，发现患有肺炎患者的数量明显高于正常数量的患者，样本不平衡，通过计算训练集的不平衡比IR，公式如下：
其中，Max_class表示数据集中所占数量多的类别；Min_class代表数据集中所占少的类别；
根据IR的值是否大于1.5来判断训练集的平衡性；数据集的不平衡会引起分类性能的改变，为了更加合理均衡类别比，选择对权重值进行平衡，修改超参数类别权重，公式如下：
Wm＝i_sum/(i_class*i_summ)；
其中，Wm表示每个类的最终计算得出的权重值；i_sum表示该类数据集中所有样本量；i_class表示总样本中类别数目；i_summ表示在m类别所对应样本数目；
评价预测结果：采用不同评价指标评价预测结果；具体如下：
评价指标准确率的目的为检测正确分类的正例个数占总样本数之比，公式如下：
其中，Accuracy表示评价指标准确率；TP表示标签和预测都为正常人的数量；FN表示标签为正常人，预测为患有肺炎的数量；FP表示标签为患有肺炎，预测为正常人的数量；TN表示标签和预测都为患有肺炎的数量；
精准率反映为预测正例的样本数占正例的实例个数的比例，目的是为了衡量查准率，公式如下：
其中，Precision表示精准率；
召回率反映预测为正例的样本数占所有正样本个数的比例，目的是衡量查全率，公式如下：
其中，Recall表示召回率；
在精准率和召回率的基础上提出了F1值的概念，来对精准率和召回率进行整体评价，公式如下：
2.根据权利要求1所述的基于深度学习的肺炎图像分类方法，其特征在于，数据预处理具体如下：
尺度变换：对肺部x图像进行尺度变换，尺度变换的缩放因子为1/255，通过尺度变换将肺部x图像的长度和宽度放大或缩小，进而改变肺部x图像的整体大小；
旋转或反射变换：对肺部x图像进行随机旋转角度，即绕肺部x图像的中心旋转角度，旋转角度的范围内为±7度；
宽度移动：对肺部x图像在水平方向上移动±0.2％～±0.5％；
高度移动：对肺部x图像在垂直方向上移动±0.2％～±0.5％；
剪切：对肺部x图像剪切范围为±0.2％；
缩放：随机对肺部x图像进行0.45倍的放大或缩小；
水平翻转图像：将肺部x图像再次进行水平方向的翻转。
3.根据权利要求1所述的基于深度学习的肺炎图像分类方法，其特征在于，预处理后的肺部x图像输入到输入块，具体如下：
(一)、传入尺寸为224*224的肺部x图像，经过两层卷积，从原始输入层中提取肺炎x图像中基础特征；具体为：通过对肺部x图像处理，将两肺纹理增粗、肺野内带可见斑片状阴影、密度不均匀、边缘模糊不清的基础特征提取出来；在输入块中，第一个数字表示过滤器大小，第二个数字表示卷积核大小，最后一个数字表示步幅的大小；同时，伴随RELU激活函数，增强卷积层中提取出来特征的稀疏性；
(二)、在经卷积处理时，分别学习feature channels间的关联关系与feature单个channel内部空间上的关联关系，使用大量的1x1大小的卷积核来重视学习；随后链接两层深度可分离卷积，对卷积层中提取的特征图数量进行调整，最后通过池化层，运用2*2的步长降维提取重要特征；
(三)、通过增加过滤器数量，减少参数数量，得出四维特征数据；
输出块输出的四维特征数据输入到中间块，具体如下：
运用三层过滤层为728，卷积核个数为3*3的深度可分离卷积，每层深度可分离卷积后，都有RELU作为激活函数，重复8次的中间流，将肺炎胸片可见细支气管壁增厚、肺门周围的线性高密度、细支气管周围实变、常为双侧以及表现为斑片状肺膨胀不全、常合并支气管壁增厚和马赛克样肺灌注的进行深度特征整合，输出四维肺炎特征数据。
4.根据权利要求1所述的基于深度学习的肺炎图像分类方法，其特征在于，中间块输出的四维肺炎特征数据输入到输出块，具体如下：
(1)、将中间块下深度提取的四维特征再进行两次深度可分离卷积伴随RELU激活函数，进一步下降参数个数；
(2)、将1x1 Conv输出的feature maps进行分割；
(3)、与两个高维深度可分卷积层结合，伴随RELU激活函数，获取K个肺炎特征；
将K个肺炎特征输入到长短记忆循环神经网络，经历三个阶段，分别是忘记阶段、选择记忆阶段及输出阶段，对肺炎图像的特征更加精确的识别，具体如下：
①、K个肺炎特征中输出的四维结构中，将第三维和第四维进行相乘，转换成LSTM可运行的三维结构进行读取；
②、将提取到的K个肺炎特征中重叠且不明确的特征部分进行遗忘，选择去记忆现在重要信息，最终学会运用将过去记忆与现在记忆合并来提高医学诊断的真实性和有效性；
③、通过Lsception模型的肺炎图像特征提取完成后，通过四层dense全连接，前三层神经元个数通过逐层2倍递减的速度下降，同时伴随RELU激活函数，将以前的局部特征重新通过权值矩阵组装成完整的图；
④、最后一层通过选择sigmoid激活函数进行预测分类，并对其中超参数进行微调。
5.一种基于深度学习的肺炎图像分类系统，其特征在于，该系统包括，
预处理模块，用于获取肺部x图像数据集，对肺部x图像数据集中的训练集进行数据预处理；
融合模块，用于通过Lsception模型对肺部x图像进行特征提取，通过提取的肺部特征完成对肺部x图像的预测分类；融合模块具体如下：
预处理后的肺部x图像输入到输入块，得出四维特征数据；
输出块输出的四维特征数据输入到中间块，输出四维肺炎特征数据；
中间块输出的四维肺炎特征数据输入到输出块，获取K个肺炎特征；
将K个肺炎特征输入到长短记忆循环神经网络，经历三个阶段，分别是忘记阶段、选择记忆阶段及输出阶段，对肺炎图像的特征更加精确的识别；
Lsception模型的体系结构是由36个卷积层和一个长短记忆循环神经网络组成；将36个卷积层划分为14个模块，14个模块中除了第一个模块和最后一个模块外，其余模块都具有线性残差连接，完全是基于深度可分卷积层的卷积神经网络架构；36个卷积层总体划分为输入块、中间块和输出块；
其中，输入块用于不断下采样，减少空间维度；
中间块用于不断分析，过滤特征；
输出块用于下降参数个数；
优化模块，用于通过优化器、损失函数、数据评估及超参数修改优化Lsception模型；其中，优化器采用RMSprop优化器，通过RMSprop优化器对参数进行自动调节，具体公式如下：
Tdv＝αTdv+(1-α)(dv)2；
Tdb＝αTdb+(1-α)(db)2；
其中，(dv)2及(db)2表示对向量的各个分量分别计算平方；Tdv与Tdb展开也是一个向量，每个分量是权重dv、db对应分量值的平方的指数加权移动平均；α控制加权平均数；v表示着在横轴上的参数，为均衡Tdv和Tdb之间变化幅度，从而更新参数值V、b，V的变化通过如下公式表示：
b的变化通过如下公式表示：
其中，γ表示超参数；
所述损失函数具体如下：
设数据通过Lsception模型预测后的输出概率为
真实标签值的概率为p＝[p1,p2,...,pt],；其中，t表示数据总数量，以binary_crossentropy为基础，损失函数公式如下：
其中，x2表示衡量实际值与预测值的差异程度；p表示当前真实标签值；
表示当前预测标签值；L表示损失函数；
融合皮尔逊提出的特征选择的方法，公式为：
进一步，得出损失函数公式为：
数据评估及超参数修改具体如下：
通过对数据集划分，发现患有肺炎患者的数量明显高于正常数量的患者，样本不平衡，通过计算训练集的不平衡比IR，公式如下：
其中，Max_class表示数据集中所占数量多的类别；Min_class代表数据集中所占少的类别；
根据IR的值是否大于1.5来判断训练集的平衡性；数据集的不平衡会引起分类性能的改变，为了更加合理均衡类别比，选择对权重值进行平衡，修改超参数类别权重，公式如下：
Wm＝i_sum/(i_class*i_summ)；
其中，Wm表示每个类的最终计算得出的权重值；i_sum表示该类数据集中所有样本量；i_class表示总样本中类别数目；i_summ表示在m类别所对应样本数目；
评价模块，用于采用不同评价指标评价预测结果；评价模块具体如下：
评价指标准确率的目的为检测正确分类的正例个数占总样本数之比，公式如下：
其中，Accuracy表示评价指标准确率；TP表示标签和预测都为正常人的数量；FN表示标签为正常人，预测为患有肺炎的数量；FP表示标签为患有肺炎，预测为正常人的数量；TN表示标签和预测都为患有肺炎的数量；
精准率反映为预测正例的样本数占正例的实例个数的比例，目的是为了衡量查准率，公式如下：
其中，Precision表示精准率；
召回率反映预测为正例的样本数占所有正样本个数的比例，目的是衡量查全率，公式如下：
其中，Recall表示召回率；
在精准率和召回率的基础上提出了F1值的概念，来对精准率和召回率进行整体评价，公式如下：
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序可被处理器执行以实现如权利要求1至4中任一项所述的基于深度学习的肺炎图像分类方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110719421.XA CN113449791B (zh) | 2021-06-28 | 2021-06-28 | 基于深度学习的肺炎图像分类方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110719421.XA CN113449791B (zh) | 2021-06-28 | 2021-06-28 | 基于深度学习的肺炎图像分类方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113449791A CN113449791A (zh) | 2021-09-28 |
| CN113449791B true CN113449791B (zh) | 2022-04-26 |
Family
ID=77813354
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110719421.XA Active CN113449791B (zh) | 2021-06-28 | 2021-06-28 | 基于深度学习的肺炎图像分类方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113449791B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114098692B (zh) * | 2021-10-28 | 2022-09-30 | 北京心世纪医疗科技有限公司 | 基于血流分配最优化的左心室辅助装置植入方法 |
| CN114283140B (zh) * | 2021-12-28 | 2024-08-13 | 齐鲁工业大学 | 基于特征融合的肺部X-Ray图像分类方法、系统及存储介质 |
| CN114742404A (zh) * | 2022-04-11 | 2022-07-12 | 齐鲁工业大学 | 基于森林环境价值的择伐方法及系统 |
| CN117315380B (zh) * | 2023-11-30 | 2024-02-02 | 深圳市健怡康医疗器械科技有限公司 | 一种基于深度学习的肺炎ct图像分类方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110689036A (zh) * | 2018-07-06 | 2020-01-14 | 塔塔咨询服务有限公司 | 用于自动染色体分类的方法和系统 |
| CN111951246A (zh) * | 2020-08-11 | 2020-11-17 | 湖南大学 | 一种基于深度学习的多方位x光胸片肺炎诊断方法 |
| CN112116571A (zh) * | 2020-09-14 | 2020-12-22 | 中国科学院大学宁波华美医院 | 一种基于弱监督学习的x光肺部疾病自动定位方法 |
| CN112927202A (zh) * | 2021-02-25 | 2021-06-08 | 华南理工大学 | 多时域多特征结合的Deepfake视频检测方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9474884B2 (en) * | 2012-01-13 | 2016-10-25 | Teleflex Medical Incorporated | Bumped dilator tip |
-
2021
- 2021-06-28 CN CN202110719421.XA patent/CN113449791B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110689036A (zh) * | 2018-07-06 | 2020-01-14 | 塔塔咨询服务有限公司 | 用于自动染色体分类的方法和系统 |
| CN111951246A (zh) * | 2020-08-11 | 2020-11-17 | 湖南大学 | 一种基于深度学习的多方位x光胸片肺炎诊断方法 |
| CN112116571A (zh) * | 2020-09-14 | 2020-12-22 | 中国科学院大学宁波华美医院 | 一种基于弱监督学习的x光肺部疾病自动定位方法 |
| CN112927202A (zh) * | 2021-02-25 | 2021-06-08 | 华南理工大学 | 多时域多特征结合的Deepfake视频检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113449791A (zh) | 2021-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Murugesan et al. | A hybrid deep learning model for effective segmentation and classification of lung nodules from CT images | |
| CN113449791B (zh) | 基于深度学习的肺炎图像分类方法及系统 | |
| CN112292691B (zh) | 用于使用深度学习提高癌症检测的方法与系统 | |
| JP7297081B2 (ja) | 画像分類方法、画像分類装置、医療用電子機器、画像分類機器、及びコンピュータプログラム | |
| US10499857B1 (en) | Medical protocol change in real-time imaging | |
| US10691980B1 (en) | Multi-task learning for chest X-ray abnormality classification | |
| CN111539930A (zh) | 基于深度学习的动态超声乳腺结节实时分割与识别的方法 | |
| CN111598871B (zh) | 多特征融合辅助检测肺部磨玻璃影结节系统及介质 | |
| CN112614133B (zh) | 一种无锚点框的三维肺结节检测模型训练方法及装置 | |
| Sourab et al. | A comparison of hybrid deep learning models for pneumonia diagnosis from chest radiograms | |
| WO2020110519A1 (ja) | 類似度決定装置、方法およびプログラム | |
| Chagas et al. | A new approach for the detection of pneumonia in children using CXR images based on an real-time IoT system | |
| US20230091506A1 (en) | Systems and Methods for Analyzing Two-Dimensional and Three-Dimensional Image Data | |
| EP3929936A1 (en) | Automatic detection of covid-19 in chest ct images | |
| Jiang et al. | [Retracted] Application of Deep Learning in Lung Cancer Imaging Diagnosis | |
| WO2009063363A2 (en) | Computer-aided detection (cad) of a disease | |
| CN114359629A (zh) | 一种基于深度迁移学习的肺炎x胸片分类识别方法 | |
| Than et al. | Preliminary study on patch sizes in vision transformers (vit) for covid-19 and diseased lungs classification | |
| Akkar et al. | Diagnosis of lung cancer disease based on back-propagation artificial neural network algorithm | |
| Shamrat et al. | Analysing most efficient deep learning model to detect COVID-19 from computer tomography images | |
| Nidhin Raju et al. | Identification of interstitial lung diseases using deep learning | |
| Junior et al. | A general fully automated deep-learning method to detect cardiomegaly in chest x-rays | |
| CN113888520A (zh) | 用于生成牛眼图的系统和方法 | |
| CN112561918A (zh) | 卷积神经网络的训练方法和病灶分割方法 | |
| Manikandan et al. | Automated classification of emphysema using data augmentation and effective pixel location estimation with multi-scale residual network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 250353 University Road, Changqing District, Ji'nan, Shandong Province, No. 3501 Patentee after: Qilu University of Technology (Shandong Academy of Sciences) Country or region after: China Address before: 250353 University Road, Changqing District, Ji'nan, Shandong Province, No. 3501 Patentee before: Qilu University of Technology Country or region before: China |