CN110680326B - 基于深度卷积神经网络的尘肺病鉴别及分级判定方法 - Google Patents

基于深度卷积神经网络的尘肺病鉴别及分级判定方法 Download PDF

Info

Publication number
CN110680326B
CN110680326B CN201910961649.2A CN201910961649A CN110680326B CN 110680326 B CN110680326 B CN 110680326B CN 201910961649 A CN201910961649 A CN 201910961649A CN 110680326 B CN110680326 B CN 110680326B
Authority
CN
China
Prior art keywords
pneumoconiosis
neural network
model
convolutional neural
deep convolutional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910961649.2A
Other languages
English (en)
Other versions
CN110680326A (zh
Inventor
李晓
李树强
关里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Third Hospital Peking University Third Clinical Medical College
Original Assignee
Peking University Third Hospital Peking University Third Clinical Medical College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Third Hospital Peking University Third Clinical Medical College filed Critical Peking University Third Hospital Peking University Third Clinical Medical College
Priority to CN201910961649.2A priority Critical patent/CN110680326B/zh
Publication of CN110680326A publication Critical patent/CN110680326A/zh
Application granted granted Critical
Publication of CN110680326B publication Critical patent/CN110680326B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device

Abstract

本发明公开了一种基于深度卷积神经网络的尘肺病鉴别及分级判定方法,包括:获取并收集经过检索和筛选的尘肺病患者的数字胸片及其资料信息;获取并收集年龄、性别与上述尘肺病患者相匹配的正常人的数字胸片;为进行深度卷积神经网络的训练准备相应的数据样本;通过训练获得尘肺病判定及分级模型;输入待判定及分级的数字胸片至该尘肺病判定及分级模型中,输出判定是否尘肺病的概率;生成并输出类激活热力图;根据统计得到的小阴影形态与对应的标准数字胸片进行比对、打分,得到相对密度数值;根据相对密度数值输出尘肺病分期的判定结果。采用本发明,对于尘肺病的判定和分级不但直观且给出合理的判定理由,效果提升显著且更加安全可靠。

Description

基于深度卷积神经网络的尘肺病鉴别及分级判定方法
技术领域
本发明涉及信息分析技术领域,特别涉及一种基于深度卷积神经网络的尘肺病鉴别及分级判定方法。
背景技术
尘肺病是在执业活动中长期吸入不同致病性的生产性粉尘并在肺内潴留而引起的以肺组织弥漫性纤维化为主的一组职业性肺部疾病的统称。引起尘肺的粉种类有很多,根据《职业病分类和目录》主要包括矽肺、煤工尘肺、石墨尘肺、炭黑尘肺、石棉肺、滑石尘肺、水泥尘肺、云母尘肺、陶工尘肺、铝尘肺、电焊工尘肺、铸工尘肺十二种。尘肺病病患人数多、对病患的伤害大、发病起源于多种不同职业环境,尘肺中后期会导致患者的劳动能力降低,甚至致残,降低生活质量,影响呈不可逆性,目前仍是我国危害最严重和最常见的职业病。国家卫健委在2018年公布的《2017年我国卫生健康事业发展统计公报》中提示,全国共报告各类职业病新病例26756例,其中职业性尘肺病22701例,占近百分之九十。这些相关数据主要通过体检确诊得到,而潜在的尘肺病患者具体有多少还是一个未知数。截至2017年,我国累计报告职业病病例95万,其中尘肺85万余例,占比89.9%,主要是矽肺和煤工尘肺,并且每年因尘肺病而去世的煤矿工人数远高于同一时间段内煤炭生产事故的死亡人数。一项针对重庆尘肺患者的流行病学调查显示,2011-2015年新增尘肺病例24903例,其中I期患者占65.43%,II期占26.18%,III期占8.39%,98.93%是煤工尘肺和矽肺。根据全球疾病负担(2015年)公布的资料显示,我国2015年死亡的尘肺病例估计为9538例(95%CI:8430-11013例)。META分析显示,尘肺死亡率31.2%,其中I、II、III期尘肺死亡率分别为25.4%,39.8%及57.5%。可见尘肺仍是我国高发病率、高死亡率的疾病,社会负担重。
然而,目前尘肺的诊断和分期主要依靠职业病科医生肉眼观察,通过将打印后的胸片与标准片进行比对,观察阴影形态、密度等,得出分期诊断。存在以下问题:①主观性强:受读片者经验、读片条件等多种因素影响,读片无法做到标准化,不同机构、不同医生甚至不同时间得出的结论可能存在波动,且年轻医生往往经验不足,读片准确性不高;②难以量化:对于临界的病变(尤其是无尘肺和壹期尘肺)无法做到准确判断,而无尘肺与壹期尘肺诊断对于患者工伤认定至关重要;③原始信息丢失:诊断主要依赖冲洗片,但在图像传输过程、冲洗过程中均存在信息丢失,受不同设备条件影响大;④成本高:效率低,无法批量处理,需要多名医生共同参与诊断,人工成本高;需打印胸片,耗材及保存成本高。⑤人工易疲劳:尘肺诊断中规定医师在性尘肺诊断是需每1-1.5小时左右休息一次,以保持读片者视力和脑力有良好的分辨能力。可见,依靠人工无法持续稳定地保持高效的诊断状态。
而机器深度学习具有的客观、标准化、精确、成本低、高效、不会疲劳等特点,恰好可以解决上述痛点。近年,机器学习逐渐成熟,深度学习技术不断改进。借助深度学习,具有多处理层结构的计算机模型可通过多层抽象来学习数据表征。这些方法推动了视觉识别、目标检测等领域的技术发展。深度学习被应用到计算机视觉、图像识别等领域,并取得了良好效果。
医学人工智能目前应用场景广泛,当前热点主要集中在:①服务于管理层次:自动分诊、问诊、售药、远端医疗、咨询;②辅助诊断层次:诊断工具、治疗建议、自动病历、AI读片、手术辅助(规划、导航、疗效评估);③知识能力提升层次:病例分享、智能搜索、联想输入。而其在图像精准分析及疾病辅助诊断中的应用越来越广泛和成熟,在心电、脑电、肌电等一维信号及胸片、胸部CT、头CT、OCT、细胞等二维图像的识别诊断中均有应用。在肺部疾病中,结节、肺癌、肺结核、肺炎等疾病的影像学AI诊断均有报道。
这主要依赖于以深度卷积神经网络为代表的一类深度学习算法的飞速发展以及其在计算机视觉任务中的突破。传统辅助诊断是基于图像处理技术,通过一系列的图像预处理并提取出病灶相关特征进行分析,这个特征提取的过程不仅需要专业领域知识进行特征的设计,费时费力而且准确率不能满足实际需求。
目前,针对机器学习在尘肺诊断方面仅有少量报道。Yu等于2011年应用支持向量机分类器(Support Vector Machine,SVM)对850幅(正常组600幅,尘肺组250幅)胸片进行分类诊断,旨在将尘肺胸片与正常胸片区分开,敏感性为91.2%,特异性为86.3%,准确性为87.8%。2014年Zhu等亦应用上述技术用于尘肺的诊断,但数据量小(正常组85人,尘肺组45人)。SVM方法为非神经网络,是一个有监督的学习模型,需要对输入特征进行人工设计提取,费时费力且不全面,目前已非机器学习领域的主流方法。
Okumura等2011年应用人工神经网络(artificial neural network,ANN)方法用于尘肺病的诊断,共收集12名尘肺病患者及11名正常患者胸片,AUC=0.961。2017年其改进了该方法,用于尘肺病的分级,共收集了尘肺患者35人,正常者3人,对早期尘肺和晚期尘肺诊断的准确性(AUC)分别为0.84和0.89。2015年罗海峰针对BP人工神经网络用于尘肺胸片阴影密集度的判读方面的技术进行了改进,用于尘肺的分期,但分类的平均正确率仅68.3%。上述研究的局限性为数据量小,结论准确性低,另外,使用ANN方法,依然需要进行特征工程,并且该模型为浅层神经网络,无法进行有效的表征学习从而达到理想的准确率。
2017年邓奎应用深度卷积网络(GoogleNet)用于尘肺病胸片的诊断,有效性为91.6%,但其分级诊断仍采用了传统的图像技术,过程繁琐并且论文中使用的模型在图像识别任务中较最新模型有明显的差距。
现有技术中,将机器学习用于尘肺胸片诊断中的报道非常少,其中应用深度学习方法的报道仅1篇。这些研究多集中在鉴别有无尘肺,且数据量小,应用的算法较老旧,诊断效率和准确率均较低。因此,将最新深度学习算法应用于尘肺病分级诊断有广泛应用前景。
发明内容
基于此,为解决现有技术中的技术问题,特提出了一种基于深度卷积神经网络的尘肺病判定及分级方法,包括:
步骤1,检索尘肺病患者并筛选相应的数字胸片;
步骤2,获取并收集经过检索和筛选的尘肺病患者的数字胸片及其资料信息;获取并收集年龄、性别与上述尘肺病患者相匹配的正常人的数字胸片;
步骤3,基于收集到的数字胸片及资料信息,为进行深度卷积神经网络的训练准备相应的数据样本;
步骤4,基于准备的数据样本训练深度卷积神经网络,获得尘肺病判定及分级模型;
步骤5,完成训练后获得尘肺病判定及分级模型,输入待判定及分级的数字胸片至该尘肺病判定及分级模型中,输出判定是否尘肺病的概率;
步骤6,对于判定为尘肺病的胸片,尘肺病判定及分级模型生成并输出类激活热力图;对类激活热力图进行局部信息统计,根据统计得到的小阴影形态与对应的标准数字胸片进行比对、打分,得到相对密度数值;根据相对密度数值输出尘肺病分期的判定结果。
在一种实施例中,检索尘肺病患者并筛选相应的数字胸片具体包括:
筛选出检索到的尘肺病患者中经过至少3名有职业资格的医师确认、拥有数字胸片、年龄大于等于18周岁、无其他肺部基础疾病的尘肺病患者,且所述尘肺病患者的尘肺病报告包括尘肺病分期、小阴影形态、小阴影密度。
在一种实施例中,获取并收集经过检索和筛选的尘肺病患者的资料信息,包括姓名、性别、年龄、职业史、尘肺病分期、小阴影形态、小阴影密度;
其中,尘肺病分期包括:0期、1期、2期、3期;
其中,小阴影形态包括:p形态、q形态、r形态、s形态、t形态、u形态;
其中,小阴影密度包括:0/0、0/1、I/0、1/1、1/2、2/1、2/2、2/3、3/2、3/3。
在一种实施例中,根据尘肺病患者的资料信息对其相应的数字胸片进行标注,将标注后的数字胸片及其标注信息作为数据样本;
对数据样本进行数据清洗处理;将数据样本划分为训练集、验证集;对数据样本进行数据增广处理;对数据样本进行图像增强及预处理;获得准备的数据样本,完成数据样本准备处理。
在一种实施例中,步骤4具体包括以下步骤:
步骤41,对深度卷积神经网络进行预训练,使用ImageNet数据集进行预训练从而初始化深度卷积神经网络的权重参数;
步骤42,进行迁移学习,将深度卷积神经网络最后的全连接层替换为单节点以输出判定是否尘肺病的概率,利用预训练得到的权重参数对其余的神经网络参数进行初始化,使用准备的数据样本进行深度卷积神经网络模型的训练;
步骤43,在迁移学习的基础上,对准备的数据样本进行微调使其网络参数适应当前的数据样本,利用准备的数据样本中带有标注信息的尘肺病数字胸片与正常人的数字胸片对深度卷积神经网络进行训练;其中,所述深度卷积神经网络包括卷积层、池化层、输出层。
在一种实施例中,对网络模型结构进行自适应调整,包括对深度卷积神经网络模型进行模型剪枝处理,具体包括以下步骤:
基于稀疏约束对预训练得到的网络模型再训练;其中,所述稀疏约束是基于待裁剪的计算顶点或信息边所进行的结构化约束;
对所有的目标权值进行排序,基于给定的剪枝比例计算出裁剪阈值;
移除权值小于裁剪阈值的相应顶点或边,对网络模型进行剪枝处理得到剪枝后的网络模型;
对模型剪枝处理后的网络模型进行微调训练;其中,微调策略包括基于自学的知识蒸馏网络微调策略;
在一种实施例中,还包括步骤7,收集测试集,对测试集分别采用人工及尘肺病判定及分级模型进行判定及分级,对测试结果进行分析、对比,根据测试结果进行尘肺病判定及分级模型的迭代、优化;其中,测试集为待判定及分级的尘肺病数字胸片。
在一种实施例中,所述深度卷积神经网络为VGG、Inception、ResNet、Densnet中的任意一种,或者为结合自适应机器学习进行网络结构搜索确定的网络结构。
实施本发明实施例,将具有如下有益效果:
随着大数据、机器学习、人工智能等技术的发展,机器代替人工逐渐成为趋势,其具有准确、高效、标准化、稳定等特点,相较于传统的人工读片具有许多优势。本发明将既往已诊尘肺胸片采用深度神经网络完成深度学习训练,使机器学习人工经验,实现尘肺快速诊断及分级诊断,从而提供性能更优的尘肺辅助诊断系统。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
其中:
图1为本发明的基于深度卷积神经网络的尘肺病鉴别及分级判定方法流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
深度卷积神经网络是一种表征学习,训练学习过程中可以从原始图像中自动提炼出与任务相关的特征表达,用于辅助诊断建模时可节省特征工程的大量工作量,并且准确率较传统方法有明显提升。作为第一个真正成功实现多层网络结构的学习算法,其主要优势集中在:输入图像和网络的拓扑结构有较高吻合度;特征提取和模式分类能够同时进行并在训练中产生;权重共享减少了网络的训练参数,使神经网络结构具有更强的适应性。而胸片信息量大,内部结构复杂,采用卷积神经网络对不同分期尘肺胸片之间进行鉴别尤其具有优势。
因此,本发明旨在使用深度卷积神经网络算法实现尘肺病鉴别及分级判定。
本发明公开了一种基于深度卷积神经网络的尘肺病判定及分级方法,包括如下步骤:
步骤1,检索尘肺病患者并筛选相应的数字胸片;
筛选出检索到的尘肺病患者中经过至少3名有职业资格的医师确认、拥有数字胸片、年龄大于等于18周岁、无其他肺部基础疾病的尘肺病患者,且所述尘肺病患者的尘肺病报告包括尘肺病分期、小阴影形态、小阴影密度;排除尘肺病诊断结论不完整、或者无数字胸片、或者合并有肺炎、肺癌、胸腔积液等其他肺部基础疾病、或者年龄小于18周岁的尘肺病患者;
特别地,检索尘肺病患者不少于1000例;
步骤2,获取并收集经过检索和筛选的尘肺病患者的数字胸片及其资料信息;获取并收集年龄、性别与上述尘肺病患者相匹配的正常人的数字胸片;
特别地,获取并收集年龄性别与上述尘肺病患者相匹配的正常人的数字胸片不少于300张;
获取并收集经过检索和筛选的尘肺病患者的资料信息,包括姓名、性别、年龄、职业史、尘肺病分期、小阴影形态、小阴影密度;
其中,尘肺病分期包括:0期,1期,2期,3期;
其中,小阴影形态包括:p形态,q形态,r形态,s形态,t形态,u形态;
其中,小阴影密度包括:0/0,0/1,I/0,1/1,1/2,2/1,2/2,2/3,3/2,3/3;
步骤3,基于收集到的数字胸片及资料信息,为进行深度卷积神经网络的训练准备相应的数据样本;
根据尘肺病患者的资料信息对其相应的数字胸片进行标注,将标注后的数字胸片及其标注信息作为数据样本;
对数据样本进行数据清洗处理;将数据样本划分为训练集、验证集;对数据样本进行数据增广处理;对数据样本进行图像增强及预处理;获得准备的数据样本,完成数据样本准备处理;
步骤4,基于准备的数据样本训练深度卷积神经网络,获得尘肺病判定及分级模型;
预训练能够加速模型收敛并加快算法的迭代周期;同时针对已有数据样本数据量受限的问题,采用迁移学习来解决深度卷积神经网络欠拟合问题;基于全球标注的胸片数据库中的数据通过迁移学习可以很好地解决胸片中肺纹理、骨骼等背景识别问题;
步骤41,对深度卷积神经网络进行预训练,使用ImageNet数据集进行预训练从而初始化深度卷积神经网络的权重参数;
步骤42,进行迁移学习,将深度卷积神经网络最后的全连接层替换为单节点以输出判定是否尘肺病的概率,利用预训练得到的权重参数对其余的神经网络参数进行初始化,使用准备的数据样本进行深度卷积神经网络模型的训练;
步骤43,在迁移学习的基础上,对准备的数据样本进行微调使其网络参数适应当前的数据样本,利用准备的数据样本中带有标注信息的尘肺病数字胸片与正常人的数字胸片对深度卷积神经网络进行训练;所述深度卷积神经网络包括卷积(Convolution)层、池化(Pooling)层、输出层;
对模型结构进行优化处理,通过对优化过程加入正则的方式对模型结构进行自适应调整,包括针对某些层中的神经元、层之间连接的调整,以及模型剪枝(pruning)处理,得到针对特定数据集的最优模型;
其中,包括对深度卷积神经网络模型进行模型剪枝处理,具体包括以下步骤:
基于稀疏约束对预训练得到的模型再训练;其中,稀疏约束是基于待裁剪的计算顶点或信息边所进行的结构化约束;
对所有的目标权值进行排序,基于给定的剪枝比例,计算出裁剪阈值;
移除权值小于裁剪阈值的相应顶点或边,对网络模型进行剪枝,得到剪枝后的网络模型;
对模型剪枝处理后的网络模型进行微调训练;其中,微调策略包括基于自学的知识蒸馏网络微调策略。
其中,对网络模型进行剪枝处理包括两个层次的剪枝;
第一层次的剪枝是基于顶点的剪枝,基于网络的拓扑结构加入结构化稀疏约束,具有耦合关系的顶点同时被剪枝或者同时被保留;剪枝后的网络可直接用于训练或推理,而不需要额外的后处理,进而提高网络剪枝所得的加速收益,提高推理效率;
其中,基于顶点的剪枝具体包括以下步骤:
根据图理论,计算图的批标准化顶点可分为关节点(articulation points)和非关节点(non-articulation points),其所组成的集合分别记为{Va}和
Figure GDA0003543760730000081
计算图拓扑结构将
Figure GDA0003543760730000082
分为
Figure GDA0003543760730000083
Figure GDA0003543760730000084
其中
Figure GDA0003543760730000085
指多个批标准化顶点指向同一个顶点,
Figure GDA0003543760730000086
指一个顶点的输出被多个批标准化顶点依赖,
Figure GDA0003543760730000087
指无其他耦合的批标准化顶点;其中,对于
Figure GDA0003543760730000088
当多个批标准化顶点所指向的共同顶点为合并顶点(concatenation),则不做处理,因为若干的数据经由合并顶点组合起来时,其相互之间依然是独立的,因此是否可被裁剪依然取决于自身,与其他数据无关;
对于属于不同连接关系的顶点可进行自适应地稀疏约束:对于独立顶点
Figure GDA0003543760730000089
施加l1-范数约束;对于属于
Figure GDA00035437607300000810
或者
Figure GDA00035437607300000811
的顶点,则根据顶点的耦合关系,将顶点进行分组,并对各组基于l2,1-范数施加组稀疏正则约束(group sparsityregularization),如下式所示:
Figure GDA00035437607300000812
Figure GDA00035437607300000813
其中,Rs(·)为稀疏约束,Rgs(·)为组稀疏约束,λs和λgs为权衡因子;
在结构化约束下,批标准化顶点的分布趋于稀疏化,权值接近于0的顶点可移除;对于在交叉连接上的顶点,其结果是同时被移除或同时被保留,所以剪枝之后的网络不需要额外的后处理,可直接进行微调训练恢复以原有网络的性能。
第二层次的剪枝是基于边的剪枝,根据对网络拓扑结构的分析,选择其中具有多路径的拓扑结构,对多路径上的边进行剪枝;其优势在于不仅减少了计算量同时也减少了计算次数,因此相应地减少了访存次数,由于访存时间也是影响推理速度的重要因素,因此减少访存能够加速推理;
在同一个卷积层中,所有的卷积核被视作一个统一的顶点;在批标准化层中,所有通道的批标准化计算作为同一个顶点;若一个网络中含有多路径结构,则相应的各路径上的信息边具有非桥(non-bridge)属性,因此对多路径网络的剪枝可等价于对于图中非桥边的移除;
其中,基于边的剪枝具体包括以下步骤:
选出计算图中所有的非桥信息边;一条路径上去掉其中任意一条边则整条路径都会断掉,因此没有必要约束所有的边;只约束一条路径上的最后一条边;选出的边集合记做{Es};对于{Es}中的每一个边,引入了权值参数γe,作为对于该边重要性的评估;
对{γe}施加稀疏约束,即可对边进行筛选,其中权值接近于0的边被裁掉,优化函数如下:
Figure GDA0003543760730000091
其中,Res(·)是对{γe}的稀疏约束(通过l1-范数实现),λes为权衡因子。
基于结构化约束对网络模型进行了结构化剪枝,模型剪枝处理对计算图的拓扑结构具有自适应性,因此在没有进行如何后续处理的情况下即可得到一个可执行小网络;
裁剪后的网络一般都存在一定的性能下降,通过微调训练进行恢复;在剪枝处理中,除了简单的微调策略之外,加入了基于自学的知识蒸馏网络微调策略;
深度卷积神经网络的特征检测层通过训练数据样本进行学习,可以直接输入原始图像,避免了对图像的复杂前期预处理及显式的特征抽取,隐式地从训练数据样本中进行学习;该网络可全面获取数字胸片的原始特征并进行学习,从而更准确地识别尘肺病特征;
模型的主体(backbone)是深度卷积神经网络,由于使用迁移学习,使用了在其他视觉任务上预训练的模型,其网络结构可以是VGG、Inception、ResNet、Densnet等网络结构中的一种或其变种,或者是结合自适应机器学习(automl)进行网络结构搜索(NeuralArchitecture Search,简称NAS)确定的网络结构;
随后利用准备的数据样本对该模型进行微调(fine-tuning)使其网络参数适应当前的数据样本;在此过程中,由于数据样本和之前预训练的数据集存在差异,主要是任务类型以及数量上的差异,可以结合自适应automl方法将网络结构(包括层数和每层的神经元个数)、学习率等超参数进行优化处理从而达到良好的效果;
模型可从原始图像中全面提取特征,使模型具有识别并判定尘肺病胸片的能力,通过改进参数可提升其准确性大于90%;
步骤5,完成训练后获得尘肺病判定及分级模型,输入待判定及分级的数字胸片至该尘肺病判定及分级模型中,输出判定是否尘肺病的概率;
步骤6,对于判定为尘肺病的胸片,尘肺病判定及分级模型生成并输出类激活热力图(Class Activation Mappings);对类激活热力图的局部信息统计,根据统计得到的小阴影形态(p形态,q形态,r形态,s形态,t形态,u形态)与对应的标准数字胸片(按照不同的分期,密度分别设定为0、1、2、3,对应传统小阴影密度记录中的0/0,1/1,2/2,3/3)进行比对、打分,得到相对密度数值;根据尘肺读片时的小阴影密度显示方式及分级判断规则输出尘肺分期的判定结果(0期、1期、2期、3期);
其中,相对密度数值为连续变量,可用于临界病变的区分。
本发明中,模型输出的连续变量,即相对密度分值与传统小阴影密集度表示方式的对应关系如下所示:
Figure GDA0003543760730000101
Figure GDA0003543760730000111
本发明提出的尘肺病判定及分级模型通过对深度卷积神经网络的改进,在判定为尘肺病后生成类激活热力图,并进行局部信息统计,通过与标准胸片进行比对、打分,得出待判定及分级的数字胸片的相对密度分值,最后根据尘肺读片时小阴影密度(0/0,0/1,I/0,1/1,1/2,2/1,2/2,2/3,3/2,3/3)显示方式及分级判断规则输出尘肺分期(0期、1期、2期、3期)。
步骤7,收集测试集,对测试集分别利用人工及算法模型进行判定及分级,分析对比结果,模型判定及分级结果与专家判定及分级结果的符合率≥90%时则表明该模型的机器学习算法有效,根据测试结果进行模型的迭代、优化;
其中,测试集为待判定及分级的尘肺病数字胸片;
特别地,所述测试集中的尘肺病数字胸片不少于100例。
本发明的应用场景:①职业健康体检自动筛选可疑尘肺患者;②职业病科行职业病诊断时可利用该系统进行分期诊断,尤其对于临界性病变结果判定比人工更可靠,对后续患者工伤认定提供更可靠的依据,有利于医患关系稳定;③影像科自动诊断尘肺胸片及分期诊断提示;④下级医院可利用该系统借鉴上级医院诊断经验进行诊断;⑤年轻医生利用该系统学习既往专家经验;⑥实现尘肺诊断的标准化,解决现在不同医师、不同机构、不同地区之间诊断的异质性问题;⑦通过该系统开发,积累AI用于影像学诊断的经验,该系统调整后可用于其他肺部疾病的鉴别和判定;⑧该系统使用数字胸片,不需胸片打印,实现无纸化,有利于首都低碳环保目标;同时可节约大量人力、耗材成本。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不会使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种基于深度卷积神经网络的尘肺病鉴别及分级判定系统,其特征在于,包括:
检索尘肺病患者并筛选相应的数字胸片;
获取模块,获取并收集经过检索和筛选的尘肺病患者的数字胸片及其资料信息;获取并收集年龄、性别与上述尘肺病患者相匹配的正常人的数字胸片;
准备模块,基于收集到的数字胸片及资料信息,为进行深度卷积神经网络的训练准备相应的数据样本;
获得模块,基于准备的数据样本训练深度卷积神经网络,获得尘肺病判定及分级模型;
模型获得模块,完成训练后获得尘肺病判定及分级模型;
概率判定模块,输入待判定及分级的数字胸片至该尘肺病判定及分级模型中,输出判定是否尘肺病的概率;
输出模块,对于判定为尘肺病的胸片,尘肺病判定及分级模型生成并输出类激活热力图;对类激活热力图进行局部信息统计,根据统计得到的小阴影形态与对应的标准数字胸片进行比对、打分,得到相对密度数值;根据相对密度数值输出尘肺病分期的判定结果。
2.根据权利要求1所述的系统,其特征在于,检索尘肺病患者并筛选相应的数字胸片具体包括:
筛选出检索到的尘肺病患者中经过至少3名有职业资格的医师确认、拥有数字胸片、年龄大于等于18周岁、无其他肺部基础疾病的尘肺病患者,且所述尘肺病患者的尘肺病报告包括尘肺病分期、小阴影形态、小阴影密度。
3.根据权利要求1所述的系统,其特征在于,
获取并收集经过检索和筛选的尘肺病患者的资料信息,包括姓名、性别、年龄、职业史、尘肺病分期、小阴影形态、小阴影密度;
其中,尘肺病分期包括:0期、1期、2期、3期;
其中,小阴影形态包括:p形态、q形态、r形态、s形态、t形态、u形态;
其中,小阴影密度包括:0/0、0/0、1/1、1/2、2/1、2/2、2/3、3/2、3/3。
4.根据权利要求1所述的系统,其特征在于,准备模块具体用于:
根据尘肺病患者的资料信息对其相应的数字胸片进行标注,将标注后的数字胸片及其标注信息作为数据样本;
对数据样本进行数据清洗处理;将数据样本划分为训练集、验证集;对数据样本进行数据增广处理;对数据样本进行图像增强及预处理;获得准备的数据样本,完成数据样本准备处理。
5.根据权利要求1所述的系统,其特征在于,获得模块用于:
对深度卷积神经网络进行预训练,使用ImageNet数据集进行预训练从而初始化深度卷积神经网络的权重参数;
进行迁移学习,将深度卷积神经网络最后的全连接层替换为单节点以输出判定是否尘肺病的概率,利用预训练得到的权重参数对其余的神经网络参数进行初始化,使用准备的数据样本进行深度卷积神经网络模型的训练;
在迁移学习的基础上,对准备的数据样本进行微调使其网络参数适应当前的数据样本,利用准备的数据样本中带有标注信息的尘肺病数字胸片与正常人的数字胸片对深度卷积神经网络进行训练;其中,所述深度卷积神经网络包括卷积层、池化层、输出层。
6.根据权利要求5所述的系统,其特征在于,
对网络模型结构进行自适应调整,包括对深度卷积神经网络模型进行模型剪枝处理,具体包括以下步骤:
基于稀疏约束对预训练得到的网络模型再训练;其中,所述稀疏约束是基于待裁剪的计算顶点或信息边所进行的结构化约束;
对所有的目标权值进行排序,基于给定的剪枝比例计算出裁剪阈值;
移除权值小于裁剪阈值的相应顶点或边,对网络模型进行剪枝处理得到剪枝后的网络模型;
对模型剪枝处理后的网络模型进行微调训练;其中,微调策略包括基于自学的知识蒸馏网络微调策略。
7.根据权利要求1所述的系统,其特征在于,
还包括,收集测试集,对测试集分别采用人工及尘肺病判定及分级模型进行判定及分级,对测试结果进行分析、对比,根据测试结果进行尘肺病判定及分级模型的迭代、优化;其中,测试集为待判定及分级的尘肺病数字胸片。
8.根据权利要求1-7任一项所述的系统,其特征在于,
所述深度卷积神经网络为VGG、Inception、ResNet、Densnet中的任意一种,或
者为结合自适应机器学习进行网络结构搜索确定的网络结构。
CN201910961649.2A 2019-10-11 2019-10-11 基于深度卷积神经网络的尘肺病鉴别及分级判定方法 Active CN110680326B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910961649.2A CN110680326B (zh) 2019-10-11 2019-10-11 基于深度卷积神经网络的尘肺病鉴别及分级判定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910961649.2A CN110680326B (zh) 2019-10-11 2019-10-11 基于深度卷积神经网络的尘肺病鉴别及分级判定方法

Publications (2)

Publication Number Publication Date
CN110680326A CN110680326A (zh) 2020-01-14
CN110680326B true CN110680326B (zh) 2022-05-06

Family

ID=69111997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910961649.2A Active CN110680326B (zh) 2019-10-11 2019-10-11 基于深度卷积神经网络的尘肺病鉴别及分级判定方法

Country Status (1)

Country Link
CN (1) CN110680326B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111248913B (zh) * 2020-01-21 2023-04-07 山东师范大学 基于迁移学习的慢性阻塞性肺疾病预测系统、设备及介质
CN111598853B (zh) * 2020-04-30 2024-02-13 讯飞医疗科技股份有限公司 针对肺炎的ct影像评分方法、装置及设备
CN111709425A (zh) * 2020-05-26 2020-09-25 漳州卫生职业学院 一种基于特征迁移的肺部ct图像分类方法
WO2022000360A1 (zh) * 2020-07-01 2022-01-06 深圳市职业病防治院 一种用于人工智能筛查尘肺病胸片遴选、标注及验证方法
CN112348167B (zh) * 2020-10-20 2022-10-11 华东交通大学 一种基于知识蒸馏的矿石分选方法和计算机可读存储介质
CN112734036B (zh) * 2021-01-14 2023-06-02 西安电子科技大学 基于剪枝卷积神经网络的目标检测方法
CN113256593B (zh) * 2021-06-07 2021-10-26 四川国路安数据技术有限公司 基于任务自适应神经网络架构搜索的肿瘤图像检测方法
CN113486990B (zh) * 2021-09-06 2021-12-21 北京字节跳动网络技术有限公司 内窥镜图像分类模型的训练方法、图像分类方法和装置
CN116051446A (zh) * 2021-10-26 2023-05-02 江苏时代新能源科技有限公司 一种极片打皱检测方法、系统、终端及存储介质
CN114998203A (zh) * 2022-04-27 2022-09-02 四川大学华西第四医院 一种基于人工智能的职业性尘肺病精准诊断系统及方法
CN117315378B (zh) * 2023-11-29 2024-03-12 北京大学第三医院(北京大学第三临床医学院) 一种尘肺病的分级判定方法及相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106971198A (zh) * 2017-03-03 2017-07-21 北京市计算中心 一种基于深度学习的尘肺病等级判定方法及系统
CN108510489A (zh) * 2018-03-30 2018-09-07 四川元匠科技有限公司 一种基于深度学习的尘肺检测方法与系统
CN110009629A (zh) * 2019-04-12 2019-07-12 北京天明创新数据科技有限公司 一种尘肺病筛查系统及其数据训练方法
WO2019143228A1 (ko) * 2018-01-22 2019-07-25 재단법인 아산사회복지재단 프랙탈 차원값을 이용한 만성폐질환 예측방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106971198A (zh) * 2017-03-03 2017-07-21 北京市计算中心 一种基于深度学习的尘肺病等级判定方法及系统
WO2019143228A1 (ko) * 2018-01-22 2019-07-25 재단법인 아산사회복지재단 프랙탈 차원값을 이용한 만성폐질환 예측방법 및 장치
CN108510489A (zh) * 2018-03-30 2018-09-07 四川元匠科技有限公司 一种基于深度学习的尘肺检测方法与系统
CN110009629A (zh) * 2019-04-12 2019-07-12 北京天明创新数据科技有限公司 一种尘肺病筛查系统及其数据训练方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Computerized Classification of Pneumoconiosis on Digital Chest Radiography Artificial Neural Network with Three Stages;Eiichiro Okumura,et al;《J Digit Imaging》;20170120;第30卷;第413-426页 *

Also Published As

Publication number Publication date
CN110680326A (zh) 2020-01-14

Similar Documents

Publication Publication Date Title
CN110680326B (zh) 基于深度卷积神经网络的尘肺病鉴别及分级判定方法
CN109166105B (zh) 人工智能医学影像的肿瘤恶性风险分层辅助诊断系统
CN111985536B (zh) 一种基于弱监督学习的胃镜病理图像分类方法
CN112101451B (zh) 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法
CN105640577A (zh) 一种自动检测放射影像中局部性病变的方法和系统
CN111767952B (zh) 一种可解释的肺结节良恶性分类方法
Luo et al. Retinal image classification by self-supervised fuzzy clustering network
Zhang et al. Hybrid graph convolutional network for semi-supervised retinal image classification
Satyanarayana et al. Identifying the presence of bacteria on digital images by using asymmetric distribution with k-means clustering algorithm
CN114822823B (zh) 基于云计算和人工智能的融合多维度医疗数据的肿瘤精细分类系统
Adegoke et al. Review of feature selection methods in medical image processing
CN111784713A (zh) 一种引入注意力机制的u形心脏分割方法
CN113408603B (zh) 一种基于多分类器融合的冠状动脉狭窄病变程度识别方法
Manikandan et al. Segmentation and Detection of Pneumothorax using Deep Learning
Ingle et al. Lung Cancer Types Prediction Using Machine Learning Approach
CN110459303A (zh) 基于深度迁移的医疗影像异常检测装置
Xu et al. Identification of benign and malignant lung nodules in CT images based on ensemble learning method
CN112116559A (zh) 一种基于深度学习的数字病理图像智能分析方法
CN117195027A (zh) 基于成员选择的簇加权聚类集成方法
CN116864140A (zh) 一种心内科术后护理监测数据处理方法及其系统
Kishore An effective and efficient feature selection method for lung cancer detection
CN111798455A (zh) 一种基于全卷积密集空洞网络的甲状腺结节实时分割方法
Elizabeth et al. Computer‐aided diagnosis system for the detection of bronchiectasis in chest computed tomography images
Rdzhabov et al. Performance analysis of deep learning models for heart segmentation in chest x-ray images on a small dataset
Tobias et al. Android Application for Chest X-ray Health Classification From a CNN Deep Learning TensorFlow Model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant