CN114549469A - 一种基于置信度校准的深层神经网络医疗图像诊断方法 - Google Patents

一种基于置信度校准的深层神经网络医疗图像诊断方法 Download PDF

Info

Publication number
CN114549469A
CN114549469A CN202210166191.3A CN202210166191A CN114549469A CN 114549469 A CN114549469 A CN 114549469A CN 202210166191 A CN202210166191 A CN 202210166191A CN 114549469 A CN114549469 A CN 114549469A
Authority
CN
China
Prior art keywords
neural network
confidence
resnet
loss
medical image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210166191.3A
Other languages
English (en)
Inventor
邓晓刚
江先晖
刘晓月
肖林勃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Petroleum East China
Original Assignee
China University of Petroleum East China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Petroleum East China filed Critical China University of Petroleum East China
Priority to CN202210166191.3A priority Critical patent/CN114549469A/zh
Publication of CN114549469A publication Critical patent/CN114549469A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Abstract

本发明公开了一种基于置信度校准的深层神经网络医疗图像诊断方法，包括：采集已标注病症类别标签y的医疗图像样本x并进行数据清洗和归一化处理；训练神经网络模型LeNet‑5、ResNet‑18并将训练权重保存；将LeNet‑5作为教师网络，ResNet‑18作为学生网络，构建知识蒸馏模型；固定LeNet‑5的权重，将带病症类别标签y的医疗图像x同时重新输入至LeNet‑5和ResNet‑18神经网络模型中，从LeNet‑5模型的softmax层中获取每张医疗图像预测的病症类别对应的置信度得分；将前面得到的置信度得分与ResNet‑18的对应softmax层输出的置信度得分之间计算KL散度损失，并与ResNet‑18预测结果和真实标签之间的交叉熵损失加权得到新的损失函数，以微调ResNet‑18的网络参数，最终获得经过置信度校准后的深层神经网络模型ResNet‑18用于辅助医疗图像诊断过程。

Description

一种基于置信度校准的深层神经网络医疗图像诊断方法
技术领域
本发明涉及机器学习技术领域，特别是涉及一种基于置信度校准的深层神经网络医疗图像诊断方法、系统、存储介质。
背景技术
随着大数据时代的到来，大量数据的获取、存储和传输难度已大大降低，同时计算机运算能力的飞速提升使得很多数据驱动的机器学习技术能落地应用于实际场景中。在这些机器学习技术中，深度学习算法，尤其是其中的深层神经网络模型凭借着高准确率更容易受到研究人员的关注和从业人员的青睐。在医学保健领域中，深度学习图像分类技术已经在对采集的各种医疗图像自动诊断过程中发挥了重要作用：医生常使用由深层神经网络模型构建的医疗诊断系统，对采集到的大量医学图像自动诊断，而仅对系统输出的低把握(低置信度)诊断结果进行人工复诊决策，以此大大降低了医生不必要的、重复的工作，并提高了在人口老龄化背景下医院对病人疾病诊断流程的运转效率。
由于医学保健属于高风险领域的一类，真正可靠的医疗诊断模型不应仅要求诊断的准确率高，模型对自己诊断结果正确的整体把握(整体置信度)应与最终诊断正确的医疗图像样本的比例(准确率)相当，即要求模型的置信度校准能力强。目前，从业人员一般将自动医疗诊断系统判别的疾病类别对应softmax层输出值作为诊断结果对应的置信度，却没有对这种策略获取置信度的真正可靠性予以关注。近期有研究表明，现代深层神经网络在很多应用领域中虽然预测的准确率高，但其softmax层却容易对一些样本输出置信度偏高的“过自信”错误预测，过高的置信度会误导医生轻信并采纳神经网络最终的诊断结果，这是十分危险的。因此有必要采用置信度校准策略，对深层神经网络因“过自信”特性而输出偏高的置信度进行校准，使其能输出真实反映医疗诊断系统对自身预测结果的置信度。然而现有的对神经网络置信度校准的方法，包括训练后处理的方法、训练校准并行的方法这两种，均存在应用上的局限性：训练后处理方法通常要将有限的含标签样本划分成用于第一步的预训练样本和用于第二步的后处理样本，这使得预训练样本数目减少，会使深层神经网络对病症的诊断准确率降低；训练校准并行的方法通常意味着模型的复杂度、计算时间成倍的提升，而大规模的神经网络医疗诊断模型不利于在设备部署，也会降低医疗诊断系统的运转效率。传统浅层神经网络虽然预测准确率较低，但其softmax层输出的置信度得分具备天然的高校准特性，即能够更真实的反映神经网络对预测结果把握程度，然而这一特性却长期被忽略。基于此，有待对目前应用在医疗诊断系统中的深层神经网络置信度校准方法进行改进。
发明内容
为克服上述现有技术的不足，本发明公开了一种基于置信度校准的深层神经网络医疗图像诊断方法，具体包括如下步骤：
采集已标注好病症类别标签y的医疗图像训练样本x并进行数据清洗和归一化处理；
训练浅层神经网络模型LeNet-5并将训练权重保存；
训练深层神经网络模型ResNet-18并将训练权重保存；
构建知识蒸馏模型，固定LeNet-5神经网络的权重，将上述带病症类别标签y的医疗图像x同时重新输入至已训练过的LeNet-5和ResNet-18神经网络模型中，从LeNet-5模型的softmax层输出中获取每张医疗图像预测的病症类别和对应的置信度得分；
将前面得到的置信度得分与ResNet-18的对应softmax层输出的置信度得分之间计算KL散度损失，并与ResNet-18预测结果和真实标签之间的交叉熵损失加权得到新的损失函数，以此微调ResNet-18的网络参数，最终获得经过置信度校准后的深层神经网络模型ResNet-18用于辅助医疗诊断过程。
进一步的，训练神经网络模型LeNet-5、ResNet-18并将训练权重保存时，使用共计N个含病症类别标签y(y＝{y1,y2,…,yi,…yN}，其中i＝1～N)的医疗图像数据x经过数据预处理后输入到LeNet-5和ResNet-18中，用公式(1)计算两个模型分别输出的置信度得分p(分别为pt、ps)和标注的诊断病症类别y之间的交叉熵损失CE(p,y)，结合L2正则化项，更新两个网络的参数θ，待两个网络的损失函数LossLeNet5、LossResNet18完全收敛后保存各自的训练权重。损失函数如公式(2)(3)所示：
Figure BDA0003511860680000021
LossLeNet5＝CE(pt,y)+λ2*θ2 (2)
LossResNet18＝CE(ps,y)+λ2*θ2 (3)
其中pi为样本图像xi(i＝1～N)输入神经网络得到的置信度，λ2为L2正则化系数。
进一步，利用两个网络各自置信度得分计算KL散度损失，并与交叉熵损失加权得到新的损失函数微调ResNet-18的网络参数时，利用知识蒸馏能将教师网络的信息(pt)传递给学生网络(ps)的特点，固定浅层神经网络LeNet-5的权重使其成为教师网络。之后利用浅层神经网络自身的高置信度校准能力，使用含已标注病症类别y的医疗图像x经过数据预处理后输入预训练过的LeNet-5和ResNet-18中，重新计算两个模型分别输出的置信度得分pt、ps，根据公式(4)计算得到两者的KL散度损失：
Figure BDA0003511860680000031
其中pi,t、pi,s分别为样本xi由教师网络、学生网络输出的置信度。
通过最小化KL损失，知识蒸馏将教师网络LeNet-5中包含高置信度校准能力信息的pt传递给学生网络ResNet-18，使其原本输出的过自信置信度得分ps收敛至pt，以提高深层神经网络的置信度校准能力。同时为防止浅层神经网络自身的低准确率特性一并传递给深层神经网络并降低其预测准确率，利用采集医疗图像x的真实病症类别标签y对学生网络构造交叉熵损失，以进一步约束置信度得分ps的收敛过程：将ResNet-18输出的置信度ps与类别标签y之间的交叉熵损失、与LeNet-5输出的置信度pt之间的KL散度损失和L2正则化项加权并获得新的损失函数LossCal-ResNet18，如公式(5)所示，对该式进行最小化实现ResNet-18的网络参数微调，直至完全收敛：
LossCal-ResNet18＝(1-λ1)*KL(pt,ps)+λ1*CE(ps,y)+λ2*θ2 (5)
其中λ1为分类损失的权重，θ为网络参数。
一种执行上述基于置信度校准的深层神经网络医疗图像诊断方法的系统，其特征在于，所述系统包括：
采集单元，用于采集已标注病症类别标签的医疗图像数据，并对其进行修改尺寸、数据增强等获得增强后的收集数据；
训练单元，将预处理后增强的收集数据输入至神经网络模型进行训练，并将完成训练的模型参数权重保存；
决策单元，读取待标注病症类别的采集医疗图像数据，传入到训练单元获得的神经网络中预测待测数据所属的病症类别及置信度，并对待测采集数据最终的诊断结果进行决策。
进一步的，对待测样本最终类别进行决策时，若神经网络输出的置信度大于指定阈值时，最终类别即为神经网络的预测类别；若神经网络输出的置信度小于指定阈值时，最终类别为医生人工决策诊断的结果。
由于采用了上述的技术方案，本发明提供了一种基于置信度校准的深层神经网络医疗图像诊断方法，该方法利用了长期被忽视的浅层神经网络具备高置信度校准能力的天然特性，辅助现代过自信深层神经网络提高其校准能力，避免其做出置信度偏高的预测，从而减少了医生盲目误采纳医疗诊断系统预测结果而引发的严重后果。这种利用校准能力强的浅层网络辅助差的深层网络训练的置信度校准策略，训练策略更加简单直观，且可解释性较强。又由于后处理训练的深层神经网络同时包含了浅层网络和深层网络各自的知识信息，新的网络实际上是个隐含的集成模型，这使得其预测诊断结果的准确率也能够有微小的提升。因此与现有的基于距离的置信度计算技术、现有的神经网络置信度校准策略相比，本发明在基于距离计算置信度的基础上，提出了一种解决深层神经网络模型易输出置信度偏高的过自信预测问题的方法，大大提高了自动医疗诊断系统应用于辅助医生诊断患者病症时输出预测结果的可靠性；使用了结合两个网络的后处理校准策略，克服了传统置信度校准策略可能牺牲预测准确率性能的问题；最终获得一个结构简单的单深层神经网络，克服了传统置信度校准策略计算复杂度高、模型庞大、快速性差的缺陷；提出的方法可用于解决传统自动医疗诊断系统容易输出的过自信预测误导医生的问题，进而提高了自动医疗诊断系统预测功能的可靠性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为基于置信度校准的深层神经网络医疗图像诊断方法流程图；
图2为基于置信度校准的深层神经网络医疗图像诊断方法结构图；
图3为LeNet-5(a)与ResNet-18(b)网络结构图；
图4为置信度校准前(a)、后(b)ResNet-18的可靠性图(含ECE损失)与混淆矩阵；
图5为置信度校准前后3种不同类型病人X射线图(a,b,c)被误判后输出的置信度结果；
具体实施方式
为使本发明的技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：
本申请中的带标签的样本数据依据医疗诊断任务收集图像病例，如图1所示的一种基于置信度校准的深层神经网络医疗图像诊断方法，具体包括如下步骤：
采集含类别标签的样本数据并对其进行数据清洗和归一化处理；这里以数据集ChestXRay2017为例，对所有含标签y的训练样本x(位于train文件夹下)维度缩放到224×224，便于后续统一输入到神经网络中。
我们使用LeNet-5(1998年提出)作为简单浅层神经网络的代表，ResNet-18(2015年提出)作为现代深层神经网络的代表，单独训练浅层神经网络模型LeNet-5、深层神经网络ResNet-18并将训练权重保存；使用共计N个含病症类别标签y(y＝{y1,y2,…,yi,…yN}，其中i＝1～N)的医疗图像数据x经过数据预处理后输入到LeNet-5和ResNet-18中，利用公式(1)计算两个模型分别输出的置信度得分p(分别为pt、ps)和标注的诊断病症类别y之间的交叉熵损失CE(p,y)，结合L2正则化项，更新两个网络的参数θ，待两个网络的损失函数LossLeNet5、LossResNet18完全收敛后保存各自的训练权重。其中损失函数如(2)(3)式所示：
Figure BDA0003511860680000051
LossLeNet5＝CE(pt,y)+λ2*θ2 (2)
LossResNet18＝CE(ps,y)+λ2*θ2 (3)
其中pi为样本图像xi(i＝1～N)输入神经网络得到的置信度，λ2为L2正则化系数。
如图2所示，以浅层神经网络LeNet-5为教师网络，深层神经网络ResNet-18为学生网络，构建知识蒸馏模型，利用知识蒸馏能将教师网络的信息(pt)传递给学生网络(ps)的特点，使用LeNet-5天然的高校准能力对ResNet-18进行置信度校准。固定LeNet-5神经网络权重，将带类别标签的样本数据重新同时输入至已训练过的LeNet-5和ResNet-18神经网络模型中，从LeNet-5模型的softmax层输出中获取每个样本对应的置信度得分，并将得到的置信度得分与ResNet-18的对应softmax层输出的置信度得分之间计算KL散度损失，并与ResNet-18预测结果和真实标签之间的交叉熵损失加权得到新的损失函数，以此微调ResNet-18的网络参数，最终获得经过置信度校准后的神经网络模型ResNet-18用于辅助医疗诊断过程。置信度校准过程的损失函数由两个网络置信度得分的KL散度、ResNet-18的置信度得分和真实类别标签y之间的分类损失、L2正则化项加权构成。其中KL散度损失如(4)式所示，最终的损失函数LossCal-ResNet18如(5)式所示：
Figure BDA0003511860680000052
LossCal-ResNet18＝(1-λ1)*KL(pt,ps)+λ1*CE(ps,y)+λ2*θ2 (5)
其中pi,t、pi,s分别为样本xi由教师网络、学生网络输出的置信度，λ1为分类损失的权重，θ为网络参数。
浅层神经网络LeNet-5和深层神经网络ResNet-18的层次结构分别如图3(a)和图3(b)所示。由于输入图片维度过大，对原始浅层神经网络LeNet-5的结构进行了改进：增设了额外的一组卷积层和全连接层。
为了更直观的表明该基于置信度校准的深层神经网络医疗图像诊断方法对ResNet-18深层神经网络置信度校准的有效性，在图4(a)和图4(b)分别给出了校准前、校准后ResNet-18对ChestXRay2017/test文件夹下验证样本预测的可靠性图(左，标题中附带ECE损失值)和混淆矩阵(右)。其中可靠性图是一种可视化反映模型置信度校准能力的直方图：它将预测结果的置信度从0～1划分为M＝20个等间隔区间，并分别求出落在每个置信度区间Bm(m＝1～M)下所有样本的平均预测置信度得分conf(Bm)(红色)和平均预测准确率acc(Bm)(蓝色)，每个区间这两者的差值越小说明模型的置信度校准能力越好。ECE损失是在可靠度图基础上考虑了每个置信度区间Bm下样本数目|Bm|后定量表征模型置信度校准能力的指标，越小表明模型的置信度校准效果越好。对于n个验证样本，ECE损失的计算公式如(6)所示：
Figure BDA0003511860680000061
根据图4可以看到，从定性的角度，校准后的可靠性图预测准确率拟合预测置信度得分的结果明显好于校准前；从定量的角度，校准后的ECE损失也要低于校准前：这说明该基于置信度校准的深层神经网络医疗图像诊断方法对ResNet-18深层神经网络置信度校准起到了良好的作用。同时，根据右侧的两个混淆矩阵可以计算得到校准前后的预测准确率分别为83.49％和85.26％，这也说明了提出的置信度校准方法中隐含集成结构对提升深层神经网络ResNet-18准确率的有效性。对于(12)、(13)、(15)损失函数中的超参数设置，取λ1＝0.45，λ2＝5e-4。
对应于本发明提供的一种基于置信度校准的深层神经网络医疗图像诊断方法，本发明还提供了一种基于置信度校准的深层神经网络医疗图像诊断系统，包括：
采集单元，用于采集已标注病症类别标签的医疗图像数据，并对其进行修改尺寸、数据增强等获得增强后的收集数据；
训练单元，将预处理后增强的收集数据输入至神经网络模型进行训练，并将完成训练的模型参数权重保存；
决策单元，读取不含标签的待诊断医学图像样本，传入到训练单元获得的神经网络模型中，预测并获得样本所属的病症类别和置信度信息，并对待诊断的病症类别进行决策：若神经网络输出的置信度大于指定阈值，最终诊断结果即为神经网络的预测类别；若神经网络输出的置信度小于指定阈值时，最终诊断结果为医生人工决策诊断的结果。
下面结合图5对上述辅助医疗诊断系统进一步说明，取决策单元中置信度决策阈值为0.85。图5中(a)(b)(c)分别选取了真实类别为细菌性肺炎、健康、病毒性肺炎各一张X射线图像均被误诊断后，校准前后ResNet-18输出的置信度信息。可以看到，如果不使用提出的基于置信度校准的深层神经网络医疗图像诊断系统，三个被误分类的X射线图置信度均大于0.85，因此会误导医生采用医疗诊断系统的结果自主决策，进而有可能危及患者的生命健康；使用了基于置信度校准的深层神经网络医疗图像诊断系统后，三张被误分类的X射线图均以小于阈值0.85的低置信度输出，促使医生使用人工辨别的方式决策患者的病症，将自动医疗诊断系统可能带来的风险最小化。
可以看出：本发明方法、系统更能促使深层神经网络更准确地反映模型预测结果的可靠性，解决了深层神经网络预测过自信的问题。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本发明所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种基于置信度校准的深层神经网络医疗图像诊断方法，其特征在于，包括：
采集已标注好病症类别标签y的医疗图像训练样本x并进行数据清洗和归一化处理；
训练浅层神经网络模型LeNet-5并将训练权重保存；
训练深层神经网络模型ResNet-18并将训练权重保存；
利用LeNet-5作为教师网络，ResNet-18作为学生网络，构建知识蒸馏网络模型；
固定LeNet-5神经网络的权重，将上述带病症类别标签y的医疗图像x同时重新输入至已训练过的LeNet-5和ResNet-18神经网络模型中，从LeNet-5模型的softmax层输出中获取每张医疗图像预测的病症类别和对应的置信度得分；
将前面得到的置信度得分与ResNet-18的对应softmax层输出的置信度得分之间计算KL散度损失，并与ResNet-18预测结果和真实标签之间的交叉熵损失加权得到新的损失函数，以此微调ResNet-18的网络参数，最终获得经过置信度校准后的深层神经网络模型ResNet-18用于辅助医疗诊断过程。
2.根据权利要求1所述的方法，其特征还在于：训练神经网络模型LeNet-5、ResNet-18并将训练权重保存时，使用共计N个含病症类别标签y(y＝{y1,y2,…,yi,…yN}，其中i＝1～N)的医疗图像数据x经过数据预处理后输入到LeNet-5和ResNet-18中，利用公式(1)计算两个模型分别输出的置信度得分p(分别为pt、ps)和标注的诊断病症类别y之间的交叉熵损失CE(p,y)，结合L2正则化项，更新两个网络的参数θ，待两个网络的损失函数LossLeNet5、LossResNet18完全收敛后保存各自的训练权重，损失函数如公式(2)(3)所示：
Figure FDA0003511860670000011
LossLeNet5＝CE(pt,y)+λ2*θ2 (2)
LossResNet18＝CE(ps,y)+λ2*θ2 (3)
其中pi为样本图像xi(i＝1～N)输入神经网络得到的置信度，λ2为L2正则化系数。
3.根据权利要求1所述的方法，其特征还在于：利用两个网络各自置信度得分计算KL散度损失，并与交叉熵损失加权得到新的损失函数微调ResNet-18的网络参数时，利用知识蒸馏能将教师网络的信息(pt)传递给学生网络(ps)的特点，固定浅层神经网络LeNet-5的权重使其成为教师网络；之后利用浅层神经网络自身的高置信度校准能力，使用含已标注病症类别y的医疗图像x经过数据预处理后输入预训练过的LeNet-5和ResNet-18中，重新计算两个模型分别输出的置信度得分pt、ps，根据公式(4)计算得到两者的KL散度损失：
Figure FDA0003511860670000021
其中pi,t、pi,s分别为样本xi由教师网络、学生网络输出的置信度，通过最小化KL损失，知识蒸馏将教师网络LeNet-5中包含高置信度校准能力信息的pt传递给学生网络ResNet-18，使其原本输出的过自信置信度得分ps收敛至pt，以提高深层神经网络的置信度校准能力；同时为防止浅层神经网络自身的低准确率特性一并传递给深层神经网络并降低其预测准确率，利用采集医疗图像x的真实病症类别标签y对学生网络构造交叉熵损失，以进一步约束置信度得分ps的收敛过程：将ResNet-18输出的置信度ps与类别标签y之间的交叉熵损失、与LeNet-5输出的置信度pt之间的KL散度损失和L2正则化项加权并获得新的损失函数LossCal-ResNet18，如公式(5)所示，对该式进行最小化实现ResNet-18的网络参数微调，直至完全收敛：
LossCal-ResNet18＝(1-λ1)*KL(pt,ps)+λ1*CE(ps,y)+λ2*θ2 (5)
其中λ1为分类损失的权重，θ为网络参数。
4.一种执行所述权利要求1-3任一项所述的基于置信度校准的深层神经网络医疗图像诊断方法的系统，其特征在于，所述系统包括：
采集单元，用于采集已标注病症类别标签的医疗图像数据，并对其进行修改尺寸、数据增强等获得增强后的收集数据；
训练单元，将预处理后增强的收集数据输入至神经网络模型进行训练，并将完成训练的模型参数权重保存；
决策单元，读取待标注病症类别的采集医疗图像数据，传入到训练单元获得的神经网络中预测待测数据所属的病症类别及置信度，并对待测采集数据最终的诊断结果进行决策。
5.根据权利要求4所述的方法，其特征还在于：对待测采集数据最终的诊断结果进行决策时，若神经网络输出的置信度大于指定阈值时，最终诊断结果即为神经网络的预测类别；若神经网络输出的置信度小于指定阈值时，最终诊断结果则由医生进行人为决策。
CN202210166191.3A 2022-02-21 2022-02-21 一种基于置信度校准的深层神经网络医疗图像诊断方法 Pending CN114549469A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210166191.3A CN114549469A (zh) 2022-02-21 2022-02-21 一种基于置信度校准的深层神经网络医疗图像诊断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210166191.3A CN114549469A (zh) 2022-02-21 2022-02-21 一种基于置信度校准的深层神经网络医疗图像诊断方法

Publications (1)

Publication Number Publication Date
CN114549469A true CN114549469A (zh) 2022-05-27

Family

ID=81677936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210166191.3A Pending CN114549469A (zh) 2022-02-21 2022-02-21 一种基于置信度校准的深层神经网络医疗图像诊断方法

Country Status (1)

Country Link
CN (1) CN114549469A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115760824A (zh) * 2022-11-28 2023-03-07 脉得智能科技(无锡)有限公司 一种皮肤病辅助诊断系统及方法、电子设备、存储介质
CN116433588A (zh) * 2023-02-21 2023-07-14 广东劢智医疗科技有限公司 一种基于宫颈细胞的多类别分类与置信判别方法
CN116453507A (zh) * 2023-02-21 2023-07-18 北京数美时代科技有限公司 基于置信度模型的语音识别优化方法、系统和存储介质
CN116580855A (zh) * 2023-05-22 2023-08-11 武汉市第三医院 放射性皮肤溃疡严重程度评估量表的信度检测方法及系统
CN117174257A (zh) * 2023-11-03 2023-12-05 福建自贸试验区厦门片区Manteia数据科技有限公司 医疗影像的处理装置、电子设备及计算机可读存储介质

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115760824A (zh) * 2022-11-28 2023-03-07 脉得智能科技(无锡)有限公司 一种皮肤病辅助诊断系统及方法、电子设备、存储介质
CN115760824B (zh) * 2022-11-28 2024-03-01 脉得智能科技(无锡)有限公司 一种皮肤病辅助诊断系统及方法、电子设备、存储介质
CN116433588A (zh) * 2023-02-21 2023-07-14 广东劢智医疗科技有限公司 一种基于宫颈细胞的多类别分类与置信判别方法
CN116453507A (zh) * 2023-02-21 2023-07-18 北京数美时代科技有限公司 基于置信度模型的语音识别优化方法、系统和存储介质
CN116453507B (zh) * 2023-02-21 2023-09-08 北京数美时代科技有限公司 基于置信度模型的语音识别优化方法、系统和存储介质
CN116433588B (zh) * 2023-02-21 2023-10-03 广东劢智医疗科技有限公司 一种基于宫颈细胞的多类别分类与置信判别方法
CN116580855A (zh) * 2023-05-22 2023-08-11 武汉市第三医院 放射性皮肤溃疡严重程度评估量表的信度检测方法及系统
CN116580855B (zh) * 2023-05-22 2023-11-03 武汉市第三医院 放射性皮肤溃疡严重程度评估量表的信度检测方法及系统
CN117174257A (zh) * 2023-11-03 2023-12-05 福建自贸试验区厦门片区Manteia数据科技有限公司 医疗影像的处理装置、电子设备及计算机可读存储介质
CN117174257B (zh) * 2023-11-03 2024-02-27 福建自贸试验区厦门片区Manteia数据科技有限公司 医疗影像的处理装置、电子设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN114549469A (zh) 一种基于置信度校准的深层神经网络医疗图像诊断方法
CN108717869B (zh) 基于卷积神经网络的糖尿病视网膜并发症诊断辅助系统
CN111681219A (zh) 基于深度学习的新冠肺炎ct图像分类方法、系统及设备
CN110991254B (zh) 超声图像视频分类预测方法及系统
CN111080643A (zh) 基于眼底图像的糖尿病及相关疾病的分类方法及设备
CN111738302A (zh) 一种基于多模态数据对阿尔茨海默病进行分类诊断的系统
US20220121902A1 (en) Method and apparatus for quality prediction
CN111028232A (zh) 基于眼底图像的糖尿病分类方法及设备
CN114037011A (zh) 一种中医舌色噪声标注样本的自动识别与清洗方法
CN113421228A (zh) 一种基于参数迁移的甲状腺结节识别模型训练方法及系统
CN115579141A (zh) 一种可解释疾病风险预测模型构建方法以及疾病风险预测装置
CN110728666B (zh) 基于数字病理玻片进行慢性鼻窦炎的分型方法及其系统
CN111047590A (zh) 基于眼底图像的高血压分类方法及设备
CN115798711A (zh) 基于反事实对比学习的慢性肾病诊疗决策支持系统
CN110766665A (zh) 基于强监督算法和深度学习网络的舌象数据分析方法
CN113052227A (zh) 一种基于SE-ResNet的肺结核识别方法
CN116030063B (zh) Mri图像的分类诊断系统、方法、电子设备及介质
CN115631847B (zh) 基于多组学特征的早期肺癌诊断系统、存储介质及设备
CN113476065B (zh) 一种多类肺炎诊断系统
CN114391827A (zh) 一种基于卷积神经网络的院前肺气肿诊断装置
CN114565617A (zh) 基于剪枝U-Net++的乳腺肿块图像分割方法及系统
CN113112463A (zh) 医学图像质量评估方法、电子设备及存储介质
CN111882551A (zh) 病理图像细胞计数方法、系统及装置
CN116433607B (zh) 基于关键区域特征双重加权融合的儿童手骨x光图像骨龄评估方法及系统
CN115631386B (zh) 一种基于机器学习的病理图像分类方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination