CN113537300A - 一种基于糖尿病足伤口缺血或感染图像的深度学习分期方法 - Google Patents

一种基于糖尿病足伤口缺血或感染图像的深度学习分期方法 Download PDF

Info

Publication number
CN113537300A
CN113537300A CN202110698282.7A CN202110698282A CN113537300A CN 113537300 A CN113537300 A CN 113537300A CN 202110698282 A CN202110698282 A CN 202110698282A CN 113537300 A CN113537300 A CN 113537300A
Authority
CN
China
Prior art keywords
training
diabetic foot
wound
ischemia
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110698282.7A
Other languages
English (en)
Other versions
CN113537300B (zh
Inventor
陈瑜倩
吕东辉
冯国瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN202110698282.7A priority Critical patent/CN113537300B/zh
Publication of CN113537300A publication Critical patent/CN113537300A/zh
Application granted granted Critical
Publication of CN113537300B publication Critical patent/CN113537300B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于糖尿病足伤口缺血或感染图像的深度学习分期方法。使用两输入单输出集成融合网络结构，在网络训练过程中采用了Imagenet数据集的预训练模型参数，作为训练时特征提取的初始参数，并使用训练数据集进行整个网络参数的训练。另外学习率还采用cosine decay with warmup带预热的余弦衰减策略，在训练开始的时候先使用一个较小的学习率，等模型相对稳定后再选择预先设置的学习率进行训练,使得模型收敛速度变得更快，模型效果更佳。本发明有效地提高了分类准确率，为糖尿病足溃疡伤口的辅助诊断提供了新的思路，具有一定的临床应用价值。本发明适合应用于医学图像辅助诊断领域。

Description

一种基于糖尿病足伤口缺血或感染图像的深度学习分期方法
技术领域
本发明涉及图像分类方法，更具体而言，涉及一种基于糖尿病足伤口缺血或感染图像的深度学习分期方法。
背景技术
糖尿病是一种全球流行病，影响着约4.25亿人。预计到2045年，这一数字将上升至6.29亿。糖尿病足溃疡(DFU)是一种严重的糖尿病并发症。在过去几十年里，患有这种疾病的人数快速增长并成为了世界各地医疗保健系统面临的主要挑战。糖尿病足往往会向更严重的方向发展，如感染和缺血，这会显著延长治疗时间，更糟糕的情况是导致截肢，甚至会导致死亡。为了改善患者护理和减少医疗系统的压力，尽找发现患病情况以及由患者自己定期监测溃疡伤口的变化非常重要。准确评价糖尿病足的临床特点有利于判断预后并采取相应的措施，临床上较为常用的是Wager分级法和TEXAS分类法。TEXAS分类法结合溃疡深度分级和病因分期，评估溃疡深度及合并感染和缺血情况，目前倾向认为TEXAS大学分类法跟更为全面地反映糖尿病足的病情。本发明主要讨论溃疡伤口的分期：A期(无感染无缺血)、B期(有感染无缺血)、C期(有缺血无感染)、D期(有感染有缺血)。医生通过目测观察伤口区域的肉芽组织、蜕皮组织和坏死组织的颜色，纹理来判断伤口感染，坏死的情况。主要根据个人经验判断，很大程度上受到医生知识水平和经验等主观因素影响。诊断结果主观性强，缺少统一的标准。因此，实现糖尿病足诊断信息客观化已经成为了医学现代化发展过程中亟待解决的问题。
糖尿病足溃疡伤口的缺血和感染情况是诊断的重要指标，医生可以通过患者是否有：间歇性跛行、静息痛病史、触诊发现足背动脉、胫后动脉减弱或消失、踝动脉/肱动脉血压比值小于0.9、下肢动脉超声或动脉造影可见动脉狭窄或闭塞这些依据来判断糖尿病足是否缺血。另外感染的判断是根据：伤口是否发红、伤口处是否疼痛、伤口周围皮肤底下有无脓液等。计算机通过对糖尿病足图像的感染和缺血特征进行分析，使得糖尿病足图像缺血和感染特征信息客观化有利于诊断病症，具有重要的临床应用价值。
对于糖尿病足伤口特征进行分类主要分为两大类：基于传统方法的糖尿病足溃疡伤口图像分类和基于深度学习的图像分类方法。基于传统方法的糖尿病足溃疡伤口图像分类需要针对糖尿病足伤口图像人工设计特征，这通常需要扎实的专业经验，提取出来的特征通常是一些底层特征，比如纹理、颜色、形状、梯度等。手工设计的特征泛化能力有限，从而存在图像的分类准确率不高的局限性。近年来深度学习凭借其强大的特征提取和表达能力，给许多行业都带来了变革。将深度学习应用在糖尿病足伤口图像感染和缺血特征的分类上，有望提供更加准确的感染、缺血辅助诊断结果。
近些年来，随着深度学习技术的发展，深度学习在医学图像分析中的应用越来越广泛，其中面向RGB彩色医学图像的深度学习应用包括各种疾病的分类预测、目标检测以及分割等，但是应用在糖尿病足分期分类辅助诊断的研究较少，目前利用深度学习的糖尿病足分期分类辅助诊断存在以下难点：1)高质量有标签的糖尿病足伤口图像样本获取代价高：糖尿病足伤口训练样本需要依靠经验丰富的医生标注，往往比较难以获取。因此，如果训练数据集较小的话，可能会因为训练样本不足，造成模型过拟合的现象。2)对在医院的真实场景下采集的糖尿病足图像进行分析时，会发现获取到的数据各类别的样本数量比例存在明显差异，即样本类别不均衡。使用类别比例不均衡的训练样本数据集训练时可能会得到泛化能力较差的模型，会导致分类结果偏向占多数的类别，使得模型对占少数的类别样本识别率低。
发明内容
为了解决现有技术问题，本发明的目的在于克服已有技术存在的不足，提供一种基于糖尿病足伤口缺血或感染图像的深度学习分期方法，在于解决糖尿病足伤口感染或缺血特征分类时，由于训练样本数量不足而导致的过拟合现象，和由于样本类别不均衡所导致训练模型对占少数的类别识别率较低的问题。针对以上问题，提出一种基于糖尿病足伤口缺血或感染图像的深度学习分期方法，该方法通过将不同的优秀的深度学习网络框架的融合集成，加上采用了Imagenet数据集的预训练模型参数，作为训练时特征提取的初始参数，并且使用训练数据集进行整个网络参数的训练，从而实现准确的糖尿病足伤口感染或缺血特征的自动分期分类。
为达到上述发明创造目的，本发明采用如下技术方案：
一种基于糖尿病足伤口缺血或感染图像的深度学习分期方法，包括以下操作步骤：
步骤S1：获取数据集，数据集包括糖尿病足伤口图片和每张图片对应的标签；标签的值为0、1、2或3；
标签的值为0时表示对应糖尿病足图片的伤口既无感染也没有缺血现象；
标签的值为1时表示对应的糖尿病足图片的伤口处于有感染无缺血的状况；
标签的值为2时表示对应的糖尿病足图片的伤口处于有缺血无感染的状况；
标签的值为3时表示对应的糖尿病足图片的伤口处于既感染又缺血得状况；
步骤S2：通过组合式数据增强方式对糖尿病足溃疡伤口数据集进行增强，得到增强后的数据集；所述增强方式包括：左右翻转、360°随机角度旋转以及添加随机高斯噪声；
步骤S3：搭建两输入单输出集成融合深度学习模型并进行训练；所述深度学习模型包含两个深度学习网络、两个GlobalAveragePooling层、一个全连接层和一个softMax分类器，其中两个深度网络分别是冻结输出层的DenseNet121和EfficientNet-B0；
步骤S4：将待预测的糖尿病足伤口图像输入训练后的深度学习模型，并对其进行分类分期。
优选地，在所述步骤S2中，通过组合式数据增强方式对糖尿病足溃疡伤口数据集进行增强的计算公式如下：
Inoise＝I*G(x，y)；
Figure BDA0003129420810000031
其中，I表示原始图像矩阵，G(x，y)表示高斯噪声函数，G(x，y)中的x，y分别表示二维函数的横纵坐标，σ2表示方差值，取方差值等于0.3，Inoise表示处理后的图像矩阵。
优选地，在所述步骤S3中，将冻结了输出层的深度学习网络DenseNet121和EfficientNet-B0分别连接一个GlobalAveragePooling层后，通过Concatenate拼接融合在一起后在连接全连接层，最后将全连接层的数据直接输入softMax层进行分类；
在训练过程中，采用Imagenet数据集的预训练模型参数，作为训练时特征提取的初始参数，并使用训练数据集进行整个网络参数的训练；
整个训练过程中，损失函数选择categorical_crossentropy交叉熵损失函数，交叉熵是用来评估当前训练得到的概率分布与真实分布的差异情况，差异越小，损失函数的值越接近0；梯度下降优化选择了Adam优化器，参数根据初始学习率乘以梯度均值与梯度方差的平方根之比进行更新；其计算公式为：
Figure BDA0003129420810000032
Figure BDA0003129420810000033
Figure BDA0003129420810000034
其中t表示次数，
Figure BDA0003129420810000035
是mt的纠正，
Figure BDA0003129420810000036
是vt的纠正，β1，β2是常数，控制指数衰减，mt是梯度的指数移动均值，通过梯度的一阶矩求得；Vt是平方梯度，通过梯度的二阶矩求得；
mt和vt的更新方法如下：
mt＝β1*mt-1+(1-β1)*gt；
Figure BDA0003129420810000041
其中gt为一阶导，以上所有参数都默认设置为：α＝0.0001，β1＝0.9，β2＝0.999，ε＝10-8；
采用cosine decay with warmup的学习率衰减策略，Warmup是一种学习率预热的方法，在训练开始的时候先使用一个小的学习率，等到模型慢慢趋于稳定，再修改为预先设置的学习率来进行训练；Cosine Decay是学习率衰减方法，按照余弦函数的方式衰减，将学习率降低至最优值。学习率是深度学习模型中非常重要的超参数，但选择恰当的初始学习率很困难。为了避免模型出现震荡和模型训练过慢的情况，本发明采用了cosine decaywith warmup的学习率衰减策略。
优选地，在所述步骤S4中，将糖尿病足伤口图像的图片调整到统一尺寸224×224，然后利用softmax分类器，将处理好的数据集输入到训练好的模型上进行分类，输出介于0～1的概率值，从而得到分类结果。
本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：
1.本发明对占少数的样本类别进行数据增强，主要采用的手段有左右翻转、360°随机角度旋转以及添加随机高斯噪声，这能在一定程度上减少糖尿病足伤口感染、缺血特征存在的类别不均衡情况；
2.本发明采用了两输入单输出的集成融合网络思想，在训练过程中，采用了Imagenet数据集的预训练模型参数，作为训练时特征提取的初始参数，并使用训练数据集进行整个网络参数的训练；
3.本发明为了网络学习的更好，对学习率采用带预热的余弦衰减策略，保证了网络的收敛，以及在收敛到最优点附近时避免来回震荡，这样一来很大程度上提高了分类的准确率及算法的鲁棒性；
4.本发明方法简单易行，成本低，适合推广使用。
附图说明
图1为本发明的集成融合深度学习网络结构图。
图2为本发明的DenseNet121网络结构图。
图3为本发明的EfficientNet-B0网络结构图。
图4为本发明的糖尿病足感染、缺血特征数据集示意图。
具体实施方式
以下结合具体的实施例子对上述方案做进一步说明，本发明的优选实施例详述如下：
实施例一：
在本实施例中，一种基于糖尿病足伤口缺血或感染图像的深度学习分期方法，包括以下操作步骤：
步骤S1：获取数据集，数据集包括糖尿病足伤口图片和每张图片对应的标签；标签的值为0、1、2或3；
标签的值为0时表示对应糖尿病足图片的伤口既无感染也没有缺血现象；
标签的值为1时表示对应的糖尿病足图片的伤口处于有感染无缺血的状况；
标签的值为2时表示对应的糖尿病足图片的伤口处于有缺血无感染的状况；
标签的值为3时表示对应的糖尿病足图片的伤口处于既感染又缺血的状况；
步骤S2：通过组合式数据增强方式对糖尿病足溃疡伤口数据集进行增强，得到增强后的数据集；所述增强方式包括：左右翻转、360°随机角度旋转以及添加随机高斯噪声；
步骤S3：搭建两输入单输出集成融合深度学习模型并进行训练；所述深度学习模型包含两个深度学习网络、两个GlobalAveragePooling层、一个全连接层和一个softMax分类器，其中两个深度网络分别是冻结输出层的DenseNet121和EfficientNet-B0；
步骤S4：将待预测的糖尿病足伤口图像输入训练后的深度学习模型，并对其进行分类分期。
在所述步骤S2中，通过组合式数据增强方式对糖尿病足溃疡伤口数据集进行增强的计算公式如下：
Inoise＝I*G(x，y)；
Figure BDA0003129420810000051
其中，I表示原始图像矩阵，G(x,y)表示高斯噪声函数，G(x,y)中的x,y分别表示二维函数的横纵坐标，σ2表示方差值，取方差值等于0.3，Inoise表示处理后的图像矩阵。
本实施例基于糖尿病足伤口缺血或感染图像的深度学习分期方法，该方法通过将不同的优秀的深度学习网络框架的融合集成，加上采用了Imagenet数据集的预训练模型参数，作为训练时特征提取的初始参数，并且使用训练数据集进行整个网络参数的训练，从而实现准确的糖尿病足伤口感染或缺血特征的自动分期分类。
实施例二：
本实施例与实施例一基本相同，特别之处在于：
在本实施例中，在所述步骤S2中，通过组合式数据增强方式对糖尿病足溃疡伤口数据集进行增强的计算公式如下：
Inoise＝I*G(x，y)；
Figure BDA0003129420810000061
其中，I表示原始图像矩阵，G(x，y)表示高斯噪声函数，G(x，y)中的x，y分别表示二维函数的横纵坐标，σ2表示方差值，取方差值等于0.3，Inoise表示处理后的图像矩阵。
在本实施例中，在所述步骤S3中，将冻结了输出层的深度学习网络DenseNet121和EfficientNet-B0分别连接一个GlobalAveragePooling层后，通过Concatenate拼接融合在一起后在连接全连接层，最后将全连接层的数据直接输入softMax层进行分类；
在训练过程中，采用Imagenet数据集的预训练模型参数，作为训练时特征提取的初始参数，并使用训练数据集进行整个网络参数的训练；
整个训练过程中，损失函数选择categorical_crossentropy交叉熵损失函数，交叉熵是用来评估当前训练得到的概率分布与真实分布的差异情况，差异越小，损失函数的值越接近0；梯度下降优化选择了Adam优化器，参数根据初始学习率乘以梯度均值与梯度方差的平方根之比进行更新；其计算公式为：
Figure BDA0003129420810000062
Figure BDA0003129420810000063
Figure BDA0003129420810000064
其中t表示次数，
Figure BDA0003129420810000065
是mt的纠正，
Figure BDA0003129420810000066
是vt的纠正，β1，β2是常数，控制指数衰减，mt是梯度的指数移动均值，通过梯度的一阶矩求得；Vt是平方梯度，通过梯度的二阶矩求得；
mt和vt的更新方法如下：
mt＝β1*mt-1+(1-β1)*gt；
Figure BDA0003129420810000067
其中gt为一阶导，以上所有参数都默认设置为：α＝0.0001，β1＝0.9，β2＝0.999，ε＝10-8；
采用cosine decay with warmup的学习率衰减策略，Warmup是一种学习率预热的方法，在训练开始的时候先使用一个小的学习率，等到模型慢慢趋于稳定，再修改为预先设置的学习率来进行训练；Cosine Decay是学习率衰减方法，按照余弦函数的方式衰减，将学习率降低至最优值。学习率是深度学习模型中非常重要的超参数，但选择恰当的初始学习率很困难。为了避免模型出现震荡和模型训练过慢的情况，本发明采用了cosinedecaywith warmup的学习率衰减策略。
在本实施例中，在所述步骤S4中，将糖尿病足伤口图像的图片调整到统一尺寸224×224，然后利用softmax分类器，将处理好的数据集输入到训练好的模型上进行分类，输出介于0～1的概率值，从而得到分类结果。
本实施例对占少数的样本类别进行数据增强，主要采用的手段有左右翻转、360°随机角度旋转以及添加随机高斯噪声，这能在一定程度上减少糖尿病足伤口感染、缺血特征存在的类别不均衡情况；本实施例采用了两输入单输出的集成融合网络思想，在训练过程中，采用了Imagenet数据集的预训练模型参数，作为训练时特征提取的初始参数，并使用训练数据集进行整个网络参数的训练；本实施例为了网络学习的更好，对学习率采用带预热的余弦衰减策略，保证了网络的收敛，以及在收敛到最优点附近时避免来回震荡，这样一来很大程度上提高了分类的准确率及算法的鲁棒性。
实施例三：
本实施例与上述实施例基本相同，特别之处在于：
在本实施例中，由医生从医院现场采集到的糖尿病足图像的分辨率为1600X1200到3648X2736不等。分辨率太大会导致Gpu内存开销大，并且存在的一些无关紧要的信息会对特征提取造成干扰，所以先对原始数据集伤口溃疡位置进行关键位置选取，选取的图像块分辨率大小为224X224。用此分辨率为标准制作糖尿病足溃疡伤口感染、缺血特征数据集，其特征类别分别为无感染无缺血、有感染无缺血、有缺血无感染、既感染又缺血。之后再对数据集中占少数的类别进行数据增强，得到最终的糖尿病足溃疡伤口感染、缺血特征数据集。其详情信息为训练集共7881张，测试集共1971张。
在本实施例中，搭建两输入单输出集成融合深度学习模型并进行训练；所述深度学习模型包含两个深度学习网络、两个GlobalAveragePooling层、一个全连接层和一个softMax分类器，其中两个深度网络分别是冻结输出层的DenseNet121和EfficientNet-B0。
在本实施例中，将冻结了输出层的深度学习网络DenseNet121和EfficientNet-B0分别连接一个GlobalAveragePooling层后，通过Concatenate拼接融合在一起后连接全连接层，最后将全连接层的数据直接输入softMax层进行分类。
在本实施例中，将待预测的糖尿病足伤口图像输入训练后的深度学习模型，并对其进行分类分期。
本实施例涉及医学图像辅助诊断领域，更具体而言，涉及一种基于糖尿病足伤口缺血或感染图像的深度学习分期方法。使用两输入单输出集成融合网络结构，在网络训练过程中采用了Imagenet数据集的预训练模型参数，作为训练时特征提取的初始参数，并使用训练数据集进行整个网络参数的训练。另外学习率还采用cosine decay with warmup带预热的余弦衰减策略，在训练开始的时候先使用一个较小的学习率，等模型相对稳定后再选择预先设置的学习率进行训练,使得模型收敛速度变得更快，模型效果更佳。本发明有效地提高了分类准确率，为糖尿病足溃疡伤口的辅助诊断提供了新的思路，具有一定的临床应用价值。
上面对本发明实施例结合附图进行了说明，但本发明不限于上述实施例，还可以根据本发明的发明创造的目的做出多种变化，凡依据本发明技术方案的精神实质和原理下做的改变、修饰、替代、组合或简化，均应为等效的置换方式，只要符合本发明的发明目的，只要不背离本发明的技术原理和发明构思，都属于本发明的保护范围。

Claims (4)

1.一种基于糖尿病足伤口缺血或感染图像的深度学习分期方法，其特征在于，包括以下操作步骤：
步骤S1：获取数据集，数据集包括糖尿病足伤口图片和每张图片对应的标签；标签的值为0、1、2或3；
标签的值为0时表示对应糖尿病足图片的伤口既无感染也没有缺血现象；
标签的值为1时表示对应的糖尿病足图片的伤口处于有感染无缺血的状况；
标签的值为2时表示对应的糖尿病足图片的伤口处于有缺血无感染的状况；
标签的值为3时表示对应的糖尿病足图片的伤口处于既感染又缺血得状况；
步骤S2：通过组合式数据增强方式对糖尿病足溃疡伤口数据集进行增强，得到增强后的数据集；所述增强方式包括：左右翻转、360°随机角度旋转以及添加随机高斯噪声；
步骤S3：搭建两输入单输出集成融合深度学习模型并进行训练；所述深度学习模型包含两个深度学习网络、两个GlobalAveragePooling层、一个全连接层和一个softMax分类器，其中两个深度网络分别是冻结输出层的DenseNet121和EfficientNet-B0；
步骤S4：将待预测的糖尿病足伤口图像输入训练后的深度学习模型，并对其进行分类分期。
2.根据权利要求1所述基于糖尿病足伤口缺血或感染图像的深度学习分期方法，其特征在于，在所述步骤S2中，通过组合式数据增强方式对糖尿病足溃疡伤口数据集进行增强的计算公式如下：
Inoise＝I*G(x，y)；
Figure FDA0003129420800000011
其中，I表示原始图像矩阵，G(x，y)表示高斯噪声函数，G(x，y)中的x，y分别表示二维函数的横纵坐标，σ2表示方差值，取方差值等于0.3，Inoise表示处理后的图像矩阵。
3.根据权利要求1所述基于糖尿病足伤口缺血或感染图像的深度学习分期方法，其特征在于：在所述步骤S3中，将冻结了输出层的深度学习网络DenseNet121和EfficientNet-B0分别连接一个GlobalAveragePooling层后，通过Concatenate拼接融合在一起后在连接全连接层，最后将全连接层的数据直接输入softMax层进行分类；
在训练过程中，采用Imagenet数据集的预训练模型参数，作为训练时特征提取的初始参数，并使用训练数据集进行整个网络参数的训练；
整个训练过程中，损失函数选择categorical_crossentropy交叉熵损失函数，交叉熵是用来评估当前训练得到的概率分布与真实分布的差异情况，差异越小，损失函数的值越接近0；梯度下降优化选择了Adam优化器，参数根据初始学习率乘以梯度均值与梯度方差的平方根之比进行更新；其计算公式为：
Figure FDA0003129420800000021
Figure FDA0003129420800000022
Figure FDA0003129420800000023
其中t表示次数，
Figure FDA0003129420800000024
是mt的纠正，
Figure FDA0003129420800000025
是vt的纠正，β1，β2是常数，控制指数衰减，mt是梯度的指数移动均值，通过梯度的一阶矩求得；Vt是平方梯度，通过梯度的二阶矩求得；
mt和vt的更新方法如下：
mt＝β1*mt-1+(1-β1)*gt；
Figure FDA0003129420800000026
其中gt为一阶导，以上所有参数都默认设置为：α＝0.0001，β1＝0.9，β2＝0.999，ε＝10-8；
采用cosine decay with warmup的学习率衰减策略，Warmup是一种学习率预热的方法，在训练开始的时候先使用一个小的学习率，等到模型慢慢趋于稳定，再修改为预先设置的学习率来进行训练；Cosine Decay是学习率衰减方法，按照余弦函数的方式衰减，将学习率降低至最优值。
4.根据权利要求1所述基于糖尿病足伤口缺血或感染图像的深度学习分期方法，其特征在于：在所述步骤S4中，将糖尿病足伤口图像的图片调整到统一尺寸224×224，然后利用softmax分类器，将处理好的数据集输入到训练好的模型上进行分类，输出介于0～1的概率值，从而得到分类结果。
CN202110698282.7A 2021-06-23 2021-06-23 一种基于糖尿病足伤口缺血或感染图像的深度学习分期方法 Active CN113537300B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110698282.7A CN113537300B (zh) 2021-06-23 2021-06-23 一种基于糖尿病足伤口缺血或感染图像的深度学习分期方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110698282.7A CN113537300B (zh) 2021-06-23 2021-06-23 一种基于糖尿病足伤口缺血或感染图像的深度学习分期方法

Publications (2)

Publication Number Publication Date
CN113537300A true CN113537300A (zh) 2021-10-22
CN113537300B CN113537300B (zh) 2023-12-12

Family

ID=78096482

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110698282.7A Active CN113537300B (zh) 2021-06-23 2021-06-23 一种基于糖尿病足伤口缺血或感染图像的深度学习分期方法

Country Status (1)

Country Link
CN (1) CN113537300B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116578877A (zh) * 2023-07-14 2023-08-11 之江实验室 一种模型训练及二次优化打标的风险识别的方法及装置
CN117994251A (zh) * 2024-04-03 2024-05-07 华中科技大学同济医学院附属同济医院 基于人工智能的糖尿病足溃疡严重程度评估方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799937A (zh) * 2012-06-26 2012-11-28 天津大学 肌电信号与关节角度信息融合的下肢运动轨迹预测方法
CN108108757A (zh) * 2017-12-18 2018-06-01 深圳市唯特视科技有限公司 一种基于卷积神经网络的糖尿病足部溃疡分类方法
CN110197728A (zh) * 2019-03-12 2019-09-03 平安科技（深圳）有限公司 糖尿病的预测方法、装置及计算机设备
US20200285896A1 (en) * 2019-03-09 2020-09-10 Tongji University Method for person re-identification based on deep model with multi-loss fusion training strategy
CN111833334A (zh) * 2020-07-16 2020-10-27 上海志唐健康科技有限公司 一种基于孪生网络架构的眼底影像特征处理分析方法
CN112837282A (zh) * 2021-01-27 2021-05-25 上海交通大学 一种基于云边协同和深度学习的小样本图像缺陷检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799937A (zh) * 2012-06-26 2012-11-28 天津大学 肌电信号与关节角度信息融合的下肢运动轨迹预测方法
CN108108757A (zh) * 2017-12-18 2018-06-01 深圳市唯特视科技有限公司 一种基于卷积神经网络的糖尿病足部溃疡分类方法
US20200285896A1 (en) * 2019-03-09 2020-09-10 Tongji University Method for person re-identification based on deep model with multi-loss fusion training strategy
CN110197728A (zh) * 2019-03-12 2019-09-03 平安科技（深圳）有限公司 糖尿病的预测方法、装置及计算机设备
CN111833334A (zh) * 2020-07-16 2020-10-27 上海志唐健康科技有限公司 一种基于孪生网络架构的眼底影像特征处理分析方法
CN112837282A (zh) * 2021-01-27 2021-05-25 上海交通大学 一种基于云边协同和深度学习的小样本图像缺陷检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ALZUBAIDI L, ET AL.: "Novel transfer learning approach for medical imaging with limited labeled data", 《CANCERS》, vol. 13, no. 7, pages 1 - 22 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116578877A (zh) * 2023-07-14 2023-08-11 之江实验室 一种模型训练及二次优化打标的风险识别的方法及装置
CN116578877B (zh) * 2023-07-14 2023-12-26 之江实验室 一种模型训练及二次优化打标的风险识别的方法及装置
CN117994251A (zh) * 2024-04-03 2024-05-07 华中科技大学同济医学院附属同济医院 基于人工智能的糖尿病足溃疡严重程度评估方法及系统

Also Published As

Publication number Publication date
CN113537300B (zh) 2023-12-12

Similar Documents

Publication Publication Date Title
Su et al. Lung nodule detection based on faster R-CNN framework
US11101033B2 (en) Medical image aided diagnosis method and system combining image recognition and report editing
Xie et al. Dynamic adaptive residual network for liver CT image segmentation
CN109636805B (zh) 一种基于分类先验的宫颈图像病变区域分割装置及方法
CN113537300A (zh) 一种基于糖尿病足伤口缺血或感染图像的深度学习分期方法
CN113420826B (zh) 一种肝脏病灶图像处理系统及图像处理方法
WO2021238739A1 (zh) 基于聚类算法的下肢血管钙化指数多参数累积计算方法
Iranpoor et al. Skin lesion segmentation using convolutional neural networks with improved U-Net architecture
CN110163877A (zh) 一种mri心室结构分割的方法与系统
CN109215035B (zh) 一种基于深度学习的脑部mri海马体三维分割方法
CN112634291A (zh) 一种基于神经网络的烧伤创面区域自动分割方法
Chen et al. Early glaucoma detection by using style transfer to predict retinal nerve fiber layer thickness distribution on the fundus photograph
CN112950555A (zh) 一种基于深度学习的2型糖尿病心血管病变图像分类方法
CN116309631A (zh) 基于深度学习的糖网病眼底图像自动分割方法
CN116309346A (zh) 医学图像的检测方法、装置、设备、存储介质及程序产品
Lin Complexion classification based on convolutional neural network
Purwanithami et al. Hemorrhage diabetic retinopathy detection based on fundus image using neural network and FCM segmentation
CN115063657A (zh) 基于异构特征融合的缺血性脑卒中发病风险预测模型
CN115222651A (zh) 一种基于改进Mask R-CNN的肺结节检测系统
CN114359308A (zh) 一种基于边缘响应与非线性损失的主动脉夹层分割方法
Rajpar et al. Automated segmentation of whole cardiac CT images based on deep learning
CN111784690A (zh) 基于u形神经网络模型的心脏右心室分割方法
Nageswari et al. Automatic Detection and Classification of Diabetic Retinopathy using Modified UNET
Brady et al. The effect of diabetes and tissue depth on adipose chamber size and plantar soft tissue features
CN112862089A (zh) 一种具有可解释性的医学图像深度学习方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant