CN108108757A - 一种基于卷积神经网络的糖尿病足部溃疡分类方法 - Google Patents

一种基于卷积神经网络的糖尿病足部溃疡分类方法 Download PDF

Info

Publication number
CN108108757A
CN108108757A CN201711368840.3A CN201711368840A CN108108757A CN 108108757 A CN108108757 A CN 108108757A CN 201711368840 A CN201711368840 A CN 201711368840A CN 108108757 A CN108108757 A CN 108108757A
Authority
CN
China
Prior art keywords
mrow
ulcer
data
image
dfu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201711368840.3A
Other languages
English (en)
Inventor
夏春秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Vision Technology Co Ltd
Original Assignee
Shenzhen Vision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Vision Technology Co Ltd filed Critical Shenzhen Vision Technology Co Ltd
Priority to CN201711368840.3A priority Critical patent/CN108108757A/zh
Publication of CN108108757A publication Critical patent/CN108108757A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明中提出的一种基于卷积神经网络的糖尿病足部溃疡分类方法，其主要内容包括：创建糖尿病足溃疡数据集、感兴趣区域标记、增加数据、训练补丁的预处理和常规机器学习、构建糖尿病足溃疡网络，其过程为，先收集糖尿病足溃疡患者和健康人的足部图像作为数据集并描绘感兴趣区域，接着通过使用各种图像处理技术的组合增加数据，用于网络训练，然后对获得的补丁进行预处理，对每个像素进行归一化处理，最后建立糖尿病足溃疡网络，其包括输入数据、平行卷积、完全连接层和输出分类器。本发明利用先进的卷积神经网络，能更有效和高效地处理输入数据；其灵敏度高，能够有效识别健康皮肤与糖尿病足溃疡之间的特征差异，大大缩短了处理时间。

Description

一种基于卷积神经网络的糖尿病足部溃疡分类方法
技术领域
本发明涉及图像分类领域，尤其是涉及了一种基于卷积神经网络的糖尿病足部溃疡分类方法。
背景技术
糖尿病足溃疡(DFU)是糖尿病的主要并发症，如果发生时处理不当可能会导致患者面临截风险。然而，由于DFU需要医生对其患处进行仔细地诊断，同时还需要长时间的治疗和付出昂贵的治疗、护理费用，给患者及其家属造成沉重的经济负担，特别是在发展中国家，这种疾病的治疗费占据国家年收入的5％。因此，若能利用深度学习实现DFU的自动分类，将大大提高DFU患者的诊断和治疗效率。通过开发自动标注器，可以在没有临床医师的帮助下自动划分和分类足部图像，并且可以在这些分类器的帮助下开发溃疡的自动检测、识别和分割；同时可以结合各种软件工具(如用于溃疡识别的移动应用等)方便用户自行诊断。除此之外，这一框架可能有助于分类其他皮肤损伤，如伤口分类、感染如水痘或带状疱疹或其他皮肤病变如痣、雀斑、丘疹等。
本发明提出了一种基于卷积神经网络的糖尿病足部溃疡分类方法，先收集糖尿病足溃疡患者和健康人的足部图像作为数据集并描绘感兴趣区域，接着通过使用各种图像处理技术的组合增加数据，用于网络训练，然后对获得的补丁进行预处理，对每个像素进行归一化处理，最后建立糖尿病足溃疡网络，其包括输入数据、平行卷积、完全连接层和输出分类器。本发明利用先进的卷积神经网络，能更有效和高效地处理输入数据；其灵敏度高，能够有效识别健康皮肤与糖尿病足溃疡之间的特征差异，大大缩短了处理时间。
发明内容
针对传统诊断DFU方法不便的问题，本发明的目的在于提供一种基于卷积神经网络的糖尿病足部溃疡分类方法，先收集糖尿病足溃疡患者和健康人的足部图像作为数据集并描绘感兴趣区域，接着通过使用各种图像处理技术的组合增加数据，用于网络训练，然后对获得的补丁进行预处理，对每个像素进行归一化处理，最后建立糖尿病足溃疡网络，其包括输入数据、平行卷积、完全连接层和输出分类器。
为解决上述问题，本发明提供一种基于卷积神经网络的糖尿病足部溃疡分类方法，其主要内容包括：
(一)创建糖尿病足溃疡(DFU)数据集；
(二)感兴趣区域(ROI)标记；
(三)增加数据；
(四)训练补丁的预处理和常规机器学习；
(五)构建糖尿病足溃疡网络(DFUNet)。
其中，所述的创建糖尿病足溃疡(DFU)数据集，收集来自不同患者的DFU的标准化彩色图像的数据集，训练各种深度学习模型；收集292张DFU患者足部图像和105张健康足部图像，图像采用全尺寸的特写拍摄，距离约30-40厘米，平行于溃疡平面；避免使用闪光灯作为主要光源，而是使用足够的室内灯光使图像中颜色一致；同时应确保近距离对焦，避免因近距离而造成图像模糊。
其中，所述的感兴趣区域(ROI)标记，对于溃疡足部的每个完整图像，医学专家围绕溃疡的重要区域描绘了感兴趣区域(ROI)，包括正常和异常的显著组织皮肤；对于同时伴有溃疡和非溃疡的图像注释，总共有292个ROI(仅用于具有溃疡的足部图像)；从这些注释中，共产生了1679个皮肤补丁，包括641个正常补丁和1038个异常补丁；最后，将数据集划分为1423个补丁的训练集、84个补丁的验证集和172个补丁的测试集。
其中，所述的增加数据，深度网络需要大量的训练图像数据，特别是需要通过学习算法调整卷积层相关的权重；因此，使用增加数据的方法来提高深度学习方法的性能；即使用各种图像处理技术的组合，如旋转、翻转、增强对比度、使用不同的色彩空间、随机缩放或通过90°、180°、270°的角度对图像进行旋转；然后，对原始色块执行三种类型的翻转(水平翻转、垂直翻转、水平并垂直翻转)；用于数据增加的四个颜色空间是Ycbcr、NTSC、HSV和L*a*b；增强对比度时，使用了调整图像强度值、直方图均衡的增强对比度、限制对比的自适应直方图均衡三个函数；使用随机偏移量和随机方向从皮肤补丁的原始数据集中生成了两倍的裁剪补丁；通过这些技术，一共增加了15次训练和验证补丁的数量，即21345个训练补丁和1260个用于验证的补丁。
其中，所述的训练补丁的预处理和常规机器学习，由于数据增获加得了大量的训练数据，因此对这些补丁进行预处理是非常重要的；使用零中心技术对这些获得的补丁进行预处理，然后对每个像素进行归一化处理；
对DFU和健康皮肤之间差异进行观察，可知颜色和纹理特征描述符是分类的视觉线索；对于这个两类分类问题，选择顺序最小优化(SMO)作为基于支持向量机(SVM)的机器学习分类器；
(1)特征描述符：将整个数据集的补丁大小调整为256×256，以提取统一的颜色和纹理特征描述符；使用的三种颜色空间：RGB、HSV和L*u*v；
(2)局部二元模式(LBP)是分类中最常用的纹理描述符之一；提取LBP特征以识别足部异常区域中的纹理的强烈变化，从而检测DFU；
(3)定向梯度直方图(HOG)将基于像素的表示转换为基于梯度；在这种分类的背景下，HOG在图像中的异常位置处的图像梯度给出了该位置的强度变化；梯度是一个向量，它既有大小又有方向。
其中，所述的构建糖尿病足溃疡网络(DFUNet)，DFUNet结合了两种卷积层，即网络起始处的传统卷积层，其使用单个卷积滤波器，接着是平行卷积层，其使用多个卷积层用于从相同输入中提取多个特征；
健康的皮肤趋向于表现出光滑的质地，而DFU具有许多明显的特征，包括边缘大、强度或颜色变化强烈、周围的健康皮肤和溃疡本身之间快速变化；DFUN分为三个主要部分：初始化层，比先前的网络层更有效地区分溃疡的平行卷积层，最后是完全连接层和基于softmax的输出分类器；用于DFUNet训练的参数是40个时期，批量大小为8，Adam求解器的学习率为0.001；学习率降低33％，γ值设置为0.1时采用降压策略；
DFUNet包括输入数据、平行卷积、完全连接层和输出分类器。
进一步地，所述的输入数据，输入包含糖尿病性溃疡和健康皮肤的足部区域的大小为256×256的补丁，用做DFU训练和验证的图像；DFUNet的输入从传统的CNN结构中的初始卷积、汇集和归一化层开始；执行此步骤还可确保在转到后续图层之前减少较大的原始输入图像维度。
进一步地，所述的平行卷积，传统的卷积层只使用单一类型的卷积滤波器，通常是从输入数据上的1×1到5×5之间；每个卷积滤波器在相同的输入上提供不同的特征提取；
使用平行卷积层的思想是串联多个卷积滤波器输入，以允许多级特征提取并覆盖来自相同输入的群集；卷积的设计是为了创建可区分的特征，突出显示图像中的任何DFU部位；在DFUNet的平行卷积层中使用三种卷积核：5×5、3×3和1×1；这些卷积核相互平行并最终连接起来；DFUNet的核心是四个平行卷积，在DFU数据集上进行试验的DFUNet总共有5个不同的滤波器大小。
进一步地，所述的卷积层，每个卷积层使用一个修正线性单位(ReLU)，其定义如下：
f(x)＝max(0,x) (1)
函数将激活阈值设为零；由于对每个卷积使用了一个ReLU，因此它们包含无限激活，所以使用局部响应规范化(LRN)在卷积层的每个级联之后对这些激活进行归一化；它也有助于避免CNN方法面临的过度拟合问题；设是应用在位置(x,y)的内核i的源输出；然后通过下式计算在位置(x,y)处应用核i的正则化输出
其中，N是内核的总数，n是归一化邻域的大小，α,β,k,(n)是超参数；此外，为了降低维度，在第一和第三平行卷积之后包括最大共用层。
进一步地，所述的完全连接层和输出分类器，完全连接层和输出分类器的最后一节是类概率的Softmax输出，它是参数与训练和验证数据标签接近程度的度量；DFU的二级输出是健康的皮肤和糖尿病性溃疡；它由一个平均汇聚层和两个全连接(FC)层构成，输出为100；DFUNet针对两类问题进行了微调，在第一个FC层仅使用了100个，最后一个FC层调整为2；这个微调有助于在DFUNet的训练和测试阶段加快处理速度；Softmax函数(交叉熵机制)是最后一层，定义为：
其中，fj是类别分数f的第j个元素，z是任意实值分数的向量，被压缩到0和1之间的值的向量，其总和为1。
附图说明
图1是本发明一种基于卷积神经网络的糖尿病足部溃疡分类方法的系统流程图。
图2是本发明一种基于卷积神经网络的糖尿病足部溃疡分类方法的DFU网络的整体构架。
图3是本发明一种基于卷积神经网络的糖尿病足部溃疡分类方法的DFU网络的输入。
图4是本发明一种基于卷积神经网络的糖尿病足部溃疡分类方法的DFU网络的平行卷积。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
图1是本发明一种基于卷积神经网络的糖尿病足部溃疡分类方法的系统流程图。主要包括创建糖尿病足溃疡(DFU)数据集，感兴趣区域(ROI)标记，增加数据，训练补丁的预处理和常规机器学习，构建糖尿病足溃疡网络(DFUNet)。
创建糖尿病足溃疡(DFU)数据集，收集来自不同患者的DFU的标准化彩色图像的数据集，训练各种深度学习模型；收集292张DFU患者足部图像和105张健康足部图像，图像采用全尺寸的特写拍摄，距离约30-40厘米，平行于溃疡平面；避免使用闪光灯作为主要光源，而是使用足够的室内灯光使图像中颜色一致；同时应确保近距离对焦，避免因近距离而造成图像模糊。
感兴趣区域(ROI)标记，对于溃疡足部的每个完整图像，医学专家围绕溃疡的重要区域描绘了感兴趣区域(ROI)，包括正常和异常的显著组织皮肤；对于同时伴有溃疡和非溃疡的图像注释，总共有292个ROI(仅用于具有溃疡的足部图像)；从这些注释中，共产生了1679个皮肤补丁，包括641个正常补丁和1038个异常补丁；最后，将数据集划分为1423个补丁的训练集、84个补丁的验证集和172个补丁的测试集。
增加数据，深度网络需要大量的训练图像数据，特别是需要通过学习算法调整卷积层相关的权重；因此，使用增加数据的方法来提高深度学习方法的性能；即使用各种图像处理技术的组合，如旋转、翻转、增强对比度、使用不同的色彩空间、随机缩放或通过90°、180°、270°的角度对图像进行旋转；然后，对原始色块执行三种类型的翻转(水平翻转、垂直翻转、水平并垂直翻转)；用于数据增加的四个颜色空间是Ycbcr、NTSC、HSV和L*a*b；增强对比度时，使用了调整图像强度值、直方图均衡的增强对比度、限制对比的自适应直方图均衡三个函数；使用随机偏移量和随机方向从皮肤补丁的原始数据集中生成了两倍的裁剪补丁；通过这些技术，一共增加了15次训练和验证补丁的数量，即21345个训练补丁和1260个用于验证的补丁。
训练补丁的预处理和常规机器学习，由于数据增获加得了大量的训练数据，因此对这些补丁进行预处理是非常重要的；使用零中心技术对这些获得的补丁进行预处理，然后对每个像素进行归一化处理；
对DFU和健康皮肤之间差异进行观察，可知颜色和纹理特征描述符是分类的视觉线索；对于这个两类分类问题，选择顺序最小优化(SMO)作为基于支持向量机(SVM)的机器学习分类器；
(1)特征描述符：将整个数据集的补丁大小调整为256×256，以提取统一的颜色和纹理特征描述符；使用的三种颜色空间：RGB、HSV和L*u*v；
(2)局部二元模式(LBP)是分类中最常用的纹理描述符之一；提取LBP特征以识别足部异常区域中的纹理的强烈变化，从而检测DFU；
(3)定向梯度直方图(HOG)将基于像素的表示转换为基于梯度；在这种分类的背景下，HOG在图像中的异常位置处的图像梯度给出了该位置的强度变化；梯度是一个向量，它既有大小又有方向。
图2是本发明一种基于卷积神经网络的糖尿病足部溃疡分类方法的DFU网络的整体构架图。DFUNet结合了两种卷积层，即网络起始处的传统卷积层，其使用单个卷积滤波器，接着是平行卷积层，其使用多个卷积层用于从相同输入中提取多个特征；
健康的皮肤趋向于表现出光滑的质地，而DFU具有许多明显的特征，包括边缘大、强度或颜色变化强烈、周围的健康皮肤和溃疡本身之间快速变化；DFUN分为三个主要部分：初始化层，比先前的网络层更有效地区分溃疡的平行卷积层，最后是完全连接层和基于softmax的输出分类器；用于DFUNet训练的参数是40个时期，批量大小为8，Adam求解器的学习率为0.001；学习率降低33％，γ值设置为0.1时采用降压策略；
DFUNet包括输入数据、平行卷积、完全连接层和输出分类器。
完全连接层和输出分类器的最后一节是类概率的Softmax输出，它是参数与训练和验证数据标签接近程度的度量；DFU的二级输出是健康的皮肤和糖尿病性溃疡；它由一个平均汇聚层和两个全连接(FC)层构成，输出为100；DFUNet针对两类问题进行了微调，在第一个FC层仅使用了100个，最后一个FC层调整为2；这个微调有助于在DFUNet的训练和测试阶段加快处理速度；Softmax函数(交叉熵机制)是最后一层，定义为：
其中，fj是类别分数f的第j个元素，z是任意实值分数的向量，被压缩到0和1之间的值的向量，其总和为1。
图3是本发明一种基于卷积神经网络的糖尿病足部溃疡分类方法的DFU网络的输入。输入包含糖尿病性溃疡和健康皮肤的足部区域的大小为256×256的补丁，用做DFU训练和验证的图像；DFUNet的输入从传统的CNN结构中的初始卷积、汇集和归一化层开始；执行此步骤还可确保在转到后续图层之前减少较大的原始输入图像维度。
图4是本发明一种基于卷积神经网络的糖尿病足部溃疡分类方法的DFU网络的平行卷积。传统的卷积层只使用单一类型的卷积滤波器，通常是从输入数据上的1×1到5×5之间；每个卷积滤波器在相同的输入上提供不同的特征提取；
使用平行卷积层的思想是串联多个卷积滤波器输入，以允许多级特征提取并覆盖来自相同输入的群集；卷积的设计是为了创建可区分的特征，突出显示图像中的任何DFU部位；在DFUNet的平行卷积层中使用三种卷积核：5×5、3×3和1×1；这些卷积核相互平行并最终连接起来；DFUNet的核心是四个平行卷积，在DFU数据集上进行试验的DFUNet总共有5个不同的滤波器大小。
每个卷积层使用一个修正线性单位(ReLU)，其定义如下：
f(x)＝max(0,x) (2)
函数将激活阈值设为零；由于对每个卷积使用了一个ReLU，因此它们包含无限激活，所以使用局部响应规范化(LRN)在卷积层的每个级联之后对这些激活进行归一化；它也有助于避免CNN方法面临的过度拟合问题；设是应用在位置(x,y)的内核i的源输出；然后通过下式计算在位置(x,y)处应用核i的正则化输出
其中，N是内核的总数，n是归一化邻域的大小，α,β,k,(n)是超参数；此外，为了降低维度，在第一和第三平行卷积之后包括最大共用层。
对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种基于卷积神经网络的糖尿病足部溃疡分类方法，其特征在于，主要包括创建糖尿病足溃疡(DFU)数据集(一)；感兴趣区域(ROI)标记(二)；增加数据(三)；训练补丁的预处理和常规机器学习(四)；构建糖尿病足溃疡网络(DFUNet)(五)。
2.基于权利要求书1所述的创建糖尿病足溃疡(DFU)数据集(一)，其特征在于，收集来自不同患者的DFU的标准化彩色图像的数据集，训练各种深度学习模型；收集292张DFU患者足部图像和105张健康足部图像，图像采用全尺寸的特写拍摄，距离约30-40厘米，平行于溃疡平面；避免使用闪光灯作为主要光源，而是使用足够的室内灯光使图像中颜色一致；同时应确保近距离对焦，避免因近距离而造成图像模糊。
3.基于权利要求书1所述的感兴趣区域(ROI)标记(二)，其特征在于，对于溃疡足部的每个完整图像，医学专家围绕溃疡的重要区域描绘了感兴趣区域(ROI)，包括正常和异常的显著组织皮肤；对于同时伴有溃疡和非溃疡的图像注释，总共有292个ROI(仅用于具有溃疡的足部图像)；从这些注释中，共产生了1679个皮肤补丁，包括641个正常补丁和1038个异常补丁；最后，将数据集划分为1423个补丁的训练集、84个补丁的验证集和172个补丁的测试集。
4.基于权利要求书1所述的增加数据(三)，其特征在于，深度网络需要大量的训练图像数据，特别是需要通过学习算法调整卷积层相关的权重；因此，使用增加数据的方法来提高深度学习方法的性能；即使用各种图像处理技术的组合，如旋转、翻转、增强对比度、使用不同的色彩空间、随机缩放或通过90°、180°、270°的角度对图像进行旋转；然后，对原始色块执行三种类型的翻转(水平翻转、垂直翻转、水平并垂直翻转)；用于数据增加的四个颜色空间是Ycbcr、NTSC、HSV和L*a*b；增强对比度时，使用了调整图像强度值、直方图均衡的增强对比度、限制对比的自适应直方图均衡三个函数；使用随机偏移量和随机方向从皮肤补丁的原始数据集中生成了两倍的裁剪补丁；通过这些技术，一共增加了15次训练和验证补丁的数量，即21345个训练补丁和1260个用于验证的补丁。
5.基于权利要求书1所述的训练补丁的预处理和常规机器学习(四)，其特征在于，由于数据增获加得了大量的训练数据，因此对这些补丁进行预处理是非常重要的；使用零中心技术对这些获得的补丁进行预处理，然后对每个像素进行归一化处理；
对DFU和健康皮肤之间差异进行观察，可知颜色和纹理特征描述符是分类的视觉线索；对于这个两类分类问题，选择顺序最小优化(SMO)作为基于支持向量机(SVM)的机器学习分类器；
(1)特征描述符：将整个数据集的补丁大小调整为256×256，以提取统一的颜色和纹理特征描述符；使用的三种颜色空间：RGB、HSV和L*u*v；
(2)局部二元模式(LBP)是分类中最常用的纹理描述符之一；提取LBP特征以识别足部异常区域中的纹理的强烈变化，从而检测DFU；
(3)定向梯度直方图(HOG)将基于像素的表示转换为基于梯度；在这种分类的背景下，HOG在图像中的异常位置处的图像梯度给出了该位置的强度变化；梯度是一个向量，它既有大小又有方向。
6.基于权利要求书1所述的构建糖尿病足溃疡网络(DFUNet)(五)，其特征在于，DFUNet结合了两种卷积层，即网络起始处的传统卷积层，其使用单个卷积滤波器，接着是平行卷积层，其使用多个卷积层用于从相同输入中提取多个特征；
健康的皮肤趋向于表现出光滑的质地，而DFU具有许多明显的特征，包括边缘大、强度或颜色变化强烈、周围的健康皮肤和溃疡本身之间快速变化；DFUN分为三个主要部分：初始化层，比先前的网络层更有效地区分溃疡的平行卷积层，最后是完全连接层和基于softmax的输出分类器；用于DFUNet训练的参数是40个时期，批量大小为8，Adam求解器的学习率为0.001；学习率降低33％，γ值设置为0.1时采用降压策略；
DFUNet包括输入数据、平行卷积、完全连接层和输出分类器。
7.基于权利要求书6所述的输入数据，其特征在于，输入包含糖尿病性溃疡和健康皮肤的足部区域的大小为256×256的补丁，用做DFU训练和验证的图像；DFUNet的输入从传统的CNN结构中的初始卷积、汇集和归一化层开始；执行此步骤还可确保在转到后续图层之前减少较大的原始输入图像维度。
8.基于权利要求书6所述的平行卷积，其特征在于，传统的卷积层只使用单一类型的卷积滤波器，通常是从输入数据上的1×1到5×5之间；每个卷积滤波器在相同的输入上提供不同的特征提取；
使用平行卷积层的思想是串联多个卷积滤波器输入，以允许多级特征提取并覆盖来自相同输入的群集；卷积的设计是为了创建可区分的特征，突出显示图像中的任何DFU部位；在DFUNet的平行卷积层中使用三种卷积核：5×5、3×3和1×1；这些卷积核相互平行并最终连接起来；DFUNet的核心是四个平行卷积，在DFU数据集上进行试验的DFUNet总共有5个不同的滤波器大小。
9.基于权利要求书7所述的卷积层，其特征在于，每个卷积层使用一个修正线性单位(ReLU)，其定义如下：
f(x)＝max(0,x) (1)
函数将激活阈值设为零；由于对每个卷积使用了一个ReLU，因此它们包含无限激活，所以使用局部响应规范化(LRN)在卷积层的每个级联之后对这些激活进行归一化；它也有助于避免CNN方法面临的过度拟合问题；设是应用在位置(x,y)的内核i的源输出；然后通过下式计算在位置(x,y)处应用核i的正则化输出
<mrow> <mi>b</mi> <mfrac> <mi>i</mi> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> </mrow> </mfrac> <mo>=</mo> <mi>a</mi> <mfrac> <mi>i</mi> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> </mrow> </mfrac> <msup> <mrow> <mo>(</mo> <mi>k</mi> <mo>+</mo> <mi>&amp;alpha;</mi> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> <mrow> <mo>(</mo> <mn>0</mn> <mo>,</mo> <mi>i</mi> <mo>-</mo> <mfrac> <mi>n</mi> <mn>2</mn> </mfrac> <mo>)</mo> </mrow> </mrow> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> <mrow> <mo>(</mo> <mi>N</mi> <mo>-</mo> <mn>1</mn> <mo>,</mo> <mi>i</mi> <mo>+</mo> <mfrac> <mi>n</mi> <mn>2</mn> </mfrac> <mo>)</mo> </mrow> </mrow> </munderover> <msup> <mrow> <mo>(</mo> <mrow> <mi>a</mi> <mfrac> <mi>i</mi> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> </mrow> </mfrac> </mrow> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>)</mo> </mrow> <mi>&amp;beta;</mi> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>
其中，N是内核的总数，n是归一化邻域的大小，α,β,k,(n)是超参数；此外，为了降低维度，在第一和第三平行卷积之后包括最大共用层。
10.基于权利要求书6所述的完全连接层和输出分类器，其特征在于，完全连接层和输出分类器的最后一节是类概率的Softmax输出，它是参数与训练和验证数据标签接近程度的度量；DFU的二级输出是健康的皮肤和糖尿病性溃疡；它由一个平均汇聚层和两个全连接(FC)层构成，输出为100；DFUNet针对两类问题进行了微调，在第一个FC层仅使用了100个，最后一个FC层调整为2；这个微调有助于在DFUNet的训练和测试阶段加快处理速度；Softmax函数(交叉熵机制)是最后一层，定义为：
<mrow> <msub> <mi>f</mi> <mi>j</mi> </msub> <mrow> <mo>(</mo> <mi>z</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <msup> <mi>e</mi> <msub> <mi>z</mi> <mi>j</mi> </msub> </msup> <mrow> <msub> <mo>&amp;Sigma;</mo> <mi>k</mi> </msub> <msup> <mi>e</mi> <msub> <mi>z</mi> <mi>k</mi> </msub> </msup> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>
其中，fj是类别分数f的第j个元素，z是任意实值分数的向量，被压缩到0和1之间的值的向量，其总和为1。
CN201711368840.3A 2017-12-18 2017-12-18 一种基于卷积神经网络的糖尿病足部溃疡分类方法 Withdrawn CN108108757A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711368840.3A CN108108757A (zh) 2017-12-18 2017-12-18 一种基于卷积神经网络的糖尿病足部溃疡分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711368840.3A CN108108757A (zh) 2017-12-18 2017-12-18 一种基于卷积神经网络的糖尿病足部溃疡分类方法

Publications (1)

Publication Number Publication Date
CN108108757A true CN108108757A (zh) 2018-06-01

Family

ID=62211069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711368840.3A Withdrawn CN108108757A (zh) 2017-12-18 2017-12-18 一种基于卷积神经网络的糖尿病足部溃疡分类方法

Country Status (1)

Country Link
CN (1) CN108108757A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898175A (zh) * 2018-06-26 2018-11-27 北京工业大学 基于深度学习胃癌病理切片的计算机辅助模型构建方法
CN109330566A (zh) * 2018-11-21 2019-02-15 佛山市第人民医院（中山大学附属佛山医院） 一种伤口监测方法及装置
CN109448855A (zh) * 2018-09-17 2019-03-08 大连大学 一种基于cnn和模型融合的糖尿病血糖预测方法
CN109635866A (zh) * 2018-12-10 2019-04-16 杭州帝视科技有限公司 处理肠图像的方法
CN110245657A (zh) * 2019-05-17 2019-09-17 清华大学 病理图像相似性检测方法及检测装置
CN111488964A (zh) * 2019-01-29 2020-08-04 北京市商汤科技开发有限公司 图像处理方法及装置、神经网络训练方法及装置
CN112489806A (zh) * 2020-11-27 2021-03-12 南通市第一人民医院 一种糖尿病足患者病状信息智能化管理方法及系统
CN112562830A (zh) * 2020-12-03 2021-03-26 南通市第一人民医院 一种糖尿病足的预防系统及方法
CN112712122A (zh) * 2020-12-31 2021-04-27 杭州电子科技大学 基于神经网络模型的角膜溃疡的分类检测方法及系统
CN113537300A (zh) * 2021-06-23 2021-10-22 上海大学 一种基于糖尿病足伤口缺血或感染图像的深度学习分期方法
CN117648613A (zh) * 2024-01-30 2024-03-05 北京神州龙芯科技有限公司 一种基于人工智能的糖尿病足溃疡预测方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599939A (zh) * 2016-12-30 2017-04-26 深圳市唯特视科技有限公司 一种基于区域卷积神经网络的实时目标检测方法
CN107392314A (zh) * 2017-06-30 2017-11-24 天津大学 一种基于确定性丢弃连接的深层卷积神经网络方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599939A (zh) * 2016-12-30 2017-04-26 深圳市唯特视科技有限公司 一种基于区域卷积神经网络的实时目标检测方法
CN107392314A (zh) * 2017-06-30 2017-11-24 天津大学 一种基于确定性丢弃连接的深层卷积神经网络方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MANU GOYAL: "DFUNet: Convolutional Neural Networks for Diabetic Foot Ulcer Classification", 《ARXIV:1711.10448V1》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898175B (zh) * 2018-06-26 2020-11-20 北京工业大学 基于深度学习胃癌病理切片的计算机辅助模型构建方法
CN108898175A (zh) * 2018-06-26 2018-11-27 北京工业大学 基于深度学习胃癌病理切片的计算机辅助模型构建方法
CN109448855A (zh) * 2018-09-17 2019-03-08 大连大学 一种基于cnn和模型融合的糖尿病血糖预测方法
CN109330566A (zh) * 2018-11-21 2019-02-15 佛山市第人民医院（中山大学附属佛山医院） 一种伤口监测方法及装置
CN109635866A (zh) * 2018-12-10 2019-04-16 杭州帝视科技有限公司 处理肠图像的方法
CN109635866B (zh) * 2018-12-10 2021-07-23 杭州帝视科技有限公司 处理肠图像的方法
CN111488964A (zh) * 2019-01-29 2020-08-04 北京市商汤科技开发有限公司 图像处理方法及装置、神经网络训练方法及装置
CN110245657B (zh) * 2019-05-17 2021-08-24 清华大学 病理图像相似性检测方法及检测装置
CN110245657A (zh) * 2019-05-17 2019-09-17 清华大学 病理图像相似性检测方法及检测装置
CN112489806A (zh) * 2020-11-27 2021-03-12 南通市第一人民医院 一种糖尿病足患者病状信息智能化管理方法及系统
CN112489806B (zh) * 2020-11-27 2022-02-15 南通市第一人民医院 一种糖尿病足患者病状信息智能化管理方法及系统
CN112562830A (zh) * 2020-12-03 2021-03-26 南通市第一人民医院 一种糖尿病足的预防系统及方法
CN112712122A (zh) * 2020-12-31 2021-04-27 杭州电子科技大学 基于神经网络模型的角膜溃疡的分类检测方法及系统
CN113537300A (zh) * 2021-06-23 2021-10-22 上海大学 一种基于糖尿病足伤口缺血或感染图像的深度学习分期方法
CN113537300B (zh) * 2021-06-23 2023-12-12 上海大学 一种基于糖尿病足伤口缺血或感染图像的深度学习分期方法
CN117648613A (zh) * 2024-01-30 2024-03-05 北京神州龙芯科技有限公司 一种基于人工智能的糖尿病足溃疡预测方法及系统
CN117648613B (zh) * 2024-01-30 2024-05-28 北京神州龙芯科技有限公司 一种基于人工智能的糖尿病足溃疡预测方法及系统

Similar Documents

Publication Publication Date Title
CN108108757A (zh) 一种基于卷积神经网络的糖尿病足部溃疡分类方法
Goyal et al. Dfunet: Convolutional neural networks for diabetic foot ulcer classification
Tan et al. Automated segmentation of exudates, haemorrhages, microaneurysms using single convolutional neural network
Shin et al. Comparison of hand-craft feature based SVM and CNN based deep learning framework for automatic polyp classification
Wang et al. Hierarchical retinal blood vessel segmentation based on feature and ensemble learning
Karegowda et al. Exudates detection in retinal images using back propagation neural network
CN109447962A (zh) 一种基于卷积神经网络的眼底图像硬性渗出物病变检测方法
Cheng et al. Retinal blood vessel segmentation based on Densely Connected U-Net
WO2020022027A1 (ja) 学習装置及び学習方法
Du et al. UNet retinal blood vessel segmentation algorithm based on improved pyramid pooling method and attention mechanism
CN110786824B (zh) 基于边界框修正网络的粗标注眼底照出血病变检测方法及系统
Guo-Feng et al. A rapid, low-cost deep learning system to classify strawberry disease based on cloud service
Chen et al. Blood vessel enhancement via multi-dictionary and sparse coding: Application to retinal vessel enhancing
Qomariah et al. Segmentation of microaneurysms for early detection of diabetic retinopathy using MResUNet
Zhang et al. Multi-scale neural networks for retinal blood vessels segmentation
Yang et al. Classification of diabetic retinopathy severity based on GCA attention mechanism
CN110444294A (zh) 一种基于感知神经网络的前列腺癌辅助分析方法及设备
Firke et al. Convolutional neural network for diabetic retinopathy detection
Saifan et al. Six skin diseases classification using deep convolutional neural network
Harikrishnan et al. Diabetic retinopathy identification using autoML
Liu et al. Feature pyramid U‐Net for retinal vessel segmentation
Dong et al. Supervised learning-based retinal vascular segmentation by m-unet full convolutional neural network
Zhao et al. Convolutional neural networks for branch retinal vein occlusion recognition?
Liu et al. A cross-lesion attention network for accurate diabetic retinopathy grading with fundus images
Javid et al. Design and analysis of an improved deep ensemble learning model for melanoma skin cancer classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20180601

WW01 Invention patent application withdrawn after publication