CN117994251A - 基于人工智能的糖尿病足溃疡严重程度评估方法及系统 - Google Patents
基于人工智能的糖尿病足溃疡严重程度评估方法及系统 Download PDFInfo
- Publication number
- CN117994251A CN117994251A CN202410397259.8A CN202410397259A CN117994251A CN 117994251 A CN117994251 A CN 117994251A CN 202410397259 A CN202410397259 A CN 202410397259A CN 117994251 A CN117994251 A CN 117994251A
- Authority
- CN
- China
- Prior art keywords
- boundary
- representing
- diabetic foot
- bounding box
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 208000008960 Diabetic foot Diseases 0.000 title claims abstract description 51
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 17
- 238000001514 detection method Methods 0.000 claims abstract description 54
- 238000012937 correction Methods 0.000 claims abstract description 10
- 230000007246 mechanism Effects 0.000 claims abstract description 10
- 238000011156 evaluation Methods 0.000 claims abstract description 8
- 230000008569 process Effects 0.000 claims description 22
- 208000025865 Ulcer Diseases 0.000 claims description 12
- 231100000397 ulcer Toxicity 0.000 claims description 12
- 238000002372 labelling Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 7
- 238000011478 gradient descent method Methods 0.000 claims description 7
- 208000027418 Wounds and injury Diseases 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 8
- 238000010276 construction Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 14
- 238000013135 deep learning Methods 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
- A61B5/447—Skin evaluation, e.g. for skin disorder diagnosis specially adapted for aiding the prevention of ulcer or pressure sore development, i.e. before the ulcer or sore has developed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Radiology & Medical Imaging (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Public Health (AREA)
- Artificial Intelligence (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Primary Health Care (AREA)
- Dermatology (AREA)
- Epidemiology (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明属于糖尿病足评估领域，具体是指一种基于人工智能的糖尿病足溃疡严重程度评估方法及系统，方法包括标注数据、构建模型、小目标增强、迭代循环、标签分配、校正调优和评估分类。本方案采用的构建基于FCOS框架的轻量目标检测网络，采用以MobileNetV3作为骨干网络的特征金字塔网络，提高效率缩减时间，通过轻量化骨干网以降低计算成本；采用单点无头人脸检测器作为小目标增强模块，增强对小目标的关注，从而提高类似糖尿病足溃疡的小型目标的检测能力；采用标签分配策略来确定突出特征，并引入了中心校正机制，使预测的边界框更接近真实边界，进一步提高了检测精度。
Description
技术领域
本发明属于糖尿病足评估领域，具体是指一种基于人工智能的糖尿病足溃疡严重程度评估方法及系统。
背景技术
传统的医学影像分析主要依赖于医生的经验和专业知识来判断疾病的严重程度，但是随着计算机视觉和图像处理技术的发展，人工智能开始在医学影像分析领域发挥作用。但传统的以图像识别为手段的深度学习神经网络模型存在体量大，计算时间长问题；存在传统的检测器未能考虑在糖尿病足溃疡的小型目标检测过程中的信息丢失的问题；存在在标签分配过程中，由于数据集标注的错误，可能导致将错误的标签分配给了某些样本，以及某些样本可能具有极端的特征或属性，导致模型在某些类别上表现较差，影响模型性能的问题。
发明内容
针对上述情况，为克服现有技术的缺陷，本发明提供了一种基于人工智能的糖尿病足溃疡严重程度评估方法及系统，针对传统的以图像识别为手段的深度学习神经网络模型存在体量大，计算时间长问题，本方案采用的构建基于FCOS框架的轻量目标检测网络，采用以MobileNetV3作为骨干网络的特征金字塔网络，提高效率缩减时间，通过轻量化骨干网以降低计算成本；针对传统的检测器未能考虑在糖尿病足溃疡的小型目标检测过程中的信息丢失的问题，本方案采用单点无头人脸检测器作为小目标增强模块，增强对小目标的关注，从而提高类似糖尿病足溃疡的小型目标的检测能力；针对在标签分配过程中，由于数据集标注的错误，可能导致将错误的标签分配给了某些样本，以及某些样本可能具有极端的特征或属性，导致模型在某些类别上表现较差，影响模型性能的问题，本方案采用标签分配策略来确定突出特征，并引入了中心校正机制，使预测的边界框更接近真实边界，进一步提高了检测精度。
本发明采取的技术方案如下：本发明提供的一种基于人工智能的糖尿病足溃疡严重程度评估方法，该方法包括以下步骤：
步骤S1：标注数据，采集目标检测数据集，数据集包括训练图像、真实边界框和分类标签，所述分类标签包括轻度溃疡、中度溃疡、重度溃疡和危重溃疡；
步骤S2：构建模型，构建基于FCOS框架的目标检测模型，采用以MobileNetV3作为骨干网络的特征金字塔网络，提取多尺度特征图像；
步骤S3：小目标增强，通过在多尺度特征图像上进行密集采样获取锚点，采用单点无头人脸检测器识别糖尿病足溃疡小型伤口，将骨干网络最后三层输出的特征图作为单点无头人脸检测器的输入，单点无头人脸检测器根据锚点和特征图，输出虚拟边界框；
步骤S4：迭代循环，训练目标检测模型，计算基于角度的配置项和损失函数，采用梯度下降法优化目标检测模型；
步骤S5：标签分配，医生将患者糖尿病足溃疡的照片作为输入数据上传至目标检测模型，通过FreeAnchor标签分配策略，目标检测模型对每个正样本锚点进行分类和定位，输出糖尿病足溃疡的预测边界框和所属分类；
步骤S6：校正调优，采用注意力机制对预测边界框进行校准和调优操作；
步骤S7：评估分类，计算每个正样本的预测边界框与真实边界框之间的置信度分数，取匹配概率最大的预测边界框、置信度分数和所属分类作为评估糖尿病足溃疡严重程度的输出。
进一步的，在步骤S3中，小目标增强，具体方法包括以下步骤：
步骤S31：将骨干网络最后三层输出的特征图作为单点无头人脸检测器的输入向量，单点无头人脸检测器输出虚拟边界框，计算真实边界框与虚拟边界框的相关参数，所用公式如下：
；
；
；
；
式中，表示真实边界框，表示虚拟边界框，表示真实边界框的上边界到锚点
的距离，表示真实边界框的下边界到锚点的距离，表示真实边界框的左边界到锚点的
距离，表示真实边界框的右边界到锚点的距离，表示虚拟边界框的上边界到锚点的距
离，表示虚拟边界框的下边界到锚点的距离，表示虚拟边界框的左边界到锚点的距离，表示虚拟边界框的右边界到锚点的距离，表示真实边界框的面积，表示虚拟边界框
的面积；
步骤S32：衡量虚拟边界框与真实边界框之间的重叠程度，将虚拟边界框与真实边界框之间重叠所形成的新边界框记为交集边界框，计算伪交并比，公式如下：
；
式中，表示交集边界框的上边界的坐标，表示交集边界框的下边界的坐标，
表示交集边界框的左边界的坐标，表示交集边界框的右边界的坐标，表示伪交并
比；
步骤S33：正负样本选择，根据伪交并比，将锚点降序排序，计算所有锚点的置信度，选取置信度最高的锚点作为正样本，其余锚点作为负样本。
进一步的，在步骤S4中，计算基于角度的配置项和损失函数，具体方法包括以下步骤：
步骤S41：将真实边界框的中心点定义为地面真实中心，记为；
步骤S42：计算地面真实中心和预测边界框的中心点之间角度值损失配置项，公式如下：
；
式中，表示角度值损失配置项，表示倾斜角度，表示和之间的距离，表示
水平方向的夹角，和表示角度值损失配置项的权重参数，表示求解的余弦
值的幅角，表示求解的正弦值的幅角；
步骤S43：将角度值损失配置项加入到损失函数中，形成优化后的损失函数，公式如下：
；
式中，表示优化后的损失函数，表示原始的损失函数。
本发明提供的一种基于人工智能的糖尿病足溃疡严重程度评估导系统，所述一种基于人工智能的糖尿病足溃疡严重程度评估导系统包括标注数据模块、构建模型模块、小目标增强模块、迭代循环模块、标签分配模块、校正调优模块、评估分类模块；
所述标注数据模块采集目标检测数据集；
所述构建模型模块构建基于FCOS框架的目标检测模型，采用以MobileNetV3作为骨干网络的特征金字塔网络，提取多尺度特征图像；
所述小目标增强模块通过在多尺度特征图像上进行密集采样获取锚点，采用单点无头人脸检测器识别糖尿病足溃疡小型伤口，将骨干网络最后三层输出的特征图作为单点无头人脸检测器的输入，单点无头人脸检测器根据锚点和特征图，输出虚拟边界框；
所述迭代循环模块训练目标检测模型，计算基于角度的配置项和损失函数，采用梯度下降法优化目标检测模型；
所述标签分配模块将患者糖尿病足溃疡的照片作为输入数据上传至目标检测模型，通过FreeAnchor标签分配策略，目标检测模型对每个正样本锚点进行分类和定位，输出糖尿病足溃疡的预测边界框和所属分类；
所述校正调优模块采用注意力机制对预测边界框进行校准和调优操作；
所述评估分类模块计算每个正样本的预测边界框与真实边界框之间的置信度分数，取匹配概率最大的预测边界框、置信度分数和所属分类作为评估糖尿病足溃疡严重程度的输出。
采用上述方案本发明取得的有益效果如下：
（1）针对传统的以图像识别为手段的深度学习神经网络模型存在体量大，计算时间长问题，本方案采用的构建基于FCOS框架的轻量目标检测网络，采用以MobileNetV3作为骨干网络的特征金字塔网络，提高效率缩减时间，通过轻量化骨干网以降低计算成本；
（2）针对传统的检测器未能考虑在糖尿病足溃疡的小型目标检测过程中的信息丢失的问题，本方案采用单点无头人脸检测器作为小目标增强模块，增强对小目标的关注，从而提高类似糖尿病足溃疡的小型目标的检测能力；
（3）针对在标签分配过程中，由于数据集标注的错误，可能导致将错误的标签分配给了某些样本，以及某些样本可能具有极端的特征或属性，导致模型在某些类别上表现较差，影响模型性能的问题，本方案采用标签分配策略来确定突出特征，并引入了中心校正机制，使预测的边界框更接近真实边界，进一步提高了检测精度。
附图说明
图1为本发明提供的一种基于人工智能的糖尿病足溃疡严重程度评估方法的流程示意图；
图2为本发明提供的一种基于人工智能的糖尿病足溃疡严重程度评估导系统的结构示意图；
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
实施例一，参阅图1，本发明提供的一种基于人工智能的糖尿病足溃疡严重程度评估方法，该方法包括以下步骤：
步骤S1：标注数据，采集目标检测数据集，数据集包括训练图像、真实边界框和分类标签，所述分类标签包括轻度溃疡、中度溃疡、重度溃疡和危重溃疡；
步骤S2：构建模型，构建基于FCOS框架的目标检测模型，采用以MobileNetV3作为骨干网络的特征金字塔网络，提取多尺度特征图像；
步骤S3：小目标增强，通过在多尺度特征图像上进行密集采样获取锚点，采用单点无头人脸检测器识别糖尿病足溃疡小型伤口，将骨干网络最后三层输出的特征图作为单点无头人脸检测器的输入，单点无头人脸检测器根据锚点和特征图，输出虚拟边界框；
步骤S4：迭代循环，训练目标检测模型，计算基于角度的配置项和损失函数，采用梯度下降法优化目标检测模型；
步骤S5：标签分配，医生将患者糖尿病足溃疡的照片作为输入数据上传至目标检测模型，通过FreeAnchor标签分配策略，目标检测模型对每个正样本锚点进行分类和定位，输出糖尿病足溃疡的预测边界框和所属分类；
步骤S6：校正调优，采用注意力机制对预测边界框进行校准和调优操作；
步骤S7：评估分类，计算每个正样本的预测边界框与真实边界框之间的置信度分数，取匹配概率最大的预测边界框、置信度分数和所属分类作为评估糖尿病足溃疡严重程度的输出；
通过实施上述步骤操作，对传统的以图像识别为手段的深度学习神经网络模型存在体量大，计算时间长问题，本方案采用的构建基于FCOS框架的轻量目标检测网络，采用以MobileNetV3作为骨干网络的特征金字塔网络，提高效率缩减时间，通过轻量化骨干网以降低计算成本；
通过实施上述步骤操作，针对在标签分配过程中，由于数据集标注的错误，可能导致将错误的标签分配给了某些样本，以及某些样本可能具有端的特征或属性，导致模型在某些类别上表现较差，影响模型性能的问题，本方案采用标签分配策略来确定突出特征，并引入了中心校正机制，使预测的边界框更接近真实边界，进一步提高了检测精度。
实施例二，参阅图1，该实施例基于上述实施例，在步骤S3中，小目标增强，具体包括以下步骤：
步骤S31：将骨干网络最后三层输出的特征图作为单点无头人脸检测器的输入向量，单点无头人脸检测器输出虚拟边界框，计算真实边界框与虚拟边界框的相关参数，所用公式如下：
；
；
；
；
式中，表示真实边界框，表示虚拟边界框，表示真实边界框的上边界到锚点
的距离，表示真实边界框的下边界到锚点的距离，表示真实边界框的左边界到锚点的
距离，表示真实边界框的右边界到锚点的距离，表示虚拟边界框的上边界到锚点的距
离，表示虚拟边界框的下边界到锚点的距离，表示虚拟边界框的左边界到锚点的距离，表示虚拟边界框的右边界到锚点的距离，表示真实边界框的面积，表示虚拟边界框
的面积；
步骤S32：衡量虚拟边界框与真实边界框之间的重叠程度，将虚拟边界框与真实边界框之间重叠所形成的新边界框记为交集边界框，计算伪交并比，公式如下：
；
式中，表示交集边界框的上边界的坐标，表示交集边界框的下边界的坐标，
表示交集边界框的左边界的坐标，表示交集边界框的右边界的坐标，表示伪交并
比；
步骤S33：正负样本选择，根据伪交并比，将锚点降序排序，计算所有锚点的置信度，选取置信度最高的锚点作为正样本，其余锚点作为负样本；
通过实施上述步骤操作，针对传统的检测器未能考虑在糖尿病足溃疡的小型目标检测过程中的信息丢失的问题，本方案采用单点无头人脸检测器作为小目标增强模块，增强对小目标的关注，从而提高类似糖尿病足溃疡的小型目标的检测能力。
实施例三，参阅图1，该实施例基于上述实施例，在步骤S4中，迭代循环，训练目标检测模型，计算基于角度的配置项和损失函数，采用梯度下降法优化目标检测模型，具体包括以下步骤：
步骤S41：将真实边界框的中心点定义为地面真实中心，记为；
步骤S42：计算地面真实中心和预测边界框的中心点之间角度值损失配置项，公式如下：
；
式中，表示角度值损失配置项，表示倾斜角度，表示和之间的距离，表示
水平方向的夹角，和表示角度值损失配置项的权重参数，表示求解的余弦
值的幅角，表示求解的正弦值的幅角；
步骤S43：将角度值损失配置项加入到损失函数中，形成优化后的损失函数，公式如下：
；
式中，表示优化后的损失函数，表示原始的损失函数；
实施例四，参阅图1，该实施例基于上述实施例，在步骤S1中，所述目标检测数据集，具体采用拥有超过33万张图像、150万个对象和80个对象类别，可用于对象检测、语义分割和图像字幕的MS COCO数据集。
实施例五，参阅图1和图2，该实施例基于上述实施例，本发明提供的一种基于人工智能的糖尿病足溃疡严重程度评估导系统，包括标注数据模块、构建模型模块、小目标增强模块、迭代循环模块、标签分配模块、校正调优模块、评估分类模块；
所述标注数据模块采集目标检测数据集；
所述构建模型模块构建基于FCOS框架的目标检测模型，采用以MobileNetV3作为骨干网络的特征金字塔网络，提取多尺度特征图像；
所述小目标增强模块通过在多尺度特征图像上进行密集采样获取锚点，采用单点无头人脸检测器识别糖尿病足溃疡小型伤口，将骨干网络最后三层输出的特征图作为单点无头人脸检测器的输入，单点无头人脸检测器根据锚点和特征图，输出虚拟边界框；
所述迭代循环模块训练目标检测模型，计算基于角度的配置项和损失函数，采用梯度下降法优化目标检测模型；
所述标签分配模块将患者糖尿病足溃疡的照片作为输入数据上传至目标检测模型，通过FreeAnchor标签分配策略，目标检测模型对每个正样本锚点进行分类和定位，输出糖尿病足溃疡的预测边界框和所属分类；
所述校正调优模块采用注意力机制对预测边界框进行校准和调优操作；
所述评估分类模块计算每个正样本的预测边界框与真实边界框之间的置信度分数，取匹配概率最大的预测边界框、置信度分数和所属分类作为评估糖尿病足溃疡严重程度的输出。
实施例六，参阅图1，该实施例基于上述实施例，所述基于人工智能的糖尿病足溃疡严重程度评估导系统，具体构建在Ubuntu 18.04操作系统上，通过OpenCV和Keras对糖尿病足溃疡的照片进行预处理，并使用Tensorflow对目标检测模型进行训练，生成的预测边界框、置信度分数和所属分类将通过MySQL存储在数据库中，并通过PHP以网页的形式呈现，供医生查询评估结果。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
以上对本发明及其实施方式进行了描述，这种描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。
Claims (4)
1.一种基于人工智能的糖尿病足溃疡严重程度评估方法，其特征在于：该方法包括以下步骤：
步骤S1：标注数据，采集目标检测数据集，数据集包括训练图像、真实边界框和分类标签，所述分类标签包括轻度溃疡、中度溃疡、重度溃疡和危重溃疡；
步骤S2：构建模型，构建基于FCOS框架的目标检测模型，采用以MobileNetV3作为骨干网络的特征金字塔网络，提取多尺度特征图像；
步骤S3：小目标增强，通过在多尺度特征图像上进行密集采样获取锚点，采用单点无头人脸检测器识别糖尿病足溃疡小型伤口，将骨干网络最后三层输出的特征图作为单点无头人脸检测器的输入，单点无头人脸检测器根据锚点和特征图，输出虚拟边界框；
步骤S4：迭代循环，训练目标检测模型，计算基于角度的配置项和损失函数，采用梯度下降法优化目标检测模型；
步骤S5：标签分配，医生将患者糖尿病足溃疡的照片作为输入数据上传至目标检测模型，通过FreeAnchor标签分配策略，目标检测模型对每个正样本锚点进行分类和定位，输出糖尿病足溃疡的预测边界框和所属分类；
步骤S6：校正调优，采用注意力机制对预测边界框进行校准和调优操作；
步骤S7：评估分类，计算每个正样本的预测边界框与真实边界框之间的置信度分数，取匹配概率最大的预测边界框、置信度分数和所属分类作为评估糖尿病足溃疡严重程度的输出。
2.根据权利要求1所述的一种基于人工智能的糖尿病足溃疡严重程度评估方法，其特征在于：在步骤S3中，所述小目标增强，包括以下步骤：
步骤S31：将骨干网络最后三层输出的特征图作为单点无头人脸检测器的输入向量，单点无头人脸检测器输出虚拟边界框，计算真实边界框与虚拟边界框的相关参数，所用公式如下：
；
；
；
；
式中，表示真实边界框，/>表示虚拟边界框，/>表示真实边界框的上边界到锚点的距离，/>表示真实边界框的下边界到锚点的距离，/>表示真实边界框的左边界到锚点的距离，表示真实边界框的右边界到锚点的距离，/>表示虚拟边界框的上边界到锚点的距离，/>表示虚拟边界框的下边界到锚点的距离，/>表示虚拟边界框的左边界到锚点的距离，/>表示虚拟边界框的右边界到锚点的距离，/>表示真实边界框的面积，/>表示虚拟边界框的面积；
步骤S32：衡量虚拟边界框与真实边界框之间的重叠程度，将虚拟边界框与真实边界框之间重叠所形成的新边界框记为交集边界框，计算伪交并比，公式如下：
；
式中，表示交集边界框的上边界的坐标，/>表示交集边界框的下边界的坐标，/>表示交集边界框的左边界的坐标，/>表示交集边界框的右边界的坐标，/>表示伪交并比；
步骤S33：正负样本选择，根据伪交并比，将锚点降序排序，计算所有锚点的置信度，选取置信度最高的锚点作为正样本，其余锚点作为负样本。
3.根据权利要求2所述的一种基于人工智能的糖尿病足溃疡严重程度评估方法，其特征在于：在步骤S4中，所述计算基于角度的配置项和损失函数，包括以下步骤：
步骤S41：将真实边界框的中心点定义为地面真实中心，记为；
步骤S42：计算地面真实中心和预测边界框的中心点之间角度值损失配置项，公式如下：
；
式中，表示角度值损失配置项，/>表示倾斜角度，/>表示/>和/>之间的距离，/>表示水平方向的夹角，/>和/>表示角度值损失配置项的权重参数，/>表示求解/>的余弦值的幅角，/>表示求解/>的正弦值的幅角；
步骤S43：将角度值损失配置项加入到损失函数中，形成优化后的损失函数，公式如下：
；
式中，表示优化后的损失函数，/>表示原始的损失函数。
4.一种基于人工智能的糖尿病足溃疡严重程度评估系统，用于实现如权利要求1-3中任一项所述的一种基于人工智能的糖尿病足溃疡严重程度评估方法，其特征在于：包括标注数据模块、构建模型模块、小目标增强模块、迭代循环模块、标签分配模块、校正调优模块、评估分类模块；
所述标注数据模块采集目标检测数据集；
所述构建模型模块构建基于FCOS框架的目标检测模型，采用以MobileNetV3作为骨干网络的特征金字塔网络，提取多尺度特征图像；
所述小目标增强模块通过在多尺度特征图像上进行密集采样获取锚点，采用单点无头人脸检测器识别糖尿病足溃疡小型伤口，将骨干网络最后三层输出的特征图作为单点无头人脸检测器的输入，单点无头人脸检测器根据锚点和特征图，输出虚拟边界框；
所述迭代循环模块训练目标检测模型，计算基于角度的配置项和损失函数，采用梯度下降法优化目标检测模型；
所述标签分配模块将患者糖尿病足溃疡的照片作为输入数据上传至目标检测模型，通过FreeAnchor标签分配策略，目标检测模型对每个正样本锚点进行分类和定位，输出糖尿病足溃疡的预测边界框和所属分类；
所述校正调优模块采用注意力机制对预测边界框进行校准和调优操作；
所述评估分类模块计算每个正样本的预测边界框与真实边界框之间的置信度分数，取匹配概率最大的预测边界框、置信度分数和所属分类作为评估糖尿病足溃疡严重程度的输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410397259.8A CN117994251B (zh) | 2024-04-03 | 2024-04-03 | 基于人工智能的糖尿病足溃疡严重程度评估方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410397259.8A CN117994251B (zh) | 2024-04-03 | 2024-04-03 | 基于人工智能的糖尿病足溃疡严重程度评估方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117994251A true CN117994251A (zh) | 2024-05-07 |
| CN117994251B CN117994251B (zh) | 2024-06-14 |
Family
ID=90900881
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410397259.8A Active CN117994251B (zh) | 2024-04-03 | 2024-04-03 | 基于人工智能的糖尿病足溃疡严重程度评估方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117994251B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1995012352A1 (de) * | 1993-11-04 | 1995-05-11 | Paromed Medizintechnik Gmbh | Vorrichtung und verfahren zur ulcusprophylaxe und zur früherkennung der neuropathie beim diabetischen fuss |
| CN110503112A (zh) * | 2019-08-27 | 2019-11-26 | 电子科技大学 | 一种增强特征学习的小目标检测及识别方法 |
| CN110766643A (zh) * | 2019-10-28 | 2020-02-07 | 电子科技大学 | 一种面向眼底图像的微动脉瘤检测方法 |
| WO2021139069A1 (zh) * | 2020-01-09 | 2021-07-15 | 南京信息工程大学 | 自适应注意力指导机制的一般性目标检测方法 |
| CN113537395A (zh) * | 2021-08-09 | 2021-10-22 | 同济大学 | 一种基于眼底图像的糖尿病性视网膜病变图像识别方法 |
| CN113537300A (zh) * | 2021-06-23 | 2021-10-22 | 上海大学 | 一种基于糖尿病足伤口缺血或感染图像的深度学习分期方法 |
| WO2022095612A1 (zh) * | 2020-11-05 | 2022-05-12 | 西安交通大学 | 一种核磁共振图像中颈动脉血管中心线的提取方法及系统 |
| WO2022111352A1 (zh) * | 2020-11-30 | 2022-06-02 | 展讯通信（上海）有限公司 | 目标检测方法及装置、存储介质、终端 |
| US20220198230A1 (en) * | 2020-12-17 | 2022-06-23 | Shenzhen Imsight Medical Technology Co., Ltd. | Auxiliary detection method and image recognition method for rib fractures based on deep learning |
| DE202022103523U1 (de) * | 2022-06-24 | 2022-07-07 | Saswati Debnath | Ein Klassifizierungssystem für diabetische Fußgeschwüre |
| CN115240052A (zh) * | 2022-08-18 | 2022-10-25 | 安徽大学 | 一种目标检测模型的构建方法及装置 |
| CN115909465A (zh) * | 2022-12-26 | 2023-04-04 | 深圳市康冠商用科技有限公司 | 人脸定位检测方法、图像处理设备以及可读存储介质 |
| CN116013514A (zh) * | 2022-12-08 | 2023-04-25 | 中国科学院合肥物质科学研究院 | 一种基于多参数融合的一体化糖尿病足预测系统 |
-
2024
- 2024-04-03 CN CN202410397259.8A patent/CN117994251B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1995012352A1 (de) * | 1993-11-04 | 1995-05-11 | Paromed Medizintechnik Gmbh | Vorrichtung und verfahren zur ulcusprophylaxe und zur früherkennung der neuropathie beim diabetischen fuss |
| CN110503112A (zh) * | 2019-08-27 | 2019-11-26 | 电子科技大学 | 一种增强特征学习的小目标检测及识别方法 |
| CN110766643A (zh) * | 2019-10-28 | 2020-02-07 | 电子科技大学 | 一种面向眼底图像的微动脉瘤检测方法 |
| WO2021139069A1 (zh) * | 2020-01-09 | 2021-07-15 | 南京信息工程大学 | 自适应注意力指导机制的一般性目标检测方法 |
| WO2022095612A1 (zh) * | 2020-11-05 | 2022-05-12 | 西安交通大学 | 一种核磁共振图像中颈动脉血管中心线的提取方法及系统 |
| WO2022111352A1 (zh) * | 2020-11-30 | 2022-06-02 | 展讯通信（上海）有限公司 | 目标检测方法及装置、存储介质、终端 |
| US20220198230A1 (en) * | 2020-12-17 | 2022-06-23 | Shenzhen Imsight Medical Technology Co., Ltd. | Auxiliary detection method and image recognition method for rib fractures based on deep learning |
| CN113537300A (zh) * | 2021-06-23 | 2021-10-22 | 上海大学 | 一种基于糖尿病足伤口缺血或感染图像的深度学习分期方法 |
| CN113537395A (zh) * | 2021-08-09 | 2021-10-22 | 同济大学 | 一种基于眼底图像的糖尿病性视网膜病变图像识别方法 |
| DE202022103523U1 (de) * | 2022-06-24 | 2022-07-07 | Saswati Debnath | Ein Klassifizierungssystem für diabetische Fußgeschwüre |
| CN115240052A (zh) * | 2022-08-18 | 2022-10-25 | 安徽大学 | 一种目标检测模型的构建方法及装置 |
| CN116013514A (zh) * | 2022-12-08 | 2023-04-25 | 中国科学院合肥物质科学研究院 | 一种基于多参数融合的一体化糖尿病足预测系统 |
| CN115909465A (zh) * | 2022-12-26 | 2023-04-04 | 深圳市康冠商用科技有限公司 | 人脸定位检测方法、图像处理设备以及可读存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| MOI HOON YAP， ET AL.: "Deep learning in diabetic foot ulcers detection: A comprehensive evaluation", COMPUTERS IN BIOLOGY AND MEDICINE, 31 August 2021 (2021-08-31), pages 1 - 10 * |
| 杜梅;倪建明;张追阳;: "影像学检查方法在糖尿病足微循环灌注评估中的应用与进展", 医学综述, no. 01, 31 December 2018 (2018-12-31), pages 171 - 175 * |
| 陈友升;刘桂雄;: "基于Mask R-CNN的人脸皮肤色斑检测分割方法", 激光杂志, no. 12, 25 December 2019 (2019-12-25), pages 23 - 26 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117994251B (zh) | 2024-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111223553B (zh) | 一种两阶段深度迁移学习中医舌诊模型 | |
| US10853695B2 (en) | Method and system for cell annotation with adaptive incremental learning | |
| CN111178197B (zh) | 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法 | |
| US11508173B2 (en) | Machine learning prediction and document rendering improvement based on content order | |
| US11816149B2 (en) | Electronic device and control method thereof | |
| CN111259897B (zh) | 知识感知的文本识别方法和系统 | |
| US11461638B2 (en) | Figure captioning system and related methods | |
| CN112614133B (zh) | 一种无锚点框的三维肺结节检测模型训练方法及装置 | |
| CN112307919B (zh) | 一种基于改进YOLOv3的单证图像中数字信息区域识别方法 | |
| CN114998220A (zh) | 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法 | |
| CN113763340A (zh) | 基于多任务深度学习强直性脊柱炎的自动分级方法 | |
| US12079310B2 (en) | Defect classification apparatus, method and program | |
| CN117975241B (zh) | 一种面向指向性目标分割的半监督学习方法 | |
| CN111539417B (zh) | 一种基于深度神经网络的文本识别训练优化方法 | |
| JP2022548187A (ja) | 対象再識別方法および装置、端末並びに記憶媒体 | |
| CN116740758A (zh) | 一种防止误判的鸟类图像识别方法及系统 | |
| CN115881265A (zh) | 电子病历智能病案质控方法、系统、设备及存储介质 | |
| CN114612381A (zh) | 一种带有尺度增强和注意力融合的医疗图像病灶检测算法 | |
| CN117994251B (zh) | 基于人工智能的糖尿病足溃疡严重程度评估方法及系统 | |
| CN117314837A (zh) | 一种基于改进detr铸件表面缺陷检测方法及系统 | |
| CN116824333A (zh) | 一种基于深度学习模型的鼻咽癌检测系统 | |
| CN116468948A (zh) | 支持检测未知类的城市垃圾增量学习检测方法及系统 | |
| CN115424280A (zh) | 基于改进Faster-RCNN的手写数字检测方法 | |
| CN111860441B (zh) | 基于无偏深度迁移学习的视频目标识别方法 | |
| CN118468996B (zh) | 基于医学影像报告的多模态教学知识图谱构建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |