CN112634291A - 一种基于神经网络的烧伤创面区域自动分割方法 - Google Patents
一种基于神经网络的烧伤创面区域自动分割方法 Download PDFInfo
- Publication number
- CN112634291A CN112634291A CN202011644754.2A CN202011644754A CN112634291A CN 112634291 A CN112634291 A CN 112634291A CN 202011644754 A CN202011644754 A CN 202011644754A CN 112634291 A CN112634291 A CN 112634291A
- Authority
- CN
- China
- Prior art keywords
- burn
- image
- model
- wound area
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000011218 segmentation Effects 0.000 title claims abstract description 27
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 25
- 238000010586 diagram Methods 0.000 claims abstract description 25
- 238000007781 pre-processing Methods 0.000 claims abstract description 22
- 238000003062 neural network model Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 15
- 238000013519 translation Methods 0.000 claims abstract description 13
- 238000012216 screening Methods 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 5
- 238000012800 visualization Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 abstract 1
- 238000010606 normalization Methods 0.000 abstract 1
- 230000007306 turnover Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 8
- 238000005070 sampling Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000001574 biopsy Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000001931 thermography Methods 0.000 description 2
- 230000000472 traumatic effect Effects 0.000 description 2
- 206010062575 Muscle contracture Diseases 0.000 description 1
- 206010040047 Sepsis Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 208000006111 contracture Diseases 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000035876 healing Effects 0.000 description 1
- 230000004066 metabolic change Effects 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 231100000241 scar Toxicity 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 238000002054 transplantation Methods 0.000 description 1
- 230000009278 visceral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于神经网络的烧伤创面区域自动分割方法：S1使用相机采集获取烧伤图像；S2对采集到的烧伤图像进行预处理，包括有效图像筛选、图像有效区域剪切、图像标记和图像数值归一化，并且通过图像随机旋转、随机翻转、随机平移和随机缩放操作进行图像数据增强；S3将预处理和数据增强的烧伤图像输入神经网络模型进行训练，进一步的，神经网络模型由编码器和解码器两个模型组成，编码器模型负责提取图像特征图，解码器模型负责将特征图转换为烧伤创面区域预测图；S4将训练好的模型用于分割烧伤图像中的烧伤创面区域。本发明烧伤图像烧伤创面区域自动分割方法能够提供像素级的烧伤图像分割结果，能够精确分割出患者烧伤图像的烧伤创面区域。
Description
技术领域
本发明属于烧伤医学图像处理领域，具体涉及一种基于神经网络的烧伤创面区域自动分割方法。
背景技术
烧伤是一种常见的外伤性疾病，通常由物理或化学因素，例如热力、化学、电流和放射线等引起。小面积范围的烧伤会引起皮肤、黏膜组织或相应的深层组织的损伤。较大面积范围的烧伤会引起机体的各个系统出现不同程度的功能、代谢和形态变化，使患者全身出现严重的病理反应和内脏损害，造成休克、脓毒症和多脏器功能衰竭等并发症，死亡率较高。同时烧伤创面的愈合和治疗过程复杂，时间较长。创面愈合后可遗留有瘢痕挛缩和功能障碍等后遗症。所以烧伤、尤其大面积烧伤是一种复杂和严重的外伤性疾病。
烧伤创面区域诊断是烧伤伤情判断的重要环节，可靠有效的烧伤创面严重程度评估是临床决策的基础。对于需要接受早期切除和移植治疗的病人来说，烧伤区域的评估可确定医生后续的手术治疗和护理方式，极大减轻病人的医疗费用、住院时间和身心负担。临床评估是目前常用和普遍的判断方式，然而这种主观判断的影响因素较多，诊断水平参差不齐，导致对烧伤区域的判断存在较大差异。现有的组织穿刺活检技术、活体染色检测技术、热成像技术等一方面检测费用昂贵，另一方面需要复杂的检测环境和设备，因而在临床中没有大范围使用。
随着计算机和深度学习的发展，计算机技术与医学图像检测相结合，为医学智能化诊断开辟了新的思路。将深度学习技术引入烧伤图像区域诊断，能够实现烧伤创面区域诊断过程的半自动化，减少人为失误的影响，提高烧伤诊断的准确性。同时，深度学习的检测方法能够降低检测成本的开销，减少烧伤区域检测花费的时间。
发明内容
针对现有技术存在的上述问题，本发明提供了一种基于神经网络的烧伤创面区域自动分割方法，该方法使用了基于神经网络模型对烧伤患者的烧伤创面区域图像进行自动识别分割，解决传统创伤区域分割精度低，耗时长的技术问题。
为解决上述问题，本发明的技术方案为一种基于神经网络的烧伤创面区域自动分割方法，所述方法包括如下步骤：
S1：采集获取烧伤病人的烧伤图像；
S2：对烧伤图像进行预处理和数据增强操作；
S3：将预处理和数据增强后的烧伤图像输入神经网络模型中进行模型的训练，进一步地，神经网络模型分为编码器模型和解码器模型；
S4：使用训练后的模型烧伤图片进行烧伤创面区域预测，得到烧伤创面区域的分割结果图。
具体地，所述步骤S2进一步包括：
S21：对烧伤图像进行预处理操作；
S22：对烧伤图像进行数据增强操作。
具体地，所述步骤S3进一步包括：
S31：将预处理和数据增强后的烧伤图像输入编码器模型，提取烧伤图像的特征图；
S32：将编码器模型提取的特征图输入解码器模型，进行烧伤图像的特征融合，输出烧伤创面区域的分割预测图；
S33：计算模型输出的Loss值，通过RMSProp优化器训练模型。
进一步地，所述步骤S1使用相机等设备采集烧伤患者的烧伤图像数据。
进一步地，所述步骤S21对烧伤图像进行预处理操作，预处理包括：1)对采集的烧伤图像进行筛选，选取清晰的烧伤图像；2)剪切去除烧伤图像中无效的背景区域和涉及到患者隐私的区域；3)标记图像中的烧伤创面区域，生成和原始烧伤图片具有相同尺寸的掩模图像作为模型训练时的标签；4)将烧伤图像的RGB三个通道数值归一化至区间[0,1]，得到标准化烧伤图像。
进一步地，所述步骤S22对烧伤图像进行数据增强操作，具体包括：1)对烧伤图像和对应的掩模图像同时进行0度至360度之间的随机旋转，烧伤图像和掩模图像旋转的角度保持一致；2)对烧伤图像和对应的掩模图像同时进行随机翻转，翻转方式有水平翻转和镜像翻转，由伪随机数发生器随机选择一种方式对烧伤图像和掩模图像进行翻转；3)对烧伤图像和对应的掩模图像同时进行随机平移，平移方式有水平平移和垂直平移，平移范围在0％至10％的图像宽度和图像高度之间，由伪随机数发生器随机对烧伤图像和掩模图像进行平移；4)对烧伤图像和对应的掩模图像同时进行随机缩放，缩放方式为从图像中心放大图像或缩小图像，缩放范围在0％至10％之间，由伪随机数发生器随机对烧伤图像和掩模图像进行缩放操作。
进一步地，所述步骤S31将步骤S2处理后的烧伤图像输入编码器模型，提取烧伤图像的特征图。编码器模型为改进的ResNet-101模型，与原始ResNet-101模型相比，改进的ResNet-101模型中删除了原始ResNet-101模型最后一层全连接层的输出，并且将原始ResNet-101模型中的普通卷积层(Convolution Layers)替换为空洞卷积层(DilatedConvolution Layers)。
进一步地，，所述步骤S32将编码器模型提取的特征图输入解码器模型，解码器模型为改进的UPerNet模型。与原始的UPerNet模型相比，改进的UPerNet模型将原始结构中的PPM(Pyramid Pooling Module，金字塔池模块)由4层改进为3层，减少了模型的参数量，同时减少了模型运行时的计算量，加速模型的运行速度。之后融合PPM各层输出的特征图，最后输出和原始烧伤图像尺寸相同的烧伤区域预测图。解码器模型的输出激活函数为Sigmoid。
Sigmoid函数的表达式为：
其中S为单个像素的预测输出值，范围在[0，1]区间。当S的值小于0.5时，该像素点判定为非烧伤创面区域，当S的值大于等于0.5时，该像素点判定为烧伤创面区域。
进一步地，所述步骤S33计算解码器模型的输出预测图和标记的掩模图之间的Loss值，Loss的计算使用改进的Dice Loss计算方法。之后使用RMSPro优化器进行反向传播更新模型的参数，训练模型。
其中Dice系数的表达式为：
其中|A∩B|表示集合A和集合B之间的共同元素，|A|表示集合A中的元素个数，|B|表示集合B中的元素个数。
本专利提出的改进的Dice Loss计算方法，表达式为：
其中，β为改进的自适应系数，m为烧伤图像宽度像素点的个数，N为烧伤图像高度像素点的个数，yij表示单个像素点的预测值，
表示单个像素点的标注值。
RMSPro优化器的表达式为：
其中，Wt表示t时刻迭代模型的参数，gt表示t次迭代Loss函数关于W的梯度大小，E[g2]t表示前t次的梯度平方的均值。α表示动量，且设置为0.9，η0表示全局初始学习率，∈是一个取值很小的数，一般取1e-8，为了避免分母为0。
进一步地，所述步骤S4使用训练后的编码器和解码器模型对未进行标注的烧伤图片进行烧伤创面区域预测，得到烧伤创面区域的分割结果图。进一步地，通过可视化技术，将神经网络模型输出的烧伤创面区域预测图和原始图像叠加显示。
本发明提出一种基于神经网络的烧伤创面区域自动分割方法，和传统的神经网络模型相比，本发明提出的方法有以下的不同：1)本发明提出的改进的ResNet-101编码器模型，和经典的ResNet-101相比，将经典ResNet-101模型中的普通卷积层替换为空洞卷积层，并且删除了原始ResNet-101模型最后一层全连接层的输出，改进的ResNet-101编码器模型的最后一层输出为模型从烧伤图像中提取的特征图；2)本发明提出的改进的解码器UPerNet模型，将原始UPerNet模型中的PPM(Pyramid Pooling Module，金字塔池模块)结构由4层改进为3层，减少了模型的参数量，同时减少了模型运行时的计算量，加速模型的运行速度；3)本发明提出的改进的Dice Loss函数，增加了自适应系数β，在模型训练的过程中，根据上一轮训练的Loss值调整β的数值，更加有效地训练模型。本发明提出一种基于神经网络的烧伤创面区域自动分割方法和传统方法相比对烧伤创面分割更加精确，速度更加快速。同时采用数据增强的方法扩充烧伤图像数据集，适用于较小数据集的烧伤创面图像。
附图说明
图1为本发明的一种基于神经网络的烧伤创面区域自动分割方法流程示意图；
图2为本发明的烧伤图像预处理和数据增强流程示意图；
图3为本发明的神经网络模型训练流程示意图；
图4为本发明改进的PPM结构示意图；
图5为原始PPM结构示意图。
具体实施方式
本发明提出的一种基于神经网络的烧伤创面区域自动分割方法，是将烧伤图像经过图像预处理和数据增强操作之后，输入改进的ResNet-101编码器模型中，经过编码器模型的特征提取，再将提取的特征图输入改进的UPerNet解码器模型，使用解码器模型融合特征图，最后得到烧伤创面分割预测图。通过可视化技术，将神经网络模型输出的烧伤创面区域预测图和原始图像叠加显示。
以下结合附图对本发明实例的具体实施方式进行详细说明。应当解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。
如图1所示，本发明的基于神经网络的烧伤创面区域自动分割方法包括如下步骤：
S1：采集获取烧伤病人的烧伤图像；S2：对烧伤图像进行预处理和数据增强操作；S3：将预处理和数据增强后的烧伤图像输入神经网络模型中进行模型的训练，进一步地，神经网络模型分为编码器模型和解码器模型；S4：使用训练后的模型烧伤图片进行烧伤创面区域预测，得到烧伤创面区域的分割结果图。
具体地，步骤S1具体包括：使用相机等设备采集烧伤患者的烧伤图像数据；步骤S2进一步包括：S21：对烧伤图像进行预处理操作；S22：对烧伤图像进行数据增强操作；步骤S3进一步包括：S31：将预处理和数据增强后的烧伤图像输入编码器模型，提取烧伤图像的特征图；S32：将编码器模型提取的特征图输入解码器模型，进行烧伤图像的特征融合，输出烧伤创面区域的分割预测图；S33：计算模型输出的Loss值，通过RMSProp优化器训练模型；步骤S4具体包括：使用训练后的编码器和解码器模型对未进行标注的烧伤图片进行烧伤创面区域预测，得到烧伤创面区域的分割结果图。进一步地，通过可视化技术，将神经网络模型输出的烧伤创面区域预测图和原始图像叠加显示。
如图2所示，进一步地，步骤S2具体包括如下步骤：
S21：对烧伤图像进行预处理操作，预处理包括：1)对采集的烧伤图像进行筛选，选取清晰的烧伤图像；2)剪切去除烧伤图像中无效的背景区域和涉及到患者隐私的区域；3)标记图像中的烧伤创面区域，生成和原始烧伤图片具有相同尺寸的掩模图像作为模型训练时的标签；4)将烧伤图像的RGB三个通道数值归一化至区间[0,1]，得到标准化烧伤图像。
S22：对烧伤图像进行数据增强操作，具体包括：1)对烧伤图像和对应的掩模图像同时进行0度至360度之间的随机旋转，烧伤图像和掩模图像旋转的角度保持一致；2)对烧伤图像和对应的掩模图像同时进行随机翻转，翻转方式有水平翻转和镜像翻转，由伪随机数发生器随机选择一种方式对烧伤图像和掩模图像进行翻转；3)对烧伤图像和对应的掩模图像同时进行随机平移，平移方式有水平平移和垂直平移，平移范围在0％至10％的图像宽度和图像高度之间，由伪随机数发生器随机对烧伤图像和掩模图像进行平移；4)对烧伤图像和对应的掩模图像同时进行随机缩放，缩放方式为从图像中心放大图像或缩小图像，缩放范围在0％至10％之间，由伪随机数发生器随机对烧伤图像和掩模图像进行缩放操作。
如图3所示，进一步地，步骤S3具体包括如下步骤：
S31：将步骤S2处理后的烧伤图像输入编码器模型，提取烧伤图像的特征图。编码器模型为改进的ResNet-101模型，与原始ResNet-101模型相比，改进的ResNet-101模型中删除了原始ResNet-101模型最后一层全连接层的输出，并且将原始ResNet-101模型中的普通卷积层(Convolution Layers)替换为空洞卷积层(Dilated Convolution Layers)。
S32：将编码器模型提取的特征图输入解码器模型，解码器模型为改进的UPerNet模型。与原始的UPerNet模型相比，改进的UPerNet模型将原始结构中的PPM(PyramidPooling Module，金字塔池模块)由4层改进为3层，减少了模型的参数量，同时减少了模型运行时的计算量，加速模型的运行速度。之后融合PPM各层输出的特征图，最后输出和原始烧伤图像尺寸相同的烧伤区域预测图。解码器模型的输出激活函数为Sigmoid。Sigmoid函数的表达式为：
其中S为单个像素的预测输出值，范围在[0,1]区间。当S的值小于0.5时，该像素点判定为非烧伤创面区域，当S的值大于等于0.5时，该像素点判定为烧伤创面区域。
S33：计算解码器模型的输出预测图和标记的掩模图之间的Loss值，Loss的计算使用改进的Dice Loss计算方法。之后使用RMSPro优化器进行反向传播更新模型的参数，训练模型。
其中Dice系数的表达式为：
其中|A∩B|表示集合A和集合B之间的共同元素，|A|表示集合A中的元素个数，|B|表示集合B中的元素个数。
本发明提出的改进的Dice Loss计算方法，表达式为：
其中，β为改进的自适应系数，m为烧伤图像宽度像素点的个数，N为烧伤图像高度像素点的个数，yij表示单个像素点的预测值，
表示单个像素点的标注值。
RMSPro优化器的表达式为：
其中，Wt表示t时刻迭代模型的参数，gt表示t次迭代Loss函数关于W的梯度大小，E[g2]t表示前t次的梯度平方的均值。α表示动量，且设置为0.9，η0表示全局初始学习率，∈是一个取值很小的数，一般取1e-8，为了避免分母为0。
图4为本发明改进的PPM结构示意图，图5为原始PPM结构示意图。参看图4，改进的PPM结构具体如下：
图4中左边三层为PPM结构下采样部分，由下至上总共三层下采样结构，对应的输出特征图为原始图像尺寸的1/4，1/8和1/16的大小。和原始的PPM的下采样结构相比，改进的PPM下采样结构删除了1/32的特征图的输出，减少了下采样的运算量，加速模型运行速度。
图4中右边三层为PPM结构上采样部分，由上至下总共三层上采样结构，对应的输出特征图为原始图像尺寸的1/16，1/8和1/4的大小。和原始的PPM的上采样结构相比，改进的PPM下采样结构删除了1/32的特征图的输入，减少了上采样的运算量，加速模型运行速度。
图4最右边为特征融合模块，将上采样得到的3个特征图进行特征融合。
本发明提出一种基于神经网络的烧伤创面区域自动分割方法，和传统的神经网络模型相比，本发明提出的方法有以下的不同：1)本发明提出的改进的ResNet-101编码器模型，和经典的ResNet-101相比，将经典ResNet-101模型中的普通卷积层替换为空洞卷积层，并且删除了原始ResNet-101模型最后一层全连接层的输出，改进的ResNet-101编码器模型的最后一层输出为模型从烧伤图像中提取的特征图；2)本发明提出的改进的解码器UPerNet模型，将原始UPerNet模型中的PPM(Pyramid Pooling Module，金字塔池模块)结构由4层改进为3层，减少了模型的参数量，同时减少了模型运行时的计算量，加速模型的运行速度；3)本发明提出的改进的Dice Loss函数，增加了自适应系数β，在模型训练的过程中，根据上一轮训练的Loss值调整β的数值，更加有效地训练模型。本发明提出一种基于神经网络的烧伤创面区域自动分割方法和传统方法相比对烧伤创面区域分割更加精确，速度更加快速。同时采用数据增强的方法扩充烧伤图像数据集，适用于较小数据集的烧伤创面图像。
上面结合附图对本发明提出的一种基于神经网络的烧伤创面区域自动分割方法，实施方式作了详细说明。但是本发明提出的方法并不仅限于上述的实施方式。即使对本发明做出各种变化，假若这些变化属于本发明权利要求及其等同技术的范围之内，则仍然在本发明的保护范围之中。
Claims (10)
1.一种基于神经网络的烧伤创面区域自动分割方法，其特征在于，所述方法包括如下步骤：
S1：采集获取烧伤病人的烧伤图像；
S2：对烧伤图像进行预处理和数据增强操作；
S3：将预处理和数据增强后的烧伤图像输入神经网络模型中进行模型的训练，进一步地，神经网络模型分为编码器模型和解码器模型；
S4：使用训练后的模型烧伤图片进行烧伤创面区域预测，得到烧伤创面区域的分割结果图。
2.根据权利要求1所述的一种基于神经网络的烧伤创面区域自动分割方法，其特征在于，所述步骤S2进一步包括：
S21：对烧伤图像进行预处理操作；
S22：对烧伤图像进行数据增强操作。
3.根据权利要求1所述的一种基于神经网络对烧伤图像烧伤创面区域自动分割方法，其特征在于，所述步骤S3进一步包括：
S31：将预处理和数据增强后的烧伤图像输入编码器模型，提取烧伤图像的特征图；
S32：将编码器模型提取的特征图输入解码器模型，进行烧伤图像的特征融合，输出烧伤创面区域的分割预测图；
S33：计算模型输出的Loss值，通过RMSProp优化器训练模型。
4.根据权利要求1所述的一种基于神经网络的烧伤创面区域自动分割方法，其特征在于，所述步骤S1具体包括：使用相机等设备采集烧伤患者的烧伤图像数据。
5.根据权利要求2所述的一种基于神经网络的烧伤创面区域自动分割方法，其特征在于，所述步骤S21具体包括：对烧伤图像进行预处理操作，预处理包括：1）对采集的烧伤图像进行筛选，选取清晰的烧伤图像；2）剪切去除烧伤图像中无效的背景区域和涉及到患者隐私的区域；3）标记图像中的烧伤创面区域，生成和原始烧伤图片具有相同尺寸的掩模图像作为模型训练时的标签；4）将烧伤图像的RGB三个通道数值归一化至区间[0, 1]，得到标准化烧伤图像。
6.根据权利要求2所述的一种基于神经网络的烧伤创面区域自动分割方法，其特征在于，所述步骤S22具体包括：对烧伤图像进行数据增强操作，具体包括：1）对烧伤图像和对应的掩模图像同时进行0度至360度之间的随机旋转，烧伤图像和掩模图像旋转的角度保持一致；2）对烧伤图像和对应的掩模图像同时进行随机翻转，翻转方式有水平翻转和镜像翻转，由伪随机数发生器随机选择一种方式对烧伤图像和掩模图像进行翻转；3）对烧伤图像和对应的掩模图像同时进行随机平移，平移方式有水平平移和垂直平移，平移范围在0%至10%的图像宽度和图像高度之间，由伪随机数发生器随机对烧伤图像和掩模图像进行平移；4）对烧伤图像和对应的掩模图像同时进行随机缩放，缩放方式为从图像中心放大图像或缩小图像，缩放范围在0%至10%之间，由伪随机数发生器随机对烧伤图像和掩模图像进行缩放操作。
7.根据权利要求3所述的一种基于神经网络的烧伤创面区域自动分割方法，其特征在于，所述步骤S31具体包括：将步骤S2处理后的烧伤图像输入编码器模型，提取烧伤图像的特征图；
编码器模型为改进的ResNet-101模型，与原始ResNet-101模型相比，改进的ResNet-101模型中删除了原始ResNet-101模型最后一层全连接层的输出，并且将原始ResNet-101模型中的普通卷积层（Convolution Layers）替换为空洞卷积层（Dilated ConvolutionLayers）。
8.根据权利要求3所述的一种基于神经网络的烧伤创面区域自动分割方法，其特征在于，所述步骤S32具体包括：将编码器模型提取的特征图输入解码器模型，解码器模型为改进的UPerNet模型；
与原始的UPerNet模型相比，改进的UPerNet模型将原始结构中的PPM（PyramidPooling Module，金字塔池模块）由4层改进为3层，减少了模型的参数量，同时减少了模型运行时的计算量，加速模型的运行速度；
之后融合PPM各层输出的特征图，最后输出和原始烧伤图像尺寸相同的烧伤区域预测图；
解码器模型的输出激活函数为Sigmoid。
9.根据权利要求3所述的一种基于神经网络的烧伤创面区域自动分割方法，其特征在于，所述步骤S33具体包括：计算解码器模型的输出预测图和标记的掩模图之间的Loss值，Loss的计算使用改进的Dice Loss计算方法；
之后使用RMSPro优化器进行反向传播更新模型的参数，训练模型。
10.根据权利要求1所述的一种基于神经网络的烧伤创面区域自动分割方法，其特征在于，所述步骤S4具体包括：使用训练后的编码器和解码器模型对未进行标注的烧伤图片进行烧伤创面区域预测，得到烧伤创面区域的分割结果图；通过可视化技术，将神经网络模型输出的烧伤创面区域预测图和原始图像叠加显示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011644754.2A CN112634291B (zh) | 2020-12-31 | 2020-12-31 | 一种基于神经网络的烧伤创面区域自动分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011644754.2A CN112634291B (zh) | 2020-12-31 | 2020-12-31 | 一种基于神经网络的烧伤创面区域自动分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112634291A true CN112634291A (zh) | 2021-04-09 |
| CN112634291B CN112634291B (zh) | 2024-10-15 |
Family
ID=75291222
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011644754.2A Active CN112634291B (zh) | 2020-12-31 | 2020-12-31 | 一种基于神经网络的烧伤创面区域自动分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112634291B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114581410A (zh) * | 2022-03-04 | 2022-06-03 | 深圳市澈影医生集团有限公司 | 一种神经网络的训练系统及方法 |
| CN117442190A (zh) * | 2023-12-21 | 2024-01-26 | 山东第一医科大学附属省立医院(山东省立医院) | 一种基于目标检测的创面自动测量方法及系统 |
| CN117688265A (zh) * | 2023-12-02 | 2024-03-12 | 广州劲源科技发展股份有限公司 | 一种跨平台信息整合收集系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107886510A (zh) * | 2017-11-27 | 2018-04-06 | 杭州电子科技大学 | 一种基于三维全卷积神经网络的前列腺mri分割方法 |
| CN109035197A (zh) * | 2018-05-31 | 2018-12-18 | 东南大学 | 基于三维卷积神经网络的ct造影图像肾脏肿瘤分割方法及系统 |
| US20190030371A1 (en) * | 2017-07-28 | 2019-01-31 | Elekta, Inc. | Automated image segmentation using dcnn such as for radiation therapy |
| CN109886971A (zh) * | 2019-01-24 | 2019-06-14 | 西安交通大学 | 一种基于卷积神经网络的图像分割方法及系统 |
| CN111209910A (zh) * | 2019-01-03 | 2020-05-29 | 北京京东尚科信息技术有限公司 | 用于语义分割的系统、方法和非暂时性计算机可读介质 |
| CN111563508A (zh) * | 2020-04-20 | 2020-08-21 | 华南理工大学 | 一种基于空间信息融合的语义分割方法 |
| CN111767922A (zh) * | 2020-05-22 | 2020-10-13 | 上海大学 | 一种基于卷积神经网络的图像语义分割方法及网络 |
-
2020
- 2020-12-31 CN CN202011644754.2A patent/CN112634291B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190030371A1 (en) * | 2017-07-28 | 2019-01-31 | Elekta, Inc. | Automated image segmentation using dcnn such as for radiation therapy |
| CN107886510A (zh) * | 2017-11-27 | 2018-04-06 | 杭州电子科技大学 | 一种基于三维全卷积神经网络的前列腺mri分割方法 |
| CN109035197A (zh) * | 2018-05-31 | 2018-12-18 | 东南大学 | 基于三维卷积神经网络的ct造影图像肾脏肿瘤分割方法及系统 |
| CN111209910A (zh) * | 2019-01-03 | 2020-05-29 | 北京京东尚科信息技术有限公司 | 用于语义分割的系统、方法和非暂时性计算机可读介质 |
| CN109886971A (zh) * | 2019-01-24 | 2019-06-14 | 西安交通大学 | 一种基于卷积神经网络的图像分割方法及系统 |
| CN111563508A (zh) * | 2020-04-20 | 2020-08-21 | 华南理工大学 | 一种基于空间信息融合的语义分割方法 |
| CN111767922A (zh) * | 2020-05-22 | 2020-10-13 | 上海大学 | 一种基于卷积神经网络的图像语义分割方法及网络 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114581410A (zh) * | 2022-03-04 | 2022-06-03 | 深圳市澈影医生集团有限公司 | 一种神经网络的训练系统及方法 |
| CN114581410B (zh) * | 2022-03-04 | 2023-03-21 | 深圳市澈影医生集团有限公司 | 一种神经网络的训练系统及方法 |
| CN117688265A (zh) * | 2023-12-02 | 2024-03-12 | 广州劲源科技发展股份有限公司 | 一种跨平台信息整合收集系统 |
| CN117442190A (zh) * | 2023-12-21 | 2024-01-26 | 山东第一医科大学附属省立医院(山东省立医院) | 一种基于目标检测的创面自动测量方法及系统 |
| CN117442190B (zh) * | 2023-12-21 | 2024-04-02 | 山东第一医科大学附属省立医院(山东省立医院) | 一种基于目标检测的创面自动测量方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112634291B (zh) | 2024-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109886986A (zh) | 一种基于多分支卷积神经网络的皮肤镜图像分割方法 | |
| CN112634291A (zh) | 一种基于神经网络的烧伤创面区域自动分割方法 | |
| Wu et al. | U-GAN: Generative adversarial networks with U-Net for retinal vessel segmentation | |
| CN112396621B (zh) | 基于深度学习的高分辨率显微内窥镜图像细胞核分割方法 | |
| CN113420826B (zh) | 一种肝脏病灶图像处理系统及图像处理方法 | |
| Du et al. | UNet retinal blood vessel segmentation algorithm based on improved pyramid pooling method and attention mechanism | |
| WO2022105623A1 (zh) | 一种基于迁移学习的颅内血管病灶识别方法 | |
| CN112215807A (zh) | 基于深度学习的细胞图像自动分类方法及系统 | |
| CN113012163A (zh) | 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质 | |
| CN115375711A (zh) | 基于多尺度融合的全局上下文关注网络的图像分割方法 | |
| CN112381164A (zh) | 一种基于多分支注意力机制的超声图像分类方法和装置 | |
| CN112785603A (zh) | 一种基于Unet和超像素的脑组织分割方法 | |
| CN118397280B (zh) | 基于人工智能的内镜下胃肠道图像分割识别系统及方法 | |
| CN110992309B (zh) | 基于深层信息传递网络的眼底图像分割方法 | |
| CN117036288A (zh) | 一种面向全切片病理图像的肿瘤亚型诊断方法 | |
| CN111862095A (zh) | 根据内镜白光图像预测生成nbi图像的卷积神经网络模型及其构建方法和应用 | |
| Wang et al. | RFPNet: Reorganizing feature pyramid networks for medical image segmentation | |
| CN112419246B (zh) | 量化食管粘膜IPCLs血管形态分布的深度检测网络 | |
| CN113902738A (zh) | 一种心脏mri分割方法及系统 | |
| CN117635625A (zh) | 基于自动数据增强策略和多注意力辅助UNet的胰腺肿瘤分割方法 | |
| Kumar et al. | Gannet devil optimization-based deep learning for skin lesion segmentation and identification | |
| Balasubramaniam et al. | Osprey Gannet optimization enabled CNN based Transfer learning for optic disc detection and cardiovascular risk prediction using retinal fundus images | |
| CN115359002A (zh) | 一种颈动脉超声图像斑块自动检测系统及方法 | |
| CN112862089B (zh) | 一种具有可解释性的医学图像深度学习方法 | |
| CN115272283A (zh) | 一种结直肠肿瘤的内窥oct图像分割方法、设备、介质及产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |