CN113989295A - 一种瘢痕和瘢痕疙瘩图像切割及表面积计算方法与系统 - Google Patents

一种瘢痕和瘢痕疙瘩图像切割及表面积计算方法与系统 Download PDF

Info

Publication number
CN113989295A
CN113989295A CN202111072616.6A CN202111072616A CN113989295A CN 113989295 A CN113989295 A CN 113989295A CN 202111072616 A CN202111072616 A CN 202111072616A CN 113989295 A CN113989295 A CN 113989295A
Authority
CN
China
Prior art keywords
scar
picture
surface area
keloid
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111072616.6A
Other languages
English (en)
Inventor
沈晨天
罗全勇
丁雪海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sixth Peoples Hospital
Original Assignee
Shanghai Sixth Peoples Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sixth Peoples Hospital filed Critical Shanghai Sixth Peoples Hospital
Priority to CN202111072616.6A priority Critical patent/CN113989295A/zh
Publication of CN113989295A publication Critical patent/CN113989295A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种瘢痕和瘢痕疙瘩的图像切割及表面积计算方法与系统，瘢痕和瘢痕疙瘩图像切割及表面积计算方法的步骤包括：步骤S1：图片预处理，步骤S2：疤痕和参照物区域分割，步骤S3：疤痕和参照物边缘检测，步骤S4：疤痕面积计算，步骤S5：疤痕和参照物轮廓绘制，步骤S6：治疗效果预测；瘢痕和瘢痕疙瘩图像切割及表面积计算系统包括：获取模块，检测模块，修正模块，优化模块。本申请的瘢痕和瘢痕疙瘩图像切割及表面积计算方法通过聚焦疤痕分割模型设计与训练，能精准地定位疤痕的边缘轮廓，为疤痕的表面积的识别与计费提供依据，从而帮助医生更准确确定辅料形状，精准计算出疤痕敷料所需费用和疤痕治疗所需费用，让治疗疤痕的效率得到大幅提高。

Description

一种瘢痕和瘢痕疙瘩图像切割及表面积计算方法与系统
技术领域
本申请涉及疤痕医疗技术领域，具体而言，涉及基于人工智能的用于瘢 痕和瘢痕疙瘩的图像切割及表面积计算方法与系统。
背景技术
瘢痕或瘢痕疙瘩不同于普通外伤所致的浅表性疤痕，瘢痕或瘢痕疙瘩这 类严重的疤痕这里统称疤痕。疤痕给人们的生活和身体健康带来诸多困扰。 如影响美观，由于局部组织增生，色素沉着或者脱失等变化，导致疤痕处与 周围正常皮肤的色泽和质地不一致，将影响患者外观。影响生活，大部分疤 痕丧失正常皮肤功能，时常会产生痛痒感，尤其是炎热天气，让患者备受煎 熬，从而影响患者正常的生活。更有甚者，疤痕局部破溃后形成慢性溃疡， 慢性溃疡的长期存在会衍变为疤痕瘤和疤痕癌威胁人的生命健康。这种疤痕不治疗是不会自行消除，往往是需要使用手术、药物等方法进行治疗。
疤痕敷料适用于各种疤痕治疗，有助于疤痕情况的改善。而传统治疗疤 痕，需要医生手动绘制疤痕边缘以制作合适的敷料。这种方式不仅费事费力， 而且绘制的边缘也并不准确，制定辅料边缘或面积不准确，导致患者疤痕无 法被完全遮盖或浪费药物敷料。随着医疗的发展和进步，人们越来越希望可 以获得更加精准的治疗。
疤痕治疗需要按照疤痕的表面积计费。但是因为疤痕的边缘很不规则， 医生很难测量出准确的疤痕表面积，按表面积计费(包括疤痕敷料所需费用 和疤痕治疗所需费用)较难实施。疤痕敷料所需费用和疤痕治疗所需费用的 精准计算，也亟待解决。
目前深度学习发展迅猛，而一个基于深度学习的疤痕分割检测系统还未 出现。
发明内容
本申请要解决的技术问题是将人工智能的方法应用于瘢痕和瘢痕疙瘩 的疤痕分割检测技术，从而能够按照疤痕形状精准制定辅料形状，并精准计 算出疤痕敷料所需费用和疤痕治疗所需费用。
为解决上述技术问题，根据本申请的一个方面，提供一种瘢痕和瘢痕疙 瘩图像切割及表面积计算方法，方法的步骤包括：
步骤S1：图片预处理。图片为疤痕和参照物通过摄像头等拍摄距离下拍 摄的图片。图片预处理包括中心裁剪和图像锐化。中心裁剪用于突出主要疤 痕部位，减少环境干扰；图像锐化用于增加图片的对比度，突出边缘细节。
步骤S2：疤痕和参照物区域分割。疤痕区域的分割采用深度学习方法， 通过广泛收集患者疤痕图片数据集对模型进行训练和预测，再对预处理后的 疤痕图片进行分割，获得疤痕掩膜图片。其中，深度学习方法采用结合 Transformers和U-Net的TransUNet语义分割模型，将重视全局信息的 Transformer结构和底层图像特征的卷积神经网络CNN结合进行混合编码， 从而更大程度上提升UNet的分割效果，输出TransUNet下采样部分中所有 卷积层以及12层自注意力机制的参数。
步骤S3：疤痕和参照物边缘检测。用于获得疤痕和参照物的轮廓线并求 出每个疤痕的直径和横径。
步骤S4：疤痕面积计算。先计算疤痕和参照物轮廓线对应的像素中心点 所围成的像素面积，再通过疤痕与参照物的像素比例计算出疤痕的真实面积。 拍摄疤痕图片时的参照物优选直径为1厘米的圆点，具体使用时参照物尺寸 不受此限。
步骤S5：疤痕和参照物轮廓绘制。将疤痕和参照物轮廓的坐标点绘制到 图片上，用于修正结果和根据该形状制定敷料。
步骤S6：疤痕修复效果预测，依据步骤S4疤痕与参照物的像素比例， 缩放疤痕图片和步骤S2疤痕掩膜图片，通过疤痕掩膜图片计算疤痕区域中 心，裁剪疤痕图片成统一尺寸，完成数据预处理工作；输入相同患者在治疗 前阶段与治疗后n个阶段的疤痕图片序列，对模型进行训练和预测，得到n+1 个阶段疤痕的疗效状态。其中，训练和预测方法包括TransUNet下采样参数 与DeformableconvBiLSTM模块结合，将步骤S2的TransUNet下采样部分中 所有卷积层以及12层自注意力机制的参数学习到疤痕纹理和高级语义特征 中，再通过两层可变卷积有效提取并丰富疤痕特征，进而增强疤痕疗效的预 测能力，通过双向LSTM学习到序列之间的空间信息，获得每个阶段疤痕的 预测结果。其中，n个治疗后阶段，一般采用n＝4，即输入相同患者在治疗前 阶段及治疗后T1，T2，T3，T4五个阶段的疤痕图片序列对模型进行训练和 预测，得到每个阶段疤痕的疗效状态。n的取值，具体依据实际预测需要而 定，不受此限。
根据本申请的实施例，TransUNet中添加注意力机制。注意力机制可包 括加入特征通道的注意力机制和加入特征空间的注意力机制。加入特征通道 的注意力机制，将输入的疤痕图片，即特征图(featuremap)，基于特征图的 宽度(width)和高度(height)分别进行全局最大池化(global max pooling)、 全局平均池化(global average pooling)操作，再基于特征图的宽度和高度分 别经过共享的多层感知器(MLP，Multilayer Perceptron)处理；将多层感知 器(MLP)输出的特征图的特征进行基于相关元素(elementwise)的加和操 作，再经过sigmoid函数激活操作，生成最终的通道注意力特征图(channel attentionfeaturemap)；将该通道注意力特征图(channel attention featuremap)和 输入特征图(input featuremap)做相关元素(elementwise)乘法操作，生成 空间注意力模块(SpatialAttention Module)需要的输入特征。特征空间的注 意力机制，将通道注意力(Channelattention)模块输出的特征图作为本模块 的输入，先对输入的特征图做基于通道(channel)的全局最大池化(global max pooling)和局平均池化(global averagepooling)操作，然后将这2个结 果基于通道(channel)做合并(concat)操作；接着，进行卷积操作，降维 为1个通道(channel)；再经过sigmoid函数生成空间注意力特征(spatialattention feature)；最后将该特征(feature)和该模块的输入特征(feature)做 乘法，得到经注意力训练的特征图。
根据本申请的实施例，疤痕和参照物区域分割可采用二分类交叉熵 (BinaryCross Entropy)损失函数，以解决疤痕分割中背景和疤痕区域类别 不均匀的问题，同时使训练过程更加稳定。
根据本申请的实施例，疤痕和参照物区域分割可采用颜色阈值分割方法， 根据已有的图片数据多次调整颜色阈值范围，从而达到最好的分割效果。
根据本申请的实施例，疤痕和参照物边缘检测可通过将疤痕掩膜图片进 行腐蚀和膨胀操作，去除较小的孔洞以排除过小面积疤痕干扰，并起到平滑 边缘的作用；对数字二值图像进行拓扑分析，确定外边界的像素点坐标，从 而获得对应边界坐标点的疤痕和参照物的轮廓线。
优选地，疤痕面积计算中像素面积的计算可采用格林公式计算中心点围 成的像素面积。
根据本申请的实施例，疤痕修复效果预测中疤痕区域中心的计算可采用 几何距算法，对疤痕掩膜图片的疤痕连通区域计算质心，作为疤痕区域中心。 疤痕修复效果预测的训练和预测方法可包括：图片数据先经过TransUNet的 下采样部分中所有卷积层以及12层transformer自注意力机制，得到序列特 征向量(feature vector)，特征向量进行reshape得到二维特征图，再通过两 层3x3可变卷积(deformable convolution)，归一化(BN，batch normalization) 以及ReLU激活函数(activate function)组成的可变卷积模块，再经过空间 上的全局最大池化操作得到一维特征向量，将同一患者各个阶段疤痕图片对 应的特征向量输入到双向LSTM模块，得到每个阶段的疤痕状态预测。
根据本申请的实施例，瘢痕和瘢痕疙瘩图像切割及表面积计算方法还可 包括：图片预处理所用的图片先进行图片采集和图片保存，其中，图片采集 通过手机摄像头或者其他移动端等拍摄距离下拍摄疤痕和参照物图片，图片 保存将疤痕和参照物图片通过无线网路传输到后台服务器上，图片存储在后 台服务器的数据库中。
根据本申请的实施例，瘢痕和瘢痕疙瘩图像切割及表面积计算方法还可 包括：疤痕和参照物轮廓绘制后，在计算机屏幕或手机屏幕上显示疤痕形状 和面积供用户参考，并依据疤痕面积和形状信息生成和输出用户所需疤痕分 析报告。
根据本申请的实施例，瘢痕和瘢痕疙瘩图像切割及表面积计算方法可应 用于瘢痕和瘢痕疙瘩敷贴治疗，还可适用于其他进行敷贴治疗的皮肤病变， 如增生性瘢痕、血管瘤等，包括但不限于：增生性瘢痕、血管瘤。
根据本申请的另一方面，提供一种瘢痕和瘢痕疙瘩瘢痕和瘢痕疙瘩图像 切割及表面积计算系统，包括：用于获取疤痕图片的获取模块，通过手机摄 像头拍照上传的方式获取包含固定参照物的疤痕图片，图片为疤痕和参照物 通过摄像头等拍摄距离情况下拍摄的图片，疤痕图片存储在后台服务器上， 图片路径存在数据库中；用于对疤痕图片进行分割检测的检测模块，输出图 像切割及表面积计算的数据；用于对检测模块输出的结果进行修正的修正模 块，从而得到更准确的疤痕区域和面积；优化模块，通过后期用户数据反馈 等，对检测模块进行不断优化，提高疤痕分割和面积计算的准确率和稳定性。
根据本申请的实施例，检测模块可采用上述瘢痕和瘢痕疙瘩图像切割及 表面积计算方法。
根据本申请的实施例，修正模块可依据医生用户的经验值，通过web端 进行修正，从而根据修正的疤痕形状计算疤痕表面积，最终得到治疗所需相 应费用。
根据本申请的实施例，修正模块可在已有数据集的基础上，通过调整学 习率、损失函数、优化器、迭代次数，对模型进行优化，提高准确率和模型 稳定性。
根据本申请的实施例，瘢痕和瘢痕疙瘩图像切割及表面积计算系统还可 包括：显示模块，在计算机屏幕或手机屏幕上显示疤痕形状和面积；报表生 成模块，用于生成疤痕的分析报告，包括疤痕面积和形状的相关信息。
根据本申请的实施例，瘢痕和瘢痕疙瘩图像切割及表面积计算系统可应 用于瘢痕和瘢痕疙瘩敷贴治疗，还可适用于其他进行敷贴治疗的皮肤病变， 如增生性瘢痕、血管瘤等，包括但不限于：增生性瘢痕、血管瘤。
因为依据本申请实施例的瘢痕和瘢痕疙瘩图像切割及表面积计算方法 与系统，瘢痕和瘢痕疙瘩图像切割及表面积计算方法方法的步骤包括：图片 预处理，疤痕和参照物区域分割，疤痕和参照物边缘检测，疤痕面积计算， 疤痕和参照物轮廓绘制，疤痕修复效果预测。其方法克服了医学图像分割任 务上，卷积神经网络(Convolutional NeuralNetworks，CNN)的平移不变性 和捕捉长期依赖能力的不足的问题，以及更在注重全局信息Transformer结 构容易忽略低分辨率下的图像细节的问题，通过深度学习方法采用结合Transformers和U-Net的TransUNet语义分割模型，将重视全局信息的 Transformer结构和底层图像特征的卷积神经网络CNN结合进行混合编码， 从而更大程度上提升UNet的分割效果；疤痕疗效预测模型，通过结合 TransUNet下采样部分和可变卷积双向LSTM模块，不仅获取到分割模型中 瘢痕纹理和高维语义特征，还可以通过可变卷积提取更加丰富的瘢痕特征， 再由双向LSTM获得不同阶段疤痕间的空间信息，增强瘢痕治疗状态的预测 能力，所以可实现如下有益效果：
通过此方法的聚焦疤痕分割模型设计与训练，能够精准地定位疤痕的边 缘轮廓，实现疤痕表面积计算准确，运用此方法还可以扩展为微信小程序开 发，后台服务器搭建，疤痕处理系统开发，测试以及改进实验数据搜集。运 用该方法的系统能够为疤痕的表面积的识别与计费提供客观依据，从而帮助 医生更准确地按照疤痕形状确定辅料形状，并精准计算出疤痕敷料所需费用 和疤痕治疗所需费用，让治疗疤痕的效率得到大幅提高。此外，通过预测患 者在不同治疗阶段的疤痕状态，极大地帮助医生追踪患者治疗过程中的修复效果，辅助医生对瘢痕的诊断以及疗效分析。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例的附图作 简单地介绍，显而易见地，下面描述中的附图仅仅涉及本申请的一些实施例， 而非对本申请的限制。
图1是示出了根据本申请实施例的瘢痕和瘢痕疙瘩图像切割及表面积计 算方法流程图；
图2是示出了根据本申请实施例的瘢痕和瘢痕疙瘩图像切割(a) Transformer层示意图和(b)TransUnet模型架构图；
图3是示出了根据本申请实施例的疤痕图像序列分类模型架构图；
图4是示出了根据本申请实施例的疤痕表面积计算过程图；
图5是示出了根据本申请实施例的瘢痕和瘢痕疙瘩图像切割及表面积计 算系统示意图；
图6是示出了根据本申请实施例的瘢痕和瘢痕疙瘩图像切割及表面积计 算系统流程图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申 请实施例的附图，对本申请实施例的技术方案进行清楚、完整地描述。显然， 所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于所描 述的本申请的实施例，本领域普通技术人员在无需创造性劳动的前提下所获 得的所有其它实施例，都属于本申请保护的范围。
除非另作定义，此处使用的技术术语或者科学术语应当为本申请所属领 域内具有一般技能的人士所理解的通常意义。本申请专利申请说明书以及权 利要求书中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量 或者重要性，而只是用来区分不同的组成部分。同样，“一个”或者“一”等类 似词语也不表示数量限制，而是表示存在至少一个。
图1是示出了根据本申请实施例的瘢痕和瘢痕疙瘩图像切割及表面积计 算方法流程图，图2是示出了根据本申请实施例的疤痕切割(a)Transformer 层示意图和(b)TransUnet模型架构图，图3是示出了根据本申请实施例的 疤痕图像序列分类模型架构图。
如图1所示，瘢痕和瘢痕疙瘩图像切割及表面积计算方法步骤包括图片 预处理、疤痕和参照物区域分割、疤痕和参照物边缘检测、疤痕面积计算和 疤痕和参照物轮廓绘制。具体如下说明：
步骤S1：图片预处理的图片为疤痕和参照物通过摄像头等拍摄距离下 拍摄的图片。图片预处理包括中心裁剪和图像锐化。中心裁剪用于突出主要 疤痕部位，减少环境干扰；图像锐化用于增加图片的对比度，突出边缘细节。
步骤S2：疤痕和参照物区域分割。疤痕区域的分割采用深度学习方法， 通过广泛收集患者疤痕图片数据集对模型进行训练和预测，再对预处理后的 疤痕图片进行分割，获得疤痕掩膜图片。
如图2所示，深度学习方法采用结合Transformers和U-Net(U型语义 分割)的TransUNet语义分割模型，将重视全局信息的Transformer结构和底 层图像特征的卷积神经网络CNN结合进行混合编码，从而更大程度上提升 UNet的分割效果。
步骤S3：疤痕和参照物边缘检测用于获得疤痕和参照物的轮廓线，并求 出每个疤痕的直径和横径。
步骤S4：疤痕面积计算，先计算疤痕和参照物轮廓线对应的像素中心点 所围成的像素面积，再通过疤痕与参照物的像素比例计算出疤痕的真实面积。 考虑一般疤痕的大小，拍摄疤痕图片时的参照物优选直径为1厘米的圆点， 具体使用时参照物尺寸不受此限。
步骤S5：疤痕和参照物轮廓绘制，将疤痕和参照物轮廓的坐标点绘制到 图片上，用于修正结果和根据该形状制定敷料。
步骤S6：疤痕修复效果预测，依据步骤S4疤痕与参照物的像素比例， 缩放疤痕图片和步骤S2疤痕掩膜图片，通过疤痕掩膜图片计算疤痕区域中 心，裁剪疤痕图片成统一尺寸，完成数据预处理工作；输入相同患者在治疗 前阶段与治疗后n个阶段的疤痕图片序列，对模型进行训练和预测，得到n+1 个阶段疤痕的疗效状态。其中，n个治疗后阶段，一般采用n＝4，即输入相同 患者在治疗前阶段及治疗后T1，T2，T3，T4五个阶段的疤痕图片序列对模型进行训练和预测，得到每个阶段疤痕的疗效状态。n的取值，具体依据实 际预测需要而定，不受此限。
如图3所示，训练和预测方法包括TransUNet下采样参数与DeformableconvBiLSTM模块结合，将步骤S2的TransUNet下采样部分中所 有卷积层以及12层自注意力机制的参数学习到疤痕纹理和高级语义特征中， 再通过两层可变卷积有效提取并丰富疤痕特征，进而增强疤痕疗效的预测能 力，通过双向LSTM学习到序列之间的空间信息，获得每个阶段疤痕的预测 结果。
根据本申请的实施例，TransUNet中添加注意力机制。注意力机制可包 括加入特征通道的注意力机制和加入特征空间的注意力机制。加入特征通道 的注意力机制，将输入的疤痕图片，即特征图，基于特征图的宽度和高度分 别进行全局最大池化、全局平均池化操作，再基于特征图的宽度和高度分别 经过共享的多层感知器处理；将多层感知器输出的特征图的特征进行基于相 关元素的加和操作，再经过sigmoid函数激活操作，生成最终的通道注意力 特征图；将该通道注意力特征图和输入特征图做相关元素乘法操作，生成空间注意力模块需要的输入特征。特征空间的注意力机制，将通道注意力模块 输出的特征图作为本模块的输入，先对输入的特征图做基于通道的全局最大 池化和局平均池化操作，然后将这2个结果基于通道做合并操作；接着，进 行卷积操作，降维为1个通道；再经过sigmoid函数生成空间注意力特征； 最后将该特征和该模块的输入特征做乘法，得到经注意力训练的特征图。
根据本申请的实施例，疤痕和参照物区域分割可采用二分类交叉熵损失 函数，以解决疤痕分割中背景和疤痕区域类别不均匀的问题，同时使训练过 程更加稳定。其计算公式如下：
Figure RE-GDA0003398257670000081
其中，ln表示预测输出与yn的差距，N表示样本数量，Zn表示预测第n 个样本为正例的概率，yn表示第n个样本的标签。
根据本申请的实施例，疤痕和参照物区域分割可采用颜色阈值分割方法， 根据已有的图片数据多次调整颜色阈值范围，从而达到最好的分割效果。
图4是示出了根据本申请实施例的疤痕表面积计算过程图。
如图4所示，疤痕和参照物边缘检测可通过将疤痕掩膜图片进行腐蚀和 膨胀操作，去除较小的孔洞以排除过小面积疤痕干扰，并起到平滑边缘的作 用；对数字二值图像进行拓扑分析，确定外边界的像素点坐标，从而获得对 应边界坐标点的疤痕和参照物的轮廓线。
根据轮廓线的像素点坐标可得每个疤痕的直径r和横径h，其计算公式 如下：
h＝ymax-ymin (2)
r＝xmax-xmin (3)
其中，ymax为所有像素点坐标中最大的y坐标值，ymin为所有像素点坐标 中最小的y坐标值，xmax为所有像素点坐标中最大的x坐标值，xmin为所有像 素点坐标中最小的x坐标值。
优选地，疤痕面积计算中像素面积的计算可采用格林公式计算中心点围 成的像素面积。格林公式如下：
Figure RE-RE-GDA0003398257670000091
其中，L是D的取正向边界曲线。
通过疤痕与参照物的像素比例可计算出疤痕的真实面积：
Figure RE-GDA0003398257670000092
其中，Areascar为疤痕真实面积，Areabase为参照物真实面积，pixelsscar为 疤痕像素面积，pixelsbase为参照物像素面积。
优选地，拍摄疤痕图片时的参照物可为直径为1厘米的圆点。
根据本申请的实施例，疤痕修复效果预测中疤痕区域中心的计算可采用 几何距算法，对疤痕掩膜图片的疤痕连通区域计算质心，作为疤痕区域中心。 疤痕状态预测任务中，先对疤痕图片进行裁剪。通过步骤S4已知疤痕与参 照物的像素比例，缩放疤痕图片和步骤S2所得的疤痕掩膜图片，通过疤痕 掩膜图片计算疤痕区域中心，裁剪疤痕图片成统一尺寸，完成数据预处理工 作。疤痕修复效果预测的训练和预测方法可包括：图片数据先经过TransUNet 的下采样部分中所有卷积层以及12层transformer自注意力机制，得到序列特征向量，特征向量进行reshape得到二维特征图，再通过两层3x3可变卷 积，归一化以及ReLU激活函数组成的可变卷积模块，再经过空间上的全局 最大池化操作得到一维特征向量，将同一患者各个阶段疤痕图片对应的特征 向量输入到双向LSTM模块，得到每个阶段的疤痕状态预测。
根据本申请的实施例，瘢痕和瘢痕疙瘩图像切割及表面积计算方法还可 包括：图片预处理所用的图片先进行图片采集和图片保存，其中，图片采集 通过手机摄像头或者其他移动端等拍摄距离下拍摄疤痕和参照物图片，图片 保存将疤痕和参照物图片通过无线网路传输到后台服务器上，图片存储在后 台服务器的数据库中。
根据本申请的实施例，瘢痕和瘢痕疙瘩图像切割及表面积计算方法还可 包括：疤痕和参照物轮廓绘制后，在计算机屏幕或手机屏幕上显示疤痕形状 和面积供用户参考，并依据疤痕面积和形状信息生成和输出用户所需疤痕分 析报告。
根据本申请的实施例，瘢痕和瘢痕疙瘩图像切割及表面积计算方法可应 用于瘢痕和瘢痕疙瘩敷贴治疗，还可适用于其他进行敷贴治疗的皮肤病变， 如增生性瘢痕、血管瘤等，包括但不限于：增生性瘢痕、血管瘤。
图5是示出了根据本申请实施例的瘢痕和瘢痕疙瘩图像切割及表面积计 算系统示意图，图6是示出了根据本申请实施例的瘢痕和瘢痕疙瘩图像切割 及表面积计算系统流程图。
如图5和图6所示，瘢痕和瘢痕疙瘩图像切割及表面积计算系统包括获 取模块、检测模块、修正模块和优化模块。
用于获取疤痕图片的获取模块，通过手机摄像头拍照上传的方式获取包 含固定参照物的疤痕图片，图片为疤痕和参照物通过摄像头等拍摄距离情况 下拍摄的图片，疤痕图片存储在后台服务器上，图片路径存在数据库中；用 于对疤痕图片进行分割检测的检测模块，输出图像切割及表面积计算的数据； 用于对检测模块输出的结果进行修正的修正模块，从而得到更准确的疤痕区 域和面积；优化模块，通过后期用户数据反馈等，对检测模块进行不断优化， 提高疤痕分割和面积计算的准确率和稳定性。
根据本申请的实施例，检测模块可采用上述瘢痕和瘢痕疙瘩图像切割及 表面积计算方法。
根据本申请的实施例，修正模块可依据医生用户的经验值，通过web端 进行修正，从而根据修正的疤痕形状计算疤痕表面积，最终得到治疗所需相 应费用。
根据本申请的实施例，修正模块可在已有数据集的基础上，通过调整学 习率、损失函数、优化器、迭代次数，对模型进行优化，提高准确率和模型 稳定性。
根据本申请的实施例，瘢痕和瘢痕疙瘩图像切割及表面积计算系统还可 包括：显示模块，在计算机屏幕或手机屏幕上显示疤痕形状和面积；报表生 成模块，用于生成疤痕的分析报告，包括疤痕面积和形状的相关信息。
使用时，医生通过手机拍摄带有参照物(直径为1cm的圆点)的疤痕照 片，并通过手机上传该照片的图片到图像切割及表面积计算的后台系统，后 台系统收集管理图片数据。
后台系统对图片按照本申请说明的图像切割及表面积计算方法对图片 进行分割、检测，计算疤痕像素点个数和小圆圈像素点个数，通过公式得到 疤痕表面积，并呈现结果疤痕切割图片和疤痕表面积计算结果，医生可以按 照疤痕切割图片确定治疗疤痕所用的辅料形状，依据所呈现得疤痕形状制定 敷料，并通过序列分类模型得到疤痕状态的预测结果。
接着，医生可以通过可视化交互界面，例如web端，对疤痕检测结果的 疤痕图片做进一步手动修正，例如增加按照医生的经验值，进行图片进一步 修正，使其更加贴合治疗方案，为患者提供更好的治疗。再根据修正的疤痕 形状计算疤痕表面积，进一步地精准计算出疤痕敷料所需费用和疤痕治疗所 需费用。
最后，通过后期用户数据反馈等，对检测模块进行不断优化，该系统可 对产品进行更新迭代，具有不断优化系统的功能。在已有一定规模数据的基 础上，调整学习率，损失函数，优化器，迭代次数等等，对模型进行优化， 提高疤痕分割和面积计算的准确率以及疤痕状态的预测能力，最终实现较好 的对疤痕图片进行分割检测的目标，为医生和患者提供更加优质的服务。
根据本申请的实施例，瘢痕和瘢痕疙瘩图像切割及表面积计算系统可应 用于瘢痕和瘢痕疙瘩敷贴治疗，还可适用于其他进行敷贴治疗的皮肤病变， 如增生性瘢痕、血管瘤等，包括但不限于：增生性瘢痕、血管瘤。
因为依据本申请实施例的瘢痕和瘢痕疙瘩图像切割及表面积计算方法 与系统，瘢痕和瘢痕疙瘩图像切割及表面积计算方法方法的步骤包括：图片 预处理，疤痕和参照物区域分割，疤痕和参照物边缘检测，疤痕面积计算， 疤痕和参照物轮廓绘制，疤痕修复效果预测。其方法克服了医学图像分割任 务上，卷积神经网络(Convolutional NeuralNetworks，CNN)的平移不变性 和捕捉长期依赖能力的不足的问题，以及更在注重全局信息Transformer结 构容易忽略低分辨率下的图像细节的问题，通过深度学习方法采用结合Transformers和U-Net的TransUNet语义分割模型，将重视全局信息的 Transformer结构和底层图像特征的卷积神经网络CNN结合进行混合编码， 从而更大程度上提升UNet的分割效果；疤痕疗效预测模型，通过结合 TransUNet下采样部分和可变卷积双向LSTM模块，不仅获取到分割模型中 瘢痕纹理和高维语义特征，还可以通过可变卷积提取更加丰富的瘢痕特征， 再由双向LSTM获得不同阶段疤痕间的空间信息，增强瘢痕治疗状态的预测 能力，所以可实现如下有益效果：
通过此方法的聚焦疤痕分割模型设计与训练，能够精准地定位疤痕的边 缘轮廓，实现疤痕表面积计算准确，运用此方法还可以扩展为微信小程序开 发，后台服务器搭建，疤痕处理系统开发，测试以及改进实验数据搜集。运 用该方法的系统能够为疤痕的表面积的识别与计费提供客观依据，从而帮助 医生更准确地按照疤痕形状确定辅料形状，并精准计算出疤痕敷料所需费用 和疤痕治疗所需费用，让治疗疤痕的效率得到大幅提高。此外，通过预测患 者在不同治疗阶段的疤痕状态，极大地帮助医生追踪患者治疗过程中的修复效果，辅助医生对瘢痕的诊断以及疗效分析。
以上所述仅是本申请的示范性实施方式，而非用于限制本申请的保护范 围，本申请的保护范围由所附的权利要求确定。

Claims (17)

1.一种瘢痕和瘢痕疙瘩图像切割及表面积计算方法，所述方法包括如下步骤：
步骤S1：图片预处理，所述图片为所述疤痕和参照物通过摄像头等拍摄距离下拍摄的图片，所述图片预处理包括：中心裁剪，用于突出主要疤痕部位，减少环境干扰；图像锐化，用于增加图片的对比度，突出边缘细节；
步骤S2：疤痕和参照物区域分割，疤痕区域的分割采用深度学习方法，通过广泛收集患者疤痕图片数据集对模型进行训练和预测，再对所述预处理后的疤痕图片进行分割，获得疤痕掩膜图片，
其中，所述深度学习方法采用结合Transformers和U-Net的TransUNet语义分割模型，将重视全局信息的Transformer结构和底层图像特征的卷积神经网络CNN结合进行混合编码，从而更大程度上提升UNet的分割效果，输出TransUNet下采样部分中所有卷积层以及12层自注意力机制的参数；以及，
步骤S3：疤痕和参照物边缘检测，用于获得疤痕和参照物的轮廓线，并求出每个疤痕的直径和横径；
步骤S4：疤痕面积计算，先计算疤痕和参照物轮廓线对应的像素中心点所围成的像素面积，再通过疤痕与参照物的像素比例计算出疤痕的真实面积；
步骤S5：疤痕和参照物轮廓绘制，将疤痕和参照物轮廓的坐标点绘制到所述图片上，用于修正结果和根据该形状制定敷料；
步骤S6：疤痕修复效果预测，依据步骤S4所述疤痕与参照物的像素比例，缩放疤痕图片和步骤S2所述疤痕掩膜图片，通过所述疤痕掩膜图片计算疤痕区域中心，裁剪疤痕图片成统一尺寸，完成数据预处理工作；输入相同患者在治疗前阶段与治疗后n个阶段的疤痕图片序列，对模型进行训练和预测，得到n+1个阶段疤痕的疗效状态，
其中，所述训练和预测方法包括TransUNet下采样参数与DeformableconvBiLSTM模块结合，将步骤S2所述的TransUNet下采样部分中所有卷积层以及12层自注意力机制的参数学习到疤痕纹理和高级语义特征中，再通过两层可变卷积有效提取并丰富疤痕特征，进而增强疤痕疗效的预测能力，通过双向LSTM学习到序列之间的空间信息，获得每个阶段疤痕的预测结果。
2.如权利要求1所述的瘢痕和瘢痕疙瘩图像切割及表面积计算方法，其中，所述TransUNet语义分割模型中添加注意力机制。
3.如权利要求2所述的瘢痕和瘢痕疙瘩图像切割及表面积计算方法，其中，所述注意力机制包括加入特征通道的注意力机制，将输入的作为特征图的疤痕图片，基于所述特征图的宽度和高度分别进行全局最大池化、全局平均池化操作，再基于所述特征图的宽度和高度分别经过共享的多层感知器处理；将多层感知器输出的特征图的特征进行基于相关元素的加和操作，再经过sigmoid函数激活操作，生成最终的通道注意力特征图；将该通道注意力特征图和输入特征图做相关元素乘法操作，生成空间注意力模块需要的输入特征图。
4.如权利要求3所述的瘢痕和瘢痕疙瘩图像切割及表面积计算方法，其中，所述注意力机制还包括加入特征空间的注意力机制，将通道注意力模块输出的特征图作为本模块的输入，先对所述输入特征图做基于通道的全局最大池化、全局平均池化操作，然后将这2个结果基于通道做合并操作；接着进行卷积操作，降维为1个通道；再经过sigmoid函数生成空间注意力特征；最后将该特征和该模块的输入特征做乘法，得到经注意力训练的特征图。
5.如权利要求1所述的瘢痕和瘢痕疙瘩图像切割及表面积计算方法，其中，所述疤痕和参照物区域分割采用如下所示的二分类交叉熵损失函数：
Figure FDA0003260954440000021
其中，ln表示预测输出与yn的差距，N表示样本数量，Zn表示预测第n个样本为正例的概率，yn表示第n个样本的标签。
6.如权利要求1所述的瘢痕和瘢痕疙瘩图像切割及表面积计算方法，其中，所述疤痕和参照物区域分割采用颜色阈值分割方法，根据已有的图片数据多次调整颜色阈值范围。
7.如权利要求1所述的瘢痕和瘢痕疙瘩图像切割及表面积计算方法，其中，所述疤痕和参照物边缘检测，通过将所述疤痕掩膜图片进行腐蚀和膨胀操作，去除较小的孔洞以排除过小面积疤痕干扰，并起到平滑边缘的作用；对数字二值图像进行拓扑分析，确定外边界的像素点坐标，从而获得对应边界坐标点的疤痕和参照物的轮廓线。
8.如权利要求1所述的瘢痕和瘢痕疙瘩图像切割及表面积计算方法，其中，所述疤痕面积计算中像素面积的计算，采用格林公式计算中心点围成的像素面积。
9.如权利要求1所述的瘢痕和瘢痕疙瘩图像切割及表面积计算方法，其中，所述疤痕修复效果预测中疤痕区域中心的计算，采用几何距算法，对疤痕掩膜图片的疤痕连通区域计算质心，作为疤痕区域中心。
10.如权利要求1所述的瘢痕和瘢痕疙瘩图像切割及表面积计算方法，其中，所述疤痕修复效果预测的训练和预测方法包括：图片数据先经过TransUNet的下采样部分中所有卷积层以及12层transformer自注意力机制，得到图片数据进行reshape得到二维特征图，再通过两层3x3可变卷积，归一化以及ReLU激活函数组成的可变卷积模块，经过空间上的全局池化操作得到一维特征向量，输入到双向LSTM模块，得到每个阶段的疤痕状态预测。
11.如权利要求1所述的瘢痕和瘢痕疙瘩图像切割及表面积计算方法，还包括：所述图片预处理所用的图片先进行图片采集和图片保存，
其中，图片采集通过手机摄像头或者其他移动端等拍摄距离下拍摄疤痕和参照物图片，图片保存将疤痕和参照物图片通过无线网路传输到后台服务器上，所述图片存储在后台服务器的数据库中。
12.如权利要求1所述的瘢痕和瘢痕疙瘩图像切割及表面积计算方法，还包括：疤痕和参照物轮廓绘制后，在计算机屏幕或手机屏幕上显示疤痕形状和面积供用户参考，并依据疤痕面积和形状信息生成和输出用户所需疤痕分析报告。
13.一种瘢痕和瘢痕疙瘩图像切割及表面积计算系统，包括：
获取模块，通过手机摄像头拍照上传的方式获取包含固定参照物的疤痕图片，所述图片为疤痕和参照物通过摄像头等拍摄距离情况下拍摄的图片，所述疤痕图片存储在后台服务器上，图片路径存在数据库中；
检测模块，用于对所述疤痕图片进行分割检测以及疗效预测，并输出图像切割及表面积计算的数据以及疤痕状态的预测；
修正模块，用于对所述检测模块输出的结果进行修正，从而得到更准确的疤痕区域、面积以及预测结果；
优化模块，通过后期用户数据反馈等，对检测模块进行不断优化，提高疤痕分割和面积计算的准确率和稳定性，增强疤痕疗效状态的预测能力。
14.如权利要求13所述的瘢痕和瘢痕疙瘩图像切割及表面积计算系统，其中，所述检测模块采用权利要求1-10所述的图像切割及表面积计算方法。
15.如权利要求13所述的瘢痕和瘢痕疙瘩图像切割及表面积计算系统，其中，所述修正模块依据医生用户的经验值，通过web端进行修正，从而根据修正的疤痕形状计算疤痕表面积，最终得到治疗所需相应费用。
16.如权利要求13所述的瘢痕和瘢痕疙瘩图像切割及表面积计算系统，其中，所述修正模块在已有数据集的基础上，通过调整学习率、损失函数、优化器、迭代次数，对模型进行优化，提高准确率和模型稳定性。
17.如权利要求13所述的瘢痕和瘢痕疙瘩图像切割及表面积计算系统，还包括：
显示模块，在计算机屏幕或手机屏幕上显示疤痕形状和面积；
报表生成模块，用于生成疤痕的分析报告，包括疤痕面积、形状和状态的相关信息。
CN202111072616.6A 2021-09-14 2021-09-14 一种瘢痕和瘢痕疙瘩图像切割及表面积计算方法与系统 Pending CN113989295A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111072616.6A CN113989295A (zh) 2021-09-14 2021-09-14 一种瘢痕和瘢痕疙瘩图像切割及表面积计算方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111072616.6A CN113989295A (zh) 2021-09-14 2021-09-14 一种瘢痕和瘢痕疙瘩图像切割及表面积计算方法与系统

Publications (1)

Publication Number Publication Date
CN113989295A true CN113989295A (zh) 2022-01-28

Family

ID=79735770

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111072616.6A Pending CN113989295A (zh) 2021-09-14 2021-09-14 一种瘢痕和瘢痕疙瘩图像切割及表面积计算方法与系统

Country Status (1)

Country Link
CN (1) CN113989295A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913521A (zh) * 2022-04-21 2022-08-16 江苏大学 一种计算钝化金属极化腐蚀后表面点蚀坑直径分布的方法
CN117495938A (zh) * 2024-01-02 2024-02-02 山东力乐新材料研究院有限公司 一种基于图像处理的可折叠中空板生产数据提取方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913521A (zh) * 2022-04-21 2022-08-16 江苏大学 一种计算钝化金属极化腐蚀后表面点蚀坑直径分布的方法
CN114913521B (zh) * 2022-04-21 2024-03-19 江苏大学 一种计算钝化金属极化腐蚀后表面点蚀坑直径分布的方法
CN117495938A (zh) * 2024-01-02 2024-02-02 山东力乐新材料研究院有限公司 一种基于图像处理的可折叠中空板生产数据提取方法
CN117495938B (zh) * 2024-01-02 2024-04-16 山东力乐新材料研究院有限公司 一种基于图像处理的可折叠中空板生产数据提取方法

Similar Documents

Publication Publication Date Title
CN112052886B (zh) 基于卷积神经网络的人体动作姿态智能估计方法及装置
CN109934121B (zh) 一种基于YOLOv3算法的果园行人检测方法
CN111627019B (zh) 一种基于卷积神经网络的肝脏肿瘤分割方法及系统
CN111429460B (zh) 图像分割方法、图像分割模型训练方法、装置和存储介质
CN110321920A (zh) 图像分类方法、装置、计算机可读存储介质和计算机设备
CN111598998A (zh) 三维虚拟模型重建方法、装置、计算机设备和存储介质
CN109978756A (zh) 目标检测方法、系统、装置、存储介质和计算机设备
CN110659565B (zh) 一种基于带孔卷积的3d多人人体姿态估计方法
CN112862824A (zh) 新型冠状病毒肺炎病灶检测方法、系统、装置和存储介质
CN113989295A (zh) 一种瘢痕和瘢痕疙瘩图像切割及表面积计算方法与系统
CN110648311B (zh) 一种基于多任务学习的痤疮图像病灶分割与计数网络模型
CN112183541B (zh) 一种轮廓提取方法及装置、电子设备、存储介质
CN104077742B (zh) 基于Gabor特征的人脸素描合成方法及系统
CN113239951A (zh) 超声乳腺病灶的分类方法、装置及存储介质
CN115861248A (zh) 医学图像分割方法、医学模型训练方法、装置和存储介质
Shi et al. Exploiting multi-scale parallel self-attention and local variation via dual-branch transformer-CNN structure for face super-resolution
CN112037212A (zh) 一种基于深度学习的肺结核dr影像识别方法
CN115619933A (zh) 基于遮挡分割的三维人脸重建方法及系统
Yin et al. CSformer: Cross-scale features fusion based transformer for image denoising
CN112634308B (zh) 基于不同感受野的鼻咽癌靶区和危及器官的勾画方法
CN117934824A (zh) 一种超声影像的目标区域分割方法、系统及电子设备
CN116824059A (zh) 基于三维影像的目标表面重建方法、装置、设备和介质
CN107729863A (zh) 人体指静脉识别方法
CN111862071A (zh) 一种基于ct图像测量腰1椎体ct值的方法
CN116128942A (zh) 基于深度学习的三维多模块医学影像的配准方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination