CN111260619A - 基于U-net模型的舌体自动分割方法 - Google Patents

Abstract

本发明提供一种基于U‑net模型的舌体自动分割方法：包括以下步骤：步骤1、舌像图像手动分割单元利用LabelMe软件对原图像进行手动分割，输出手动分割图像到数据输入单元，步骤2、图像预处理单元导入并预处理原图像和手动分割图像后，输出至模型分割单元进行自动分割训练，观察分割结果及其计算效果评价指标，并进行模型优化。步骤3、重复步骤2，观察分割结果及其计算效果评价指标并将其与步骤2所得数据结果进行比较分析。本发明建立了基于U‑net的舌体自动分割方法模型，有效提高了分割的效率与精度，避免了手动分割的误差以及效率低的劣势，节约了舌像图像的存储空间。

Description

基于U-net模型的舌体自动分割方法

技术领域

本发明涉及一种医学图像处理和图像智能管理领域，具体涉及一种基于U-net模型的舌体自动分割方法。

背景技术

中医药文化源远流长，已经有发展数千年的发展历史。中医基本诊断方式包括“望”、“闻”、“问”、“切”四种，其中“望”的一个重要诊断依据就是舌像。因此，舌诊在中医领域占有重要地位，舌诊简便易行，舌像的变化能客观准确地反映病情，可作为诊断疾病、了解病情的发展变化和辩证的重要依据。在疾病发展过程中，无论外感或内伤，都有一个发展、发展及转归的变动过程，舌像作为反映疾病的敏感体征，亦会随之发生相应的改变，通过对舌像的动态观察，可以了解疾病的进退、顺逆等病变势态。

从当今研究状况来看，图像分割技术广泛应用于医学图像处理领域。医学图像分割对于医学图像处理来说是一个关键的步骤，在一定程度上来说是可视化等其他处理方式技术的先决条件，即在完成图像分割的基础之上，才能在重点区域进行下一步的分析处理。目前，针对图像分割技术提出了多种方法，由于机器学习和深度学习的飞速发展，现如今，较为主流的图像分割方法有基于边缘、区域分割和语意等的方法，可以对图像分割、分类等图像处理技术实现更优的处理方法，逐步实现自动化，摆脱传统的耗时久的手动操作形式。尽管舌像的自动分割取得了很大的进展，但是仍然没有特别好的模型来解决图像数量不足，图像质量差以及拍摄环境的不同等问题。

因此，需要对现有技术进行改进。

发明内容

本发明要解决的技术问题是提供一种高效的基于U-net模型的舌体自动分割方法。

为解决上述技术问题，本发明提供一种基于U-net模型的舌体自动分割方法：包括以下步骤：

步骤1、舌像图像手动分割单元利用LabelMe软件对原图像进行手动分割，输出手动分割图像到数据输入单元，

步骤2、图像预处理单元导入并预处理原图像和手动分割图像后，输出至模型分割单元进行自动分割训练，观察分割结果及其计算效果评价指标，并进行模型优化。

作为对本发明基于U-net模型的舌体自动分割方法的改进：

还包括步骤3：

重复步骤2，观察分割结果及其计算效果评价指标并将其与步骤2所得数据结果进行比较分析。

作为对本发明基于U-net模型的舌体自动分割方法的进一步改进：

步骤2包括：

(2.1)、预处理：图像预处理单元将原图像与手动分割图像均进行图像增强，使其达到高度一致，得到预处理图像；

(2.2)、预处理图像将预处理图像输出至模型分割单元，进行分割处理得到自动分割的图像以及评价指标；

(2.3)、自动分割的图像和评价指标输出至分割效果显示单元，判断分割效果。

作为对本发明基于U-net模型的舌体自动分割方法的进一步改进：

步骤(2.2)包括：

(2.2.1)、模型共分为九层；前四层用于从图像中提取特征，输入图像逐层减小；后四层对图像特征进行升采样，逐层还原图像大小；具体计算方法如下：

(2.2.1.1)、由于卷积操作在每一层上都是相同的，每次卷积后图像大小都不会改变，因此需要使用0填充原始图像；边界0填充数：

其中P为0填充数，O为输出尺寸，S为步长，F为卷积核，I为输入尺寸；

(2.2.1.2)、根据(2.2.1.1)进行0填充后，执行卷积运算：

其中

为卷积核，b^nl∈R^kn×1为偏差值，nl表示层数，nl＝1,…,9，n表示每层中第n个卷积；

为填充后所得图像，ls表示输入大小，z₃表示输入的第z₃个通道；l＝1,…,kn，kn表示卷积核数量；i、j表示输入矩阵中像素点的横纵坐标，1≤i≤ls-z₁+1；1≤j≤ls-z₂+1，其中z₁、z₂表示卷积核的横纵坐标；

(2.2.1.3)、根据(2.2.1.2)进行卷积运算后，运用relu激活函数使得计算成为非线性，其计算方式为：

其中，

为卷积输出；

(2.2.1.4)、使用最大池化操作对积特征图进行下采样：

其中

而nl＝1,…,4；获得最大池化

后，对图像进行向下采样；

(2.2.1.5)、向下采样后进行向上采样，使用2×2的反卷积核，且不进行0填充，计算卷积核步长：

其中O＝2×I，I为输入特征图像尺寸且K＝2；

(2.2.1.6)、根据(2.2.1.5)得到卷积核步长后，进行向上卷积运算：

D^nl[l]＝D^nl[l]+b^nl[l]

其中nl＝5,…,8，DF^nl是反卷积内核，而D^nl∈R^2ls×2ls；

经过整个网络之后输出Output[l]∈R^512×512，其中l＝1,2；

(2.2.1.7)、对于模型进行训练时，需获取最佳参数

以优化U-net模型，其最小化损耗函数

获得方式：

其中S_i,j是预测结果的在位置i，j处像素的分类值，y_i,j是真实标签的位置i，j处像素的分类值，Output_i，j[l]代表第l层的Output矩阵中第i行、第j列的值；使用降梯度法对参数进行微调：

其中α是学习率；

步骤2.2.1.7中的S即为最终分割结果，S_i,j为S中每一个元素的值，S中的元素值非0即1；

(2.2.2)、分割指标计算部件42将对于分割效果的评价指标进行计算，采用准确性(acc)和平均交并比(mIoU)来作为评价分割效果的标准：

其中TP_i表示在第i个图像中正确预测的正例的像素数，TN_i表示在第i个图像中正确预测的负例的像素数，FP_i表示在第i个图像中预测错误的正例的像素数，FN_i表示在第i个图像中误判了负示例的像素数，N是图像数；acc表示正确分割的像素数与总像素数之比；平均交并比表示真实值与预测值的交并集之比。

作为对本发明基于U-net模型的舌体自动分割方法的进一步改进：

在步骤(2.2.2)中：分割得到的图像的像素点非0即1，手动分割得到的图像也是黑白二值图，因此正确预测的正例的像素数只要看在模型分割得到的图像和手动分割的图像中那些位置的像素都是1即可，正确预测的负例的像素数只要看在模型分割得到的图像和手动分割的图像中那些位置的像素都是0即可，错误预测的正例的像素数只要看在模型分割得到的图像中像素为1而手动分割的图像中那些位置的像素值为0的像素点个数，错误预测的负例的像素数只要看在模型分割得到的图像中像素为0而手动分割的图像中那些位置的像素值为1的像素点个数。

作为对本发明基于U-net模型的舌体自动分割方法的进一步改进：

步骤(2.3)包括：

根据(2.2.2)计算而得的数据，得到了自动分割的图像以及评价指标：准确性(acc)和平均交并比(mIoU)的值，结果输出至分割效果显示单元，最终以acc、mIoU来评价所分割的结果优劣，两者都是越接近1表示分割效果越好。

作为对本发明基于U-net模型的舌体自动分割方法的进一步改进：

步骤3包括：重复执行步骤2.2.1.1-2.2.1.6，直到指定循环次数为止。

本发明基于U-net模型的舌体自动分割方法的技术优势为：

1、本发明建立了基于U-net的舌体自动分割方法模型，有效提高了分割的效率与精度，避免了手动分割的误差以及效率低的劣势，节约了舌像图像的存储空间。

2、本发明所采用的U-net模型具有良好的性能，能够排除外界环境等因素的干扰，优化后的模型分割结果精确，一定程度上再一步提升了舌像图像在中医诊疗过程中的价值。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细说明。

图1是本发明基于U-net模型的舌体自动分割方法的原理流程图；本图还体现了本发明基于U-net模型的舌体自动分割装置的模块示意图。

图2是本发明实施例中数据库中未做任何处理的舌像图像；

图3是本发明实施例中训练集中数据分割结果图，由左至右分别是原图、手动分割图像和自动分割图像；

图4是本发明实施例中测试集中数据分割结果图，由左至右分别是原图、手动分割图像和自动分割图像；

图5是本发明实施例中训练集和测试集的评价计算结果。

具体实施方式

下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此。

实施例1、基于U-net模型的舌体自动分割装置，如图1-5所示，包括依次相连的舌像图像手动分割单元1、数据输入单元2、图像预处理单元3、模型分割单元4和分割效果显示单元5。

舌像图像手动分割单元1用于处理数据集中的图像，手动分割出舌像的轮廓用于评价模型自动分割的效果；本实施例中，图像手动分割单元1分割完成的图像在步骤2中与原图像一一对应后输入图像预处理单元3。

所述数据输入单元2将舌像图像手动分割单元1中所得的结果与原图像一一配对；数据输入单元2将所有舌像图像分为训练集和测试集分别输出至图像预处理单元3；

数据输入单元2包括训练集数据21和测试集数据22；

训练集数据21输入图像预处理单元3、模型分割单元4和分割效果显示单元5完成训练以及对模型的优化后，将测试集数据22输入图像预处理单元3。

图像预处理单元3将数据输入单元2配对的图像数据进行图像增强并输出至模型分割单元4。

模型分割单元4将图像预处理单元3的处理结果输入模型中，进行自动分割，并将结果输出至分割效果显示单元5；

模型分割单元4包括舌体自动分割部件41和分割指标计算部件42；舌体自动分割部件41和分割指标计算部件42分别与分割效果显示单元5相连；

舌体自动分割部件41将图像预处理单元3完成的图像进行自动分割，将结果输出至分割效果显示单元5；

所述分割指标计算部件42将分割结果与步骤1得到的手动分割图像进行对比，计算出分割效果的评价指标，并将计算结果输出至分割效果显示单元5对分割结果进行评价。

分割效果显示单元5用于接收模型分割单元4分割完成的舌像图像数据进行显示，并对于分割结果进行评价；

结果输出部件51对于模型自动分割的结果进行显示；

效果评价部件52对于模型自动分割的效果用具体指标进行评价。

本发明提出了基于U-net模型的舌体自动分割方法，如图1-4所示，首先通过舌像图像手动分割单元1获得精确分割的舌体图像，再将训练集数据与精确分割的图像输入图像预处理单元3，对图像进行增强后，输入模型分割单元4，将结果传至分割效果显示单元5，根据分割效果对模型进行优化；将测试集数据与精确分割的图像输入图像预处理单元3，对图像进行增强后，输入优化后模型分割单元4，将结果传至分割效果显示单元5进行进一步评价。

本实施例中采用的数据集分为两部分，如图2所示，TS1是在统一的环境和操作中使用专业的舌像摄影仪器拍摄的；而TS2是作为志愿者提供的舌像图像，采用随机拍摄方法，并且图像的角度和环境都不同。

具体工作内容包括如下步骤：

步骤1、舌像图像手动分割单元1将数据集中所有舌像图像(原图像)利用LabelMe软件进行手动分割，输出手动分割图像到数据输入单元2，数据输入单元2将手动分割图像与原图像一一配对；数据输入单元2将所有舌像图像(原图像)分为训练集和测试集，再将训练集、测试集和手动分割图像输出至图像预处理单元3，如图3、图4所示。

步骤2、图像预处理单元3导入并预处理一一配对的舌像训练集图像和手动分割图像后，输出至模型分割单元4进行自动分割训练，观察分割结果及其计算效果评价指标，并进行模型优化。

具体工作流程如下：

(2.1)预处理：为了使原图像与手动分割图像配对后能够正常进行训练与测试，图像预处理单元3将原图像与手动分割图像均进行图像增强，使其达到高度一致，得到预处理图像。

(2.2)步骤(2.1)完成之后，预处理图像将会输出至模型分割单元4；模型分割单元4包括舌体自动分割部件41和分割指标计算部件42，其分割计算方法如下：

(2.2.1)、模型共分为九层。前四层用于从图像中提取特征，输入图像逐层减小。后四层对图像特征进行升采样，逐层还原图像大小。具体计算方法如下：

(2.2.1.1)、由于卷积操作在每一层上都是相同的，每次卷积后图像大小都不会改变，因此需要使用0填充原始图像。边界0填充数：

其中P为0填充数，O为输出尺寸，S为步长，F为卷积核，I为输入尺寸。

(2.2.1.2)、根据(2.2.1.1)进行0填充后，执行卷积运算：

其中

为卷积核，b^nl∈R^kn×1为偏差值，nl表示层数，nl＝1,…,9，n表示每层中第n个卷积；

为填充后所得图像，ls表示输入大小，z₃表示输入的第z₃个通道；l＝1,…,kn，kn表示卷积核数量；i、j表示输入矩阵中像素点的横纵坐标，1≤i≤ls-z₁+1；1≤j≤ls-z₂+1，其中z₁、z₂表示卷积核的横纵坐标。

(2.2.1.3)、根据(2.2.1.2)进行卷积运算后，运用relu激活函数使得计算成为非线性，其计算方式为：

其中，

为卷积输出。

(2.2.1.4)、使用最大池化操作对积特征图进行下采样：

其中

而nl＝1,…,4。获得最大池化

后，对图像进行向下采样。

(2.2.1.5)、向下采样后进行向上采样，使用2×2的反卷积核，且不进行0填充，计算卷积核步长：

其中O＝2×I，I为输入特征图像尺寸且K＝2。

(2.2.1.6)、根据(2.2.1.5)得到卷积核步长后，进行向上卷积运算：

D^nl[l]＝D^nl[l]+b^nl[l]

其中nl＝5,…,8，DF^nl是反卷积内核，而D^nl∈R^2ls×2ls。

经过整个网络之后输出Output[l]∈R^512×512，其中l＝1,2。

(2.2.1.7)、对于模型进行训练时，需获取最佳参数

以优化U-net模型，其最小化损耗函数

获得方式：

其中S_i,j是预测结果的在位置i，j处像素的分类值，y_i,j是真实标签的位置i，j处像素的分类值，Output_i，j[l]代表第l层的Output矩阵中第i行、第j列的值。使用降梯度法对参数进行微调：

其中α是学习率。

步骤2.2.1.7中的S即为最终分割结果，S_i,j为S中每一个元素的值，S中的元素值非0即1。

(2.2.2)、分割指标计算部件42将对于分割效果的评价指标进行计算，采用准确性(acc)和平均交并比(mIoU)来作为评价分割效果的标准：

其中TP_i表示在第i个图像中正确预测的正例的像素数，TN_i表示在第i个图像中正确预测的负例的像素数，FP_i表示在第i个图像中预测错误的正例的像素数，FN_i表示在第i个图像中误判了负示例的像素数，N是图像数。acc表示正确分割的像素数与总像素数之比；平均交并比表示真实值与预测值的交并集之比。分割得到的图像的像素点非0即1(黑白二值图)，手动分割得到的图像也是黑白二值图，因此正确预测的正例的像素数只要看在模型分割得到的图像和手动分割的图像中那些位置的像素都是1即可，正确预测的负例的像素数只要看在模型分割得到的图像和手动分割的图像中那些位置的像素都是0即可，错误预测的正例的像素数只要看在模型分割得到的图像中像素为1而手动分割的图像中那些位置的像素值为0的像素点个数，错误预测的负例的像素数只要看在模型分割得到的图像中像素为0而手动分割的图像中那些位置的像素值为1的像素点个数.

(2.3)、根据(2.2)计算而得的数据，得到了自动分割的图像(图3右图即为自动分割测试结果)以及评价指标：准确性(acc)和平均交并比(mIoU)的值，结果输出至分割效果显示单元5，分割结果由输出部件51展示和分割效果评价由评价部件52计算；最终以acc、mIoU来评价所分割的结果优劣。两者都是越接近1表示分割效果越好。

步骤3、根据步骤2.2.1.7已经进行优化的模型进行测试。获得图像预处理单元3导入并预处理一一配对的舌像训练集图像和手动分割图像后，输出至模型分割单元4进行自动分割测试(即重复步骤2计算过程)，观察分割结果(图4右图即为自动分割测试结果)及其计算效果评价指标并将其与步骤2所得数据结果进行比较分析，所得计算结果如图5所示，由图可知：本发明模型具有较好的分割效果。

步骤3即为步骤2.2.1.7结束后重复执行步骤2.2.1.1-2.2.1.6，直到指定循环次数为止。

本发明提出了基于U-net模型的舌体自动分割方法，利用优化的U-net模型对舌体进行分割，这一过程大大减少了手动分割的工作量，也避免了手工分割的准确性低、分割耗时长等一系列缺点，在一定意义上推动了中医在诊疗过程中的便利性，提升了舌诊的准确性与高效性。此外，舌像图片一般需要拍照存档，需要大量的存储空间，而分割后再进行存储可节约存储空间，排除环境等因素的影响，便于对图像进行下一步分析，为其更好地在中医诊断治疗中发挥较为优秀的作用。

最后，还需要注意的是，以上列举的仅是本发明的若干个具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (7)

1.基于U-net模型的舌体自动分割方法，其特征在于：包括以下步骤：

步骤1、舌像图像手动分割单元利用LabelMe软件对原图像进行手动分割，输出手动分割图像到数据输入单元，

步骤2、图像预处理单元导入并预处理原图像和手动分割图像后，输出至模型分割单元进行自动分割训练，观察分割结果及其计算效果评价指标，并进行模型优化。

2.根据权利要求1所述的基于U-net模型的舌体自动分割方法，其特征在于：

还包括步骤3：

重复步骤2，观察分割结果及其计算效果评价指标并将其与步骤2所得数据结果进行比较分析。

3.根据权利要求2所述的基于U-net模型的舌体自动分割方法，其特征在于：

步骤2包括：

(2.1)、预处理：图像预处理单元将原图像与手动分割图像均进行图像增强，使其达到高度一致，得到预处理图像；

(2.2)、预处理图像将预处理图像输出至模型分割单元，进行分割处理得到自动分割的图像以及评价指标；

(2.3)、自动分割的图像和评价指标输出至分割效果显示单元，判断分割效果。

4.根据权利要求3所述的基于U-net模型的舌体自动分割方法，其特征在于：

步骤(2.2)包括：

(2.2.1)、模型共分为九层；前四层用于从图像中提取特征，输入图像逐层减小；后四层对图像特征进行升采样，逐层还原图像大小；具体计算方法如下：

(2.2.1.1)、由于卷积操作在每一层上都是相同的，每次卷积后图像大小都不会改变，因此需要使用0填充原始图像；边界0填充数：

其中P为0填充数，O为输出尺寸，S为步长，F为卷积核，I为输入尺寸；

(2.2.1.2)、根据(2.2.1.1)进行0填充后，执行卷积运算：

其中

为卷积核，b^nl∈R^kn×1为偏差值，nl表示层数，nl＝1,…,9，n表示每层中第n个卷积；

为填充后所得图像，ls表示输入大小，z₃表示输入的第z₃个通道；l＝1,…,kn，kn表示卷积核数量；i、j表示输入矩阵中像素点的横纵坐标，1≤i≤ls-z₁+1；1≤j≤ls-z₂+1，其中z₁、z₂表示卷积核的横纵坐标；

(2.2.1.3)、根据(2.2.1.2)进行卷积运算后，运用relu激活函数使得计算成为非线性，其计算方式为：

其中，

为卷积输出；

(2.2.1.4)、使用最大池化操作对积特征图进行下采样：

其中

而nl＝1,…,4；获得最大池化

后，对图像进行向下采样；

(2.2.1.5)、向下采样后进行向上采样，使用2×2的反卷积核，且不进行0填充，计算卷积核步长：

其中O＝2×I，I为输入特征图像尺寸且K＝2；

(2.2.1.6)、根据(2.2.1.5)得到卷积核步长后，进行向上卷积运算：

D^nl[l]＝D^nl[l]+b^nl[l]

其中nl＝5,…,8，DF^nl是反卷积内核，而D^nl∈R^2ls×2ls；

经过整个网络之后输出Output[l]∈R^512×512，其中l＝1,2；

(2.2.1.7)、对于模型进行训练时，需获取最佳参数

以优化U-net模型，其最小化损耗函数

获得方式：

其中S_i,j是预测结果的在位置i，j处像素的分类值，y_i,j是真实标签的位置i，j处像素的分类值，Output_i，j[l]代表第l层的Output矩阵中第i行、第j列的值；使用降梯度法对参数进行微调：

其中α是学习率；

步骤2.2.1.7中的S即为最终分割结果，S_i,j为S中每一个元素的值，S中的元素值非0即1；

(2.2.2)、分割指标计算部件42将对于分割效果的评价指标进行计算，采用准确性(acc)和平均交并比(mIoU)来作为评价分割效果的标准：

其中TP_i表示在第i个图像中正确预测的正例的像素数，TN_i表示在第i个图像中正确预测的负例的像素数，FP_i表示在第i个图像中预测错误的正例的像素数，FN_i表示在第i个图像中误判了负示例的像素数，N是图像数；acc表示正确分割的像素数与总像素数之比；平均交并比表示真实值与预测值的交并集之比。

5.根据权利要求4所述的基于U-net模型的舌体自动分割方法，其特征在于：

在步骤(2.2.2)中：分割得到的图像的像素点非0即1，手动分割得到的图像也是黑白二值图，因此正确预测的正例的像素数只要看在模型分割得到的图像和手动分割的图像中那些位置的像素都是1即可，正确预测的负例的像素数只要看在模型分割得到的图像和手动分割的图像中那些位置的像素都是0即可，错误预测的正例的像素数只要看在模型分割得到的图像中像素为1而手动分割的图像中那些位置的像素值为0的像素点个数，错误预测的负例的像素数只要看在模型分割得到的图像中像素为0而手动分割的图像中那些位置的像素值为1的像素点个数。

6.根据权利要求5所述的基于U-net模型的舌体自动分割方法，其特征在于：

步骤(2.3)包括：

根据(2.2.2)计算而得的数据，得到了自动分割的图像以及评价指标：准确性(acc)和平均交并比(mIoU)的值，结果输出至分割效果显示单元，最终以acc、mIoU来评价所分割的结果优劣，两者都是越接近1表示分割效果越好。

7.根据权利要求6所述的基于U-net模型的舌体自动分割方法，其特征在于：

步骤3包括：重复执行步骤2.2.1.1-2.2.1.6，直到指定循环次数为止。

Images