CN107316307A - 一种基于深度卷积神经网络的中医舌图像自动分割方法 - Google Patents

Abstract

一种基于深度卷积神经网络的中医舌图像自动分割方法属于计算机视觉领域和中医舌诊领域。本发明设计了一种卷积神经网络结构，利用采集到的样本数据对该网络的训练，得到网络模型，采用该模型可以对中医舌图像进行自动分割。该方法包含离线训练阶段和在线分割阶段，该方法可以同时适用于封闭式和开放式的舌象采集环境，可以有效提高中医舌图像自动分割的精确度和鲁棒性。本发明具体涉及深度学习、语义分割、图像处理等技术。

Description

一种基于深度卷积神经网络的中医舌图像自动分割方法

技术领域

本发明将深度学习技术引入到中医舌诊客观化研究中，提出一种基于深度卷积神经网络的中医舌图像自动分割方法，该方法可以同时适用于封闭式和开放式的舌象采集环境，可以有效提高中医舌图像自动分割的精确度和鲁棒性。本发明属于计算机视觉领域和中医舌诊领域，具体涉及深度学习、语义分割、图像处理等技术。

背景技术

中医舌诊通过观察舌象的变化，了解人体的生理功能和病理变化,是中医学中望诊的重要组成部分。20世纪80年代以来，随着计算机技术的发展，研究者们开始将数字图像处理技术应用于中医舌诊客观化研究，其主要流程包括舌图像采集、预处理、舌体分割以及舌象特征分析等，其中，舌体分割是中医舌诊客观化的重要环节。由于舌象特征分析的目标区域是舌体，而采集到的中医舌图像除了包含舌体以外，往往还包含唇部、脸部等背景区域。为了避免这些背景区域对后续舌象特征分析的影响，需先分割出舌体区域，分割的精确性将直接影响舌象特征分析的准确性。

尽管舌图像自动分割方面的研究工作取得了一定的进展，但受到图像质量、病人舌图像的差异性、舌体颜色与嘴唇颜色相近以及光照变化等一系列客观因素的影响，至今仍没有一种舌图像自动分割方法可以对各类舌图像都能取得理想的分割效果。此外，现有的自动分割算法大多适用于封闭式采集环境，往往不能满足开放式采集环境的舌图像分割需求。为此，需要引入新的信息处理技术以提高舌图像分割的自动化程度、鲁棒性以及分割精度。

近年来，深度学习成为计算机视觉领域的研究热点。其中，卷积神经网络(CNN)凭借其强大的特征学习与表达能力被广泛应用于在图像分类、目标检测以及语义分割等任务。

因此，本发明针对现有舌图像自动分割方法存在的不足，提出一种基于深度卷积神经网络的中医舌图像自动分割方法，该方法可同时适用于封闭式和开放式的舌象采集环境，为中医舌诊客观化研究提供了一种重要的手段，对推动中医客观化研究的发展具有重要的意义，并在临床诊疗、养生保健、中医传承等方面具有重要的应用价值。

发明内容

本发明主要解决的技术问题是如何提供一种具有准确率高、鲁棒性强和全自动化等优点，且可以同时适用于封闭式和开放式舌象采集环境的舌图像分割方法。

为解决上述技术问题，本发明采用的技术方案为：设计了一种卷积神经网络结构，利用采集到的样本数据对该网络的训练，得到网络模型，采用该模型可以对中医舌图像进行自动分割。该方法包含离线训练阶段和在线分割阶段，具体包括以下步骤：

步骤1：构建数据集。根据实际应用需求，针对封闭式和开放式的舌象采集环境，本发明分别构建了舌图像分割数据集TonsegDataset1和TonsegDataset2。其中，TonsegDataset1具有光照统一和舌图像位置相对一致的特点；TonsegDataset2具有尺寸大小不一，光照复杂多变，舌体的大小形状各异和位置不固定等特点。

步骤2：手工标注语义分割标签。即分别对图像上的舌体区域和背景区域的像素点进行手工标注。

步骤3：卷积神经网络的结构设计和网络训练。本发明设计的卷积神经网络包括编码网络和解码网络，其中，编码网络由卷积层、Batch Normalization层、激活层和池化层堆叠而成，解码网络则由反池化层、反卷积层、Batch Normalization层和激活层堆叠而成，并采用跳跃连接结构将池化层的输出特征图与反池化层的输出特征图进行融合，利用融合后的特征图对图像信息进行复原。解码网络的输出连接sigmoid层，该层可以实现像素的二分类，得到语义分割结果。本发明将舌图像的像素分为2类，即舌体区域和背景区域。

训练网络时，为避免网络模型过拟合，首先利用ImageNet2012数据集对编码网络进行预训练，然后对数据集进行样本扩充，最后利用扩充后的数据集对该卷积神经网络的全部参数进行训练。

步骤4：利用训练好的网络模型对图像进行舌体区域分割。首先对待分割舌图像的光照情况进行预判，如果图像过亮或者过暗，则不对其进行分割；否则，对该图像的嘴区进行失焦检测，如果嘴区失焦，则不进行分割；否则，利用步骤3中训练好的卷积神经网络对该图像进行舌体分割。

与现有技术相比，本发明具有以下明显的优势和有益效果：

1.分割的精确度高。与传统的舌图像分割方法相比，本发明提出的舌图像分割方法采用深度学习技术从数据中自动学习到有效的特征和表达，避免了复杂的手工特征选取过程，在分割精度上具有明显优势，可以满足实际应用需求。

2.具有鲁棒性。针对尺寸大小不一，光照复杂多变，舌体的大小形状各异和位置不固定的舌图像，本发明提出的舌图像分割方法依然能取得较高的分割准确率。

附图说明

图1基于深度卷积神经网络的舌图像自动分割方法流程图；

图2TonsegDataset1数据集中部分舌图像的分割示意图；

图3TonsegDataset2数据集中部分舌图像的分割示意图。

具体实施方式

以下结合附图和具体实施方式对本发明做进一步说明。

步骤1：构建数据集。

使用SIPL型中医舌象仪采集1000幅舌图像，组成数据集TonsegDataset1，SIPL型中医舌象仪采集可以提供稳定的光照环境，并且避免外界的杂散光进入。利用含有舌图像的互联网图片和通过手机、相机等不同图像采集设备在不同的环境下拍摄得到的舌图像构成数据集TonsegDataset2，共包含共5000幅舌图像，且这些舌图像通常在自然环境下采集得到，其光照等参数变化较大。

步骤2：手工标注语义分割标签。即手工标注图像上的舌体区域和背景区域的像素点类别，标注好的数据用于训练网络模型。

步骤3：设计和训练卷积神经网络。本发明针对舌图像自动分割设计了一种深度卷积神经网络，并对该网络进行训练，得到可以用于舌图像分割的网络模型。

步骤3.1：卷积神经网络结构设计。本发明设计的卷积神经网络简称为TonsegNet，包括输入层、编码网络、解码网络和输出层。其中，输入层为含有舌体的图像，图像尺寸为512×512。编码网络包含15个卷积层，卷积核的大小均为3×3，每个卷积层后面均连接着Batch Normalization层和激活层。将编码网络分为5组，每组包含3个卷积层，每组输出的特征图个数分别为32，64，128，256，512，且每组中的卷积层输出特征图个数相同。此外，每组后面连接一个池化层，因此编码网络共包含5个池化层，本发明采用核尺寸为2×2大小的最大池化层。解码网络与编码网络对称，由反池化层、卷积层、Batch Normalization层和激活层堆叠而成，其中，采用跳跃连接结构将反池化层的输出特征图与池化层的输出特征图进行融合，利用融合后的特征图对图像信息进行复原。解码网络的输出连接sigmoid层，通过该层可以得到每个像素的类别概率，实现语义分割。本发明将舌图像的像素分为2类，即舌体区域和背景区域。TonsegNet中各网络层的相关描述如下：

(a)卷积层

卷积层是CNN网络中非常重要的一层，通过卷积运算可以使原信号特征增强并且使噪音降低。卷积层与输入层由特征图进行连接，而特征图是由卷积核与输入层相乘然后将得到的值加上偏置值输入到激发函数中得到的。

(b)标准化和激活函数

本发明采用批标准化(Batch Normalization,BN)，批标准化有助于防止梯度消失并加快收敛速度，用于激活函数前，TonsegNet中每个卷积层后均连接一个BN层。

本发明采用的激活函数是Rectified Linear Units(ReLU)。与sigmoid和tanh函数相比，ReLU的随机梯度下降收敛速度较快，不用进行大量复杂运算。

(c)池化层和反池化层

池化层对图像进行子抽样，可以减少数据处理量同时保留有用信息。池化层首先把输入分块，然后把分块做下采样处理，将得到的值加上偏置值输入到激活函数中。

本发明采用max-pooling进行下采样，使用尺寸为2x2的滤波器，取出4个权值中最大的一个，并将该权值在2x2滤波器中的相对位置进行保存。反池化是池化的逆过程，先对输入的特征图放大两倍，再将输入特征图的数据根据保存的相对位置放入相应的位置。

步骤3.2：训练卷积神经网络。

(1)预训练。为避免过拟合，利用ImageNet2012数据集对TonsegNet的编码网络进行预训练。预训练时，将编码网络与一个全连接层连接，全连接层的神经元个数为1000，损失函数选择softmax loss函数，使用误差反向传播算法和随机梯度下降算法更新模型参数，直至损失函数达到最小，此时得到的模型即为最优。

(2)对数据集进行样本扩充。为了防止深度模型过拟合，提高网络的分割性能，本发明采用了旋转、平移和水平镜像三种方法对样本数据量进行扩充，其中，旋转采用在-90°到+90°范围内随机产生10个不同角度的变化，平移采用了上、下、左、右四个方向的移动。采用以上数据扩充方法，将数据集扩充为原来的28倍。

(3)TonsegNet的编码网络使用预训练得到的网络参数进行初始化，解码网络则采用随机初始化；进而利用扩充后的数据集对初始化后的TonsegNet的全部参数进行训练。训练时，将数据集按照3:2分为训练集和测试集，训练集用于训练网络参数，测试集用于测试训练得到的网络参数的分割精度。将训练该网络的目标函数设为交叉熵损失函数C_out，如公式(1)所示，采用随机梯度下降算法训练网络模型参数。

其中，n为计算交叉熵损失函数时使用样本的个数，t为期望输出，z为实际输出。

步骤4：利用TonsegNet对图像进行舌体分割。

由于受到采集环境中光照条件的影响，采集到的舌图像亮度变化范围较大。亮度过低或者过高的舌图像质量较差，不能用于后续的舌象特征(如舌色、苔色、腐腻等)自动分析，在分割操作之前需要对此类舌图像进行预判。对满足分割光照条件的舌图像的嘴区进行失焦检测，嘴区失焦将导致舌体区域过于模糊，无法进行后续的舌象特征分析，因此，需要对此类舌图像进行预判。

步骤4.1：舌图像的光照条件判别。

本发明采用基于亮度统计信息的图像质量评价方法，对待分割舌图像的亮度进行判别。具体步骤如下：

(1)在HSV彩色空间对图像的V分量进行直方图统计。

(2)根据公式(2)和(3)分别计算亮度值在亮度两端范围内的像素点占所有像素点的比例Q₁和Q₂,

其中，

式中，X与Y代表图像的长和宽，Num_d和Num_l表示亮度值在亮度两端范围内的像素点个数，N为对V分量进行直方图统计时所划分bin的个数，P_i表示处于第i个bin内的像素点个数，M用于划分亮度两端区域的大小，M越大所定义的两端亮度范围越小。本发明中N设置为256，M设置为3，Q₁>0.7表示图像亮度过低，Q₂>0.6表示图像亮度过高。

步骤4.2：如果图像亮度过高或过低，则不对其进行分割；否则，对舌图像的嘴区进行失焦检。本发明首先采用基于YCbCr彩色空间的肤色检测算法选定并裁剪出面部和颈部区域，如公式(6)所示。

式中，“1”表示该像素属于肤色区域，否则不属于肤色区域。

然后，将裁剪得到的图像转换到HIS颜色空间，对H分量进行直方图统计，嘴区和非嘴区的H分量直方图有两个较为显著的峰，以这两个峰值之间的谷点H＝24为阈值，可以分割出包含唇部和舌体的嘴区，进而可以确定嘴区的坐标范围，即嘴部外接矩形4个边框的位置。

最后，利用Tenengrad梯度函数进行嘴区的失焦检测。Tenengrad梯度函数采用Sobel算子分别提取水平和垂直方向的梯度值，具体过程如公式(7)(8)所示：

式中，Gx，Gy为Sobel算子的卷积核，I(x,y)为图像I在点(x,y)处的像素值。S(x,y)为图像I在点(x,y)处的梯度，T为用于判断是否失焦的Tenengrad梯度函数值，当0<T<1000时判定嘴区失焦，n为图像I的像素总数。

步骤4.3：如果嘴区未失焦，则利用步骤3中训练好的TonsegNet对图像进行舌体分割，实现舌体与背景分离的效果。

本发明采用全部像素的分类正确率(G)，所有类别的平均正确率(C)和平均交叠率(mIoU)作为舌体分割准确率的评价指标，定义分别如公式(9)(10)(11)所示。

其中，t_i表示第i类像素的总数，如公式(12)所示：

t_i＝∑_jm_ij (12)

式中，m_ii表示被分为i类的第i类像素的个数,∑_im_ii表示所有像素中正确分类的像素个数总和，∑_it_i表示全部类别像素个数的总和，表示第i类像素的分类正确率，m_ji表示被分为i类的第j类像素的个数，m_cl表示总的像素类别个数，本文的像素类别个数为2，t_i表示第i类像素的总数。

本发明将深度学习技术应用到舌图像分割中，提出了一种基于深度卷积神经网络的的中医舌图像自动分割方法，该方法同时适用于封闭式和开放式采集环境，在多场景下获得舌图像分割鲁棒性的大幅提升。本文发明的方法在TonsegDataset1和TonsegDataset2的测试集上均可获得较高的分割准确率，其中，在TonsegDataset1测试集上的G为93.12％，C为91.56％，mIoU为87.98％；在TonsegDataset2测试集上的G为90.12％，C为89.56％，mIoU为83.34％。与传统的舌图像分割方法相比，该方法避免了复杂的手工选取特征过程，在分割精度上具有明显优势。

Claims (6)

1.一种基于深度卷积神经网络的中医舌图像自动分割方法，包含离线训练阶段和在线分割阶段，其特征在于：

具体包括以下步骤：

步骤1：构建数据集；针对封闭式和开放式的舌象采集环境，分别构建了舌图像分割数据集TonsegDataset1和TonsegDataset2；其中，TonsegDataset1具有光照统一和舌图像位置相对一致的特点；TonsegDataset2具有尺寸大小不一，光照复杂多变，舌体的大小形状各异和位置不固定特点；

步骤2：标注语义分割标签；即分别对图像上的舌体区域和背景区域的像素点进行标注；

步骤3：卷积神经网络的结构设计和网络训练；

设计的卷积神经网络包括编码网络和解码网络，其中，编码网络由卷积层、BatchNormalization层、激活层和池化层堆叠而成，解码网络则由反池化层、反卷积层、BatchNormalization层和激活层堆叠而成，并采用跳跃连接结构将池化层的输出特征图与反池化层的输出特征图进行融合，利用融合后的特征图对图像信息进行复原；解码网络的输出连接sigmoid层，该层实现像素的二分类，得到语义分割结果；将舌图像的像素分为2类，即舌体区域和背景区域；

步骤4：利用训练好的网络模型对图像进行舌体区域分割；首先对待分割舌图像的光照情况进行预判，如果图像过亮或者过暗，则不对其进行分割；否则，对该图像的嘴区进行失焦检测，如果嘴区失焦，则不进行分割；否则，利用步骤3中训练好的卷积神经网络对该图像进行舌体分割。

2.根据权利要求1所述方法，其特征在于：

步骤3中设计的卷积神经网络简称为TonsegNet，包括输入层、编码网络、解码网络和输出层；其中，输入层为含有舌体的图像，图像尺寸为512×512；编码网络包含15个卷积层，卷积核的大小均为3×3，每个卷积层后面均连接着Batch Normalization层和激活层；将编码网络分为5组，每组包含3个卷积层，每组输出的特征图个数分别为32，64，128，256，512，且每组中的卷积层输出特征图个数相同；此外，每组后面连接一个池化层，编码网络共包含5个池化层，采用核尺寸为2×2大小的最大池化层；解码网络与编码网络对称，由反池化层、卷积层、Batch Normalization层和激活层堆叠而成，其中，采用跳跃连接结构将反池化层的输出特征图与池化层的输出特征图进行融合，利用融合后的特征图对图像信息进行复原；解码网络的输出连接sigmoid层，通过该层可以得到每个像素的类别概率，实现语义分割；将舌图像的像素分为2类，即舌体区域和背景区域。

3.根据权利要求1所述方法，其特征在于：

步骤3中采用的激活函数是Rectified Linear Units(ReLU)。

4.根据权利要求1所述方法，其特征在于：

步骤3中池化层对图像进行子抽样，池化层首先把输入分块，然后把分块做下采样处理，将得到的值加上偏置值输入到激活函数中；

采用max-pooling进行下采样，使用尺寸为2x2的滤波器，取出4个权值中最大的一个，并将该权值在2x2滤波器中的相对位置进行保存；反池化是池化的逆过程，先对输入的特征图放大两倍，再将输入特征图的数据根据保存的相对位置放入相应的位置。

5.根据权利要求1所述方法，其特征在于，卷积神经网络训练具体如下：

(1)预训练；利用ImageNet2012数据集对TonsegNet的编码网络进行预训练；预训练时，将编码网络与一个全连接层连接，损失函数选择softmax loss函数，使用误差反向传播算法和随机梯度下降算法更新模型参数，直至损失函数达到最小；

(2)对数据集进行样本扩充；采用了旋转、平移和水平镜像三种方法对样本数据量进行扩充，其中，旋转采用在-90°到+90°范围内随机产生10个不同角度的变化，平移采用了上、下、左、右四个方向的移动；(3)TonsegNet的编码网络使用预训练得到的网络参数进行初始化，解码网络则采用随机初始化；进而利用扩充后的数据集对初始化后的TonsegNet的全部参数进行训练；训练时，训练集用于训练网络参数，测试集用于测试训练得到的网络参数的分割精度；将训练该网络的目标函数设为交叉熵损失函数C_out，如公式(1)所示，采用随机梯度下降算法训练网络模型参数；

其中，n为计算交叉熵损失函数时使用样本的个数，t为期望输出，z为实际输出。

6.根据权利要求1所述方法，其特征在于，步骤4具体如下：

步骤4.1：舌图像的光照条件判别；

采用基于亮度统计信息的图像质量评价方法，对待分割舌图像的亮度进行判别；具体步骤如下：

(1)在HSV彩色空间对图像的V分量进行直方图统计；

(2)根据公式(2)和(3)分别计算亮度值在亮度两端范围内的像素点占所有像素点的比例Q₁和Q₂,

其中，

式中，X与Y代表图像的长和宽，Num_d和Num_l表示亮度值在亮度两端范围内的像素点个数，N为对V分量进行直方图统计时所划分bin的个数，P_i表示处于第i个bin内的像素点个数，M用于划分亮度两端区域的大小，M越大所定义的两端亮度范围越小；中N设置为256，M设置为3，Q₁>0.7表示图像亮度过低，Q₂>0.6表示图像亮度过高；

步骤4.2：如果图像亮度过高或过低，则不对其进行分割；否则，对舌图像的嘴区进行失焦检；首先采用基于YCbCr彩色空间的肤色检测算法选定并裁剪出面部和颈部区域，如公式(6)所示；

式中，“1”表示该像素属于肤色区域，否则不属于肤色区域；

然后，将裁剪得到的图像转换到HIS颜色空间，对H分量进行直方图统计，嘴区和非嘴区的H分量直方图有两个较为显著的峰，以这两个峰值之间的谷点H＝24为阈值，分割出包含唇部和舌体的嘴区，进而确定嘴区的坐标范围，即嘴部外接矩形4个边框的位置；

最后，利用Tenengrad梯度函数进行嘴区的失焦检测；Tenengrad梯度函数采用Sobel算子分别提取水平和垂直方向的梯度值，具体过程如公式(7)(8)所示：

式中，Gx，Gy为Sobel算子的卷积核，I(x,y)为图像I在点(x,y)处的像素值；S(x,y)为图像I在点(x,y)处的梯度，T为用于判断是否失焦的Tenengrad梯度函数值，当0<T<1000时判定嘴区失焦，n为图像I的像素总数；

步骤4.3：如果嘴区未失焦，则利用步骤3中训练好的TonsegNet对图像进行舌体分割，实现舌体与背景分离的效果。