CN110378882B - 一种多层级深度特征融合的中医舌质颜色分类方法 - Google Patents

Abstract

一种多层级深度特征融合的中医舌质颜色分类方法属于计算机视觉领域和中医舌诊诊领域，具体涉及深度学习、图像处理等技术。本发明以人体舌图像为研究对象，在全面分析人体舌质颜色特征的基础上，将深度学习的理论知识应用于舌质颜色特征分类中，提出一种基于多层级深度特征融合的中医舌质颜色分类方法。该方法通过进行多层特征融合以增加特征的多样性，以融合后的特征进行分类模型训练，以提高中医舌质颜色分类的准确性和鲁棒性。

Description

一种多层级深度特征融合的中医舌质颜色分类方法

技术领域

本发明以人体舌图像为研究对象，在全面分析人体舌质颜色特征的基础上，将深度学习的理论知识应用于舌质颜色特征分类中，提出一种基于多层级深度特征融合的中医舌质颜色分类方法。该方法通过对深度网络中的多个层级特征进行融合以增加特征的多样性，以融合后的特征进行分类模型训练，以提高中医舌质颜色分类的准确性和鲁棒性。本发明属于计算机视觉领域和中医舌诊领域，具体涉及深度学习、图像处理等技术。

背景技术

中医舌象特征的自动分类是舌诊客观化的核心内容，分类结果的准确程度决定了后续处理的可靠性和中医从业者们的接受程度。根据中医以表知里的诊断原理，舌象特征变化反映了人体脏腑的功能病变。舌色的变化，是气血盛衰在舌上的一种表现，主要分为淡红、红、暗红、暗紫等4种。舌质颜色作为最基本的舌象特征之一，对其进行自动分析成为舌诊客观化的研究热点。在利用计算机对舌象特征进行分析时，常常结合中医医师的先验知识，提取舌图像的语义特征，从舌图像中得到与机体的生理功能和病理变化相关的舌象特征。由于舌质颜色各类别之间颜色差异较小，且具有一定的相似性，因此需要提取区分能力更强的特征才能形成对舌质颜色的有效表达。

近年来，深度学习在图像分类、目标检测以及语义分割等诸多领域取得了巨大成功。在特征表示方面，深度学习直接利用图像像素信息作为输入，最大程度上保留了输入图像的所有信息，并通过组合低层特征形成更加抽象的深度特征，以自动发现数据的分布式特征表达，相较于传统机器学习方法，深度学习具有更高的准确率和模型泛化能力。目前，深度学习在医学领域取得了巨大成功，极大地促进了世界医疗水平的发展，因此，将深度学习的理论知识应用到中医舌质颜色分类中，将会为更为准确的舌质颜色分类提供可能。为了更好地应用于舌质颜色特征分类，如果将深度网络的低层特征与高层的深度特征进行多层级融合，不仅能够增加特征的多样性提高特征区分能力，还能弥补高层特征的语义缺失以及单一特征的缺陷，从而形成更加精细的舌质颜色特征表达。

为此，本发明结合舌质颜色自动分类的特点，利用深度学习技术，提出一种基于多层级深度特征融合的中医舌质颜色分类方法。本发明将深度网络中的低层特征和高层特征进行多层级融合，采用融合后的多层级深度特征进行网络训练，在获得较高舌质颜色分类准确率的同时，有效提高深度网络模型的泛化能力，对中医舌诊客观化研究的发展具有重要的意义。

发明内容

本发明的目的是提供一种具有分类准确度高、鲁棒性强的舌质颜色自动分类方法。为了提高舌质颜色的特征区分能力，提出一种基于多层级深度特征融合的中医舌质颜色分类方法。该方法分为舌质颜色数据集构建和舌质颜色分类网络模型设计与训练两个阶段，具体包括以下步骤：

步骤1：构建舌质颜色数据集

本发明所使用的数据集是通过SIPL型中医舌象仪采集得到，并且其类别由中医医师进行标定。舌质颜色数据集的构建过程是获得用于网络训练数据集的过程，为了使训练数据集更加标准且具有代表性，需要进行舌体区域提取、舌体歪斜校正、舌体根部去除和提取舌体U型结构建立舌质颜色数据集四个步骤。

步骤1.1：进行舌体区域提取，将舌体部分从原图像中提取出来；

步骤1.2：对舌体进行歪斜校正，获得标准的舌色数据集；

步骤1.3：提取更准确的舌色信息，去除舌根部位冗余；

步骤1.4：根据舌尖和舌两侧在舌体中的划分，通过提取舌体U型结构构建舌质颜色数据集。

步骤2：舌质颜色分类网络模型设计

中医在舌诊时，主要是利用舌质的颜色信息进行舌色分析，在将深度学习的理论应用于舌色分析时，现有的网络通常利用网络最后一层的特征建立分类器，往往忽视了低层的信息，而在中医舌诊时，往往对舌质只观察与颜色有关的视觉信息，由于舌质颜色差异小，具有极强的颜色依赖敏感程度，如果将网络低层的信息忽略掉，可能会丢失一些有用的颜色信息。为此，如何有效利用深度网络中的各层级特征信息，并进一步选择适合的网络模型进行设计和训练，是本发明需要研究的内容。本发明分别进行卷积神经网络模型选择与设计和低层特征与深层特征融合的舌质颜色分类模型两个步骤。

步骤2.1：卷积神经网络选择与设计。现有的深层神经网络结构往往以极高的计算复杂度和存储空间为代价，依赖于大规模数据集来获得性能上的大幅提升，而在训练数据集样本较少的情况下容易产生过拟合和局部收敛问题。因此，通过比较不同的网络模型，选择合适的卷积神经网络作为分类网络。

步骤2.2：低层特征与深层特征层级融合。由于卷积神经网络的低层网络可以学习到颜色和纹理等低层特征，而高层网络可以学习到全局特征，而中医对舌色进行诊断时的依据是低层的颜色信息，将低层网络提取的低层特征与高层网络提取到的特征进行特征融合，以此特征进行分类器训练，得到舌质颜色分类模型。

步骤3：对待分类的舌图像进行舌色分类。将待预测图像经过舌体区域提取、舌体歪斜校正、舌体根部去除和提取舌体U型结构等操作后，利用训练好的分类模型进行舌色分类，获得最终分类结果。

与现有技术相比，本发明具有以下明显的优势和有益效果：

首先，与传统的舌质颜色分类方法相比，本发明提出的分类方法首次将深度学习技术引入中医舌质颜色分类中，利用深度学习从数据中自动学习到有效的特征和表达，将特征和分类器结合到一个框架中，避免了手工特征选取过程，实现端到端的舌质颜色分类，在分类精度上具有明显优势，可以满足实际的应用需求。其次，本发明通过不同层级深度特征进行融合，利用融合后的特征进行分类器训练，得到的分类模型具有很强的鲁棒性，能够有效的提高分类精度。

附图说明

图1中医舌质颜色分类的总体架构；

图2中医舌象仪采集的舌图像；

图3具有舌体歪斜现象的舌图像；

图4包含舌根部位的舌体图像；

图5舌面区域划分；

图6融合特征的输入方式；

图7基于多层级深度特征融合的舌质颜色分类模型；

图8多层级深度特征图融合方法。

具体实施方式

根据以上描述，以下是一个具体的实验流程，但本专利所保护的范围并不限于该实施流程，流程框图如附图1所示。具体实施过程如下：

步骤1：构建舌质颜色数据集

本发明所使用的数据集是通过SIPL型中医舌象仪采集得到，并且其类别由中医医师进行标定。本章所使用的舌象样本是在首都医科大学宣武医院中医科采集得到的488张全舌图像。舌质颜色分为淡红、红、暗紫、暗红四类。

为了使训练数据集更加标准且具有代表性，进行舌质颜色数据集的构建过程用于网络模型训练，主要包括舌体区域提取、舌体歪斜校正、舌体根部去除和提取舌体U型结构建立舌质颜色数据集四个步骤。

步骤1.1：进行舌体区域提取，将舌体部分从原图像中提取出来。由于利用中医舌象仪采集得到的原始舌图像中包含嘴唇、脸部、背景信息等干扰信息，如图2所示，过多的干扰信息容易对后续的舌象特征分类产生影响，因此需要进行舌体区域提取，将舌体部分从原图像中提取出来。

由于舌体自动分割的精确性直接影响后续舌象特征分类的准确性，因此，舌体自动分割研究是舌诊客观化研究的关键技术之一。目前，在舌体分割方面已取得了一系列的研究，较为常用的主要有基于Snakes可变模型的分割方法和基于深度学习的分割方法。随着深度学习的产生和发展，在图像分割任务上出现了许多优秀的网络。利用深度网络进行图像分割能够取得相比传统方法更加准确的分割性能。作者所在的实验室提出了一种基于深度网络结构SegNet的中医舌图像自动分割方法，SegNet相比于其他语义分割模型，具有训练参数少、模型小和分割精度高的优点，在舌体分割上取得了95.89％的分割准确度。因此本发明舌体区域提取过程基于SegNet网络完成。

步骤1.2：对舌体进行歪斜校正，获得标准的舌色数据集。由于病人坐姿、吐舌等客观因素的影响，采集到的舌图像有时会存在歪斜的现象。如图3所示，病人伸出的舌体与图像的竖直方向具有一定的倾角，存在舌体歪斜的情况。为了获得标准的舌色数据集，需要对舌体进行歪斜校正。在舌体歪斜校正过程中，需要计算舌体的歪斜角度，然后利用歪斜指数对舌体进行校正，以获得校正后的舌体图像。

最小二乘方法，是一种数学优化技术，它通过对最小化误差的平方和最小化，来寻找当前数据的一种最佳函数匹配。最小二乘在求曲线拟合中得到广泛应用，在进行曲线拟合时，对于给定的数据点集合{(X_i,y_i)}(i＝0,1,2,…,m)，在取定的函数类

中，求

使误差的平方和E²最小，E²的定义如下式：

E²＝∑[P(X_i)-y_i]² (1)

舌体歪斜校正主要利用最小二乘在曲线拟合中的运用，通过提取舌体轮廓点，利用线性回归方程对轮廓点进行拟合，使轮廓上的点到线性函数的距离和最小，以此得到舌体轮廓的中轴线。曲线拟合得到的线性方程的斜率，即为舌体的歪斜系数，然后利用歪斜系数与角度的关系，对舌体进行歪斜校正。

步骤1.3：提取更准确的舌色信息，去除舌根部位冗余。由于舌体中包含舌根部位，舌根部位主要是舌苔分布的所在，如图4所示，由于舌根的存在，若对舌体直接进行舌色提取，会引入舌苔等干扰因素。因此，为了提取更准确的舌色信息，需要将舌根部位剔除出去。在舌体根部去除中，通过提取舌体轮廓信息，计算出最大舌体宽度的横轴坐标，然后从最大舌体宽度处进行舌体根部去除。

步骤1.4：根据舌尖和舌两侧在舌体中的划分，通过提取舌体U型结构构建舌质颜色数据集。将舌根部位去除后，为了准确提取舌质颜色，需要确定舌质所在区域。因此，根据中医专家通常将舌面划分为舌尖、舌中、舌根、舌左侧和舌右侧5个区域的舌诊习惯，如图5所示，在舌尖和舌两侧提取舌色部分，建立舌质颜色数据集。

根据舌尖和舌两侧在舌体中的划分，通过提取舌体U型结构构建舌色数据集。在提取舌体U型结构过程中，通过在舌体两侧按照一定比例截取舌体横轴长度，并在舌尖处截取一定比例的竖轴长度，最终完成舌体U型结构的提取。

步骤2：舌质颜色分类网络模型设计

中医在舌诊时，主要是利用舌质的颜色信息进行舌色分析，在将深度学习的理论应用于舌色分析时，现有的网络通常利用网络最后一层的特征建立分类器，往往忽视了低层的信息，而在中医舌诊时，往往对舌质只观察与颜色有关的视觉信息，由于舌质颜色差异小，具有极强的颜色依赖敏感程度，如果将网络低层的信息忽略掉，可能会丢失一些有用的颜色信息。因此，如何有效利用深度网络中的各级特征信息，并进一步选择适合的网络模型进行设计和训练，是本节需要研究的内容。因此，本发明从卷积神经网络模型选择与设计和低层特征与深层特征融合的舌质颜色分类模型两个方面分别进行介绍。

步骤2.1：卷积神经网络选择与设计

针对卷积神经网络选择与设计问题，现有的深层神经网络结构往往以极高的计算复杂度和存储空间为代价，依赖于大规模数据集来获得性能上的大幅提升，而在训练数据集样本较少的情况下容易产生过拟合和局部收敛问题。由于获取标注的舌象样本较为困难，导致舌象样本库较小，因此在网络模型选择时，网络结构不宜过深。由于AlexNet、VGGNet19、ResNet18这三种网络的网络层数较少，且这三种网络都是目前分类领域较为常用的卷积神经网络，因此，本发明将主要在这三种网络上进行。同时，为了控制特征融合后特征输入的全连接层和分类器一致，在特征融合后采用相同的结构，融合特征输入方式如图6所示。在融合特征后加入两个全连接层后与Softmax分类器相连，同时为了减少网络参数，全连接层摒弃了4096大小，分别采用1024和4节点数的全连接层。

步骤2.2：低层特征与深层特征融合。由于卷积神经网络的低层网络可以学习到颜色和纹理等低层特征，而高层网络可以学习到全局特征，而中医对舌色进行诊断时的依据是低层的颜色信息，将低层网络提取的低层特征与高层网络提取到的特征进行特征融合，以此特征进行分类器训练，特征融合模型如图7所示。在网络模型中，舌图像进入输入层后，在低层网络部分提取低层特征，在高层网络部分提取高层特征，并在高层网络部分进行特征融合，将融合后的特征作为分类器的输入，进行分类器的训练，最终得到分类模型。

由于低层网络提取的低层特征和高层网络提取的高层特征在特征图大小上存在不一致的情况，且由于低层网络比高层网络更靠近输入层，低层特征往往比高层特征的特征图大。为了使不同维度的特征图能够进行融合，需要对低层特征的特征图进行一定的处理，通过减少低层特征的特征图大小，使最终用于融合的不同层的特征图在特征图大小上保持一致。由于poling(池化)操作是在卷积神经网络中广泛应用的一种方法，其能够减少特征图尺寸和参数数目，同时保持旋转、平移以及伸缩等的不变性，为此，本发明将利用pooling操作进行特征图融合操作，如图8所示，首先通过控制pooling层的参数，对低层网络提取的低层特征进行特征图缩减，以使低层特征和高层特征的特征图大小一致，然后在特征图数量维度上进行融合，其中，数量维度为特征图个数所在的维度。

设低层特征的宽、高和个数分别为l、d和m，高层特征的宽、高和个数分别为l₁、d₁和m₁，则低层特征经pooling操作后与高层特征融合后的特征图W大小由下式计算：

W＝l₁×d₁×(m+m₁) (2)

由于pooling操作在本章中主要用于减少特征图的大小，对于输入宽和高分别为w和h的特征图，经过pooling操作后的特征图的宽w₁和高h₁分别由式(3)和式(4)计算。

式中，kernel_size为池化核大小，stride为池化步长。通过控制池化核大小和池化步长，可以得到满足需求的特征图尺寸。

步骤3：对待分类的舌图像进行舌色分类。将待预测图像经过舌体区域提取、舌体歪斜校正、舌体根部去除和提取舌体U型结构等操作后，利用训练好的分类模型进行舌色分类，获得最终分类结果。

实验使用“Keras+Tensorflow”网络架构进行实现，系统配置为Intel(R)Core(TM)i7-6700CPU 3.40GHz，16G内存，TITAN X(Pascal)显卡。分类模型训练采用SGD梯度下降算法训练网络模型参数，将训练该网络的目标函数设为cross-entropy loss，学习率设为0.0001，momentum设置为0.9，decay设为1e-6。

本发明从数据库中选取488张标注的舌质颜色图像，将数据集按照3:1的比例划分为训练样本和测试样本。采用相同的训练策略，分别将AlexNet、VGGNet19、ResNet18第二个卷积层提取的特征与最后一个卷积层提取的特征通过最大池化操作进行连接，以此进行特征融合，作为最后全连接层的输入特征，进行融合前与融合后的实验对比。在AlexNet、VGGNet19、ResNet18三个网络模型上，其中ResNet18网络的舌质颜色分类准确率最高，可以达到92.62％，三个网络与融合前的实验结果对比，分别提高0.86％、0.82％、1.64％的分类准确率，平均提高1.107％左右。由于特征融合后的特征增加了样本多样性，使用于分类器训练的特征更加丰富，训练出了模型具有更高的泛化能力，因此证明多层级深度特征融合方法对舌色分类准确率的提高具有促进作用。

Claims (3)

1.一种基于多层级深度特征融合的中医舌质颜色分类方法，其特征在于：分为舌质颜色数据集构建和舌质颜色分类网络模型设计与训练两个阶段，具体包括以下步骤：

步骤1：构建舌质颜色数据集包括以下步骤：

步骤1.1：进行舌体区域提取，将舌体部分从原图像中提取出来；

步骤1.2：对舌体进行歪斜校正，获得标准的舌色数据集；具体为：

利用最小二乘在曲线拟合中的运用，通过提取舌体轮廓点，利用线性回归方程对轮廓点进行拟合，使轮廓上的点到线性函数的距离和最小，以此得到舌体轮廓的中轴线；曲线拟合得到的线性方程的斜率，即为舌体的歪斜系数，然后利用歪斜系数与角度的关系，对舌体进行歪斜校正；

步骤1.3：去除舌根部位冗余；提取更准确的舌色信息，去除舌根部位冗余；在舌体根部去除中，通过提取舌体轮廓信息，计算出最大舌体宽度的横轴坐标，然后从最大舌体宽度处进行舌体根部去除；

步骤1.4：根据舌尖和舌两侧在舌体中的划分，通过提取舌体U型结构构建舌质颜色数据集；

步骤2：舌质颜色分类网络模型设计包括以下步骤：

步骤2.1：卷积神经网络选择与设计

针对卷积神经网络选择与设计问题，选择AlexNet、VGGNet19、ResNet18三中网络作为本专利实验网络进行特征融合方法验证；为了控制各网络特征融合后的特征输入的全连接层和分类器均保持一致，在网络结构上均采用相同的全连接层和分类器结构，因此在融合特征后加入两个全连接层并且与Softmax分类器相连，其中全连接层采用1024和4节点数的全连接层；

步骤2.2：低层特征与深层特征融合；

在网络模型中，舌图像进入输入层后，在低层网络部分提取低层特征，在高层网络部分提取高层特征，并在高层网络部分进行特征融合，在具体实验中，将各网络的第二个卷积层的输出特征作为低层特征，将最后一个卷积层的输出特征作为高层特征，将融合后的特征作为分类器的输入，进行分类器的训练，最终得到分类模型；

设低层特征的宽、高和个数分别为l、d和m，高层特征的宽、高和个数分别为l₁、d₁和m₁，则低层特征经pooling操作后与高层特征融合后的特征图W大小由下式计算：

W＝l₁×d₁×(m+m₁) (2)

对于输入宽和高分别为w和h的特征图，经过pooling操作后的特征图的宽w₁和高h₁分别由式(3)和式(4)计算；

式中，kernel_size为池化核大小，stride为池化步长；

步骤3：对待分类的舌图像进行舌色分类；将待预测图像经过舌体区域提取、舌体歪斜校正、舌体根部去除和提取舌体U型结构后，利用训练好的分类模型进行舌色分类，获得最终分类结果。

2.根据权利要求1所述的方法，其特征在于，步骤1.1中采用一种基于深度网络结构SegNet的中医舌图像自动分割方法。

3.根据权利要求1所述的方法，其特征在于，步骤1.4：根据舌尖和舌两侧在舌体中的划分，通过提取舌体U型结构构建舌质颜色数据集；将舌根部位去除后，在舌尖和舌两侧提取舌色部分，建立舌质颜色数据集；

根据舌尖和舌两侧在舌体中的划分，通过提取舌体U型结构构建舌色数据集；在提取舌体U型结构过程中，通过在舌体两侧按照1/5比例截取舌体横轴长度，并在舌尖处截取1/5比例的竖轴长度，最终完成舌体U型结构的提取。

Images