CN108734108A - 一种基于ssd网络的裂纹舌识别方法 - Google Patents

Abstract

一种基于SSD网络的裂纹舌识别方法，包括对采集到的舌象进行舌体分割的预处理操作、在训练过程中的数据增强操作、用于舌整体特征提取的深度卷积神经网络、用于对裂纹区域进行预测的候选框生成方法，完成对舌象中裂纹区域的确定，并通过置信度过滤判别其是否为裂纹舌。本发明无需手工定义特征，有效地提高了裂纹舌的识别正确率。

Description

一种基于SSD网络的裂纹舌识别方法

技术领域

本发明涉及一种分析方法，具体涉及中医舌诊、计算机视觉、数字图像处理、模式识别、深度学习和深度卷积神经网络等技术在舌象识别领域的应用。

背景技术

舌诊是中医临床最直接、最基本的诊断方法之一，自古以来就受到众多医家的推崇，广泛应用于临床实践。舌象包含着人体丰富的生理和病理信息，通过对患者舌面苔迹、舌质相关属性,包括颜色、形态等进行观察,从而判断疾病所在,进行辨证论治，这对中医用药及判断疾病有重要的参考意义。但长期以来，由于舌诊结果完全依赖于医生的主观判断，诊断信息的正确与否受到医生的经验积累、环境因素的影响，导致舌诊缺乏客观的诊断方法与标准，且大多数舌象诊断经验不易于传授和保存，在一定程度上阻碍了舌诊的发展。因此，以中医理论为基础，将中医诊疗与图像分析技术相结合，对舌象进行定量分析，实现舌诊的客观化、标准化和定量化成为中医舌诊发展的必经之路。

随着人们日常生活习惯和身体状况的变化，舌面上可能会出现各种形状、深浅不一、多少不等的裂纹、裂沟。裂纹或裂沟中无舌苔覆盖者，多属病理性变化；若有舌苔覆盖，则多见于先天性裂纹。在中医理论中，裂纹舌是全身营养不良的一种表现，有精血亏虚，舌体失养，舌面乳头萎缩或组织破裂所致。

申请号为CN201410000707.2的中国专利申请公开了一种基于支持向量机的裂纹舌识别方法，包括如下步骤:(1)建立裂舌纹特征训练样本集；(2)构建基于支持向量机的裂纹舌分类器；(3)利用基于支持向量机的裂纹舌分类器进行识别，识别出待测舌裂纹特征样本集中的每一个待测样本是否属于裂纹舌象。该方法在检测出疑似舌裂纹区域的基础上，可以给出进一步的识别，是现有计算机舌裂纹检测方法的延拓，该方法利用一次性的样本集训练，即可完成识别工作，而且在识别过程中不需要任何的其它参数设置及人工因素干预，实现了全自动化识别裂纹舌。

申请号为CN201310656821.6的中国专利申请公开了一种舌部裂纹的获取方法，包括：获取舌部图像上的每个单位区域的特定能量参数的数值，以及所述特定能量参数在每个单位区域对应的关联区域内的最大数值；计算每个单位区域的特定能量参数的数值与对应的最大数值之间的相对数值关系；根据所述相对数值关系的数值所处的预设数值范围，确定相应的单位区域的类型为暗线类型或非暗线类型，其中，所有暗线类型的单位区域构成所述舌部图像上的舌部裂纹。

申请号为CN201010117453.4的中国专利申请公开了一种基于改进的最大类间方差法实现舌裂纹的方法，提出一种图像特征识别、去噪的方法，包括:得到标准舌图后，转为灰度图。复制图像，按照图像宽高大小将两张图像划分为小区域，并且使两张图像任何一个小区域不会和原图小区域重合；利用OSTU滤波方法对两幅图像的每个小区域单独滤波；根据两张图像的滤波结果按照一定规则，合并为一张图像；对滤波后的图像去噪，排除干扰。

发明内容

为了克服现有的舌象裂纹识别方法多依赖于图像灰度和梯度信息，在鲁棒性、实用性上的不足，本发明提供一种准确率较高的基于SSD网络的裂纹舌识别方法。

本发明解决其技术问题所采用的技术方案是：

一种基于SSD网络的裂纹舌识别方法，包括对采集到的舌象进行舌体分割的预处理操作、基于深度卷积神经网络的舌象整体特征提取和对裂纹区域进行预测的候选框生成方法，完成对舌象中裂纹区域的确定，并通过置信度过滤来判别其是否为裂纹舌；

所述的对采集到的舌象进行舌体分割的预处理操作，通过构建全卷积网络实现，所述全卷积网络由卷积层、池化层和反卷积层组成，卷积池化层将原始舌象从像素域映射到特征域，进行隐式的特征提取，反卷积层将上一步得到的特征图恢复到原图尺寸，进而对图像中的每个点进行分类实现分割；

所述的基于深度卷积神经网络的舌象整体特征提取，所述深度卷积神经网络由卷积层组成，将上述分割后的舌体作为输入，输入图像在网络中进行层层映射，得到不同的表示形式，提取其抽象特征，从而实现对舌象的深度表示；

所述的对裂纹区域进行预测的候选框生成方法，在不同层次的特征图上生成多种尺度、多种长宽比的默认盒子作为候选框，并将与真实框最吻合的候选框作为正样本，其余候选框都作为负样本。

进一步，所述的对采集到的舌象进行舌体分割的预处理操作中，分割网络选取VGG16的全卷积形式进行实现，其中包含五层堆叠的卷积池化层，经过五个池化层，输出的特征图尺寸依次变为原来的1/2，故采用了反卷积层将每层的特征图依次进行相应倍数的放大和融合，将特征图恢复到原图尺寸，并将真实分割图作为输入，训练softmax分类器对图像中的每个像素点进行分类，进而实现分割。

再进一步，所述的基于深度卷积神经网络的舌象整体特征提取中，网络使用VGG16-Atrous作为基础网络，再增加额外的特征提取层，附加网络的结构和参数如下所示：

第一个卷积层(conv6_1)有256个卷积核，核大小为1×1，步长为1，不填充像素；第二个卷积层(conv6_2)有512个卷积核，核大小为3×3，步长为2，填充一个像素；第三个卷积层(conv7_1)有128个卷积核，核大小为1×1，步长为1，不填充像素；第四个卷积层(conv7_2)有256个卷积核，核大小为3×3，步长为2，填充一个像素；第五个卷积层(conv8_1)有128个卷积核，核大小为1×1，步长为1，不填充像素；第六个卷积层(conv8_2)有256个卷积核，核大小为3×3，步长为1，不填充像素；第七个卷积层(conv9_1)有128个卷积核，核大小为1×1，步长为1，不填充像素；第八个卷积层(conv9_2)有256个卷积核，核大小为3×3，步长为1，不填充像素；

网络同时对裂纹所在区域及置信度进行预测，总的损失函数由公式(1)表示：

式中，类别损失函数由式(2)定义为：

位置回归损失函数由式(3)定义为：

R是鲁棒的损失函数smooth_L1，由式(4)表示为：

式中，N_cls和N_reg是为避免过拟合的正则项，λ为权重系数，i是该候选框的类别索引值，t_i是该候选框的预测坐标偏移量，t*i是该候选框的实际坐标偏移量，p_i是预测候选框属于第i类的概率，p*i表示其真实类别，p*i＝0表示背景类,p*i＝1表示裂纹类。

更进一步，所述的对裂纹区域进行预测的候选框生成方法中，默认盒生成规则如下：

默认盒不需要与每一层的感受野对应，特征图中特定的位置负责图像中特定的区域，以及物体特定的尺寸。每个特征图中默认盒的尺寸大小计算如下，由式(5)表示：

其中，Smin取值0.2，Smax取值0.95，则最底层的尺度是0.2，最高层的尺度是0.95，再用不同的长宽比进行扩充，用a_r表示，a_r＝{1,2,3,1/2,1/3}，则每一个默认盒的长、宽分别由式(6)，(7)表示为：

当长宽比为1时，额外增加一个默认盒，该默认盒的尺度为因此，最终每个位置拥有6个默认盒；

每个默认盒的中心，为其中，|f_k|是第k个特征图的大小，且i,j∈[0,|f_k|)。

本发明的有益效果为：识别裂纹舌的准确性较高，且若舌象为裂纹舌，可同时确定裂纹区域，有利于该裂纹舌的后续处理和分析。

附图说明

图1为对采集到的舌象进行分割处理及识别的结果图。其中，(a)为原图；(b)为舌体分割结果；(c)为裂纹舌识别结果；

图2为基于全卷积神经网络的舌体语义分割网络结构图；

图3为SSD神经网络结构图。

图4是一种基于SSD网络的裂纹舌识别方法的流程图。

具体实施方式

下面结合附图对本发明做进一步说明。

参照图1～图4，一种基于SSD网络的裂纹舌识别方法，包括对采集到的舌象进行舌体分割的预处理操作、基于深度卷积神经网络的舌象整体特征提取、对裂纹区域进行预测的候选框生成方法，完成对舌象中裂纹区域的确定，并通过置信度过滤来判别其是否为裂纹舌。本发明无需手工定义特征，有效地提高了裂纹舌的识别正确率；

所述的对采集到的舌象进行舌体分割的预处理操作，作为实现裂纹舌准确识别的前提，通过构建全卷积网络实现。网络主要由卷积层、池化层和反卷积层组成，卷积池化层将原始舌象从像素域映射到特征域，进行隐式的特征提取，反卷积层将上一步得到的特征图恢复到原图尺寸，进而对图像中的每个点进行分类实现分割；

所述的基于深度卷积神经网络的舌象整体特征提取，所述深度卷积神经网络由卷积层组成，将上述分割后的舌体作为输入，输入图像在网络中进行层层映射，得到不同的表示形式，提取其抽象特征，从而实现对舌象的深度表示；

所述的对裂纹区域进行预测的候选框生成方法，在不同层次的特征图上生成多种尺度、多种长宽比的默认盒子作为候选框，并将与真实框最吻合的候选框作为正样本，其余候选框都作为负样本。

进一步，所述的对采集到的舌象进行舌体分割的预处理操作，舌体分割通过构建全卷积网络实现。网络主要由卷积层、池化层和反卷积层组成，卷积池化层将原始舌象从像素域映射到特征域，进行隐式的特征提取，反卷积层将上一步得到的特征图恢复到原图尺寸，进而对图像中的每个点进行分类实现分割；

分割网络选取了VGG16的全卷积形式进行实现。其中包含五层堆叠的卷积池化层，经过五个池化层，输出的特征图尺寸依次变为原来的1/2，故采用了反卷积层将每层的特征图依次进行相应倍数的放大和融合，将特征图恢复到原图尺寸。并将真实分割图作为输入，训练softmax分类器对图像中的每个像素点进行分类，进而实现分割；

再进一步，所述的基于深度卷积神经网络的舌象整体特征提取，所述深度卷积神经网络即SSD神经网络，主要由卷积层组成，将上述分割后的舌体作为输入，输入图像在网络中进行层层映射，得到不同的表示形式，提取其抽象特征，从而实现对舌象的深度表示；

网络使用VGG16-Atrous作为基础网络，再增加额外的特征提取层，附加网络的结构和参数如下所示：

第一个卷积层(conv6_1)有256个卷积核，核大小为1×1，步长为1，不填充像素；第二个卷积层(conv6_2)有512个卷积核，核大小为3×3，步长为2，填充一个像素；第三个卷积层(conv7_1)有128个卷积核，核大小为1×1，步长为1，不填充像素；第四个卷积层(conv7_2)有256个卷积核，核大小为3×3，步长为2，填充一个像素；第五个卷积层(conv8_1)有128个卷积核，核大小为1×1，步长为1，不填充像素；第六个卷积层(conv8_2)有256个卷积核，核大小为3×3，步长为1，不填充像素；第七个卷积层(conv9_1)有128个卷积核，核大小为1×1，步长为1，不填充像素；第八个卷积层(conv9_2)有256个卷积核，核大小为3×3，步长为1，不填充像素；

网络同时对裂纹所在区域及置信度进行预测，总的损失函数由公式(1)表示：

式中，类别损失函数由式(2)定义为：

位置回归损失函数由式(3)定义为：

R是鲁棒的损失函数smooth_L1，由式(4)表示为：

式中，N_cls和N_reg是为避免过拟合的正则项，λ为权重系数，i是该候选框的类别索引值，t_i是该候选框的预测坐标偏移量，t*i是该候选框的实际坐标偏移量，p_i是预测候选框属于第i类的概率，p*i表示其真实类别，p*i＝0表示背景类,p*i＝1表示裂纹类；

更进一步，所述的对裂纹区域进行预测的候选框生成方法，其特征在于：在不同层次的特征图上生成多种尺度、多种长宽比的默认盒作为候选框，并将与真实框最吻合的候选框作为正样本，其余候选框都作为负样本。具体的默认盒生成规则如下：

默认盒不需要与每一层的感受野对应，特征图中特定的位置负责图像中特定的区域，以及物体特定的尺寸。每个特征图中默认盒的尺寸大小计算如下，由式(5)表示：

其中，Smin取值0.2，Smax取值0.95，则最底层的尺度是0.2，最高层的尺度是0.95，再用不同的长宽比进行扩充，用a_r表示，a_r＝{1,2,3,1/2,1/3}，则每一个默认盒的长、宽分别由式(6)，(7)表示为：

当长宽比为1时，额外增加一个默认盒，该默认盒的尺度为因此，最终每个位置拥有6个默认盒。

每个默认盒的中心，为其中，|f_k|是第k个特征图的大小，且i,j∈[0,|f_k|)。

Claims (4)

1.一种基于SSD网络的裂纹舌识别方法，其特征在于，所述方法包括对采集到的舌象进行舌体分割的预处理操作、基于深度卷积神经网络的舌象整体特征提取和对裂纹区域进行预测的候选框生成方法，完成对舌象中裂纹区域的确定，并通过置信度过滤来判别其是否为裂纹舌；

所述的对采集到的舌象进行舌体分割的预处理操作，通过构建全卷积网络实现，所述全卷积网络由卷积层、池化层和反卷积层组成，卷积池化层将原始舌象从像素域映射到特征域，进行隐式的特征提取，反卷积层将上一步得到的特征图恢复到原图尺寸，进而对图像中的每个点进行分类实现分割；

所述的基于深度卷积神经网络的舌象整体特征提取，所述深度卷积神经网络由卷积层组成，将上述分割后的舌体作为输入，输入图像在网络中进行层层映射，得到不同的表示形式，提取其抽象特征，从而实现对舌象的深度表示；

所述的对裂纹区域进行预测的候选框生成方法，在不同层次的特征图上生成多种尺度、多种长宽比的默认盒子作为候选框，并将与真实框最吻合的候选框作为正样本，其余候选框都作为负样本。

2.如权利要求1所述的基于SSD网络的裂纹舌识别方法，其特征在于：所述对采集到的舌象进行舌体分割的预处理操作中，分割网络选取VGG16的全卷积形式进行实现，其中包含五层堆叠的卷积池化层，经过五个池化层，输出的特征图尺寸依次变为原来的1/2，故采用了反卷积层将每层的特征图依次进行相应倍数的放大和融合，将特征图恢复到原图尺寸；并将真实分割图作为输入，训练softmax分类器对图像中的每个像素点进行分类，进而实现分割。

3.如权利要求1或2所述的基于SSD网络的裂纹舌识别方法，其特征在于：所述基于深度卷积神经网络的舌象整体特征提取中，网络使用VGG16-Atrous作为基础网络，再增加额外的特征提取层，附加网络的结构和参数如下所示：

第一个卷积层(conv6_1)有256个卷积核，核大小为1×1，步长为1，不填充像素；第二个卷积层(conv6_2)有512个卷积核，核大小为3×3，步长为2，填充一个像素；第三个卷积层(conv7_1)有128个卷积核，核大小为1×1，步长为1，不填充像素；第四个卷积层(conv7_2)有256个卷积核，核大小为3×3，步长为2，填充一个像素；第五个卷积层(conv8_1)有128个卷积核，核大小为1×1，步长为1，不填充像素；第六个卷积层(conv8_2)有256个卷积核，核大小为3×3，步长为1，不填充像素；第七个卷积层(conv9_1)有128个卷积核，核大小为1×1，步长为1，不填充像素；第八个卷积层(conv9_2)有256个卷积核，核大小为3×3，步长为1，不填充像素；

网络同时对裂纹所在区域及置信度进行预测，总的损失函数由公式(1)表示：

式中，类别损失函数由式(2)定义为：

位置回归损失函数由式(3)定义为：

R是鲁棒的损失函数smooth_L1，由式(4)表示为：

式中，N_cls和N_reg是为避免过拟合的正则项，λ为权重系数，i是该候选框的类别索引值，t_i是该候选框的预测坐标偏移量，t*i是该候选框的实际坐标偏移量，p_i是预测候选框属于第i类的概率，p*i表示其真实类别，p*i＝0表示背景类,p*i＝1表示裂纹类。

4.如权利要求1或2所述的用于舌象整体特征提取的深度卷积神经网络，其特征在于：所述对裂纹区域进行预测的候选框生成方法中，默认盒生成规则如下：

默认盒不需要与每一层的感受野对应，特征图中特定的位置负责图像中特定的区域，以及物体特定的尺寸，每个特征图中默认盒的尺寸大小计算如下，由式(5)表示：

其中，Smin取值0.2，Smax取值0.95，则最底层的尺度是0.2，最高层的尺度是0.95，再用不同的长宽比进行扩充，用a_r表示，a_r＝{1,2,3,1/2,1/3}，则每一个默认盒的长、宽分别由式(6)，(7)表示为：

当长宽比为1时，额外增加一个默认盒，该默认盒的尺度为因此，最终每个位置拥有6个默认盒；

每个默认盒的中心，为其中，|f_k|是第k个特征图的大小，且i,j∈[0,|f_k|)。