CN101576913B - 基于自组织映射神经网络的舌象自动聚类、可视化和检索方法 - Google Patents

Abstract

基于自组织映射神经网络的舌象自动聚类、可视化和检索方法：(1)通过采集设备得到舌象样本图片，对样本图片进行舌体分割，得到完整的舌象；(2)在HSV颜色空间提取舌象各分量的直方图，得到描述舌象样本的特征向量，并精简特征向量的维数；(3)用典型舌象样本的特征向量训练自组织映射神经网络，得到对应于典型舌象样本集的自组织映射网格；(4)对输入的舌象样本图片，按照最小距离准则，检索与其最相似的聚类中心，然后在所有属于该聚类的舌象样本中检索与其最相似的样本并显示；(5)在自组织映射神经网络中的二维映射网络上高亮显示匹配聚类对应的神经元节点，并显示此聚类的全部样本。本发明可以实现大规模舌象样本集的舌象聚类、可视化和快速检索。

Description

基于自组织映射神经网络的舌象自动聚类、可视化和检索方法

技术领域

本发明涉及一种舌象自动聚类、可视化和检索方法，具体地说是一种基于自组织映射神经网络实现对舌象进行聚类、可视化和基于图像内容的快速检索方法。

背景技术

在中医诊断学中，舌诊是获取病人身体状态信息的重要途径之一。传统中医舌诊在很大程度上依赖于医师的主观判断和个人经验，具有比较大的随意性和不确定性。通过对舌象数据进行聚类，并对聚类结果实现可视化，可以帮助中医专家了解舌象数据的内在结构，最大程度地消除随意性和不确定性。而采用基于内容的图像检索技术，根据当前病人的舌图像，从典型样本数据库中检索具有相似舌象特征的典型样本舌图像，可以为医师诊断提供样例支持，提高诊断的准确性。建立中医舌象自动聚类、可视化和快速检索系统，对中医舌诊现代化，规范化和国际化有着重大的现实意义。

中医舌象特征量很多，变化非常丰富，且变化具有渐进性，这些变化均同时呈现在一幅舌象图片上，将它们准确区分判读出来是非常困难的，有些情况下，即使是专业的医师也很难达成一致的意见。针对舌象的这种复杂性，本发明提出采用一种无监督的机器学习方法，自组织映射神经网络(SOM)，实现舌象的自动聚类和可视化，并在此基础上实现对舌象的快速检索。

由T.Kohonen提出的自组织映射(SOM，Self-Organizing Map)神经网络算法通过竞争学习的方法实现对高维样本集的降维、聚类和可视化。SOM是一种聚类算法，可以将相似的样本聚为一类。同时，SOM具有保序映射的特点，可以保证相似的聚类在输出神经元网格上所对应的神经元也靠得很近，而不相似聚类所对应的神经元则相距较远。利用这一特性，SOM可以揭示高维样本集的内在结构，将舌象图像经特征提取后获得的高维特征向量投射到低维空间后，可以清楚地观察到不同舌象的空间分布及变化情况。根据中医理论，舌象的不同表征对应着病人不同的症。通过本发明所设计之系统检索最相似的典型舌象样本，并通过输出二维网格观察舌象的分布位置及变化情况，能够为中医诊断提供科学依据。

经对现有技术文献的检索发现，中国发明专利申请号02103795.7在分级聚类分析生成聚类树并调整的基础上，采用基于聚类树的支持向量机(CTSVM)方法进行舌体分类；200610150871.7利用KNN算法将舌苔和舌质颜色分为14种；200610150874.0在子图像进行预处理后进行特征提取，将提取的特征送入分类器进行分类。但是这些方法都是事先准备好类别和分类器，引入了人眼主观观察的因素，比如人为地将舌色分为红，淡红，淡白等类别，这些人为因素影响了分类结果的客观性；同时简单的分类结果不足以完全显示各舌象样本之间的区别与联系。

发明内容

本发明的目的在于：针对国内外研究的缺乏和现有技术的不足，提供一种新的、针对大规模舌象样本集的舌象聚类、可视化和快速检索方法，通过此方法实现基于内容的舌象可视化和快速检索。

本发明的主要实现步骤如下：

(1)分割舌体：通过采集设备得到舌象样本图片，对样本图片进行舌体分割，得到完整的舌象；

(2)特征提取：在HSV颜色空间提取舌象的各分量的直方图，得到描述舌象样本的特征向量，并根据统计结果精简特征向量的维数；

(3)训练自组织映射神经网络：用大量典型舌象样本的特征向量训练自组织映射神经网络，得到对应于典型舌象样本集的自组织映射网格，其中包括各个聚类中心的参考特征向量及可视化表示各聚类之间关系的二维映射网格；

(4)基于最小距离准则的相似性检索：对输入的舌象样本图片，根据步骤(2)提取其特征向量，在由步骤(3)得到的自组织映射网络中，按照最小距离准则，检索与其最相似的聚类中心，然后在所有属于该聚类的舌象样本中检索与其最相似的样本；

(5)显示最相似舌象样本图像；

(6)在自组织映射网络二维输出网格上高亮显示匹配聚类对应的神经元节点，并显示此聚类的全部样本。

本发明与现有技术相比的优点在于：

(1)本发明采用了自组织映射的方法来聚类舌象数据，利用自组织映射特有的保序性及聚类效果，完全由舌象自身的参数决定聚类和映射结果，同时，生成的二维网格式结构，能够反映出舌象数据之间的内在关系，可以实现高维舌象特征数据的有效聚类和可视化，具有很好的聚类客观性和良好的可视化效果。

(2)本发明通过对舌象数据进行聚类，并对聚类结果实现可视化，可以帮助中医专家了解舌象数据的内在结构，最大程度地消除随意性和不确定性，通过输出显示与查询舌象样本最相似的舌象样本及其同类样本群，可以为中医诊断提供样例支持，因此具有重要的应用前景和实用价值。

(3)此外，本发明采用了符合人类视觉特性的HSV色彩空间来进行颜色分析，通过将实验结果送中医专家比较判读表明，HSV颜色空间最接近于中医根据临床经验观察舌象的习惯。

(4)本发明基于统计分析，对原始特征向量进行了维数约减，这大大降低了自组织映射神经网络训练过程和检索过程的时间复杂度；而SOM网络特有的分层检索模式，也在很大程度上提高了海量数据库检索地效率。

附图说明

图1本发明方法的流程图；

图2为具有代表性的舌象HSV空间直方图分布，其中，(a)为H分量直方图分布，(b)为S分量直方图分布，(c)为V分量直方图分布；

图3为一幅典型的经过分割处理过程之后的舌象样本图片；

图4为本发明实施例程序的主界面，图片中显示了对一新输入的查询样本进行处理的部分结果。左边舌象为查询样本，右边舌象为检索出的最相似样本。最右边的网格图为SOM网络二维输出节点阵列，其中高亮显示(+号)节点代表与查询舌体样本最相似的聚类；

图5为本发明实施例程序的检索结果，其中(a)为用3500幅样本图片训练得到的SOM神经网络，每个节点代表一个聚类，圆圈所示为最佳匹配聚类；(b)为最佳匹配聚类的全部样本，以及最佳匹配样本(加边框标题标题标注的样本)。

具体实施方式

如图1所示，本发明主要由聚类、索引结构建立过程，和检索及可视化过程两个部分组成。在索引结构生成的过程中，用大量的典型舌象样本训练自组织映射神经网络，生成聚类并以索引结构的形式保存；在检索过程中，对新输入的舌象用同样的方法提取特征向量，跟索引结构中的参考特征向量匹配，得到最佳匹配所对应的聚类，再根据聚类中所有典型舌象样本特征向量匹配，最佳匹配即为检索结果。最后可视化显示检索结果。

本发明的具体实施过程如下：

第一步，分割舌体：通过采集设备得到舌象样本图片，对样本图片进行舌体分割，得到完整的舌象。舌体分割可以采用已发表的、有效的舌体自动分割方法来实现。例如，先采用极坐标边缘检测方法得到舌体的初始轮廓，然后采用动态轮廓模型(snake)算法实现舌体的精细分割。

第二步，特征提取：在HSV颜色空间提取舌象的各分量的直方图，得到描述舌象样本的特征向量，并根据统计结果精简特征向量的维数。

由于只需要关心舌象的颜色信息，因此直接对整幅图像的直方图特征进行分析。以直方图的每一个分量作为图片直接关联的维度变量。这样可以最大限度的保留原始样本的信息。本发明采用了符合人类视觉特性的HSV色彩特征来描述舌象样本。

通过对大量样本的统计观察，舌质部分的HSV直方图各个分量在0到255各个级数上并不是均匀分布的，而是只集中在某一子空间上，如图2所示，图2为具有代表性的舌象HSV(Hue-Saturation-Value，H代表色度(Hue)，S代表饱和度(Saturation)，V代表光照强度或称为亮度(Value))空间直方图分布，其中，(a)为H分量直方图分布，(b)为S分量直方图分布，(c)为V分量直方图分布。为了减少特征向量的维度，以提高步骤(3)中自组织映射网络训练的效率，对每个分量的直方图只取其中的有效部分。通过对多幅图的分析计算，本发明确定HSV三个分量各维度的范围为：h_hist(2:41，201:255)，s_hist(1:200)，v_hist(51:255)，统计过程如下：首先对舌象样本数据库中的3500幅图片做三个分量各个维度的统计平均，然后，为保证完备性，对范围做适当的调整，以确保所有样本的大多数分量均处于所挑选的维度中。本实例中所使用的维度范围包含了3500个样本的92％以上的像素。

第三步，训练自组织映射神经网络：用大量典型舌象样本的特征向量训练自组织映射神经网络，得到对应于典型舌象样本集的自组织映射网格，其中包括各个聚类中心的参考特征向量及可视化表示各聚类之间关系的二维映射网格。

在自组织映射神经网络中，每一个参考向量的有序序列W_j＝(W_1j，W_2j，...，W_nj)都可以看作是神经网络的一种内部表示，它是有序的输入样本序列X＝(X₁，X₂，...，X_n)的相应映像。

具体到本实例中，对自组织映射神经网络进行学习，其步骤如下：

(1)对输出层各个神经元所代表的参考向量赋予小的随机数，并做归一化处理，神经元参考向量的维数与输入样本特征向量的维数相同。

(2)从训练集中取出舌象样本特征向量，将特征向量归一化后作为自组织映射网络的输入。

(3)计算输入样本特征向量与各神经元参考向量的相似度，相似度最大的神经元将获胜。

(4)获胜神经元极其邻域内的神经元调整权值。

通过调整权值，获胜者及其邻域内的神经元和输入样本更加接近，因此使这些神经元以后对相似输入样本的响应得以增强。通过大量训练样本训练网络，最后使输出层各节点成为对特定样本类敏感的神经元，对应的向量成为各个输入样本类的参考特征向量。

第四步，基于最小距离准则的相似性检索：对输入的舌象样本图片，根据第二步骤提取其特征向量，在由第三步骤得到的自组织映射网络中，按照最小距离准则，检索与其最相似的聚类中心，然后在所有属于该聚类的舌象样本中检索与其最相似的样本。

对于两个特征向量X_i，X_j，X_i＝{X_1i，X_2i，...，X_ni}，X_j＝{X_1j，X_2j，...，X_nj}，i、j、n为自然数。

采用二者之间的欧式距离来度量这两个特征向量之间的相似度：

D＝|X_i-X_j|

对于新输入的要求检索的新舌象样本(查询样本)，在所有输出神经元所对应的参考特征向量中检索距离D最小的一个参考特征向量，其所对应的神经元即代表新输入样本所归属的聚类；在属于该聚类的所有样本中检索使距离D最小的一个样本，即得到舌象样本数据库中与查询样本最相似的舌象样本。由于相比于整个数据库中样本的数量，聚类(输出网格神经元)的数量以及每个聚类中样本的数量是很小的，因此这种由粗到精的检索策略可以显著降低检索的计算代价，实现对大规模舌象样本数据库的快速检索。

第五步，显示最相似舌象样本图像；

显示检索得到的最相似样本舌象的图片及其相关的信息，如图4所示，图4中显示了对一新输入的查询样本进行处理的部分结果。左边舌象为查询样本，右边舌象为检索出的最相似样本。最右边的网格图为SOM网络二维输出节点阵列，其中高亮(+号)显示节点代表与查询舌体样本最相似的聚类；

第六步，在自组织映射二维输出网格上高亮显示匹配聚类对应的神经元节点，并显示此聚类的全部样本，如图5所示。

在Windows环境下实现了利用本发明进行舌象检索的原型具体程序。程序界面见图4。图4中显示了对一新输入的查询样本进行处理的部分结果。左边舌象为查询样本，右边舌象为系统检索出的最相似样本。最右边的网格图为SOM网络二维输出节点阵列，其中高亮显示(+号)节点代表与查询舌体样本最相似的聚类。输入的查询样本图片统一为640*480像素的JPEG或者BMP格式。图3即为一幅典型的经过分割处理后的舌象查询样本图片。

在本实例中，输入训练样本为3500幅舌体图片，选取SOM网络的网格尺寸21*14；网格类型为正六边形；邻域方式为高斯邻域。

对于检索过程，本实施例中，使用了经典的欧式距离，即

对于两个特征向量X_i，Y_i，X_i＝{X_1i，X_2i，...，X_ni}，X_j＝{X_1j，X_2j，...，X_nj}，计算二者之间的距离

$\mathrm{Dis}=\underset{m=1}{\overset{n}{\mathrm{\Σ}}}{(X_{\mathrm{mi}}-X_{\mathrm{mj}})}^2$

由于经过维数精简，这种方法可以大大加快检索过程。

图5显示了本实施例对某一给定查询样本的检索结果，(a)为由3500幅典型样本训练得到的SOM神经网络输出网格，每个节点代表一个聚类；(b)为(a)中圆圈所示聚类的全部样本，及检索结果(加边框标题为最佳匹配样本)。

从具体实施例中可以看到，在CPU主频1.86GHz，内存512MB的电脑中，对存储3500幅样本图片的数据库进行检索，所需时间在0.8S以内，完全满足了实际使用的要求。

Claims (2)

1.基于自组织映射神经网络的舌象自动聚类、可视化和检索方法，其特征在于步骤如下：

(1)分割舌体：通过采集设备得到舌象样本图片，对样本图片进行舌体分割，得到完整的舌象；

(2)特征提取：在HSV颜色空间提取舌象的各分量的直方图，得到描述舌象样本的特征向量，并根据统计结果精简特征向量的维数；所述统计过程如下：首先对舌象样本数据库中的3500幅图片做三个分量各个维度的统计平均，然后对维度范围做适当的调整，以确保所有样本的大多数分量均处于所挑选的维度中，使用的维度范围包含了3500个样本的92％以上的像素；

(3)训练自组织映射神经网络：用大量典型舌象样本的特征向量训练自组织映射神经网络，得到对应于典型舌象样本集的自组织映射神经网络，其中包括各个聚类中心的参考特征向量及可视化表示各聚类之间关系的二维映射网络；

(4)基于最小距离准则的相似性检索：对输入的舌象样本图片，根据步骤(1)分割舌体，根据步骤(2)提取其特征向量，在由步骤(3)得到的自组织映射神经网络中，按照最小距离准则，检索与其最相似的聚类中心，然后在所有属于该聚类的舌象样本中检索与其最相似的样本；

(5)显示最相似舌象样本图像；

(6)在自组织映射神经网络中的二维映射网络上高亮显示匹配聚类对应的神经元节点，并显示此聚类的全部样本；

所述的步骤(3)的实现过程如下：

a.对自组织映射神经网络输出层各个神经元所代表的参考向量赋予小的随机数，并做归一化处理，神经元参考向量的维数与输入样本特征向量的维数相同；

b.从典型舌象样本集中取出舌象样本特征向量，将特征向量归一化后作为自组织映射神经网络的输入；

c.计算输入样本特征向量与各神经元参考向量的相似度，相似度最大的神经元获胜；

d.获胜神经元及其邻域内的神经元调整权值。

2.根据权利要求1所述的基于自组织映射神经网络的舌象自动聚类、可视化和检索方法，其特征在于：所述的步骤(2)的实现过程如下：在HSV颜色空间直接提取舌象各个分量的直方图，并将各分量的维度限制为：H：(2:41，201:255)，S：(1:200)，V(51:255)。

Images