CN110664373B

CN110664373B - 一种基于零样本学习的舌苔体质识别方法

Info

Publication number: CN110664373B
Application number: CN201910928674.0A
Authority: CN
Inventors: 文贵华; 马佳炯; 梁浩赞
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2019-09-28
Filing date: 2019-09-28
Publication date: 2022-04-22
Anticipated expiration: 2039-09-28
Also published as: CN110664373A

Abstract

本发明公开了一种基于零样本学习的舌苔体质识别方法，包括以下步骤：S1、输入舌头图像；S2、采用深度神经网络提取舌头图像的图像特征；S3、将舌头图像的图像特征转化为图像语义向量；S4、计算图像语义向量与每个体质类型对应的属性语义向量之间的相似度；S5、输出最大相似度对应的体质类型作为所述输入舌头图像的体质类型。本发明将中医理论与端对端的深度学习结合起来，提高了舌头体质识别的准确率，能够让计算机程序稳定迅速地识别出舌头图像所对应的体质类型。

Description

一种基于零样本学习的舌苔体质识别方法

技术领域

本发明涉及计算机视觉领域中的图像分类、目标检测和舌头体质识别，具体涉及一种基于零样本学习的舌苔体质识别方法。

背景技术

自古发展以来，中医一直是研究人体生理学、病理学和以预防和诊断疾病为目的的综合学问，是中华民族长久发展以来的智慧结晶，有着其独立的理论体系、良好的治疗效果、特别的诊断方法，是世界医学史上重要的财富。在中医史上，体质被形容为在人生命过程中的先天和后天天赋上形成的形态，是融合了人体生理功能和心理状态的一种综合表现。体质具有人体的特定特征，使其能够适应自然和社会环境，表现为个体在结构、功能、新陈代谢和对外部刺激的反应上的差异，这些个体上的差异与疾病息息相关，甚至会决定某些疾病的趋势，因此体质分类的研究对临床医学治疗具有十分重要的意义。

早在《内经》中就有关于人体体质现象的论述，它将体质按照阴阳、五行、形态、机能与心理等角度对体质进行分类。然而，在过去的2000年里，人类体质的普遍标准和广泛的医学应用一直没有实现。直到上世纪70年代，以《黄帝内经》为理论基础，王琦教授等人提出了中医体质理论的基本概念，并出版了《中医体质学》，至此，中医体质理论才正式成立。王琦教授在结合了临床观察和古今现代多种关于体质的研究，明确提出将中医体质分为平和质、气虚质、阳虚质、阴虚质、痰湿质、湿热质、瘀血质、气郁质、特禀质九种基本体质类型。

中医临床诊断证明，通过观察舌头的特征，能够很好地分辨人体的体质类型。

体质识别需要有丰富的中医专家经验，对经验不足的年轻医生和非专业人士，准确识别很困难，因此急需智能工具的辅助。目前智能工具研究存在以下问题：(1)很少有使用舌头图像进行自动体质识别的研究；(2)目前利用舌头图像识别体质的研究中，没有同时考虑中医体质知识和深度学习的体质识别方法。

发明内容

为了克服现存技术的不足之处，本发明的目的旨在提供一种基于零样本学习的舌苔体质识别方法。

本发明的目的之一至少通过如下技术方案之一实现。

一种基于零样本学习的舌苔体质识别方法，包括以下步骤：

S1、输入舌头图像；

S2、采用深度神经网络提取舌头图像的图像特征；

S3、将舌头图像的图像特征转化为图像语义向量；

S4、计算图像语义向量与每个体质类型对应的属性语义向量之间的相似度；

S5、输出最大相似度对应的体质类型作为所述输入舌头图像的体质类型。

进一步地，所述的步骤S1具体包括：

S11、使用照相设备采集人的舌头图像：

S12、采用已有的目标检测网络Faster R-CNN对采集的舌头图像进行舌头检测，裁剪出图像中更加精确地舌头图像区域，大小为224*224；

S13、对裁剪的舌头图像进行图像颜色归一化处理，即所有图像的每个颜色通道的各个像素减去该通道的像素平均值然后除以该通道的像素标准差；

S14、将归一化的舌头图像作为输入舌头图像。

进一步地，所述步骤S2中，采用深度神经网络提取舌头图像的图像特征中时，所述深度神经网络采用残差网络模型ResNet作为模型的主干网络，搭建若干层的残差网络ResNet，依次包括若干卷积层、平均池化层和全连接层。

进一步地，所述步骤S3中，图像语义向量的维度与步骤S4中的属性语义向量的维度相同。

进一步地，所述步骤S3中，将舌头图像的图像特征转化为图像语义向量时，直接在提取图像特征的深度神经网络结构上再增加一个全连接层，以提取图像语义向量

计算公式如下：

其中，W是增加的全连接层的参数，其中x代表输入深度神经网络的舌头图像，θ(·)代表深度神经网络进行的特征映射函数，T代表向量的转置操作。

进一步地，所述步骤S4中，每个体质类型的属性语义向量是根据《中医体质分类与判定标准》将体质类型Y划为九种，包括平和质、气虚质、阳虚质、阴虚质、痰湿质、湿热质、瘀血质、气郁质、特禀质，将每种体质类型由15维的属性语义向量表示，该体质有的属性取1，否则取0，将所述属性语义向量预先保存在数据库中，计算相似度时依次取出。

进一步地，所述步骤S5中，输出最大相似度对应的体质类型作为所述输入舌头图像的体质类型时，对输入的舌头图像x，计算出它与每个体质类别的相似度之后，取最大相似度对应的体质类别作为输入舌头图像的体质类别：

其中，y^*代表输入舌头图像的体质类型，argmax代表取向量的最大值的下标的操作，s^y代表输入舌苔图像的语义向量与每个体质类型y的属性语义向量之间的相似度，x代表输入舌苔图像，y代表每一种体质类型，Y代表9种体质类型。

采用上述技术方案后，本发明相对于现有技术至少具有如下的优点及效果：

[1]提供了深度学习与中医领域知识结合的思路，提高了舌头体质识别的准确率。

[2]能够让计算机程序稳定迅速地识别出舌头图像所对应的体质类型，减少重复性工作。

附图说明

图1本发明实施例的基于零样本学习的舌苔体质识别方法的流程图。

图2本发明实施例的深度神经网络模型结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一个实施例，而不是全部的实施例。

实施例：

如图1所示，本发明提出一种基于零样本学习的舌苔体质识别方法，包括步骤：

一种基于零样本学习的舌苔体质识别方法，包括以下步骤：

S1、输入舌头图像；

S2、采用深度神经网络提取舌头图像的图像特征；

S3、将舌头图像的图像特征转化为图像语义向量；

具体而言，所述步骤S1具体包括：

S11、使用照相设备采集人的舌头图像：

S14、将归一化的舌头图像作为输入舌头图像。

具体而言，所述步骤S2中，采用深度神经网络提取舌头图像的图像特征时，所述深度神经网络采用残差网络模型ResNet，它是2015年提出的深度卷积神经网络，获得过ILSVRC图像识别竞的赛冠军。本发明实施案例使用ResNet模型作为模型的主干网络，搭建18层的残差网络ResNet18，结构图如图2所显示，θ(x)表示图片经过神经网络提取出的d维特征向量，位于图中的倒数第二层(FC,512),表示全连接层，输出的特征向量为512，即d＝512。本发明搭建的深度神经网络按顺序排列每一层的参数配置如表1所示。

表1.深度神经网络结构参数表

其中“3x3 conv,64”表示的是卷积层，它的卷积核大小是3x3，卷积核个数是64，具体参数如上表所示；其中“3x3 conv,128,/2”表示的是卷积层，它的卷积核大小是3x3，卷积核个数是64，同时步长为2，具体参数如上表所示；其中“3x3 conv,128”表示的是卷积层，它的卷积核大小是3x3，卷积核个数是64，具体参数如上表所示；其中“3x3 conv,256,/2”表示的是卷积层，它的卷积核大小是3x3，卷积核个数是64，同时步长为2，具体参数如上表所示；其中“3x3 conv,256”表示的是卷积层，它的卷积核大小是3x3，卷积核个数是64，具体参数如上表所示；其中“3x3 conv,512,/2”表示的是卷积层，它的卷积核大小是3x3，卷积核个数是64，同时步长为2，具体参数如上表所示；其中“3x3 conv,512”表示的是卷积层，它的卷积核大小是3x3，卷积核个数是64，具体参数如上表所示；其中“Avg pool”表示的是平均池化层，具体的参数如上表所示；其中“FC，512”表示的是全连接层，输出的维度是512；其中“FC，15”表示的是全连接层，输出的维度是15。

具体而言，步骤S3中，将舌头图像的图像特征转化为图像语义向量时，直接在提取图像特征的深度神经网络结构上再增加一个全连接层，见图2的最后一层，以提取图像语义向量

维度k＝15，计算公式如下：

其中W是增加的全连接层的参数。

具体而言，步骤S4中，计算图像语义向量与每个体质类型的属性语义向量之间的相似度时，先根据《中医体质分类与判定标准》将体质划为九种，即

Y＝{分别是：平和质、气虚质、阳虚质、阴虚质、痰湿质、湿热质、瘀血质、气郁质、特禀质}。

根据中医理论，每种体质由15维的属性语义向量表示，该体质有的属性取1，否则取0，这些属性语义向量预先保存在数据库中。例如

φ(气虚)＝(10 0 1 0 0 0 0 0 0 0 0 0 0 0)表示气虚体质的属性语义向量。

φ(阴虚)＝(01 0 0 0 1 0 0 0 0 0 10 1 0)表示阴虚体质的属性语义向量。

根据输入舌头图像的图像语义向量，本实施案例计算其与每个体质类型y的属性语义向量之间的相似度s^y，方法采用两者的内积:

具体而言，步骤S5中，输出最大相似度对应的体质类型作为所述输入舌头图像的体质类型时，对输入的舌头图像x，计算出它与每个体质类别的相似度之后，按下式取最大相似度对应的体质类别为输入舌头图像的体质类别：

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.一种基于零样本学习的舌苔体质识别方法，其特征在于，包括以下步骤：

S1、输入舌头图像；

S2、采用深度神经网络提取舌头图像的图像特征；

S3、将舌头图像的图像特征转化为图像语义向量；

S5、输出最大相似度对应的体质类型作为所述输入舌头图像的体质类型；

步骤S3中，将舌头图像的图像特征转化为图像语义向量时，直接在提取图像特征的深度神经网络结构上再增加一个全连接层，以提取图像语义向量

计算公式如下：

2.根据权利要求1所述的一种基于零样本学习的舌苔体质识别方法，其特征在于，所述的步骤S1具体包括：

S11、使用照相设备采集人的舌头图像：

S12、采用已有的目标检测网络Faster R-CNN对采集的舌头图像进行舌头检测，裁剪出图像中更加精确地舌头图像区域；

S14、将归一化的舌头图像作为输入舌头图像。

3.根据权利要求1所述的一种基于零样本学习的舌苔体质识别方法，其特征在于，所述步骤S2中，采用深度神经网络提取舌头图像的图像特征中时，所述深度神经网络采用残差网络模型ResNet作为模型的主干网络，搭建若干层的残差网络ResNet，依次包括若干卷积层、平均池化层和全连接层。

4.根据权利要求1所述的一种基于零样本学习的舌苔体质识别方法，其特征在于，所述步骤S3中，图像语义向量的维度与步骤S4中的属性语义向量的维度相同。

5.根据权利要求1所述的一种基于零样本学习的舌苔体质识别方法，其特征在于，所述步骤S4中，每个体质类型的属性语义向量是根据《中医体质分类与判定标准》将体质类型Y划为九种，包括平和质、气虚质、阳虚质、阴虚质、痰湿质、湿热质、瘀血质、气郁质、特禀质，将每种体质类型由15维的属性语义向量表示，该体质有的属性取1，否则取0，将所述属性语义向量预先保存在数据库中，计算相似度时依次取出。

6.根据权利要求1所述的一种基于零样本学习的舌苔体质识别方法，其特征在于，所述步骤S5中，输出最大相似度对应的体质类型作为所述输入舌头图像的体质类型时，对输入的舌头图像x，计算出它与每个体质类别的相似度之后，取最大相似度对应的体质类别作为输入舌头图像的体质类别：

其中，y*代表输入舌头图像的体质类型，argmax代表取向量的最大值的下标的操作，s^y代表输入舌苔图像的语义向量与每个体质类型y的属性语义向量之间的相似度，x代表输入舌苔图像，y代表每一种体质类型，Y代表9种体质类型。