CN106683087B

CN106683087B - 一种基于深度神经网络的舌苔体质辨别方法

Info

Publication number: CN106683087B
Application number: CN201611216146.5A
Authority: CN
Inventors: 文贵华; 曾海彬
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2016-12-26
Filing date: 2016-12-26
Publication date: 2021-03-30
Anticipated expiration: 2036-12-26
Also published as: CN106683087A

Abstract

本发明公开了一种基于深度神经网络的舌苔体质辨别方法，包括如下步骤：计算机采集人体的舌苔图片作为数据集的输入，将采集的舌苔图片进行预处理，所述预处理包括对颜色空间的归一化处理，以及对舌苔图片大小比例的调整；根据舌苔图片确定舌苔的位置；采用深度神经网络算法对舌苔进行特征提取，所述深度神经网络算法包括卷积神经网络算法和递归神经网络算法；根据提取的舌苔特征，采用体质辨别算法得到相应的中医体质类别，所述体质辨别算法采用softmax分类算法。本发明方法用于辅助中医快速诊断，减少中医在舌诊中的重复性工作，且能够准确性高、识别速度快、性能稳定地对舌苔进行分析。

Description

一种基于深度神经网络的舌苔体质辨别方法

技术领域

本发明涉及计算机应用在中医体质识别的技术领域，尤其涉及一种基于深度神经网络的舌苔体质辨别方法。

背景技术

在中国，中医对于预防疾病和调理体质的研究已经有千百年的历史。“体质”一词，最早见于我国晋代《晋书·卷三十七列传第七》一书，用以描述人的形体状态，实际所指的是身体，并非我们现在所谓的体质。现今多数《中医基础理论》教科书对体质的定义基本一致：体质是人体在先天禀赋和后天获得基础上表现出来的功能包括心理气质)和形态结构上相对稳定的固有特性。《中医体质分类与判定标准》定义：中医体质是指在人体生命过程中，在先天禀赋和后天获得的基础上所形成的形态结构、生理功能和心理状态多方面综合的，相对稳定的固有特质；是人类在生长、发育过程中所形成的与自然、社会环境相适应的人体个性特征。

体质是一种客观存在的生命现象，是个体生命过程中,在先天遗传和后天获得的基础上，表现出的形态结构、生理机能以及心理状态等方面综合的、相对稳定的特质。这种特质决定着人体对某种致病因子的易感性及其病变类型的倾向性。体质的差异现象是先天因素与多种后天因素共同作用的结果。因此人类体质间的共性是相对的，而差异性则是绝对的。研究体质的分类，就必须对复杂的体质现象进行广泛的比较分析，然后甄别分类，把握个体的体质差异规律及体质特征。在继承了古代及现代体质分型方法的临床应用性原则以及现代学者以阴、阳、气、血、津液的盛、衰、虚、实变化为主的分类方法，并结合临床实践,提出了体质9分法，即平和质、气虚质、阳虚质、阴虚质、痰湿质、湿热质、血瘀质、气郁质、特禀质。

体质分类是中医体质学研究的基础与核心内容，是从复杂的体质现象中提炼出有关规律，最终建成体质分类系统。传统的中医体质分类主要依靠每一种体质的主要症状表现进行判别。例如，平和质主要症状表现为面色、肤色润泽、头发稠密有光泽，目光有神，鼻色明润，嗅觉通利，唇色红润，不易疲劳，精力充沛，耐受寒热，睡眠良好，胃纳佳，二便正常，舌色淡红，苔薄白，脉和缓有力；气虚质的主要表现为平素语音低弱，气短懒言，容易疲乏，精神不振，易出汗，舌淡红，舌边有齿痕，脉弱等。

其中，舌诊是中医望诊中独特而又重要的内容，也是中医诊断的重要依据，是通过观察舌头的色泽、形态的变化来辅助诊断及甄别的一种重要方法。舌为心之苗，脾之外候，苔由胃气所生。脏腑通过经脉与舌相联系，手少阴之别系舌本，足少阴之脉挟舌本，足厥阴之脉络舌本，足太阴之脉连舌本，散舌下，故脏腑病变，可在舌质和舌苔上反映出来，舌诊主要诊察舌质和舌苔的形态、色泽、润燥等，以此判断疾病的性质、病势的浅深、气血的盛衰、津液的盈亏及脏腑的虚实等。

图像识别一直以来都是计算机领域中一个重要且热门的研究方向。随着深度学习在图像识别中的巨大发展，已经成为图像识别中一个热潮。深度学习通过建立类似于人脑的分层模型结构，对输入数据逐级提取从底层到高层的特征，从而能很好地建立从底层信号到高层语义的映射关系。深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。

在传统的中医诊断当中，舌诊是一个非常重要的内容，有一定的重复性。而深度学习主要基于大数据，利用大数据来学习特征，充分发掘海量数据中蕴藏的丰富信息。

发明内容

为了克服现有技术存在的缺点与不足，本发明提供一种基于深度神经网络的舌苔体质辨别方法，用于辅助中医快速诊断，减少中医在舌诊中的重复性工作，且能够准确性高、识别速度快、性能稳定地对舌苔进行分析。

为解决上述技术问题，本发明提供如下技术方案：一种基于深度神经网络的舌苔体质辨别方法，包括如下步骤：

S1、计算机采集人体的舌苔图片作为数据集的输入；

S2、根据舌苔图片确定舌苔的位置；

S3、对舌苔进行特征提取；

S4、根据提取的舌苔特征，采用体质辨别算法得到相应的中医体质类别。

进一步地，所述步骤S1中，将采集的舌苔图片进行预处理，所述预处理包括对颜色空间的归一化处理，以及对舌苔图片大小比例的调整。

进一步地，所述步骤S2具体为：

S21、采用Faster R-CNN目标检测方法初步检测舌苔的位置；

S22、对初步检测到的舌苔位置，采用卷积神经网络算法进一步精确舌苔的位置。

进一步地，所述步骤S3采用深度神经网络算法对舌苔图片进行舌苔特征提取。

进一步地，所述深度神经网络算法包括卷积神经网络算法和递归神经网络算法。

进一步地，所述体质辨别算法采用softmax分类器算法或者SVM分类器算法。

采用上述技术方案后，本发明至少具有如下有益效果：

1、本发明方法采用深度神经网络，通过深度神经网络对图片强大的表达能力，能够对舌苔图片细节进行分类、甄别，从而提取出不同体质类别舌苔的特征；

2、本发明方法采用softmax分类算法，是一种监督学习方法，适合用于多分类问题，得到显著的分类效果；

3、本发明方法与传统中医体质识别的判别时间相比，降低了诊断时间，提高了体质识别的诊断效率而且准确性高；

4、本发明方法基于大量的舌苔图片数据集，将机器学习和图像识别技术应用到传统的中医体质识别领域，不仅能通过电脑进行体质判定，而且可以通过移动终端进行体质判别，十分方便，准确性高，节省时间；

5、本发明将机器学习与传统的中医体质相结合，在大数据的基础上进行识别，解决了传统中医体质识别需要预约中医医生进行判别的问题。该方法具有一定的市场价值和推广价值。

附图说明

图1是本发明一种基于深度神经网络的舌苔体质辨别方法的步骤流程图；

图2是本发明一种基于深度神经网络的舌苔体质辨别方法中深度神经网络算法模型的示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本申请作进一步详细说明。

如图1所示，本发明的一种基于深度神经网络的舌苔体质辨别方法，步骤包括：

S1、计算机采集人体的舌苔图片作为数据集的输入，将采集的舌苔图片进行预处理，所述预处理包括对颜色空间的归一化处理，以及对舌苔图片大小比例的调整；

S2、根据舌苔图片确定舌苔的位置：

S21、采用Faster R-CNN目标检测方法初步检测舌苔的位置；

S22、对初步检测到的舌苔位置，采用卷积神经网络算法进一步精确舌苔的位置；

S3、采用深度神经网络算法对舌苔进行特征提取，深度神经网络算法包括卷积神经网络算法和递归神经网络算法；

S4、根据提取的舌苔特征，采用体质辨别算法得到相应的中医体质类别；体质辨别算法采用softmax分类器算法或者SVM分类器算法；本实验中，主要用的是softmax分类器算法。

其中，舌苔图片的数据集是在省级中医院人工采集并通过相关专家标注的大量的图像数据集，而且根据神经网络算法需要将数据集分为训练集、验证集和测试集。根据本发明的流程，需要对舌苔图像进行对应的检测、切割和调整。

步骤S22中，采用卷积神经网络算法进一步精确舌苔的位置，具体为：

根据与准确区域的x偏移、y偏移以及放缩比例s，对初步检测到的舌苔位置的区域分成45个类别，具体的设置为：

s_n∈{0.83,0.91,1.0,1.10,1.21}

x_n∈{-0.17,0,0.17}

y_n∈{-0.17,0,0.17}

然后采用VGG模型，对初步定位区域分类，从而进一步精确舌头区域的位置。

如图2所示，深度神经网络包括卷积神经网络和递归神经网络，其作用是通过舌苔图像作为输入，经过深度神经网络模型，得到能够有效表征舌苔信息的特征。

如图2所示，其Image是指经过S1、S2步骤处理的舌苔图像，其维度为96*96*3。

如图2所示，其CNN1为一种卷积神经网络，CNN1的详细设计如下表所示：

层名称	参数	输出大小
			conv1	7*7,16,stride 2,padding 3	48*48
conv2	3*3,32,stride 2,padding 1	24*24
			conv3	3*3,64,stride 2,padding 1	12*12
conv4	3*3,128,stride 2,padding 1	6*6
			avg pool		3*3
fc		1000

如图2所示，其CNN2为一种卷积神经网络，CNN2的详细设计如下表所示：

如图2所示，其CNN3为一种卷积神经网络，CNN3的详细设计如下表所示：

层名称	参数	输出大小
			conv1	7*7,16,stride 2,padding 3	48*48
conv2	3*3,32,stride 2,padding 1	24*24
			conv3	3*3,32,stride 1,padding 1	24*24
conv4	3*3,32,stride 1,padding 1	24*24
			conv5	3*3,64,stride 2,padding 1	12*12
conv6	3*3,64,stride 1,padding 1	12*12
			conv7	3*3,64,stride 1,padding 1	12*12
conv8	3*3,128,stride 2,padding 1	6*6
			conv9	3*3,128,stride 1,padding 1	6*6
conv10	3*3,128,stride 1,padding 1	6*6
			avg pool		3*3
fc		1000

如图2所示，LSTM指的是长短是记忆(Long short term memories)，是递归神经网络中一种常用的递归神经网络结构。

该深度神经网络分为训练阶段和测试阶段，其中训练阶段步骤是：

[1]将原始的舌苔图像进行人脸检测，并截取舌苔部分，调整舌苔图片大小为96*96，该图像记为I

[1]将图像I分别传入卷积神经网络CNN1、CNN2、CNN3，

[2]CNN1、CNN2、CNN3的结果经过一层全连接层(FC)，调整三个卷积神经网络结果的维度为1000，记为F1，F2，F3

[3]将F1,F2,F3作为递归神经网络LSTM的输入，融合三个卷积神经网络的结果

[4]将LSTM最后一个的输出为该深度神经网络的最后输出，即为图像I的舌苔特征FEATURE

[5]将该特征传入softmax分类器中，计算其损失函数及梯度G

[6]通过反向传播，调整递归神经网络LSTM以及卷积神经网络CNN1、CNN2、CNN3的参数

[7]重复[1]至[6]的过程，直到经过足够多的迭代或者损失函数的值非常小

上述的深度神经网络其测试阶段步骤是：

[1]将原始的舌苔图像进行人脸检测，并截取舌苔部分，调整舌苔图片大小为96*96，该图像记为I；

[2]载入训练后的深度神经网络模型；

[3]将图像I输入到该深度神经网络模型中，分别经过CNN1、CNN2、CNN3以及LSTM，得到舌苔特征FEATURE；

[4]将舌苔特征FEATURE传入softmax分类器中，得到对应的体质类别。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解的是，在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种等效的变化、修改、替换和变型，本发明的范围由所附权利要求及其等同范围限定。

Claims

1.一种基于深度神经网络的舌苔体质辨别方法，其特征在于，包括如下步骤：

S2、根据舌苔图片确定舌苔的位置，具体为：

S21、采用Faster R-CNN目标检测方法初步检测舌苔的位置；

根据与准确区域的x偏移、y偏移以及放缩比例s，对初步检测到的舌苔位置的区域分成45个类别，然后采用VGG模型，对初步定位区域分类，从而进一步精确舌头区域的位置；

S3、采用深度神经网络算法对舌苔进行特征提取，深度神经网络算法包括第一层的卷积神经网络算法和第二层的递归神经网络算法，卷积神经网络包括并行的三个卷积神经网络，分别为CNN1、CNN2和CNN3，递归神经网络采用LSTM，其中CNN1具有四个卷积层、一个平均池化层和一个全连接层，CNN2具有七个卷积层、一个平均池化层和一个全连接层，CNN3具有十个卷积层、一个平均池化层和一个全连接层；

S4、根据提取的舌苔特征，采用体质辨别算法得到相应的中医体质类别；其中，所述体质辨别算法采用softmax分类器算法；

步骤S3中，深度神经网络的训练阶段步骤是：

[1] 将原始的舌苔图像进行人脸检测，并截取舌苔部分，调整舌苔图片大小为96*96，该图像记为I；

[2] 将图像I分别传入卷积神经网络CNN1、CNN2、CNN3；

[3] 卷积神经网络CNN1、CNN2、CNN3的结果经过一层全连接层，调整三个卷积神经网络结果的维度为1000，记为F1、F2、F3；

[4]将F1、F2、F3作为递归神经网络LSTM的输入，融合三个卷积神经网络的结果；

[5]将递归神经网络LSTM最后一个的输出为深度神经网络的最后输出，即为图像I的舌苔特征FEATURE；

[6] 将舌苔特征FEATURE传入softmax分类器中，计算其损失函数及梯度G；

[7] 通过反向传播，调整递归神经网络LSTM以及卷积神经网络CNN1、CNN2、CNN3的参数；

[8] 重复[1]至[7]的过程，直到经过足够多的迭代或者损失函数的值非常小；

利用训练后的深度神经网络模型对舌苔进行特征提取，步骤如下：

[2] 载入训练后的深度神经网络模型；

[3] 将图像I输入到该深度神经网络模型中，分别经过卷积神经网络CNN1、CNN2、CNN3以及递归神经网络LSTM，得到舌苔特征FEATURE。