CN106295139A - 一种基于深度卷积神经网络的舌体自诊健康云服务系统 - Google Patents

Abstract

本发明公开一种基于深度卷积神经网络的舌体自诊健康云服务系统，主要包括一个用于深度学习和训练识别的卷积神经网络、一种基于深度卷积神经网络的舌体分割方法、一种用于舌象分类的深度卷积神经网络和一种用于根据所识别的舌象类型进行自诊健康云服务平台。本发明能有效提高基于移动互联网“望舌诊病”的自动化和智能化水平、能让更多人群了解并参与自助健康检测、评估、指导，进而提高民众的健康意识，增加自我健康管理能力。

Description

一种基于深度卷积神经网络的舌体自诊健康云服务系统

技术领域

本发明涉及中医舌诊、移动互联网、数据库管理、计算机视觉、图像处理、模式识别、深度神经网络和深度学习等技术在自助式健康保健领域的应用，尤其涉及一种基于深度卷积神经网络的舌体自诊健康云服务系统。

背景技术

自助健康的目的是让更多民众了解并参与自助健康检测、评估、指导，进而提高民众的健康意识，增加自我管理能力。自助健康检测设备最好是要简单易行，民众容易掌握的设备，要充分鼓励和提高自我管理的参与能力。

自助健康检测不是一般意义上的健康检测，是肩负着具有一定公共卫生职能的自助健康检测，是卫生部门根据控制慢性病，解决人们的不良生活方式提出来的，是将传统的医生管理病人模式转变成医患结合、病人自助和主动参与的新的管理模式。在内容上就不仅仅是“体检”这样简单了，还应包括慢病干预，疾病指导。

民众随时通过手机等通信设备查阅这个平台相关的健康知识、危险因素评估、健康自诊和获得“健康处方”，形成了一套以“医患合作、人机互动、健康自理”为核心内容的行为干预服务模式。随着移动互联网技术的发展和智能手机的普及，基于移动互联网的自助健康云服务行业将在这个背景下诞生与发展。

作为基于移动互联网的自助健康云服务，首先是具有健康精准营销的意义。将其作为一种医疗增值服务，看重的是背后的用户数据；用户可以用自己的手机拍摄舌苔图像，发送给自助健康云服务平台，健康云服务平台根据用户不同的健康评估结果，推送不同产品，包括各种的快速诊所服务；然后，具有健康服务入口的意义。而对于药房或者药品生产厂商，舌体自诊自测和健康评估结果可以成为药品和后续服务的入口；最后，是让用户通过健康云服务平台实现各种互动。正因为自测用户大都是有健康风险，如保险公司将自测作为和用户互动的前端，保险公司根据用户的测评情况，为其推荐健康管理等服务；最重要的是通过健康云服务平台可以建立医患合作的信任基础，即实现一种自助式的智能导医，推动移动医疗产业的发展和应用。

这种自助式的智能导医的理论基础来源于中医医疗诊断舌诊，它是将舌与疾病密切地联系起来，并透过舌的不同外观来判断体内的疾病情况，这是中医学独一无二的一种诊断方法。中医将正常的舌象描述为“淡红舌，薄白苔”。在疾病状态下，舌体和舌苔都会发生不同的变化，通过对舌体和舌苔的观察，可以判断疾病的部位和性质，为疾病的诊断提供依据。舌体是口腔内最灵活的，人体的很多疾病也可以通过舌体表现出来，它就像身体健康状况的晴雨表。

中医医疗诊断舌诊是一个极其复杂的过程，且决策所需要的许多信息都是不确定的，如症状和疾病之间存在着一定的模糊性。某一症状的出现对诊断疾病所起的作用不同且模糊，患者的状态很难准确定义等，医学知识的爆炸又使这些问题进一步复杂化，医生要面对大量的模糊的、不确定信息，而又要从这些信息中得出最后的结论和治疗方案，使其显得无能为力。而随着计算机和现代信息技术的发展，图像分析技术广泛的应用于舌诊，为解决这一困境取得了一定的成果。

以中医临床辨证论治学说为指导，运用计算机技术，图像处理技术，结合中医专家的临床经验，进行舌象分析，实现舌诊的定量化、客观化，论文“中医舌诊客观化识别与图像技术的探析”根据所采集的数据提出了基于免疫聚类的RBF神经网络机等算法在舌诊中的研究及应用，该模型能有效地学习输入样本数据，对于高维数、大数据能快速地聚类。因此，具有收敛速度快、识别能力较强、泛化能力强等特点。论文“AdaBoost算法在中医舌诊图像分区识别中的研究”提出了一种舌象的分区训练识别方法，并采用一种新的基于集成学习的AdaBoost算法，构建出一套完整的、符合中医诊断体系规范的舌象分类识别算法。通过实验验证，该方法对中医舌诊分类识别是有效的。论文“基于支撑向量机的中医舌色苔色识别算法研究”针对舌色苔色的分类与识别，提出了一种DAG和决策树结合的方法，在训练SVM分类器的过程中，根据舌象样本中部分类别线性可分，而另一部分类别线性不可分的特点，采用了不同的核函数及其参数。实验结果表明，提出的算法在识别率和识别速度上都有一定提高。论文“基于图像分析技术的开放式舌象研究平台的构建”将图像分析、网络、人工智能、数据挖掘等先进的技术融合，建立开放式的舌象分析平台，使舌诊的客观化研究工作随着视觉技术、人工智能及模式识别等技术的发展而深入，促进图像处理与分析技术通过在中医领域的应用得到新的认识。

中国发明专利申请号为201010117453.4公开了一种图像特征识别、去噪的方法，包括：得到标准舌图后，转为灰度图。复制图像，按照图像宽高大小将两张图像划分为小区域，并且使两张图像任何一个小区域不会和原图小区域重合；利用OSTU滤波方法对两幅图像的每个小区域单独滤波；根据两张图像的滤波结果按照一定规则，合并为一张图像；对滤波后的图像去噪，排除干扰。

中国发明专利申请号为201110291360.8公开了一种人体数字舌图像颜色特征色域空间的提取方法：利用边界分割提取舌体部分的图像，采用JSEG边界分割法按照图像的颜色一致性将图像分割成小块，提取其在CIE xy空间中的边界像素，将所有的像素合并在一起，得到该张图像的色域空间范围。本发明的人体舌图像色域空间，作为计算机中医舌诊的基础性研究，能够对舌色特征提取、舌苔质分离、颜色校正色块的提取等起到指导性作用。

中国发明专利申请号201410478168.3公开了一种基于中医诊断信息的健康状态监测系统，包含移动终端，且移动终端包含：信息采集装置，用于采集多个诊断信息，所述多个诊断信息至少包含面诊信息、舌诊信息及问诊信息；信息处理器，利用所述多个诊断信息计算诊断结果；显示器，用于显示诊断记录，所述诊断记录包含所述多个诊断信息与所述诊断结果。从而，用户能够方便快捷地通过中医诊断方法随时了解自己的健康状况。

中国发明专利申请号201510611407.2公开了一种属于基于手机平台下的人体健康状态的舌苔诊断装置，包括内窥镜和嘴套，以及内置于手机中的数据库模块、图像预处理模块、舌色分析模块、舌形分析模块、舌纹理分析模块、结果输出模块。发明利用手机拍照技术，根据传统中医舌诊方法，通过舌苔拍照和苔图分析，对人们身体健康状态进行诊断，并通过附加内窥镜实现舌苔的显微成像，经过计算分析后获得高精确度的诊断结果，普及健康自我诊断，推动移动医疗产业的发展和应用。

在舌图像中包含了非常丰富的信息，但已有的研究方法中大多数是对舌色方面的特征分析，只有少部分对舌苔的分析，在舌形、质地、纹理、动态及舌下络脉等方面的研究更少，未能对舌象的全面的综合的客观化进行识别；最后，在数据挖掘方面仅局泥于舌象方面的探索，未能遵循中医系统辩证的思想，导致舌诊信息的医理解释与临床应用不能统一。这些问题主要是由于前深度学习的计算机视觉技术中的舌苔特征描述、提取和识别方面都还依赖于人工方式进行，而这些人工方式的舌苔特征描述和提取并不能很好的反映一位资深中医的“望舌诊病”的实际状态。

现有的中医“望舌诊病”技术，主要观察内容是舌质和舌苔等方面的变化，包括舌质的颜色、舌苔的颜色、舌苔的厚度、湿度(润燥)、质地(腐腻)以及舌形、舌态，舌底脉络等，这些统称作舌象特征：

(1)舌质的颜色。正常舌色为淡红舌。淡自舌多见于气虚证、血虚证和实寒证。舌色比正常舌红者，谓之红舌；舌色深红者，谓之绛舌。二者皆主热证。舌质色紫者，谓之紫舌，由气血壅滞，运行不畅所致。舌如水牛之色者，谓之青舌，由阴郁不宣，血运迟滞所致。

(2)舌苔的有无。舌有苔，为胃气尚存。舌苔全部剥脱，舌面光洁如镜，由胃之气阴虚竭，胃毫无生发之气所致。舌苔部分剥脱，多为脾胃虚损。

(3)舌苔的颜色。白苔，常见于表证、寒证，亦可见于某些里热证。黄苔，主里证、热证，由邪热熏蒸所致。灰黑苔主热盛与寒极。

(4)舌苔的厚度。正常为薄白均匀，在疾病过程中见之，提示病轻邪浅，多用于外感表证或内伤轻证。厚苔主邪盛入里，或内有痰饮、湿浊、食积。

(5)舌苔的湿度。舌苔干湿适中，谓之润苔，见于正常人或虽病而滓液未伤者。舌苔水分过多，谓之滑苔，主寒、主湿。舌苔望之干枯，扪之无津，谓之燥苔，多由体内津液大伤或气化障碍所致。

(6)舌苔的质地。苔质颗粒疏松，粗大而厚，似豆腐渣堆积舌面，揩之易去，谓之腐苔。苔质颗粒细腻致密，紧贴舌面，刮之难去，谓之腻苔。

(7)舌形。即舌体的形状，如胖瘦、老嫩、裂纹等特征。

(8)舌态。即舌体的动态，包括软、硬、缩、颤等。

(9)舌底脉络。它所反映疾病的征象常常早于舌质的变化。舌底脉络的异常能真实地反映脏腑气血的寒热虚实。虚者舌底脉络淡红而细短；瘀者青紫而粗(怒张)；寒者脉络淡紫紧束；热者紫红而怒张。

(10)舌神。主要表现在舌质的荣枯和灵动两个方面。舌质红活荣润，有生气，有光彩，活动灵便自如，谓之有神之舌。舌质干枯涩滞，无生气，无光彩，活动不灵，谓之无神之舌。

以上各个舌象特征都从不同的侧面反映了人体生理与病理的变化。中医在观察舌象时，往往是对多个特征进行综合处理和分析然后得到相应的结论。舌象特征如颜色、纹理、舌形等，传统的计算机视觉需要人工来描述和提取各种舌象特征，而舌象特征提取的好坏直接影响到后续的诊断建模与系统分析的成败。传统中医舌诊中的典型特征通常采用文字描述形式，导致医生宝贵的临床经验和舌象资料难以被精确的记录和保存，并且部分舌象特征是难以描述的。

综上所述，舌象是人体健康的一面镜子，它含有人体全息的概念。中医透过它可以了解人体脏腑的虚实，辨别病邪的深浅，病情的寒热，判断病势的轻重变化等。因此，如何通过基于深度学习让机器学习和获得与资深中医的“望舌诊病”相同的能力，通过计算机视觉技术来对舌象特征进行自动提取及分析，从而自动地向访问健康云服务平台的用户提供“寒热虚实”等的辨证结果，从而了解自身身体状况。

深度学习是一种目的在于建立、模拟人脑进行分析学习的深度网络，它模仿人脑的机制来解释图像数据。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。它显著的优点是可抽象出高级特征，构建出复杂高性能的模型。鉴于深度学习这些优点是非常适合于舌象特征的描述和提取的。

卷积神经网络，即CNN，是深度学习算法的一种，是专门处理图像领域中的模式识别，同时也是目前图像模式识别中成果最惊人的算法。卷积神经网络算法的好处在于训练模型的时候不需要使用任何人工特征，算法可以自动探索图像所隐含的特征，可以作为一种十分理想的舌苔自动识别和诊断技术。

中国发明专利申请号201510612871.3公开了一种基于卷积神经元网络的中医舌诊模型的确定方法及系统，包括：获取患者舌部图像信息作为训练集及交叉验证集；调整卷积神经元网络每层神经元的个数，利用所述训练集对调整后的多个不同卷积神经元网络分别进行训练，确定多个不同结构的卷积神经元网络的参数；将所述交叉验证集分别作为所述多个不同结构卷积神经元网络的输入，将舌诊结果准确率最高的卷积神经元网络作为最优舌诊模型，最后，获取患者舌部图像信息作为测试集，将所述测试集作为最优舌诊模型的输入，得到测试集中各测试样本的舌诊结果。该申请有几个方面的问题，其一是基本上还是论述了卷积神经网络应用于中医舌诊的概念，并无实际实施的具体措施及方案；其二是概念方面的错误，卷积神经网络最后输出的是舌诊类型并非舌诊模型；其三是患者舌部图像是如何获得和分割的没有阐述清楚。

随着社会各方面的进步，人们生活水平的提高，大家也越来越关注越发突出的亚健康问题和自身保健问题，愿意为个人健康投资，更希望能简单地从日常舌象的观察从而了解身体的健康状态；另一方面，信息科学技术的飞速发展，移动互联网、深度学习、计算机视觉等技术的成熟与发展，基于深度卷积神经网络的舌体自诊自助健康云服务平台的建设具有十分重要的社会意义和应用价值。

综上所述，采用基于深度学习的卷积神经网络进行“望舌诊病”，目前尚存在着如下若干个棘手的问题：1)如何从复杂的背景中准确分割出舌体的整体图像；2)如何尽可能采用极少的标签舌体图像数据来准确获得舌体的各种特征数据；3)如何构建一个高度自动化的舌体自诊自助健康云服务平台；4)如何通过深度学习和网络训练来自动获取舌象特征数据；5)如何使得用户方便地利用移动互联网和智能手机实现自身保健；6)如何为用户提供更为精准、更为方便、更为廉价、更为有效的健康云服务。

发明内容

为了克服已有的基于机器视觉的“望舌诊病”技术中的自动化和智能化水平低、缺乏深度学习、难以描述舌象特征数据、难以用最简单的方式实现舌体自诊和自保健、难以为用户提供更为方便廉价精准专业的健康云服务等不足，本发明提供一种基于深度卷积神经网络的舌体自诊健康云服务系统，能有效提高基于移动互联网“望舌诊病”的自动化和智能化水平、能让更多民众了解并参与自助健康检测、评估、指导，进而提高民众的健康意识，增加自我健康管理能力。

要实现上述发明内容，必须要解决几个核心问题：(1)设计一种基于深度卷积神经网络的舌体分割方法；(2)研发一种深度学习方法，实现基于深度卷积神经网络对舌象特征的自动描述和特征提取；(3)设计一种用于舌象分类的深度卷积神经网络方法，形成一种实用的舌苔自动识别和诊断技术；(4)实现一个真正意义上的基于深度卷积神经网络的舌体自诊健康云服务平台的框架。

本发明解决其技术问题所采用的技术方案是：

一种基于深度卷积神经网络的舌体自诊健康云服务系统，主要包括一个用于深度学习和训练识别的卷积神经网络、一种基于全卷积神经网络的舌体分割方法、一种用于舌象分类的深度卷积神经网络和一种用于根据所识别的舌象类型进行舌体自诊健康云服务平台；

所述的卷积神经网络，共分为八层，由卷积层、激活层和下采样层交替构成的深度结构；输入图像在网络中进行层层映射，得到各层对于图像不同的表示形式，实现图像的深度表示；

所述的舌体分割方法，采用全卷积神经网络，就是将所述的卷积神经网络改为全卷积神经网络，即FCN，在所述的卷积神经网络的全连接层改为反卷积层，这样输入一幅图像后直接在输出端得到密集预测，也就是每个像素所属的类，从而得到一个端对端的方法来实现舌体对象图像语义分割；

所述的深度卷积神经网络是在所述的卷积神经网络的第八层的全连接层后连接了一个Softmax分类器，用于对舌象进行分类识别；

所述的舌体自诊健康云服务平台，主要包括了接收和读取用户发送过来的舌体图像的图像读取模块，以用户访问平台的装备的用户名或号码为文件夹名的文件夹生成模块，基于全卷积神经网络的舌体分割方法的舌体分割模块，基于深度卷积神经网络对分割后的舌体图像进行分类的舌象分类模块，存放有以舌象类别为索引的病因分析表、辨证和治疗表、生活指导表的数据库，根据舌象分类结果访问数据库中的病因分析表、辨证和治疗表、生活指导表中该舌象类型的病因分析、辨证和治疗、生活指导三组信息的数据库访问模块，根据所得到舌体分割图像、舌象分类结果、病因分析、辨证和治疗、生活指导生成健康咨询文件的舌体自诊健康文件生成模块，用于将用户舌体自诊健康文件反馈给访问用户的文件自动传输模块，用于将舌体自诊健康文件提供给用户到所述的自诊健康云服务平台的网站上下载的下载服务模块。

所述的卷积神经网络，共分为八层，卷积神经网络是由卷积层、激活层和下采样层交替构成的深度结构；

第一层：输入图像数据为224×224像素图像，分为RGB颜色空间上的3个分量，填充值是3，输出数据227×227×3；然后经过96个过滤器、窗口大小为11×11、步长为4的卷积层1处理，得到[(227-11)/4]+1＝55个特征，以后的层就分为两组处理，输出特征为55×55×96，然后进行ReLU激活层1处理，输出特征为55×55×96，经过池化层1进行最大池化3×3的核，步长为2，得到[(55-3+1)/2]+1＝27个特征，总的特征数为27×27×96，然后进行正则化处理，用于求和的通道数为5，最后得到27×27×96数据；

第二层：输入数据27×27×96，填充值是2，256个过滤器，窗口大小为5×5，得到[(27-5+2×2)/1]+1＝27个特征，输出特征为27×27×256，然后进行ReLU激活层2处理，输出特征为27×27×256，经过池化层2进行最大池化3×3的核，步长为2，得到[(27-3)/2]+1＝13个特征，总的特征数为13×13×256，然后进行正则化处理，用于求和的通道数为5，最后得到13×13×256数据；

第三层：输入数据13×13×256，填充值是1，384个过滤器，窗口大小为3×3，得到[(13-3+1×2)/1]+1＝13个特征，输出特征为13×13×384，然后进行ReLU激活层3处理，最后得到13×13×384数据；

第四层：输入数据13×13×384，填充值是1，384个过滤器，窗口大小为3×3，得到[(13-3+2×1)/1]+1＝13个特征，输出特征为13×13×384，然后进行ReLU激活层4处理，最后得到13×13×384数据；

第五层：输入数据13×13×384，填充值是1，256个过滤器，窗口大小为3×3，得到[(13-3+2×1)/1]+1＝13个特征，输出特征为13×13×256，然后进行ReLU激活层5处理，输出特征为13×13×256，经过池化层5进行最大池化3×3的核，步长为2，得到[(13-3)/2]+1＝6个特征，总的特征数为6×6×256，最后得到6×6×256数据；

第六层：输入数据6×6×256，全连接，得到4096个特征，然后进行ReLU激活层6处理，输出特征为4096，经过dropout6处理，最后得到4096数据；

第七层：输入数据4096，全连接，得到4096个特征，然后进行ReLU激活层7处理，输出特征为4096，经过dropout7处理，最后得到4096数据；

第八层：输入数据4096，全连接，得到1000个特征数据。

所述的卷积神经网络，其学习过程是一个前向传播过程，上一层的输出即为当前层的输入，并通过激活函数逐层传递，因此整个网络的实际计算输出用公式(1)表示，

O_p＝F_n(…(F₂(F₁(XW₁)W₂)…)W_n) (1)

式中，X表示原始输入，F_l表示第l层的激活函数，W_l表示第l层的映射权值矩阵，O_p表示整个网络的实际计算输出；

当前层的输出用(2)表示，

X^l＝f^l(W^lX^l-1+b^l) (2)

式中，l代表网络层数，X^l表示当前层的输出，X^l-1表示上一层的输出，即当前层的输入，W^l代表已经训练好的、当前网络层的映射权值矩阵，b^l为当前网络的加性偏执，f^l是当前网络层的激活函数；采用的激活函数f^l为纠正线性单元，即ReLU，用公式(3)表示，

$f^l=max({\left(W^l\right)}^T{X}^l,0)=\left\{\begin{array}{cc}{\left(W^l\right)}^T{X}^l& {\left(W^l\right)}^T{X}^l>0\\ 0& {\left(W^l\right)}^T{X}^l\≤0\end{array}\right.---\left(3\right)$

式中，l代表网络层数，W^l代表已经训练好的、当前网络层的映射权值矩阵，f^l是当前网络层的激活函数；其作用是如果卷积计算结果小于0，则让其为0；否则保持其值不变。

所述的卷积神经网络，对所述的卷积神经网络训练是一个反向传播过程，通过误差函数反向传播，利用随机梯度下降法对卷积参数和偏置进行优化调整，直到网络收敛或者达到最大迭代次数停止；

反向传播需要通过对带有标签的训练样本进行比较，采用平方误差代价函数，对于c个类别，N个训练样本的多类别进行识别，网络最终输出误差函数用公式(4)来计算误差，

$E^N=\frac{1}{2}\underset{n=1}{\overset{N}{\Σ}}\underset{k=1}{\overset{c}{\Σ}}{(t_k^n-y_k^n)}^2---\left(4\right)$

式中，E^N为平方误差代价函数，为第n个样本对应标签的第k维，为第n个样本对应网络预测的第k个输出；

对误差函数进行反向传播时，采用传统的BP算法类似的计算方法，如公式(5)所示，

$\begin{array}{c}{\mathrm{\δ}}^l={\left(W^{l+1}\right)}^T{\mathrm{\δ}}^{l+1}\×f^{\′}\left(u^l\right)\\ u^l=W^l{x}^{l-1}+b^l\end{array}---\left(5\right)$

式中，δ^l代表当前层的误差函数，δ^l+1代表上一层的误差函数，W^l+1为上一层映射矩阵，f'表示激活函数的反函数，即上采样，u^l表示未通过激活函数的上一层的输出，x^l-1表示下一层的输入，W^l为本层映射权值矩阵。

所述的舌体分割方法，采用全卷积神经网络，将所述的卷积神经网络改为全卷积神经网络，即FCN，在所述的卷积神经网络的全连接层改为反卷积层，这样输入一幅图像后直接在输出端得到密集预测，也就是每个像素所属的类，从而得到一个端对端的方法来实现舌体对象图像语义分割；

在FCN中，将舌体对象进行定位和分割算法分为从大到小再从小到大的两个过程；从大到小是由所述的卷积神经网络中的下采样层作用所致，而从小到大需要由上采样层来实现；在上采样过程中，这里采用了分阶段增大的方法，并且在上采样的每个阶段，使用下采样对应层的特征进行辅助；所谓辅助就是采用跳层上采样融合的方法，在浅层处减小上采样的步长，得到的细层和高层得到的粗层做融合，然后再上采样得到输出；这种跳层上采样融合的方法兼顾了局部和全局信息，实现比较精准的舌体分割。

所述的深度卷积神经网络是在所述的卷积神经网络的第八层的全连接层后连接了一个Softmax分类器，用于对舌象进行分类识别；

所述的Softmax分类器，将深度神经网络中的学习结果作为softmax分类器的输入数据；Softmax回归是面向多类分类问题的Logistic回归，是Logistic回归的一般形式，适用于类别之间互斥的情况；假设对于训练集{(x⁽¹⁾,y⁽¹⁾,…,x^(m),y^(m))}，有y⁽¹⁾∈{1,2,…,k}，对于给定的样本输入x，输出一个k维的向量来表示每一种分类结果出现的概率为p(y＝i|x)，假设函数h(x)如下：

$h_{\mathrm{\θ}}\left(x^{\left(i\right)}\right)=\left[\begin{array}{c}p(y^{\left(i\right)}=1|x^{\left(i\right)},\mathrm{\θ})\\ p(y^{\left(i\right)}=1|x^{\left(i\right)},\mathrm{\θ})\\ \·\\ \·\\ \·\\ p(y^{\left(i\right)}=k|x^{\left(i\right)},\mathrm{\θ})\end{array}\right]=\frac{1}{{\mathrm{\Σ}}_{j=1}^k{e}^{{\mathrm{\θ}}_j^T{x}^{\left(i\right)}}}\left[\begin{array}{c}{e}^{{\mathrm{\θ}}_1^T{x}^{\left(i\right)}}\\ e^{{\mathrm{\θ}}_2^T{x}^{\left(i\right)}}\\ \·\\ \·\\ \·\\ e^{{\mathrm{\θ}}_k^T{x}^{\left(i\right)}}\end{array}\right]---\left(11\right)$

θ₁,θ₂,…θ_k是模型的参数，并且所有的概率和为1；加入规则项后的代价函数为：

$J\left(\mathrm{\θ}\right)=-\frac{1}{m}\[\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{k}{\mathrm{\Σ}}}1\{y^{\left(i\right)}=j\}\log \frac{e^{{\mathrm{\θ}}_j^T{x}^{\left(i\right)}}}{{\mathrm{\Σ}}_{l=1}^k{e}^{{\mathrm{\θ}}_l^T{x}^{\left(i\right)}}}\]+\frac{\mathrm{\λ}}{2}\underset{l=1}{\overset{k}{\mathrm{\Σ}}}\underset{j=0}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\θ}}_{ij}^2---\left(12\right)$

代价函数对第j个类别的第l个参数的偏导数为：

${\▿}_{{\mathrm{\θ}}_j}J\left(\mathrm{\θ}\right)=-\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\[x^{\left(i\right)}\left(1\right\{y^{\left(i\right)}=j\}-p(y^{\left(i\right)}=j|x^{\left(i\right)};\mathrm{\θ}\left)\right)\}\]+{\mathrm{\λ\θ}}_j---\left(13\right)$

式中，j为类别数，m为训练集的类别数，p(y⁽ⁱ⁾＝j|x⁽ⁱ⁾；θ))}为x分为类别j的概率，λ为规则项参数，也称为权重衰减项，该规则项参数主要是防止过拟合的；

最后，通过最小化J(θ)，实现softmax的分类回归，将分类回归结果保存到特征库中；

在舌象识别分类时，将提取到的输入数据特征与学习训练得到舌象特征库数据进行比对，计算出每一个分类结果的概率，然后取概率最高的一个结果进行输出。

所述的舌体自诊健康云服务平台，其健康云服务方式是用户用手机拍摄自己的舌体图像，然后通过微信或彩信或者QQ将自己拍摄的舌体图像发送给健康云服务平台，健康云服务平台自动读取从微信或彩信或者QQ发送过来的图像，同时生成一个微信或彩信或者QQ号的文件夹，将原始图像保存在该文件夹内；另一方面，健康云服务平台首先用基于全卷积神经网络的舌体分割方法对舌体图像进行分割，得到分割后的舌体图像；然后用舌象分类的深度卷积神经网络对分割后的舌体图像进行分类，得到舌象类型；最后根据该舌象类型访问健康云服务平台数据库中的病因分析表、辨证和治疗表、生活指导表，得到反映该舌象类型的病因分析、辨证和治疗、生活指导三组信息，将舌象图像和类型以及病因分析、辨证和治疗、生活指导三组信息自动生成一个健康咨询文件，健康咨询文件名是以用户传输给健康云服务平台微信号、或者手机号、或者QQ号来命名；最后将健康咨询文件以用户的微信号、或者手机号、或者QQ号反馈给访问用户并保存在服务器中，或者通知用户来访问健康云服务平台获取用户的自助健康检测结果报告。

所述的舌象类型是按照中医舌诊的方法进行诊断分类，首先将舌象类型分为两大类，即舌体和舌苔；然后将舌体再分为5大类，即舌神、舌色、舌形、舌态和舌下络脉；将舌苔再分为苔色和舌质2大类；

舌神又分为荣舌和枯舌；舌色又分为淡红舌、淡白舌、红绛舌、青紫舌；

舌形又分为老嫩、胖瘦、点剌和裂纹；

舌态又分为痿软、强硬、歪斜、颤动、吐弄和短缩；

苔色又分为白苔、黄苔和灰苔黑苔；

舌质又分为厚薄、润燥、腻腐和剥落；

最后对多个特征进行综合处理和分析后得到相应的诊断结论。

所述的深度卷积神经网络中的舌象数据集，包括了各种舌体和舌苔、苔色和舌质的舌体图像数据，在这些舌体图像中既包括了舌象的某个特征，又包括了舌象的二个和二个以上特征的组合；

采用数据增强变换方法来增加输入数据的量；具体采用如下几种数据增强变换方法：①旋转|反射变换：随机旋转图像一定角度，改变图像内容的朝向；②翻转变换：沿着水平或者垂直方向翻转图像；③缩放变换：按照一定的比例放大或者缩小图像；④平移变换：在图像平面上对图像以一定方式进行平移；⑤可以采用随机或人为定义的方式指定平移范围和平移步长，沿水平或竖直方向进行平移，改变图像内容的位置；⑥尺度变换：对图像按照指定的尺度因子，进行放大或缩小；或者参照SIFT特征提取思想，利用指定的尺度因子对图像滤波构造尺度空间；改变图像内容的大小或模糊程度；⑦对比度变换：在图像的HSV颜色空间，改变饱和度S和V亮度分量，保持色调H不变；对每个像素的S和V分量进行指数运算，指数因子在0.25到4之间，增加光照变化；⑧噪声扰动：对图像的每个像素RGB进行随机扰动；常用的噪声模式是椒盐噪声和高斯噪声；⑨颜色变换：在训练集像素值的RGB颜色空间进行PCA，得到RGB空间的3个主方向向量，3个特征值，p1,p2,p3,λ1,λ2,λ3；每幅图像的每个像素Ixy＝[IRxy,IGxy,IBxy]^T进行加上如下的变化：[p1,p2,p3][α1λ1,α2λ2,α3λ3]^T。

自助健康是以下述流程来实现的，用手机或者其他移动设备拍摄获取舌体图像时，用户先用饮用水清洗口腔以避免食物和药物沾染舌苔，然后打开智能手机上的相机软件，并开启手机上的照明；然后将舌体自然伸出口外，舌体放松，舌面平展，舌尖略向下，充分暴露舌体；拍摄包含有舌体图像；最后将舌体图像通过手机上的微信或者彩信或者QQ发送给健康云服务平台；

健康云服务平台根据用户发送过来的舌体图像，进行分割、分类处理，然后根据舌象自动进行病因分析、辨证和提出治疗建议，并给出生活指导，接着自动生成自助健康检测结果报告，最后将健康检测结果报告信息反馈给用户。

本发明的有益效果主要表现在：

1)提供了一种基于深度卷积神经网络的舌体自诊健康云服务系统；

2)提供了一种全自动端对端的全卷积神经网络的舌体分割方法；

3)实现了一种实用的舌苔自动识别和诊断技术；

4)“望舌诊病”是中华医学的宝库，利用移动互联网、云计算、大数据挖掘、深度学习和深度卷积神经网络提升中医诊疗手段的全面信息化、客观化、标准化和全民自诊化。

附图说明

图1为一种基于深度卷积神经网络的舌体自诊健康云服务系统处理框图；

图2为一种基于深度卷积神经网络的舌体识别训练框图；

图3为深度卷积神经网络图；

图4-11为深度卷积神经网络中第一层-第八层处理的流程图。

图12为基于全卷积神经网络的对象分割框图；

图13为深度卷积神经网络的各层处理结果图；

图14为全卷积神经网络FCN-32s各层处理结果图；

图15为全卷积神经网络FCN-16s各层处理结果图；

图16为全卷积神经网络FCN-8s各层处理结果图；

图17为一种基于深度卷积神经网络的舌象分类框图；

图18为舌色分类图集；

图19为正常舌象和舌象分类总览图；

图20为舌色和舌神分类总览图；

图21、22、23和24分别为舌形、舌态、苔色和苔质的分类总览图。

具体实施方式

实施例1

参照图1～24，本发明解决其技术问题所采用的技术方案是：

基于深度卷积神经网络的舌体自诊健康云服务系统，包括一个用于深度学习和训练识别的卷积神经网络、一种基于全卷积神经网络的舌体分割方法、一种用于舌象分类的深度卷积神经网络和一种用于根据所识别的舌象类型进行自诊健康云服务平台；舌体自诊健康云服务平台的框图如图1所示；

舌体自诊健康云服务系统的使用及准备工作：用手机或者其他移动设备拍摄获取舌体图像时，用户先用饮用水清洗口腔以避免食物和药物沾染舌苔，然后打开智能手机上的相机软件，并开启手机上的照明；然后将舌体自然伸出口外，舌体放松，舌面平展，舌尖略向下，充分暴露舌体；拍摄包含有舌体图像；最后将舌体图像通过手机上的微信或者彩信或者QQ发送给健康云服务平台；

(1)关于设计一个用于深度学习和训练识别的卷积神经网络

卷积神经网本质上是一种深度映射的网络结构，如图2所示，输入信号通过在网络中进行层层映射，不断进行分解和表示，最终形成关于舌象的多层表达，其最主要特点就是不必再人为的选取和构建舌象特征，而是通过机器自动学习，得到关于舌象的深层表示。

第一层：如图4所示，输入图像数据为224×224像素图像，分为RGB颜色空间上的3个分量，填充值是3，输出数据227×227×3；然后经过96个过滤器、窗口大小为11×11、步长为4的卷积层1处理，得到[(227-11)/4]+1＝55个特征，以后的层就分为两组处理，输出特征为55×55×96，然后进行ReLU激活层1处理，输出特征为55×55×96，经过池化层1进行最大池化3×3的核，步长为2，得到[(55-3+1)/2]+1＝27个特征，总的特征数为27×27×96，然后进行正则化处理，用于求和的通道数为5，最后得到27×27×96数据；

第二层：如图5所示，输入数据27×27×96，填充值是2，256个过滤器，窗口大小为5×5，得到[(27-5+2×2)/1]+1＝27个特征，输出特征为27×27×256，然后进行ReLU激活层2处理，输出特征为27×27×256，经过池化层2进行最大池化3×3的核，步长为2，得到[(27-3)/2]+1＝13个特征，总的特征数为13×13×256，然后进行正则化处理，用于求和的通道数为5，最后得到13×13×256数据；

第三层：如图6所示，输入数据13×13×256，填充值是1，384个过滤器，窗口大小为3×3，得到[(13-3+1×2)/1]+1＝13个特征，输出特征为13×13×384，然后进行ReLU激活层3处理，最后得到13×13×384数据；

第四层：如图7所示，输入数据13×13×384，填充值是1，384个过滤器，窗口大小为3×3，得到[(13-3+2×1)/1]+1＝13个特征，输出特征为13×13×384，然后进行ReLU激活层4处理，最后得到13×13×384数据；

第五层：如图8所示，输入数据13×13×384，填充值是1，256个过滤器，窗口大小为3×3，得到[(13-3+2×1)/1]+1＝13个特征，输出特征为13×13×256，然后进行ReLU激活层5处理，输出特征为13×13×256，经过池化层5进行最大池化3×3的核，步长为2，得到[(13-3)/2]+1＝6个特征，总的特征数为6×6×256，最后得到6×6×256数据；

第六层：如图9所示，输入数据6×6×256，全连接，得到4096个特征，然后进行ReLU激活层6处理，输出特征为4096，经过dropout6处理，最后得到4096数据；

第七层：如图10所示，输入数据4096，全连接，得到4096个特征，然后进行ReLU激活层7处理，输出特征为4096，经过dropout7处理，最后得到4096数据；

第八层：如图11所示，输入数据4096，全连接，得到1000个特征数据；

卷积神经网络的预测过程是一个前向传播过程，上一层的输出即为当前层的输入，并通过激活函数逐层传递，因此整个网络的实际计算输出用公式(1)表示，

O_p＝F_n(…(F₂(F₁(XW₁)W₂)…)W_n) (1)

式中，X表示原始输入，F_l表示第l层的激活函数，W_l表示第l层的映射权值矩阵，O_p表示整个网络的实际计算输出；

当前层的输出用(2)表示，

X^l＝f^l(W^lX^l-1+b^l) (2)

式中，l代表网络层数，X^l表示当前层的输出，X^l-1表示上一层的输出，即当前层的输入，W^l代表已经训练好的、当前网络层的映射权值矩阵，b^l为当前网络的加性偏执，f^l是当前网络层的激活函数；采用的激活函数f^l为纠正线性单元，即ReLU，用公式(3)表示，

$f^l=max({\left(W^l\right)}^T{X}^l,0)=\left\{\begin{array}{cc}{\left(W^l\right)}^T{X}^l& {\left(W^l\right)}^T{X}^l>0\\ 0& {\left(W^l\right)}^T{X}^l\≤0\end{array}\right.---\left(3\right)$

式中，l代表网络层数，W^l代表已经训练好的、当前网络层的映射权值矩阵，f^l是当前网络层的激活函数；其作用是如果卷积计算结果小于0，则让其为0；否则保持其值不变。

卷积神经网络训练是一个反向传播过程，与BP算法类似，通过误差函数反向传播，利用随机梯度下降法对卷积参数和偏置进行优化调整，直到网络收敛或者达到最大迭代次数停止。

该神经网络训练是一个反向传播过程，通过误差函数反向传播，利用随机梯度下降法对卷积参数和偏置进行优化调整，直到网络收敛或者达到最大迭代次数停止；

反向传播需要通过对带有标签的训练样本进行比较，采用平方误差代价函数，对于c个类别，N个训练样本的多类别进行识别，网络最终输出误差函数用公式(4)来计算误差，

$E^N=\frac{1}{2}\underset{n=1}{\overset{N}{\Σ}}\underset{k=1}{\overset{c}{\Σ}}{(t_k^n-y_k^n)}^2---\left(4\right)$

式中，E^N为平方误差代价函数，为第n个样本对应标签的第k维，为第n个样本对应网络预测的第k个输出；

对误差函数进行反向传播时，采用传统的BP算法类似的计算方法，如公式(5)所示，

$\begin{array}{c}{\mathrm{\δ}}^l={\left(W^{l+1}\right)}^T{\mathrm{\δ}}^{l+1}\×f^{\′}\left(u^l\right)\\ u^l=W^l{x}^{l-1}+b^l\end{array}---\left(5\right)$

式中，δ^l代表当前层的误差函数，δ^l+1代表上一层的误差函数，W^l+1为上一层映射矩阵，f'表示激活函数的反函数，即上采样，u^l表示未通过激活函数的上一层的输出，x^l-1表示下一层的输入，W^l为本层映射权值矩阵。

卷积神经网络学习和训练的算法思想是：1)首先逐层构建单层神经元，这样每次都是训练一个单层网络；2)当所有层训练完后，使用wake-sleep算法进行调优。

深度学习训练过程具体如下：

STEP21：使用自下而上的非监督学习，即从底层开始，一层一层的往顶层训练，学习舌体图像特征：先用无标签舌体图像数据训练第一层，训练时先学习第一层的参数，由于模型容量的限制以及稀疏性约束，使得得到的模型能够学习到数据本身的结构，从而得到比输入更具有表示能力的特征；在学习得到第l-1层后，将l-1层的输出作为第l层的输入，训练第l层，由此分别得到各层的参数；具体计算如公式(2)、(3)所示；

STEP22：自顶向下的监督学习，即通过带标签的舌体图像数据去训练，误差自顶向下传输，对网络进行微调：具体计算如公式(4)、(5)所示；

基于STEP21得到的各层参数进一步微调整个多层模型的参数，这一步是一个有监督训练过程；STEP21类似神经网络的随机初始化初值过程，由于深度学习的STEP21不是随机初始化，而是通过学习输入数据的结构得到的，因而这个初值更接近全局最优，从而能够取得更好的效果。

这里带标签的舌体图像数据是“望舌诊病”的关键，需要由资深中医对收集到的各种舌象图片进行甄别，专家对所拍摄的舌象图片的舌质颜色、舌苔厚薄、多寡、舌尖红及瘀点进行辨识和分类；具体做法是由三位超过20年临床诊断经验的资深中医负责，由他们确定每一个样本的类别标签；这种通过对专家的辨舌经验及意见进行分析综合，获得较为科学和准确的舌象特征的分类依据及诊断结果；为深度卷积神经网络提供训练和学习的舌象图像数据；

本发明将经专家辨舌后的舌象图片做上标签，然后将这些带有标签的舌象图片让深度卷积神经网络学习，自动提取出带有标签的舌象特征；舌象特征包括了舌质的颜色、舌苔的颜色、舌苔的厚度、湿度(润燥)、质地(腐腻)以及舌形、舌态，舌底脉络；

实验研究表明，舌体数据集越大、舌象样本类别越丰富舌象分类越精准；因此做好有标签的舌体图像数据集是一个关键；

舌体数据集的准备；一类数据通过中医专业书刊获取带有标签的舌体图像数据，这类数据直接可以作为舌体数据集中的数据，如北京中医学院出版的《中医舌诊》、陈泽霖等编写的《舌诊研究》和宋天彬编写的《中医舌苔图谱》；另一类是我们通过爬虫软件收集了各类舌体的图像数据，由于带了关键字进行搜索得到的基本上是带有标签的舌体图像数据，我们将其作为训练数据；另一类数据是我们通过与资深中医的合作，对收集到舌体图像数据样本标上类别标签；

在上述舌体图像数据基础上，通过以下数据增强变换技术中的一种或者组合来增加输入数据的量；①旋转|反射变换：随机旋转图像一定角度，改变图像内容的朝向；②翻转变换：沿着水平或者垂直方向翻转图像；③缩放变换：按照一定的比例放大或者缩小图像；④平移变换：在图像平面上对图像以一定方式进行平移；⑤可以采用随机或人为定义的方式指定平移范围和平移步长，沿水平或竖直方向进行平移，改变图像内容的位置；⑥尺度变换：对图像按照指定的尺度因子，进行放大或缩小；或者参照SIFT特征提取思想，利用指定的尺度因子对图像滤波构造尺度空间；改变图像内容的大小或模糊程度；⑦对比度变换：在图像的HSV颜色空间，改变饱和度S和V亮度分量，保持色调H不变；对每个像素的S和V分量进行指数运算，指数因子在0.25到4之间，增加光照变化；⑧噪声扰动：对图像的每个像素RGB进行随机扰动；常用的噪声模式是椒盐噪声和高斯噪声；⑨颜色变换：在训练集像素值的RGB颜色空间进行PCA，得到RGB空间的3个主方向向量，3个特征值，p1,p2,p3,λ1,λ2,λ3；每幅图像的每个像素Ixy＝[IRxy,IGxy,IBxy]^T进行加上如下的变化：[p1,p2,p3][α1λ1,α2λ2,α3λ3]^T；

在舌体图像数据集中，舌质的颜色、舌苔的颜色、舌苔的厚度、湿度、质地以及舌形、舌态，舌底脉络都应该反映在样本标签舌体图像中；其中舌质的颜色类别包括舌质淡、舌质淡红、舌质红、舌质暗红、舌质绛红、舌质暗紫、薄白苔、白苔、白厚苔、薄黄苔、黄苔、黄厚苔、灰苔、褐苔、黑苔等；舌苔的厚薄；舌形类别包括椭圆舌、方形舌、长方形舌、圆形舌、锐三角形舌、钝三角形舌和锤形舌等；舌尖红及瘀点、瘀斑；这些样本标签舌体图像的质量好坏直接会影响到“望舌诊病”的准确性；

严格意义上说，每个人的舌象都是不一样的，随着自诊健康云服务平台的应用面扩大，舌象图像数据将是一个非常庞大的数据，通过大数据的处理方式能归纳出一些新的舌象类型，当然在此过程中必须由资深中医的参与；

(2)关于设计一种基于全卷积神经网络的舌体分割方法；

由于用手机来拍摄舌体图像时，获取的图像中往往包括舌体、嘴唇、以及嘴部周围皮肤，将舌体从采集的舌体图像中分割出来是舌诊的重要前提工作，因此必须设计一种基于全卷积神经网络的舌体分割算法；

首先，设计一种基于全卷积神经网络的舌体分割算法，即对图像中舌体对象进行区域选择和定位；

为了对舌体对象的位置进行定位；由于舌体对象可能出现在图像的任何位置，而且舌体目标的大小、长宽比例也不确定，原有的技术是最初采用滑动窗口的策略对整幅图像进行遍历，而且需要设置不同的尺度，不同的长宽比；这种穷举的策略虽然包含了舌体目标所有可能出现的位置，但是缺点也是显而易见的：时间复杂度太高，产生冗余窗口太多，这也严重影响后续特征提取和分类的速度和性能；因此，如何用语义概念对舌体对象进行定位和分割至关重要；

深度卷积神经网络一个重要优点是从像素级原始数据到抽象的语义概念逐层提取信息，这使得它在提取图像的全局特征和上下文信息方面具有突出的优势，为解决图像语义分割带来了突破；卷积神经网络层数越高越能表达图像的全局特征及语义概念，但是深度卷积神经网络经过多层的下采样使得卷积神经网络层数越高的图像比原图像要小若干倍，如果用卷积神经网络的最高层作为分割预测由此带来的是分割后的对象比较粗糙，一般都是大致轮廓，这样得到的舌体对象会严重影响后续舌诊的准确性；本发明提出的基于全卷积神经网络的舌体分割算法是建立在卷积神经网络的基础上的，下面首先介绍卷积神经网络；

图3所示的是卷积神经网络图，共分为八层，卷积神经网络是由卷积层、激活层和下采样层交替构成的深度结构，这种深度结构能够有效减少计算时间并建立空间结构上的不变性。输入图像在网络中进行层层映射，最终得到各层对于图像不同的表示形式，实现图像的深度表示，其中卷积核以及下采样的方式直接决定图像的映射方式。

为了精准地分割舌体对象，本发明的主要思路是把深度卷积神经网络改为全卷积神经网络，即FCN，输入一幅图像后直接在输出端得到密集预测，也就是每个像素所属的类，从而得到一个端对端的方法来实现舌体对象图像语义分割；

包括舌体的图像经过深度卷积神经网络的多次卷积以后，得到的图像越来越小，分辨率越来越低，那么FCN是如何得到图像中每一个像素的类别的呢？为了从这个分辨率低的粗略图像恢复到原图的分辨率，FCN使用了上采样。例如经过5次卷积以后，图像的分辨率依次缩小了2、4、8、16、32倍；对于最后一层的输出图像，需要进行32倍的上采样，才能得到原图一样的大小，如图14所示，本发明中采用步长为32对最后一层的输出图像进行上采样；对于最后第二层的输出图像，需要进行16倍的上采样，才能得到原图一样的大小，如图15所示，本发明中采用步长为16对最后第二层的输出图像进行上采样；对于最后第三层的输出图像，需要进行8倍的上采样，才能得到原图一样的大小，如图16所示，本发明中采用步长为8对最后第三层的输出图像进行上采样；这里的上采样操作可以看成是反卷积，卷积运算的参数和CNN的参数一样是在训练FCN模型的过程中通过BP算法学习得到；

为了要精确预测每个像素的分割结果，本发明中将舌体对象进行定位和分割算法分为从大到小(即从输入的大图像到定位分类后的小图像)，再从小到大(与原始输入的图像大小一致)的两个过程；从大到小是由深度卷积神经网络中的下采样层作用所致，而从小到大需要由上采样层来实现；在上采样过程中，本发明采用了分阶段增大的方法，并且在上采样的每个阶段，使用下采样对应层的特征进行辅助；所谓辅助就是采用跳层的方法，在浅层处减小上采样的步长，得到的细层和高层得到的粗层做融合，然后再上采样得到输出；这种跳层的方法兼顾了局部和全局信息；

首先把图3所示的卷积神经网络的全连接层，图中的第六层、第七层和第八层，这里将其作为卷积层，卷积模板大小就是输入的特征图的大小，也就是说把全连接网络看成是对整张输入图做卷积，全连接层分别有4096个1×1的卷积核，4096个1×1的卷积核，1000个1×1的卷积核；

图13所示的输出就是1000个1×1的卷积核，最后两级是全连接，参数弃去不用；

图14所示，从第七层1×1×4096的特征图预测分割成16×16×3的小图，之后直接上采样为500×500×3的大图；这里500×500为原图像的大小，本发明中根据原图像的大小就能恢复出其原图像一样的尺寸；3为深度值，这里表示2类目标+1个背景；反卷积的步长为32，这个网络称为FCN-32s；

图15所示，上采样分为两次完成；在第二次升采样前，把第4个池化层的预测结果融合进来，之后上采样为500×500×3的大图；使用跳级结构提升精确性；第二次反卷积步长为16，这个网络称为FCN-16s；

图16所示，上采样分为三次完成；进一步融合了第3个池化层的预测结果，之后上采样为500×500×3的大图；；第三次反卷积步长为8，记为FCN-8s。

网络结构归纳如下；输入可为任意尺寸图像彩色图像；输出与输入尺寸相同，深度为：2类目标+背景＝3；2类目标分别为舌体和上嘴唇，背景采用脸部皮肤颜色；通过用FCN-8s的全卷积神经网络分割出舌体对象；这里要强调的是首先用图14所示训练FCN-32s全卷积神经网络，然后用图15所示训练FCN-16s全卷积神经网络，最后用图16所示训练FCN-8s全卷积神经网络；

在用FCN-8s的全卷积神经网络分割出舌体对象后就是要通过一个深度卷积神经网络对舌象进行分类。

(3)关于设计一种用于舌象分类的深度卷积神经网络；

用于舌象分类的深度卷积神经网络与图3所示的卷积神经网络完全相同，只是在第八层的全连接层后连接了一个Softmax分类器；

所述的Softmax分类器，将深度神经网络中的学习结果作为softmax分类器的输入数据；Softmax回归是面向多类分类问题的Logistic回归，是Logistic回归的一般形式，适用于类别之间互斥的情况；假设对于训练集{(x⁽¹⁾,y⁽¹⁾,…,x^(m),y^(m))}，有y⁽¹⁾∈{1,2,…,k}，对于给定的样本输入x，输出一个k维的向量来表示每一种分类结果出现的概率为p(y＝i|x)，假设函数h(x)如下：

$h_{\mathrm{\θ}}\left(x^{\left(i\right)}\right)=\left[\begin{array}{c}p(y^{\left(i\right)}=1|x^{\left(i\right)},\mathrm{\θ})\\ p(y^{\left(i\right)}=1|x^{\left(i\right)},\mathrm{\θ})\\ \·\\ \·\\ \·\\ p(y^{\left(i\right)}=k|x^{\left(i\right)},\mathrm{\θ})\end{array}\right]=\frac{1}{{\mathrm{\Σ}}_{j=1}^k{e}^{{\mathrm{\θ}}_j^T{x}^{\left(i\right)}}}\left[\begin{array}{c}{e}^{{\mathrm{\θ}}_1^T{x}^{\left(i\right)}}\\ e^{{\mathrm{\θ}}_2^T{x}^{\left(i\right)}}\\ \·\\ \·\\ \·\\ e^{{\mathrm{\θ}}_k^T{x}^{\left(i\right)}}\end{array}\right]---\left(11\right)$

θ₁,θ₂,…θ_k是模型的参数，并且所有的概率和为1；加入规则项后的代价函数为：

$J\left(\mathrm{\θ}\right)=-\frac{1}{m}\[\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{k}{\mathrm{\Σ}}}1\{y^{\left(i\right)}=j\}\log \frac{e^{{\mathrm{\θ}}_j^T{x}^{\left(i\right)}}}{{\mathrm{\Σ}}_{l=1}^k{e}^{{\mathrm{\θ}}_l^T{x}^{\left(i\right)}}}\]+\frac{\mathrm{\λ}}{2}\underset{l=1}{\overset{k}{\mathrm{\Σ}}}\underset{j=0}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\θ}}_{ij}^2---\left(12\right)$

代价函数对第j个类别的第l个参数的偏导数为：

${\▿}_{{\mathrm{\θ}}_j}J\left(\mathrm{\θ}\right)=-\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\[x^{\left(i\right)}\left(1\right\{y^{\left(i\right)}=j\}-p(y^{\left(i\right)}=j|x^{\left(i\right)};\mathrm{\θ}\left)\right)\}\]+{\mathrm{\λ\θ}}_j---\left(13\right)$

式中，j为类别数，m为训练集的类别数，p(y⁽ⁱ⁾＝j|x⁽ⁱ⁾；θ))}为x分为类别j的概率，λ为规则项参数，也称为权重衰减项，该规则项参数主要是防止过拟合的；

最后，通过最小化J(θ)，实现softmax的分类回归，将分类回归结果保存到特征库中；

在舌象识别分类时，如图17所示，将提取到的输入数据特征与学习训练得到舌象特征库数据进行比对，计算出每一个分类结果的概率，然后取概率最高的一个结果进行输出。

(4)关于构建一种用于根据所识别的舌象类型进行自诊健康云服务平台；

首先是自诊健康云服务平台的工作原理：如图1所示，用户用手机拍摄自己的舌体图像，然后通过微信或彩信或者QQ将自己拍摄的舌体图像发送给健康云服务平台，健康云服务平台自动读取从微信或彩信或者QQ发送过来的图像，同时生成一个微信或彩信或者QQ号的文件夹，将原始图像保存在该文件夹内；另一方面，健康云服务平台首先用基于全卷积神经网络的舌体分割方法对舌体图像进行分割，得到分割后的舌体图像；然后用舌象分类的深度卷积神经网络对分割后的舌体图像进行分类，得到舌象类型；最后根据该舌象类型访问健康云服务平台数据库中病因分析表、辨证和治疗表、生活指导表，得到反映该舌象类型的病因分析、辨证和治疗、生活指导三组信息，将舌象图像和类型以及病因分析、辨证和治疗、生活指导三组信息自动生成一个健康咨询文件，健康咨询文件名是以用户传输给健康云服务平台微信号、或者手机号、或者QQ号来命名；最后将健康咨询文件以用户的微信号、或者手机号、或者QQ号反馈给访问用户并保存在服务器中，或者通知用户来访问健康云服务平台获取用户的自助健康检测结果报告；

本发明中按照中医舌诊的方法，首先将舌象类型分为两大类，即舌体和舌苔；然后将舌体再分为5大类，即舌神、舌色、舌形、舌态和舌下络脉；将舌苔再分为苔色和舌质2大类，如19所示；

舌神又分为荣舌和枯舌；舌色又分为淡红舌、淡白舌、红绛舌、青紫舌；如图20所示；

舌形又分为老嫩、胖瘦、点剌和裂纹；如图21所示；

舌态又分为痿软、强硬、歪斜、颤动、吐弄和短缩；如图22所示；

苔色又分为白苔、黄苔和灰苔黑苔；如图23所示；

舌质又分为厚薄、润燥、腻腐和剥落；如图24所示；

图20～图24中列出了各种舌象类型的病因分析；舌体舌苔是一个整体，又各有偏重。舌体主要察脏腑虚实及气血津液的盛衰，但亦可察邪气性质；舌苔重在辨病邪的性质及邪正消长，但亦可察胃气存亡；舌体舌苔单方面异常，表示病情比较单一。或舌质正常而舌苔有异，或舌苔正常而舌质有异；舌体舌苔均异常者，或二者变化一致，则病机相同，为病常是二者的综合；舌体舌苔变化不一致，常有两种或两种以上的病机，病情较复杂，其舌象主病亦是二者的综合，应注意其标本缓急关系；

舌象的动态分析：舌象随病情的发展而有相应的变化，观察时亦应随病情发展变化而作动态分析；如外感病中舌象的变化、在内伤杂病的发展过程中以及疾病进退、顺逆病变势态，据此为早期诊断和早期治疗提供重要依据；本发明中详细记录了用户访问健康云服务平台的舌象自诊所有结果，并记录的访问的时间，这些信息有助于舌象的动态分析；

例如：外感病，舌苔由薄变厚，为邪气由表入里；舌苔由白转黄，为病邪化热；舌质由淡红变红绛，为邪热充斥，气营两燔；见舌苔剥落，舌质红绛，为热入营血，气阴俱伤。

内伤病亦如此，如中风病人，若见舌淡红苔薄白，示病情较轻，预后良好；若舌质由淡红转红，再转暗红、红绛、紫暗，舌苔转为黄腻或焦黑，或见舌下络脉怒张，则表明风痰化热，瘀血阻滞；若舌质由暗红、紫暗转为淡红，舌苔渐化，则多提示病情趋向好转。

关于“寒热虚实”等的辨证结果，内涵丰富，这里只是两个列举：

关于淡白舌黄腻苔：舌质淡白，主虚主寒，舌苔黄腻，主湿主热，前者反映正气不足而见的阳虚之候，后者提示感受湿热之邪，综合起来，可见于阳虚(如脾胃虚寒)复感湿热邪气的患者；

关于红绛舌白滑腻苔：舌质红绛，主内热炽盛，苔白滑腻，则为寒湿内郁，其病性既有寒，又有热。在临床上，可以见于外感病，为营分有热，而气分有湿；亦可见于内伤病，则为阴虚火旺之体，复感寒湿邪气或有痰食停积；还可以见于湿温病，既有阳热内盛，又有湿邪的患者；

如识别出的舌象属于淡白舌色类型，以该类型为其保存在数据库中的病因分析、辨证和治疗、生活指导如下：

病因分析：淡白舌色比正常舌色淡，多提示气血虚或阳虚。淡白舌首先提示血虚。由于体内血红蛋白降低，血色素减少，血液稀释。所以舌粘膜的血色变淡，表现为舌色淡白。并伴有头晕、心慌、目眩、面色苍白等贫血症状。其次，气虚也可见淡白色。淡白舌与神疲乏力、健忘、动则出汗、发声无力等症同见。多为气虚所致，淡白舌亦出现在阳虚体质，由于阳气不足，体内水液运行迟缓。多余的水分停留在体内(已有称水毒、水湿)不能及时排泄，使组织粘膜发生水肿，粘膜因水肿而增厚，透明度降低，血色不能显露，因而使舌体呈现胖嫩而色淡的特征。如果出现腰腿寒冷，下半身好像坐在冷水中一样的虚证。此外，属于肾精虚亏的疾病(如再生障碍性贫血)，亦是导致淡白色的原因之一。

辩证和治疗：患者舌体淡白，体弱畏寒，腰膝酸痛，小便短少，经常出现下肢浮肿者，常服金匮肾气丸，或附桂八味丸，可以温阳利水，补肾泄浊。慢性贫血患者，除了要针对失血原因对症治疗，尽快止血之外，一般多以调补脾胃、益气生血，常用八珍汤、当归补血汤、十全大补汤之类，均有较好的补气补血作用。同时补充铁剂亦是必要的。如果属骨髓造血功能障碍的疾病(如再生障碍性贫血)，则宜加用填补肾精之品，方能奏效。需用龟鹿二仙膏、参茸补血丸等方药。此等药物不仅能补充营养，同时促进造血功能，使贫血现象逐步得到改善。

生活指导：淡白舌是一种常见舌象，大多是气血不足和阳虚所致。补益气血是改善舌色最有效措施。因此人们往往把注意力放在选择合适的药品、保健食品上，而容易疏忽补益气血还有两个前提要做到，否则会事倍功半。一是消化吸收能力如何；二是自身造血功能是否达到最旺盛的状态。所以，在调养中首先要做到食勿过饱，要有饥饿感，以保证肠胃消化功能处于最佳状态。其次，“有氧运动”能促进造血功能旺盛起来。如有氧体操、快走至身体发热，微微有汗、游泳、跳舞等。运动量掌握在呼吸加快而不气喘的程度。每天保持2小时的活动时问。在水果之中，水蜜桃人称“养颜美容之王”，是因为桃子含丰富的铁质，有较好的补血作用，常服使人面色红润，肌肤光滑，舌色亦随之改善。樱桃含铁量是苹果的二十倍，同样也可作为淡白舌患者选用的补血类水果。

此外，中医学有“久病及肾”之说，是指各脏腑组织功能衰退达到一定程度时，会损及肾的功能。肾虚也可见于年老体弱之正常人。肾虚者有肾阴虚、肾阳虚、肾精不足等不同证候。淡白舌并见舌体旁嫩者，多属肾阳虚证。阳气不足，形体畏寒，应加厚衣被、保温暖，避免出入温差较大的地方，以防感冒。经常在阳光充足的场所适当的运动，可以振奋机体，使阳气升运调达；温泉沐浴亦是温运气机、活血通络的健身法。冬天是自然界万物封藏的季节，冬令饮服人参进补，可以温阳益气，扶持正气，祛除病邪，使机体免疫力增强。根据不同体质选择适当的品种。红参性温，老年人及阳虚者适宜，年轻人或无明显畏寒者，可选用白参，或经过加工的保龄参是很好的保健品。饮食中常适量加些葱、姜、韭、蒜之类可以温暖内脏，帮助消化。阿胶、大枣、当归羊肉粥亦是温补精血的良好药膳。

如识别出的舌象属于正常舌苔类型，以该类型为其保存在数据库中的病因分析、辨证和治疗、生活指导如下：

病因分析：薄白苔是正常舌苔，提示胃有生发之气，内脏生理功能正常。也可出现于疾病初起病情较浅，尚未损及内脏功能的阶段。薄白苔是胃气上蒸，胃阴上润于舌而生成。从组织学认识，是由机体营养代谢正常，舌粘膜乳头尤其是丝状乳头生长正常，是正常的舌苔。但薄白苔亦可提示风寒、风热初袭人体，痛邪在肌表的轻浅阶段。如果舌质偏红，伴有红点，表明风寒已有化热之趋势。一种可能是体质偏热感受风寒，即可化热。如夏季贪凉冷饮，或室内空调温度过低，或淋雨受凉，机体受寒后先见怕冷无汗、头痛、鼻流清涕、肢体酸痛，继而出现发热，口微渴等寒邪化热的症状。另有可能为外感风热之邪。发病之初即出现发热怕风，咽喉肿痛(扁桃体炎)等症，是风热侵袭肌表，疾病初起的病例表现，一般都见薄白苔。

辩证和治疗：薄白苔、淡红舌是正常舌象，反映机体气血充盛，内脏功能调和，胃有生发之气。属于人体处于正常生理状态。舌淡红、苔薄白，伴有怕风寒、不出汗、发热轻，病程较短，表明外感风寒，受邪轻浅，治疗以解表为主。可以选用荆防拜毒散、午时茶、生姜茶等祛寒解表。如发热怕风，头痛，口微渴，出汗，喉喉肿痛，多为风寒感冒，宜选用银翘散、桑菊饮为主方清热解散。板蓝根、蒲公英有清热解毒之功效，对咽喉肿痛者(如急性扁桃体炎)可加入主方增强疗效，也可以用牛黄解毒片或六神丸。若感冒数日不愈，伴咳嗽、痰黄、胸痛等症状，表明外邪已入里化热，需结台清肺化痰的千金苇茎汤同用。加用鱼腥草片、祛痰灵口服液等。如感冒与腹泻并见时，常选用葛根汤或菇香正气散为主方，既可解表又可调整肠胃，可奏表里取解之功。经过多年临床和药理实验研究证明，银翘散、藿香正气散(丸)对病毒性感冒和病理性胃肠炎疗效明显，是因为这类药物具自抑制病毒的作用。对抵抗力差，容易感冒者.可以经常服用玉屏风散，以增加机体免疫功能，减少上呼吸道疾病。

生活指导：在病理状态下，薄白苔多见于感受风寒或风热外邪引起疾病的初起阶段。在此所述的“外邪”是指异常的气候变化，亦称“六淫”之邪。根据季节的特点，冬天易感寒邪，春天易感风邪，秋天易感燥邪等。中医有“六气(邪气)皆从火化”的说法，即各种病邪，在体内不及时清除，均叫转变为严重的热性病(化火)。所以机体抵抗力差的人群，尤其是老年人和儿童，在季节转换时，非常容易感冒。一日之中，早晚温差较大，亦要特别注意。人体能顺应天时，就可以减少疾病。“邪(致病因素)之所凑，其气(抵抗力)必虚”、“虚邪贼风避之有时”的古训，对维护健康是有意义的。同时亦应参加适当的体育活动，坚持进行日光浴或冷水浴锻炼，对增强人体抵抗力、适应气候变化的能力均有很大的帮助。还要充分摄取多种维生素、蛋白质、脂肪和糖类等各种必需的营养素，亦是维持健康体魄的主要方面。

如识别出的舌象属于舌尖淤点类型，以该类型为其保存在数据库中的病因分析、辨证和治疗、生活指导如下：

病因分析：舌上瘀点提示体内脏腑组织有淤血病变。其形成的原因大致有：血液粘度增加、外剧血管阻力增高、或心脏泵血功能减退，使循环功能障碍，特别是微循环血流速度变慢，组织郁血，氧气交换不充分，血液氧分压降低，使血色紫暗。缺氧和营养代谢的障碍，又可引起毛细血管壁变性、通透性增加，红细胞从管壁渗漏，沉积于舌粘膜组织下和菌状乳头内，形成瘀，所以舌上可见瘀斑或瘀点(粗大显见的紫黑色的菌状乳头)。见到瘀斑舌并非仅仅是舌体局部的病理变化，而是机体组织或内脏病变在舌上的反映。只是舌象的变化显而易见。因此，淡紫瘀斑舌亦是内脏组织淤血证的重要征象之一。如肝硬化，各脏腑的肿瘤，跌打损伤瘀留体内，月经痛，死胎，慢性肢体青紫疼痛等，均可见到舌上有不同程度的瘀斑或瘀点。

辨证和治疗：造成淤血的原因很多，临床表现的症状不同。阳虚或寒邪侵袭，可使血液凝滞，舌象多见淡紫色。阴虚火旺或热邪侵袭，可使血液浓缩，舌象多见暗红或紫红。痰浊内阻可使血液粘稠，舌体胖大而紫暗，兼见舌苔厚腻。舌色青紫有瘀斑，或舌质胖嫩色暗有瘀斑，多由气机失调，血液运行涩滞，导致相应的内脏组织出现淤血病变。治疗必需根据临床症状，分析发病原因对症下药。例如，长期情绪抑郁，忧虑不解，肝气郁结，气血运行不畅，造成脏腑组织和全身各部位的淤血病变。治疗用越鞠丸合血腑逐瘀汤加减。淤血阻滞经络而引起机体疼痛麻木，可选用疏风活血汤合当归芍药散加味。对气虚血瘀证，必须用大量补气药，推动血流运行，黄(草氏)桂枝五物汤合补阳还五汤是首选的方药。跌打损伤而见血瘀者，需加强消瘀退肿，常用三七伤药片、云南白药内服，并在损伤部位外用跌打万花油涂擦，可以改善局部循环，促进血肿消退。

生活指导：青紫瘀斑舌形成的主要原因，是气滞血瘀、气虚血瘀、寒凝血瘀、痰湿阻滞血脉等，引起经络、内脏或组织的局部病变。中医所谓的“气滞血瘀"的病理概念，与人体的精神情志活动、自主神经功能状态有关。例如，在市场经济的形势下，企业面临着严峻的竞争，很多企业家、经营者和管理人员等均承受着沉重的精神压力，远大抱负一时亦难以实现，经常陷入焦虑和抑郁的不良精神状态之中。有些人因酒宴应酬繁忙，肠胃不堪重负，生活节奏紊乱，得不到应有的休息和放松，久而久之产生气滞血瘀、痰瘀交阻，在机体某些薄弱环节，血瘀病变便慢慢产生，这是中医学对肿瘤发病的认识之一。因此，要注意调节自己的精神状态，培养开朗的性格，善于自找乐趣，同时要调整好生活起居，适当参加体育运动，对防病治病有很大的好处。饮食方面，可试用红花油烹调菜肴，不仅可口，尚有好的活血作用。椒盐桃仁、糖醋人蒜、荞头、洋葱等均有很好的活血通络作用，可作辅佐菜肴，经常食用。

实施例2

本发明的基于深度卷积神经网络的舌体自诊健康云服务系统，可以直接应用于医院和各级卫生院，与量测血压一样，在就诊前先通过舌体自诊健康云服务平台做一个预诊断；这样做一方面可以帮助病人迅速找到自己病情所对应的科室；另一方面为医生进一步检查和诊断提供参考。

以上所述仅为本发明的较佳实施举例，并不用于限制本发明，凡在本发明精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度卷积神经网络的舌体自诊健康云服务系统，其特征在于：主要包括一个用于深度学习和训练识别的卷积神经网络、一种基于全卷积神经网络的舌体分割方法、一种用于舌象分类的深度卷积神经网络和一种用于根据所识别的舌象类型进行舌体自诊健康云服务平台；

所述的卷积神经网络，共分为八层，由卷积层、激活层和下采样层交替构成的深度结构；输入图像在网络中进行层层映射，得到各层对于图像不同的表示形式，实现图像的深度表示；

所述的舌体分割方法，采用全卷积神经网络，就是将所述的卷积神经网络改为全卷积神经网络，在所述的卷积神经网络的全连接层改为反卷积层，这样输入一幅图像后直接在输出端得到密集预测，也就是每个像素所属的类，从而得到一个端对端的方法来实现舌体对象图像语义分割；

所述的深度卷积神经网络是在所述的卷积神经网络的第八层的全连接层后连接了一个Softmax分类器，用于对舌象进行分类识别；

所述的舌体自诊健康云服务平台，主要包括了接收和读取用户发送过来的舌体图像的图像读取模块，以用户访问平台的装备的用户名或号码为文件夹名的文件夹生成模块，基于全卷积神经网络的舌体分割方法的舌体分割模块，基于深度卷积神经网络对分割后的舌体图像进行分类的舌象分类模块，存放有以舌象类别为索引的病因分析表、辨证和治疗表、生活指导表的数据库，根据舌象分类结果访问数据库中的病因分析表、辨证和治疗表、生活指导表中该舌象类型的病因分析、辨证和治疗、生活指导三组信息的数据库访问模块，根据所得到舌体分割图像、舌象分类结果、病因分析、辨证和治疗、生活指导生成健康咨询文件的舌体自诊健康文件生成模块，用于将用户舌体自诊健康文件反馈给访问用户的文件自动传输模块，用于将舌体自诊健康文件提供给用户到所述的自诊健康云服务平台的网站上下载的下载服务模块。

2.如权利要求1所述的舌体自诊健康云服务系统，其特征在于：所述的卷积神经网络是由卷积层、激活层和下采样层交替构成的深度结构；

第一层：输入图像数据为224×224像素图像，分为RGB颜色空间上的3个分量，填充值是3，输出数据227×227×3；然后经过96个过滤器、窗口大小为11×11、步长为4的卷积层1处理，得到[(227-11)/4]+1＝55个特征，以后的层就分为两组处理，输出特征为55×55×96，然后进行ReLU激活层1处理，输出特征为55×55×96，经过池化层1进行最大池化3×3的核，步长为2，得到[(55-3+1)/2]+1＝27个特征，总的特征数为27×27×96，然后进行正则化处理，用于求和的通道数为5，最后得到27×27×96数据；

第二层：输入数据27×27×96，填充值是2，256个过滤器，窗口大小为5×5，得到[(27-5+2×2)/1]+1＝27个特征，输出特征为27×27×256，然后进行ReLU激活层2处理，输出特征为27×27×256，经过池化层2进行最大池化3×3的核，步长为2，得到[(27-3)/2]+1＝13个特征，总的特征数为13×13×256，然后进行正则化处理，用于求和的通道数为5，最后得到13×13×256数据；

第三层：输入数据13×13×256，填充值是1，384个过滤器，窗口大小为3×3，得到[(13-3+1×2)/1]+1＝13个特征，输出特征为13×13×384，然后进行ReLU激活层3处理，最后得到13×13×384数据；

第四层：输入数据13×13×384，填充值是1，384个过滤器，窗口大小为3×3，得到[(13-3+2×1)/1]+1＝13个特征，输出特征为13×13×384，然后进行ReLU激活层4处理，最后得到13×13×384数据；

第五层：输入数据13×13×384，填充值是1，256个过滤器，窗口大小为3×3，得到[(13-3+2×1)/1]+1＝13个特征，输出特征为13×13×256，然后进行ReLU激活层5处理，输出特征为13×13×256，经过池化层5进行最大池化3×3的核，步长为2，得到[(13-3)/2]+1＝6个特征，总的特征数为6×6×256，最后得到6×6×256数据；

第六层：输入数据6×6×256，全连接，得到4096个特征，然后进行ReLU激活层6处理，输出特征为4096，经过dropout6处理，最后得到4096数据；

第七层：输入数据4096，全连接，得到4096个特征，然后进行ReLU激活层7处理，输出特征为4096，经过dropout7处理，最后得到4096数据；

第八层：输入数据4096，全连接，得到1000个特征数据。

3.如权利要求1所述的舌体自诊健康云服务系统，其特征在于：所述的卷积神经网络，其学习过程是一个前向传播过程，上一层的输出即为当前层的输入，并通过激活函数逐层传递，因此整个网络的实际计算输出用公式(1)表示，

O_p＝F_n(…(F₂(F₁(XW₁)W₂)…)W_n) (1)

式中，X表示原始输入，F_l表示第l层的激活函数，W_l表示第l层的映射权值矩阵，O_p表示整个网络的实际计算输出；

当前层的输出用(2)表示，

X^l＝f^l(W^lX^l-1+b^l) (2)

式中，l代表网络层数，X^l表示当前层的输出，X^l-1表示上一层的输出，即当前层的输入，W^l代表已经训练好的、当前网络层的映射权值矩阵，b^l为当前网络的加性偏执，f^l是当前网络层的激活函数；采用的激活函数f^l为纠正线性单元，即ReLU，用公式(3)表示，

$f^l=\max ({\left(W^l\right)}^T{X}^l,0)=\left\{\begin{array}{cc}{\left(W^l\right)}^T{X}^l& {\left(W^l\right)}^T{X}^l>0\\ 0& {\left(W^l\right)}^T{X}^l\≤0\end{array}\right.---\left(3\right)$

式中，l代表网络层数，W^l代表已经训练好的、当前网络层的映射权值矩阵，f^l是当前网络层的激活函数；其作用是如果卷积计算结果小于0，则让其为0；否则保持其值不变。

4.如权利要求1所述的舌体自诊健康云服务系统，其特征在于：所述的卷积神经网络，对所述的卷积神经网络训练是一个反向传播过程，通过误差函数反向传播，利用随机梯度下降法对卷积参数和偏置进行优化调整，直到网络收敛或者达到最大迭代次数停止；

反向传播需要通过对带有标签的训练样本进行比较，采用平方误差代价函数，对于c个类别，N个训练样本的多类别进行识别，网络最终输出误差函数用公式(4)来计算误差，

$E^N=\frac{1}{2}\underset{n=1}{\overset{N}{\Σ}}\underset{k=1}{\overset{c}{\Σ}}{(t_k^n-y_k^n)}^2---\left(4\right)$

式中，E^N为平方误差代价函数，为第n个样本对应标签的第k维，为第n个样本对应网络预测的第k个输出；

对误差函数进行反向传播时，采用传统的BP算法类似的计算方法，如公式(5)所示，

δ^l＝(W^l+1)^Tδ^l+1×f'(u^l) (5)

u^l＝W^lx^l-1+b^l

式中，δ^l代表当前层的误差函数，δ^l+1代表上一层的误差函数，W^l+1为上一层映射矩阵，f'表示激活函数的反函数，即上采样，u^l表示未通过激活函数的上一层的输出，x^l-1表示下一层的输入，W^l为本层映射权值矩阵。

5.如权利要求1所述的舌体自诊健康云服务系统，其特征在于：所述的舌体分割方法，采用全卷积神经网络，将所述的卷积神经网络改为全卷积神经网络，即FCN，在所述的卷积神经网络的全连接层改为反卷积层，这样输入一幅图像后直接在输出端得到密集预测，也就是每个像素所属的类，从而得到一个端对端的方法来实现舌体对象图像语义分割；

在FCN中，将舌体对象进行定位和分割算法分为从大到小再从小到大的两个过程；从大到小是由所述的卷积神经网络中的下采样层作用所致，而从小到大需要由上采样层来实现；在上采样过程中，这里采用了分阶段增大的方法，并且在上采样的每个阶段，使用下采样对应层的特征进行辅助；所谓辅助就是采用跳层上采样融合的方法，在浅层处减小上采样的步长，得到的细层和高层得到的粗层做融合，然后再上采样得到输出；这种跳层上采样融合的方法兼顾了局部和全局信息，实现比较精准的舌体分割。

6.如权利要求1所述的舌体自诊健康云服务系统，其特征在于：所述的深度卷积神经网络是在所述的卷积神经网络的第八层的全连接层后连接了一个Softmax分类器，用于对舌象进行分类识别；

所述的Softmax分类器，将深度神经网络中的学习结果作为softmax分类器的输入数据；Softmax回归是面向多类分类问题的Logistic回归，适用于类别之间互斥的情况；假设对于训练集{(x⁽¹⁾,y⁽¹⁾,…,x^(m),y^(m))}，有y⁽¹⁾∈{1,2,…,k}，对于给定的样本输入x，输出一个k维的向量来表示每一种分类结果出现的概率为p(y＝i|x)，假设函数h(x)如下：

$h_{\mathrm{\θ}}\left(x^{\left(i\right)}\right)=\left[\begin{array}{c}p(y^{\left(i\right)}=1|x^{\left(i\right)},\mathrm{\θ})\\ p(y^{\left(i\right)}=1|x^{\left(i\right)},\mathrm{\θ})\\ .\\ .\\ .\\ p(y^{\left(i\right)}=k|x^{\left(i\right)},\mathrm{\θ})\end{array}\right]=\frac{1}{{\Σ}_{j=1}^k{e}^{{\mathrm{\θ}}_j^T{x}^{\left(i\right)}}}\left[\begin{array}{c}{e}^{{\mathrm{\θ}}_1^T{x}^{\left(i\right)}}\\ e^{{\mathrm{\θ}}_2^T{x}^{\left(i\right)}}\\ .\\ .\\ .\\ e^{{\mathrm{\θ}}_k^T{x}^{\left(i\right)}}\end{array}\right]---\left(11\right)$

θ₁,θ₂,…θ_k是模型的参数，并且所有的概率和为1；加入规则项后的代价函数为：

$J\left(\mathrm{\θ}\right)=-\frac{1}{m}\[\underset{i=1}{\overset{m}{\Σ}}\underset{j=1}{\overset{k}{\Σ}}1\{y^{\left(i\right)}=j\}\log \frac{e^{{\mathrm{\θ}}_j^T{x}^{\left(i\right)}}}{{\Σ}_{l=1}^k{e}^{{\mathrm{\θ}}_l^T{x}^{\left(i\right)}}}\]+\frac{\mathrm{\λ}}{2}\underset{l=1}{\overset{k}{\Σ}}\underset{j=0}{\overset{n}{\Σ}}{\mathrm{\θ}}_{ij}^2---\left(12\right)$

代价函数对第j个类别的第l个参数的偏导数为：

${\▿}_{{\mathrm{\θ}}_j}J\left(\mathrm{\θ}\right)=-\frac{1}{m}\underset{i=1}{\overset{m}{\Σ}}\[x^{\left(i\right)}\left(1\right\{y^{\left(i\right)}=j\}-p(y^{\left(i\right)}=j|x^{\left(i\right)};\mathrm{\θ}\left)\right)\}\]+{\mathrm{\λ\θ}}_j---\left(13\right)$

式中，j为类别数，m为训练集的类别数，p(y⁽ⁱ⁾＝j|x⁽ⁱ⁾；θ))}为x分为类别j的概率，λ为规则项参数，也称为权重衰减项，该规则项参数主要是防止过拟合的；

最后，通过最小化J(θ)，实现softmax的分类回归，将分类回归结果保存到特征库中；

在舌象识别分类时，将提取到的输入数据特征与学习训练得到舌象特征库数据进行比对，计算出每一个分类结果的概率，然后取概率最高的一个结果进行输出。

7.如权利要求1所述的舌体自诊健康云服务系统，其特征在于：所述的舌体自诊健康云服务平台，其健康云服务方式是用户用手机拍摄自己的舌体图像，然后通过微信或彩信或者QQ将自己拍摄的舌体图像发送给健康云服务平台，健康云服务平台自动读取从微信或彩信或者QQ发送过来的图像，同时生成一个微信或彩信或者QQ号的文件夹，将原始图像保存在该文件夹内；另一方面，健康云服务平台首先用基于全卷积神经网络的舌体分割方法对舌体图像进行分割，得到分割后的舌体图像；然后用舌象分类的深度卷积神经网络对分割后的舌体图像进行分类，得到舌象类型；最后根据该舌象类型访问健康云服务平台数据库中的病因分析表、辨证和治疗表、生活指导表，得到反映该舌象类型的病因分析、辨证和治疗、生活指导三组信息，将舌象图像和类型以及病因分析、辨证和治疗、生活指导三组信息自动生成一个健康咨询文件，健康咨询文件名是以用户传输给健康云服务平台微信号、或者手机号、或者QQ号来命名；最后将健康咨询文件以用户的微信号、或者手机号、或者QQ号反馈给访问用户并保存在服务器中，或者通知用户来访问健康云服务平台获取用户的自助健康检测结果报告。

8.如权利要求1或7所述的舌体自诊健康云服务系统，其特征在于：所述的舌象类型是按照中医舌诊的方法进行诊断分类，首先将舌象类型分为两大类，即舌体和舌苔；然后将舌体再分为5大类，即舌神、舌色、舌形、舌态和舌下络脉；将舌苔再分为苔色和舌质2大类；

舌神又分为荣舌和枯舌；舌色又分为淡红舌、淡白舌、红绛舌、青紫舌；

舌形又分为老嫩、胖瘦、点剌和裂纹；

舌态又分为痿软、强硬、歪斜、颤动、吐弄和短缩；

苔色又分为白苔、黄苔和灰苔黑苔；

舌质又分为厚薄、润燥、腻腐和剥落；

最后对多个特征进行综合处理和分析后得到相应的诊断结论。

9.如权利要求1或8所述的舌体自诊健康云服务系统，其特征在于：所述的深度卷积神经网络中的舌象数据集，包括各种舌体和舌苔、苔色和舌质的舌体图像数据，在这些舌体图像中既包括了舌象的某个特征，又包括了舌象的二个和二个以上特征的组合；

采用数据增强变换来增加输入数据的量；具体采用如下几种舌象图像数据增强变换方法：①旋转|反射变换：随机旋转图像一定角度，改变图像内容的朝向；②翻转变换：沿着水平或者垂直方向翻转图像；③缩放变换：按照一定的比例放大或者缩小图像；④平移变换：在图像平面上对图像以一定方式进行平移；⑤可以采用随机或人为定义的方式指定平移范围和平移步长，沿水平或竖直方向进行平移，改变图像内容的位置；⑥尺度变换：对图像按照指定的尺度因子，进行放大或缩小；或者参照SIFT特征提取思想，利用指定的尺度因子对图像滤波构造尺度空间；改变图像内容的大小或模糊程度；⑦对比度变换：在图像的HSV颜色空间，改变饱和度S和V亮度分量，保持色调H不变；对每个像素的S和V分量进行指数运算，指数因子在0.25到4之间，增加光照变化；⑧噪声扰动：对图像的每个像素RGB进行随机扰动；常用的噪声模式是椒盐噪声和高斯噪声；⑨颜色变换：在训练集像素值的RGB颜色空间进行PCA，得到RGB空间的3个主方向向量，3个特征值，p1,p2,p3,λ1,λ2,λ3；每幅图像的每个像素Ixy＝[IRxy,IGxy,IBxy]^T进行加上如下的变化：[p1,p2,p3][α1λ1,α2λ2,α3λ3]^T。

10.如权利要求1所述的舌体自诊健康云服务系统，其特征在于：自助健康是以下述流程来实现的，用手机或者其他移动设备拍摄获取舌体图像时，用户先用饮用水清洗口腔以避免食物和药物沾染舌苔，然后打开智能手机上的相机软件，并开启手机上的照明；然后将舌体自然伸出口外，舌体放松，舌面平展，舌尖略向下，充分暴露舌体；拍摄包含有舌体图像；最后将舌体图像通过手机上的微信或者彩信或者QQ发送给健康云服务平台；

健康云服务平台根据用户发送过来的舌体图像，进行分割、分类处理，然后根据舌象自动进行病因分析、辨证和提出治疗建议，并给出生活指导，接着自动生成自助健康检测结果报告，最后将健康检测结果报告信息反馈给用户。