CN112168142A - 基于daela-lstm神经网络的痛经中医辨证系统 - Google Patents

Abstract

本发明涉及中医辨证的信息化技术领域，公开了一种基于DAELA‑LSTM神经网络的痛经中医辨证系统。系统包括中医痛经症状采集模块、数据处理模块和人机交互设备，中医痛经症状采集模块用于采集中医痛经症状，并将所述中医痛经症状输入到数据处理模块；数据处理模块根据所述中医痛经症状计算出相应的中医痛经证型结果，数据处理模块计算过程中采用了基于DAELA‑LSTM神经网络的痛经中医辨证模型。该模型能够有效挖掘四诊信息的内在联系，较好地进行痛经中医辩证，准确率高。

Description

基于DAELA-LSTM神经网络的痛经中医辨证系统

技术领域

本发明涉及中医辨证的信息化技术领域，特别涉及一种基于DAELA-LSTM神经网络的痛经中医辨证系统。

背景技术

痛经是最常见的妇科症状之一，中医认为妇女正值经期或行经前后，出现周期性的小腹疼痛或痛引腰祇，甚至剧痛昏厥者，称为“痛经”，亦称“经行腹痛”。现代医学分为原发性痛经和继发性痛经两类，原发性痛经指生殖器官无器质性病变的痛经，占痛经90％以上，多见于青少年女性继发性痛经指由盆腔器质性疾病引起的痛经，多发生于育龄期妇女。在中国，痛经发病率一直居高不下，流行病学研究表明原发性痛经发病率在20％～90％之间。20岁以前是原发性痛经发病的高峰期，发病率可达92％。在全球其他国家，痛经的发病率在人口的31-92％之间，如34％(埃及)，94％(阿曼)，53.3％(尼日利亚)，64％(墨西哥)，72％(瑞典)^[9-11]等痛经在青春期女性中非常普遍，是一个重要的公共卫生问题，可能导致严重的身心痛苦和生活中断，并可能增加她们未来患慢性疼痛的风险。

中医已被世卫组织列入最新的《全球医学大纲》(2019年版)，中医药治疗痛经在疗效、用药安全性等方面优势独特——远期疗效可靠，治病治本，不容易复发，安全性高，毒副作用小，治疗方法多样，如针灸、贴敷、灌肠等。“辨证论治”是中医认识疾病和治疗疾病的基本原则，辨证，是将四诊所收集到的症状、体征资料，运用中医学理论进行综合分析和提炼归纳，明确发病原因、病理位置、病邪性质等，最后判断为某种性质的证型。论治，就是根据辨证的结果，决定治则和治法，实施治疗。从辨证到论治的全过程即辨证论治，当症型确定后，治法和处方就是相对固定的结果。因此，中医信息化的关键点、难点在于辩证。

中医辨证的信息化发展在20世纪90年代，以系统建模与知识库构建为思路的中医专家系统研究为主。赋予计算机一定的规则和评分结果，医理设计充分体现某中医名家治疗痛经的辨证论治规律，当时计算机的诊疗程序只是进行简单的针对某一医生的思维模拟。21世纪初期是研究的低谷，主要表现为数据库和知识工程。2005年后神经网络^[23]研究增加，2010年后，中医数据不断积累，主要是基于分类算法的研究，众多分类算法被用于中医领域，包括决策树、粗糙集、贝叶斯网络、支持向量机、深度神经网络等。特别是深度神经网络能够实现很强的非线性拟合功能，并且具有并行分布式处理、自学习、自组织、良好的容错性等特点，这正好和中医的非线性关系吻合。目前，国内外学者用数学、统计等方法从不同角度尝试对辨证智能化进行研究，从冗余、复杂的中医症状数据中分析提取重要的症状特征和对症状与证型之间的关系进行建模模拟医生诊断，这些方法在一定时期内对中医各项研究起到十分重要的作用，但从直观结果来看，深度神经网络具有更好的性能，普通全连接神经网络在各个领域的分类和预测任务上都展现了强大的力量，但是却存在大量数据空间冗余的问题、忽略了四诊信息内在联系、痛经数据的研究针对典型证型，没有囊括临床较多变化的辨证分型。

发明内容

本发明的目的在于，克服了现有神经网络辩证分型过程中，存在大量数据空间冗余、忽略四诊信息存在内在联系、中医痛经辩证分类不够全面等问题，提出了一种基于DAELA-LSTM神经网络的痛经中医辨证系统。

为了实现上述发明目的，本发明提供了以下技术方案：

一种基于DAELA-LSTM神经网络的痛经中医辨证系统，包括中医痛经症状采集模块、数据处理模块和人机交互设备，

中医痛经症状采集模块用于采集中医痛经症状，并将中医痛经症状输入到数据处理模块；

人机交互设备，包括输入设备和显示设备，输入设备用于输入控制指令到数据处理模块，显示设备接收并显示所述数据处理模块输出的中医痛经证型结果；

数据处理模块根据中医痛经症状计算出相应的中医痛经证型结果，计算过程包括以下步骤：

S1，将中医痛经症状进行矩形量化，获取中医痛经症状特征集；

S2，将中医痛经症状特征集输入到预先训练好的深度自动编码器中，输出重构特征向量；

S3，将重构特征向量输入预先训练好的LSTM预测中医痛经证型模型中，得出相应的中医痛经证型。

作为本发明的优选方案，中医痛经症状特征集由二进制数组成，每一位二进制数对应一个非重复中医痛经症状，当病历四诊信息中不具有非重复中医痛经症状时，对应的二进制数设置为0，当病历四诊信息中具有非重复中医痛经症状时，对应的二进制数设置为1。

作为本发明的优选方案，深度自动编码器的训练步骤包括：

S21，输入中医痛经症状特征集到编码器中，得到重构特征向量；

S22，将重构特征向量输入到解码器中，得到解码结果；

S23,通过计算中医痛经症状特征集与解码结果的误差，调节编码器和解码器的网络参数；

深度自动编码器由编码器和解码器构成。

进一步的，步骤S23中，中医痛经症状特征集与解码结果的误差的计算公式为：

其中，0≤j≤m，m代表痛经样本数量，θ＝{w,b}代表神经元权值和偏值参数，L(X_j,X'_j)代表损失函数，x_j是输入到编码器中的中医痛经症状特征，x'_j是中医痛经症状特征相应的编码结果。

作为本发明的优选方案，中医痛经症状特征集中包括169个特征症状，重构特征向量是16维的重构特征向量。

作为本发明的优选方案，步骤S2中，将中医痛经症状特征集输入到预先训练好的带标签约束的深度自动编码器中，输出优化重构特征向量，带标签约束的深度自动编码器是对深度自动编码器加入带标签的虚拟分类器后训练得到的。

作为本发明的优选方案，训练带标签约束的深度自动编码器的目标函数为

其中，λ代表控制虚拟标签约束重要性的参数，

为深度自动编码器的编码误差计算，

为虚拟层标签误差的计算，Y_j为证型真实标签，Y_j'是虚拟分类器预测的标签，

Y'_j＝(y'₁,y'₂,...y'_j,...y'_n)^T，

其中n＝8，w_ij代表虚拟分类器输入层第i个神经元到输出层第j个神经元的权重，b_i代表虚拟分类器的输出层第i个神经元偏值，O_i是特征编码，m代表痛经样本数量。

作为本发明的优选方案，LSTM预测中医痛经证型模型的训练包括以下步骤：

S31，通过遗忘门过滤掉无用的信息；

S32，选择记忆学习，并且将学习的记忆保存在记忆单元中；

S33，通过输出门输出隐藏层输出值，并将隐藏层输出值输出到softmax分类器，得到中医痛经证型的预测标签；

S34，根据真实值和预测标签计算分类误差，并根据分类误差反向传播误差，更新网络参数。

作为本发明的优选方案，步骤S34中，分类误差的计算采用交叉熵损失函数，计算公式为：

其中，

E_j(Y_j,Y'_j)为真实值Y_j和预测标签Y_j'之间的分类误差，m代表痛经样本数量，Y_j'＝(y'₁,y'₂,...y'_j,...y'_n)^T，y'_j是预测标签Y_j'中的值，y_j是真实值Y_j中的值。

作为本发明的优选方案，LSTM预测中医痛经证型模型输出的中医痛经证型一共有8种类型。

与现有技术相比，本发明的有益效果：

本发明的系统中主要提出了基于DAELA-LSTM神经网络的痛经中医辨证模型，使用5212个痛经病历样本组成的真实临床数据集进行实验，同时，用3个具有代表性基线模型进行比较，使用准确率和F1分数来评估模型，本发明的系统表现稳健，准确率为95.3％，F1得分为95.2％，优于比较的基线模型。DAELA-LSTM神经网络能够有效挖掘四诊信息的内在联系，较好地进行痛经中医辩证，准确率高。

附图说明

图1为本发明实施例1中的一种基于DAELA-LSTM神经网络的痛经中医辨证系统图；

图2为本发明实施例1中的一种基于DAELA-LSTM神经网络的痛经中医辨证系统中数据处理模块计算的流程图；

图3为本发明实施例1中的深度自动编码器降维特征向量示意图；

图4为本发明实施例1中标签深度自动编码器各项误差函数求解过程原理图；

图5为本发明实施例1中LSTM神经网络训练示意图；

图6为本发明实施例2中四川省大数据平台提取的部分门诊病历的例子；

图7为本发明实施例2中K折交叉验证实验分组示意图；

图8为本发明实施例2中DAELA-LSTM模型的测试误差Test Loss图；

图9为本发明实施例2中DAELA-LSTM模型测试集的准确率图；

图10为本发明实施例2中DAELA-LSTM模型的混合矩阵；

图11为本发明实施例2中DAELA-LSTM模型与基线模型召回率比较图；

图12为本发明实施例2中DAELA-LSTM模型与基线模型的精准率比较图。

具体实施方式

下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

实施例1

本发明提出了DAELA-LSTM模型，输入痛经病人症状以推导出所属中医证型，完成辨证。该模型使用带标签约束的深度自动编码器(DAELA)对中医痛经的症状进行特征向量重构。前人提出的中医神经网络模型采用全连接的前馈神经网络结构，症状输入层的节点前后之间没有联系，但是中医痛经的输入症状来自于中医望闻问切四诊信息，四诊信息存在内在联系，由情志抑郁，胁肋或乳房胀痛，经色紫黯有血块，舌质紫黯或有瘀点等症状进行辨证分析：性抑郁，忧思郁怒，肝郁气滞，则胁肋、乳房胀痛，血不循经，滞于胞宫，日久成瘀，则经色紫黯有血块，舌有瘀点，瘀阻气机流畅。气滞与血瘀相互为病，冲任气血瘀滞，经血不利，辨为气滞血瘀证。因此辩证模型选择了循环神经网络的改进模型长短期记忆网络(LSTM，Long Short-Term Memory)，它可以让前面的输入节点对后面的输入节点造成影响，加强了输入层节点之间的联系，同时有效避免了循环神经网络梯度消失的问题，对重构特征向量进行训练，得到训练模型用以推测痛经证型。

一种基于DAELA-LSTM神经网络的痛经中医辨证系统图如图1所示，系统包括中医痛经症状采集模块、数据处理模块和人机交互设备；中医痛经症状采集模块用于采集中医痛经症状，并将中医痛经症状输入到数据处理模块；人机交互设备，包括输入设备和显示设备，输入设备用于输入控制指令到数据处理模块，显示设备接收并显示所述数据处理模块输出的中医痛经证型结果。

数据处理模块根据中医痛经症状计算出相应的中医痛经证型结果的计算流程图如图2所示，具体计算过程包括以下步骤：

S1，将中医痛经症状进行矩形量化，获取中医痛经症状特征集；

S2，将中医痛经症状特征集输入到预先训练好的带标签约束的深度自动编码器中，输出重构特征向量；

S3，将重构特征向量输入预先训练好的LSTM预测中医痛经证型模型中，得出相应的中医痛经证型。

步骤S1中主要是实现了中医痛经症状矩阵量化，具体过程如下：

本实施例采用了5212例痛经病历，处理所有病历中四诊信息后(具体处理方法见实验部分)得到169个非重复中医痛经症状，8个非重复证型。约定每个病历由特征集和标签集构成，特征集由169维向量表示，标签集由8维向量表示。

约定1所有病历的特征集

可以用如下矩阵表示。

每一个X代表了一份病历的特征集，X_j代表了第j个病历的特征，m代表痛经病历份数。

因此，每份病历特征集X_j由如下向量表示，由169位二进制数组成的数字串(如表1所示)。

X_j＝(x₁,x₂,…,x_j,…x_n)^T，其中j和n均为正整数，n＝169，x_j∈{0,1}，取值为0表示本病历四诊信息中不具有第j位症状，取值为1表示本病历四诊信息中具有第j位症状。

表1病历特征集

约定2所有病历的标签集

可以用如下矩阵表示。

其中每一个Y代表了一份病历的标签集，Y_j代表了第j个病历的标签集结果，m代表痛经病历份数。

因此，每份病历标签集Y_j由如下向量表示，由8位二进制数组成的数字串(如表2所示)。

Y_j＝(y₁,y₂,…,y_j,…,y_n)^T，其中j和n均为正整数，n＝8，y_j∈{0,1}，取值为0表示本病历中不具有第j位证型，取值为1表示本病历中具有第j位证型。

表2病历标签集

本发明的方法主要是通过深度学习，将病人的特征集X_j输入基于DAELA-LSTM神经网络的痛经中医辨证模型，输出对应的标签Y_j，也即是输出使用痛经四诊信息预测诊断痛经的证型。

步骤S2中，主要是训练带标签约束的深度自动编码器，将中医痛经症状特征集输入到训练好的带标签约束的深度自动编码器中，输出重构特征向量。

利用深度自动编码器就能对中医痛经症状特征集进行重构，得到重构特征向量。X_j在未处理之前是稀松的，169维的特征向量中大多数特征为0，因此十分有必要进行降维处理，减少输入向量的稀松程度。深度自动编码器是一种具有对称结构的无监督神经网络模型，由编码器和解码器构成，可以实现对输入数据的降维压缩，即编码，也可实现对原始数据的还原，即解码。输入X_j经过编码器得到一个新编码，将新编码输入解码器得到解码结果X'_j。通过比较X_j和X'_j的差异调节自动编码器和解码器的各项参数。普通的自动编码器的编码器和解码器仅有一个隐藏层，而深度自动编码器的编码器和解码器都包含了多个隐藏层，可以拟合更复杂的模型，达到更好的效果。具体地说，首先输入特征向量X_j，得到编码器第一层隐藏层H¹,接着继续输入下一层网络得到更高的隐藏层H²,…,H^k,最终输出特征编码O_j，得到编码后，开始输入解码器，从最高层解码到最低层H^k',…,H^2',H^1'，最后解码器的最低层可以得到与原来输入向量类似的向量X'_j，通过比较X_j和X'_j的误差，调节编码器和解码器的网络参数，一旦训练好了自动编码器，将利用中间的特征编码O_j输入LSTM模型中进行下一步辩证任务。

编码器和解码器都采用了4层隐藏层神经网络，二者一共构成了8个隐藏层的深度学习模型，编码器第k隐藏层的神经元输出计算可以由以下公式表示：

其中k，l均为正整数，且1≤k≤4。

其中k、i和n均为正整数，n代表h^k-1隐藏层神经元个数。

其中，f代表激活函数，编码器选择使用ReLu激活函数，

表示编码器第k-1隐藏层第i个神经元到第k隐藏层第l个神经元节点的权重，

代表编码器第k隐藏层第l神经元偏值。

此时，编码器输出层可以由以下公式表示：

O_j＝(o₁,o₂,…,o_j,…o_n)^T，其中j和n均为正整数，n＝16。

其中k＝4，i和n为正整数，v_ij表示第k层隐藏层第i个神经元到输出层第j个神经元的权重，c_j表示输出层第j个神经元偏值。

同理，解码器第k隐藏层的神经元输出计算可以由以下公式表示：

其中k，l均为正整数，且1≤k≤4

其中g代表解码器激活函数ReLu，

表示解码器第k+1隐藏层第i个神经元到第k隐藏层第l个神经元节点的权重，

代表解码器第k隐藏层第l个神经元偏值。

此时，解码器输出层可以由以下公式表示：

X'_j＝(x'₁,x'₂,…,x'_j,…x'_n)^T，其中j和n均为正整数，n＝169，x_j∈[0,1]。

其中i和n为正整数，v'_ij表示最后一个隐藏层第i个神经元到输出层第j个神经元的权重，c'_j表示输出层第j个神经元偏值。

深度自动编码器通过计算X_j和X'_j的误差来更新神经网络参数，误差计算公式如下：

其中m代表痛经样本数量，即病历份数。θ＝{w,b}代表神经元权值和偏值参数,L(X_j,X'_j)代表损失函数，损失函数均方误差，计算公式如下：

其中m代表所有的X_j样本数目,M代表169个特征症状，x_ji代表第j个病历的第i个特征，x'_ji代表第j个病历的第i个特征输入深度自动编码器后输出的结果。

深度自动编码器降维特征向量示意图如图3所示。至此，通过构建一个含有8个隐藏层的深度编码器，将169维代表中医症状的特征向量提炼为16维的重构特征向量，完成了自动编码器的特征提取功能，此时的16维和169维隐含着同样的核心信息，但是它不再是稀疏的信息，它的信息涵盖得更精炼，而且维度更低，可以有效得降低网络规模，提高学习效率。

前述深度自动编码器的训练采用的是一种无监督的训练方式，同一个标签下无监督学习的自动编码器重构的特征向量是发散的。作为优选方案，本发明的方法，通过添加约束，让重构的特征向量定向地聚集到某一个区域。同时，中医存在异病同治和同病异治的现象，即两个不同的输入特征X_m和X_n可能是同一个证型，同一个输入特征X_m可能是不同的证型。这样造成同一个证型的特征之间相差过大，不同证型的特征之间相差太小，特征数据太混乱不利于痛经辩证模型进一步学习。为了让同一个症型的特征向量之间差异更小，不同类别症型特征向量之间差异更大，就给深度自动编码器加入有监督约束，即加入虚拟层标签约束，能够挖掘出同一类型的特征之间的内在隐藏联系，同时也能够让不同类型特征区分开来，因此，让同一类型的特征编码联系得更加紧密，不同类型得特征编码区分得更加明显，这有助于提高进一步的预测准确率。

假设病人的输入特征X_j,证型标签为Y_j,将得到的特征编码O_j输入到一个带标签的虚拟分类器，得到分类器输出的标签Y_j'：

Y_j'＝(y'₁,y'₂,...y'_j,...y'_n)^T

其中n＝8，w_ij代表虚拟分类器输入层第i个神经元到输出层第j个神经元的权重，b_i代表虚拟分类器的输出层第i个神经元偏值。通过虚拟分类器预测的标签Y_j'和真实标签Y_j可以计算出实际的误差：

将这个约束添加到自动编码器模型之中，最后得到目标函数为：

其中，λ代表控制虚拟标签约束重要性的参数，第一项为自动编码器的编码误差计算，第二项为虚拟层标签误差的计算。标签深度自动编码器各项误差函数求解过程原理图如图4所示。带标签约束的深度自动编码器(DAELA)重构了特征向量之后，为保留四诊信息之间的关联，添加了LSTM网络用于捕捉输入特征的前后关联。

进一步的，步骤S3中主要是实现对LSTM预测中医痛经证型模型的训练。LSTM神经网络训练示意图如图5所示。

首先LSTM会遗忘信息，通过遗忘门过滤掉无用的信息，计算遗忘衰减系数选择性地遗忘。遗忘门计算公式如下：

f_j＝σ(W_f·[h_j-1,o_j]+b_f)

其中，f_j代表遗忘衰减系数，σ代表激活函数sigmoid，将结果映射到0～1之间，越接近1，表示上一时刻记忆单元C_j-1需要保留的信息越多，当值接近于0，表示C_j-1需要丢弃的信息越多，W_f代表遗忘门权重，b_f代表遗忘门偏值，h_j-1代表上一层网络输出，o_j代表本次的网络输入，·代表矩阵乘法，[h_j-1,o_j]代表向量的拼接，即把h_j-1和o_j拼接成一个向量。

接着LSTM会选择记忆学习，并且将学习的记忆保存在记忆单元中，具体的学习过程如下：

i_j＝σ(W_i·[h_j-1,o_j]+b_i)

其中，C_j和

分别代表记忆单元和临时记忆单元，W_C,W_i分别代表输入门权重和临时记忆单元权重，b_i和b_c代表输入门和临时记忆单元偏值，i_j和f_j代表输入衰减系数和遗忘衰减系数，

代表按元素乘，即对应位置元素相乘，tanh为双曲正切函数，将结果映射到-1～1之间。

最后通过输出门控制信息的输出。输出门计算公式如下：

out_j＝σ(W_O·[h_j-1,o_j]+b_o)

其中，out_j表示输出门衰减系数，W_O,b_o分别代表输出门权重和输出门偏值。

将深度自动编码器重构的特征向量O_j输入LSTM模型，经过多轮循环，取得最新的隐藏层输出值用h_j表示，将输出值h_j输入softmax得到预测的标签Y_j'，即完成了最终的辩证任务。

Y_j'＝(y'₁,y'₂,...y'_j,...y'_n)^T

V_il代表输入层第i个神经元到输出层第l个神经元的权重，h_ji代表隐藏层h_j的第i个节点，b_i代表输出层第i个节点的偏值。

利用真实值Y_j和预测值Y_j'可以计算最终的分类误差E_j,误差的计算同样采用交叉熵损失，定义如下：

在计算出误差之后，根据误差E便可以采用BPTT的方法反向传播误差，从而更新网络的参数。

一旦模型训练完成，便提取重构的16维特征O_j，重构的特征按照序列依次循环输入LSTM模型获取最新的隐含层输出h_j，最后将h_j输入到softmax分类器，输出证型Y'_j，完成对痛经中医证型分类。

实施例2

基于上述原理，采用实验进行了验证。

实验运行环境是Windows10家庭版操作系统，I5-5200U 2.2GHz的Cpu，NIVDIA940M显卡和8G的内存。选用Pycharm开发工具，使用pytorch深度学习框架编写程序并实现DAELA-LSTM模型。为了对实验结果进行对比，引入三个具有代表性的网络模型，包括传统机器学习Softmax回归，普通BP神经网络，以及朴素贝叶斯NB模型。将上述的三个模型定义为SR模型，BP神经网络模型，NB模型，并作为基线模型与本发明的DAELA-LSTM模型进行对比。

第一步，实验数据预处理

使用痛经实验数据共计5212条，其中4000条数据来自于四川省中医药大数据管理平台记录的临床电子病历数据，从四川省大数据平台提取的部分门诊病历的例子如图6所示，其中图6(a)是中文原始录取记录，图6(b)是英文翻译版本。每一条电子病历记录了患者的姓名、年龄、诊断、处方等信息。该平台按照电子病历的完整程度将电子病历分为5个等级，5级代表数据质量最高，数据最完整。实验的数据全部采用5级的电子病历数据。剩余的1212条数据是文献数据来自于知网、万方、维普等中文文献数据库，由专业的中医师人工地进行整理和筛选，保留病人编号、接诊日期、症状、证型、病名、性味归经、功效和方剂信息，最终把文献病历数据和电子病历数据融合在一起作为最终的实验数据。将痛经病历数据依据中国国家中医药管理局发布的“GB/T20348-2006中医基础理论术语”和“GB/T16751.2-1997中医临床诊疗术语-证候部分”规范统一，由专门的中医师对没有按照国家中医术语标准录入的数据修正、拆分、合并、去重，如表3所示。全部数据共1016个未规范症状，最终得到痛经症状169个，部分症状数据规范如表4所示。

表3痛经症状拆分、转换表

表4痛经症状规范表

表5痛经证型规范表

痛经证型纳入频数＞5的证型描述，进行证型名规范化处理后得到8个痛经证型：气血两虚、肝郁湿热、寒凝血瘀、气滞血瘀、阳虚内寒、肝肾亏虚、湿热瘀阻、肾虚血瘀，部分证型数据规范如表5所示。

第二步，模型中超参数的确定

模型的超参数调节是决定模型性能的重要因素，超参数的确定目前没有确定的方法，只能依靠经验来调整。因此通过实验来确定最佳的取值。

权值初始化：采用均值为0，固定方差为0.01的正太分布进行权值随机初始化，以避免网络反向调节时梯度爆炸和梯度消失问题。

Droupout比率和L2权重：为了防止训练过程中的过拟合问题，使用了添加了droupout和L2正则化。在神经网络每个隐藏层添加dropout，设置dropout丢失比率为0.2-0.5进行实验，确定取值0.5时表现最佳，同时在LSTM模型中使用L2正则化的损失函数，按照10的数量级依次实验，具体为：0.1，0.01，0.001，0.0001....，最终确定正则化权重为0.00001为最佳的表现。

学习率的确定：为了加速误差收敛，确定最佳的学习率，采按照10¹的数量级进行实验，依据0.1，0.01，0.001……规律设置参数进行实验，最终确定学习率为0.01的误差收敛最快。

隐藏层结点数的确定：设置自动编码器的网络节点从12、24、64、128、200、400依次增加，最终确定自动编码器的节点数为200、200、128、64。LSTM隐藏层的节点数目从10、50、100、200、400、600依次试验，最终确定LSTM隐藏层节点数为400模型的准确率最高

损失函数的选择：分类问题一般使用交叉熵作为损失函数，由于痛经证型诊断是多分类问题，因此采用交叉熵损失函数。

梯度下降算法：为了选择最优的梯度下降算法，同样对不同的优化器进行实验，最终选择Adam算法，其训练过程最稳定，误差的波动最小，达到了最高的准确率

隐藏层层数的确定：深度自动编码器的隐藏层数量采用逐步实验的方法确定，隐藏层的数量由1到10依次增加，根据模型的Loss误差和准确率来评判模型在痛经分类任务上的表现，最终实验结果显示，DAELA-LSTM模型的表现随着隐藏层的数量增加而更好，最终在4个隐藏层达到了最好的效果。在LSTM模型部分，为了确定隐藏层的数量，设置隐藏层数从1到10依次增加，结果显示，模型在1层达到了最好的效果。

Batch-size:为了确定最优的batch-size,按照10、50、100、200、400、600，依次实验，确定最佳的batch-size的大小为400。

第三步，实验数据的分组

1.K折交叉验证的方法

为了有效地评估模型的质量，采用了K折交叉验证的方法，方法的具体过程为：首先将数据随机打乱，并平均分为4个部分，每次取其中的3个部分的数据作为训练集数据。剩余的1个部分数据作为测试集数据。轮流实验，实验总共进行4次，最后计算四次实验结果的平均值作为模型的最终成绩。K折交叉验证实验分组示意图如图7所示。

第四步，实现结果分析

为了让实验对比更加得公正、客观，对SR，BP神经网络、NB基线模型和DAELA-LSTM模型，都采用同样的数据，按照K折交叉验证的方法分别实验，每次实验选择75％的数据作为训练集数据，剩下25％的数据作为测试集数据，分别做四次实验，最后计算四次实验的平均值作为该模型的结果。

测试结果如图8-10所示。图8展示了DAELA-LSTM模型的测试误差Test Loss。可以看出误差Test Loss迭代5次以前下降最快，迭代5次之后下降速度缓慢，并且呈现上下来回波动的形势，最终在420次附近达到最低的误差。图9展示了DAELA-LSTM模型测试集的准确率。可以看出准确率曲线和误差曲线是相互对应的，准确率曲线在迭代到5次以前增长最快，在迭代5次以后增长缓慢，并呈现准确率曲线来回波动的形势。准确率计算方法为Pr/Tr，Pr代表预测正确的标签数目，Tr代表所有的标签数目。经过计算，DAELA-LSTM模型的准确率最终为95.3％。为了衡量DAELA-LSTM模型对每个证型的分类效果，使用了精准率和召回率。图10是DAELA-LSTM模型的混合矩阵，它的横坐标表示真实的8个证型，它的纵坐标表示8个预测的证型。矩阵中的数值，表示对应证型的预测数目。通过混合矩阵可以计算模型的精准率和召回率，二者计算的公式分别定义如下：

TP代表正例预测为正例的数目，FN代表正例预测为负例的数目，FP代表负例预测为正例的数目。对于某一个证型，该证型即为正例，其他证型即为负例。当获得模型的精准率和召回率后可以进一步计算模型的F1分数，具体的计算公式如下：

经过计算，DAELA-LSTM模型F1分数为95.2％，DAELA-LSTM模型在痛经分类任务上表现良好，分类的准确性较高，分类的F1分数较高，可以有效得完成痛经辩证任务。

其他基线模型的分类表现如图11、12所示，图11是DAELA-LSTM模型与基线模型召回率比较图，图12是DAELA-LSTM模型与基线模型的精准率比较图。DAELA-LSTM模型和基线模型准确率和F1分数比较如表6所示。

表6 DAELA-LSTM模型和基线模型准确率和F1分数比较表

基线模型的分类表现如表6所示，表6记录了DAELA-LSTM和基线模型的准确率和F1分数，Softmax回归、BP神经网络、NB模型对应的准确率为87.1％，82.8％，85.0％，均低于DAELA-LSTM模型的95.3％准确率。Softmax回归、BP神经网络、NB模型对应的F1分数为87.2％，80.0％，85.0％，也低于DAELA-LSTM模型的95.2％。图11和图12记录了DAELA-LSTM和基线模型每个类别的召回率和精准率，可以看出DAELA-LSTM的模型相比基线模型在大多数证型的分类效果更好，表现得更为稳定。

DAELA-LSTM模型和三个层次的基线模型进行比较，结果表明，DAELA-LSTM模型在痛经分类任务上的表现均优于三个层次的基线模型。在准确率和F1分数方面，DAELA-LSTM模型的表现基本上高于所有的基线模型。因此，DAELA-LSTM模型在中医痛经分类任务上明显得优于基线方法。是带标签约束的自动编码器重构了特征向量，收集了重构病历数据过程中缺失的部分信息，规范了不同证型之间的差异。因此可以在学习过程中学习到更多的差异化的信息。

需要指明的是，DAELA-LSTM模型和基线模型上都有一定的相关性。比如在中医痛经分类中具体的某一个分类任务上，Softmax回归和DAELA-LSTM模型，都可以通过学习症状特征，从而提取中症状中隐含的信息，达到诊断分类的目的。本质上来说，不同的模型，对应了不同的网络结构和不同的权值和偏值的大小。DAELA-LSTM模型在中医痛经分类任务上表现优于其他模型，是因为能够通过构建独特的网络结构，在训练过程中学习到更加精准的权重和偏值，从而模拟临床中医师完成痛经证型辩证的任务。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于DAELA-LSTM神经网络的痛经中医辨证系统，其特征在于，包括中医痛经症状采集模块、数据处理模块和人机交互设备，

所述中医痛经症状采集模块用于采集中医痛经症状，并将所述中医痛经症状输入到数据处理模块；

所述人机交互设备，包括输入设备和显示设备，所述输入设备用于输入控制指令到所述数据处理模块，所述显示设备接收并显示所述数据处理模块输出的中医痛经证型结果；

所述数据处理模块根据所述中医痛经症状计算出相应的中医痛经证型结果，计算过程包括以下步骤：

S1，将所述中医痛经症状进行矩形量化，获取中医痛经症状特征集；

S2，将所述中医痛经症状特征集输入到预先训练好的深度自动编码器中，输出重构特征向量；

S3，将所述重构特征向量输入预先训练好的LSTM预测中医痛经证型模型中，得出相应的中医痛经证型。

2.如权利要求1所述的一种基于DAELA-LSTM神经网络的痛经中医辨证系统，其特征在于，所述中医痛经症状特征集由二进制数组成，每一位二进制数对应一个非重复中医痛经症状，当病历四诊信息中不具有所述非重复中医痛经症状时，对应的二进制数设置为0，当病历四诊信息中具有所述非重复中医痛经症状时，对应的二进制数设置为1。

3.如权利要求2所述的一种基于DAELA-LSTM神经网络的痛经中医辨证系统，其特征在于，所述深度自动编码器的训练步骤包括：

S21，输入所述中医痛经症状特征集到编码器中，得到重构特征向量；

S22，将所述重构特征向量输入到解码器中，得到解码结果；

S23,通过计算所述中医痛经症状特征集与所述解码结果的误差，调节所述编码器和所述解码器的网络参数；

所述深度自动编码器由所述编码器和所述解码器构成。

4.如权利要求3所述的一种基于DAELA-LSTM神经网络的痛经中医辨证系统，其特征在于，步骤S23中，所述中医痛经症状特征集与所述解码结果的误差的计算公式为：

其中，0≤j≤m，m代表痛经样本数量，θ＝{w,b}代表神经元权值和偏值参数，L(X_j,X'_j)代表损失函数，x_j是输入到编码器中的中医痛经症状特征，x'_j是中医痛经症状特征相应的编码结果。

5.如权利要求3所述的一种基于DAELA-LSTM神经网络的痛经中医辨证系统，其特征在于，所述中医痛经症状特征集中包括169个特征症状，所述重构特征向量是16维的重构特征向量。

6.如权利要求1-5任一所述的一种基于DAELA-LSTM神经网络的痛经中医辨证系统，其特征在于，步骤S2中，将所述中医痛经症状特征集输入到预先训练好的带标签约束的深度自动编码器中，输出优化重构特征向量，所述带标签约束的深度自动编码器是将所述深度自动编码器加入带标签的虚拟分类器后训练得到的。

7.如权利要求6所述的一种基于DAELA-LSTM神经网络的痛经中医辨证系统，其特征在于，训练带标签约束的深度自动编码器的目标函数为

其中，λ代表控制虚拟标签约束重要性的参数，

为深度自动编码器的编码误差计算，

为虚拟层标签误差的计算，Y_j为证型真实标签，Y_j'是虚拟分类器预测的标签，

Y_j'＝(y'₁,y'₂,...y'_j,...y'_n)^T，

其中n＝8，w_ij代表虚拟分类器输入层第i个神经元到输出层第j个神经元的权重，b_i代表虚拟分类器的输出层第i个神经元偏值，O_i是特征编码，m代表痛经样本数量。

8.如权利要求1所述的一种基于DAELA-LSTM神经网络的痛经中医辨证系统，其特征在于，所述LSTM预测中医痛经证型模型的训练包括以下步骤：

S31，通过遗忘门过滤掉无用的信息；

S32，选择记忆学习，并且将学习的记忆保存在记忆单元中；

S33，通过输出门输出隐藏层输出值，并将隐藏层输出值输出到softmax分类器，得到所述中医痛经证型的预测标签；

S34，根据真实值和所述预测标签计算分类误差，并根据所述分类误差反向传播误差，更新网络参数。

9.如权利要求8所述的一种基于DAELA-LSTM神经网络的痛经中医辨证系统，其特征在于，步骤S34中，分类误差的计算采用交叉熵损失函数，计算公式为：

其中，

E_j(Y_j,Y_j')为真实值Y_j和预测标签Y_j'之间的分类误差，m代表痛经样本数量，Y_j'＝(y'₁，y'₂,...y'_j,...y'_n)^T，y'_j是预测标签Y_j'中的值，y_j是真实值Y_j中的值。

10.如权利要求8所述的一种基于DAELA-LSTM神经网络的痛经中医辨证系统，其特征在于，所述LSTM预测中医痛经证型模型输出的中医痛经证型一共有8种类型。

Images