CN113593698B - 一种基于图注意网络的中医证型识别方法 - Google Patents

一种基于图注意网络的中医证型识别方法 Download PDF

Info

Publication number
CN113593698B
CN113593698B CN202110884629.7A CN202110884629A CN113593698B CN 113593698 B CN113593698 B CN 113593698B CN 202110884629 A CN202110884629 A CN 202110884629A CN 113593698 B CN113593698 B CN 113593698B
Authority
CN
China
Prior art keywords
symptom
syndrome
symptoms
probability
syndrome type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110884629.7A
Other languages
English (en)
Other versions
CN113593698A (zh
Inventor
张云
杨世刚
刘勇国
朱嘉静
李巧勤
杨尚明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202110884629.7A priority Critical patent/CN113593698B/zh
Publication of CN113593698A publication Critical patent/CN113593698A/zh
Application granted granted Critical
Publication of CN113593698B publication Critical patent/CN113593698B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明公开了一种基于图注意网络的中医证型识别方法，其包括将多个医案数据进行标准化，并构建训练集，即语料库数据；将语料库中的所有不重复的症状和证型分别建立一个症状集合和一个证型集合；将属于训练集的每个医案数据中的症状各自两两相连作为节点，计算症状集合中两个症状间的点互信息，并利用图注意力网络更新图中的节点；利用注意力机制加权更新后的节点，得到症状的特征向量；将特征向量输入一个线性层进行分类，得到每个证型的概率；结合每个证型的概率与训练集中真实的情况，计算损失函数；根据损失函数进行反向传播，完成模型迭代；将待识别的症状信息输入训练后的模型得到证型识别结果。本发明有效提高了证型识别的准确性。

Description

一种基于图注意网络的中医证型识别方法
技术领域
本发明涉及中医证型识别系统领域，一种基于图注意网络的中医证型识别方法。
背景技术
中医药有超过3000年的历史，为中华人民的医疗健康提供了重要保障。中医诊疗可以划分为3个过程：辨证、立法和组方，其中辨证是医生根据四诊信息综合判断患者目前的状态，得到证型的过程，是决定整个中医诊疗的关键步骤。传统的中医辨证识别方法首先提前预设好每个症状对于每个证型的决定权重，然后计算各个证型的得分，取较高分数的证型作为系统的输出。例如早期的帕金森病中医证型识别系统，其中的证型识别模块通过临床症状来识别早期帕金森病患者的中医证型，该方法将获得的症状对应赋值分别代入四个中医辨证分型判别函数中计算以得到四个对应得分，得分最高对应的中医辨证分型识别为早期帕金森病患者的目标中医辨证分型，但是该方法所得结果准确度不高。
发明内容
针对现有技术中的上述不足，本发明提供的一种基于图注意网络的中医证型识别方法解决了传统方法证型识别结果精确度不高的问题。
为了达到上述发明目的，本发明采用的技术方案为：
提供一种基于图注意网络的中医证型识别方法，其包括以下步骤：
S1、将多个医案数据进行标准化，并构建训练集，用属于训练集的医案数据建立用于模型训练的语料库数据；
S2、将语料库中的所有不重复的症状建立成一个症状集合，将语料库中的所有不重复的证型建立成一个证型集合，并完成初始化；
S3、将属于训练集的每个医案数据中的症状各自两两相连作为节点，计算症状集合中两个症状间的点互信息，并利用图注意网络对节点进行信息更新；
S4、结合点互信息，利用注意力机制加权更新后的节点，得到症状的特征向量；
S5、将特征向量输入一个线性层进行证型分类，得到每个证型的概率；其中概率最高的证型即为证型识别结果；
S6、结合每个证型的概率与训练集中真实的情况，计算损失函数；
S7、根据损失函数进行反向传播，完成模型迭代；
S8、将待识别的症状信息输入训练后的模型得到证型识别结果。
进一步地，步骤S2初始化时，每个症状随机初始化为100维向量，训练批处理大小设置为32，学习率设置为0.001，迭代轮次设置为20。
进一步地，步骤S3的具体方法为：
根据公式：
Figure BDA0003193570260000021
Figure BDA0003193570260000022
scorej＝cos(hj,hi)
Figure BDA0003193570260000023
获取更新后的节点信息h′i；其中h′i为更新后的节点信息，即更新后的症状si的特征向量，hi为更新前的节点信息，即更新前的症状si的特征向量，hj为症状si的相邻症状sj的特征向量，α为权重调节系数，|Ni|为症状si的相邻症状集合Ni的大小，βj为症状si与相邻症状sj的相似度，e为自然对数，scorej为症状si与相邻症状sj的余弦分数，cos(·)为余弦函数，
Figure BDA0003193570260000031
为症状si和症状sj的点互信息，P(si,sj)为症状si和症状sj出现在同一个医案数据中的概率，P(si)为症状si出现的概率，P(sj)为症状sj出现的概率，log[·]为对数函数，|·|为取模。
进一步地，步骤S4的具体方法为：
根据公式：
Figure BDA0003193570260000032
Figure BDA0003193570260000033
Figure BDA0003193570260000034
获取症状的特征向量H；其中γi为经过softmax归一化的症状si的权重，|X|为一个医案数据中症状的个数，attentioni为中间参数，
Figure BDA0003193570260000035
为节点特征向量h′i的加权参数，且在训练开始时获得随机初始化，*为点积。
进一步地，步骤S6的具体方法为：
根据公式：
Figure BDA0003193570260000036
获取损失函数L；ci为线性层的输出，即第i个证型的概率，yi为输出的概率与真实情况的比较结果，若输出的概率与真实情况相等则yi＝1，否则yi＝0，|T|为输出证型的类别数，log为对数函数。
本发明的有益效果为：在大规模语料库上进行训练，利用图注意网络的节点信息更新过程融合了症状间的点互信息，能够更好地建立症状间的联系，更好地表示症状特征；在图信息导出时，利用注意力机制对各个症状节点信息分配权重，能够有效提升证型识别结果的准确度。
附图说明
图1为本发明的流程图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，该基于图注意网络的中医证型识别方法包括以下步骤：
S1、将多个医案数据进行标准化，并构建训练集，用属于训练集的医案数据建立用于模型训练的语料库数据；
S2、将语料库中的所有不重复的症状建立成一个症状集合，将语料库中的所有不重复的证型建立成一个证型集合，并完成初始化；
S3、将属于训练集的每个医案数据中的症状各自两两相连作为节点，计算症状集合中两个症状间的点互信息，并利用图注意网络对节点进行信息更新；
S4、结合点互信息，利用注意力机制加权更新后的节点，得到症状的特征向量；
S5、将特征向量输入一个线性层进行证型分类，得到每个证型的概率；其中概率最高的证型即为证型识别结果；
S6、结合每个证型的概率与训练集中真实的情况，计算损失函数；
S7、根据损失函数进行反向传播，完成模型迭代；
S8、将待识别的症状信息输入训练后的模型得到证型识别结果。
步骤S2初始化时，每个症状随机初始化为100维向量，训练批处理大小设置为32，学习率设置为0.001，迭代轮次设置为20。
步骤S3的具体方法为：
根据公式：
Figure BDA0003193570260000051
Figure BDA0003193570260000052
scorej＝cos(hj,hi)
Figure BDA0003193570260000053
获取更新后的节点信息h′i；其中h′i为更新后的节点信息，即更新后的症状si的特征向量，hi为更新前的节点信息，即更新前的症状si的特征向量，hj为症状si的相邻症状sj的特征向量，α为权重调节系数，|Ni|为症状si的相邻症状集合Ni的大小，βj为症状si与相邻症状sj的相似度，e为自然对数，scorej为症状si与相邻症状sj的余弦分数，cos(·)为余弦函数，
Figure BDA0003193570260000054
为症状si和症状sj的点互信息，P(si,sj)为症状si和症状sj出现在同一个医案数据中的概率，P(si)为症状si出现的概率，P(sj)为症状sj出现的概率，log[·]为对数函数，|·|为取模。
步骤S4的具体方法为：
根据公式：
Figure BDA0003193570260000061
Figure BDA0003193570260000062
Figure BDA0003193570260000063
获取症状的特征向量H；其中γi为经过softmax归一化的症状si的权重，|X|为一个医案数据中症状的个数，attentioni为中间参数，
Figure BDA0003193570260000064
为节点特征向量h′i的加权参数，且在训练开始时获得随机初始化，*为点积。
步骤S6的具体方法为：
根据公式：
Figure BDA0003193570260000065
获取损失函数L；ci为线性层的输出，即第i个证型的概率，yi为输出的概率与真实情况的比较结果，若输出的概率与真实情况相等则yi＝1，否则yi＝0，|T|为输出证型的类别数，log为对数函数。
训练集中的每个医案数据的症状都可表示为向量，该向量来自于症状嵌入矩阵，训练开始时，该矩阵进行一次随机初始化，并利用多个医案数据构建训练集和测试集，训练结束后，利用测试集对训练结果进行测试，以检测训练结果是否准确。
本发明在大规模语料库上进行训练，利用图注意网络的节点信息更新过程融合了症状间的点互信息，能够更好地建立症状间的联系，更好地表示症状特征；在图信息导出时，利用注意力机制对各个症状节点信息分配权重，能够有效提升证型识别结果的准确度。

Claims (3)

1.一种基于图注意网络的中医证型识别方法，其特征在于，包括以下步骤：
S1、将多个医案数据进行标准化，并构建训练集，用属于训练集的医案数据建立用于模型训练的语料库数据；
S2、将语料库中的所有不重复的症状建立成一个症状集合，将语料库中的所有不重复的证型建立成一个证型集合，并完成初始化；
S3、将属于训练集的每个医案数据中的症状各自两两相连作为节点，计算症状集合中两个症状间的点互信息，并利用图注意网络对节点进行信息更新；具体方法为：
根据公式：
Figure FDA0004131195460000011
Figure FDA0004131195460000012
scorej＝cos(hj,hi)
Figure FDA0004131195460000013
获取更新后的节点信息hi′；其中hi′为更新后的节点信息，即更新后的症状si的特征向量，hi为更新前的节点信息，即更新前的症状si的特征向量，hj为症状si的相邻症状sj的特征向量，α为权重调节系数，|Ni|为症状si的相邻症状集合Ni的大小，βj为症状si与相邻症状sj的相似度，e为自然对数，scorej为症状si与相邻症状sj的余弦分数，cos(·)为余弦函数，
Figure FDA0004131195460000014
为症状si和症状sj的点互信息，P(si,sj)为症状si和症状sj出现在同一个医案数据中的概率，P(si)为症状si出现的概率，P(sj)为症状sj出现的概率，log[·]为对数函数，|·|为取模；
S4、结合点互信息，利用注意力机制加权更新后的节点，得到症状的特征向量；具体方法为：
根据公式：
Figure FDA0004131195460000021
Figure FDA0004131195460000022
Figure FDA0004131195460000023
获取症状的特征向量H；其中γi为经过softmax归一化的症状si的权重，|X|为一个医案数据中症状的个数，attentioni为中间参数，
Figure FDA0004131195460000024
为节点特征向量hi′的加权参数，且在训练开始时获得随机初始化，*为点积；
S5、将特征向量输入一个线性层进行证型分类，得到每个证型的概率；其中概率最高的证型即为证型识别结果；
S6、结合每个证型的概率与训练集中真实的情况，计算损失函数；
S7、根据损失函数进行反向传播，完成模型迭代；
S8、将待识别的症状信息输入训练后的模型得到证型识别结果。
2.根据权利要求1所述的一种基于图注意网络的中医证型识别方法，其特征在于，步骤S2初始化时，每个症状随机初始化为100维向量，训练批处理大小设置为32，学习率设置为0.001，迭代轮次设置为20。
3.根据权利要求1所述的一种基于图注意网络的中医证型识别方法，其特征在于，步骤S6的具体方法为：
根据公式：
Figure FDA0004131195460000025
获取损失函数L；ci为线性层的输出，即第i个证型的概率，yi为输出的概率与真实情况的比较结果，若输出的概率与真实情况相等则yi＝1，否则yi＝0，|T|为输出证型的类别数，log为对数函数。
CN202110884629.7A 2021-08-03 2021-08-03 一种基于图注意网络的中医证型识别方法 Active CN113593698B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110884629.7A CN113593698B (zh) 2021-08-03 2021-08-03 一种基于图注意网络的中医证型识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110884629.7A CN113593698B (zh) 2021-08-03 2021-08-03 一种基于图注意网络的中医证型识别方法

Publications (2)

Publication Number Publication Date
CN113593698A CN113593698A (zh) 2021-11-02
CN113593698B true CN113593698B (zh) 2023-04-18

Family

ID=78254495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110884629.7A Active CN113593698B (zh) 2021-08-03 2021-08-03 一种基于图注意网络的中医证型识别方法

Country Status (1)

Country Link
CN (1) CN113593698B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114154514B (zh) * 2022-02-07 2022-04-12 北京三子健康科技有限公司 一种中医证型识别方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110223749A (zh) * 2019-06-14 2019-09-10 电子科技大学 基于pcnn网络和注意力机制的中医辨证辅助决策方法
CN111538819A (zh) * 2020-03-27 2020-08-14 北京工商大学 一种基于文档集多跳推理的问答系统的构建方法
CN111834012A (zh) * 2020-07-14 2020-10-27 中国中医科学院中医药信息研究所 基于深度学习和注意力机制的中医证候诊断方法及装置
CN112434720A (zh) * 2020-10-22 2021-03-02 暨南大学 一种基于图注意力网络的中文短文本分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110619123B (zh) * 2019-09-19 2021-01-26 电子科技大学 一种机器阅读理解方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110223749A (zh) * 2019-06-14 2019-09-10 电子科技大学 基于pcnn网络和注意力机制的中医辨证辅助决策方法
CN111538819A (zh) * 2020-03-27 2020-08-14 北京工商大学 一种基于文档集多跳推理的问答系统的构建方法
CN111834012A (zh) * 2020-07-14 2020-10-27 中国中医科学院中医药信息研究所 基于深度学习和注意力机制的中医证候诊断方法及装置
CN112434720A (zh) * 2020-10-22 2021-03-02 暨南大学 一种基于图注意力网络的中文短文本分类方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Anuraj Mohan 等.Temporal network embedding using graph attention network.Complex &amp Intelligent Systems.2021,第8卷13-27. *
Yahui Long 等.Ensembling graph attention networks for human microbe-drug association prediction.Bioinformatics.2020,第36卷(第2期),1-8. *
刘晓聪 等.医学文本表示学习方法与质量评测研究综述.计算机应用研究.2021,第38卷(第7期),1930-1936,1946. *
胡杨.面向智能中医辅助诊疗的多注意力和知识辅助神经网络设计研究.中国博士学位论文全文数据库 医药卫生科技辑.2021,(第05期),E056-3. *

Also Published As

Publication number Publication date
CN113593698A (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
CN108171209B (zh) 一种基于卷积神经网络进行度量学习的人脸年龄估计方法
Alqudah et al. COVID-19 detection from x-ray images using different artificial intelligence hybrid models
CN109620152B (zh) 一种基于MutiFacolLoss-Densenet的心电信号分类方法
CN110739070A (zh) 一种基于3d卷积神经网络的脑疾病诊断方法
CN111488914B (zh) 一种基于多任务学习的阿尔茨海默症分类及预测系统
CN107180155B (zh) 一种基于异构集成模型的疾病预测系统
CN108427921A (zh) 一种基于卷积神经网络的人脸识别方法
CN111000553B (zh) 一种基于投票集成学习的心电数据智能分类方法
CN111582396B (zh) 一种基于改进卷积神经网络的故障诊断方法
CN111563549B (zh) 基于多任务进化算法的医学图像聚类方法
CN111803059A (zh) 一种基于时域卷积网络的心电信号分类方法及装置
CN113593698B (zh) 一种基于图注意网络的中医证型识别方法
CN116959725A (zh) 一种多模态数据融合的疾病风险预测方法
CN113095382A (zh) 基于ct图像的可解释性肺结核分类网络识别方法
CN114792385A (zh) 一种金字塔分离双注意力的少样本细粒度图像分类方法
CN111261283B (zh) 基于金字塔型卷积层的心电信号深度神经网络建模方法
CN113257410A (zh) 一种基于中医临床医疗知识库和深度学习模型的问诊方法
CN113476065B (zh) 一种多类肺炎诊断系统
CN116797817A (zh) 基于自监督图卷积模型的自闭症疾病预测技术
CN113705092B (zh) 基于机器学习的疾病预测方法及装置
CN110265151B (zh) 一种基于ehr中异构时态数据的学习方法
CN110084110B (zh) 一种近红外人脸图像识别方法、装置、电子设备及存储介质
CN114093427A (zh) 一种基于深度学习和机器学习的抗病毒肽预测方法
CN111657914A (zh) 基于深度学习的心电图形态的识别方法和装置
Sunyoto et al. The Performance Evaluation of Transfer Learning VGG16 Algorithm on Various Chest X-ray Imaging Datasets for COVID-19 Classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant