CN112053785A - 基于冠心病诊断神经网络模型冠心病诊断方法及系统 - Google Patents

基于冠心病诊断神经网络模型冠心病诊断方法及系统 Download PDF

Info

Publication number
CN112053785A
CN112053785A CN202010908623.4A CN202010908623A CN112053785A CN 112053785 A CN112053785 A CN 112053785A CN 202010908623 A CN202010908623 A CN 202010908623A CN 112053785 A CN112053785 A CN 112053785A
Authority
CN
China
Prior art keywords
heart disease
coronary heart
neural network
network model
disease diagnosis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010908623.4A
Other languages
English (en)
Inventor
杜强
李剑楠
郭雨晨
聂方兴
张兴
唐超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xbentury Network Technology Co ltd
Original Assignee
Beijing Xbentury Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xbentury Network Technology Co ltd filed Critical Beijing Xbentury Network Technology Co ltd
Priority to CN202010908623.4A priority Critical patent/CN112053785A/zh
Priority to CN202011386089.1A priority patent/CN112270997A/zh
Publication of CN112053785A publication Critical patent/CN112053785A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Medicinal Chemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明公开了一种基于冠心病诊断神经网络模型冠心病诊断方法及系统，该方法包括步骤：输入关于症状基本要素和其他特征的一个或几个词；将词输入预先训练完成的冠心病诊断神经网络模型，获得并输出患者的证候要素、证候、治法和/或药材基本要素信息。本实施例基于改进的Transformer模型是一种可以应用在中医复杂辩证思维的模型，模型为端对端模型，改进的Transformer模型中的Transformer模块映射关系不仅能解决线性映射关系，同时会有自适应模块，这种映射关系恰好满足了我们的需求去解决上述症状输入包括多种特征的情况下正确的药材对应关系，也使整个诊断结果更加准确。

Description

基于冠心病诊断神经网络模型冠心病诊断方法及系统
技术领域
本发明涉及疾病诊断方法，具体涉及基于冠心病诊断神经网络模型冠心病诊断方法及系统。
背景技术
随着互联网上社交方面以及专业领域自然语言数据的大规模增长，各种自然语言处理技术受到广泛的关注和应用。中医由于其特有的诊断方式，受到很多病患和研究人员的推崇。但是因为很多中医上的概念无法像西医一样可以量化，所以用深度学习或者其他算法来模拟和统计中医经验变得极其困难。
中医根据其各个流派，诊断过程也会略有所不同。为了能够模拟出中医诊断思路从而开具处方的过程，利用和修改现有的自然语音识别语义理解模型来开具处方，中医的诊断流程具体如图1所示，中医讲究辩证，即通过望闻问切四诊收集到的东西综合分析，辨别清楚病人的病因，性质，部位和邪正之间的关系，然后推演出证候；所以确定合理的症候，再围绕症候开具处方成为了很关键的一步。经过与中医反复地讨论和摸索，构想出如图1的诊断过程：其中“1”代表通过病人的系列症状来判断证候要素的过程，“2”通过证候要素来确定治疗方法，“3”根据治疗方法给病人开具药方，“4”在主要推演过程中(“123”)，病人可能会有一些症状，证候要素无法覆盖，需要额外去处理，这样来确定治疗方法。“5”最终，有需要对病人的一些症状或体征进行特殊处理，比如病人有哮喘的症状，则对一些药物需要特殊禁忌，或者少开或者就需要从处方中去掉。
现在的几种类型的中医诊疗方法的研究，没有一个合理的决策系统来实现病人的自然语言处理到开具药方的过程；传统的方法，比较合理的是基于决策树的决策系统，该模型如下公式1的层级式决策类模型结构：
f(X)＝Pn(…P2(P1(x1),x2)…,xn), 公式1
X＝{x1,x2,x3,x4,x5…,xn}；x为输入症状 公式2
上述这种带有层级式的模型，存在以下问题：
(1)实用性问题：病人需要一层一层的根据系统的提示回答症状，这种方法虽然在某种程度上增加了准确率，但是随着系统的逻辑变得复杂，需要回答的问题也越来越多，可能需要回答大概20～30个问题，才能够得到答案，运用起来繁琐且麻烦。
(2)症状的输入顺序问题：某一症状的先输入和后输入可能会有完全不一样的输出结果，这其中最大的问题就是该系统会随着症状的增多，而变得越来越复杂。
有鉴于此，亟需提供一种将中医的诊断思维进行模拟，并生成有效处方的冠心病诊断方法。
发明内容
为了解决上述技术问题，本发明所采用的技术方案是提供了一种基于冠心病诊断神经网络模型冠心病诊断方法，包括以下步骤：
S1、输入关于症状基本要素和其他特征的一个或几个词；其他特征可为根据用户需求输入的性别、年龄、病史等等附属特征；
将词输入预先训练完成的冠心病诊断神经网络模型，获得并输出患者的证候要素、证候、治法和/或药材基本要素信息；
所述冠心病诊断神经网络模型为改进的Transformer模型，包括Embedding模块和三个Transformer模块，分别为Transformer1、Transformer2和Transformer3；
两个Transformer模块之间设置连接一concat+Linear模块，分别为concat+Linear1与concat+Linear2；
Embedding模块分别输出连接第一Transformer1、concat+Linear1和concat+Linear2；
Transformer1与Transformer2分别连接一Linear模块。
在上述方法中，所述Transformer模块包括Multihead Attention层与Feedforward层，其中
Multihead Attention层完成以下计算：
Q＝QWQ,K＝KWK,V＝VWV
head＝Attention(Q,K,V)
Attention(Q,K,V)＝V×Softmax(KWa×QWb)
其中，所有的W都是可学习变量，初始时刻初始化为服从正态分布的随机数，再由数据进行驱动，进行梯度反向传播，Q,K,V分别表示Queue,Key和Value向量。
在上述方法中，所述Embedding模块包括
Embedding模块与segment Embedding模块构成，Embedding模块用于处理输入的症状要素，segment Embedding模块用于处理输入的症状以外的要素；即
Embeddingall＝Embeddingseg+Embedding{features}。
在上述方法中，所述Embedding模块是将各个症状分别投射到64维向量。
本发明还提供了一种基于冠心病诊断神经网络模型冠心病诊断系统，包括
输入单元：输入关于症状基本要素和其他特征的一个或几个词；
诊断单元：将词输入预先训练完成的冠心病诊断神经网络模型，从而获得患者的证候要素、证候、治法和/或药材基本要素信息；
输出单元：输出患者的证候要素、证候、治法或药材基本要素信息；
其中，
所述诊疗神经网络模型包括所述冠心病诊断神经网络模型为改进的Transformer模型，包括Embedding模块和三个Transformer模块，分别为Transformer1、Transformer2和Transformer3；
两个Transformer模块之间设置连接一concat+Linear模块，分别为concat+Linear1与concat+Linear2；
Embedding模块分别输出连接第一Transformer1、concat+Linear1和concat+Linear2；
Transformer1与Transformer2分别连接一Linear模块。
在上述方案中，所述诊断单元包括训练子单元，包括
数据输入模块：用于获取历史的症状数据集合；
初始诊断模块：将症状数据集合随机分成训练集、验证集与测试集；再分别将相应的训练集、验证集中的医案数据输入至初始冠心病诊断神经网络模型进行模型训练，当达到训练条件时停止训练，得到训练好的冠心病诊断神经网络模型。
在上述方案中，所述Transformer模块包括Multihead Attention层与Feedforward层，其中
Multihead Attention层完成以下计算：
Q＝QWQ,K＝KWK,V＝VWV
head＝Attention(Q,K,V)
Attention(Q,K,V)＝V×Softmax(KWa×QWb)
其中，所有的W都是可学习变量，初始时刻初始化为服从正态分布的随机数，再由数据进行驱动，进行梯度反向传播。
本发明还提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一项所述基于冠心病诊断神经网络模型冠心病诊断方法。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述基于冠心病诊断神经网络模型冠心病诊断方法。
本发明本实施例基于改进的Transformer模型是一种可以应用在中医复杂辩证思维的模型，模型为端对端模型，在一端可输入症状，性别，病史等特征，中间过程输出症候要素，治疗方法，药材；遵从整个医生推演过程，且本实施例使用神经网络来进行中医推演的好处就是能够重复学习，提高整个网络模型诊断结果准确率；另外本实施例改进的Transformer模型中的Transformer模块映射关系不仅能解决线性映射关系，同时会有自适应模块，这种映射关系恰好满足了我们的需求去解决上述症状输入包括多种特征的情况下正确的药材对应关系，也使整个诊断结果更加准确。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的现有中医诊疗推演方法示意图；
图2为本发明提供的方法流程示意图；
图3为本发明冠心病诊断神经网络模型结构示意框图；
图4为本发明提供的Transformer模块结构示意框图；
图5为本发明提供的系统示意框图；
图6为本发明提供的计算机设备结构示意框图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语"中心"、"纵向"、"横向"、"长度"、"宽度"、"厚度"、"上"、"下"、"前"、"后"、"左"、"右"、"竖直"、"水平"、"顶"、"底"、"内"、"外"、"顺时针"、"逆时针"等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语"第一"、"第二"仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有"第一"、"第二"的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，"多个"的含义是两个或两个以上，除非另有明确具体的限定。此外，术语"安装"、"相连"、"连接"应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
下面结合具体实施方式和说明书附图对本发明做出详细的说明。
如图2所示，本发明提供了一种基于冠心病诊断神经网络模型冠心病诊断方法，包括以下步骤：
S1、输入关于症状基本要素和其他特征的一个或几个词；其他特征可为根据用户需求输入的性别、年龄、病史等等附属特征。本实施例中，所有的参数(基本要素和其他特征)和映射关系都一同读取到内存或者读取到显存之中，并且在训练过程中不断更新，最后训练完成的模型可以集中打包保存。
S2、将词输入预先训练完成的冠心病诊断神经网络模型，获得并输出患者的证候要素、证候、治法和/或药材基本要素信息；
如图3所示，所述冠心病诊断神经网络模型为改进的Transformer模型，包括Embedding模块和三个Transformer模块，分别为Transformer1、Transformer2和Transformer3；
两个Transformer模块之间设置连接一concat+Linear模块，分别为concat+Linear1与concat+Linear2；
Embedding模块分别输出连接第一Transformer1、concat+Linear1和concat+Linear2；
Transformer1与Transformer2分别连接一Linear模块；
本实施例，Transformer模块的主要功能是对输入进行分组，然后根据分组后的内容进行判定后给出结果。Linear模块实现的是线性和非线性映射，Transformer模块相当于对输入信息进行逻辑判断，例如输入为：冠心病，心悸，胸痛，固定位置疼痛，胸闷，眠差，舌淡红，脉弦数，进行逻辑分组判断的是Transformer模块，判断结束后，还需要将空间向量向onehot向量进行映射，这部分的映射过程使用Linear模块来实现。
本实施例中，Linear模块是一个能够进行线性或者非线性的神经元结构，每一层神经元都是通过一个激活函数加上一个线性映射构成，具体如下:
y＝sigmoid(wx+b)
Figure BDA0002662434230000071
多个这样的神经元进行叠加，就组成了一个MLP(multilayer perceptron)模块，这个是一个深度学习比较常用的分类器。本实施例用Transformer模块来替代MLP(也就是Linear模块)；且Transformer模块结构如图4所示，包括Multihead Attention层与Feedforward层；
本实施例，Multihead Attention层具体完成以下计算：
Q＝QWQ,K＝KWK,V＝VWV
head＝Attention(Q,K,V)
Attention(Q,K,V)＝V×Softmax(KWa×QWb)
其中，所有的W都是可学习变量，初始时刻初始化为服从正态分布的随机数，再由数据进行驱动，进行梯度反向传播。
如图4模型结构所示，本实施例中，Embedding模块是将各个症状分别投射到64维向量，即，每个症状都可以用64维向量来表示，或者说，每个症状都可以用64个特征来描述，该设置的有点在于，如果特征个数设置过大或者过小都会影响实验结果准确性，这也说明了，目前的有效症状维度仅仅需要64就足够。
本实施例模型采用单输入多输出(症状输入，症候要素、治疗方法、药材输出)的策略对网络进行训练，但是真实数据当中可能会有不全面的输入，针对训练过程中真实出现的情况，真实的医案很难有理想情况下的，症状-证候要素-治疗方法-药材，都齐全的数据，更多情况是症状-药材对应或者是症状-证候要素这样的对应关系。训练过程中如果只以症状作为输入，证候要素作为输出，那么训练过程就只更新症状到证候要素这段网络的参数，如果输入为症状，输出为药材，那么就需要更新整个网络，从症状到证候要素到治疗方法到药材。例如，有些只有症状-症候要素，有些只有症状-药材。在训练过程中，如果只有症候要素输出，那么会对症候要素之后的网络冻结(由于网络中所有参数都是可以通过梯度进行更新的，而把这部分网络冻结指的就是不更新这里边的参数，这样的处理方式可以让网络不更新部分按照之前的参数进行推演，而更新的部分则根据每一对数据进行梯度反传，从而达到学习的目的，参数不更新)，如果只有治法，就将治法之后的网络冻结，药材则没有网络冻结。
本实施例考虑真实场景下，病人对于症状的描述很有可能是没有任何顺序在里边的。然而神经网络的输入实际上是有顺序的，为了解决这个问题，本实施例将参数进行一步固定，也就是将600症状，放到600维的向量上，每个维度代表一个固定的症状。
如图2中，模型输入为1000维向量，用来表示600不同症状，其余400留做后备添加额外症状，Embedding模块和各层Transformer模块的输出都是64维的向量，concat+linear中的concat是将linear输出的64维向量进行症候要素输出80维，治法80维，药材输出1000维。这里的80维，相当于80位占位符，每一个位置代表一个输出的可能性，需要与实际输出对应。在各个linear模块之间，需要64维度特征进行信息传递，这64个维度每一个维度都是自由参数，通过实际任务的梯度反向传播过程决定每个维度的含义。
本实施例优选，中医输入的空间拓展可以参照BERT模型处理输入的方法，即模型中Embedding模块包括Embedding模块与segment Embedding模块构成，Embedding模块用于处理输入的症状要素，segment Embedding模块用于处理输入的症状以外的要素；即
Embeddingall＝Embeddingseg+Embedding{features}
举例来说，比如用户输入的不仅仅是症状，决定最后的药材，还有输入性别，病史等特征，但是对于性别、病史，不能够完全当成症状去处理，应该区别对待。所以需要将不同的特征类型投射到不同的空间，再进行Embedding操作。
下面具体说明本实施例使用Transformer模型对冠心病进行诊断的思路及好处。
本实施例将改进的Transformer模型理解成一种能够提取症状之间关系的特殊Linear，而Linear结构就是简单的线性映射。接下来就是关于真实案例的分析：
病例1。
症状输入：冠心病，心悸，胸痛，固定位置疼痛，胸闷，眠差，舌淡红，脉弦数；
症候要素：血瘀；
治疗方法：活血化瘀，通络止痛；
药材：丹参，赤芍，红花，川芎，降香，桂枝，牡蛎，龙骨，白芍，大枣，生姜，丹皮，茯苓，泽泻，白芷，防风，黄芪，天麻，藿香，炙甘草；
通过症状“固定位置疼痛，胸痛”可以确定病人具有明显的血瘀的症候，所以这两个症状说明病人有血瘀的症状，对应的治疗方法是以活血化瘀为主，活血化瘀常用药物配置为丹参，赤芍，红花，降香，桂枝，再辅以生姜等活血功效的药材。另外的其他药材，都是用来解决病人其他的症状和问题(如眠差，舌淡红)，这种症状到药材的对应关系，在确定了主要药物之后也要有所体现。可以通过下边的模型来还原医生诊断过程中的思维场景。
F思维模型(X)＝P3(P2(P1(X),P4(X)),P5(X))
本实施例完全可以用线性映射(Linear)来表示所有的映射关系P1～5，但是对于P1～3而言，因为关系比较复杂，不能完全用Linear来解决。还有可能有一种情况线性映射无法完全解决，那就是症状之间存在关系。举例来说，症状A导致一种证候要素，但是如果出现症状B的情况下，证候要素就会完全改变。对于这种关系，Linear不能完美解决。所以就需要一种新的映射关系来解决这个问题，这种“相互依赖，共同决定”的关系用本实施例提出的Transformer模块即可解决，transformer的映射关系不仅能解决线性映射关系，同时会有自适应模块，这种映射关系恰好满足了我们的需求去解决上述症状输入包括多种特征的情况下正确的药材对应关系，也使整个诊断结果更加准确。
本实施例，冠心病诊断神经网络模型通过以下方法进行训练：
将症状数据集合随机分成训练集、验证集与测试集；再分别将相应的训练集、验证集中的医案数据输入至初始冠心病诊断神经网络模型进行模型训练，当达到训练条件时停止训练，得到训练好的冠心病诊断神经网络模型。
在训练过程中，数据的输入可以是症状对应证候要素对应药材；症状、证候要素对应药材。然而在预测过程中模型只需要对症状进行判断，给出预测的证候要素合药材即可。不同输入条件的设计是为了应对不同数据形态训练网络的要求。
本实施例基于改进的Transformer模型是一种可以应用在中医复杂辩证思维的模型，模型为端对端模型，在一端可输入症状，性别，病史等特征，中间过程输出症候要素，治疗方法，药材；遵从整个医生推演过程，且本实施例使用神经网络来进行中医推演的好处就是能够重复学习，所谓重复学习意思就是，数据里边神经网络能够达到90％的效果，如果有新的数据，可以继续输入到神经网络里边，把之前的神经网络当成与训练的网络进行继续训练。这样神经网络就可以在之前的网络基础上进一步学习，就像是人的学习过程一样，如果新的知识与旧的知识又冲突，将按照新的知识为准，同时很多之前的知识也没有被忘掉，提高整个网络模型诊断结果准确率，当然这也是神经网络优于其他算法结构的地方。
如图5所示，本发明还提供了基于冠心病诊断神经网络模型冠心病诊断系统，包括
输入单元：输入关于症状基本要素和其他特征的一个或几个词；
诊断单元：将词输入预先训练完成的冠心病诊断神经网络模型，从而获得患者的证候要素、证候、治法和/或药材基本要素信息；
输出单元：输出患者的证候要素、证候、治法或药材基本要素信息；
其中，
所述诊疗神经网络模型包括所述冠心病诊断神经网络模型为改进的Transformer模型，包括Embedding模块和三个Transformer模块，分别为Transformer1、Transformer2和Transformer3；
两个Transformer模块之间设置连接一concat+Linear模块，分别为concat+Linear1与concat+Linear2；
Embedding模块分别输出连接第一Transformer1、concat+Linear1和concat+Linear2；
Transformer1与Transformer2分别连接一Linear模块。
本实施例中，Linear模块是一个能够进行线性或者非线性的神经元结构，每一层神经元都是通过一个激活函数加上一个线性映射构成，具体如下:
y＝sigmoid(wx+b)
Figure BDA0002662434230000121
多个这样的神经元进行叠加，就组成了一个MLP(multilayer perceptron)模块，是一个深度学习比较常用的分类器。本实施例用Transformer模块来替代MLP(也就是Linear模块)；且Transformer模块包括Multihead Attention层与Feedforward层；
本实施例，Multihead Attention层具体完成以下计算：
Q＝input×WQ,K＝input×WK,V＝input×WV
head＝Attention(Q,K,V)
Attention(Q,K,V)＝V×Softmax(KWa×QWb)
其中，所有的W都是可学习变量，初始时刻初始化为服从正态分布的随机数，再由数据进行驱动，进行梯度反向传播，Q,K,V分别表示论文中提到的Queue,Key和Value向量，Wa和Wb是为了区分K向量通过的参数和Q向量通过的参数有所不同。
本实施例中，Embedding模块是将600个症状投射到60维向量，即，每个症状都可以用64维向量来表示，或者说，每个症状都可以用64个特征来描述，该设置的有点在于，如果特征设置过大或者过小都会影响实验结果准确性，这也说明了，目前的有效症状维度仅仅需要64就足够。
本实施例优选，中医输入的空间拓展可以参照BERT模型处理输入的方法，即模型中Embedding模块包括Embedding模块与segment Embedding模块构成，Embedding模块用于处理输入的症状要素，segment Embedding模块用于处理输入的症状以外的要素；即
Embeddingall＝Embeddingseg+Embedding{features}
本实施例，诊断单元还包括模型训练子单元，用于训练初始冠心病诊断神经网络模型，获得冠心病诊断神经网络模型；包括
数据输入模块：用于获取历史的症状数据集合；
初始诊断模块：将症状数据集合随机分成训练集、验证集与测试集；再分别将相应的训练集、验证集中的医案数据输入至初始冠心病诊断神经网络模型进行模型训练，当达到训练条件时停止训练，得到训练好的冠心病诊断神经网络模型。
如图6所示，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中基于冠心病诊断神经网络模型冠心病诊断方法，或者计算机程序被处理器执行时实现上述实施例中基于冠心病诊断神经网络模型冠心病诊断方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.基于冠心病诊断神经网络模型冠心病诊断方法，其特征在于，包括以下步骤：
S1、输入关于症状基本要素和其他特征的一个或几个词；其他特征可为根据用户需求输入的性别、年龄、病史等等附属特征；
将词输入预先训练完成的冠心病诊断神经网络模型，获得并输出患者的证候要素、证候、治法和/或药材基本要素信息；
所述冠心病诊断神经网络模型为改进的Transformer模型，包括Embedding模块和三个Transformer模块，分别为Transformer1、Transformer2和Transformer3；
两个Transformer模块之间设置连接一concat+Linear模块，分别为concat+Linear1与concat+Linear2；
Embedding模块分别输出连接第一Transformer1、concat+Linear1和concat+Linear2；
Transformer1与Transformer2分别连接一Linear模块。
2.如权利要求1所述的基于冠心病诊断神经网络模型冠心病诊断方法，其特征在于，所述Transformer模块包括Multihead Attention层与Feedforward层，其中
Multihead Attention层完成以下计算：
Q＝QWQ，K＝KWK，V＝VWV
head＝Attention(Q，K，V)
Attention(Q，K，V)＝V×Softmax(KWa×QWb)
其中，所有的W都是可学习变量，初始时刻初始化为服从正态分布的随机数，再由数据进行驱动，进行梯度反向传播，Q，K，V分别表示Queue，Key和Value向量。
3.如权利要求1所述的基于冠心病诊断神经网络模型冠心病诊断方法，其特征在于，所述Embedding模块包括
Embedding模块与segment Embedding模块构成，Embedding模块用于处理输入的症状要素，segment Embedding模块用于处理输入的症状以外的要素；即
Embeddingall＝Embeddingseg+Embedding{features}。
4.如权利要求1-3任意一项所述的基于冠心病诊断神经网络模型冠心病诊断方法，其特征在于，所述Embedding模块是将各个症状分别投射到64维向量。
5.基于冠心病诊断神经网络模型冠心病诊断系统，其特征在于，包括
输入单元：输入关于症状基本要素和其他特征的一个或几个词；
诊断单元：将词输入预先训练完成的冠心病诊断神经网络模型，从而获得患者的证候要素、证候、治法和/或药材基本要素信息；
输出单元：输出患者的证候要素、证候、治法或药材基本要素信息；
其中，
所述诊疗神经网络模型包括所述冠心病诊断神经网络模型为改进的Transformer模型，包括Embedding模块和三个Transformer模块，分别为Transformer1、Transformer2和Transformer3；
两个Transformer模块之间设置连接一concat+Linear模块，分别为concat+Linear1与concat+Linear2；
Embedding模块分别输出连接第一Transformer1、concat+Linear1和concat+Linear2；
Transformer1与Transformer2分别连接一Linear模块。
6.如权利要求5所述的基于冠心病诊断神经网络模型冠心病诊断系统，其特征在于，所述诊断单元包括训练子单元，包括
数据输入模块：用于获取历史的症状数据集合；
初始诊断模块：将症状数据集合随机分成训练集、验证集与测试集；再分别将相应的训练集、验证集中的医案数据输入至初始冠心病诊断神经网络模型进行模型训练，当达到训练条件时停止训练，得到训练好的冠心病诊断神经网络模型。
7.如权利要求6所述的基于冠心病诊断神经网络模型冠心病诊断系统，其特征在于，所述Transformer模块包括Multihead Attention层与Feedforward层，其中
Multihead Attention层完成以下计算：
Q＝QWQ，K＝KWK，V＝VWV
head＝Attention(Q，K，V)
Attention(Q，K，V)＝V×Softmax(KWa×QWb)
其中，所有的W都是可学习变量，初始时刻初始化为服从正态分布的随机数，再由数据进行驱动，进行梯度反向传播。
8.计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述基于冠心病诊断神经网络模型冠心病诊断方法。
9.计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述基于冠心病诊断神经网络模型冠心病诊断方法。
CN202010908623.4A 2020-09-02 2020-09-02 基于冠心病诊断神经网络模型冠心病诊断方法及系统 Pending CN112053785A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010908623.4A CN112053785A (zh) 2020-09-02 2020-09-02 基于冠心病诊断神经网络模型冠心病诊断方法及系统
CN202011386089.1A CN112270997A (zh) 2020-09-02 2020-12-01 基于冠心病诊断神经网络模型冠心病诊断方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010908623.4A CN112053785A (zh) 2020-09-02 2020-09-02 基于冠心病诊断神经网络模型冠心病诊断方法及系统

Publications (1)

Publication Number Publication Date
CN112053785A true CN112053785A (zh) 2020-12-08

Family

ID=73607770

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010908623.4A Pending CN112053785A (zh) 2020-09-02 2020-09-02 基于冠心病诊断神经网络模型冠心病诊断方法及系统
CN202011386089.1A Pending CN112270997A (zh) 2020-09-02 2020-12-01 基于冠心病诊断神经网络模型冠心病诊断方法及系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202011386089.1A Pending CN112270997A (zh) 2020-09-02 2020-12-01 基于冠心病诊断神经网络模型冠心病诊断方法及系统

Country Status (1)

Country Link
CN (2) CN112053785A (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1219283C (zh) * 2001-08-07 2005-09-14 北京大恒鼎芯科技有限公司 可视音带的图文数据生成和编码方法及图文数据播放装置
US7482118B2 (en) * 2001-11-15 2009-01-27 Third Wave Technologies, Inc. Endonuclease-substrate complexes
CN102580242A (zh) * 2012-04-06 2012-07-18 刘昭利 脉冲式头痛理疗装置
US20130296748A1 (en) * 2012-05-03 2013-11-07 Sitkovetskiy Lev N. Method of massage for improving of body condition, diagnosis, prevention and treatment diseases, and the massage device for these purposes.
GB201319446D0 (en) * 2013-11-04 2013-12-18 Immatics Biotechnologies Gmbh Personalized immunotherapy against several neuronal and brain tumors
CN113421652A (zh) * 2015-06-02 2021-09-21 推想医疗科技股份有限公司 对医疗数据进行分析的方法、训练模型的方法及分析仪
CN110348019B (zh) * 2019-07-17 2023-04-28 南通大学 一种基于注意力机制的医疗实体向量转化方法
CN111028951A (zh) * 2019-11-13 2020-04-17 上海中医药大学 一种用于中医诊断检索显示、评估的方法及设备

Also Published As

Publication number Publication date
CN112270997A (zh) 2021-01-26

Similar Documents

Publication Publication Date Title
Kadhim et al. Design and implementation of fuzzy expert system for back pain diagnosis
Moein Medical diagnosis using artificial neural networks
CN111798954A (zh) 基于时间注意力机制和图卷积网络的药物组合推荐方法
CN111048167A (zh) 一种层级式病例结构化方法及系统
TW201040756A (en) Chinese medicine intelligent formulary system
CN109166619A (zh) 基于神经网络算法的中医智能诊断辅助系统及方法
CN110085325B (zh) 关于中医经验数据的知识图谱的构建方法及装置
WO2024008043A1 (zh) 一种基于因果关系挖掘的临床数据自动化生成方法及系统
CN109215777A (zh) 中医文献智能挖掘与组方辅助决策方法及系统
Hannan Heart Disease Diagnosis by using FFBP and GRNN algorithm of Neural Network
CN109558493A (zh) 一种基于疾病本体的疾病相似度计算方法
CN108091393A (zh) 机器人医生的疾病诊断治疗方法
Hung et al. Predicting gastrointestinal bleeding events from multimodal in-hospital electronic health records using deep fusion networks
CN109102882A (zh) 一种中医辩证论治系统
CN116910172A (zh) 基于人工智能的随访量表生成方法及系统
Chou et al. Extracting drug utilization knowledge using self-organizing map and rough set theory
Devendran et al. Effective prediction on music therapy using hybrid SVM-ANN approach
Chen et al. Recognition of hallucinations: a new multidimensional model methodology
CN112053785A (zh) 基于冠心病诊断神经网络模型冠心病诊断方法及系统
Hebbar et al. Web powered CT scan diagnosis for brain hemorrhage using deep learning
Devi et al. Prediction of medicines using LVQ methodology
JPWO2020176476A5 (zh)
Klüver Self-Enforcing Networks (SEN) for the development of (medical) diagnosis systems
CN110619960A (zh) 一种基于监督学习框架的中药配伍禁忌预测方法
Chang et al. Using machine learning algorithms in medication for cardiac arrest early warning system construction and forecasting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201208

WD01 Invention patent application deemed withdrawn after publication