CN117708306B - 基于层进式问答结构的医学问答架构生成方法及系统 - Google Patents
基于层进式问答结构的医学问答架构生成方法及系统 Download PDFInfo
- Publication number
- CN117708306B CN117708306B CN202410168381.8A CN202410168381A CN117708306B CN 117708306 B CN117708306 B CN 117708306B CN 202410168381 A CN202410168381 A CN 202410168381A CN 117708306 B CN117708306 B CN 117708306B
- Authority
- CN
- China
- Prior art keywords
- question
- text
- training data
- class
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012549 training Methods 0.000 claims description 119
- 238000010276 construction Methods 0.000 claims description 48
- 239000013598 vector Substances 0.000 claims description 37
- 239000010410 layer Substances 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 15
- 239000002356 single layer Substances 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 3
- 206010011224 Cough Diseases 0.000 description 18
- 210000003800 pharynx Anatomy 0.000 description 13
- 206010068319 Oropharyngeal pain Diseases 0.000 description 9
- 201000007100 Pharyngitis Diseases 0.000 description 8
- 208000006673 asthma Diseases 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 208000024891 symptom Diseases 0.000 description 6
- 208000002193 Pain Diseases 0.000 description 5
- 201000010099 disease Diseases 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 206010037660 Pyrexia Diseases 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000000867 larynx Anatomy 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 206010013082 Discomfort Diseases 0.000 description 1
- 206010019233 Headaches Diseases 0.000 description 1
- 206010028748 Nasal obstruction Diseases 0.000 description 1
- 206010057190 Respiratory tract infections Diseases 0.000 description 1
- 208000036071 Rhinorrhea Diseases 0.000 description 1
- 206010039101 Rhinorrhoea Diseases 0.000 description 1
- 206010046306 Upper respiratory tract infection Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 229940124579 cold medicine Drugs 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 231100000869 headache Toxicity 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 208000023409 throat pain Diseases 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明公开了基于层进式问答结构的医学问答架构生成方法及系统，本方案利用电子病历文本结合层进式问答结构来进行医学问题和答案生成的技术框架，通过模仿医生层层递进式的提问方式，构建了一套完整的问题生成及问题回答框架，通过本方案提出的问答架构可以稳定准确的提取电子病历中的关键信息，并做出判断，然后送入后续的疾病诊断框架，提高医生获取患者关键信息的效率和准确率，降低误诊风险。
Description
技术领域
本发明属于医学文本数据处理技术领域，具体涉及基于层进式问答结构的医学问答架构生成方法及系统。
背景技术
基于人工智能技术的医学研究正在快速增长。医疗会话问答(CQA)任务旨在通过为患者提供一系列专业医疗服务来提高医疗保健的效率。CQA系统可以通过快速响应患者的需求并提供相关的医疗信息来改善患者在临床治疗过程中的体验。
一般情况下，在医生在接诊病人时，会有针对性的，循序渐进的问一些针对性的问题，通过病人的逐步回答来确认可能患有的疾病。
如：为确诊病人是否患有上呼吸道感染，医生可能会询问：有哪些症状(是否有喉咙痛、咳嗽、鼻塞、流鼻涕、打喷嚏、头痛、发热等)；这些症状出现了多长时间；是否有其它不适；是否有吃过感冒药或采取其他治疗措施等。
而在通过临床电子病历进行疾病诊断时，需要通过对已有的患者电子病历文本进行分析，通过模拟医生获取患者关键信息的方式来抽取我们需要的关键性信息作为最后疾病预测的依据。
综上，当前针对医疗问答生成的问题有：
1.对于问题的生成，前期需要人工构建规则模板，后期通过人工对问题进行填充生成，这种方式需要专家进行规则模板制定，后期也需要投入较多的人力进行手工填充。虽然问题生成的准确率较高，但是过于耗时耗力。
2.对于问题的回答，目前主流采取的都是利用RNN/LSTM/transformer进行语义理解，通过分析问题和原文本的关系，给出答案区间，但是这种语义理解的方式比较通用，无法保证答案的准确率。
发明内容
针对上述现有技术的不足，本申请提供基于层进式问答结构的医学问答架构生成方法及系统。
第一方面本申请提出了基于层进式问答结构的医学问答架构生成方法，包括以下步骤：
获取目标患者的电子病历文本；
从所述电子病历文本中提取出待训练文本，根据所述待训练文本构造出第一类训练数据，将所述第一类训练数据输入到预设的主题词识别模型中进行处理，识别出关键实体；
以所述关键实体为问题构建基础，结合预定义的第一提问模板生成一级问题，根据所述一级问题选取对应的第一答案模型；
选取包括所述关键实体的待训练文本构造出第二类训练数据，将所述第二类训练数据输入到预设的判断模型中对所述关键实体进行二级问题构建判断，如果所述关键实体符合二级问题构建，则结合预定义的第二提问模板生成二级问题，根据所述二级问题选取对应的第二答案模型，如果所述关键实体不符合二级问题构建，则判断所述关键实体为三类实体。
选取包含所述三类实体的待训练文本构造出第三类训练数据，将所述第三类训练数据输入到预设的三级问题生成模型中生成对应的三级问题，根据所述三级问题选取对应的第三答案模型；
根据所述一级问题、二级问题、三级问题、第一答案模型、第二答案模型和第三答案模型完成层进式医学问答架构的构建。
在一些实施例中，所述根据所述待训练文本构造出第一类训练数据，将所述第一类训练数据输入到预设的主题词识别模型中进行处理，识别出关键实体，包括：
根据所述待训练文本构造出第一类训练数据，所述第一类训练数据包括第一类文本和实体；
将所述第一类训练数据输入主题词识别模型中，通过主题词识别模型的bert结构生成所述实体的字符的向量表征，经过所述主题词识别模型中自定义的区间向量表征对所述第一类文本进行实体索引区间处理，最后通过全连接层输出预测的关键实体。
在一些实施例中，所述以所述关键实体为问题构建基础，结合预定义的第一提问模板生成一级问题，根据所述一级问题选取对应的第一答案模型，包括：
根据第一类是否型提问模板生成第一类是否型问题；
根据所述第一类是否型问题选取对应的第一答案模型，所述第一答案模型由bert和单层全连接层构成；
从所述第一类是否型问题中选取对应格式的一级问题训练数据，将所述一级问题训练数据输入所述第一答案模型中，完成对所述第一答案模型的训练。
在一些实施例中，所述选取包括所述关键实体的待训练文本构造出第二类训练数据，将所述第二类训练数据输入到预设的判断模型中对所述关键实体进行二级问题构建判断，如果所述关键实体符合二级问题构建，则结合预定义的第二提问模板生成二级问题，根据所述二级问题选取对应的第二答案模型，如果所述关键实体不符合二级问题构建，则判断所述关键实体为三类实体，包括：
根据包含所述关键实体的待训练文本构造出第二类训练数据，所述第二类训练数据包括第二类文本和关键实体；
将所述第二类训练数据输入双塔模型中，通过双塔模型的bert分别对所述第二类文本和所述关键实体进行预处理，通过双塔模型不同的池化层对bert输出的句向量和词向量分别进行特征提取和压缩，得到第二类文本的句向量和关键实体的词向量，将第二类文本的句向量和关键实体的词向量进行拼接后输入到全连接层，最后经过softmax分类输出判断结果；
所述判断结果包括：
如果所述关键实体出现在第二类文本的关键判断词的对应位置，说明所述关键实体符合二级问题构建，则结合预定义的第二提问模板生成二级问题；
如果所述关键实体出现在第二类文本的关键判断词的非对应位置，则说明所述关键实体不符合二级问题构建，此时判断所述关键实体为三类实体。
在一些实施例中，所述说明所述关键实体符合二级问题构建，则结合预定义的第二提问模板生成二级问题，包括：
根据第二类是否型提问模板生成第二类是否型问题；
根据所述第二类是否型问题选取对应的第一答案模型，所述第二答案模型由bert和单层全连接层构成；
从所述第二类是否型问题中选取对应格式的二级问题训练数据，将所述二级问题训练数据输入所述第二答案模型中，完成对所述第二答案模型的训练。
在一些实施例中，所述选取包含所述三类实体的待训练文本构造出第三类训练数据，将所述第三类训练数据输入到预设的三级问题生成模型中生成对应的三级问题，包括：
根据包括所述三类实体的待训练文本构造出第三类训练数据，所述第三类训练数据包括：包含标识符和三级实体的第三类文本以及待训练问题文本；
将所述第三类文本以及待训练问题文本输入到transformer模型中进行训练得到对应的三级问题。
在一些实施例中，所述根据所述三级问题选取对应的第三答案模型，包括：
根据包括所述三类实体的待训练文本和所述三级问题构造出三级问题训练数据；
将所述三级问题训练数据输入答案区间预测模型，通过答案区间预测模型的bert进行编码，通过答案区间预测模型的bert输出每个字符编码后对应的空间向量，经过全连接层之后，分别为每一个字符计算作为答案开头和结尾的logit值，最后经过Softmax预测相应的概率值，根据概率值得到预测答案区间。
第二方面本申请提出基于层进式问答结构的医学问答架构生成系统，包括文本获取模块、关键实体识别模块、第一问答模块、第二问答模块、第三问答模块和框架构建模块；
所述文本获取模块，用于获取目标患者的电子病历文本；
所述关键实体识别模块，用于从所述电子病历文本中提取出待训练文本，根据所述待训练文本构造出第一类训练数据，将所述第一类训练数据输入到预设的主题词识别模型中进行处理，识别出关键实体；
所述第一问答模块，用于以所述关键实体为问题构建基础，结合预定义的第一提问模板生成一级问题，根据所述一级问题选取对应的第一答案模型；
所述第二问答模块，用于选取包括所述关键实体的待训练文本构造出第二类训练数据，将所述第二类训练数据输入到预设的判断模型中对所述关键实体进行二级问题构建判断，如果所述关键实体符合二级问题构建，则结合预定义的第二提问模板生成二级问题，根据所述二级问题选取对应的第二答案模型，如果所述关键实体不符合二级问题构建，则判断所述关键实体为三类实体。
所述第三问答模块，用于选取包含所述三类实体的待训练文本构造出第三类训练数据，将所述第三类训练数据输入到预设的三级问题生成模型中生成对应的三级问题，根据所述三级问题选取对应的第三答案模型；
所述框架构建模块，用于根据所述一级问题、二级问题、三级问题、第一答案模型、第二答案模型和第三答案模型完成层进式医学问答架构的构建。
第三方面本申请提出一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可以在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
第四方面本申请提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法步骤。
本发明的有益效果：
本方案利用电子病历文本结合层进式问答结构来进行医学问题和答案生成的技术框架，通过模仿医生层层递进式的提问方式，构建了一套完整的问题生成及问题回答框架，通过本方案提出的问答架构可以稳定准确的提取电子病历中的关键信息，并做出判断，然后送入后续的疾病诊断框架，提高医生获取患者关键信息的效率和准确率，降低误诊风险。
附图说明
图1为本发明的总体流程图。
图2为SOTA模型的处理流程图。
图3为双塔模型处理流程图。
图4为答案区间预测模型处理流程图。
图5为本发明的系统原理框图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制；相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
第一方面本申请提出了基于层进式问答结构的医学问答架构生成方法，包括以下步骤：
S100：获取目标患者的电子病历文本；
S200：从所述电子病历文本中提取出待训练文本，根据所述待训练文本构造出第一类训练数据，将所述第一类训练数据输入到预设的主题词识别模型中进行处理，识别出关键实体；
在一些实施例中，所述根据所述待训练文本构造出第一类训练数据，将所述第一类训练数据输入到预设的主题词识别模型中进行处理，识别出关键实体，包括：
根据所述待训练文本构造出第一类训练数据，所述第一类训练数据包括第一类文本和实体；
将所述第一类训练数据输入主题词识别模型中，通过主题词识别模型的bert结构生成所述实体的字符的向量表征，经过所述主题词识别模型中自定义的区间向量表征对所述第一类文本进行实体索引区间处理，最后通过全连接层输出预测的关键实体。
其中，采用最新的SOTA模型—PURE作为主题词识别模型进行实体识别，其实体识别部分的模型结构如图2所示，该模型功能为：通过bert生成token（字符）的向量表征，再加入模型自定义的区间向量表征，最后通过两层全连接层输出预测的关键实体及标签。
进一步的，主题词识别模型的训练数据（第一类训练数据）的格式为：
如：
第一类文本：“sentences”：[["咽","喉","痛","3","天","。","咳", "嗽", "发", "热", "1", "天"]]；
实体：“ans” ：[["咽","喉"],["咳","嗽"], ["痛"], ["发", "热"]]；
区间和标签：“ner”[[0,1,"part"][6,7,"symptom"],[8,9, "symptom"]]；
具体为：
第一类文本：咽喉痛3天, 咳嗽发热1天；
实体：咽喉、咳嗽、发热；
实体索引区间：【0，1】，【6，7】，【8，9】；
标签：part、symptom、symptom。
S300：以所述关键实体为问题构建基础，结合预定义的第一提问模板生成一级问题，根据所述一级问题选取对应的第一答案模型；
在一些实施例中，所述以所述关键实体为问题构建基础，结合预定义的第一提问模板生成一级问题，根据所述一级问题选取对应的第一答案模型，包括：
根据第一类是否型提问模板生成第一类是否型问题；
根据所述第一类是否型问题选取对应的第一答案模型，所述第一答案模型由bert和单层全连接层构成；
从所述第一类是否型问题中选取对应格式的一级问题训练数据，将所述一级问题训练数据输入所述第一答案模型中，完成对所述第一答案模型的训练。
其中，第一类是否型提问模板为：“是否X？”，X指关键实体；从而生成第一类是否型问题；因为是否型问题，所以定义为二分类问题，采用的第一答案模型为bert+单层全连接层，训练第一答案模型用的数据格式（一级问题训练数据）如下表1所示:
表1
| 文本 | 问题 | 是/否（1/0） |
| 咳嗽3天，咽喉痛2天，无气喘. | 是否咳嗽 | 1 |
| 咳嗽3天，咽喉痛2天, 无气喘. | 是否气喘 | 0 |
上表为一级问题训练数据的格式表，其中，1代表是，0代表否。
S400：选取包括所述关键实体的待训练文本构造出第二类训练数据，将所述第二类训练数据输入到预设的判断模型中对所述关键实体进行二级问题构建判断，如果所述关键实体符合二级问题构建，则结合预定义的第二提问模板生成二级问题，根据所述二级问题选取对应的第二答案模型，如果所述关键实体不符合二级问题构建，则判断所述关键实体为三类实体。
在一些实施例中，所述选取包括所述关键实体的待训练文本构造出第二类训练数据，将所述第二类训练数据输入到预设的判断模型中对所述关键实体进行二级问题构建判断，如果所述关键实体符合二级问题构建，则结合预定义的第二提问模板生成二级问题，根据所述二级问题选取对应的第二答案模型，如果所述关键实体不符合二级问题构建，则判断所述关键实体为三类实体，包括：
根据包含所述关键实体的待训练文本构造出第二类训练数据，所述第二类训练数据包括第二类文本和关键实体；
将所述第二类训练数据输入双塔模型中，通过双塔模型的bert分别对所述第二类文本和所述关键实体进行预处理，通过双塔模型不同的池化层对bert输出的句向量和词向量分别进行特征提取和压缩，得到第二类文本的句向量和关键实体的词向量，将第二类文本的句向量和关键实体的词向量进行拼接后输入到全连接层，最后经过softmax分类输出判断结果；
所述判断结果包括：
如果所述关键实体出现在第二类文本的关键判断词的对应位置，说明所述关键实体符合二级问题构建，则结合预定义的第二提问模板生成二级问题；
如果所述关键实体出现在第二类文本的关键判断词的非对应位置，则说明所述关键实体不符合二级问题构建，此时判断所述关键实体为三类实体。
其中，我们需要增加一个判断模型，来判断第一步识别出的关键实体X是否可以按“是否有X”的方式进行提问，如X为“咳嗽”，则可以正常生成问题，如X为“咽喉”，则判断所述关键实体为三类实体，需要进行三级问题生成，例如：“咽喉是否……”。
进一步的，如图3所示，我们采用的判断模型为sentencebert双塔模型，在bert（原始结构）的输出基础上使用两个不同的池化方式，然后再对两个池化后的结果进行了相似度计算再送入一个全连接层，通过softmax函数输出结果；
双塔模型的输入部分用同一个bert来处理，通过不同的池化方式（Avg-Pooling、Mean-Pooling），对Bert输出的句向量进一步特征提取、压缩，得到u、v ，针对当前的分类任务，我们将处理后的第二类文本（u）和关键实体（v）拼接后接入全连接网络，经softmax分类输出预测结果。
构造出的第二类训练数据如下表2所示:
表2
| 第二类文本 | 关键实体 | 关键实体出现在对应位置/关键实体出现在非对应位置（1/0） |
| 咳嗽3天，咽喉痛2天，无气喘。 | 咳嗽 | 1 |
| 咳嗽3天，咽喉痛2天，无气喘。 | 咽喉 | 0 |
上表为第二类训练数据的格式表，其中，1代表关键实体出现在对应位置，0代表出现关键实体在非对应位置；
例如：针对“咳嗽3天，咽喉痛2天，无气喘。”这句话，能够以“是否咳嗽？”进行提问，但是不能以“是否咽喉？”进行提问，所以双塔模型就是在训练识别出来的关键实体出现在关键词“是否“的位置，出现在非对应位置记为0，出现在对应位置记为1，如果是1就判断所述关键实体符合二级问题构建，则结合预定义的第二提问模板生成二级问题，否则判断所述关键实体为三类实体，本实施例中判断“咽喉”为第三类实体，进行三级问题生成，例如：“咽喉是否……”。
在一些实施例中，所述说明所述关键实体符合二级问题构建，则结合预定义的第二提问模板生成二级问题，包括：
根据第二类是否型提问模板生成第二类是否型问题；
根据所述第二类是否型问题选取对应的第一答案模型，所述第二答案模型由bert和单层全连接层构成；
从所述第二类是否型问题中选取对应格式的二级问题训练数据，将所述二级问题训练数据输入所述第二答案模型中，完成对所述第二答案模型的训练。
进一步的，在该步骤中的答案生成部分，因为与第一类是否型问题一致，都属于是否型问题，故与步骤S300中采用的答案生成模型类似，即bert+单层全连接层。
S500：选取包含所述三类实体的待训练文本构造出第三类训练数据，将所述第三类训练数据输入到预设的三级问题生成模型中生成对应的三级问题，根据所述三级问题选取对应的第三答案模型；
在一些实施例中，所述选取包含所述三类实体的待训练文本构造出第三类训练数据，将所述第三类训练数据输入到预设的三级问题生成模型中生成对应的三级问题，包括：
根据包括所述三类实体的待训练文本构造出第三类训练数据，所述第三类训练数据包括：包含标识符和三级实体的第三类文本以及待训练问题文本；
将所述第三类文本以及待训练问题文本输入到transformer模型中进行训练得到对应的三级问题。
其中，在三级问题的问题生成部分，训练数据格式如表3所示：
构造出的第三类训练数据如下表3所示:
表3
| 第三类文本 | 待训练问题文本 |
| [BOS]咳嗽3天，咽喉痛2天，无气喘。[SEP]咽喉[EOS] | 咽喉是否痛 |
| [BOS]咳嗽3天，咽喉痛2天，无气喘。[SEP]痛[EOS] | 疼痛/触痛的部位 |
上表为第三类训练数据表，其中，[BOS]表示begining of sequence，代表序列开始，序列开始标识符；[EOS]表示End of sequence，代表序列结束，序列结束标识符；[SEP]表示分隔两个输入句子；将所述第三类文本以及待训练问题文本输入到transformer模型中进行训练得到对应的三级问题。
在一些实施例中，所述根据所述三级问题选取对应的第三答案模型，包括：
根据包括所述三类实体的待训练文本和所述三级问题构造出三级问题训练数据；
将所述三级问题训练数据输入答案区间预测模型，通过答案区间预测模型的bert进行编码，通过答案区间预测模型的bert输出每个字符编码后对应的空间向量，经过全连接层之后，分别为每一个字符计算作为答案开头和结尾的logit值，最后经过Softmax预测相应的概率值，根据概率值得到预测答案区间。
其中，针对“疼痛/触痛的部位”的抽取型问题，没有采用传统的RNN/LSTM/transformer，而是采用了升级且经典的bert模型，具体模型结构
如图4所示，按照“[cls]问句[sep]文本”格式构造三级问题训练数据，其中，[cls]：放在句子的首位，表示句子的开始，就是classification的意思，通常会在bert等模型中出现；
将构造好的三级问题训练数据送入Bert 进行编码,Bert Encoder的输出为每个token所对应的空间向量。因为答案由文本中连续的token组成，所以预测答案的过程本质上是确定答案开头和结尾token所在的位置的过程，因此，经过全连接层之后，为每一个token（字符）分别作为答案开头和结尾的logit值，再经过Softmax层之后就得到了相应的概率值，经过数据后处理之后，便可得到预测答案区间Start/End Spa；
进一步的，数据后处理指的是：根据前面的logits值（分数区间0~1），设定一个阈值（如0.5），找到在起始情况下各个字符的分值以及结束情况下的分值，进行组合，保证结束区间的位置不在起始区间的前面（即起止字符可以重合，即只有一个字），一般来说答案区间大部分都是一个。
而针对“咽喉是否痛”的是否型问题，我们可以沿用前面步骤的第一答案模型/第二答案模型结构进行答案生成，即针对是否型问题的第三答案模型同样由bert+单层全连接层生成。
S600：根据所述一级问题、二级问题、三级问题、第一答案模型、第二答案模型和第三答案模型完成层进式医学问答架构的构建。
至此，针对电子病历的进行关键性且针对性的问题生成和问题回答都已完成，后续根据各个问题及其答案送入疾病诊断框架，这里不需赘述，通过试验，我们的问题生成部分与人工标注的问题对比，rouge_l：f达到了0.8512，在问题回答的二分类模型，准确率为99.63%，bert抽取式模型的f1值为0.9325。
第二方面本申请提出基于层进式问答结构的医学问答架构生成系统，包括文本获取模块、关键实体识别模块、第一问答模块、第二问答模块、第三问答模块和框架构建模块；
所述文本获取模块，用于获取目标患者的电子病历文本；
所述关键实体识别模块，用于从所述电子病历文本中提取出待训练文本，根据所述待训练文本构造出第一类训练数据，将所述第一类训练数据输入到预设的主题词识别模型中进行处理，识别出关键实体；
所述第一问答模块，用于以所述关键实体为问题构建基础，结合预定义的第一提问模板生成一级问题，根据所述一级问题选取对应的第一答案模型；
所述第二问答模块，用于选取包括所述关键实体的待训练文本构造出第二类训练数据，将所述第二类训练数据输入到预设的判断模型中对所述关键实体进行二级问题构建判断，如果所述关键实体符合二级问题构建，则结合预定义的第二提问模板生成二级问题，根据所述二级问题选取对应的第二答案模型，如果所述关键实体不符合二级问题构建，则判断所述关键实体为三类实体。
所述第三问答模块，用于选取包含所述三类实体的待训练文本构造出第三类训练数据，将所述第三类训练数据输入到预设的三级问题生成模型中生成对应的三级问题，根据所述三级问题选取对应的第三答案模型；
所述框架构建模块，用于根据所述一级问题、二级问题、三级问题、第一答案模型、第二答案模型和第三答案模型完成层进式医学问答架构的构建。
第三方面本申请提出一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可以在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
第四方面本申请提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法步骤。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。
在本公开所提供的实施例中，应该理解到，所揭露的装置/计算机设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/计算机设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本公开实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上仅是本发明优选的实施方式，需指出的是，对于本领域技术人员在不脱离本技术方案的前提下，作出的若干变形和改进的技术方案应同样视为落入本权利要求书要求保护的范围。
Claims (10)
1.基于层进式问答结构的医学问答架构生成方法，其特征在于：包括以下步骤：
获取目标患者的电子病历文本；
从所述电子病历文本中提取出待训练文本，根据所述待训练文本构造出第一类训练数据，将所述第一类训练数据输入到预设的主题词识别模型中进行处理，识别出关键实体；
以所述关键实体为问题构建基础，结合预定义的第一提问模板生成一级问题，根据所述一级问题选取对应的第一答案模型；
选取包括所述关键实体的待训练文本构造出第二类训练数据，将所述第二类训练数据输入到预设的判断模型中对所述关键实体进行二级问题构建判断，如果所述关键实体符合二级问题构建，则结合预定义的第二提问模板生成二级问题，根据所述二级问题选取对应的第二答案模型，如果所述关键实体不符合二级问题构建，则判断所述关键实体为三类实体；
选取包含所述三类实体的待训练文本构造出第三类训练数据，将所述第三类训练数据输入到预设的三级问题生成模型中生成对应的三级问题，根据所述三级问题选取对应的第三答案模型；
根据所述一级问题、二级问题、三级问题、第一答案模型、第二答案模型和第三答案模型完成层进式医学问答架构的构建。
2.根据权利要求1所述的方法，其特征在于：所述根据所述待训练文本构造出第一类训练数据，将所述第一类训练数据输入到预设的主题词识别模型中进行处理，识别出关键实体，包括：
根据所述待训练文本构造出第一类训练数据，所述第一类训练数据包括第一类文本和实体；
将所述第一类训练数据输入主题词识别模型中，通过主题词识别模型的bert结构生成所述实体的字符的向量表征，经过所述主题词识别模型中自定义的区间向量表征对所述第一类文本进行实体索引区间处理，最后通过全连接层输出预测的关键实体。
3.根据权利要求2所述的方法，其特征在于：所述以所述关键实体为问题构建基础，结合预定义的第一提问模板生成一级问题，根据所述一级问题选取对应的第一答案模型，包括：
根据第一类是否型提问模板生成第一类是否型问题；
根据所述第一类是否型问题选取对应的第一答案模型，所述第一答案模型由bert和单层全连接层构成；
从所述第一类是否型问题中选取对应格式的一级问题训练数据，将所述一级问题训练数据输入所述第一答案模型中，完成对所述第一答案模型的训练。
4.根据权利要求3所述的方法，其特征在于：所述选取包括所述关键实体的待训练文本构造出第二类训练数据，将所述第二类训练数据输入到预设的判断模型中对所述关键实体进行二级问题构建判断，如果所述关键实体符合二级问题构建，则结合预定义的第二提问模板生成二级问题，根据所述二级问题选取对应的第二答案模型，如果所述关键实体不符合二级问题构建，则判断所述关键实体为三类实体，包括：
根据包含所述关键实体的待训练文本构造出第二类训练数据，所述第二类训练数据包括第二类文本和关键实体；
将所述第二类训练数据输入双塔模型中，通过双塔模型的bert分别对所述第二类文本和所述关键实体进行预处理，通过双塔模型不同的池化层对bert输出的句向量和词向量分别进行特征提取和压缩，得到第二类文本的句向量和关键实体的词向量，将第二类文本的句向量和关键实体的词向量进行拼接后输入到全连接层，最后经过softmax分类输出判断结果；
所述判断结果包括：
如果所述关键实体出现在第二类文本的关键判断词的对应位置，说明所述关键实体符合二级问题构建，则结合预定义的第二提问模板生成二级问题；
如果所述关键实体出现在第二类文本的关键判断词的非对应位置，则说明所述关键实体不符合二级问题构建，此时判断所述关键实体为三类实体。
5.根据权利要求4所述的方法，其特征在于：所述说明所述关键实体符合二级问题构建，则结合预定义的第二提问模板生成二级问题，包括：
根据第二类是否型提问模板生成第二类是否型问题；
根据所述第二类是否型问题选取对应的第二答案模型，所述第二答案模型由bert和单层全连接层构成；
从所述第二类是否型问题中选取对应格式的二级问题训练数据，将所述二级问题训练数据输入所述第二答案模型中，完成对所述第二答案模型的训练。
6.根据权利要求5所述的方法，其特征在于：所述选取包含所述三类实体的待训练文本构造出第三类训练数据，将所述第三类训练数据输入到预设的三级问题生成模型中生成对应的三级问题，包括：
根据包括所述三类实体的待训练文本构造出第三类训练数据，所述第三类训练数据包括：包含标识符和三级实体的第三类文本以及待训练问题文本；
将所述第三类文本以及待训练问题文本输入到transformer模型中进行训练得到对应的三级问题。
7.根据权利要求6所述的方法，其特征在于：所述根据所述三级问题选取对应的第三答案模型，包括：
根据包括所述三类实体的待训练文本和所述三级问题构造出三级问题训练数据；
将所述三级问题训练数据输入答案区间预测模型，通过答案区间预测模型的bert进行编码，通过答案区间预测模型的bert输出每个字符编码后对应的空间向量，经过全连接层之后，分别为每一个字符计算作为答案开头和结尾的logit值，最后经过Softmax预测相应的概率值，根据概率值得到预测答案区间。
8.基于层进式问答结构的医学问答架构生成系统，其特征在于：包括文本获取模块、关键实体识别模块、第一问答模块、第二问答模块、第三问答模块和框架构建模块；
所述文本获取模块，用于获取目标患者的电子病历文本；
所述关键实体识别模块，用于从所述电子病历文本中提取出待训练文本，根据所述待训练文本构造出第一类训练数据，将所述第一类训练数据输入到预设的主题词识别模型中进行处理，识别出关键实体；
所述第一问答模块，用于以所述关键实体为问题构建基础，结合预定义的第一提问模板生成一级问题，根据所述一级问题选取对应的第一答案模型；
所述第二问答模块，用于选取包括所述关键实体的待训练文本构造出第二类训练数据，将所述第二类训练数据输入到预设的判断模型中对所述关键实体进行二级问题构建判断，如果所述关键实体符合二级问题构建，则结合预定义的第二提问模板生成二级问题，根据所述二级问题选取对应的第二答案模型，如果所述关键实体不符合二级问题构建，则判断所述关键实体为三类实体；
所述第三问答模块，用于选取包含所述三类实体的待训练文本构造出第三类训练数据，将所述第三类训练数据输入到预设的三级问题生成模型中生成对应的三级问题，根据所述三级问题选取对应的第三答案模型；
所述框架构建模块，用于根据所述一级问题、二级问题、三级问题、第一答案模型、第二答案模型和第三答案模型完成层进式医学问答架构的构建。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可以在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410168381.8A CN117708306B (zh) | 2024-02-06 | 2024-02-06 | 基于层进式问答结构的医学问答架构生成方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410168381.8A CN117708306B (zh) | 2024-02-06 | 2024-02-06 | 基于层进式问答结构的医学问答架构生成方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117708306A CN117708306A (zh) | 2024-03-15 |
| CN117708306B true CN117708306B (zh) | 2024-05-03 |
Family
ID=90150158
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410168381.8A Active CN117708306B (zh) | 2024-02-06 | 2024-02-06 | 基于层进式问答结构的医学问答架构生成方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117708306B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117995347B (zh) * | 2024-04-07 | 2024-06-21 | 北京惠每云科技有限公司 | 病历内涵质控方法、装置、电子设备及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110147436A (zh) * | 2019-03-18 | 2019-08-20 | 清华大学 | 一种基于教育知识图谱与文本的混合自动问答方法 |
| CN111506723A (zh) * | 2020-07-01 | 2020-08-07 | 平安国际智慧城市科技股份有限公司 | 问答响应方法、装置、设备及存储介质 |
| CN111813961A (zh) * | 2020-08-25 | 2020-10-23 | 腾讯科技（深圳）有限公司 | 基于人工智能的数据处理方法、装置及电子设备 |
| CN112035636A (zh) * | 2020-08-28 | 2020-12-04 | 康键信息技术（深圳）有限公司 | 医疗问诊系统的问答管理方法、装置、设备及存储介质 |
| WO2021012519A1 (zh) * | 2019-07-19 | 2021-01-28 | 平安科技（深圳）有限公司 | 基于人工智能的问答方法、装置、计算机设备及存储介质 |
| WO2021184311A1 (zh) * | 2020-03-19 | 2021-09-23 | 中山大学 | 一种自动生成可推理问答的方法和装置 |
| CN113836281A (zh) * | 2021-09-13 | 2021-12-24 | 中国人民解放军国防科技大学 | 一种基于自动问答的实体关系联合抽取方法 |
| CN114510579A (zh) * | 2022-02-08 | 2022-05-17 | 吾征智能技术(北京)有限公司 | 一种基于医疗知识图谱的疾病自动问答系统、设备及介质 |
| CN115080764A (zh) * | 2022-07-21 | 2022-09-20 | 神州医疗科技股份有限公司 | 基于知识图谱及聚类算法的医学相似实体分类方法及系统 |
| CN117312518A (zh) * | 2023-09-28 | 2023-12-29 | 腾讯科技（深圳）有限公司 | 一种智能问答方法、装置、计算机设备及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180089383A1 (en) * | 2016-09-29 | 2018-03-29 | International Business Machines Corporation | Container-Based Knowledge Graphs for Determining Entity Relations in Medical Text |
| US11769018B2 (en) * | 2020-11-24 | 2023-09-26 | Openstream Inc. | System and method for temporal attention behavioral analysis of multi-modal conversations in a question and answer system |
-
2024
- 2024-02-06 CN CN202410168381.8A patent/CN117708306B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110147436A (zh) * | 2019-03-18 | 2019-08-20 | 清华大学 | 一种基于教育知识图谱与文本的混合自动问答方法 |
| WO2021012519A1 (zh) * | 2019-07-19 | 2021-01-28 | 平安科技（深圳）有限公司 | 基于人工智能的问答方法、装置、计算机设备及存储介质 |
| WO2021184311A1 (zh) * | 2020-03-19 | 2021-09-23 | 中山大学 | 一种自动生成可推理问答的方法和装置 |
| CN111506723A (zh) * | 2020-07-01 | 2020-08-07 | 平安国际智慧城市科技股份有限公司 | 问答响应方法、装置、设备及存储介质 |
| CN111813961A (zh) * | 2020-08-25 | 2020-10-23 | 腾讯科技（深圳）有限公司 | 基于人工智能的数据处理方法、装置及电子设备 |
| CN112035636A (zh) * | 2020-08-28 | 2020-12-04 | 康键信息技术（深圳）有限公司 | 医疗问诊系统的问答管理方法、装置、设备及存储介质 |
| WO2022041727A1 (zh) * | 2020-08-28 | 2022-03-03 | 康键信息技术（深圳）有限公司 | 医疗问诊系统的问答管理方法、装置、设备及存储介质 |
| CN113836281A (zh) * | 2021-09-13 | 2021-12-24 | 中国人民解放军国防科技大学 | 一种基于自动问答的实体关系联合抽取方法 |
| CN114510579A (zh) * | 2022-02-08 | 2022-05-17 | 吾征智能技术(北京)有限公司 | 一种基于医疗知识图谱的疾病自动问答系统、设备及介质 |
| CN115080764A (zh) * | 2022-07-21 | 2022-09-20 | 神州医疗科技股份有限公司 | 基于知识图谱及聚类算法的医学相似实体分类方法及系统 |
| CN117312518A (zh) * | 2023-09-28 | 2023-12-29 | 腾讯科技（深圳）有限公司 | 一种智能问答方法、装置、计算机设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| Entity Linking Based on ERNIE for Chinese Knowledge Graph Question Answer;Yuan Zong;2022 2nd International Conference on Big Data, Artificial Intelligence and Risk Management (ICBAR);20230428;全文 * |
| S2SA-BiLSTM:面向法律纠纷智能问答系统的深度学习模型;涂海;彭敦陆;陈章;刘丛;;小型微型计算机系统;20190514(05);全文 * |
| 基于多级检索的自动问答系统研究;蔡刚山;叶俊;周曼丽;;科学技术与工程;20070228(04);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117708306A (zh) | 2024-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107731269B (zh) | 基于原始诊断数据和病历文件数据的疾病编码方法及系统 | |
| CN107705839B (zh) | 疾病自动编码方法及系统 | |
| CN117708306B (zh) | 基于层进式问答结构的医学问答架构生成方法及系统 | |
| CN109670727B (zh) | 一种基于众包的分词标注质量评估系统及评估方法 | |
| CN107577826A (zh) | 基于原始诊断数据的疾病分类编码方法及系统 | |
| CN108628824A (zh) | 一种基于中文电子病历的实体识别方法 | |
| CN111737975A (zh) | 文本内涵质量的评估方法、装置、设备及存储介质 | |
| CN109741806A (zh) | 一种医学影像诊断报告辅助生成方法及其装置 | |
| CN107887025A (zh) | 一种医疗大脑系统 | |
| CN109840280B (zh) | 一种文本分类方法、装置及计算机可读存储介质 | |
| CN111191415A (zh) | 基于原始手术数据的手术分类编码方法 | |
| CN111259111B (zh) | 基于病历的辅助决策方法、装置、电子设备和存储介质 | |
| CN111312354A (zh) | 基于多智能体强化学习的乳腺病历实体识别标注增强系统 | |
| CN110569343A (zh) | 一种基于问答的临床文本结构化的方法 | |
| CN111477320A (zh) | 治疗效果预测模型的构建系统、治疗效果预测系统及终端 | |
| CN113689951A (zh) | 一种智能导诊方法、系统和计算机可读存储介质 | |
| CN111221947A (zh) | 眼科预问诊装置的多轮对话实现方法及装置 | |
| CN114299068A (zh) | 基于皮肤图像评估银屑病严重程度的智能决策系统 | |
| CN114664431A (zh) | 一种人工智能辅助问答方法、装置、设备及介质 | |
| CN117708339A (zh) | 一种基于预训练语言模型的icd自动编码方法 | |
| CN114520053A (zh) | 一种医疗信息的处理方法、系统、终端和存储介质 | |
| CN110289065A (zh) | 一种辅助生成医学电子报告的控制方法以及装置 | |
| CN112380231A (zh) | 一种具有抑郁障碍特征的训练用机器人系统和方法 | |
| CN110516234A (zh) | 基于gru的中医文本分词方法、系统、设备及介质 | |
| CN117174341B (zh) | 基于人工智能的语音识别医疗助手系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |