CN113327691B - 基于语言模型的问询方法、装置、计算机设备及存储介质 - Google Patents

基于语言模型的问询方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN113327691B
CN113327691B CN202110608950.2A CN202110608950A CN113327691B CN 113327691 B CN113327691 B CN 113327691B CN 202110608950 A CN202110608950 A CN 202110608950A CN 113327691 B CN113327691 B CN 113327691B
Authority
CN
China
Prior art keywords
vector
target
knowledge
graph
word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110608950.2A
Other languages
English (en)
Other versions
CN113327691A (zh
Inventor
姚海申
孙行智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202110608950.2A priority Critical patent/CN113327691B/zh
Publication of CN113327691A publication Critical patent/CN113327691A/zh
Application granted granted Critical
Publication of CN113327691B publication Critical patent/CN113327691B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本申请实施例属于人工智能技术领域，应用于智慧医疗领域中，涉及一种基于语言模型的问询方法、装置、计算机设备及存储介质。包括通过对样本进行分词，获得多个词语，基于词语生成词语综合向量，根据词语综合向量计算生成目标向量，其中，目标向量是根据静态图注意力机制计算目标知识图的图向量来生成的，实现了输入医疗知识辅助模型的语言模型中的词语的目标向量融合了目标知识图中的知识。提升了医疗知识辅助模型的输出结果的准确率。训练后的医疗知识辅助模型可存储于区块链中。本申请中的训练后的医疗知识辅助模型能够提升模型输出结果的准确率，辅助医生诊断，提高医生对患者的问询效率，提升医疗诊断质量。

Description

基于语言模型的问询方法、装置、计算机设备及存储介质
技术领域
本申请涉及人工智能技术领域，尤其涉及基于语言模型的问询方法、装置、计算机设备及存储介质。
背景技术
近年来，随着计算力和数据量的大幅度提升，人工智能技术获得进一步的发展，应用人工智能解决中国医疗领域问题已成为了热点。人工智能技术可以在短时间内学习新的医疗方法并在实践中应用，一定程度上能弥补由于培养周期长而造成的医生空缺，辅助医生诊断，降低误诊率和漏诊率，提升医疗诊断质量。目前，现有的医疗辅助模型存在输出的文本质量较低，进而输出结果的准确性低，难以得到有效的应用的情况。
发明内容
本申请实施例的目的在于提出一种基于语言模型的问询方法、装置、计算机设备及存储介质，能够提升模型输出结果的准确率，辅助医生诊断，提高医生对患者的问询效率。
为了解决上述技术问题，本申请实施例提供一种基于语言模型的问询方法，采用了如下所述的技术方案：
一种基于语言模型的问询方法，包括下述步骤：
接收多次医患问诊的历史问诊数据，分别基于每次历史问诊数据生成多个样本，其中，一次历史问诊数据包括多轮的患者和医生的对话；
获取预设的医疗知识辅助模型，所述医疗知识辅助模型包括向量转换层、向量组合层、知识编译层、语言模型和知识生成层，基于所述向量转换层对所述样本进行分词操作，获得多个词语，并将所述词语转换为词语向量，对样本的词语进行相对位置编码操作，获得位置向量，根据语境生成所述词语的身份信息向量；
基于所述向量组合层对每个词语的词语向量、位置向量和身份信息向量进行组合，生成所述词语对应的词语综合向量；
基于所述知识编译层分别从预设的知识图谱中生成每个词语对应的子知识图，作为目标知识图，通过静态图注意力机制计算所述目标知识图的图向量，将所述图向量和对应的所述词语综合向量进行拼接操作，获得词语的目标向量；
将所有的词语的目标向量输入至所述语言模型中，获得依照时序输出的多个隐藏状态；
基于知识生成层中的动态注意力机制和所述隐藏状态对所述目标知识图进行计算，获得三元组向量，将所述三元组向量与对应的隐藏状态进行拼接，获得目标拼接向量，并对所述目标拼接向量进行解码，获得预测词语，根据时序拼接所述预测词语，获得预测话语；
基于所述预测话语迭代训练所述医疗知识辅助模型，直至所述医疗知识辅助模型收敛，获得训练后的医疗知识辅助模型；
接收待预测医患问诊数据，将所述待预测医患问诊数据输入至所述训练后的医疗知识辅助模型中，获得目标预测结果。
进一步的，基于知识生成层中的动态注意力机制和所述隐藏状态对所述目标知识图进行计算，获得三元组向量的步骤包括：
分别基于每个目标知识图的图向量和所述隐藏状态，计算生成每个隐藏状态时，使用每个目标知识图的概率值，并将数值最高的所述目标知识图的概率值，所对应的目标知识图作为关键知识图；
基于所述目标知识图的概率值计算所述关键知识图中的三元组的向量，获得所述三元组向量。
进一步的，所述分别基于每个目标知识图的图向量和所述隐藏状态，计算生成隐藏状态时，使用每个目标知识图的概率值的步骤包括：
所述目标知识图的概率值
Figure GDA0003161002610000031
的特征为：
Figure GDA0003161002610000032
其中，
Figure GDA0003161002610000033
表示第一中间值；
所述第一中间值
Figure GDA0003161002610000034
的特征为：
Figure GDA0003161002610000035
其中，T表示矩阵转置，Vb，Wb，Ub表示随机生成的权重矩阵，St表示所述隐藏状态，gi表示所述图向量。
进一步的，基于所述目标知识图的概率值计算所述关键知识图中的三元组的向量，获得所述三元组向量的步骤包括：
所述三元组向量
Figure GDA0003161002610000036
的特征为：
Figure GDA0003161002610000037
其中，
Figure GDA0003161002610000038
表示所述目标知识图的概率值，
Figure GDA0003161002610000039
表示三元组的概率值，kj表示所述关键知识图中的三元组，
所述三元组的概率值
Figure GDA00031610026100000310
的特征为：
Figure GDA00031610026100000311
其中，
Figure GDA00031610026100000312
表示第二中间值，
所述第二中间值
Figure GDA00031610026100000313
的特征为：
Figure GDA00031610026100000314
其中，Wc表示预设的权重矩阵，St表示所述隐藏状态，T表示矩阵转置。
进一步的，所述通过静态图注意力机制计算所述目标知识图的图向量的步骤包括：
从生成的所述目标知识图中提取出所有的三元组；
基于注意力机制确定每个三元组的重要性，作为权重；
基于所述权重对所述三元组进行加权求和操作，获得所述图向量。
进一步的，所述基于注意力机制确定每个三元组的重要性，作为权重的步骤包括：
所述权重
Figure GDA0003161002610000041
的特征为：
Figure GDA0003161002610000042
Figure GDA0003161002610000043
表示第三中间值，
所述第三中间值
Figure GDA0003161002610000044
的特征为：
Figure GDA0003161002610000045
其中，Wr，Wh，Wt表示随机生成的权重矩阵，T表示矩阵转置；
所述基于权重将所述三元组加权求和，获得图向量的步骤包括：
所述图向量的特征为：
Figure GDA0003161002610000046
其中，hn，tn分别表示三元组的头实体向量和尾实体向量。
进一步的，所述对所述目标拼接向量进行解码，获得预测词语的步骤包括：
对所述目标拼接向量中各维度的数值进行归一化处理，获得归一化后的目标拼接向量；
确定归一化后的目标拼接向量中数值最大的维度，作为目标维度；
基于所述目标维度确定与所述目标维度预先关联的字符，作为所述预测词语。
为了解决上述技术问题，本申请实施例还提供一种基于语言模型的问询装置，采用了如下所述的技术方案：
一种基于语言模型的问询装置，包括：
接收模块，用于接收多次医患问诊的历史问诊数据，分别基于每次历史问诊数据生成多个样本，其中，一次历史问诊数据包括多轮的患者和医生的对话；
向量转换模块，用于获取预设的医疗知识辅助模型，所述医疗知识辅助模型包括向量转换层、向量组合层、知识编译层、语言模型和知识生成层，基于所述向量转换层对所述样本进行分词操作，获得多个词语，并将所述词语转换为词语向量，对样本的词语进行相对位置编码操作，获得位置向量，根据语境生成所述词语的身份信息向量；
向量组合模块，用于基于所述向量组合层对每个词语的词语向量、位置向量和身份信息向量进行组合，生成所述词语对应的词语综合向量；
计算模块，用于基于所述知识编译层分别从预设的知识图谱中生成每个词语对应的子知识图，作为目标知识图，通过静态图注意力机制计算所述目标知识图的图向量，将所述图向量和对应的所述词语综合向量进行拼接操作，获得词语的目标向量；
获得模块，用于将所有的词语的目标向量输入至所述语言模型中，获得依照时序输出的多个隐藏状态；
拼接模块，用于基于知识生成层中的动态注意力机制和所述隐藏状态对所述目标知识图进行计算，获得三元组向量，将所述三元组向量与对应的隐藏状态进行拼接，获得目标拼接向量，并对所述目标拼接向量进行解码，获得预测词语，根据时序拼接所述预测词语，获得预测话语；
迭代训练模块，用于基于所述预测话语迭代训练所述医疗知识辅助模型，直至所述医疗知识辅助模型收敛，获得训练后的医疗知识辅助模型；
预测模块，用于接收待预测医患问诊数据，将所述待预测医患问诊数据输入至所述训练后的医疗知识辅助模型中，获得目标预测结果。
为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：
一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现上述的基于语言模型的问询方法的步骤。
为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现上述的基于语言模型的问询方法的步骤。
与现有技术相比，本申请实施例主要有以下有益效果：
本申请通过对样本进行分词，获得多个词语，基于词语生成词语综合向量，并根据词语综合向量计算生成出词语的目标向量，其中，词语的目标向量是根据静态图注意力机制计算目标知识图的图向量来生成的，实现了输入语言模型中的词语的目标向量融合了目标知识图中的知识。并基于词语的目标向量输入语言模型中，获得隐藏状态，根据隐藏状态和动态注意力机制对目标知识图进行计算，获得三元组向量，基于三元组向量生成预测词语，实现了对于语义模型输出的隐藏状态，再次与目标知识图中的知识进行融合，从而弥补了语言模型生成的文本质量不高，生成内容不可控的问题，提升了医疗知识辅助模型的输出结果的准确率。本申请中的训练后的医疗知识辅助模型能够辅助医生诊断，提高医生对患者的问询效率，医生能够根据训练后的医疗知识辅助模型输出的目标预测结果与患者对话，降低误诊率和漏诊率，提升医疗诊断质量。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请可以应用于其中的示例性系统架构图；
图2是根据本申请的基于语言模型的问询方法的一个实施例的流程图；
图3是根据本申请的基于语言模型的问询装置的一个实施例的结构示意图；
图4是根据本申请的计算机设备的一个实施例的结构示意图。
附图标记：200、计算机设备；201、存储器；202、处理器；203、网络接口；300、基于语言模型的问询装置；301、接收模块；302、向量转换模块；303、向量组合模块；304、计算模块；305、获得模块；306、拼接模块；307、迭代训练模块；308、预测模块。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture ExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是，本申请实施例所提供的基于语言模型的问询方法一般由服务器/终端设备执行，相应地，基于语言模型的问询装置一般设置于服务器/终端设备中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
近年来，随着计算力和数据量的大幅度提升，人工智能技术获得进一步的发展，应用人工智能解决中国医疗领域问题已成为了热点。
引入人工智能技术可以在短时间内学习新的医疗方法并在实践中应用，一定程度上能弥补由于培养周期长而造成的医生空缺，辅助医生诊断，降低误诊率和漏诊率，提升医疗诊断质量。
本专利应用人工智能技术开发智能系统，辅助医生对就诊患者进行预问诊。当患者到医院进行就诊时，患者首先和智能预问诊系统进行对话沟通，系统一方面通过和患者的对话收集患者的就诊信息，帮助医生提前梳理患者的患病时间、诱因、症状、以及患者的既往病史、过敏史等基本信息，让患者提前做好相关检查，缩短患者就医路径，同时减少医生重复性的问询工作；另一方面，系统对收集到的信息通过智能诊断模型对患者进行疑似疾病诊断，辅助医生在问诊患者时进行最终的诊断。通过该智能预问诊系统，旨在缓解医院的接诊压力，提升医疗服务的质量和效率。
继续参考图2，示出了根据本申请的基于语言模型的问询方法的一个实施例的流程图。所述的基于语言模型的问询方法，包括以下步骤：
S1：接收多次医患问诊的历史问诊数据，分别基于每次历史问诊数据生成多个样本，其中，一次历史问诊数据包括多轮的患者和医生的对话。
在本实施例中，使用大量的历史问诊数据进行模型训练，学习问诊逻辑，以构建一个能够辅助医生问诊的智能机器人。将一次历史问诊数据拆分为多个样本，如一次历史问诊数据包括多轮的患者和医生的对话，则患者/医生每一轮说的话都作为一个样本，其中，该次历史问诊数据中的最后一个样本作为实际内容，剩余的样本作为训练样本。通过将历史问诊数据进行细致的拆分生成样本来训练模型，能够使模型学习到更细致丰富的信息。
在本实施例中，基于语言模型的问询方法运行于其上的电子设备(例如图1所示的服务器/终端设备)可以通过有线连接方式或者无线连接方式接收多次医患问诊的历史问诊数据。需要指出的是，上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
S2：获取预设的医疗知识辅助模型，所述医疗知识辅助模型包括向量转换层、向量组合层、知识编译层、语言模型和知识生成层，基于所述向量转换层对所述样本进行分词操作，获得多个词语，并将所述词语转换为词语向量，对样本的词语进行相对位置编码操作，获得位置向量，根据语境生成所述词语的身份信息向量。
在本实施例中，通过jieba(结巴)分词工具对所述样本进行分词操作，获得多个词语。将所述词语转换为词语向量(Token Embedding)。对样本中的词语进行相对位置编码操作，获得位置向量(Position Embedding)，根据语境生成所述词语的身份信息向量(Speaker Embedding)，通过身份信息向量能够区分不同的说话角色，使生成的文本更加符合对应角色特征。最初的不同词语或位置关联的向量都是随机初始化的，随着模型训练的进行，模型能够学习到词语在句子中出现位置不同所表示的不同含义，则生成的向量也随之变化。
S3：基于所述向量组合层对每个词语的词语向量、位置向量和身份信息向量进行组合，生成所述词语对应的词语综合向量。
在本实施例中，将词语向量、位置向量和身份信息向量在对应的维度相加，获得词语综合向量。词语综合向量能够综合位置信息和说话人身份信息，有利于提高模型输出结果的准确性。
S4：基于所述知识编译层分别从预设的知识图谱中生成每个词语对应的子知识图，作为目标知识图，通过静态图注意力机制计算所述目标知识图的图向量，将所述图向量和对应的所述词语综合向量进行拼接操作，获得词语的目标向量。
在本实施例中，预设的知识图谱为医疗知识图谱。基于词语从预设的知识图谱中生成子知识图，作为目标知识图的步骤包括：分别基于每个词语从知识图谱中确定出具有连接关系的实体，根据这些实体和连接关系构成子知识图。
具体的，所述通过静态图注意力机制计算所述目标知识图的图向量的步骤包括：
从生成的所述目标知识图中提取出所有的三元组；
基于注意力机制确定每个三元组的重要性，作为权重；
基于所述权重对所述三元组进行加权求和操作，获得所述图向量。
在本实施例中，从生成的所述目标知识图中提取出所有的三元组K(gi)＝{k1，…，kn，…，kNgi}。基于注意力机制确定每个三元组的重要性，从而获得每个三元组的权重，基于权重对三元组加权求和，即获得目标知识图的图向量。其中，基于权重对三元组加权求和的步骤中还包括：将三元组输入至预训练的TransE模型中，获得输出的初始三元组向量，基于权重对目标知识图中的所有所述初始三元组向量进行加权求和，即获得该目标知识图的图向量。TransE模型是知识图谱嵌入转换模型的一种，该模型的基本思想是使头向量和关系向量的和尽可能靠近尾向量。本申请通过上述过程实现了图向量的准确获取。
其中，所述基于注意力机制确定每个三元组的重要性，作为权重的步骤包括：
所述权重
Figure GDA0003161002610000111
的特征为：
Figure GDA0003161002610000112
Figure GDA0003161002610000113
表示第三中间值，
所述第三中间值
Figure GDA0003161002610000114
的特征为：
Figure GDA0003161002610000115
其中，Wr，Wh，Wt表示随机生成的权重矩阵，T表示矩阵转置；
所述基于权重将所述三元组加权求和，获得图向量的步骤包括：
所述图向量的特征为：
Figure GDA0003161002610000116
其中，hn，tn分别表示三元组的头实体向量和尾实体向量。
在本实施例中，三元组包括头实体、尾实体和关系。其对应的转化为向量即为头实体向量、尾实体向量和关系向量。Wr，Wh，Wt表示自定义或随机生成的权重矩阵。根据上述公式即可求出每个三元组的重要性。
S5：将所有的词语的目标向量输入至所述语言模型中，获得依照时序输出的多个隐藏状态。
在本实施例中，本申请的语言模型为GPT-3语言模型(Language Model)，GPT-3语言模型是一个生成模型，其原理是通过输入的句子，然后生成下一个句子，其生成的过程是逐词进行生成，St是GPT-3语言模型的一个隐层输出。St表示时刻t时刻GPT-3语言模型的输出，St-1是指t上一个时刻的GPT输出，是先生成St-1然后再生成St，然后再是St+1，是一个时序生成的过程。
S6：基于知识生成层中的动态注意力机制和所述隐藏状态对所述目标知识图进行计算，获得三元组向量，将所述三元组向量与对应的隐藏状态进行拼接，获得目标拼接向量，并对所述目标拼接向量进行解码，获得预测词语，根据时序拼接所述预测词语，获得预测话语。
在本实施例中，当获得的预测词语为预设的停止词语(SEP)时，计算机即停止预测。此时根据时序拼接输出的预测词语，即获得预测话语。
具体的，在步骤S6中，即所述基于知识生成层中的动态注意力机制和所述隐藏状态对所述目标知识图进行计算，获得三元组向量的步骤包括：
分别基于每个目标知识图的图向量和所述隐藏状态，计算生成每个隐藏状态时，使用每个目标知识图的概率值，并将数值最高的所述目标知识图的概率值，所对应的目标知识图作为关键知识图；
基于所述目标知识图的概率值计算所述关键知识图中的三元组的向量，获得所述三元组向量。
在本实施例中，具体的动态注意力机制主要是分为两步。第一步：需要从众多的目标知识图中找到对于当前生成的隐藏状态最重要的目标知识图，即计算生成时使用每个目标知识图的概率值，根据概率值确定出关键知识图。第二步：由第一步得到最重要的关键知识图后，需要判断关键知识图中的哪个三元组最重要，即计算生成时使用关键知识图中三元组的概率值，并根据三元组的概率值综合加权求和计算出三元组向量，然后利用该三元组向量和语言模型的隐层输出的对应的隐藏状态St进行拼接，得到最终的输出
Figure GDA0003161002610000121
作为三元组向量，然后对其进行解码生成对应预测词语。
其中，所述分别基于每个目标知识图的图向量和所述隐藏状态，计算生成隐藏状态时，使用每个目标知识图的概率值的步骤包括：
所述目标知识图的概率值
Figure GDA0003161002610000122
的特征为：
Figure GDA0003161002610000123
其中，
Figure GDA0003161002610000124
表示第一中间值；
所述第一中间值
Figure GDA0003161002610000125
的特征为：
Figure GDA0003161002610000126
其中，T表示矩阵转置，Vb，Wb，Ub表示随机生成的权重矩阵，St表示所述隐藏状态，gi表示所述图向量。
在本实施例中，注意力机制计算的是隐藏状态St和每个图向量gi的关系。计算生成时使用每个图gi的概率值。权重矩阵为预设或者随机生成的。基于上述公式即可计算出生成隐藏状态时，使用每个目标知识图的概率值。
进一步的，基于所述目标知识图的概率值计算所述关键知识图中的三元组的向量，获得所述三元组向量的步骤包括：
所述三元组向量
Figure GDA0003161002610000131
的特征为：
Figure GDA0003161002610000132
其中，
Figure GDA0003161002610000133
表示所述目标知识图的概率值，
Figure GDA0003161002610000134
表示三元组的概率值，kj表示所述关键知识图中的三元组，
所述三元组的概率值
Figure GDA0003161002610000135
的特征为：
Figure GDA0003161002610000136
其中，
Figure GDA0003161002610000137
表示第二中间值，
所述第二中间值
Figure GDA0003161002610000138
的特征为：
Figure GDA0003161002610000139
其中，Wc表示预设的权重矩阵，St表示所述隐藏状态，T表示矩阵转置。
在本实施例中，通过计算三元组的概率值，确定出生成隐藏状态时，使用目标知识图中的每个三元组的概率。将数值最高的所述三元组的概率值，所对应的三元组作为关键三元组，基于目标知识图的概率值生成三元组向量
Figure GDA00031610026100001310
此处注意力机制计算的是隐藏状态St和每个三元组向量kj的关系。利用注意力机制对关键知识图中的所有三元组kj做加权和得到
Figure GDA00031610026100001311
此外，在步骤S6中，即所述对所述目标拼接向量进行解码，获得预测词语的步骤包括：
对所述目标拼接向量中各维度的数值进行归一化处理，获得归一化后的目标拼接向量；
确定归一化后的目标拼接向量中数值最大的维度，作为目标维度；
基于所述目标维度确定与所述目标维度预先关联的字符，作为所述预测词语。
在本实施例中，目标拼接向量是一个多维的向量，每个维度均是小数表示，对该目标拼接向量的所有维度进行归一化处理后，每个维度的数值变成为一个概率值，将最大的概率值的维度所对应的词作为预测词语。例如：在最初生成词语向量时，词典中具有十个词，那么最终生成的目标拼接向量即有10个维度，每个维度对应词典中的一个词，最终将概率值最大的维度对应的词作为预测词语。
S7：基于所述预测话语迭代训练所述医疗知识辅助模型，直至所述医疗知识辅助模型收敛，获得训练后的医疗知识辅助模型。
在本实施例中，迭代训练医疗知识辅助模型，直至该模型收敛或达到预设的迭代次数时，确定完成训练，获得训练后的医疗知识辅助模型，以应用于实际生活中。
S8：接收待预测医患问诊数据，将所述待预测医患问诊数据输入至所述训练后的医疗知识辅助模型中，获得目标预测结果。
在本实施例中，训练后的医疗知识辅助模型可以根据输入的待预测医患问诊数据，生成当前要问诊的话语，作为目标预测结果。本申请还对样本进行标记，标记内容为是否患病以及患病情况下具体的疾病内容，通过标记后的样本训练智能诊断模型，获得训练后的智能诊断模型。将训练后的医疗知识辅助模型和智能诊断模型应用于智能预问诊系统中，当患者到医院进行就诊时，患者首先和智能预问诊系统进行对话沟通，系统一方面通过和患者的对话收集患者的就诊信息，帮助医生提前梳理患者的患病时间、诱因、症状、以及患者的既往病史、过敏史等基本信息，让患者提前做好相关检查，缩短患者就医路径，同时减少医生重复性的问询工作；另一方面，对收集到的信息通过训练后的智能诊断模型对患者进行疑似疾病诊断，辅助医生在问诊患者时进行最终的诊断。通过该智能预问诊系统，缓解医院的接诊压力，提升医疗服务的质量和效率。
需要强调的是，为进一步保证上述训练后的医疗知识辅助模型的私密和安全性，上述训练后的医疗知识辅助模型还可以存储于一区块链的节点中。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
本申请可应用于智慧医疗领域中，从而推动智慧城市的建设。
本申请通过对样本进行分词，获得多个词语，基于词语生成词语综合向量，并根据词语综合向量计算生成出词语的目标向量，其中，词语的目标向量是根据静态图注意力机制计算目标知识图的图向量来生成的，实现了输入语言模型中的词语的目标向量融合了目标知识图中的知识。并基于词语的目标向量输入语言模型中，获得隐藏状态，根据隐藏状态和动态注意力机制对目标知识图进行计算，获得三元组向量，基于三元组向量生成预测词语，实现了对于语义模型输出的隐藏状态，再次与目标知识图中的知识进行融合，从而弥补了语言模型生成的文本质量不高，生成内容不可控的问题，提升了医疗知识辅助模型的输出结果的准确率。本申请能够辅助医生诊断，提高医生对患者的问询效率，医生能够根据计算机输出的目标预测结果与患者对话，降低误诊率和漏诊率，提升医疗诊断质量。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于一计算机可读取存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
进一步参考图3，作为对上述图2所示方法的实现，本申请提供了一种基于语言模型的问询装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图3所示，本实施例所述的基于语言模型的问询装置300包括：接收模块301、向量转换模块302、向量组合模块303、计算模块304、获得模块305、拼接模块306、迭代训练模块307以及预测模块308。其中，接收模块301，用于接收多次医患问诊的历史问诊数据，分别基于每次历史问诊数据生成多个样本，其中，一次历史问诊数据包括多轮的患者和医生的对话；向量转换模块302，用于获取预设的医疗知识辅助模型，所述医疗知识辅助模型包括向量转换层、向量组合层、知识编译层、语言模型和知识生成层，基于所述向量转换层对所述样本进行分词操作，获得多个词语，并将所述词语转换为词语向量，对样本的词语进行相对位置编码操作，获得位置向量，根据语境生成所述词语的身份信息向量；向量组合模块303，用于基于所述向量组合层对每个词语的词语向量、位置向量和身份信息向量进行组合，生成所述词语对应的词语综合向量；计算模块304，用于基于所述知识编译层分别从预设的知识图谱中生成每个词语对应的子知识图，作为目标知识图，通过静态图注意力机制计算所述目标知识图的图向量，将所述图向量和对应的所述词语综合向量进行拼接操作，获得词语的目标向量；获得模块305，用于将所有的词语的目标向量输入至所述语言模型中，获得依照时序输出的多个隐藏状态；拼接模块306，用于基于知识生成层中的动态注意力机制和所述隐藏状态对所述目标知识图进行计算，获得三元组向量，将所述三元组向量与对应的隐藏状态进行拼接，获得目标拼接向量，并对所述目标拼接向量进行解码，获得预测词语，根据时序拼接所述预测词语，获得预测话语；迭代训练模块307，用于基于所述预测话语迭代训练所述医疗知识辅助模型，直至所述医疗知识辅助模型收敛，获得训练后的医疗知识辅助模型；预测模块308，用于接收待预测医患问诊数据，将所述待预测医患问诊数据输入至所述训练后的医疗知识辅助模型中，获得目标预测结果。
在本实施例中，本申请通过对样本进行分词，获得多个词语，基于词语生成词语综合向量，并根据词语综合向量计算生成出词语的目标向量，其中，词语的目标向量是根据静态图注意力机制计算目标知识图的图向量来生成的，实现了输入语言模型中的词语的目标向量融合了目标知识图中的知识。并基于词语的目标向量输入语言模型中，获得隐藏状态，根据隐藏状态和动态注意力机制对目标知识图进行计算，获得三元组向量，基于三元组向量生成预测词语，实现了对于语义模型输出的隐藏状态，再次与目标知识图中的知识进行融合，从而弥补了语言模型生成的文本质量不高，生成内容不可控的问题，提升了医疗知识辅助模型的输出结果的准确率。本申请中的训练后的医疗知识辅助模型能够辅助医生诊断，提高医生对患者的问询效率，医生能够根据训练后的医疗知识辅助模型输出的目标预测结果与患者对话，降低误诊率和漏诊率，提升医疗诊断质量。
计算模块304包括提取子模块、确定子模块和加权子模块。其中，提取子模块用于从生成的所述目标知识图中提取出所有的三元组；确定子模块用于基于注意力机制确定每个三元组的重要性，作为权重；加权子模块用于基于所述权重对所述三元组进行加权求和操作，获得所述图向量。
在本实施例的一些可选的实现方式中，上述确定子模块进一步用于：所述权重
Figure GDA0003161002610000171
的特征为：
Figure GDA0003161002610000172
Figure GDA0003161002610000173
表示第三中间值，
所述第三中间值
Figure GDA0003161002610000174
的特征为：
Figure GDA0003161002610000175
其中，Wr，Wh，Wt表示随机生成的权重矩阵，T表示矩阵转置；
在本实施例的一些可选的实现方式中，上述加权子模块进一步用于：所述图向量的特征为：
Figure GDA0003161002610000176
其中，hn，tn分别表示三元组的头实体向量和尾实体向量。
拼接模块306包括第一计算子模块和第二计算子模块，其中，第一计算子模块用于分别基于每个目标知识图的图向量和所述隐藏状态，计算生成每个隐藏状态时，使用每个目标知识图的概率值，并将数值最高的所述目标知识图的概率值，所对应的目标知识图作为关键知识图；第二计算子模块用于基于所述目标知识图的概率值计算所述关键知识图中的三元组的向量，获得所述三元组向量。
在本实施例的一些可选的实现方式中，上述第一计算子模块进一步用于：所述目标知识图的概率值
Figure GDA0003161002610000181
的特征为：
Figure GDA0003161002610000182
其中，
Figure GDA0003161002610000183
表示第一中间值；
所述第一中间值
Figure GDA0003161002610000184
的特征为：
Figure GDA0003161002610000185
其中，T表示矩阵转置，Vb，Wb，Ub表示随机生成的权重矩阵，St表示所述隐藏状态，gi表示所述图向量。
在本实施例的一些可选的实现方式中，上述第二计算子模块进一步用于：所述三元组向量
Figure GDA0003161002610000186
的特征为：
Figure GDA0003161002610000187
其中，
Figure GDA0003161002610000188
表示所述目标知识图的概率值，
Figure GDA0003161002610000189
表示三元组的概率值，kj表示所述关键知识图中的三元组，
所述三元组的概率值
Figure GDA00031610026100001810
的特征为：
Figure GDA00031610026100001811
其中，
Figure GDA00031610026100001812
表示第二中间值，
所述第二中间值
Figure GDA00031610026100001813
的特征为：
Figure GDA00031610026100001814
其中，Wc表示预设的权重矩阵，St表示所述隐藏状态，T表示矩阵转置。
拼接模块306还包括归一化子模块、维度确定子模块和字符确定子模块。其中，归一化子模块用于对所述目标拼接向量中各维度的数值进行归一化处理，获得归一化后的目标拼接向量；维度确定子模块用于确定归一化后的目标拼接向量中数值最大的维度，作为目标维度；字符确定子模块用于基于所述目标维度确定与所述目标维度预先关联的字符，作为所述预测词语。
本申请通过对样本进行分词，获得多个词语，基于词语生成词语综合向量，并根据词语综合向量计算生成出词语的目标向量，其中，词语的目标向量是根据静态图注意力机制计算目标知识图的图向量来生成的，实现了输入语言模型中的词语的目标向量融合了目标知识图中的知识。并基于词语的目标向量输入语言模型中，获得隐藏状态，根据隐藏状态和动态注意力机制对目标知识图进行计算，获得三元组向量，基于三元组向量生成预测词语，实现了对于语义模型输出的隐藏状态，再次与目标知识图中的知识进行融合，从而弥补了语言模型生成的文本质量不高，生成内容不可控的问题，提升了医疗知识辅助模型的输出结果的准确率。本申请中的训练后的医疗知识辅助模型能够辅助医生诊断，提高医生对患者的问询效率，医生能够根据训练后的医疗知识辅助模型输出的目标预测结果与患者对话，降低误诊率和漏诊率，提升医疗诊断质量。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。
所述计算机设备200包括通过系统总线相互通信连接存储器201、处理器202、网络接口203。需要指出的是，图中仅示出了具有组件201-203的计算机设备200，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器201至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器201可以是所述计算机设备200的内部存储单元，例如该计算机设备200的硬盘或内存。在另一些实施例中，所述存储器201也可以是所述计算机设备200的外部存储设备，例如该计算机设备200上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器201还可以既包括所述计算机设备200的内部存储单元也包括其外部存储设备。本实施例中，所述存储器201通常用于存储安装于所述计算机设备200的操作系统和各类应用软件，例如基于语言模型的问询方法的计算机可读指令等。此外，所述存储器201还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器202在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器202通常用于控制所述计算机设备200的总体操作。本实施例中，所述处理器202用于运行所述存储器201中存储的计算机可读指令或者处理数据，例如运行所述基于语言模型的问询方法的计算机可读指令。
所述网络接口203可包括无线网络接口或有线网络接口，该网络接口203通常用于在所述计算机设备200与其他电子设备之间建立通信连接。
在本实施例中，本申请弥补了语言模型生成的文本质量不高，生成内容不可控的问题。能够辅助医生诊断，提高医生对患者的问询效率，提升医疗诊断质量。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的基于语言模型的问询方法的步骤。
在本实施例中，本申请弥补了语言模型生成的文本质量不高，生成内容不可控的问题。能够辅助医生诊断，提高医生对患者的问询效率，提升医疗诊断质量。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (10)

1.一种基于语言模型的问询方法，其特征在于，包括下述步骤：
接收多次医患问诊的历史问诊数据，分别基于每次历史问诊数据生成多个样本，其中，一次历史问诊数据包括多轮的患者和医生的对话；
获取预设的医疗知识辅助模型，所述医疗知识辅助模型包括向量转换层、向量组合层、知识编译层、语言模型和知识生成层，基于所述向量转换层对所述样本进行分词操作，获得多个词语，并将所述词语转换为词语向量，对样本的词语进行相对位置编码操作，获得位置向量，根据语境生成所述词语的身份信息向量；
基于所述向量组合层对每个词语的词语向量、位置向量和身份信息向量进行组合，生成所述词语对应的词语综合向量；
基于所述知识编译层分别从预设的知识图谱中生成每个词语对应的子知识图，作为目标知识图，通过静态图注意力机制计算所述目标知识图的图向量，将所述图向量和对应的所述词语综合向量进行拼接操作，获得词语的目标向量；
将所有的词语的目标向量输入至所述语言模型中，获得依照时序输出的多个隐藏状态；
基于知识生成层中的动态注意力机制和所述隐藏状态对所述目标知识图进行计算，获得三元组向量，将所述三元组向量与对应的隐藏状态进行拼接，获得目标拼接向量，并对所述目标拼接向量进行解码，获得预测词语，根据时序拼接所述预测词语，获得预测话语；
基于所述预测话语迭代训练所述医疗知识辅助模型，直至所述医疗知识辅助模型收敛，获得训练后的医疗知识辅助模型；
接收待预测医患问诊数据，将所述待预测医患问诊数据输入至所述训练后的医疗知识辅助模型中，获得目标预测结果。
2.根据权利要求1所述的基于语言模型的问询方法，其特征在于，基于知识生成层中的动态注意力机制和所述隐藏状态对所述目标知识图进行计算，获得三元组向量的步骤包括：
分别基于每个目标知识图的图向量和所述隐藏状态，计算生成每个隐藏状态时，使用每个目标知识图的概率值，并将数值最高的所述目标知识图的概率值，所对应的目标知识图作为关键知识图；
基于所述目标知识图的概率值计算所述关键知识图中的三元组的向量，获得所述三元组向量。
3.根据权利要求2所述的基于语言模型的问询方法，其特征在于，所述分别基于每个目标知识图的图向量和所述隐藏状态，计算生成隐藏状态时，使用每个目标知识图的概率值的步骤包括：
所述目标知识图的概率值
Figure FDA0003094777260000021
的特征为：
Figure FDA0003094777260000022
其中，
Figure FDA0003094777260000023
表示第一中间值；
所述第一中间值
Figure FDA0003094777260000024
的特征为：
Figure FDA0003094777260000025
其中，T表示矩阵转置，Vb，Wb，Ub表示随机生成的权重矩阵，St表示所述隐藏状态，gi表示所述图向量。
4.根据权利要求2所述的基于语言模型的问询方法，其特征在于，基于所述目标知识图的概率值计算所述关键知识图中的三元组的向量，获得所述三元组向量的步骤包括：
所述三元组向量
Figure FDA0003094777260000026
的特征为：
Figure FDA0003094777260000027
其中，
Figure FDA0003094777260000028
表示所述目标知识图的概率值，
Figure FDA0003094777260000029
表示三元组的概率值，kj表示所述关键知识图中的三元组，
所述三元组的概率值
Figure FDA00030947772600000210
的特征为：
Figure FDA00030947772600000211
其中，
Figure FDA00030947772600000212
表示第二中间值，
所述第二中间值
Figure FDA00030947772600000213
的特征为：
Figure FDA00030947772600000214
其中，Wc表示预设的权重矩阵，St表示所述隐藏状态，T表示矩阵转置。
5.根据权利要求1所述的基于语言模型的问询方法，其特征在于，所述通过静态图注意力机制计算所述目标知识图的图向量的步骤包括：
从生成的所述目标知识图中提取出所有的三元组；
基于注意力机制确定每个三元组的重要性，作为权重；
基于所述权重对所述三元组进行加权求和操作，获得所述图向量。
6.根据权利要求5所述的基于语言模型的问询方法，其特征在于，所述基于注意力机制确定每个三元组的重要性，作为权重的步骤包括：
所述权重
Figure FDA0003094777260000031
的特征为：
Figure FDA0003094777260000032
Figure FDA0003094777260000033
表示第三中间值，
所述第三中间值
Figure FDA0003094777260000034
的特征为：
Figure FDA0003094777260000035
其中，Wr，Wh，Wt表示随机生成的权重矩阵，T表示矩阵转置；
所述基于权重将所述三元组加权求和，获得图向量的步骤包括：
所述图向量的特征为：
Figure FDA0003094777260000036
其中，hn，tn分别表示三元组的头实体向量和尾实体向量。
7.根据权利要求1所述的基于语言模型的问询方法，其特征在于，所述对所述目标拼接向量进行解码，获得预测词语的步骤包括：
对所述目标拼接向量中各维度的数值进行归一化处理，获得归一化后的目标拼接向量；
确定归一化后的目标拼接向量中数值最大的维度，作为目标维度；
基于所述目标维度确定与所述目标维度预先关联的字符，作为所述预测词语。
8.一种基于语言模型的问询装置，其特征在于，包括：
接收模块，用于接收多次医患问诊的历史问诊数据，分别基于每次历史问诊数据生成多个样本，其中，一次历史问诊数据包括多轮的患者和医生的对话；
向量转换模块，用于获取预设的医疗知识辅助模型，所述医疗知识辅助模型包括向量转换层、向量组合层、知识编译层、语言模型和知识生成层，基于所述向量转换层对所述样本进行分词操作，获得多个词语，并将所述词语转换为词语向量，对样本的词语进行相对位置编码操作，获得位置向量，根据语境生成所述词语的身份信息向量；
向量组合模块，用于基于所述向量组合层对每个词语的词语向量、位置向量和身份信息向量进行组合，生成所述词语对应的词语综合向量；
计算模块，用于基于所述知识编译层分别从预设的知识图谱中生成每个词语对应的子知识图，作为目标知识图，通过静态图注意力机制计算所述目标知识图的图向量，将所述图向量和对应的所述词语综合向量进行拼接操作，获得词语的目标向量；
获得模块，用于将所有的词语的目标向量输入至所述语言模型中，获得依照时序输出的多个隐藏状态；
拼接模块，用于基于知识生成层中的动态注意力机制和所述隐藏状态对所述目标知识图进行计算，获得三元组向量，将所述三元组向量与对应的隐藏状态进行拼接，获得目标拼接向量，并对所述目标拼接向量进行解码，获得预测词语，根据时序拼接所述预测词语，获得预测话语；
迭代训练模块，用于基于所述预测话语迭代训练所述医疗知识辅助模型，直至所述医疗知识辅助模型收敛，获得训练后的医疗知识辅助模型；
预测模块，用于接收待预测医患问诊数据，将所述待预测医患问诊数据输入至所述训练后的医疗知识辅助模型中，获得目标预测结果。
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的基于语言模型的问询方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的基于语言模型的问询方法的步骤。
CN202110608950.2A 2021-06-01 2021-06-01 基于语言模型的问询方法、装置、计算机设备及存储介质 Active CN113327691B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110608950.2A CN113327691B (zh) 2021-06-01 2021-06-01 基于语言模型的问询方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110608950.2A CN113327691B (zh) 2021-06-01 2021-06-01 基于语言模型的问询方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN113327691A CN113327691A (zh) 2021-08-31
CN113327691B true CN113327691B (zh) 2022-08-12

Family

ID=77423268

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110608950.2A Active CN113327691B (zh) 2021-06-01 2021-06-01 基于语言模型的问询方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN113327691B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111554268A (zh) * 2020-07-13 2020-08-18 腾讯科技（深圳）有限公司 基于语言模型的语言识别方法、文本分类方法和装置
CN111785368A (zh) * 2020-06-30 2020-10-16 平安科技（深圳）有限公司 基于医疗知识图谱的分诊方法、装置、设备及存储介质
CN111816301A (zh) * 2020-07-07 2020-10-23 平安科技（深圳）有限公司 医疗问诊辅助方法、装置、电子设备及介质
CN111883251A (zh) * 2020-07-28 2020-11-03 平安科技（深圳）有限公司 医疗误诊检测方法、装置、电子设备及存储介质
CN111949802A (zh) * 2020-08-06 2020-11-17 平安科技（深圳）有限公司 医学领域知识图谱的构建方法、装置、设备及存储介质
CN112035635A (zh) * 2020-08-28 2020-12-04 康键信息技术（深圳）有限公司 医疗领域意图识别方法、装置、设备及存储介质
CN112071425A (zh) * 2020-09-04 2020-12-11 平安科技（深圳）有限公司 一种数据处理方法、装置、计算机设备及存储介质
CN112231569A (zh) * 2020-10-23 2021-01-15 中国平安人寿保险股份有限公司 新闻推荐方法、装置、计算机设备及存储介质
CN112242187A (zh) * 2020-10-26 2021-01-19 平安科技（深圳）有限公司 基于知识图谱表征学习的医疗方案推荐系统及方法
CN112417121A (zh) * 2020-11-20 2021-02-26 平安普惠企业管理有限公司 客户意图识别方法、装置、计算机设备及存储介质
CN112507061A (zh) * 2020-12-15 2021-03-16 康键信息技术（深圳）有限公司 多关系医学知识提取方法、装置、设备及存储介质
CN112765936A (zh) * 2020-12-31 2021-05-07 出门问问(武汉)信息科技有限公司 一种基于语言模型进行运算的训练方法及装置
CN112786194A (zh) * 2021-01-28 2021-05-11 北京一脉阳光医学信息技术有限公司 基于人工智能的医学影像导诊导检系统、方法及设备
CN112863630A (zh) * 2021-01-20 2021-05-28 中国科学院自动化研究所 基于数据和知识的个性化精准医疗问答系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018057945A1 (en) * 2016-09-22 2018-03-29 nference, inc. Systems, methods, and computer readable media for visualization of semantic information and inference of temporal signals indicating salient associations between life science entities
US10891321B2 (en) * 2018-08-28 2021-01-12 American Chemical Society Systems and methods for performing a computer-implemented prior art search

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111785368A (zh) * 2020-06-30 2020-10-16 平安科技（深圳）有限公司 基于医疗知识图谱的分诊方法、装置、设备及存储介质
CN111816301A (zh) * 2020-07-07 2020-10-23 平安科技（深圳）有限公司 医疗问诊辅助方法、装置、电子设备及介质
CN111554268A (zh) * 2020-07-13 2020-08-18 腾讯科技（深圳）有限公司 基于语言模型的语言识别方法、文本分类方法和装置
CN111883251A (zh) * 2020-07-28 2020-11-03 平安科技（深圳）有限公司 医疗误诊检测方法、装置、电子设备及存储介质
CN111949802A (zh) * 2020-08-06 2020-11-17 平安科技（深圳）有限公司 医学领域知识图谱的构建方法、装置、设备及存储介质
CN112035635A (zh) * 2020-08-28 2020-12-04 康键信息技术（深圳）有限公司 医疗领域意图识别方法、装置、设备及存储介质
CN112071425A (zh) * 2020-09-04 2020-12-11 平安科技（深圳）有限公司 一种数据处理方法、装置、计算机设备及存储介质
CN112231569A (zh) * 2020-10-23 2021-01-15 中国平安人寿保险股份有限公司 新闻推荐方法、装置、计算机设备及存储介质
CN112242187A (zh) * 2020-10-26 2021-01-19 平安科技（深圳）有限公司 基于知识图谱表征学习的医疗方案推荐系统及方法
CN112417121A (zh) * 2020-11-20 2021-02-26 平安普惠企业管理有限公司 客户意图识别方法、装置、计算机设备及存储介质
CN112507061A (zh) * 2020-12-15 2021-03-16 康键信息技术（深圳）有限公司 多关系医学知识提取方法、装置、设备及存储介质
CN112765936A (zh) * 2020-12-31 2021-05-07 出门问问(武汉)信息科技有限公司 一种基于语言模型进行运算的训练方法及装置
CN112863630A (zh) * 2021-01-20 2021-05-28 中国科学院自动化研究所 基于数据和知识的个性化精准医疗问答系统
CN112786194A (zh) * 2021-01-28 2021-05-11 北京一脉阳光医学信息技术有限公司 基于人工智能的医学影像导诊导检系统、方法及设备

Also Published As

Publication number Publication date
CN113327691A (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
JP2021089705A (ja) 翻訳品質を評価するための方法と装置
WO2022007438A1 (zh) 情感语音数据转换方法、装置、计算机设备及存储介质
WO2022142011A1 (zh) 一种地址识别方法、装置、计算机设备及存储介质
US20230130006A1 (en) Method of processing video, method of quering video, and method of training model
CN113707299A (zh) 基于问诊会话的辅助诊断方法、装置及计算机设备
CN112287069A (zh) 基于语音语义的信息检索方法、装置及计算机设备
EP4361843A1 (en) Neural network searching method and related device
CN112307168A (zh) 基于人工智能的问诊会话处理方法、装置和计算机设备
CN112836521A (zh) 问答匹配方法、装置、计算机设备及存储介质
CN113947095B (zh) 多语种文本翻译方法、装置、计算机设备及存储介质
CN110134967A (zh) 文本处理方法、装置、计算设备及计算机可读存储介质
CN112632244A (zh) 一种人机通话的优化方法、装置、计算机设备及存储介质
CN113505601A (zh) 一种正负样本对构造方法、装置、计算机设备及存储介质
CN112084752A (zh) 基于自然语言的语句标注方法、装置、设备及存储介质
CN112699213A (zh) 语音意图识别方法、装置、计算机设备及存储介质
CN113505595A (zh) 文本短语抽取方法、装置、计算机设备及存储介质
CN114358023A (zh) 智能问答召回方法、装置、计算机设备及存储介质
CN114238656A (zh) 基于强化学习的事理图谱补全方法及其相关设备
CN117763084A (zh) 基于文本压缩的知识库检索方法及相关设备
CN113327691B (zh) 基于语言模型的问询方法、装置、计算机设备及存储介质
CN112199954A (zh) 基于语音语义的疾病实体匹配方法、装置及计算机设备
CN109710939B (zh) 用于确定主题的方法和装置
US20230070966A1 (en) Method for processing question, electronic device and storage medium
CN116612745A (zh) 一种语音情感识别方法、装置、设备及其存储介质
Qin Research on the application of intelligent speech recognition technology in medical big data fog computing system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant