CN110895561A - 基于多模态知识感知的医疗问答检索方法、系统、装置 - Google Patents

基于多模态知识感知的医疗问答检索方法、系统、装置 Download PDF

Info

Publication number
CN110895561A
CN110895561A CN201911103544.XA CN201911103544A CN110895561A CN 110895561 A CN110895561 A CN 110895561A CN 201911103544 A CN201911103544 A CN 201911103544A CN 110895561 A CN110895561 A CN 110895561A
Authority
CN
China
Prior art keywords
question
answer
entity
representation
alternative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911103544.XA
Other languages
English (en)
Other versions
CN110895561B (zh
Inventor
徐常胜
张莹莹
钱胜胜
方全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN201911103544.XA priority Critical patent/CN110895561B/zh
Publication of CN110895561A publication Critical patent/CN110895561A/zh
Application granted granted Critical
Publication of CN110895561B publication Critical patent/CN110895561B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于信息检索与问答系统领域，具体涉及了一种基于多模态知识感知的医疗问答检索方法、系统、装置，旨在解决现有医疗问答系统无法理解检索词的内涵导致检索准确率低的问题。本发明方法包括：构建多模态医疗知识图谱，获取用户问题对应的备选答案集合；对问题与备选答案进行文本编码，并提取问题与备选答案的实体；通过路径编码获取问题实体到备选答案实体的路径表示；通过医疗问答检索模型获取问题到各备选答案的交互表示；通过多层感知机分别获取问题到各备选答案的匹配分数；最大匹配分数对应的备选答案为检索答案。本发明有效地将知识图谱语义信息应用到医疗问答中，构建问题与答案对之间的交互，提高了检索得到的回答的精确度与准确性。

Description

基于多模态知识感知的医疗问答检索方法、系统、装置
技术领域
本发明属于信息检索与问答系统领域，具体涉及了一种基于多模态知识感知的医疗问答检索方法、系统、装置。
背景技术
在医疗问答系统中，知识图谱包含了潜在的问答对之间的交互。例如，当问题中提到医疗实体“胶样癌”与“心脏”时，医生首先想到疾病“心脏胶样癌”，然后思考这种疾病的起因和治疗方法。除此之外，与实体相关的图片描述了该实体的外观信息，并可以将实体之间的关系细粒化。如医疗知识图谱中“胶样癌”与“心脏胶样癌”的关系为“疾病相关疾病”，而额外的图像和文本信息则提供了两者是以何种形式相关的。这种隐含的语义也可以丰富实体的表示。这些知识图谱中的路径显式地告诉患者为什么医生建议“手术移除”。这些观察到的现象驱使我们将问题/回答映射到知识图谱的实体，然后通过在知识图谱中找到连接实体对的路径，作为问答对之间的交互。知识图谱中不同的路径能反映医疗实体间不同的关系，但是其中一些路径可能与问答的上下文不符合，也与医生的推理逻辑不一致。问题和回答中会提到许多不同的实体，从而形成多个实体对。与此同时，同一个实体对之间也有可能有多条路径将它们连接在一起。例如，在知识图谱中，存在“痛→肿瘤→肿”与“痛→发炎→肿”两种不同的路径。虽然这两个路径包含的症状是一样的，但却与不同的疾病关联。
总的来说，现有的医疗问答系统还存在诸多问题：首先，现有医疗问答系统需要关键词的逻辑组合作为基础才能检索结果；其次，同一个检索关键词可能会返回大量的信息，用户难以判断信息的准确性，从而很难进行合理的信息筛选；最后，系统只针对检索关键词的语言表面信息，不涉及语言的内涵，返回信息的准确性低。
发明内容
为了解决现有技术中的上述问题，即现有医疗问答系统无法理解检索词的内涵导致检索准确率低的问题，本发明提供了一种基于多模态知识感知的医疗问答检索方法，该医疗问答检索方法包括：
步骤S10，获取用户问题，并基于预先构建的多模态医疗知识图谱，获取所述用户问题对应的备选答案集合；
步骤S20，对所述用户问题以及所述备选答案集合中的每个备选答案进行文本编码，获取问题表示和备选答案表示的集合；
步骤S30，提取所述问题表示和备选答案表示的集合的问题实体、备选答案实体，得到问题实体和备选答案实体集合；
步骤S40，基于所述问题实体和备选答案实体集合，分别对问题实体到各备选答案实体进行路径编码，得到问题实体到各备选答案实体的路径表示集合；
步骤S50，基于所述问题实体到各备选答案实体的路径表示集合，通过医疗问答检索模型获取问题到各备选答案的交互表示；所述医疗问答检索模型基于注意力机制构建，用于对问题到备选答案的路径表示集合中的各条路径表示加权，获取问题到各备选答案的交互表示；
步骤S60，基于所述问题到各备选答案的交互表示，通过预设第一函数分别获取问题到各备选答案的匹配分数，所述最大匹配分数对应的备选答案为用户问题对应的检索答案。
在一些优选的实施例中，所述多模态医疗知识图谱基于中文症状库、图片库构建，其构建方法为：
步骤T10，提取所述中文症状库中的实体，并分别从所述图片库中获取各实体对应的图像集合；
步骤T20，分别通过预设第二函数去除所述各实体对应的图像集合中噪声高于设定阈值的图片并进行图片融合，获取各实体的视觉表示；基于所述中文症状库中的实体，获取各实体的文本表示和结构表示；
步骤T30，基于所述各实体的视觉表示、文本表示，获取各实体的多模态表示，并结合所述各实体的结构表示，获取各实体的最终表示；
步骤T40，基于各实体的最终表示，通过基于翻译的表示学习，获取各实体关系的三元组能量表示，获得多模态医疗知识图谱。
在一些优选的实施例中，步骤T20中“通过预设第二函数去除所述各实体对应的图像集合中噪声高于设定阈值的图片并进行图片融合，获取各实体的视觉表示”，其方法为：
Figure BDA0002270556660000031
其中，
Figure BDA0002270556660000032
代表第i个实体的视觉表示，Nik、
Figure BDA0002270556660000033
分别代表第i个实体对应的图像集合中第k张图片的噪声、图片特征，ni代表第i个实体对应的图像集合的大小。
在一些优选的实施例中，步骤S20中“对所述用户问题以及所述备选答案集合中的每个备选答案进行文本编码，获取问题表示和备选答案表示的集合”，其方法为：
步骤S21，分别将所述用户问题以及所述备选答案集合中的每个备选答案中的词嵌入矩阵相应位置，获得用户问题及各备选答案矩阵；
步骤S22，基于所述用户问题及各备选答案矩阵，通过序列信息生成获取问题表示和备选答案表示的集合：
Figure BDA0002270556660000041
Figure BDA0002270556660000042
其中，xq、xa分别代表用户问题表示、备选答案表示；
Figure BDA0002270556660000043
分别代表用户问题矩阵、备选答案矩阵，dw代表特征的维数；A(R(q))i、A(R(a))i分别代表用户问题、备选答案中第i个词的表示；m代表用户问题的词数；n代表备选答案的词数。
在一些优选的实施例中，步骤S40中“基于所述问题实体和备选答案实体集合，分别对问题实体到各备选答案实体进行路径编码，得到问题实体到各备选答案实体的路径表示集合”，其方法为：
Figure BDA0002270556660000044
其中，
Figure BDA0002270556660000045
代表问题实体到各备选答案实体的路径表示；WQ、WK、WV分别为输入XP对应的预设变换矩阵，
Figure BDA0002270556660000046
dw代表特征的维数；L代表输入XP由L个节点的表示拼接构成。
在一些优选的实施例中，步骤S50中“基于所述问题实体到各备选答案实体的路径表示集合，通过医疗问答检索模型获取问题到各备选答案的交互表示”，其方法为：
步骤S51，通过医疗问答检索模型的双层前馈网络，计算所述问题实体到各备选答案实体的路径表示集合中每一个路径的权重；
步骤S52，对所述每一个路径的权重进行归一化，并依据归一化后的权重对所述问题实体到各备选答案实体的路径表示集合进行加权，获得问题到各备选答案的交互表示。
在一些优选的实施例中，所述医疗问答检索模型通过最小化目标函数获取；所述目标函数为：
Figure BDA0002270556660000051
其中，a+、a-分别代表与用户问题相关的回答、无关的回答，s(q,a+)、s(q,a-)分别代表用户问题到其相关的回答的匹配分数、无关的回答的匹配分数，
Figure BDA0002270556660000052
代表语料库。
在一些优选的实施例中，所述预设第一函数为多层感知机。
本发明的另一方面，提出了一种基于多模态知识感知的医疗问答检索系统，该医疗问答检索系统包括输入模块、备选答案获取模块、文本编码模块、实体提取模块、路径编码模块、医疗问答检索模块、答案匹配模块、输出模块；
所述输入模块，配置为获取用户问题并输入；
所述备选答案获取模块，配置为基于获取的用户问题、预先构建的多模态医疗知识图谱，获取所述用户问题对应的备选答案集合；
所述文本编码模块，配置为对所述用户问题以及所述备选答案集合中的每个备选答案进行文本编码，获取问题表示和备选答案表示的集合；
所述实体提取模块，配置为提取所述问题表示和备选答案表示的集合的问题实体、备选答案实体，得到问题实体和备选答案实体集合；
所述路径编码模块，配置为基于所述问题实体和备选答案实体集合，分别对问题实体到各备选答案实体进行路径编码，得到问题实体到各备选答案实体的路径表示集合；
所述医疗问答检索模块，配置为基于所述问题实体到各备选答案实体的路径表示集合，通过医疗问答检索模型获取问题到各备选答案的交互表示；
所述答案匹配模块，配置为基于所述问题到各备选答案的交互表示，通过预设第一函数分别获取问题到各备选答案的匹配分数；
所述输出模块，配置为输出最大匹配分数对应的备选答案作为用户问题对应的检索答案。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于多模态知识感知的医疗问答检索方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于多模态知识感知的医疗问答检索方法。
本发明的有益效果：
本发明基于多模态知识感知的医疗问答检索方法，构建了一个多模态医疗知识图谱，并将结构、文本语义、图像信息结合到知识图谱的表示学习中，以知识图谱为基础，挖掘问答对之间潜在的交互关系，用于问答检索，从而有效地将知识图谱语义信息应用到医疗问答中，构建问题与答案对之间的交互，提高了检索得到的回答的精确度与准确性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明基于多模态知识感知的医疗问答检索方法的流程示意图；
图2是本发明基于多模态知识感知的医疗问答检索方法一种实施例的筛选出的噪声图片示意图；
图3是本发明基于多模态知识感知的医疗问答检索方法一种实施例的模型示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明的一种基于多模态知识感知的医疗问答检索方法，该医疗问答检索方法包括：
步骤S10，获取用户问题，并基于预先构建的多模态医疗知识图谱，获取所述用户问题对应的备选答案集合；
步骤S20，对所述用户问题以及所述备选答案集合中的每个备选答案进行文本编码，获取问题表示和备选答案表示的集合；
步骤S30，提取所述问题表示和备选答案表示的集合的问题实体、备选答案实体，得到问题实体和备选答案实体集合；
步骤S40，基于所述问题实体和备选答案实体集合，分别对问题实体到各备选答案实体进行路径编码，得到问题实体到各备选答案实体的路径表示集合；
步骤S50，基于所述问题实体到各备选答案实体的路径表示集合，通过医疗问答检索模型获取问题到各备选答案的交互表示；所述医疗问答检索模型基于注意力机制构建，用于对问题到备选答案的路径表示集合中的各条路径表示加权，获取问题到各备选答案的交互表示；
步骤S60，基于所述问题到各备选答案的交互表示，通过预设第一函数分别获取问题到各备选答案的匹配分数，所述最大匹配分数对应的备选答案为用户问题对应的检索答案。
为了更清晰地对本发明基于多模态知识感知的医疗问答检索方法进行说明，下面结合图1对本发明方法实施例中各步骤展开详述。
本发明一种实施例的基于多模态知识感知的医疗问答检索方法，包括步骤S10-步骤S60，各步骤详细描述如下：
步骤S10，获取用户问题，并基于预先构建的多模态医疗知识图谱，获取所述用户问题对应的备选答案集合。
多模态医疗知识图谱基于中文症状库、图片库构建，其构建方法为：
步骤T10，提取所述中文症状库中的实体，并分别从所述图片库中获取各实体对应的图像集合。
虽然中文症状库包含了医疗实体和他们之间的关系，但不包括视觉信息。本发明一个实施例中，为了获得含有视觉信息的多模态医疗知识图谱，从谷歌图片为每个实体收集对应的图片。
步骤T20，分别通过预设第二函数去除所述各实体对应的图像集合中噪声高于设定阈值的图片并进行图片融合，获取各实体的视觉表示；基于所述中文症状库中的实体，获取各实体的文本表示和结构表示。
从收集到的图片中去除无关的噪声图片，如图2所示，为本发明基于多模态知识感知的医疗问答检索方法一种实施例的筛选出的噪声图片示意图，噪声图片的评判的标准为噪声值，它是该图片与同一实体其它图片距离之和计算而来。采用欧拉距离作为距离的度量，并用ResNet50提取得到2048维的特征。如果噪声值高于阈值，则该图片被过滤，记处理之后的第i个实体对应的图片集为Ji。
大多数实体都有不止一张图片与之关联，因此还需要融合多张图片的信息，得到实体最终的视觉表示。简单地将多张图片的表示求和或者求平均，会造成信息缺失。因此，在噪声值的基础上得到实体的视觉表示，如式(1)所示：
Figure BDA0002270556660000091
其中，
Figure BDA0002270556660000092
代表第i个实体的视觉表示，Nik、
Figure BDA0002270556660000093
分别代表第i个实体对应的图像集合中第k张图片的噪声、图片特征，ni代表第i个实体对应的图像集合的大小。
步骤T30，基于所述各实体的视觉表示、文本表示，获取各实体的多模态表示，并结合所述各实体的结构表示，获取各实体的最终表示。
为了处理自反的关系，如“疾病相关疾病”，采用基于TransH的方法，给定实体的结构特征
Figure BDA0002270556660000094
文本特征
Figure BDA0002270556660000095
视觉特征
Figure BDA0002270556660000096
首先，将它们映射到同一个空间，并将映射后head和tail的结构特征记为hS与tS。对于多模态特征，首先拼接文本与图像的特征，然后将它们输入到全连接层，并将映射后的多模态特征记为hM和tM。在约束||wr||2＝1的情况下，实体在relation超平面上的投影如式(2)所示：
Figure BDA0002270556660000101
其中，wr、
Figure BDA0002270556660000102
分别代表关系r及其转置的模，e代表实体表示，e⊥代表实体在关系上的投影。
同理可得
Figure BDA0002270556660000103
则实体的最终表示的投影
Figure BDA0002270556660000104
和
Figure BDA0002270556660000105
可以由结构表示与多模态表示之和得到，如式(3)所示：
Figure BDA0002270556660000106
同理可得
Figure BDA0002270556660000107
步骤T40，基于各实体的最终表示，通过基于翻译的表示学习，获取各实体关系的三元组能量表示，获得多模态医疗知识图谱。
扩展TransH中提出的方法，将结构的表示替换成多模态与综合表示，约束关系在结构/多模态/综合表示对head与tail之间，如式(4)、式(5)、式(6)所示：
Figure BDA0002270556660000108
Figure BDA0002270556660000109
Figure BDA00022705566600001010
其中，dr代表关系在relation超平面上的投影。
定义结构-多模态的能量函数，驱使结构和多模态的表示映射到同一空间，如式(7)所示：
Figure BDA00022705566600001011
同理可得EMS，考虑以上所有的能量函数，一个三元组的能量可以最终定义为它们之和，如式(8)所示：
E(h,r,t)＝ES+EM+EC+EMS+ESM 式(8)
以head与tail为中心，定义两个用于负样本的集合，如式(9)、式(10)所示：
Figure BDA0002270556660000111
Figure BDA0002270556660000112
多模态医疗知识图谱通过最小化损失函数获取，其损失函数如式(11)所示：
Figure BDA0002270556660000113
其中，
Figure BDA0002270556660000114
分别代表以head、tail为中心的损失函数。
以head为中心的损失函数，如式(12)所示：
Figure BDA0002270556660000115
以tail为中心的损失函数，如式(13)所示：
Figure BDA0002270556660000116
其中，γ是间隔。
步骤S20，对所述用户问题以及所述备选答案集合中的每个备选答案进行文本编码，获取问题表示和备选答案表示的集合。
步骤S21，分别将所述用户问题以及所述备选答案集合中的每个备选答案中的词嵌入矩阵相应位置，获得用户问题及各备选答案矩阵。
将问题q与回答a中的词首先输入到一个嵌入层，并在词嵌入矩阵中找到对应的词的嵌入，用
Figure BDA0002270556660000121
分别来表示问题q与回答a。
步骤S22，基于所述用户问题及各备选答案矩阵，通过序列信息生成获取问题表示和备选答案表示的集合，如式(14)、式(15)所示：
Figure BDA0002270556660000122
Figure BDA0002270556660000123
其中，xq、xa分别代表用户问题表示、备选答案表示；
Figure BDA0002270556660000124
分别代表用户问题矩阵、备选答案矩阵，dw代表特征的维数；A(R(q))i、A(R(a))i分别代表用户问题、备选答案中第i个词的表示；m代表用户问题的词数；n代表备选答案的词数。
步骤S30，提取所述问题表示和备选答案表示的集合的问题实体、备选答案实体，得到问题实体和备选答案实体集合。
步骤S40，基于所述问题实体和备选答案实体集合，分别对问题实体到各备选答案实体进行路径编码，得到问题实体到各备选答案实体的路径表示集合，如式(16)所示：
Figure BDA0002270556660000125
其中，
Figure BDA0002270556660000126
代表问题实体到各备选答案实体的路径表示，WQ、WK、WV分别为输入XP对应的预设变换矩阵，
Figure BDA0002270556660000127
dw代表特征的维数，L代表输入XP由L个节点的表示拼接构成。
步骤S50，基于所述问题实体到各备选答案实体的路径表示集合，通过医疗问答检索模型获取问题到各备选答案的交互表示；所述医疗问答检索模型基于注意力机制构建，用于对问题到备选答案的路径表示集合中的各条路径表示加权，获取问题到各备选答案的交互表示。
路径模拟了医生回答问题时的逻辑，也可以看成是问答对之间的交互与上下文。
步骤S51，通过医疗问答检索模型的双层前馈网络，计算所述问题实体到各备选答案实体的路径表示集合中每一个路径的权重，如式(17)、式(18)所示：
Figure BDA0002270556660000131
Figure BDA0002270556660000132
其中，W(1)，W(2)，b(1)，b(2)分别为模型的参数，f(·)是ReLU函数，
Figure BDA0002270556660000133
为拼接操作，xq、xp、xa分别代表问题、路径、回答的特征。
步骤S52，对所述每一个路径的权重进行归一化，并依据归一化后的权重对所述问题实体到各备选答案实体的路径表示集合进行加权，获得问题到各备选答案的交互表示。
对每一个路径的权重进行归一化，如式(19)所示：
Figure BDA0002270556660000134
其中，
Figure BDA0002270556660000135
代表问题实体到各备选答案实体的路径表示集合。
根据权重对得到的路径的表示进行加权，得到最终路径的表示，如式(20)所示：
Figure BDA0002270556660000136
步骤S60，基于所述问题到各备选答案的交互表示，通过预设第一函数分别获取问题到各备选答案的匹配分数，所述最大匹配分数对应的备选答案为用户问题对应的检索答案。
为计算该问答对的匹配度，首先将这些表示拼接在一起，得到问答对的表示，如式(21)：
Figure BDA0002270556660000141
其中，
Figure BDA0002270556660000142
为拼接操作。
预设第一函数为多层感知机，将问答对的表示输入，计算得到最终的分数，如式(22)所示：
s(q,a)＝MLP(q,a) 式(22)
医疗问答检索模型通过最小化目标函数获取，其目标函数如式(23)所示：
Figure BDA0002270556660000143
为了构建一个端到端的网络，迭代更新多模态医疗知识图谱表示部分以及问答匹配部分。首先，从问答对中提取对应的实体，然后以这些实体作为训练数据，最小化式(11)更新多模态医疗知识图谱表示学习模块；然后，根据多模态医疗知识图谱的拓扑结构提取指定长度的路径，对输入的问答对进行实体抽取，并与多模态医疗知识图谱中的实体相对应，得到连接问答之间的路径，最小化式(23)更新问答匹配模块。
如图3所示，为本发明基于多模态知识感知的医疗问答检索方法一种实施例的模型示意图，由两个部分组成：1、基于多模态知识图谱的表示学习；2、基于注意力机制的路径重要性学习。
为了评估本发明，我们从医疗问答网站春雨医生中收集问答数据，数据集中共有245085个问答对，问题平均词数为32，回答平均词数为75，共涉及16个科室的疾病。其中，预处理的过程为去除标点以及使用Jieba将它们分词。实验时使用70％的问答数据用于训练，30％的问答数据用于测试，评估方法为Precision与nDCG(候选集中回答的数目为20，1个标准答案，19个假答案，其中候选假答案从同一科室/类别的其他回答中随机挑选)，表1是本发明提出的方法和其它方法的比较结果：
表1
方法 Precision nDCG
BOW 0.2432 0.5173
Doc2Vec 0.2141 0.4996
Smatrix 0.3683 0.5904
K-NRM 0.3279 0.5302
KABLSTM 0.4688 0.7068
MKAN-NM 0.4956 0.7288
MKAN 0.5064 0.7309
其中，SMatrix是一种社区问答匹配方法，它计算了问题与候选回答中的词两两间的余弦相似度，构建相似度矩阵，然后对该矩阵进行卷积操作，最终得到问答对的匹配得分。MKAN(Multi-modal Knowledge-aware Attention Network)表示本发明模型。MKAN-NM(No Multi-modal)是本发明方法的一个变体，与MKAN不同，在实体表示部分，它仅利用了知识图谱的结构信息，而未使用文本、图片等多模态信息，两者的表示可以体现引入多模态信息的正向作用。从表1可以看出，本发明的方法在对医疗问答的检索有着显著的效果，相比较词级别的交互信息，利用知识图谱构建知识感知的交互，可以更好的刻画问答对之间的交互关系。
本发明第二实施例的基于多模态知识感知的医疗问答检索系统，该医疗问答检索系统包括输入模块、备选答案获取模块、文本编码模块、实体提取模块、路径编码模块、医疗问答检索模块、答案匹配模块、输出模块；
所述输入模块，配置为获取用户问题并输入；
所述备选答案获取模块，配置为基于获取的用户问题、预先构建的多模态医疗知识图谱，获取所述用户问题对应的备选答案集合；
所述文本编码模块，配置为对所述用户问题以及所述备选答案集合中的每个备选答案进行文本编码，获取问题表示和备选答案表示的集合；
所述实体提取模块，配置为提取所述问题表示和备选答案表示的集合的问题实体、备选答案实体，得到问题实体和备选答案实体集合；
所述路径编码模块，配置为基于所述问题实体和备选答案实体集合，分别对问题实体到各备选答案实体进行路径编码，得到问题实体到各备选答案实体的路径表示集合；
所述医疗问答检索模块，配置为基于所述问题实体到各备选答案实体的路径表示集合，通过医疗问答检索模型获取问题到各备选答案的交互表示；
所述答案匹配模块，配置为基于所述问题到各备选答案的交互表示，通过预设第一函数分别获取问题到各备选答案的匹配分数；
所述输出模块，配置为输出最大匹配分数对应的备选答案作为用户问题对应的检索答案。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于多模态知识感知的医疗问答检索系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于多模态知识感知的医疗问答检索方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于多模态知识感知的医疗问答检索方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (11)

1.一种基于多模态知识感知的医疗问答检索方法，其特征在于，该医疗问答检索方法包括：
步骤S10，获取用户问题，并基于预先构建的多模态医疗知识图谱，获取所述用户问题对应的备选答案集合；
步骤S20，对所述用户问题以及所述备选答案集合中的每个备选答案进行文本编码，获取问题表示和备选答案表示的集合；
步骤S30，提取所述问题表示和备选答案表示的集合的问题实体、备选答案实体，得到问题实体和备选答案实体集合；
步骤S40，基于所述问题实体和备选答案实体集合，分别对问题实体到各备选答案实体进行路径编码，得到问题实体到各备选答案实体的路径表示集合；
步骤S50，基于所述问题实体到各备选答案实体的路径表示集合，通过医疗问答检索模型获取问题到各备选答案的交互表示；所述医疗问答检索模型基于注意力机制构建，用于对问题到备选答案的路径表示集合中的各条路径表示加权，获取问题到各备选答案的交互表示；
步骤S60，基于所述问题到各备选答案的交互表示，通过预设第一函数分别获取问题到各备选答案的匹配分数，所述最大匹配分数对应的备选答案为用户问题对应的检索答案。
2.根据权利要求1所述的基于多模态知识感知的医疗问答检索方法，其特征在于，所述多模态医疗知识图谱基于中文症状库、图片库构建，其构建方法为：
步骤T10，提取所述中文症状库中的实体，并分别从所述图片库中获取各实体对应的图像集合；
步骤T20，分别通过预设第二函数去除所述各实体对应的图像集合中噪声高于设定阈值的图片并进行图片融合，获取各实体的视觉表示；基于所述中文症状库中的实体，获取各实体的文本表示和结构表示；
步骤T30，基于所述各实体的视觉表示、文本表示，获取各实体的多模态表示，并结合所述各实体的结构表示，获取各实体的最终表示；
步骤T40，基于各实体的最终表示，通过基于翻译的表示学习，获取各实体关系的三元组能量表示，获得多模态医疗知识图谱。
3.根据权利要求2所述的基于多模态知识感知的医疗问答检索方法，其特征在于，步骤T20中“通过预设第二函数去除所述各实体对应的图像集合中噪声高于设定阈值的图片并进行图片融合，获取各实体的视觉表示”，其方法为：
Figure FDA0002270556650000021
其中，
Figure FDA0002270556650000022
代表第i个实体的视觉表示，Nik、
Figure FDA0002270556650000023
分别代表第i个实体对应的图像集合中第k张图片的噪声、图片特征，ni代表第i个实体对应的图像集合的大小。
4.根据权利要求1所述的基于多模态知识感知的医疗问答检索方法，其特征在于，步骤S20中“对所述用户问题以及所述备选答案集合中的每个备选答案进行文本编码，获取问题表示和备选答案表示的集合”，其方法为：
步骤S21，分别将所述用户问题以及所述备选答案集合中的每个备选答案中的词嵌入矩阵相应位置，获得用户问题及各备选答案矩阵；
步骤S22，基于所述用户问题及各备选答案矩阵，通过序列信息生成获取问题表示和备选答案表示的集合：
Figure FDA0002270556650000031
Figure FDA0002270556650000032
其中，xq、xa分别代表用户问题表示、备选答案表示；
Figure FDA0002270556650000033
Figure FDA0002270556650000034
分别代表用户问题矩阵、备选答案矩阵，dw代表特征的维数；A(R(q))i、A(R(a))i分别代表用户问题、备选答案中第i个词的表示；m代表用户问题的词数；n代表备选答案的词数。
5.根据权利要求1所述的基于多模态知识感知的医疗问答检索方法，其特征在于，步骤S40中“基于所述问题实体和备选答案实体集合，分别对问题实体到各备选答案实体进行路径编码，得到问题实体到各备选答案实体的路径表示集合”，其方法为：
Figure FDA0002270556650000035
其中，
Figure FDA0002270556650000036
代表问题实体到各备选答案实体的路径表示，WQ、WK、WV分别为输入XP对应的预设变换矩阵，
Figure FDA0002270556650000037
dw代表特征的维数，L代表输入XP由L个节点的表示拼接构成。
6.根据权利要求1所述的基于多模态知识感知的医疗问答检索方法，其特征在于，步骤S50中“基于所述问题实体到各备选答案实体的路径表示集合，通过医疗问答检索模型获取问题到各备选答案的交互表示”，其方法为：
步骤S51，通过医疗问答检索模型的双层前馈网络，计算所述问题实体到各备选答案实体的路径表示集合中每一个路径的权重；
步骤S52，对所述每一个路径的权重进行归一化，并依据归一化后的权重对所述问题实体到各备选答案实体的路径表示集合进行加权，获得问题到各备选答案的交互表示。
7.根据权利要求1所述的基于多模态知识感知的医疗问答检索方法，其特征在于，所述医疗问答检索模型通过最小化目标函数获取；所述目标函数为：
Figure FDA0002270556650000041
其中，a+、a-分别代表与用户问题相关的回答、无关的回答，s(q,a+)、s(q,a-)分别代表用户问题到其相关的回答的匹配分数、无关的回答的匹配分数，
Figure FDA0002270556650000042
代表语料库。
8.根据权利要求1所述的基于多模态知识感知的医疗问答检索方法，其特征在于，所述预设第一函数为多层感知机。
9.一种基于多模态知识感知的医疗问答检索系统，其特征在于，该医疗问答检索系统包括输入模块、备选答案获取模块、文本编码模块、实体提取模块、路径编码模块、医疗问答检索模块、答案匹配模块、输出模块；
所述输入模块，配置为获取用户问题并输入；
所述备选答案获取模块，配置为基于获取的用户问题、预先构建的多模态医疗知识图谱，获取所述用户问题对应的备选答案集合；
所述文本编码模块，配置为对所述用户问题以及所述备选答案集合中的每个备选答案进行文本编码，获取问题表示和备选答案表示的集合；
所述实体提取模块，配置为提取所述问题表示和备选答案表示的集合的问题实体、备选答案实体，得到问题实体和备选答案实体集合；
所述路径编码模块，配置为基于所述问题实体和备选答案实体集合，分别对问题实体到各备选答案实体进行路径编码，得到问题实体到各备选答案实体的路径表示集合；
所述医疗问答检索模块，配置为基于所述问题实体到各备选答案实体的路径表示集合，通过医疗问答检索模型获取问题到各备选答案的交互表示；
所述答案匹配模块，配置为基于所述问题到各备选答案的交互表示，通过预设第一函数分别获取问题到各备选答案的匹配分数；
所述输出模块，配置为输出最大匹配分数对应的备选答案作为用户问题对应的检索答案。
10.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-8任一项所述的基于多模态知识感知的医疗问答检索方法。
11.一种处理装置，包括
处理器，适于执行各条程序；以及
存储装置，适于存储多条程序；
其特征在于，所述程序适于由处理器加载并执行以实现：
权利要求1-8任一项所述的基于多模态知识感知的医疗问答检索方法。
CN201911103544.XA 2019-11-13 2019-11-13 基于多模态知识感知的医疗问答检索方法、系统、装置 Active CN110895561B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911103544.XA CN110895561B (zh) 2019-11-13 2019-11-13 基于多模态知识感知的医疗问答检索方法、系统、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911103544.XA CN110895561B (zh) 2019-11-13 2019-11-13 基于多模态知识感知的医疗问答检索方法、系统、装置

Publications (2)

Publication Number Publication Date
CN110895561A true CN110895561A (zh) 2020-03-20
CN110895561B CN110895561B (zh) 2022-04-01

Family

ID=69787567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911103544.XA Active CN110895561B (zh) 2019-11-13 2019-11-13 基于多模态知识感知的医疗问答检索方法、系统、装置

Country Status (1)

Country Link
CN (1) CN110895561B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111488990A (zh) * 2020-04-17 2020-08-04 苏州浪潮智能科技有限公司 一种基于性能感知的模型裁剪方法、装置、设备和介质
CN111651560A (zh) * 2020-05-29 2020-09-11 北京百度网讯科技有限公司 配置问题的方法和装置、电子设备、计算机可读介质
CN111681765A (zh) * 2020-04-29 2020-09-18 华南师范大学 一种医学问答系统的多模型融合方法
CN111694965A (zh) * 2020-05-29 2020-09-22 中国科学院上海微系统与信息技术研究所 一种基于多模态知识图谱的图像场景检索系统及方法
CN111984772A (zh) * 2020-07-23 2020-11-24 中山大学 一种基于深度学习的医疗影像问答方法及系统
CN112052297A (zh) * 2020-09-07 2020-12-08 北京字节跳动网络技术有限公司 信息生成方法、装置、电子设备和计算机可读介质
CN112860865A (zh) * 2021-02-10 2021-05-28 达而观信息科技（上海）有限公司 一种智能问答的实现方法、装置、设备及存储介质
CN113177115A (zh) * 2021-06-30 2021-07-27 中移(上海)信息通信科技有限公司 对话内容的处理方法、装置及相关设备
CN113220861A (zh) * 2021-06-01 2021-08-06 中国电子科技集团公司第五十四研究所 一种面向专业领域的知识图谱问答系统
CN113392197A (zh) * 2021-06-15 2021-09-14 吉林大学 问答推理方法、装置、存储介质及电子设备
WO2021189956A1 (zh) * 2020-09-18 2021-09-30 平安科技（深圳）有限公司 基于知识图谱的智能客服方法、装置、设备及存储介质
CN113918732A (zh) * 2021-11-19 2022-01-11 北京明略软件系统有限公司 多模态知识图谱构建方法、系统、存储介质及电子设备
CN114443822A (zh) * 2021-12-24 2022-05-06 科大讯飞(苏州)科技有限公司 用于建筑领域的多模态问答的方法、系统和计算设备
CN115146037A (zh) * 2021-08-09 2022-10-04 上海蓬海涞讯数据技术有限公司 基于知识图谱的问答方法及系统、电子设备及存储介质
CN116303919A (zh) * 2022-11-30 2023-06-23 荣耀终端有限公司 一种问答方法及系统
CN116705338A (zh) * 2023-08-08 2023-09-05 中国中医科学院中医药信息研究所 基于规则和路径的中医药多模态知识图谱推理方法和装置
CN116932731A (zh) * 2023-09-18 2023-10-24 上海帜讯信息技术股份有限公司 面向5g消息的多模态知识问答方法及系统
CN117407541A (zh) * 2023-12-15 2024-01-16 中国科学技术大学 一种基于知识增强的知识图谱问答方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020221A (zh) * 2012-12-12 2013-04-03 中国科学院自动化研究所 一种基于多模态自适应社会关系强度挖掘的社会搜索方法
US20140297644A1 (en) * 2013-04-01 2014-10-02 Tencent Technology (Shenzhen) Company Limited Knowledge graph mining method and system
US20160163311A1 (en) * 2014-12-09 2016-06-09 Microsoft Technology Licensing, Llc Communication system
CN107247881A (zh) * 2017-06-20 2017-10-13 北京大数医达科技有限公司 一种多模态智能分析方法及系统
CN108959627A (zh) * 2018-07-23 2018-12-07 北京光年无限科技有限公司 基于智能机器人的问答交互方法及系统
CN109978022A (zh) * 2019-03-08 2019-07-05 腾讯科技（深圳）有限公司 一种医疗文本信息处理方法及装置、存储介质
US20190267133A1 (en) * 2018-02-27 2019-08-29 NEC Laboratories Europe GmbH Privacy-preserving method and system for medical appointment scheduling using embeddings and multi-modal data

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020221A (zh) * 2012-12-12 2013-04-03 中国科学院自动化研究所 一种基于多模态自适应社会关系强度挖掘的社会搜索方法
US20140297644A1 (en) * 2013-04-01 2014-10-02 Tencent Technology (Shenzhen) Company Limited Knowledge graph mining method and system
US20160163311A1 (en) * 2014-12-09 2016-06-09 Microsoft Technology Licensing, Llc Communication system
CN107247881A (zh) * 2017-06-20 2017-10-13 北京大数医达科技有限公司 一种多模态智能分析方法及系统
US20190267133A1 (en) * 2018-02-27 2019-08-29 NEC Laboratories Europe GmbH Privacy-preserving method and system for medical appointment scheduling using embeddings and multi-modal data
CN108959627A (zh) * 2018-07-23 2018-12-07 北京光年无限科技有限公司 基于智能机器人的问答交互方法及系统
CN109978022A (zh) * 2019-03-08 2019-07-05 腾讯科技（深圳）有限公司 一种医疗文本信息处理方法及装置、存储介质

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
HUAIWEN ZHANG 等: "Multi-modal Knowledge-aware Event Memory Network for Social Media Rumor Detection", 《ACM MULTIMEDIA》 *
YINGYING ZHANG 等: "Multi-modal Knowledge-aware Hierarchical Attention Network for Explainable Medical Question Answering", 《ACM INTERNATIONAL CONFERENCE ON MULTIMEDIA》 *
张莹莹 等: "基于多模态知识感知注意力机制的问答方法", 《计算机研究与发展》 *
李浩 等: "基于多层次注意力机制的远程监督关系抽取模型", 《计算机科学》 *
李直旭 等: "多模态教学知识图谱的构建与应用", 《福建电脑》 *
郎爽 等: "基于分层注意力机制的知识图谱问答方法", 《中国科技论文在线》 *

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111488990B (zh) * 2020-04-17 2022-11-29 苏州浪潮智能科技有限公司 一种基于性能感知的模型裁剪方法、装置、设备和介质
CN111488990A (zh) * 2020-04-17 2020-08-04 苏州浪潮智能科技有限公司 一种基于性能感知的模型裁剪方法、装置、设备和介质
CN111681765B (zh) * 2020-04-29 2023-08-11 华南师范大学 一种医学问答系统的多模型融合方法
CN111681765A (zh) * 2020-04-29 2020-09-18 华南师范大学 一种医学问答系统的多模型融合方法
CN111651560A (zh) * 2020-05-29 2020-09-11 北京百度网讯科技有限公司 配置问题的方法和装置、电子设备、计算机可读介质
CN111694965A (zh) * 2020-05-29 2020-09-22 中国科学院上海微系统与信息技术研究所 一种基于多模态知识图谱的图像场景检索系统及方法
CN111651560B (zh) * 2020-05-29 2023-08-29 北京百度网讯科技有限公司 配置问题的方法和装置、电子设备、计算机可读介质
CN111694965B (zh) * 2020-05-29 2023-06-13 中国科学院上海微系统与信息技术研究所 一种基于多模态知识图谱的图像场景检索系统及方法
CN111984772B (zh) * 2020-07-23 2024-04-02 中山大学 一种基于深度学习的医疗影像问答方法及系统
CN111984772A (zh) * 2020-07-23 2020-11-24 中山大学 一种基于深度学习的医疗影像问答方法及系统
CN112052297B (zh) * 2020-09-07 2024-03-22 抖音视界有限公司 信息生成方法、装置、电子设备和计算机可读介质
CN112052297A (zh) * 2020-09-07 2020-12-08 北京字节跳动网络技术有限公司 信息生成方法、装置、电子设备和计算机可读介质
WO2021189956A1 (zh) * 2020-09-18 2021-09-30 平安科技（深圳）有限公司 基于知识图谱的智能客服方法、装置、设备及存储介质
CN112860865A (zh) * 2021-02-10 2021-05-28 达而观信息科技（上海）有限公司 一种智能问答的实现方法、装置、设备及存储介质
CN113220861A (zh) * 2021-06-01 2021-08-06 中国电子科技集团公司第五十四研究所 一种面向专业领域的知识图谱问答系统
CN113392197A (zh) * 2021-06-15 2021-09-14 吉林大学 问答推理方法、装置、存储介质及电子设备
CN113392197B (zh) * 2021-06-15 2023-08-04 吉林大学 问答推理方法、装置、存储介质及电子设备
CN113177115B (zh) * 2021-06-30 2021-10-26 中移(上海)信息通信科技有限公司 对话内容的处理方法、装置及相关设备
CN113177115A (zh) * 2021-06-30 2021-07-27 中移(上海)信息通信科技有限公司 对话内容的处理方法、装置及相关设备
CN115146037A (zh) * 2021-08-09 2022-10-04 上海蓬海涞讯数据技术有限公司 基于知识图谱的问答方法及系统、电子设备及存储介质
CN113918732A (zh) * 2021-11-19 2022-01-11 北京明略软件系统有限公司 多模态知识图谱构建方法、系统、存储介质及电子设备
CN114443822A (zh) * 2021-12-24 2022-05-06 科大讯飞(苏州)科技有限公司 用于建筑领域的多模态问答的方法、系统和计算设备
CN116303919A (zh) * 2022-11-30 2023-06-23 荣耀终端有限公司 一种问答方法及系统
CN116705338A (zh) * 2023-08-08 2023-09-05 中国中医科学院中医药信息研究所 基于规则和路径的中医药多模态知识图谱推理方法和装置
CN116705338B (zh) * 2023-08-08 2023-12-08 中国中医科学院中医药信息研究所 基于规则和路径的中医药多模态知识图谱推理方法和装置
CN116932731A (zh) * 2023-09-18 2023-10-24 上海帜讯信息技术股份有限公司 面向5g消息的多模态知识问答方法及系统
CN116932731B (zh) * 2023-09-18 2024-01-30 上海帜讯信息技术股份有限公司 面向5g消息的多模态知识问答方法及系统
CN117407541A (zh) * 2023-12-15 2024-01-16 中国科学技术大学 一种基于知识增强的知识图谱问答方法
CN117407541B (zh) * 2023-12-15 2024-03-29 中国科学技术大学 一种基于知识增强的知识图谱问答方法

Also Published As

Publication number Publication date
CN110895561B (zh) 2022-04-01

Similar Documents

Publication Publication Date Title
CN110895561B (zh) 基于多模态知识感知的医疗问答检索方法、系统、装置
CN111415740B (zh) 问诊信息的处理方法、装置、存储介质及计算机设备
KR102153920B1 (ko) 정제된 인공지능 강화학습 데이터 생성을 통한 의료영상 판독 시스템 및 그 방법
CN106844368B (zh) 用于人机对话的方法、神经网络系统和用户设备
CN110096567B (zh) 基于qa知识库推理的多轮对话回复选择方法、系统
CN108491486B (zh) 模拟病人问诊对话方法、装置、终端设备及存储介质
CN106649739B (zh) 多轮交互信息继承识别方法、装置以及交互系统
CN109935337B (zh) 一种基于相似性度量的病案查找方法及系统
Colas et al. TutorialVQA: Question answering dataset for tutorial videos
Huang Deep paper gestalt
JP2018195078A (ja) 評価装置、評価方法、および評価プログラム
CN112069329B (zh) 文本语料的处理方法、装置、设备及存储介质
CN112017744A (zh) 电子病例自动生成方法、装置、设备及存储介质
CN111199797A (zh) 一种辅助诊断模型建立和辅助诊断方法及装置
CN112434211A (zh) 一种数据处理方法、装置、存储介质及设备
CN106407387A (zh) 一种针对医疗诊断文本的概念连接方法
CN113111159A (zh) 问答记录生成方法、装置、电子设备及存储介质
CN113722507B (zh) 基于知识图谱的住院费用预测方法、装置及计算机设备
CN111128388A (zh) 一种值域数据匹配方法、装置及相关产品
CN111783473B (zh) 医疗问答中最佳答案的识别方法、装置和计算机设备
CN107832288B (zh) 中文词语语义相似度的度量方法及装置
CN113569018A (zh) 问答对挖掘方法及装置
CN112349367A (zh) 一种生成仿真病历的方法、装置、电子设备及存储介质
JP6942759B2 (ja) 情報処理装置、プログラム及び情報処理方法
CN117454217A (zh) 一种基于深度集成学习的抑郁情绪识别方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant