CN113972005A - 人工智能辅助诊疗方法、系统、存储介质及电子设备 - Google Patents

人工智能辅助诊疗方法、系统、存储介质及电子设备 Download PDF

Info

Publication number
CN113972005A
CN113972005A CN202111400179.6A CN202111400179A CN113972005A CN 113972005 A CN113972005 A CN 113972005A CN 202111400179 A CN202111400179 A CN 202111400179A CN 113972005 A CN113972005 A CN 113972005A
Authority
CN
China
Prior art keywords
patient
feature
artificial intelligence
characteristic
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111400179.6A
Other languages
English (en)
Inventor
杨康
孙泽懿
王硕
姜娜
李霞
王同乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Mininglamp Software System Co ltd
Original Assignee
Beijing Mininglamp Software System Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Mininglamp Software System Co ltd filed Critical Beijing Mininglamp Software System Co ltd
Priority to CN202111400179.6A priority Critical patent/CN113972005A/zh
Publication of CN113972005A publication Critical patent/CN113972005A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computational Linguistics (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本申请公开了一种人工智能辅助诊疗方法、系统、存储介质及电子设备，方法包括：第一特征获取步骤：将所述知识图谱档案中的非时序节点信息进行Embedding编码后获得第一特征；第二特征获取步骤：将所述知识图谱档案中的时序节点信息通过序列模型处理后获得第二特征；整体特征获得步骤：将所述第一特征与所述第二特征融合后获得整体特征；模型计算步骤：将所述整体特征与历史患者特征信息候选池中的特征，使用DSSM模型进行相似度计算，获得计算结果；选取步骤：根据所述计算结果，从所述历史患者特征信息候选池中选取相应患者的多模态图谱档案，本发明通过多模态知识图谱，能够提升诊疗方案推荐的准确性，提升医疗水平。

Description

人工智能辅助诊疗方法、系统、存储介质及电子设备
技术领域
本发明属于人工智能辅助诊疗领域，具体涉及一种人工智能辅助诊疗方法、系统、存储介质及电子设备。
背景技术
随着互联网技术的发展，越来越多的行业正在使用互联网技术，尤其是人工智能技术来改进其工作的流程及方式，以提升工作效率。然而，通过调研发现目前诸多三甲医院的医疗档案仍采用的是传统的以时间序列为主的特征记录方式，即某时刻患者的症状是什么，使用了什么治疗方案，记录了此刻患者补充的环境及自身的特征信息。这种方式的记录主要采用时间线的变化为主，故很难发现特征在空间层面的关联，即通过不同时间节点提供的特征是相关的或者相关依赖的等。同时，目前大多医院的病历，也是简单的采用文本的形式进行的记录，关于患者其他维度的对诊断有帮助的信息并无法记录在病历档案中，因此诊疗方案的判断有很大的影响。因此，当医生对患者的特征和病情进行分析，只能通过文字描述，来人为的寻找病情前后的关联，导致时间花费较多且获得的可参考信息较少。本案提出了基于患者多模态知识图谱病历的辅助诊疗系统，首先对患者多模态图谱档案的多模态数据(即不同形态的数据，如文本、图片、视频、音频等)进行特征提取，然后将不同模态的数据的信息进行融合，形成融合特征，最后将新近患者的融合特征向量与历史样本中患者的融合特征向量进行相似度计算，寻找相似度最高的TOPK个治疗成功的历史患者，并将他们的诊疗方案提供给医生来辅助诊疗。
通过调研发现，现有的辅助诊疗技术还主要集中在使用患者的文本信息进行进行格式化记录，如患者的年纪、性别、所在地域等信息等，并使用这些特征信息在历史库中进行简单的检索匹配，并将患者信息匹配的重合程度更高的历史用户的诊疗方案提供给医生，供医生进行诊疗决策时参考。
发明内容
本申请实施例提供了一种人工智能辅助诊疗方法、系统、存储介质及电子设备，以至少解决现有的人工智能辅助诊疗方法工作任务重准确率低的问题。
本发明提供了一种人工智能辅助诊疗方法，其中，包括：
知识图谱构建步骤：使用多维度辅助诊疗模型对患者的信息进行采集，构建所述患者的知识图谱档案；
第一特征获取步骤：将所述知识图谱档案中的非时序节点信息进行Embedding编码后获得第一特征；
第二特征获取步骤：将所述知识图谱档案中的时序节点信息通过序列模型处理后获得第二特征；
整体特征获得步骤：将所述第一特征与所述第二特征融合后获得整体特征；
模型计算步骤：将所述整体特征与历史患者特征信息候选池中的特征，使用DSSM模型进行相似度计算，获得计算结果；
选取步骤：根据所述计算结果，从所述历史患者特征信息候选池中选取相应患者的多模态图谱档案。
上述人工智能辅助诊疗方法，其中，所述非时序节点信息包括年龄及性别；其中所述第一特征获取步骤包括：
转化步骤：将所述非时序节点信息通过字典映射转化为非时序节点信息数据特征；
Embedding处理步骤：将所述非时序节点信息数据特征中的离散高维特征通过Embedding进行处理后，映射到低维空间的稠密向量，生成所述第一特征。
上述人工智能辅助诊疗方法，其中，所述时序节点信息包括：视频数据信息、音频数据信息及文本数据信息；其中所述第二特征获取步骤包括：
视频数据特征获取步骤：采用3D卷积技术对患者多模态图谱中的视频数据进行特征提取；
音频数据特征获取步骤：将声音转化为声学特征并通过梅尔频率倒谱系数对所述声学特征进行提取；
文本数据特征获取步骤：以时间单元为单位通过循环神经网络对文本数据的特征进行提取。
上述人工智能辅助诊疗方法，其中，所述文本数据特征获取步骤包括：
转化步骤：将所述文本数据转化为数值形式；
循环神经网络处理步骤：将转化后的所述文本数据通过循环神经网络中的Cell进行处理后获得文本数据特征。
上述人工智能辅助诊疗方法，其中，所述模型计算步骤包括：
筛选步骤：对患者知识库中的患者知识图谱进行筛选，构建出多个基于患者多维度信息的整体特征后将多个所述患者知识库中的患者特征进行整合，构建所述历史患者特征信息候选池。
上述人工智能辅助诊疗方法，其中，所述选取步骤包括：
根据所述计算结果将所述患者知识库中的患者进行排序，根据评分选取多个所述患者知识库中患者的多模态图谱档案。
本发明还提供了一种人工智能辅助诊疗系统，其中，包括：
知识图谱构建模块，所述知识图谱构建模块使用多维度辅助诊疗模型对患者的信息进行采集，构建所述患者的知识图谱档案；
第一特征获取模块，所述第一特征获取模块将所述知识图谱档案中的非时序节点信息进行Embedding编码后获得第一特征；
第二特征获取模块，所述第二特征获取模块将所述知识图谱档案中的时序节点信息通过序列模型处理后获得第二特征；
整体特征获得模块，所述整体特征获得模块将所述第一特征与所述第二特征融合后获得整体特征；
模型计算模块，所述模型计算模块将所述整体特征与历史患者特征信息候选池中的特征，使用DSSM模型进行相似度计算，获得计算结果；
选取模块，所述选取模块根据所述计算结果，从所述历史患者特征信息候选池中选取相应患者的多模态图谱档案。
上述人工智能辅助诊疗系统，其中，所述非时序节点信息包括年龄及性别；其中所述第一特征获取模块包括：
转化单元，所述转化单元将所述非时序节点信息通过字典映射转化为非时序节点信息数据特征；
Embedding处理单元，所述Embedding处理单元将所述非时序节点信息数据特征中的离散高维特征通过Embedding进行处理后，映射到低维空间的稠密向量，生成所述第一特征。
一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上述任一所述的人工智能辅助诊疗方法。
一种存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如上述任一所述的人工智能辅助诊疗方法。
本发明的有益效果在于：
本发明属于知识图谱技术中的图计算领域。通过本发明可以改进现有医院中医生对患者的辅助诊疗的方式，传统的辅助诊疗主要是通过患者的简单信息与历史库中患者的信息相匹配，然后选取匹配更高的诊疗方案进行推荐。然而这种简单的匹配方式的准确率较低，不能保证找到的历史患者和新来患者的情况最相似。为了改进这种简单方式的不足本发明提出了使用患者的多模态图谱病历进行特征提取，基于提取出的不同维度的特征融合，形成新的能更好的全方位的描述患者的整体特征，然后基于新进患者的整体特征与历史库中患者的整体特征进行匹配，此处引进了DSSM模型计算出相似度得分，所以可以更准确的计算出与新进患者情况相似的历史患者，提升诊疗方案推荐的准确性，提升医疗水平。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
在附图中：
图1是本发明的人工智能辅助诊疗方法的流程图；
图2是本发明的分步骤S2的流程图；
图3是本发明的分步骤S3的流程图；
图4是本发明的分步骤S33的流程图；
图5是本发明的分步骤S5的流程图；
图6是图谱特征提取流程图；
图7是3D卷积网络结构图；
图8是语音特征提取流程图；
图9是循环神经网络结构图；
图10是DSSM模型结构图；
图11是本发明的数据比对系统的结构示意图；
图12是根据本发明实施例的电子设备的框架图；
其中图7中：
图中H和W分别是每帧的高和宽，L是时间帧的长度，k是卷积核的宽度，d是卷积核的深度；
图9中：
图中h是每一个时刻的数值化文本数据，f是上一时刻的输出及这一时刻的输入之一，c是状态信息。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。
在详细阐述本发明各个实施例之前，对本发明的核心发明思想予以概述，并通过下述若干实施例予以详细阐述。
实施例一：
本发明主要是为了改进现有医疗机构医生一般都基于格式化的记录患者的一些特诊，通过新进患者的这些特征信息的值与历史库中对应患者的值进行匹配，找出匹配程度最高的历史患者的诊疗方案推荐给医生进行辅助诊疗决策的方法。本发明提出一种基于患者多模态的病历档案数据，进行特征提取及特征融合，然后使用深度语意相似度网络(DSSM)进行特征相似度计算，筛选出最佳诊疗方案的过程。在本发明中使用了患者更多模态的数据，同时图结构的病历档案更容易发现特征之间的关联信息，使得得患者的描述更加准确，匹配更加精准，所得到的诊疗方案更加精准。
请参照图1，图1是人工智能辅助诊疗方法的流程图。如图1所示，本发明的人工智能辅助诊疗方法包括：
知识图谱构建步骤S1：使用多维度辅助诊疗模型对患者的信息进行采集，构建所述患者的知识图谱档案；
第一特征获取步骤S2：将所述知识图谱档案中的非时序节点信息进行Embedding编码后获得第一特征；
第二特征获取步骤S3：将所述知识图谱档案中的时序节点信息通过序列模型处理后获得第二特征；
整体特征获得步骤S4：将所述第一特征与所述第二特征融合后获得整体特征；
模型计算步骤S5：将所述整体特征与历史患者特征信息候选池中的特征，使用DSSM模型进行相似度计算，获得计算结果；
选取步骤S6：根据所述计算结果，从所述历史患者特征信息候选池中选取相应患者的多模态图谱档案。
其中，所述非时序节点信息包括年龄及性别；
请参照图2，图2是第一特征获取步骤S2的流程图。如图2所示，所述第一特征获取步骤S2包括：
转化步骤S21：将所述非时序节点信息通过字典映射转化为非时序节点信息数据特征；
Embedding处理步骤S22：将所述非时序节点信息数据特征中的离散高维特征通过Embedding进行处理后，映射到低维空间的稠密向量，生成所述第一特征。
其中，所述时序节点信息包括：视频数据信息、音频数据信息及文本数据信息；
请参照图3，图3是第二特征获取步骤S3的流程图。如图3所示，所述第二特征获取步骤包括：
视频数据特征获取步骤S31：采用3D卷积技术对患者多模态图谱中的视频数据进行特征提取；
音频数据特征获取步骤S32：将声音转化为声学特征并通过梅尔频率倒谱系数对所述声学特征进行提取；
文本数据特征获取步骤S33：以时间单元为单位通过循环神经网络对文本数据的特征进行提取。
请参照图4，图4是文本数据特征获取步骤S33的流程图。如图3所示，所述文本数据特征获取步骤S33包括：
转化步骤S331：将所述文本数据转化为数值形式；
循环神经网络处理步骤S332：将转化后的所述文本数据通过循环神经网络中的Cell进行处理后获得文本数据特征。
请参照图5，图5是模型计算步骤S5的流程图。如图3所示，所述模型计算步骤S5包括：
筛选步骤S51：对患者知识库中的患者知识图谱进行筛选，构建出多个基于患者多维度信息的整体特征后将多个所述患者知识库中的患者特征进行整合，构建所述历史患者特征信息候选池。
其中，所述选取步骤包括：
根据所述计算结果将所述患者知识库中的患者进行排序，根据评分选取多个所述患者知识库中患者的多模态图谱档案。
具体地说，辅助诊疗模型的构建过程建立在已为患者构建了临床病历大数据和多模态生物特征的知识图谱的基础之上。通过历史的积累，患者知识库中已经包含了诸多患者的多模态知识图谱的档案信息。当为一个新的患者进行治疗时，多维度辅助诊疗模型首先需要对患者的信息进行采集，构建此患者的图谱档案；然后对于该患者图谱中的部分节点，包括年龄、性别、地域等简单信息进行Embedding编码，针对具有时序结构的节点信息(如面部表情的变化统计，声音的变化统计等)，需通过相应的序列模型生成最终的向量表示，在此的序列模型可根据信息的类型选择不同的方法(如CRNN，MFCC等)，最终将这些节点的特征向量表示按照一定的次序进行拼接，生成该患者总体信息的一个向量表示，实现过程如图6所示。
再进一步，视频数据获取：
对于患者多模态图谱中的面部表情的视频数据，此处采用3D卷积的方式进行视频特征的提取。3D卷积方法是把视频划分成很多固定长度的片段(clip)，相比2D卷积，3D卷积可以提取连续帧之间的运动信息。如此，便可提取出视频这种这种基于时间序列的图像信息的特征。其主要结构如图所7所示。
再进一步，音频数据获取：
声音是模拟信号，声音的时域波形只代表声压随时间变化的关系，不能很好的代表声音的特征，因此，必须将声音波形转换为声学特征向量。目前有许多声音特征提取方法，如梅尔频率倒谱系数MFCC、线性预测倒谱系数LPCC、多媒体内容描述接口MPEG7等，其中MFCC是基于倒谱的，更符合人的听觉原理，因而是最普遍、最有效的声音特征提取算法。在提取MFCC前，需要对声音做前期处理，包括模数转换、预加重和加窗。
模数转换就是把模拟信号转换为数字信号，包括两个步骤：采样和量化，即以一定的采样率和采样位数把声音连续波形转换为离散的数据点。由于日常生活中的声音一般都在8kHz以下，根据Nyquist定律，16kHz采样率足以使得采样出来的数据包含大多数声音信息。16kHz意味着1s的时间内采样16k个样本，这些样本都是以幅度值存储，为了有效存储幅度值，需要将其量化为整数。对于16位采样位数来说，可以表示-32768～32767之间的整数值，所以可以将采样幅度值量化为最近的整数值，算法流程图如图8所示。
再进一步，文本数据获取：
为了实现对文本性时序数据特征的提取，我们采用了循环神经网络的形式，以时间单元为单位对文本数据的特征进行提取。如病历数据，步态数据等，我们首先将数据处理成数值形式，然后将数据按照时间顺序依次送入循环神经网络的Cell，如此，通过网络一步步的循环迭代，便可提取整个基于时间序列的文本数据的特征向量。其网络结构如图9所示。
再进一步，非时序数据：
对于非时序数据，如年龄、性别等，首先需要将其处理为数值型特征，这里采用了字典映射的方式进行转化；然后将离散的高维特征进行Embedding处理，映射到低维空间的稠密向量，生成非时序数据的特征向量。
再进一步，特征融合：
在此，针对于不同的特征，如来自视频、音频、文本的时序特征，和来自非时序数据的特征进行一定策略的融合，如拼接、相加、相乘等，具体根据实验效果进行确定，实现特征的融合，生成患者的整体特征向量。
再进一步，诊疗方案推荐：
然后对患者知识库中的患者图谱进行初步筛选，筛选出通过治疗后其症状好转或者痊愈的患者的图谱档案；然后将这些患者档案图谱按照上述的过程，选取相同的维度的信息，构建出基于该患者多维度信息的整体向量表示；然后将诸多患者的向量表示进行整合，形成一个历史患者特征信息的候选池；接下来将新来患者的特征向量与候选池中历史患者的特征向量，采用DSSM模型进行相似度计算。其结构如图10所示。
通过DSSM模型的计算，我们可以得到新患者与知识库中的历史患者的相似度得分，然后按照得分可以将历史患者进行排序；根据需要我们可以选取前K个历史患者，并在知识库中查找相应患者的多模态图谱档案，然后提取出其需要的信息，如诊疗的方案记录和用药记录等信息、患者的病情发展状态等信息；提供给新患者的主治医生和专家进行治疗前的参考，辅助治疗方案的决策。
实施例二：
请参照图11，图11是本发明的人工智能辅助诊疗系统的结构示意图。如图11所示本发明的一种人工智能辅助诊疗系统，其中，包括：
知识图谱构建模块，所述知识图谱构建模块使用多维度辅助诊疗模型对患者的信息进行采集，构建所述患者的知识图谱档案；
第一特征获取模块，所述第一特征获取模块将所述知识图谱档案中的非时序节点信息进行Embedding编码后获得第一特征；
第二特征获取模块，所述第二特征获取模块将所述知识图谱档案中的时序节点信息通过序列模型处理后获得第二特征；
整体特征获得模块，所述整体特征获得模块将所述第一特征与所述第二特征融合后获得整体特征；
模型计算模块，所述模型计算模块将所述整体特征与历史患者特征信息候选池中的特征，使用DSSM模型进行相似度计算，获得计算结果；
选取模块，所述选取模块根据所述计算结果，从所述历史患者特征信息候选池中选取相应患者的多模态图谱档案。
其中，所述非时序节点信息包括年龄及性别；其中所述第一特征获取模块包括：
转化单元，所述转化单元将所述非时序节点信息通过字典映射转化为非时序节点信息数据特征；
Embedding处理单元，所述Embedding处理单元将所述非时序节点信息数据特征中的离散高维特征通过Embedding进行处理后，映射到低维空间的稠密向量，生成所述第一特征。
实施例三：
结合图12所示，本实施例揭示了一种电子设备的一种具体实施方式。电子设备可以包括处理器81以及存储有计算机程序指令的存储器82。
具体地，上述处理器81可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器82可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器82可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器82可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器82可在数据处理装置的内部或外部。在特定实施例中，存储器82是非易失性(Non-Volatile)存储器。在特定实施例中，存储器82包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(RandomAccess Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory，简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-Access Memory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。
存储器82可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器81所执行的可能的计算机程序指令。
处理器81通过读取并执行存储器82中存储的计算机程序指令，以实现上述实施例中的任意一种人工智能辅助诊疗方法。
在其中一些实施例中，电子设备还可包括通信接口83和总线80。其中，如图12所示，处理器81、存储器82、通信接口83通过总线80连接并完成相互间的通信。
通信接口83用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信端口83还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线80包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。总线80包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(Address Bus)、控制总线(ControlBus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线80可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，简称为EISA)总线、前端总线(FrontSide Bus，简称为FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count，简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture，简称为MCA)总线、外围组件互连(Peripheral Component Interconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment，简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus，简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线80可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
该电子设备可以基于人工智能辅助诊疗，从而实现结合图1-图5描述的方法。
另外，结合上述实施例中人工智能辅助诊疗方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种人工智能辅助诊疗方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
综上所述，基于本发明的有益效果在于，本发明提出了使用患者的多模态图谱病历进行特征提取，基于提取出的不同维度的特征融合，形成新的能更好的全方位的描述患者的整体特征，然后基于新进患者的整体特征与历史库中患者的整体特征进行匹配，此处引进了DSSM模型计算出相似度得分，所以可以更准确的计算出与新进患者情况相似的历史患者，提升诊疗方案推荐的准确性，提升医疗水平。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本发明的保护范围应以所附权利要求的保护范围为准。

Claims (10)

1.一种人工智能辅助诊疗方法，其特征在于，包括：
知识图谱构建步骤：使用多维度辅助诊疗模型对患者的信息进行采集，构建所述患者的知识图谱档案；
第一特征获取步骤：将所述知识图谱档案中的非时序节点信息进行Embedding编码后获得第一特征；
第二特征获取步骤：将所述知识图谱档案中的时序节点信息通过序列模型处理后获得第二特征；
整体特征获得步骤：将所述第一特征与所述第二特征融合后获得整体特征；
模型计算步骤：将所述整体特征与历史患者特征信息候选池中的特征，使用DSSM模型进行相似度计算，获得计算结果；
选取步骤：根据所述计算结果，从所述历史患者特征信息候选池中选取相应患者的多模态图谱档案。
2.如权利要求1所述的人工智能辅助诊疗方法，其特征在于，所述非时序节点信息包括年龄及性别；其中所述第一特征获取步骤包括：
转化步骤：将所述非时序节点信息通过字典映射转化为非时序节点信息数据特征；
Embedding处理步骤：将所述非时序节点信息数据特征中的离散高维特征通过Embedding进行处理后，映射到低维空间的稠密向量，生成所述第一特征。
3.如权利要求1所述的人工智能辅助诊疗方法，其特征在于，所述时序节点信息包括：视频数据信息、音频数据信息及文本数据信息；其中所述第二特征获取步骤包括：
视频数据特征获取步骤：采用3D卷积技术对患者多模态图谱中的视频数据进行特征提取；
音频数据特征获取步骤：将声音转化为声学特征并通过梅尔频率倒谱系数对所述声学特征进行提取；
文本数据特征获取步骤：以时间单元为单位通过循环神经网络对文本数据的特征进行提取。
4.如权利要求3所述的人工智能辅助诊疗方法，其特征在于，所述文本数据特征获取步骤包括：
转化步骤：将所述文本数据转化为数值形式；
循环神经网络处理步骤：将转化后的所述文本数据通过循环神经网络中的Cell进行处理后获得文本数据特征。
5.如权利要求1所述的人工智能辅助诊疗方法，其特征在于，所述模型计算步骤包括：
筛选步骤：对患者知识库中的患者知识图谱进行筛选，构建出多个基于患者多维度信息的整体特征后将多个所述患者知识库中的患者特征进行整合，构建所述历史患者特征信息候选池。
6.如权利要求1所述的人工智能辅助诊疗方法，其特征在于，所述选取步骤包括：
根据所述计算结果将所述患者知识库中的患者进行排序，根据评分选取多个所述患者知识库中患者的多模态图谱档案。
7.一种人工智能辅助诊疗系统，其特征在于，包括：
知识图谱构建模块，所述知识图谱构建模块使用多维度辅助诊疗模型对患者的信息进行采集，构建所述患者的知识图谱档案；
第一特征获取模块，所述第一特征获取模块将所述知识图谱档案中的非时序节点信息进行Embedding编码后获得第一特征；
第二特征获取模块，所述第二特征获取模块将所述知识图谱档案中的时序节点信息通过序列模型处理后获得第二特征；
整体特征获得模块，所述整体特征获得模块将所述第一特征与所述第二特征融合后获得整体特征；
模型计算模块，所述模型计算模块将所述整体特征与历史患者特征信息候选池中的特征，使用DSSM模型进行相似度计算，获得计算结果；
选取模块，所述选取模块根据所述计算结果，从所述历史患者特征信息候选池中选取相应患者的多模态图谱档案。
8.如权利要求7所述的人工智能辅助诊疗系统，其特征在于，所述非时序节点信息包括年龄及性别；其中所述第一特征获取模块包括：
转化单元，所述转化单元将所述非时序节点信息通过字典映射转化为非时序节点信息数据特征；
Embedding处理单元，所述Embedding处理单元将所述非时序节点信息数据特征中的离散高维特征通过Embedding进行处理后，映射到低维空间的稠密向量，生成所述第一特征。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的人工智能辅助诊疗方法。
10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至6中任一项所述的人工智能辅助诊疗方法。
CN202111400179.6A 2021-11-19 2021-11-19 人工智能辅助诊疗方法、系统、存储介质及电子设备 Pending CN113972005A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111400179.6A CN113972005A (zh) 2021-11-19 2021-11-19 人工智能辅助诊疗方法、系统、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111400179.6A CN113972005A (zh) 2021-11-19 2021-11-19 人工智能辅助诊疗方法、系统、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN113972005A true CN113972005A (zh) 2022-01-25

Family

ID=79590079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111400179.6A Pending CN113972005A (zh) 2021-11-19 2021-11-19 人工智能辅助诊疗方法、系统、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN113972005A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117393156A (zh) * 2023-12-12 2024-01-12 珠海灏睿科技有限公司 基于云计算的多维度远程听诊与诊断智能系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111816301A (zh) * 2020-07-07 2020-10-23 平安科技（深圳）有限公司 医疗问诊辅助方法、装置、电子设备及介质
CN112200317A (zh) * 2020-09-28 2021-01-08 西南电子技术研究所（中国电子科技集团公司第十研究所） 多模态知识图谱构建方法
CN113380360A (zh) * 2021-06-07 2021-09-10 厦门大学 一种基于多模态病历图的相似病历检索方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111816301A (zh) * 2020-07-07 2020-10-23 平安科技（深圳）有限公司 医疗问诊辅助方法、装置、电子设备及介质
CN112200317A (zh) * 2020-09-28 2021-01-08 西南电子技术研究所（中国电子科技集团公司第十研究所） 多模态知识图谱构建方法
CN113380360A (zh) * 2021-06-07 2021-09-10 厦门大学 一种基于多模态病历图的相似病历检索方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117393156A (zh) * 2023-12-12 2024-01-12 珠海灏睿科技有限公司 基于云计算的多维度远程听诊与诊断智能系统
CN117393156B (zh) * 2023-12-12 2024-04-05 珠海灏睿科技有限公司 基于云计算的多维度远程听诊与诊断智能系统

Similar Documents

Publication Publication Date Title
CN110674339B (zh) 一种基于多模态融合的中文歌曲情感分类方法
Pan et al. Using the Outputs of Different Automatic Speech Recognition Paradigms for Acoustic-and BERT-Based Alzheimer's Dementia Detection Through Spontaneous Speech.
CN108899013B (zh) 语音搜索方法、装置和语音识别系统
Zhao et al. Robust emotion recognition in noisy speech via sparse representation
Syed et al. Automated recognition of alzheimer’s dementia using bag-of-deep-features and model ensembling
WO2022142115A1 (zh) 基于对抗学习的说话人语音转换方法及相关设备
CN114330820A (zh) 患者病情预后预测方法、系统、存储介质及电子设备
CN115171176A (zh) 对象情绪的分析方法、装置和电子设备
CN114708976A (zh) 辅助诊断技术的方法、装置、设备及存储介质
CN111223481A (zh) 信息提取方法、装置、计算机可读存储介质及电子设备
CN112802461A (zh) 语音识别方法和装置、服务器、计算机可读存储介质
CN113972005A (zh) 人工智能辅助诊疗方法、系统、存储介质及电子设备
CN111653270A (zh) 语音处理方法、装置、计算机可读存储介质及电子设备
CN116010902A (zh) 基于跨模态融合的音乐情感识别方法及系统
CN113722507B (zh) 基于知识图谱的住院费用预测方法、装置及计算机设备
CN113343692B (zh) 搜索意图的识别方法、模型训练方法、装置、介质及设备
CN114881668A (zh) 一种基于多模态的欺骗检测方法
CN117877660A (zh) 基于语音识别的医学报告获取方法及系统
CN116992861B (zh) 基于数据处理的医疗服务智慧处理方法及系统
CN112802598A (zh) 基于语音诊疗数据的实时辅助诊疗方法及系统
CN115376560B (zh) 轻度认知障碍早期筛查的语音特征编码模型及其训练方法
CN111543947B (zh) 中医声诊方法及系统
Cheng et al. MaskCAE: Masked Convolutional AutoEncoder via Sensor Data Reconstruction for Self-Supervised Human Activity Recognition
Deng et al. Alzheimer's Disease Detection Using Acoustic And Linguistic Features
CN117875319B (zh) 医疗领域标注数据的获取方法、装置、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination