CN114330820A - 患者病情预后预测方法、系统、存储介质及电子设备 - Google Patents

Abstract

本申请公开了一种患者病情预后预测方法、系统、存储介质及电子设备，方法包括：知识图谱构建步骤：使用多维度预后预测模型对患者的信息进行采集，构建所述患者的知识图谱档案；第一特征获取步骤：将所述知识图谱档案中的非时序节点信息进行Embedding编码后获得第一特征；第二特征获取步骤：将所述知识图谱档案中的时序节点信息通过序列模型处理后获得第二特征；整体特征获得步骤：将所述第一特征与所述第二特征融合后获得整体特征；模型处理步骤：将所述整体特征输入到预测模型进行处理后，获得输出结果。本发明不仅可以提升预测的准确率，而且还可加快预测的速度。

Description

患者病情预后预测方法、系统、存储介质及电子设备

技术领域

本发明属于患者病情预后预测领域，具体涉及一种患者病情预后预测方法、系统、存储介质及电子设备。

背景技术

随着互联网技术的发展，越来越多的行业正在使用互联网技术，尤其是人工智能技术来改进其工作的流程及方式，以提升工作效率。然而，通过调研发现目前诸多三甲医院的医疗档案仍采用的是传统的以时间序列为主的特征记录方式，记录此刻患者补充的环境及自身的特征信息。这种方式的记录主要采用时间线的变化为主，故很难发现特征在空间层面的关联，即通过不同时间节点提供的特征是相关的或者相关依赖的等。同时，目前大多医院的病历，也是简单的采用文本的形式进行的记录，关于患者其他维度的对诊断有帮助的信息并无法记录在病历档案中，因此对患者预后预测有很大的影响。因此，当医生对患者的病情进行判断和预测时，只能通过文字描述，来人为的寻找病情前后的关联，导致时间花费较多且获得的可参考信息较少。本案提出了基于患者多模态知识图谱病历的病情预测系统，首先对患者多模态图谱档案的多模态数据(即不同形态的数据，如文本、图片、视频、音频等)进行特征提取，将不同模态的数据的信息进行融合，形成融合特征，最后构建模型通过融合特征预测患者的病情预后情况。本案中的预后预测使用了患者的多形态多维度的数据进行预后预测，即将人工智能技术使用到医疗预测中，可以很大程度的提升预测的准确率。

通过调研发现，现有的预后预测技术还主要集中在使用患者的文本信息进行特征提取，如患者的年纪、性别、所在地域等信息，以及患者的用药情况等来进行特征提取，并使用这些特征进行患者的预后预测。更有一些，有考虑在这些文本信息中简单加入了图片等形态的信息，然后分别对这些信息的特征进行提取，并将提取的特征进行融合(简单的特征向量拼接或者相加)，形成新的特征向量，然后通过模型来预测患者的预后状况。

发明内容

本申请实施例提供了一种患者病情预后预测方法、系统、存储介质及电子设备，以至少解决现有的患者病情预后预测方法准确率低的问题。

本发明提供了一种患者病情预后预测方法，其中，包括：

知识图谱构建步骤：使用多维度预后预测模型对患者的信息进行采集，构建所述患者的知识图谱档案；

第一特征获取步骤：将所述知识图谱档案中的非时序节点信息进行Embedding编码后获得第一特征；

第二特征获取步骤：将所述知识图谱档案中的时序节点信息通过序列模型处理后获得第二特征；

整体特征获得步骤：将所述第一特征与所述第二特征融合后获得整体特征；

模型处理步骤：将所述整体特征输入到预测模型进行处理后，获得输出结果。

上述患者病情预后预测方法，其中，所述非时序节点信息包括年龄及性别；其中所述第一特征获取步骤包括：

转化步骤：将所述非时序节点信息通过字典映射转化为非时序节点信息数据特征；

Embedding处理步骤：将所述非时序节点信息数据特征中的离散高维特征通过Embedding进行处理后，映射到低维空间的稠密向量中，生成所述第一特征。

上述患者病情预后预测方法，其中，所述时序节点信息包括：视频数据信息、音频数据信息及文本数据信息；其中所述第二特征获取步骤包括：

视频数据特征获取步骤：采用3D卷积技术对患者多模态图谱中的视频数据进行特征提取；

音频数据特征获取步骤：将声音转化为声学特征并通过梅尔频率倒谱系数对所述声学特征进行提取；

文本数据特征获取步骤：以时间单元为单位通过循环神经网络对文本数据的特征进行提取。

上述患者病情预后预测方法，其中，所述文本数据特征获取步骤包括：

转化步骤：将所述文本数据转化为数值形式；

循环神经网络处理步骤：将转化后的所述文本数据通过循环神经网络中的Cell进行处理后获得文本数据特征。

上述患者病情预后预测方法，其中，所述模型处理步骤包括：

预后标签标注步骤：根据样本患者的历史诊断及记录构建多模态病历档案并在所述多模态病历档案中标注相应的预后标签；

模型构建步骤：根据所述预后标签及样本患者的整体特征构建所述预测模型，并对所述预测模型进行训练。

上述患者病情预后预测方法，其中，所述模型构建步骤包括：

根据所述样本患者的整体特征、全连接网络层及softmax函数构建所述预测模型。

本发明还提供了一种患者病情预后预测系统，其中，包括：

知识图谱构建模块，所述知识图谱构建模块使用多维度预后预测模型对患者的信息进行采集，构建所述患者的知识图谱档案；

第一特征获取模块：所述第一特征获取模块将所述知识图谱档案中的非时序节点信息进行Embedding编码后获得第一特征；

第二特征获取模块：所述第二特征获取模块将所述知识图谱档案中的时序节点信息通过序列模型处理后获得第二特征；

整体特征获得模块：所述整体特征获得模块将所述第一特征与所述第二特征融合后获得整体特征；

模型处理模块：所述模型处理模块将所述整体特征输入到预测模型进行处理后，获得输出结果。

上述患者病情预后预测方法，其中，所述非时序节点信息包括年龄及性别；其中所述第一特征获取模块包括：

转化单元，所述转化单元将所述非时序节点信息通过字典映射转化为非时序节点信息数据特征；

Embedding处理单元，所述Embedding处理单元将所述非时序节点信息数据特征中的离散高维特征通过Embedding进行处理后，映射到低维空间的稠密向量中，生成所述第一特征。

本发明还提供了一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上述任一所述的患者病情预后预测方法。

本发明还提供了一种存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如上述任一所述的患者病情预后预测方法。

本发明的有益效果在于：

本发明属于知识图谱技术中的知识推理领域。通过本发明可以改进现有医院中医生对患者的预后预测的方式，传统的预后预测主要是通过医生翻阅大量的文本记录的病历，寻找患者各特征之间的联系，综合考量患者各个特征，预测患者后期病情的发展情况。然而这种方式去找寻特征和联系是一件费时费力的事情，且很难找出所有的影响预后的特征信息，影响最终的预测准确率；通过本发明的模型，基于患者的多模态图谱档案提取的特征不仅包含文本特征，而且包含其他形态数据的特征，整体特诊所包含的信息维度更多，然后通过预测模型进行患者预后情况的预测，不仅可以提升预测的准确率，而且还可加快预测的速度。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

在附图中：

图1是本发明的患者病情预后预测方法的流程图；

图2是本发明的分步骤S2的流程图；

图3是本发明的分步骤S3的流程图；

图4是本发明的分步骤S33的流程图；

图5是本发明的分步骤S4的流程图；

图6是图谱特征提取流程图；

图7是3D卷积网络结构图；

图8是语音特征提取流程图；

图9是循环神经网络结构图；

图10是预后预测模型图；

图11是本发明的患者病情预后预测系统的结构示意图；

图12是根据本发明实施例的电子设备的框架图；

其中图7中：

H和W分别是每帧的高和宽，L是时间帧的长度，k是卷积核的宽度，d是卷积核的深度；

图9中：

图中h是每一个时刻的数值化文本数据，f是上一时刻的输出及这一时刻的输入之一，c是状态信息。

图10中：

input为融合后的整体特征向量；FC表示全连接网络层。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。

在详细阐述本发明各个实施例之前，对本发明的核心发明思想予以概述，并通过下述若干实施例予以详细阐述。

实施例一：

本发明提供一种患者病情预后预测方法，主要是为了改进现有医疗机构医生一般都基于时序型的患者病历来分析判断，预测患者的预后情况。本发明提出了一种基于患者多模态病历档案信息进行患者的预后预测，通过不同形态的数据以及图结构的数据之间的关联获取更全面的患者特征数据，然后根据上述特征对患者的情况进行预后预测，以提升预后预测的准确率，减少时间花费。

请参照图1，图1是患者病情预后预测方法的流程图。如图1所示，本发明的患者病情预后预测方法包括：

知识图谱构建步骤S1：使用多维度预后预测模型对患者的信息进行采集，构建所述患者的知识图谱档案；

第一特征获取步骤S2：将所述知识图谱档案中的非时序节点信息进行Embedding编码后获得第一特征；

第二特征获取步骤S3：将所述知识图谱档案中的时序节点信息通过序列模型处理后获得第二特征；

整体特征获得步骤S4：将所述第一特征与所述第二特征融合后获得整体特征；

模型处理步骤S5：将所述整体特征输入到预测模型进行处理后，获得输出结果。

其中，所述非时序节点信息包括年龄及性别；请参照图2，图2是第一特征获取步骤S2的流程图。如图2所示，所述第一特征获取步骤S2包括：

转化步骤S21：将所述非时序节点信息通过字典映射转化为非时序节点信息数据特征；

Embedding处理步骤S22：将所述非时序节点信息数据特征中的离散高维特征通过Embedding进行处理后，映射到低维空间的稠密向量中，生成所述第一特征。

其中，所述时序节点信息包括：视频数据信息、音频数据信息及文本数据信息；请参照图3，图3是第二特征获取步骤S3的流程图。如图3所示，所述第二特征获取步骤S3包括：

视频数据特征获取步骤S31：采用3D卷积技术对患者多模态图谱中的视频数据进行特征提取；

音频数据特征获取步骤S32：将声音转化为声学特征并通过梅尔频率倒谱系数对所述声学特征进行提取；

文本数据特征获取步骤S33：以时间单元为单位通过循环神经网络对文本数据的特征进行提取。

请参照图4，图4是文本数据特征获取步骤S33的流程图。如图4所示，所述文本数据特征获取步骤S33包括：

转化步骤S331：将所述文本数据转化为数值形式；

循环神经网络处理步骤S332：将转化后的所述文本数据通过循环神经网络中的Cell进行处理后获得文本数据特征。

请参照图5，图5是模型处理步骤S4的流程图。如图5所示，所述模型处理步骤S4包括：

预后标签标注步骤S41：根据样本患者的历史诊断及记录构建多模态病历档案并在所述多模态病历档案中标注相应的预后标签；

模型构建步骤S42：根据所述预后标签及样本患者的整体特征构建所述预测模型，并对所述预测模型进行训练。

其中，所述模型构建步骤S42包括：

根据所述样本患者的整体特征、全连接网络层及softmax函数构建所述预测模型。

具体地说，预后模型的构建过程建立在已为患者构建了临床病历大数据和多模态生物特征的知识图谱的基础之上。通过历史的积累，患者知识库中已经包含了诸多患者的多模态知识图谱的档案信息。当为一个新的患者进行治疗时，多维度预后预测模型首先需要对患者的信息进行采集，构建此患者的图谱档案；然后对于该患者图谱中的部分节点，包括年龄、性别、地域等简单信息进行Embedding编码，针对具有时序结构的节点信息(如面部表情的变化统计，声音的变化统计等)，需通过相应的序列模型生成最终的向量表示，在此的序列模型可根据信息的类型选择不同的方法(如CRNN，MFCC等)，最终将这些节点的特征向量表示按照一定的次序进行拼接，生成该患者总体信息的一个向量表示。实现过程如图6所示。

进一步，视频数据获取步骤包括：

对于患者多模态图谱中的面部表情的视频数据，此处采用3D卷积的方式进行视频特征的提取。3D卷积方法是把视频划分成很多固定长度的片段(clip)，相比2D卷积，3D卷积可以提取连续帧之间的运动信息。进而可提取出视频这种基于时间序列的图像信息的特征。其主要结构如图7所示，图7中H和W分别是每帧的高和宽，L是时间帧的长度，k是卷积核的宽度，d是卷积核的深度。

再进一步，音频数据获取步骤包括：

声音是模拟信号，声音的时域波形只代表声压随时间变化的关系，不能很好的代表声音的特征，因此，必须将声音波形转换为声学特征向量。目前有许多声音特征提取方法，如梅尔频率倒谱系数MFCC、线性预测倒谱系数LPCC、多媒体内容描述接口MPEG7等，其中MFCC是基于倒谱的，更符合人的听觉原理，因而是最普遍、最有效的声音特征提取算法。在提取MFCC前，需要对声音做前期处理，包括模数转换、预加重和加窗。

模数转换就是把模拟信号转换为数字信号，包括两个步骤：采样和量化，即以一定的采样率和采样位数把声音连续波形转换为离散的数据点。由于日常生活中的声音一般都在8kHz以下，根据Nyquist定律，16kHz采样率足以使得采样出来的数据包含大多数声音信息。16kHz意味着1s的时间内采样16k个样本，这些样本都是以幅度值存储，为了有效存储幅度值，需要将其量化为整数。对于16位采样位数来说，可以表示-32768～32767之间的整数值，所以可以将采样幅度值量化为最近的整数值。

采样和量化后的波形表示为x[n]，其中n是时间索引。然后可以对x[n]做MFCC特征提取，算法流程图如图8所示。

再进一步，文本数据获取步骤：

为了实现对文本性时序数据特征的提取，我们采用了循环神经网络的形式，以时间单元为单位对文本数据的特征进行提取。如病历数据，步态数据等，我们首先将数据处理成数值形式，然后将数据按照时间顺序依次送入循环神经网络的Cell，如此，通过网络一步步的循环迭代，便可提取整个基于时间序列的文本数据的特征向量。其网络结构如图9所示，图中h是每一个时刻的数值化文本数据，f是上一时刻的输出及这一时刻的输入之一，c是状态信息。

非时序数据获取：

对于非时序数据，如年龄、性别等，首先需要将其处理为数值型特征，这里采用了字典映射的方式进行转化；然后将离散的高维特征进行Embedding处理，映射到低维空间的稠密向量，生成非时序数据的特征向量。

特征融合：

在此，针对于不同的特征，如来自视频、音频、文本的时序特征，和来自非时序数据的特征进行一定策略的融合，如拼接、相加、相乘等，具体根据实验效果进行确定，实现特征的融合，生成患者的整体特征向量。

预后预测：

基于患者的整体特征向量，在此构造相应的预测模型进行患者的预后情况预测，根据需求我们将患者的预后分为多种情况(如，好转、不变、恶化等)，根据历史的诊断和记录情况，我们为每个患者的多模态病历档案标注相应的预后标签，然后构建预测模型(如MLP等，根据需求选取)，并对模型进行训练。对新来的患者根据其多模态图谱病历提取的整体特征，使用训练好的模型，进行预后情况的预测。预后预测结构如图10所示,其中input为融合后的整体特征向量；FC表示全连接网络层。

实施例二：

请参照图11，图11是本发明的患者病情预后预测系统的结构示意图。如图11所示本发明的一种患者病情预后预测系统，其中，包括：

知识图谱构建模块11，所述知识图谱构建模块11使用多维度预后预测模型对患者的信息进行采集，构建所述患者的知识图谱档案；

第一特征获取模块12：所述第一特征获取模块12将所述知识图谱档案中的非时序节点信息进行Embedding编码后获得第一特征；

第二特征获取模块13：所述第二特征获取模块13将所述知识图谱档案中的时序节点信息通过序列模型处理后获得第二特征；

整体特征获得模块14：所述整体特征获得模块14将所述第一特征与所述第二特征融合后获得整体特征；

模型处理模块15：所述模型处理模块15将所述整体特征输入到预测模型进行处理后，获得输出结果。

其中，所述非时序节点信息包括年龄及性别；其中所述第一特征获取模块12包括：

转化单元121，所述转化单元121将所述非时序节点信息通过字典映射转化为非时序节点信息数据特征；

Embedding处理单元122，所述Embedding处理单元122将所述非时序节点信息数据特征中的离散高维特征通过Embedding进行处理后，映射到低维空间的稠密向量中，生成所述第一特征。

实施例三：

结合图12所示，本实施例揭示了一种电子设备的一种具体实施方式。电子设备可以包括处理器81以及存储有计算机程序指令的存储器82。

具体地，上述处理器81可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。

其中，存储器82可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器82可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器82可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器82可在数据处理装置的内部或外部。在特定实施例中，存储器82是非易失性(Non-Volatile)存储器。在特定实施例中，存储器82包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(RandomAccess Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory，简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-Access Memory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynami c RandomAccess Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。

存储器82可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器81所执行的可能的计算机程序指令。

处理器81通过读取并执行存储器82中存储的计算机程序指令，以实现上述实施例中的任意一种患者病情预后预测方法。

在其中一些实施例中，电子设备还可包括通信接口83和总线80。其中，如图12所示，处理器81、存储器82、通信接口83通过总线80连接并完成相互间的通信。

通信接口83用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信端口83还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。

总线80包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。总线80包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(Address Bus)、控制总线(ControlBus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线80可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，简称为EISA)总线、前端总线(FrontSide Bus，简称为FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count，简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture，简称为MCA)总线、外围组件互连(Peripheral Component Interconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment，简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus，简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线80可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。

该电子设备可以基于患者病情预后预测，从而实现结合图1-图5描述的方法。

另外，结合上述实施例中患者病情预后预测方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种患者病情预后预测方法。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

综上所述，基于本发明的有益效果在于，通过本发明的模型，基于患者的多模态图谱档案提取的特征不仅包含文本特征，而且包含其他形态数据的特征，整体特诊所包含的信息维度更多，然后通过预测模型进行患者预后情况的预测，不仅可以提升预测的准确率，而且还可加快预测的速度。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本发明的保护范围应以所附权利要求的保护范围为准。

Claims (10)

1.一种患者病情预后预测方法，其特征在于，包括：

知识图谱构建步骤：使用多维度预后预测模型对患者的信息进行采集，构建所述患者的知识图谱档案；

第一特征获取步骤：将所述知识图谱档案中的非时序节点信息进行Embedding编码后获得第一特征；

第二特征获取步骤：将所述知识图谱档案中的时序节点信息通过序列模型处理后获得第二特征；

整体特征获得步骤：将所述第一特征与所述第二特征融合后获得整体特征；

模型处理步骤：将所述整体特征输入到预测模型进行处理后，获得输出结果。

2.如权利要求1所述的患者病情预后预测方法，其特征在于，所述非时序节点信息包括年龄及性别；其中所述第一特征获取步骤包括：

转化步骤：将所述非时序节点信息通过字典映射转化为非时序节点信息数据特征；

Embedding处理步骤：将所述非时序节点信息数据特征中的离散高维特征通过Embedding进行处理后，映射到低维空间的稠密向量中，生成所述第一特征。

3.如权利要求1所述的患者病情预后预测方法，其特征在于，所述时序节点信息包括：视频数据信息、音频数据信息及文本数据信息；其中所述第二特征获取步骤包括：

视频数据特征获取步骤：采用3D卷积技术对患者多模态图谱中的视频数据进行特征提取；

音频数据特征获取步骤：将声音转化为声学特征并通过梅尔频率倒谱系数对所述声学特征进行提取；

文本数据特征获取步骤：以时间单元为单位通过循环神经网络对文本数据的特征进行提取。

4.如权利要求3所述的患者病情预后预测方法，其特征在于，所述文本数据特征获取步骤包括：

转化步骤：将所述文本数据转化为数值形式；

循环神经网络处理步骤：将转化后的所述文本数据通过循环神经网络中的Cell进行处理后获得文本数据特征。

5.如权利要求1所述的患者病情预后预测方法，其特征在于，所述模型处理步骤包括：

预后标签标注步骤：根据样本患者的历史诊断及记录构建多模态病历档案并在所述多模态病历档案中标注相应的预后标签；

模型构建步骤：根据所述预后标签及样本患者的整体特征构建所述预测模型，并对所述预测模型进行训练。

6.如权利要求5所述的患者病情预后预测方法，其特征在于，所述模型构建步骤包括：

根据所述样本患者的整体特征、全连接网络层及softmax函数构建所述预测模型。

7.一种患者病情预后预测系统，其特征在于，包括：

知识图谱构建模块，所述知识图谱构建模块使用多维度预后预测模型对患者的信息进行采集，构建所述患者的知识图谱档案；

第一特征获取模块：所述第一特征获取模块将所述知识图谱档案中的非时序节点信息进行Embedding编码后获得第一特征；

第二特征获取模块：所述第二特征获取模块将所述知识图谱档案中的时序节点信息通过序列模型处理后获得第二特征；

整体特征获得模块：所述整体特征获得模块将所述第一特征与所述第二特征融合后获得整体特征；

模型处理模块：所述模型处理模块将所述整体特征输入到预测模型进行处理后，获得输出结果。

8.如权利要求7所述的患者病情预后预测系统，其特征在于，所述非时序节点信息包括年龄及性别；其中所述第一特征获取模块包括：

转化单元，所述转化单元将所述非时序节点信息通过字典映射转化为非时序节点信息数据特征；

Embedding处理单元，所述Embedding处理单元将所述非时序节点信息数据特征中的离散高维特征通过Embedding进行处理后，映射到低维空间的稠密向量中，生成所述第一特征。

9.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的患者病情预后预测方法。

10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至6中任一项所述的患者病情预后预测方法。

Images