CN113707309A - 基于机器学习的疾病预测方法及装置 - Google Patents

Abstract

本发明涉及人工智能技术领域，揭露一种基于机器学习的疾病预测方法，包括：获取目标用户在不同模态表征下的疾病描述序列；利用预先训练疾病预测模型的处理模块，将不同模态表征下的疾病描述序列分别转换为同一向量空间的疾病特征向量；针对每种模态表征设置疾病特征向量的模态标志位，按照所述模态标志位对所述同一向量空间的疾病特征向量进行融合，得到多模态疾病特征向量；利用所述疾病预测模型的自注意力模块，对所述多模态疾病特征向量进行预测，得到目标用户在不同疾病类别上的概率。本发明能够充分利用有限的医疗数据，将不同模态表征下的医疗数据转换到同一向量空间进行建模，综合考虑各个模态之间的内在联系，提高疾病预测精度。

Description

基于机器学习的疾病预测方法及装置

技术领域

本发明涉及人工智能技术领域，尤其是涉及到基于机器学习的疾病预测方法、装置、计算机设备及计算机存储介质。

背景技术

随着互联网技术的兴起，疾病预测是人工智能在医疗保健领域的一项基本任务，可以支持疾病辅助诊断、健康管理、远程会诊等功能，疾病预测能够基于用户的历史就诊信息判断将来可能发生的疾病风险，可以帮助医生或患者迅速了解病人目前所处的病程状态，并根据可能干预手段的预测进行关键医疗资源的调度与协同。

为解决数据驱动的疾病预测方法容易受到数据量有限、数据偏差较大的影响，很多工作尝试使用医疗数据训练机器模型的方式来实现疾病预测。而真实世界的医疗数据异常丰富，包括结构化数据、自然语言文本、图像、波形等多种数据格式。现有方法大多针对某一类数据格式，或针对某一种模态的医疗数据单独进行建模，无法综合考虑不同模态下医疗数据之间的关联，难以充分利用有限的医疗数据，影响疾病预测的准确率。

发明内容

有鉴于此，本发明提供了一种基于机器学习的疾病预测方法、装置、计算机设备及计算机存储介质，主要目的在于解决现有技术中难以充分利用有限的医疗数据，影响疾病预测的准确率的问题。

依据本发明一个方面，提供了一种基于机器学习的疾病预测方法，该方法包括：

获取目标用户在不同模态表征下的疾病描述序列；

利用预先训练疾病预测模型的处理模块，将不同模态表征下的疾病描述序列分别转换为同一向量空间的疾病特征向量；

针对每种模态表征设置疾病特征向量的模态标志位，按照所述模态标志位对所述同一向量空间的疾病特征向量进行融合，得到多模态疾病特征向量；

利用所述疾病预测模型的自注意力模块，对所述多模态疾病特征向量进行预测，得到目标用户在不同疾病类别上的概率。

在本发明另一实施例中，所述获取目标用户在不同模态表征下的疾病描述序列，具体包括：

通过对医疗平台中采集到目标用户的医疗数据进行整理，获取不同模态表征下的医疗数据；

针对不同模态表征下的医疗数据进行分割，将所述不同模态表征下的医疗数据处理为相应模态表征下的疾病描述序列。

在本发明另一实施例中，所述不同模态表征下的疾病描述序列包括文本描述序列、图像描述序列以及波形描述序列，所述利用预先训练疾病预测模型的处理模块，将不同模态表征下的疾病描述序列分别转换为同一向量空间的疾病特征向量，具体包括：

针对文本描述序列中的文本数据，利用预先训练疾病模型的处理模块通过词向量矩阵将所述文本数据转换为词向量，并叠加所述文本数据的位置编码，得到文本疾病特征向量；

针对图像描述序列中的图像数据，利用预先训练疾病模型的处理模块通过线性投影方式将所述图像数据转换为视觉表征向量，并叠加所述图像数据的位置编码，得到图像疾病特征向量；

针对波形描述序列中的波形数据，利用预先训练疾病模型的处理模块通过线性投影方式将所述波形数据转换为波形表征向量，并叠加所述图像数据的位置编码，得到波形疾病特征向量；

基于双线性池化的融合方法将所述文本疾病特征向量、所述图像疾病特征向量以及所述波形疾病特征向量映射到同一向量空间的疾病特征向量。

在本发明另一实施例中，所述基于双线性池化的融合方法将所述文本疾病特征向量、所述图像疾病特征向量以及所述波形疾病特征向量映射到同一向量空间的疾病特征向量，具体包括：

利用所述文本疾病特征向量、所述图像疾病特征向量以及所述波形疾病特征向量之间向量元素的交互作用，计算向量元素的外积；

通过将所述向量元素的外积所生成的矩阵线性化成向量表示，将所述文本疾病特征向量、所述图像疾病特征向量以及所述波形疾病特征向量映射到同一向量空间的疾病特征向量。

在本发明另一实施例中，在所述利用预先训练疾病预测模型的处理模块，将不同模态表征下的疾病描述序列分别转换为同一向量空间的疾病特征向量，并针对每种模态表征设置疾病特征向量的模态标志位之前，所述方法还包括：

利用样本用户在不同模态表征下的疾病描述序列输入至网络模型中进行训练，构建疾病预测模型；

所述网络模型包括针对有疾病描述序列进行向量化转换的处理模块以及针对多模态疾病特征向量进行多任务学习的自注意力模块，所述自注意力模块包括编码层和全连接层，所述利用样本用户在不同模态表征下的疾病描述序列输入至网络模型中进行训练，构建疾病预测模型，具体包括：

利用所述处理模块将样本用户在不同模态表征下的疾病描述序列向量化表示为多模态疾病特征向量；

利用所述自注意力模块的编码层根据所述模态标志位对所述多模态疾病特征向量进行解析，获取多模态疾病特征向量之间的影响权重，并基于所述影响权重更新所述多模态疾病特征向量；

利用所述自注意力模块的全连接层对更新后的多模态疾病特征向量进行多任务学习，预测样本用户在不同疾病类别上的概率值，构建疾病预测模型。

在本发明另一实施例中，所述方法还包括：

在所述网络模型训练过程中，通过屏蔽或替换所述多模态疾病特征向量中的部分特征后，预测部分特征是否与所述多模态特征是否相匹配，设置多个任务。

在本发明另一实施例中，所述方法还包括：

针对每个任务设置损失函数，并利用所述损失函数输出的误差反向传播，以调整所述疾病预测模型中的模型参数。

依据本发明另一个方面，提供了一种基于机器学习的疾病预测装置，所述装置包括：

获取单元，用于获取目标用户在不同模态表征下的疾病描述序列；

转换单元，用于利用预先训练疾病预测模型的处理模块，将不同模态表征下的疾病描述序列分别转换为同一向量空间的疾病特征向量；

融合单元，用于针对每种模态表征设置疾病特征向量的模态标志位，按照所述模态标志位对所述同一向量空间的疾病特征向量进行融合，得到多模态疾病特征向量；

预测单元，用于利用所述疾病预测模型的自注意力模块，对所述多模态疾病特征向量进行预测，得到目标用户在不同疾病类别上的概率。

在本发明另一实施例中，所述获取单元包括：

整理模块，用于通过对医疗平台中采集到目标用户的医疗数据进行整理，获取不同模态表征下的医疗数据；

分割模块，用于针对不同模态表征下的医疗数据进行分割，将所述不同模态表征下的医疗数据处理为相应模态表征下的疾病描述序列。

在本发明另一实施例中，所述不同模态表征下的疾病描述序列包括文本描述序列、图像描述序列以及波形描述序列，所述转换单元包括：

第一转换模块，用于针对文本描述序列中的文本数据，利用预先训练疾病模型的处理模块通过词向量矩阵将所述文本数据转换为词向量，并叠加所述文本数据的位置编码，得到文本疾病特征向量；

第二转换模块，用于针对图像描述序列中的图像数据，利用预先训练疾病模型的处理模块通过线性投影方式将所述图像数据转换为视觉表征向量，并叠加所述图像数据的位置编码，得到图像疾病特征向量；

第三转换模块，用于针对波形描述序列中的波形数据，利用预先训练疾病模型的处理模块通过线性投影方式将所述波形数据转换为波形表征向量，并叠加所述图像数据的位置编码，得到波形疾病特征向量；

映射模块，用于基于双线性池化的融合方法将所述文本疾病特征向量、所述图像疾病特征向量以及所述波形疾病特征向量映射到同一向量空间的疾病特征向量。

在本发明另一实施例中，所述映射模块包括：

计算子模块，用于利用所述文本疾病特征向量、所述图像疾病特征向量以及所述波形疾病特征向量之间向量元素的交互作用，计算向量元素的外积；

映射子模块，用于通过将所述向量元素的外积所生成的矩阵线性化成向量表示，将所述文本疾病特征向量、所述图像疾病特征向量以及所述波形疾病特征向量映射到同一向量空间的疾病特征向量。

在本发明另一实施例中，所述装置还包括：

构建单元，用于在所述利用预先训练疾病预测模型的处理模块，将不同模态表征下的疾病描述序列分别转换为同一向量空间的疾病特征向量，并针对每种模态表征设置疾病特征向量的模态标志位之前，利用样本用户在不同模态表征下的疾病描述序列输入至网络模型中进行训练，构建疾病预测模型；

所述网络模型包括针对有疾病描述序列进行向量化转换的处理模块以及针对多模态疾病特征向量进行多任务学习的自注意力模块，所述自注意力模块包括编码层和全连接层，所述构建单元包括：

向量化模块，用于利用所述处理模块将样本用户在不同模态表征下的疾病描述序列向量化表示为多模态疾病特征向量；

解析模块，用于利用所述自注意力模块的编码层根据所述模态标志位对所述多模态疾病特征向量进行解析，获取多模态疾病特征向量之间的影响权重，并基于所述影响权重更新所述多模态疾病特征向量；

预测模块，用于利用所述自注意力模块的全连接层对更新后的多模态疾病特征向量进行多任务学习，预测样本用户在不同疾病类别上的概率值，构建疾病预测模型。

在本发明另一实施例中，所述构建单元还包括：

设置模块，用于在所述网络模型训练过程中，通过屏蔽或替换所述多模态疾病特征向量中的部分特征后，预测部分特征是否与所述多模态特征是否相匹配，设置多个任务。

在本发明另一实施例中，所述构建单元还包括：

调整模块，用于针对每个任务设置损失函数，并利用所述损失函数输出的误差反向传播，以调整所述疾病预测模型中的模型参数。

依据本发明又一个方面，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现基于机器学习的疾病预测方法的步骤。

依据本发明再一个方面，提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现基于机器学习的疾病预测方法的步骤。

借由上述技术方案，本发明提供一种基于机器学习的疾病预测方法及装置，获取目标用户在不同模态表征下的疾病描述序列，利用预先训练疾病预测模型的处理模块，将不同模态表征下的疾病描述序列分别转换为同一向量空间的疾病特征向量，针对每种模态表征设置疾病特征向量的模态标志位，按照模态标志位对同一向量空间的疾病特征向量进行拼接，得到多模态疾病特征向量，利用疾病预测模型的自注意力模块，对多模态疾病特征向量进行预测，得到目标用户在不同疾病类别上的概率。与现有技术中针对某一种数据格式或者某一种模态的医疗数据进行单独建模的方式相比，本申请中通过将不同模态表征下的医疗数据转换到同一向量空间进行建模，能够综合考虑不同模态下医疗数据之间的关联，充分利用有限的医疗数据，提高疾病预测的准确率。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提供的一种基于机器学习的疾病预测方法的流程示意图；

图2示出了本发明实施例提供的另一种基于机器学习的疾病预测方法的流程示意图；

图3示出了本发明实施例提供的一种基于机器学习的疾病预测装置的结构示意图；

图4示出了本发明实施例提供的另一种基于机器学习的疾病预测装置的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。

人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

本发明实施例提供了一种基于机器学习的疾病预测方法，该疾病预测模型能够将不同模态表征下的医疗数据转换到同一向量空间进行建模，综合考虑各个模态之间的内在联系，提高疾病预测精度，如图1所示，该方法包括：

101、获取目标用户在不同模态表征下的疾病描述序列。

本申请中，医疗诊断场景中医疗数据异常丰富，包括结构化数据、自然文本、图像、波形等多种模态表征的数据格式，该医疗数据可以为个人健康档案、处方、检查报告等。

可以理解的是，这里可以从医疗云中采集到目标用户的医疗数据，并对目标用户的医疗数据进行整理得到不同模态表征下的疾病描述序列，不同模态表征下的疾病描述序列表现形式不同，针对结构化数据和自然文本等文本模态表征的数据格式，疾病描述序列可以表现为文本分词后形成的分词序列，针对图像模态表征的数据格式，疾病描述序列可以表现为图像分割后形成的子图像序列，针对波形模态表征的数据格式，疾病描述序列可以表现为波形按时间分段后形成的子波形序列，具体针对每一种模态表征可以设置处理模块，并将医疗数据处理为相应模态表征下的疾病描述序列。医疗云是指在云计算、移动技术、多媒体、4G通信、大数据、以及物联网等新技术基础上，结合医疗技术，使用“云计算”来创建医疗健康服务云平台，实现了医疗资源的共享和医疗范围的扩大。因为云计算技术的运用于结合，医疗云提高医疗机构的效率，方便居民就医。像现在医院的预约挂号、电子病历、医保等都是云计算与医疗领域结合的产物，医疗云还具有数据安全、信息共享、动态扩展、布局全局的优势。在一种可能的实现方式中，样本用户电子病历是医疗数据，如个人健康档案、处方、检查报告等数据，相当于医疗文本，该医疗文本可以是医疗电子记录(Electronic Healthcare Record)，电子化的个人健康记录，包括病历、心电图、医学影像等一系列具备保存备查价值的电子化记录。

在本发明实施例中，执行主体可以为基于机器学习的疾病预测装置，具体应用在智慧医疗或医疗云等适用于药物推送的医疗平台，通过医疗平台来获取目标用户的医疗数据，并将医疗数据处理为不同模态表征下的疾病描述序列，进一步利用不同模态表征下的疾病描述序列融合后的多模态疾病特征向量进行疾病预测，能够统一处理各个模态的医疗数据，综合考虑各个模态之间的依赖关系，以提高疾病预测精度。

102、利用预先训练疾病预测模型的处理模块，将不同模态表征下的疾病描述序列分别转换为同一向量空间的疾病特征向量。

其中，疾病预测模型为预先使用样本用户在不同模态表征下疾病描述序列输入至网络模型中进行训练得到，该网络模型中包括针对疾病描述序列进行向量转换的处理模块以及针对疾病特征向量进行多任务学习的自注意力模块，处理模块能够针对疾病描述序列进行处理，将疾病描述序列转换为疾病特征向量，该过程中不对每种模态表征下的向量进行单独训练，而是在整个网络模型的训练过程中统一更新。

具体针对每种模态表征下的疾病描述序列进行处理的过程中，不同模态表征的疾病描述序列处理过程并不相同，针对文本模态下形成的疾病描述序列为词序列，可通过词向量矩阵将其转换为词向量，然后结合词序列的位置编码进行叠加，得到文本表征的疾病特征向量，针对图像模态下形成的疾病描述序列为子图像序列，可通过线性投影的方式将其转换为视觉表征向量，然后结合子图像序列的位置编码进行叠加，得到图像表征的疾病特征向量，针对波形模态下形成的疾病描述序列为子波形序列，可通过线性投影将其转换为波形表征向量，然后结合子波形序列的位置编码进行叠加，得到波形表征的疾病特征向量，进一步利用联合嵌入的方式将不同模态得到的疾病特征向量转换为同一向量空间的疾病特征向量。

例如，对于文本模态下形成的词序列为[x1,x2…xn]，结合词向量的位置编码进行叠加后得到文本表征的疾病特征向量[v1,v2,…vn]；对于图像模态下形成的子图像序列为100个20*20的子图像，通过线性投影将其转换为视觉表征向量后结合位置编码得到图像表征的疾病特征向量[q1,q2,…qn]，对于波形模态下形成的子图像序列可以为50个时间段为30s的子波形，通过线性投影将其转换为波形表征向量后结合位置编码得到波形表征的疾病特征向量[m1,m2,…mn]。

103、针对每种模态表征设置疾病特征向量的模态标志位，按照所述模态标志位对所述同一向量空间的疾病特征向量进行融合，得到多模态疾病特征向量。

考虑到不同模态表征具有不同的数据类型，考虑到不同模态表征的疾病特征向量之间的关联，可以在针对每种模态表征设置疾病特征向量的模态标志位的同时，获取不同模态表征之间在数据结构上的关联特征，并针对该关联特征设置相应的模态表征位，从而在疾病特征向量融合过程中加入了不同模态医疗数据之间的关联，获取到包含丰富医疗信息的多模态疾病特征向量。

具体针对每种模态表征设置疾病特征向量的模态标志位的过程中，可使用标志位的方式来设置，例如，设置0标志位表示文本特征部分，设置1标志位表示图像特征部分，设置2标志位表示波形特征部分，设置3标志位表示结构化数据特征。

104、利用所述疾病预测模型的自注意力模块，对所述多模态疾病特征向量进行预测，得到目标用户在不同疾病类别上的概率。

这里自注意力模块在训练过程中设计有多任务，每个任务对应有损失函数，通过针对多个任务同时优化，即多个任务的损失函数加权平均得到最终的损失函数，并通过损失函数输出的误差反向优化网络模型的参数。

可以理解的是，疾病特征向量在经过多任务训练后可获得预训练模型，输出表征不同疾病类别的疾病特征向量还需要连接分类器中进行疾病类别的映射，进一步通过将预训练模型连接分类器，得到疾病特征向量在不同疾病类别上概率。

本发明实施例提供的一种基于机器学习的疾病预测方法，获取目标用户在不同模态表征下的疾病描述序列，利用预先训练疾病预测模型的处理模块，将不同模态表征下的疾病描述序列分别转换为同一向量空间的疾病特征向量，针对每种模态表征设置疾病特征向量的模态标志位，按照模态标志位对同一向量空间的疾病特征向量进行拼接，得到多模态疾病特征向量，利用疾病预测模型的自注意力模块，对多模态疾病特征向量进行预测，得到目标用户在不同疾病类别上的概率。与现有技术中针对某一种数据格式或者某一种模态的医疗数据进行单独建模的方式相比，本申请中通过将不同模态表征下的医疗数据转换到同一向量空间进行建模，能够综合考虑不同模态下医疗数据之间的关联，充分利用有限的医疗数据，提高疾病预测的准确率。

本发明实施例提供了另一种基于机器学习的疾病预测方法，该疾病预测模型能够将不同模态表征下的医疗数据转换到同一向量空间进行建模，综合考虑各个模态之间的内在联系，提高疾病预测精度，如图2所示，所述方法包括：

201、通过对医疗平台中采集到目标用户的医疗数据进行整理，获取不同模态表征下的医疗数据。

202、针对不同模态表征下的医疗数据进行分割，将所述不同模态表征下的医疗数据处理为相应模态表征下的疾病描述序列。

考虑到不同模态表征下医疗数据具有不同的数据属性，针对不同模态表征下医疗数据设置有不同的处理模块，具体针对文本模态下的医疗数据，可以利用文本处理模块对医疗数据进行分词，并将分词后的文本转换为词序列，针对图像模态下的医疗数据，可以利用图像处理模块对医疗数据进行切块，形成子图像序列，例如，原始图像为200*200，可以从切块成100个20*20的子图像，并由左上角到右下角设置编码位置为1-100，再将图像按照编码位置排列得到子图像序列；针对波形模态下的医疗数据，利用波形数据处理模块对医疗数据按照时间分段，形成子波形序列。

203、利用样本用户在不同模态表征下的疾病描述序列输入至网络模型中进行训练，构建疾病预测模型。

其中，网络模型包括针对有疾病描述序列进行向量化转换的处理模块以及针对多模态疾病特征向量进行多任务学习的自注意力模块，自注意力模块包括编码层和全连接层，具体可以利用所述处理模块将样本用户在不同模态表征下的疾病描述序列向量化表示为多模态疾病特征向量，利用自注意力模块的编码层根据模态标志位对多模态疾病特征向量进行解析，获取多模态疾病特征向量之间的影响权重，并基于影响权重更新多模态疾病特征向量，利用自注意力模块的全连接层对更新后的多模态疾病特征向量进行多任务学习，预测样本用户在不同疾病类别上的概率值，构建疾病预测模型。

可以理解的是，考虑到多任务学习中不同模态特征之间的依赖关系，在网络模型训练过程中，通过屏蔽或替换多模态疾病特征向量中的部分特征后，预测部分特征是否与多模态特征是否相匹配，设置多个任务，这里多个任务具体可以包括：(1)屏蔽文本中模态下的某些词，根据上下文预测文本内容；(2)替换子图像的某一部分，预测子图像与整图是否匹配；(3)替换部分波形数据，预测替换部分是否为同一用户。进一步地，这里针对每个任务设置损失函数，并利用损失函数输出的误差反向传播，以调整所述疾病预测模型中的模型参数。

204、利用预先训练疾病预测模型的处理模块，将不同模态表征下的疾病描述序列分别转换为同一向量空间的疾病特征向量。

这里不同模态表征下的疾病描述序列包括文本描述序列、图像描述序列以及波形描述序列，具体针对文本描述序列中的文本数据，利用预先训练疾病模型的处理模块通过词向量矩阵将所述文本数据转换为词向量，并叠加文本数据的位置编码，得到文本疾病特征向量；针对图像描述序列中的图像数据，利用预先训练疾病模型的处理模块通过线性投影方式将图像数据转换为视觉表征向量，并叠加图像数据的位置编码，得到图像疾病特征向量；针对波形描述序列中的波形数据，利用预先训练疾病模型的处理模块通过线性投影方式将波形数据转换为波形表征向量，并叠加图像数据的位置编码，得到波形疾病特征向量；基于双线性池化的融合方法将文本疾病特征向量、图像疾病特征向量以及波形疾病特征向量映射到同一向量空间的疾病特征向量。

上述双线性池化的融合方法主用于融合不同模态表征下的向量来获取一个联合表征空间，进而使用该联合表征空间将不同模态表征下所转换的疾病特征向量映射到同一向量空间。具体可以利用文本疾病特征向量、图像疾病特征向量以及波形疾病特征向量之间向量元素的交互作用，计算向量元素的外积，然后通过将向量元素的外积所生成的矩阵线性化成向量表示，将文本疾病特征向量、图像疾病特征向量以及波形疾病特征向量映射到同一向量空间的疾病特征向量。

205、针对每种模态表征设置疾病特征向量的模态标志位，按照所述模态标志位对所述同一向量空间的疾病特征向量进行融合，得到多模态疾病特征向量。

可以理解的是，考虑到不同模态表征下的疾病描述序列处于不同的特征空间，在对同一向量空间的疾病特征向量进行融合的过程中，一方面在每种模态内分别约束相同部分的特征向量，另一方面区分不同模态转换后特征向量与模态特异性的度量，以加强对模态内和模态间的特征学习。

206、利用所述疾病预测模型的自注意力模块，对所述多模态疾病特征向量进行预测，得到目标用户在不同疾病类别上的概率。

本申请中使用疾病预测模型将不同模态下的医疗数据转换到同一向量空间进行建模，可以综合考虑各个模态之间的内在联系，提高预测精度，并在模型处理时序数据过程中未使用RNN等序列模型，方便进行并行化，适合大规模数据的训练。

进一步地，作为图1所述方法的具体实现，本发明实施例提供了一种基于机器学习的疾病预测装置，如图3所示，所述装置包括：获取单元31、转换单元32、融合单元33、预测单元34。

获取单元31，可以用于获取目标用户在不同模态表征下的疾病描述序列；

转换单元32，可以用于利用预先训练疾病预测模型的处理模块，将不同模态表征下的疾病描述序列分别转换为同一向量空间的疾病特征向量；

融合单元33，可以用于针对每种模态表征设置疾病特征向量的模态标志位，按照所述模态标志位对所述同一向量空间的疾病特征向量进行融合，得到多模态疾病特征向量；

预测单元34，可以用于利用所述疾病预测模型的自注意力模块，对所述多模态疾病特征向量进行预测，得到目标用户在不同疾病类别上的概率。

本发明实施例提供的一种基于机器学习的疾病预测装置，获取目标用户在不同模态表征下的疾病描述序列，利用预先训练疾病预测模型的处理模块，将不同模态表征下的疾病描述序列分别转换为同一向量空间的疾病特征向量，针对每种模态表征设置疾病特征向量的模态标志位，按照模态标志位对同一向量空间的疾病特征向量进行拼接，得到多模态疾病特征向量，利用疾病预测模型的自注意力模块，对多模态疾病特征向量进行预测，得到目标用户在不同疾病类别上的概率。与现有技术中针对某一种数据格式或者某一种模态的医疗数据进行单独建模的方式相比，本申请中通过将不同模态表征下的医疗数据转换到同一向量空间进行建模，能够综合考虑不同模态下医疗数据之间的关联，充分利用有限的医疗数据，提高疾病预测的准确率。

作为图3中所示基于机器学习的疾病预测装置的进一步说明，图4是根据本发明实施例另一种基于机器学习的疾病预测装置的结构示意图，如图4所示，所述获取单元31包括：

整理模块311，可以用于通过对医疗平台中采集到目标用户的医疗数据进行整理，获取不同模态表征下的医疗数据；

分割模块312，可以用于针对不同模态表征下的医疗数据进行分割，将所述不同模态表征下的医疗数据处理为相应模态表征下的疾病描述序列。

在具体应用场景中，所述不同模态表征下的疾病描述序列包括文本描述序列、图像描述序列以及波形描述序列，所述转换单元32包括：

第一转换模块321，可以用于针对文本描述序列中的文本数据，利用预先训练疾病模型的处理模块通过词向量矩阵将所述文本数据转换为词向量，并叠加所述文本数据的位置编码，得到文本疾病特征向量；

第二转换模块322，可以用于针对图像描述序列中的图像数据，利用预先训练疾病模型的处理模块通过线性投影方式将所述图像数据转换为视觉表征向量，并叠加所述图像数据的位置编码，得到图像疾病特征向量；

第三转换模块323，可以用于针对波形描述序列中的波形数据，利用预先训练疾病模型的处理模块通过线性投影方式将所述波形数据转换为波形表征向量，并叠加所述图像数据的位置编码，得到波形疾病特征向量；

映射模块324，可以用于基于双线性池化的融合方法将所述文本疾病特征向量、所述图像疾病特征向量以及所述波形疾病特征向量映射到同一向量空间的疾病特征向量。

在具体应用场景中，所述映射模块324包括：

计算子模块3241，可以用于利用所述文本疾病特征向量、所述图像疾病特征向量以及所述波形疾病特征向量之间向量元素的交互作用，计算向量元素的外积；

映射子模块3242，可以用于通过将所述向量元素的外积所生成的矩阵线性化成向量表示，将所述文本疾病特征向量、所述图像疾病特征向量以及所述波形疾病特征向量映射到同一向量空间的疾病特征向量。

在具体应用场景中，所述装置还包括：

构建单元35，可以用于在所述利用预先训练疾病预测模型的处理模块，将不同模态表征下的疾病描述序列分别转换为同一向量空间的疾病特征向量，并针对每种模态表征设置疾病特征向量的模态标志位之前，利用样本用户在不同模态表征下的疾病描述序列输入至网络模型中进行训练，构建疾病预测模型；

所述网络模型包括针对有疾病描述序列进行向量化转换的处理模块以及针对多模态疾病特征向量进行多任务学习的自注意力模块，所述自注意力模块包括编码层和全连接层，所述构建单元35包括：

向量化模块351，可以用于利用所述处理模块将样本用户在不同模态表征下的疾病描述序列向量化表示为多模态疾病特征向量；

解析模块352，可以用于利用所述自注意力模块的编码层根据所述模态标志位对所述多模态疾病特征向量进行解析，获取多模态疾病特征向量之间的影响权重，并基于所述影响权重更新所述多模态疾病特征向量；

预测模块353，可以用于利用所述自注意力模块的全连接层对更新后的多模态疾病特征向量进行多任务学习，预测样本用户在不同疾病类别上的概率值，构建疾病预测模型。

在具体应用场景中，所述构建单元35还包括：

设置模块354，可以用于在所述网络模型训练过程中，通过屏蔽或替换所述多模态疾病特征向量中的部分特征后，预测部分特征是否与所述多模态特征是否相匹配，设置多个任务。

在具体应用场景中，所述构建单元35还包括：

调整模块355，可以用于针对每个任务设置损失函数，并利用所述损失函数输出的误差反向传播，以调整所述疾病预测模型中的模型参数。

需要说明的是，本实施例提供的一种基于机器学习的疾病预测装置所涉及各功能单元的其他相应描述，可以参考图1、图2中的对应描述，在此不再赘述。

基于上述如图1、图2所示方法，相应的，本实施例还提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述如图1、图2所示的基于机器学习的疾病预测方法。

基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景所述的方法。

基于上述如图1、图2所示的方法，以及图3、图4所示的虚拟装置实施例，为了实现上述目的，本申请实施例还提供了一种计算机设备，具体可以为个人计算机、服务器、网络设备等，该实体设备包括存储介质和处理器；存储介质，用于存储计算机程序；处理器，用于执行计算机程序以实现上述如图1、图2所示的基于机器学习的疾病预测方法

可选地，该计算机设备还可以包括用户接口、网络接口、摄像头、射频(RadioFrequency，RF)电路，传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等，可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如蓝牙接口、WI-FI接口)等。

本领域技术人员可以理解，本实施例提供的基于机器学习的疾病预测装置的实体设备结构并不构成对该实体设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。

存储介质中还可以包括操作系统、网络通信模块。操作系统是管理上述计算机设备硬件和软件资源的程序，支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信，以及与该实体设备中其它硬件和软件之间通信。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以借助软件加必要的通用硬件平台的方式来实现，也可以通过硬件实现。通过应用本申请的技术方案，与目前现有技术相比，本申请中通过将不同模态表征下的医疗数据转换到同一向量空间进行建模，能够综合考虑不同模态下医疗数据之间的关联，充分利用有限的医疗数据，提高疾病预测的准确率。

本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

上述本申请序号仅仅为了描述，不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (10)

1.一种基于机器学习的疾病预测方法，其特征在于，所述方法包括：

获取目标用户在不同模态表征下的疾病描述序列；

利用预先训练疾病预测模型的处理模块，将不同模态表征下的疾病描述序列分别转换为同一向量空间的疾病特征向量；

针对每种模态表征设置疾病特征向量的模态标志位，按照所述模态标志位对所述同一向量空间的疾病特征向量进行融合，得到多模态疾病特征向量；

利用所述疾病预测模型的自注意力模块，对所述多模态疾病特征向量进行预测，得到目标用户在不同疾病类别上的概率。

2.根据权利要求1所述的方法，其特征在于，所述获取目标用户在不同模态表征下的疾病描述序列，具体包括：

通过对医疗平台中采集到目标用户的医疗数据进行整理，获取不同模态表征下的医疗数据；

针对不同模态表征下的医疗数据进行分割，将所述不同模态表征下的医疗数据处理为相应模态表征下的疾病描述序列。

3.根据权利要求1所述的方法，其特征在于，所述不同模态表征下的疾病描述序列包括文本描述序列、图像描述序列以及波形描述序列，所述利用预先训练疾病预测模型的处理模块，将不同模态表征下的疾病描述序列分别转换为同一向量空间的疾病特征向量，具体包括：

针对文本描述序列中的文本数据，利用预先训练疾病模型的处理模块通过词向量矩阵将所述文本数据转换为词向量，并叠加所述文本数据的位置编码，得到文本疾病特征向量；

针对图像描述序列中的图像数据，利用预先训练疾病模型的处理模块通过线性投影方式将所述图像数据转换为视觉表征向量，并叠加所述图像数据的位置编码，得到图像疾病特征向量；

针对波形描述序列中的波形数据，利用预先训练疾病模型的处理模块通过线性投影方式将所述波形数据转换为波形表征向量，并叠加所述图像数据的位置编码，得到波形疾病特征向量；

基于双线性池化的融合方法将所述文本疾病特征向量、所述图像疾病特征向量以及所述波形疾病特征向量映射到同一向量空间的疾病特征向量。

4.根据权利要求3所述的方法，其特征在于，所述基于双线性池化的融合方法将所述文本疾病特征向量、所述图像疾病特征向量以及所述波形疾病特征向量映射到同一向量空间的疾病特征向量，具体包括：

利用所述文本疾病特征向量、所述图像疾病特征向量以及所述波形疾病特征向量之间向量元素的交互作用，计算向量元素的外积；

通过将所述向量元素的外积所生成的矩阵线性化成向量表示，将所述文本疾病特征向量、所述图像疾病特征向量以及所述波形疾病特征向量映射到同一向量空间的疾病特征向量。

5.根据权利要求1所述的方法，其特征在于，在所述利用预先训练疾病预测模型的处理模块，将不同模态表征下的疾病描述序列分别转换为同一向量空间的疾病特征向量，并针对每种模态表征设置疾病特征向量的模态标志位之前，所述方法还包括：

利用样本用户在不同模态表征下的疾病描述序列输入至网络模型中进行训练，构建疾病预测模型；

所述网络模型包括针对有疾病描述序列进行向量化转换的处理模块以及针对多模态疾病特征向量进行多任务学习的自注意力模块，所述自注意力模块包括编码层和全连接层，所述利用样本用户在不同模态表征下的疾病描述序列输入至网络模型中进行训练，构建疾病预测模型，具体包括：

利用所述处理模块将样本用户在不同模态表征下的疾病描述序列向量化表示为多模态疾病特征向量；

利用所述自注意力模块的编码层根据所述模态标志位对所述多模态疾病特征向量进行解析，获取多模态疾病特征向量之间的影响权重，并基于所述影响权重更新所述多模态疾病特征向量；

利用所述自注意力模块的全连接层对更新后的多模态疾病特征向量进行多任务学习，预测样本用户在不同疾病类别上的概率值，构建疾病预测模型。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

在所述网络模型训练过程中，通过屏蔽或替换所述多模态疾病特征向量中的部分特征后，预测部分特征是否与所述多模态特征是否相匹配，设置多个任务。

7.根据权利要求5或6所述的方法，其特征在于，所述方法还包括：

针对每个任务设置损失函数，并利用所述损失函数输出的误差反向传播，以调整所述疾病预测模型中的模型参数。

8.一种基于机器学习的疾病预测装置，其特征在于，所述装置包括：

获取单元，用于获取目标用户在不同模态表征下的疾病描述序列；

转换单元，用于利用预先训练疾病预测模型的处理模块，将不同模态表征下的疾病描述序列分别转换为同一向量空间的疾病特征向量；

融合单元，用于针对每种模态表征设置疾病特征向量的模态标志位，按照所述模态标志位对所述同一向量空间的疾病特征向量进行融合，得到多模态疾病特征向量；

预测单元，用于利用所述疾病预测模型的自注意力模块，对所述多模态疾病特征向量进行预测，得到目标用户在不同疾病类别上的概率。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images