CN115438804A - 预测模型训练方法、装置、设备以及图像预测方法 - Google Patents

Abstract

本申请涉及一种预测模型训练方法、装置、设备以及图像预测方法。所述方法包括：获取待训练图像以及待训练的预测模型；所述待训练的预测模型至少包括第一子网络以及第二子网络；将所述待训练图像输入所述第一子网络，得到所述待训练图像对应图像特征的第一特征信息；获取所述待训练图像的影像组学特征，将所述影像组学特征输入至所述第二子网络，得到所述待训练图像对应影像组学特征的第二特征信息；根据所述第一特征信息和所述第二特征信息，对所述待训练的预测模型进行训练，得到目标预测模型。采用本方法能够在样本数据不充足的情况下，完成对预测模型的准确训练，提高训练后预测模型的准确性。

Description

预测模型训练方法、装置、设备以及图像预测方法

技术领域

本申请涉及医学影像处理技术领域，特别是涉及一种预测模型训练方法、装置、设备以及图像预测方法。

背景技术

疾病预后是对某种疾病的了解，除预先了解该疾病的临床表现、化验及影像学、病因、病理、病情规律等因素之外，还可以根据治疗时机和方法结合治疗操作中所发现的新情况，对疾病的近期以及远期疗效、转归恢复或进展程度进行分类评估。

传统的预后预测方案中，通常采用机器学习的方式，根据获取到的治疗前的医学影像对某一疾病进行预后预测。随着深度学习的出现与发展，在目前的预后预测领域中也开始利用深度学习进行疾病的预后预测。但在利用深度学习对医学图像进行处理的过程中，往往需要大量的样本数据作为基础对预测模型进行训练，从而得到能够进行准确预测的模型。对于样本数据不充足的情况，通过深度学习得到的预测模型，在对医学影像信息进行分析得到的预测结果其准确性将大大降低，无法得到准确的预测结果。

针对相关技术中如何提高预测模型分析结果的准确性，目前还没有提出有效的解决方案。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高预测模型分析结果的准确性的预测模型训练方法、装置、设备以及图像预测方法。

第一方面，本申请提供了一种预测模型训练方法，所述方法包括：

获取待训练图像以及待训练的预测模型；所述待训练的预测模型至少包括第一子网络以及第二子网络；

将所述待训练图像输入所述第一子网络，得到所述待训练图像对应图像特征的第一特征信息；

获取所述待训练图像的影像组学特征，将所述影像组学特征输入至所述第二子网络，得到所述待训练图像对应影像组学特征的第二特征信息；

根据所述第一特征信息和所述第二特征信息，对所述待训练的预测模型进行训练，得到目标预测模型。

在其中一个实施例中，所述根据所述第一特征信息和所述第二特征信息，对所述待训练的预测模型进行训练，得到目标预测模型，包括：

确定所述第一特征信息和所述第二特征信息的对比损失值，基于所述对比损失值确定所述预测模型的初始训练模型参数；

基于所述初始训练模型参数，得到目标预测模型。

在其中一个实施例中，所述确定所述第一特征信息和所述第二特征信息的对比损失值，基于所述对比损失值确定所述预测模型的初始训练模型参数，包括：

基于所述对比损失值进行梯度下降，确定初始训练模型参数，其中，所述对比损失值的下降表示同一所述待训练图像的所述第一特征信息和所述第二特征信息之间的相似度增大。

在其中一个实施例中，其特征在于，基于所述对比损失值进行梯度下降，确定初始训练模型参数，包括：

基于所述对比损失值调整所述预测模型的模型参数；

将所述待训练图像输入调整后的所述预测模型，得到调整后的对比损失值；

重复基于所述对比损失值调整所述预测模型的模型参数，直至所述对比损失值达到极小值，确定所述初始训练模型参数。

在其中一个实施例中，所述基于所述初始训练模型参数，得到目标预测模型，包括：

通过所述第一子网络确定所述待训练图像的第一预测训练结果，通过所述第二子网络确定所述待训练图像对应影像组学特征的第二预测训练结果；

基于所述第一预测训练结果和所述第二预测训练结果确定预测误差；

基于所述预测误差更新初始训练模型参数，得到目标预测模型。

在其中一个实施例中，本申请提供了一种图像预测方法，所述方法包括：

获取待预测原始图像；

基于目标预测模型对所述待预测原始图像进行预测，得到所述待预测原始图像的预测结果，其中，所述目标预测模型为通过上述任一实施例中预测模型训练方法训练得到的。

在其中一个实施例中，所述基于目标预测模型中对所述待预测原始图像进行预测，得到所述待预测原始图像的预测结果，包括：

将所述待预测原始图像输入至所述目标预测模型；

通过所述目标预测模型中的第一子网络输出所述待预测原始图像的第一预测结果，通过所述目标预测模型中的第二子网络输出所述待预测原始图像对应影像组学特征的第二预测结果；

基于所述第一预测结果与所述第二预测结果确定所述待预测原始图像的预测结果。

第二方面，本申请还提供了一种预测模型训练装置，所述装置包括：

获取模块，用于获取待训练图像以及待训练的预测模型；所述待训练的预测模型至少包括第一子网络以及第二子网络；

分析模块，用于将所述待训练图像输入至所述第一子网络，得到所述待训练图像对应图像特征的第一特征信息；获取所述待训练图像的影像组学特征，将所述影像组学特征输入至所述第二子网络，得到所述待训练图像对应影像组学特征的第二特征信息；

自监督模块，用于根据所述第一特征信息和所述第二特征信息，对所述待训练的预测模型进行训练，得到目标预测模型。

在其中一个实施例中，本申请提供了一种图像预测装置，其特征在于，所述装置包括：

图像采集模块，用于获取待预测原始图像；

图像预测模块，用于基于目标预测模型对所述待预测原始图像进行预测，得到所述待预测原始图像的预测结果，其中，所述目标预测模型为通过上述任任一实施例中预测模型训练方法训练得到的。

第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取待训练图像以及待训练的预测模型；所述待训练的预测模型至少包括第一子网络以及第二子网络；

将所述待训练图像输入所述第一子网络，得到所述待训练图像对应图像特征的第一特征信息，将所述待训练图像输入所述第二子网络得到所述待训练图像对应影像组学特征的第二特征信息；

根据所述第一特征信息和所述第二特征信息，对所述待训练的预测模型进行训练，得到目标预测模型。

上述预测模型训练方法、装置、计算机设备以及图像预测方法，通过将待训练图像分别输入至待训练的预测模型中的第一子网络和第二子网络，分别得到待训练图像对应图像特征的第一特征信息与对应影像组学特征的第二特征信息，然后根据所述第一特征信息和所述第二特征信息，对所述待训练的预测模型进行训练，得到目标预测模型。通过同一医学图像的第一特征信息与第二特征信息的相互验证进行模型的训练调整，进而能够在样本数据不充足的情况下，完成对预测模型的准确训练，提高训练后预测模型的准确性。

附图说明

图1为一个实施例中预测模型训练方法的应用环境图；

图2为一个实施例中预测模型训练方法的流程示意图；

图3为一个实施例中自监督学习过程的流程示意图；

图4为一个实施例中预测训练过程的流程示意图；

图5为一个优选实施例中预测模型训练方法的流程示意图；

图6为一个实施例中预测模型训练装置的结构框图；

图7为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

预后预测技术在临床研究中能够辅助临床医生根据患者的身体状态制定相应的治疗方案，用于辅助临床决策支持。进一步的，其还可以帮助患者清晰地认识自身身体状况，间接改善患者在治疗过程中的生活质量，精准的预后对医学研究和实践都具有重要价值。

在传统的预后预测方法中一般机器学习的方法来获取对应的预后预测结果，在上述方法中，通常选择将医学影像的影像组学特征进行提取，然后通过深度学习对上述特征进行处理得到预测结果，或采用神经网络对医学影像直接进行处理。但深度学习往往需要大量的数据支持，以进行准确的模型训练，进而得到准确的预测结果，当现有的医学样本图像数量有限时，深度学习方法往往无法达到预计效果，训练数据的减少将影像预测模型的训练效果，导致预测模型的预测准确度下降。

而本申请中提供的预测模型训练方法，在医学样本图像数量有限的情况下，也能训练得到具有高预测能力的预测模型。

本申请实施例提供的预测模型训练方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。具体的，在服务器104中安装有待训练的预测模型，可通过终端102获取待训练图像。然后终端102将待训练图像上传至服务器104中的待训练模型，将待训练图像输入至第一子网络得到对应图像特征的第一特征信息，获取所述待训练图像的影像组学特征，将所述影像组学特征输入至第二子网络得到对应影像组学特征的第二特征信息。最后服务器104根据所述第一特征信息和所述第二特征信息，对所述待训练的预测模型进行训练，得到目标预测模型。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在本实施例中提供了一种预测模型训练方法，图2是本实施例的预测模型训练方法的流程图，如图2所示，该流程包括如下步骤

步骤S201，获取待训练图像以及待训练的预测模型。

其中，待训练图像为包含感兴趣区域的医学影像，感兴趣区域(Region OfInterest，简称ROI)为病灶所在区域位置，上述医学影像可以是电子计算机断层扫描(Computed Tomography，简称CT)图像、核磁共振成像(Magnetic Resonance Imaging，简称MRI)图像、正电子发射计算机断层显像(Positron Emission Computed Tomography，简称PET)、核医学成像(Nuclear Medicine Imaging，简称NMI)以及三维剂量分布图等医学影像图像。进一步的，待训练图像可以是多模态图像，也可以是单模态图像。待训练的预测模型至少包括第一子网络以及第二子网络，第一子网络为卷积神经网络(例如，ResNet，VGG16等)、多层前馈型神经网络、反馈型神经网络等神经网络中的任意一种，第二子网络可以是感知机神经网络。

步骤S202，将所述待训练图像输入至所述第一子网络，得到所述待训练图像对应图像特征的第一特征信息。获取所述待训练图像的影像组学特征，将所述影像组学特征输入至所述第二子网络，得到所述待训练图像对应影像组学特征的第二特征信息。

其中，在将待训练图像输入至待训练的预测模型之前，可以由专业人员预先确定图像中的感兴趣区域，使用专业的软件对感兴趣区域进行勾画。可选的，对于感兴趣区域的确定还可以通过训练神经网络，利用神经网络自动确定对应的感兴趣区域，具体的训练方法属于本领域的现有技术，在本实施例中不再展开赘述。

进一步的，影像组学特征是指从医学影像中高通量地提取大量描述病灶特征的影像特征，包括了医学影像中的病灶的一阶统计特征、形状大小特征、纹理特征以及小波特征等特征。

可选的，获取待训练图像的影像组学特征时，可以基于待训练图像中的感兴趣区域进行特征提取，获取多个初始特征信息，然后通过对多个初始特征信息进行标准化以及特征筛选，得到对应影像组学特征。

具体的，可以将待训练图像直接输入至第一子网络，或者将提取到的待训练图像的感兴趣区域输入至第一子网络，在第一子网络中，对待训练图像的感兴趣区域的图像特征信息进行深度挖掘，然后输出图像表征结果，确定对应的第一特征信息；将提取到的待训练图像的影像组学特征输入至第二子网络，在第二子网络中，对待训练图像的影像组学特征进行分析，然后输出影像组学表征结果，确定对应的第二特征信息。

步骤S203，根据所述第一特征信息和所述第二特征信息，对所述待训练的预测模型进行训练，得到目标预测模型。

在进行模型的训练时，可将训练过程分为上游任务与下游任务。其中，上游任务为对待训练的预测模型进行预训练的过程。具体的，可通过自监督学习的方式对第一特征信息与第二特征信息进行分析，然后根据分析结果对预测模型的模型参数进行调整，确定预测模型的初始训练模型参数。

其中，自监督学习为一种使用无标注数据用自我监督的方式学习表示的方法。其可以利用辅助任务从无监督数据中挖掘自身的监督信息，通过上述构造的监督信息对神经网络进行训练，从而可以学习到对下游任务有价值的表征。可选的，辅助任务可以是一个预测类任务、生成式任务或对比学习任务。

示例性的，本实施例中，可将辅助任务设置为对比学习任务，通过对比学习算法对第一特征信息以及第二特征信息进行计算，得到对比损失值。然后在基于对比损失值对预测模型的模型参数进行调整，在调整过程中可通过梯度下降算法对模型参数进行优化，完成预测模型的预训练。

进一步的，下游任务为对上游任务得到的预测模型进行模型微调的过程。具体的，可将待训练图像输入至预训练后的预测模型，通过第一子网络得到第一预测结果，通过第二子网络得到第二预测结果。通过综合第一预测结果和第二预测结果之间的分析结果对预测模型进行微调，得到目标预测模型。

上述预测模型训练方法中，可通过待训练的预测模型中的第一子网络对待训练图像进行分析得到对应图像特征的第一特征信息，通过待训练的预测模型中的第二子网络对待训练图像的影像组学特征进行分析，得到对应影像组学特征的第二特征信息，然后根据所述第一特征信息和所述第二特征信息，对所述待训练的预测模型进行训练，得到目标预测模型。在训练过程中，可先通过自监督学习对同一医学图像的第一特征信息与第二特征信息的相互验证进行模型的训练，即使在样本数据不充足的情况下，也能够对预测模型进行预训练，使得预测模型能够具备对待训练图像进行准确分析的能力。然后再对预训练后的模型进行预测能力的训练，进而提高了预测模型的训练效率以及提高了训练后预测模型的准确性。

在其中一个实施例中，所述根据所述第一特征信息和所述第二特征信息，对所述待训练的预测模型进行训练，得到目标预测模型包括：确定所述第一特征信息和所述第二特征信息的对比损失值，基于所述对比损失值确定所述预测模型的初始训练模型参数。

具体的，可通过对比学习算法对第一特征信息和第二特征信息进行处理，通过数据增强、数据裁剪以及负样本的生成等方式得到对比损失值。可选的，对比学习算法可以是MOCO、SimCLR、PCRL、BYOL等算法。通过对比学习对应算法进行数据增强、数据裁剪以及负样本的生成等方式得到对比损失值。

需要说明的是，对比学习的着重点在于学习同类实例之间的共同特征，区分非同类实例之间的不同之处。因此，本申请通过对比学习得到的对比损失值实质为第一特征信息和第二特征信息之间的相似度。

对于预测模型而言，不同的模型参数下，可对应得到不同的对比损失值。因此，在确定初始训练模型参数时，可基于对比损失值对预测模型的模型参数进行调整，对比损失值的变化可体现模型参数的调整方向，进而调整确定符合训练要求初始训练模型参数。

在本实施例中，通过第一特征信息和第二特征信息之间的对比损失值确定待训练的预测模型的初始模型参数，可有效减小预测模型获取到的第一特征信息和第二特征信息之间差距，提高预测模型对医学图像的分析能力。

在其中一个实施例中，所述确定所述第一特征信息和所述第二特征信息的对比损失值，基于所述对比损失值确定所述预测模型的初始训练模型参数包括：基于所述对比损失值进行梯度下降，确定初始训练模型参数。基于所述初始训练模型参数，得到目标预测模型。

其中，所述对比损失值的下降表示同一所述待训练图像的所述第一特征信息和所述第二特征信息之间的相似度增大，不同所述待训练图像的所述第一特征信息和所述第二特征信息之间的相似度减小。进一步的，相似度表示为在第一子网络对待训练图像进行深度挖掘后的表征结果与第二子网络对同一待训练图像的影像组学特征的表征结果的接近程度，相似度越大则说明第一子网络与第二子网络的表征结果越接近。在本实施例中，需要控制同一待训练图像的第一特征信息与第二特征信息的相似程度尽可能增大，控制不同待训练图像的第一特征信息与第二特征信息的相似程度尽可能降低。

需要说明的是，在本实施例中对比学习的过程中，并不需要图像的分类标签，在完成对比学习的训练过程后，预测模型即可具备对待训练图像的图像特征和影像组学特征进行分析的通用初始分析能力，即在待训练图像输入至待训练的预测模型后，上述预测模型对待训练图像能够准确对其进行表征，获取到各项特征信息。

在待训练的预测模型具备对待训练图像的初始分析能力之后，即可训练其预测能力。此时需要将待训练图像再次输入上述预测模型，然后根据预测结果更新初始模型参数，对初始训练模型参数进行微调，进而得到目标预测模型以提高预测模型的预测准确度。

在本实施例中，通过待训练图像对预测模型的预测能力进行训练，对初始训练模型参数进行更新调整，使得预测模型具备根据医学图像进行预测的能力，并且确保了预测模型的预测准确度。

在本实施例中，本实施例中，通过对比学习获取第一特征信息与第二特征信息的对比损失值，然后基于对比损失值进行梯度下降以确定预测模型的初始训练参数。通过不同的神经网络得到同一图像对应的不同表征结果，然后根据对比不同表征结果的关系，利用不同结果的相互比较完成模型的预训练，使得模型能够具备初始分析能力，即使在待训练图像样本数量不足的情况下，也能够对预测模型进行初步训练，使预测模型具备对待训练图像的初始分析能力，并同时确保了预测模型的分析准确性。

在其中一个实施例中，所述基于所述对比损失值进行梯度下降，确定初始训练模型参数包括：基于所述对比损失值调整所述预测模型的模型参数；将所述待训练图像输入调整后的所述预测模型，得到调整后的对比损失值；重复基于所述对比损失值调整所述预测模型的模型参数，直至所述对比损失值达到极小值，确定所述初始训练模型参数。

其中，预测模型在未进行训练之前，其上设置有第一子网络的权重参数与第二子网络的权重参数，上述权重参数即为模型参数，在本实施例中上述模型参数并非最优值，需要在训练过程中进行不断的调整。在具体的调整过程中，需要利用梯度下降算法重复进行迭代计算得到不同模型参数下的对比损失值，使得得到的对比损失值尽可能的减小，直至达到极小值。

在另一个实施例中，也可以先设定一个预设阈值，判断当前模型参数下得到的对比损失值是否小于预设阈值，若当前模型参数下得到的对比损失值不小于预设阈值，则通过对模型参数进行调整，改变第一子网络的权重参数与第二子网络的权重参数，然后再次得到一个新的对比损失值，判断该对比损失值是否小于预设阈值，若依旧对比损失值依旧不小于预设阈值则再调整模型参数，直至得到的对比损失值小于预设阈值，然后将符合要求的对比损失值对应的模型参数作为初始训练模型参数。

以SimCLR算法为例，在得到第一特征信息和第二特征信息之后，可将上述两个数据输入至两个卷积编码器中，获得抽象表示，之后利用非线性变换进行投影得到投影表示，最后使用余弦相似度来度量投影的相似度。由此可以得到优化目标：对于同一张待训练图像，最大化第一特征信息和第二特征信息的相似度，并最小化不同待训练图像之间的第一特征信息和第二特征信息的相似度。

在本实施例中，通过基于第一特征信息与第二特征信息的对比损失值，不断调整模型参数，以确定对比损失值极小值处对应的模型参数为初始训练模型参数。通过不断调整模型参数，训练预测模型具备有对待训练图像的初始分析能力，有利于后续更精准的进行预测能力的训练，提高了模型训练效率。

示例性的，图3为自监督学习过程的流程示意图，如图3所示，待训练的预测模型包括第一子网络和第二子网络，在进行模型训练时，可将待训练图像直接输入至第一子网络中，得到第一特征信息。将提取到的待训练图像的影像组学特征输入至第二子网络中，得到第二特征信息。然后将第一特征信息和第二特征信息输入至对比学习任务，得到对应的对比损失值，最后在根据对比损失值确定预测模型的初始训练模型参数。

在其中一个实施例中，图4为预测训练过程的流程示意图，如图4所示，所述基于所述初始训练模型参数，得到目标预测模型，包括：通过所述第一子网络确定所述待训练图像的第一预测训练结果，通过所述第二子网络确定所述待训练图像对应影像组学特征的第二预测训练结果；基于所述第一预测训练结果和所述第二预测训练结果确定预测误差；基于所述预测误差更新初始训练模型参数，得到目标预测模型。

具体的，可将待训练图像缩放至指定大小后直接输入第一子网络获得第一训练预测结果，或基于待训练图像的感兴趣区域进行裁剪，将裁剪后的待训练图像输入第一子网络获取第一训练预测结果。将待训练图像的影像组学特征输入至第二子网络，获得第二训练预测结果。然后，通过分类损失函数对第一训练预测结果与第二训练预测结果进行分析，得到预测误差。最后，通过梯度下降算法，不断更新初始训练模型参数，最小化预测误差，进而得到目标预测模型。

其中，本申请实施例中的分类损失函数可以是交叉熵损失函数、熵损失函数、焦点损失函数等，但本实施例中的并不限制分类损失函数的类型。在通过梯度下降算法调整初始训练模型参数时，同样地需要进行不断的迭代计算，进而得到不同初始训练模型参数下的预测误差，使得得到的预测误差尽可能的减小，直至达到极小值。在预测误差达到最小值之后，确定对应的训练模型参数，完成预测模型的训练。

在本实施例中，通过基于不同子网络之间的预测误差，对预测模型的模型参数再进行微调，进对预测模型进行进一步调整，以便于提高预测模型的预测准确度。

在其中一个实施例中，提供了一种图像预测方法，包括获取待预测原始图像；基于目标预测模型对所述待预测原始图像进行预测，得到所述待预测原始图像的预测结果。

其中，待预测原始图像与待训练图像的属性完全相同，即待训练图像为CT图像时，待预测原始图像也为CT图像，待训练图像为PET图像时，待预测原始图像也为PET图像。并且，待预测原始图像中的感兴趣区域也为病灶所在的区域位置，且其病灶与待训练图像中的病灶相同。例如，待训练图像中的病灶为乳腺肿瘤时，待预测原始图像中的病灶也为乳腺肿瘤。目标预测模型为通过上述预测模型训练方法训练得到的预测模型，可直接对待预测原始图像进行处理，输出对应的预测结果。

在本实施例中，通过训练好的目标预测模型对待预测原始图像进行处理，由于训练后的目标预测模型具有对医学图像进行准确分析，并基于分析结果进行预后预测的能力，因此能够输出得到待预测原始图像对应的准确预测结果，进而有利于后续专业人员能够根据预测结果制定合理的方案。

在其中一个实施例中，所述基于目标预测模型中对所述待预测原始图像进行预测，得到所述待预测原始图像的预测结果包括：将所述待预测原始图像输入至所述目标预测模型。通过所述目标预测模型中的第一子网络输出所述待预测原始图像的第一预测结果，通过所述目标预测模型中的第二子网络输出所述待预测原始图像对应影像组学特征的第二预测结果。基于所述第一预测结果与所述第二预测结果确定所述待预测原始图像的预测结果。

可选的，与上述训练过程类似，在预测模型对待预测原始图像进行处理时，可由第一子网络对待预测原始图像直接进行图像特征的分析，或对待预测原始图像的感兴趣区域进行分析，得到第一预测结果，由第二子网络对待预测原始图像的影像组学特征进行分析，得到第二预测结果。

具体的，在确定预测结果时，可根据实际的情况选择第一预测结果作为预测结果，也可以选择第二预测结果作为预测结果，也可以结合第一预测结果与第二预测结果作为预测结果。

示例性的，可将第一预测结果与第二预测结果进行加权融合，得到待预测原始图像的预测结果。可选的，可以采用加权平均法确定预测结果，可先确定分别第一预测结果的权值与第二预测结果的权值，基于每个子网络输出的结果与对应的权值计算得到对应的预测结果。

在本实施例中，在本实施例中，通过获取到的不同子网络的预测结果，根据实际情况结合第一预测结果与第二预测结果，得到最佳预测结果进行输出，避免了单个子网络产生误差对预测结果的影响，提高了预测结果的准确度。

图5是本实施例的预测模型训练方法的优选流程图，如图5所示，该预测模型训练方法包括如下步骤：

步骤S501，启动预训练任务，获取待训练图像以及待训练的预测模型。

步骤S502，将所述待训练图像输入至所述第一子网络，得到所述待训练图像对应图像特征的第一特征信息。获取所述待训练图像的影像组学特征，将所述影像组学特征输入至所述第二子网络，得到所述待训练图像对应影像组学特征的第二特征信息。

步骤S503，通过对比学习确定所述第一特征信息和所述第二特征信息之间的对比损失值。

步骤S504，基于所述对比损失值调整所述预测模型的模型参数，将所述待训练图像输入调整后的所述预测模型，得到调整后的对比损失值。

步骤S505，重复上述步骤S504，直至所述对比损失值达到极小值，确定预测模型的初始训练模型参数，得到参考预测模型，结束预训练任务。

步骤S506，启动预测训练任务，将所述待训练图像输入至参考预测模型中，通过所述第一子网络确定所述待训练图像的第一预测训练结果，通过所述第二子网络确定所述待训练图像对应影像组学特征的第二预测训练结果。

步骤S507，基于所述第一预测训练结果和所述第二预测训练结果确定预测误差。

步骤S508，基于所述预测误差更新初始训练模型参数，得到目标预测模型。

在本实施例中，首先通过对比学习对预测模型进行了初步训练，使得预测模型具备对待训练图像的初始分析能力，避免了因样本数量过少导致的预测模型无法准确分析待训练图像。进一步的，在预测模型具备了一定的分析能力之后，在对其预测能力进行训练，微调对应的初始训练模型参数，使得预测模型具备准确的预测能力。进而在训练图像数量有限的情况下，得到能够准确进行预测的目标预测模型。

示例性的，在应用于肿瘤的预后预测时，可将该预后预测任务分为上游任务以及下游任务。其中，上游任务即预训练任务，是一个自监督预训练的过程，包括：将肿瘤相关的单模态或多模态肿瘤医学图像输入至卷积神经网络，得到神经网络表征。同时将提取到的上述肿瘤医学图像的影像组学特征输入至感知机神经网络，得到影像组学表征。然后通过对比学习算法对神经网络表征和影像组学表征进行分析，得到两者之间的相似度，根据得到的相似度对卷积神经网络的权重参数以及感知机神经网络的权重参数进行调整，最终得到自监督预训练权重参数，结束上游任务。

进一步的，在上游任务结束得到对应参考预测模型之后，即可启动下游任务对参考预测模型进行微调。下游任务即预测训练任务，是一个预测微调训练的过程，包括将上游任务中使用的肿瘤医学图像输入至参考预测模型中的卷积神经网络，得到第一预测结果。上述肿瘤医学图像的影像组学特征输入至参考预测模型中的感知机神经网络得到第二预测结果，然后通过分类损失函数对第一预测结果和第二预测结果进行分析，得到分类损失值，根据分类损失值对自监督预训练权重参数进行微调，得到目标预测模型，结束下游任务。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的预测模型训练方法的预测模型训练装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个预测模型训练装置实施例中的具体限定可以参见上文中对于预测模型训练方法的限定，在此不再赘述。

在一个实施例中，如图6所示，提供了一种预测模型训练装置，包括：获取模块61、分析模块62和自监督模块63，其中：

获取模块61，用于获取待训练图像以及待训练的预测模型；所述待训练的预测模型至少包括第一子网络以及第二子网络。

分析模块62，用于将所述待训练图像输入所述第一子网络，得到所述待训练图像对应图像特征的第一特征信息。获取所述待训练图像的影像组学特征，将所述影像组学特征输入至所述第二子网络，得到所述待训练图像对应影像组学特征的第二特征信息。

自监督模块63，用于根据所述第一特征信息和所述第二特征信息，对所述待训练的预测模型进行训练，得到目标预测模型。

上述预测模型训练模型中，可通过待训练的预测模型中的第一子网络对待训练图像进行分析得到对应图像特征的第一特征信息，通过待训练的预测模型中的第二子网络对待训练图像的影像组学特征进行分析，得到对应影像组学特征的第二特征信息，然后根据所述第一特征信息和所述第二特征信息，对所述待训练的预测模型进行训练，得到目标预测模型。在训练过程中，可先通过自监督学习对同一医学图像的第一特征信息与第二特征信息的相互验证进行模型的训练，即使在样本数据不充足的情况下，也能够对预测模型进行预训练，使得预测模型能够具备对待训练图像进行准确分析的能力。然后再对预训练后的模型进行预测能力的训练，进而提高了预测模型的训练效率以及提高了训练后预测模型的准确性。

进一步的，所述自监督模块63还用于确定所述第一特征信息和所述第二特征信息的对比损失值，基于所述对比损失值确定所述预测模型的初始训练模型参数。基于所述初始训练模型参数，得到目标预测模型。

进一步的，所述自监督模块63还用于基于所述对比损失值进行梯度下降，确定初始训练模型参数，其中，所述对比损失值的下降表示同一所述待训练图像的所述第一特征信息和所述第二特征信息之间的相似度增大，不同所述待训练图像的所述第一特征信息和所述第二特征信息之间的相似度减小。

进一步的，所述自监督模块63还用于基于所述对比损失值调整所述预测模型的模型参数，将所述待训练图像输入调整后的所述预测模型，得到调整后的对比损失值，重复基于所述对比损失值调整所述预测模型的模型参数，直至所述对比损失值达到极小值，确定所述初始训练模型参数。

进一步的，所述装置还包括预测训练模块，用于通过所述第一子网络确定所述待训练图像的第一预测训练结果，通过所述第二子网络确定所述待训练图像对应影像组学特征的第二预测训练结果。基于所述第一预测训练结果和所述第二预测训练结果确定预测误差。基于所述预测误差更新初始训练模型参数，得到目标预测模型。

上述预测模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在其中一个实施例中，本申请提供了一种图像预测装置，其特征在于，所述装置包括：图像采集模块和图像预测模块。

图像采集模块，用于获取待预测原始图像。

图像预测模块，用于基于目标预测模型对所述待预测原始图像进行预测，得到所述待预测原始图像的预测结果，其中，所述目标预测模型为通过上述任任一实施例中预测模型训练方法训练得到的。

进一步的，所述图像预测模块还用于将所述待预测原始图像输入至所述目标预测模型，通过所述目标预测模型中的第一子网络输出所述待预测原始图像的第一预测结果，通过所述目标预测模型中的第二子网络输出所述待预测原始图像对应影像组学特征的第二预测结果，基于所述第一预测结果与所述第二预测结果确定所述待预测原始图像的预测结果。

在本实施例中，通过训练好的目标预测模型对待预测原始图像进行处理，由于训练后的目标预测模型具有根据医学图像准确分析，并进行预后预测的能力，因此能够对应输出得到待预测原始图像对应的准确预测结果，进而有利于后续专业人员能够根据预测结果制定合理的方案。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种预测模型训练方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

获取待训练图像以及待训练的预测模型；所述待训练的预测模型至少包括第一子网络以及第二子网络。

将所述待训练图像输入所述第一子网络，得到所述待训练图像对应图像特征的第一特征信息。将获取所述待训练图像的影像组学特征，将所述影像组学特征输入至所述第二子网络，得到所述待训练图像对应影像组学特征的第二特征信息。

根据所述第一特征信息和所述第二特征信息，对所述待训练的预测模型进行训练，得到目标预测模型。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取待训练图像以及待训练的预测模型；所述待训练的预测模型至少包括第一子网络以及第二子网络。

将所述待训练图像输入所述第一子网络，得到所述待训练图像对应图像特征的第一特征信息。获取所述待训练图像的影像组学特征，将所述影像组学特征输入至所述第二子网络，得到所述待训练图像对应影像组学特征的第二特征信息。

根据所述第一特征信息和所述第二特征信息，对所述待训练的预测模型进行训练，得到目标预测模型。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种预测模型训练方法，其特征在于，所述方法包括：

获取待训练图像以及待训练的预测模型；所述待训练的预测模型至少包括第一子网络以及第二子网络；

将所述待训练图像输入至所述第一子网络，得到所述待训练图像对应图像特征的第一特征信息；

获取所述待训练图像的影像组学特征，将所述影像组学特征输入至所述第二子网络，得到所述待训练图像对应影像组学特征的第二特征信息；

根据所述第一特征信息和所述第二特征信息，对所述待训练的预测模型进行训练，得到目标预测模型。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一特征信息和所述第二特征信息，对所述待训练的预测模型进行训练，得到目标预测模型，包括：

确定所述第一特征信息和所述第二特征信息的对比损失值，基于所述对比损失值确定所述预测模型的初始训练模型参数；

基于所述初始训练模型参数，得到目标预测模型。

3.根据权利要求2所述的方法，其特征在于，所述确定所述第一特征信息和所述第二特征信息的对比损失值，基于所述对比损失值确定所述预测模型的初始训练模型参数，包括：

基于所述对比损失值进行梯度下降，确定初始训练模型参数，其中，所述对比损失值的下降表示同一所述待训练图像的所述第一特征信息和所述第二特征信息之间的相似度增大。

4.根据权利要求3所述的方法，其特征在于，所述基于所述对比损失值进行梯度下降，确定初始训练模型参数，包括：

基于所述对比损失值调整所述预测模型的模型参数；

将所述待训练图像输入调整后的所述预测模型，得到调整后的对比损失值；

重复基于所述对比损失值调整所述预测模型的模型参数，直至所述对比损失值达到极小值，确定所述初始训练模型参数。

5.根据权利要求2所述的方法，其特征在于，所述基于所述初始训练模型参数，得到目标预测模型，包括：

通过所述第一子网络确定所述待训练图像的第一预测训练结果，通过所述第二子网络确定所述待训练图像对应影像组学特征的第二预测训练结果；

基于所述第一预测训练结果和所述第二预测训练结果确定预测误差；

基于所述预测误差更新初始训练模型参数，得到目标预测模型。

6.一种图像预测方法，其特征在于，所述方法包括：

获取待预测原始图像；

基于目标预测模型对所述待预测原始图像进行预测，得到所述待预测原始图像的预测结果，其中，所述目标预测模型为通过权利要求1-5任一项所述的预测模型训练方法训练得到的。

7.根据权利要求6所述的方法，其特征在于，所述基于目标预测模型对所述待预测原始图像进行预测，得到所述待预测原始图像的预测结果，包括：

将所述待预测原始图像输入至所述目标预测模型；

通过所述目标预测模型中的第一子网络输出所述待预测原始图像的第一预测结果，通过所述目标预测模型中的第二子网络输出所述待预测原始图像对应影像组学特征的第二预测结果；

基于所述第一预测结果与所述第二预测结果确定所述待预测原始图像的预测结果。

8.一种预测模型训练装置，其特征在于，所述装置包括：

获取模块，用于获取待训练图像以及待训练的预测模型；所述待训练的预测模型至少包括第一子网络以及第二子网络；

分析模块，用于将所述待训练图像输入至所述第一子网络，得到所述待训练图像对应图像特征的第一特征信息；获取所述待训练图像的影像组学特征，将所述影像组学特征输入至所述第二子网络，得到所述待训练图像对应影像组学特征的第二特征信息；

自监督模块，用于根据所述第一特征信息和所述第二特征信息，对所述待训练的预测模型进行训练，得到目标预测模型。

9.一种图像预测装置，其特征在于，所述装置包括：

图像采集模块，用于获取待预测原始图像；

图像预测模块，用于基于目标预测模型对所述待预测原始图像进行预测，得到所述待预测原始图像的预测结果，其中，所述目标预测模型为通过权利要求1-5任一项所述的预测模型训练方法训练得到的。

10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的方法的步骤。

Images