CN109829892A - 一种预测模型的训练方法、使用该模型的预测方法及装置 - Google Patents

Abstract

本发明公开了一种预测模型的训练方法、使用该模型的预测方法及装置，涉及医学影像分析技术领域，预测模型的训练方法包括：获取样本患者在斑块相关过程中的第一阶段时的医学影像、第二阶段时的医学影像以及样本患者的个人结构化数据，其中，第二阶段发生在第一阶段之后；使用预先训练的图像分割模型，从第一阶段时的医学影像中分割出第一目标特征，并从第二阶段时的医学影像中分割出第二目标特征；基于第一目标特征、第二目标特征以及第一阶段与第二阶段的时间差，计算与斑块相关过程有关的变化因子；将个人结构化数据和第一目标特征作为输入，变化因子作为输出，训练得到预测模型。本发明实施例能够实现快速准确、智能地预测斑块进展或斑块消退。

Description

一种预测模型的训练方法、使用该模型的预测方法及装置

技术领域

本发明涉及医学影像分析技术领域，特别涉及一种预测模型的训练方法、使用该模型的预测方法及装置。

背景技术

脑卒中(stroke,又称中风)因其高发病率和高死亡率而备受重视，成为一个严重的公共健康问题。它是一种急性脑血管疾病，是由于脑部血管破裂或因血管阻塞而导致血液不能流入大脑而引起脑组织损伤的一组疾病，包括缺血性和出血性。缺血性脑卒中占到60％以上，主要是由于颈动脉的闭塞或狭窄引起的，而斑块正是造成闭塞和狭窄的罪魁祸首。斑块的进展或消退不仅局限于斑块大小的范畴，斑块的成份及稳定性更是衡量斑块进展或消退的重要参考，斑块由多种成份共同组成，比如钙化、脂质核、内出血、纤维帽等。评估斑块的进展或消退情况，能够准确地判断脑卒中的严重程度，从而有利于制定更加完善的治疗策略。

人工智能深度学习技术因近几年的快速发展而越来越多地运用在各领域中，其中卷积神经网络(CNN)模型作为深度学习技术在图像处理领域最重要的应用，在分类、检测和分割等方面已取得显著成就。卷积神经网络模型往往由多层的神经元组成，从而具有很强的特征学习能力，学习得到的网络模型对原始数据具有很好的表征能力，从而通过大规模的训练数据可以提取数据丰富的内在信息，有利于分类、数据挖掘、预测等任务。因此基于卷积神经网络相关技术，由大量训练数据通过学习其内在关系并建立检测模型和预测模型，在评估斑块的进展或消退时成为了可能。

发明内容

有鉴于此，本发明实施例提供了一种预测模型的训练方法、使用该模型的预测方法及装置，通过利用深度学习技术建立预测模型以预测与斑块相关过程有关的变化因子，实现快速准确、智能地预测斑块的进展或消退，从而能够方便医生制定更加完善的治疗策略。本发明实施例提供的具体技术方案如下：

第一方面，提供了一种预测模型的训练方法，所述方法包括：

获取样本患者在斑块相关过程中的第一阶段时的医学影像、第二阶段时的医学影像以及所述样本患者的个人结构化数据，其中，所述第二阶段发生在所述第一阶段之后；

使用预先训练的图像分割模型，从所述第一阶段时的医学影像中分割出第一目标特征，并从所述第二阶段时的医学影像中分割出第二目标特征；

基于所述第一目标特征、所述第二目标特征以及所述第一阶段与所述第二阶段的时间差，计算与所述斑块相关过程有关的变化因子；

将所述个人结构化数据和所述第一目标特征作为输入，所述变化因子作为输出，训练得到预测模型。

结合第一方面，在第一种可能的实现方式中，所述图像分割模型是通过以下方式训练得到的：

获取第一训练数据和/或第二训练数据，所述第一训练数据包括所述第一阶段时的标注过的医学影像，所述第二训练数据包括所述第二阶段时的标注过的医学影像；

使用所述第一训练数据和/或所述第二训练数据对卷积神经网络进行训练，生成所述图像分割模型。

结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述卷积神经网络采用Mask-RCNN网络或U-net网络。

结合第一方面至第一方面的第二种任意一种可能的实现方式，在第三种可能的实现方式中，所述医学影像为经过图像配准后的MRI多序列影像。

结合第一方面的第三种可能的实现方式，在第四种可能的实现方式中，所述第一目标特征、所述第二目标特征均包括血管、斑块以及所述斑块的斑块成份；

所述进展因子包括血管壁增厚、狭窄程度变化率、脂质核增大率、内出血体积变化率和纤维帽厚度变化率中的一种或多种。

结合第一方面，在第五种可能的实现方式中，所述疾病风险数据包括性别、年龄、体重、吸烟史、喝酒史、血压数据、血糖数据、心率数据和用药数据中的一种或多种。

结合第一方面，在第六种可能的实现方式中，所述斑块相关过程为斑块进展或斑块消退。

第二方面，提供了一种使用第一方面所述的预测模型对斑块相关过程进行预测的方法，所述方法包括：

获取目标患者的医学影像和个人结构化数据；

使用所述图像分割模型，从所述目标患者的医学影像中分割出目标特征；

将所述目标患者的个人结构化数据和所述目标特征输入到所述预测模型中，以预测与所述斑块相关过程有关的变化因子。

第三方面，提供了一种预测模型的训练装置，所述装置包括：

数据获取模块，用于获取样本患者在斑块相关过程中的第一阶段时的医学影像、第二阶段时的医学影像以及所述样本患者的个人结构化数据，其中，所述第二阶段发生在所述第一阶段之后；

图像分割模块，用于使用预先训练的图像分割模型，从所述第一阶段时的医学影像中分割出第一目标特征，并从所述第二阶段时的医学影像中分割出第二目标特征；

变化因子获取模块，用于基于所述第一目标特征、所述第二目标特征以及所述第一阶段与所述第二阶段的时间差，计算与所述斑块相关过程有关的变化因子；

预测模型训练模块，用于将所述个人结构化数据和所述第一目标特征作为输入，所述变化因子作为输出，训练得到预测模型。

结合第三方面，在第一种可能的实现方式中，所述装置还包括分割模型训练模块，所述分割模型训练模块用于：

获取第一训练数据和/或第二训练数据，所述第一训练数据包括所述第一阶段时的标注过的医学影像，所述第二训练数据包括所述第二阶段时的标注过的医学影像；

使用所述第一训练数据和/或所述第二训练数据对卷积神经网络进行训练，生成所述图像分割模型。

结合第三方面的第一种可能的实现方式，在第二种可能的实现方式中，所述卷积神经网络采用Mask-RCNN网络或U-net网络。

结合第三方面至第三方面的第二种任意一种可能的实现方式，在第三种可能的实现方式中，所述医学影像为经过图像配准后的MRI多序列影像。

结合第三方面的第三种可能的实现方式，在第四种可能的实现方式中，所述第一目标特征、所述第二目标特征均包括血管、斑块以及所述斑块的斑块成份；

所述进展因子包括血管壁增厚、狭窄程度变化率、脂质核增大率、内出血体积变化率和纤维帽厚度变化率中的一种或多种。

结合第三方面，在第五种可能的实现方式中，所述疾病风险数据包括性别、年龄、体重、吸烟史、喝酒史、血压数据、血糖数据、心率数据和用药数据中的一种或多种。

结合第三方面，在第六种可能的实现方式中，所述斑块相关过程为斑块进展或斑块消退。

第四方面，提供了一种使用第三方面所述的预测模型对斑块相关过程进行预测的装置，所述装置包括：

数据获取模块，用于获取目标患者的医学影像和个人结构化数据；

图像分割模块，用于使用所述图像分割模型，从所述目标患者的医学影像中分割出目标特征；

预测模块，用于将所述目标患者的个人结构化数据和所述目标特征输入到所述预测模型中，以预测与所述斑块相关过程有关的变化因子。

第五方面，提供了一种预测模型的训练装置，所述装置包括：

一个或者多个处理器；

存储器；

所述存储在所述存储器中的程序，当被所述一个或者多个处理器执行时，所述程序使所述处理器执行如上述第一方面任意一种所述的预测模型的训练方法。

第六方面，提供了一种对斑块相关过程进行预测的装置，所述装置包括：

一个或者多个处理器；

存储器；

所述存储在所述存储器中的程序，当被所述一个或者多个处理器执行时，所述程序使所述处理器执行如上述第二方面所述的对斑块相关过程进行预测的方法。

第七方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有程序，当所述程序被处理器执行时，使得所述处理器执行如上述第一方面任意一种所述的斑块进展预测模型的训练方法。

第八方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有程序，当所述程序被处理器执行时，使得所述处理器执行如上述第二方面所述的对斑块相关过程进行预测的方法。

本发明实施例提供了一种预测模型的训练方法、使用该模型的预测方法及装置，通过使用预先训练的图像分割模型，从各样本患者在斑块进展(或斑块消退)过程中的第一阶段时的医学影像分割出第一目标特征、第二阶段时的医学影像中分割出第二目标特征，并基于分割出第一目标特征、第二目标特征以及多个阶段之间的时间差，计算与斑块进展(或斑块消退)有关的变化因子，以及将样本患者的个人结构化数据和第一目标特征作为输入，变化因子作为输出，训练得到预测模型，由此通过利用深度学习技术建立预测模型能够用于对目标患者预测与斑块相关过程有关的变化因子，从而实现快速准确、智能地预测斑块的进展或消退，进而方便医生制定更加完善的治疗策略以避免脑卒中的发生。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的预测模型的训练方法的流程图；

图2为本发明实施例一提供的对医学影像进行标注的结果示意图；

图3为本发明实施例一提供的使用图像分割模型进行分割的示意图；

图4为本发明实施例二提供的一种预测方法的流程图；

图5为本发明实施例三提供的一种预测模型的训练装置的结构框图；

图6为本发明实施例四提供的一种预测装置的结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非上下文明确要求，否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。

在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

实施例一

图1为本发明实施例一提供的预测模型的训练方法的流程图。该方法可以由预测模型的训练装置来执行，该装置可以采用软件/硬件的方式实现。如图1所示，该方法可以包括步骤：

S11，获取样本患者在斑块相关过程中的第一阶段时的医学影像、第二阶段时的医学影像以及样本患者的个人结构化数据，其中，第二阶段发生在第一阶段之后。

S12，使用预先训练的图像分割模型，从第一阶段时的医学影像中分割出第一目标特征，并从第二阶段时的医学影像中分割出第二目标特征。

S13，基于第一目标特征、第二目标特征以及第一阶段与第二阶段的时间差，计算与斑块相关过程有关的变化因子。

S14，将个人结构化数据和第一目标特征作为输入，变化因子作为输出，训练得到预测模型。

在一个示例性的实现过程中，步骤S11中的斑块相关过程可以是斑块进展或斑块消退，下述实施例以斑块进展为例进行说明。

斑块进展过程依据颈动脉狭窄程度被划分为多个阶段，包括斑块进展初期(颈动脉轻微狭窄时)、斑块进展中期(颈动脉中度狭窄时)和斑块进展后期(颈动脉严重狭窄时)，在本实施例中，可以以斑块进展初期为斑块进展过程中的第一阶段，以斑块进展后期为斑块进展过程中的第二阶段。

其中，样本患者在斑块相关过程中的第一阶段时的医学影像、第二阶段时的医学影像是在采用相同成像技术、对同一样本患者在不同时间点上采集到的图像数据。此处的成像技术可以是采用血管超声、CT血管造影、数字减影血管造影(即DSA)检查、核磁共振成像技术(MRI)等成像技术。

在一个示例性的实现过程中，样本患者在斑块相关过程中的第一阶段时的医学影像、第二阶段时的医学影像均为经过图像配准后的MRI多序列影像。

由于核磁共振成像(MRI)因其对软组织的高对比度，可以以影像清晰地展现出斑块形态及斑块成份，因此可结合MRI多序列影像综合识别出斑块及其成份。MRI多序列影像可以包括T1、T2、TOF、MP-Rage等多个不同序列，或者包括T1、T2、TOF、T1CE等多个不同序列，针对同一样本患者的MRI多序列影像，相同组织在不同序列上的亮度会有差异，其成像时间前后会有几分钟或几十分钟的差异，可能因病人移动等原因，同一组织在不同序列上其位置会有所偏移，因此需要采用刚性图像配准技术将几个序列的图像进行对齐。其中，图像配准是指将两幅图像匹配到一起的迭代优化过程，该两幅图像往往具有相似性，将一幅图像作为参考图像不动，另一幅图像进行旋转、平移、错切、缩放等变换操作以达到与参考图像重合的过程即为图像配准。刚性图像配准只包括旋转和平移的变换，多序列图像配准需要以一个序列图像为参考图像，其余图像依次与它配准。

在一个示例性的实现过程中，样本患者的个人结构化数据包括性别、年龄、体重、吸烟史、喝酒史、血压数据、血糖数据、心率数据和用药数据中的一种或多种。其中，个人结构化数据可以从样本患者的病历记录中获取到。

在一个示例性的实现过程中，步骤S12中的图像分割模型是通过以下方式训练得到的：

获取第一训练数据和/或第二训练数据，第一训练数据包括第一阶段时的标注过的医学影像，第二训练数据包括第二阶段时的标注过的医学影像；

使用第一训练数据和/或第二训练数据对卷积神经网络进行训练，生成图像分割模型。其中，医学影像为经过图像配准后的MRI多序列影像。

具体的，在训练阶段之前，需要对第一阶段时的MRI多序列影像进行数据标记以生成第一训练数据，对第二阶段时的MRI多序列影像进行数据标记以生成第二训练数据。更为具体的是，可以利用图像标注工具，对MRI多序列影像进行标注血管及斑块的各种成份，其中，每个pixel都赋予一种颜色(或不同灰度值)，相同的颜色的区域(或相同的灰度值的区域)表示相同的成份，未被标记的pixel则为背景。参照图2所示，图2为本发明实施例一提供的对医学影像进行标注的结果示意图，在图2中，血管、各斑块成份被分别标注出不同的灰度值，其中，标号为1的区域对应血管，标号为2、3、4的区域分别对应不同的斑块成份。在实际训练过程时，以mask外接最小矩形(可包含标记区域的矩形)为boundary box。

在一个示例性的实现过程中，使用第一训练数据和/或第二训练数据对卷积神经网络进行训练，生成图像分割模型，可以包括：

使用第一训练数据对卷积神经网络进行训练以生成用于对第一阶段时的未标注的医学影像进行分割的图像分割模型，并使用第二训练数据对卷积神经网络进行训练以生成用于对第二阶段时的未标注的医学影像进行分割的图像分割模型；或者

同时使用第一训练数据和第二训练数据对卷积神经网络进行训练以生成图像分割模型；或者

使用第一训练数据对卷积神经网络进行训练以生成初始图像分割模型，并使用第二训练数据对初始图像分割模型进行再训练以生成图像分割模型；或者

使用第二训练数据对卷积神经网络进行训练以生成初始图像分割模型，并使用第一训练数据对初始图像分割模型进行再训练，生成图像分割模型。

在一个示例性的实现过程中，卷积神经网络可以采用是Mask-RCNN网络或U-net网络。

下述实施例以对Mask-RCNN网络进行训练生成图像分割模型为例来进行说明图像分割的过程。

参照图3所示，步骤S12中使用图像分割模型进行分割的过程可以包括数据输入、卷积运算、region proposal、boundary box regression and class prediction、mask分割，其中：

(1)数据输入：训练数据采用经过图像配准后的MRI多序列影像，则Mask-RCNN有四个输入，即输入层的feature map(特征图)就有四个。

(2)卷积运算：采用全卷积网络(Full Convolutional Networks,FCN)，包括卷积、Relu、池化等运算。

(3)region proposal：利用最后一层的卷积层进行region proposal，即建立不同的侯选区域，侯选区域用来检测该区域是否含有目标特征(血管及斑块)。

(4)boundary box regression and class prediction：修改上述侯选区域的大小，并预测该区域所属的类别(血管、斑块1或斑块2等)。

(5)mask分割：对该区域内进行mask分割，上述步骤(4)得到的结果只是一个矩形，而本步骤在矩形内得到真正的mask，形状为目标的真实形状。也就是说，使用图像分割模型从第一阶段时的MRI多序列影像、第二阶段时的MRI多序列影像分别检测分割出血管、斑块，并进一步地提取出斑块内的成份如内出血、钙化、纤维帽、脂质核等影像特征，其中血管也包括两种：含血管壁和不含血管壁。

此外，在训练优化网络结构时，其损失函数为loss＝loss(类别)+loss(boundarybox)+loss(mask)，当损失函数值小于特定阈值或达到其它停止条件时停止训练。停止训练时，保存最优的网络参数及网络结构作为训练所得的图像分割模型。

本说明实施例中，通过预先建立图像分割模型，能够有效快速、准确地检测出斑块成份和血管。

在一个示例性的实现过程中，步骤S13中的变化因子可以包括血管壁增厚、狭窄程度变化率、脂质核增大率、内出血体积变化率和纤维帽厚度变化率中的一种或多种。为便于描述，将同一样本患者在第一阶段时的时刻记为p1时刻、第二阶段时的时刻记为p2。其中，血管壁增厚h的计算公式为：h＝(h2-h1)/(p2-p1)，单位为mm/year，h2为p2时刻的血管壁厚，h1为p1时刻的血管壁厚，血管壁厚可由含血管壁的血管减去不含血管壁的血管再求平均半径计算得到。狭窄程度变化率e的计算公式为：单位％/year，e2为p2时刻的狭窄程度，e1为p1时刻的狭窄程度，狭窄程度的计算公式为：(狭窄远端正常血管的直径-狭窄段血管的最窄直径)/狭窄远端正常血管的直径×100％；同样地，内出血体积变化率(mm³/year)可以根据p1时刻的内出血体积和p2时刻的内出血体积计算得到，脂质核增大率(mm³/year)可以根据p1时刻的脂质核体积和p2时刻的脂质核体积计算得到，纤维帽厚度变化(mm/year)可以根据p1时刻的纤维帽厚度和p2时刻的纤维帽厚度计算得到，此外，还可以计算与斑块相关过程有关的其他变化因子。

在一个示例性的实现过程中，步骤S14中将个人结构化数据和第一目标特征作为输入，变化因子作为输出，训练得到预测模型，可以包括：

以个人结构化数据和第一目标特征作为多变量输入，以斑块相关过程有关的变化因子作为输出，训练一个卷积神经网络或者简单的多层感知器(MLP)作为预测模型。其中，若变化因子为血管壁增厚、狭窄程度变化率、脂质核增大率、内出血体积变化率和纤维帽厚度变化率中的多种时，可根据实际需要调整多变量输出的各权重，比如血管壁增厚是个重要考虑因素，可在损失函数loss里加大这一变量的占比。

示例性地，假如以血管壁增厚和狭窄程度变化率这两种变化因子作为输出，构建的损失函数即为：loss＝w1*∑(血管壁增厚detected-血管壁增厚real)+w2*狭窄程度变化率detected-狭窄程度变化率real，w1、w2为各个变化因子的权重，可根据实际需要调整其大小，比如血管壁增厚是个重要考虑因素，可在损失函数loss里加大w1这一变量的权重。

本实施例训练得到的预测模型不但具有正反馈性，随着数据的增多可以进行模型优化，以得到更好的预测结果，而且具有可调节性，可以对斑块相关过程有关的变化因子根据实际需要设置输出的种类和个数。此外，本实施例提供的技术方案具有扩展性，不但可以应用于斑块进展的预测，还可以扩展至斑块消退的预测研究中。

本发明实施例提供了一种预测模型的训练方法，通过使用预先训练的图像分割模型，从各样本患者在斑块进展(或斑块消退)过程中的第一阶段时的医学影像分割出第一目标特征、第二阶段时的医学影像中分割出第二目标特征，并基于分割出第一目标特征、第二目标特征以及多个阶段之间的时间差，计算与斑块进展(或斑块消退)有关的变化因子，以及将样本患者的个人结构化数据和第一目标特征作为输入，变化因子作为输出，训练得到预测模型，由此通过利用深度学习技术建立预测模型，能够便于后续使用该预测模型用于对目标患者预测与斑块相关过程有关的变化因子，以实现快速准确、智能地预测斑块的进展或消退，进而方便医生制定更加完善的治疗策略以避免脑卒中的发生。

实施例二

图4为本发明实施例二提供的一种预测方法的流程图，该方法使用如实施例一中的预测模型对斑块相关过程进行预测，该方法可以由预测装置来执行，该装置可以采用软件/硬件的方式实现。如图4所示，该方法具体包括：

S41、获取目标患者的医学影像和个人结构化数据。

具体的，获取目标患者的经过图像配准后的MRI多序列影像。

其中，MRI多序列影像的图像配准过程可以参照实施例一中的步骤S11，此处不再赘述。

其中，个人结构化数据包括性别、年龄、体重、吸烟史、喝酒史、血压数据、血糖数据、心率数据和用药数据中的一种或多种。

S42、使用图像分割模型，从目标患者的医学影像中分割出目标特征。

其中，该图像分割模型为实施例一中预先训练的图像分割模型。

其中，目标特征包括血管、斑块及斑块的斑块成份，斑块成份可以包括内出血、钙化、纤维帽、脂质核等。

具体的，该过程可以参照实施例一中的步骤S12，此处不再赘述。

S43、将目标患者的个人结构化数据和目标特征输入到预测模型中，以预测与斑块相关过程有关的变化因子。

本实施例中，将目标患者的个人结构化数据和目标特征作为多变量输入到实施例一训练得到的预测模型可计算得到与斑块相关过程有关的变化因子，得到的变化因子可以用来评估斑块相关过程的整体情况，比如，对于斑块进展来说，若狭窄程度变化率大于100％或者血管壁增厚大于6μm时，斑块进展即为严重，若狭窄程度变化率小于25％并且血管壁增厚小于3μm时，斑块进展即为轻度。通过获得对斑块相关过程的整体情况进行评估的结果，可以便于医生进行病情风险的评估，从而进行早期药物治疗或者设定手术(颈动脉内膜剥脱术、或颈动脉支架植入术)的最佳时间，以避免脑卒中的发生。

本实施例提供的预测方法，通过使用实施例一中训练得到的预测模型，能够实现对目标患者预测与斑块相关过程有关的变化因子，从而实现快速准确、智能地预测斑块的进展或消退，进而能够方便医生制定更加完善的治疗策略。

实施例三

图5为本发明实施例三提供的一种预测模型的训练装置的结构框图，参照图5所示，该装置包括：

数据获取模块51，用于获取样本患者在斑块相关过程中的第一阶段时的医学影像、第二阶段时的医学影像以及样本患者的个人结构化数据，其中，第二阶段发生在第一阶段之后；

图像分割模块52，用于使用预先训练的图像分割模型，从第一阶段时的医学影像中分割出第一目标特征，并从第二阶段时的医学影像中分割出第二目标特征；

变化因子获取模块53，用于基于第一目标特征、第二目标特征以及第一阶段与第二阶段的时间差，计算与斑块相关过程有关的变化因子；

预测模型训练模块54，用于将个人结构化数据和第一目标特征作为输入，变化因子作为输出，训练得到预测模型。

进一步地，装置还包括分割模型训练模块55，分割模型训练模块55用于：

获取第一训练数据和/或第二训练数据，第一训练数据包括第一阶段时的标注过的医学影像，第二训练数据包括第二阶段时的标注过的医学影像；

使用第一训练数据和/或第二训练数据对卷积神经网络进行训练，生成图像分割模型。

优选地，卷积神经网络采用Mask-RCNN网络或U-net网络。

进一步地，医学影像为经过图像配准后的MRI多序列影像。

进一步地，第一目标特征、第二目标特征均包括血管、斑块以及斑块的斑块成份；

变化因子包括血管壁增厚、狭窄程度变化率、脂质核增大率、内出血体积变化率和纤维帽厚度变化率中的一种或多种。

进一步地，疾病风险数据包括性别、年龄、体重、吸烟史、喝酒史、血压数据、血糖数据、心率数据和用药数据中的一种或多种。

优选地，斑块相关过程为斑块进展或斑块消退。

本实施例提供的预测模型的训练装置，与本发明实施例一所提供的预测模型的训练方法属于同一发明构思，可执行本发明实施例一所提供的预测模型的训练方法，具备执行预测模型的训练方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例一提供的预测模型的训练方法，此处不再加以赘述。

实施例四

图6为本发明实施例四提供的一种预测装置的结构框图，该装置使用实施例三中的预测模型实现对斑块相关过程进行预测，参照图6所示，该装置包括：

数据获取模块61，用于获取目标患者的医学影像和个人结构化数据；

图像分割模块62，用于使用图像分割模型，从目标患者的医学影像中分割出目标特征；

预测模块63，用于将目标患者的个人结构化数据和目标特征输入到预测模型中，以预测与斑块相关过程有关的变化因子。

本实施例提供的预测装置，与本发明实施例二所提供的预测方法属于同一发明构思，可执行本发明实施例二所提供的预测方法，具备执行预测方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例二提供的预测方法，此处不再加以赘述。

此外，本发明另一实施例还提供了一种预测模型的训练装置，所述装置包括：

一个或者多个处理器；

存储器；

所述存储在所述存储器中的程序，当被所述一个或者多个处理器执行时，所述程序使所述处理器执行如实施例一所述的预测模型的训练方法。

此外，本发明另一实施例还提供了一种对斑块相关过程进行预测的装置，所述装置包括：

一个或者多个处理器；

存储器；

所述存储在所述存储器中的程序，当被所述一个或者多个处理器执行时，所述程序使所述处理器执行如实施例二所述的对斑块相关过程进行预测的方法。

此外，本发明另一实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有程序，当所述程序被处理器执行时，使得所述处理器执行如上述实施例一所述的斑块进展预测模型的训练方法。

此外，本发明另一实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有程序，当所述程序被处理器执行时，使得所述处理器执行如上述实施例二所述的对斑块相关过程进行预测的方法。

本领域内的技术人员应明白，本发明实施例中的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例中可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例中可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例中是参照根据本发明实施例中实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例中的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例中范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (16)

1.一种预测模型的训练方法，其特征在于，所述方法包括：

获取样本患者在斑块相关过程中的第一阶段时的医学影像、第二阶段时的医学影像以及所述样本患者的个人结构化数据，其中，所述第二阶段发生在所述第一阶段之后；

使用预先训练的图像分割模型，从所述第一阶段时的医学影像中分割出第一目标特征，并从所述第二阶段时的医学影像中分割出第二目标特征；

基于所述第一目标特征、所述第二目标特征以及所述第一阶段与所述第二阶段的时间差，计算与所述斑块相关过程有关的变化因子；

将所述个人结构化数据和所述第一目标特征作为输入，所述变化因子作为输出，训练得到预测模型。

2.根据权利要求1所述的方法，其特征在于，所述图像分割模型是通过以下方式训练得到的：

获取第一训练数据和/或第二训练数据，所述第一训练数据包括所述第一阶段时的标注过的医学影像，所述第二训练数据包括所述第二阶段时的标注过的医学影像；

使用所述第一训练数据和/或所述第二训练数据对卷积神经网络进行训练，生成所述图像分割模型。

3.根据权利要求2所述的方法，其特征在于，所述卷积神经网络采用Mask-RCNN网络或U-net网络。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述医学影像为经过图像配准后的MRI多序列影像。

5.根据权利要求4所述的方法，其特征在于，所述第一目标特征、所述第二目标特征均包括血管、斑块以及所述斑块的斑块成份；

所述变化因子包括血管壁增厚、狭窄程度变化率、脂质核增大率、内出血体积变化率和纤维帽厚度变化率中的一种或多种。

6.根据权利要求1所述的方法，其特征在于，所述个人结构化数据包括性别、年龄、体重、吸烟史、喝酒史、血压数据、血糖数据、心率数据和用药数据中的一种或多种。

7.根据权利要求1所述的方法，其特征在于，所述斑块相关过程为斑块进展或斑块消退。

8.一种使用如权利要求1至7任一项所述的预测模型对斑块相关过程进行预测的方法，其特征在于，所述方法包括：

获取目标患者的医学影像和个人结构化数据；

使用所述图像分割模型，从所述目标患者的医学影像中分割出目标特征；

将所述目标患者的个人结构化数据和所述目标特征输入到所述预测模型中，以预测与所述斑块相关过程有关的变化因子。

9.一种预测模型的训练装置，其特征在于，所述装置包括：

数据获取模块，用于获取样本患者在斑块相关过程中的第一阶段时的医学影像、第二阶段时的医学影像以及所述样本患者的个人结构化数据，其中，所述第二阶段发生在所述第一阶段之后；

图像分割模块，用于使用预先训练的图像分割模型，从所述第一阶段时的医学影像中分割出第一目标特征，并从所述第二阶段时的医学影像中分割出第二目标特征；

变化因子获取模块，用于基于所述第一目标特征、所述第二目标特征以及所述第一阶段与所述第二阶段的时间差，计算与所述斑块相关过程有关的变化因子；

预测模型训练模块，用于将所述个人结构化数据和所述第一目标特征作为输入，所述变化因子作为输出，训练得到预测模型。

10.根据权利要求9所述的装置，其特征在于，所述装置还包括分割模型训练模块，所述分割模型训练模块用于：

获取第一训练数据和/或第二训练数据，所述第一训练数据包括所述第一阶段时的标注过的医学影像，所述第二训练数据包括所述第二阶段时的标注过的医学影像；

使用所述第一训练数据和/或所述第二训练数据对卷积神经网络进行训练，生成所述图像分割模型。

11.根据权利要求10所述的装置，其特征在于，所述卷积神经网络采用Mask-RCNN网络或U-net网络。

12.根据权利要求9至11任一项所述的装置，其特征在于，所述医学影像为经过图像配准后的MRI多序列影像。

13.根据权利要求12所述的装置，其特征在于，所述第一目标特征、所述第二目标特征均包括血管、斑块以及所述斑块的斑块成份；

所述变化因子包括血管壁增厚、狭窄程度变化率、脂质核增大率、内出血体积变化率和纤维帽厚度变化率中的一种或多种。

14.根据权利要求9所述的装置，其特征在于，所述疾病风险数据包括性别、年龄、体重、吸烟史、喝酒史、血压数据、血糖数据、心率数据和用药数据中的一种或多种。

15.根据权利要求9所述的装置，其特征在于，所述斑块相关过程为斑块进展或斑块消退。

16.一种使用如权利要求9至15任一项所述的预测模型对斑块相关过程进行预测的装置，其特征在于，所述装置包括：

数据获取模块，用于获取目标患者的医学影像和个人结构化数据；

图像分割模块，用于使用所述图像分割模型，从所述目标患者的医学影像中分割出目标特征；

预测模块，用于将所述目标患者的个人结构化数据和所述目标特征输入到所述预测模型中，以预测与所述斑块相关过程有关的变化因子。