CN115841476A - 肝癌患者生存期预测方法、装置、设备及介质 - Google Patents
肝癌患者生存期预测方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN115841476A CN115841476A CN202211607508.9A CN202211607508A CN115841476A CN 115841476 A CN115841476 A CN 115841476A CN 202211607508 A CN202211607508 A CN 202211607508A CN 115841476 A CN115841476 A CN 115841476A
- Authority
- CN
- China
- Prior art keywords
- image
- data
- liver
- tumor
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明提供了一种肝癌患者生存期预测方法、装置、设备及介质，涉及数据处理技术领域，包括：获取多个患者的历史肝脏图像，预处理获取数据集；所述数据集中包含若干数据包，每一数据包均包括某一患者的各个模态的若干肿瘤图像，且关联唯一生存期标签；建立初始预测模型，获取数据集中任一数据包，在所述初始预测模型中，所述数据包中的肿瘤图像分别在特征提取后进行多模态图像融合，以输出中间特征数据；采用transformer模块进行注意力机制学习后；采用分类器输出生存期预测结果；训练完成以获得目标预测模型；获取目标患者的肝脏图像，预处理后输入至目标预测模型，生成目标生存期预测结果，解决现有技术中缺乏自主进行肝癌患者生存期预测方法的问题。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种肝癌患者生存期预测方法、装置、设备及介质。
背景技术
原发性肝癌(Hepatocellular Carcinoma,HCC)指起源于肝细胞的原发性恶性肿瘤，严重危害人类生命健康，在全球癌症死因中位居第四位。由于其高度侵袭性和隐匿性，病人在被诊断时大多处于中晚期，肿瘤根治的可能性大大降低。目前HCC的主要治疗方式是由经验丰富的医生通过病人的CT或MRI图像判断肿瘤的良恶性和所处分期并确定诊疗方案，但缺乏精准的疾病预测和预后评估策略。
随着深度学习的发展，人工智能联合医学影像的辅助诊断技术不断完善。借助不同的神经网络模型如ResNet、EfficientNet，人工智能不仅可以从CT、超声、MRI图像中提取肿瘤的尺寸、形状等浅层信息，还能挖掘肿瘤图像所蕴含的语义信息与肿瘤良恶性等目标特征的深层次关联，给医生提供参考意见。目前，人们已经能用不同的深度学习模型较为准确地做出肿瘤良恶性的判断，但对于疾病的预后评估仍然陌生，尤其是癌症患者生存期预测，大多还是根据医生依赖经验判断。
发明内容
为了克服上述技术缺陷，本发明的目的在于提供肝癌患者生存期预测方法、装置、设备及介质，解决现有技术中缺乏自主进行肝癌患者生存期预测方法的问题。
本发明公开了一种肝癌患者生存期预测方法，包括：
获取多个患者的历史肝脏图像，对各个肝脏图像进行预处理，获取包含肿瘤图像的数据集；其中，所述历史肝脏图像包含至少三种模态的肝脏图像；所述数据集中包含若干数据包，每一数据包均包括某一患者的各个模态的若干肿瘤图像，且关联唯一生存期标签；
建立初始预测模型，其中，所述初始预测模型包括特征提取模块、transformer模块以及分类器，采用所述数据集进行训练；
获取数据集中任一数据包，在所述初始预测模型中，采用特征提取模块对所述数据包中的肿瘤图像分别在特征提取后进行多模态图像融合，以输出包含各个肿瘤图像中所有特征的中间特征数据；采用transformer模块基于所述中间特征数据和所述数据包对应的患者的病理信息进行注意力机制学习后；采用分类器输出生存期预测结果；训练完成以获得目标预测模型；
获取目标患者的肝脏图像，预处理后输入至目标预测模型，生成目标生存期预测结果。
优选地，所述采用特征提取模块对所述数据包中的肿瘤图像分别在特征提取后进行多模态图像融合，以输出包含各个肿瘤图像中所有特征的中间特征数据，包括：
在特征提取模块中，基于所述数据包中的各个模态的若干肿瘤图像，分别采用卷积网络对各个肿瘤图像进行特征提取，获得至少三个包含若干第一特征数据的第一特征数据集，其中，每一第一特征数据集对应一个模态的肿瘤图像；
采用注意力汇聚网络将各个所述第一特征数据集中的第一特征数据进行融合，获得至少三个第二特征数据；
采用全连接层对各个第二特征数据进行特征联合，输出中间特征数据。
优选地，所述采用注意力汇聚网络将各个所述第一特征数据集中的第一特征数据进行融合，获得至少三个第二特征数据，包括：
对于任一第一特征数据数据集：
所述第一特征数据数据集的各个第一特征数据数据分别经过注意力机制获得对应的注意力得分；
采用softmax函数将各个注意力得分转化为预设范围的概率值；
将各个第一特征数据数据分别与对应的概率值的相乘后加和，以获得第二特征数据。
优选地，所述预处理，包括：
获取某一患者的历史肝脏图像，以预设尺寸对各个肝脏图像进行调整；
对于任一调整后的肝脏图像：
对所述肝脏图像人工标记获得肿瘤区域，生成掩模图像；
将所述肝脏图像分割成多个图像切片，并将每一图像切片与所述掩模图像叠加，生成各个图像切片对应的三通道图像，作为肿瘤图像；
集合各个图像切片对应的肿瘤图像即为所述患者的某一模态的若干肿瘤图像。
优选地，所述将每一图像切片与所述掩模图像叠加，生成各个图像切片对应的三通道图像，包括：
对于每一图像切片，以图像切片叠加图像切片叠加掩模图像的方式生成三通道图像。
优选地，所述获取包含肿瘤图像的数据集后，还包括：
基于所述数据集进行数据增强。
优选地，采用transformer模块基于所述中间特征数据和所述数据包对应的患者的病理信息进行注意力机制学习前，包括：
获取所述数据包对应的患者的病理信息；
分别对所述病理信息中的类别数据和数值数据进行一位编码和归一化处理，生成数字特征；
将所述数字特征通过多层感知机嵌入与所述中间特征数据相同维度的向量中，并与所述中间特征数据加和，以输入transformer模块。
本发明还提供一种肝癌患者生存期预测装置，包括：
获取模块，用于获取多个患者的历史肝脏图像，对各个肝脏图像进行预处理，获取包含肿瘤图像的数据集；其中，所述历史肝脏图像包含至少三种模态的肝脏图像；所述数据集中包含若干数据包，每一数据包均包括某一患者的各个模态的若干肿瘤图像，且关联唯一生存期标签；
建立模块，用于用于建立初始预测模型，其中，所述初始预测模型包括特征提取模块、transformer模块以及分类器，采用所述数据集进行训练；
处理模块，用于获取数据集中任一数据包，在所述初始预测模型中，采用特征提取模块对所述数据包中的肿瘤图像分别在特征提取后进行多模态图像融合，以输出包含各个肿瘤图像中所有特征的中间特征数据；采用transformer模块基于所述中间特征数据和所述数据包对应的患者的病理信息进行注意力机制学习后；采用分类器输出生存期预测结果；训练完成以获得目标预测模型；
执行模块，用于获取目标患者的肝脏图像，预处理后输入至目标预测模型，生成目标生存期预测结果。
本发明还提供一种计算机设备，所述计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述肝癌患者生存期预测方法的步骤。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述肝癌患者生存期预测方法的步骤。
采用了上述技术方案后，与现有技术相比，具有以下有益效果：
本申请获取多个患者的历史肝脏图像，其中包含至少三种模态的肝脏图像，预处理后获取数据集，数据集中包含若干数据包，每一数据包均包括某一患者的各个模态的若干肿瘤图像，且关联唯一生存期标签；建立初始预测模型，采用特征提取模块对数据包中的肿瘤图像在特征提取后，融合不同模态图像特征；根据该图像特征和病理数据，经过transformer块的注意力学习，通过分类器得到患者生存期的预测结果，解决现有技术中缺乏自主进行肝癌患者生存期预测方法的问题。
附图说明
图1为本发明所述肝癌患者生存期预测方法实施例一的流程图；
图2为本发明所述肝癌患者生存期预测方法实施例一中输出中间特征数据的流程图；
图3为本发明所述肝癌患者生存期预测方法实施例一中图像切片和掩模图像的参考示意图；
图4为本发明所述肝癌患者生存期预测方法实施例一中初始预测模型的网络结构示意图；
图5为本发明所述肝癌患者生存期预测方法实施例一中注意力汇聚网络的网络结构示意图；
图6为本发明所述肝癌患者生存期预测装置实施例二的模块示意图；
图7为本发明所述计算机设备模块示意图。
附图标记：
5-肝癌患者生存期预测装置；51-获取模块；52-建立模块；53-处理模块；54-执行模块；6-计算机设备；61-存储器；62-处理器。
具体实施方式
以下结合附图与具体实施例进一步阐述本发明的优点。
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一模态的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。
实施例一：本发明公开了一种肝癌患者生存期预测方法，作为说明的是，本发明构造了2D多模态、多示例学习的transformer模型，只需要输入平扫CT和两期增强CT以及病人当前的病理检测数据即可给出对应的预测生存时间，以帮助医生从各种临床诊疗办法里选出能够最大限度延长病人生存时间的方案。具体的，参阅图1-图5，包括以下步骤：
S100：获取多个患者的历史肝脏图像，对各个肝脏图像进行预处理，获取包含肿瘤图像的数据集；其中，所述历史肝脏图像包含至少三种模态的肝脏图像；所述数据集中包含若干数据包，每一数据包均包括某一患者的各个模态的若干肿瘤图像，且关联唯一生存期标签；
在上述实施方式中，可以利用医院的CT图像采集设备，获取清晰的肝脏图像，可以直接从医院数据库中获取，作为说明的是，本申请中基于transformer网络进行生存期预测，考虑历史多个模态的图像，如历史三期的图像，或者是多个设备的图像，以便根据肝脏肿瘤的变化对生存期进行预测。
上述预处理，具体的包括以下步骤：获取某一患者的历史肝脏图像，以预设尺寸对各个肝脏图像进行调整；作为举例而非限定的，设定预留尺寸为20像素，由专业医师用标注软件对图像中的肿瘤区域进行勾画；统计医生勾画出的所有肝脏图像中的肿瘤区域的最大长宽，并往x,y方向各拓宽20像素，用这一长方体区域替代原先的完整CT图像作为感兴趣区域；即，将各个图像调整为统一尺寸下，以便后续模型处理。
在上述尺寸调整后，对于任一调整后的肝脏图像：对所述肝脏图像人工标记(可以是上述专业医师利用软件标记)获得肿瘤区域，生成掩模图像(参考图3右侧图片)；将所述肝脏图像分割成多个图像切片(如设定为224*224像素，参考图3左侧图片)，并将每一图像切片与所述掩模图像叠加，生成各个图像切片对应的三通道图像，作为肿瘤图像；集合各个图像切片对应的肿瘤图像即为所述患者的某一模态的若干肿瘤图像。
需要作为说明的是，上述所述将每一图像切片与所述掩模图像叠加，生成各个图像切片对应的三通道图像，包括：对于每一图像切片，以图像切片叠加图像切片叠加掩模图像的方式生成三通道图像，作为说明的是，即两个图像切片叠加掩模图像，该两个图像切片为同一图像切片，可以通过复制获得。
对于上述处理，作为具体举例而非限定的，每一个病人有三期CT图像及对应的肿瘤区域，分别对三期CT图像进行操作，依据slice(层，即按照层将上述肝脏图像分割成多个图像切片)将肿瘤视为2D图片，分别以图像+图像+肿瘤掩模的叠加方式将对应slice的灰度图变成三通道图片即可。
在上述获取包含肿瘤图像的数据集后，为了进一步增加后续用于模型训练的数据，从而进一步增加模型处理准确度，还可包括：基于所述数据集进行数据增强。作为举例的，上述根据任务目标，将CT图像中的肝脏局部肿瘤图截取成224*224大小的灰度图(即上述图像切片)，经过三通道叠加后，利用pytorch中的随机水平翻转、随机竖直翻转、高斯模糊、对比度增强等图像处理操作进行数据增强。在数据增强过程中，保持图像切片和掩膜图像所经历操作的一致性。将数据增强操作后获得的图像输入下述模型，利用反向传播机制进行训练，可记录模型准确率acc和模型的累计损失loss。
S200：建立初始预测模型，其中，所述初始预测模型包括特征提取模块、transformer模块以及分类器，采用所述数据集进行训练；
在上述步骤中，可以将数据集以7:2:1的比例分为训练集、验证集和测试集，训练集用于下述步骤S300中的训练，验证集和测试集用于对模型超参数调整及测试。需要强调的是，如上述的，数据集中每一数据包均可视作为由多个示例(即每一模态下的若干肿瘤图像为一个示例)组成的包，包是有标签标记(即上述生存期标签)的，但示例(即肿瘤图像上)本身却没有标签标记，为了便于理解的，可以视作为每一数据包中包含多个模态下的图像，每一模态下的图像基于上述根据层被分割成若干子图像，每一模态均对应若干图像，即为一个示例。借用多示例学习的思想，将一个病人的所有CT图像归于一个包，三个模态可以是不同设备采集的图像，如平扫CT、第一种增强CT、二种增强CT；也可以是不同时期采集的图像，如肿瘤三期。参考附图4，作为说明的，其中n1为平扫CT中包含肿瘤的二维截面数量，n2为第一种增强CT中包含肿瘤的二维截面数量，n3为第二种增强CT中包含肿瘤的二维截面数量。
S300：获取数据集中任一数据包，在所述初始预测模型中，采用特征提取模块对所述数据包中的肿瘤图像分别在特征提取后进行多模态图像融合，以输出包含各个肿瘤图像中所有特征的中间特征数据；采用transformer模块基于所述中间特征数据和所述数据包对应的患者的病理信息进行注意力机制学习后；采用分类器输出生存期预测结果；基于输出的生存期预测结果与所述数据包关联的生存期标签比对，对所述初始预测模型进行调整；训练完成以获得目标预测模型；
在本实施方式中，需要说明的是，基于上述，本实施方式中提供的预测模型通过特征提取模块对于多个模态(且每一模态可包括多个肿瘤图片(图像切片/局部肿瘤图片))的肿瘤图片进行特征提取和融合，可以获取各个不同模态下肿瘤图像的特征，以便在后续transformer模块中学习肿瘤变化，根据其变化通过分类器判断生存期位于各个模态的概率，以输出预测的生存期结果。预测出的生存期结果为某一时间区间，可以是以月、周、日等为区间，如0-3个月；3-6个月；超过6个月等。
具体的，上述采用特征提取模块对所述数据包中的肿瘤图像分别在特征提取后进行多模态图像融合，以输出包含各个肿瘤图像中所有特征的中间特征数据，参阅图2，包括：
S311：在特征提取模块中，基于所述数据包中的各个模态的若干肿瘤图像，分别采用卷积网络对各个肿瘤图像进行特征提取，获得至少三个包含若干第一特征数据的第一特征数据集，其中，每一第一特征数据集对应一个模态的肿瘤图像；
在上述步骤中，对于每一个slice(即上述切片图像)，使用上述方法将单通道图片叠加成三通道图片(即图片+图片+掩模)，即每一肿瘤图像，通过不同的简单卷积层提取图像特征(即上述第一特征数据)。上述卷积网络可以使用ResNet18或ResNet34等常见卷积层，可以使得每一肿瘤图像均设置一卷积网络，也可以每一模态下若干肿瘤图像设置一卷积网络，依次执行处理；甚至可以所有肿瘤网络设置一卷积网络，可根据实际处理数据量进行调整。
S312：采用注意力汇聚网络将各个所述第一特征数据集中的第一特征数据进行融合，获得至少三个第二特征数据；
在上述步骤中，对于不同phase(模态)的图像，分别使用注意力汇聚，给不同slice提取出的特征向量赋予不同的权重并求和，得到该phase对应的特征向量，即上述第二特征数据。需要说明的是，上述至少三个是以本申请中三个模态(三种设备)为例，在实际处理过程下，除了多期CT图像外，还可以设置包括MRI图像，只需要对模型稍作调整(即增加上述卷积网络以及注意力汇聚网络的输入)，就可以添加到模型中，实现对CT和MRI多模态多示例的transformer网络学习。
具体的，上述采用注意力汇聚网络将各个所述第一特征数据集中的第一特征数据进行融合，获得至少三个第二特征数据，包括：
对于任一第一特征数据数据集：所述第一特征数据数据集的各个第一特征数据分别经过注意力机制获得对应的注意力得分；采用softmax函数将各个注意力得分转化为预设范围的概率值；将各个第一特征数据数据分别与对应的概率值的相乘后加和，以获得第二特征数据。
作为说明的是，注意力汇聚(参阅图5)具体实现机制，其本质是对n个特征向量(即上述第一特征数据)的加权求和。每个向量经过注意力机制得到不同的注意力得分αj，经过softmax函数转化为0到1之间的概率值σj，将概率值与原特征向量相乘再求和就能得到最终的输出(即上述第二特征数据)。
S313：采用全连接层对各个第二特征数据进行特征联合，输出中间特征数据。
在上述步骤中，使用一个全连接层将不同phase(模态)的特征联合起来，将输出的特征向量(即上述中特征数据)视作从病人所有肿瘤图像中提取到的图像特征。
具体的，上述采用transformer模块基于所述中间特征数据和所述数据包对应的患者的病理信息进行注意力机制学习前，包括：
S321：获取所述数据包对应的患者的病理信息；
基于上述可知，本实施方式中数据包均对应唯一患者，病理信息可以预先从获得肝脏图片的数据库直接采集，或者是在预处理过程中进行获取，具体的，如记录三维肿瘤区域所占像素点个数，将其近似为肿瘤大小收录进病人的病理信息csv文件中。
S322：分别对所述病理信息中的类别数据和数值数据进行一位编码和归一化处理，生成数字特征；
具体的，将csv文件中的分类数据进行one-hot编码；将csv文件中的数值数据进行归一化处理；作为举例而非限定的，上述csv文件中分类数据包括但不限于age，sex，cp等，数值数据为各个分类数据对应的检测值。在生成该数字特征后会将该数据特征与中间特征数据输入transformer模块处理，即结合基于病理数据的学习，以提高后续预测结果准确性。
S323：将所述数字特征通过多层感知机嵌入与所述中间特征数据相同维度的向量中，并与所述中间特征数据加和，以输入transformer模块。
在上述步骤中，上述中间特征数据为特征向量，为了实现上述数字特征与中间特征数据的加和，使得数字特征通过多层感知机转换成向量的形式，以便后续输入transformer模块进行注意力机制学习。后通过分类器得到病人不同生存时间的预测结果。
S400：获取目标患者的肝脏图像，预处理后输入至目标预测模型，生成目标生存期预测结果。
在上述步骤中，作为说明的是，上述目标预测模型与上述初始预测模型结构一致，训练以调整模型参数并固定；此处预处理与上述步骤S100中预处理相似的，包括将图片处理成一致的尺寸，并将每一图像划分成若干切片后，以图片+图片+掩模的形式转换成三通道图像以输入目标预测模型中进行特征提取。
需要说明的是，在使用该目标预测模型进行辅助诊断的过程中，依据病人实际接受的医学成像扫描技术可灵活调整模型的输入模态数量。如病人还持有MRI图像，只需经过图像预处理，截取得到同样尺寸的局部肿瘤图片(即上述预处理)即可输入网络。
本实施方式提供的肝癌患者生存期预测方法使用多模态、多示例学习方法能够综合病人的医学成像图片和病理数据，使用注意力汇聚融合不同模态图像特征，获取病理数据，集合图像特征，经过transformer块的注意力学习，最后通过分类器得到病人不同生存时间的预测结果。用较多的信息全方位评估病人的预后水平，具有很强的实用和参考价值。
实施例二：本发明还提供一种肝癌患者生存期预测装置5，参考图6，包括：
获取模块51，用于获取多个患者的历史肝脏图像，对各个肝脏图像进行预处理，获取包含肿瘤图像的数据集；其中，所述历史肝脏图像包含至少三种模态的肝脏图像；所述数据集中包含若干数据包，每一数据包均包括某一患者的各个模态的若干肿瘤图像，且关联唯一生存期标签；
在上述获取模块中，预处理包括以预设尺寸对各个肝脏图像进行调整，即将各个图像调整为同一尺寸，对于任一调整后的肝脏图像：对所述肝脏图像人工标记(可以是上述专业医师利用软件标记)获得肿瘤区域，生成掩模图像；将所述肝脏图像分割成多个图像切片(如设定为224*224像素)，并将每一图像切片与所述掩模图像叠加，以图像+图像+掩模的形式生成各个图像切片对应的三通道图像，即肿瘤图像。
建立模块52，用于建立初始预测模型，其中，所述初始预测模型包括特征提取模块、transformer模块以及分类器，采用所述数据集进行训练；
上述数据集可以以7:2:1的比例分为训练集、验证集和测试集，训练集用于训练，验证集和测试集用于对模型超参数调整及测试，数据集中包含若干对应唯一患者的数据包，每一数据包中包含多个模态下的图像，每一模态下的图像基于上述根据层被分割成若干子图像，每一模态均对应若干图像，即一模态为一个示例。借用多示例学习的思想，将一个病人的所有CT图像归于一个包，三个模态可以是不同设备采集的图像，如平扫CT、第一种增强CT、二种增强CT；也可以是不同时期采集的图像，如肿瘤三期等。
处理模块53，用于获取数据集中任一数据包，在所述初始预测模型中，采用特征提取模块对所述数据包中的肿瘤图像分别在特征提取后进行多模态图像融合，以输出包含各个肿瘤图像中所有特征的中间特征数据；采用transformer模块基于所述中间特征数据和所述数据包对应的患者的病理信息进行注意力机制学习后；采用分类器输出样本生存期预测结果；基于所述样本生存期预测结果与所述数据包关联的生存期标签比对，对所述初始预测模型进行调整；训练完成以获得目标预测模型；
在上述处理模块中，通过特征提取模块对于多个模态(每一模态可包括多个肿瘤图片(图像切片/局部肿瘤图片))的肿瘤图片进行特征提取，并采用注意力汇聚网络对各个模态下的肿瘤图片进行特征融合，可以获取各个不同模态下肿瘤图像的特征，在后续transformer模块基于提取的特征和患者的病理信息进行注意机制学习，以获得肿瘤变化，根据其变化通过分类器判断生存期位于各个模态的概率，以输出预测的生存期结果。
执行模块54，用于获取目标患者的肝脏图像，预处理后输入至目标预测模型，生成目标生存期预测结果。
在上述执行模块中，上述目标预测模型与上述初始预测模型结构一致，预处理与上述获取模块预处理相似的，包括将图片处理成一致的尺寸，并将每一图像划分成若干切片后，以图片+图片+掩模的形式转换成三通道图像(目标患者的肝脏图像对应的肿瘤图像)以输入目标预测模型中进行处理。
本实施方式中采用获取模块获取多个患者的历史肝脏图像，其中包含至少三种模态的肝脏图像，预处理后获取包含肿瘤图像的数据集，数据集中包含若干数据包，每一数据包均包括某一患者的各个模态的若干肿瘤图像，且关联唯一生存期标签；在建立模块中建立初始预测模型后采用数据集进行训练，包括采用特征提取模块对所述数据包中的肿瘤图像分别在特征提取后，融合不同模态图像特征；根据该图像特征，同时获取病理数据，经过transformer块的注意力学习，最后通过分类器得到病人不同生存时间的预测结果，还可依据病人实际接受的医学成像扫描技术可灵活调整模型的输入模态(示例)数量，解决现有技术中缺乏自主基于肿瘤状态进行肝癌患者生存期预测方法。
实施例三：为实现上述目的，本发明还提供一种计算机设备6，该计算机设备可包括多个计算机设备，实施例二的肝癌患者生存期预测装置5的组成部分可分散于不同的计算机设备6中，计算机设备6可以是执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器等。本实施例的计算机设备至少包括但不限于：可通过系统总线相互通信连接的存储器61、处理器62以及肝癌患者生存期预测装置5。如图7所示，需要指出的是，图7仅示出了具有组件-的计算机设备，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
本实施例中，存储器61可以包括存储程序区和存储数据区，其中，存储程序区可存储搡作系统、至少一个功能所需要的应用程序；存储数据区可存储用户在计算机设备的数据。此外，存储器61可以包括高速随机存取存储器，还可以包括非易失性存储器，在一些实施例中，存储器61可选包括相对于处理器远程设置的存储器61，这些远程存储器可以通过网络连接。上述网络的实例包括但不限于互联网、局域网等。
处理器62在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器62通常用于控制计算机设备的总体操作。本实施例中，处理器62用于运行存储器61中存储的程序代码或者处理数据，例如运行肝癌患者生存期预测装置5，以实现实施例一的肝癌患者生存期预测方法。
需要指出的是，图7仅示出了具有部件61-62的计算机设备6，但是应理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。
实施例四：
为实现上述目的，本发明还提供一种计算机可读存储介质，其包括多个存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁盘、光盘、服务器等等，其上存储有计算机程序，程序被处理器62执行时实现相应功能。本实施例的计算机可读存储介质用于存储肝癌患者生存期预测装置5，被处理器62执行时实现实施例一的目标检测和卷积变换的骨龄评估方法。
应当注意的是，本发明的实施例有较佳的实施性，且并非对本发明作任何形式的限制，任何熟悉该领域的技术人员可能利用上述揭示的技术内容变更或修饰为等同的有效实施例，但凡未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何修改或等同变化及修饰，均仍属于本发明技术方案的范围内。
Claims (10)
1.一种肝癌患者生存期预测方法，其特征在于，包括：
获取多个患者的历史肝脏图像，对各个肝脏图像进行预处理，获取包含肿瘤图像的数据集；其中，所述历史肝脏图像包含至少三种模态的肝脏图像；所述数据集中包含若干数据包，每一数据包均包括某一患者的各个模态的若干肿瘤图像，且关联唯一生存期标签；
建立初始预测模型，其中，所述初始预测模型包括特征提取模块、transformer模块以及分类器，采用所述数据集进行训练；
获取数据集中任一数据包，在所述初始预测模型中，采用特征提取模块对所述数据包中的肿瘤图像分别在特征提取后进行多模态图像融合，以输出包含各个肿瘤图像中所有特征的中间特征数据；采用transformer模块基于所述中间特征数据和所述数据包对应的患者的病理信息进行注意力机制学习后；采用分类器输出生存期预测结果；训练完成以获得目标预测模型；
获取目标患者的肝脏图像，预处理后输入至目标预测模型，生成目标生存期预测结果。
2.根据权利要求1所述的生存期预测方法，其特征在于，所述采用特征提取模块对所述数据包中的肿瘤图像分别在特征提取后进行多模态图像融合，以输出包含各个肿瘤图像中所有特征的中间特征数据，包括：
在特征提取模块中，基于所述数据包中的各个模态的若干肿瘤图像，分别采用卷积网络对各个肿瘤图像进行特征提取，获得至少三个包含若干第一特征数据的第一特征数据集，其中，每一第一特征数据集对应一个模态的肿瘤图像；
采用注意力汇聚网络将各个所述第一特征数据集中的第一特征数据进行融合，获得至少三个第二特征数据；
采用全连接层对各个第二特征数据进行特征联合，输出中间特征数据。
3.根据权利要求2所述的生存期预测方法，其特征在于，所述采用注意力汇聚网络将各个所述第一特征数据集中的第一特征数据进行融合，获得至少三个第二特征数据，包括：
对于任一第一特征数据数据集：
所述第一特征数据数据集的各个第一特征数据数据分别经过注意力机制获得对应的注意力得分；
采用softmax函数将各个注意力得分转化为预设范围的概率值；
将各个第一特征数据数据分别与对应的概率值的相乘后加和，以获得第二特征数据。
4.根据权利要求1所述的生存期预测方法，其特征在于，所述预处理，包括：
获取某一患者的历史肝脏图像，以预设尺寸对各个肝脏图像进行调整；
对于任一调整后的肝脏图像：
对所述肝脏图像人工标记获得肿瘤区域，生成掩模图像；
将所述肝脏图像分割成多个图像切片，并将每一图像切片与所述掩模图像叠加，生成各个图像切片对应的三通道图像，作为肿瘤图像；
集合各个图像切片对应的肿瘤图像即为所述患者的某一模态的若干肿瘤图像。
5.根据权利要求4所述的生存期预测方法，其特征在于，所述将每一图像切片与所述掩模图像叠加，生成各个图像切片对应的三通道图像，包括：
对于每一图像切片，以图像切片叠加图像切片叠加掩模图像的方式生成三通道图像。
6.根据权利要求1所述的生存期预测方法，其特征在于，所述获取包含肿瘤图像的数据集后，还包括：
基于所述数据集进行数据增强。
7.根据权利要求1所述的生存期预测方法，其特征在于，采用transformer模块基于所述中间特征数据和所述数据包对应的患者的病理信息进行注意力机制学习前，包括：
获取所述数据包对应的患者的病理信息；
分别对所述病理信息中的类别数据和数值数据进行一位编码和归一化处理，生成数字特征；
将所述数字特征通过多层感知机嵌入与所述中间特征数据相同维度的向量中，并与所述中间特征数据加和，以输入transformer模块。
8.一种肝癌患者生存期预测装置，其特征在于，包括：
获取模块，用于获取多个患者的历史肝脏图像，对各个肝脏图像进行预处理，获取包含肿瘤图像的数据集；其中，所述历史肝脏图像包含至少三种模态的肝脏图像；所述数据集中包含若干数据包，每一数据包均包括某一患者的各个模态的若干肿瘤图像，且关联唯一生存期标签；
建立模块，用于建立初始预测模型，其中，所述初始预测模型包括特征提取模块、transformer模块以及分类器，采用所述数据集进行训练；
处理模块，用于获取数据集中任一数据包，在所述初始预测模型中，采用特征提取模块对所述数据包中的肿瘤图像分别在特征提取后进行多模态图像融合，以输出包含各个肿瘤图像中所有特征的中间特征数据；采用transformer模块基于所述中间特征数据和所述数据包对应的患者的病理信息进行注意力机制学习后；采用分类器输出生存期预测结果；训练完成以获得目标预测模型；
执行模块，用于获取目标患者的肝脏图像，预处理后输入至目标预测模型，生成目标生存期预测结果。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至8任一项所述肝癌患者生存期预测方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述权利要求1-8所述肝癌患者生存期预测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211607508.9A CN115841476A (zh) | 2022-12-14 | 2022-12-14 | 肝癌患者生存期预测方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211607508.9A CN115841476A (zh) | 2022-12-14 | 2022-12-14 | 肝癌患者生存期预测方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115841476A true CN115841476A (zh) | 2023-03-24 |
Family
ID=85578619
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211607508.9A Pending CN115841476A (zh) | 2022-12-14 | 2022-12-14 | 肝癌患者生存期预测方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115841476A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116503672A (zh) * | 2023-06-26 | 2023-07-28 | 首都医科大学附属北京佑安医院 | 一种肝脏肿瘤分类方法、系统及存储介质 |
-
2022
- 2022-12-14 CN CN202211607508.9A patent/CN115841476A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116503672A (zh) * | 2023-06-26 | 2023-07-28 | 首都医科大学附属北京佑安医院 | 一种肝脏肿瘤分类方法、系统及存储介质 |
| CN116503672B (zh) * | 2023-06-26 | 2023-08-25 | 首都医科大学附属北京佑安医院 | 一种肝脏肿瘤分类方法、系统及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11610308B2 (en) | Localization and classification of abnormalities in medical images | |
| Mazurowski et al. | Deep learning in radiology: An overview of the concepts and a survey of the state of the art with focus on MRI | |
| Pinaya et al. | Unsupervised brain imaging 3D anomaly detection and segmentation with transformers | |
| Dangi et al. | A distance map regularized CNN for cardiac cine MR image segmentation | |
| Mall et al. | A comprehensive review of deep neural networks for medical image processing: Recent developments and future opportunities | |
| Shukla et al. | AI-DRIVEN novel approach for liver cancer screening and prediction using cascaded fully convolutional neural network | |
| EP3576020A1 (en) | Methods for generating synthetic training data and for training deep learning algorithms for tumor lesion characterization, method and system for tumor lesion characterization, computer program and electronically readable storage medium | |
| Zhu et al. | A 3d coarse-to-fine framework for automatic pancreas segmentation | |
| WO2021186592A1 (ja) | 診断支援装置及びモデル生成装置 | |
| CN112529834A (zh) | 病理图像模式在3d图像数据中的空间分布 | |
| Ouyang et al. | Rethinking U-net from an attention perspective with transformers for osteosarcoma MRI image segmentation | |
| CN115841476A (zh) | 肝癌患者生存期预测方法、装置、设备及介质 | |
| Gheorghiță et al. | Improving robustness of automatic cardiac function quantification from cine magnetic resonance imaging using synthetic image data | |
| Tang et al. | Lesion segmentation and RECIST diameter prediction via click-driven attention and dual-path connection | |
| Singh et al. | Attention-guided residual W-Net for supervised cardiac magnetic resonance imaging segmentation | |
| WO2020033594A1 (en) | Interpretable deep machine learning for clinical radiology | |
| CN115965785A (zh) | 图像分割方法、装置、设备、程序产品及介质 | |
| Sohail et al. | A modified U-net based framework for automated segmentation of Hippocampus region in brain MRI | |
| Su et al. | Res-DUnet: A small-region attentioned model for cardiac MRI-based right ventricular segmentation | |
| Keshavamurthy et al. | Weakly supervised pneumonia localization in chest X‐rays using generative adversarial networks | |
| Shen et al. | Nodule synthesis and selection for augmenting chest x-ray nodule detection | |
| CN115409837B (zh) | 一种基于多模态ct图像的子宫内膜癌ctv自动勾画方法 | |
| US11282193B2 (en) | Systems and methods for tumor characterization | |
| Vázquez Romaguera et al. | Personalized respiratory motion model using conditional generative networks for MR-guided radiotherapy | |
| US20230196557A1 (en) | Late Gadolinium Enhancement Analysis for Magnetic Resonance Imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |