CN111528918B - 消融术后肿瘤体积变化趋势图生成装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种消融术后肿瘤体积变化趋势图的生成装置，所述生成装置包括：图像获取模块，用于获取目标区域的超声图像，并从所述超声图像中获取肿瘤病灶感兴趣区图像；特征提取模块，用于从所述肿瘤病灶感兴趣区图像中提取影像组学特征；临床参量获取模块，用于获取临床参量信息；趋势图生成模块，用于将所述影像组学特征和所述临床参量信息输入预测模型，得到目标时间段内的肿瘤体积变化趋势图。本装置能够准确预测肿瘤消融术后体积变化趋势。本申请还公开了一种消融术后肿瘤体积变化趋势图的生成设备及一种存储介质，具有以上有益效果。

Description

消融术后肿瘤体积变化趋势图生成装置、设备及存储介质

技术领域

本申请涉及超声影像技术领域，特别涉及一种消融术后肿瘤体积变化趋势图的生成装置、一种消融术后肿瘤体积变化趋势图的生成设备及一种存储介质。

背景技术

超声影像技术因为无辐射、易操作等优点成为一些浅表器官肿瘤筛查、消融手术引导、消融手术方案规划、消融随访检查等的常用成像手段，用于肿瘤消融手术的术前、术中和术后。

目前，在肿瘤消融手术前，医生一般会根据病人的影像学检查、身体状况等，并结合自己的临床经验，预估消融手术后病人的肿瘤体积在某个时间点能否缩小到预期目标，进而判断病人是否适合做消融手术；其中，该预期目标仅为一个大致的范围，并不能定量地评估肿瘤体积具体缩小到多少。但是这种依赖医生经验预测肿瘤生长状态的方式，易受医生主观因素的影响，预测结果可能与肿瘤体积实际生长状况存在较大偏差。

因此，如何准确预测肿瘤体积生长趋势是本领域技术人员目前需要解决的技术问题。

发明内容

本申请的目的是提供一种消融术后肿瘤体积变化趋势图的生成装置、一种消融术后肿瘤体积变化趋势图的生成设备及一种存储介质，能够准确预测肿瘤体积生长趋势。

为解决上述技术问题，本申请提供一种消融术后肿瘤体积变化趋势图的生成装置，包括：

图像获取模块，用于获取目标区域的超声图像，并从所述超声图像中获取肿瘤病灶感兴趣区图像；

特征提取模块，用于从所述肿瘤病灶感兴趣区图像中提取影像组学特征；

临床参量获取模块，用于获取临床参量信息；

趋势图生成模块，用于将所述影像组学特征和所述临床参量信息输入预测模型，得到目标时间段内的肿瘤体积变化趋势图。

可选的，还包括：

图像处理模块，用于对所述肿瘤病灶感兴趣区图像执行图像扩展操作，得到肿瘤病灶扩展图像；其中，所述肿瘤病灶扩展图像包括肿瘤周围组织图像和所述肿瘤病灶感兴趣区图像；

相应的，所述趋势图生成模块得到所述肿瘤体积变化趋势图的过程包括：将所述影像组学特征、所述肿瘤病灶扩展图像和所述临床参量信息输入预测模型，得到目标时间段内的肿瘤体积变化趋势图。

可选的，所述肿瘤周围组织图像为包含肿瘤生长环境信息和肿瘤生长状态信息的图像。

可选的，所述图像获取模块用于利用肿瘤分割模型从所述超声图像中获取所述肿瘤病灶感兴趣区图像。

可选的，所述影像组学特征包括肿瘤强度特征、形状特征、纹理特征和小波特征中的任一特征或任几种特征的组合。

可选的，所述临床参量信息包括临床检查数据、病理结果、肿瘤结构、身体质量指数、年龄和肿瘤相对位置中任一项或任几项的组合。

可选的，还包括：

模型训练模块，用于利用训练样本训练初始模型得到所述预测模型；其中，所述初始模型的初始化参数通过迁移学习得到，所述训练样本包括肿瘤病灶扩展图像样本、影像组学特征样本、临床参量信息样本和术后肿瘤生长状态信息样本。

可选的，还包括：

趋势图分析模块，用于对所述肿瘤体积生长趋势图与标准术后肿瘤生长趋势图进行相似度比对，若相似度小于预设值则输出提示信息。

可选的，所述趋势图生成模块包括：

肿瘤体积预测值输出单元，用于将所述肿瘤病灶扩展图像、所述影像组学特征和所述临床参量信息输入所述预测模型得到预设数量的与目标时间点对应的肿瘤体积预测值；其中，所述目标时间点为目标时间段内的时间点；

趋势预测单元，用于根据所述肿瘤体积预测值和对应的目标时间点生成所述目标时间段内的肿瘤体积变化趋势图。

本申请还提供了一种消融术后肿瘤体积变化趋势图的生成设备，包括：

处理器，用于获取目标区域的超声图像，并从所述超声图像中获取肿瘤病灶感兴趣区图像；还用于从所述肿瘤病灶感兴趣区图像中提取影像组学特征；还用于获取临床参量信息；还用于将所述影像组学特征和所述临床参量信息输入预测模型，得到目标时间段内的肿瘤体积变化趋势图；

显示器，用于显示所述肿瘤体积变化趋势图。

可选的，所述处理器还用于对所述肿瘤病灶感兴趣区图像执行图像扩展操作，得到肿瘤病灶扩展图像；其中，所述肿瘤病灶扩展图像包括肿瘤周围组织图像和所述肿瘤病灶感兴趣区图像；相应的，所述处理器还用于将所述肿瘤病灶扩展图像、所述影像组学特征和所述临床参量信息输入预测模型，得到目标时间段内的肿瘤体积变化趋势图。

本申请还提供了一种存储介质，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，可以实现的步骤包括：

获取目标区域的超声图像，并从所述超声图像中获取肿瘤病灶感兴趣区图像；

从所述肿瘤病灶感兴趣区图像中提取影像组学特征；

获取临床参量信息；

将所述影像组学特征和所述临床参量信息输入预测模型，得到目标时间段内的肿瘤体积变化趋势图。

可选的，所述计算机可执行指令被处理器加载并执行时，可以实现的步骤还包括：

对所述肿瘤病灶感兴趣区图像执行图像扩展操作，得到肿瘤病灶扩展图像；其中，所述肿瘤病灶扩展图像包括肿瘤周围组织图像和所述肿瘤病灶感兴趣区图像；

将所述肿瘤病灶扩展图像、所述影像组学特征和所述临床参量信息输入预测模型，得到目标时间段内的肿瘤体积变化趋势图。

本申请提供了一种消融术后肿瘤体积变化趋势图的生成装置，包括：图像获取模块，用于获取目标区域的超声图像，并从所述超声图像中获取肿瘤病灶感兴趣区图像；特征提取模块，用于从所述肿瘤病灶感兴趣区图像中提取影像组学特征；临床参量获取模块，用于获取临床参量信息；趋势图生成模块，用于将所述影像组学特征和所述临床参量信息输入预测模型，得到目标时间段内的肿瘤体积变化趋势图。

本申请对目标区域采集超声图像，并从超声图像中获取肿瘤病灶感兴趣区图像，基于特征提取模块从肿瘤病灶感兴趣区图像中提取影像组学特征，进而利用预测模型根据影像组学特征和临床参量信息进行生长趋势预测。由于预测模型具有根据输入的影像组学特征和临床参量信息输出目标时间段内的肿瘤生长状况的能力，因此可以将影像组学特征和临床参量信息输入预测模型得到肿瘤体积变化趋势图。本申请无需依赖医生主观经验，即可自动化对肿瘤生长状况进行预测，可以避免主观因素导致的预测误差，能够准确预测肿瘤体积生长趋势。本申请同时还提供了一种消融术后肿瘤体积变化趋势图的生成设备和一种存储介质，具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例所提供的一种消融术后肿瘤体积变化趋势图的生成装置的结构示意图；

图2为本申请实施例所提供的一种基于多模态联合方法的消融术后肿瘤生长趋势的术前预测方案的原理示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

下面请参见图1，图1为本申请实施例所提供的一种消融术后肿瘤体积变化趋势图的生成装置的结构示意图，该消融术后肿瘤体积变化趋势图的生成装置可以包括：

图像获取模块100，用于获取目标区域的超声图像，并从所述超声图像中获取肿瘤病灶感兴趣区图像；

特征提取模块200，用于从所述肿瘤病灶感兴趣区图像中提取影像组学特征；

临床参量获取模块300，用于获取临床参量信息；

趋势图生成模块400，用于将所述影像组学特征和临床参量信息输入预测模型，得到目标时间段内的肿瘤体积变化趋势图。

其中，本实施例中的消融术后肿瘤体积变化趋势图的生成装置可以为超声成像系统中的装置，以便对超声成像系统采集的超声图像进行实时分析；消融术后肿瘤体积变化趋势图的生成装置也可以为独立于超声成像系统之外的电子设备(如具有存储、运算能力的计算机)，消融术后肿瘤体积变化趋势图的生成装置通过与超声成像系统通信或硬盘拷贝的方式获取超声图像，并对超声图像进行离线分析。

在本实施例中图像获取模块100用于获取目标区域的超声图像，目标区域可以为肿瘤病灶所在的区域。当本实施例所提供的消融术后肿瘤体积变化趋势图的生成装置为嵌入至现有超声成像系统的装置时，可以直接从超声成像系统的数据流中调取需要分析处理的目标区域的超声图像。当本实施例所提供的消融术后肿瘤体积变化趋势图的生成装置为独立于超声成像系统之外的电子设备时，可以通过与超声成像系统通信的方式获取目标区域的超声图像。

肿瘤病灶感兴趣区图像即肿瘤病灶ROI(region of interest，感兴趣区域)图像，肿瘤病灶感兴趣区图像为目标区域内肿瘤组织对应的超声图像，肿瘤病灶感兴趣区图像的形状及大小与肿瘤组织的形状及大小相对应。通过从超声图像中获取肿瘤病灶感兴趣区图像能够提高特征提取模块200提取影像组学特征的效率和准确程度。

实际应用中，可以利用肿瘤分割模型从所述超声图像中获取所述肿瘤病灶感兴趣区图像。肿瘤分割模型具有从超声图像中确定肿瘤组织所在区域的能力，本实施例还可以存在训练肿瘤分割模型的操作，具体过程可以包括：获取超声图像样本，将超声图像样本中肿瘤所在的区域标记为第一区域，将超声图像样本中非肿瘤所在的区域标记为第二区域，利用标记后的超声图像样本进行模型训练可以得到上文提到的肿瘤分割模型。

特征提取模块200从所述肿瘤病灶感兴趣区图像中提取影像组学特征的过程具体可以包括：先按预设特征类型从肿瘤病灶感兴趣区图像中提取初步的影像组学特征，之后再对初步的影像组学特征进行筛选，以获取目标影像组学特征。本实施例中所提到的影像组学特征可以包括肿瘤强度特征、形状特征、纹理特征和小波特征中的任一项特征或任几项特征的组合。

临床参量获取模块300，用于获取临床参量信息。临床参量信息可以包括临床检查数据、病理结果、肿瘤结构、身体质量指数(BMI，Body Mass Index)、年龄和肿瘤相对位置中任一项或任几项的组合。具体的，临床参量获取模块300可以从病例数据库中获取病人的临床参量信息，也可以由用户向消融术后肿瘤体积变化趋势图的生成装置的特定存储空间输导入或手动输入病人的临床参量信息，以便临床参量获取模块300从该存储空间中获取临床参量信息。根据肿瘤的类型，临床参量信息可以有不同的组合。例如对于甲状腺肿瘤，病人的性别是一个影响因素，而对于乳腺肿瘤来说，患者一般是女性，就无需再将性别加入临床参量信息中。

在得到影像组学特征和临床参量信息的基础上，趋势图生成模块400可以将所述影像组学特征和临床参量信息输入预测模型，根据预测模型输出的预测结果得到目标时间段内的肿瘤体积变化趋势图。本实施例中的预测模型可以为神经网络模型，预测模型可以从临床参量信息中提取临床参量特征，将临床参量特征和影像组学特征进行特征融合，进而输出肿瘤体积变化趋势图。由于临床参量特征和影像组学特征可以包括多种量纲，因此预测模型能够实现多模态联合预测肿瘤体积生长趋势，提高预测的准确程度。上述目标时间段可以为病人进行肿瘤消融手术后的一段时间，例如肿瘤体积变化趋势图可以为肿瘤消融手术后一年内的肿瘤体积变化趋势图。

本实施例对目标区域采集超声图像，并从超声图像中获取肿瘤病灶感兴趣区图像，基于特征提取模块从肿瘤病灶感兴趣区图像中提取影像组学特征，进而利用预测模型根据影像组学特征和临床参量信息进行生长趋势预测。由于预测模型具有根据输入的影像组学特征和临床参量信息输出目标时间段内的肿瘤生长状况的能力，因此可以将影像组学特征和临床参量信息输入预测模型得到肿瘤体积变化趋势图。本实施例无需依赖医生主观经验，即可自动化对肿瘤生长状况进行预测，可以避免主观因素导致的预测误差，能够准确预测肿瘤体积生长趋势。

作为一种可行的实施方式，图1所描述的消融术后肿瘤体积变化趋势图的生成装置还可以包括图像处理模块，用于对所述病灶感兴趣区图像执行图像后处理操作，得到肿瘤病灶扩展图像，其中，该肿瘤病灶扩展图像包括肿瘤周围组织图像和病灶感兴趣区图像；所述肿瘤周围组织图像为包含肿瘤生长环境信息和肿瘤生长状态信息的图像。

实际应用中，在获取到超声图像之后，可以在超声图像中对肿瘤感兴趣区图像(即肿瘤病灶实质图像)进行区域扩展，得到肿瘤病灶扩展图像。以乳腺肿瘤为例，相关文献表明：除肿瘤实质区域外，病灶周围区域的组织因蕴含着大量与乳腺肿瘤评价相关的信息，因此本实施例在提取主乳腺肿瘤成分图像时，可以将肿瘤周围组织进行保存，以便根据扩展肿瘤病灶实质图像来进一步增加所获取的肿瘤信息。

应当指出，受限于肿瘤自身的特性，在实际应用中可以根据不同肿瘤类型的临床特点来选择肿瘤实质病灶获取及扩展方案。肿瘤病灶扩展图像可以包括病灶感兴趣区图像的全部内容，还可以包括肿瘤周围组织图像。肿瘤周围组织图像为描述肿瘤所处环境的图像，肿瘤周围组织图像可以包括距离肿瘤轮廓预设范围内的组织和血管的图像。

若将上述关于图像处理模块的实施方案与图1对应的实施例相结合可以得到包括图像获取模块、特征提取模块、临床参量获取模块、趋势图生成模块和图像处理模块的消融术后肿瘤体积变化趋势图的生成装置。趋势图生成模块可以将所述影像组学特征、所述肿瘤病灶扩展图像和所述临床参量信息输入预测模型，得到目标时间段内的肿瘤体积变化趋势图。本实施例对目标区域采集超声图像，并从超声图像中获取肿瘤病灶感兴趣区图像，基于特征提取模块从肿瘤病灶感兴趣区图像中提取影像组学特征，通过对病灶感兴趣区图像进行图像后处理得到包括肿瘤生长环境信息和病灶感兴趣区图像的肿瘤病灶扩展图像，进而利用预测模型根据影像组学特征、肿瘤病灶扩展图像和临床参量信息进行生长趋势预测。由于预测模型具有根据输入的肿瘤病灶扩展图像、影像组学特征和临床参量信息输出目标时间段内的肿瘤生长状况的能力，因此可以将影像组学特征、肿瘤病灶扩展图像和临床参量信息输入预测模型得到肿瘤体积变化趋势图。本申请无需依赖医生主观经验，即可自动化对肿瘤生长状况进行预测，可以避免主观因素导致的预测误差，能够准确预测肿瘤体积生长趋势。

作为对于图1对应实施例的进一步介绍，所述图像处理模块可以对所述肿瘤病灶感兴趣区图像执行图像扩展操作以便完成图像后处理操作，得到所述肿瘤病灶扩展图像。可以理解的是，不同的肿瘤疾病具有不同的病理结构，因此图像处理模块可以从所述肿瘤病灶感兴趣区图像中确定与肿瘤类型相对应的肿瘤病灶扩展图像区域。针对不同的肿瘤疾病，由于病理结构的不同，应获取的肿瘤病灶扩展图像区域也不同。如以乳腺肿瘤为例，病灶周围的组织及血管的影像状态对评估肿瘤的生长环境具有较大的意义，可以将肿瘤病灶及其周围的组织及血管所在的区域作为肿瘤病灶扩展图像区域；而对于甲状腺肿瘤，其病灶周围组织的影像学数据就显得没有那么重要了，可以不将甲状腺肿瘤的周围组织所在的区域作为肿瘤病灶扩展图像区域。

作为对于图1对应实施例的进一步介绍，图1对应的实施例还可以存在用于构建预测模型的模型训练模块。模型训练模块可以利用所述训练样本训练初始模型得到所述预测模型；其中，所述初始模型的初始化参数通过迁移学习得到，所述训练样本包括肿瘤病灶扩展图像样本、影像组学特征样本、临床参量信息样本和术后肿瘤生长状态信息样本。

预测模型的主干网络(如卷积神经网络)可以从肿瘤病灶扩展图像中提取神经网络特征。具体的，本实施例可以利用主干网络的卷积核对肿瘤病灶扩展图像的各个图像矩阵执行卷积操作，得到对应的特征值矩阵，本实施例可以将主干网络卷积操作得到的特征值矩阵作为神经网络特征。预测模型两个分支网络分布可以提取并处理临床参量特征和影像组学特征，然后将神经网络特征、影像组学特征和临床参量信息进行特征融合，将融合结果接入循环神经网络。预测模型的训练过程即是模型内部参数自动调整的过程。在模型训练时，在主干网络的训练上使用了迁移学习的思想，可以将在ImageNet公共数据集上预训练的网模型作为主体网络的初始化参数，并在此基础上进行微调训练；在网络参数的设置上，给每个网络分支设置损失加权系数，用于调控每种模态数据的参考比重，最终得到能够根据神经网络特征、影像组学特征和临床参量信息输出肿瘤体积生长预测结果的预测模型。当然预测模型可以将ResNet50或VGG16作为主干网络，也可以将其他网络作为主干网络，还可以根据实际需求搭建主干网络，此处不对预测模型的主干网络的类型进行限定。

作为对于图1对应实施例的进一步介绍，图1对应实施例生成目标时间段内的肿瘤体积变化趋势图所用的数据(如影像组学特征、肿瘤病灶扩展图像和临床参量信息)为病人进行肿瘤消融手术前的数据，以便根据肿瘤体积变化趋势图判断病人是否适合做手术。消融术后肿瘤体积变化趋势图的生成装置还可以包括趋势图分析模块，趋势图分析模块可以对所述肿瘤体积变化趋势图与标准术后肿瘤生长趋势图进行相似度比对，若相似度小于预设值则输出提示信息。若肿瘤体积变化趋势图与标准术后肿瘤生长趋势图的相似度预设值，则说明病人手术后肿瘤体积无法符合预期目标，输出不建议进行肿瘤消融术的提示信息。作为一种可行的实施方式，本实施例可以设置多张标准术后肿瘤生长趋势图，其中包括理想状态下术后肿瘤生长趋势图，也可以包括数据库中存储的治疗效果良好的真实病例的肿瘤生长趋势图。

作为对于图1对应实施例的进一步介绍，所述趋势图生成模块400包括肿瘤体积预测值输出单元和趋势预测单元。肿瘤体积预测值输出单元用于将所述影像组学特征、所述肿瘤病灶扩展图像和临床参量信息输入预测模型得到预设数量的与目标时间点对应的肿瘤体积预测值；其中，所述目标时间点为目标时间段内的时间点；趋势预测单元用于根据所述肿瘤体积预测值和对应的目标时间点生成所述目标时间段内的肿瘤体积变化趋势图。例如，肿瘤体积预测值输出单元可以分别预测手术后第3个月、第6个月和第12个月的肿瘤体积预测值，以便趋势预测单元根据第3个月、第6个月和第12个月的肿瘤体积预测值生成手术后12个月内的肿瘤体积变化趋势图。作为一种可行的实施方式，任意两个相邻的上述目标时间点的时间差为预设值，例如可以预测手术后第3个月、第6个月、第9个月和第12个月的肿瘤体积预测值。

下面通过实际应用中的例子说明上述实施例的实施过程，请参见图2，图2为本申请实施例所提供的一种基于多模态联合方法的消融术后肿瘤生长趋势的术前预测方案的原理示意图。

本实施例构建了三输入通道的循环神经网络模型，可以分别从肿瘤超声图像中提取肿瘤病灶扩展图像和影像组学特征，再联合病人的生化检查、BMI指数、年龄等参量信息(即临床参量信息)，进而搭建肿瘤消融术后肿瘤生长趋势的预测模型，得到超声图像、临床参量信息等到肿瘤消融术后体积的映射关系。上述肿瘤生长趋势即肿瘤体积变化趋势。

在本实施例可以包括以下步骤：

步骤1、获取超声图像数据，从超声图像数据中获取肿瘤病灶感兴趣区(ROI)图像。

其中，本实施例可选用肿瘤自动分割模型自动获取肿瘤病灶感兴趣区图像，也可通过医生手动勾画的方式获取肿瘤病灶感兴趣区图像。

步骤2，提取临床参量信息，从肿瘤病灶感兴趣区图像中获取影像组学特征和肿瘤病灶扩展图像。

其中，本步骤提取的临床参量信息可以包括临床检查数据、病理结果、肿瘤结构、身高体重指数(BMI)、年龄、肿瘤相对位置等。以乳腺肿瘤为例，临床参量信息包括病理结果、病因、血小板浓度、凝血酶原活性、Hb(血红蛋白浓度)、WBC(白细胞计数标值)、血清孕酮、肿瘤相对位置、年龄、身高体重指数等信息。在获取了病灶感兴趣区(ROI)图像的基础上，本实施例可以使用图像后处理技术或人工特征提取算法提取例如病灶尺寸、形状参数、纹理特征等特征作为影像组学特征。本实施例还可以在获取了肿瘤病灶感兴趣区(ROI)区域图像的基础上通过图像后处理确定包括肿瘤实质周围组织区域在内的肿瘤病灶扩展图像区域，进而提取神经网络特征。针对不同的肿瘤疾病，由于病理结构的不同，应获取的肿瘤病灶扩展图像数据的区域将不同。如以乳腺肿瘤为例，病灶周围的组织及血管的影像状态对评估肿瘤的生长环境具有较大的意义，可以将乳腺肿瘤病灶周围的组织及血管所在的区域作为肿瘤病灶扩展图像区域；而对于甲状腺肿瘤，其周围组织对评估肿瘤的生长环境的意义较低可以仅将甲状腺肿瘤所在的区域作为肿瘤病灶扩展图像区域。

步骤3，将从多维度描述肿瘤及其周围组织状态、病人身体状况等的多模态特征(包括影像组学特征、肿瘤病灶扩展图像和临床参量信息)输入基于循环神经网络的多模态肿瘤体积预测模型中，对肿瘤术后生长趋势进行预测，进而绘制出肿瘤体积变化预测曲线图。

本实施例联合肿瘤术前影像组学特征、肿瘤病灶扩展图像和临床参量信息多种模态的数据，搭建一个基于循环神经网络的消融术后肿瘤体积术前预测模型，利用预测模型预测消融术后肿瘤生长状况(体积)，并预测绘制出肿瘤一段时期内的生长曲线。

本申请还提供了一种消融术后肿瘤体积变化趋势图的生成设备，该设备也可以是具有存储、运算能力的计算机，该设备可以包括：

处理器，用于获取目标区域的超声图像，并从所述超声图像中获取肿瘤病灶感兴趣区图像；还用于从所述肿瘤病灶感兴趣区图像中提取影像组学特征；还用于获取临床参量信息；还用于将所述影像组学特征和所述临床参量信息输入预测模型，得到目标时间段内的肿瘤体积变化趋势图；

显示器，用于显示所述肿瘤体积变化趋势图。

具体的，上述处理器还可以用于对所述肿瘤病灶感兴趣区图像执行图像扩展操作，得到肿瘤病灶扩展图像；其中，所述肿瘤病灶扩展图像包括肿瘤周围组织图像和所述肿瘤病灶感兴趣区图像；相应的，所述处理器还用于将所述肿瘤病灶扩展图像、所述影像组学特征和所述临床参量信息输入预测模型，得到目标时间段内的肿瘤体积变化趋势图。

本申请还提供了一种超声成像设备，包括：

超声探头，用于向目标区域发射超声波，并接收超声回波数据；

处理器，用于根据超声回波数据生成所述目标区域的超声图像，并从所述超声图像中获取肿瘤病灶感兴趣区图像；还用于从所述肿瘤病灶感兴趣区图像中提取影像组学特征；还用于对所述肿瘤病灶感兴趣区图像执行图像后处理操作，得到肿瘤病灶扩展图像；其中，所述肿瘤病灶扩展图像包括肿瘤周围组织图像和所述肿瘤病灶感兴趣区图像；还用于将所述影像组学特征、所述肿瘤病灶扩展图像和临床参量信息输入预测模型，得到目标时间段内的肿瘤体积变化趋势图；

显示器，用于显示所述肿瘤体积变化趋势图。

本实施例对目标区域采集超声图像，并从超声图像中获取肿瘤病灶感兴趣区图像，基于特征提取模块从肿瘤病灶感兴趣区图像中提取影像组学特征，通过对病灶感兴趣区图像进行图像后处理得到包括肿瘤生长环境信息和病灶感兴趣区图像的肿瘤病灶扩展图像，进而利用预测模型根据影像组学特征、肿瘤病灶扩展图像和临床参量信息进行生长趋势预测。由于预测模型具有根据输入的肿瘤病灶扩展图像、影像组学特征和临床参量信息输出目标时间段内的肿瘤生长状况的能力，因此可以将影像组学特征、肿瘤病灶扩展图像和临床参量信息输入预测模型得到肿瘤体积变化趋势图。本实施例无需依赖医生主观经验，即可自动化对肿瘤生长状况进行预测，可以避免主观因素导致的预测误差，能够准确预测肿瘤体积生长趋势。

本申请还提供了一种存储介质，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，可以实现的步骤包括：

获取目标区域的超声图像，并从所述超声图像中获取肿瘤病灶感兴趣区图像；

从所述肿瘤病灶感兴趣区图像中提取影像组学特征；

获取临床参量信息；

将所述影像组学特征和所述临床参量信息输入预测模型，得到目标时间段内的肿瘤体积变化趋势图。

本实施例对目标区域采集超声图像，并从超声图像中获取肿瘤病灶感兴趣区图像，基于特征提取模块从肿瘤病灶感兴趣区图像中提取影像组学特征，进而利用预测模型根据影像组学特征和临床参量信息进行生长趋势预测。由于预测模型具有根据输入的影像组学特征和临床参量信息输出目标时间段内的肿瘤生长状况的能力，因此可以将影像组学特征和临床参量信息输入预测模型得到肿瘤体积变化趋势图。本实施例无需依赖医生主观经验，即可自动化对肿瘤生长状况进行预测，可以避免主观因素导致的预测误差，能够准确预测肿瘤体积生长趋势。

优选的，存储介质中存储的计算机子程序被处理器执行时，具体可以实现以下步骤：利用肿瘤分割模型从所述超声图像中获取所述肿瘤病灶感兴趣区图像。

优选的，存储介质中存储的计算机子程序被处理器执行时，具体可以实现以下步骤：对所述肿瘤病灶感兴趣区图像执行图像扩展操作，得到肿瘤病灶扩展图像；其中，所述肿瘤病灶扩展图像包括肿瘤周围组织图像和所述肿瘤病灶感兴趣区图像；将所述影像组学特征、所述肿瘤病灶扩展图像和所述临床参量信息输入预测模型，得到目标时间段内的肿瘤体积变化趋势图。

优选的，存储介质中存储的计算机子程序被处理器执行时，具体可以实现以下步骤：利用肿瘤分割模型从所述超声图像中获取所述肿瘤病灶感兴趣区图像。

优选的，存储介质中存储的计算机子程序被处理器执行时，具体可以实现以下步骤：利用训练样本训练初始模型得到所述预测模型；其中，所述初始模型的初始化参数通过迁移学习得到，所述训练样本包括肿瘤病灶扩展图像样本、影像组学特征样本、临床参量信息样本和术后肿瘤生长状态信息样本。

优选的，存储介质中存储的计算机子程序被处理器执行时，具体可以实现以下步骤：对所述肿瘤体积生长趋势图与标准术后肿瘤生长趋势图进行相似度比对，若相似度小于预设值则输出提示信息。

优选的，存储介质中存储的计算机子程序被处理器执行时，具体可以实现以下步骤：将所述肿瘤病灶扩展图像、所述影像组学特征和所述临床参量信息输入所述预测模型得到预设数量的与目标时间点对应的肿瘤体积预测值；其中，所述目标时间点为目标时间段内的时间点；

优选的，存储介质中存储的计算机子程序被处理器执行时，具体可以实现以下步骤：根据所述肿瘤体积预测值和对应的目标时间点生成所述目标时间段内的肿瘤体积变化趋势图。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (7)

1.一种消融术后肿瘤体积变化趋势图的生成装置，其特征在于，包括：

图像获取模块，用于获取目标区域的超声图像，并从所述超声图像中获取肿瘤病灶感兴趣区图像；

特征提取模块，用于从所述肿瘤病灶感兴趣区图像中提取影像组学特征；

临床参量获取模块，用于获取临床参量信息；

图像处理模块，用于根据所述肿瘤病灶感兴趣区图像对应肿瘤类型的病理结构确定肿瘤病灶扩展图像区域；

趋势图生成模块，用于将所述影像组学特征、所述肿瘤病灶扩展图像和所述临床参量信息输入预测模型，得到目标时间段内的肿瘤体积变化趋势图；

其中，所述肿瘤病灶扩展图像包括肿瘤周围组织图像和所述肿瘤病灶感兴趣区图像，所述肿瘤周围组织图像为包含肿瘤生长环境信息和肿瘤生长状态信息的图像，所述影像组学特征包括肿瘤强度特征、形状特征、纹理特征和小波特征中的任一特征或任几种特征的组合，所述临床参量信息包括肿瘤结构、身高体重指数BMI、年龄、肿瘤相对位置、血小板浓度、凝血酶原活性、血红蛋白浓度Hb、白细胞计数标值WBC和血清孕酮中的任一项或任几项的组合。

2.根据权利要求1所述生成装置，其特征在于，所述图像获取模块用于利用肿瘤分割模型从所述超声图像中获取所述肿瘤病灶感兴趣区图像。

3.根据权利要求1所述生成装置，其特征在于，还包括：

模型训练模块，用于利用训练样本训练初始模型得到所述预测模型；其中，所述初始模型的初始化参数通过迁移学习得到，所述训练样本包括肿瘤病灶扩展图像样本、影像组学特征样本、临床参量信息样本和术后肿瘤生长状态信息样本。

4.根据权利要求1所述生成装置，其特征在于，还包括：

趋势图分析模块，用于对所述肿瘤体积变化趋势图与标准术后肿瘤体积变化趋势图进行相似度比对，若相似度小于预设值则输出提示信息。

5.根据权利要求1至4任一项所述生成装置，其特征在于，所述趋势图生成模块包括：

肿瘤体积预测值输出单元，用于将所述肿瘤病灶扩展图像、所述影像组学特征和所述临床参量信息输入所述预测模型得到预设数量的与目标时间点对应的肿瘤体积预测值；其中，所述目标时间点为目标时间段内的时间点；

趋势预测单元，用于根据所述肿瘤体积预测值和对应的目标时间点生成所述目标时间段内的肿瘤体积变化趋势图。

6.一种消融术后肿瘤体积变化趋势图的生成设备，其特征在于，包括：

处理器，用于获取目标区域的超声图像，并从所述超声图像中获取肿瘤病灶感兴趣区图像；还用于从所述肿瘤病灶感兴趣区图像中提取影像组学特征；还用于获取临床参量信息；

显示器，用于显示所述肿瘤体积变化趋势图；

其中，所述处理器还用于根据所述肿瘤病灶感兴趣区图像对应肿瘤类型的病理结构确定肿瘤病灶扩展图像区域；还用于将所述影像组学特征、所述肿瘤病灶扩展图像和所述临床参量信息输入预测模型，得到目标时间段内的肿瘤体积变化趋势图；

其中，所述肿瘤病灶扩展图像包括肿瘤周围组织图像和所述肿瘤病灶感兴趣区图像，所述肿瘤周围组织图像为包含肿瘤生长环境信息和肿瘤生长状态信息的图像，所述影像组学特征包括肿瘤强度特征、形状特征、纹理特征和小波特征中的任一特征或任几种特征的组合，所述临床参量信息包括肿瘤结构、身高体重指数BMI、年龄、肿瘤相对位置、血小板浓度、凝血酶原活性、血红蛋白浓度Hb、白细胞计数标值WBC和血清孕酮中的任一项或任几项的组合。

7.一种存储介质，其特征在于，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，可以实现的步骤包括：

获取目标区域的超声图像，并从所述超声图像中获取肿瘤病灶感兴趣区图像；

从所述肿瘤病灶感兴趣区图像中提取影像组学特征；

获取临床参量信息；

根据所述肿瘤病灶感兴趣区图像对应肿瘤类型的病理结构确定肿瘤病灶扩展图像区域；

将所述影像组学特征、所述肿瘤病灶扩展图像和所述临床参量信息输入预测模型，得到目标时间段内的肿瘤体积变化趋势图；

其中，所述肿瘤病灶扩展图像包括肿瘤周围组织图像和所述肿瘤病灶感兴趣区图像，所述肿瘤周围组织图像为包含肿瘤生长环境信息和肿瘤生长状态信息的图像，所述影像组学特征包括肿瘤强度特征、形状特征、纹理特征和小波特征中的任一特征或任几种特征的组合，所述临床参量信息包括肿瘤结构、身高体重指数BMI、年龄、肿瘤相对位置、血小板浓度、凝血酶原活性、血红蛋白浓度Hb、白细胞计数标值WBC和血清孕酮中的任一项或任几项的组合。

Images