CN117726846A - 肺部纯磨玻璃结节病理类型预测方法、装置、设备及介质 - Google Patents

Abstract

本发明涉及结节病理类型判断技术领域，公开了一种肺部纯磨玻璃结节病理类型预测方法、装置、设备及介质，包括：构建并训练3D图像恢复模型；将3D图像恢复模型中的共享特征提取编码器和解码器迁移至3D图像分割模型，将共享特征提取编码器迁移至3D图像分类模型；对3D图像分割模型和3D图像分类模型进行训练；通过3D图像分割模型对待检测胸部CT图像进行分割，获取纯磨玻璃结节区域分割3D图像；通过3D图像分类模型对纯磨玻璃结节区域分割3D图像进行病理类型预测。本发明能够建立更加鲁棒精确的模型，耗时更短，且对纯磨玻璃结节的病理类型进行准确判断，使临床医生更好地做出最佳手术决策，从而提高患者治疗效率，避免二次创伤。

Description

肺部纯磨玻璃结节病理类型预测方法、装置、设备及介质

技术领域

本发明涉及结节病理类型判断技术领域，具体涉及一种肺部纯磨玻璃结节病理类型预测方法、装置、设备及介质。

背景技术

随着胸部CT在肺癌筛查和早期腺癌检测中的应用越来越广泛，磨玻璃结节病变的检出率也越来越多。大多数纯磨玻璃结节(Pure Ground Glass Node，pGGN)，其对应的病理类型通常是腺体前驱病变或微浸润腺癌，首选采用密切随访或亚肺叶切除策略。对于高风险的具有浸润性腺癌纯磨玻璃结节患者，可能并不适合进行亚肺叶切除术，而更适合采用肺叶切除加系统性淋巴结清扫的方式。

但由于纯玻璃结节所对应的各病理类型通过基于传统影像特点的视觉诊断方法很难区分，导致诊断误差较大。如果纯磨玻璃患者在手术中采用了亚肺叶切除，而几周之后的免疫组织化学病理结节其实是浸润性腺癌，那么对于患者来说将要面临二次手术进行肺叶切除。这样的结果是外科医师和患者双方都不愿意接受的，这种二次创伤对患者的身体和心理带来双重打击。

发明内容

有鉴于此，本发明提供了一种肺部纯磨玻璃结节病理类型预测方法、装置、设备及介质，以解决肺部纯磨玻璃结节病理类型判断不准确的问题。

第一方面，本发明提供了一种肺部纯磨玻璃结节病理类型预测方法，方法包括：

获取全身各部位的CT图像数据集和MRI图像数据集，并基于CT图像数据集和MRI图像数据集构建3D输入图像及3D目标图像，基于3D输入图像及对应的3D目标图像训练得到3D图像恢复模型；

将3D图像恢复模型中训练好的特征提取编码器作为共享特征提取编码器分别迁移至预先构建的3D图像分割模型和3D图像分类模型，并将3D图像恢复模型中训练好的共享解码器迁移至3D图像分割模型；

获取胸部CT图像数据集，并对胸部CT图像数据集中已知病理类型的纯磨玻璃结节进行标注，基于标注后的胸部CT图像数据集依次对3D图像分割模型和3D图像分类模型进行训练；

将待检测胸部CT图像输入至训练好的3D图像分割模型进行纯磨玻璃结节的图像分割，获取待检测胸部CT图像中纯磨玻璃结节区域分割3D图像；

将纯磨玻璃结节区域分割3D图像输入至训练好的3D图像分类模型进行图像特征提取，并根据图像特征提取结果预测纯磨玻璃结节的病理类型及对应的概率。

本发明实施例提供的肺部纯磨玻璃结节病理类型预测方法，通过构建3D图像恢复模型获取训练好的共享特征提取编码器和解码器，并将共享特征提取编码器迁移至3D图像分割模型及3D图像分类模型中，将解码器迁移至3D图像分割模型中，依次进行模型训练，将待检测胸部CT图像依次输入至训练好的3D图像分割模型和3D图像分类模型，对待检测胸部CT图像中的纯磨玻璃结节进行识别、定位、分割及病理类型预测，并确定对应病理类型的概率。本发明通过模型训练及迁移学习，能够建立更加鲁棒精确的模型，耗时更短，利用模型对肺部纯磨玻璃结节病理类型进行预测，能够对其病理类型进行准确判断，使临床医生更好地做出最佳手术决策，从而提高患者治疗效率，避免二次创伤对患者的身体和心理带来双重打击。

在一种可选的实施方式中，获取待检测胸部CT图像中纯磨玻璃结节区域分割3D图像后，还包括：根据纯磨玻璃结节区域分割3D图像计算纯磨玻璃结节的体积和最大径。

本发明在进行纯磨玻璃结节病理类型预测过程中，根据分割出来的纯磨玻璃结节3D图像计算其体积和最大径，能够在将来的临床实际工作中为医生提供结节数据信息，以便更好地进行个体化手术治疗计划。

在一种可选的实施方式中，根据图像特征提取结果预测纯磨玻璃结节的病理类型及对应的概率后，还包括：通过预设模型激活图的可解释性二分类模块获取纯磨玻璃结节的病理类型预测结果贡献最大区域。

本发明通过模型激活图能够展示出对纯磨玻璃结节的病理类型预测结果贡献最大区域，为系统提供分类结果可解释性功能，对将来的临床实际工作具有重要指导意义。

在一种可选的实施方式中，获取全身各部位的CT图像数据集和MRI图像数据集，并基于CT图像数据集和MRI图像数据集构建3D输入图像及3D目标图像的过程，包括：获取预设开源图像数据集中全身各部位CT图像和MRI图像，来构建对应的CT图像数据集和MRI图像数据集；在CT图像数据集和MRI图像数据集中随机剪裁3D感兴趣体，并将3D感兴趣体作为3D目标图像；在3D目标图像中随机加入噪声，或随机改变其图像对比度，或随机进行图像部位置零，获得3D输入图像。

本发明根据全身各部位的CT图像和MRI图像的三维数据信息构建对应的3D图像，从而训练3D图像恢复模型，能够学习到医学图像的基本特点，这是模型起始训练的基础。在后续纯磨玻璃结节的病理类型预测中，能够直接根据CT图像判断出纯磨玻璃结节的病理类型，实现端到端全自动肺部纯磨玻璃结节自动识别定位及浸润性病理类型预测，从而早期识别出有风险的患者，更好地进行个体化手术治疗计划和医疗资源的优化利用，从而提高患者治疗效率，避免二次创伤对患者的身体和心理的双重打击。

在一种可选的实施方式中，获取胸部CT图像数据集，并对胸部CT图像数据集中已知病理类型的纯磨玻璃结节进行标注后，还包括：对标注后胸部CT图像数据集进行数据转换处理，数据转换处理包括：随机窗口归一化处理、感兴趣体扩张和数据裁剪。

本发明在模型训练前先对数据进行数据转换处理，能够平衡像素强度值并缩小感兴趣区，增强模型的泛化能力，从而提高模型对新数据的适应性，提高模型对纯磨玻璃结节病理类型预测的精度。

在一种可选的实施方式中，3D图像恢复模型、3D图像分割模型及3D图像分类模型，均包括：输入单元、共享特征提取编码器和独立解码器；3D图像分类模型的独立解码器为两个连接的自适应池化层和一个全连接层构成。

本发明通过预先训练3D图像恢复模型作为模型起始训练的基础，将训练好的模型迁移至3D图像分割模型和3D图像分类模型，然后在训练3D图像分割模型和3D图像分类模型时进行模型微调，能够建立更加鲁棒精确的模型，且耗时更短。

在一种可选的实施方式中，共享特征提取编码器为3D Resnet架构，3D图像恢复模型和3D图像分割模型的独立解码器为3D UNet架构；3D Resnet架构的共享特征提取编码器与3D UNet架构的独立解码器之间通过跳跃连接方式进行连接。

本发明通过选取3D Resnet架构的编码器和3D Resnet架构的解码器，能够提高模型的预测效果，从而提高纯磨玻璃结节的病理类型预测精度。

第二方面，本发明提供了一种肺部纯磨玻璃结节病理类型预测装置，装置包括:

第一模型训练模块，用于获取全身各部位的CT图像数据集和MRI图像数据集，并基于CT图像数据集和MRI图像数据集构建3D输入图像及3D目标图像，基于3D输入图像及对应的3D目标图像训练得到3D图像恢复模型；

模型迁移模块，用于将3D图像恢复模型中训练好的特征提取编码器作为共享特征提取编码器分别迁移至预先构建的3D图像分割模型和3D图像分类模型，并将3D图像恢复模型中训练好的解码器迁移至3D图像分割模型；

第二模型训练模块，用于获取胸部CT图像数据集，并对胸部CT图像数据集中已知病理类型的纯磨玻璃结节进行标注，基于标注后的胸部CT图像数据集依次对3D图像分割模型和3D图像分类模型进行训练；

结节识别分割模块，用于将待检测胸部CT图像输入至训练好的3D图像分割模型进行纯磨玻璃结节的图像分割，获取待检测胸部CT图像中纯磨玻璃结节区域分割3D图像；

病理类型预测模块，用于将纯磨玻璃结节区域分割3D图像输入至训练好的3D图像分类模型进行图像特征提取，并根据图像特征提取结果预测纯磨玻璃结节的病理类型及对应的概率。

本发明实施例提供的肺部纯磨玻璃结节病理类型预测装置，通过构建3D图像恢复模型获取训练好的共享特征提取编码器和解码器，并将共享特征提取编码器迁移至3D图像分割模型及3D图像分类模型中，将解码器迁移至3D图像分割模型中，依次进行模型训练，将待检测胸部CT图像依次输入至训练好的3D图像分割模型和3D图像分类模型，对待检测胸部CT图像中的纯磨玻璃结节进行识别、定位、分割及病理类型预测，并确定对应病理类型的概率。本发明通过模型训练及迁移学习，能够建立更加鲁棒精确的模型，耗时更短，利用模型对肺部纯磨玻璃结节病理类型进行预测，能够对其病理类型进行准确判断，使临床医生更好地做出最佳手术决策，从而提高患者治疗效率，避免二次创伤对患者的身体和心理带来双重打击。

第三方面，本发明提供了一种计算机设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的肺部纯磨玻璃结节病理类型预测方法。

第四方面，本发明提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的肺部纯磨玻璃结节病理类型预测方法。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的肺部纯磨玻璃结节病理类型预测方法的流程示意图；

图2是根据本发明实施例的肺部纯磨玻璃结节病理类型预测方法的模型构成示意图；

图3是根据本发明实施例的肺部纯磨玻璃结节病理类型预测方法的数据转换处理流程示意图；

图4是根据本发明实施例的肺部纯磨玻璃结节病理类型预测方法的预测效果示意图；

图5是根据本发明实施例的肺部纯磨玻璃结节病理类型预测装置的结构框图；

图6是本发明实施例的计算机设备的硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例适用于嵌入影像科、胸外科等实际临床工作流程中对纯磨玻璃结节患者的浸润性病理类型进行判断的场景。本发明实施例提供了一种肺部纯磨玻璃结节病理类型预测方法，通过人工智能算法对肺部纯磨玻璃结节进行自动识别定位及浸润性病理类型预测以达到准确预判纯磨玻璃结节的病理类型的效果。需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本实施例中提供了一种肺部纯磨玻璃结节病理类型预测方法，可用于上述的计算机，图1是根据本发明实施例的肺部纯磨玻璃结节病理类型预测方法的流程图，如图1所示，该流程包括如下步骤：

步骤S101，获取全身各部位的CT图像数据集和MRI图像数据集，并基于CT图像数据集和MRI图像数据集构建3D输入图像及3D目标图像，基于3D输入图像及对应的3D目标图像训练得到3D图像恢复模型。

具体地，在本发明实施例中，获取开源图像数据集中全身各部位的CT图像和MRI图像，来构建对应的CT图像数据集和MRI图像数据集，其中，开源图像数据集包括：LUNA 2016和Medical Segmentation Decathlon，但不以此为限。多层CT(Computed Tomography，计算机断层扫描)图像和MRI(Magnetic Resonance Imaging，磁共振成像)图像可以直接重建出组织的三维图像，因此在CT图像数据集和MRI图像数据集中随机剪裁3D感兴趣体(Volumeof Interest，VOI)，并将3D感兴趣体作为3D目标图像。然后在3D目标图像中随机加入噪声，或随机改变其图像对比度，或随机进行图像部位置零，获得3D输入图像。

在一种可选的实施方式中，本发明实施例预先构建3D图像恢复模型，然后基于3D输入图像和3D目标图像对3D图像恢复模型进行训练，使模型能够将3D输入图像恢复至初始的3D目标图像，获得训练好的3D图像恢复模型。本发明实施例通过全身各个部位的CT数据和MRI数据，使图像恢复模型学习到医学图像的基本图像分布特征，从而搭建起模型起始训练的基础。

步骤S102，将3D图像恢复模型中训练好的特征提取编码器作为共享特征提取编码器分别迁移至预先构建的3D图像分割模型和3D图像分类模型，并将3D图像恢复模型中训练好的解码器迁移至3D图像分割模型。

具体地，在本发明实施例中，将3D图像恢复模型中训练好的特征提取编码器作为共享特征提取编码器，分别迁移至预先构建的3D图像分割模型和3D图像分类模型中，并将3D图像恢复模型中训练好的解码器迁移至3D图像分割模型，即利用3D图像恢复模型中训练好的特征编码器作为3D图像分割模型或3D图像分割模型中相应的编码器的初始值，从而建立更加鲁棒精确的模型，耗时更短。其中，共享特征提取编码器用于提取图像特征，解码器用于整合来自于编码器模块提取的信息，完成相应的下游任务，如分割和分类。如图2所示，3D图像恢复单元、3D图像分割单元和3D图像分类单元均包括：输入单元(Input Module)、共享特征提取编码器(Shared Encoder Module)和独立解码器(Decoder Module)。其中，共享特征提取编码器为3D Resnet架构，3D图像恢复模型和3D图像分割模型的独立解码器为3DUNet架构，3D Resnet架构的共享特征提取编码器与3D UNet架构的独立解码器之间通过跳跃连接方式进行连接，3D图像分类模型的独立解码器为两个连接的自适应池化层(AdaptiveMaxPool3d和AdaptiveAvgPool3d)和一个全连接层构成。更具体的，图2中Convolution Layer代表卷积层，ResBlocks代表残差块，LeakyReLU代表激活层，NNUpsample代表上采样层，Input/Output Images代表输入/输出图像，Transformation(ModelGenesis)代表自监督学习变换，AdaptiveMaxPool3d代表3D自适应最大池化层，Normalization(SWN)代表归一化(随机窗口归一化)，AdaptiveAvgPool3d代表3D自适应平均池化层，ConvLinear Layers代表卷积线性层，Concatenate代表连接层，以上均为模型构建中常用的功能单元，仅作为举例，不以此为限。

步骤S103，获取胸部CT图像数据集，并对胸部CT图像数据集中已知病理类型的纯磨玻璃结节进行标注，基于标注后的胸部CT图像数据集依次对3D图像分割模型和3D图像分类模型进行训练。

具体地，在本发明实施例中，在进行3D图像分割模型和3D图像分类模型训练前，还需对标注后胸部CT图像数据集进行数据转换处理，数据转换处理包括：随机窗口归一化处理(Stochastic Window Normalization，SWN)、感兴趣体扩张和数据裁剪。其中随机窗口归一化SWN方法以腹部软组织窗口为中心进行随机化，主要算法步骤简述如下：首先，根据特定的软组织器官生成随机窗宽和窗宽，然后使用标准窗口归一化方法进行归一化。如图3所示，本发明实施例以软组织窗口(窗口水平L＝-600，半窗口宽度W＝750)作为随机抽样的中心，并使用两个高斯随机标准偏差系数(训练数据集：x＝50,y＝50；测试数据集：x＝0,y＝0)来控制随机窗口的变异性。计算每幅图像的最小-最大缩放比例时，先从单幅图像的强度中减去最小图像强度，然后除以最大和最小图像强度之差。然后对归一化后数据依次进行感兴趣体扩张和数据裁剪，并将处理后数据输入至3D图像分割模型和3D图像分类模型进行训练，在训练过程中对模型中的共享特征提取编码器和独立编码器进行微调。

步骤S104，将待检测胸部CT图像输入至训练好的3D图像分割模型进行纯磨玻璃结节的图像分割，获取待检测胸部CT图像中纯磨玻璃结节区域分割3D图像。

具体地，在本发明实施例中，将待检测胸部CT图像输入3D图像分割模型后依次对纯磨玻璃结节pGGN进行定位、识别和分割，当获取待检测胸部CT图像中纯磨玻璃结节区域分割3D图像后，还根据纯磨玻璃结节区域分割3D图像计算纯磨玻璃结节pGGN的体积和最大径，用于在临床实际工作中为医生提供结节数据信息，以便更好地进行个体化手术治疗计划。

步骤S105，将纯磨玻璃结节区域分割3D图像输入至训练好的3D图像分类模型进行图像特征提取，并根据图像特征提取结果预测纯磨玻璃结节的病理类型及对应的概率。

具体地，在本发明实施例中，纯磨玻璃结节区域分割3D图像为纯磨玻璃结节pGGN的裁剪区域，将此裁剪区域输入至训练好的3D图像分类模型来预测纯磨玻璃结节pGGN的病理类型。本发明实施例所预测的病理类型包括：浸润性腺癌(Invasive AdenocarcinomaCancer，IAC)和非浸润性腺癌，但不以此为限。本发明实施例通过3D图像分类模型能够预测待检测胸部CT图像中的纯磨玻璃结节pGGN是浸润性腺癌或非浸润性腺癌，还能够给出为浸润性腺癌或非浸润性腺癌的概率，例如以0％-100％的百分比形式表示纯磨玻璃结节pGGN是浸润性腺癌的概率，但不以此为限。本发明实施例通过3D图像分割模型和3D图像分模型对预设的内部测试集和保留测试集进纯磨玻璃结节pGGN进行病理类型预测，并以评估指标AUC(Area Under Curve)表征预测结果，如图4所示，可以看到评估指标AUC分别为0.925和0.911，证明通过本实施例进行纯磨玻璃结节的病理类型预测的效果很好。

在一种可选的实施方式中，本发明实施例通过在基于人工读片的IAC诊断中增加本发明实施例提出的纯玻璃结节端到端全自动识别定位及其病理类型评估模型，能实现对纯玻璃结节患者结节体积和最大径的定量评估及其病理类型是否浸润状态的早期预测，从而提高患者救治效率，避免浪费有限的医疗资源。

在一种可选的实施方式中，本发明实施例根据图像特征提取结果预测纯磨玻璃结节的病理类型及对应的概率后，还包括：通过预设模型激活图的可解释性二分类模块获取纯磨玻璃结节的病理类型预测结果贡献最大区域。本发明实施例采用Grad-CAM激活图进行展示，但不以此为限。Grad-CAM激活图可突出显示输入图像中对模型做出判断贡献最大的区域，而这区域通常对应这病灶区域中对浸润性IAC病理类型有重要影响的区域。使用Grad-CAM方法可以有效地对模型进行视觉解释，而不需要对架构进行更改或重新训练，因此是解释已有的3D模型的合适工具。Grad-CAM的过程包括捕捉输出类(浸润性腺癌)与本系统中最终卷积层的特征图之间的梯度。将获取的梯度经过全局平均池化后，得到神经元重要性权重，能够反映每个特征图在特定输出中的重要性。随后，对特征图及其相关权重进行线性组合，得到粗略的热图，也称为类激活图。该热图基本上代表了三维肺部CT图像中模型认为最能体现输出IAC类别的区域。因此，本发明实施例利用3D模型实施Grad-CAM后，就能直观地看到三维肺CT图像中哪些空间区域和特征对模型的决策过程影响最大。

本发明实施例提供的肺部纯磨玻璃结节病理类型预测方法，通过构建3D图像恢复模型获取训练好的共享特征提取编码器和解码器，并将共享特征提取编码器迁移至3D图像分割模型及3D图像分类模型中，将解码器迁移至3D图像分割模型中，依次进行模型训练，将待检测胸部CT图像依次输入至训练好的3D图像分割模型和3D图像分类模型，对待检测胸部CT图像中的纯磨玻璃结节进行识别、定位、分割及病理类型预测，并确定对应病理类型的概率。本发明通过模型训练及迁移学习，能够建立更加鲁棒精确的模型，耗时更短，利用模型对肺部纯磨玻璃结节病理类型进行预测，能够对其病理类型进行准确判断，使临床医生更好地做出最佳手术决策，从而提高患者治疗效率，避免二次创伤对患者的身体和心理带来双重打击。

本实施例提供一种肺部纯磨玻璃结节病理类型预测装置，如图5所示，包括：

第一模型训练模块501，用于获取全身各部位的CT图像数据集和MRI图像数据集，并基于CT图像数据集和MRI图像数据集构建3D输入图像及3D目标图像，基于3D输入图像及对应的3D目标图像训练得到3D图像恢复模型；

模型迁移模块502，用于将3D图像恢复模型中训练好的特征提取编码器作为共享特征提取编码器分别迁移至预先构建的3D图像分割模型和3D图像分类模型，并将3D图像恢复模型中训练好的解码器迁移至3D图像分割模型；

第二模型训练模块503，用于获取胸部CT图像数据集，并对胸部CT图像数据集中已知病理类型的纯磨玻璃结节进行标注，基于标注后的胸部CT图像数据集依次对3D图像分割模型和3D图像分类模型进行训练；

结节识别分割模块504，用于将待检测胸部CT图像输入至训练好的3D图像分割模型进行纯磨玻璃结节的图像分割，获取待检测胸部CT图像中纯磨玻璃结节区域分割3D图像；

病理类型预测模块505，用于将纯磨玻璃结节区域分割3D图像输入至训练好的3D图像分类模型进行图像特征提取，并根据图像特征提取结果预测纯磨玻璃结节的病理类型及对应的概率。

在一种可选的实施方式中，结节识别分割模块504还包括：结节信息获取单元，用于获取待检测胸部CT图像中纯磨玻璃结节区域分割3D图像后，根据纯磨玻璃结节区域分割3D图像计算纯磨玻璃结节的体积和最大径。

在一种可选的实施方式中，病理类型预测模块505还包括：贡献区域获取模块，用于根据图像特征提取结果预测纯磨玻璃结节的病理类型及对应的概率后，通过预设模型激活图的可解释性二分类模块获取纯磨玻璃结节的病理类型预测结果贡献最大区域。

在一种可选的实施方式中，第一模型训练模块501包括：第一图像数据集获取单元，用于获取预设开源图像数据集中全身各部位的CT图像和MRI图像，来构建对应的CT图像数据集和MRI图像数据集；在CT图像数据集和MRI图像数据集中随机剪裁3D感兴趣体，并将3D感兴趣体作为3D目标图像；在3D目标图像中随机加入噪声，或随机改变其图像对比度，或随机进行图像部位置零，获得3D输入图像。

在一种可选的实施方式中，第二模型训练模块503包括：第二图像数据集数据处理单元，用于对标注后胸部CT图像数据集进行数据转换处理，数据转换处理包括：随机窗口归一化处理、感兴趣体扩张和数据裁剪。

在一种可选的实施方式中，3D图像恢复模型、3D图像分割模型及3D图像分类模型，均包括：输入单元、共享特征提取编码器和独立解码器；3D图像分类模型的独立解码器为两个连接的自适应池化层和一个全连接层构成。

在一种可选的实施方式中，共享特征提取编码器为3D Resnet架构，3D

图像恢复模型和3D图像分割模型的独立解码器为3D UNet架构；3D Resnet架构的共享特征提取编码器与3D UNet架构的独立解码器之间通过跳跃连接方式进行连接。

上述各个模块和单元的更进一步的功能描述与上述对应实施例相同，在此不再赘述。

本实施例中的肺部纯磨玻璃结节病理类型预测装置是以功能单元的形式来呈现，这里的单元是指ASIC(Application Specific Integrated Circuit，专用集成电路)电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。

本发明实施例还提供一种计算机设备，具有上述图5所示的肺部纯磨玻璃结节病理类型预测装置。

请参阅图6，图6是本发明可选实施例提供的一种计算机设备的结构示意图，如图6所示，该计算机设备包括：一个或多个处理器10、存储器20，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相通信连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在计算机设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在一些可选的实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个计算机设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器10为例。

处理器10可以是中央处理器，网络处理器或其组合。其中，处理器10还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路，可编程逻辑器件或其组合。上述可编程逻辑器件可以是复杂可编程逻辑器件，现场可编程逻辑门阵列，通用阵列逻辑或其任意组合。

其中，存储器20存储有可由至少一个处理器10执行的指令，以使至少一个处理器10执行实现上述实施例示出的方法。

存储器20可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器20可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些可选的实施方式中，存储器20可选包括相对于处理器10远程设置的存储器，这些远程存储器可以通过网络连接至该计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

存储器20可以包括易失性存储器，例如，随机存取存储器；存储器也可以包括非易失性存储器，例如，快闪存储器，硬盘或固态硬盘；存储器20还可以包括上述种类的存储器的组合。

该计算机设备还包括通信接口30，用于该计算机设备与其他设备或通信网络通信。

本发明实施例还提供了一种计算机可读存储介质，上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可记录在存储介质，或者被实现通过网络下载的原始存储在远程存储介质或非暂时机器可读存储介质中并将被存储在本地存储介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件的存储介质上的这样的软件处理。其中，存储介质可为磁碟、光盘、只读存储记忆体、随机存储记忆体、快闪存储器、硬盘或固态硬盘等；进一步地，存储介质还可以包括上述种类的存储器的组合。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件，当软件或计算机代码被计算机、处理器或硬件访问且执行时，实现上述实施例示出的方法。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种肺部纯磨玻璃结节的病理类型预测方法，其特征在于，包括：

获取全身各部位的CT图像数据集和MRI图像数据集，并基于所述CT图像数据集和MRI图像数据集构建3D输入图像及3D目标图像，基于所述3D输入图像及对应的3D目标图像训练得到3D图像恢复模型；

将所述3D图像恢复模型中训练好的特征提取编码器作为共享特征提取编码器分别迁移至预先构建的3D图像分割模型和3D图像分类模型，并将所述3D图像恢复模型中训练好的解码器迁移至所述3D图像分割模型；

获取胸部CT图像数据集，并对所述胸部CT图像数据集中已知病理类型的纯磨玻璃结节进行标注，基于标注后的胸部CT图像数据集依次对所述3D图像分割模型和3D图像分类模型进行训练；

将待检测胸部CT图像输入至训练好的3D图像分割模型进行纯磨玻璃结节的图像分割，获取所述待检测胸部CT图像中纯磨玻璃结节区域分割3D图像；

将所述纯磨玻璃结节区域分割3D图像输入至训练好的3D图像分类模型进行图像特征提取，并根据图像特征提取结果预测所述纯磨玻璃结节的病理类型及对应的概率。

2.根据权利要求1所述的方法，其特征在于，获取所述待检测胸部CT图像中纯磨玻璃结节区域分割3D图像后，还包括：根据所述纯磨玻璃结节区域分割3D图像计算所述纯磨玻璃结节的体积和最大径。

3.根据权利要求1所述的方法，其特征在于，根据图像特征提取结果预测所述纯磨玻璃结节的病理类型及对应的概率后，还包括：通过预设模型激活图的可解释性二分类模块获取所述纯磨玻璃结节的病理类型预测结果贡献最大区域。

4.根据权利要求1所述的方法，其特征在于，所述获取全身各部位的CT图像数据集和MRI图像数据集，并基于所述CT图像数据集和MRI图像数据集构建3D输入图像及3D目标图像的过程，包括：

获取预设开源图像数据集中全身各部位的CT图像和MRI图像，来构建对应的CT图像数据集和MRI图像数据集；

在所述CT图像数据集和MRI图像数据集中随机剪裁3D感兴趣体，并将所述3D感兴趣体作为3D目标图像；

在所述3D目标图像中随机加入噪声，或随机改变其图像对比度，或随机进行图像部位置零，获得所述3D输入图像。

5.根据权利要求1所述的方法，其特征在于，获取胸部CT图像数据集，并对所述胸部CT图像数据集中已知病理类型的纯磨玻璃结节进行标注后，还包括：对标注后胸部CT图像数据集进行数据转换处理，所述数据转换处理包括：随机窗口归一化处理、感兴趣体扩张和数据裁剪。

6.根据权利要求1所述的方法，其特征在于，所述3D图像恢复模型、3D图像分割模型及3D图像分类模型，均包括：输入单元、共享特征提取编码器和独立解码器；

所述3D图像分类模型的独立解码器为两个连接的自适应池化层和一个全连接层构成。

7.根据权利要求6所述的方法，其特征在于，所述共享特征提取编码器为3D Resnet架构，所述3D图像恢复模型和3D图像分割模型的独立解码器为3D UNet架构；

所述3D Resnet架构的共享特征提取编码器与所述3D UNet架构的独立解码器之间通过跳跃连接方式进行连接。

8.一种肺部纯磨玻璃结节病理类型预测装置，其特征在于，所述装置包括：

第一模型训练模块，用于获取全身各部位的CT图像数据集和MRI图像数据集，并基于所述CT图像数据集和MRI图像数据集构建3D输入图像及3D目标图像，基于所述3D输入图像及对应的3D目标图像训练得到3D图像恢复模型；

模型迁移模块，用于将所述3D图像恢复模型中训练好的特征提取编码器作为共享特征提取编码器分别迁移至预先构建的3D图像分割模型和3D图像分类模型中，并将所述3D图像恢复模型中训练好的解码器迁移至所述3D图像分割模型；

第二模型训练模块，用于获取胸部CT图像数据集，并对所述胸部CT图像数据集中已知病理类型的纯磨玻璃结节进行标注，基于标注后的胸部CT图像数据集依次对所述3D图像分割模型和3D图像分类模型进行训练；

结节识别分割模块，用于将待检测胸部CT图像输入至训练好的3D图像分割模型进行纯磨玻璃结节的图像分割，获取所述待检测胸部CT图像中纯磨玻璃结节区域分割3D图像；

病理类型预测模块，用于将所述纯磨玻璃结节区域分割3D图像输入至训练好的3D图像分类模型进行图像特征提取，并根据图像特征提取结果预测所述纯磨玻璃结节的病理类型及对应的概率。

9.一种计算机设备，其特征在于，包括：

存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1至7中任一项所述的肺部纯磨玻璃结节病理类型预测方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行权利要求1至7中任一项所述的肺部纯磨玻璃结节病理类型预测方法。