CN109948667A - 用于对头颈部癌症远端转移预测的图像分类方法及装置 - Google Patents

Abstract

本发明提出一种用于对头颈部癌症远端转移预测的图像分类方法，包括：采集医学影像数据，其中所述医学影像数据包括肺部CT数据和头颈部CT数据；对所述医学影像数据进行预处理；根据预处理后的医学影像数据构建第一分类器模型和第二分类器模型，基于临床变量构建第三分类器模型，其中，所述第一分类器模型为基于卷积神经网络的影像组学分类器，所述第二分类器模型为基于特征工程影像组学的分类器，所述第三分类器为基于临床信息的分类器；将所述第一分类器模型、第二分类器模型、第三分类器模型通过加权平均的方法进行集成，构成最终的分类模型；将医学图像及临床信息输入到所述最终的分类模型中，对所述医学图像进行分类。

Description

用于对头颈部癌症远端转移预测的图像分类方法及装置

技术领域

本发明涉及图像分类领域，具体涉及一种用于对头颈部癌症远端转移预测的图像分类方法及装置。

背景技术

头颈部恶性肿瘤约占全身恶性肿瘤的5％，绝大多数病理类型为鳞状细胞癌。头颈部鳞癌由于解剖结构复杂等原因，手术虽为治疗的主要方式，但根治性切除率较低，并且早期临床症状隐匿，患者就诊时多已处于肿瘤中晚期，故一直是肿瘤治疗上的难点。头颈部鳞癌的诊断通常需要结合病史、体征、内镜下活组织病理检查及相关影像学检查，其中影像学检查有助于肿瘤的检测、分期及治疗预后的评估。预测肿瘤是否转移对于医生制定手术方案有重要指导意义。影像组学是临床医学的新兴方法，指通过定量医学影像来描述肿瘤的异质性，构造大量纹理图像特征，对临床问题进行分析决策。利用先进机器学习方法实现的影像组学已经大大提高了肿瘤良恶性的预测准确性。研究表明，通过客观定量的描述影像信息，并结合临床经验，对肿瘤进行术前预测及预后分析，将对临床产生更好的指导价值。深度学习已经在自然图像分类上取得了骄人的成绩，目前也已有研究将深度学习应用于医学影像处理诊断，但是头颈部癌症的影像资料较少，目前一直没有人将深度学习应用于头颈部癌症的远转移预测。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种用于对头颈部癌症远端转移预测的图像分类方法及装置。

为实现上述目的及其他相关目的，本发明提供一种用于对头颈部癌症远端转移预测的图像分类方法，该方法包括：

采集医学影像数据，其中所述医学影像数据包括肺部CT数据和头颈部CT数据；

对所述医学影像数据进行预处理；

根据预处理后的医学影像数据构建第一分类器模型和第二分类器模型，基于临床变量构建第三分类器模型，其中，所述第一分类器模型为基于卷积神经网络的影像组学分类器，所述第二分类器模型为基于特征工程影像组学的分类器，所述第三分类器为基于临床信息的分类器；

将所述第一分类器模型、第二分类器模型、第三分类器模型通过加权平均的方法进行集成，构成最终的分类模型；

将医学图像及临床信息输入到最终分类器模型中，对所述医学图像进行分类。

可选地，采用卷积神经网络构建第一分类器模块。

可选地，在构建第一分类器模块过程中，选用ReLu作为激活函数。

可选地，在卷积神经网络的第一层和第二层重采样后分别增加了LRN层，在第六层和第七层全连接层后分别使用了Dropout层。

可选地，在构建第二分类器模型过程中，将肿瘤区域的CT图像中提取的特征分为：I)10个一阶特征；II)5种形态特征；III)每个特征使用40种不同的提取参数组合计算得到的共40个纹理特征；

其中，10个一阶特征分别为方差、协方差、峰度、SUV最大值、SUV峰值、SUV均值、SUV曲线下面积、总病变糖酵解、失活体积百分比和广义有效总量；

5个形状特征分别为体积、大小、坚固性、偏心率和紧凑性；

在40个纹理特征中，9个特征来自灰度共生矩阵，13个特征来自灰度级运行长度矩阵，13个特征来自灰度级区域矩阵，5个特征来自邻域灰度差矩阵。

为实现上述目的及其他相关目的，本发明还提供一种用于对头颈部癌症远端转移预测的图像分类装置，该装置包括：

数据采集模块，用于采集医学影像数据，其中所述医学影像数据包括肺部CT数据和头颈部CT数据；

数据处理模块，用于对所述医学影像数据进行预处理；

模型构建模块，用于根据预处理后的医学影像数据构建第一分类器模型和第二分类器模型，基于临床变量构建第三分类器模型，其中，所述第一分类器模型为基于卷积神经网络的影像组学分类器，所述第二分类器模型为基于特征工程影像组学的分类器，所述第三分类器为基于临床信息的分类器；

集成模块，用于将所述第一分类器模型、第二分类器模型、第三分类器模型通过加权平均的方法进行集成，构成最终的分类模型；

分类模型，用于将医学图像及临床信息输入到最终分类器模型中，对所述医学图像进行分类。

可选地，采用卷积神经网络构建第一分类器模块。

可选地，在构建第一分类器模块过程中，选用ReLu作为激活函数。

可选地，在卷积神经网络的第一层和第二层重采样后分别增加了LRN层，在第六层和第七层全连接层后分别使用了Dropout层。

可选地，在构建第二分类器模型过程中，将肿瘤区域的CT图像中提取的特征分为：I)10个一阶特征；II)5种形态特征；III)每个特征使用40种不同的提取参数组合计算得到的共40个纹理特征；

其中，10个一阶特征分别为方差、协方差、峰度、SUV最大值、SUV峰值、SUV均值、SUV曲线下面积、总病变糖酵解、失活体积百分比和广义有效总量；

5个形状特征分别为体积、大小、坚固性、偏心率和紧凑性；

在40个纹理特征中，9个特征来自灰度共生矩阵，13个特征来自灰度级运行长度矩阵，13个特征来自灰度级区域矩阵，5个特征来自邻域灰度差矩阵。

如上所述，本发明的一种用于对头颈部癌症进行远端转移预测的图像分类装置，具有以下有益效果：

综上，本发明采用影像组学的方法代替活检方法对头颈部癌症进行远端转移的预测，避免头颈部病人承受多次活检的痛苦，这种方法已经应用于肺癌的侦查，但尚未应用到头颈部癌症的转移。采用深度学习的方法对原影像组学的特征提取算法进行补充，并采用肺部诊查图像到头颈部的迁移学习算法，解决头颈部医学图像较少的问题。

附图说明

为了进一步阐述本发明所描述的内容，下面结合附图对本发明的具体实施方式作进一步详细的说明。应当理解，这些附图仅作为典型示例，而不应看作是对本发明的范围的限定。

图1为本发明所述方法的原理图；

图2为本发明所述方法中的第一分类器模型的构建原理图；

图3为本发明所述方法中的AlexNet网络架构示意图；

图4为本发明所述方法中的超参数调优过程示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

本发明提供一种预测头颈部癌症远端转移的预测装置，具体包括：

数据采集模块，用于采集医学影像数据，其中所述医学影像数据包括肺部CT数据和头颈部CT数据；

数据处理模块，用于对所述医学影像数据进行预处理；

模型构建模块，用于根据预处理后的医学影像数据构建第一分类器模型和第二分类器模型，基于临床变量构建第三分类器模型，其中，所述第一分类器模型为基于卷积神经网络的影像组学分类器，所述第二分类器模型为基于特征工程影像组学的分类器，所述第三分类器为基于临床信息的分类器；

集成模块，用于将所述第一分类器模型、第二分类器模型、第三分类器模型通过加权平均的方法进行集成，构成最终的分类模型；

分类模型，用于将医学图像及临床信息输入到最终分类器模型中，对所述医学图像进行分类患。

于本实施例中，数据处理模块，用于对所述医学影像数据进行预处理。

医学影像数据预处理包括对肺部CT数据处理和头颈部CT数据预处理，其中对肺部CT数据处理包括：标注迁移和CT影像分组，

标注迁移，标注迁移的数据源为LIDC-IDRI，该数据集由胸部医学图像文件(如CT、X光片)和对应的诊断结果病变标注组成。该数据是由美国国家癌症研究所(NationalCancer Institute)发起收集的，目的是为了研究高危人群早期癌症检测。该数据集中，共收录了1018个研究实例。对于每个实例中的图像，都由4位经验丰富的胸部放射科医师进行两阶段的诊断标注。在第一阶段，每位医师分别独立诊断并标注病患位置，其中会标注三中类别：1)>＝3mm的结节，2)<3mm的结节，3)>＝3mm的非结节。在随后的第二阶段中，各位医师都分别独立的复审其他三位医师的标注，并给出自己最终的诊断结果。这样的两阶段标注可以在避免forced consensus的前提下，尽可能完整的标注所有结果。

根据Chad Tang等人的研究，肿瘤的体积因素与是否发生远端转移有很强的相关性，参考Martin Vallières影像组学在头颈部癌症远端转移应用的研究，可以知道当用体积作为特征表达时，影像组学对于远转移的预测的准确性可以达到0.86，特异性可达0.86。基于此，将肺结节>＝3mm的影像重新标注，设置为远转移发生(DM＝1)；将<3mm的结节和非结节标注为远转移未发生(DM＝0)，并以新标签作为监督学习依据。

CT影像分组：

数据集包含1018名患者，CT序列1018个，CR/DR 209例，为了可以和头颈部癌症的图像对比，舍弃CR/DR图像，进采用CT序列为研究数据。将CT图像分为两组，340例为测试集，678例为训练集，测试集于训练集的比例为1：2。

头颈部CT数据预处理

本发明所选择的头颈部癌症的CT影像来源于The Cancer Imaging Archive(TCIA)，我们对来自四个不同机构的300名头颈部癌症患者的医学成像和临床数据进行了分析，这些患者的治疗管理为单独接受放射治疗(n＝48,16％)或化疗放疗治疗(n＝252,84％)。所有患者的中位随访期为43个月(范围：6-112)。

H&N1组，数据集包括92名在加拿大QC的général juif(HGJ)治疗的头颈部鳞状细胞癌(HNSCC)患者。在随访期间，16名患者发生远处转移(17％)。该数据集被用作训练集的一部分。

H&N2组数据集由102名头颈部鳞状细胞癌(HNSCC)患者组成，这些患者在加拿大QC中心医院(CHUS)接受治疗。在随访期间，10名患者发生远处转移(10％)。该数据集被用作训练集的一部分。

H&N3组数据集包括在加拿大QC的Maisonneuve-Rosemont(HMR)治疗的41名头颈部鳞状细胞癌(HNSCC)患者。在随访期间，11例患者发生远处转移(27％)。该数据集用作测试集的一部分。

H&N4数据集由65名头颈部鳞状细胞癌(HNSCC)患者组成，这些患者在加拿大QC中心的蒙特利尔大学医院(CHUM)接受治疗。在随访期间，3例发生远处转移(5％)。该数据集用作测试集的一部分。

所有患者在治疗前的中位数18天(范围：6-66)内接受FDG-PET/CT成像扫描。300名患者中，有93名(31％)患者的医学影像轮廓由放射科专家直接在PET/CT扫描的CT上绘制，之后用于治疗计划的制定。另外207名(69％)患者，其医学影像疗轮廓在专用于治疗计划制定的的不同CT扫描上绘制，并使用软件MIM(MIM软件公司，Cleveland，OH)采用基于强度的自由形式可变形配准传播/重新采样方式重新扫描到FDG-PET/CT影像。同样的，为了能与肺结节患者的图像对应，数据集选取CT部分。

模型构建模块，用于根据预处理后的医学影像数据构建第一分类器模型和第二分类器模型，基于临床变量构建第三分类器模型，其中，所述第一分类器模型为基于卷积神经网络的影像组学分类器，所述第二分类器模型为基于特征工程影像组学的分类器，所述第三分类器为基于临床信息的分类器。

第一分类器模型的构建包括：

基于肺结节图像的CNN(AlexNet)的影像组学预测模型构建

AlexNet网络是Geoffrey Hinton的学生Alex Krizhevsky提出的，它包括了6亿3000万个连接，6000万个参数和65万个神经元，其网络架构包含5个卷积层，其中在第一层卷积、第二层卷积、第五层卷积后跟了最大重采样层，最后加了3个全连接层，该网络模型以显著的优势赢得了2012年的大规模视觉识别挑战赛(ImageNet Large Scale VisualRecognition Challenge，ILSVRC)的第一名，其top-5错误率降低至16.4％，相比第二名的成绩26.2％具有巨大的提升。主要技术特点描述如下：

激活函数选用ReLu(Rectified Linear Unit)，相较之前的激活函数tanh(Hyperbolic Tangent)和sigmoid，ReLu运算复杂度降低，收敛速度更快，且对于随着网络的加深而出现的梯度消失现象具有抑制作用。

在第六层和第七层全连接层后分别使用了Dropout层，它按照一定的Dropout率随机忽略一部分神经元，即是从原始网络得到了一个更“瘦”的网络。通过使用该技术，增强了模型的泛化能力，同时在很大程度上防止了过拟合。

在网络的第一层和第二层重采样后分别增加了LRN层，LRN(Local ResponseNormalization)层主要是借鉴生物神经学的“侧抑制”机制，对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力。AlexNet网络架构图如图3所示。

以肺部CT图像作为输入，在上述卷积网络模型后加入随机森林分类，输出结果为标注迁移后的结果，即DM＝0或DM＝1，以此做有监督学习，用训练集网络训练，用测试集评估模型，确定网络相关参数，例如，随机森林的树木个数。

引入头颈部CT图像的超参数精调AlexNet网络

卷积神经网络超参数的选取，如不同的学习率，训练轮数等，是影响其识别率的一个关键因素，为了选取合适的超参数，将头颈部CT影像作为超参数调优样本，具体工作流程如图4所示。

经过调优后的卷积神经网络，可对输入的头颈部患者CT图像进行识别。

所述第二分类器的构建包括：CT图像的特征选择和基于特征工程影像组学的分类器构建。

将最初的CT图像和DICOM格式的相关放射治疗轮廓图像，使用MATLAB中(MathWorks，Natick，MA)内部例程读取完整的数据集并将其转化为Matlab可以识别的格式。CT图像以HU(Hounsfield Unit)格式保存。然后，从由每个机构的放射肿瘤学家描绘的“原发型GTV+淋巴结型GTV”轮廓定义的肿瘤区域CT图像中提取了总共1615个影像特征。这些特征可以分为三种：I)10个一阶统计特征(强度)；II)5种形态特征(形状)；III)每个特征使用40种不同的提取参数组合计算得到的共40个纹理特征。

本发明提取的10个一阶特征为方差(variance)，协方差(skewness)，峰度(kurtosis)，SUV最大值(SUVmax)，SUV峰值(SUVpeak)，SUV均值(SUVmean)，SUV曲线下面积(AUC)，总病变糖酵解(total lesion glycolysis)，失活体积百分比(percentage ofinactive volume)和广义有效总量(generalized effective total uptake)。提取的5个形状特征用以描述ROI的几何特性，分别为特征是体积，大小(肿瘤最大直径)，坚固性(solidity)，偏心率(eccentricity)和紧凑性(compactness)。

本发明中，40个纹理特征为包括9个特征来自灰度共生矩阵(GLCM)，13个特征来自灰度级运行长度矩阵(GLRLM)，13个特征来自灰度级区域矩阵(GLSZM)，5个特征来自邻域灰度差矩阵(NGTDM)。本发明采样得到同样大小的体素，用26体素-3D分析方法连接来构建所有纹理矩阵。对于四种中的每一种纹理类型，每次扫描仅计算一个矩阵，且只考虑3D空间的同时相连的13个方向中的体素。40种提取方法为下列不同形式的排列组合，1)体素尺寸(5个)：体素尺寸为1mm，2mm，3mm，4mm和5mm。2)量化算法(2个)：等概率(强度直方图均衡)量化算法和具有固定数量的灰度级的均匀(强度范围的均衡)量化算法。3)灰度级数(4个)：量化ROI中固定的8,16,32和64灰度级数。

基于特征工程影像组学的分类器构建，首先，使用信息增益方程方法，对每个初始特征集执行特征集缩减，目的是在预测能力(斯皮尔曼相关系数)和非冗余(最大信息系数)之间达到平衡，得到25个不同特征的简化特征集。然后，使用前向逐步逻辑回归方法特征选择，对于每个简化特征集，选择1到10的特征组合作为模型阶数(即组合变量的数量)。

在得到最佳模型的阶数后，使用0.632+自助重采样方法在训练集上进行预测评估，以得到对远端转移风险预测的最终逻辑回归系数。最后，在定义的测试集中来测试这些最终构建随机森林预测模型，并进行性能评估。

第三分类器模型的构建包括：

首先，构建了仅包含以下临床变量的用于DM预测的随机森林分类器：I)年龄；II)头颈部癌症型(口咽癌，下咽癌，鼻咽癌或喉癌)；和III)肿瘤分期。选择以下肿瘤阶段变量的组合输入临床随机森林分类器：I)T分期；II)N分期；III)T分期和N分期；IV)TNM分期。得到的最佳分期为N-分期。进而使用年龄、肿瘤类型结N-分期，可对远端转移的预测达到最好效果。

集成模块，用于将所述第一分类器模型、第二分类器模型、第三分类器模型通过加权平均的方法进行集成，构成最终的分类模型；

将上述的第一分类器模型、第二分类器模型和第三分类器模型通过加权平均的方法进行集成，构成最终的分类模型。

通过训练集进行权重的训练，通过测试集来进行模型性能的评估，使用ROC指标评估预测性能，具体包含AUC，及一致性指数(CI)，理论计算结果AUC＝0.86且CI＝0.88。

本发明采用影像组学的方法代替活检方法对头颈部癌症进行远端转移的图像进行分类，避免头颈部病人承受多次活检的痛苦。

本发明采用深度学习的方法对原影像组学的特征提取算法进行补充，并采用肺部诊查图像到头颈部的迁移标注，解决头颈部医学图像较少的问题。

本发明提出用含深度学习的影像组学与含特征工程的影像组学进行加权平均的集成算法，提高分类准确率。

如图1所示，本发明还提供一种用于对头颈部癌症远端转移预测的图像分类方法，该方法包括：

采集医学影像数据，其中所述医学影像数据包括肺部CT数据和头颈部CT数据；

对所述医学影像数据进行预处理；

根据预处理后的医学影像数据构建第一分类器模型和第二分类器模型，基于临床变量构建第三分类器模型，其中，所述第一分类器模型为基于卷积神经网络的影像组学分类器，所述第二分类器模型为基于特征工程影像组学的分类器，所述第三分类器为基于临床信息的分类器；

将所述第一分类器模型、第二分类器模型、第三分类器模型通过加权平均的方法进行集成，构成最终的分类模型；

将医学图像及临床信息输入到最终分类器模型中，对所述医学图像进行分类。

在本发明中，上述方法的步骤实现都可以通过以上装置的功能来实现，在此就不再赘述。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种用于对头颈部癌症远端转移预测的图像分类方法，其特征在于，该方法包括：

采集医学影像数据，其中所述医学影像数据包括肺部CT数据和头颈部CT数据；

对所述医学影像数据进行预处理；

根据预处理后的医学影像数据构建第一分类器模型和第二分类器模型，基于临床变量构建第三分类器模型，其中，所述第一分类器模型为基于卷积神经网络的影像组学分类器，所述第二分类器模型为基于特征工程影像组学的分类器，所述第三分类器为基于临床信息的分类器；

将所述第一分类器模型、第二分类器模型、第三分类器模型通过加权平均的方法进行集成，构成最终的分类模型；

将医学图像及临床信息输入到最终分类器模型中，对所述医学图像进行分类。

2.根据权利要求1所述的一种用于对头颈部癌症远端转移预测的图像分类方法，其特征在于，采用卷积神经网络构建第一分类器模块。

3.根据权利要求2所述的一种用于对头颈部癌症远端转移预测的图像分类方法，其特征在于，在构建第一分类器模块过程中，选用ReLu作为激活函数。

4.根据权利要求3所述的一种用于对头颈部癌症远端转移预测的图像分类方法，其特征在于，在卷积神经网络的第一层和第二层重采样后分别增加了LRN层，在第六层和第七层全连接层后分别使用了Dropout层。

5.根据权利要求1所述的一种用于对头颈部癌症远端转移预测的图像分类方法，其特征在于，在构建第二分类器模型过程中，将肿瘤区域的CT图像中提取的特征分为：I)10个一阶特征；II)5种形态特征；III)每个特征使用40种不同的提取参数组合计算得到的共40个纹理特征；

其中，10个一阶特征分别为方差、协方差、峰度、SUV最大值、SUV峰值、SUV均值、SUV曲线下面积、总病变糖酵解、失活体积百分比和广义有效总量；

5个形状特征分别为体积、大小、坚固性、偏心率和紧凑性；

在40个纹理特征中，9个特征来自灰度共生矩阵，13个特征来自灰度级运行长度矩阵，13个特征来自灰度级区域矩阵，5个特征来自邻域灰度差矩阵。

6.一种用于对头颈部癌症远端转移预测的图像分类装置，其特征在于，该装置包括：

数据采集模块，用于采集医学影像数据，其中所述医学影像数据包括肺部CT数据和头颈部CT数据；

数据处理模块，用于对所述医学影像数据进行预处理；

模型构建模块，用于根据预处理后的医学影像数据构建第一分类器模型和第二分类器模型，基于临床变量构建第三分类器模型，其中，所述第一分类器模型为基于卷积神经网络的影像组学分类器，所述第二分类器模型为基于特征工程影像组学的分类器，所述第三分类器为基于临床信息的分类器；

集成模块，用于将所述第一分类器模型、第二分类器模型、第三分类器模型通过加权平均的方法进行集成，构成最终的分类模型；

分类模型，用于将医学图像及临床信息输入到最终分类器模型中，对所述医学图像进行分类。

7.根据权利要求1所述的一种用于对头颈部癌症远端转移预测的图像分类装置，其特征在于，采用卷积神经网络构建第一分类器模块。

8.根据权利要求2所述的一种用于对头颈部癌症远端转移预测的图像分类装置，其特征在于，在构建第一分类器模块过程中，选用ReLu作为激活函数。

9.根据权利要求3所述的一种用于对头颈部癌症远端转移预测的图像分类装置，其特征在于，在卷积神经网络的第一层和第二层重采样后分别增加了LRN层，在第六层和第七层全连接层后分别使用了Dropout层。

10.根据权利要求1所述的一种用于对头颈部癌症远端转移预测的图像分类装置，其特征在于，在构建第二分类器模型过程中，将肿瘤区域的CT图像中提取的特征分为：I)10个一阶特征；II)5种形态特征；III)每个特征使用40种不同的提取参数组合计算得到的共40个纹理特征；

其中，10个一阶特征分别为方差、协方差、峰度、SUV最大值、SUV峰值、SUV均值、SUV曲线下面积、总病变糖酵解、失活体积百分比和广义有效总量；

5个形状特征分别为体积、大小、坚固性、偏心率和紧凑性；

在40个纹理特征中，9个特征来自灰度共生矩阵，13个特征来自灰度级运行长度矩阵，13个特征来自灰度级区域矩阵，5个特征来自邻域灰度差矩阵。