CN108257134B

CN108257134B - 基于深度学习的鼻咽癌病灶自动分割方法和系统

Info

Publication number: CN108257134B
Application number: CN201711396479.5A
Authority: CN
Inventors: 黄炳升; 黄斌; 叶裕丰; 李乔亮; 陈哲玮
Original assignee: Shenzhen University
Current assignee: Shenzhen University
Priority date: 2017-12-21
Filing date: 2017-12-21
Publication date: 2022-08-23
Anticipated expiration: 2037-12-21
Also published as: CN108257134A

Abstract

本发明公开了一种基于深度学习的鼻咽癌病灶自动分割方法和系统，方法包括：对鼻咽癌的PET图像和CT图像进行配准，得到配准后的PET图像和CT图像；将配准后的PET图像和CT图像输入卷积神经网络进行特征提取和得分图重建，得到鼻咽癌病灶分割结果图。本发明对鼻咽癌的PET图像和CT图像进行配准并通过卷积神经网络来自动分割出鼻咽癌病灶，与医生手动分割方式相比，更加客观和准确；采用了深度学习中的卷积神经网络，一致性更好，特征学习能力更强，解决了维数灾难和易陷入局部最优等问题，且能对PET‑CT图像这一多模态图像进行病灶分割，适用范围更广。本发明可广泛应用于医疗图像处理领域。

Description

基于深度学习的鼻咽癌病灶自动分割方法和系统

技术领域

本发明涉及医疗图像处理领域，尤其是一种基于深度学习的鼻咽癌病灶自动分割方法和系统。

背景技术

正电子发射断层扫描(Positron Emission Tomography，PET)的成像原理是用放射性核素标记能参与人体代谢的化合物，合成的物质叫做显影剂或示踪剂，考虑到大放射剂量对人体健康有危害等因素，一般使用半衰期较短的放射性核素，例如：用18F标记葡萄糖，用11C标记胆碱，用13N标记氨基酸等。通过将这些示踪剂注射到受检者体内，即可参与受检者的代谢过程。放射性核素在参与代谢的过程中，同时发生衰变，质子释放正电子和中微子衰变为中子，正电子在人体内移动约1-3mm后与负电子结合发生湮灭现象，并释放出两个能量相等且方向相反的γ光子。在PET探测器系统内，湮灭产生的两个γ光子分别被两个探头检测到。计算机依据探测器检测到的光子数据，即可重建出人体内放射性核素的分布投影，以表现人体的代谢情况。由于示踪剂可以直接参与人体的代谢，因此PET能够更确切地表达人体生化、生理状况。又由于恶性肿瘤葡萄糖代谢旺盛，所以在肿瘤检测中一般使用18F标记的葡萄糖作为示踪剂。然而，PET图像的不足之处在于不能提供清晰的人体解剖结构，无法做出精确的诊断。

计算机断层扫描(Computed Tomography，CT)的成像原理是从各个角度用X光射线照射人体，由于人体内不同器官和组织的密度与厚度是不同的，使得X射线穿过人体不同组织后会存在不同程度的衰减，根据衰减程度可得到不同组织或器官的灰阶投影图像。计算机依据不同角度的灰阶投影图像，即可重建出人体断层图像。CT能较为清晰地显示人体解剖结构的状况，但是不能提供代谢信息。通过CT图像诊断的肿瘤必须具有一定规模大小，不能准确地诊断早期小肿瘤。

PET-CT一体机的出现使得同时获得PET和CT图像成为可能，极大地降低了配准难度，使其极易融合为PET-CT图像。PET-CT图像结合了PET与CT图像的优势，相互弥补了各自的缺点，能够同时表征人体代谢信息与人体解剖信息。综合这两种信息的PET-CT图像能更准确地评估病人的病情，大大提高了早期小肿瘤的诊断能力，以及放射靶区勾画的精确度。

鼻咽癌(nasopharyngeal carcinoma，NPC)是一种恶性肿瘤，源自鼻咽部，易扩散至淋巴系统，对人类健康构成巨大威胁，其较为确定的致病因素为：EB病毒、环境因素或遗传因素等。因为鼻咽癌细胞对放射线敏感，所以放射治疗是目前公认且有效的治疗手段，其治疗后5年总生存率大约为74.9％。鼻咽癌的放射治疗依赖于对鼻咽癌病灶区域(放射靶区)进行准确勾画(即病灶分割)。

目前鼻咽癌的放射靶区大多依靠医生手动进行勾画，不仅需要大量的时间与精力，而且其受主观性和医生经验的影响较大，可能会因疲劳或者经验不足等导致每次勾画结果不一致。例如，在鼻咽癌PET-CT图像中，炎症与肿瘤十分相似，容易被经验不足的医生判为肿瘤。

相对于医生手动分割，机器分割速度快，更加客观，对医生经验的要求不高，能够保证每次分割结果的一致性较好。因此，目前已有部分研究将传统机器学习方法应用来进行鼻咽癌病灶分割，如应用位置分布图的SVM分割方法，应用互信息的图割法等。然而受传统机器学习方法的限制，这些方法存在特征学习能力不足、维数灾难、易陷入局部最优等缺点，且其只适用于PET图像或CT图像等单模态图像的病灶分割，不适用于PET-CT图像这一多模态图像的病灶分割，亟待进一步改进。

发明内容

为解决上述技术问题，本发明的目的在于：提供一种特征学习能力强、一致性好、准确、全面和适用性广的基于特征深度学习的鼻咽癌病灶自动分割方法和系统。

本发明所采取的第一技术方案是：

基于深度学习的鼻咽癌病灶自动分割方法，包括以下步骤：

对鼻咽癌的PET图像和CT图像进行配准，得到配准后的PET图像和CT图像；

将配准后的PET图像和CT图像输入卷积神经网络进行特征提取和得分图重建，得到鼻咽癌病灶分割结果图。

进一步，所述对鼻咽癌的PET图像和CT图像进行配准，得到配准后的PET图像和CT图像这一步骤，具体包括：

采用双线性插值算法对PET图像进行配准，使得配准后的PET图像与CT图像大小相等且像素点一一对应；

对配准后的PET图像与CT图像进行归一化处理，得到归一化后的CT图像和PET图像。

进一步，所述将配准后的PET图像和CT图像输入卷积神经网络进行特征提取和得分图重建，得到鼻咽癌病灶分割结果图这一步骤，具体为：

将配准后的PET图像和CT图像同时输入卷积神经网络，由卷积神经网络进行处理得到肿瘤的分割结果图，所述由卷积神经网络进行处理分为特征提取阶段和得分图重建阶段，所述特征提取阶段对输入的PET图像和CT图像进行特征提取、特征融合和排列组合，得到用于肿瘤识别并具有语义信息的得分图；所述特征提取阶段得到的得分图输入得分图重建阶段进行得分图重建，最终得到鼻咽癌病灶分割结果图，所述鼻咽癌病灶分割结果图与输入的配准后的PET图像或CT图像大小相同。

进一步，所述特征提取阶段对输入的PET图像和CT图像进行特征提取、特征融合和排列组合，得到用于肿瘤识别并具有语义信息的得分图这一步骤，具体包括：

将配准后的PET图像和CT图像同时输入由第1至第N个下采样块依次连接所组成的下采样块中，得到PET图像和CT图像融合后的第1至第N个特征图，其中每个下采样块包括一个第一卷积层、一个激活层和一个池化层，N为正整数；

将第N个特征图输入由第1至第M个排列组合单元依次连接所组成的抽象排列块中，最终得到用于肿瘤识别并具有语义信息的得分图，其中每个排列组合单元包括一个第二卷积层和一个激活层，M为正整数。

进一步，所述特征提取阶段得到的得分图输入得分图重建阶段进行得分图重建，最终得到鼻咽癌病灶分割结果图这一步骤，具体为：

将得到的得分图输入由第1至第N个上采样块依次连接所组成的上采样块、第三卷积层和一个激活层中进行反卷积和放大，最终得到鼻咽癌病灶分割结果图，其中，每个上采样块包括一个反卷积层、一个连接层、一个第四卷积层和一个激活层，N个连接层与特征提取阶段融合后的第1至第N个特征图对应连接。

进一步，所述卷积神经网络各层的参数为预训练的参数，所述卷积神经网络各层的参数的预训练过程具体包括以下步骤：

按预设的比例将给定的样本分为训练样本和测试样本；

应用训练样本采用分阶段的训练方法对卷积神经网络进行训练，得到鼻咽癌病灶分割模型；

通过测试样本对鼻咽癌病灶分割模型进行测试，得到通过测试的鼻咽癌病灶分割模型参数，并将通过测试的鼻咽癌病灶分割模型参数中各层的参数作为卷积神经网络各层对应的参数。

进一步，所述应用训练样本采用分阶段的训练方法对卷积神经网络进行训练，得到鼻咽癌病灶分割模型这一步骤，具体包括：

应用训练样本对卷积神经网络进行第一阶段训练，得到第一阶段对应的鼻咽癌病灶分割模型，其中第一阶段的训练起始层为第一个下采样层，第一阶段的训练终止层为第N-2个上采样层；

应用训练样本和第一阶段对应的鼻咽癌病灶分割模型进行第二阶段训练，得到第二阶段对应的鼻咽癌病灶分割模型，所述第二阶段训练的层为第N-1个上采样层；

应用训练样本和第二阶段对应的鼻咽癌病灶分割模型进行第三阶段训练，得到最终的鼻咽癌病灶分割模型，所述第三阶段训练的层包括第N个上采样层、第三卷积层和一个激活层。

本发明所采取的第二技术方案是：

基于深度学习的鼻咽癌病灶自动分割系统，包括：

配准模块，用于对鼻咽癌的PET图像和CT图像进行配准，得到配准后的PET图像和CT图像；

鼻咽癌病灶分割模块，用于将配准后的PET图像和CT图像输入卷积神经网络进行特征提取和得分图重建，得到鼻咽癌病灶分割结果图。

进一步，所述鼻咽癌病灶分割模块具体用于：

本发明所采取的第三技术方案是：

基于深度学习的鼻咽癌病灶自动分割系统，包括：

存储器，用于存放程序；

处理器，用于加载所述程序以执行如第一技术方案所述的基于深度学习的鼻咽癌病灶自动分割方法。

本发明的有益效果是：本发明基于深度学习的鼻咽癌病灶自动分割方法及系统，对鼻咽癌的PET图像和CT图像进行配准并通过卷积神经网络的特征提取和得分图重建来自动分割出鼻咽癌病灶，与医生手动分割方式相比，一致性更好，更加客观和准确；采用了深度学习中的卷积神经网络来取代传统的机器学习方法进行鼻咽癌病灶分割，特征学习能力更强，解决了维数灾难和易陷入局部最优等问题，且能对PET-CT图像这一多模态图像进行病灶分割，适用范围更广。

附图说明

图1为本发明基于深度学习的鼻咽癌病灶自动分割方法的整体流程图；

图2为本发明卷积神经网络的一种实施例结构图；

图3为一张配准后的PET图像；

图4为一张CT图像；

图5为采用本发明的方法对图3和图4的图像进行自动分割得到的结果图。

具体实施方式

参照图1，基于深度学习的鼻咽癌病灶自动分割方法，包括以下步骤：

其中，鼻咽癌的PET图像和CT图像，可通过PET-CT一体机获得。配准是为了使得PET图像和CT图像大小相同且像素点能一一对应起来，进而更好地应用来处理多模态信息。

本发明首次应用卷积神经网络来对鼻咽癌的PET图像和CT图像进行病灶分割，既克服了现有医生手动分割易受主观性和医生经验的影响的缺陷，又克服了传统机器学习方法的不足，还能对PET-CT图像这一多模态图像进行病灶分割，一致性更好、特征学习能力更强、更准确、更全面和适用性更广。

进一步作为优选的实施方式，所述对鼻咽癌的PET图像和CT图像进行配准，得到配准后的PET图像和CT图像这一步骤，具体包括：

其中，归一化处理，是为了使得本发明的方案能适用于不同的医院，并提升卷积神经网络的训练速度。归一化处理可采用Z-score公式来实现，Z-score公式的表达式为：

其中，I′为归一化后的图像，I为归一化前的原图像，I_a为原图像灰度值的平均值，I_s为原图像灰度值的标准差。

进一步作为优选的实施方式，所述将配准后的PET图像和CT图像输入卷积神经网络进行特征提取和得分图重建，得到鼻咽癌病灶分割结果图这一步骤，具体为：

本发明将已配准好的PET图像和CT图像输入至卷积神经网络中，即可输出一张像素点级别的肿瘤分割结果图，其大小与输入图像的大小相同。卷积神经网络的前半部分(即特征提取阶段)需要对输入图像进行特征提取，得到不同的特征图，用于对肿瘤进行识别，但是在这个过程中特征图会逐步变小，与输入图像大小不同。所以在卷积神经网络的后半部分(即得分图重建阶段)，需要将这些特征图放大到与输入图像的大小相同。

进一步作为优选的实施方式，所述特征提取阶段对输入的PET图像和CT图像进行特征提取、特征融合和排列组合，得到用于肿瘤识别并具有语义信息的得分图这一步骤，具体包括：

其中，第1至第N个下采样块中第1个下采样块中的第一卷积层，用于通过卷积分别提取PET图像和CT图像的基本特征(如边缘、纹理等)并进行融合，其余的N-1个第一卷积层和M个第二卷积层的主要作用是通过卷积操作对基本特征进行排列组合，以得到更抽象的，具有语义信息的特征。激活层能够增加卷积神经网络的非线性，有利于卷积神经网络收敛。激活层可选用整流线性单元、sigmoid函数等作为激活函数。优选地，激活层可选用整流线性单元作为激活函数来加快卷积神经网络的收敛速度。池化层，负责下采样操作，用于缩小输入特征图的长和宽，其意义在于减少连接参数和计算量，以符合位移不变性和获取更为全局性的信息。因为在池化层缩小后的图上用大小不变的滤波器，意味着每个神经元的相对局部感受野会变大，使下一个卷积层的每个神经元能提取到更全局性的特征。

N和M可根据实际的需要灵活选取，如N＝5，M＝4。

进一步作为优选的实施方式，所述特征提取阶段得到的得分图输入得分图重建阶段进行得分图重建，最终得到鼻咽癌病灶分割结果图这一步骤，具体为：

其中，反卷积层负责上采样操作，连接层负责将反卷积层输出的低分辨率图与特征提取阶段相对应层输出的高分辨率图相拼接，第四卷积层负责将高低分辨率图融合，激活层增加卷积神经网络的非线性，有利于卷积神经网络的收敛。激活层可选用整流线性单元、sigmoid函数等作为激活函数。优选地，激活层可选用整流线性单元作为激活函数来加快卷积神经网络的收敛速度。

本发明采用了连接层这一跨层结构，能够将得分图重建阶段中低分辨率的得分图，与特征提取阶段相对应的高分辨率的特征图相融合，弥补在反卷积操作中丢失的细节信息，使分割结果边缘更精确、更平滑。

进一步作为优选的实施方式，所述卷积神经网络各层的参数为预训练的参数，所述卷积神经网络各层的参数的预训练过程具体包括以下步骤：

按预设的比例将给定的样本分为训练样本和测试样本；

其中，预设的比例可根据实际需要灵活选取，例如70％为训练样本，30％为测试样本。

进一步作为优选的实施方式，所述应用训练样本采用分阶段的训练方法对卷积神经网络进行训练，得到鼻咽癌病灶分割模型这一步骤，具体包括：

由于卷积神经网络的深度过深，本发明在训练卷积神经网络的过程中采用了分段训练的策略，降低了训练难度，能防止梯度消失，更加可靠。

与图1的方法相对应，本发明基于深度学习的鼻咽癌病灶自动分割系统，包括：

进一步作为优选的实施方式，所述鼻咽癌病灶分割模块具体用于：

存储器，用于存放程序；

处理器，用于加载所述程序以执行如本发明所述的基于深度学习的鼻咽癌病灶自动分割方法。

下面结合说明书附图和具体实施例对本发明作进一步解释和说明。

实施例一

为了解决现有医生手动进行鼻咽癌病灶分割和采用传统机器学习方法进行行鼻咽癌病灶分割的问题，本发明提出了一种基于深度学习的鼻咽癌病灶自动分割方法和系统，通过卷积神经网络来完成基于PET-CT图像的鼻咽癌病灶的自动分割。该方案首次将卷积神经网络应用于鼻咽癌病灶的自动分割，能够快速稳定地实现PET-CT图像中鼻咽癌病灶的自动分割。该方案中的卷积神经网络能够结合PET和CT图像中代谢特征与人体解剖特征进行分割，保证了分割的客观性，同时能够辨别炎症区域以更准确地分割肿瘤；在卷积神经网络中采用了跨层结构的连接层，能够使网络捕获更多的多尺度互信息，进一步提高分割精确度；在卷积神经网络的训练过程中采用了分段训练的方法，降低了网络训练难度，同时归一化的方法能加快网络训练速度。该方案在临床应用上，通过鼻咽癌病灶的自动分割能够减少医生的工作量，为医生提供客观参考，从而促进了鼻咽癌的诊断和治疗。

本实施例的鼻咽癌病灶自动分割方案主要包括以下内容：

(1)数据获取

本实施例共收集了17个临床的鼻咽癌患者的影像数据。这些患者均为做PET-CT头部扫描的患者，其中男性13人，女性4人，年龄区间为31～68岁，使用的扫描设备是GEDiscovery STE。大部分CT图像的空间分辨率为0.49×0.49×2.5mm³，其图像矩阵大小为512×512×63。PET图像的空间分辨率为1.56×1.56×3.27mm³，其图像矩阵大小为256×256×48。为了使PET和CT图像能够对应同一个金标准(Ground truth，GT)，本实施例通过双线性插值法对PET进行上采样，使其图像矩阵扩大为512×512×63，以实现PET和CT的配准。这17个病人一共有1053张CT图像和816张PET图像，在每个病人的已配准图像中选取一定数量病灶面积大于0.5cm²的图像用作本实施例的研究数据，一共398张CT及其相对应的398张已配准的PET图像。GT由医生利用ITK-SNAP软件在已配准的PET-CT图像上手动勾画出来。勾画过程中需要PET、CT和PET-CT三种类型的图像相互参考和补充，通过PET判断肿瘤的位置，CT判断肿瘤周围的解剖结构，最终完成勾画。由于鼻咽癌病灶为软组织，医生在观察CT图像时会将窗宽窗位调整为软组织窗(窗宽250HU，窗位50HU)以更好地观察鼻咽癌病灶的解剖结构。

(2)网络结构

在模型的设计中，本实施例需要能同时输入未融合的已配准的PET和CT两种图像，并且输出的鼻咽癌病灶分割结果图与输入图像的大小相同。为了实现此目标，本实施例设计了一个卷积神经网络，其网络结构如图2所示，该网络按照功能可以分为特征提取阶段Feature representation phase和得分图重建阶段Scores map reconstruction。

1)特征提取阶段

特征提取阶段的主要功能是分别提取输入的PET和CT图像的特征，并将这些低层次的基本特征(如边缘、纹理等)融合，以及对这些基本特征进行多次排列组合，得到更抽象、具有语义信息的特征。特征提取阶段包括5个下采样块Down-sampling block、4个卷积层conv layer以及4个整流线性单元(rectified linear units，ReLU)层relu layer。一个下采样块包含一个卷积层、一个池化层pool layer以及一个整流线性单元层。特征提取阶段第一个下采样块的第一个卷积层的主要作用是用大小为5×5的滤波器分别对PET和CT进行卷积，提取PET与CT的基本特征，并将这些特征融合。因为输入的PET和CT图像对应的是同一个金标准，所以可以通过该卷积操作将其在特征层面进行融合。为保证卷积后图像大小不变，本实施例将输入该卷积层的图像的长和宽都扩充4，扩充的像素的值都为0，卷积的步长设置为1。随后下采样块的卷积层和后续的4个卷积层主要作用是通过卷积操作对基本特征进行排列组合，以得到更抽象的，具有语义信息的特征。前5个下采样块的最后面都连接了池化层，以实现下采样。所有池化层的滤波器大小都设置为2×2，每两个像素输出2×2个像素点中最大的值，使得输入特征图的长和宽都缩小了二分之一，其意义在于减少连接参数和计算量，以及位移不变性和更为全局性的信息。因为在缩小后的图上用大小不变的滤波器，意味着每个神经元的相对局部感受野会变大，使下一个卷积层的每个神经元能提取到更全局性的特征。每个卷积层后都连接一个整流线性单元层作为激活层，以能够增加网络的非线性，加快网络收敛速度。

每经过一次下采样块，特征图的长和宽都缩小为原来的二分之一。在特征图缩小为32×32后，连接一个滤波器大小为32×32的卷积层。该卷积层输出的特征图的大小为1×1，即一个神经元，每个神经元与前一层所有的神经元相连接，类似于经典分类网络中的全连接层，其目的在于每个神经元都对不同的区域表现出不同的敏感度，有的神经元可能对大脑敏感，有的神经元可能对肿瘤敏感等等，以此识别不同的区域。随后本实施例将连接3个滤波器大小为1×1的卷积层，对这些特征进行排列组合以得到更抽象的特征。该阶段最后输出1×1的得分图Feature map将被输入到下一个阶段进行重建。

2)得分图重建阶段

得分图重建阶段的主要功能是将缩小到一个像素点的得分图通过反卷积和放大实现上采样操作，使其重建至输入图像的大小。本实施例整个得分图重建阶段包含5个上采样块Up-sampling block，1个卷积层以及1个整流线性单元层。一个上采样块由一个反卷积层deconv layer、一个连接层concat layer、一个卷积层以及一个ReLU层组成。其中反卷积层负责上采样操作，连接层负责将反卷积层输出的低分辨率图与前一阶段相对应层输出的高分辨率图相拼接，卷积层负责将高低分辨率图融合。该阶段的第一个反卷积层采用32×32大小的滤波器进行双线性插值以将1×1的得分图重建至32×32的大小。本实施例反卷积层中的参数是可以迭代更新的。由于反卷积进行上采样的过程中采用了双线性插值的方式，所以输出的图像丢失了很多细节信息，分辨率较低。为了克服该问题，本实施例在反卷积层后面连接了一个连接层，将反卷积层输出的低分辨率图与特征提取阶段中相应的池化层或下采样块卷积层输出的高分辨率图相连接，且保证高低分辨率图的数量相同，然后通过将后面连接的滤波器大小为1×1的卷积层，将高低分辨率图每个像素点的信息融合。虽然特征提取阶段输出的高分辨率图像的特征不如得分图重建阶段的抽象，但是其细节信息更丰富。本实施例通过这种跨层结构能够弥补在反卷积操作中丢失的细节信息，使卷积神经网络能够捕获更多的多尺度互信息以增加分割精确度。

第一个上采样块之后的每一个上采样块都会将输入的得分图的长和宽放大2倍，直到其重建至输入图像的大小，该输出图片即为网络正向传播输出的分割结果。在训练过程中，输出的分割结果会被输入到损失层中，该损失层会计算网络的分割结果与GT的欧氏距离，差异越大则欧氏距离的数值越大，最后再将差异通过反向传播，不断更新前面层的参数，使卷积神经网络实现本实施例的目标。

(3)卷积神经网络的训练与测试

1)数据预处理

在训练卷积神经网络前需要构建训练集与测试集。本实施例随机选取原始数据集中70％的图像作为训练集，剩下的30％作为测试集，则训练集有279张图像，测试集有119张图像。本实施例设计的卷积神经网络中的参数量达到百万级，但是目前所拥有的原始数据远远不足以对其进行训练，从而容易出现过拟合的情况，所以需要将原始数据扩增至足够的数量。本实施例扩增数据的方法有旋转角度、变化对比度和增加高斯白噪声：

a、旋转角度的范围为-10°～10°，间隔为4°。

b、对比度变化的范围为c1～c2，c1的范围为0.001～0.0055，c1的间隔为0.00125，c2的范围为0.850～0.895，c2的间隔为0.0075。

c、高斯白噪声的能量范围为0～1.5×10^-8，间隔为0.5×10^-8。

通过以上3种方法将训练集的数据量扩增至约15万张。然而这些数据的分布较为集中，导致网络参数收敛速度较慢。所以本实施例将图中的灰度值归一化至平均值为0、标准差为0.4，以完成训练数据的准备。用于归一化的公式为Z-score公式，具体表达式为：

其中，I′为归一化后的图像，I为归一化前的原图像，I_a为原图像灰度值的平均值，I_s为原图像灰度值的标准差。应用Z-scores变换规范化的数据能让本发明的分割方法应用在多个医院的数据分割上。

2)卷积神经网络的训练

经过实验测试后发现，直接训练完整的卷积神经网络可能因卷积神经网络的深度过深而无法获得具有分割能力的网络，极易出现梯度消失等问题，所以本实施例采用分段训练的策略。本实施例根据网络输出图像大小的不同，分为三个阶段训练：第一阶段的训练，将卷积神经网络设计至第三个上采样块，使得输出图像的大小为原始输入图像的四分之一即128×128。因为较浅网络的参数较少，较易收敛，所以先对较浅的网络进行训练，使得较浅网络的参数迭代更新了一定次数，从而具有一定程度提取特征的能力。第二阶段的训练，本实施例将网络设计至第四个上采样块，使输出图像的大小为原始输入图像的二分之一即256×256。除了第四个上采样块外，卷积神经网络的其余结构与第一阶段训练的网络相同，所以直接用第一阶段已训练的卷积神经网络的参数初始化第二阶段卷积神经网络的参数。由于前面层的参数都经过了一定的迭代，所以第二阶段主要针对第四个上采样块的参数进行训练。第三阶段是完整网络的训练，直接输出最终的分割结果图，大小为512×512，其训练过程重复第二阶段的过程，利用第二阶段的网络参数初始化完整模型，其主要训练最后的一个上采样块和一个卷积层的参数。

开始训练模型前，本实施例需要对训练的参数进行设置：基础学习率(base_lr)根据梯度的大小设置为1×10^-6或1×10^-7，该参数用于控制每次迭代网络参数变化的大小；学习率的调整策略(lr_policy)根据训练阶段的不同分为fixed和step，该参数控制基础学习率随着迭代次数的增加如何变化；惯性因子(momentum)设为0.9，该参数有加快收敛速度的效果；权重惩罚因子(weight_decay)设为0.0005，该参数防止卷积神经网络过拟合。而本实施例用Caffe软件包进行训练，用于网络训练的机器的处理器是intel E7，并装配了两条NVIDIA Geforce GTX 1080。第一阶段的训练，本实施例将base_lr设置为1×10^-6，lr_policy采用step策略，step策略设置为每迭代1000000次将基础学习率乘以0.1。因为第一阶段训练的网络参数都未经迭代更新，所以将基础学习率设置得较大。而网络参数经过1000000迭代更新后，其网络参数已较好地收敛，所以将学习率降低以防网络参数变化太大。第二、三阶段的base_lr都设置为1×10^-7，lr_policy设置为fixed以保持基础学习率不变。

3)卷积神经网络的测试

在卷积神经网络经过足够次数的迭代后，本实施例将测试集中的图像输入卷积神经网络进行一次前向传播得到卷积神经网络的分割结果。接着通过对分割结果和GT进行逻辑和函数运算，得到真阳性(True Positive，TP)，假阳性(False Positive，FP)，真阴性(True Negative，TN)和假阴性(False Negative，FN)的像素点个数。我们根据如下公式计算Dice Similarity Coefficient(DSC)，以评估分割结果的准确度：DSC＝2TP/(FP+2TP+FN)，其中TP表示被卷积神经网络正确识别的肿瘤区域；FP表示非肿瘤区域被卷积神经网络识别为肿瘤区域；TN表示卷积神经网络正确识别的非肿瘤区域；FN表示肿瘤区域被卷积神经网络识别为非肿瘤区域。每个模型的DSC是测试集中所有图像的DSC的平均值。DSC最小值为0，表示自动分割结果与GT完全没有交集；最大值为1，表示自动分割结果与GT完全重合。DSC值越大，代表卷积神经网络分割结果越准确。

为了验证该网络模型在整个数据集中的表现，本实施例一共重复了8次实验。每次实验都随机选取70％的数据作为训练集，余下30％的数据作为测试集，并保证不同实验的训练集以及测试集都不同。在训练网络的过程中，每迭代3000次保存一次卷积神经网络模型。在迭代了约200000次时，将测试集输入卷积神经网络，计算所有保存的网络模型的DSC，并选择所有模型中最大的DSC作为本次实验的DSC。

(3)结果

图3、图4和图5给出了采用本发明所设计的卷积神经网络进行试验的数据来源及结果图(图5中，绿色代表分割出的鼻咽癌病灶区域)，本发明所设计的卷积神经网络从输入一对PET-CT图像到输出一张分割结果图需要约0.27秒。表1显示了采用本发明的方法进行8次实验的分割结果。这8次实验的平均DSC为0.826，其标准差为0.013。

表1基于本发明所提出方法进行8次实验的分割结果

实验次数	1	2	3	4	5	6	7	8	平均值±标准差
										DSC	0.815	0.834	0.815	0.843	0.844	0.819	0.819	0.816	0.826±0.013

本实施例所提出的基于深度学习和PET-CT的鼻咽癌病灶自动分割方法，其平均DSC达到0.826，标准差为0.013，该结果结合图5可以看出，本发明所提出的方法能够较好地分割鼻咽癌病灶，且具有较高的稳定性。而在现有的鼻咽癌PET-CT图像肿瘤分割研究中，最高的平均DSC为0.761，标准差为0.106，而且需要人工选取初始点。相比之下，本发明所提出的方法在实现全自动分割的同时，也提高了准确率和一致性，不仅减少了医生工作量，而且能够较好地分割鼻咽癌病灶。

本发明所提出的方法通过卷积神经网络可以处理PET-CT图像这一多模态数据以获取更多的信息，提高了分割准确度。

本发明所用的卷积神经网络这一深度学习方法在特征提取方面，比传统的机器学习方法更具有优势，能够提取更多、更抽象的特征，而且不需要其他复杂的方法提取，能够自动提取原始数据的特征，通过更多次有效的卷积获得更抽象、更高维的特征，从而提高分割的准确度。

本发明卷积神经网络中的连接层这一跨层结构，能够将得分图重建阶段中低分辨率的得分图，与特征提取阶段相对应的高分辨率的特征图采用卷积的方法相融合，在融合的同时对特征起到筛选的作用，以弥补反卷积过程中由于插值而丢失的细节信息，使分割结果边缘更精确、更平滑。

本发明在训练网络的过程中采用了分段训练的策略，降低了训练难度，防止因卷积神经网络深度过深而导致梯度消失。与现有需要利用其它研究中已训练好的网络参数初始化自身的网络不同的是，本发明的训练策略中，用于初始化的网络的训练数据和目的与被初始化网络是相同的，所以其网络参数可能更适合用来进行鼻咽癌自身的研究。另一方面，本发明训练前的归一化处理使数据分布更均匀，能使网络参数更快地收敛，实现加快卷积神经网络训练速度的目的。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims

1.基于深度学习的鼻咽癌病灶自动分割方法，其特征在于：包括以下步骤：

将配准后的PET图像和CT图像输入卷积神经网络进行特征提取和得分图重建，得到鼻咽癌病灶分割结果图；

所述卷积神经网络包括：特征提取阶段和得分图重建阶段；所述特征提取阶段最后输出1×1的得分图并输出到所述得分图重建阶段进行重建；

所述特征提取阶段包括5个下采样块、4个卷积层以及4个ReLU层，每个下采样块包括一个卷积层、一个ReLU层以及一个池化层，每经过一次所述下采样块，特征图的长和宽都缩小为原来的特征图的二分之一；

第一个下采样块的第一个卷积层用5×5的滤波器分别对配准后的PET图像和CT图像进行卷积，提取配准后的PET图像和CT图像的特征，并将这些特征进行融合；配准后的PET图像和CT图像的图像矩阵大小为512×512×63；

所述得分图重建阶段包括5个上采样块、1个卷积层以及1个整流线性单元层，每个上采样块包括一个反卷积层、一个连接层、一个卷积层以及一个ReLU层，每经过一次所述上采样块，得分图的长和宽都放大为原来的得分图的2倍；所述上采样块中的连接层将该上采样块中反卷积层输出的低分辨率图与该上采样块对应下采样块中卷积层或池化层输出的高分辨率图相连接，且保证高分辨率图和低分辨率图的数量相同，并通过该上采样块中滤波器大小为1×1的卷积层将高分辨率图和低分辨率图的每个像素点的信息融合；

第一个上采样块中第一个反卷积层采用32×32的滤波器进行双线性插值以将1×1的得分图重建至32×32的大小；

在所述卷积神经网络的训练过程中，根据网络输出的图像大小的不同，分成三个阶段训练：

第一阶段的训练，将卷积神经网络设计至所述得分图重建阶段前三个上采样块，并进行训练，得到第一阶段已训练的卷积神经网络；

第二阶段的训练，将卷积神经网络设计至所述得分图重建阶段前四个上采样块，利用第一阶段已训练的卷积神经网络的参数初始化第二阶段的卷积神经网络的参数，训练所述得分图重建阶段中第四个上采样块，得到第二阶段已训练的卷积神经网络；

第三阶段的训练，为完整的卷积神经网络的训练，利用第二阶段已训练的卷积神经网络的参数初始化完整的卷积神经网络的参数，训练所述得分图重建阶段中第五个上采样块以及卷积层的参数。

2.根据权利要求1所述的基于深度学习的鼻咽癌病灶自动分割方法，其特征在于：所述对鼻咽癌的PET图像和CT图像进行配准，得到配准后的PET图像和CT图像这一步骤，具体包括：

3.根据权利要求1所述的基于深度学习的鼻咽癌病灶自动分割方法，其特征在于：所述将配准后的PET图像和CT图像输入卷积神经网络进行特征提取和得分图重建，得到鼻咽癌病灶分割结果图这一步骤，具体为：

4.根据权利要求3所述的基于深度学习的鼻咽癌病灶自动分割方法，其特征在于：所述卷积神经网络各层的参数为预训练的参数，所述卷积神经网络各层的参数的预训练过程具体包括以下步骤：

按预设的比例将给定的样本分为训练样本和测试样本；

5.基于深度学习的鼻咽癌病灶自动分割系统，其特征在于：包括：

鼻咽癌病灶分割模块，用于将配准后的PET图像和CT图像输入卷积神经网络进行特征提取和得分图重建，得到鼻咽癌病灶分割结果图；

6.根据权利要求5所述的基于深度学习的鼻咽癌病灶自动分割系统，其特征在于：所述鼻咽癌病灶分割模块具体用于：

7.基于深度学习的鼻咽癌病灶自动分割系统，其特征在于：包括：

存储器，用于存放程序；

处理器，用于加载所述程序以执行如权利要求1-4任一项所述的基于深度学习的鼻咽癌病灶自动分割方法。