CN107610129B - 一种基于cnn的多模态鼻咽部肿瘤联合分割方法 - Google Patents

Abstract

本发明涉及一种基于CNN的多模态鼻咽部肿瘤联合分割方法，包括将多模态的鼻咽部肿瘤图像分为大小相同的图像块，将分割的图像块输入到粗分割CNN中进行粗分割得到粗分割图像，通过粗分割处理得到判定为肿瘤区域的图像块，再将粗分割图像输入精细化CNN中进行精细分割，对判定为肿瘤区域的图像块中的每个像素点进行精细分割，判定其类别，最终得到像素级的精细分割图像。本发明的分割方法无需对鼻咽部肿瘤图像中所有像素点判定其类别，只需要对少数病变区域进行判定，从而大大提高了分割算法的效率，缩短了分割时间。进一步的，本发明采用多模态数据并采用CNN进行图像分割，保留更丰富的待分割肿瘤图像的信息，从而提高了算法的分割精度。

Description

一种基于CNN的多模态鼻咽部肿瘤联合分割方法

技术领域

本发明属于肿瘤图像分割领域，尤其涉及一种基于CNN的多模态鼻咽部肿瘤联合分割方法。

背景技术

在医学图像分割领域，目前关于头颈部肿瘤图像分割算法的研究成果日益丰硕。尤其是在头部肿瘤图像分割方法方面，目前已经取得了很好的分割效果。鼻咽部肿瘤是一种常见的头颈部肿瘤，据世界卫生组织统计，世界范围内约80％的鼻咽癌发生在我国，因此寻找一种有效的鼻咽部肿瘤图像分割方法是十分有意义的。目前国内外关于鼻咽癌的研究成果较少，现有的鼻咽部肿瘤图像分割算法要么在方法上过于复杂，很难应用到实际的临床治疗中；要么分割效果较差，无法保证分割的准确度。

与其它头颈部肿瘤图像分割任务相比，鼻咽肿瘤图像分割的难度更大。无论是在MR图像中还是在CT图像中，具有清晰的肿瘤边界对于算法最终的分割精度有着十分重要的影响。然而，鼻咽肿瘤图像的肿瘤边界相较于其他头颈部肿瘤图像显得更加模糊。这是由于鼻咽部的解剖结构更加复杂，淋巴管、血管、腺体较多。传统的CT图像很难得到明显的肿瘤边界，即使在高场MR图像中，大多数的鼻咽肿瘤图像也很难得到清晰的肿瘤边界。

医学图像分割作为图像处理中的一个重要分支，其目的是将医学图像中包含患者病情的重要信息部分分割出来，为临床诊疗和相关医学研究提供可靠的依据，辅助医生对患者病情做出更准确的诊断，因此具有十分重要的应用价值。鼻咽部肿瘤作为一种常见的头颈部恶性肿瘤，在我国的发病率远高于世界其他国家。然而，目前国内外对于鼻咽部肿瘤图像分割方法的研究较少，关于这方面的研究成果不多。同时由于鼻咽部肿瘤图像分割在医学图像分割领域一直以来都是一个难度较大的课题，现有的研究成果距临床应用还有很大的距离。有研究人员通过将鼻咽癌的MR图像特征提取出来投影到高维空间，利用支持向量机方法(SVM)对投影之后的特征向量进行分类。然而事实证明单模态的CT、RT图像包含的信息十分有限，事实上即使是在增强的CT图像中鼻咽部肿瘤也很难有明显的边界，因此仅仅利用单模态的CT、MR图像很难满足高精度的临床需求。

鼻咽癌是我国高发肿瘤之一，但针对鼻咽部肿瘤图像分割的研究较少，相关研究成果效果不理想。目前国内外尚未发现利用卷积神经网络CNN(Convolutional NeuralNetwork)做鼻咽部肿瘤图像分割的相关研究成果。

发明内容

针对现有技术之不足，本发明提出一种基于CNN的多模态鼻咽部肿瘤联合分割方法，所述分割方法包括：

步骤1：输入待分割的多模态鼻咽部肿瘤图像I；

步骤2：将所述鼻咽部肿瘤图像I分为大小为m×m的图像块Ii的集合，i＝1,2,…,n；

步骤3：将图像块I_i作为输入，输入到粗分割CNN中进行粗分割；

步骤31：用大小为7×7的卷积核对图像块I_i做卷积处理，然后对卷积处理后的图像块做Maxout；

步骤32：对经过步骤31处理后输出的图像块做窗口尺寸大小为4×4的池化处理；

步骤33：对经过步骤32处理后输出的图像块用大小为3×3的卷积核做卷积处理，然后对卷积处理后的图像块做Maxout；

步骤34：对经过步骤33处理后输出的图像块做窗口尺寸大小为2×2的池化处理；

步骤35：用大小为(m-12)×(m-12)的卷积核对经过步骤34处理后输出的图像块做卷积处理，然后用ReLU函数对卷积处理后的图像块进行分类，如果该图像块属于病变区域的概率不为0，则判定该图像块为肿瘤区域；

步骤36：对所述鼻咽部肿瘤图像I中所有图像块I_i进行步骤31至步骤35的粗分割，得到粗分割图像I_R；

步骤4：将所述粗分割图像I_R中被判定为肿瘤区域的图像块输入到精细分割CNN中进行精细分割；

步骤41：对于所述粗分割图像I_R中属于肿瘤区域的每个像素点，以该像素点为中心截取大小为M×M的图像块X；

步骤42：将所述图像块X输入到所述精细分割CNN中的局部通道中进行卷积、Maxout和池化处理，得到(M-12)×(M-12)大小的第一输出图像块；

步骤43：将所述图像块X输入到所述精细分割CNN中的全局通道中进行卷积和Maxout处理，得到(M-12)×(M-12)大小的第二输出图像块；

步骤44：将所述第一输出图像块和第二输出图像块融合成第三输出图像块，然后对所述第三输出图像块用大小为(M-12)×(M-12)的卷积核进行卷积处理，最后用sigmoid函数对卷积处理后的所述第三输出图像块中的像素点进行分类；

步骤45：对所述粗分割图像I_R中所有属于肿瘤区域的像素点进行步骤41-步骤44的精细分割，得到精细分割图像I_O。

根据一种优选的实施方式，步骤42中得到第一输出图像块的具体步骤为：

先对图像块X用大小为7×7的卷积核做卷积处理并做Maxout，对Maxout处理后的图像块做窗口尺寸大小为4×4的池化处理，然后对池化处理后的图像块用大小为3×3的卷积核进行卷积处理并做Maxout，最后对Maxout处理后的图像块做大小为2×2的池化处理。

根据一种优选的实施方式，步骤43中得到第二输出图像块的具体步骤为：

对图像块X用大小为13×13的卷积核做卷积处理，然后对卷积处理后的图像做Maxout。

与现有技术相比，本发明的有益效果在于：

1、本发明将卷积神经网络CNN引入鼻咽部肿瘤图像的分割上，该分割方法结构简单，解决了现有鼻咽部肿瘤图像分割方法过于复杂，难于应用到临床治疗上的问题。并且通过基于CNN的分割方法，大大提高了分割精度。

2、首先对鼻咽部肿瘤图像进行粗分割，然后对粗分割后的判定为肿瘤区域中的像素点进行精细分割，从而得到像素级的精细分割图像。大大提高了图像分割处理的效率，缩短了分割时间，避免了资源浪费。

3、由于鼻咽部肿瘤在单一的CT图像或MR图像下边界不明显，因此仅靠单模态数据无法获得足够的信息，无法准确区分鼻咽部肿瘤与正常区域，导致分割效果不理想。而本发明采用多模态鼻咽部肿瘤图像，更大程度利用了待分割鼻咽部肿瘤图像中的结构信息，进一步提高了分割精度。

附图说明

图1是本发明分割方法的算法流程图；

图2是本发明粗分割CNN结构示意图；和

图3是本发明精细分割CNN结构示意图。

具体实施方式

下面结合附图进行详细说明。

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是实例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

图1是本发明分割方法的算法流程图。现结合图1对本发明提出的一种基于CNN的多模态鼻咽部肿瘤联合分割方法进行详细说明，本发明分割方法包括：

步骤1：输入待分割的多模态鼻咽部肿瘤图像I，如PET-CT图像。

步骤2：将鼻咽部肿瘤图像I分为大小为m×m的图像块Ii的集合，i＝1,2,…,n。并将图像块I_i作为粗分割CNN的输入图像。本发明中m取值为33。

步骤3：将I_i作为输入图像，输入到粗分割CNN中进行粗分割。图2为本发明粗分割CNN结构示意图。现结合图2对图像粗分割过程进行详细说明。在图2中，参数n1、n2表示卷积核的数量。参数n0表示输入的图像块的数量，一般默认为1。当n0大于1时输入图像由2维变成了3维，这时2D-CNN结构便成为了3D-CNN结构，3D-CNN结构能够提取到更加丰富的特征，然而这也意味着更加巨大的计算量。

步骤31：用大小为7×7的卷积核对图像块I_i做卷积处理，然后对卷积处理后的图像块做Maxout。

卷积层的计算公式如下：

其中，上标l表示层数，

表示偏置，

表示卷积核，

表示卷积层l的第j个单元的输入，

表示该单元的输出。f(·)表示一个激活函数，常用的有ReLU、sigmoid函数、Maxout等，本发明采用了Maxout作为激活函数。Maxout是一种非线性的激活函数，对输入图像经过K个卷积核进行卷积处理后的K个特征图，将K个特征图中相同位置上的像素点中的最大值作为输出图像中该位置的像素值。其数学表达形式如下：

其中，中K为卷积核的个数，

中括号中的i,j表示图像中像素的坐标。经过卷积操作后的图像尺寸为27×27。

步骤32：对经过步骤31处理后输出的图像块做窗口尺寸大小为4×4的池化处理。步长设置为1，池化操作后图像块尺寸变为24×24。

然后对输出图像进行池化处理，池化处理可以降低参数，提高训练结果的泛化能力。本发明采用最大值池化，池化处理的窗口尺寸大小为4×4，步长为1。池化操作的数学表达形式如下：

p为池化操作的窗口尺寸大小，在这里取p＝4。

步骤33：对经过步骤32处理后输出的图像块作为本步骤的输入图像块，用大小为3×3的卷积核对该输入图像块做卷积处理，然后对卷积处理后的图像块做Maxout。经过卷积操作后的图像块尺寸为22×22。

步骤34：对经过步骤33处理后输出的图像块做大小为2×2的池化处理，步长设置为1。池化操作后图像尺寸变为21×21。

步骤35：用大小为(m-12)×(m-12)的卷积核对步骤34处理后输出的图像块做卷积处理，然后利用ReLU函数对卷积处理后的图像块进行分类，如果该图像块I_i属于病变区域的概率不为0，则判定该图像块I_i为肿瘤区域。ReLU函数的数学形式为

步骤36：对鼻咽部肿瘤图像I中所有图像块I_i进行步骤31至步骤35的粗分割，得到粗分割图像I_R。粗分割图像I_R的大小和待分割的鼻咽部肿瘤图像I相同。粗分割处理不会改变鼻咽部肿瘤图像I的大小。鼻咽部肿瘤图像I经过粗分割处理后得到的图像I_R中分成两个部分，第一部分区域称为正常区域，其中的像素点都属于正常像素点；第二部分区域称为肿瘤区域，其中的像素点有很大概率属于肿瘤像素点，在步骤4中通过精细分割来进一步判断第二部分中的像素点是否属于肿瘤区域。

步骤4：将粗分割图像I_R中被判定为肿瘤区域的图像块输入到精细分割CNN中进行精细分割。图3为精细分割CNN结构示意图，现结合图3对图像精细分割过程进行详细说明。一般来说，对一幅患者的鼻咽部肿瘤图像，其中大部分区域应该为正常组织，只有小部分属于病变区域。因此，本发明只对判定为肿瘤区域的图像块中的像素点判断其类别，这样避免了对鼻咽部肿瘤图像中全部像素点的判断，减少了分割相同大小肿瘤图像的分割时间，大大的提高了肿瘤图像分割的效率，避免了资源浪费。

步骤41：对于粗分割图像I_R中属于肿瘤区域的每个像素点，以该像素点为中心截取大小为M×M的图像块X。本发明中M取值为33。

步骤42：将图像块X输入到精细分割CNN中的局部通道中进行卷积、Maxout和池化处理，得到大小为(M-12)×(M-12)的第一输出图像块。图3中的n₁、n₂表示局部通道中的卷积核的数量。经过局部通道后，得到n₂个第一输出图像块。

具体的，首先，对图像块X用大小为7×7的卷积核做卷积处理，然后对卷积处理后的图像做Maxout，对Maxout处理后的图像做大小为4×4的池化处理。然后，对池化处理后的图像用大小为3×3的卷积核进行卷积处理，对卷积处理后的图像做Maxout，再对Maxout处理后的图像做大小为2×2的池化处理。

步骤43：将图像块X输入到精细分割CNN中的全局通道中进行卷积和Maxout，得到大小为(M-12)×(M-12)的第二输出图像块。图3中的n₃表示全局通道中的卷积核的数量。经过全局通道后，得到n₃个第二输出图像块。

具体的，对图像块X用大小为13×13的卷积核做卷积处理，然后对卷积处理后的图像做Maxout。

步骤44：将第一输出图像块和第二输出图像块融合成第三输出图像块，第三输出图像块大小为(M-12)×(M-12)。然后对第三输出图像块进行卷积处理，最后用sigmoid函数对其进行分类。对于多分类问题，可以用Softmax代替sigmoid。也可以采用自己设计的分类器或者其它分类器，如SVM分类器、决策树、贝叶斯分类器等。融合得到的第三输出图像块数目为n₂+n₃个。

具体的，对第三输出图像块用大小为(M-12)×(M-12)的卷积核对其进行卷积处理，然后利用Sigmoid函数对卷积处理后的第三输出图像块中的像素点进行判决。Sigmoid函数将输入压缩至0到1之间，在肿瘤图像分割任务中，对于单个像素点，当算法的输出结果大于0.5时，将该像素点判为肿瘤像素点，否则认为该像素点属于正常像素点。

Sigmoid激活函数又称为logistic函数，其数学形式为：

步骤45：对I_R中所有判定为肿瘤区域中的像素点进行步骤41-步骤44的精细分割，得到精细分割图像I_O。I_O的大小和待分割的鼻咽部肿瘤图像I相同。

本发明能够很好的将鼻咽部肿瘤区域分割出来，并且本发明对于不同形状的鼻咽肿瘤具有良好的泛化能力。同时，与单模态数据相比，利用多模态数据已训练好的CNN结构对鼻咽肿瘤的分割精度更高。进一步的，本发明采用先粗分割后精细分割的方法，减少了需要判定类别的像素点数目，提高了分割方法的效率，大大缩短了分割时间。

需要注意的是，上述具体实施例是示例性的，本领域技术人员可以在本发明公开内容的启发下想出各种解决方案，而这些解决方案也都属于本发明的公开范围并落入本发明的保护范围之内。本领域技术人员应该明白，本发明说明书及其附图均为说明性而并非构成对权利要求的限制。本发明的保护范围由权利要求及其等同物限定。

Claims (1)

1.一种基于CNN的多模态鼻咽部肿瘤联合分割方法，其特征在于，所述分割方法包括：

步骤1：输入待分割的多模态鼻咽部肿瘤图像I；

步骤2：将所述鼻咽部肿瘤图像I分为大小为m×m的图像块I_i的集合，i＝1,2,…,n；

步骤3：将图像块I_i作为输入，输入到粗分割CNN中进行粗分割；

步骤31：用大小为7×7的卷积核对图像块I_i做卷积处理，然后对卷积处理后的图像块做Maxout；

步骤32：对经过步骤31处理后输出的图像块做窗口尺寸大小为4×4的池化处理；

步骤33：对经过步骤32处理后输出的图像块用大小为3×3的卷积核做卷积处理，然后对卷积处理后的图像块做Maxout；

步骤34：对经过步骤33处理后输出的图像块做窗口尺寸大小为2×2的池化处理；

步骤35：用大小为(m-12)×(m-12)的卷积核对经过步骤34处理后输出的图像块做卷积处理，然后用ReLU函数对卷积处理后的图像块进行分类，如果该图像块属于病变区域的概率不为0，则判定该图像块为肿瘤区域；

步骤36：对所述鼻咽部肿瘤图像I中所有图像块I_i进行步骤31至步骤35的粗分割，得到粗分割图像I_R；

步骤4：将所述粗分割图像I_R中被判定为肿瘤区域的图像块输入到精细分割CNN中进行精细分割；

步骤41：对于所述粗分割图像I_R中属于肿瘤区域的每个像素点，以该像素点为中心截取大小为M×M的图像块X；

步骤42：将所述图像块X输入到所述精细分割CNN中的局部通道中进行卷积、Maxout和池化处理，得到(M-12)×(M-12)大小的第一输出图像块；

得到第一输出图像块的具体步骤为：

先对图像块X用大小为7×7的卷积核做卷积处理并做Maxout，对Maxout处理后的图像块做窗口尺寸大小为4×4的池化处理，然后对池化处理后的图像块用大小为3×3的卷积核进行卷积处理并做Maxout，最后对Maxout处理后的图像块做大小为2×2的池化处理；

步骤43：将所述图像块X输入到所述精细分割CNN中的全局通道中进行卷积和Maxout处理，得到(M-12)×(M-12)大小的第二输出图像块；

得到第二输出图像块的具体步骤为：

对图像块X用大小为13×13的卷积核做卷积处理，然后对卷积处理后的图像做Maxout；

步骤44：将所述第一输出图像块和所述第二输出图像块融合成第三输出图像块，然后对所述第三输出图像块用大小为(M-12)×(M-12)的卷积核进行卷积处理，最后用sigmoid函数对卷积处理后的所述第三输出图像块中的像素点进行分类；

步骤45：对所述粗分割图像I_R中所有属于肿瘤区域的像素点进行步骤41至步骤44的精细分割，得到精细分割图像I_O。

Images