CN110287982A - 一种基于卷积神经网络的ct影像分类方法、装置及介质 - Google Patents

Abstract

一种基于卷积神经网络的CT影像分类方法、装置及介质，方法包括：S1，构建卷积神经网络，卷积神经网络包括特征提取层(100)、特征处理层(200)以及数据拼接层(300)；S2，获取多张已知分类结果的CT影像作为样本数据，将样本数据输入至卷积神经网络以实现对卷积神经网络的训练；S3，将待分类的CT影像输入至训练完成的卷积神经网络，实现CT影像的分类。通过构建深度卷积神经网络，实现对CT影像中内容的快速自动识别，分类速度快、算法稳定、鲁棒性强。

Description

一种基于卷积神经网络的CT影像分类方法、装置及介质

技术领域

本发明涉及医学影像优化技术领域，尤其涉及一种基于卷积神经网络 的CT影像分类方法、装置及介质。

背景技术

基于CT影像的放射治疗计划系统可以帮助医生提高放射治疗的效率 及治疗质量，其中，人体各器官的全自动分割是实现放射治疗计划系统的 基础及关键。在基于CT影像的放射治疗计划系统中，待分割的器官通常 有三十种以上，且重要器官的全自动分割算法的执行时间为几十至几百秒。 如果在不知道当前处理的CT影像所处的身体部位(如：头部、胸部、腹 部和盆腔)的情况下，盲目调用所有器官的分割算法则需要消耗大量的时 间，因此，在调用器官分割算法之前预先判断当前处理的CT影像所处的 身体部位，是实现放射治疗计划系统中器官全自动分割的首要问题。

目前，CT影像中身体部位的自动识别方法主要包括以下3种技术： 第一种方法是基于DICOM(Digital Imaging and Communications in Medicine)文件头信息的自动识别，但由于各种文化头信息较为困难。第 二种方法是基于CT影像灰度值特征的自动识别，该方法根据各组织成分 在CT影像中灰度值分布规律的先验知识，对身体部位进行自动识别。但 是该方法仅适用于CT影像，对基于磁共振的放疗计划系统并不适用，且 识别速度和准确率有待提高。第三种方法是基于机器学习的身体部位自动 识别。Zhou等提出了一种基于二维Haar图像特征和AdaBoost分类器的身 体器官识别方法。该方法识别率较高，不需要相关图像的先验知识，且具 有通用性。该方法存在多次重采样，Haar特征计算量大和容易出现检测错 误等问题。也有人对该方法进行了改进，通过选择性计算Haar特征和采 用固定图像分辨率降低计算量，但还存在识别时间过长、腹部和盆腔结果 有待提高等问题。

发明内容

(一)要解决的技术问题

基于上述技术问题，本发明提供了一种基于卷积神经网络的CT影像 分类方法、装置及介质，实现快速高效的对CT影像进行识别并进行分类。

(二)技术方案

第一方面，本发明提供了一种基于卷积神经网络的CT影像分类方法， 包括：S1，构建卷积神经网络，卷积神经网络包括特征提取层100、特征 处理层200以及数据拼接层300，其中，特征提取层100，用于提取CT影 像中的特征生成特征矩阵；特征处理层200，用于提取特征矩阵中的特征， 包括第一通道201、第二通道202、第三通道203以及第四通道204，其中， 第一通道201用于提取特征矩阵的第一特征，第二通道202用于提取特征 矩阵的第二特征，第三通道203用于提取特征矩阵的第三特征，第四通道 204用于提取特征矩阵的第四特征；数据拼接层300，用于对第一通道201、 第二通道202、第三通道203以及第四通道204提取的第一特征、第二特 征、第三特征以及第四特征进行拼接；S2，获取多张已知分类结果的CT 影像作为样本数据，将样本数据输入至卷积神经网络以实现对卷积神经网 络的训练；S3，将待分类的CT影像输入至训练完成的卷积神经网络，实 现CT影像的分类。

可选地，特征提取层100依次包括输入层101、第一卷积层102、第 一BatchNormalization层103、第一池化层104、第二卷积层105、第二 Batch Normalization层106、第三卷积层107、第三Batch Normalization层 108以及第二池化层109。

可选地，第一通道201依次包括第四卷积层2011、第四Batch Normalization层2012、第五卷积层2013以及第五Batch Normalization层 2014；第二通道202依次包括第六卷积层2021、第六Batch Normalization 层2022、第七卷积层2023以及第七BatchNormalization层2024；第三通 道203依次包括第三池化层2031、第八卷积层2032以及第八Batch Normalization层2033；第四通道204依次包括第九卷积层2041以及第九 BatchNormalization层2042。

可选地，数据拼接层300依次包括：Concatenate层301、第四池化层 302、全连接层303以及输出层304。

可选地，步骤S2还包括：将多张已知分类结果的CT影像裁剪为预设 尺寸，样本数据为裁剪后的CT影像。

可选地，预设尺寸为224×224的分辨率。

可选地，步骤S3还包括：将待分类的CT影像裁剪为预设尺寸，将裁 剪后的CT影像输入至训练完成的卷积神经网络。

可选地，将待分类的CT影像裁剪为预设尺寸具体为：以CT影像中 主体中心为中心向外扩展多个网格完成对CT影像的裁剪。

第二方面，本发明提供了一种基于卷积神经网络的CT影像分类装置， 包括：

构建模块601，用于构建卷积神经网络，卷积神经网络包括：输入层、 多个卷积层、多个Batch Normalization层、Concatenate层、多个池化层、 全连接层以及输出层；

训练模块602，用于获取多张已知分类结果的CT影像作为样本数据， 将样本数据输入至卷积神经网络以实现对所述卷积神经网络的训练；

分类模块603，用于将待分类的CT影像输入至训练完成的卷积神经 网络，实现CT影像的分类。

第三方面，本发明提供了一种计算机可读存储介质，其上存储有计算 机程序，该程序被处理器执行时实现上述的基于卷积神经网络的CT影像 分类方法。

(三)有益效果

本发明提供了一种基于卷积神经网络的CT影像分类方法、装置及介 质，通过构建深度卷积神经网络，实现对CT影像中内容的快速自动识别， 分类速度快、算法稳定、鲁棒性强。

附图说明

图1示意性示出了本公开实施例的基于卷积神经网络的CT影像分类 方法步骤图；

图2示意性示出了本公开实施例的卷积神经网络的结构图；

图3示意性示出了本公开实施例的卷积神经网络的训练过程图；

图4示意性示出了本公开实施例的卷积神经网络的详细结构图；

图5示意性示出了本公开实施例的卷积神经网络中每层的输出特征矩 阵及连接层信息图；以及

图6示意性示出了本公开实施例的基于卷积神经网络的CT影像分类 装置的框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实 施例，并参照附图，对本发明进一步详细说明。

第一方面，本发明提供了一种基于卷积神经网络的CT影像分类方法， 参见图1，包括：S1，构建卷积神经网络，卷积神经网络包括特征提取层 (100)、特征处理层(200)以及数据拼接层(300)；S2，获取多张已知 分类结果的CT影像作为样本数据，将样本数据输入至卷积神经网络以实 现对卷积神经网络的训练；S3，将待测CT影像输入至训练完成的卷积神经网络，实现CT影像的分类。以下将以具体的实施例为例对该方法进行 详细介绍。

S1，构建卷积神经网络，卷积神经网络包括特征提取层(100)、特征 处理层(200)以及数据拼接层(300)；

具体的，参见图2该卷积神经网络包括特征提取层100、特征处理层 200以及数据拼接层300，其中：

特征提取层100，用于初步提取CT影像中的特征生成特征矩阵，该 特征提取层依次包括输入层101、第一卷积层102、第一Batch Normalization 层103、第一池化层104、第二卷积层105、第二Batch Normalization层 106、第三卷积层107、第三BatchNormalization层108以及第二池化层 109，经过逐层的进行卷积、标准化、压缩和特征提取等操作生成特征矩 阵，并将特征矩阵输入至特征处理层。实际的设计过程中，可以根据需要 调整上述卷积层、Batch Normalization层以及池化层的数量。

特征处理层200，用于进一步提取特征矩阵中的特征，包括第一通道 201、第二通道202、第三通道203以及第四通道204，其中，第一通道201 用于提取特征矩阵的第一特征，该第一通道201依次包括第四卷积层2011、 第四Batch Normalization层2012、第五卷积层2013以及第五Batch Normalization层2014；第二通道202用于提取特征矩阵的第二特征，该第 二通道依次包括第六卷积层2021、第六Batch Normalization层2022、第 七卷积层2023以及第七Batch Normalization层2024；第三通道203用于 提取特征矩阵的第三特征，该第三通道依次包括第三池化层2031、第八卷 积层2032以及第八Batch Normalization层2033；第四通道204用于提取 特征矩阵的第四特征，该第四通道依次包括第九卷积层2041以及第九 Batch Normalization层2042。值得说明的是，针对不同的模型可以设置不 同数量的通道数，针对不同通道数的模型需要的训练数据有别，本发明实 施例中优选为四个。

数据拼接层300，用于对第一通道201、第二通道202、第三通道203 以及第四通道204提取的第一特征、第二特征、第三特征以及第四特征进 行拼接，生成分类结果，该数据拼接层依次包括：Concatenate层、第四池 化层、全连接层以及输出层。

其中，上述第一卷积层至第九卷积层的卷积核尺寸、数量和跨度可以 相同也可以不相同，用于对输入的图像进行卷积，各卷积层通过一个激活 函数来提取图像中的重点特征，多个卷积层可以逐级进行特征提取、每一 卷积层后设有一Batch Normalization层，用于对卷积后的结果进行归一化 处理，使得网格收敛更快，第一Batch Normalization层至第九Batch Normalization层的参数可以相同也可以不相同、多个池化层用于对图像分 区域取最大值以逐级减小数据规模，多个池化层的参数可以相同也可以不 同，如本发明实施例中，所有池化层的过滤器均为3×3，第三池化层2031 的跨度为1，其他池化层的跨度均为2。

S2，获取多张已知分类结果的CT影像作为样本数据，将样本数据输 入至卷积神经网络以实现对卷积神经网络的训练；

步骤S2还包括将多张已知分类结果的CT影像裁剪为预设尺寸，样本 数据为裁剪后的CT影像，该预设尺寸优选为分辨率224×224的尺寸。

具体的，参见图3，获取多找找那个已知分类结果的CT影像，如该 分类结果包括头部、胸部和腹部，其对应的CT影像分别为500张，其中 400张用于对步骤S1中的卷积神经网络进行训练，另100张用于对卷积神 经网络进行测试。若该原始的CT影像的分辨率为512×512，采用ITK (Insight Segmentation and Registration Toolkit)工具包对CT影像进行处理， 找到皮肤轮廓，然后找到该CT影像中主体的中心，基于此中心分别向图 像的四个方向外扩112个网格，得到分辨率为224×224的处理后的CT影 像。

将头部、胸部和腹部的分类结果分别记为0、1和2，一共得到1200 张处理后的CT影像，该1200张处理后的CT影像用于对步骤S1中得到 的卷积神经网络进行训练，以确定该卷积神经网络中的参数，从而得到训 练完成的卷积神经网络。本发明实施例中的卷积神经网络模型结构如图4 所示，该卷积神经网络模型中每层的输出特征矩阵及连接层信息，如图5所示，其中，input_2是输入层，用于输入224×224的CT影像矩阵； conv2d_10是卷积层，一共有64个3×3的卷积核，把224×224的矩阵转 换为112×112×64的矩阵；batch_normalization_10是Batch Normalization 层，其中axis为3，下面所有的BatchNormalization层参数设置相同； max_pooling2d_5是最大池化层，采用2×2的过滤器；conv2d_11是卷积 层，有128个1×1的卷积核，跨度为1；conv2d_12是卷积层，有64个3 ×3的卷积核，跨度为1；max_pooling2d_6是最大池化层，采用3×3的 过滤器，跨度为2；conv2d_14是卷积层，有96个1×1的卷积核，跨度 为1；conv2d_15是卷积层，有128个3×3的卷积核，跨度为1；conv2d_16 是卷积层，有16个1×1的卷积核，跨度为1；conv2d_17是卷积层，有 32个5×5的卷积核，跨度为1；max_pooling2d_7是最大池化层，采用3 ×3的过滤器，跨度为1；conv2d_18是卷积层，有32个1×1的卷积核， 跨度为1；conv2d_13是卷积层，有64个1×1的卷积核，跨度为1； concatenate_2是Concatenate层，分别把batch_normalization_13、 batch_normalization_15、batch_normalization_17和batch_normalization_18 的输出矩阵链接起来；max_pooling2d_8是最大池化层，采用3×3的过滤 器，跨度为2；flatten_2是Flatten层，用于把三维矩阵压缩成一维矩阵； dense_4是全连接层，神经单元结点数为1024；dropout_3是Dropout层， 设置概率为0.5；dense_5是全连接层，神经单元结点数为64；dropout_4 是Dropout层，设置概率为0.3；dense_6是全连接层，神经单元结点数为 3，即分类结果。可以看出从最初的输入的是分辨率为224×224的CT影 像矩阵，经过该卷积神经网络后得到分类信息，本发明实施例中，该分类 信息为三类，分别为头部、胸部和腹部。

用于测试的CT影像一共300张，其中，头部、胸部和腹部各100张， 将该300张CT影像输入至上述训练完成的卷积神经网络，得到的测试结 构如表1所示，可知该卷积神经网络的精度可以达到临床要求。

表1

S3，将待测CT影像输入至训练完成的卷积神经网络，实现CT影像 的分类。

具体的，将待分类的CT影像进行裁剪，裁剪为上述预设尺寸，本发 明实施例中预设尺寸为224×224的分辨率，将裁剪处理后的待分类的CT 影像输入至上述步骤S2训练完成的卷积神经网络，即可实现对CT影像的 识别和分类。

第二方面，本发明还提供了一种基于卷积神经网络的CT影像分类装 置600，参见图6，包括构建模块601、训练模块602以及分类模块603， 其中：

构建模块601，用于构建卷积神经网络，卷积神经网络包括：输入层、 多个卷积层、多个Batch Normalization层、Concatenate层、多个池化层、 全连接层以及输出层；

训练模块602，用于获取多张已知分类结果的CT影像作为样本数据， 将样本数据输入至卷积神经网络以实现对卷积神经网络的训练；

分类模块603，用于将待分类的CT影像输入至训练完成的卷积神经 网络，实现CT影像的分类。

第三方面，本发明还提供了一种计算机可读存储介质，其上存储有计 算机程序，其特征在于，该程序被处理器执行时实现上述的基于卷积神经 网络的CT影像分类方法。

具体的，该计算机可读介质可以是上述实施例中描述的设备/装置/系 统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上 述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被 执行时，实现根据本申请实施例的方法。

根据本申请的实施例，计算机可读介质可以是计算机可读信号介质或 者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质 例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置 或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以 包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、 随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储 器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、 光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计 算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被 指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计 算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据 信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用 多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计 算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可 读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、 装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程 序代码可以用任何适当的介质传输，包括但不限于：无线、有线、光缆、 射频信号等等，或者上述的任意合适的组合。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行 了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而 已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修 改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于卷积神经网络的CT影像分类方法，包括：

S1，构建卷积神经网络，所述卷积神经网络包括特征提取层(100)、特征处理层(200)以及数据拼接层(300)，其中，

特征提取层(100)，用于提取所述CT影像中的特征生成特征矩阵；

特征处理层(200)，用于提取所述特征矩阵中的特征，包括第一通道(201)、第二通道(202)、第三通道(203)以及第四通道(204)，其中，所述第一通道(201)用于提取所述特征矩阵的第一特征，第二通道(202)用于提取所述特征矩阵的第二特征，第三通道(203)用于提取所述特征矩阵的第三特征，第四通道(204)用于提取所述特征矩阵的第四特征；

数据拼接层(300)，用于对所述第一通道(201)、第二通道(202)、第三通道(203)以及第四通道(204)提取的第一特征、第二特征、第三特征以及第四特征进行拼接；

S2，获取多张已知分类结果的CT影像作为样本数据，将所述样本数据输入至所述卷积神经网络以实现对所述卷积神经网络的训练；

S3，将待分类的CT影像输入至训练完成的所述卷积神经网络，实现所述CT影像的分类。

2.根据权利要求1所述的CT影像分类方法，所述特征提取层(100)依次包括输入层(101)、第一卷积层(102)、第一Batch Normalization层(103)、第一池化层(104)、第二卷积层(105)、第Batch Normalization层(106)、第三卷积层(107)、第三Batch Normalization层(108)以及第二池化层(109)。

3.根据权利要求1所述的CT影像分类方法，所述第一通道(201)依次包括第四卷积层(2011)、第四Batch Normalization层(2012)、第五卷积层(2013)以及第五BatchNormalization层(2014)；所述第二通道(202)依次包括第六卷积层(2021)、第六BatchNormalization层(2022)、第七卷积层(2023)以及第七Batch Normalization层(2024)；所述第三通道(203)依次包括第三池化层(2031)、第八卷积层(2032)以及第八BatchNormalization层(2033)；所述第四通道(204)依次包括第九卷积层(2041)以及第九BatchNormalization层(2042)。

4.根据权利要求1所述的CT影像分类方法，所述数据拼接层(300)依次包括：Concatenate层(301)、第四池化层(302)、全连接层(303)以及输出层(304)。

5.根据权利要求1所述的CT影像分类方法，所述步骤S2还包括：

将所述多张已知分类结果的CT影像裁剪为预设尺寸，所述样本数据为裁剪后的CT影像。

6.根据权利要求5所述的CT影像分类方法，所述预设尺寸为224×224的分辨率。

7.根据权利要求5所述的CT影像分类方法，所述步骤S3还包括：将所述待分类的CT影像裁剪为预设尺寸，将裁剪后的CT影像输入至所述训练完成的卷积神经网络。

8.根据权利要求7所述的CT影像分类方法，将所述待分类的CT影像裁剪为预设尺寸具体为：

以所述CT影像中主体中心为中心向外扩展多个网格完成对所述CT影像的裁剪。

9.一种基于卷积神经网络的CT影像分类装置，包括：

构建模块(601)，用于构建卷积神经网络，所述卷积神经网络包括：输入层、多个卷积层、多个Batch Normalization层、Concatenate层、多个池化层、全连接层以及输出层；

训练模块(602)，用于获取多张已知分类结果的CT影像作为样本数据，将所述样本数据输入至所述卷积神经网络以实现对所述卷积神经网络的训练；

分类模块(603)，用于将待分类的CT影像输入至训练完成的所述卷积神经网络，实现所述CT影像的分类。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任意一项所述的基于卷积神经网络的CT影像分类方法。