CN110600105A

CN110600105A - 一种ct影像数据处理方法、装置及存储介质

Info

Publication number: CN110600105A
Application number: CN201910795986.9A
Authority: CN
Inventors: 王勤玉; 邓春华; 张诗文; 周宏程; 杨念; 刘翠翠
Original assignee: Wuhan University of Science and Engineering WUSE
Current assignee: Wuhan University of Science and Engineering WUSE; Wuhan University of Science and Technology WHUST
Priority date: 2019-08-27
Filing date: 2019-08-27
Publication date: 2019-12-20
Anticipated expiration: 2039-08-27
Also published as: CN110600105B

Abstract

本发明提供一种CT影像数据处理方法、装置及存储介质，方法包括：获取的每个CT影像包括人体部位的一组层面图像，从CT影像的层面图像中以位置间隔方式选取预设数量的层面图像，将选取的层面图像作为CT影像的训练图像，并合成图像；将合成图像分别输入预先建立的多个网络模型中进行训练；将训练后的各网络模型进行融合，得到融合网络模型；对融合网络模型进行训练；将目标CT影像输入训练后的融合网络模型中，输出对目标CT影像的病理预测结果。从各个CT影像中的不同位置选取多张训练图像，并合成得到合成图像，通过合成图像来训练各基本网络模型，提高网络训练的准确性，并将训练后的各个网络模型融合为一体，得到融合网络模型，以此提高鲁棒性和预测精度。

Description

一种CT影像数据处理方法、装置及存储介质

技术领域

本发明主要涉及图像处理技术领域，具体涉及一种CT影像数据处理方法、装置及存储介质。

背景技术

CT断层扫描得到的影像数据，其原始格式为DCM文件。DCM文件是遵循DICOM(DICOM：Digital Imaging and Communications in Medicine，医疗数位影像传输协定)标准的一种文件，被广泛应用于医疗行业。CT图像是层面图像，常用的是横断面，为了显示整个器官，常包含多个连续的层面图像。目前主要是采用图像处理网络模型对CT图像进行分析处理，而在分析处理前会对图像进行预处理，在预处理过程中容易造成图像特征丢失的情况，使输出的分析数据不够准确。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供一种CT影像数据处理方法、装置及存储介质。

本发明解决上述技术问题的技术方案如下：一种CT影像数据处理方法，包括如下步骤：

获取多个CT影像，每个所述CT影像包括人体部位的一组层面图像；

从所述CT影像的层面图像中以位置间隔方式选取预设数量的层面图像，将选取的所述层面图像作为所述CT影像的训练图像，多个CT影像得到多组训练图像；

分别将各组所述训练图像进行合成处理，得到多张训练合成图像；

将所述多张训练合成图像分别输入预先建立的Inception V3网络模型、ResNet50网络模型和Xception网络模型中进行训练；

将训练后的Inception V3网络模型、ResNet 50网络模型和Xception网络模型进行融合，得到融合网络模型，并对所述融合网络模型进行训练，得到训练后的融合网络模型；

获取目标CT影像，将所述目标CT影像输入所述训练后的融合网络模型中，输出所述目标CT影像的病理预测结果。

本发明解决上述技术问题的另一技术方案如下：一种基于CT影像的数据处理装置，包括：

获取模块，用于获取多个CT影像，每个所述CT影像包括人体部位的一组层面图像；

选取模块，用于从所述CT影像的层面图像中以位置间隔方式选取预设数量的层面图像，将选取的所述层面图像作为所述CT影像的训练图像，多个CT影像得到多组训练图像；

合成模块，用于分别将各组所述训练图像进行合成处理，得到多张训练合成图像；

训练模块，用于将所述多张训练合成图像分别输入预先建立的Inception V3网络模型、ResNet 50网络模型和Xception网络模型中进行训练，分别得到训练后的InceptionV3网络模型、ResNet 50网络模型和Xception网络模型；

融合模块，用于将训练后的Inception V3网络模型、ResNet 50网络模型和Xception网络模型进行融合，得到融合网络模型，并对所述融合网络模型进行训练，得到训练后的融合网络模型；

处理模块，用于通过所述获取模块获取目标CT影像，将所述目标CT影像输入所述训练后的融合网络模型中，输出所述目标CT影像的病理预测结果。

本发明解决上述技术问题的另一技术方案如下：一种基于CT影像的数据处理装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，当所述处理器执行所述计算机程序时，实现如上所述的CT影像数据处理方法。

本发明解决上述技术问题的另一技术方案如下：一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的CT影像数据处理方法。

本发明的有益效果是：分别从多张CT影像中的不同位置选取多张训练图像，并合成得到合成图像，通过合成图像来训练Inception V3网络模型、ResNet 50网络模型和Xception网络模型，提高网络训练的准确性，并将训练后的各个网络模型融合为一体，得到融合网络模型，以此提高鲁棒性和预测精度，解决了单一网络模型预测不准确的问题。

附图说明

图1为本发明一实施例提供的CT影像数据处理方法的流程示意图；

图2为本发明一实施例提供的CT影像数据处理装置的模块框图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

图1为本发明一实施例提供的CT影像数据处理方法的流程示意图。

如图1所示，一种CT影像数据处理方法，包括如下步骤：

应理解地，CT影像包括一组层面图像。例如，从每组层面图像中三处各选取1张，即每组层面图像选取3张，将3张层面图像合成为1张图像，得到合成图像。例如，有10个CT影像，每组合成1张图像，即可得到10张训练合成图像。

具体地，Inception V3网络模型、ResNet 50网络模型和Xception网络模型三个网络模型采用已有的ImageNet进行预训练，得到网络初始化权重，用来加速网络模型的收敛和提高模型的精度；

其中，Inception V3网络模型架构的主要思想是找出卷积视觉网络中最优的局部稀疏结构是如何被现成的密集组件逼近和覆盖的。其主要特点是提高了网络内部计算资源的利用率允许增加网络的深度和宽度而保持计算预算不变。Inception V3网络模型使用3个不同大小的滤波器(1x1、3x3、5x5)对输入执行卷积操作，并进行最大池化。所有子层的输出最后会被级联起来，并传送至下一个Inception模块，但这样的深度神经网络需要耗费大量计算资源。为了降低计算成本，在3x3和5x5卷积层之前添加额外的1x1卷积层，来限制输入信道的数量，这样的降维度操作能显著减小计算成本。此外，Inception V3网络模型还进行卷积核分解，将大尺寸的卷积核分解成小尺寸的卷积核，这样既减少了运算时间，又使得网络层数进一步加深且降低了过拟合。将5x5卷积核分解成两个3x3卷积核，Inception V3的引进使网络能更准确地捕获图片特征，扩展模型的表达能力。

ResNet 50网络模型提出一种具有易优化、计算负担小等优点的残差学习框架，其基本思想是残差网络的引入输入和输出层之间开辟直通道，优化输入与输出的差，其表达式为：

F(X)＝H(X)–X

式中：X为某一层输入，H(X)为输出。

残差用来设计解决退化和梯度问题，使得网络的性能在深度增加的同时也得以提升。ResNet 50中包含了49个卷积层和1个全连阶层，其中，第二至五阶段中的ID BLOCK代表的是两个不改变维度的残差块，CONV BLOCK代表的是添加维度的残差块，每个残差块包含三个卷积层，所以有49个卷积层。

Xception网络模型是对lnception V3的一种改进，它以lnception V3为基础，使用depthwise separable convolution+Pointwise Conv来替换原来lncetion V3中的卷积操作，而且还引入了Residual learning的结构。在传统卷积网络中，卷积层会同时寻找跨空间和跨深度的相关性；而Xception则更进一步，它将跨通道的相关性和空间相关性完全分离，在将输入数据分割成几个压缩的数据块后，为每个输出通道单独映射空间相关性，然后再执行1*1的深度方面的卷积来获取跨通道的相关性。

Xception网络模型的这种完全分离跨通道的相关性和空间相关性的做法，不仅在大规模的图像数据集上有更好的表现，而且其计算效率更优,且有对细微特征的学习能力。

上述实施例中，从多张CT影像中的不同位置选取多张训练图像，并合成得到合成图像，通过合成图像来训练Inception V3网络模型、ResNet 50网络模型和Xception网络模型，提高网络训练的准确性，并将训练后的各个网络模型融合为一体，得到融合网络模型，以此提高鲁棒性和预测精度，解决了单一网络模型预测不准确的问题。

可选地，作为本发明的一个实施例，所述从所述CT影像的层面图像中以位置间隔方式选取预设数量的层面图像的过程包括：

根据获取先后顺序对本组层面图像进行排列，将排列后的各个层面图像进行连续编号，所述连续编号为从数字小至数字大进行依次编号；

根据第一式计算选取层面图像的编号X，所述第一式为：

X＝Y×m，

其中，Y为CT影像中所有层面图像的数量，m为1/4或2/4或3/4，所述1/4表示经排列的所有层面图像的1/4位置处，所述2/4表示经排列的所有层面图像的2/4位置处，所述3/4表示经排列的所有层面图像的3/4位置处，得到第一训练图像、第二训练图像和第三训练图像，所述第一训练图像、第二训练图像和第三训练图像为一组训练图像；

若计算结果为小数，则去掉小数部分，保留整数数值，根据计算得到的整数数值得到选取层面图像的编号。

例如，CT影像中所有层面图像的数量为40张，根据第一式可分别得到，前部位置：X＝Y×m＝40×1/4＝10，则取编号为10的层面图像；中部位置：X＝Y×m＝40×2/4＝20，则取编号为20的层面图像；尾部位置：X＝Y×m＝40×3/4＝30，则取编号为30的层面图像，将选取的这三张CT影像作为第一训练图像、第二训练图像和第三训练图像。可知，预设数量为3张。

上述实施例中，从前至后选取的覆盖面扩大，提高了训练数据的准确性。

可选地，作为本发明的一个实施例，所述分别将各组所述训练图像进行合成处理的过程包括：

根据预设像素值将所述第一训练图像、所述第二训练图像和所述第三训练图像进行像素修改；

将经像素修改的第一训练图像处理为R通道图像，将经像素修改的第二训练图像处理为G通道图像，将经像素修改的第三训练图像处理为B通道图像；

根据灰度图合成RGB方法将所述R通道图像、所述G通道图像和所述B通道图像合成为RGB合成图像。

具体地，预设像素值为299*299像素大小，将训练图像处理为相同像素的图像；所述R通道图像、所述G通道图像和所述B通道图像为灰度图像。

上述实施例中，将前部位置训练图像、中部位置训练图像和尾部位置训练图像以同一像素规格修改，由三维合成二维，以二维图像形式表示后分别投入Inception V3网络模型、ResNet 50网络模型和Xception网络模型中训练，避免造成数据丢失。

可选地，作为本发明的一个实施例，所述将训练后的Inception V3网络模型、ResNet 50网络模型和Xception网络模型进行融合，并对所述融合网络模型进行训练的过程包括：

设置全连接层、收敛层、输出层和激活函数sigmoid；

所述全连接网络层用于，将训练后的Inception V3网络模型的输出层、ResNet 50网络模型的输出层和Xception网络模型的输出层进行全连接，以获取各输出层得到的合成图像数据；

所述收敛层用于，通过所述激活函数sigmoid对所述合成图像数据进行收敛训练；

所述输出层用于，输出经收敛后的合成图像数据。

具体地，训练过程在基于tensorflow的keras框架下进行，学习率采用Adadelta动态调整算法，加入DropOut增强模型的泛化能力，均迭代15次后模型达到比较理想的状态。融合模型的训练过程为：将融合图像投入训练好的Inception V3网络模型、ResNet 50网络模型和Xception网络模型中，经过一次正向传播，每个基本网络模型对应着两个softmaxscore值，将此6个softmax score作为融合网络的输入值，新的融合网络选用仅有一个神经元的全连接层网络，sigmoid作为激活函数，将输入投入融合网络进行收敛训练。

图2为本发明一实施例提供的CT影像数据处理方法的模块框图。

可选地，作为本发明的一个实施例，如图2所示，一种CT影像数据处理装置，包括：

可选地，作为本发明的一个实施例，所述选取模块具体用于：

根据获取先后顺序对所述多张CT影像进行排列，分别从位于经排列的所有CT影像的前部位置、中部位置及尾部位置处各选取一张CT影像，得到前部位置训练图像、中部位置训练图像和尾部位置训练图像，作为训练图像。

可选地，作为本发明的一个实施例，所述选取模块还具体用于：

所述从每个单位的所述CT影像的层面图像中以位置间隔方式选取多张层面图像的过程包括：

根据第一式计算选取层面图像的编号X，所述第一式为：

X＝Y×m，

可选地，作为本发明的一个实施例，所述融合模块具体用于：

设置全连接层、收敛层、输出层和激活函数sigmoid；

所述输出层用于，输出经收敛后的合成图像数据。

作为本发明的另一个实施例，一种基于CT影像的数据处理装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，当所述处理器执行所述计算机程序时，实现如上所述的CT影像数据处理方法。该装置可为计算机等装置。

作为本发明的一个实施例，一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的CT影像数据处理方法。

本发明可应用于多中CT影像中，例如肾脏CT影像中，输出良性和恶性分类，为医务人员判断肾脏良恶性提供参考数据。

为保证本实验的客观性，我们根据不同的随机种子随机确立了10组训练集、测试集在数据集上的划分，划分比例保持6：4不变，即训练集(60％)和测试集(40％)，分别独立完成训练和测试，经过试验，在三个基本网络模型中Xception在此数据集上表现的最好，最终精度稳定在91.92％，ResNet 50在此数据集上表现不佳，稳定后的精度在82.70％。Xception和Inception在此实验中均表现得很好，和融合网络的效果比较接近，但十次实验的平均结果显示，融合网络表现得更加稳定，在测试集上准确率达到95.2％，高出Xception2.19％，高出Inception4.69％，具有更好的鲁棒性和更高的准确率。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims

1.一种CT影像数据处理方法，其特征在于，包括如下步骤：

将所述多张训练合成图像分别输入预先建立的Inception V3网络模型、ResNet 50网络模型和Xception网络模型中进行训练；

获取目标CT影像，将所述目标CT影像输入所述训练后的融合网络模型中，输出对目标CT影像的病理预测结果。

2.根据权利要求1所述的CT影像数据处理方法，其特征在于，所述从所述CT影像的层面图像中以位置间隔方式选取预设数量的层面图像的过程包括：

根据第一式计算选取层面图像的编号X，所述第一式为：

X＝Y×m，

3.根据权利要求2所述的CT影像数据处理方法，其特征在于，所述分别将各组所述训练图像进行合成处理的过程包括：

4.根据权利要求1所述的CT影像数据处理方法，其特征在于，所述将训练后的Inception V3网络模型、ResNet 50网络模型和Xception网络模型进行融合，并对所述融合网络模型进行训练的过程包括：

设置全连接层、收敛层、输出层和激活函数sigmoid；

所述输出层用于，输出经收敛后的合成图像数据。

5.一种CT影像数据装置，其特征在于，包括：

训练模块，用于将所述多张训练合成图像分别输入预先建立的Inception V3网络模型、ResNet 50网络模型和Xception网络模型中进行训练，分别得到训练后的Inception V3网络模型、ResNet 50网络模型和Xception网络模型；

处理模块，用于通过所述获取模块获取目标CT影像，将所述目标CT影像输入所述训练后的融合网络模型中，输出对所述目标CT影像的病理预测结果。

6.根据权利要求5所述的CT影像数据处理装置，其特征在于，所述选取模块还具体用于：

根据第一式计算选取层面图像的编号X，所述第一式为：

X＝Y×m，

7.根据权利要求6所述的CT影像数据处理装置，其特征在于，所述合成模块具体包括：

8.根据权利要求5所述的CT影像数据处理装置，其特征在于，所述融合模块具体用于：

设置全连接层、收敛层、输出层和激活函数sigmoid；

所述输出层用于，输出经收敛后的合成图像数据。

9.一种CT影像数据处理装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，当所述处理器执行所述计算机程序时，实现如权利要求1至4任一项所述的CT影像数据处理方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，当所述计算机程序被处理器执行时，实现如权利要求1至4任一项所述的CT影像数据处理方法。