CN112330682A - 一种基于深度卷积神经网络的工业ct图像分割方法 - Google Patents

Abstract

本发明请求保护一种基于深度卷积神经网络的工业CT图像分割方法，其包括以下步骤：步骤1、工业CT图像数据集的构建步骤，得到训练集、验证集和测试集；步骤2、制作标注样本；步骤3、设计基于深度卷积神经网络的工业CT图像分割的网络结构；步骤4，设计损失函数：使用一种改进的基于Dice系数和二分类交叉熵的损失函数作为的新的目标函数在训练期间来进行优化；步骤5，训练模型，采用tensorflow深度学习框架进行模型训练，模型训练预先采用Adam优化器不断优化步骤4中的自定义损失函数；步骤6，后处理步骤：采用全连接条件随机场对神经网络的分割结果进一步细化处理，不断优化分割结果。本发明分割效率高、精度高而且具有一定的通用性。

Description

一种基于深度卷积神经网络的工业CT图像分割方法

技术领域

本发明属于工业CT图像处理领域，涉及一种基于深度卷积神经网络的工业CT图像分割方法。

背景技术

工业CT(ComputedTomography)检测是一种十分重要的多类型材料工业无损检测手段，可同时完成复杂外形、内部型腔、内部缺陷和微小孔的检测。工业CT能够可视化地显示被检测目标内部及外部结构，同时可精确定位和测量目标尺寸、形状和轮廓误差等，并能通过二维和三维图像显示检测结果并生成量化报告。作为工业CT检测中的重要一环，工业CT图像分割技术具有广泛的应用价值，工业CT图像的分割精度直接影响到工业CT检测最终精度。目前工业CT图像分割方法主要可以分为基于模板的图像分割、基于阈值的图像分割、基于边缘的图像分割等。由于工业CT图像存在噪声种类繁多、噪声分布无规律以及灰度不均等问题，传统的工业CT图像分割算法的检测结果往往受噪声、伪影严重，因此检测精确度不足，已经无法满足高精度工业CT图像检测要求，且传统检测算法存在通用性不足的问题。

近年来，随着深度学习技术的兴起，计算机视觉技术取得了很多突破性的进展，深度卷积神经网络已经在图像分类、目标检测、语义分割、目标追踪和超分辨率等问题上表现出优良的性能。而在整个发展过程中，卷积神经网络(CNN)起着关键性作用，这一成功要归功于卷积神经网络在不依赖手工提取特征的情况下，能够学习原始输入数据的层次表示。由于传统的工业CT图像分割方法受限于手工提取特征的方式导致其具有通用性差，检测精度低，开发成本高而限制了其发展。针对此问题，深度学习是良好的解决途径，深度卷积神经网络具有数据驱动和特征自动学习的优势，能够获得很好的学习能力和特征表达能力，可以提取图像的深层次特征，从而大大提高检测准确率且鲁棒性强。然而，目前关于基于深度卷积神经网络的工业CT图像分割方法的研究特别少。因此，提出一种基于深度卷积神经网络的工业CT图像分割方法具有重大意义。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种具有分割效率高、精度高而且具有一定的通用性的基于深度卷积神经网络的工业CT图像分割方法。本发明的技术方案如下：

一种基于深度卷积神经网络的工业CT图像分割方法，其包括以下步骤：

步骤1、工业CT图像数据集的构建步骤，得到训练集、验证集和测试集；

步骤2、制作标注样本，对步骤1中到的训练集和验证集进行图像标注；

步骤3、设计基于深度卷积神经网络的工业CT图像分割的网络结构，网络总体结构是编码器-解码器的结构，编码器主要用来从原始输入图像中自动提取特征并学习，而解码器负责将编码特征上采样到和输入图像具有相同分辨率的特征图以实现像素级的分类，最终实现工业CT图像的分割；

步骤4，设计损失函数：使用一种改进的基于Dice系数和二分类交叉熵的损失函数作为的新的目标函数在训练期间来进行优化；

步骤5，训练模型，采用tensorflow深度学习框架进行模型训练，模型训练预先采用Adam优化器不断优化步骤4中的自定义损失函数；

步骤6，后处理步骤：采用全连接条件随机场对神经网络的分割结果进一步细化处理，不断优化分割结果。

进一步的，所述步骤1工业CT数据集的构建，主要步骤包括：

1)采集图像，对图像进行一个初步的预处理操作；所述预处理操作包括图像灰度化、图像滤波、图像锐化、图像数据归一化；

2)数据增强步骤；

3)数据集划分，将步骤2)中通过数据增强后所得到的数据集进行shuffle操作后，按训练集、验证集和测试集8:1:1的比例进行划分。

进一步的，所述数据增强步骤具体包括：

为了扩充数据集以实现模型充分学习和模型泛化，通过生成对抗网络GAN对工业CT图像数据集进行扩充；此外，通过Imgaug库对训练样本数据集进行扩充，包括平移、镜像、旋转、高斯模糊和弹性变换，为了后续卷积神经网络能够进行充分的特征提取，对数据集进行随机缩放以便神经网络可以学习到不同尺度的特征。

进一步的，所述步骤2具体包括：

对步骤1得到的训练集和验证集进行图像标注，使用标注工具Labelme或者Photoshop对图像进行逐像素标注，对标签进行二值化操作，将图像中的对象对应的标签像素值置1，将图像中的背景部分对应的标签像素置0。

进一步的，所述步骤3基于深度卷积神经网络的工业CT图像分割的网络结构具体为：

1)编码器部分主要是以改进的深度残差网络ResNet-101作为backbone进行特征提取，第一组卷积，卷积核的大小为7*7，卷积核的个数是64个，在卷积层后添加一个批量归一化层和非线性激活函数Leaky-Relu，紧接着是平均池化层，核的尺寸为3*3,步长为2；第二组卷积包括3个残差块，每个残差块由有3个卷积组成，三个卷积核尺寸分别为1*1、3*3和1*1，对应的卷积核个数分别为64、64和256；第三组卷积包括包含4个残差块，每个残差块由有3个卷积组成，三个卷积核尺寸分别为1*1、3*3和1*1，对应的卷积核个数分别为128、128和512；第四组卷积包括包含23个残差块，每个残差块由有3个卷积组成，三个卷积核尺寸分别为1*1、3*3和1*1，对应的卷积核个数分别为256、256和1024。第五组卷积包括包含3个残差块，每个残差块由有3个卷积组成，三个卷积核尺寸分别为1*1、3*3和1*1，对应的卷积核个数分别为512、512和2048；

2)在解码阶段，将底层信息和深层次的信息进行高度融合，然后通过转置卷积不断学习进行上采样操作将特征图恢复到原始图像大小进而对每一个像素进行分类，解码器的最后一层为sigmoid层，sigmoid函数为

它将神经网络的输出归一化到0到1，当输出大于0.5时为前景，当输出小于0.5时，则为背景。

进一步的，所述步骤4的设计损失函数具体包括：设计一种基于Dice系数和二分类交叉熵损失函数相结合作为的新的目标函数在训练期间来不断进行优化，Dice系数函数表达式为

二分类交叉熵的损失函数表达式为

新的目标函数为：

式中，Y_i和

分别代表第i张图像展平后神经网络预测的概率和展平后真实标签，N代表批量大小。二分类交叉熵损失函数对每个类别具有相同的关注度，这就会很容易受到类别不均衡的情况。与一般的只用交叉熵损失函数相比，Dice系数能够关注真实值和预测值的重合部分，这就能够使得在类别不均衡的情况下模型也能表现很好，适合处理前景和背景像数量严重不均衡的情况。

进一步的，所述步骤5具体包括：

训练模型，采用tensorflow深度学习框架进行模型训练，模型训练预先采用Adam优化器不断优化(4)中的自定义损失函数，初始学习率为0.001，然后再使用SGD优化器不断优化(4)中的自定义损失函数，采用动态学习率机制进行训练，在验证集上指定10个epoch损失函数没有下降时，自动降低学习率使目标值达到最优；此外，设定early stopping监督机制，当5个epoch后，模型在验证集上的精度没有得到改善时，自动停止训练。

进一步的，所述步骤6采用全连接条件随机场对神经网络的分割结果进一步细化处理，不断优化分割结果，具体包括：

构建如下能量函数：

式中，x代表像素的标签，Ψ_i(x_i)是一元势能函数，它的函数表达式为Ψ_i(x_i)＝-logP(x_i)，其中P(x_i)是深度卷积神经网络输出的第i个像素类别对应的标签预测概率，Ψ_ij(x_i，x_j)是双边势能函数，函数表达式如下：

式中当x_i＝x_j时，μ(x_i，x_j)＝1，否则为0。第一个核函数依赖于像素的位置和像素的颜色强度，第二个核函数只依赖于像素的位置。σ_α，σ_β，σ_γ是控制两个高斯核的尺度，ω₁和ω₂是两个高斯核的权重。

通过迭代推理，条件随机场模型能够将位置相邻和颜色特征相似的像素归为一类从而优化对象边缘的分割效果，最终完成工业CT图像的进一步细化分割。

本发明的优点及有益效果如下：

本发明提供了一种基于深度卷积神经网络的工业CT图像分割方法，设计了一种基于编码器-解码器结构的工业CT分割网络模型，可以快速准确地进行分割。针对工业CT扫描昂贵导致图像样本数量不足的问题，利用生成对抗网络进行数据增强扩充训练样本集，从而提升模型的学习和泛化能力；针对分割时类别不均衡问题，通过设计一种基于Dice系数和交叉熵的损失函数相结合的新的损失函数来解决训练过程中类别不均衡问题。与传统的分割方法相比，本发明方法能够克服手工提取特征的方式，工作量大且复杂，人为主观因素的干扰引起的问题，具有分割效率高、精度高而且具有一定的通用性。

附图说明

图1是本发明提供优选实施例方法的一种基于深度卷积神经网络的工业CT图像分割方法的流程图；

图2是本发明方法的工业CT图像数据集的构建流程图；

图3是本发明方法的图像分割的编码器-解码器网络模型结构图；

图4是本发明方法的用于特征提取的ResNet-101网络结构图；

图5是本发明方法的对神经网络粗分割的后处理流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

如图1所示，本发明实施例提供了一种基于深度卷积神经网络的工业CT图像分割方法，包括以下步骤：

步骤1，工业CT图像数据集的构建，构建的具体流程如图2所示；

1.1、采集图像，对图像进行一个初步的预处理操作，主要包括图像灰度化、图像滤波、图像锐化、图像数据归一化；

1.2、数据增强，由于工业CT扫描价格非常昂贵，因此所得到的工业CT图像数据集有限，为了扩充数据集以实现模型充分学习和模型泛化，通过生成对抗网络(GAN)对工业CT图像数据集进行扩充。此外，通过Imgaug库对训练样本数据集进行扩充，包括平移、镜像、旋转、高斯模糊和弹性变换等，此外，为了后续卷积神经网络进行充分的特征提取，对数据集进行随机缩放以便神经网络可以学习到不同尺度的特征；

1.3、数据集划分，将1.2中得到的数据集进行shuffle操作后，按训练集、验证集和测试集8:1:1的比例进行划分；

步骤2，制作标注样本，对步骤1中到的训练集和验证集进行图像标注，使用标注工具Labelme或者Photoshop对图像进行标注,对标签进行二值化操作，将图像中的对象对应的标签像素值置1，将图像中的背景部分对应的标签像素置0；

步骤3，设计基于深度卷积神经网络的工业CT图像分割的网络结构，网络总体结构是编码器-解码器的结构，如图3所示。编码器主要用来从原始输入图像中自动提取特征并学习，而解码器负责将编码特征上采样到和输入图像分辨率相同以实现像素级的分类，最终实现工业CT图像的分割。网络的具体结构为：

3.1、编码器部分主要是以改进的深度残差网络ResNet-101作为backbone进行特征提取，ResNet-101的结构如图4所示。第一组卷积，卷积核的大小为7*7，卷积核的个数是64个，在卷积层后添加一个批量归一化层和改进的非线性激活函数Leaky-Relu，紧接着是平均池化层，核的尺寸为3*3,步长为2。第二组卷积包括3个残差块，每个残差块由有3个卷积组成，三个卷积核尺寸分别为1*1、3*3和1*1，对应的卷积核个数分别为64、64和256。第三组卷积包括包含4个残差块，每个残差块由有3个卷积组成，三个卷积核尺寸分别为1*1、3*3和1*1，对应的卷积核个数分别为128、128和512。第四组卷积包括包含23个残差块，每个残差块由有3个卷积组成，三个卷积核尺寸分别为1*1、3*3和1*1，对应的卷积核个数分别为256、256和1024。第五组卷积包括包含3个残差块，每个残差块由有3个卷积组成，三个卷积核尺寸分别为1*1、3*3和1*1，对应的卷积核个数分别为512、512和2048。

3.2、在解码阶段，将底层信息和深层次的信息进行高度融合，然后通过转置卷积不断学习进行上采样操作将特征图恢复到原始图像大小进而对每一个像素进行分类，解码器的最后一层为sigmoid层，sigmoid函数为

它将神经网络的输出归一化到0到1，当输出大于0.5时为前景，当输出小于0.5时，则为背景。

步骤4，损失函数：由于目标对象在在整副图像中通常只占一小部分，这就会出现严重的类别不平衡情况，因此设计一种基于Dice系数和二分类交叉熵损失函数相结合作为的新的目标函数在训练期间来不断进行优化，这可以处理前景和背景体像数量严重不平衡的情况，目标函数为：

式中，Y_i和

分别代表第i张图像展平后神经网络预测的概率和展平后真实标签，N代表批量大小。

步骤5，训练模型，采用tensorflow深度学习框架进行模型训练，模型训练预先采用Adam优化器不断优化步骤4中的自定义损失函数，初始学习率为0.001，然后再使用SGD优化器不断优化步骤4中的自定义损失函数，采用动态学习率机制进行训练，在验证集上指定10个epoch损失函数没有下降时，自动降低学习率使目标值达到最优。此外，设定earlystopping监督机制，当5个epoch后，模型在验证集上的精度没有得到改善时，自动停止训练，从而可以有效地避免无效地训练和降低模型过拟合的风险。

步骤6，后处理：精确定位和分类性能是深度神经网络中一对天生的平衡关系，经过上述处理后，模型分类表现的精确率很高，但是对象边缘的分割效果较差，轮廓边缘存在模糊的情况，采用全连接条件随机场对神经网络的分割结果进一步细化，如图5所示。通过构建能量函数不断迭代推理，条件随机场模型能够将位置相邻和颜色特征相似的像素归为一类从而优化对象轮廓边缘的分割效果，最终实现对工业CT图像的进一步细化分割。

上述实施例阐明的方法，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (8)

1.一种基于深度卷积神经网络的工业CT图像分割方法，其特征在于，包括以下步骤：

步骤1、工业CT图像数据集的构建步骤，得到训练集、验证集和测试集；

步骤2、制作标注样本，对步骤1中到的训练集和验证集进行图像标注；

步骤3、设计基于深度卷积神经网络的工业CT图像分割的网络结构，网络总体结构是编码器-解码器的结构，编码器主要用来从原始输入图像中自动提取特征并学习，而解码器负责将编码特征上采样到和输入图像具有相同分辨率的特征图以实现像素级的分类，最终实现工业CT图像的分割；

步骤4，设计损失函数：使用一种改进的基于Dice系数和二分类交叉熵的损失函数作为的新的目标函数在训练期间来进行优化；

步骤5，训练模型，采用tensorflow深度学习框架进行模型训练，模型训练预先采用Adam优化器不断优化步骤4中的自定义损失函数；

步骤6，后处理步骤：采用全连接条件随机场对神经网络的分割结果进一步细化处理，不断优化分割结果。

2.根据权利要求1所述的一种基于深度卷积神经网络的工业CT图像分割方法，其特征在于，所述步骤1工业CT数据集的构建，主要步骤包括：

1)采集图像，对图像进行一个初步的预处理操作；所述预处理操作包括图像灰度化、图像滤波、图像锐化、图像数据归一化；

2)数据增强步骤；

3)数据集划分，将步骤2)中通过数据增强后所得到的数据集进行shuffle操作后，按训练集、验证集和测试集8:1:1的比例进行划分。

3.根据权利要求2所述的一种基于深度卷积神经网络的工业CT图像分割方法，其特征在于，所述数据增强步骤具体包括：

为了扩充数据集以实现模型充分学习和模型泛化，通过生成对抗网络GAN对工业CT图像数据集进行扩充；此外，通过Imgaug库对训练样本数据集进行扩充，包括平移、镜像、旋转、高斯模糊和弹性变换，为了后续卷积神经网络能够进行充分的特征提取，对数据集进行随机缩放以便神经网络可以学习到不同尺度的特征。

4.根据权利要求1-3之一所述的一种基于深度卷积神经网络的工业CT图像分割方法，其特征在于，所述步骤2具体包括：

对步骤1得到的训练集和验证集进行图像标注，使用标注工具Labelme或者Photoshop对图像进行逐像素标注，对标签进行二值化操作，将图像中的对象对应的标签像素值置1，将图像中的背景部分对应的标签像素置0。

5.根据权利要求4所述的一种基于深度卷积神经网络的工业CT图像分割方法，其特征在于，所述步骤3基于深度卷积神经网络的工业CT图像分割的网络结构具体为：

1)编码器部分主要是以改进的深度残差网络ResNet-101作为backbone进行特征提取，第一组卷积，卷积核的大小为7*7，卷积核的个数是64个，在卷积层后添加一个批量归一化层和非线性激活函数Leaky-Relu，紧接着是平均池化层，核的尺寸为3*3,步长为2；第二组卷积包括3个残差块，每个残差块由有3个卷积组成，三个卷积核尺寸分别为1*1、3*3和1*1，对应的卷积核个数分别为64、64和256；第三组卷积包括包含4个残差块，每个残差块由有3个卷积组成，三个卷积核尺寸分别为1*1、3*3和1*1，对应的卷积核个数分别为128、128和512；第四组卷积包括包含23个残差块，每个残差块由有3个卷积组成，三个卷积核尺寸分别为1*1、3*3和1*1，对应的卷积核个数分别为256、256和1024。第五组卷积包括包含3个残差块，每个残差块由有3个卷积组成，三个卷积核尺寸分别为1*1、3*3和1*1，对应的卷积核个数分别为512、512和2048；

2)在解码阶段，将底层信息和深层次的信息进行高度融合，然后通过转置卷积不断学习进行上采样操作将特征图恢复到原始图像大小进而对每一个像素进行分类，解码器的最后一层为sigmoid层，sigmoid函数为

它将神经网络的输出归一化到0到1，当输出大于0.5时为前景，当输出小于0.5时，则为背景。

6.根据权利要求5所述的一种基于深度卷积神经网络的工业CT图像分割方法，其特征在于，所述步骤4的设计损失函数具体包括：设计一种基于Dice系数和二分类交叉熵损失函数相结合作为的新的目标函数在训练期间来不断进行优化，Dice系数函数表达式为

二分类交叉熵损失函数表达式为

新的目标函数为：

式中，Y_i和

分别代表第i张图像展平后神经网络预测的概率和展平后真实标签，N代表批量大小。

7.根据权利要求6所述的一种基于深度卷积神经网络的工业CT图像分割方法，其特征在于，所述步骤5具体包括：

训练模型，采用tensorflow深度学习框架进行模型训练，模型训练预先采用Adam优化器不断优化(4)中的自定义损失函数，初始学习率为0.001，然后再使用SGD优化器不断优化(4)中的自定义损失函数，采用动态学习率机制进行训练，在验证集上指定10个epoch损失函数没有下降时，自动降低学习率使目标值达到最优；此外，设定early stopping监督机制，当5个epoch后，模型在验证集上的精度没有得到改善时，自动停止训练。

8.根据权利要求7所述的一种基于深度卷积神经网络的工业CT图像分割方法，其特征在于，所述步骤6采用全连接条件随机场对神经网络的分割结果进一步细化处理，不断优化分割结果，具体包括：

构建如下能量函数：

式中，x代表像素的标签，Ψ_i(x_i)是一元势能函数，它的函数表达式为Ψ_i(x_i)＝-logP(x_i)，其中P(x_i)是深度卷积神经网络输出的第i个像素类别对应的标签预测概率，Ψ_ij(x_i，x_j)是双边势能函数，函数表达式如下：

式中当x_i＝x_j时，μ(x_i，x_j)＝1，否则为0，第一个核函数依赖于像素的位置和像素的颜色强度，第二个核函数只依赖于像素的位置，σ_α，σ_β，σ_γ是控制两个高斯核的尺度，ω₁和ω₂是两个高斯核的权重；

通过迭代推理，条件随机场模型能够将位置相邻和颜色特征相似的像素归为一类从而优化对象边缘的分割效果，最终完成工业CT图像的进一步细化分割。

Images