CN107977686A - 一种工业x光图像的分类方法 - Google Patents

Abstract

本发明公开了一种工业X光图像的分类方法，该方法实现了对工业生产过程中无损探伤检测环节的自动化，能够代替人工对该环节产生的X光图像进行病疵种类的快速分类。本发明还针对底纹对病疵图像识别的影响作出改进，通过提出去底纹函数，构造出纯底纹图像，利用原图与纯底纹图像的差异，在一定程度上去除原图中的底纹，大幅提升这种情况下图像分类的准确率。此外本发明通过对神经网络训练过程中残差的利用，大大降低训练耗时，确保了方法的高效性。

Description

一种工业X光图像的分类方法

技术领域

本发明属于工业图像分类技术领域，具体涉及一种工业X光图像的分类方法。

背景技术

质量检验在工业界中是控制产品质量的一种重要手段，但是目前很多产品成型后都无法从表面对产品内部的结构性问题进行检验，因而产生了一些无损探伤检测的方法。这些无损探伤检测方法中，大部分是利用射线穿透金属，形成能反映一定内部结构的图像，然后人工进行识别。

目前工业界在使用的主要方法是雇佣相应的技术工人，凭借个人知识对产品的X光图片进行判断，确定产品是否有问题以及存在问题的种类。但是这种传统的方法，因为对人力的大规模使用，也存在一些问题：(1)这种方法要求工人熟悉产品的内部结构，能够将图片中的内容与实际产品联系起来，这样就要求工人有长时间相关的工作经验并需要加以培训；(2)工人长期在X光设备附近工作，在工厂的维护下高频率生成X光图片，很难保证不受到辐射环境的侵害，可能会对身体健康造成影响；(3)工人在品质检验过程中，需要长时间、大频率、高精力进行X光图像的查看与判断，由于工作状态、个体差异等多种与人相关的因素，可能对结果造成人为的影响。

此外还有根据带钢表面缺陷图像具有复杂纹理结构、包含大量干扰信息、具备高维非线性几何结构等特点，提出的基于监督双限制连接等距映射(Isomap)方法的带钢表面缺陷图像降维方法，用于对产品是否有缺陷和缺陷类型做分类。但是其在工业上的应用，往往是根据研究者的先验知识，通过滤波、降维等等的特征抽取手段，对其特定的应用场景能有比较好的应用效果，但缺乏相对的灵活性，而且先验知识及人工特征抽取的过程对结果有着很大的影响。

发明内容

鉴于上述，本发明提供了一种工业X光图像的分类方法，能够代替人工实现对工业产品X光图像的缺陷类型进行分类，实现全自动化，保证过程不受到人为变化因素的干扰。

一种工业X光图像的分类方法，包括如下步骤：

(1)获取由大量关于目标对象工业X光图像组成的数据库，将该数据库转换成VOC(Visual Object Classes，虚拟对象分类)格式，并使数据库中的图像分为训练集、验证集和测试集，所述图像事先通过人工的方式标记有ROI(感兴趣区域)及其分类信息；

(2)对数据库中的图像进行锐化处理，得到锐化数据集；

(3)对于锐化数据集中的任一图像，使其与底纹图片进行差值化处理以确定该图像对应的正值图和负值图；

(4)使训练集得到的正值图和负值图组成样本集合，并利用样本集合中的图像逐一输入至由ResNet(残差网络)与RPN(Region Proposal Net)组成的神经网络中进行训练，进而将该神经网络的输出结果作为Softmax分类器的输入，ROI的分类信息作为Softmax分类器的输出以对其进行训练，得到工业X光图像的分类模型；

(5)利用验证集对该分类模型进行调试，利用测试集对调试后的分类模型进行分类测试。

进一步地，所述步骤(1)中将数据库转换成VOC格式的具体方法为：创建Annotations、ImageSets和JPEGImages三个目录，其中目录Annotations用于存放每张图像对应的XML描述文件(包含有图像文件名、尺寸、ROI类型和位置等信息)，目录JPEGImages用于存放图像，目录ImageSets存放有train.txt、val.txt、test.txt三个文件，分别记录训练集、验证集和测试集中包含的图像文件名。

进一步地，所述步骤(2)中对数据库中的图像进行锐化处理，具体方法为：首先根据方差σ＝1.5的高斯分布曲线对图像做半径为1的高斯模糊得到对应的高斯模糊图；然后根据公式x'＝(x-wz)/(1-w)对图像进行锐化处理，其中x和x'分别为图像中任一像素点锐化处理前后的像素值，z为该像素点在高斯模糊图中的像素值，w为预设的高斯权重；最后将锐化处理后图像中的像素值缩放至0～255范围内，遍历得到锐化数据集。

进一步地，所述步骤(3)的具体实现过程如下：

3.1对于锐化数据集中的任一图像，从该图像顶部向下截取h×m大小的图块，使该图块自上而下反复拷贝拼接形成尺寸与该图像大小相同的底纹图片，m为该图像的长度；

3.2使该图像与其底纹图片做差生成正值图和负值图，即对于图像中的任一像素，若该像素值与底纹图片中对应的像素值的差值a大于等于0，则使正值图中对应的像素值为f(a)，负值图中对应的像素值为255；若差值a小于0，则使正值图中对应的像素值为255，负值图中对应的像素值为f(a)，f(a)＝255-(a²/255)；

3.3根据步骤3.1和3.2使宽度h在预设区间[h₁,h₂]逐一遍历，得到多张正值图和负值图，取像素值和最大的正值图及其对应的负值图作为最终结果。

进一步地，所述步骤(4)的具体实现过程为：首先将样本集合中的图像缩放至最小边为600像素；然后将缩放后的图像输入至ResNet中生成残差矩阵，进而使该残差矩阵作为RPN的输入，RPN的输出作为Softmax分类器的输入，数据库中对应原图像人工标记过的ROI的分类信息作为Softmax分类器的输出；最后通过训练以确立由ResNet、RPN以及Softmax分类器依次连接组成的分类模型。

基于上述技术方案，本发明工业X光图像分类方法可以在工厂代替人工快速完成质检过程，并且随着工厂不断大量产生的图片，更新模型、提升效果；具体总结为以下几点益处：

1.工业生产及质检为长期的流水过程，能产生大量的X光图像样本供模型学习，一般来说，样本越多，模型的能力就会越强。

2.模型一旦形成，就能非常容易的扩展和复制，在整个领域中应用，且从始至终都有着比较好的判断能力。

3.任务由机器来完成，不会因为各种人为因素而影响判断结果。

4.模型在使用过程中，可以不断地学习而获得更好的判断能力。

5.模型和方法在某个领域(如轮胎检测)有良好的表现后，由于神经网络方法的特点，非常容易扩展到其他领域(如化工)。

附图说明

图1为64号病疵的样例图片。

图2为利用本发明分类方法对图1的处理流程示意图。

图3为图1所对应生成的正值图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

图1是轮胎生产过程中拍摄的X光图片，由左中右三张图片拼接而成，各占整图的大约三分之一，在图1中由纯黑色竖直粗线分割，左中右三部分分别为轮胎的左胎侧、胎面和右胎侧。图1中间偏左的位置有一根明显的跳线，对应轮胎实物中存在一根异常弯曲的钢丝，属于64号病疵。

针对上述案例，利用本发明方法对数据集进行处理并训练生成分类模型，如图2所示，进而利用该分类模型对流水线中产生的图像进行分类，生成病疵的分类结果，具体流程如下：

(1)先将数据集转换为VOC格式，即创建目录包含Annotations、ImageSets和JPEGImages三个子目录；其中Annotations目录下包含对JPEGImages中图片的XML描述文件，每个图对应一个文件，内容包括文件名、尺寸、对象(此处为病疵)类型和位置等；ImageSets目录下包括一个Main目录，其中有train.txt、val.txt、test.txt分别描述训练集、验证集、测试集，方式是逐行记录数据集包含的文件名。

(2)接着对整个数据集的图片做处理，根据方差σ＝1.5的高斯分布曲线，根据该高斯分布曲线对图像做半径为1的高斯模糊得到高斯模糊图，再用原图像像素值x逐个和高斯模糊图像素值z与高斯权重w＝0.6(一般为0.1～0.9，此处取0.6)的乘积做差，然后把结果除以1-w，即x'＝(x-wz)/(1-w)；最后将像素值x'缩放至0～255的RGB像素值范围内，得到锐化数据集。

(3)下面对锐化后数据集的图片(大小为n×m)逐个做处理，对底纹宽度h∈[135，165]遍历，针对每个底纹宽度h，从图片顶部向下截取大小为h×m的图块，通过自上而下的反复拷贝拼接形成尺寸与原图相同的底纹图片，将锐化后图像的像素值与底纹图片做差生成正值图和负值图，图3为样例图片经过处理到该步骤时的正值图结果；如果差值a大于等于0，则这个像素对应正值图的像素值为差值a带入以下底纹函数的结果f(a)，负值图的像素值255；反之如果差值a为负则这个像素对应正值图的像素值为255，负值图的像素值为差值a带入以下底纹函数的结果f(a)。

f(a)＝255-(a²/255)

(4)通过上步操作，保存对底纹宽度h遍历过程中像素值和最大的正值图及其对应的负值图，形成样本集合；样例图片计算出的最佳底纹宽度h＝148。

(5)然后使样本集合通过神经网络进行训练，先缩放图片至最小边为600像素值，使用残差网络ResNet生成残差矩阵Feature Maps，此处样例图片会被根据卷积神经网络提取为Feature Maps。

(6)再将残差矩阵Feature Maps作为RPN的输入，把对应图像原有标记过的ROI作为RPN的输出，通过训练得到RPN和ResNet的模型；这部分神经网络会根据历史训练样本对正负区域给出分类，还将学习ROI区域线性回归的四个变化参数，最终给出一个建议结果。

(7)将Feature Maps、建议结果和图片原始信息送入全连接层，能够统一建议结果的格式并且融合三种输入的信息，再通过Softmax分类器得到图片分类的结果，Softmax分类器的输入为ROI，输出为ROI在原图像中人工标记的类别信息；根据步骤(5)到(7)的过程反复迭代训练得到分类模型。

(8)最后调用该分类模型，输入流水线中产生的图像，通过模型中保存的神经网络，生成病疵的分类结果；此时可以看到图2中分类结果处的图片，有一个明显的方框标明病疵的位置。

上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims (5)

1.一种工业X光图像的分类方法，包括如下步骤：

(1)获取由大量关于目标对象工业X光图像组成的数据库，将该数据库转换成VOC格式，并使数据库中的图像分为训练集、验证集和测试集，所述图像事先通过人工的方式标记有ROI及其分类信息；

(2)对数据库中的图像进行锐化处理，得到锐化数据集；

(3)对于锐化数据集中的任一图像，使其与底纹图片进行差值化处理以确定该图像对应的正值图和负值图；

(4)使训练集得到的正值图和负值图组成样本集合，并利用样本集合中的图像逐一输入至由ResNet与RPN组成的神经网络中进行训练，进而将该神经网络的输出结果作为Softmax分类器的输入，ROI的分类信息作为Softmax分类器的输出以对其进行训练，得到工业X光图像的分类模型；

(5)利用验证集对该分类模型进行调试，利用测试集对调试后的分类模型进行分类测试。

2.根据权利要求1所述的分类方法，其特征在于：所述步骤(1)中将数据库转换成VOC格式的具体方法为：创建Annotations、ImageSets和JPEGImages三个目录，其中目录Annotations用于存放每张图像对应的XML描述文件，目录JPEGImages用于存放图像，目录ImageSets存放有train.txt、val.txt、test.txt三个文件，分别记录训练集、验证集和测试集中包含的图像文件名。

3.根据权利要求1所述的分类方法，其特征在于：所述步骤(2)中对数据库中的图像进行锐化处理，具体方法为：首先根据方差σ＝1.5的高斯分布曲线对图像做半径为1的高斯模糊得到对应的高斯模糊图；然后根据公式x'＝(x-wz)/(1-w)对图像进行锐化处理，其中x和x'分别为图像中任一像素点锐化处理前后的像素值，z为该像素点在高斯模糊图中的像素值，w为预设的高斯权重；最后将锐化处理后图像中的像素值缩放至0～255范围内，遍历得到锐化数据集。

4.根据权利要求1所述的分类方法，其特征在于：所述步骤(3)的具体实现过程如下：

3.1对于锐化数据集中的任一图像，从该图像顶部向下截取h×m大小的图块，使该图块自上而下反复拷贝拼接形成尺寸与该图像大小相同的底纹图片，m为该图像的长度；

3.2使该图像与其底纹图片做差生成正值图和负值图，即对于图像中的任一像素，若该像素值与底纹图片中对应的像素值的差值a大于等于0，则使正值图中对应的像素值为f(a)，负值图中对应的像素值为255；若差值a小于0，则使正值图中对应的像素值为255，负值图中对应的像素值为f(a)，f(a)＝255-(a²/255)；

3.3根据步骤3.1和3.2使宽度h在预设区间[h₁,h₂]逐一遍历，得到多张正值图和负值图，取像素值和最大的正值图及其对应的负值图作为最终结果。

5.根据权利要求1所述的分类方法，其特征在于：所述步骤(4)的具体实现过程为：首先将样本集合中的图像缩放至最小边为600像素；然后将缩放后的图像输入至ResNet中生成残差矩阵，进而使该残差矩阵作为RPN的输入，RPN的输出作为Softmax分类器的输入，数据库中对应原图像人工标记过的ROI的分类信息作为Softmax分类器的输出；最后通过训练以确立由ResNet、RPN以及Softmax分类器依次连接组成的分类模型。