CN110009601A - 基于hog的大型装备不规则外形表面缺陷检测方法 - Google Patents

Abstract

本发明公开一种基于HOG的大型装备不规则外形表面缺陷检测方法，属于图像处理技术领域。该方法通过计算和统计大型装备不规则外形表面划痕、腐蚀、掉漆、凹坑、紧固件缺失和漏油等典型常见缺陷图像局部区域的方向梯度直方图所构成的特征，用机器学习分类器进行训练，利用训练好的分类器对样本图像进行识别。本发明方法在保证时间复杂度较低和运算效率较高的情况下，实现了很高的检测识别率。

Description

基于HOG的大型装备不规则外形表面缺陷检测方法

技术领域

本发明涉及一种基于HOG(方向梯度直方图)的大型装备不规则外形表面缺陷检测方法，属于图像处理技术领域。

背景技术

大型装备服役期间，不可避免的会出现结构损伤，大大降低了大型装备的可靠度。而装备表面作为最外层结构，更易产生结构损伤，诸如划痕、表面腐蚀、凹坑、掉漆、紧固件缺失和表面漏油等等。对服役的大型机械装备进行定期的表面探伤与修复，可以在早期发现并修复结构损伤，提高其可靠度。因此，对服役的大型装备进行定期的表面探伤是非常必要的。

目视检查是机械结构维护中最基本、最常用的检查方法之一。与涡流、超声等无损检测方法相比,目视检查经济、简便且检测速度快,对保证大型装备的安全性具有重要意义。就以飞机这类典型大型装备为例,目视检查分别占货机和客机机务维修检查工作量的80％和90％以上。然而目视检查也存在一定的缺陷：(1)目视检查结果受检测人员的主观因素影响较大，不同检测人员检测结果差异很大；即使是同一个检测人员,在前后两次执行相同的检查任务时,检查结果可能也有明显差异；(2)大型装备表面的目视检查工作可能在恶劣的天气条件下进行，需要使用升降梯等工具对大型装备进行外观检查。工具的使用还可能导致对装备结构的外来物的损伤。(3)大型装备整体目视检查耗时较长，且大型装备由于体积庞大机械结构部件组成较多，其外形表面往往并不规则，因为人为因素的存在，长达几个小时的目视检查也可能导致缺陷并未如预期那样被检查出，定期的检查未达到预期效果。

机器视觉有很多地方与人类视觉相识，其通过图像采集系统代替人眼获取外界信息，然后利用图像处理系统代替人神经系统处理和传输视觉信息，最后利用计算机综合分析系统代替人脑的视觉中枢分析与判断视觉信息，机器视觉在速度、准确性、灰度分辨力、空间分辨力、感光范围等方面具有人类视觉无可比拟的优势，适应现代生产制造自动化的需求，具有相当广阔的市场前景。这种方法已广泛应用于部件缺陷检测，如圆锥滚子、复杂腔体表面缺陷检测。这样的技术已经成为了现今的研究热点，例如无人机技术的出现更是消除了传统电力线路巡检、桥梁健康检测中需要搭建脚手架、挂篮或者使用专门的检测车的缺陷，减少了对检测人员的经验的依赖，提高了检测效率。2016年范堡罗航展上，空客展示了使用无人机对参展飞机进行外观检查的先进技术。一架配备了高清摄像头的无人机使用自动飞行控制系统，沿预先设定好的飞行路线，在工程师的监视下完成了对参展飞机上半部分的外观检查，及时发现任何潜在的非质量问题，诸如擦痕、凹痕和掉漆等。

智能化是指事物在网络、大数据、物联网和人工智能等技术的支持下，所具有的能动地满足人的各种需求的属性，是现代人类文明发展的趋势。在大型装备目视检查的工作中，基于现有硬件平台，在物联网技术、人工智能技术发展的驱动下，以机器视觉对大型装备不规则外形表面进行故障检测，通过图像分析技术自动识别故障类型，针对大型装备表面增压区的裂纹，划痕，漆层剥落，雷击点损伤，凹陷等损伤，在现有高清摄像、图像识别、深度学习等科学技术发展的基础上，可实现一种全新的装备维修智能检查系统。

检测出缺陷区域可以为制定维修或者后续的检查维修工作计划提供依据，为维修决策提供有力的依据，虚警率低、准确识别程度高的大型装备不规则外形表面检测方法可以替代人工的识别模式，实现检测、维修的智能化，具有非常高的使用和经济价值。

图像处理技术是指用计算机对图像进行分析处理，减少图像中影响分析结果的因素，提取所需要信息的一种技术，包含图像增强和复原灰度变换，分割和压缩等技术，一般指数字图像处理。数字图像指用拍摄设备拍摄得到的一个大的二维数组，该数组的元素称为像素，其值称为灰度值。利用图像压缩技术能将二维像素阵列以一维的特征向量来表示，从而大大减少了对图像运算所需的时间。

发明内容

为了改善大型装备维修过程中目视检查效率低下且主观因素大的问题，本发明提出了一种基于HOG的大型装备不规则外形表面缺陷检测方法，基于图像特征提取和机器学习方法提出一种发现识别大型装备不规则外形表面缺陷的新手段新方法。

本发明为解决其技术问题采用如下技术方案：

一种基于HOG的大型装备不规则外形表面缺陷检测方法，包括如下步骤：

步骤1：将图像压缩成某一统一尺寸大小，对输入的rgb三色图像通过公式：Gray＝r*0.299+g*0.587+b*0.114转为灰度图像，对灰度化后的图像中的每一个灰度值Gray做归一化处理，得到归一化的图像矩阵为G，任何颜色都由rgb三原组成，其中：r为红色成分的灰度值，g为绿色成分的灰度值，b为蓝色成分的灰度值；

步骤2：对步骤1归一化后得到的图像矩阵G进行Gamma校正，得到经Gamma校正的图像矩阵G'；Gamma校正的具体步骤如下:

定义校正值为gamma，对G中每个灰度值G(x,y)进行Gamma校正，计算出校正后图像矩阵G'中的每一个灰度值G'(x,y)＝G(x,y)^gamma；其中G(x,y)代表图像矩阵G在第x行、第y列的元素对应的像素灰度值；

步骤3：计算经Gamma校正后图像矩阵G'中每个灰度值G'(x,y)在水平方向和垂直方向的梯度，并据此计算G'(x,y)的梯度幅值和梯度方向，其中G'(x,y)代表图像矩阵G'在第x行、第y列的元素对应的灰度值；

步骤4：将图像矩阵G'分成n*m个单元格，每个单元格包含p*p个像素点，统计每个单元格的梯度信息，具体如下：

步骤41：将(0°,360°)的梯度方向分成k个方向块{f1,f2,...fi...fk}，也就是将360°平分为k份，其中：f1为f2为fi为fk为k代表划分梯度方向的块数，1≤i≤k，i表示第i个方向块；

步骤42：定义k个变量，用来存储步骤41所述第一个单元格中k个方向块中的梯度数量，命名为{a1,a2,...ak}，其中：a1表示第1个方向块中的梯度数量，a2表示第2个方向块中的梯度数量，ak表示第k个方向块中的梯度数量；首先初始化k个变量的值为0，然后对单元格中的每个像素灰度值进行判断，若像素灰度值G'(x,y)的梯度方向α(x,y)属于fi，即步骤41所述的第i个方向块，则ai＝ai+G(x,y),ai代表记录第i个方向梯度大小的变量；

步骤43：通过重复步骤42依次对图像矩阵G'中的每个单元格进行计算，从而统计出每个单元格的梯度信息；

步骤5：提取图像矩阵G'的局部特征，并将局部特征串联起来得到图像的整体特征值；

步骤6：取某一典型大型装备不规则外形表面缺陷的图像样本和大型装备不规则外形表面正常的图像样本，重复步骤1-5得到每个图像的特征，送入到机器学习分类器做训练；

步骤7：取此类大型装备不规则外形表面缺陷和正常表面待测试的图像样本，输入到步骤6训练好的机器学习分类器，完成此类缺陷图像的检测识别。

步骤3的具体过程如下：

步骤31：计算G'(x,y)的水平方向梯度G_x(x,y)＝G'(x,y+1)-G'(x,y-1)，即G'(x,y)右边像素点的灰度值减去G'(x,y)左边像素点的灰度值，其中：G'(x,y+1)表示G'(x,y)右边像素点的灰度值，G'(x,y-1)表示G'(x,y)左边像素点的灰度值；

步骤32：计算G'(x,y)的垂直方向梯度G_y(x,y)＝G'(x+1,y)-G'(x-1,y)，即G'(x,y)下方像素点的灰度值减去G'(x,y)上方像素点的灰度值，其中：G'(x+1,y)表示G'(x,y)下方像素点的灰度值，G'(x-1,y)表示G'(x,y)上方像素点的灰度值；

步骤33：计算G'(x,y)的梯度幅值和梯度方向其中：G_x(x,y)表示G'(x,y)的水平方向梯度，G_y(x,y)表示G'(x,y)的垂直方向梯度；

步骤34：步骤33经过反正切得到的角度是在(-90°,+90°)之间，需要将角度范围映射到(0°,360°)内；

步骤34的具体过程如下：

步骤341：:对步骤33得到的角度值取模操作，将(-90°,0°)映射到(270°,360°)，(0°,90°)取模后依然在(0°,90°)范围内；

步骤342：进行逻辑判断，在G_x(x,y)小于0的情况下，若α(x,y)大于0，由得知，此时G_y(x,y)小于0，则将(0°,90°)范围内的角度值加180°落在(180°,270°)范围内，即将实际属于第三象限的角度值还原出来；

步骤343：进行逻辑判断，在G_x(x,y)小于0的情况下，同理若α(x,y)小于0，由得知，此时G_y(x,y)大于0，则将(270°,360°)范围内的角度值减180°落在(90°,180°)范围内，即将实际属于第二象限的角度值还原出来。

所述步骤2中校正值gamma＝0.5。

步骤5的具体过程如下：

步骤51：定义h*h个单元格为一个区域B，其中h小于n，h小于m，n和m为步骤四将图像矩阵G'分成n*m个单元格时定义的划分数量，将B中每个单元格中k个方向块的梯度大小串联在一起，得到一个维数为h*h*k的向量，作为该区域的局部特征；

步骤52：以1个单元格作为步长移动区域B对图像进行扫描，重复步骤51，提取每移动一次的区域的局部特征；

步骤53：将步骤52得到的每个区域的局部特征首尾相连，组成一个新的向量作为图像的整体特征值。

本发明的有益效果如下：

(1)充分利用图像处理和机器学习方法，替代人为主观因素的影响。

(2)本发明包括对图像进行灰度处理，计算图像中每个像素点的梯度方向和梯度幅值，将图像划分成若干个小的局部区域，统计局部区域的梯度信息，再把局部区域的串联组合成整个图像的特征。通过提取到的样本特征，对训练样本构建机器学习分类器，再对测试样本用训练好的分类器完成识别检测。

(3)本发明将图像压缩为某一统一尺寸大小，一般为64*64或64*128，尺寸可根据实际使用条件进行适当调整和选择。

(4)本发明通过对图像进行Gamma校正，有效地降低图像局部的阴影和光照变化，提高识别的准确性。

(5)本发明通过逻辑判断将每个像素点的梯度方向映射到(0°,360°)区间范围里，有较好的逻辑性和映射性。

(6)本发明采用基于方向梯度直方图特征对图像进行特征提取，对图像几何和光学的形变都能保持很好的不变性。

(7)本发明所述大型装备不局限于某一种设备，可以是任何投入在生产运营环节的、参与各类生产运输活动的机械装备。

(8)本发明所述Gamma校正是一种通过对图像进行压缩处理从而减少阴影和光照变化的方法，有很好的处理效果。

(9)本发明所述的机器学习分类器不限定于某一种算法，也不限定于是有监督的分类器还是无监督的分类器，只要是具有分类功能的分类器都适用，具有很广的适用性。

(10)本发明提出了一种大型装备维护检查的新模式。

附图说明

图1为本发明提出的基于方向梯度直方图的大型装备不规则外形表面缺陷检测方法流程图。

图2为将360°分为9个方向块的示意图。

图3为将64*64大小的图像划分为4*4个单元格的示意图。

图4为BP神经网络结构示意图。

具体实施方式

下面结合附图对本发明创造做进一步详细说明。

如图1所示为基于方向梯度直方图的大型装备不规则外形表面缺陷检测方法，这里以飞机这类大型装备的不规则外形表面为例，具体实施包括如下步骤：

步骤1：将图像压缩为统一尺寸大小64*64，对输入的rgb三色图像通过公式：Gray＝r*0.299+g*0.587+b*0.114转为灰度图像，对灰度化后的图像中的每一个灰度值Gray做归一化处理，得到归一化的图像矩阵为G；

步骤2：对步骤1归一化后得到的图像矩阵G进行Gamma(伽马)校正，得到经Gamma校正的图像矩阵G'；Gamma校正的具体步骤如下:

步骤21：定义校正值为gamma为0.5，对G中每个灰度值G(x,y)进行Gamma校正，计算出校正后图像矩阵G'中的每一个灰度值G'(x,y)＝G(x,y)^gamma；其中G(x,y)代表图像矩阵G在第x行、第y列的元素对应的像素灰度值；

步骤3：计算经Gamma校正后图像矩阵G'中每个灰度值G'(x,y)在水平方向和垂直方向的梯度，并据此计算G'(x,y)的梯度幅值和梯度方向，其中G'(x,y)代表图像矩阵G'在第x行、第y列的元素对应的灰度值；具体步骤如下：

步骤31：计算G'(x,y)的水平方向梯度G_x(x,y)＝G'(x,y+1)-G'(x,y-1)，即G'(x,y)右边像素点的灰度值减去G'(x,y)左边像素点的灰度值；

步骤32：计算G'(x,y)的垂直方向梯度G_y(x,y)＝G'(x+1,y)-G'(x-1,y)，即G'(x,y)下方像素点的灰度值减去G'(x,y)去上方像素点的灰度值；

步骤33：计算G'(x,y)的梯度幅值和梯度方向

步骤34：步骤33经过反正切得到的角度是在(-90°,+90°)之间，需要将角度范围映射到(0°，360°)内。具体方法为：

步骤341：:对步骤33得到的角度值取模操作，将(-90°,0°)映射到(270°,360°)，(0°,90°)取模后依然在(0°,90°)范围内。

步骤342：进行逻辑判断，在G_x(x,y)小于0的情况下，若α(x,y)大于0，由可知，此时G_y(x,y)小于0，则将(0°,90°)范围内的角度值加180°落在(180°,270°)范围内，即将实际属于第三象限的角度值还原出来。

步骤343：进行逻辑判断，在G_x(x,y)小于0的情况下，同理若α(x,y)小于0，由可知，此时G_y(x,y)大于0，则将(270°,360°)范围内的角度值减180°落在(90°,180°)范围内，即将实际属于第二象限的角度值还原出来。

步骤4：将图像矩阵G'分成4*4个单元格，如图3所示，每个单元格包含16*16个像素点，统计每个单元格的梯度信息，具体如下：

步骤41：将(0°,360°)的梯度方向分成9个方向块{f1,f2,...f9}，第i个方向块的梯度方向范围是9代表划分梯度方向的块数，1≤i≤9；

步骤42：定义9个变量{a1,a2,...a9}记录第一个单元格中9个方向块的梯度数量；其中k取9，即表示采用梯度直方图统计一个单元格中9个梯度方向的信息，每40°为一个范围,图2为所述示意图，但这并不是绝对的，k可以根据不同的计算要求而使用需求进行调整。首先初始化9个变量的值为0，然后对单元格中的每个像素灰度值进行判断，若像素灰度值G'(x,y)的梯度方向α(x,y)属于fi，则ai＝ai+G(x,y),ai代表记录第i个方向梯度大小的变量；

步骤43：通过重复步骤42依次对图像矩阵G'中的每个单元格进行计算，从而统计出每个单元格的梯度信息；

步骤5：提取图像矩阵G'的局部特征，并将局部特征串联起来得到图像的整体特征值，具体步骤如下：

步骤51：定义2*2个单元格为一个区域B，此处单元格和区域B关系如图3所示，的将B中每个单元格中9个方向块的梯度大小串联在一起，得到一个维数为2*2*9的向量，作为该区域的局部特征；

步骤52：以1个单元格作为步长移动区域B对图像进行扫描，重复步骤51，提取每移动一次的区域的局部特征，如图3所示一共9个区域块，；

步骤53：将步骤52得到的每个区域的局部特征首尾相连，因为一共9个区域块，所以组成一个新的9*2*2*9＝324维向量作为图像的整体特征值；

步骤6：飞机表面有多种典型缺陷。取其中飞机机身表面划伤缺陷的图像样本和飞机正常机身表面的图像样本，重复以上步骤得到每个图像的特征，这个实例里贴好二分类标签送入到BP神经网络分类器做有监督的训练，图4为BP神经网络的结构示意图，网络输入层324个节点，隐含层10个节点，输出层1个节点；

步骤7：取此类飞机机身表面缺陷和飞机正常机身表面待测试的图像样本，输入到步骤6训练好的BP神经网络分类器，完成此类缺陷图像的检测识别。

Claims (5)

1.一种基于HOG的大型装备不规则外形表面缺陷检测方法，其特征在于，包括如下步骤：

步骤1：将图像压缩成某一统一尺寸大小，对输入的rgb三色图像通过公式：Gray＝r*0.299+g*0.587+b*0.114转为灰度图像，对灰度化后的图像中的每一个灰度值Gray做归一化处理，得到归一化的图像矩阵为G，任何颜色都由rgb三原组成，其中：r为红色成分的灰度值，g为绿色成分的灰度值，b为蓝色成分的灰度值；

步骤2：对步骤1归一化后得到的图像矩阵G进行Gamma校正，得到经Gamma校正的图像矩阵G'；Gamma校正的具体步骤如下:

定义校正值为gamma，对G中每个灰度值G(x,y)进行Gamma校正，计算出校正后图像矩阵G'中的每一个灰度值G'(x,y)＝G(x,y)^gamma；其中G(x,y)代表图像矩阵G在第x行、第y列的元素对应的像素灰度值；

步骤3：计算经Gamma校正后图像矩阵G'中每个灰度值G'(x,y)在水平方向和垂直方向的梯度，并据此计算G'(x,y)的梯度幅值和梯度方向，其中G'(x,y)代表图像矩阵G'在第x行、第y列的元素对应的灰度值；

步骤4：将图像矩阵G'分成n*m个单元格，每个单元格包含p*p个像素点，统计每个单元格的梯度信息，具体如下：

步骤41：将(0°,360°)的梯度方向分成k个方向块{f1,f2,...fi...fk}，也就是将360°平分为k份，其中：f1为f2为 fi为fk为k代表划分梯度方向的块数，1≤i≤k，i表示第i个方向块；

步骤42：定义k个变量，用来存储步骤41所述第一个单元格中k个方向块中的梯度数量，命名为{a1,a2,...ak}，其中：a1表示第1个方向块中的梯度数量，a2表示第2个方向块中的梯度数量，ak表示第k个方向块中的梯度数量；首先初始化k个变量的值为0，然后对单元格中的每个像素灰度值进行判断，若像素灰度值G'(x,y)的梯度方向α(x,y)属于fi，即步骤41所述的第i个方向块，则ai＝ai+G(x,y),ai代表记录第i个方向梯度大小的变量；

步骤43：通过重复步骤42依次对图像矩阵G'中的每个单元格进行计算，从而统计出每个单元格的梯度信息；

步骤5：提取图像矩阵G'的局部特征，并将局部特征串联起来得到图像的整体特征值；

步骤6：取某一典型大型装备不规则外形表面缺陷的图像样本和大型装备不规则外形表面正常的图像样本，重复步骤1-5得到每个图像的特征，送入到机器学习分类器做训练；

步骤7：取此类大型装备不规则外形表面缺陷和正常表面待测试的图像样本，输入到步骤6训练好的机器学习分类器，完成此类缺陷图像的检测识别。

2.根据权利要求1所述的基于HOG的大型装备不规则外形表面缺陷检测方法，其特征在于，步骤3的具体过程如下：

步骤31：计算G'(x,y)的水平方向梯度G_x(x,y)＝G'(x,y+1)-G'(x,y-1)，即G'(x,y)右边像素点的灰度值减去G'(x,y)左边像素点的灰度值，其中：G'(x,y+1)表示G'(x,y)右边像素点的灰度值，G'(x,y-1)表示G'(x,y)左边像素点的灰度值；

步骤32：计算G'(x,y)的垂直方向梯度G_y(x,y)＝G'(x+1,y)-G'(x-1,y)，即G'(x,y)下方像素点的灰度值减去G'(x,y)上方像素点的灰度值，其中：G'(x+1,y)表示G'(x,y)下方像素点的灰度值，G'(x-1,y)表示G'(x,y)上方像素点的灰度值；

步骤33：计算G'(x,y)的梯度幅值和梯度方向其中：G_x(x,y)表示G'(x,y)的水平方向梯度，G_y(x,y)表示G'(x,y)的垂直方向梯度；

步骤34：步骤33经过反正切得到的角度是在(-90°,+90°)之间，需要将角度范围映射到(0°,360°)内。

3.根据权利要求2所述的基于HOG的大型装备不规则外形表面缺陷检测方法，其特征在于，步骤34的具体过程如下：

步骤341：对步骤33得到的角度值取模操作，将(-90°,0°)映射到(270°,360°)，(0°,90°)取模后依然在(0°,90°)范围内；

步骤342：进行逻辑判断，在G_x(x,y)小于0的情况下，若α(x,y)大于0，由得知，此时G_y(x,y)小于0，则将(0°,90°)范围内的角度值加180°落在(180°,270°)范围内，即将实际属于第三象限的角度值还原出来；

步骤343：进行逻辑判断，在G_x(x,y)小于0的情况下，同理若α(x,y)小于0，由得知，此时G_y(x,y)大于0，则将(270°,360°)范围内的角度值减180°落在(90°,180°)范围内，即将实际属于第二象限的角度值还原出来。

4.根据权利要求1所述的基于HOG的大型装备不规则外形表面缺陷检测方法，其特征在于，所述步骤2中校正值gamma＝0.5。

5.根据权利要求1所述的基于HOG的大型装备不规则外形表面缺陷检测方法，其特征在于，步骤5的具体过程如下：

步骤51：定义h*h个单元格为一个区域B，其中h小于n，h小于m，n和m为步骤四将图像矩阵G'分成n*m个单元格时定义的划分数量，将B中每个单元格中k个方向块的梯度大小串联在一起，得到一个维数为h*h*k的向量，作为该区域的局部特征；

步骤52：以1个单元格作为步长移动区域B对图像进行扫描，重复步骤51，提取每移动一次的区域的局部特征；

步骤53：将步骤52得到的每个区域的局部特征首尾相连，组成一个新的向量作为图像的整体特征值。