CN109801267A - 基于特征点检测与svm分类器的巡检目标缺陷检测方法 - Google Patents

Abstract

本发明涉及一种基于特征点检测与SVM分类器的巡检目标缺陷检测方法，包括：获取实时拍摄的巡检目标图像，对其进行灰度值变换；使用最大类间方差法和SUSAN边缘检测法对转换后图像进行处理，确定待检目标的候选区域；根据待检目标形状特征对候选区域进行筛选和融合；对处理后的候选区域进行LBP与LPQ特征提取，并将二者特征进行融合，输入到预先训练好的SVM分类器中进行分类识别。本发明所述检测方法相比于传统的模板匹配方法，不需要对两幅图进行前期复杂的配准工作，同时，采用LBP与LPQ特征相结合的方式，可以更加准确的描述目标特征，提高缺陷识别结果的准确率；操作简单，具有较高的环境适应性，能够满足对采油设备零部件完整性的识别要求。

Description

基于特征点检测与SVM分类器的巡检目标缺陷检测方法

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于特征点检测与SVM分类器的目标缺陷检测方法。

背景技术

目标缺陷检测是计算机视觉领域的一项重要内容，对于传统的缺陷检测来说，基本操作是采用模板匹配的方法，首先需要使用图像配准技术将待检图像与参考图像转换到相同的成像空间，然后将参考图与转换后的巡检图做残差，直接判断待检目标是否缺失。

由于大部分油田所处环境气候恶劣，采油设备常年暴露在风沙环境中，油污侵蚀等情况会使设备上的螺栓、手轮等零件外观发生形变。这种情况下，使用传统的模板匹配方法来检测设备的完整性很容易发生漏检或者误检测的情况。同时，大部分实际拍摄的图像，参考图与实时图之间通常存在着正射、仿射等变换，图像配准过程中涉及到特征点检测、参数估计和插值运算等一系列操作，当图像分辨率较大时，计算复杂度高。当前期特征检测不准确时，往往影响后期配准的精度，进而影响目标缺陷检测的结果。

现有的缺陷检测方法，多是用在车间生产中，通过固定产品的位置，检测机器生产出来的零部件质量是否符合规定。这种方法在户外或者产品摆放不齐、产品位置发生变化时，检测效果不理想，不能准确的检测出目标缺失的数量。

中国专利公开号：CN103635169A公开了一种缺陷检测系统，包括：图像处理单元、缺陷检测单元以及图像显示单元，其中，该图像处理单元被构造成获取吸收性物品的形态图像，该吸收性物品的形态图像示出了在多个步骤的每一步骤中的吸收性物品加工后的形态，该缺陷检测单元被构造成基于由图像处理单元获取的形态图像而检测加工后的吸收性物品是否存在缺陷部位，该图像显示单元被构造成当由缺陷检测单元检测出吸收性物品的缺陷部位时显示加工后的吸收性物品的图像。由此可见，所述检测系统存在以下问题：

第一，所述检测系统只应用于流水线，通过固定产品的位置，检测零部件质量是否符合规定，无法在户外做到准确的检测；

第二，所述检测系统仅使用相机对摆放位置固定的零件进行图像采集，当产品摆放不齐或产品位置发生变化时，检测效果不理想；

第三，所述检测系统在针对缺陷进行检测时，仅通过形态图像的对比来判定零件是否出现缺陷或丢失，检测结果不精准。

发明内容

为此，本发明提供一种基于特征点检测与SVM分类器的巡检目标缺陷检测方法，用以克服现有技术中实时巡检无法判断零件是否缺失的问题。

为实现上述目的，本发明提供一种基于特征点检测与SVM分类器的巡检目标缺陷检测方法，包括：

步骤A：获取实时拍摄的巡检目标图像I(x,y)，其中x∈[1,M]，y∈[1,N]，M、N为巡检图的尺寸；对I(x,y)进行灰度值变换，将图像I(x,y)从RGB空间转换为灰度空间I′(x,y)；

步骤B：使用最大类间方差法和SUSAN边缘检测法对转换后的巡检图I′(x,y)进行处理，确定待检目标的候选区域A_i(x_i,y_i)，其中i＝1,...,n，n为候选区域的个数；

步骤C：根据待检目标的形状特征对候选区域进行筛选和区域融合，以删除误检的目标区域，处理后的候选区域为A′_j(x_j,y_j)，其中j＝1,...,Num，Num为处理后的候选区域个数；

步骤D：对处理后的候选区域A′_j(x_j,y_j)进行LBP与LPQ特征提取，并将二者特征进行融合，输入到预先训练好的SVM分类器中进行分类识别，以判断设备中零件是否齐全。

进一步地，所述步骤B具体包括：

步骤B1：使用最大类间方差法计算所述灰度图像I′(x,y)的最佳分割阈值T；

步骤B2：根据步骤B1计算出的阈值T，取其1/5作为SUSAN特征边缘的检测阈值，检测目标区域的边缘；

步骤B3：对所述步骤B2检测后的图像进行二值化处理以突出目标区域，处理后的图像为B(x,y)；

步骤B4：移除B(x,y)中区域面积小于N的小目标区域，其中N表现为目标区域的像素个数之和；

步骤B5：对处理后的二值图像，使用形态学运算和连通区域标注法确定目标区域最大外接矩形框，并统计候选区域个数n。

进一步地，所述步骤B1中利用最大类间方差法计算图像最佳分割阈值T的方法包括：

对于待检图像I′(x,y)，将目标和背景的分割阈值记作T，图像中像素的灰度值小于阈值T的像素个数记作N₀，占整幅图像的比例记为ω₀，平均灰度为μ₀，则ω₀＝N₀/(M×N)；像素灰度大于阈值T的像素个数记作N₁，占整幅图像的比例为ω₁，平均灰度为μ₁，则ω₁＝N₁/(M×N)；图像的总平均灰度记为μ，类间方差为g，则有：

其中N₀+N₁＝M×N，ω₀+ω₁＝1，对式(1)进行简化得g＝ω₀ω₁(μ₀-μ₁)²，采用遍历法得到最佳分割阈值T。

进一步地，所述步骤B2中检测目标区域边缘的方法包括：

根据步骤B1求得的最佳分割阈值T，取其1/5作为SUSAN特征边缘的检测阈值，并对目标区域进行边缘检测：以图像中每点像素为中心作圆形模板，模板内共有37个像素，将各邻域点分别带入式(2)作相似度衡量的计算：

其中r为领域像素距离中心的长度，r₀为中心位置，t为相似度分界值，且t＝T/5；

计算相似度后，利用式(3)计算总共的相似程度：

计算完成后，将与一个固定的阈值g进行比较，其中g＝0.75·n_max，n_max为模板内的像素数且n_max＝37；初始的边缘响应可以用式(4)进行计算：

进一步地，在所述步骤B2中对邻域点进行相似度衡量计算时，使用式(5)代替式(2)：

通过使用式(5)的平滑方式代替式(2)的直接分割方式，以获得更稳定的计算结果。

进一步地，所述步骤C具体包括：

步骤C1：计算各目标区域之间的重叠率，对有重叠的区域进行融合，融合后的候选框个数为num；具体包括：

依次计算编号为i的候选框与其余n-1个候选框之间的重叠率，将计算结果储存在矩阵overlap_rate[i,j]中，且i＝1,...,n，j＝1,...,n；

搜索对称矩阵overlap_rate[n,n]的第i行，记下该行中重叠率不为零的位置编号[a1,a2,...,am]；将编号为i的候选框与编号为a1,a2,...,am的候选框进行融合，同时将搜索过的行编号进行储存以避免重复搜索，搜索完成后跳到i+1行进行继续搜索；

依次在矩阵overlap_rate[n,n]中搜索a1,a2,...,am对应的行，并重复上述搜索步骤至当前区域内相互重叠的候选框全部融合完毕；融合后继续搜索下一区域内相互重叠的候选区域至各区域块全部融合完毕。

步骤C2：根据待检目标的形状特征，计算融合后候选矩形框的宽高比AR(i)，其中i＝1,...,num，删除AR(i)≥1.5的目标区域；通过结合待检目标的尺寸限制候选区域的宽高比，以排除部分误检区域。

进一步地，所述步骤D具体包括：

步骤D1：对处理后的候选区域A′_j(x_j,y_j)进行LBP与LPQ特征提取，先对目标区域的LBP特征进行提取，对图像中的每个像素，计算以其为中心3×3邻域内各像素和中心像素的大小关系，并把像素的灰度值转化为一个八位二进制序列；转化完成后计算目标区域图像的LPQ直方图；最后将二者结合以共同作为目标区域的特征；

步骤D2：预先建立正常样本、缺陷样本、背景三类样本库，并对SVM分类器进行训练，包括：

将正常样本和缺陷样本作为类别1，背景作为类别2，训练SVM分类器，记为SVM-1；将正常样本作为类别1，缺陷样本作为类别2，训练SVM分类器，记为SVM-2；

步骤D3：将目标区域提取后的LBP与LPQ联合特征依次输入到SVM-1，SVM-2的分类器中进行分类，使用SVM-1将目标与背景区分，使用SVM-2将正常样本与缺陷样本区分，以实现对缺陷样本的检测识别。

进一步地，所述步骤D1中对候选区域A′_j(x_j,y_j)进行LBP特征提取的具体方法包括：

以输入模式某像素点的灰度值作为判断阈值，并以该像素点作为中心，将邻域中的8个像素点进行二值化处理以描述该邻域的局部纹理结构信息，当邻域像素点灰度值高于中心像素点灰度值，输出为1，当邻域像素点灰度值低于或等于中心像素点灰度值，输出为0；

经二值化处理后，所述像素点的得到8位二进制特征，其数学表达式如式(6)所示：

其中，I_c为中心像素点的灰度值，I_i为所述中心像素点8邻域中第i个像素的灰度值。

与现有技术相比，本发明的有益效果在于，本发明所述检测方法相比于传统的模板匹配方法，不需要对两幅图进行前期复杂的配准工作，同时，采用LBP与LPQ特征相结合的方式，可以更加准确的描述目标特征，提高缺陷识别结果的准确率；操作简单，具有较高的环境适应性，能够满足对采油设备零部件完整性的识别要求。

尤其，本发明所述检测方法不需要进行复杂的配准过程，计算复杂度低；同时所述检测方法还具有一定容错性。

进一步地，所述检测方法中先通过将彩色图像转换成灰度图像，并使用最大类间方差法和SUSAN边缘检测法对转换后图像中的候选区域进行识别和标记，这样，能够快速和准确的对图像中的目标进行提取。

尤其，所述检测方法会根据检测目标的形状自动去除总像素低于指定值的候选区域，降低了所述检测方法的检测误差，同时节省了检测时间。

尤其，所述检测方法中会对各候选区域间的重叠率进行计算和储存在矩阵中，并对重合的候选区逐一进行融合，并在融合后对比例异常的候选区进行删除，这样，能够排除检测系统的误检区域，进一步降低了所述检测方法的检测误差。

尤其，所述检测方法在对处理后的候选区域进行LBP和LPQ特征提取，这样，在对候选区域进行后续不同情况样本的分类检测时能够更加方便。

尤其，所述检测方法通过使用两级SVM分类器分别对LBP与LPQ联合特征进行分类，通过SVM-1将目标与背景区分，通过SVM-2将正常样本与缺陷样本区分，以实现对缺陷样本的检测识别，这样，能够达到对目标区域缺陷进行简便和快速的检测和区分。

附图说明

图1为本发明基于特征点检测与SVM分类器的巡检目标缺陷检测方法的检测流程图；

图2为本发明所述检测方法中确定候选区域及标注和定位候选框的流程图；

图3为本发明所述检测方法对候选区外接候选框进行融合的融合示意图；

图4为本发明所述检测方法对模拟设备目标区域的候选框定位图；

图5为本发明所述检测方法对模拟设备进行检测后的检测结果图；

图6为本发明所述检测方法中对现场设备目标区域的候选框定位图；

图7为本发明所述检测方法对现场设备进行检测后的检测结果图。

具体实施方式

为了使本发明的目的和优点更加清楚明白，下面结合实施例对本发明作进一步描述；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

以下结合附图，对本发明上述的和另外的技术特征和优点作更详细的说明。

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。

请参阅图1所示，其为本发明所述基于特征点检测与SVM分类器的巡检目标缺陷检测方法的检测流程图，包括以下步骤：

步骤A：获取实时拍摄的巡检目标图像I(x,y)，其中x∈[1,M]，y∈[1,N]，M、N为巡检图的尺寸；对I(x,y)进行灰度值变换，将图像I(x,y)从RGB空间转换为灰度空间I′(x,y)；

步骤B：使用最大类间方差法和SUSAN边缘检测法对转换后的巡检图I′(x,y)进行处理，确定待检目标的候选区域A_i(x_i,y_i)，其中i＝1,...,n，n为候选区域的个数；

步骤C：根据待检目标的形状特征对候选区域进行筛选和区域融合，以删除误检的目标区域，处理后的候选区域为A′_j(x_j,y_j)，其中j＝1,...,Num，Num为处理后的候选区域个数；

步骤D：对处理后的候选区域A′_j(x_j,y_j)进行LBP与LPQ特征提取，并将二者特征进行融合，输入到预先训练好的SVM分类器中进行分类识别，以判断设备中零件是否齐全。

具体而言，所述LBP特征是一种表征图像局部纹理结构的描述子，具有灰度不变性和计算简单的优点。在本实施例中，LBP特征以输入模式某像素点的灰度值作为判断阈值，并以该像素点作为中心，将邻域中的8个像素点进行二值化处理以描述该邻域的局部纹理结构信息，当邻域像素点灰度值高于中心像素点灰度值，输出为1，当邻域像素点灰度值低于或等于中心像素点灰度值，输出为0；

经二值化处理后，所述像素点的得到8位二进制特征，其数学表达式如式(6)所示：

其中，I_c为中心像素点的灰度值，I_i为所述中心像素点8邻域中第i个像素的灰度值。不同中心像素点的二进制模式特征值存在统计特性上的差异，最终形成的LBP特征向量是所有二进制模式组成的直方图，LBP特征属于一种直方图统计特征。

具体而言，LPQ算法为局部相位量化算法，其基本原理是假设平滑函数中心对称，则其傅里叶变换为H(u)，对所有H(u)≥0有∠G(u)＝∠F(u)，其中F(u)和G(u)分别为原图像和平滑图像的傅里叶变换，因而在H(u)≥0条件下，图像对平滑有不变性。

为使H(u)≥0，a取为不超过第一个过零点的频率点，其值为a＝1/winSize，其中winSize为局部窗口的大小。

分别用f(x)对u1＝(a,0)，u2＝(0,a)，u3＝(a,a)，u4＝(a,-a)四个点做短时傅里叶变换，然后分别把四个点的实部和虚部分开，形成一个向量：W＝[Re{F(u1,x)},Re{F(u2,x)},Re{F(u3,x)},Re{F(u4,1)},Im{(u1,x)},Im{F(u2,x)},Im{F(u3,x)},Im F(u4,1)}]^T，其中Re为实部，Im为虚部。最终得到的LPQ变换即为Fx＝W*fx。然后对参数进行统计分析，若参数是相关的，则用奇异值分解去相关并量化。

对处理后的候选区域A′_j(x_j,y_j)进行LPQ直方图特征提取，然后与LBP算子组成目标区域的联合直方图特征，方便后续进行不同情况样本的分类检测。

具体而言，所述步骤D中对SVM分离器进行训练的步骤包括：

预先建立正常样本、缺陷样本、背景三类样本库，并对SVM分类器进行训练，包括：将正常样本和缺陷样本作为类别1，背景作为类别2，训练SVM分类器，记为SVM-1；将正常样本作为类别1，缺陷样本作为类别2，训练SVM分类器，记为SVM-2；

所述步骤D中使用SVM分类器对提取的融合特征进行分类判断的步骤包括：将目标区域提取后的LBP与LPQ联合特征依次输入到SVM-1，SVM-2的分类器中进行分类，使用SVM-1将目标与背景区分，使用SVM-2将正常样本与缺陷样本区分，以实现对缺陷样本的检测识别。

本领域的技术人员可以理解的是，本发明所述检测方法不仅可用于对现场设备中的手轮零件是否缺失进行检测，还可对设备中的螺母或其他零件进行缺失检测，只要满足所述检测方法能够对目标零件进行检测，并在采集的图像中进行识别和判断即可。

请参阅图2所示，其为本发明所述检测方法中确定候选区域及标注和定位候选框的流程图，包括以下步骤：

步骤B1：使用最大类间方差法计算所述灰度图像I′(x,y)的最佳分割阈值T；

步骤B2：根据步骤B1计算出的阈值T，取其1/5作为SUSAN特征边缘的检测阈值，检测目标区域的边缘；

步骤B3：对所述步骤B2检测后的图像进行二值化处理以突出目标区域，处理后的图像为B(x,y)；

步骤B4：移除B(x,y)中区域面积小于N的小目标区域，其中N表现为目标区域的像素个数之和，本实施例中N取100；根据前期对巡检图的观察，目标区域的面积大小可以大致确定，对于由前述步骤得到的疑似目标区域内，有很多背景及噪声点的影响，通过该步处理，可以去掉大部分误检测的背景区域，以节省检测时间；

步骤B5：对处理后的二值图像，使用形态学运算和连通区域标注法确定目标区域最大外接矩形框，并统计候选区域个数n；本步骤使用形态学运算，来连接断裂的目标区域。

具体而言，所述步骤B1中选用最大类间方差法对灰度图形的最佳分割阈值T进行确定，具体方法包括：

对于待检图像I′(x,y)，将目标和背景的分割阈值记作T，图像中像素的灰度值小于阈值T的像素个数记作N₀，占整幅图像的比例记为ω₀，平均灰度为μ₀，则ω₀＝N₀/(M×N)；像素灰度大于阈值T的像素个数记作N₁，占整幅图像的比例为ω₁，平均灰度为μ₁，则ω₁＝N₁/(M×N)；图像的总平均灰度记为μ，类间方差为g，则有：

其中N₀+N₁＝M×N，ω₀+ω₁＝1，对式(1)进行简化得g＝ω₀ω₁(μ₀-μ₁)²，采用遍历法得到最佳分割阈值T。

最大类间方差法的主要按图像的灰度特性，将图像分为背景和目标两部分，背景和目标之间的类间方差越大，说明构成图像的两部分的差别越大，当部分目标错分为背景或部分背景错分为目标都会导致两部分差别变小。

具体而言，所述步骤B2中检测目标区域边缘的方法包括：

根据所述步骤B1求得的最佳分割阈值T，取其1/5作为SUSAN特征边缘的检测阈值，并对目标区域进行边缘检测：以图像中每点像素为中心作圆形模板，模板内共有37个像素，将各邻域点分别带入式(2)作相似度衡量的计算：

其中r为领域像素距离中心的长度，r₀为中心位置，t为相似度分界值，且t＝T/5；

计算相似度后，利用式(3)计算总共的相似程度：

计算完成后，将与一个固定的阈值g进行比较，其中g＝0.75·n_max，n_max为模板内的像素数且n_max＝37；初始的边缘响应可以用式(4)进行计算：

可以理解的是，在实际应用中，通常使用较平滑的方式来代替上述这种直接的分割方式，以获得更稳定的结果，其数学表达式如式(5)所示：

请参阅图3所示，其为本发明所述检测方法中对候选区外接候选框进行融合的融合示意图，由于所述步骤B处理后的目标区域，受光照、噪声等影响，单个目标中可能存在断裂等情况，导致同一个目标区域被分裂为两个或多个子区域，对于这种情况，本发明所述检测方法通过计算各目标区域之间的重叠率，对有重叠的区域进行融合，融合后的候选框个数为num；候选框融合的具体操作如下：

依次计算编号为i的候选框与其余n-1个候选框之间的重叠率，将计算结果储存在矩阵over lap_rate[i,j]中，其中i＝1,...,n，j＝1,...,n；

搜索对称矩阵over lap_rate[n,n]矩阵的第i行，若当前行已经被搜索过，则跳到i+1行搜索，若当前行未被搜索过，则记下该行中重叠率不为零的位置编号[a₁,a₂,...,a_m]；将编号为i的候选框与编号为a₁,a₂,...,a_m的候选框进行融合，同时将搜索过的行编号进行储存，避免重复搜索；

依次在矩阵over lap_rate[n,n]中搜索a₁,a₂,...,a_m对应的行，并重复上述步骤，直到当前区域内相互重叠的候选框全部融合完毕，再接着搜索下一区域内相互重叠的候选区域。融合后的结果如图3中的候选框A、候选框B所示；

根据待检目标的形状特征，计算融合后候选矩形框的宽高比AR(i)，i＝1,...,num，删除AR(i)≥1.5的目标区域；由于复杂背景的影响，由前述步骤检测出的候选区域数量较多，要将所有候选区域全部进行处理，会耗费大量时间；根据实际情况，巡检中的待检目标多为螺丝、手轮等零部件，且形状规则，因此检测后的最大外接矩形候选框，应近似为正方形，所以结合待检目标的尺寸限制候选区域的宽高比，以排除部分误检区域；考虑到在采集图像时会有角度倾斜，以及前述步骤检测时的误差影响，本实施例将宽高比的阈值设置为1.5。

在本实施例中，当所述检测方法对图像进行处理，确定候选区域并标记候选框后，生成如图3所示的12个候选框，通过使用上述方法对所述12个候选框进行融合，最终得到A、B、C三个融合后候选框。

实施例1

在本实施例中使用所述检测方法对模拟设备进行零件缺失检测，其中本实施例选用的检测目标为螺母，通过在泡沫板上镶嵌螺柱，并在螺柱上随机安装螺母以完成模拟设备。

使用上述步骤对所述模拟设备进行检测，检测步骤如下：

步骤A：获取实时拍摄的巡检目标图像，并对其进行灰度值变换，将图像从RGB空间转换为灰度空间；

步骤B：使用最大类间方差法和SUSAN边缘检测法对转换后的巡检图进行处理，确定待检目标的候选区域；

步骤C：根据待检目标的形状特征对候选区域进行筛选和区域融合，以删除误检的目标区域；

步骤D：对处理后的候选区域进行LBP与LPQ特征提取，并将二者特征进行融合，输入到预先训练好的两级SVM分类器中进行分类识别，以判断设备中零件是否齐全。

本实施例中采集的图像经所述步骤A处理后，从RGB图像转换为灰度图像，转换后，使用最大类间方差法和SUSAN边缘检测法对图像中的目标区域进行选取,处理后的图像特征边缘联通区域如图4(a)所示；

选取完成后使用外接候选框分别对选取的目标区域进行标记，标记结果如图4(b)所示；

候选框标记完成后，通过将重叠率带入矩阵计算以将重叠的候选框进行融合，融合后结果如图4(c)所示；

融合完成后，根据预设的宽高比对融合后的候选框进行筛选和删除，筛选结果如图4(d)所示；

筛选后，将数据输送至SVM-1分离器以分离样本和背景，分离后将样本数据输送至SVM-2分离器以分离正常样本与缺陷样本，分离结果如图5所示。

根据图5可以得出，在所述模拟设备中，左下角的螺柱存在螺帽缺失的现象，而其余螺柱上均完好安装有螺母，所述检测方法能够达到准确检测。

实施例2

在本实施例中使用所述检测方法对现场设备进行零件缺失检测，其中本实施例选用的检测目标为手轮。且检测步骤与实施例1中的检测步骤相同。

本实施例中采集的图像经所述步骤A处理后，从RGB图像转换为灰度图像，转换后，使用最大类间方差法和SUSAN边缘检测法对图像中的目标区域进行选取，处理后的图像特征边缘联通区域如图6(a)所示；

选取完成后使用外接候选框分别对选取的目标区域进行标记，标记结果如图6(b)所示；

候选框标记完成后，通过将重叠率带入矩阵计算以将重叠的候选框进行融合，融合后结果如图6(c)所示；

融合完成后，根据预设的宽高比对融合后的候选框进行筛选和删除，筛选结果如图6(d)所示；

筛选后，将数据输送至SVM-1分离器以分离样本和背景，分离后将样本数据输送至SVM-2分离器以分离正常样本与缺陷样本，分离结果如图7所示。

根据图7可以得出，所选区域范围内共有六个手轮目标，使用本发明所述方法共检测出5个手轮目标；漏检的的手轮目标被石台与雪堆掩埋，将所选区域进行灰度转换之后，漏检的手轮区域与其周围背景区分不大，从图6(a)中的联通区域标注中可以看到，该手轮的边缘没有被检测出，最终导致该手轮目标被漏检。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

以上所述仅为本发明的优选实施例，并不用于限制本发明；对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于特征点检测与SVM分类器的巡检目标缺陷检测方法，其特征在于，包括：

步骤A：获取实时拍摄的巡检目标图像I(x,y)，其中x∈[1,M]，y∈[1,N]，M、N为巡检图的尺寸，对I(x,y)进行灰度值变换，将图像I(x,y)从RGB空间转换为灰度空间I′(x,y)；

步骤B：使用最大类间方差法和SUSAN边缘检测法对转换后的巡检图I′(x,y)进行处理，确定待检目标的候选区域A_i(x_i,y_i)，其中i＝1,...,n，n为候选区域的个数；

步骤C：根据待检目标的形状特征对候选区域进行筛选和区域融合，以删除误检的目标区域，处理后的候选区域为A′_j(x_j,y_j)，其中j＝1,...,Num，Num为处理后的候选区域个数；

步骤D：对处理后的候选区域A′_j(x_j,y_j)进行LBP与LPQ特征提取，并将二者特征进行融合，输入到预先训练好的SVM分类器中进行分类识别，以判断设备中零件是否齐全。

2.根据权利要求1所述的基于特征点检测与SVM分类器的巡检目标缺陷检测方法，其特征在于，所述步骤B包括：

步骤B1：使用最大类间方差法计算所述灰度图像I′(x,y)的最佳分割阈值T；

步骤B2：根据步骤B1计算出的阈值T，取其1/5作为SUSAN特征边缘的检测阈值，检测目标区域的边缘；

步骤B3：对所述步骤B2检测后的图像进行二值化处理以突出目标区域，处理后的图像为B(x,y)；

步骤B4：移除B(x,y)中区域面积小于N的小目标区域，其中N表现为目标区域的像素个数之和；

步骤B5：对处理后的二值图像，使用形态学运算和连通区域标注法确定目标区域最大外接矩形框，并统计候选区域个数n。

3.根据权利要求2所述的基于特征点检测与SVM分类器的巡检目标缺陷检测方法，其特征在于，所述步骤B1中利用最大类间方差法计算图像最佳分割阈值T的方法包括：

对于待检图像I′(x,y)，将目标和背景的分割阈值记作T，图像中像素的灰度值小于阈值T的像素个数记作N₀，占整幅图像的比例记为ω₀，平均灰度为μ₀，则ω₀＝N₀/(M×N)；像素灰度大于阈值T的像素个数记作N₁，占整幅图像的比例为ω₁，平均灰度为μ₁，则ω₁＝N₁/(M×N)；图像的总平均灰度记为μ，类间方差为g，则有：

其中N₀+N₁＝M×N，ω₀+ω₁＝1，对式(1)进行简化得g＝ω₀ω₁(μ₀-μ₁)²，采用遍历法得到最佳分割阈值T。

4.根据权利要求2所述的基于特征点检测与SVM分类器的巡检目标缺陷检测方法，其特征在于，在所述步骤B2中检测目标区域边缘的方法包括：

根据步骤B1求得的最佳分割阈值T，取其1/5作为SUSAN特征边缘的检测阈值，并对目标区域进行边缘检测：以图像中每点像素为中心作圆形模板，模板内共有37个像素，将各邻域点分别带入式(2)作相似度衡量的计算：

其中r为领域像素距离中心的长度，r₀为中心位置，t为相似度分界值，且t＝T/5；

计算相似度后，利用式(3)计算总共的相似程度：

计算完成后，将与一个固定的阈值g进行比较，其中g＝0.75·n_max，n_max为模板内的像素数且n_max＝37；初始的边缘响应可以用式(4)进行计算：

5.根据权利要求4所述的基于特征点检测与SVM分类器的巡检目标缺陷检测方法，其特征在于，在所述步骤B2中对邻域点进行相似度衡量计算时，可使用式(5)代替式(2)：

通过使用式(5)的平滑方式代替式(2)的直接分割方式，以获得更稳定的计算结果。

6.根据权利要求1所述的基于特征点检测与SVM分类器的巡检目标缺陷检测方法，其特征在于，所述步骤C具体包括：

步骤C1：计算各目标区域之间的重叠率，对有重叠的区域进行融合，融合后的候选框个数为num；具体包括：

依次计算编号为i的候选框与其余n-1个候选框之间的重叠率，将计算结果储存在矩阵overlap_rate[i,j]中，且i＝1,...,n，j＝1,...,n；

搜索对称矩阵overlap_rate[n,n]的第i行，记下该行中重叠率不为零的位置编号[a1,a2,...,am]；将编号为i的候选框与编号为a1,a2,...,am的候选框进行融合，同时将搜索过的行编号进行储存以避免重复搜索，搜索完成后跳到i+1行进行继续搜索；

依次在矩阵overlap_rate[n,n]中搜索a1,a2,...,am对应的行，并重复上述搜索步骤至当前区域内相互重叠的候选框全部融合完毕；融合后继续搜索下一区域内相互重叠的候选区域至各区域块全部融合完毕。

步骤C2：根据待检目标的形状特征，计算融合后候选矩形框的宽高比AR(i)，其中i＝1,...,num，删除AR(i)≥1.5的目标区域；通过结合待检目标的尺寸限制候选区域的宽高比，以排除部分误检区域。

7.根据权利要求1所述的基于特征点检测与SVM分类器的巡检目标缺陷检测方法，其特征在于，所述步骤D具体包括：

步骤D1：对处理后的候选区域A′_j(x_j,y_j)进行LBP与LPQ特征提取，先对目标区域进行LBP特征提取，对图像中的每个像素，计算以其为中心3×3邻域内各像素和中心像素的大小关系，并把像素的灰度值转化为一个八位二进制序列；转化完成后计算目标区域图像的LPQ直方图；最后将二者结合以共同作为目标区域的特征；

步骤D2：预先建立正常样本、缺陷样本、背景三类样本库，并对SVM分类器进行训练，包括：

将正常样本和缺陷样本作为类别1，背景作为类别2，训练SVM分类器，记为SVM-1；将正常样本作为类别1，缺陷样本作为类别2，训练SVM分类器，记为SVM-2；

步骤D3：将目标区域提取后的LBP与LPQ联合特征依次输入到SVM-1，SVM-2的分类器中进行分类，使用SVM-1将目标与背景区分，使用SVM-2将正常样本与缺陷样本区分，以实现对缺陷样本的检测识别。

8.根据权利要求7所述的基于特征点检测与SVM分类器的巡检目标缺陷检测方法，其特征在于，所述步骤D1中对候选区域A′_j(x_j,y_j)进行LBP特征提取的具体方法包括：

以输入模式某像素点的灰度值作为判断阈值，并以该像素点作为中心，将邻域中的8个像素点进行二值化处理以描述该邻域的局部纹理结构信息，当邻域像素点灰度值高于中心像素点灰度值，输出为1，当邻域像素点灰度值低于或等于中心像素点灰度值，输出为0；

经二值化处理后，所述像素点的得到八位二进制特征，其数学表达式如式(6)所示：

其中，I_c为中心像素点的灰度值，I_i为所述中心像素点8邻域中第i个像素的灰度值。