CN109034172B - 一种基于模糊松弛约束多核学习的产品外观缺陷检测方法 - Google Patents

Abstract

本发明提出一种基于模糊松弛约束多核学习的产品外观缺陷检测方法，属于机器视觉的产品质量检测领域。首先提取实时采集图像的若干特征；然后利用模糊约束理论量化分析特征与评价指标之间的映射关系；建立多核学习模型，采用多核学习方法对外观缺陷分类，结合映射量化关系划定每个核函数权重的模糊松弛边界；采用模糊松弛约束(FRC)的方法确定多核模型的权重，确定权重的模糊范围；最后求取权重大小得到不同缺陷种类的多核学习模型，利用多核学习模型进行缺陷检测，得到检测结果。本发明采用多特征融合的多核学习分类的检测方法，使得检测范围更为广泛，结合模糊松弛约束适应于不同的检测需求，可以满足检测的实时性，且检测精度较高。

Description

一种基于模糊松弛约束多核学习的产品外观缺陷检测方法

技术领域

本发明属于基于机器视觉的产品质量检测领域，具体涉及到对实时采集的产品图像进行特征提取以及多特征信息融合然后进行产品外观缺陷检测的方法。

背景技术

随着人们生活水平的不断提高，消费者对于家电的质量也有了更高的品质追求，这就要求生产商对家电产品要制定出更高的、更能满足消费者需求的生产标准。家电产品外观缺陷标准如表1所示，区域1为底面和背面，区域2为正面，区域3为顶面和侧面。新出厂的家电经常会出现外观质量问题，影响用户消费体验的同时还会对生产商造成一定的经济损失。传统的人工检测手段并不能很好的解决该问题，实时性强准确度高的智能检测手段具有重要的意义。

表1家电产品外观缺陷标准

解决产品外观质量检测的核心问题是检测方法的研究。目前，已经有很多方法可用于产品外观检测。2013年，郑金驹等人采用Canny算子边缘检测算法对图像进行处理，在此基础上提出一种产品外观质量检测方法(参考文件[1])。2014年，余小游等人提出一种利用梯度向量对边缘进行图像特征提取，通过分析中心和高度偏差特征来评价产品外观质量的方法(参考文件[2])。2016年，高宇翔等人采用高斯金字塔的混合配准算法对待检图像与模板图像之间的匹配程度进行检测，并以此为基础提出一种产品外观质量检测方法(参考文件[3])。

多核学习方法，通过组合多个核函数对特征进行学习分类，是传统的单核学习方法的改进版，属于后期融合方法。该方法针对每种融合特征分别选取适当的核函数，然后训练每个核函数的权重，最后组合所有的核函数得到一个组合核，将该组合核作为融合后的特征的核函数。但是传统的多核学习方法权重的选取要通过反复迭代求解一个不同核组成的凸优化问题训练得到，根据实际应用中不同的需求来确定相关参数过程复杂，耗时较长，

关于多核学习方法的研究已有一些成果。2007年，Varma和Ray提出一种衡量不同特征重要性的方法，称为多核学习方法(参考文件[4])。该方法一经提出，便有很多学者对其进行了积极的研究和探索。2012年，尹玉娟等人采用多核学习方法对变压器进行故障诊断，每个基核对应样本空间中的一种故障特征，将多个故障特征线性组合，最后使用组合核进行学习分类，获得了更高的诊断精度(参考文件[5])。2014年，梁俊应用多核学习方法进行货币识别，相比起传统的识别方法，精确度有了明显的提高(参考文件[6])。2015 年，张铭津等人选取不同艺术家的多幅绘画作品，提取图像上的多种特征，然后采用多核学习方法对特征进行融合分类以进行不同艺术家画风的识别，取得了较高的识别率(参考文件[7])。2016年，刘志强等人提取液压泵的故障特征，应用多核学习方法来对特征进行融合分类，显著提高了故障诊断的准确性(参考文件[8])。

但目前产品外观质量检测的方法针对大尺寸工业产品，例如家电产品的检测，并没有满足工业生产实时检测的要求，因此需要一种用于大尺寸工业产品外观在实时生产时进行实时检测的技术方案。

参考文献：

[1]郑金驹,李文龙,王瑜辉,等.QFP芯片外观视觉检测系统及检测方法[J].中国机械工程,2013,24(3):290-294.

[2]余小游,胡小梅,刘巨昌,等.基于梯度向量特征提取的安瓿瓶外观检测方法[J].电子测量与仪器学报,2014,28(4):387-394.

[3]高雨翔,黄奇峰,蔡奇新.基于图像处理技术的电能表外观检测系统[J].计算机测量与控制,2016,24(1):71-73.

[4]Varma M,Ray D.Learning The Discriminative Power-Invariance Trade-Off[C]//IEEE, International Conference on Computer Vision.IEEE,2007:1-8.

[5]尹玉娟,王媚,张金江,等.一种自主核优化的二值粒子群优化–多核学习支持向量机变压器故障诊断方法[J].电网技术,2012,v.36；No.344(7):249-254.

[6]梁俊.基于多核学习支持向量机的货币识别[D].中南大学,2014.

[7]张铭津,李洁,王楠楠.基于多核学习的画像画风的识别[J].模式识别与人工智能, 2015,28(9):822-827.

[8]刘志强,姜万录,谭文振,等.基于多特征融合多核学习支持向量机的液压泵故障识别方法[J].中国机械工程,2016,27(24):3355-3361.

发明内容

现有的产品外观检测方法涉及面广泛，但是针对大尺寸工业产品，例如家电产品，没有一种有效的可以满足工业生产实时检测标准的方法，针对这种问题，本发明提供了一种基于模糊松弛约束多核学习的产品外观缺陷检测方法，采用多特征融合结合多核学习分类的检测方案，可以满足检测的实时性，且检测精度较高。

本发明提供的基于模糊松弛约束多核学习的产品外观缺陷检测方法，包括训练阶段和检测阶段，在训练阶段，采集标准产品和带缺陷产品的图像，然后执行下面步骤：

步骤一：图像特征提取，提取图像的SIFT(尺度不变特征变换)特征、LBP(局部二值模式)特征和HSV(色调、饱和度、明度)颜色特征。

步骤二：建立图像特征与评价指标的映射量化关系模型并求解；所建立的映射关系量化模型如下：

其中，F表示图像特征，S表示评价指标的个数，α_s表示图像特征F对第s个评价指标的影响程度，λ_s表示图像特征F对第s个评价指标的影响权重；为各评价指标的影响权重λ_s设置模糊范围，并且满足：

调整图像特征对不同评价指标的影响程度α_s为δα_s∈(0,a_s]，δ表示模糊参数，若指标影响程度α_s越大，则δα_s越小；设置

μ为影响较大的隶属度函数，参数k₁∈[0,1]；

建立影响较大的隶属度函数μ；设α＝{α_s|s＝1,2,…,S}，Z＝{α_s|α_s大,α_s∈α}，将Z看作α上的一个模糊子集，定义隶属度μ:Z→[0,1]，隶属度函数μ(α_s)为：

其中，

表示每一种图像特征对评价指标s影响程度的平均值；d表示α_s与均值

的方差的对数；

求解得到映射量化关系模型。

步骤三：建立多核学习模型如下：

其中，k_n(x,z)为基核，每种图像特征对应一种核函数，N代表图像特征种类数量，x,z 为核函数的变量，ρ_n为分配给第n个基核的权重，ρ_n≥0，则

M为自然数，A_i和b为参数。

将训练阶段采集的图像建立训练样本，将每个图像的图像特征作为输入样本x_j，为每个样本设置标签y_j，y_j取值为1时表示输入样本为标准图像，y_j取值为-1时表示输入样本为带有缺陷的图像。

步骤四：采用模糊松弛约束的方法确定多核模型的权重。

建立模糊松弛约束模型为：

其中，Q表示模糊松弛模型变量，A表示每幅图像包含的图像单元个数，L_n表示第n种特征对融合特征的影响程度；

为L_n建立影响较大的隶属度函数μ(L_n)；

调整第n种特征对融合特征的影响程度L_n为VL_n，VL_n∈(0,L_n]；选取VL_n＝L_n[1-μ^k(L_n)]，其中k∈[0,1]；

根据步骤二得到的映射量化关系模型，选择映射量化关系模型中最大的权重λ_max，然后特征对应的核函数的模糊松弛权重范围选取为：ρ_n∈[(λ_max-0.3,λ_max-0.2),(λ_max-0.1,λ_max)]。

步骤五：求解模型，得到各项参数，获得每个核函数对应的权重。

步骤六：将外观缺陷分类，根据权重大小得到不同缺陷种类的多核学习模型。

步骤七：在检测阶段对实时采集的产品图像进行特征提取，然后利用多核学习模型进行缺陷检测，输出外观缺陷分类结果。

本发明与现有技术相比，具有以下明显优势和积极效果：

(1)本发明的产品外观缺陷检测方法满足大尺寸工业产品的外观检测；

(2)本发明的产品外观缺陷检测方法满足生产流水线上的实时检测要求；

(3)本发明方法使用多种特征融合使得检测范围更为广泛，可以多种缺陷同时检测；

(4)本发明方法结合模糊松弛约束的多核学习，适应于不同的检测需求，检测精度与检测时间可以同时兼顾。

附图说明

图1是本发明提供的产品外观缺陷检测方法的总体流程示意图；

图2是本发明提供的基于模糊松弛约束的多核学习方法流程示意图；

图3是本发明实施例在青岛海尔集团滚筒洗衣机生产流水线上实时检测的缺陷实例示意图；其中，a是机身凹凸坑，b是拼装间隙过大，c是机身划痕，d是色差(机身掉漆引起)， e是商标错误(重影)；

图4是本发明选取一台样品洗衣机，进行系统测试，人为对该洗衣机造成各种缺陷，经系统检测，结果统计结果图；

图5是图4所示检测的功能测试的系统界面具体检测示意图；

图6是本发明方法与现有模糊约束多核学习方法的检测结果对比图，其中，a是不同缺陷种类检测精度对比图，b是不同缺陷种类检测时间对比图。

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

本发明的目的是提供一种大尺寸工业产品外观缺陷检测方法。产品不同表面对于检测精度和时间的要求不同，本发明采用多尺度窗口获取产品外观图像，通常情况下，正面对于检测精度要求较高，采用小尺度窗口提取图像；底面和背面对于检测精度要求较低，为了提高效率，缩短检测时间，采用大尺度窗口提取图像；侧面和顶面则采用中等尺度窗口提取图像。本发明方法在获取图像后，提取若干特征，采用模糊约束方法对特征和检测评价指标(检测精度、检测时间、抗扰性)进行映射关系的量化分析。采用支持向量机对外观缺陷分类，核函数的选取利用多核学习方法，针对不同特征的特点，分别选取适当的核函数并分配权重。本发明提出了一种基于模糊松弛约束的多核权重求解方法，首先根据映射量化模型确定权重的松弛边界，然后根据不同表面的不同检测需求，确定权重的模糊范围。最后使用组合核对外观缺陷分类，实现产品外观缺陷的实时检测。

本发明提供的基于模糊松弛约束多核学习方法的产品外观缺陷检测方法，如图1所示，分为训练阶段和检测阶段。训练阶段是离线的，对标准的无缺陷产品和带缺陷产品进行图像采集，对采集到的图像进行特征提取，采用模糊约束理论量化分析图像特征与检测评价指标之间的映射关系，然后用多核学习方法对缺陷分类，结合映射量化分析结果划分核函数的模糊松弛权重边界，采用模糊约束理论求解权重，得到多核学习模型进而得到分类结果。在检测阶段，实时采集外观图像，对图像进行特征提取，将融合特征送入分类器，得到检测结果。下面对本发明方法的各步骤进行详细说明。

步骤一：图像特征提取。

本步骤是对采集的图像进行特征提取，包括：SIFT(尺度不变特征变换)特征提取、LBP(局部二值模式)特征提取和HSV(色调、饱和度、明度)颜色特征提取。

SIFT特征的提取包括：(1)构建尺度空间、(2)检测尺度空间极值点、(3)去掉不好的特征点、(4)给特征点赋值方向参数、(5)生成关键点描述子、(6)根据SIFT进行匹配。

多尺度等价模式LBP特征的提取包括：(1)将待检测窗口划分为若干个小区域、(2)根据每个像素点的像素值得到3×3邻域内中心点的LBP值、(3)得到整幅图的LBP特征向量、(4)将一幅图像进行多尺度划分、(5)将每级尺度下提取的LBP特征连接成为整幅图像的LBP特征、(6)将多尺度LBP特征进行等价模式降维。

在训练阶段，对标准产品的图像与带有缺陷产品的图像，首先进行预处理，包括尺寸变换、灰度化、高斯滤波、形态学处理、二值化等，然后对预处理后的图像进行上面的特征提取，继续执行步骤二。

在检测阶段，实时将采集的产品图像进行预处理和上面的特征提取。

步骤二：图像特征与评价指标的映射量化分析。

步骤2.1：建立映射关系模型。

不同的特征针对每种不同的评价指标的影响程度，可以用式(1)来表示：

其中，F表示图像特征F对所有评价指标的影响程度；S表示评价指标的个数，α_s表示图像特征F对第s个评价指标的影响程度；λ_s表示图像特征对第s个评价指标的影响权重。

将每种图像特征针对不同的评价指标的方程式(1)形式联立成方程组，如式(2)所示：

其中，F_n表示图像的第n个特征；公式(2)中评价指标有3个，分别是检测精确度P、检测时间T和检测抗扰性R。α_Pn、α_Tn和α_Rn分别表示第n种图像特征对检测精确度、检测时间和抗扰性的影响程度。λ_n1、λ_n2和λ_n3分别表示第n种图像特征对检测精确度、检测时间和抗扰性的影响权重。n为正整数。

步骤2.2：划定模糊权重范围。

设置不同指标的影响权重的模糊范围：λ₁∈[w₁,w₂]，λ₂∈[w₃,w₄]，λ₃∈[w₅,w₆]，且满足λ₁+λ₂+λ₃＝1，0≤λ_s≤1。

步骤2.3：量化“影响越大，权重越高”这一模糊动作。

调整图像特征对不同评价指标的影响程度α_s为δα_s∈(0,a_s]，称δα_s为虚拟影响程度，δ表示模糊参数。则图像特征对评价指标s的映射关系变为δα_sλ_s，若该指标影响程度越大，则δα_s越小，用该虚拟影响程度来代替上述映射关系模型中的α_s，来满足影响越大，分配权重越大的约束条件。在此选取

其中，μ为影响较大的隶属度函数；k₁为参数，决定于对约束条件的重视程度，重视程度越高，则k₁越小，k₁∈[0,1]。

步骤2.4：建立影响较大的隶属度函数μ。

设α＝{α_s|s＝1,2,…,S}，Z＝{α_s|α_s大,α_s∈α}，本发明实施例中α_s有3个，模糊动作是“影响大”，α_s大表示相对其他2个较大的那个，在此将Z看作为α上的一个模糊子集，定义隶属度μ:Z→[0,1]，隶属度函数μ(α_s)为：

其中，s＝1,2,…,S，

表示每一种图像特征对评价指标s影响程度的平均值。

d表示α_s与其均值

的方差的对数，如式(4)所示：

步骤2.5：求解得到映射量化关系模型。

步骤三：建立多核学习模型，如图2中的(A)所示，包括多核模型建立，松弛边界划定，模糊约束模型建立，确定隶属度函数，模糊行为量化，模型求解。

对于训练阶段的采集的图像，建立训练样本，将每个图像的图像特征作为输入样本，为样本设置标签，或称符号，设得到的训练样本集合为{x_j,y_j|j＝1,2,3,…}，其中，x_j为输入空间的样本，即图像特征，y_j为x_j的符号，取值为{-1,1}，当取值为1时，表示输入样本为标准图像，否则，当取值为-1时，表示输入样本为反例图像，即为带有缺陷的图像。

建立多核学习模型为：

其中，k_n(x,z)为基核，N表示基核个数，x,z为核函数的变量，ρ_n为分配给第n个基核的权重，ρ_n≥0，则

M为自然数。每种特征对应一种核函数，N代表图像特征种类数量。A_i和b为参数。

参数A_i和b可通过求解以下的最优问题得到：

其中，ω_n为第n个基核中分界面到支持向量的宽度，C为惩罚系数，ξ_i为调节变量。

步骤四：采用模糊松弛约束(FRC)的方法确定多核模型的权重。

步骤4.1：建立FRC模型：

其中，Q表示模糊松弛模型变量；A表示每幅图像包含的图像单元个数；L_n表示第n个特征对融合特征的影响程度，这个值是通过实测得到的，在不同的应用场合有不同的值。在分配核函数权重时，考虑每种特征的特点，分别划定权重分配范围，得到约束条件为：

其中，

和

分别表示松边界的下限值和上限值；

和

表示弛边界的下限值和上限值。

步骤4.2：建立“影响较大”的隶属度函数；

L＝{L_n|n＝1,2,…,N}，Y＝{L_n|L_n大,L_n∈L}，把Y看做是L上的一个模糊子集，定义隶属度μ:Y→[0,1]为：n＝1,2,…,N，L_n的隶属度函数μ(L_n)为：

其中，

表示L_n的均值，d表示L_n与其均值

的方差的对数，如式(10)所示：

步骤4.3：考虑“影响程度越大，权重越高”这一模糊行为，调整第n个特征的影响因子为VL_n，其中VL_n∈(0,L_n]，该特征对需求的影响越大，VL_n越小，代替模型中的L_n，可以满足影响越大，分配的权重越大的条件。选取VL_n＝L_n[1-μ^k(L_n)]，其中k为参数，反映了决策者对附加条件的重视程度，重视程度越高，k越小，k∈[0,1]。

步骤4.4：松弛边界选取。

该步骤如图2的(B)中“松弛边界划定”部分所示：首先确定模糊松弛权重范围，然后结合不同的检测面确定权重的松弛范围。具体实现如下：

根据步骤二得到的映射量化关系模型，确定松弛边界：某一特征与评价指标的映射关系模型为：F_n＝λ_n1α_Pn+λ_n2α_Tn+λ_n3α_Rn，选择其中最大的权重来确定该特征对应的核函数的模糊松弛权重范围，按照如下公式选取：ρ_n∈[(λ_max-0.3,λ_max-0.2),(λ_max-0.1,λ_max)]。n代表第 n种图像特征，设当n＝1时代表SIFT特征，对于SIFT特征的基核权重ρ₁也标记为ρ_S，同样，对应LBP特征的基核权重标记为ρ_L，对应HSV颜色特征的基核权重标记为ρ_H。

若检测面为正面，以精度标准划分权重范围，则权重范围按照式(11)划分：

其中，λ_max是求解映射量化关系模型结果中每个式子里面最大的权重值。

若检测面为侧面或顶面，综合精度标准和时间标准划分权重范围，则权重范围按照式 (12)划分：

若检测面为背面或底面，以时间标准划分权重范围，则权重范围按照(13)划分：

步骤五：求解FRC模型，得到各项参数，获得每个核函数对应的权重。

该步骤算法流程如图2的(C)中“模型求解”部分所示，具体实现如下：

步骤5.1：设模型的基变量指标集合为S^*，非基变量指标集合为R，R₁和R₂分别被称为第一类非基变量指标集合以及第二类非基变量指标集合且满足

令任意有序指标满足m∈R₁，其中ρ_n＝0；令任意有序指标n∈R₂，其中

把上述ρ_n代入模型中，得到一个基解{ρ_n}，这个基解如可以满足如公式(8)的约束条件，称其为基可行解。记λ_n＝U_n-L_n，其中U_n是模型的一个基解，若满足条件：

则基解{ρ_n}被称为模型的正则解。若一个基解既是模型的正则解，也是模型的可行解，则该基解被称为模型的最优解。某一图像特征与核函数权重对应的回路的顶点若增加一个调整量，则称该顶点为接纳元素；若减少一个调整量，则称该顶点为释放元素。

步骤5.2：求出该模型的对偶解；

步骤5.3：令

{ρ_n}为一个正则解，若其满足如公式(8)的模型约束条件，且n∈S^*，则该解即为最优解，转入步骤5.9；否则，继续执行步骤5.4；

步骤5.4：对于某一基解ρ_pn，若

则转入步骤5.5；若某一基解ρ_pn＜0，则转入步骤5.7；

表示核函数松弛边界的上限值。

步骤5.5：取R₁中某一元素使对应的基解ρ_qn满足以下条件：

①存在一条回路，该回路除去基解ρ_qn以外全部是基变量；

②(p,n)是释放元素，(q,n)是接纳元素。

转入步骤5.6；

步骤5.6：释放元素减去Q，其中

余下元素依次交叉+Q和-Q，ρ_pn变成第二类非基变量，ρ_qn变成基变量，从而得到一组新的基解并返回步骤5.3；

步骤5.7：取R₂中某一元素使对应的ρ_qn满足以下条件：

①存在一条回路，该回路除去ρ_qn以外全部是基变量；

②(p,n)是接纳元素，(q,n)是释放元素。

转入步骤5.8；

步骤5.8：释放元素减去Q，其中Q＝-ρ_pn，余下元素依次交叉-Q和+Q，ρ_pn变成第一类非基变量，ρ_qn变成基变量，从而得到一组新的基解并返回步骤5.3；

步骤5.9：得到最优解，结束本次求解过程。

步骤六：将外观缺陷分类，根据权重大小得到不同缺陷种类的多核学习模型；

步骤七：将分类结果用于检测。在检测阶段对实时采集的产品图像进行特征提取，然后利用多核学习模型进行缺陷检测，得到检测结果，根据外观缺陷分类输出检测结果。

实验结果：本发明在青岛海尔集团滚筒洗衣机生产流水线上进行实际应用，检测结果如图3所示：其中，a是机身凹凸坑，b是拼装间隙过大，c是机身划痕，d是色差(机身掉漆引起)，e是商标错误(重影)。本发明针对大尺寸工业产品缺陷种类多的特点，采用多特征融合的方式，满足多种缺陷的在线检测。采用模糊约束理论量化分析特征与检测评价指标的关系。采取多核学习方法对缺陷分类，每个核函数的权重求取结合量化分析结果，采用采取模糊松弛约束的方法，提高检测精度，更好的满足在线检测的实时性。

利用本发明实现的产品外观质量视觉检测系统的检测界面如图4和图5所示为了测试功能是否好用，人为在产品上造成一些损伤然后进行检测，进行测试。测试结果如图4所示，对应的检测结果图如图5所示。

统计某一时段内，连续检测500台洗衣机的各类缺陷的漏检率与误检率统计，如表1 所示：

表1连续检测500台洗衣机的各类缺陷的漏检率与误检率统计

本发明模糊松弛约束多核学习与现有模糊约束多核学习检测结果对比如图6所示。从图6可以看出，采用本发明的方法与现有方法检测所用的时间基本相差不大，但是检测精度高。

Claims (3)

1.一种基于模糊松弛约束多核学习的产品外观缺陷检测方法，其特征在于，包括训练阶段和检测阶段，在训练阶段，采集标准产品和带缺陷产品的图像，然后执行下面步骤一至六：

步骤一：图像特征提取，包括提取图像的SIFT特征、LBP特征和HSV颜色特征；SIFT表示尺度不变特征变换，LBP表示局部二值模式，HSV表示色调、饱和度、明度；

步骤二：建立图像特征与评价指标的映射量化关系模型并求解；映射量化关系模型如下：

其中，F表示图像特征，S表示评价指标的个数，α_s表示图像特征F对第s个评价指标的影响程度，λ_s表示图像特征F对第s个评价指标的影响权重；

为各评价指标的影响权重λ_s设置模糊范围，并且满足：

调整图像特征对不同评价指标的影响程度α_s为δα_s∈(0,a_s]，δ表示模糊参数，若指标影响程度α_s越大，则δα_s越小；设置

μ(α_s)为影响较大的隶属度函数，参数k₁∈[0,1]；建立影响较大的隶属度函数μ(α_s)，如下：

设α＝{α_s|s＝1,2,…,S}，Z＝{α_s|α_s大,α_s∈α}，α_s大表示α中相对其他元素较大的α_s，将Z看作α上的一个模糊子集，定义隶属度μ:Z→[0,1]，隶属度函数μ(α_s)为：

其中，

表示每一种图像特征对评价指标s影响程度的平均值；d表示α_s与均值

的方差的对数；

步骤三：建立多核学习模型如下：

其中，k_n(x,z)为基核，每种图像特征对应一种核函数，N代表图像特征种类数量，x,z为核函数的变量，ρ_n为分配给第n个基核的权重，ρ_n≥0，则

M为自然数，A_i和b为参数；

将训练阶段采集的图像建立训练样本，将每个图像的图像特征作为输入样本x_j，为每个样本设置标签y_j，y_j取值为1时表示输入样本为标准图像，y_j取值为-1时表示输入样本为带有缺陷的图像；

步骤四：采用模糊松弛约束的方法确定多核模型的权重；

建立模糊松弛约束模型为：

其中，Q表示模糊松弛模型变量，A表示每幅图像包含的图像单元个数，L_n表示第n种特征对融合特征的影响程度；

为L_n建立影响较大的隶属度函数μ(L_n)；

调整第n种特征对融合特征的影响程度L_n为VL_n，VL_n∈(0,L_n]；选取VL_n＝L_n[1-μ^k(L_n)]，其中k∈[0,1]；

根据步骤二得到的映射量化关系模型，选择映射量化关系模型中最大的权重λ_max，然后特征对应的核函数的模糊松弛权重范围选取为：ρ_n∈[(λ_max-0.3,λ_max-0.2),(λ_max-0.1,λ_max)]；

步骤五：求解模糊松弛约束模型，获得每个核函数对应的权重；

步骤六：将外观缺陷分类，根据权重大小得到不同缺陷种类的多核学习模型；

步骤七：在检测阶段对实时采集的产品图像进行特征提取，然后利用多核学习模型进行缺陷检测，得到检测结果，根据外观缺陷分类输出检测结果。

2.根据权利要求1所述的一种基于模糊松弛约束多核学习的产品外观缺陷检测方法，其特征在于，所述的步骤四中，在确定核函数的模糊松弛权重范围时，设对应SIFT特征的基核权重为ρ_S，对应LBP特征的基核权重为ρ_L，对应HSV颜色特征的基核权重为ρ_H，则：

若检测面为正面，以精度标准划分权重范围，则权重范围按照如下划分：

若检测面为侧面或顶面，综合精度标准和时间标准划分权重范围，则权重范围按照如下划分：

若检测面为背面或底面，以时间标准划分权重范围，则权重范围按照如下划分：

3.根据权利要求1或2所述的一种基于模糊松弛约束多核学习的产品外观缺陷检测方法，其特征在于，所述的步骤五中，求解模糊松弛约束模型，具体包括：

步骤5.1：设模型的基变量指标集合为S^*，非基变量指标集合为R，R₁和R₂分别被称为第一类非基变量指标集合以及第二类非基变量指标集合，且满足

令任意有序指标满足m∈R₁，其中ρ_n＝0；令任意有序指标n∈R₂，其中

其中，

表示弛边界的上限值，

表示松边界的上限值；

把上述ρ_n代入求解模糊松弛约束模型中，得到一个基解{ρ_n}，若基解满足为权重设置的约束条件，则为基可行解；记λ_n＝U_n-L_n，其中U_n是模型的一个基解，若满足条件：

则基解{ρ_n}为模糊松弛约束模型的正则解；若一个基解既是模型的正则解，也是模型的可行解，则该基解被称为模型的最优解；

步骤5.2：求出模糊松弛约束模型的对偶解；

步骤5.3：令

{ρ_n}为一个正则解，若该解满足权重设置的约束条件，且n∈S^*，则该解即为最优解，转入步骤5.9；否则，继续执行步骤5.4；

步骤5.4：若某一基解

则转入步骤5.5；若某一基解ρ_pn＜0，则转入步骤5.7；

步骤5.5：取R₁中某一元素使对应的基解ρ_qn满足以下条件：

①存在一条回路，该回路除去基解ρ_qn以外全部是基变量；

②(p,n)是释放元素，(q,n)是接纳元素；

转入步骤5.6；

步骤5.6：释放元素减去Q，其中

余下元素依次交叉+Q和-Q，ρ_pn变成第二类非基变量，ρ_qn变成基变量，从而得到一组新的基解并返回步骤5.3；

步骤5.7：取R₂中某一元素使对应的ρ_qn满足以下条件：

①存在一条回路，该回路除去ρ_qn以外全部是基变量；

②(p,n)是接纳元素，(q,n)是释放元素；

转入步骤5.8；

步骤5.8：释放元素减去Q，其中Q＝-ρ_pn，余下元素依次交叉-Q和+Q，ρ_pn变成第一类非基变量，ρ_qn变成基变量，从而得到一组新的基解并返回步骤5.3；

步骤5.9：得到最优解，结束本次求解过程。

Images