CN111739003B - 一种用于外观检测的机器视觉方法 - Google Patents

Abstract

本发明涉及一种用于外观检测的机器视觉方法，用于具有光滑、不透明、主体颜色一致的产品外表面外观检测。本发明提供的算法具有泛化性高、精确度高，具有可持续优化性的特征，处理两个主要需求：1)对产品的颜色进行检测；2)对产品的外观进行检测。本发明集成多种算法，准确率高；利用历史数据，可以优化参数；SIFT图像匹配算法自身的优良性能；泛化性高，对于主体颜色一致的产品都适用。

Description

一种用于外观检测的机器视觉方法

技术领域

本发明涉及一种用于外观检测的机器视觉方法，可用于具有光滑、不透明、主体颜色一致的产品外表面外观检测。

背景技术

机器视觉技术主要是基于产品的特征信息进行身份识别的一种识别技术，是通过摄像机或摄像头采集含有产品的图像或视频流，并自动在图像中检测和跟踪，进而对检测到的产品进行特征比对的一系列相关技术。

国内目前对于大多数光滑、不透明、主体颜色一致的产品的外观检测仍使用人工检测的方式。

目前有相关专利涉及外观检测的硬件设计及其他产品或通用的外观检测的方法，但还没有针对通用性较强的机器视觉检测算法。例如苏州德创测控科技有限公司申请了一种外观检测系统及方法的发明专利(申请公开号为CN108072664A)，该发明公开了一种外观检测系统及方法，所述系统包括流水线传送单元、图像获取单元、线型背景光源和图像分析处理单元，其中：流水线传送单元，用于传送待检测物体；图像获取单元，设置于流水线传送单元的上方，用于获取待检测物体的局部图像；线型背景光源，设置于流水线传送单元的下方，并且与图像获取单元相对设置，用于标定待检测物体的位置；图像分析处理单元，与图像获取单元电连接，用于将待测物体的局部图像合成完整外观图像，并且根据完整外观图像对待测物体表面是否存在缺陷进行分析。本发明提出的外观检测系统及方法，能够根据待检测物体的局部图像，分析获取待检测物体的外观是否合格，并且具有结构简单，检测精度高的优点。

上述发明专利申请主要利用线型光源检测物品是否存在孔洞类缺陷，对于其他缺陷都不适用，局限性很大。完全不能广泛适用于光滑、不透明、主体颜色一致的产品的外观的颜色检测，对于复杂产品的缺陷检测也基本起不到作用。

文献基于支持向量机的条烟包装外观缺陷检测公开的技术方案的主要原理是：用模板匹配法定位条烟检测区域；然后利用Haar小波变换进行频域分解并通过灰度共生矩阵算法对频域图提取纹理特征；最后结合纹理特征建立条烟支持向量机分类模型对待测样本进行分类识别。

上述技术方案存在以下问题及缺点：1)模板匹配法定位条烟检测区域，计算量大，在背景复杂的条件下选择目标区域精度低，选择区域中条烟的相对位置很难保持一致。2)选择频域特征放弃了几何特征，较难判断小块瑕疵，也无法缺点缺陷位置。3)利用灰度图进行判断，放弃了颜色三通道特征，颜色瑕疵或对于灰度值与主体颜色相近的瑕疵无法做出准确判断。

发明内容

本发明的目的是：提供快速响应，高智能化，高精确度，且适应现场复杂生产环境的智能外观颜色及缺陷检测的机器视觉算法，替代或协助传统的人工检测方式。

为了达到上述，本发明的技术方案是提供了一种用于外观检测的机器视觉方法，用于具有光滑、不透明、主体颜色一致的产品外表面外观检测，其特征在于，包括以下步骤：

步骤1：输入正常完好产品的产品图片作为标准模板图片，并给出产品在标准模板图片位置的区域范围及标准模板图片中产品上的N个关键点，N≥10；

步骤2：依据已知的产品生产节拍及接触式传感器，控制图像采集设备根据预先设定的采集间隔及接触式传感器的条件判定实现实时采集图像；

步骤3：图像采集设备将把步骤2采集到的实时产品图像传输到边缘侧设备中；

步骤4：选取实时产品图像矩阵中的固定区域获得实时产品图像的ROI区域图片，ROI区域对应于产品主体部分；

步骤5：对ROI区域图片的尺寸进行归一化处理，获得尺寸归一化图片；

步骤6：对尺寸归一化图片进行亮度归一化处理，获得亮度标准化图片；

步骤7：通过RGB颜色空间及HSV颜色空间对产品颜色进行检测，包括以下步骤：

步骤701：通过RGB颜色空间对产品颜色进行检测，包括以下步骤：

步骤7011：将亮度标准化图片转化为RGB待测图片，在RGB待测图片上选取和步骤1中所述N个关键点一一对应的N个待测像素点；

步骤7012：利用欧式距离计算RGB待测图片中每个待测像素点与标准模板图片对应的关键点之间的颜色相似度，设第n个关键点P_n与第n个待测像素点P_n′的颜色相似度为Dist(P_n，P_n′)，则有：

式(3)中，(x_n，y_n，z_n)为第n个关键点P_n的颜色分量，(x′_n，y′_n，z_n′)为第n个待测像素点P_n′的颜色分量；

步骤7013：基于每个待测像素点与标准模板图片对应的关键点之间的相似度，通过加权均值的方法求得RGB空间中RGB待测图片与标准模板图片的颜色总相似度M_similiarity，将第n个关键点P_n与第n个待测像素点P_n′的颜色相似度记为Pn_similarity，则有：

式(4)中，a_n为权值；

步骤7014：若颜色总相似度M_similiarity小于阈值，则判定为产品颜色相符，否则判定为产品颜色不相符；

步骤702：通过HSV颜色空间对产品颜色进行检测，包括以下步骤：

步骤7021：将亮度标准化图片转化为HSV待测图片，在HSV待测图片上选取和步骤1中所述N个关键点一一对应的N个待测像素点；

步骤7022：利用欧式距离采用上式(3)计算HSV待测图片中每个待测像素点与标准模板图片对应的关键点之间的颜色相似度；

步骤7023：基于每个待测像素点与标准模板图片对应的关键点之间的颜色相似度，通过加权均值的方法采用上式(4)求得HSV空间中HSV待测图片与标准模板图片的颜色总相似度M_similiarity；

步骤7024：若颜色总相似度M_similiarity小于阈值，则判定为产品颜色相符，否则判定为产品颜色不相符；

步骤8：提取产品主体部分，包括以下步骤：

步骤801：将亮度标准化图片转换至RGB空间，选取亮度标准化图片中所有和标准模板图片的颜色相似度在设定阈值以内的像素点，将这些像素点的颜色值置为[255，255，255]，其余部分颜色值置为[0，0，0]；

步骤802：对通过步骤801得到的图片作开运算，得到前景主体部分图片，定义为掩膜图片，掩膜图片为消除杂点后的二值化图片，掩膜图片的背景为黑色，掩膜图片中的产品主体部分为全白；

步骤803：利用掩膜和转换至RGB空间的亮度标准化图片进行与运算得到除产品主体部分全为黑色的提取图片，定义为产品主体图；

步骤9：基于SIFT改进算法进行产品缺陷检测，包括以下步骤：

步骤901：对产品主体图进行扩边填充，得到扩边填充图片，以避免SIFT算法之后需要使用的高斯滤波产生的边缘缺失效应；

步骤902：构建高斯差分金字塔；

步骤903：用高斯差分金字塔构建尺度空间，然后通过分离高斯模糊构建灰度图像金字塔；

步骤904：根据灰度图像金字塔对扩边填充图片进行感兴趣点定位，采用LoG算子对扩边填充图片进行卷积，以实现对关键点的方向参数更精确的定位；

步骤905：用图像梯度的方法确定感兴趣点的位置和方向，此时，每个感兴趣点都有三个特征参数，即：尺度、位置、方向；

步骤906：利用步骤905获得的感兴趣点，根据尺度和位置找到标准模板图片中对应的感兴趣点，并利用上式(3)对扩边填充图片和标准模板图片中相应的感兴趣点进行相似度度量，然后利用上式(4)求得总相似度；

步骤907：若总相似度小于阈值，则说明产品外观合格，否则说明外观不合格。

优选地，所述步骤6包括以下步骤：

步骤601：将尺寸归一化图片转换为HSV格式，获得HSV图片；

步骤602：将HSV图片按图片尺寸等分为M个正方形小区域图片，每张正方形小区域图片定义为HSV图片的HSV子图；

步骤603：获取每张HSV子图的亮度值Value的均值mean(V_imgae)与标准模板图片的亮度值Value的均值mean(V_standard)，计算均值mean(V_imgae)与均值mean(V_standard)的差值V_didference，如下式(1)所示：

V_difference＝mean(V_imgae)-mean(V_standard) (1)

步骤604：利用差值V_difference对步骤602得到的HSV子图V_image的每一个像素点的亮度值Value进行归一化处理，得到亮度标准化后的HSV子图V_normalized，如下式(2)所示，从而减小亮度变化对后续图像处理的影响：

V_normalized＝V_image+V_difference (2)

步骤605：将亮度标准化后的HSV子图V_normalized按原顺序进行合并，最终得到亮度标准化图片。

优选地，所述步骤7014之后还包括：

步骤7015：将所述步骤7014的判断结论、所述步骤7012得到的颜色相似度、所述步骤7013得到的颜色总相似度M_similiarity与所述RGB待测图片及所述标准模板图片关联后上传至云端，人工读取上传至云端的数据后对判断结论进行判断，并依据人工判断结果对所述权值a_n进行优化；

所述步骤7024之后还包括：

步骤7025：将所述步骤7024的判断结论、所述步骤7022得到的颜色相似度、所述步骤7023得到的颜色总相似度M_similiarity与所述HSV待测图片及所述标准模板图片关联后上传至云端，人工读取上传至云端的数据后对判断结论进行判断，并依据人工判断结果对所述权值a_n进行优化；

所述步骤907之后还包括：

步骤908：将所述步骤907的判断结论、所述步骤906得到的每个感兴趣点的相似度、总相似度与所述扩边填充图片及所述标准模板图片关联后上传至云端，人工读取上传至云端的数据后对判断结论进行判断，并依据人工判断结果对所述权值a_n进行优化。

优选地，步骤901中，为使得填充图片经过高斯滤波产生的边缘像素更符合真实情况，所述扩边填充使用镜像扩边。

本发明提供的算法具有泛化性高、精确度高，具有可持续优化性的特征，处理两个主要需求：1)对产品的颜色进行检测；2)对产品的外观进行检测。本发明集成多种算法，准确率高；利用历史数据，可以优化参数；SIFT图像匹配算法自身的优良性能；泛化性高，对于主体颜色一致的产品都适用，具体具有如下特点：

1)人工选择固定ROI区域，减少背景对后续处理的影响。

2)图像分割后对整体画面亮度做归一化，减少光照因素对后续处理的影响。

3)采用RGB空间和HSV空间结合的方法进行颜色检测，提高准确率。

4)支持优化权重参数，可以随检测数据增多，提高颜色判断准确率。

5)确定产品及图片颜色后可以通过HSV颜色追踪算法结合掩膜法和闭运算提取产品主体，实现去杂点且提取准确率高。

6)在图片经过上述预处理的条件下利用SIFT(Scale Invariant FeatureTransform)算法图片匹配进行外观缺陷检测可以大大减少计算量，SIFT算法自身也具有可以解决目标的旋转、缩放、平移、仿射变换；光照影响；目标遮挡；杂物场景及噪声的能力。

相比较目前传统的人工检测方式本发明主要具有以下优势：较高的准确率，对颜色的敏感度较高；由机器进行，很少出现漏检；减少人力成本；可以对每一个生产的产品进行实时检测，提高效率。

附图说明

图1为本发明的流程图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

结合图1，本发明提供了一种用于外观检测的机器视觉方法，用于具有光滑、不透明、主体颜色一致的产品外表面外观检测，其特征在于，包括以下步骤：

步骤1：输入正常完好产品的产品图片作为标准模板图片，并给出产品在标准模板图片位置的区域范围及标准模板图片中产品上的N个关键点，N≥10。通常20个关键点足以覆盖产品的关键位置，因而在本实施例中N＝20。

步骤2：依据已知的产品生产节拍及接触式传感器，控制图像采集设备根据预先设定的采集间隔及接触式传感器的条件判定实现实时采集图像。实时采集图像时，确保图像的拍摄角度及摄像机和产品的相对位置不变。

步骤3：图像采集设备将把步骤2采集到的实时产品图像传输到边缘侧设备中。

步骤4：选取实时产品图像矩阵中的固定区域获得实时产品图像的ROI区域图片，ROI区域包含产品主体部分。

由于图像采集设备、图像拍摄角度及摄像机和产品的相对位置都是固定不变的，因此，可以通过选取图片矩阵中的固定区域获得图片的ROI区域，ROI区域包含产品主体部分。

步骤5：对ROI区域图片的尺寸进行归一化处理，获得尺寸归一化图片。

本步骤中，将图片的大小批量统一处理为标准要求大小，以便后续处理。

步骤6：对尺寸归一化图片进行亮度归一化处理，获得亮度标准化图片，具体包括以下步骤：

步骤601：将尺寸归一化图片转换为HSV格式，获得HSV图片。

步骤602：将HSV图片按图片尺寸等分为M个正方形小区域图片，每张正方形小区域图片定义为HSV图片的HSV子图；本实施例中，M＝24。当原图大小为x*y个像素大小时，将其等分为24张子图，每张图片大小为x/6*y/4。由于相机分辨率，一般采集到的图像长都为宽的1.5倍(例如：1080*720)，这样分割可以使得到的图像为正方形，使得接下来进行亮度归一化处理时，在长和宽上的亮度影响因素近似相同。

步骤603：获取每张HSV子图的亮度值Value的均值mean(V_imgae)与标准模板图片的亮度值Value的均值mean(V_standard)，计算均值mean(V_imgae)与均值mean(V_standard)的差值V_difference，如下式(1)所示：

V_difference＝_mean(V_imgae)-mean(V_standard) (1)

步骤604：利用差值V_difference对步骤602得到的HSV子图V_image的每一个像素点的亮度值Value进行归一化处理，得到亮度标准化后的HSV子图V_normalized，如下式(2)所示，从而减小亮度变化对后续图像处理的影响：

V_normalized＝V_image+V_difference (2)

步骤605：将亮度标准化后的HSV子图V_normalized按原顺序进行合并，最终得到亮度标准化图片。

步骤7：通过RGB颜色空间及HSV颜色空间对产品颜色进行检测，包括以下步骤：

步骤701：通过RGB颜色空间对产品颜色进行检测，包括以下步骤：

步骤7011：将亮度标准化图片转化为RGB待测图片，在RGB待测图片上选取和步骤1中所述N个关键点一一对应的N个待测像素点。

步骤7012：利用欧式距离计算RGB待测图片中每个待测像素点与标准模板图片对应的关键点之间的颜色相似度，设第n个关键点P_n与第n个待测像素点P_n′的颜色相似度为Dist(P_n，P_n′)，则有：

式(3)中，(x_n，y_n，z_n)为第n个关键点P_n的颜色分量，(x′_n，y′_n，z_n′)为第n个待测像素点P_n′的颜色分量。在本步骤中，(x_n，y_n，z_n)为第n个关键点P_n的RGB通道的值，(x′_n，y′_n，z_n′)为第n个待测像素点P_n′的RGB通道的值。

步骤7013：基于每个待测像素点与标准模板图片对应的关键点之间的相似度，通过加权均值的方法求得RGB空间中RGB待测图片与标准模板图片的颜色总相似度M_similiarity，将第n个关键点P_n与第n个待测像素点P_n′的颜色相似度记为Pn_similarity，则有：

式(4)中，a_n为权值，初始权值由人工设定，可以设定为都为0.05或根据经验修改。

步骤7014：若颜色总相似度M_similiarity小于阈值，则判定为产品颜色相符，否则判定为产品颜色不相符。

步骤7015：将步骤7014的判断结论、步骤7012得到的颜色相似度、步骤7013得到的颜色总相似度M_similiarity与RGB待测图片及标准模板图片关联后上传至云端，人工读取上传至云端的数据后对判断结论进行判断，并依据人工判断结果对式(4)中的权值a_n进行优化。

步骤702：通过HSV颜色空间对产品颜色进行检测，包括以下步骤：

步骤7021：将亮度标准化图片转化为HSV待测图片，在HSV待测图片上选取和步骤1中所述N个关键点一一对应的N个待测像素点。

步骤7022：利用欧式距离采用上式(3)计算HSV待测图片中每个待测像素点与标准模板图片对应的关键点之间的颜色相似度。在本步骤中，式(3)中的(x_n，y_n，z_n)则为第n个关键点的HSV通道的值，(x′_n，y′_n，z_n′)为第n个待测像素点的HSV通道的值。

步骤7023：基于每个待测像素点与标准模板图片对应的关键点之间的颜色相似度，通过加权均值的方法采用上式(4)求得HSV空间中HSV待测图片与标准模板图片的颜色总相似度M_similiarity。

步骤7024：若颜色总相似度M_similiarity小于阈值，则判定为产品颜色相符，否则判定为产品颜色不相符。

步骤7025：将步骤7024的判断结论、步骤7022得到的颜色相似度、步骤7023得到的颜色总相似度M_similiarity与HSV待测图片及标准模板图片关联后上传至云端，人工读取上传至云端的数据后对判断结论进行判断，并依据人工判断结果对式(4)中的权值a_n进行优化。

步骤8：提取产品主体部分，包括以下步骤：

步骤801：由于步骤1已经选取了ROI区域，略去了大部分不需要的复杂背景，因此，本步骤中主要需要提取出产品主体部分，此方法适用于光滑、不透明、主体颜色一致的产品，例如：电机，这类产品的特征是主体基本在一个连通域内，且一般和背景颜色不相近，因此本步骤中：将亮度标准化图片转换至RGB空间，选取亮度标准化图片中所有和标准模板图片的颜色相似度在设定阈值以内的像素点，将这些像素点的颜色值置为[255，255，255]，其余部分颜色值置为[0，0，0]。

步骤802：由于步骤801中已经选取了产品颜色相符部分，为去除中间有些杂点部分，对通过步骤801得到的图片作开运算，得到前景主体部分图片，定义为掩膜图片，掩膜图片为消除杂点后的二值化图片，掩膜图片的背景为黑色，掩膜图片中的产品主体部分为全白。

步骤803：利用掩膜和转换至RGB空间的亮度标准化图片进行与运算得到除产品主体部分全为黑色的提取图片，定义为产品主体图；

步骤9：基于SIFT改进算法进行产品缺陷检测(步骤8以上提取主体、略去背景部分解决了SIFT算法在复杂背景下特征点过多、计算量过大的问题)，包括以下步骤：

步骤901：对产品主体图进行扩边填充，得到扩边填充图片，以避免SIFT算法之后需要使用的高斯滤波产生的边缘缺失效应。为使得填充图片经过高斯滤波产生的边缘像素更符合真实情况，此处使用镜像扩边。

步骤902：构建高斯差分金字塔。高斯金字塔是实现尺度变换的唯一线性变换和，高斯差分金字塔可以达到类似效果。

步骤903：用高斯差分金字塔构建尺度空间，然后通过分离高斯模糊构建灰度图像金字塔。

步骤904：根据灰度图像金字塔对扩边填充图片进行感兴趣点定位。这里不采用SIFT算法中的DoG算子，而是采用LoG算子对扩边填充图片进行卷积，以实现对关键点的方向参数更精确的定位。由于一般此类产品外观的缺陷，都会产生明显的角点，易于被LoG算子探测到，因此，该算子适合于此类产品外观缺陷检测。

步骤905：用图像梯度的方法确定感兴趣点的位置和方向，此时，每个感兴趣点都有三个特征参数，即：尺度、位置、方向。

步骤906：利用步骤905获得的感兴趣点，根据尺度和位置找到标准模板图片中对应的感兴趣点，并利用上式(3)对扩边填充图片和标准模板图片中相应的感兴趣点进行相似度度量，本步骤中，式(3)中的(x_n，y_n，z_n)则为标准模板图片中第n个感兴趣点的RGB通道的值，(x′_n，y′_n，z_n′)为扩边填充图片第n个感兴趣点的RGB通道的值。然后利用上式(4)求得总相似度。

步骤907：若总相似度小于阈值，则说明产品外观合格，否则说明外观不合格。

步骤908：将步骤907的判断结论、步骤906得到的每个感兴趣点的相似度、总相似度与扩边填充图片及标准模板图片关联后上传至云端，人工读取上传至云端的数据后对判断结论进行判断，并依据人工判断结果对式(4)中的权值a_n进行优化。

本发明提供的算法可以配合以下硬件实施，例如：一个由机器人、流水线、在线检测台、电控柜、操作台等部分组成的检测系统，其中在线检测台中包含了图像采集装置和检测装置(例如工控机)，本算法就运行在检测装置中。图像采集装置采集一张正常产品照片作为模板或人工输入一张样例图片(图片中的产品相对角度与位置必须与现场采集环境相同)，并对图像进行人工选取ROI区域(在操作台进行操作)，然后由图像采集装置对流水线上的成品产品进行采集图片并传输到检测装置中，该检测装置运行算法进行判断(前期权值由人工设定时可能精度不高要对结果进行人工校正，由后期逐步校正后会提高精度)，最终判断合格的产品即可出厂，不合格品由机器人捡出并退回。

Claims (4)

1.一种用于外观检测的机器视觉方法，用于具有光滑、不透明、主体颜色一致的产品外表面外观检测，其特征在于，包括以下步骤：

步骤1：输入正常完好产品的产品图片作为标准模板图片，并给出产品在标准模板图片位置的区域范围及标准模板图片中产品上的N个关键点，N≥10；

步骤2：依据已知的产品生产节拍及接触式传感器，控制图像采集设备根据预先设定的采集间隔及接触式传感器的条件判定实现实时采集图像；

步骤3：图像采集设备将把步骤2采集到的实时产品图像传输到边缘侧设备中；

步骤4：选取实时产品图像矩阵中的固定区域获得实时产品图像的ROI区域图片，ROI区域对应于产品主体部分；

步骤5：对ROI区域图片的尺寸进行归一化处理，获得尺寸归一化图片；

步骤6：对尺寸归一化图片进行亮度归一化处理，获得亮度标准化图片；

步骤7：通过RGB颜色空间及HSV颜色空间对产品颜色进行检测，包括以下步骤：

步骤701：通过RGB颜色空间对产品颜色进行检测，包括以下步骤：

步骤7011：将亮度标准化图片转化为RGB待测图片，在RGB待测图片上选取和步骤1中所述N个关键点一一对应的N个待测像素点；

步骤7012：利用欧式距离计算RGB待测图片中每个待测像素点与标准模板图片对应的关键点之间的颜色相似度，设第n个关键点P_n与第n个待测像素点P_n′的颜色相似度为Dist(P_n,P_n′)，则有：

式(3)中，(x_n,y_n,z_n)为第n个关键点P_n的颜色分量，(x′_n,y′_n,z′_n)为第n个待测像素点P_n′的颜色分量；

步骤7013：基于每个待测像素点与标准模板图片对应的关键点之间的相似度，通过加权均值的方法求得RGB空间中RGB待测图片与标准模板图片的颜色总相似度M_similiarity，将第n个关键点P_n与第n个待测像素点P_n′的颜色相似度记为Pn_similarity，则有：

式(4)中，a_n为权值；

步骤7014：若颜色总相似度M_similiarity小于阈值，则判定为产品颜色相符，否则判定为产品颜色不相符；

步骤702：通过HSV颜色空间对产品颜色进行检测，包括以下步骤：

步骤7021：将亮度标准化图片转化为HSV待测图片，在HSV待测图片上选取和步骤1中所述N个关键点一一对应的N个待测像素点；

步骤7022：利用欧式距离采用上式(3)计算HSV待测图片中每个待测像素点与标准模板图片对应的关键点之间的颜色相似度；

步骤7023：基于每个待测像素点与标准模板图片对应的关键点之间的颜色相似度，通过加权均值的方法采用上式(4)求得HSV空间中HSV待测图片与标准模板图片的颜色总相似度M_similiarity；

步骤7024：若颜色总相似度M_similiarity小于阈值，则判定为产品颜色相符，否则判定为产品颜色不相符；

步骤8：提取产品主体部分，包括以下步骤：

步骤801：将亮度标准化图片转换至RGB空间，选取亮度标准化图片中所有和标准模板图片的颜色相似度在设定阈值以内的像素点，将这些像素点的颜色值置为[255,255,255]，其余部分颜色值置为[0,0,0]；

步骤802：对通过步骤801得到的图片作开运算，得到前景主体部分图片，定义为掩膜图片，掩膜图片为消除杂点后的二值化图片，掩膜图片的背景为黑色，掩膜图片中的产品主体部分为全白；

步骤803：利用掩膜和转换至RGB空间的亮度标准化图片进行与运算得到除产品主体部分全为黑色的提取图片，定义为产品主体图；

步骤9：基于SIFT改进算法进行产品缺陷检测，包括以下步骤：

步骤901：对产品主体图进行扩边填充，得到扩边填充图片，以避免SIFT算法之后需要使用的高斯滤波产生的边缘缺失效应；

步骤902：构建高斯差分金字塔；

步骤903：用高斯差分金字塔构建尺度空间，然后通过分离高斯模糊构建灰度图像金字塔；

步骤904：根据灰度图像金字塔对扩边填充图片进行感兴趣点定位，采用LoG算子对扩边填充图片进行卷积，以实现对关键点的方向参数更精确的定位；

步骤905：用图像梯度的方法确定感兴趣点的位置和方向，此时，每个感兴趣点都有三个特征参数，即：尺度、位置、方向；

步骤906：利用步骤905获得的感兴趣点，根据尺度和位置找到标准模板图片中对应的感兴趣点，并利用上式(3)对扩边填充图片和标准模板图片中相应的感兴趣点进行相似度度量，然后利用上式(4)求得总相似度；

步骤907：若总相似度小于阈值，则说明产品外观合格，否则说明外观不合格。

2.如权利要求1所述的一种用于外观检测的机器视觉方法，其特征在于，所述步骤6包括以下步骤：

步骤601：将尺寸归一化图片转换为HSV格式，获得HSV图片；

步骤602：将HSV图片按图片尺寸等分为M个正方形小区域图片，每张正方形小区域图片定义为HSV图片的HSV子图；

步骤603：获取每张HSV子图的亮度值Value的均值mean(V_imgae)与标准模板图片的亮度值Value的均值mean(V_standard)，计算均值mean(V_imgae)与均值mean(V_standard)的差值V_difference，如下式(1)所示：

V_difference＝mean(V_imgae)-mean(V_standard) (1)

步骤604：利用差值V_difference对步骤602得到的HSV子图V_image的每一个像素点的亮度值Value进行归一化处理，得到亮度标准化后的HSV子图V_normalized，如下式(2)所示，从而减小亮度变化对后续图像处理的影响：

V_{normalize d}＝V_image+V_difference (2)

步骤605：将亮度标准化后的HSV子图V_normalized按原顺序进行合并，最终得到亮度标准化图片。

3.如权利要求1所述的一种用于外观检测的机器视觉方法，其特征在于，所述步骤7014之后还包括：

步骤7015：将所述步骤7014的判断结论、所述步骤7012得到的颜色相似度、所述步骤7013得到的颜色总相似度M_similiarity与所述RGB待测图片及所述标准模板图片关联后上传至云端，人工读取上传至云端的数据后对判断结论进行判断，并依据人工判断结果对所述权值a_n进行优化；

所述步骤7024之后还包括：

步骤7025：将所述步骤7024的判断结论、所述步骤7022得到的颜色相似度、所述步骤7023得到的颜色总相似度M_similiarity与所述HSV待测图片及所述标准模板图片关联后上传至云端，人工读取上传至云端的数据后对判断结论进行判断，并依据人工判断结果对所述权值a_n进行优化；

所述步骤907之后还包括：

步骤908：将所述步骤907的判断结论、所述步骤906得到的每个感兴趣点的相似度、总相似度与所述扩边填充图片及所述标准模板图片关联后上传至云端，人工读取上传至云端的数据后对判断结论进行判断，并依据人工判断结果对所述权值a_n进行优化。

4.如权利要求1所述的一种用于外观检测的机器视觉方法，其特征在于，步骤901中，为使得填充图片经过高斯滤波产生的边缘像素更符合真实情况，所述扩边填充使用镜像扩边。

Images