CN112304957A - 一种基于机器视觉的外观缺陷智能检测方法及系统 - Google Patents

Abstract

本发明提供一种基于机器视觉的外观缺陷智能检测方法及系统，具体包括以下步骤：根据待检测产品的外观尺寸和切片法进行路径规划，经过三维坐标系转换得到产品的表面和边沿两种路径；根据待检测产品的颜色和两种路径设置相应的参数；获取当前表面路径点和边沿路径点上的外观图像并预处理，自动阈值分割得到合适的二值化图像，运用特征提取算法、轮廓大小及轮廓匹配图像处理方法筛选相应的缺陷，得到表面路径点和边沿路径点上的缺陷检测结果；外观检测流程结束后，统计所有表面路径点和边沿路径点缺陷检测结果，标记到模型对应的位置并显示。本发明有效提高产品外观检测过程的检测效率，降低漏检误检率及人工成本，提升生产节拍。

Description

一种基于机器视觉的外观缺陷智能检测方法及系统

技术领域

本发明属于外观缺陷检测领域，尤其涉及一种基于机器视觉的外观缺陷智能检测方法及系统。

背景技术

机器视觉是一项综合技术，包括图像处理、机械工程技术、控制、电光源照明、光学成像、传感器、模拟与数字视频技术、计算机软硬件技术(图像增强和分析算法、图像卡、I/O卡等)。一个典型的机器视觉应用系统包括图像捕捉、光源系统、图像数字化模块、数字图像处理模块、智能判断决策模块和机械控制执行模块。

机器视觉系统的特点是提高生产的柔性和自动化程度。在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉；同时在大批量工业生产过程中，用人工视觉检查产品质量效率低且精度不高，用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。而且机器视觉易于实现信息集成，是实现计算机集成制造的基础技术。

外观缺陷智能检测技术现代亟需的一种检测技术，在传统的检测方法中，产品外观缺陷检测主要依赖工人人眼检测，但是由于工人自身的主观性和视觉疲劳性，就使得这种检测方法存在着检测标准受个人主观因素影响，漏检误检率高，人工成本高等缺点。

因此，急需一种基于机器视觉的外观缺陷智能检测方法及系统，提高产品外观在检测过程的检测效率。

发明内容

为了解决上述技术问题，本发明提供一种基于机器视觉的外观缺陷智能检测方法及系统，所述外观缺陷智能检测系统包括路径规划单元、参数设置单元、表面路径缺陷检测单元、边沿路径缺陷检测单元、外观缺陷检测结果标记单元，具体包括以下步骤：

步骤一：路径规划单元：根据待检测产品的外观尺寸和切片法进行路径规划，经过三维坐标系转换得到产品的表面和边沿两种路径；

步骤二：参数设置单元：根据待检测产品的颜色和两种路径设置相应的参数，其中包括图像预处理参数、光源参数、缺陷参数；

步骤三：表面路径缺陷检测单元：获取当前表面路径点上的外观图像并预处理，自动阈值分割得到合适的二值化图像，运用特征提取算法、轮廓大小及轮廓匹配图像处理方法筛选相应的缺陷，得到表面路径点上的缺陷检测结果；

步骤四：边沿路径缺陷检测单元：获取当前边沿路径点上的外观图像并预处理，自动阈值分割得到合适的二值化图像，运用特征提取算法并通过筛选轮廓大小及数量对缺陷进行判定，得到边沿路径点上的缺陷检测结果；

步骤五：外观缺陷检测结果标记单元：外观检测流程结束后，统计所有表面路径点和边沿路径点缺陷检测结果，标记到模型对应的位置并显示。

优选的，所述步骤一具体包括：

外观表面路径规划单元：使用切片法对产品外观模型进行路径规划，得到产品的表面路径；

外观边沿路径规划单元：使用切片法对产品外观模型进行路径规划，得到产品的边沿路径；

三维坐标系转换单元：得到表面路径和边沿路径后，需要将产品的模型坐标系转换到基坐标系下，经过SVD分解得到两坐标系之间的旋转矩阵和平移矩阵，坐标系之间的关系可以表示为：

P_m＝(x_m,y_m,z_m)^T

P_r＝(x_r,y_r,z_r)^T

P_r＝R×P_m+T

其中，P_m，P_r分别表示模型坐标系和机器人坐标系，P_m＝(x_m,y_m,z_m)^T和P_r＝(x_r,y_r,z_r)^T中的T表示矩阵的转置，R表示旋转矩阵，P_r＝R×P_m+T中的T代表平移矩阵。

优选的，所述步骤二的参数设置单元具体包括：

图像预处理参数设置单元：根据待检测产品的颜色和路径的不同，需要设置高斯核、二值化阈值参数；

光源参数设置单元：根据待检测产品的颜色和路径的不同，需要设置光源颜色、光强大小参数；

缺陷参数设置单元：根据缺陷检测要求，需要设置缺陷轮廓矩、缺陷边缘距离参数。

优选的，所述步骤三和步骤四均具体包括：

图像滤波单元：考虑到噪声以及缺陷种类的多样性，其中包括异物、划痕、毛丝、针眼、粒点、水点、油点、凹坑，采用分类选取高斯核的方法得到最佳的滤波效果图像；

自动阈值分割单元：采用最大类间方差的自动确定阈值，根据图像的灰度特性，将图像分为前景和背景两个部分，当取最佳阈值时，两部分之间的差别最大，前景和背景之间的类间方差越大，说明构成图像的两个部分之间的差别越大，部分目标被错分为背景或部分背景被错分为目标，都会导致两部分差别变小，当所取阈值的分割使类间方差最大时意味着错分概率最小；

记T为前景与背景的分割阈值，前景点数占比图像比例为w₀，平均灰度为u₀；背景点数占图像比例为w₁，平均灰度为u₁，图像的总平均灰度为u，前景和背景图像的方差g，则有：

u＝w₀*u₀+w₁*u₁

g＝w₀*(u₀-u)²+w₁*(u₁-u)²

联立上式得：

g＝w₀*w₁*(u₀-u₁)²

或：

g＝w₀/(1-w₀)*(u₀-u)²

当方差g最大时，可以认为此时前景和背景差异最大，此时的灰度T是最佳阈值，类间方差法对噪声以及目标大小十分敏感，并仅对类间方差为单峰的图像产生较好的分割效果；

通过提取图像描述符实现图像特征点的提取，具体采用Surf特征点提取方法，兼顾尺度不变特征和计算效率；

根据图像物体轮廓归一化中心矩的缩放不变性，用来比较尺度大小不同形状相似的两个轮廓，归一化中心矩通过除以物体的总尺寸而获得缩放不变性，归一化中心矩定义式如下，

其中u_p,q为中心矩，v_p,q为归一化中心矩，p+q＝2,3,...。

优选的，所述步骤五的外观缺陷检测结果标记单元包括：

表面缺陷结果标记单元：外观检测流程结束后，统计所有表面路径点缺陷检测结果，标记到模型对应的位置并显示；

边沿缺陷结果标记单元：外观检测流程结束后，统计所有边沿路径点缺陷检测结果，标记到模型对应的位置并显示。

与现有技术相比，本发明的有益效果为：本发明通过规划路径、图像处理方法得到产品外观缺陷检测结果并标记缺陷用于显示，有效提高产品外观检测过程的检测效率，降低漏检误检率及人工成本，提升生产节拍。

附图说明

图1是本发明的步骤流程图；

图2是本发明的系统方框图；

图3是本发明的步骤一的步骤流程图；

图4是本发明的步骤二的步骤流程图；

图5是本发明的步骤三的步骤流程图；

图6是本发明的步骤四的步骤流程图；

图7是本发明的步骤五的步骤流程图。

具体实施方式

以下结合附图对本发明做进一步描述：

实施例：

如附图1、2所示，一种基于机器视觉的外观缺陷智能检测方法及系统，所述外观缺陷智能检测系统包括路径规划单元、参数设置单元、表面路径缺陷检测单元、边沿路径缺陷检测单元、外观缺陷检测结果标记单元，具体包括以下步骤：

步骤一：路径规划单元：根据待检测产品的外观尺寸和切片法进行路径规划，经过三维坐标系转换得到产品的表面和边沿两种路径；

步骤二：参数设置单元：根据待检测产品的颜色和两种路径设置相应的参数，其中包括图像预处理参数、光源参数、缺陷参数；

步骤三：表面路径缺陷检测单元：获取当前表面路径点上的外观图像并预处理，自动阈值分割得到合适的二值化图像，运用特征提取算法、轮廓大小及轮廓匹配图像处理方法筛选相应的缺陷，得到表面路径点上的缺陷检测结果；

步骤四：边沿路径缺陷检测单元：获取当前边沿路径点上的外观图像并预处理，自动阈值分割得到合适的二值化图像，运用特征提取算法并通过筛选轮廓大小及数量对缺陷进行判定，得到边沿路径点上的缺陷检测结果；

步骤五：外观缺陷检测结果标记单元：外观检测流程结束后，统计所有表面路径点和边沿路径点缺陷检测结果，标记到模型对应的位置并显示。

如附图3所示，所述步骤一具体包括：

外观表面路径规划单元：使用切片法对产品外观模型进行路径规划，得到产品的表面路径；

外观边沿路径规划单元：使用切片法对产品外观模型进行路径规划，得到产品的边沿路径；

三维坐标系转换单元：得到表面路径和边沿路径后，需要将产品的模型坐标系转换到基坐标系下，经过SVD分解得到两坐标系之间的旋转矩阵和平移矩阵，坐标系之间的关系可以表示为：

P_m＝(x_m,y_m,z_m)^T

P_r＝(x_r,y_r,z_r)^T

P_r＝R×P_m+T

其中，P_m，P_r分别表示模型坐标系和机器人坐标系，P_m＝(x_m,y_m,z_m)^T和P_r＝(x_r,y_r,z_r)^T中的T表示矩阵的转置，R表示旋转矩阵，P_r＝R×P_m+T中的T代表平移矩阵。

如附图4所示，所述步骤二具体步骤包括：

图像预处理参数设置单元：根据待检测产品的颜色和路径的不同，需要设置高斯核、二值化阈值参数；

光源参数设置单元：根据待检测产品的颜色和路径的不同，需要设置光源颜色、光强大小参数；

缺陷参数设置单元：根据缺陷检测要求，需要设置缺陷轮廓矩、缺陷边缘距离参数。

如附图5、6所示，所述步骤三、步骤四具体包括：

图像滤波单元：考虑到噪声以及缺陷种类的多样性，其中包括异物、划痕、毛丝、针眼、粒点、水点、油点、凹坑，采用分类选取高斯核的方法得到最佳的滤波效果图像；

自动阈值分割单元：采用最大类间方差的自动确定阈值，根据图像的灰度特性，将图像分为前景和背景两个部分，当取最佳阈值时，两部分之间的差别最大，前景和背景之间的类间方差越大，说明构成图像的两个部分之间的差别越大，部分目标被错分为背景或部分背景被错分为目标，都会导致两部分差别变小，当所取阈值的分割使类间方差最大时意味着错分概率最小；

记T为前景与背景的分割阈值，前景点数占比图像比例为w₀，平均灰度为u₀；背景点数占图像比例为w₁，平均灰度为u₁，图像的总平均灰度为u，前景和背景图像的方差g，则有：

u＝w₀*u₀+w₁*u₁

g＝w₀*(u₀-u)²+w₁*(u₁-u)²

联立上式得：

g＝w₀*w₁*(u₀-u₁)²

或：

g＝w₀/(1-w₀)*(u₀-u)²

当方差g最大时，可以认为此时前景和背景差异最大，此时的灰度T是最佳阈值，类间方差法对噪声以及目标大小十分敏感，并仅对类间方差为单峰的图像产生较好的分割效果；

通过提取图像描述符实现图像特征点的提取，具体采用Surf特征点提取方法，兼顾尺度不变特征和计算效率；

根据图像物体轮廓归一化中心矩的缩放不变性，用来比较尺度大小不同形状相似的两个轮廓，归一化中心矩通过除以物体的总尺寸而获得缩放不变性，归一化中心矩定义式如下，

其中u_p,q为中心矩，v_p,q为归一化中心矩，p+q＝2,3,...。

如附图7所示，所述步骤五的外观缺陷检测结果标记单元包括：

表面缺陷结果标记单元：外观检测流程结束后，统计所有表面路径点缺陷检测结果，标记到模型对应的位置并显示；

边沿缺陷结果标记单元：外观检测流程结束后，统计所有边沿路径点缺陷检测结果，标记到模型对应的位置并显示。

应用例：

搭建由机械臂、机械臂末端夹具、相机、穹顶光源、光源控制器、计算机、可升降检测台、气泵构成的外观缺陷智能检测系统平台，其中：机械臂末端用于固定相机和穹顶光源，使光源光路垂直于产品外观表面且与相机光轴成一定夹角；可升降检测台用于固定待检测产品，气泵通过吸盘及夹具气路将产品牢牢吸合；计算机连接光源控制器控制光强和颜色，计算机连接相机实施采集图像并处理，具体步骤为：

S1：获取待检测产品三维模型数据，通过切片法和三维坐标转换得到基坐标系下机械臂末端路径规划点。

S2：将待检测产品放置在检测平台，打开气泵，吸盘吸合，使产品处于固定状态；

S3：启动外观缺陷智能检测系统程序、设置外观颜色、图像预处理参数、光源参数、缺陷参数；

S4：点击启动检测按钮，机械臂末端按照表面路径规划点匀速移动，同时相机开始采集图像并进行图像处理，当前路径点位置若存在缺陷将会用红色圆圈标注并显示到计算机屏幕上；

S5：表面路径点完成后，机械臂末端按照边沿路径规划点匀速移动，同时相机开始采集图像并进行图像处理，当前路径点位置若存在缺陷将会用红色圆圈标注并显示到计算机屏幕上。

利用本发明所述的技术方案，或本领域的技术人员在本发明技术方案的启发下，设计出类似的技术方案，而达到上述技术效果的，均是落入本发明的保护范围。

Claims (5)

1.一种基于机器视觉的外观缺陷智能检测方法及系统，其特征在于，所述外观缺陷智能检测系统包括路径规划单元、参数设置单元、表面路径缺陷检测单元、边沿路径缺陷检测单元、外观缺陷检测结果标记单元，具体包括以下步骤：

步骤一：路径规划单元：根据待检测产品的外观尺寸和切片法进行路径规划，经过三维坐标系转换得到产品的表面和边沿两种路径；

步骤二：参数设置单元：根据待检测产品的颜色和两种路径设置相应的参数，其中包括图像预处理参数、光源参数、缺陷参数；

步骤三：表面路径缺陷检测单元：获取当前表面路径点上的外观图像并预处理，自动阈值分割得到合适的二值化图像，运用特征提取算法、轮廓大小及轮廓匹配图像处理方法筛选相应的缺陷，得到表面路径点上的缺陷检测结果；

步骤四：边沿路径缺陷检测单元：获取当前边沿路径点上的外观图像并预处理，自动阈值分割得到合适的二值化图像，运用特征提取算法并通过筛选轮廓大小及数量对缺陷进行判定，得到边沿路径点上的缺陷检测结果；

步骤五：外观缺陷检测结果标记单元：外观检测流程结束后，统计所有表面路径点和边沿路径点缺陷检测结果，标记到模型对应的位置并显示。

2.如权利要求1所述的一种基于机器视觉的外观缺陷智能检测方法及系统，其特征在于，所述步骤一具体包括：

外观表面路径规划单元：使用切片法对产品外观模型进行路径规划，得到产品的表面路径；

外观边沿路径规划单元：使用切片法对产品外观模型进行路径规划，得到产品的边沿路径；

三维坐标系转换单元：得到表面路径和边沿路径后，需要将产品的模型坐标系转换到基坐标系下，经过SVD分解得到两坐标系之间的旋转矩阵和平移矩阵，坐标系之间的关系可以表示为：

P_m＝(x_m,y_m,z_m)^T

P_r＝(x_r,y_r,z_r)^T

P_r＝R×P_m+T

其中，P_m，P_r分别表示模型坐标系和机器人坐标系，P_m＝(x_m,y_m,z_m)^T和P_r＝(x_r,y_r,z_r)^T中的T表示矩阵的转置，R表示旋转矩阵，P_r＝R×P_m+T中的T代表平移矩阵。

3.如权利要求1所述的一种基于机器视觉的外观缺陷智能检测方法及系统，其特征在于，所述步骤二的参数设置单元具体包括：

图像预处理参数设置单元：根据待检测产品的颜色和路径的不同，需要设置高斯核、二值化阈值参数；

光源参数设置单元：根据待检测产品的颜色和路径的不同，需要设置光源颜色、光强大小参数；

缺陷参数设置单元：根据缺陷检测要求，需要设置缺陷轮廓矩、缺陷边缘距离参数。

4.如权利要求1所述的一种基于机器视觉的外观缺陷智能检测方法及系统，其特征在于，所述步骤三和步骤四均具体包括：

图像滤波单元：考虑到噪声以及缺陷种类的多样性，其中包括异物、划痕、毛丝、针眼、粒点、水点、油点、凹坑，采用分类选取高斯核的方法得到最佳的滤波效果图像；

自动阈值分割单元：采用最大类间方差的自动确定阈值，根据图像的灰度特性，将图像分为前景和背景两个部分，当取最佳阈值时，两部分之间的差别最大，前景和背景之间的类间方差越大，说明构成图像的两个部分之间的差别越大，部分目标被错分为背景或部分背景被错分为目标，都会导致两部分差别变小，当所取阈值的分割使类间方差最大时意味着错分概率最小；

记T为前景与背景的分割阈值，前景点数占比图像比例为w₀，平均灰度为u₀；背景点数占图像比例为w₁，平均灰度为u₁，图像的总平均灰度为u，前景和背景图像的方差g，则有：

u＝w₀*u₀+w₁*u₁

g＝w₀*(u₀-u)²+w₁*(u₁-u)²

联立上式得：

g＝w₀*w₁*(u₀-u₁)²

或：

g＝w₀/(1-w₀)*(u₀-u)²

当方差g最大时，可以认为此时前景和背景差异最大，此时的灰度T是最佳阈值，类间方差法对噪声以及目标大小十分敏感，并仅对类间方差为单峰的图像产生较好的分割效果；

通过提取图像描述符实现图像特征点的提取，具体采用Surf特征点提取方法，兼顾尺度不变特征和计算效率；

根据图像物体轮廓归一化中心矩的缩放不变性，用来比较尺度大小不同形状相似的两个轮廓，归一化中心矩通过除以物体的总尺寸而获得缩放不变性，归一化中心矩定义式如下，

其中u_p,q为中心矩，v_p,q为归一化中心矩，p+q＝2,3,...。

5.如权利要求1所述的一种基于机器视觉的外观缺陷智能检测方法及系统，其特征在于，所述步骤五的外观缺陷检测结果标记单元包括：

表面缺陷结果标记单元：外观检测流程结束后，统计所有表面路径点缺陷检测结果，标记到模型对应的位置并显示；

边沿缺陷结果标记单元：外观检测流程结束后，统计所有边沿路径点缺陷检测结果，标记到模型对应的位置并显示。

Images