CN111583254A

CN111583254A - 一种曲轴瓦盖组摆放方向和顺序异常的视觉检测方法

Info

Publication number: CN111583254A
Application number: CN202010419382.7A
Authority: CN
Inventors: 朱江; 李凡诗; 李建奇; 蔡慕尧; 许海霞; 印峰; 李赛斯; 田淑娟; 裴廷睿
Original assignee: Xiangtan University
Current assignee: Xiangtan University
Priority date: 2020-05-18
Filing date: 2020-05-18
Publication date: 2020-08-25
Anticipated expiration: 2040-05-18
Also published as: CN111583254B

Abstract

本发明提出了一种曲轴瓦盖组摆放方向和顺序异常的视觉检测方法。其步骤如下：首先，基于边缘模板匹配对瓦盖组工件定位；然后，提取瓦盖组的螺栓圆孔和油墨标记线等几何基元及其位置；最后，分别计算每块瓦盖上表面左侧螺栓圆孔圆心到其油墨标记线的中心线之间的孔线距离、油墨标记线的中心线与虚拟中心标记线之间的距离，以此作为模糊推理的输入，自主推理判断瓦盖组摆放方向和顺序是否正确。本发明优点在于模糊理论对瓦盖组摆放方向和顺序进行检测，而非采用固定的阈值，鲁棒性强，直观检测、速度快、精度高，能够满足工业现场检测高速、高精度的要求。

Description

一种曲轴瓦盖组摆放方向和顺序异常的视觉检测方法

技术领域

本发明涉及一种基于模糊综合评价模型的自动化检测技术，尤其涉及瓦盖摆放方向和顺序异常的视觉检测。

背景技术

汽车生产中越来越多的环节采用高精密的自动化上料与装配。其中，发动机作为汽车提供动力的装置，主要部件有气缸体、气缸盖、活塞、曲轴等，是汽车的高精密核心部件。曲轴瓦盖是一种铸铁材质的发动机配件，起着固定曲轴、保证发动机正常运转的重要作用。

一个典型的四缸发动机需要压装五块瓦盖。组装时，先将瓦盖压装到发动机气缸体的固定缝隙中，然后通过一对螺栓将其固定。每块瓦盖的尺寸、构造略有差异，一组瓦盖堆叠在一起常见的形式主要有如下几种：(1)瓦盖组正放且顺序正确；(2)瓦盖组正放且顺序错误；(3)瓦盖组反放且顺序正确；(4)瓦盖组反放且顺序错误。

这几种形式，肉眼难以辨别，若瓦盖安装在缸体上的顺序和方向发生错误，会导致曲轴无法安装或者发动机缸体报废，造成严重的经济损失甚至是安全风险。因此，在将一组瓦盖压装到缸体上之前，必须对瓦盖组摆放方向和顺序进行检测。

现有的发动机厂主要采用人工检测和安装曲轴瓦盖。随着汽车发动机产能的不断提高，人工检测和安装的效率和准确率已不能满足要求，且该方式存在劳动强度大、效率低、主观性强和检错率高，容易造成瓦盖错装。根据瓦盖制造工艺，每块瓦盖上本刻印有箭头和序号用以表示瓦盖的顺序和方向。但是，瓦盖上表面是易反光的铸铁材质，有刀纹状的纹理，瓦盖上的箭头和序号刻印较浅，即使是人眼也很难快速、准确地分辨。为此，在上料的前一道工序会在瓦盖的上表面呈一定的角度刷上一道绿色或蓝色的油墨标识线用以标识摆放的方向和组内的顺序。如果瓦盖组内5块瓦盖上的用于标识顺序的油墨标识线基本属于一条直线可认为组内的顺序是正确的，否则判定组内顺序异常。这使得采用机器视觉方法，通过分析图像检测瓦盖组摆放方向和顺序的异常成为可能。然而，用于标识的油墨标识线印刷时角度、位置、长短等随机性较强，且组内的瓦盖之间并没有固定件连接，在料框中的放置并非整齐一致，部分存在左右参差不齐的情况，导致很难取固定的阈值判断5根油墨标记线之间的关系。如何快速、准确、自动地检测与识别瓦盖组摆放方向和顺序成为自动装配瓦盖亟需解决的难题。

发明内容

针对上述问题，本发明提出一种曲轴瓦盖组摆放方向和顺序异常的视觉检测方法，该方法能代替工人自动地检测与识别瓦盖组的摆放方向和顺序异常，实现瓦盖组检测的自动化。具体内容如下：

S100.基于边缘模板匹配对瓦盖组工件定位，并采用canny算子提取边缘，然后采用最小二乘法拟合边缘信息里所有螺栓圆孔的轮廓，得到瓦盖组上表面的左侧从上至下五个螺栓圆孔圆心为A_k(a_2k-1，a_2k)(k＝1，2，3，4，5)，右侧从上至下五个螺栓圆孔圆心为B_k(b_2k-1，b_2k)；

S200.采用基于灰度投影的梯度法检测瓦盖组上表面的五条油墨标记线的中心线m_k(k＝1，2，3，4，5)，根据检测到的油墨标记线的边缘坐标，计算油墨标记线的中心线m_k的斜率w_k和截距e_k及油墨标记线的中心点坐标C_k(c_2k-₁，c_2k)；

S300.计算每块瓦盖左侧螺栓圆孔圆心A_k(a_2k-1，a_2k)(k＝1，2，3，4，5)与油墨标记线的中心线m_k之间的孔线距离总和的相对距离d；

S400.计算五条油墨标记线的中心线m_k(k＝1，2，3，4，5)与虚拟中心标记线u的距离平方和S；

S500.以相对距离d与距离平方和S作为输入，模糊推理瓦盖组摆放方向和顺序；

S600.运用模糊逻辑的min-max合成运算获得综合推断控制决策，并通过最大隶属度平均法进行解模糊，得出瓦盖组摆放方向和顺序结果。

本发明具有如下优点：

1、本发明利用图像处理技术，机器人能自主对瓦盖组上表面图像进行检测，能精准检测检测与识别瓦盖组的摆放方向和顺序。

2、本发明基于模糊理论对瓦盖组的摆放方向和顺序进行检测，而非采用固定的阈值，鲁棒性强，直观检测、速度快、精度高，能够满足工业现场检测高速、高精度的要求。

附图说明

图1为本发明的方法流程图；

图2为瓦盖组上表面检测图像。具体如下：图2(a)、图2(b)、图2(c)、图2(d)分别为瓦盖组上表面实例图像、canny算子提取边缘信息图像、最小二乘法对螺栓圆孔拟合结果图像、各个螺栓圆孔圆心坐标图像；

图3为瓦盖组上表面检测图像。具体如下：图3(a)、图3(b)、图3(c)、图3(d)、图3(e)、图3(f)分别为油墨标记线的中心线图像、基于灰度投影搜索油墨标记线图像、油墨标记线的边缘位置坐标点图像、油墨标记线的中心线的斜率图像、油墨标记线的中心线图像、油墨标记线的中心坐标点图像；

图4为瓦盖组上表面检测图像。具体如下：图4(a)、图4(b)分别为左侧螺栓圆孔圆心与油墨标记线的中心线之间的孔线距离图像、左右螺栓圆孔圆心之间的距离图像；

图5为瓦盖组上表面检测图像。具体如下：图5(a)、图5(b)、图5(c)分别为虚拟中心标记线u图像、正确摆放时五条油墨标记线的中心线与虚拟中心标记线u的直线距离图像、错误摆放时五条油墨标记线的中心线与虚拟中心标记线u的直线距离图像；

图6为输入输出集模糊隶属度函数图像。具体如下：图6(a)、图6(b)、图6(c)、图6(d)分别为相对距离d的模糊隶属度函数图像、距离平方和S的模糊隶属度函数图像、正反状态的模糊隶属度函数图像、顺序状态的模糊隶属度函数图像。

具体实施方式

曲轴瓦盖存储在仓库的料框中，叉车将料框从仓库运送到产线，并摆放到辊道上，辊道运动将料框移动到瓦盖机器人能够触及的基础位置，通过控制机器人动作使相机垂直向下获取瓦盖组的上表面图像并进行检测。

下面结合附图和实施例对本发明作进一步的说明。

本发明技术方案的流程框图如图1所示，具体步骤为：

S100、基于边缘模板匹配对瓦盖组工件定位，并采用canny算子提取边缘，然后采用最小二乘法拟合边缘信息里所有螺栓圆孔的轮廓，得到瓦盖组上表面的各个螺栓圆孔圆心坐标；

S110.用canny算子提取边缘，如图2(a)与图2(b)所示；

S120.最小二乘法拟合定位圆得到各个螺栓圆孔圆心坐标，依照瓦盖组定位方向建立直角坐标系，其中，定义左侧螺栓圆孔圆心点从上至下为A_k(a_2k-1，a_2k)(k＝1，2，3，4，5)，右侧螺栓圆孔圆心点从上至下为B_k(b_2k-1，b_2k)，如图2(c)与图2(d)所示；

S200、采用基于灰度投影的梯度法检测瓦盖组上表面的五条油墨标记线，并计算五条油墨标记线的中心线的斜率w_k(k＝1，2，3，4，5)和截距e_k及五条油墨标记线的中心点坐标C_k(c_2k-1，c_2k)；

S210.定义瓦盖组上表面的五条油墨标记线的中心线从上至下为m_k(k＝1，2，3，4，5)，如图3(a)所示；

S220.结合先验知识，根据边缘模板匹配得到的瓦盖组位置信息，分别在油墨标记线的上设置大小为M×N的矩形框感兴趣区域为ROI，该矩形框感兴趣区域与水平方向之间的角度为90°-α；其中，α表示油墨标记线整体相对于瓦盖水平方向的角度，一般为65-75度之间，此处取70度；相应搜索方向与油墨标记线方向垂直，而相应投影方向与油墨标记线方向平行，如图3(b)所示；

S230.通过相应投影方向每一列的灰度值信息累加，得到矩形框感兴趣区域ROI内每一列的累计灰度值；计算相应的搜索方向上的梯度算子，通过选取两峰之间的谷底灰度值作为阙值T得到油墨标记线的边缘位置坐标点G_4k-3(g_8k-7，g_8k-6)，G4_k-2(g_8k-5，g_8k-4)，G_4k-1(g_8k-3，g_8k-2)，G_4k(g_8k-1，g_8k)，(k＝1，2，3，4，5)，如图3(c)所示；

S240.根据检测到的油墨标记线的边缘位置坐标，利用G_4k-1，G_4k(k＝1，2，3，4，5)两点确定一条直线的方法求得油墨标记线的中心线m_k的斜率为w_k，如图3(d)所示，表达式为：

式中，k＝1，2，3，4，5，表示瓦盖组内从上至下瓦盖的编号，g_8k-2，g_8k为对应油墨标记线的边缘位置坐标点G4_k-1，G4_k纵坐标，g_8k-3，g_8k-1为对应油墨标记线的边缘位置坐标点G_4k-1，G_4k横坐标；

S250.根据检测到的油墨标记线边缘位置坐标，利用G_4k-3，G_4k-1(k＝1，2，3，4，5)两点中点H_k(h_2k-1，h_2k)与油墨标记线的中心线m_k的斜率w_k采用点斜式求五条油墨标记线的中心线m_k的截距e_k，如图3(e)所示，表达式为：

m_k＝W_kx+e_k (2)

e_k＝h_2k-w_kh_2k-1 (4)

式中，k＝1，2，3，4，5，表示组内从上至下瓦盖的编号，g_8k-6，g_8k-2为对应油墨标记线的边缘位置坐标点G4_k-3，G_4k-1纵坐标，g_8k-7，g_8k-3为对应油墨标记线的边缘位置坐标点G_4k-3，G_4k-1横坐标，W_k为对应瓦盖编号的油墨标记线的中心线m_k的斜率；

S260.将左侧螺栓圆孔圆心点A_k的纵坐标a_2k作为油墨标记线的中心点C_k的纵坐标c_2k代入油墨标记线的中心线m_k＝w_kx+e_k得油墨标记线的中心点的横坐标c_2k-1，油墨标记线的中心点表示为C_k(c_2k-1，c_2k)(k＝1，2，3，4，5)，如图3(f)所示，表达式为：

c_2k＝a_2k，a_2k＝w_kx+e_k (5)

式中，k＝1，2，3，4，5，表示组内从上至下瓦盖的编号，w_k为对应瓦盖编号的油墨标记线的中心线m_k的斜率，e_k表示为对应瓦盖编号的油墨标记线的中心线m_k的截距，a_2k为左侧螺栓圆孔圆心点A_k(a_2k-1，a_2k)的纵坐标。

S300、计算每块瓦盖左侧螺栓圆孔圆心A_k(a_2k-1，a_2k)(k＝1，2，3，4，5)与油墨标记线的中心线m_k之间的孔线距离总和的相对距离d；

S310.计算每块瓦盖左侧螺栓圆孔圆心A_k与油墨标记线的中心线m_k之间的孔线距离为l_k，如图4(a)所示，表达式为：

l_k＝c_2k-1-a_2k-1 (7)

式中，k＝1，2，3，4，5，表示瓦盖组内从上至下瓦盖的编号，a_2k-1为对应瓦盖左侧螺栓圆孔圆心A_k横坐标，而c_2k-1为对应油墨标记线的中心点C_k的横坐标；

S320.计算第一块瓦盖中左右螺栓圆孔圆心A₁，B₁之间的距离L，如图4(b)所示，表达式为：

L＝b₁-a₁ (8)

式中，a₁为第一块瓦盖左侧螺栓圆孔圆心点A₁(a₁，a₂)点的横坐标，b₁为第一块瓦盖右侧螺栓圆孔圆心点B₁(b₁，b₂)的横坐标；

S330.计算每块瓦盖左侧螺栓圆孔圆心A_k与油墨标记线的中心线m_k之间的孔线距离总和的相对距离d：

式中，k表示瓦盖组内从上至下瓦盖的编号。

S400、计算五条油墨标记线的中心线m_k(k＝1，2，3，4，5)与虚拟中心标记线u的距离平方和S；

S410.在图像坐标中用点斜式求虚拟中心标记线u的斜率w及截距e，如图5(a)所示，表达式为：

u＝wx+e (10)

式中，k表示瓦盖组内从上至下瓦盖的编号，w_k为对应瓦盖编号的油墨标记线的中心线m_k的斜率，e_k为对应瓦盖编号的油墨标记线的中心线m_k的截距；

S420.计算五条油墨标记线的中心线m_k与虚拟中心标记线u的距离平方和S，如图5(b)与图5(c)所示，表达式为：

u-wx-e＝0，m_k-Wx-e_k＝0 (13)

式中，k表示瓦盖组内从上至下瓦盖的编号，e_k为对应瓦盖编号的油墨标记线的中心线m_k的截距，w为虚拟中心标记线u的斜率，e为虚拟中心标记线u的截距。

S500、以相对距离d与距离平方和S作为输入，模糊推理瓦盖的摆放方向和顺序；

S510.定义模糊输入集，输入为u₁，u₂；相对距离d模糊量化为方向倾向u₁，将u₁分为五个模糊集：u₁＝{负大，负小，零，正小，正大}＝{NB，NS，ZO，PS，PB}；距离平方和S模糊量化为一致性u₂，将u₂分为三个模糊集：u₂＝{较好，一般，较差}＝{SD，MD，LD}；

S520.定义模糊输出集，输出为v₁，v₂；v₁为瓦盖组摆放的正反状态，将v₁分为三个模糊集：v₁＝{正放，重检，反放}＝{P，R，N}；定义v₂为瓦盖组摆放的顺序状态，将v₂分为三个模糊集：v₂＝{正确，不确定，错误}＝{T，I，F}；

S530.定义隶属函数；

S531.相对距离d的模糊隶属度函数，如图6(a)所示：

方向倾向

S532.距离平方和S的模糊隶属度函数，如图6(b)所示：

一致性

S533.正反状态的模糊隶属度函数，如图6(c)所示：

正反状态

S534.顺序状态的模糊隶属度函数，如图6(d)所示：

顺序状态

S540.根据相应的经验来制定的模糊规则控制表为：

表1

表2

S600、运用模糊逻辑的min-max合成运算获得综合推断控制决策，并通过最大隶属度平均法进行解模糊，得出瓦盖组摆放方向和顺序结果；

S610.模糊规则匹配；

S611.若输入相对距离d为

距离平方和S为7，把d和S分别代入所属的隶属函数中求隶属度为：

u_SD(S)＝0.545，u_MD(S)＝0.455，u_LD＝0 (18)

u_NB(d)＝0，u_NS(d)＝0.634，u_ZO(d)＝0.366，u_PS(d)＝0，u_PB＝0 (19)

S612.相匹配的模糊规则为：

表3

表4

S620.被触发的规则为；

IF(方向倾向is NS)and(一致性is SD)then(正反状态is P)(顺序状态is T)；

IF(方向倾向is NS)and(一致性is MD)then(正反状态is P)(顺序状态is notF)；

IF(方向倾向is ZO)and(一致性is SD)then(正反状态is R)(顺序状态is F)；

IF(方向倾向is ZO)and(一致性is MD)then(正反状态is R)(顺序状态is F)；

S630.在同一条规则内，前提之间通过“与”得关系得到规则结论。前提得可信度之间通过取小运算，由上表可得到每一条规则总前提得可信度为；

规则1 前提的可信度为：min(0.634，0.545)＝0.545

规则2 前提的可信度为：min(0.634，0.455)＝0.455

规则3 前提的可信度为：min(0.366，0.545)＝0.366

规则4 前提的可信度为：min(0.366，0.455)＝0.366

S640.每条规则总的可信度输出：

表5

表6

表7

S650.模糊系统总的可信度为各条规则可信度推理结果的并集：

u_agg1＝max{min(0.545，u_p)，min(0.366，u_R)，min(0.455，u_P)，min(0.366，u_R)}＝max{min(0.545，u_p)，min(0.366，u_R)}＝min(0.545，u_p)

u_agg2＝max{min(0.545，u_T)，min(0.366，u_F)，min(0.455，u_I，u_T)，min(0.366，u_F)}＝max{min(0.545，u_T)，min(0.366，u_F)，min(0.455，u_I，u_T)}＝min(0.545，u_T)

S660.用最大隶属度平均法进行反模糊化：

S661.对于正反状态来说：u＝0.545为最大隶属度，输出打分z为0.14；

S662.对于顺序状态来说：u＝0.545为最大隶属度，输出打分o为0.14；

S670.当输入的方向倾向为-0.5，一致性为7时，正反状态打分0.14，输出“正”结果，顺序状态打分0.14，输出“正确”结果，即瓦盖组正放且摆放顺序正确。

Claims

1.一种曲轴瓦盖组摆放方向和顺序异常的视觉检测方法，至少包括如下步骤：

S100.基于边缘模板匹配对瓦盖组工件定位，并采用canny算子提取边缘；然后采用最小二乘法对边缘信息拟合所有螺栓圆孔的轮廓，得到瓦盖组上表面的左侧从上至下五个螺栓圆孔圆心为A_k(a_2k-1，a_2k)(k＝1，2，3，4，5)，右侧从上至下五个螺栓圆孔圆心为B_k(b_2k-1，b_2k)；

S200.采用基于灰度投影的梯度法检测瓦盖组上表面的五条油墨标记线的中心线m_k(k＝1，2，3，4，5)，根据检测到的油墨标记线的边缘坐标，计算油墨标记线的中心线m_k的斜率w_k和截距e_k及油墨标记线的中心点坐标C_k(c_2k-1，c_2k)；

2.根据权利要求1所述的曲轴瓦盖组摆放方向和顺序异常的视觉检测方法，其特征在于获取每块瓦盖左侧螺栓圆孔圆心A_k与油墨标记线的中心线m_k之间的孔线距离总和的相对距离d，所述步骤S300至少还包括以下步骤：

S310.计算每块瓦盖左侧螺栓圆孔圆心A_k与油墨标记线的中心线m_k之间的孔线距离为l_k，其表达式为：

l_k＝c_2k-1-a_2k-1 (1)

S320.计算第一块瓦盖中左右螺栓圆孔圆心A₁，B₁之间的距离L，其表达式为：

L＝b₁-a₁ (2)

S330.计算每块瓦盖左侧螺栓圆孔圆心A_k与油墨标记线的中心线m_k之间的孔线距离总和的相对距离d，其表达式为：

式中，k＝1，2，3，4，5，表示瓦盖组内从上至下瓦盖的编号。

3.根据权利要求1所述的曲轴瓦盖组摆放方向和顺序异常的视觉检测方法，其特征在于获取五条油墨标记线的中心线m_k与虚拟中心标记线u的距离平方和S，所述步骤S400至少还包括以下步骤：

S410.在图像坐标中用点斜式求虚拟中心标记线u的斜率w及截距e，其表达式为：

u＝wx+e (4)

式中，k＝1，2，3，4，5，表示瓦盖组内从上至下瓦盖的编号，W_k为对应瓦盖编号的油墨标记线的中心线m_k的斜率，e_k为对应瓦盖编号的油墨标记线的中心线m_k的截距；

S420.计算五条油墨标记线的中心线m_k与虚拟中心标记线u的距离平方和S，其表达式为：

4.根据权利要求1所述的曲轴瓦盖组摆放方向和顺序异常的视觉检测方法，其特征在于获取模糊推理瓦盖组摆放方向和顺序，所述步骤S500至少还包括以下步骤：

S510.定义模糊输入集，输入为u₁，u₂；相对距离d模糊量化为方向倾向u₁，将u₁分为五个模糊集：

u₁＝{负大，负小，零，正小，正大}＝{NB，NS，ZO，PS，PB}；距离平方和S模糊量化为一致性u₂，将u₂分为三个模糊集：u₂＝{较好，一般，较差}＝{SD，MD，LD}；

S530.定义隶属函数；

S531.相对距离d的模糊隶属度函数：

方向倾向

S532.距离平方和S的模糊隶属度函数：

一致性

S533.正反状态的模糊隶属度函数：

正反状态

S534.顺序状态的模糊隶属度函数：

顺序状态

S540.建立模糊控制规则进行模糊推理：

IF(方向倾向is NB)and(一致性is SD)then(正反状态is not N)(顺序状态is T)；

IF(方向倾向is NB)and(一致性is MD)then(正反状态is not N)(顺序状态is notF)；

IF(方向倾向is NB)and(一致性is LD)then(正反状态is not N)(顺序状态is notT)；

IF(方向倾向is NS)and(一致性is MD)then(正反状态is P)(顺序状态is not F)；

IF(方向倾向is NS)and(一致性is LD)then(正反状态is P)(顺序状态is not T)；

IF(方向倾向is ZO)and(一致性is LD)then(正反状态is R)(顺序状态is F)；

IF(方向倾向is PS)and(一致性is SD)then(正反状态is N)(顺序状态is T)；

IF(方向倾向is PS)and(一致性is MD)then(正反状态is N)(顺序状态is not F)；

IF(方向倾向is PS)and(一致性is LD)then(正反状态is N)(顺序状态is not T)；

IF(方向倾向is PB)and(一致性is SD)then(正反状态is not P)(顺序状态is T)；

IF(方向倾向is PB)and(一致性is MD)then(正反状态is not P)(顺序状态is notF)；

IF(方向倾向is PB)and(一致性is LD)then(正反状态is not P)(顺序状态is notT)。