CN108537791B - 一种基于机器视觉的冲压件冲孔在线检测方法 - Google Patents

Abstract

本发明公开一种基于机器视觉的冲压件冲孔在线检测方法，包括：步骤1：按照采样周期，基于机器双目视觉采集冲压件冲孔边缘形状、中心位置、孔深、沿冲压件轴向所述冲孔与相邻孔中心位置的径向距离和沿冲压件径向所述冲孔与相邻孔中心位置的轴向距离，步骤2：确定三层BP神经网络的输入神经元向量步骤3：所述输入层向量映射到中间层；步骤4：得到输出层神经元向量。本发明所述的基于机器视觉的冲压件冲孔在线检测方法，通过构建机器双目视觉系统，采集冲压件冲孔的形状、大小和尺寸，并基于BP神经网络对冲孔进行在线检测，实现对冲压件冲孔质量评价，提高产品合格率。

Description

一种基于机器视觉的冲压件冲孔在线检测方法

技术领域

本发明涉及冲压件冲孔检测技术领域，更具体的是，本发明涉及一种基于机器视觉的冲压件冲孔在线检测方法。

背景技术

当前，轿车车身几乎全部使用承载式车身，而承载式车身构件采用冲压工艺生产，然后利用焊接或螺栓等方式连接成车身整体。车身构件的安装定位孔位置精度和尺寸精度对整车品质有决定性影响，因此冲压零件特别是有安装定位作用的结构件具有极高的位置精度和尺寸精度要求。承载式车身作为其它零部件的装配基础，上面分布有较多对尺寸精度和位置精度有较高要求的冲压孔，来保证汽车零部件准确的位置关系。车身冲压件生产过程中，受环境因素、模具磨损、原材料力学性能及冲压设备等方面的影响，车身冲压件产品质量会出现波动。

在冲压生产过程中，由于刃口磨损变钝、冲裁过程回弹、模具结构不当及各批次材料差异引起冲压件质量不稳定，定位孔超差，如不加以控制，必然会引起车身质量的降低。另外对冲压质量的高要求，也对检测系统提出了很高的要求，此时仅用检具检测费时费力。检具检测无法满足汽车车身冲压件批量生产全检要求，只能对冲压件进行质量抽检，无法完全避免不合格产品的流出。现有技术中的冲压件的检测自动化程度低，方法复杂，受环境因素影响较大，检测精度较低，很难实现冲压件产品质量一致性。

随着传感器技术的进步，让机器视觉技术应用于通道孔高精度检测成为了可能，通过构建机器视觉系统，采集冲压件的图像，应用平面视觉技术及双目立体视觉技术，实现工业现场高精度快速检测成了众多人研究的对象。

发明内容

本发明的目的是设计开发了一种基于机器视觉的冲压件冲孔在线检测方法，通过构建机器双目视觉系统，采集冲压件冲孔的形状、大小和尺寸，并基于BP神经网络对冲孔进行在线检测，实现对冲压件冲孔质量评价，提高产品合格率。

本发明提供的技术方案为：

一种基于机器视觉的冲压件冲孔在线检测方法，包括：

步骤1：按照采样周期，基于机器双目视觉采集冲压件冲孔边缘形状、中心位置、孔深、沿冲压件轴向所述冲孔与相邻孔中心位置的径向距离和沿冲压件径向所述冲孔与相邻孔中心位置的轴向距离，

步骤2：确定三层BP神经网络的输入神经元向量x＝{x₁,x₂,x₃,x₄,x₅}，其中，x₁为冲孔边缘形状，x₂为冲孔中心位置，x₃为冲孔孔深，x₄为沿冲压件轴向所述冲孔与相邻孔中心位置的径向距离，x₅为沿冲压件径向所述冲孔与相邻孔中心位置的轴向距离；

步骤3：所述输入层向量映射到中间层，所述中间层向量y＝{y₁,y₂,L,y_m}；m为中间层节点个数；

步骤4：得到输出层神经元向量o＝{o₁,o₂,o₃,o₄,o₅}；其中，o₁为冲孔边缘形状与标准冲孔重合状态，o₂为冲孔中心位置与标准冲孔的中心位置的重合状态，o₃为冲孔孔深与标准冲孔孔深的重合状态，o₄为沿冲压件轴向所述冲孔与相邻孔中心位置的径向距离与标准径向距离的重合状态，o₅为沿冲压件径向所述冲孔与相邻孔中心位置的轴向距离与标准轴向距离的重合状态；所述输出神经元值

其中，C_d为重合度。

优选的是，所述步骤4中，当所述输出层神经元向量o＝{T,T,T,T,T}时，所述冲压件冲孔合格，否则不合格。

优选的是，所述中间层节点个数m满足：

其中，n为输入层节点个数，p为输出层节点个数。

优选的是，所述中间层及所述输出层的激励函数均采用S型函数f_j(x)＝1/(1+e^-x)。

优选的是，所述采样周期为每经过一个冲孔进行一次数据采集。

优选的是，所述基于机器双目视觉采集输入神经元向量数据包括：

采集冲压件冲孔图像，提取冲孔的像素坐标，并将其转换为物理坐标：

其中，

为冲孔Mⁱ的物理坐标，

为冲孔Mⁱ在左侧CCD摄像机坐标系下的坐标，

为冲孔Mⁱ在右侧CCD摄像机坐标系下的坐标，

为左侧CCD摄像机的结构参数，

为右侧CCD摄像机的结构参数。

优选的是，在数据采集之前需要对机器双目视觉进行内参数标定，具体包括：

在高精度标定板上选取多个坐标点

并在左右两侧CCD摄像机上成像获得所述坐标点在所述左右两侧CCD摄像机上的坐标点

并根据：

获取左右两侧CCD摄像机的结构参数

优选的是，所述获取左右两侧CCD摄像机的结构参数

采用Levenberg-Marquardt迭代算法。

优选的是，完成内参数标定后采用小尺寸二维标定板对机器双目视觉进行外结构参数标定。

优选的是，每检测3000个冲孔后采用小尺寸二维标定板对机器双目视觉的外结构参数进行再次标定。

本发明所述的有益效果为：

本发明所述的基于机器视觉的冲压件冲孔在线检测方法，通过构建机器双目视觉系统，采集冲压件冲孔的形状、大小和尺寸，并基于BP神经网络对冲孔进行在线检测，实现对冲压件冲孔质量评价，利用机器视觉非接触测试手段，在不干扰现在的生产过程和不损伤冲压件条件下，完成对冲压件质量的高精度检测，满足冲压件产品质量全检要求，一定程度上提升生产效率，提高产品合格率及提升企业信息化水平。

附图说明

图1为本发明所述机器双目视觉标定示意图。

图2为本发明所述高精度标定板的示意图。

具体实施方式

下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

本发明提供一种基于机器视觉的冲压件冲孔在线检测方法，包括：

步骤1：按照采样周期(每经过一个冲孔进行一次数据采集)，基于机器双目视觉采集冲压件冲孔边缘形状、中心位置、孔深、沿冲压件轴向所述冲孔与相邻孔中心位置的径向距离和沿冲压件径向所述冲孔与相邻孔中心位置的轴向距离，具体包括：

(1.1)对机器双目视觉进行标定，如图1、2所示：

选取高精度标定板，在高精度标定板上选取多个坐标点

并在左右两侧CCD摄像机上成像获得所述坐标点在所述左右两侧CCD摄像机上的坐标点

并根据：

通过高精度标定板多空间位置成像，采用标定板多点拾取方式，对结构参数进行 中值滤波减小噪声，解算结构参数标定初始值；建立结构参数误差模型，并根据最优目标函 数，采用Levenberg-Marquardt迭代优化算法，进一步提高结构参数的标定精度，获取左右 两侧CCD摄像机的结构参数

完成内参数标定后采用小尺寸二维标定板对机器双目视觉进行外结构参数标定，以降低系统使用环境影响，如加工振动、安装布置空间、温差等因素的影响，提高标定精度。

(1.2)标定完成后，基于机器双目视觉采集冲压件冲孔图像，对图像进行预处理操作，包括图像滤波、图像增强等，提取冲孔的像素坐标，并将其转换为物理坐标：

其中，

为冲孔Mⁱ的物理坐标，

为冲孔Mⁱ在左侧CCD摄像机坐标系下的坐标，

为冲孔Mⁱ在右侧CCD摄像机坐标系下的坐标，

为左侧CCD摄像机的结构参数，

为右侧CCD摄像机的结构参数。

最后获得冲压件冲孔边缘形状、中心位置、孔深、沿冲压件轴向所述冲孔与相邻孔中心位置的径向距离和沿冲压件径向所述冲孔与相邻孔中心位置的轴向距离。

每检测3000个冲孔后采用小尺寸二维标定板对机器双目视觉进行再次标定，由于检测系统使用环境影响，如加工振动、安装布置空间、温差等因素的影响，为保证测试精度，需周期性对双目立体视觉系统进行标定，补偿系统噪声和模型畸变。

步骤2：基于BP神经网络对冲孔进行在线检测，实现对冲压件冲孔质量评价，具体包括：

(2.1)建立BP神经网络模型；

BP模型上各层次的神经元之间形成全互连连接，各层次内的神经元之间没有连接，输入层神经元的输出与输入相同，即o_i＝x_i。中间隐含层和输出层的神经元的操作特性为：

o_pj＝f_j(net_pj)

其中p表示当前的输入样本，ω_ji为从神经元i到神经元j的连接权值，o_pi为神经元j的当前输入，o_pj为其输出；f_j为非线性可微非递减函数，一般取为S型函数，即f_j(x)＝1/(1+e^-x)。

本发明采用的BP网络体系结构由三层组成，第一层为输入层，共n个节点，对应了表示冲压件冲孔质量的n个检测信号，这些信号参数由机器双目视觉检测并经数据预处理模块给出；第二层为隐层，共m个节点，由网络的训练过程以自适应的方式确定；第三层为输出层，共p个节点，由系统实际需要输出的响应确定。

该网络的数学模型为：

输入向量：x＝(x₁,x₂,...,x_n)^T

中间层向量：y＝(y₁,y₂,...,y_m)^T

输出向量：o＝(o₁,o₂,...,o_p)^T

本发明中，输入层节点数为n＝5，输出层节点数为p＝5，隐藏层节点数m＝7。

输入层5个参数分别表示为：x₁为冲孔边缘形状，x₂为冲孔中心位置，x₃为冲孔孔深，x₄为沿冲压件轴向所述冲孔与相邻孔中心位置的径向距离，x₅为沿冲压件径向所述冲孔与相邻孔中心位置的轴向距离；

输出层5个参数分别表示为：o₁为冲孔边缘形状与标准冲孔重合状态，o₂为冲孔中心位置与标准冲孔的中心位置的重合状态，o₃为冲孔孔深与标准冲孔孔深的重合状态，o₄为沿冲压件轴向所述冲孔与相邻孔中心位置的径向距离与标准径向距离的重合状态，o₅为沿冲压件径向所述冲孔与相邻孔中心位置的轴向距离与标准轴向距离的重合状态；所述输出神经元值

其中，C_d为重合度。

当所述输出层神经元向量o＝{T,T,T,T,T}时，所述冲压件冲孔合格，否则不合格，质检不通过。

(2.1)进行BP神经网络的训练；

(1)训练方法

各子网采用单独训练的方法；训练时，首先要提供一组训练样本，其中的每一个样本由输入样本和理想输出对组成，当网络的所有实际输出与其理想输出一致时，表明训练结束；否则，通过修正权值，使网络的理想输出与实际输出一致；各子网训练时的输出样本如表1所示。

表1网络训练用的输出样本

(2)训练算法

BP网络采用误差反向传播(Backward Propagation)算法进行训练，其步骤可归纳如下：

第一步：选定一结构合理的网络，设置所有节点阈值和连接权值的初值。

第二步：对每个输入样本作如下计算：

(a)前向计算：对l层的j单元

式中，

为第n次计算时l层的j单元信息加权和，

为l层的j单元与前一层(即l-1层)的单元i之间的连接权值，

为前一层(即l-1层，节点数为n_l-1)的单元i送来的工作信号；i＝0时，令

为l层的j单元的阈值。

若单元j的激活函数为sigmoid函数，则

且

若神经元j属于第一隐层(l＝1)，则有

若神经元j属于输出层(l＝L)，则有

且e_j(n)＝x_j(n)-o_j(n)；

(b)反向计算误差：

对于输出单元

对隐单元

(c)修正权值：

η为学习速率。

第三步：输入新的样本或新一周期样本，直到网络收敛，在训练时各周期中样本的输入顺序要重新随机排序。

BP算法采用梯度下降法求非线性函数极值，存在陷入局部极小以及收敛速度慢等问题。更为有效的一种算法是Levenberg-Marquardt优化算法，它使得网络学习时间更短，能有效地抑制网络陷于局部极小。其权值调整率选为

Δω＝(J^TJ+μI)^-1J^Te

其中J为误差对权值微分的雅可比(Jacobian)矩阵，I为输入向量，e为误差向量，变量μ是一个自适应调整的标量，用来确定学习是根据牛顿法还是梯度法来完成。

在系统设计时，系统模型是一个仅经过初始化了的网络，权值需要根据在使用过程中获得的数据样本进行学习调整，为此设计了系统的自学习功能。在指定了学习样本及数量的情况下，系统可以进行自学习，以不断完善网络性能。

下面结合具体的实施例进一步的对本发明提供的冲压件冲孔在线检测方法进行说明。

为了检测冲压件不同冲孔的参数数据，选择不同形状大小的冲孔进行测试。在试验中，把冲孔分为12组，即1、2、3、4、5、6、7、8、9、10、11、12，其中将不合格产品随机打算排在3、5、7、11组。采集冲孔边缘形状、中心位置、孔深、沿冲压件轴向所述冲孔与相邻孔中心位置的径向距离和沿冲压件径向所述冲孔与相邻孔中心位置的轴向距离，如表2所示。

表2不同冲压件冲孔的特征

根据前述建立的检测评价模型原理，进行冲压件冲孔质量评价，结论如表3所示。

表3冲孔质量评价结论

从表3可以看出，冲孔质量评价结果与实际情况大致相同，1、2、4、6、8、9、10、12组的冲孔的边缘形状、中心位置、径向距离和轴向距离的重合状态输出为T，即冲孔的边缘形状、中心位置、径向距离和轴向距离的重合度大于等于97％，说明冲孔质量合格，而3、5、7、11组的冲孔的边缘形状、中心位置、径向距离和轴向距离的重合状态输出存在一个或者多个F，说明冲孔的边缘形状、中心位置、径向距离和轴向距离中存在一个或者多个的重合度小于97％，则冲孔质量不合格，应立即指出并淘汰；由此，可以表明建立的冲压件冲孔质量评价模型是可行的，通过机器双目视觉不断地检测不同冲压件冲孔的信息，进而不断完善评价模型，将实现可靠的冲压件冲孔检测评估。

本发明所述的基于机器视觉的冲压件冲孔在线检测方法，通过构建机器双目视觉系统，采集冲压件冲孔的形状、大小和尺寸，并基于BP神经网络对冲孔进行在线检测，实现对冲压件冲孔质量评价，利用机器视觉非接触测试手段，在不干扰现在的生产过程和不损伤冲压件条件下，完成对冲压件质量的高精度检测，满足冲压件产品质量全检要求，一定程度上提升生产效率，提高产品合格率及提升企业信息化水平。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (8)

1.一种基于机器视觉的冲压件冲孔在线检测方法，其特征在于，包括：

步骤1：按照采样周期，基于机器双目视觉采集冲压件冲孔边缘形状、中心位置、孔深、沿冲压件轴向所述冲孔与相邻孔中心位置的径向距离和沿冲压件径向所述冲孔与相邻孔中心位置的轴向距离；

步骤2：确定三层BP神经网络的输入神经元向量x＝{x₁,x₂,x₃,x₄,x₅}，其中，x₁为冲孔边缘形状，x₂为冲孔中心位置，x₃为冲孔孔深，x₄为沿冲压件轴向所述冲孔与相邻孔中心位置的径向距离，x₅为沿冲压件径向所述冲孔与相邻孔中心位置的轴向距离；

所述基于机器双目视觉采集输入神经元向量数据包括：

采集冲压件冲孔图像，提取冲孔的像素坐标，并将其转换为物理坐标：

其中，

为冲孔Mⁱ的物理坐标，

为冲孔Mⁱ在左侧CCD摄像机坐标系下的坐标，

为冲孔Mⁱ在右侧CCD摄像机坐标系下的坐标，

为左侧CCD摄像机的结构参数，

为右侧CCD摄像机的结构参数；

步骤3：所述输入神经元向量映射到中间层，所述中间层向量y＝{y₁,y₂,L,y_m}；m为中间层节点个数；

步骤4：得到输出层神经元向量o＝{o₁,o₂,o₃,o₄,o₅}；其中，o₁为冲孔边缘形状与标准冲孔重合状态，o₂为冲孔中心位置与标准冲孔的中心位置的重合状态，o₃为冲孔孔深与标准冲孔孔深的重合状态，o₄为沿冲压件轴向所述冲孔与相邻孔中心位置的径向距离与标准径向距离的重合状态，o₅为沿冲压件径向所述冲孔与相邻孔中心位置的轴向距离与标准轴向距离的重合状态；其中输出神经元值

其中，C_d为重合度；

当所述输出层神经元向量o＝{T,T,T,T,T}时，所述冲压件冲孔合格，否则不合格。

2.如权利要求1所述的机器视觉的冲压件冲孔在线检测方法，其特征在于，所述中间层节点个数m满足：

其中，n为输入层节点个数，p为输出层节点个数。

3.如权利要求1所述的机器视觉的冲压件冲孔在线检测方法，其特征在于，所述中间层及所述输出层的激励函数均采用S型函数f_j(x)＝1/(1+e^-x)。

4.如权利要求1、2或3所述的机器视觉的冲压件冲孔在线检测方法，其特征在于，所述采样周期为每经过一个冲孔进行一次数据采集。

5.如权利要求4所述的机器视觉的冲压件冲孔在线检测方法，其特征在于，在数据采集之前需要对机器双目视觉进行内参数标定，具体包括：

在高精度标定板上选取多个坐标点

并在左右两侧CCD摄像机上成像获得所述坐标点在所述左右两侧CCD摄像机上的坐标点

并根据：

获取左右两侧CCD摄像机的结构参数

6.如权利要求5所述的机器视觉的冲压件冲孔在线检测方法，其特征在于，所述获取左右两侧CCD摄像机的结构参数

采用Levenberg-Marquardt迭代算法。

7.如权利要求5或6所述的机器视觉的冲压件冲孔在线检测方法，其特征在于，完成内参数标定后采用小尺寸二维标定板对机器双目视觉进行外结构参数标定。

8.如权利要求7所述的机器视觉的冲压件冲孔在线检测方法，其特征在于，每检测3000个冲孔后采用小尺寸二维标定板对机器双目视觉的外结构参数进行再次标定。

Images