CN111537517B - 一种无人智能化冲压缺陷识别方法 - Google Patents

Abstract

本发明公开了一种无人智能化冲压缺陷识别方法，首先对工件进行拍照处理，获取工件的图像，然后经图像处理对冲压件表面常见质量缺陷，如少孔、缺边、开裂、污渍等进行识别，再辅以深度学习检测确认是否为缺陷，最后通过激光三角量测法扫描得到冲压件表面三维图像，然后将合格产品放入码垛站进行码垛，实现无人化智能生产的过程。

Description

一种无人智能化冲压缺陷识别方法

技术领域

本发明涉及图像处理领域，具体涉及一种无人智能化冲压缺陷识别方法。

背景技术

自从我国工业化建设发展以来，我国的工业发展十分迅速，给国民经济发展提供了巨大的动力，在我国的工业领域，机械制造加工行业的发展极为迅速，也对我国经济社会的发展产生了巨大的影响，而且随着科技的进步，机械设备加工制造技术也逐渐进步，以冲压模具制造技术为代表的机械加工制造技术，切实促进了我国的经济社会发展。随着时代的发展，以及对加工技术要求的提高，冲压模具制造技术愈来愈需要制造技术向无人化、快速化、智能化发展。而当前在制造业冲压领域当中，大量的现如今仍采用传统人工上料，人工检验产品是否合格，人工码垛运输产品。这样的加工方式不但对操作人员有一定的危险性，而且效率比较低下，只是完成了初步的流水线生产。为了解决这种问题以及满足未来发展的需求，本发明提供了一种无人智能化冲压生产线的模式。

发明内容

基于背景技术所存在的问题，本发明的目的是为了解决当前困境并提供一种未来制造业冲压领域的智能化发展方向。

为了达到上述目的，本发明提供了一种无人智能化冲压缺陷识别方法，包括以下步骤：

步骤1.样本图像采集与初筛选，首先通过合适的光照系统来排除外界因素影响，然后通过线阵相机采集得到冲压件板材的图像，先对冲压件板材的图像进行增强来提高目标与背景间的对比度，再通过阈值化将获得的图像二值化，随后通过滤波处理来减少和去除噪声点，提取滤波后的图像的闭合轮廓图像，通过轮廓分离法将闭合轮廓图像分离成边缘轮廓曲线，去除边缘轮廓曲线上的凸起，去除边缘轮廓曲线上的干扰小轮廓，提取边缘轮廓曲线的连续部分，然后将特征相似的边缘轮廓曲线进行合并，再然后用最小二乘法对合并后的边缘轮廓曲线进行圆拟合得到拟合圆，结合拟合圆的信息提取出冲压件的整体直径、整体面积，若整体直径低于标准直径阈值，或整体面积低于标准面积阈值，则判断冲压件缺边；

再以拟合圆内的像素点为对象，利用基于灰度直方图的自适应阈值分割法进行分割，再获取分割后图像的连通域轮廓图像，基于连通域轮廓的几何特性进行初筛选，确立圆孔的候选集，对圆孔的候选集的边缘点分别进行圆拟合，结合拟合圆孔的信息提取出冲压孔的数量、冲压孔圆心位置、冲压孔间距，冲压孔直径，若冲压孔的数量不等于标准值，或冲压孔圆心位置不处于标准区域内，或冲压孔间距大于或小于阈值，或冲压孔直径大于或小于阈值，则判断冲压件的不满足要求，存在少孔、漏加工等易于判断的缺陷；

对应无缺边、少孔、漏加工的图像采用opencv与c++工具，对进行圆孔拟合后获得的冲压件非圆孔区域的二值图，采取八连通域规则分割成像素值不同的若干连通区域块，计算各连通区域的像素值，再通过各连通区域与临近区域平均像素值比较，选出像素值之差大于设定阈值连通区域的做为疑似缺陷区域，再以疑似缺陷区域的缺陷区域为中心，切割为416×416的图片，而未选出的疑似缺陷区域的冲压件判断为合格产品；

步骤2.样本缺陷精检测，选取具有裂纹、或铁锈、或油污的疑似缺陷区域图像，对疑似缺陷区域图像进行标记得到缺陷类别和包含缺陷的真实框，制作小图训练集，大小为416×416，选用步骤1中的待进行缺陷检测的图像作为测试集，基于yolov3建立冲压件检测网络模型，按等比例选取包含裂纹、铁锈、油污每类缺陷的图像存入训练集，选取数量为训练集图像的5％的包含裂纹、铁锈、油污每类缺陷的图像等比例存入测试集，利用loss损失函数基于真实框进行损失值计算，得到预测误差，利用预测误差进行反向传播，得到当前网络权重参数：利用当前网络权重参数更新检测网络模型的网络权重参数，然后利用训练集进行多次网络权重计算与更新，得到最优网络权重参数；通过测试集中的图片对训练好的网络结构进行测试，待准确率达到阈值，若未达到则调整训练集中的各个类别的样本比例并重新进行多次网络权重计算与更新，直至准确率达到阈值；利用测试后准确率大于阈值的检测网络模型给步骤1中判定存在疑似缺陷区域的冲压件的分割后的图像进行检测和标记；

步骤3.样本冲压孔高度检测，对于步骤2检测后无缺陷的冲压件表面特征高度进行检测，将冲压孔深度不足冲压件判断为不合格产品并返工。

进一步地，步骤3包括步骤：线阵相机与线阵激光器的组合构成激光三角测量系统，线阵相机与线阵激光器连线为基准线，基准线长度为S，由线阵激光器向冲压件圆孔表面投射激光光条，线阵相机接收冲压件圆孔表面反射出变形的激光条纹图像，通过激光条纹图像中条纹线与图像中心的间距x₂，按公式

计算被激光光条扫描的冲压件表面与基准线的间距q，获得冲压件圆孔表面的三维轮廓，将冲压孔深度不足冲压件判断为不合格产品返工，其中f为线阵相机摄像头焦距，线阵激光器与基准线的夹角为β。

基于本发明的冲压缺陷识别方法的冲压件生产线在逻辑上包含上料系统、机器人抓取系统、打标系统、加工及模具系统、检测系统、码垛系统。其中上料系统主要包括一台板料分离机；机器人抓取系统包含1台激光打标器、3台机器手、3套夹具以及机器人底座组成；加工及模具系统包含由2台压力机、4套模具和空压机组成；检测系统包含电脑、多个显示器、CCD线阵相机、PLC控制系统、鼠标以及围栏等安全设备组成；码垛系统包含1台码垛机与AGV小车进行运输。检测系统中包含一套完整的检测程序，可以对工件得外形尺寸、表面缺陷进行检测。

本生产线首先由AGV小车将物料(一叠板料)送至板料分离器，随后板料分离器对板料进行磁力分张与自动顶升，随后机器手运输板料位于激光打标器给工件添加定位信息与产品信息功能，然后由压力机对工件进行加工，此过程中全由机器臂进行上料与下料，最后放于CCD视觉系统上进行检测。CCD视觉检测系统首先对工件进行拍照处理，获取工件的图像，随后由基于C++与opencv所开发的检测程序进行图像的处理，最后输出给控制系统检测工件是否合格的信号，然后将合格产品放入码垛站进行码垛，最后由AGV小车将合格的一批产品进行运输至储存区。实现无人化智能生产的过程。

本发明专利改变了传统上冲压生产线需要人工上下料、人工检测、人工码垛的流程。不但降低了操作人员的危险性，更是大大提升了效率。更是响应了当今社会智能化发展的思想。本发明的检测方法大幅缩短的具有缺陷的冲压件的检测时间，并大幅减少了待使用深度学习目标检测法进行表面缺陷检测，和待使用激光三角量测法进表面三维轮廓缺陷检测的数量，提高了冲压件陷识别的速度，还排除了不同缺陷类型在不同检测步骤中的干扰因素，大幅提高自动化和生产效率。

附图说明

图1为本发明的无人智能化冲压生产线的主要构成图解说明；

图2为本发明的无人智能化冲压生产线中CCD检测系统的结构设计图；

图3为本发明的无人智能化冲压生产线中检测产品；

图4为本发明的无人智能化冲压生产线中检测结果图；

图5为本发明的无人智能化冲压生产线中检测高度系统原理图。

具体实施方案

为了更好的了解本发明的目的、结构及其功能，兹配合详细图纸描述如下：

如图1所示，本发明的工作流程，无人智能化冲压生产线上料部分由AGV小车5与板料分离器6组成，由AGV小车将原板料运输到板料分离器上进行板料的分离与上料，再由激光打标器7对板料进行打二维码与激光标记点，随后六轴机器臂8把板料从激光打标器处拾取并放入伺服压力机9中进行第一次加工，然后六轴机器人10把半成品工件从伺服压力机9上拾取并放在另一台伺服压力机9上进行第二次加工，随后由六轴机器臂8从伺服压力机9上拾取半成品工件并放在CCD检测系统11上进行第一次检测，检测完以后六轴机器臂8拾取半成品工件放入码垛站12，再由AGV小车5运回板料分离器6处。同时2台伺服压力机进行快速更换模具，工件再经过一次以上流程完成4道单工序冲压，最后经过CCD检测系统对工件进行第二次检测，合格品进行码垛放在码垛站，不合格品放入废料箱。

如图2所示，图2为发明所提出的无人智能化冲压生产线CCD检测系统的结构设计图。

所示图显示了CCD视觉检测系统的构造详情，本系统是基于激光三角测量技术构成的双目立体检测系统，主要由照明单元1、视觉采集单元(线阵相机2、线阵激光器3、控制单元)和处理单元、测量支架以及操作软件等几部分组成。其中照明单元采用条形光源作为系统的照明单元，光源安装在测量设备两侧并调整光源的照明角度，通过嵌入式控制板与光源控制器之间的全双工通讯来控制光源的照明次序和强度，使测量区的光照满足测量要求。处理单元主要对冲压件4轮廓直径、孔径、孔距等主要特征进行识别与测量；对冲压件表面常见质量缺陷，如少孔、缺边、开裂、污渍等进行识别，再辅以深度学习检测确认是否为缺陷。

步骤一：样本图像采集与初筛选

首先通过合适的光照系统来排除外界因素影响，获得一个稳定的图像采集环境，然后通过CCD线阵相机采集得到大小为3070×2048的冲压件板材的图像，冲压件板材的图像通过GigE Vision通信协议以千兆网传输至计算机处理；计算机先对冲压件板材的图像进行增强来提高目标与背景间的对比度，再通过阈值化将获得的图像二值化，随后通过滤波处理来减少和去除噪声点，提取滤波后的图像的闭合轮廓图像，通过轮廓分离法将闭合轮廓图像分离成边缘轮廓曲线，去除边缘轮廓曲线上的凸起，去除边缘轮廓曲线上的干扰小轮廓，提取边缘轮廓曲线的连续部分，然后将特征相似的边缘轮廓曲线进行合并，再然后用最小二乘法对合并后的边缘轮廓曲线进行圆拟合得到拟合圆，结合拟合圆的信息提取出冲压件的整体直径、整体面积，若整体直径低于标准直径阈值，或整体面积低于标准面积阈值，则判断冲压件缺边；

再以拟合圆内的像素点为对象，利用基于灰度直方图的自适应阈值分割法进行分割，再获取分割后图像的连通域轮廓图像，基于连通域轮廓的几何特性进行初筛选，确立圆孔的候选集，对圆孔的候选集的边缘点分别进行圆拟合，结合拟合圆孔的信息提取出冲压孔的数量、冲压孔圆心位置、冲压孔间距，冲压孔直径，若冲压孔的数量不等于标准值，或冲压孔圆心位置不处于标准区域内，或冲压孔间距大于或小于阈值，或冲压孔直径大于或小于阈值，则判断冲压件的不满足要求，存在少孔、漏加工等易于判断的缺陷。

对应无缺边、少孔、漏加工的图像采用opencv与c++工具，对进行圆孔拟合后获得的冲压件非圆孔区域的二值图，采取八连通域规则，当某个像素与周围八连通的任个像素的像素值相同时将像素值相同的像素点归为一个整体，并将该整体分割出来，按照以上八连通规则分割成块，计算各连通区域的像素值，再通过各连通区域与临近区域平均像素值比较选出像素值之差大于阈值24的连通区域的做为疑似缺陷区域，再以疑似缺陷区域的缺陷区域为中心，切割为416×416的图片，进一步对其进行后续更高精度的缺陷检测，而未选出的疑似缺陷区域的冲压件判断为合格产品，不再进一步检测。之所以切割后图片的大小为416×416是因为yolo_v3有5次下采样，每次采样步长为2，所以网络的最大步幅(步幅指层的输入大小除以输出)为2⁵＝32，yolo_v3模型下采样的总步长为32，采用416*416大小的图片是32的整数倍数，最终得到的特征图大小为13*13，维度是奇数，这样特征图恰好只有一个中心位置，在检测网络模型中检测时是能对目标中心位置判断更准确。

步骤二：样本缺陷精检测

选取具有裂纹、或铁锈、或油污的疑似缺陷区域图像，对疑似缺陷区域图像进行标记得到缺陷类别和包含缺陷的真实框，制作小图训练集，大小为416×416，选用步骤一中大小为3070×2048的待进行缺陷检测的图像作为测试集，基于yolov3建立冲压件检测网络模型，采取以Darknet 53为主干特征网络的yolov3作为框架模型。本例中选取了包含裂纹、铁锈、油污每类缺陷的各1000张，总共3000张图像存入训练集，并分类编号和应用图像标准软件标记缺陷类别和缺陷区域，还选取了数量为训练集图像的5％的包含裂纹、铁锈、油污每类缺陷的图像等比例存入测试集，检测网络模型基于yolov3框架，该网络包含53个卷积层，且该框架由卷积操作和上采样操作组成。其中，多个卷积操作采用了残差网络结构，该结构由两路数据(一路是两个卷积层级联的数据和一路原始数据)相加求和构成，每一个卷积层之后都做批量规范化(Batch Normalization)和激活(Leaky ReLU)操作。

利用loss损失函数基于真实框进行损失值计算，得到预测误差，利用预测误差进行反向传播，得到当前网络权重参数：

利用当前网络权重参数更新检测网络模型的网络权重参数，然后利用训练集进行多次网络权重计算与更新，得到最优网络权重参数，即得到训练好的的检测网络模型；

通过测试集中的100图片对训练好的网络结构进行测试，准确率高达98％。同时可以调整训练集中的各个类别的样本比例，可以更好的满足某一种或两种缺陷特征过多的情况。

利用测试后准确率大于98％的检测网络模型给步骤一中判定存在疑似缺陷区域的冲压件的分割后的图像进行检测和标记，如图4为工件检测结果图中黄色标识缺陷处，绿色表示特征轮廓。

步骤三：样本冲压孔高度检测

对于步骤2检测后无缺陷的冲压件表面特征高度进行检测，本发明通过线阵相机与线阵激光器的组合，构成两组以上激光三角测量系统。如图5中，线阵激光器向冲压件圆孔表面投射激光光条，线阵激光器、待测物体、线阵相机成三角关系，以线阵相机与线阵激光器连线为基准线，其长度为S，线阵相机接收冲压件圆孔表面反射出变形的激光条纹图像，通过激光条纹图像显示出的偏移与物体表面高度的变换关系实现冲压件圆孔表面的三维轮廓的高度测量和重建，当待测物体相对线阵激光器投出的激光光条运动后完成对待测物体表面的三维轮廓扫描。

线阵激光器与线阵相机在同一水平线(称为基准线)上，其距离为s，线阵相机摄像头焦距为f，线阵激光器与基准线的夹角为β，由公式可知基准线与激光投影光条的距离

其中

其中position是成像的光条像素相对于成像中心的距离，通过标定板对激光进行标定，获得激光在空间中的位置，同时使空间信息按照标定的基准统一，使当激光打在工件上的时候，即可根据标定的空间位置获得工件的高度差。

经过标定板进行标定，然后再经过解算，获得高精度高度坐标，最后计算得出冲压件表面实际高度尺寸，将冲压孔深度不足冲压件判断为不合格产品返工。

此检测优点在于，如果仅仅采用深度学习的目标识别方法，虽然识别率很高，但是速度却不尽人意；如果采取传统的识别方法，虽然速度快，但是达不到识别准确率要求。本设计方案改变了yolo中需要对获取的3070×2048大小的原始图片进行整张逐步检测的方式，改进后只需对初步筛选的切割为416×416大小的疑似缺陷图片进行判断。大大减少了数据量的计算，提升了检测速度。测试表明，对1000张含有缺陷的3070×2048大小的图片，采取传统图像方法测量平面关键尺寸与深度学习目标检测缺陷的手段花费798s。而采取传统图像方法测量平面关键尺寸与预检测表面缺陷，再将缺陷图片裁为416×416大小输入深度学习目标检测网络中得到结果花费416s。这样大大提升了检测效率。同时本申请中进行初步筛选去除了大量存在明显缺陷的样本图像，被去除的图像不再重复进行深度学习目标检测，减少了检测图像的数量，同时切割后的图像是以缺陷区域为中心切割的小尺寸图像，得到的图像特征单一，没有大尺寸图像中圆孔能干扰像素特征。

其中控制单元采用嵌入式控制方式对照明光源和线结构光源进行有序的逻辑控制，测量系统根据检测流程，生成不同的逻辑控制指令，控制单元基于对指令的解析来完成光源亮度的调整，有效避免采集图像中出现过曝或过暗的情况，避免线结构光源对视觉采集影像造成干扰。最后通过操作系统反馈和输出测试结果完成检测功能。

以上所述，均为较佳的具体实施方案，但本发明的保护范围并不仅限于此。对本领域普通技术人员来说，根据本发明的技术方案和构思加以等同替换，均应属于本发明所附权利要求的保护范围。

Claims (1)

1.一种无人智能化冲压缺陷识别方法，其特征在于，包括以下步骤：

步骤1. 样本图像采集与初筛选，首先通过合适的光照系统来排除外界因素影响，然后通过线阵相机采集得到冲压件板材的图像，先对冲压件板材的图像进行增强来提高目标与背景间的对比度，再通过阈值化将获得的图像二值化，随后通过滤波处理来减少和去除噪声点，提取滤波后的图像的闭合轮廓图像，通过轮廓分离法将闭合轮廓图像分离成边缘轮廓曲线，去除边缘轮廓曲线上的凸起，去除边缘轮廓曲线上的干扰小轮廓，提取边缘轮廓曲线的连续部分，然后将特征相似的边缘轮廓曲线进行合并，再然后用最小二乘法对合并后的边缘轮廓曲线进行圆拟合得到拟合圆，结合拟合圆的信息提取出冲压件的整体直径、整体面积，若整体直径低于标准直径阈值，或整体面积低于标准面积阈值，则判断冲压件缺边；

再以拟合圆内的像素点为对象，利用基于灰度直方图的自适应阈值分割法进行分割，再获取分割后图像的连通域轮廓图像，基于连通域轮廓的几何特性进行初筛选，确立圆孔的候选集，对圆孔的候选集的边缘点分别进行圆拟合，结合拟合圆孔的信息提取出冲压孔的数量、冲压孔圆心位置、冲压孔间距，冲压孔直径，若冲压孔的数量不等于标准值，或冲压孔圆心位置不处于标准区域内，或冲压孔间距大于或小于阈值，或冲压孔直径大于或小于阈值，则判断冲压件的不满足要求，存在易于判断的缺陷：少孔、漏加工；

对应无缺边、少孔、漏加工的图像采用opencv与c++工具，对进行圆孔拟合后获得的冲压件非圆孔区域的二值图，采取八连通域规则分割成像素值不同的若干连通区域块，计算各连通区域的像素值，再通过各连通区域与临近区域平均像素值比较，选出像素值之差大于设定阈值连通区域的作为 疑似缺陷区域，再以疑似缺陷区域的缺陷区域为中心，切割为416×416的图片，而未选出的疑似缺陷区域的冲压件判断为合格产品；

步骤2.样本缺陷精检测，选取具有裂纹、或铁锈、或油污的疑似缺陷区域图像，对疑似缺陷区域图像进行标记得到缺陷类别和包含缺陷的真实框，制作小图训练集，大小为416×416，选用步骤1中的冲压件板材的图像作为测试集，基于yolov3建立冲压件检测网络模型，按等比例选取包含裂纹、铁锈、油污每类缺陷的图像存入训练集，选取数量为训练集图像的5%的包含裂纹、铁锈、油污每类缺陷的图像等比例存入测试集，利用loss损失函数基于真实框进行损失值计算，得到预测误差，利用预测误差进行反向传播，得到当前网络权重参数：利用当前网络权重参数更新检测网络模型的网络权重参数，然后利用训练集进行多次网络权重计算与更新，得到最优网络权重参数；通过测试集中的图片对训练好的网络结构进行测试，待准确率达到阈值，若未达到则调整训练集中的各个类别的样本比例并重新进行多次网络权重计算与更新，直至准确率达到阈值；利用测试后准确率大于阈值的检测网络模型给步骤1中判定存在疑似缺陷区域的冲压件的分割后的图像进行检测和标记；

步骤3.样本冲压孔高度检测，对于步骤2检测后无缺陷的冲压件表面特征高度进行检测，将冲压孔深度不足冲压件判断为不合格产品并返工；

步骤3包括步骤：线阵相机与线阵激光器的组合构成激光三角测量系统，使线阵激光器、待测物体、线阵相机成三角关系，线阵相机与线阵激光器连线为基准线，基准线长度为S，由线阵激光器向冲压件圆孔表面投射激光光条，线阵相机接收冲压件圆孔表面反射出变形的激光条纹图像，通过激光条纹图像中条纹线与图像中心的间距

，按公式

计算被激光光条扫描的冲压件表面与基准线的间距q，获得与激光光条等高的冲压件表面高度，获得冲压件圆孔表面的三维轮廓，将冲压孔深度不足冲压件判断为不合格产品返工，其中f为线阵相机摄像头焦距，线阵激光器与基准线的夹角为β。

Images