CN110186375A - 智能化高铁白车身焊接装配特征检测装置及检测方法 - Google Patents

Abstract

一种智能化高铁白车身焊接装配特征检测装置及检测方法，在训练阶段，使用大量自动截取的特征图片作为数据集训练卷积神经网络。具体地，采用二值化进行图像处理，在此基础上再使用sobel、腐蚀、霍夫线段检测实现精确定位，选择基于迁移学习的预训练模型VGG16，在模型最后3层加上可训练的全连接层得到图像向任务目标的映射机制；在检测阶段，对输入图片预处理操作，定位特征区域，将该区域输入已经训练好的网络中，得到特征分类结果，如果分类结果为型材拼接不匹配类，检测系统发出警报。本发明将供系统图像算法与深度学习算法结合起来，而具有数据处理量较小、抗干扰能力强、检测准确性高等特点。

Description

智能化高铁白车身焊接装配特征检测装置及检测方法

技术领域

本发明涉及焊接拼装类机械构架的装配质量检测技术领域，特别是高铁白车身的装配质量的检测系统及其检测方法。

背景技术

高铁是中国制造的一张黄金名片，代表整个国家的制造水平和科技实力，是一种国际影响力和国际地位的综合体现。白车身是高铁整车上最重要的大型复杂结构件，是高铁列车之“骨”，由百余种、甚至数百种薄板冲压件经过焊接、铆接等而成，为先进轨道交通装备“重点产品”技术路线中的重要一环，其制造性能、可靠性直接影响着高铁列车的发展。随着列车车辆日益增加的需求，实行高铁白车身的智能化制造，对于提高制造速度与精度、减轻劳动强度有着重要意义。

焊接工艺在高铁智能化制造中占有95％的加工量，然而人工比重大、作业环境恶劣、效率低是当前高铁白车身制造面临的瓶颈，提升高铁白车身焊接拼装技术的智能化与自动化可以显著提高制造效率。目前，中国中车集团各个子公司在列车白车身加工制造过程中，白车身侧墙板典型构件在焊接前，需判断两块型材是否匹配，焊接不匹配的型材将对整个焊接过程造甚至是整条生产线造成重大的影响。目前型材焊接前的检查依赖人工检查，该方式具有耗时、效率低、人力成本高等特点，为了实现高铁白车身焊接拼装技术的智能化与自动化，对侧墙、枕梁典型构件自动且准确完成焊接前的识别是自动化生产关键的一步。

中国专利文献公开的发明专利《用于白车身尺寸检测的摆动式测量头机器人在线测量系统》(CN201310560319.5)：该发明属于光学测量、机械工程和车辆工程技术领域，用于白车身尺寸检测的摆动式测量头机器人在线测量系统。系统包括两个摆动式测量头、两台六轴机器人、两个机器人控制柜和一个系统控制柜。发明基于线激光扫描三维视觉测量技术，两台机器人各自携带摆动式测量头运动到指定测量位置，线激光投射器向白车身装配特征投射线激光，单轴转台带动线激光投射器和单目摄像机摆动，实现扫描。单目摄像机采集到一组光刀图像后，通过光刀点云提取、三角测量原理、点云整合和装配特征参数计算，实现对白车身装配特征的在线测量。发明测量时摆动式测量头位姿自由、受环境光照影响小、无机器人扫描误差、稳定性高，为白车身尺寸检测提供了实时可靠的测量数据。

测量系统如图1所示。图1中，第一、第二机器人控制柜11、21；第一、第二六轴机器人12、22；第一、第二测量基座13、23；第一、第二摆动式测量头121、221；系统控制柜33；白车身空位工装基座44。

上述现有技术存在以下缺点：

1、该测量系统采用线激光扫描三维视觉测量技术，能对白车身上圆孔、螺纹孔、复合孔槽、修边及折边等复杂装配特征进行在线的非接触式测量，检测系统成本高，且面向的为较复杂的白车身对象，而高铁白车身装配特征为较简单特征，采用相机即可获取用来识别的图像。

2、作为一种线激光扫描测量技术，获得点云数据量大，计算复杂，检测时间长。

发明内容

本发明的目的是针对现有技术存在的问题而提供一种将传统图像算法与深度学习算法相结合起来而具有数据处理量较小，检测准确性高的智能化高铁白车身焊接装配特征检测装置。

本发明的目的是这样实现的：一种智能化高铁白车身焊接装配特征检测装置，图像采集设备的工业相机与置于工装台上的待检测白车身型材位于同一水平面，图像处理设备接收图像采集设备输出的图像信号并对该信号进行处理

本发明的另一目的是提供上述装置的检测方法。

本发明的另一目的是这样实现的：一种采用上述述系统的智能化高铁白车身转配特征检测方法，所述检测方法分为两个阶段：训练阶段和检测阶段：

训练阶段：

A)图像预处理

图像采集设备获取型材图片，图片传输到图像处理设备中，图像处理设备运行检测算法识别图片中型材的特征类别；在检测算法中，由于获取图片为3264*2448，为了减小计算量、加快算法运行速度，将图片的尺寸缩小到800*800，然后为减少无关区域的干扰，对图片进行二值化，即图片中像素点像素值大于某个阈值，就将该点像素值置为255，否则置为0，经过大量图像的统计规律，将该阈值定为40；

B)、特征区域提取

在上述处理的基础上，由于型材区域为图片中的局部小区域，根据区域面积这一标准过滤小区域的连通区域，保留型材区域并根据区域坐标截取图片；经初步定位特征区域并截取区域的图片，采用sobel算子锐化竖直线段：算子的滤波器y方向滤波器，形状为5*5，该滤波器锐化竖直线段，然后腐蚀竖线外的其他线段：采用形状为10*50的掩模腐蚀去除非竖直线段；图片经过上述的处理后，图片为二值图且只保留竖直线段，下一步采用线段检测算法检测线段；检测线段算法采用霍夫变换检测线段，该检测算法返回图片线段两端的坐标值，通过该坐标来定位用以分类的特征区域并截取该区域，即完成精确定位特征区域并截取处理步骤；

C)、训练模型

使用大量图片，通过上述A步B步处理截取到大量的图片，对每一张截取照片人工打上标签，标签分别为1，2，3，1、2、3代表型材的拼接状态分别为中字型、二字型、口字型拼接；模型采用卷积神经网络并选择基于迁移学习的预训练模型vgg16，该模型已在imagenet数据集上训练了一定轮数，从而有一定的特征提取能力，冻结VGG16的卷积基，添加3层神经元个数分别为512、64、3的全连接层扩展已有模型，训练用于该分类任务的全连接参数；将大量图片制作而成的数据集分为训练集、验证集，训练集优化模型，验证集评价模型的性能，当模型在验证集的测试率小于99％时，返回A步骤再次进行处理，当模型在验证集的测试率达到99％时，停止模型的训练并保存该模型；

测试阶段：

测试阶段中截取特征区域的处理步骤与训练阶段中从A步图像预处理直至精确定位特征区域并截取的整个处理步骤是一样的，在测试阶段中当算法进行到精确定位特征区域并截取到特征区域后，调用上述训练阶段保存的模型，输入截取图片，预测类别且在处理识别中输出类别，因为1，2类为错误拼接方式，如预测类别为这两类的其中一类，检测系统将发出报警提示工作人员，否则检测系统将等待下一次的型材检测。

与现有技术相比，本发明的有益效果是：

1、检测装置实现对白车身型材图像实时抓取，实时检测，提高了检测效率。

2、全新提出了在高铁白车身流水线上采用相机和图像处理设备检测高铁白车身的装配特征，检测算法结合传统图像算法和深度学习算法，将传统图像算法的快速性和深度学习算法的泛化性结合起来，使得检测算法有非常高的准确性。该算法采用了卷积神经网络，使得整个算法的鲁棒性和普适性更加强大。该算法采用迁移学习能在样本不足情况下快速、准确得到满足检测要求的模型。

3、检测算法采用迁移学习方式训练模型，使得本算法在样本量有限的条件下能够训练出符合检测要求的模型。

附图说明

图1是现有摆动式测量头机器人在线测量系统俯视示意图。

图2是本发明智能化高铁白车身装配质量检测装置示意图。

图3是图2所示工装台部分的放大图。

图3a、图3b、图3c分别是所示中字型拼接，二字型拼接和口字型拼接等三种装配特征的放大示意图。

图4是系统检测流程图。

具体实施方式

参见图2、图3，一种智能化高铁白车身焊接装配特征检测装置，图像采集设备1的工业相机与置于工装台4上的待检测白车身型材3位于同一水平面，图像处理设备2接收图像采集设备1输出的图像信号并对该信号进行处理。图2中，图像处理设备2安装在设备台5上。图3中待装配特征6具体指图3a、图3b、图3c所示三种装配特征。

智能化高铁白车身装配特征检测装置如图2所示，该装置由工业相机和图像处理设备组成。工业相机和白车身型材位于同一水平面，当型材被机械臂抓取放置在工装台时，相机抓拍型材图像后，抓拍的图像传输到图像处理设备中进行处理，为解决高铁白车身智能焊接装配特征快速识别中焊接特征区域小、背景干扰多，准确率要求高等问题，本发明提出了一种基于传统图像处理、迁移学习、卷积神经网络的焊接装配特征快速识别算法将装配特征分类。

白车身型材装配特征可分为3类，分别为中字型、二字型、口字型拼接，分别如图3a、图3b、图3c所示。

智能化高铁白车身装配特征检测算法运行流程如图4所示，从图4可以看出，测量方法分为两个阶段:训练阶段和检测阶段。在训练阶段，使用大量自动截取的特征图片作为数据集训练卷积神经网络。检测时，对输入图片预处理操作，定位特征区域，将该区域输入已经训练好的网络中，得到特征分类结果，并显示分类结果，如果分类结果为型材拼接不匹配类，检测系统发出警报。

算法采用二值化等传统图像处理的初步定位算法，在此基础上再使用sobel、腐蚀、霍夫线段检测实现精确定位；不同环境下，精确定位后特征区域表现不同，为增强预测模型的鲁棒性和准确性，采用了基于卷积神经网络的分类模型，为解决样本量不足以训练整个模型参数的问题，选择基于迁移学习的预训练模型VGG16快速、准确训练模型，在模型最后3层加上可训练的全连接层得到图像向任务目标的映射机制。

参见图4，一种采用上述系统的智能化高铁白车身转配特征检测方法，所述检测方法分为两个阶段：训练阶段和检测阶段：

训练阶段：

A)图像预处理

图像采集设备获取型材图片，图片传输到图像处理设备中，图像处理设备运行检测算法识别图片中型材的特征类别；在检测算法中，由于获取图片为3264*2448，为了减小计算量、加快算法运行速度，将图片的尺寸缩小到800*800，然后为减少无关区域的干扰，对图片进行二值化，即图片中像素点像素值大于某个阈值，就将该点像素值置为255，否则置为0，经过大量图像的统计规律，将该阈值定为40；

B)、特征区域提取

在上述处理的基础上，由于型材区域为图片中的局部小区域，根据区域面积这一标准过滤小区域的连通区域，保留型材区域并根据区域坐标截取图片；经初步定位特征区域并截取区域的图片，采用sobel算子锐化竖直线段：算子的滤波器y方向滤波器，形状为5*5，该滤波器锐化竖直线段，然后腐蚀竖线外的其他线段：采用形状为10*50的掩模腐蚀去除非竖直线段；图片经过上述的处理后，图片为二值图且只保留竖直线段，下一步采用线段检测算法检测线段；检测线段算法采用霍夫变换检测线段，该检测算法返回图片线段两端的坐标值，通过该坐标来定位用以分类的特征区域并截取该区域，即完成精确定位特征区域并截取处理步骤；

C)、训练模型

使用大量图片，通过上述A步B步处理截取到大量的图片，对每一张截取照片人工打上标签，标签分别为1，2，3，1、2、3代表型材的拼接状态分别为中字型、二字型、口字型拼接；模型采用卷积神经网络并选择基于迁移学习的，预训练模型vgg16，该模型已在imagenet数据集上训练了一定轮数，从而有一定的特征提取能力，冻结VGG16的卷积基，添加3层神经元个数分别为512、64、3的全连接层扩展已有模型，训练用于该分类任务的全连接参数；将大量图片制作而成的数据集分为训练集、验证集，训练集优化模型，验证集评价模型的性能，当模型在验证集的测试率小于99％时，返回A步骤再次进行处理，当模型在验证集的测试率达到99％时，停止模型的训练并保存该模型；

测试阶段：

测试阶段中截取特征区域的处理步骤与训练阶段中从A步图像预处理直至精确定位特征区域并截取的整个处理步骤是一样的，在测试阶段中当算法进行到精确定位特征区域并截取到特征区域后，调用上述训练阶段保存的模型，输入截取图片，预测类别且在处理识别中输出类别，因为1，2类为错误拼接方式，如预测类别为这两类的其中一类，检测系统将发出报警提示工作人员，否则检测系统将等待下一次的型材检测。

图4示出，测试阶段与训练阶段二者的A步图像预处理以及B步特征区域提取完全相同(测试阶段的“获取图片”是指待检测白车车身型材的图片)。

Claims (2)

1.一种智能化高铁白车身焊接装配特征检测装置，其特征在于，图像采集设备(1)的工业相机与置于工装台(4)上的待检测白车身型材(3)位于同一水平面，图像处理设备(2)接收图像采集设备(1)输出的图像信号并对该信号进行处理。

2.一种采用如权利要求1所述系统的智能化高铁白车身转配特征检测方法，其特征在于，所述检测方法分为两个阶段：训练阶段和检测阶段：

训练阶段：

A)图像预处理

图像采集设备获取型材图片，图片传输到图像处理设备中，图像处理设备运行检测算法识别图片中型材的特征类别；在检测算法中，由于获取图片为3264*2448，为了减小计算量、加快算法运行速度，将图片的尺寸缩小到800*800，然后为减少无关区域的干扰，对图片进行二值化，即图片中像素点像素值大于某个阈值，就将该点像素值置为255，否则置为0，经过大量图像的统计规律，将该阈值定为40；

B)、特征区域提取

在上述处理的基础上，由于型材区域为图片中的局部小区域，根据区域面积这一标准过滤小区域的连通区域，保留型材区域并根据区域坐标截取图片；经初步定位特征区域并截取区域的图片，采用sobel算子锐化竖直线段：算子的滤波器y方向滤波器，形状为5*5，该滤波器锐化竖直线段，然后腐蚀竖线外的其他线段：采用形状为10*50的掩模腐蚀去除非竖直线段；图片经过上述的处理后，图片为二值图且只保留竖直线段，下一步采用线段检测算法检测线段；检测线段算法采用霍夫变换检测线段，该检测算法返回图片线段两端的坐标值，通过该坐标来定位用以分类的特征区域并截取该区域，即完成精确定位特征区域并截取处理步骤；

C)、训练模型

使用大量图片，通过上述A步B步处理截取到大量的图片，对每一张截取照片人工打上标签，标签分别为1，2，3，1、2、3代表型材的拼接状态分别为中字型、二字型、口字型拼接；模型采用卷积神经网络并选择基于迁移学习的预训练模型vgg16，该模型已在imagenet数据集上训练了一定轮数，从而有一定的特征提取能力，冻结VGG16的卷积基，添加3层神经元个数分别为512、64、3的全连接层扩展已有模型，训练用于该分类任务的全连接参数；将大量图片制作而成的数据集分为训练集、验证集，训练集优化模型，验证集评价模型的性能，当模型在验证集的测试率小于99％时，返回A步骤再次进行处理，当模型在验证集的测试率达到99％时，停止模型的训练并保存该模型；

测试阶段：

测试阶段中截取特征区域的处理步骤与训练阶段中从A步图像预处理直至精确定位特征区域并截取的整个处理步骤是一样的，在测试阶段中当算法进行到精确定位特征区域并截取到特征区域后，调用上述训练阶段保存的模型，输入截取图片，预测类别且在处理识别中输出类别，因为1，2类为错误拼接方式，如预测类别为这两类的其中一类，检测系统将发出报警提示工作人员，否则检测系统将等待下一次的型材检测。