CN107703146A - 一种汽车零配件视觉检测系统及方法 - Google Patents

Abstract

本发明涉及一种汽车零配件视觉检测系统及方法，具有检测汽车零配件上是否漏焊点、漏小零件、漏螺母和漏冲孔的功能。视觉检测系统包括测试支架、工业相机、工业计算机、光源系统和声光报警系统，其中测试支架包括外部防护支架、零件安放支架、相机安放支架、相机移动平台和零件安放夹具。外部防护支架保护内部工业相机，保证内部光照强度，防止外部干扰影响图像采集。本发明应用先进的机器学习技术，能够判断汽车零配件是否存在漏焊点、漏小零件、漏螺母、漏冲孔的不良情况，以界面和报警的形式展示检测结果。本发明检测准确率高，检测速度快，既可用于人工操作，也可与生产自动化设备进行通信联动，实现全自动化操作。

Description

一种汽车零配件视觉检测系统及方法

技术领域

本发明涉及一种汽车零配件视觉检测系统及方法，属于机器视觉技术领域。

背景技术

一辆汽车由上万个零件组成，其中包含了汽车零配件总成零件和塑料件，这两种在汽车中占比很大。汽车主机厂对其产品质量要求是很高的，对配送厂家的汽车零配件，要求关键部分合格率达到100％，其他汽车零配件基本上也都要达到99.99％，对于一级供应商，其要求为100ppm以内，其他二级三级供应商为200～400ppm。因此汽车零配件的合格与否直接影响到汽车主机厂的整车质量，其汽车零配件生产厂家必须花费大量的人力进行检测排查。从汽车市场来看，目前国内的中小企业主要是依靠人工检查，检查速度慢，人的眼睛容易疲劳，漏检率高，针对上述国内汽车行业的情况，研发汽车零配件视觉检测系统为解决客户的检测效率低、人员多、检测质量低等问题提供途径。

发明内容

本发明技术解决问题：克服现有技术的不足，提供一种识别准确率高、识别速度快的汽车零配件视觉检测系统，为汽车零配件的焊接质量提供有力的保障。

本发明提出的技术方案为：一种汽车零配件视觉检测系统，包括：外部防护支架、零件安放支架、相机安放支架、相机移动平台、零件安放夹具、工业相机、工业计算机和光源系统；在外部防护支架内部装有零件安放支架，零件安放夹具放在零件安放支架上，汽车零配件放在零件安放夹具上，并通过零件安放夹具固定汽车零配件位置，工业相机放在相机安放支架上，相机移动平台依托相机安放支架，便于根据现场待测汽车零配件的外部特征来调节工业相机的位置，光源系统为工业相机提供必要的光照强度，保证工业相机采集清晰的图像；首先，应用先进的机器学习技术，对汽车零配件上焊点、小零件、螺母、冲孔的特征进行训练学习，生成神经网络，其次，视觉检测系统启动后，放置好的汽车零配件触发PLC向工业计算机发出检测信号，此时工业计算机控制工业相机开始采集图像并传给工业计算机，工业计算机对图像进行预处理，并应用神经网络对预处理后的图像进行计算，根据计算结果自动分析汽车零配件是否有漏焊点、漏小零件、漏螺母、漏冲孔等不良情况，实现对汽车零配件上焊点、小零件、螺母、冲孔的自动识别检测及对识别目标进行精确定位，并将检测结果实时标记在图像上，对检测不合格的图像进行存储，对系统整体检测信息进行统计；如果汽车零配件为不良产品，则在工业计算机的界面上显示不良的情况，并触发声光报警系统进行警示。

所述外部防护支架：以铝型材作为骨架，钢板作为防护板拼接而成，保护内部工业相机，防止外部冲击影响相机检测，保证内部光照强度，降低外部光对视觉检测系统的影响。

所述零件安放支架：主体设计成有一定角度，起到支撑零件夹具的作用，同时方便操作人员进行操作。

所述相机安放支架：与其它部件独立，不受外部冲击和放置汽车零配件时引起相机安放支架振动的影响，同时保证相机的相对位置固定，以保证检测顺利进行。

所述相机移动平台：设计成具有2个移动副，1个旋转副的3自由度平台，以一个圆形定位销作为主定位，以一个跑道形定位销作为辅助定位，根据现场使用情况及汽车零配件的外部特征进行位置调整，扩大或缩小检测范围，保证产品具有较强的通用性。

所述零件安放夹具：放置在零件安放支架上，使用螺栓固定，以方便拆装，零件安放夹具保证每次汽车零配件放置的位置固定，提高检测的精度。

所述神经网络实现方法如下：

C1层是一个卷积层，由16个特征图构成，特征图中每个神经元与输入为3*3的邻域相连，特征图的大小为28*28；

S2层是一个最大池化层，有16个14*14的特征图，特征图中的每个单元与C1中相对应特征图的2*2邻域相连接；

C3层也是一个卷积层，它同样通过3*3的卷积核去卷积层S2，然后得到的特征图就大小为12*12，但是它有32种不同的卷积核，所以存在32个特征图；

S4层是一个最大池化层，由32个6*6大小的特征图构成，特征图中的每个单元与C3中相应特征图的2*2邻域相连接；

C5层是一个卷积层，由64个特征图构成，特征图中每个神经元与输入为3*3的邻域相连。特征图的大小为4*4；

S6层是一个最大池化层，有64个2*2的特征图，特征图中的每个单元与C5中相对应特征图的2*2邻域相连接，数目为64；

F7层是一个拉伸层，每个单元与S6层的全部64个单元的2*2邻域相连，把S6层拉伸为一个维度为256的特征向量，将向量作为下一层的输入；

D8层是一个全连接层，构成了与上层之间的全连接，维度为128，进行后续分类等操作；

D9层是输出层，含有1个单元，输出结果是一个1维0～1的值，代表检测的相似度。

一种汽车零配件视觉检测方法，实现的步骤如下：

步骤(1)工业计算机应用先进的视觉机器学习技术，对汽车零配件上焊点、小零件、螺母、冲孔的特征进行训练学习，并生成神经网络；

步骤(2)在外部防护支架内部装有零件安放支架，零件安放夹具放在零件安放支架上，汽车零配件放在零件安放夹具上，并通过零件安放夹具固定汽车零配件位置；

步骤(3)视觉检测系统启动后，触发PLC向工业计算机发出需要检测的信号，此时工业计算机控制工业相机开始采集图像，并传给工业计算机，工业计算机对采集到的图像进行图像预处理；

步骤(4)应用步骤(1)得到的神经网络对步骤(3)预处理后的图像进行计算，实现对汽车零配件上焊点、小零件、螺母、冲孔的自动识别检测及对识别目标进行精确定位，并将检测结果实时标记在图像上，对检测不合格的图像进行存储，对系统整体检测信息进行统计；

步骤(5)检测后的图像及检测结果显示在工业计算机界面中，如果汽车零配件为不良产品，则在工业计算机的界面上显示不良的情况，并触发声光报警系统进行警示。

本发明与现有技术相比的优点在于：

(1)目前对于汽车零配件的焊点、小零件、螺母、冲孔检测，还处于人工检查的状态，不仅效率低，而且人眼容易疲劳，检测的错误率也高，本发明具有视觉检测准确率高、检测速度快等特点，可广泛应用于汽车零配件焊点检测、轮毂检测、图像处理等领域，特别是能够自动检测汽车零配件的焊点、小零件、螺母、冲孔等质量要求高的部位是否符合汽车零配件的质量要求。

(2)另外，整体框架选择铝型材，相比于金属方管以焊接相连，具有容易运输，组装快速方便的优点；外部防护板，选择正方形钢板，保证了整体的防护能力，同时，每块防护板大小一致，可以方便大批量制造、运输；零件安放支架的设计具有一定倾斜度和高度，可以方便操作人员操作；相机安放支架与相机移动平台可以最大限度的保证相机的可调范围，可以适应多种汽车零配件的检测，同时保证了相机具有足够大的视野；零件安放夹具，以一个圆形定位销作为主定位，以一个跑道形定位销作为辅助定位，既保证定位，又保证了有一定的可调位移，同时在定位销下面安装2个导向装置，使得现场操作人员安放汽车零配件时有一定的安装基准。

(3)当汽车零配件的位置放好之后，本发明能够自动感应并触发相机采集图像，具有保存和查阅历史检测信息的功能，对开机时间、关机时间、检测数量、合格数量、不良品测试时间等信息进行统计记录，形成文档，方便追踪查询；存储检测不合格产品的图像，便于分析产生不合格品的原因；具有数据分析功能，根据生产数据分析生产过程中的不良操作，来指导生产技术的改进；且汽车零配件视觉检测系统既可用于人工操作，也可与生产自动化设备进行通信联动，实现全自动化操作。

附图说明

图1为本发明设计图；

图2为本发明图1中5的侧面放大图；

图3为本发明图1中部分放大图，其中相机移动平台可以调节工业相机的左右位置、高度和旋转角度，适合多角度、多方位采集图像；

图4为本发明检测流程图；

图5为神经网络模型图；

图6为通过汽车零配件视觉检测系统得到的检测结果。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明作进一步地详细描述。

如图1、2、3所示，本发明所述的汽车零配件视觉检测系统包括：外部防护支架1、零件安放支架2、相机安放支架3、相机移动平台4、零件安放夹具5、工业相机6、工业计算机7和光源系统8；外部防护支架1以铝型材作为骨架，钢板作为防护板拼接而成，主要功能为保护内部工业相机，防止外部冲击影响相机检测，保证内部光照强度，降低外部光对视觉检测系统的影响；零件安放支架2，起到支撑零件夹具的作用，主体设计成有一定角度和高度，方便操作人员进行操作；相机安放支架3用于安放相机，将其独立出来，不受外部冲击和放置汽车零配件时引起相机安放支架振动的影响，同时保证相机的相对位置固定，以保证检测顺利进行；相机移动平台4中为了保证检测范围，相机移动平台设计成具有2个移动副，1个旋转副的3自由度平台，以一个圆形定位销作为主定位，以一个跑道形定位销作为辅助定位，根据现场使用情况及汽车零配件的外部特征进行位置调整，保证产品具有较强的通用性；在外部防护支架1内部装有零件安放支架2，零件安放夹具5放置在零件安放支架2上，使用螺栓固定，以方便拆装，零件安放夹具保证每次汽车零配件放置的位置固定，提高检测的精度；工业相机6放在相机安放支架3上，相机移动平台4依托相机安放支架3，便于根据现场待测汽车零配件的外部特征来调节工业相机6的位置；光源系统8为工业相机6提供必要的光照强度，保证工业相机采集清晰的图像。

如图5所示，神经网络的模型如下：

C1层是一个卷积层，由16个特征图构成，特征图中每个神经元与输入为3*3的邻域相连，特征图的大小为28*28；

S2层是一个最大池化层，有16个14*14的特征图，特征图中的每个单元与C1中相对应特征图的2*2邻域相连接；

C3层也是一个卷积层，它同样通过3*3的卷积核去卷积层S2，然后得到的特征图就大小为12*12，但是它有32种不同的卷积核，所以存在32个特征图；

S4层是一个最大池化层，由32个6*6大小的特征图构成，特征图中的每个单元与C3中相应特征图的2*2邻域相连接；

C5层是一个卷积层，由64个特征图构成，特征图中每个神经元与输入为3*3的邻域相连。特征图的大小为4*4；

S6层是一个最大池化层，有64个2*2的特征图，特征图中的每个单元与C5中相对应特征图的2*2邻域相连接，数目为64；

F7层是一个拉伸层，每个单元与S6层的全部64个单元的2*2邻域相连，把S6层拉伸为一个维度为256的特征向量，将向量作为下一层的输入；

D8层是一个全连接层，构成了与上层之间的全连接，维度为128，进行后续分类等操作；

D9层是输出层，含有1个单元，输出结果是一个1维0～1的值，代表检测的相似度。

如图4所示，本发明一种汽车零配件视觉检测方法如下：

(1)工业计算机应用先进的机器学习技术，对汽车零配件上焊点、小零件、螺母、冲孔的特征进行训练学习，并生成神经网络。

(2)使用零件安放夹具固定汽车零配件的位置，当汽车零配件的位置放好之后，系统自动触发PLC向工业计算机发出检测信号；若零件安放支架上未放置汽车零配件，工业计算机界面显示“未放件”字样，提示放件检测。

(3)工业计算机接收到PLC的信号后，控制工业相机开始采集图像，并将采集到的图像传回工业计算机。

(4)工业计算机对工业相机采集的图像进行图像预处理，即先对相机采集到的图像进行Gamma校正，改善图像的光照条件，然后，对图像进行直方图均衡化，进而对图像进行同态滤波，去除部分背景干扰，获取利于视觉检测的高质量图像。

(5)应用步骤(1)得到的神经网络对步骤(4)预处理后的图像进行计算，该算法能够分析汽车零配件是否有漏焊点、漏小零件等不良情况，实现对汽车零配件上焊点、小零件、螺母、冲孔的自动识别检测，同时能够对识别目标进行精确定位。

(6)检测过程中工业计算机的程序界面最先显示“检测中......”字样，提示系统正在检测中，请等待结果，若汽车零配件检测结果合格，程序界面显示“合格”字样，同时通过“指示灯”提示检测结果合格，若汽车零配件为不良产品，检测结果显示“不合格”字样，将检测结果实时标记在图像上，并触发声光报警系统进行警示。

(7)汽车零配件视觉检测系统对整体检测信息进行统计，具有保存和查阅历史检测信息的功能，系统对开机时间、关机时间、检测数量、合格数量、不良品测试时间等信息进行统计记录，形成文档，方便追踪查询，根据生产数据分析产生不合格品的原因，进而可以用来指导生产技术的改进。

(8)汽车零配件视觉检测系统既可用于人工操作，也可与生产自动化设备进行通信联动，实现全自动化操作。

图6为通过汽车零配件视觉检测系统得到的检测结果；左侧显示汽车零配件的图像，中间方框显示检测结果为合格，若产品不合格，则会在左侧图像上自动标记出不合格的位置，并且在中间靠下的方框里显示不合格的详细信息，比如位置、数量等信息。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种汽车零配件视觉检测系统，其特征在于：包括外部防护支架、零件安放支架、相机安放支架、相机移动平台、零件安放夹具、工业相机、工业计算机和光源系统；在外部防护支架内部装有零件安放支架，零件安放夹具放在零件安放支架上，汽车零配件放在零件安放夹具上，并通过零件安放夹具固定汽车零配件位置，工业相机放在相机安放支架上，相机移动平台依托相机安放支架，便于根据现场待测汽车零配件的外部特征来调节工业相机的位置，光源系统为工业相机提供必要的光照强度，保证工业相机采集清晰的图像；首先，应用先进的机器学习技术，对汽车零配件上焊点、小零件、螺母、冲孔特征进行训练学习，生成神经网络，其次，视觉检测系统启动后，放置好的汽车零配件触发PLC向工业计算机发出需要检测的信号，此时工业计算机控制工业相机开始采集图像回传给工业计算机，工业计算机对图像进行预处理，应用神经网络对预处理后的图像进行计算，根据计算结果分析汽车零配件是否有漏焊点、漏小零件、漏螺母、漏冲孔的不良情况，实现对汽车零配件上焊点、小零件、螺母、冲孔的自动识别检测及对识别目标进行精确定位，并将检测结果实时标记在图像上，对检测不合格的图像进行存储，对系统整体检测信息进行统计；如果汽车零配件为不良产品，则在工业计算机的界面上显示不良的情况，并触发声光报警系统进行警示。

2.根据权利要求1所述的一种汽车零配件视觉检测系统，其特征在于：所述外部防护支架：以铝型材作为骨架，钢板作为防护板拼接而成，保护内部工业相机，防止外部冲击影响相机检测，保证内部光照强度，降低外部光对视觉检测系统的影响。

3.根据权利要求1所述的一种汽车零配件视觉检测系统，其特征在于：所述零件安放支架主体设计成有一定角度，起到支撑零件夹具的作用，同时方便操作人员进行操作。

4.根据权利要求1所述的一种汽车零配件视觉检测系统，其特征在于：所述相机安放支架与其它部件独立，不受外部冲击和放置汽车零配件时引起相机安放支架振动的影响，同时保证相机的相对位置固定，以保证检测顺利进行。

5.根据权利要求1所述的一种汽车零配件视觉检测系统，其特征在于：为了保证检测范围，所述相机移动平台设计成具有2个移动副，1个旋转副的3自由度平台，以一个圆形定位销作为主定位，以一个跑道形定位销作为辅助定位，根据现场使用情况及汽车零配件的外部特征进行位置调整，保证产品具有较强的通用性。

6.根据权利要求1所述的一种汽车零配件视觉检测系统，其特征在于：所述零件安放夹具放置在零件安放支架上，使用螺栓固定，以方便拆装，零件安放夹具保证每次汽车零配件放置的位置固定，提高检测的精度。

7.根据权利要求1所述的一种汽车零配件视觉检测系统，其特征在于：所述神经网络实现方法如下：

C1层是一个卷积层，由16个特征图构成，特征图中每个神经元与输入为3*3的邻域相连，特征图的大小为28*28；

S2层是一个最大池化层，有16个14*14的特征图，特征图中的每个单元与C1中相对应特征图的2*2邻域相连接；

C3层也是一个卷积层，它同样通过3*3的卷积核去卷积层S2，然后得到的特征图就大小为12*12，但是它有32种不同的卷积核，所以存在32个特征图；

S4层是一个最大池化层，由32个6*6大小的特征图构成，特征图中的每个单元与C3中相应特征图的2*2邻域相连接；

C5层是一个卷积层，由64个特征图构成，特征图中每个神经元与输入为3*3的邻域相连。特征图的大小为4*4；

S6层是一个最大池化层，有64个2*2的特征图，特征图中的每个单元与C5中相对应特征图的2*2邻域相连接，数目为64；

F7层是一个拉伸层，每个单元与S6层的全部64个单元的2*2邻域相连，把S6层拉伸为一个维度为256的特征向量，将向量作为下一层的输入；

D8层是一个全连接层，构成了与上层之间的全连接，维度为128，进行后续分类的操作；

D9层是输出层，含有1个单元，输出结果是一个1维0～1的值，代表检测的相似度。

8.一种采用如权利要求1-7任意之一所述系统汽车零配件视觉检测方法，其特征在于实现的步骤如下：

步骤(1)工业计算机应用先进的机器学习技术，对汽车零配件上焊点、小零件、螺母、冲孔的特征进行训练学习，并生成神经网络；

步骤(2)在外部防护支架内部装有零件安放支架，零件安放夹具放在零件安放支架上，汽车零配件放在零件安放夹具上，并通过零件安放夹具固定汽车零配件位置，工业相机放在相机安放支架上；

步骤(3)视觉检测系统启动后，放置好的汽车零配件，触发PLC向工业计算机发出检测信号，此时工业计算机控制工业相机开始采集图像并传回工业计算机，工业计算机对图像进行预处理；

步骤(4)应用步骤(1)得到的神经网络对步骤(2)预处理后的图像进行计算，实现对汽车零配件上焊点、小零件、螺母、冲孔的自动识别检测，实现对识别目标的精确定位，并将检测结果实时标记在图像上，对检测不合格的图像进行存储，对系统整体检测信息进行统计；

步骤(5)检测后的图像及检测结果显示在工业计算机界面中，如果汽车零配件为不良产品，则在工业计算机的界面上显示不良的情况，并触发声光报警系统进行警示。