CN113624145A - 一种用于测量汽车保险盒中器件的装配高度和倾斜程度的视觉实现方法 - Google Patents

Abstract

本发明公开了一种用于测量汽车保险盒中器件的装配高度和倾斜程度的视觉实现方法，属于汽车保险盒装配生产线中的质量检测技术领域。目前在保险盒的装配生产过程中，确保器件安装无误有两种实现方法，本发明针对目前的两种检测方法所存在的不足，只在原有的检测器件种类的视觉系统中增加一个运动平台，该系统通过控制单目视觉的水平运动对保险盒先后采集两幅图像，然后通过位置匹配和特征匹配自动计算检测器件的装配高度。通过比较标准器件和待测器件的绝对高度差和相对高度差，判断器件是否存在足以导致电气接触不良的未插紧或未插正的装配误差，最终判断保险盒是否为合格产品。这样的保险盒装配质量检测系统价格优势明显，性能能够满足生产要求。

Description

一种用于测量汽车保险盒中器件的装配高度和倾斜程度的视 觉实现方法

技术领域

本发明属于机器视觉技术领域，具体涉及一种用于汽车保险盒装配生产线中的视觉检测系统。

背景技术

汽车的保险盒中通常包括保险丝和继电器两种类型的器件，它们都是根据电路保护的要求，选择不同规格或品种的器件。保险盒装配质量检测主要包括两个方面：器件种类检测和器件安装检测。器件种类检测是检查器件是否漏插、多插和错插；器件安装检测是检测器件的安插是否到位，即有无因器件插歪或未插紧，影响其电气连接性能的情况。上述任何一方面出现质量问题，都会直接导致汽车电器安全性能下降。

目前在保险盒的装配生产过程中，确保器件安装无误有两种实现方法，一种是使用机械设备对保险丝盒上的器件直接按压，确保全部保险丝和继电器安插牢固。但由于保险丝盒中的器件高矮不一，形状多变，分布情况复杂，这种设备的机械加工和电气控制都较复杂，同时这种装配也无法保证零差错。另外一种是国外检测设备中使用的基于线阵激光传感器扫描方法。该方法通过运动平台带动线阵激光传感器做水平运动，获取覆盖保险盒的高度点阵数据，再识别器件的高度信息。由于线阵激光传感器价格昂贵，所以设备成本居高不下，目前国内没有厂家生产类似的产品。另外，线阵激光传感器只能检测高度信息，功能单一，需要与检测器件种类的视觉系统组装在一起，分时完成保险盒装配质量检测工作。

本发明只在原有的检测器件种类的视觉系统中增加一个运动平台，它可以带动视觉系统在两个设定位置上分别采集图像，通过两幅图像中器件的匹配关系，计算器件的装配高度和倾斜程度，这样的保险盒装配质量检测系统价格优势明显，性能能够满足生产要求。

发明内容

本发明提出了一种用于测量汽车保险盒中器件的装配高度和倾斜程度的视觉实现方法，主要包含以下内容：

步骤一、在一个封闭的箱体内建立单目视觉的运动检测系统，使用一个工业相机搭配具有横向轨道的运动平台，使用伺服电机来控制相机在轨道上横向移动，再搭配漫反射光源采集器件图片，调整好相机的焦距和漫反射光源，使得待测器件在图像中能够清晰、完整得成像。

步骤二、使用标定板对工业相机进行标定，获得工业相机的内参数和畸变参数。

步骤三、在初始位置p₁，拍摄第一幅图像f₁，然后控制电机行进距离d，到达位置p₂,再拍摄第二幅图像f₂，利用标定的参数对两幅图像进行矫正，消除图像畸变。

步骤四、对两幅图像中的器件进行位置匹配。位置匹配分标准器件和待测器件两种情况。标准器件匹配时，首先通过手动完成图像中第一个标准器件的匹配，然后利用预测窗口和模板匹配的方法完成其余标准器件的匹配工作，得到所有标准器件的ROI区域。待测器件匹配时，则直接根据标准器件生成的ROI区域自动进行位置匹配。

步骤五、针对图像f₁和图像f₂，基于ROI区域；针对汽车保险盒中的每个器件，根据其表面成像特征，从字符特征匹配、纹理特征匹配和轮廓特征匹配三种进行图像特征提取方法中选取适合的方法提取特征点集合。

设保险盒中包含的器件集合为F＝{F_i|i＝1,2,…,K},K为器件的个数。针对器件F_i，将其提取的特征点按照从上到下，从左到右的顺序进行编号，利用编号完成两幅图像间的匹配，获得的特征点匹配点对集合记为：P_i＝{(x1_i,j,y1_i,j),(x2_i,j,y2_i,j)|j＝1,2,…,M_i}，其中，M_i为器件F_i提取的特征点个数。依次求解所有器件的匹配点对，构成集合P＝{P_i|i＝1,2,…,K}。

步骤六、利用工业相机的内参数和两幅图像的拍摄地点间距d，针对器件F_i，对求取的匹配特征点对集合P_i，根据集合P_i中像素坐标对，计算特征点的物理高度如下：

其中，d_x为相机传感器芯片横向像素宽度。将特征点的物理高度集合记为H_i＝{h_i,j|j＝1,2,…,M_i}。依次求解所有器件的特征点高度集合H＝{H_i|i＝1,2,…,K}。

步骤七、针对不同的器件类型和特征提取方法，可以采用适当组合是否插歪和是否插紧两种判定标准来判断安装质量。

针对标准器件F_ti，根据集合H_ti，求取标准器件的物理高度的极值h_timax和h_timin，其中h_timax＝max{h_ti,j},h_timin＝min{h_ti,j}。同理求取待测器件的物理高度的极值h_simax和h_simin，其中h_simax＝max{h_si,j},h_simin＝min{h_si,j}。

预设绝对高度差阈值Δh_thresholdi1,若|h_simin-h_timin|>Δh_thresholdi1,或|h_simax-h_timax|>Δh_thresholdi1,则器件F_i未插紧，装配不合格。

计算标准器件的最大相对高度差Δh_ti，Δh_ti＝h_timax-h_timin，计算待测器件的高度差Δh_si，Δh_si＝h_simax-h_simin，预设相对高度差阈值Δh_thresholdi2，若|Δh_si-Δh_ti|>Δh_thresholdi2,则器件F_i倾斜到了一定程度，属于插歪，装配不合格。

根据上述方法，依次判断所有器件，若存在任意一个器件的装配不合格，则判定整个保险盒装配质量不合格。

所述步骤四中标准器件的位置匹配方法的实现过程如下：

首先使用鼠标在图像f₁上利用矩形框从左到右、从上到下逐次选取器件F₁～F_K，并记录矩形框集合RECT1＝{rect1_i(x1_i,y1_i,w1_i,l1_i)|i＝1,2,…,K}。x1_i,y1_i,w1_i,l1_i分别为矩形框左上角坐标、宽度和长度。然后在图像f₂上将器件F₁同样框选出来，其矩形框记为rect2₁(x2₁,y2₁,w2₁,l2₁)。因为步骤一中相机在轨道上只能处于横向移动，所以，忽略图像像素在纵向的微小位移，只计算它的横向平移距离S₁＝x2₁-x1₁。由于保险盒上器件高度不一致，并不是所有的器件的平移距离都相同，因此在类推其它器件的匹配位置时，引入误差ΔS，计算器件F₂～F_K的预测匹配窗口{rect2′_i(x1_i+S₁-ΔS,y1_i,w1_i+2*ΔS,l1_i)|i＝2,3,…,K}。在预测匹配窗口内，利用模板匹配的方法自动完成匹配工作，生成器件的外接矩形RECT2＝{rect2_i(x2_i,y2_i,w2_i,l2_i)|i＝1,2,…,K}。RECT1和RECT2构成了图像f₁和f₂中的标准器件的ROI区域。当进行产品质量检测时，对于待测器件的位置匹配，可以直接利用RECT1和RECT2的对应关系来完成匹配。

所述步骤五中一共设计了三种图像特征提取方法，即轮廓特征匹配、纹理特征匹配和字符特征匹配。

一、轮廓特征

轮廓特征适用于没有印刷字符的小型保险片，这种保险片一般靠颜色识别安培数，它的表面两侧各有一个金属引脚构成的透明金属区域。先对图像滤波、灰度化，再利用sobel算子和基于连通区域分析的方法提取图像轮廓，最后根据预设的面积和周长阈值筛选出白色区域轮廓。通过上述方法可以找到保险片两侧的透明金属区域，分别计算轮廓质心，得到两个特征点；

其中滤波是利用RGB图像中三通道的色彩关系对图像进行像素值操作，设置阈值T_color，当|R-G|>T_color或|R-B|>T_color或|G-B|>T_color时，将RGB三通道像素值均改为0。通过滤波，可以将图像中的彩色点尽量删除，提高白色区域轮廓求解的准确性。

根据保险片透明金属区域的实际大小，预先设置周长阈值T_Cmin，T_Cmax和面积阈值T_Smin,T_Smax，当实际检测时，白色特征区域轮廓满足公式：

其中，C(contours)为轮廓周长，S(contours)为轮廓面积。

二、纹理特征

纹理特征适用于表面没有稳定的字符特征的一类继电器。先采用ORB算法提取纹理特征，再利用BFMatcher匹配器将两幅图像的特征点进行匹配。为消除误匹配情况，利用RANSAC方法计算出一个特征区域相对另一特征区域的单应性矩阵，进而计算出该幅图像的特征点在另一幅图像中的投影点，最后计算另一幅图像中的特征点与投影点的距离，若距离大于阈值，则说明该特征点对属于误匹配，应该剔除。最后求解出特征点的最小外接矩形，将矩形的四个角点作为特征点。

三、字符特征

字符特征适用于表面有稳定的字符的小型保险片。先对图像灰度化、二值化处理，然后基于连通区域分析提取轮廓，再求出轮廓的最小外接矩形，根据矩形的长和宽筛选出字符轮廓，最后求解出所有字符轮廓边界点的最小外接矩形。该矩形的四个角点即为特征点。

所述步骤七中针对不同的器件类型和特征提取方法，可以采用适当组合是否插紧和是否插歪两种判定标准来判断安装质量。预设的绝对高度差阈值Δh_thresholdi1和相对高度差阈值Δh_thresholdi2可以根据器件种类的不同，装配不合格的状况不同，采用不同的设置方法。

检测片状保险丝时，若选取轮廓特征，可以直接根据装配工艺的误差标准设置两个阈值，因为特征点就代表了引脚位置。若选取字符特征，则需要在阈值前乘以一个系数a，因为字符的长度与引脚的距离成线性关系。设已知的片状保险丝引脚之间的长度为L，字符轮廓的最小外接矩形长度为l,则a＝L/l。

检测继电器时，通常选用纹理特征。继电器的引脚多为四脚或五脚，只要管脚对应插入，器件倾斜程度很小，可以忽略不记，故只采用是否插紧判别，预设的绝对高度差阈值Δh_thresholdi1可以直接根据装配工艺的误差标准设置。

本发明的有益效果：

本发明通过搭建单目视觉的水平运动平台检测系统，把汽车保险盒中器件种类检测和器件安装检测有效地结合为一体，既能加快保险盒装配生产线上质量检测的速度，提高生产效率，又能降低检测系统的整体成本。

附图说明

图1为本发明方法的测距原理图；

图2为本发明方法的技术路线图；

图3为工业相机畸变矫正前后图像，其中(a)为原图，(b)为矫正后图像；

图4为器件位置匹配方法示意图,其中(a)为图像f1中器件的ROI区域，(b)为图像f2中器件的预测位置匹配窗口，(c)为图像f2中器件的ROI区域；

图5为利用轮廓特征获取匹配特征点示意图，其中(a)为器件原图，(b)为色彩滤波后图像，(c)为灰度滤波后图像，(d)为轮廓边缘检测结果，(e)为获取的匹配特征点；

图6为利用纹理特征获取匹配特征点示意图，其中(a)为ORB特征匹配结果，(b)为单应性矩阵消除误匹配特征对的结果，(c)为获取的匹配特征点；

图7为利用字符特征获取匹配特征点示意图，其中(a)为器件原图，(b)为灰度化后图像，(c)为利用OTSU二值化后图像，(d)为获取的匹配特征点；

具体实施方式

下面结合附图及具体实施方法对本发明做进一步的说明，并不是对本发明保护范围的限制。

本发明涉及一种用于测量汽车保险盒中器件的装配高度和倾斜程度的视觉实现方法，检测系统的测距原理如图1所示，检测系统的技术路线如图2所示，完整的检测方法可由以下步骤说明：

步骤一、在一个封闭的箱体内建立单目视觉的运动检测系统，使用一个工业相机搭配具有横向轨道的运动平台，使用伺服电机来控制相机在轨道上横向移动，再搭配漫反射光源采集器件图片，调整好相机的焦距和漫反射光源，使得待测器件在图像中能够清晰、完整地成像。

单目视觉检测系统包括一台1500万像素的工业相机，6mm焦距镜头，i7工控机，漫反射光源，伺服电机及驱动器和横向丝杠导轨。

步骤二、使用标定板对工业相机进行标定，获得工业相机的内参数和畸变参数。

首先，采集多幅标定板图像，保证棋盘格在图像中的成像完整清晰，采集过程中需要在实际检测区域内不断地变换标定板的姿态。然后提取每幅图像的棋盘角点坐标，结合相机成像模型和棋盘格大小，计算得到相机的内参数和畸变参数，如下所示：

内参矩阵

径向畸变参数[-0.263400859 0.060028050 0]

切向畸变参数[-0.000036493 0.000459492]

步骤三、在初始位置p₁，拍摄第一幅图像f₁，然后控制电机前进距离d，到达位置p₂,再拍摄第二幅图像f₂，利用标定的参数对两幅图像进行矫正，利用相机成像原理消除图像畸变。

具体处理过程如下：

1)根据相机的数学模型，图像像素坐标系与图像物理坐标系关系如下:

其中u,v为图像中某像素点的坐标，u₀,v₀为图像的主点，d_x,d_y为相机传感器芯片横向像素宽度和纵向像素长度,x,y为该点在图像物理坐标系下坐标。

2)图像物理坐标系与摄像机坐标系关系如下：

其中f为工业相机焦距，X_c,Y_c,Z_c代表该点在摄像机坐标系下的三维坐标。

3)由1)和2)中的公式联立得到图像像素坐标与摄像机坐标的转换公式如下：

进一步推导可得归一化后的摄像机坐标X,Y,Z：

4)图像畸变由径向畸变和切向畸变构成，公式如下：

其中多项式左侧为径向畸变公式，k₁,k₂,k₃为径向畸变系数；多项式右侧为切向畸变公式，p₁,p₂为切向畸变系数。X,Y为畸变矫正前坐标，X′Y′为畸变矫正后位置。

5)设像素点(u,v)经过图像畸变矫正后的坐标为(u′,v′)，由3)可得：

将图像中像素点(u,v)的值用像素点(u′,v′)的值来替代，遍历图像f₁和f₂中所有像素点，完成畸变矫正，如图3所示，(a)为原图(b)为矫正后图像。

步骤四、对两幅图像中的器件进行位置匹配。

1)标准器件的匹配过程

(1)使用鼠标在图像f₁上利用矩形框从左到右、从上到下逐次选取器件F₁～F_K，并记录矩形框集合RECT1＝{rect1_i(x1_i,y1_i,w1_i,l1_i)|i＝1,2,…,K}。x1_i,y1_i,w1_i,l1_i分别为矩形框左上角坐标、宽度和长度，如图4(a)。

(2)在图像f₂上将器件F₁同样框选出来，其矩形框记为rect2₁(x2₁,y2₁,w2₁,l2₁)。计算图像像素横向平移距离S₁＝y2₁-y1₁。考虑到保险盒中器件高度的变化范围，预设误差ΔS，根据下式计算器件F₂～F_K的预测匹配窗口rect2′_i(x2_i,y2_i,w2_i,l2_i)，如图4(b)所示。

(3)在预测匹配窗口内，利用归一化的方差匹配方法进行模板匹配。

以rect1_i(x1_i,y1_i,w1_i,l1_i)为模板，rect2′_i(x2_i,y2_i,w2_i,l2_i)为预测匹配窗口，设p2_i(x,y)为预测窗口内匹配矩形左上角点，则匹配度R2_i(x,y)由下式计算为：

在预测窗口内，x从0遍历至2*ΔS，按下式计算最佳匹配结果：

其中，对应坐标(x^*,y^*)为最佳匹配矩形左上角点，此时按下式求解匹配窗口rect2_i(x2_i,y2_i,w2_i,l2_i)，如图4(c)所示。

同理，求解得到匹配矩阵集合记为RECT2＝{rect2_i(x2_i,y2_i,w2_i,l2_i)|i＝1,2,…,K}。RECT1和RECT2构成了图像f₁和f₂中标准器件的ROI区域。

2)待测器件的匹配过程

当进行产品质量检测时，对于待测器件的位置匹配，可以直接利用RECT1和RECT2的对应关系来完成匹配。

步骤五、针对图像f₁和f₂，基于ROI区域，一共设计了三种进行图像特征提取方法，即字符特征匹配、纹理特征匹配和轮廓特征匹配。针对汽车保险盒中的每个器件，根据其表面成像特征，选取适合的方法提取特征点集合。

1)轮廓特征

轮廓特征适用于没有印刷字符的小型保险片，这种保险片一般靠颜色识别安培数，它的表面两侧各有一个金属引脚构成的透明金属区域，如图5(a)所示。识别过程如下：

(1)利用RGB图像中三通道的色彩关系对图像进行像素值操作，设置阈值Tcolor，当|R-G|>T_color或|R-B|>T_color或|G-B|>T_color时，将RGB三通道像素值均改为0。通过滤波，可以将图像中的彩色点尽量删除，提高白色区域轮廓求解的准确性，如图5(b)所示。

(2)将图像灰度化处理如图5(c)所示，设置灰度阈值T_gray，利用下式将图像中较暗区域消除：

(3)利用Sobel边缘检测算子强化图像中的轮廓，然后基于连通区域分析提取物体轮廓如图5(d)所示。Sobel边缘检测方法如下：

设图像中像素点(x,y)灰度值为f(x,y)，x,y轴梯度为C_x,G_y

G_x＝[f(x+1,y-1)+2*f(x+1,y)+f(x+1,y+1)]-[f(x-1,y-1)+2*f(x-1,y)+f(x-1,y+1)]

G_y＝[f(x-1,y-1)+2*f(x,y-1)+f(x+1,y-1)]-[f(x-1,y+1)+2*f(x,y+1)+f(x+1,y+1)]

该点梯度

设置阈值T_g，当满足条件G(x,y)>T_g时，则该点为轮廓边缘点。

(4)根据保险片透明金属区域的实际大小，预先设置周长阈值T_Cmin，T_Cmax和面积阈值T_Smin,T_Smax，当实际检测时，针对任意一个轮廓contours{(x,y)}，利用下式条件进行筛选，满足条件的就是白色特征区域轮廓。

其中，C(contours)为轮廓周长，S(contours)为轮廓面积。

(5)基于矩不变原理，求取白色特征区域的轮廓质心，如图5(e)所示。轮廓的矩就是对轮廓内的像素点逐个积分，具有旋转不变性。设轮廓contours{(x,y)}的最小外接矩形大小为M×N，则其二维(p+q)阶距为m_pq表示为：

轮廓的质心

用下式求解：

(6)按照上述方法求解两个白色区域的质心作为匹配特征点。

2)纹理特征

纹理特征适用于表面没有稳定的字符特征的一类继电器。这类继电器表面平坦，有商标图案、电路图、参数标称等信息，识别过程如下：

(1)采用ORB算法提取纹理特征，先利用FAST算法检测图像中的特征点，然后使用BRIEF描述子表征特征点。以特征点p为中心，在其邻域内随机生成N_b对像素点，对每对像素点利用下式求解一位二进制τ(p,x_i,y_i)，从而构成一个N_b位的二进制编码。

其中，f(x_i)、f(y_i)分别为随机点对x_i,y_i的像素值。

(2)利用BFMatcher匹配器将两幅图像中的特征点进行暴力匹配。BFMatcher通过比较特征点之间的汉明距离找到最匹配的一项，初步建立匹配的特征点，如图6(a)所示。

(3)利用RANSAC方法计算出一个特征区域相对另一特征区域的单应性矩阵消除误匹配的特征点。

单应性矩阵H_3*3用来描述同一物体在两幅图像中的投影变换，在匹配特征点对p_i中表达式为：

上式又可表示为：

改写为齐次方程AX＝0形式：

求解H矩阵时约束h₃₃＝1,则8个未知数h₁₁～h₃₂可由四对不共线的特征点解出。

使用RANSAC随机抽样一致的拟合方法，抽取样本求解验证迭代，直到解出能够描述绝大部分特征点对的单应性矩阵。接着计算出该幅图像的特征点在另一幅图像中的投影点，以及另一幅图像中的特征点与投影点的距离，若距离大于阈值，则说明该特征点对属于误匹配，应该剔除。消除了误匹配点后得到N_o个最佳匹配点对，如图6(b)所示。

(4)利用下式在两幅图像中分别求解出特征点的最小外接矩形的四个角点。

将矩形的四个角点(x_min,y_min)，(x_min,y_max)，(x_max,y_min)，(x_max,y_max)作为匹配的特征点如图6(c)所示。

3)字符特征

字符特征适用于表面有稳定的字符的小型保险片，如图7(a)所示，识别过程如下：

(1)图像灰度化，如图7(b)所示。

(2)利用OTSU最大类间方差法对图像进行二值化，如图7(c)所示。同时保存二值化阈值。

设图像平均像素值为

当二值化阈值为k时，求取得到高于阈值k的像素均值m₁、像素点个数n₁，低于阈值k的像素均值m₂、像素点个数n₂，则按下式计算两类像素的数量权值p₁、p₂为

类间方差为

将k从0遍历至255，当δ²为最大值时，k值为二值化阈值。

(3)基于连通区域分析提取轮廓，再求出轮廓的最小外接矩形，根据矩形的长和宽筛选出字符轮廓，记为contours{x,y}

(4)按照上述方法，提取位置匹配窗口内的所有字符轮廓，设一共包含N_c个边界点。

(5)求解所有字符轮廓的最小外接矩形的角点坐标。

将四个角点(x_min,y_min)，(x_min,y_max)，(x_max,y_min)，(x_max,y_max)作为字符的匹配特征点，如图7(d)所示。

设保险盒中包含的器件集合为F＝{F_i|i＝1,2,…,K},K为器件的个数。针对器件F_i，将其提取的特征点按照从上到下，从左到右的顺序进行编号，利用编号完成两幅图像间的匹配，获得的特征点匹配点对集合记为：P_i＝{(x1_i,j,y1_i,j),(x2_i,j,y2_i,j)|j＝1,2,…,M_i}，其中，M_i为器件F_i提取的特征点个数。依次求解所有器件的匹配点对，构成集合P＝{P_i|i＝1,2,…,K}。表1列举了上述三种特征提取方法实例中(图5-图7)标准器件在图像f₁和f₂内的特征点对的坐标。

表1三种特征提取方法实例中(图5-图7)标准器件在图像f₁和f₂内的特征点对

步骤六、利用工业相机的内部参数和两幅图像的拍摄地点间距d，针对器件F_i，对求取的匹配特征点对集合P_i,根据其像素坐标对，计算特征点的物理高度集合，记为H_i＝{h_i,j|j＝1,2,…,M_i}，具体过程如下：

1)根据相机成像原理，图像f₁、f₂中特征点像素坐标与摄像机坐标系关系：

2)设相机的初始位置p₁为摄像机坐标系的原点，相机在轨道上横向移动至p₂,因此特征点在图像f₁,f₂中的摄像机坐标系下的纵坐标Y与高度坐标Z相同，横坐标相距d＝38.5mm，则有：

3)通过1)和2)中的公式联立，可得到特征点高度计算公式：

4)计算所有特征点的物理高度集合，记为H_i＝{h_i,j|j＝1,2,…,M_i}。

依次求解所有器件的特征点高度集合H＝{H_i|i＝1,2,…,K}，表2列举了根据表1中的特征点对的像素坐标求解得到的高度值，该值是相机到特征点的距离值。

表2三种特征提取方法实例中(图5-图7)标准器件的特征点高度值(mm)

步骤七、针对不同的器件类型和特征提取方法，可以采用适当组合是否插歪和是否插紧两种判定标准来判断安装质量。

针对标准器件F_ti，根据集合H_ti，求取标准器件的物理高度的极值h_timax和h_timin，其中h_timax＝max{h_ti,j},h_timin＝min{h_ti,j}。同理求取待测器件的物理高度的极值h_simax和h_simin，其中h_simax＝max{h_si,j},h_simin＝min{h_si,j}。

预设绝对高度差阈值Δh_thresholdi1,若|h_simin-h_timin|>Δh_thresholdi1,或|h_simax-h_timax|>Δh_thresholdi1,则器件F_i未插紧，装配不合格。

计算标准器件的最大相对高度差Δh_ti，Δh_ti＝h_timax-h_timin，计算待测器件的高度差Δh_si，Δh_si＝h_simax-h_simin，预设相对高度差阈值Δh_thresholdi2，若|Δh_si-Δh_ti|>Δh_thresholdi2,则器件F_i倾斜到了一定程度，属于插歪，装配不合格。

根据上述方法，依次判断所有器件，若存在任意一个器件的装配不合格，则判定整个保险盒装配质量不合格。

预设的绝对高度差阈值Δh_thresholdi1和相对高度差阈值Δh_thresholdi2可以根据器件种类的不同，装配不合格的状况不同，采用不同的设置方法。

检测片状保险丝时，若选取轮廓特征，可以直接根据装配工艺的误差标准设置两个阈值，因为特征点就代表了引脚位置。若选取字符特征，则需要在阈值前乘以一个系数a，因为字符的长度与引脚的距离成线性关系。设已知的片状保险丝引脚之间的长度为L，字符轮廓的最小外接矩形长度为l,则a＝L/l。

检测继电器时，通常选用纹理特征。继电器的引脚多为四脚或五脚，只要管脚对应插入，器件倾斜程度很小，可以忽略不记，故只采用是否插紧判别，预设的绝对高度差阈值Δh_thresholdi1可以直接根据装配工艺的误差标准设置。表3列举了根据表2中的器件作为标准器件得到的器件参数和设置的阈值。

表3器件装配的评判参数

以上结合附图对本发明的实施做了详细说明，本文虽通过特定的术语进行说明，但不能以此限定本专利的保护范围，熟悉此领域的人士可在了解本专利的精神与原则后对其进行变更或修改而达到等效目的，而此等效变更和修改，皆应涵盖与专利要求范围所界定范畴内。

Claims (6)

1.一种用于测量汽车保险盒中器件的装配高度和倾斜程度的视觉实现方法，主要包含以下步骤：

步骤一、在一个封闭的箱体内建立单目视觉的运动检测系统，使用一个工业相机搭配具有横向轨道的运动平台，使用伺服电机来控制相机在轨道上横向移动，再搭配漫反射光源采集器件图片，调整好相机的焦距和漫反射光源，使得器件在图像中能够清晰、完整地成像；

步骤二、使用标定板对工业相机进行标定，获得工业相机的内参数和畸变参数；

步骤三、在初始位置p₁，拍摄第一幅图像f₁，然后控制电机行进距离d，到达位置p₂，再拍摄第二幅图像f₂，利用标定的参数对两幅图像进行矫正，消除图像畸变；

步骤四、对两幅图像中的器件进行位置匹配，位置匹配分标准器件和待测器件两种情况；标准器件匹配时，首先通过手动方式完成图像中第一个标准器件的匹配，然后利用预测窗口和模板匹配的方法完成其余标准器件的匹配工作，得到所有标准器件的ROI区域；待测器件匹配时，则直接根据标准器件生成的ROI区域自动进行位置匹配；

步骤五、针对图像f₁和图像f₂，基于ROI区域；针对汽车保险盒中的每个器件，根据其表面成像特征，从字符特征匹配、纹理特征匹配和轮廓特征匹配三种进行图像特征提取方法中选取适合的方法提取特征点集合；轮廓特征匹配适用于没有印刷字符的小型保险片，纹理特征匹配适用于表面没有稳定的字符特征的一类继电器，字符特征匹配适用于表面有稳定的字符的小型保险片；

设保险盒中包含的器件集合为F＝{F_i|i＝1，2，...，K}，K为器件的个数；针对器件F_i，将其提取的特征点按照从上到下，从左到右的顺序进行编号，利用编号完成两幅图像间的匹配，获得的特征点匹配点对集合记为：P_i＝{(x1_i，j，y1_i，j)，(x2_i，j，y2_i，j)|j＝1，2，...，Mi}，其中，M_i为器件F_i提取的特征点个数；依次求解所有器件的匹配点对，构成集合P＝{P_i|i＝1，2，...，K}；

步骤六、利用工业相机的内参数和两幅图像的拍摄地点间距d，针对器件F_i，根据求取的匹配特征点对集合P_i中的像素坐标对，计算特征点的物理高度如下：

其中，d_x为相机传感器芯片横向像素宽度；将特征点的物理高度集合记为H_i＝{h_i，j|j＝1，2，...，M_i}；依次求解所有器件的特征点高度集合H＝{H_i|i＝1，2，...，K}；

步骤七、通过是否插歪和是否插紧两种判定标准来判断安装质量；

针对标准器件F_ti，根据集合H_ti，求取标准器件的物理高度的极值h_timax和h_timin，其中h_timax＝max{h_ti，j}，h_timin＝min{h_ti，j}；同理求取待测器件的物理高度的极值h_simax和h_simin，其中h_simax＝max{h_si，j}，h_simin＝min{h_si，j}；

预设绝对高度差阈值Δh_thresholdi1，若|h_simin-h_timin|＞Δh_thresholdi1，或|h_simax-h_timax|＞Δh_thresholdi1，则器件F_i未插紧，装配不合格；

计算标准器件的最大相对高度差Δh_ti，Δh_ti＝h_timax-h_timin，计算待测器件的高度差Δh_si，Δh_si＝h_simax-h_simin，预设相对高度差阈值Δh_thresholdi2，若|Δh_si-Δh_ti|＞Δh_thresholdi2，则器件F_i倾斜到了一定程度，属于插歪，装配不合格；

根据上述方法，依次判断所有器件，若存在任意一个器件的装配不合格，则判定整个保险盒装配质量不合格。

2.根据权利要求1所述的用于测量汽车保险盒中器件的装配高度和倾斜程度的视觉实现方法，其特征在于，所述步骤四中标准器件的位置匹配方法的实现过程如下：

1)首先使用鼠标在图像f₁上利用矩形框从左到右、从上到下逐次选取器件F₁～F_K，并记录矩形框集合RECT1＝{rect1_i(x1_i，y1_i，w1_i，l1_i)|i＝1，2，...，K}；x1_i，y1_i，w1_i，l1_i分别为矩形框左上角坐标、宽度和长度；

2)然后在图像f₂上将器件F₁同样框选出来，其矩形框记为rect2₁(x2₁，y2₁，w2₁，l2₁)；

3)计算器件F₂～F_K的预测匹配窗口{rect2′_i(x1_i+S₁-ΔS，y1_i，w1_i+2*ΔS，l1_i)|i＝2，3，...，K}；其中，横向平移距离S₁＝x2₁-x1₁，ΔS为横向平移距离误差；

4)在预测匹配窗口内，利用模板匹配的方法自动完成匹配工作，生成器件的外接矩形RECT2＝{rect2_i(x2_i，y2_i，w2_i，l2_i)|i＝1，2，...，K}，由RECT1和RECT2构成了图像f₁和f₂中的标准器件的ROI区域。

3.根据权利要求1所述的用于测量汽车保险盒中器件的装配高度和倾斜程度的视觉实现方法，其特征在于，步骤五中轮廓特征的提取方法的具体步骤如下：

先对图像滤波、灰度化，再利用sobel算子和基于连通区域分析的方法提取图像轮廓，最后根据预设的面积和周长阈值筛选出白色区域轮廓；

其中滤波是利用RGB图像中三通道的色彩关系对图像进行像素值操作，设置阈值T_color，当|R-G|＞T_color或|R-B|＞T_color或|G-B|＞T_color时，将RGB三通道像素值均改为0；通过滤波，可以将图像中的彩色点尽量删除，提高白色区域轮廓求解的准确性；

根据保险片透明金属区域的实际大小，预先设置周长阈值T_Cmin，T_Cmax和面积阈值T_Smin，T_Smax，当实际检测时，白色特征区域轮廓满足公式：

其中，C(contours)为轮廓周长，S(contours)为轮廓面积。

4.根据权利要求1所述的用于测量汽车保险盒中器件的装配高度和倾斜程度的视觉实现方法，其特征在于，步骤五中纹理特征匹配提取方法的具体步骤如下：

先采用ORB算法提取纹理特征，再利用BFMatcher匹配器将两幅图像的特征点进行匹配；为消除误匹配情况，利用RANSAC方法计算出一个特征区域相对另一特征区域的单应性矩阵，进而计算出该幅图像的特征点在另一幅图像中的投影点，最后计算另一幅图像中的特征点与投影点的距离，若距离大于阈值，则说明该特征点对属于误匹配，应该剔除；最后求解出特征点的最小外接矩形，将矩形的四个角点作为特征点。

5.根据权利要求1所述的用于测量汽车保险盒中器件的装配高度和倾斜程度的视觉实现方法，其特征在于，步骤五中字符特征匹配的具体步骤如下：

先对图像灰度化、二值化处理，然后基于连通区域分析提取轮廓，再求出轮廓的最小外接矩形，根据矩形的长和宽筛选出字符轮廓，最后求解出所有字符轮廓边界点的最小外接矩形；该矩形的四个角点即为特征点。

6.根据权利要求1所述的用于测量汽车保险盒中器件的装配高度和倾斜程度的视觉实现方法，其特征在于，步骤七中需针对不同的器件类型和特征提取方法，采用不同的判定标准来判断安装质量，具体如下：

检测片状保险丝时，若选取轮廓特征匹配，则直接根据装配工艺的误差标准设置绝对高度差阈值Δh_thresholdi1和相对高度差阈值Δh_thresholdi2；若选取字符特征匹配，因为字符的长度与引脚的距离成线性关系，则需要在预设的阈值前乘以系数a；a＝L/l，L为片状保险丝引脚之间的长度，l为字符轮廓的最小外接矩形长度；

检测继电器时，选用纹理特征匹配；只采用是否插紧判别，预设的绝对高度差阈值Δh_thresholdi1直接根据装配工艺的误差标准设置。

Images