CN109974582A - 一种汽车线束的芯线尺寸非接触式视觉检测装置及方法 - Google Patents
一种汽车线束的芯线尺寸非接触式视觉检测装置及方法 Download PDFInfo
- Publication number
- CN109974582A CN109974582A CN201910269894.7A CN201910269894A CN109974582A CN 109974582 A CN109974582 A CN 109974582A CN 201910269894 A CN201910269894 A CN 201910269894A CN 109974582 A CN109974582 A CN 109974582A
- Authority
- CN
- China
- Prior art keywords
- image
- formula
- harness
- pixel
- core wire
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 56
- 230000004438 eyesight Effects 0.000 title claims abstract description 34
- 239000004020 conductor Substances 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000011218 segmentation Effects 0.000 claims abstract description 29
- 238000001914 filtration Methods 0.000 claims abstract description 16
- 238000006243 chemical reaction Methods 0.000 claims abstract description 12
- 230000008569 process Effects 0.000 claims abstract description 11
- 230000009466 transformation Effects 0.000 claims abstract description 10
- 238000012360 testing method Methods 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims description 22
- 238000003708 edge detection Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 230000010339 dilation Effects 0.000 claims description 3
- 230000003628 erosive effect Effects 0.000 claims description 3
- 238000009432 framing Methods 0.000 claims description 3
- 238000005498 polishing Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 claims description 2
- 230000000877 morphologic effect Effects 0.000 claims description 2
- 230000003993 interaction Effects 0.000 claims 1
- 230000008450 motivation Effects 0.000 claims 1
- 238000002788 crimping Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003313 weakening effect Effects 0.000 description 2
- 238000002266 amputation Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012372 quality testing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Processing (AREA)
Abstract
一种汽车线束的芯线尺寸非接触式视觉检测装置及方法，属于汽车电子产品检测领域。检测对象是线束经过压接工序后其芯线的尺寸。包括：步骤1：标定相机、校正图像畸变，确定像素单位与长度单位的转换关系，计算标定参数，滤波；步骤2：获取线束最小外接矩形的偏移角度和中心坐标，建立检测坐标系完成图像空间变换；步骤3：将源RGB空间图像转化为HSI空间，确定分量H、S、I的分割阈值；步骤4：将芯线区域分割并做二值化处理，拟合芯线部分最小外接矩形；步骤5：测量最小外接矩形的长度和宽度即为芯线尺寸，判定测量值是否在公差范围内，进而判断线束是否合格。本发明的检测方法能实现汽车线束芯线尺寸的非接触式快速、准确、自动检测。
Description
技术领域
本发明属于汽车电子产品检测领域，涉及一种汽车电子产品视觉检测装置及方法，特别是涉及一种汽车线束的芯线尺寸非接触式视觉检测装置及方法。
背景技术
随着汽车销量的逐渐增加，汽车线束的产量呈现出飞跃式增长的发展势头。汽车线束是汽车电路中信号传输的载体，线束压接过程中对芯线尺寸的检测是线束质量检测中的重要一环，芯线尺寸超标会造成短路和断路等严重后果。传统的芯线尺寸检测通常依赖千分尺等测量工具进行测量，需要依靠人工肉眼判定测量数值，检测效率低下且精度不高。
需检测的线束外观如附图2所示，需检测线束左测芯线长度L1和宽度W1,右端芯线长度L2和宽度W2的尺寸是否在公差范围内。
发明内容
针对上述问题，本发明提供了基于机器视觉的汽车线束的芯线尺寸非接触式视觉检测方法，实现汽车线束芯线的尺寸无接触自动检测，不仅大大提高了产品的检测精度和速度，而且可以避免人工视觉检测所带来的偏差和误差。
本发明的技术方案：
一种汽车线束的芯线尺寸非接触式视觉检测装置，该检测装置包括导线和端子压接单元、上位机处理单元、图像采集单元、线束截断单元和运动控制单元；
所述的导线和端子压接单元包括端子盘7、压接机8、送线皮带10、导线12、摆动机构13、摆臂14和线束15；摆动机构13设置于工作台9上，连有摆臂14；导线12通过送线皮带10传输至摆动机构13，并延伸至摆臂14中导向管的端部，压接机8设置于工作台9上，靠近装有端子的端子盘7，且位于摆臂14运行路径的下方，便于将导线与端子进行压接形成线束15；
所述的上位机处理单元包括工控机21、读码器A6、读码器B11和显示器22，工控机21与PLC20通过工业网线连接，基于TCP/IP的Socket通信完成工控机21与PLC20的数据交互；读码器A6和读码器B11分别通过工业网线与工控机21相连，分别负责获取端子和导线12的条形码，并基于TCP/IP的Socket通信完成导线型号和端子型号的匹配；显示器22提供了人机监控界面，实时显示当前检测情况；
所述的图像采集单元包括彩色工业相机1、变焦镜头2、方形无影灯3和图像采集卡，彩色工业相机1通过高度可调的相机支架设置于工作台9上，变焦镜头2设置在彩色工业相机1上，距离线束15的检测面50mm，高度×宽度×厚度为40×40×250mm3的方形无影灯3设置于变焦镜头2的正下方，图像采集卡安装在工控机21的PCI插槽内，且与彩色工业相机1通过工业网线相连，基于GigE Vision通信协议实现图像的采集与传输；
所述的线束截断单元包括截断刀头A16、截断刀头B17、次品放置区18和收线槽19；截断刀头A16、截断刀头B17分别与收线槽19、次品放置区18相配合，完成合格成品的收集与次品的剥离；
所述的运动控制单元包括PLC20、光电式接近传感器A4、光电式接近传感器B5、电机控制器和伺服电机；光电式接近传感器A4和光电式接近传感器B5设置于摆臂14运行路径的下方，并与PLC20的数字量输入端连接，负责触发PLC20发出拍照信号；PLC20与电机控制器通过Profibus总线模块连接，负责驱动伺服电机完成次品剥离。
一种汽车线束的芯线尺寸非接触式视觉检测方法，釆用图像软件处理分析方法对线束的芯线尺寸进行检测。具体步骤如下：
步骤一、将读码器A6读取的端子条形码和读码器B11读取的导线12条形码传输至工控机21，工控机21判断条形码型号匹配后，由操作员完成导线12的上料，导线12经送线皮带10进入摆臂14的导向管中，由摆臂14带动导线12至压接机8完成线束15压接；
步骤二、在摆臂14摆至光电式接近传感器A4和光电式接近传感器B5时，PLC20接收到时序控制信号，进行逻辑处理后发送相应的控制指令到工控机21，由工控机21向彩色工业相机1发送拍照信号，工控机21获取图像后釆用图像软件处理分析方法对线束15的芯线尺寸进行检测；具体如下：步骤1、图像采集与预处理
彩色工业相机1在均匀打光的方形无影灯3下实时采集线束15的图像，图像经图像采集卡传输到工控机21，在视觉系统中完成对图像畸变的校正和尺寸的标定，再进行滤波处理；
所述步骤1中，图像畸变的校正步骤如下：
首先，选用格子尺寸为1×1mm2的棋盘格标定板进行图像畸变校正，调整棋盘格标定板的位置，采集10幅图像，提取每一副棋盘格图像中的亚像素角点坐标值；
然后，通过亚像素角点坐标值计算相机内参数v0、h0、fx、fy、k1、k2、k3、k4，其中v0、h0为图像的中心坐标，fx、fy分别为像素坐标系的H轴、V轴的有效焦距，k1、k2为径向畸变系数，k3、k4为切向畸变系数；
最后，完成图像实际坐标系到图像理想坐标系的变换，如公式(1)所示：
公式中，(Xd,Yd)为图像平面下的实际坐标，(Xu,Yu)为图像平面下的理想坐标，
标定参数的计算：视觉检测程序中被测物的几何尺寸是按照像素数来衡量的，为了得到被测物的实际尺寸需要将检测对象的像素单位(pixel)转换为实际单位(mm)，采用连接亚像素角点，计算实际边长1mm的黑白格子边中的像素个数的方法，得到被测物的实际尺寸与像素的转换关系公式(2)所示：
公式中，d为实际尺寸，dpixel为像素个数，k为标定参数。
滤波处理：系统采集到的图像存在一定程度的随机噪声，这些噪声不仅影响图像的细节特征也会干扰芯线尺寸的检测，因此一般先进行图像滤波来削弱噪声，然后再进行图像处理。使用结构元素为3×3大小的中值滤波算法，能够在削弱噪声的同时较好的保护图像的边缘细节特征，先将RGB三通道从源彩色图像中分离成单个通道，对每个单通道进行中值滤波处理之后，再将三个单通道合成彩色图像，单通道中值滤波算法如公式(3)所示：
公式中，Med表示计算集合内的中值，(x,y)为目标像素点的坐标，g(x,y)为目标像素点滤波后的灰度值，f(i,j)为二维滤波窗口S内对应像素点(i,j)处的灰度值。
步骤2、图像定位与空间变换
首先，将源RGB空间图像灰度化后进行边缘检测和形态学处理，得到仅包含线束15区域的二值图像；
对源RGB图像灰度化，如公式(4)所示：
W(x,y)＝0.45×R(x,y)+0.275×G(x,y)+0.275×B(x,y) (4)
公式中，W(x,y)为转换之后的灰度图像，R(x,y)、G(x,y)、B(x,y)分别为彩色图像的三个分量。
边缘检测的具体步骤为：
采用Canny边缘检测算法提取线束边缘，用5×5大小方形结构元素O(i,j)对输入的边缘二值图像I进行开运算处理，用于将线束边缘的凹洞填充并平滑较大线束的边界，得到仅包含线束的二值图像，开运算处理如公式(5)所示：
公式中，表示开运算，表示腐蚀运算，表示膨胀运算，用结构元素O(i,j)对图像I腐蚀和膨胀的过程如公式(6)和公式(7)所示：
然后，拟合二值图像中线束15轮廓的最小外接矩形，实现对线束15区域的定位；
最后，获取轮廓最小外接矩形长边与图像理想坐标系横向主轴的夹角以及矩形的中心坐标P(vd,hd)，代入公式(8)中：
公式中，为旋转角度，vd和hd为两坐标系的原点偏移大小，(vp,hp)为点P在检测坐标系下的坐标；(xp,yp)为点P在图像理想坐标系下的坐标。
步骤3、芯线表面颜色特征的选取
将源RGB空间图像转化为HSI空间图像，提取H、S、I三个分量，生成各分量直方图，根据分量直方图统计的特征，将芯线区域像素落入不同区作为颜色特征量，确定芯线区域H分量的分割阈值Hlow、Hhigh，S分量的分割阈值Slow、Shigh，I分量的分割阈值Ilow、Ihigh。
所述H、S、I三个分量计算公式如下：
公式中，
步骤4、芯线区域的分割
将在分割阈值区间内的像素点灰度值置为1，不在分割阈值区间内的像素点灰度值置为0，对HSI空间下的芯线区域进行分割并进行二值化处理，得到二值图像；
所述二值化处理的公式如下：
公式中，Ih(x,y)、Is(x,y)、Ii(x,y)分别为原始图像中的各个像素的H、S、I分量，M(x,y)为经过二值化操作之后各个像素点的像素值。
步骤5、芯线尺寸检测
首先，在步骤4得到的二值图像中提取芯线轮廓并构建轮廓的凸多边形；然后，拟合出凸多边形的最小外接矩形并完成芯线区域的框选；最后，测量出矩形长度和宽度，即为芯线的尺寸，判定芯线的尺寸是否在公差范围内，进而判断线束是否合格。具体如下：
基于步骤4分割后芯线区域的二值图像，将最外层的芯线轮廓点进行连接构建凸多边形，遍历芯线凸多边形上的每条边，以该边构建矩形并计算矩形的面积，比较得出的所有矩形面积，将面积最小的矩形确定为芯线区域的最小外接矩形，最小外接矩形的长和宽即为芯线的长和宽；最后，通过公式(2)将像素尺寸转化为实际尺寸，判定芯线的尺寸是否在公差范围内，进而判断线束15是否合格。
步骤三、由工控机21将检测结果发送至PLC20，当PLC20收到工控机21的检测OK信号时，则控制摆臂14摆至截断刀头B17处，将线束15截断至收线槽19；当PLC20收到上位机的检测NG信号时，则控制摆臂14摆至截断刀头A16处，将线束15截断至次品放置区18完成次品的剥离，并由工控机21显示报警信息。
与现有方法相比，本发明方法的有益效果：
1)将视觉检测技术引入到线束的芯线尺寸检测，实现了汽车线束芯线尺寸高速、稳定的自动检测；
2)为不同线束类型单独设定颜色分割阈值，通过读取产品条形码完成不同规格产品检测程序的切换，实现产品与检测程序的自动对应。
附图说明
图1是非接触式视觉检测系统图像处理算法流程图。
图2是汽车线束的芯线尺寸检测区域示意图(包括4个长度量)。
图3是非接触式视觉检测系统工作流程图。
图4是非接触式视觉检测装置结构示意图。
图5是非接触式视觉检测系统图像空间变换前后的效果对比图。其中，(a)为变换前；(b)为变换后。
图6是非接触式视觉检测系统芯线区域最小外接矩形示意图。
图中：1彩色工业相机；2变焦镜头；3方形无影灯；4光电式接近传感器A；5光电式接近传感器B；6读码器A；7端子盘；8压接机；9工作台；10送线皮带；11读码器B；12导线；13摆动机构；14摆臂；15线束；16截断刀头A；17截断刀头B；18次品放置区；19收线槽；20PLC；21工控机；22显示器。
具体实施方式
下面结合技术方案和附图对本发明的具体实施方式做进一步的说明。
首先，将读码器A6读取的端子条形码和读码器B11读取的导线12条形码传输至上位机，上位机判断条形码型号匹配后，由操作员完成导线12的上料，按照流程启动设备，开始运行生产检测工位。导线12经送线皮带10进入摆臂14中的导向管，由摆臂14带动导线12至压接机8完成线束15压接，在摆臂14摆至视觉检测工位的过程中依次触发光电传感器A4和光电传感器B5，PLC20接收到时序控制信号进行逻辑处理后发送相应的控制指令到工控机21，由工控机21发送拍照信号，获取图片后采用图像软件处理分析方法对线束15的芯线尺寸进行检测，图像处理算法的流程如附图1所示，具体由以下5个步骤完成：
步骤1、图像采集与预处理
彩色工业相机1在均匀打光的方形光源下实时采集线束15图像，图像经图像采集卡传输到上位机，在视觉系统中完成对图像畸变的校正和尺寸的标定，再进行滤波处理；
图像畸变的校正：首先，选用格子尺寸为1×1mm2的棋盘格标定板进行图像畸变校正，调整标定板的位置采集10幅图像，提取每一副棋盘格图像中的亚像素角点坐标值；然后，通过角点的坐标值计算相机内参数v0、h0、fx、fy、k1、k2、k3、k4，其中v0、h0为图像的中心坐标，fx、fy分别为像素坐标系的H轴、V轴的有效焦距，k1、k2为径向畸变系数，k3、k4为切向畸变系数；最后，完成图像实际坐标系到图像理想坐标系的变换，如公式(1)所示：
公式中，(Xd,Yd)为图像平面下的实际坐标，(Xu,Yu)为图像平面下的理想坐标，k1、k2为径向畸变系数，k3、k4为切向畸变系数，其中
标定参数的计算：视觉检测程序中被测物的几何尺寸是按照像素数来衡量，为了得到被测物的实际尺寸需要将检测对象的像素单位(pixel)转换为实际单位(mm)，采用连接亚像素角点，计算实际边长1mm的黑白格子边中的像素个数的方法，得到被测物的实际尺寸与像素的转换关系公式(2)：
公式中，d为实际尺寸，dpixel为像素个数，k为标定参数。
滤波处理：系统采集到的图像存在一定程度的随机噪声，这些噪声不仅影响图像的细节特征也会干扰芯线尺寸的检测，因此一般先进行图像滤波来削弱噪声，然后再进行图像处理。使用结构元素为3×3大小的中值滤波算法，能够在削弱噪声的同时较好的保护图像的边缘细节特征，先将RGB三通道从源彩色图像中分离成单个通道，对每个单通道进行中值滤波处理之后，再将三个单通道合成彩色图像，单通道中值滤波算法如公式(3)所示：
公式中，Med表示计算集合内的中值，(x,y)为目标像素点的坐标，g(x,y)为目标像素点滤波后的灰度值，f(i,j)为二维滤波窗口S内对应像素点(i,j)处的灰度值。
步骤2、图像定位与空间变换
由于待测产品每次到达检测工位时都会存在一定程度的偏差，而且各个产品表面形状特征也存在一定程度的差别，这会导致相机采集的图像特征位置发生相应的变动，不利于后续的图像处理和分析。通过拟合线束15轮廓的最小外接矩形，实现对特征区域的定位，进而完成图像空间变换。首先，对源RGB图像灰度化，如公式(4)所示：
W(x,y)＝0.45×R(x,y)+0.275×G(x,y)+0.275×B(x,y) (4)
公式中，W(x,y)为转换之后的灰度图像，R(x,y)、G(x,y)、B(x,y)分别为彩色图像的三个分量。
然后，采用Canny边缘检测算法提取线束15边缘，用5×5大小方形结构元素O(i,j)对输入的边缘二值图像I进行开运算处理，用于将线束15边缘的凹洞填充并平滑较大线束15的边界，得到仅包含线束15的二值图像，开运算处理如公式(5)所示：
公式中，表示开运算，表示腐蚀运算，表示膨胀运算，用结构元素O(i,j)对图像I腐蚀和膨胀的过程如公式(6)和公式(7)所示：
最后，获取轮廓最小外接矩形长边与横向主轴的夹角以及矩形的中心坐标P(vp,hp)，代入公式(8)中：
公式中，为旋转角度，vd和hd为两坐标系的原点偏移大小，(vp,hp)为点P在检测坐标系下的坐标；(xp,yp)为点P在图像理想坐标系下的坐标，图像空间变换前后的效果对比如图5所示。
步骤3、芯线表面颜色特征的选取
对RGB空间内的源图像分析后发现，芯线的3个颜色通道(R、G、B分量)组合复杂且相关性较高，难以确定阈值进行颜色判断。HSI模型中的色彩不相关性，很好地解决了这个问题，将读取到的RGB空间线束15图像转化为HSI空间图像，颜色空间变换如公式(9)、公式(10)、公式(11)所示：
公式中，
然后，提取H、S、I三个分量，生成各分量直方图，根据颜色直方图统计的特征，将芯线区域像素落入不同区作为颜色特征量，确定芯线区域H分量的分割阈值Hlow、Hhigh，S分量的分割阈值Slow、Shigh，I分量的分割阈值Ilow、Ihigh。
步骤4、芯线区域的分割
根据图像分割的阈值将芯线与背景分割，结合凡是在阈值区间内的像素点灰度值置为1，不在阈值区间内的像素点灰度值置为0的原则对HSI空间图像进行二值化处理，公式如下：
公式中，Ih(x,y)、Is(x,y)、Ii(x,y)分别为原始图像中的各个像素的H、S、I分量，M(x,y)为经过二值化操作之后各个像素点的像素值。
步骤5、芯线尺寸检测
基于分割后芯线区域的二值图像，将最外层的芯线轮廓点进行连接构建凸多边形，遍历芯线凸多边上的每条边，以该边构建矩形并计算矩形的面积，比较得出的所有矩形面积，将面积最小的矩形确定为芯线区域的最小外接矩形，如附图6所示，此时矩形的长和宽即为芯线的长和宽。最后，通过公式(2)将像素尺寸转化为实际尺寸，判定芯线的尺寸是否在公差范围内，进而判断线束是否合格。
然后，由上位机向PLC发送检测信号，PLC收到上位机的检测OK信号，则控制摆臂摆至截断刀头B将线束截断至收线槽；PLC收到上位机的检测NG信号，则控制摆臂摆至截断刀头A将线束截断至次品放置区完成次品的剥离，并由工控机显示报警信息，非接触式视觉检测系统工作流程如附图3所示。
以上是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化与修饰，均属于发明技术方案的范围内。
Claims (10)
1.一种汽车线束的芯线尺寸非接触式视觉检测装置，其特征在于，该检测装置包括导线和端子压接单元、上位机处理单元、图像采集单元、线束截断单元和运动控制单元；
所述的导线和端子压接单元包括端子盘(7)、压接机(8)、送线皮带(10)、导线(12)、摆动机构(13)、摆臂(14)和线束(15)；摆动机构(13)设置于工作台(9)上，连有摆臂(14)；导线(12)通过送线皮带(10)传输至摆动机构(13)，并延伸至摆臂(14)中导向管的端部；压接机(8)设置于工作台(9)上，靠近装有端子的端子盘(7)，且位于摆臂(14)运行路径的下方，便于将导线与端子进行压接形成线束(15)；
所述的上位机处理单元包括工控机(21)、读码器A(6)、读码器B(11)和显示器(22)；工控机(21)与PLC(20)通过工业网线连接，基于TCP/IP的Socket通信完成工控机(21)与PLC(20)的数据交互；读码器A(6)和读码器B(11)分别通过工业网线与工控机(21)相连，分别负责获取端子和导线(12)的条形码，并基于TCP/IP的Socket通信完成导线型号和端子型号的匹配；显示器(22)提供了人机监控界面，实时显示当前检测情况；
所述的图像采集单元包括彩色工业相机(1)、变焦镜头(2)、方形无影灯(3)和图像采集卡，彩色工业相机(1)通过高度可调的相机支架设置于工作台(9)上，变焦镜头(2)设置在彩色工业相机(1)上，距离线束(15)的检测面50mm，高度×宽度×厚度为40×40×250mm3的方形无影灯(3)设置于变焦镜头(2)的正下方，图像采集卡安装在工控机(21)的PCI插槽内，且与彩色工业相机(1)通过工业网线相连，基于GigE Vision通信协议实现图像的采集与传输；
所述的线束截断单元包括截断刀头A(16)、截断刀头B(17)、次品放置区(18)和收线槽(19)；截断刀头A(16)、截断刀头B(17)分别与收线槽(19)、次品放置区(18)相配合，完成合格成品的收集与次品的剥离；
所述的运动控制单元包括PLC(20)、光电式接近传感器A(4)、光电式接近传感器B(5)、电机控制器和伺服电机；光电式接近传感器A(4)和光电式接近传感器B(5)设置于摆臂(14)运行路径的下方，并与PLC(20)的数字量输入端连接，负责触发PLC(20)发出拍照信号；PLC(20)与电机控制器通过Profibus总线模块连接，负责驱动伺服电机完成次品剥离。
2.一种汽车线束的芯线尺寸非接触式视觉检测方法，其特征在于，具体步骤如下：
步骤一、将读码器A(6)读取的端子条形码和读码器B(11)读取的导线(12)条形码传输至工控机(21)，工控机(21)判断条形码型号匹配后，由操作员完成导线(12)的上料，导线(12)经送线皮带(10)进入摆臂(14)的导向管中，由摆臂(14)带动导线(12)至压接机(8)完成线束(15)压接；
步骤二、在摆臂(14)摆至光电式接近传感器A(4)和光电式接近传感器B(5)时，PLC(20)接收到时序控制信号，进行逻辑处理后发送相应的控制指令到工控机(21)，由工控机(21)向彩色工业相机(1)发送拍照信号，工控机(21)获取图像后釆用图像软件处理分析方法对线束(15)的芯线尺寸进行检测，具体如下：
步骤1、图像采集与预处理
彩色工业相机(1)在均匀打光的方形无影灯(3)下实时采集线束(15)的图像，图像经图像采集卡传输到工控机(21)，在视觉系统中完成对图像畸变的校正和尺寸的标定，再进行滤波处理；
步骤2、图像定位与空间变换
首先，将源RGB空间图像灰度化后进行边缘检测和形态学处理，得到仅包含线束(15)区域的二值图像；然后，拟合二值图像中线束(15)轮廓的最小外接矩形，实现对线束(15)区域的定位；最后，获取最小外接矩形长边与图像理想坐标系横向主轴的夹角，以及最小外接矩形的中心坐标，完成检测坐标系的建立，进而完成图像空间变换；
步骤3、芯线表面颜色特征的选取
将源RGB空间图像转化为HSI空间图像，提取H、S、I三个分量，生成各分量直方图，根据分量直方图统计的特征，将芯线区域像素落入不同区作为颜色特征量，确定芯线区域H、S、I三个分量的分割阈值；
步骤4、芯线区域的分割
将在分割阈值区间内的像素点灰度值置为1，不在分割阈值区间内的像素点灰度值置为0，对HSI空间下的芯线区域进行分割并进行二值化处理，得到二值图像；
步骤5、芯线尺寸检测
首先，在步骤4得到的二值图像中提取芯线轮廓并构建轮廓的凸多边形；然后，拟合出凸多边形的最小外接矩形并完成芯线区域的框选；最后，测量出矩形长度和宽度，即为芯线的尺寸，判定芯线的尺寸是否在公差范围内，进而判断线束是否合格；
步骤三、由工控机(21)将检测结果发送至PLC(20)，当PLC(20)收到工控机(21)的检测OK信号时，则控制摆臂(14)摆至截断刀头B(17)处，将线束(15)截断至收线槽(19)；当PLC(20)收到上位机的检测NG信号时，则控制摆臂(14)摆至截断刀头A(16)处，将线束(15)截断至次品放置区(18)完成次品的剥离，并由工控机(21)显示报警信息。
3.根据权利要求2所述的一种汽车线束的芯线尺寸非接触式视觉检测方法，其特征在于，所述步骤1中，图像畸变的校正步骤如下：
首先，选用格子尺寸为1×1mm2的棋盘格标定板进行图像畸变校正，调整棋盘格标定板的位置，采集10幅图像，提取每一副棋盘格图像中的亚像素角点坐标值；
然后，通过亚像素角点坐标值计算相机内参数v0、h0、fx、fy、k1、k2、k3、k4，其中v0、h0为图像的中心坐标，fx、fy分别为像素坐标系的H轴、V轴的有效焦距，k1、k2为径向畸变系数，k3、k4为切向畸变系数；
最后，完成图像实际坐标系到图像理想坐标系的变换，如公式(1)所示：
公式中，(Xd,Yd)为图像平面下的实际坐标，(Xu,Yu)为图像平面下的理想坐标，
标定参数的计算：将检测对象的像素单位pixel转换为实际单位mm，采用连接亚像素角点，计算实际边长1mm的黑白格子边中的像素个数的方法，得到被测物的实际尺寸与像素的转换关系公式(2)：
公式中，d为实际尺寸，dpixel为像素个数，k为标定参数；
滤波处理：使用结构元素为3×3大小的中值滤波算法，先将RGB三通道从源彩色图像中分离成单个通道，对每个单通道进行中值滤波处理之后，再将三个单通道合成彩色图像，单通道中值滤波算法如公式(3)所示：
公式中，Med表示计算集合内的中值，(x,y)为目标像素点的坐标，g(x,y)为目标像素点滤波后的灰度值，f(i,j)为二维滤波窗口S内对应像素点(i,j)处的灰度值。
4.根据权利要求2或3所述的一种汽车线束的芯线尺寸非接触式视觉检测方法，其特征在于，所述步骤2中：
对源RGB图像灰度化，如公式(4)所示：
W(x,y)＝0.45×R(x,y)+0.275×G(x,y)+0.275×B(x,y) (4)
公式中，W(x,y)为转换之后的灰度图像，R(x,y)、G(x,y)、B(x,y)分别为彩色图像的三个分量；
边缘检测的具体步骤为：
采用Canny边缘检测算法提取线束边缘，用5×5大小方形结构元素O(i,j)对输入的边缘二值图像I进行开运算处理，用于将线束边缘的凹洞填充并平滑较大线束的边界，得到仅包含线束的二值图像，开运算处理如公式(5)所示：
公式中，“○”表示开运算，表示腐蚀运算，表示膨胀运算，用结构元素O(i,j)对图像I腐蚀和膨胀的过程如公式(6)和公式(7)所示：
获取轮廓最小外接矩形长边与图像理想坐标系横向主轴的夹角以及最小外接矩形的中心坐标(vd,hd)，代入公式(8)中：
公式中，为旋转角度，vd和hd为两坐标系的原点偏移大小，(vp,hp)为点P在检测坐标系下的坐标，(xp,yp)为点P在图像理想坐标系下的坐标。
5.根据权利要求2或3所述的一种汽车线束的芯线尺寸非接触式视觉检测方法，其特征在于，所述步骤3中，H、S、I三个分量计算公式如下：
公式中，
6.根据权利要求4所述的一种汽车线束的芯线尺寸非接触式视觉检测方法，其特征在于，所述步骤3中，H、S、I三个分量计算公式如下：
公式中，
7.根据权利要求2、3或6所述的一种汽车线束的芯线尺寸非接触式视觉检测方法，其特征在于，所述步骤4中，二值化处理的公式如下：
公式中，Ih(x,y)、Is(x,y)、Ii(x,y)分别为原始图像中的各个像素的H、S、I分量，Hlow、Hhigh分别为H分量的分割阈值，Slow、Shigh分别为S分量的分割阈值，Ilow、Ihigh分别为I分量的分割阈值，M(x,y)为经过二值化操作之后各个像素点的像素值。
8.根据权利要求4所述的一种汽车线束的芯线尺寸非接触式视觉检测方法，其特征在于，所述步骤4中，二值化处理的公式如下：
公式中，Ih(x,y)、Is(x,y)、Ii(x,y)分别为原始图像中的各个像素的H、S、I分量，Hlow、Hhigh分别为H分量的分割阈值，Slow、Shigh分别为S分量的分割阈值，Ilow、Ihigh分别为I分量的分割阈值，M(x,y)为经过二值化操作之后各个像素点的像素值。
9.根据权利要求5所述的一种汽车线束的芯线尺寸非接触式视觉检测方法，其特征在于，所述步骤4中，二值化处理的公式如下：
公式中，Ih(x,y)、Is(x,y)、Ii(x,y)分别为原始图像中的各个像素的H、S、I分量，Hlow、Hhigh分别为H分量的分割阈值，Slow、Shigh分别为S分量的分割阈值，Ilow、Ihigh分别为I分量的分割阈值，M(x,y)为经过二值化操作之后各个像素点的像素值。
10.根据权利要求2、3、6、8或9所述的一种汽车线束的芯线尺寸非接触式视觉检测方法，其特征在于，所述步骤5的具体步骤为：基于步骤4分割后芯线区域的二值图像，将最外层的芯线轮廓点进行连接构建凸多边形，遍历芯线凸多边形上的每条边，以该边构建矩形并计算矩形的面积，比较得出的所有矩形面积，将面积最小的矩形确定为芯线区域的最小外接矩形，最小外接矩形的长和宽即为芯线的长和宽；最后，通过公式(2)将像素尺寸转化为实际尺寸，判定芯线的尺寸是否在公差范围内，进而判断线束(15)是否合格。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910269894.7A CN109974582B (zh) | 2019-04-04 | 2019-04-04 | 一种汽车线束的芯线尺寸非接触式视觉检测装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910269894.7A CN109974582B (zh) | 2019-04-04 | 2019-04-04 | 一种汽车线束的芯线尺寸非接触式视觉检测装置及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109974582A true CN109974582A (zh) | 2019-07-05 |
| CN109974582B CN109974582B (zh) | 2023-10-31 |
Family
ID=67083009
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910269894.7A Active CN109974582B (zh) | 2019-04-04 | 2019-04-04 | 一种汽车线束的芯线尺寸非接触式视觉检测装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109974582B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111174705A (zh) * | 2019-12-04 | 2020-05-19 | 广州市德力达智能设备有限公司 | 线缆裁剥质量监控装置 |
| CN112001917A (zh) * | 2020-09-04 | 2020-11-27 | 南京大学金陵学院 | 一种基于机器视觉的圆形有孔零件形位公差检测方法 |
| CN112598632A (zh) * | 2020-12-16 | 2021-04-02 | 北京卫星制造厂有限公司 | 一种压接连接器接触件外观检测方法及装置 |
| CN112816496A (zh) * | 2021-01-05 | 2021-05-18 | 广州市华颉电子科技有限公司 | 一种汽车域控制器的接口装配质量自动光学检测方法及装置 |
| CN113466227A (zh) * | 2020-03-30 | 2021-10-01 | 矢崎总业株式会社 | 压接端子的外观检查装置以及外观检查方法 |
| CN114001674A (zh) * | 2021-09-30 | 2022-02-01 | 西北工业大学 | 一种自由视角下的线束弯曲半径机器视觉测量方法 |
| CN114565699A (zh) * | 2022-02-17 | 2022-05-31 | 成都飞机工业（集团）有限责任公司 | 一种线束形态表征方法、装置、设备及介质 |
| CN114612695A (zh) * | 2022-03-11 | 2022-06-10 | 江阴市浩盛电器线缆制造有限公司 | 嵌入式布线规则判断系统 |
| CN115330710A (zh) * | 2022-08-09 | 2022-11-11 | 湖北安泰汽车电气系统有限公司 | 一种基于云计算的汽车线束质检系统 |
| CN115830027A (zh) * | 2023-02-17 | 2023-03-21 | 深圳市佐申电子有限公司 | 基于机器视觉的汽车线束包覆缺陷检测方法 |
| CN117368223A (zh) * | 2023-10-10 | 2024-01-09 | 广州君华检测认证有限公司 | 一种基于机器视觉的汽车线束质量检测方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201555559U (zh) * | 2009-12-15 | 2010-08-18 | 方向阳 | 汽车线束机器视觉检测设备 |
| CN105157604A (zh) * | 2015-08-07 | 2015-12-16 | 天津大学 | 外场多束线结构光视觉测量系统的快速标定方法 |
| JP2016090401A (ja) * | 2014-11-05 | 2016-05-23 | 古河電気工業株式会社 | 外観検査装置、外観検査システム、及び外観検査方法 |
| CN107505326A (zh) * | 2017-09-29 | 2017-12-22 | 天津思博科科技发展有限公司 | 基于人工智能及机器视觉的汽车线束检测装置 |
-
2019
- 2019-04-04 CN CN201910269894.7A patent/CN109974582B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201555559U (zh) * | 2009-12-15 | 2010-08-18 | 方向阳 | 汽车线束机器视觉检测设备 |
| JP2016090401A (ja) * | 2014-11-05 | 2016-05-23 | 古河電気工業株式会社 | 外観検査装置、外観検査システム、及び外観検査方法 |
| CN105157604A (zh) * | 2015-08-07 | 2015-12-16 | 天津大学 | 外场多束线结构光视觉测量系统的快速标定方法 |
| CN107505326A (zh) * | 2017-09-29 | 2017-12-22 | 天津思博科科技发展有限公司 | 基于人工智能及机器视觉的汽车线束检测装置 |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111174705B (zh) * | 2019-12-04 | 2022-04-22 | 广州市德力达智能设备有限公司 | 线缆裁剥质量监控装置 |
| CN111174705A (zh) * | 2019-12-04 | 2020-05-19 | 广州市德力达智能设备有限公司 | 线缆裁剥质量监控装置 |
| CN113466227A (zh) * | 2020-03-30 | 2021-10-01 | 矢崎总业株式会社 | 压接端子的外观检查装置以及外观检查方法 |
| CN112001917A (zh) * | 2020-09-04 | 2020-11-27 | 南京大学金陵学院 | 一种基于机器视觉的圆形有孔零件形位公差检测方法 |
| CN112598632A (zh) * | 2020-12-16 | 2021-04-02 | 北京卫星制造厂有限公司 | 一种压接连接器接触件外观检测方法及装置 |
| CN112816496A (zh) * | 2021-01-05 | 2021-05-18 | 广州市华颉电子科技有限公司 | 一种汽车域控制器的接口装配质量自动光学检测方法及装置 |
| CN114001674B (zh) * | 2021-09-30 | 2023-07-04 | 西北工业大学 | 一种自由视角下的线束弯曲半径机器视觉测量方法 |
| CN114001674A (zh) * | 2021-09-30 | 2022-02-01 | 西北工业大学 | 一种自由视角下的线束弯曲半径机器视觉测量方法 |
| CN114565699A (zh) * | 2022-02-17 | 2022-05-31 | 成都飞机工业（集团）有限责任公司 | 一种线束形态表征方法、装置、设备及介质 |
| CN114565699B (zh) * | 2022-02-17 | 2024-03-19 | 成都飞机工业（集团）有限责任公司 | 一种线束形态表征方法、装置、设备及介质 |
| CN114612695A (zh) * | 2022-03-11 | 2022-06-10 | 江阴市浩盛电器线缆制造有限公司 | 嵌入式布线规则判断系统 |
| CN115330710B (zh) * | 2022-08-09 | 2023-03-31 | 湖北安泰汽车电气系统有限公司 | 一种基于云计算的汽车线束质检系统 |
| CN115330710A (zh) * | 2022-08-09 | 2022-11-11 | 湖北安泰汽车电气系统有限公司 | 一种基于云计算的汽车线束质检系统 |
| CN115830027B (zh) * | 2023-02-17 | 2023-04-18 | 深圳市佐申电子有限公司 | 基于机器视觉的汽车线束包覆缺陷检测方法 |
| CN115830027A (zh) * | 2023-02-17 | 2023-03-21 | 深圳市佐申电子有限公司 | 基于机器视觉的汽车线束包覆缺陷检测方法 |
| CN117368223A (zh) * | 2023-10-10 | 2024-01-09 | 广州君华检测认证有限公司 | 一种基于机器视觉的汽车线束质量检测方法及系统 |
| CN117368223B (zh) * | 2023-10-10 | 2024-04-26 | 广州君华检测认证有限公司 | 一种基于机器视觉的汽车线束质量检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109974582B (zh) | 2023-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109974582A (zh) | 一种汽车线束的芯线尺寸非接触式视觉检测装置及方法 | |
| CN108765416B (zh) | 基于快速几何对准的pcb表面缺陷检测方法及装置 | |
| CN102192911B (zh) | 一种基于机器视觉的金属瓶盖质量检测系统 | |
| CN106017325B (zh) | 一种改进的复杂表面和不规则物体体积的非接触光学测量方法 | |
| CN109839384B (zh) | 用于微型振动马达缺陷检测的视觉检测仪及检测方法 | |
| CN106824806B (zh) | 基于机器视觉的小模数塑料齿轮的检测方法 | |
| CN109300161A (zh) | 一种基于双目视觉的定位方法及装置 | |
| CN107966454A (zh) | 一种基于fpga的端塞缺陷检测装置及检测方法 | |
| CN109993154B (zh) | 变电站单指针式六氟化硫型仪表智能识别方法 | |
| CN107664644B (zh) | 一种基于机器视觉的物件表观自动检测装置及方法 | |
| CN108647677A (zh) | 基于视觉计算的电表外观和性能智能检测方法及装置 | |
| CN106969708A (zh) | 一种骨料形态质量的检测装置和方法 | |
| CN110991360B (zh) | 一种基于视觉算法的机器人巡检点位智能配置方法 | |
| CN110966956A (zh) | 一种基于双目视觉的三维检测装置和方法 | |
| CN107891012B (zh) | 基于等效算法的珍珠大小及圆形度分拣装置 | |
| CN111260788A (zh) | 一种基于双目视觉的配电柜开关状态识别方法 | |
| CN110108712A (zh) | 多功能视觉缺陷检测系统 | |
| CN110096980A (zh) | 字符检测识别系统 | |
| CN109978940A (zh) | 一种sab安全气囊尺寸视觉测量方法 | |
| CN110097540A (zh) | 多边形工件的视觉检测方法及装置 | |
| CN114820439A (zh) | 基于aoi的pcb裸板缺陷的检测系统及方法 | |
| CN109622404B (zh) | 一种基于机器视觉的微工件自动分拣系统及方法 | |
| CN111724445A (zh) | 一种大视野小尺寸识别码的识别方法及系统 | |
| CN103198472A (zh) | 一种重型汽车连杆成品质量检测方法及其检测系统 | |
| CN103091332B (zh) | 一种基于机器视觉的u型粉管的检测方法及其检测系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |