CN110044405B - 一种基于机器视觉的汽车仪表自动化检测装置及方法 - Google Patents
一种基于机器视觉的汽车仪表自动化检测装置及方法 Download PDFInfo
- Publication number
- CN110044405B CN110044405B CN201910404532.4A CN201910404532A CN110044405B CN 110044405 B CN110044405 B CN 110044405B CN 201910404532 A CN201910404532 A CN 201910404532A CN 110044405 B CN110044405 B CN 110044405B
- Authority
- CN
- China
- Prior art keywords
- instrument
- instrument panel
- display
- led alarm
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000012360 testing method Methods 0.000 claims abstract description 67
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000004891 communication Methods 0.000 claims abstract description 19
- 238000004458 analytical method Methods 0.000 claims abstract description 15
- 230000007547 defect Effects 0.000 claims abstract description 14
- 238000004519 manufacturing process Methods 0.000 claims abstract description 14
- 230000009471 action Effects 0.000 claims abstract description 11
- 230000000007 visual effect Effects 0.000 claims abstract description 8
- 239000000523 sample Substances 0.000 claims description 32
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 23
- 230000000903 blocking effect Effects 0.000 claims description 15
- 238000005520 cutting process Methods 0.000 claims description 12
- 239000007787 solid Substances 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 235000002566 Capsicum Nutrition 0.000 claims description 3
- 239000006002 Pepper Substances 0.000 claims description 3
- 235000016761 Piper aduncum Nutrition 0.000 claims description 3
- 235000017804 Piper guineense Nutrition 0.000 claims description 3
- 235000008184 Piper nigrum Nutrition 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000012805 post-processing Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 3
- 150000003839 salts Chemical class 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 244000203593 Piper nigrum Species 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000005259 measurement Methods 0.000 abstract description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 3
- 241000722363 Piper Species 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000010998 test method Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D18/00—Testing or calibrating apparatus or arrangements provided for in groups G01D1/00 - G01D15/00
Abstract
本发明提供了一种基于机器视觉的汽车仪表自动化检测装置及方法，包括测试系统机柜、仪表盘及其传输定位单元、图像采集视觉构件、上位机图像处理程序及系统测试程序。仪表盘及其传输定位装置用于被测仪表盘经流水线体进入本检测装置时定位以及支撑仪表盘使其完成检测。工控机通过CAN通信控制被测仪表执行相应显示动作。图像采集视觉构件包括工业相机、定焦镜头、暗箱、固定用台架，工业摄像头采集到的图像数据上传至工控机，工控机通过图像处理分析，判定被测仪表是否存在显示缺陷，并生成测试报告。基于机器视觉技术的汽车仪表自动化检测装置及方法，实现了非接触式自动化测量，减少了人工成本，同时提升了产线运行的自动化程度及效率。
Description
技术领域
本发明属于图像处理领域以及汽车电子自动化测试系统集成领域，具体涉及一种基于机器视觉的汽车仪表自动化检测装置及方法。
背景技术
汽车仪表盘是反映各系统工作状况的装置，随着汽车工业的发展，汽车仪表盘逐渐由传统的指针式向液晶数字显示式过渡。全液晶仪表屏幕逐渐成为当前汽车仪表的潮流，目前许多新出车型仪表盘采用了全液晶显示或者为LCD液晶结合部分LED图标的组合显示方式。同时，汽车仪表所需要显示的信息愈发庞大，汽车仪表系统也更加复杂，汽车仪表的产线测试是仪表装车使用前重要的步骤。
目前汽车仪表的生产测试产线大部分仍处于人工或者半人工的方式，自动化程度较低。人力完成这样重复性的测试工作，出错率较高，效率低，人工操作也存在一定的安全隐患，且人力成本逐年上升。因此，设计合理的仪表自动化测试装置提高测试可靠性和测试效率尤为重要。同时随着相机、镜头、计算机等核心硬件性能的提升，以及图像处理、人工智能等技术的发展，机器视觉技术在各个领域已逐渐被广泛应用。这使得基于机器视觉技术实现汽车仪表的非接触式自动化测试进一步可行。
发明内容
本发明所要解决的技术问题在于提供一种基于机器视觉的汽车仪表自动化检测装置及方法，实现汽车仪表非接触式自动化测试。
本发明是这样实现的，
一种基于机器视觉的汽车仪表自动化检测装置，该装置包括：工控机、设置在测试系统机柜内的传输定位单元、和图像采集视觉构件，其中：所述传输定位单元包括：
载板，承载固定仪表盘，载板底部为空，仪表盘屏幕朝下，全部屏幕露出，载板底部边框留有定位孔；
传送线体，贯穿机柜，其上放置载板，依次循环流转全部测试工位；
阻挡板，设置柜体上传送线体的一侧，在载有仪表盘的载板流入测试装置时阻挡板降下，阻止载板未经测试流出，待测试完成时阻挡板升起，使载板随传送线体流出；
定位支柱，设置在传送线体下方，传送线体载有仪表盘的载板流入测试装置被阻挡板挡住后，定位支柱升起，通过载板定位孔将载板支撑脱离传送线体，完成测试后定位支柱下降，阻挡板升起，载板流出；
夹具探针，待定位支柱支撑载板和仪表盘脱离线体后，夹具探针下降，与仪表盘后壳流出的电源接口、CAN接口接触；
所述图像采集视觉构件设置在传送线体下方，采集仪表盘的图像；
所述工控机，通过CAN卡向仪表盘发送CAN指令，控制仪表屏幕显示，并通过以太网接口控制图像采集视觉构件采集图像，经过图像处理分析，得到各测试项结果。
进一步地，所述图像采集视觉构件包括：
相机，通过以太网与工控机通讯连接；
镜头，采用大横图像工业定焦镜头，与工业相机配套使用；
台架，用于安装固定相机，使相机镜头朝上，相机镜头与仪表盘屏幕具有设置的距离，视野覆盖完整的仪表盘。
一种基于机器视觉的汽车仪表自动化检测方法，包括如下步骤：
S1、被测仪表盘流入装置，阻挡板落下、定位支柱、夹具探针依次动作，夹具探针与被测仪表盘后壳电源接口、通信接口接触；
S2、电源为仪表盘供电，工控机与仪表盘建立CAN通信连接；
S3、工控机通过CAN通信控制仪表盘执行相应显示动作，包括屏幕GRB纯色显示、LED报警灯、LED水温表检测以及LED油量表，并控制图像采集视觉构件完成图像采集分析；
S4、测试完成后，探针上升退出，定位支柱下降，阻挡板升起，载板与仪表盘随线体流出测试装置。
进一步地，屏幕GRB纯色显示的检测包括：
S21、工控机通过CAN通信向被测仪表盘发送分别发送LCD屏幕红/绿/蓝纯色显示指令，并分别拍照保存，保存图片格式为24位BMP格式，R/G/B每个色彩通道8位；
S22、图像去噪，采用中值滤波对图像进行预处理，有效的降低图像噪声，避免后期处理过程中斑点噪声和椒盐噪声对LCD坏点检测的影响；
S23、边缘分割，通过Canny边缘检测算法，从整张图像中分割出LCD显示区域，并从图像中裁剪这一部分做后续处理，分别对上述步骤S21中得到的LCD纯红/绿/蓝显示图片进行边缘分割和裁剪操作，裁剪后图片分别保存为rLCD.png，gLCD.png，bLCD.png；
S24、阈值判断，分别设置像素点R、G、B分量阈值，遍历整张图片统计不满足阈值条件的像素点数目；
S25、结果分析，依据上述统计结果判定仪表屏否存在LCD屏幕显示坏点以及R、G、B三原色显示是否正常，若屏幕存在坏点，则给出坏点区域位置以大小。
进一步地，对于rLCD.png阈值判断判断条件为像素点色彩数据中R分量大于下限阈值，且G、B分量小于上限阈值，对于gLCD.png判断条件为G分量大于下限阈值，R、B分量小于上限阈值；对于bLCD.png判断条件为B分量大于下限阈值，G、R分量小于上限阈值。遍历上述步骤S23裁剪所得的仅LCD显示区域图片，分别将纯红/绿/蓝三张图片不符合判断条件的点数记录数组中。
进一步地，LED报警灯检测，检测的16个LED报警灯分两排在仪表盘的仪表屏两侧显示，测试方法包括样本标定与模板制作、被测仪表图像处理以及通过模板匹配分析检测对比样本与被测仪表图像判断形状或者色彩差异缺陷。
进一步地，样本标定与模板制作包括采集LED报警灯显示正常仪表图片，用矩形框截取全部LED报警灯，分别统计图片中每个LED报警灯亮点个数points1-16以及矩形框坐标position1-16，同时对截取的LED报警灯进行色彩梯度化处理，保存为模板图片，并分别记template1-16。
进一步地，所述被测仪表图像处理包括步骤S31-S33如下：
S31、图像采集，工控机系统测试程序分别向仪表盘发送点亮全部LED报警灯显示指令，并控制相机拍照采集图像。
S32、在待测试图片中，依次用矩形框截取全部16个LED报警灯。
S33、色彩梯度化处理，对经过上述步骤S32处理得到的16张LED报警灯图片分别进行色彩梯度化处理，处理后图片分别记做test1-16；
模板匹配分析检测方法步骤如下：
S34、亮点个数统计，分别统计上述步骤S33处理后16张LED报警灯图片中亮点个数，分别记做light1-16。
S35、模板匹配，分别在上述步骤S33中得到的test i 中搜索模板template i，并记录匹配得分score i ，其中i = 1,2,...16；
S36、分析结果，依次比对上述步骤S34得到的light i 与 points i ，i = 1,2,...16的值，若二者相差超过10%，则判定对应的LED报警灯存在显示缺陷；同时，若上述步骤S35匹配得分小于900，则判定对应的LED报警灯存在形状或者色彩差异缺陷。
进一步地，所述色彩梯度化处理，具体为：24位RGB色彩空间图片，其RGB分量各占8位，大小为0-255，将RGB分量以10为间隔梯度化，处理后R/G/B分量值等于R/G/B分量原始值除10取整数部分再乘10。
进一步地，所述LED水温表以及LED油量表检测的包括：
对规则平行四边形小块LED构成的圆弧型条状显示，LED小块均为白色，针对水温表和油量表的图像处理方法如下：
S41、点亮全部水温表和油量表LED，拍照保存图片，从所得图像分别截取水温表、油量表显示区域保存；
S42、对上述截取后的图片进行均值滤波、手动阈值二值化操作；
S43、使用4邻接连通域法找出图中所有连通域，并在结果中去除与边界相连接的区域；和面积较小的区域；
S44、分别计算上述步骤S43处理过后的所有连通域的区域标记、区域面积、区域周长、区域质心坐标、边界外接矩阵、区域面积和边界外接框面积的比率、区域和外接框之间填充的像素点总数；
S45、与样本均值比对，判断误差是否在均方差以内，进而判断产品是否合格。
本发明与现有技术相比，有益效果在于：
基于机器视觉技术的汽车液晶屏幕自动化检测装置及方法，实现了汽车仪表盘显示缺陷的非接触式自动化测量。通过摄像头采集被测仪表盘图像，测试仪表盘LCD屏幕以及LED显示灯是否存在显示缺陷，减少了人工成本，同时提升了产线运行的自动化程度及效率。产线操作工人不必从事重复枯燥的检测工作，避免了人工检测易出错以及机械机构动作带来的操作工人的安全隐患。测试系统具有条码扫入的功能，可以记录被测仪表的条形码，并生成测试报告。装置无需人工值守，可连续不间断运行。
附图说明
图1为本发明实施例提供的装置结构示意图；
图2为本发明实施例提供的载板结构示意图；
图3为本发明实施例提供的系统测试方法流程图；
图4为本发明实施例提供的仪表LCD纯色显示测试流程图
图5为本发明实施例提供的仪表LED报警灯模板匹配分析流程图；
图6为本发明实施例提供的仪表LED水温表、油量表测试流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例
一种基于机器视觉技术的汽车仪表自动化检测装置如附图1所示，包括工控机、测试系统机柜、传输定位单元、图像采集视觉构件。
所述机柜2，用于放置各个测试设备，分为上中下三层。上层放置电源1、工控机及其相关配件、工控机连接显示器15用于显示检测的内容；中层放置机械运动机构，包括夹具、阻挡板12、定位支柱7、载板6、仪表盘13；下层放置摄像头及其固定台架9。
所述图像采集视觉构件包括：
工业相机10，采用大横图像MER-G-P-500超小型工业数字相机，分辨率为5,000,000像素，帧率为20fps，接口为以太网接口。
镜头，采用大横图像工业定焦镜头，与相机配套使用，500万像素分辨率，焦距为8mm，视场角58.4° x 44.6°（2/3〞）。定焦镜头优势在于对焦速度快，成像质量稳定，颗粒感非常轻微，拍摄清晰细腻，测光也比较准确。
机柜下层为不透光材质形成暗箱8，为仪表盘提供密闭不透光环境，减小光线等外部环境对图像采集的影响。
台架9，用于安装固定相机，相机安装在机柜下层下部，使相机镜头朝上。相机镜头与仪表盘屏幕平面距离约为35cm，视野覆盖完整的仪表盘。
工控机16，系统核心控制单元，操作系统WIN7-64位系统，安装有PCI-CAN卡具有2路CAN通信接口，PCI-DIO卡具有32路数字IO接口。
所述仪表盘及其传输定位单元包括阻挡板、载板、传送线体、仪表盘、定位支柱、夹具、探针，具体如下：
载板6，详见附图2，承载固定仪表盘，载板底部为空17，仪表盘屏幕朝下，全部屏幕露出，便于摄像头对其进行拍照检测。载板底部边框留有定位孔5，定位支柱通过该定位孔支撑载板和仪表盘脱离传送线体，完成测试。
传送线体11，始终往复流动，用于带动其上的载板流经不同测试装置，完成全部测试。
阻挡板12，载有仪表盘的载板流入测试装置时阻挡板降下，阻止载板未经测试流出装置，待测试完成时阻挡板升起，使载板随传送线体流出进入其他测试装置；
定位支柱7，载有仪表盘的载板流入测试装置被阻挡板挡住后，定位支柱升起，通过载板定位孔将载板支撑脱离传送线体，完成测试后定位支柱下降，阻挡板下降，载板流出。
仪表盘13，被测试仪表盘中心为一块8英寸LCD液晶，两侧有两排LED报警灯、LED灯构成的水温表、油量表。
夹具探针，包括夹具3以及夹具夹持的探针4，位于机柜中层，待定位支柱支撑载板和仪表脱离线体后，夹具探针下降，与仪表盘后壳流出的电源接口、CAN接口等接触。夹具探针固定在支撑板上，在支撑板上还设置扫码器14对被检测的仪表进行扫描。
所述工控机16内置有系统测试程序，通过CAN卡向仪表盘发送CAN指令，控制仪表屏幕显示，并通过以太网接口控制摄像头采集图像，经过图像处理分析，得到各测试项结果。系统测试程序保存采集图片，并生成测试报告，方便人员对结果查看。
结合附图1，对装置机械动作进行进一步描述。传送线体11位于系统测试机柜中层底部，且贯穿机柜，依次循环流转全部测试工位。载板6承载固定被测仪表盘13，载有仪表盘的载板经传送线体流经本测试装置时，阻挡板12降下，阻止仪表盘继续随线体流动。随后定位支柱升起，通过载板上的定位孔托起仪表盘并固定。接着夹具3动作，探针4下降与仪表盘后壳电源接口、通信接口接触。上位机系统程序控制电源给仪表盘供电，同时通过CAN卡与仪表盘建立CAN通信连接，通过CAN通信控制仪表执行相应显示动作。视觉构件采集图像，分析处理得到测试结果。待测试完成后，探针上升退出，定位支柱下降，阻挡板升起，载板与仪表盘随线体流出测试装置。
本发明还提供了一种基于机器视觉技术的汽车仪表自动化检测方法，包括仪表LCD屏幕RGB纯色显示测试、仪表LED报警灯检测、LED水温表检测、LED油量表检测，系统测试流程如附图3所示，包括如下步骤：
S1、被测仪表盘流入装置，装置阻挡板、定位支柱、夹具探针依次动作，探针与被测仪表盘后壳电源接口、通信接口接触。
S2、电源为仪表盘供电，工控机与仪表盘建立CAN通信连接。
S3、工控机通过CAN通信控制仪表盘执行相应显示动作，包括屏幕GRB纯色显示、LED报警灯、LED水温表检测以及LED油量表，并控制图像采集视觉构件完成图像采集分析；
S4、测试完成后，探针上升退出，定位支柱下降，阻挡板升起，载板与仪表盘随线体流出测试装置。
如附图4所示，所述仪表LCD屏幕GRB纯色显示测试，其目的在于判断LCD屏幕是否有显示坏点以及纯色显示是否正常，具体测试步骤如下：
S21、工控机通过CAN通信向被测仪表发送分别发送LCD屏幕红/绿/蓝纯色显示指令，并分别拍照保存，保存图片格式为24位BMP格式，R/G/B每个色彩通道8位。
S22、图像去噪，采用中值滤波对图像进行预处理，有效的降低图像噪声，避免后期处理过程中斑点噪声和椒盐噪声对LCD坏点检测的影响。
S23、边缘分割，通过Canny边缘检测算法，从整张图像中分割出LCD显示区域，并从图像中裁剪这一部分做后续处理，分别对上述步骤S21中得到的LCD纯红/绿/蓝显示图片进行边缘分割和裁剪操作，裁剪后图片分别保存为rLCD.png，gLCD.png，bLCD.png。
S24、阈值判断，以上述步骤S23中得到的rLCD.png为例，rLCD.png截取与LCD纯红色图片，判断条件为像素点色彩数据中R分量大于下限阈值(200)，且G、B分量小于上限阈值(80)。对于gLCD.png判断条件为G分量大于下限阈值，R、B分量小于上限阈值；对于bLCD.png判断条件为B分量大于下限阈值，G、R分量小于上限阈值。遍历上述步骤S3裁剪所得的仅LCD显示区域图片，分别将纯红/绿/蓝三张图片不符合判断条件的点数记录数组ePos[3]中。
S25、结果分析，仪表LCD区域大小约为120mm*70mm，其在相机拍照图片中所占大小为1500*800(单位：像素点)，若整个LCD显示器显示区域有超过2mm*2mm的纯色显示错误区域，则判定仪表屏纯色显示不正常，屏幕有坏点。即取阈值100，若ePos[i] > 100 (i = 0,1,2)，则对应仪表屏幕有坏点。
如附图5所示，所述LED报警灯检测，包括对远光灯、前照明灯、左转向、右转向、安全带未系、点火警告、燃油不足、电子驻车制动、ABS等16种，分两排在LCD液晶两侧显示，测试方法包括样本标定与模板制作、被测仪表图像处理、模板匹配分析检测。
样本标定与模板制作，使用显示正常的仪表盘经过该测试装置，点亮全部LED报警灯，拍照保存为样本。分析可得每个LED报警灯所占像素小于40*35，相邻两个LED报警灯间距约为30像素点。用40*35矩形框截取全部16个LED报警灯，并对全部报警灯图片进行色彩梯度化处理，得到大小为45*30的16张模板图片，分别记做template1-16。同时依次统计矩形框内亮点个数记做points1-16，(是否需要取1000个样本统计均值)并记录样本中所有LED报警灯中心位置(裁剪矩形框中心)坐标position1-16。
被测仪表图像处理、模板分析比对测试方法步骤如下：
S31、工控机通过CAN通信向被测仪表盘发送CAN指令，打开全部报警灯，拍照保存待测试图片。
S32、在待测试图片中，用70*50矩形(令矩形中心坐标分别position1-16)依次截取出全部报警灯，得到16张大小为70*50的图片。选用70*50矩形裁剪单个报警灯，其目的在于70*50矩形框可消除由于机械装置以及仪表内部形位误差，完整的包含单个LED报警灯的同时不使相邻的报警灯落入矩形框内部。
S33、色彩梯度化处理，对经过上述步骤S32处理得到的16张图片分别进行色彩梯度化处理，处理后图片分别记做test1-16。
S34、亮点个数统计，背景为黑色，其像素点R/G/B分量范围落在0-10之间。发光点即为LED报警灯亮点，判断像素点R分量或G/B分量值是否大于20，若条件成立，该点即为亮点，计入统计个数。分别遍历上述步骤S33所得图片test1-16得到每张图片的亮点个数，分别记做light1-16。
S35、模板匹配，分别在上述步骤S33中得到的test i 中搜索模板template i，并记录匹配得分score i (i = 1,2,...16)。
S36、分析结果，依次比对上述步骤S34得到的light i 与 points i (i = 1-16)的值，若二者相差超过10%，则判定对应的LED报警灯存在显示缺陷。同时，若上述步骤S35匹配得分小于900，则判定对应的LED报警灯存在形状或者色彩差异缺陷。
步骤S36中所述light i 与 points i (i = 1-16)的值相差10%判定为对应LED报警灯存在现实缺陷，依据在于取1000张显示正常的图片，分别计算统计每个LED报警灯亮点个数，1000个不同仪表盘样本其相同LED报警灯亮点个数误差均小于10%。
上述步骤中所述色彩梯度化处理，具体为：24位RGB色彩空间图片，其RGB分量各占8位，大小为0-255。将RGB分量以10为间隔梯度化，即处理后R/G/B分量值等于R/G/B分量原始值除10取整数部分再乘10。其目的在于减小允许范围内的不同仪表盘个体色彩差异，提高匹配得分。
如附图6所示，所述水温表、油量表检测，主要针对规则平行四边形小块LED构成的圆弧型条状显示，LED小块均为白色，针对水温表和油量表的图像处理方法如下：
S41、点亮全部水温表和油量表LED，拍照保存图片，从所得图像分别截取水温表、油量表显示区域保存。
S42、对上述截取后的图片进行均值滤波、手动阈值二值化操作。
S43、使用4邻接连通域法找出图中所有连通域，并在结果中去除与边界相连接的区域(背景)和面积较小的区域(噪声区域)。
S44、分别计算上述步骤S43处理过后的所有连通域的区域标记、区域面积、区域周长、区域质心坐标、边界外接矩阵、区域面积和边界外接框面积的比率、区域和外接框之间填充的像素点总数。
检测针对水温表和油量表是否显示正常，需要对显示正常的仪表盘产品事先进行定量分析。取前期经过人工测试显示正常的1000块仪表屏幕测试图片样本，对样本图片进行上述针对水温表和油量表的图像处理，统计全部样本如下参量的均值、均方差：连通域的区域面积、区域周长、区域质心坐标、区域面积和边界外接框面积的比率、区域和外接框之间填充的像素点总数。
检测针对水温表和油量表是否显示正常，点亮待测试仪表全部水温表和油量表LED，拍照保存测试图片。对测试图片进行上述针对水温表和油量表的图像处理，将得到的连通域的区域面积、区域周长、区域质心坐标、区域面积和边界外接框面积的比率、区域和外接框之间填充的像素点总数参量与样本均值相比较，判断误差是否在均方差以内，进而判断产品是否合格。
综上所述，基于机器视觉技术的汽车液晶屏幕自动化检测装置及方法，实现了汽车仪表盘显示缺陷的非接触式自动化测量。通过摄像头采集被测仪表盘图像，测试仪表盘LCD屏幕以及LED显示灯是否存在显示缺陷，减少了人工成本，同时提升了产线运行的自动化程度及效率。产线操作工人不必从事重复枯燥的检测工作，避免了人工检测易出错以及机械机构动作带来的操作工人的安全隐患。测试系统具有条码扫入的功能，可以记录被测仪表的条形码，并生成测试报告。装置无需人工值守，可连续不间断运行。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于机器视觉的汽车仪表自动化检测方法，其特征在于，包括如下步骤：
S1、被测仪表盘流入装置，阻挡板下降、定位支柱、夹具探针依次动作，夹具探针与被测仪表盘后壳电源接口、通信接口接触；
S2、电源为仪表盘供电，工控机与仪表盘建立CAN通信连接；
S3、工控机通过CAN通信控制仪表盘执行相应显示动作，包括屏幕GRB纯色显示、LED报警灯、LED水温表检测以及LED油量表，并控制图像采集视觉构件完成图像采集分析；
S4、测试完成后，探针上升退出，定位支柱下降，阻挡板升起，载板与仪表盘随线体流出测试装置；
屏幕GRB纯色显示的检测包括：
S21、工控机通过CAN通信向被测仪表盘发送分别发送LCD屏幕红/绿/蓝纯色显示指令，并分别拍照保存，保存图片格式为24位BMP格式，R/G/B每个色彩通道8位；
S22、图像去噪，采用中值滤波对图像进行预处理，有效的降低图像噪声，避免后期处理过程中斑点噪声和椒盐噪声对LCD坏点检测的影响；
S23、边缘分割，通过Canny边缘检测算法，从整张图像中分割出LCD显示区域，并从图像中裁剪这一部分做后续处理，分别对上述步骤S21中得到的LCD纯红/绿/蓝显示图片进行边缘分割和裁剪操作，裁剪后图片分别保存为rLCD.png，gLCD.png，bLCD.png；
S24、阈值判断，分别设置像素点R、G、B分量阈值，遍历整张图片统计不满足阈值条件的像素点数目；
S25、结果分析，依据上述统计结果判定仪表屏否存在LCD屏幕显示坏点以及R、G、B三原色显示是否正常，若屏幕存在坏点，则给出坏点区域位置以大小；对于rLCD.png阈值判断判断条件为像素点色彩数据中R分量大于下限阈值，且G、B分量小于上限阈值，对于gLCD.png判断条件为G分量大于下限阈值，R、B分量小于上限阈值；对于bLCD.png判断条件为B分量大于下限阈值，G、R分量小于上限阈值;遍历上述步骤S23裁剪所得的仅LCD显示区域图片，分别将纯红/绿/蓝三张图片不符合判断条件的点数记录数组中；
LED报警灯检测，检测的16个LED报警灯分两排在仪表盘的仪表屏两侧显示，测试方法包括样本标定与模板制作、被测仪表图像处理以及通过模板匹配分析检测对比样本与被测仪表图像判断形状或者色彩差异缺陷；
所述LED水温表以及LED油量表检测的包括：
对规则平行四边形小块LED构成的圆弧型条状显示，LED小块均为白色，针对水温表和油量表的图像处理方法如下：
S41、点亮全部水温表和油量表LED，拍照保存图片，从所得图像分别截取水温表、油量表显示区域保存；
S42、对上述截取后的图片进行均值滤波、手动阈值二值化操作；
S43、使用4邻接连通域法找出图中所有连通域，并在结果中去除与边界相连接的区域和面积较小的区域；
S44、分别计算上述步骤S43处理过后的所有连通域的区域标记、区域面积、区域周长、区域质心坐标、边界外接矩阵、区域面积和边界外接框面积的比率、区域和外接框之间填充的像素点总数；
S45、与样本均值比对，判断误差是否在均方差以内，进而判断产品是否合格。
2.按照权利要求1所述的方法，其特征在于，
样本标定与模板制作包括采集LED报警灯显示正常仪表图片，用矩形框截取全部LED报警灯，分别统计图片中每个LED报警灯亮点个数points1-16以及矩形框坐标position1-16，同时对截取的LED报警灯进行色彩梯度化处理，保存为模板图片，并分别记template1-16。
3.按照权利要求2所述的方法，其特征在于，
所述被测仪表图像处理包括步骤S31-S33如下：
S31、图像采集，工控机系统测试程序分别向仪表盘发送点亮全部LED报警灯显示指令，并控制相机拍照采集图像;
S32、在待测试图片中，依次用矩形框截取全部16个LED报警灯;
S33、色彩梯度化处理，对经过上述步骤S32处理得到的16张LED报警灯图片分别进行色彩梯度化处理，处理后图片分别记做test1-16；
模板匹配分析检测方法步骤如下：
S34、亮点个数统计，分别统计上述步骤S33处理后16张LED报警灯图片中亮点个数，分别记做light1-16;
S35、模板匹配，分别在上述步骤S33中得到的test i 中搜索模板template i，并记录匹配得分score i ，其中i = 1,2,...16；
S36、分析结果，依次比对上述步骤S34得到的light i 与 points i ，i = 1,2,...16的值，若二者相差超过10%，则判定对应的LED报警灯存在显示缺陷；同时，若上述步骤S35匹配得分小于900，则判定对应的LED报警灯存在形状或者色彩差异缺陷。
4.按照权利要求2所述的方法，其特征在于，所述色彩梯度化处理，具体为：24位RGB色彩空间图片，其RGB分量各占8位，大小为0-255，将RGB分量以10为间隔梯度化，处理后R/G/B分量值等于R/G/B分量原始值除10取整数部分再乘10。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910404532.4A CN110044405B (zh) | 2019-05-16 | 2019-05-16 | 一种基于机器视觉的汽车仪表自动化检测装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910404532.4A CN110044405B (zh) | 2019-05-16 | 2019-05-16 | 一种基于机器视觉的汽车仪表自动化检测装置及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110044405A CN110044405A (zh) | 2019-07-23 |
| CN110044405B true CN110044405B (zh) | 2023-12-05 |
Family
ID=67282125
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910404532.4A Active CN110044405B (zh) | 2019-05-16 | 2019-05-16 | 一种基于机器视觉的汽车仪表自动化检测装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110044405B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110738651B (zh) * | 2019-10-17 | 2022-07-01 | 国网四川省电力公司电力科学研究院 | 一种多模态多目标下的动态指示灯批量检测方法 |
| CN110853031B (zh) * | 2019-11-20 | 2023-04-11 | 航天科技控股集团股份有限公司 | 汽车组合仪表指示灯点亮的排他检测方法 |
| CN110864881B (zh) * | 2019-11-27 | 2021-03-16 | 航天科技控股集团股份有限公司 | 基于视觉系统的指示灯正确性检测方法 |
| CN111127410B (zh) * | 2019-12-13 | 2023-04-25 | 南京工程学院 | 一种汽车仪表盘印刷瑕疵的自动检测方法 |
| CN111428563B (zh) * | 2020-02-25 | 2022-04-01 | 吉林大学 | 一种汽车全液晶仪表图像识别方法 |
| CN111239158A (zh) * | 2020-03-13 | 2020-06-05 | 苏州鑫睿益荣信息技术有限公司 | 一种基于机器视觉的汽车仪表盘检测系统和检测方法 |
| CN112078364B (zh) * | 2020-08-05 | 2022-07-01 | 东风电驱动系统有限公司 | 基于uart的tft屏报警灯自检方法及系统 |
| CN111948208A (zh) * | 2020-08-13 | 2020-11-17 | 东风电子科技股份有限公司 | 实现仪表视觉识别的自动化检测系统 |
| CN112215816B (zh) * | 2020-10-13 | 2024-01-30 | 四川极速智能科技有限公司 | 一种生产线中显示器故障的实时检测方法、存储介质和装置 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006201523A (ja) * | 2005-01-20 | 2006-08-03 | Nec Saitama Ltd | 液晶表示パネルの検査方法および検査装置 |
| CN202255888U (zh) * | 2011-08-24 | 2012-05-30 | 重庆延锋江森汽车部件系统有限公司 | 仪表全自动照相检测设备 |
| CN104200775A (zh) * | 2014-09-22 | 2014-12-10 | 西安电子科技大学 | Led坏点处理方法 |
| CN105091927A (zh) * | 2015-08-20 | 2015-11-25 | 浙江中科领航汽车电子有限公司 | 全液晶汽车仪表自动化测试平台 |
| CN105588598A (zh) * | 2014-10-21 | 2016-05-18 | 郑州精益达汽车零部件有限公司 | 一种基于机器视觉的汽车仪表自动化检测设备 |
| CN106855421A (zh) * | 2017-01-17 | 2017-06-16 | 中国第汽车股份有限公司 | 一种基于机器视觉的汽车仪表自动化测试系统及测试方法 |
| CN107765463A (zh) * | 2017-10-13 | 2018-03-06 | 上海友衷科技有限公司 | 一种仪表盘液晶屏的检测方法 |
| CN208303255U (zh) * | 2018-01-19 | 2019-01-01 | 深圳市海目星激光智能装备股份有限公司 | 一种产品检测流水线 |
| CN109119009A (zh) * | 2017-06-26 | 2019-01-01 | 深圳回收宝科技有限公司 | 屏幕缺陷检测方法、检测设备、系统及存储介质 |
| CN109211529A (zh) * | 2018-08-10 | 2019-01-15 | 江苏传艺科技股份有限公司 | 键盘led检测设备及检测方法 |
| CN109542041A (zh) * | 2019-01-07 | 2019-03-29 | 吉林大学 | 一种基于汽车双屏检测的自动化装置 |
| CN209673131U (zh) * | 2019-05-16 | 2019-11-22 | 吉林大学 | 一种汽车仪表自动化检测装置 |
-
2019
- 2019-05-16 CN CN201910404532.4A patent/CN110044405B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006201523A (ja) * | 2005-01-20 | 2006-08-03 | Nec Saitama Ltd | 液晶表示パネルの検査方法および検査装置 |
| CN202255888U (zh) * | 2011-08-24 | 2012-05-30 | 重庆延锋江森汽车部件系统有限公司 | 仪表全自动照相检测设备 |
| CN104200775A (zh) * | 2014-09-22 | 2014-12-10 | 西安电子科技大学 | Led坏点处理方法 |
| CN105588598A (zh) * | 2014-10-21 | 2016-05-18 | 郑州精益达汽车零部件有限公司 | 一种基于机器视觉的汽车仪表自动化检测设备 |
| CN105091927A (zh) * | 2015-08-20 | 2015-11-25 | 浙江中科领航汽车电子有限公司 | 全液晶汽车仪表自动化测试平台 |
| CN106855421A (zh) * | 2017-01-17 | 2017-06-16 | 中国第汽车股份有限公司 | 一种基于机器视觉的汽车仪表自动化测试系统及测试方法 |
| CN109119009A (zh) * | 2017-06-26 | 2019-01-01 | 深圳回收宝科技有限公司 | 屏幕缺陷检测方法、检测设备、系统及存储介质 |
| CN107765463A (zh) * | 2017-10-13 | 2018-03-06 | 上海友衷科技有限公司 | 一种仪表盘液晶屏的检测方法 |
| CN208303255U (zh) * | 2018-01-19 | 2019-01-01 | 深圳市海目星激光智能装备股份有限公司 | 一种产品检测流水线 |
| CN109211529A (zh) * | 2018-08-10 | 2019-01-15 | 江苏传艺科技股份有限公司 | 键盘led检测设备及检测方法 |
| CN109542041A (zh) * | 2019-01-07 | 2019-03-29 | 吉林大学 | 一种基于汽车双屏检测的自动化装置 |
| CN209673131U (zh) * | 2019-05-16 | 2019-11-22 | 吉林大学 | 一种汽车仪表自动化检测装置 |
Non-Patent Citations (1)
| Title |
|---|
| 基于机器视觉的汽车组合仪表检测系统的设计与实现;王少君;《中国优秀硕士学位论文全文数据库信息科技辑》(第01期);第I138-1092页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110044405A (zh) | 2019-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110044405B (zh) | 一种基于机器视觉的汽车仪表自动化检测装置及方法 | |
| CN107843599B (zh) | 一种基于aoi的面板检测判等方法与装置 | |
| CN104749184B (zh) | 自动光学检测方法和系统 | |
| JP5228490B2 (ja) | 画像解析によって欠陥検査を行う欠陥検査装置 | |
| EP0868705B1 (en) | Boundary mapping system and method | |
| CN109100363A (zh) | 一种贴合异物缺陷与灰尘的区分方法及系统 | |
| JP6348289B2 (ja) | 検査装置および検査方法 | |
| CN105812790B (zh) | 图像传感器感光面与光轴垂直度的评测方法及光学测试卡 | |
| US20070115464A1 (en) | System and method for inspection of films | |
| CN111812103A (zh) | 一种图像采集装置、视觉检测系统及检测点提取方法 | |
| CN108445010A (zh) | 自动光学检测方法及装置 | |
| CN114119591A (zh) | 一种显示屏画面质量检测方法 | |
| CN112304969A (zh) | 显示模块检测设备、方法、装置及系统和存储介质 | |
| CN113176275A (zh) | 一种用于显示面板复检的方法、装置及系统 | |
| CN111474748A (zh) | 一种大尺寸lcd显示模组机器视觉检查方法与系统 | |
| CN116256366A (zh) | 一种芯片缺陷的检测方法、检测系统及存储介质 | |
| JPH11132720A (ja) | 点欠陥検出装置及び方法 | |
| CN114486902B (zh) | 质量检测系统和方法 | |
| CN115713491A (zh) | 液晶显示面板缺陷检测方法、装置及电子设备 | |
| KR20190108805A (ko) | 대상물의 결함 발생 유무를 검사하는 비전검사기 및 그 검사방법 | |
| CN114383815A (zh) | 一种显示屏像素失控点快速检测方法 | |
| CN114663341A (zh) | 一种光学镜头眩光缺陷定量检测方法 | |
| CN113376183A (zh) | 一种玻璃缺陷检测方法、系统及设备 | |
| CN112669272A (zh) | 一种aoi快速检测方法及快速检测系统 | |
| CN212321466U (zh) | 一种图像采集装置及视觉检测系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200917 Address after: Room 511, 5th floor, Area A, 2499 Weishan Road, Changchun High-tech Development Zone, Jilin Province, 130000 Applicant after: JILIN University SCIENCE AND TECHNOLOGY PARK DEVELOPMENT CENTER Address before: 130012 Chaoyang District Qianjin Street, Jilin, China, No. 2699, No. Applicant before: Jilin University |
|
| TA01 | Transfer of patent application right |
Effective date of registration: 20210621 Address after: Room 801, 8th floor, building b1-1, Beihu science and Technology Park, 3333 Shengbei street, Gaoxin North District, Changchun City, Jilin Province, 130000 Applicant after: Jilin Jida Incubator Co.,Ltd. Address before: Room 511, 5th floor, Area A, 2499 Weishan Road, Changchun High-tech Development Zone, Jilin Province, 130000 Applicant before: JILIN University SCIENCE AND TECHNOLOGY PARK DEVELOPMENT CENTER |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210730 Address after: 130000 room 442, 4th floor, haichuanghui Changchun innovation center, No. 3333, Silicon Valley Street, high tech Industrial Development Zone, Changchun City, Jilin Province Applicant after: Jilin Yugong Intelligent Technology Co.,Ltd. Address before: Room 801, 8th floor, building b1-1, Beihu science and Technology Park, 3333 Shengbei street, Gaoxin North District, Changchun City, Jilin Province, 130000 Applicant before: Jilin Jida Incubator Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231223 Address after: 130012 No. 2699 Qianjin Street, Changchun, Jilin, Chaoyang District Patentee after: Jilin University Patentee after: Jilin Yugong Intelligent Technology Co.,Ltd. Address before: 130000 room 442, 4th floor, haichuanghui Changchun innovation center, No. 3333, Silicon Valley Street, high tech Industrial Development Zone, Changchun City, Jilin Province Patentee before: Jilin Yugong Intelligent Technology Co.,Ltd. |