CN211856402U - 一种基于机器视觉的汽车仪表盘检测系统 - Google Patents

Abstract

本发明公开了一种基于机器视觉的汽车仪表盘检测系统，该系统包括：上位机，电控单元，1‑3号可见光相机，仪表盘检测装置，IO模块，CAN总线，仪表盘检测软件。上位机通过IO模块发送控制指令到电控单元并控制可见光相机开机，电控单元处理数据后通过MCU模块控制仪表盘各部分显示相应状态。可见光相机通过IO模块与仪表盘实现计数同步，保证仪表盘显示状态发生变化的同时相应位置可见光相机进行抓拍，并将拍摄图片转化成数字信号传送给仪表盘检测软件，软件对图片进行处理后与数据库中相关指令进行比对。最终将是否合格的信号传给报警器，不合格则报警。

Description

一种基于机器视觉的汽车仪表盘检测系统

技术领域

本实用新型涉及机器视觉技术领域，特别涉及一种基于机器视觉的汽车仪表盘检测系统。

背景技术

自上世纪末汽车诞生至今已有一百多年的历史。作为汽车重要零部件之一，汽车仪表盘技术取得了极大的发展。可靠的仪表盘能够快速准确地显示车辆信息，使得驾驶员能够实时了解车辆的工作状态，对于车辆驾驶的安全有着极其重要的意义。随着电子技术的发展，汽车仪表盘已不仅限于显示车速，转速等基础性功能，越来越复杂的功能以及更高的精度和灵敏度给仪表盘检测带来了更高的要求。

传统的汽车仪表盘测试采用人工检测对仪表盘显示状态正确与否进行测试，但人工检测受到诸多客观因素的影响，存在检测效率低下，检测员易疲劳等问题，难以满足工业仪表检测对效率与精度的需求。随着机器视觉及图像处理技术的不断发展，以及自动化测试在工业生产中的不断普及，机器视觉智能读数成为了发展的方向。机器视觉通过感光元件感知光信号，不影响仪表的正常工作，与机器硬件软件配合可以持续稳定运行，不会因长时间工作而出现错误率较高的问题。

申请号为CN201610629777.3的专利提出了一种非接触式汽车仪表盘测试系统及方法，采用摄像头采集图像，通过计算机发送指令并进行测试。该专利解决了人工造成的误判和效率低下问题，但缺点在于并未给出具体的检测装置设计方案；申请号为CN201920370593.9提供了一种汽车仪表盘检测装置，结构合理，但该装置缺点在于并未采用电力驱动，需要检测人员手工进行操作且检测内容较少；申请号为CN201610021890.3公开了一种汽车仪表盘检测台，该检测台采用电力驱动工装架使汽车仪表盘做360°旋转，同时用机械手带动相机运动对仪表盘各个部分及角度进行检测。该专利优点在于采用电力驱动操作简单，可对仪表盘各部分进行检测；但其缺点在于仪表盘与相机均需位移，设计太过复杂，不能同时对仪表盘各部分进行并行检测；为改进上述问题，本专利研究设计了一种基于机器视觉的汽车仪表盘自动检测系统。

实用新型内容

本实用新型解决的技术问题是提供一种基于机器视觉的汽车仪表盘检测系统，用于解决汽车仪表盘人工检测效率低下的问题。

本实用新型解决其技术问题所采用的技术方案是：一种基于机器视觉的汽车仪表盘检测系统，包括，

相机固定检测装置，所述相机固定检测装置包括工作台和设置在工作台上的焦距调整模组、滑轨、水平移转平台、镜头支架和用于放置待测仪表盘的仪表盘滑台冶具，所述镜头支架固定在水平移转平台上，所述水平移转平台固定在焦距调整模组上，可由焦距调整模组控制水平移转平台上下移动，用以调节相机与待测仪表盘的距离；所述滑轨设置在工作台上，还包括设置在滑轨上的仪表盘滑台冶具；

检测相机，固定在镜头支架上，所述检测相机的镜头向下且与待测仪表盘保持垂直，所述检测相机可针对待测仪表盘相关状态变化做到同步拍摄；

上位机，用于发送控制指令待测仪表盘显示状态，控制检测相机对仪表盘进行图像采集和处理，还包括与上位机连接的报警器，用于接收上位机发出的是否合格的信号；

IO模块，所述上位机，待检测仪表盘和检测相机通过IO模块链接，实现状态信号在上位机与待检测仪表盘、之间的交互，控制相机拍摄仪表盘状态变化，并将图像传送至检测软件，实现系统的联通。

进一步的是：所述仪表盘滑台冶具包括滑块、冶具底板、定位台阶和两个拉动把手，所述冶具底板通过滑块设置在滑轨上并可通过滑块在滑轨上位移，所述两个拉动把手左右分布在冶具底板上，所述冶具底板上还分布有4个用于固定仪表盘定位台阶。

进一步的是：所述焦距调整模组包括第一焦距调整模组和第二焦距调整模组，所述第一焦距调整模组和第二焦距调整模组分别位于仪表盘滑台冶具两侧，

所述水平移转平台包括第一水平移转平台和第二水平移转平台，

所述检测相机包括第一检测相机、第二检测相机和第三检测相机，所述第一检测相机和第二检测相机设置在第一水平移转平台上，所述第三检测相机设置在第二水平移转平台上。

进一步的是：所述第一焦距调整模组和第二焦距调整模组包括移转平台支架和驱动移转平台支架做升降运动的直线模组，所述直线模组底部设置有用作驱动源的驱动电机，还包括设置在直线模组侧面用于检测移转平台支架位置的传感器。

进一步的是：所述移转平台包括X向电机、X向滑台、Y向滑台、支架固定孔、平台导轨、Y向电机和信号接口，所述信号接口设置在X向电机和Y向电机电机一侧，用于接收信号指令控制X向电机和Y向电机电机运转，所述X向电机和Y向电机通过平台导轨与X向滑台和Y向滑台向连，分别驱动X向滑台和Y向滑台在平台导轨上沿X,Y向位移，所述Y向滑台位于X向滑台顶部位置，所述Y向滑台上设置有所述镜头支架。

本实用新型还公开了一种基于机器视觉的汽车仪表盘检测方法，包括：

第一步：建立数据库，所述数据库内包括仪表盘内待检测特征的合格信息；

第二步：上位机以设定频率控制待测仪表盘显示相应的信息，并控制检测相机到达目标区域；

第三步：待测仪表盘工作的同时上位机控制相机以设定的频率和次数抓拍仪表盘图像，包括仪表指针图像、指示图标图像和TFT液晶显示屏图像，并将图像反馈给仪表盘检测模块，相机进入等待状态；

第四步：仪表盘检测模块对图片进行预处理、图像特征提取及图像识别，所述图像预处理包括图像增强、图像分割、灰度化处理和二值化处理；

第五步：仪表盘检测模块将预处理后的信息与数据库内的合格信息进行比对，并将结果进行保存并回传报警器，若不合格则报警。

进一步的是：上述步骤四中，当对仪表指针图像进行处理时；

第一，在确定仪表指针读数时采用Hough变换提取仪表指针直线，接着采用图像分割法提取指针两侧矩形区域，然后采用支持向量机算法识别指针两侧数字，根据指针到两侧示数的刻度距离判断指针读数；

第二，在进行指示灯亮灭情况判断时，在预处理采集到的指示灯图片时，需要先对提取的彩色图片进行灰度化处理，得到灰度图后，为分割目标与背景，需进一步进行二值化处理。通过Otsu算法设定阈值将像素点分为两部分，由于检测环境在黑暗中进行，当指示灯点亮时亮度较高，可以快速准确地检测出指示灯的亮灭，根据仪表指示灯交替亮灭的时间间隔可以推算出指示灯的闪烁频率。

进一步的是：上述步骤四中，当对指示图标图像进行处理时，对于静止图标，采用Hu不变矩方法提取指示灯特征识别，对于浮动图标，采用YOLO V3算法训练神经网络进行识别，通过通过Otsu算法设定阈值将像素点分为两部分来检测指示灯的亮灭。

进一步的是：上述步骤四中，当对TFT液晶显示屏图像进行处理时，采用OCR技术识别显示屏上的文字和字符。

本实用新型的有益效果是：

1、设计了基于三相机的仪表盘图像采集系统，三部检测相机同时对仪表盘各个部分进行清晰准确拍摄，减少了后期进行图像分割对拍摄质量的影响，提高了拍摄效率和精度；

2、三部检测相机均可通过电力驱动实现竖直水平方向的位移，可以使检测相机快速准确地到达指定拍摄位置，同时待检测仪表盘可通过滑轨和滑块进行位移，极大地提高了整套系统操作的灵活性；

3、设计软件辅助定位法，根据拍摄区域与目标区域的相对位置提示相机的移动方向，当相机到达指定拍摄位置时，辅助框由红色变为绿色，表示可以进行拍摄，可以帮助相机快速准确定位；

4、设计读数算法仿照人眼读数习惯，先读取指针，然后进行图像分割提取指针周围狭长的矩形区域，使用支持向量机算法读取指针周围数字，计算指针到两侧数字刻度距离，仅需拍摄一次即可准确读取示数，提高了检测的准确度及精度；

5、仪表盘上的指示图标分为浮动图标和静止图标。浮动图标因为其图标位置会随显示内容发生变化，Hu不变矩算法无法得到结果，而最新的YOLO V3算法可以实时识别浮动图标，且识别精度较高，若将全部图标均采用YOLO V3算法进行识别则训练神经网络太为复杂，故针对静止图标本专利采用Hu不变矩方法进行识别；

6、仪表盘贴饰是仪表盘重要组成部分，贴饰是否准确裁切，材料透光率是否达到要求，是否因外力导致贴饰发生移位直接关系到仪表盘能否正确显示。传统仪表盘检测方案只注重于指针与指示灯的识别而忽略检测仪表盘贴饰，本专利结合检测结果对仪表盘贴饰错误进行了分析；

附图说明

图1是本专利汽车仪表盘自动检测系统的整体结构示意图；

图2是本专利汽车仪表盘自动检测系统的相机焦距调整模组示意图；

图3是本专利汽车仪表盘自动检测系统的相机水平移转平台示意图；

图4是本专利汽车仪表盘自动检测系统的仪表盘滑台冶具示意图；

图5是本专利汽车仪表盘自动检测系统的相机示意图；

图6是本专利汽车仪表盘自动检测系统的相机支架示意图；

图7是本专利汽车仪表盘自动检测系统的指示图标检测流程图；

图8是本专利汽车仪表盘自动检测系统的指针仪表检测流程图；

图9是本专利汽车仪表盘自动检测系统的总体框图；

图10是汽车仪表盘检测方法示意图

图中标记为：

1-待测仪表盘，2-工作台，3-第二焦距调整模组，4-检测相机，5-镜头支架、6-第一水平移转平台，7-第一焦距调整模组,8-第二水平移转平台，9-仪表盘滑台冶具，10-滑轨；

21-驱动电机，22-移转平台支架，23-直线模组，24-传感器；

31-X向电机，32-X向滑台，33-Y向滑台，34-支架固定孔，35-平台导轨，36-Y向电机，37-信号接口；

41-滑块，42-冶具底板，43-定位台阶，44-拉动把手，45-导轨固定孔；

51-调焦器，52-固定螺丝，53-指示灯，54-数据线接口，55-电源线接口，56-相机外壳；

具体实施方式

为使本实用新型的上述目的、特征和优点能够更加明显易懂，下面结合附图对本实用新型的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本实用新型。但是本实用新型能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本实用新型内涵的情况下做类似改进，因此本实用新型不受下面公开的具体实施例的限制。

如图1和图9所示的一种基于机器视觉的汽车仪表盘检测系统，包括，

相机固定检测装置，所述相机固定检测装置包括工作台2和设置在工作台2上的焦距调整模组、滑轨10、水平移转平台、镜头支架5和用于放置待测仪表盘1的仪表盘滑台冶具9，所述镜头支架5固定在水平移转平台上，所述水平移转平台固定在焦距调整模组上，可由焦距调整模组控制水平移转平台上下移动，用以调节相机与待测仪表盘1的距离；所述滑轨10设置在工作台2上，还包括设置在滑轨10上的仪表盘滑台冶具9；

检测相机4，固定在镜头支架5上，所述检测相机4的镜头向下且与待测仪表盘1保持垂直，所述检测相机4可针对待测仪表盘1相关状态变化做到同步拍摄；

上位机，用于发送控制指令待测仪表盘1显示状态，控制检测相机4对仪表盘进行图像采集和处理，还包括与上位机连接的报警器，用于接收上位机发出的是否合格的信号；

IO模块，所述上位机，待检测仪表盘和检测相机4通过IO模块链接，实现状态信号在上位机与待检测仪表盘、之间的交互，控制相机拍摄仪表盘状态变化，并将图像传送至检测软件，实现系统的联通；

具体工作时，上位机发送控制命令控制仪表盘的工作状态并控制检测相机4运动弄至指定区域，同时检测相机4对仪表盘的图像进行采集，将图像传送给仪表盘检测软件进行图像预处理，图像特征提取及图像识别，输出识别结果并传给报警器。

具体使用时，在检测仪表过程中，需要选择正确的电控驱动，不仅需要为汽车仪表进行供电，还需要将上位机传送的指令转化为仪表盘可以识别的信息，实现对仪表的控制，本专利选择Kavaser USBcan Professional通信线路，支持CAN协议，同时可以在多种操作系统下使用，同时，在采集图像时，若采集到的图像模糊不清则会加大图像处理的难度，同时极大降低检测的准确性，因此需要采用合适的图像采集单元，本检测系统中的检测相机4采用USB接口的数字相机，可以通过USB接口直接将采集到的图像信息转化为数字信号传送给上位机，由于根据图像传感器24类型不同相机可分为CCD相机和CMOS相机。随着技术的进步，CMOS芯片在很多领域已经超过了CCD。其具有较高分辨率，较高帧速率，且功耗较低，噪声表现与效率有所改善，相较于CCD而言性价比出众，新的CMOS技术与USB3.0接口相结合，使得CMOS相机越来越多地应用于工业领域，故本检测系统选用CMOS工业相机进行图像采集，相机的分辨率为垂直与水平方向像素点数的乘积，其大小直接反映了拍摄的清晰程度，也极大关系到整个测量系统的精度。相机的帧率是指单位时间内拍摄数量。帧率过低会降低检测效率，过高则对系统配置要求较高。为保证检测系统的检测效率与准确率，应选择帧率和分辨率较高的数字相机。综上，我们选择DAHENG_DH-HV1310FM工业相机，如图5所示，该工业相机包括调焦器51、固定螺丝52，指示灯53、数据线接口54、电源线接口55、相机外壳56几部分。调焦器用于调整相机焦距，该相机分辨率为1280*1024，最大分辨率下帧率为18.6fps,图像采集方式多样化且能在Windows等多种操作系统下使用；在识别仪表盘信息时，若检测相机4安装的位置及角度存在偏差，则会给识别过程造成极大的误差。而通过人眼观察很难达到准确安装。为保证检测相机4安装位置的精确，通过相应的辅助程序来确保检测相机4的准确安装。

具体的，如图4所示，所述仪表盘滑台冶具9包括滑块41、冶具底板42、定位台阶43和两个拉动把手44，所述冶具底板42通过滑块41设置在滑轨10上并可通过滑块41在滑轨10上位移，所述两个拉动把手44左右分布在冶具底板42上，所述冶具底板42上还分布有4个用于固定仪表盘定位台阶43，此种设置可方便调整冶具底板42的位置，方便检测相机4与待检测仪表盘对焦；

如图2所示，所述焦距调整模组包括第一焦距调整模组7和第二焦距调整模组3，所述第一焦距调整模组7和第二焦距调整模组3分别位于仪表盘滑台冶具9两侧，所述水平移转平台包括第一水平移转平台6和第二水平移转平台8，所述检测相机4包括第一检测相机4、第二检测相机4和第三检测相机4，所述第一检测相机4和第二检测相机4设置在第一水平移转平台6上，所述第三检测相机4设置在第二水平移转平台8上，具体使用时，第一检测相机4用来拍摄车速表与燃油表，第二检测相机4用来拍摄转速表与水温表，第三检测相机4用来拍摄TFT显示屏及指示灯，所述第一焦距调整模组7和第二焦距调整模组3包括移转平台支架22和驱动移转平台支架22做升降运动的直线模组23，所述直线模组23底部设置有用作驱动源的驱动电机21，还包括设置在直线模组23侧面用于检测移转平台支架22位置的传感器24，所述传感器24可为激光传感器24或光电传感器24等，用于接收相关指令，控制移转平台支架22升降；

如图3所示，所述移转平台包括X向电机31、X向滑台32、Y向滑台33、支架固定孔34、平台导轨35、Y向电机36和信号接口37，所述信号接口37设置在X向电机31和Y向电机36电机一侧，用于接收信号指令控制X向电机31和Y向电机36电机运转，所述X向电机31和Y向电机36通过平台导轨35与X向滑台32和Y向滑台33向连，分别驱动X向滑台32和Y向滑台33在平台导轨35上沿X,Y向位移，所述Y向滑台33位于X向滑台32顶部位置，所述Y向滑台33上设置有所述镜头支架5。

在安装指针式仪表盘检测相机4(包括车速表，转速表，水温表，燃油表)时，将检测相机4与表盘面垂直放置，此时摄入的表盘应为正圆图像，计算机辅助程序生成边长与表盘直径相同的虚拟正方形辅助框，若未达到安装要求，辅助框为红色，并根据表盘与正方形辅助框的相对位置提示检测相机4的移动方向；通过焦距调整模组和水平移转平台不断调整相机位置，若表盘图像与虚拟正方形框四条边均相交时，辅助框由红色变为绿色，表示安装成功；在检测仪表盘图像时，若检测相机4安装的位置或角度存在偏差，则可能会导致图标识别不准确或字符信息无法识别的问题，因此检测相机4及待测仪表盘1安装位置一定要精确，计算机辅助程序自动生成一个和TFT显示屏等面积的矩形框，然后计算算法检测到的仪表面积与矩形框的重叠面积，并根据重叠部分与矩形框的相对位置提示检测相机4的移动方向，若完全重叠则矩形框辅助线颜色由红色变为绿色，表示检测相机4已准确安装。

本实用新型还公开了一种基于机器视觉的汽车仪表盘检测方法，包括：

第一步：建立数据库，所述数据库内包括仪表盘内待检测特征的合格信息；

第二步：上位机以设定频率控制待测仪表盘1显示相应的信息，并控制检测相机4到达目标区域；

第三步：待测仪表盘1工作的同时上位机控制相机以设定的频率和次数抓拍仪表盘图像，包括仪表指针图像、指示图标图像和TFT液晶显示屏图像，并将图像反馈给仪表盘检测模块，相机进入等待状态；

第四步：仪表盘检测模块对图片进行预处理、图像特征提取及图像识别；

第五步：仪表盘检测模块将预处理后的信息与数据库内的合格信息进行比对，并将结果进行保存并回传报警器，若不合格则报警。

检测时，汽车仪表盘常见故障可分为如下几个方面：

(1)指针读数显示故障，指针未按照相关指令运动到正确读数位置；

(2)液晶显示屏显示故障，各类信息如车速、油耗、温度等未按照指令正确显示，文字及字符部分存在错显或漏显情况；

(3)指示灯部分未按照相关指令显示相应的状态及显示灯颜色信息不正确；

(4)仪表盘贴饰由于印刷错误或发生移位现象导致仪表盘显示错误；

具体的，当对仪表指针图像进行处理时，先进行步骤四所述的图像预处理，具体可包括图像增强、图像分割、灰度化处理和二值化处理；

具体的，先将仪表盘彩色图像转化为灰色图像，可以有效减少后续图像处理的计算量；然后将仪表盘图像进行二值化，将仪表盘的灰度图像转化为黑白图像，最后采用空间域图像增强处理方法增强仪表盘图像，抑制背景区域，提高图像对比度。

彩色图像中每个像素有三个灰度值(红、绿和蓝)，因此可以将图像按照红、绿和蓝三个灰度图进行研究，由于仪表指针为红色，红色通道内有清晰的指针区域而其余通道没有，因此采用减影法提取出指针区域。

每次应用细化操作都会从二值图像物体中删除一至两个像素，对指针图像重复执行细化操作直至图像停止改变，从而找到指针的中间轴线，即找到指针的位置信息。

具体的，还可采用Hough变换提取仪表指针直线，接着采用图像分割法提取指针两侧矩形区域，然后采用支持向量机算法识别指针两侧数字，根据指针到两侧示数的刻度距离判断指针读数，Hough变换法提取直线是一种变换域提取直线的方法，基本原理是将原始空间的曲线通过对应关系转化为参数空间中的一个点，把直线上点的坐标转换到过点的直线的系数域，利用共线以及直线相交原理将直线的提取变换成计数问题。

接着，在确定表盘读数时，确定表盘中心及指针所在象限位置较为复杂，本专利根据人眼先定位表盘关键元素指针，然后再确定指针两旁数字，最后根据数字间的刻度线确定准确读数的识别顺序，采用数字法确定仪表盘示数。

提取邻近数字区域时，首先应以指针图像为中心，根据表盘上各点到直线的距离设定一个阈值，提取距离值小于阈值的长方形区域，即为邻近数字区域。

首先应对待识别的字符进行滤波、腐蚀、膨胀等预处理，然后对字符大小进行归一化处理使字符大小一致便于识别。最后对数字图像采取细化处理直至一个像素宽度。由于仪表盘上的数字较为简单，支持向量机能够很好地解决小样本、非线性的模式识别问题，故采用支持向量机通过大量的训练样本，建立模型对数字进行有效的分类。

支持向量机在模式识别领域应用十分广泛，预测较高维度、非线性及样本数较少问题效果较好。

在使用支持向量机算法进行识别检测步骤如下：

1、将输入样本进行归一化；

2、划分样本为训练集和测试集，优化参数训练SVM模型；

3、利用训练的SVM模型得到分类结果；

在实际工业测试中，汽车仪表盘的读数识别精度要求在1％以内。计算每次测量的相对误差，对多次测量的相对误差取平均判断该仪表精度是否符合要求。

汽车仪表盘上的指示灯包括雾灯指示灯、驻车系统故障警告灯、安全带未系警告灯、胎压警告灯、机油压力警告灯、SRS故障灯、发动机故障灯、安全气囊故障警告灯、转向指示灯等，指示灯识别系统的目标是准确识别每个指示灯的亮灭、颜色显示及形状是否正确。

为提高指示灯状态的识别效率，上述步骤一中的数据库中包含有灯的位置坐标、灯的ID、灯的颜色等信息。

接着，在进行指示灯亮灭情况判断时，在预处理采集到的指示灯图片时，需要先对提取的彩色图片进行灰度化处理，得到灰度图后，为分割目标与背景，需进一步进行二值化处理。通过Otsu算法设定阈值将像素点分为两部分，由于检测环境在黑暗中进行，当指示灯点亮时亮度较高，可以快速准确地检测出指示灯的亮灭，根据仪表指示灯交替亮灭的时间间隔可以推算出指示灯的闪烁频率。

在指示灯识别过程中，颜色信息的识别至关重要，若指示灯颜色显示有误，则说明仪表盘不合格，其颜色识别方法为：在指示灯点亮的情况下，在指示灯显示范围(数据库标定的坐标范围)内截取当前帧的图片，由于图标颜色均为单色，故可通过程序对其RGB值进行统计，其中某一颜色分量的总值最大时，记为对应的颜色。

在上述基础上，上述步骤四中，当对指示图标图像进行处理时，对于静止图标，采用Hu不变矩方法提取指示灯特征识别，对于浮动图标，采用YOLO V3算法训练神经网络进行识别，通过通过Otsu算法设定阈值将像素点分为两部分来检测指示灯的亮灭；

具体的，由于显示屏上的图标根据位置变化与否又可分为静态图标和浮动图标，静态图标的显示位置是固定不变的，识别方法较为简单；浮动图标多指警示图标，当需要显示新的信息时，原警示图标位置会随显示内容位置不断变化。

Hu不变矩在图像识别和图像特征提取上应用十分广泛，其核心思想是用代数的方式提出具有平移、旋转及比例不变性的不变矩，在建立指示灯识别数据库和运行指示灯识别程序的过程中，都需要用到Hu不变矩信息对指示灯进行识别，其对图像平移、旋转及缩放具有不变性，具有良好的抗噪性能，指示灯形状对比只需要比较指示灯的形状与数据库中的先验数据是否相符，采用Hu不变矩方法求得待测图标与源图像的相似度大小，再与实现设定的阈值进行比对，若相似度小于阈值，则说明对应位置指示图标形状显示正确，否则说明指示灯显示错误；

采用Hu不变矩识别指示灯静止图标的步骤为：

1、解析命令，从数据库中获取待测图标ID、图标形状特征、位置信息、颜色信息；

2、截取图像中对应位置的坐标区域，采用Hu不变矩表征截取区域的特征与模板图标的特征，并进行特征量的匹配，若颜色及形状信息均满足要求，则表明仪表盘位置显示了相应的静态图标。

上述方法通过大量重复性试验证明，可以将图标识别的误差降至1％以下，完全满足识别系统的需求。

使用YOLO V3算法需要将检测图标的色彩空间由RGB转换为HSV，根据浮动图标的颜色特性提取出ROI,使用YOLO V3算法实现对浮动图标的检测。

YOLO V3算法通过神经网络直接对仪表盘不同图标所属分类及位置进行判别。将输入的图像划分成网格，如果某个图标的中心落在网格中，则此网格对该图标进行判别。

YOLO V3网络模型识别仪表盘浮动图标步骤如下：

1、将仪表盘上浮动图标位置及名称用于标注数据集，

2、划分标注数据集为训练集和测试集两部分；

3、转换标注生成的位置文件为YOLO V3可以识别的格式；

4、设置初始化权重，训练网络模型；

5、迭代一定次数后，对浮动图标进行检测识别，并输出识别结果；

由于传统的Hu不变矩和SIFT识别算法需要人为在仪表图片中截取需要的位置区域和模板图像，不能对浮动图标进行匹配识别。因此我们采用其他目标检测算法来对浮动图标进行识别，R-CNN、fast-RCNN等目标识别算法识别错误率低但识别速度较慢，不利于提高检测效率；传统的YOLO算法可以实现对浮动图标的实时检测，不需从指定位置寻找符号，只要其实时出现在屏幕上，YOLO算法就可以识别出来。但准确率较低，容易出现漏检、错检的情况，而YOLO V3算法结合了SSD算法的优点，在保证检测效率较高的同时解决了准确率低容易漏检的缺点，因此对于浮动图标我们采用以卷积神经网络为基础的YOLO V3算法。无论符号位置出现在哪里，通过YOLO V3算法，我们只需将所需的数据标注好进行训练即可，而不用截取记录仪表中每一个符号位置,提高了效率，实时性更好。

YOLO V3算法包含卷积层、目标检测层、NMS筛选层三部分，YOLO V3将物体分类和物体定位在一个步骤中完成，提高了检测速度，YOLO V3改进之处在于：

1、增加了top down多级预测，提升了对小目标识别的准确率，适合与仪表盘上浮动图标的检测；

2、YOLO V3使用logistic loss代替了softmax loss，便于多标签分类；

3、将Darknet-53网络用于特征提取，添加了残差单元，不仅可以实时检测，准确度也有了很大提高。在每个卷积层后批量归一化并舍弃dropout操作；

综上，YOLO V3具有识别速度快，精度高，泛化能力强的优点，借鉴了残差网络结构，形成更深的网络层次，以及多尺度检测，提升了图标检测效果。

在上述基础上，上述步骤四中，当对TFT液晶显示屏图像进行处理时，采用OCR技术识别显示屏上的文字和字符；

具体的，汽车仪表盘TFT液晶显示屏通常会显示文字与字符信息，包括车速，转速，温度等。TFT液晶显示屏检测主要识别文字和字符是否存在错显及漏显等现象。

OCR运用图像处理技术，通过亮暗变化进行模式识别，将光学字符转化成计算机文字。如今市场上已经存在开源的OCR产品可以投入使用。在对液晶显示屏的文字进行识别之前，需要将仪表盘液晶显示屏将要显示的文字，数字和字母经过反复训练存入数据库，用以提高识别精度。

采用OCR技术检测液晶显示屏上的文字和字符信息的具体步骤如下：

1、将液晶显示屏上的文字与字符反复训练存入数据库中；

2、对获取的图像进行预处理操作，运用OCR技术识别文字和字符；

3、将识别到的文字和字符与数据库中相关指令进行比对；

而贴饰是一种印有车速表、转速表、指示灯图标的塑料薄板，是仪表板中的重要组成部分，若出现胶水老化或由于汽车震动导致贴饰移位，或者在印制贴饰时出现错误导致图标显示不符合标准，则会导致汽车仪表不能正确显示，给行车带来极大隐患。

本专利针对此检测方案为：

1、指示图标亮灭及显示频率正常，但多个指示图标色差超出规定正常范围，经检测焊接LED灯型号无误，则判定为仪表盘贴饰所用材料不合格；

2、若指示灯亮灭、颜色一切正常，但OCR技术多次识别图标形状不正确，若其他指示图标识别均正常则判定该位置图标形状贴饰形状不正确；

3、进行各项检测完毕后，检测结果显示仪表盘多个指针到达指定位置后显示刻度与真实值偏差过大，且存在多个指示图标不能正确识别的情况，则判定为仪表盘贴饰移位。

以上所述的具体实施例，对本实用新型的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本实用新型的具体实施例而已，并不用于限制本实用新型，凡在本实用新型的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本实用新型的保护范围之内。

Claims (5)

1.一种基于机器视觉的汽车仪表盘检测系统，其特征在于：包括，

相机固定检测装置，所述相机固定检测装置包括工作台(2)和设置在工作台(2)上的焦距调整模组、滑轨(10)、水平移转平台、镜头支架(5)和用于放置待测仪表盘(1)的仪表盘滑台冶具(9)，所述镜头支架(5)固定在水平移转平台上，所述水平移转平台固定在焦距调整模组上，可由焦距调整模组控制水平移转平台上下移动，用以调节相机与待测仪表盘(1)的距离；所述滑轨(10)设置在工作台(2)上，还包括设置在滑轨(10)上的仪表盘滑台冶具(9)；

检测相机(4)，固定在镜头支架(5)上，所述检测相机(4)的镜头向下且与待测仪表盘(1)保持垂直，所述检测相机(4)可针对待测仪表盘(1)相关状态变化做到同步拍摄；

上位机，用于发送控制指令待测仪表盘(1)显示状态，控制检测相机(4)对仪表盘进行图像采集和处理，还包括与上位机连接的报警器，用于接收上位机发出的是否合格的信号；

IO模块，所述上位机，待检测仪表盘和检测相机(4)通过IO模块链接，实现状态信号在上位机与待检测仪表盘、之间的交互，控制相机拍摄仪表盘状态变化，并将图像传送至检测软件，实现系统的联通。

2.如权利要求1所述的一种基于机器视觉的汽车仪表盘检测系统，其特征在于：所述仪表盘滑台冶具(9)包括滑块(41)、冶具底板(42)、定位台阶(43)和两个拉动把手(44)，所述冶具底板(42)通过滑块(41)设置在滑轨(10)上并可通过滑块(41)在滑轨(10)上位移，所述两个拉动把手(44)左右分布在冶具底板(42)上，所述冶具底板(42)上还分布有4个用于固定仪表盘定位台阶(43)。

3.如权利要求1所述的一种基于机器视觉的汽车仪表盘检测系统，其特征在于：所述焦距调整模组包括第一焦距调整模组(7)和第二焦距调整模组(3)，所述第一焦距调整模组(7)和第二焦距调整模组(3)分别位于仪表盘滑台冶具(9)两侧，

所述水平移转平台包括第一水平移转平台(6)和第二水平移转平台(8)，

所述检测相机(4)包括第一检测相机(4)、第二检测相机(4)和第三检测相机(4)，所述第一检测相机(4)和第二检测相机(4)设置在第一水平移转平台(6)上，所述第三检测相机(4)设置在第二水平移转平台(8)上。

4.如权利要求3所述的一种基于机器视觉的汽车仪表盘检测系统，其特征在于：所述第一焦距调整模组(7)和第二焦距调整模组(3)包括移转平台支架(22)和驱动移转平台支架(22)做升降运动的直线模组(23)，所述直线模组(23)底部设置有用作驱动源的驱动电机(21)，还包括设置在直线模组(23)侧面用于检测移转平台支架(22)位置的传感器(24)。

5.如权利要求1所述的一种基于机器视觉的汽车仪表盘检测系统，其特征在于：所述移转平台包括X向电机(31)、X向滑台(32)、Y向滑台(33)、支架固定孔(34)、平台导轨(35)、Y向电机(36)和信号接口(37)，所述信号接口(37)设置在X向电机(31)和Y向电机(36)电机一侧，用于接收信号指令控制X向电机(31)和Y向电机(36)电机运转，所述X向电机(31)和Y向电机(36)通过平台导轨(35)与X向滑台(32)和Y向滑台(33)向连，分别驱动X向滑台(32)和Y向滑台(33)在平台导轨(35)上沿X,Y向位移，所述Y向滑台(33)位于X向滑台(32)顶部位置，所述Y向滑台(33)上设置有所述镜头支架(5)。

Images