CN111199194A - 基于机器视觉和深度学习的汽车智能座舱仪表测试方法 - Google Patents

Abstract

本发明涉及的是一种基于机器视觉和深度学习的汽车智能座舱仪表测试方法，利用机器视觉与深度学习结合的方法，机器视觉系统主要包括仪表图像采集、图像预处理、仪表图像区域分割、仪表图标识别和检测、仪表文字及字符区域识别和检测，深度学习训练模型通过在暗箱条件下通过CMOS相机采集大量不同功能状态下正常显示的仪表产品图像样本并进行图像区域分割，利用VGGNet模型和改进的DCNN模型分别对图标样本区域和文字及字符进行深度学习训练，并将训练好的VGGNet模型以及改进的DCNN模型导入到机器视觉系统中对采集到的图标区域以及文字及字符分别进行识别和检测。能提高图标识别的准确率与稳定性，提高检测系统的检测效率。

Description

基于机器视觉和深度学习的汽车智能座舱仪表测试方法

技术领域

本发明属于汽车电子仪表检测领域，具体涉及一种基于机器视觉和深度学习的汽车智能座舱仪表测试方法。

背景技术

随着电子信息以及互联网的飞速发展，智能座舱正在广泛应用于汽车，显著的特点就是全液晶仪表的诞生和普及，以及智能座舱内多屏显示。显示内容更加丰富多样，其中显示内容主要可分为图标以及文字及字符两大类，图标包括车辆指示灯报警灯等图标信息，文字及字符包括车速里程数等文字信息。

机器视觉作为一门发展迅猛的学科，也在汽车仪表检测上有所应用，但几乎都应用于传统的机械式汽车仪表，而现今全液晶仪表的显示功能的检测，主要还以人工检测为主，受人为主观因素影响较大，效率较低，准确率不高，容易出现错检漏检等现象。

发明内容

本发明所要解决的技术问题在于提供一种提供一种基于机器视觉和深度学习的汽车智能座舱仪表测试方法。可以代替人工，节省人力成本，还可通过深度学习模型学习新的仪表图像样本，分别对仪表图像的图标以及文字及字符进行识别检测，提高准确度，增强适应性和稳定性。

本发明是这样实现的，

一种基于机器视觉和深度学习的汽车智能座舱仪表测试方法，包括以下步骤：

S1:上位机与待测仪表之间建立通讯，要通过CAN总线或者LIN总线向待测仪表发送指令。

S2:通过摄像头在暗箱条件下对待测仪表产品进行拍摄，并将拍摄的图像传送到上位机中。

S3:上位机对拍摄仪表图像进行图像预处理，以简化后续图像处理的计算量，仪表图像预处理包括仪表图像灰度化、仪表图像增强、仪表图像滤波以及仪表图像二值化；

S4:预处理之后的图像根据仪表图像图标和文字及字符所在区域进行图像分割；

S5:将仪表图像分割之后的图标区域图像发送到VGGNet训练模型继续进行深度学习训练；将文字及字符区域图像发送到改进的DCNN训练模型继续进行深度学习训练；

S6:通过不断深度学习的VGGNet训练模型网络参数对预处理之后的仪表图像进行检测和识别；通过改进的DCNN训练模型网络参数对文字及字符区域图像进行检测和识别；

S7:最后得到待测仪表显示情况的检测结果并生成报告。

进一步地，所述步骤3图像预处理的具体步骤为：

S31：利用分量法对仪表图像进行灰度化处理，减少后续图像处理计算量，把彩色图像转换为灰度图像，转换公式如下：

I＝0.3R+0.59G+0.11B

式中，I表示灰度值，R、G、B分别代表像素的红分量、绿分量和蓝分量；

S32：利用非线性灰度变化法对仪表图像进行灰度增强处理，转换公式如下：

式中，其中，f(x,y)为原始图像，g(x,y)为处理后的图像；

S33：利用几何均值滤波法对仪表图像进行滤波处理，转换公式如下：

式中，f(x,y)为原始图像，g(x,y)为经过几何均值滤波法转换后的输出图像，S表示在大小为a×b，中心点在(x,y)处的矩形；

S34：利用以下公式对仪表图像进行二值化处理：

式中，g(x,y)表示二值化后图像，f(x,y)表示原始图像，Q表示设定好的阈值。

进一步地，步骤4的深度学习训练模型包括：

S41:通过CMOS相机采集大量不同功能状态下正常显示的仪表产品图像，在经过图像预处理及图像分割之后作为图像样本，检测过程中的每一个仪表产品图像同样作为样本；

S42:将图标样本区域图像对VGGNet模型进行训练，将文字及字符样本区域图像对改进的DCNN模型进行训练，初始化网络模型学习训练过程中的初始权值、学习率参数和超参数；

S43:将VGGNet模型以及改进的DCNN模型的训练网络模型参数分别传送到视觉检测系统中。

本发明与现有技术相比，有益效果在于：

本发明采用机器视觉的方法代替人工检测，有效节省人力成本。深度学习能力强，可以通过不断通过样本输入对深度学习训练模型进行训练，优化网络参数。通过图像预处理、图像分割以及深度学习训练模型，可以快速提取并识别智能座舱仪表上图标和文字与字符两类信息，提高检测效率，缩短检测时间，快速识别智能座舱仪表上的大量显示信息。

附图说明

图1是基于机器视觉和深度学习的汽车智能座舱仪表测试方法的实现流程图；

图2是基于机器视觉和深度学习的汽车智能座舱仪表测试方法图像预处理流程图；

图3是基于机器视觉和深度学习的汽车智能座舱仪表测试方法的VGGNet网络结构图。

图4是是基于机器视觉和深度学习的汽车智能座舱仪表测试方法的改进的DCNN网络结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参见图1，本发明的基于机器视觉和深度学习的汽车智能座舱仪表测试方法，利用摄像头采集大量正常显示仪表图像样本，经过图像分割后，利用图标区域样本图像对VGGNet网络模型进行训练，利用文字及字符区域样本图像对改进的DCNN网络模型进行训练。参见图3，选用的VGGNet神经网络模型模型的网络结构主要由五层卷积层，三层全连接层以及softmax输出层构成。输入的图标区域样本图像首先经过五层卷积层进行卷积+RELU处理，卷积层中选用选择3×3的卷积核；卷积层之后是三个全连接层进行全连接+RELU处理；最后通过softmax输出层输出预测结果；层与层之间采用max-polling作池化处理，选择2×2的池化核。

参见图4，改进的DCNN模型(卷积神经网络模型)主要由输入层，两层卷积层，两层池化层，三层全连接层构成。输入的文字及字符区域样本图像首先经过卷积层1进行卷积+RELU处理，然后经过池化层1进行池化处理，再经过卷积层2进行卷积+RELU处理，继续经过池化层2作池化处理，最后经过三层全连接层进行全连接处理并输出。

本发明主要包括：

步骤1，上位机向待测仪表发送指令。上位机选用Python，上位机与待测仪表之间主要通过CAN总线或者LIN总线进行通讯连接。

步骤2，通过摄像头在暗箱条件下对待测仪表产品进行拍摄，并将拍摄的图像传送到上位机中。摄像头选用CMOS摄像头，像素为500万。

步骤3，将所拍摄仪表图像传送到上位机，上位机对拍摄仪表图像进行图像预处理，参见图2，具体包括：

步骤31：利用分量法对仪表图像进行灰度化处理，把彩色图像转换为灰度图像，减少后续图像处理计算量，转换公式如下：

I＝0.3R+0.59G+0.11B

式中，I表示灰度值，R、G、B分别代表像素的红分量、绿分量和蓝分量。

步骤32：利用非线性灰度变化法对仪表图像进行灰度增强处理，突出图像中低灰度级部分的特征，转换公式如下：

式中，其中，f(x,y)为原始图像，g(x,y)为处理后的图像。

步骤33:利用几何均值滤波法对仪表图像进行滤波处理,滤除仪表图像中空间噪声的干扰，转换公式如下：

式中，f(x,y)为原始图像，g(x,y)为经过几何均值滤波法转换后的输出图像，S表示在大小为a×b，中心点在(x,y)处的矩形。

步骤34:对仪表图像进行二值化处理，将滤波处理后的灰度图像装转换为黑白图像，利用以下公式对仪表图像进行二值化处理：

式中，g(x,y)表示二值化后图像，f(x,y)表示原始图像，Q表示设定好的阈值。

步骤4:预处理之后的图像根据仪表图像图标和文字及字符所在区域进行图像分割。

步骤5，经过步骤4图像分割之后的仪表图像传送到深度学习模型继续进行训练。包括以下步骤：

步骤51:通过CMOS相机采集大量不同功能状态下正常显示的仪表产品图像，在经过图像预处理及图像分割之后作为图像样本，检测过程中的每一个仪表产品图像同样作为样本。

步骤52:将图标区域图像样本对VGGNet模型进行训练，将文字及字符区域图像样本对改进的DCNN模型进行训练，初始化网络模型学习训练过程中的初始权值、学习率等参数和超参数。

步骤53:将VGGNet以及改进的DCNN模型的训练网络模型参数传送到视觉检测系统中。

步骤6，通过不断深度学习的VGGNet训练模型网络参数以及改进的DCNN训练模型网络参数对分别对图标区域图像以及文字及字符区域图像进行检测和识别。

步骤7，最后得到待测仪表显示情况的检测结果并生成报告。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于机器视觉和深度学习的汽车智能座舱仪表测试方法，其特征在于，包括以下步骤：

S1:上位机与待测仪表之间建立通讯，要通过CAN总线或者LIN总线向待测仪表发送指令。

S2:通过摄像头在暗箱条件下对待测仪表产品进行拍摄，并将拍摄的图像传送到上位机中。

S3:上位机对拍摄仪表图像进行图像预处理，以简化后续图像处理的计算量，仪表图像预处理包括仪表图像灰度化、仪表图像增强、仪表图像滤波以及仪表图像二值化；

S4:预处理之后的图像根据仪表图像图标和文字及字符所在区域进行图像分割；

S5:将仪表图像分割之后的图标区域图像发送到VGGNet训练模型继续进行深度学习训练；将文字及字符区域图像发送到改进的DCNN训练模型继续进行深度学习训练；

S6:通过不断深度学习的VGGNet训练模型网络参数对预处理之后的仪表图像进行检测和识别；通过改进的DCNN训练模型网络参数对文字及字符区域图像进行检测和识别；

S7:最后得到待测仪表显示情况的检测结果并生成报告。

2.根据权利要求1所述的方法，其特征在于，所述步骤3图像预处理的具体步骤为：

S31：利用分量法对仪表图像进行灰度化处理，减少后续图像处理计算量，把彩色图像转换为灰度图像，转换公式如下：

I＝0.3R+0.59G+0.11B

式中，I表示灰度值，R、G、B分别代表像素的红分量、绿分量和蓝分量；

S32：利用非线性灰度变化法对仪表图像进行灰度增强处理，转换公式如下：

式中，其中，f(x,y)为原始图像，g(x,y)为处理后的图像；

S33：利用几何均值滤波法对仪表图像进行滤波处理，转换公式如下：

式中，f(x,y)为原始图像，g(x,y)为经过几何均值滤波法转换后的输出图像，S表示在大小为a×b，中心点在(x,y)处的矩形；

S34：利用以下公式对仪表图像进行二值化处理：

式中，g(x,y)表示二值化后图像，f(x,y)表示原始图像，Q表示设定好的阈值。

3.根据权利要求1所述的方法，其特征在于，步骤4的深度学习训练模型包括：

S41:通过CMOS相机采集大量不同功能状态下正常显示的仪表产品图像，在经过图像预处理及图像分割之后作为图像样本，检测过程中的每一个仪表产品图像同样作为样本；

S42:将图标样本区域图像对VGGNet模型进行训练，将文字及字符样本区域图像对改进的DCNN模型进行训练，初始化网络模型学习训练过程中的初始权值、学习率参数和超参数；

S43:将VGGNet模型以及改进的DCNN模型的训练网络模型参数分别传送到视觉检测系统中。

Images