CN110298347B - 一种基于GrayWorld与PCA-CNN的汽车尾气分析仪屏幕的识别方法 - Google Patents

Abstract

本发明属于数字图像处理技术领域，具体涉及一种基于GrayWorld与PCA‑CNN的汽车尾气分析仪屏幕的识别方法，步骤1：采集样本图像集，对样本图像集中的每个图像的检测项目和检测示数区域进行标注得到标签集，得到基于PCA的卷积神经网络模型；步骤2：采集待识别图像，利用GrayWorld算法对待识别图像进行预处理得到投影直方图，对投影直方图进行字符分割得到字符图像；步骤3：字符图像输入基于PCA的卷积神经网络模型中进行识别得到结果矩阵，将结果矩阵中的所有元素逐行划分为检测项目或检测示数，计算每个检测项目对应的检测示数值。本发明避免了光照等因素对具有较大屏幕区域的汽车尾气分析仪器带来的亮度影响能够在各种实际条件下取得较好的识别效果。

Description

一种基于GrayWorld与PCA-CNN的汽车尾气分析仪屏幕的识别 方法

技术领域

本发明属于数字图像处理技术领域，尤其涉及针对尾气分析仪器图像分析领域，具体涉及一种基于GrayWorld与PCA-CNN的汽车尾气分析仪屏幕的识别方法。

背景技术

目前，对于仪表液晶屏幕的分割与识别主要使用光学字符识别(OCR)技术，一般由图像的输入和预处理、字符分割、字符识别以及后处理这几部分组成。其中，预处理包括图像二值化、去噪、倾斜矫正等操作；字符识别早期使用模板匹配的方法，后来以特征提取为主。与文档图像相比，仪表屏幕的界面样式更为复杂，小数点对识别结果影响较大。汽车尾气分析仪是一种用于对汽车排放污染物进行测量的仪器，由于尾气分析仪器的屏幕区域大于一般的数字仪表，故成像受光照影响更大，易造成亮度不均匀的问题，增加了图像处理和识别的难度。

专利申请号为201710195624.7，名为《一种仪表液晶数字自动切分和识别的方法及系统》的中国专利申请，公开了一种液晶仪表数字自动切分和识别的方法及系统，包括图像预处理，小数点识别，字符切分，字符识别四个模块。该方法中，小数点定位判断依靠阈值设定，不具有通用性和稳定性；对光照引起的图像变换未加以考虑，且字符切分和小数点定位依赖于人工先验判断逻辑，算法在复杂多变的真实环境会失效。

发明内容

针对现有技术中未考虑光照对识别的印象导致的识别精度下降且不适应于真实环境的问题，本发明提出了一种基于GrayWorld与PCA-CNN的汽车尾气分析仪屏幕的识别方法，采用如下技术方案包括如下步骤：

步骤1：采集尾气分析仪器屏幕区域的图像并处理得到样本图像集，对样本图像集中的每个图像的检测项目和检测示数区域进行标注得到标签集，利用样本图像集和标签集进行训练，得到基于PCA的卷积神经网络模型；

步骤2：采集尾气分析仪器屏幕区域的待识别图像，利用GrayWorld算法对待识别图像进行预处理得到投影直方图，对投影直方图进行字符分割得到字符图像；

步骤3：将步骤2得到的字符图像输入基于PCA的卷积神经网络模型中进行识别得到结果矩阵，将结果矩阵中的所有元素逐行划分为检测项目或检测示数，计算每个检测项目对应的检测示数值，所有的检测项目和对应的检测示数值为待识别图像的检测结果。

进一步的，步骤1采集尾气分析仪器屏幕区域的图像并处理得到样本图像集，对样本图像集中的每个图像的检测项目和检测示数区域进行标注得到标签集，具体包括如下子步骤：

(1)：采集尾气分析仪器屏幕区域的样本图像；

(2)：使用LabelImg软件对样本图像的检测项目和检测示数区域进行标注，令小数点与所属的数字包含于同一标注框内按照标注信息剪裁标注好的字符图像并保存，通过对保存的字符图像进行旋转并调整亮度进行图像数据集的增广；

(3)：将增广后的图像数据集中每一张字幅图像均归一化为32×32像素，得到样本图像集。

进一步的，步骤2中利用GrayWorld算法对待识别图像进行预处理得到投影直方图具体包括如下子步骤：

(1)：对采集到的尾气分析仪器屏幕区域的待识别图像进行灰度平衡，并确定屏幕区域的色调值范围；

(2)：矫正尾气分析仪屏幕区域在图像中的位置得到矫正图像I；

(3)：使用投影法对矫正图像I进行行、列扫描得到投影直方图。

进一步的，步骤3包括如下子步骤：

步骤3.1：将字符图像输入PCA-CNN中，采用多GPU并行运算的方式进行识别，将识别结果保存为大小为m×n的结果矩阵R，R中的任一元素表示为p_i,j,i＝1,2…m,j＝1,2…n；

步骤3.2：对结果矩阵中的元素逐行进行分类，若p_i,j的值大于19则分为检测项目名称并令检测项目的位置为p_i,5k+1且k＝0,1,...，若p_i,j的值属于小于等于19则分为检测示数并令检测示数的位置为p_i,5k+2～p_i,5k+5，根据k取值的不同分别存储各组检测示数，记为序列N_k[p_i,a]且a＝0,1,2,3；

步骤3.3：对步骤3.2得到的序列N_k[p_i,a]，首先查找N_k中值大于9的元素记该元素对应的纵坐标记为b，然后计算尾气分析仪器中任一检测项目对应的检测示数值t，所有的检测项目和对应的检测示数值为待识别图像的检测结果；

更进一步的，步骤3.3中首先查找N_k中值大于9的元素记该元素对应的纵坐标记为b，然后计算尾气分析仪器中任一检测项目对应的检测示数值t，包括如下子步骤：

1)计算

2)若s≥10^4-b，则使s＝s-10^4-b，执行步骤3)；否则直接执行步骤3)；

3)计算t＝s÷10^3-b。

本发明具有如下有益效果：

本发明展示的基于GrayWorld与PCA-CNN的汽车尾气分析仪屏幕的识别方法，通过使用GrayWorld进行色彩均衡避免了光照等因素对具有较大屏幕区域的汽车尾气分析仪器带来的亮度影响，通过将PCA与卷积神经网络进行结合，减少了图像预处理操作的过程，提高了训练速度和识别准确率，对比二值化处理后进行模板匹配或提取特征送入SVM进行识别的方法，能够在各种实际条件下取得较好的识别效果。

附图说明

图1为本发明的整体算法流程图；

图2为某型号尾气分析仪器的采集照片；

图3为对某行检测结果进行膨胀操作前后的对比图像；

图4为对该行图像的识别结果；

图5为本发明中所用PCA-CNN神经网络模型示意图。

具体实施方式

以下给出本发明的具体实施方式，需要说明的是本发明并不局限于以下具体实施例，凡在本申请技术方案基础上做的等同变换均落入本发明的保护范围。

实施例1

一种基于GrayWorld与PCA-CNN的汽车尾气分析仪屏幕的识别方法，包括如下步骤：

步骤1：采集尾气分析仪器屏幕区域的图像并处理得到样本图像集，对样本图像集中的每个图像的检测项目和检测示数区域进行标注得到标签集，利用样本图像集和标签集进行训练，得到基于PCA的卷积神经网络模型；

步骤2：采集尾气分析仪器屏幕区域的待识别图像，利用GrayWorld算法对待识别图像进行预处理得到投影直方图，对投影直方图进行字符分割得到字符图像；

步骤3：将步骤2得到的字符图像输入基于PCA的卷积神经网络模型中进行识别得到结果矩阵，将结果矩阵中的所有元素逐行划分为检测项目或检测示数，计算每个检测项目对应的检测示数值，所有的检测项目和对应的检测示数值为待识别图像的检测结果。

本方法首先使用GrayWorld对待识别图像进行均衡，避免了光照等问题对原图产生的噪声；将PCA结合于卷积神经网络之中，从数据上避免了大量冗余信息，使得神经网络能更快得收敛；提出了一种将小数点与对应位的数字共同识别并进行结果计算的方法，避免了繁琐的小数点检测、分割过程以及由此可能产生的错误，提高了图像处理过程的速度和图像识别的准确率。由图4可以发现，本发明所提出的方法准确率较高，具有良好的识别效果。

具体的，步骤1包括如下子步骤：

步骤1.1：采集尾气分析仪屏幕区域的样本图像，使用LabelImg软件对样本图像的检测指标名称和示数区域进行标注，使小数点与所属的数字包含于同一标注框内，如图2所示，采集包含了完整屏幕区域的尾气分析仪表图像，采集时，屏幕区域的面积应占整个图像的三分之二以上；

优选的，进行标注时将示数0-9对应的标签标记为0-9，将带小数点的数字0-9标签标记为10-19，将检测指标的图像按照其名称标记为20，21，22等，如将HC标记为20、CO标记为21等，将标记序号相同的图片分别保存于同一个文件夹下；

步骤1.2：按照标注信息剪裁标注好的字符图像，并保存至相应的文件夹；对保存的图片通过进行一定角度的旋转、改变亮度等方式进行数据集的增广，以增加训练样本的多样性，使得每种字符的图像个数相等；

优选的，旋转角度θ为-8≤θ≤8；

步骤1.3：将保存的所有字符数据集大小归一化为32×32像素，得到归一化的图像数据集。

具体的，利用样本图像集对PCA-CNN进行训练，并保存最优训练参数包括如下子步骤：

步骤a：建立基于PCA的卷积神经网络模型PCA-CNN，所述卷积神经网络模型由输入层、PCA层、卷积层、激活层、池化层和全连接层组成，其中，PCA用于图像的特征提取以及特征图重构，卷积层对特征图像进行卷积操作以提取高维信息，激活层使用ReLU作为激活函数，池化层用于对卷积层输出的高维特征图象进行池化操作，全连接层完成最后的预测分类工作。

优选的，使用max_pooling作为池化层的池化方式。

优选的，使用5x5大小的卷积核进行卷积操作，使用线性修正单元(ReLU)函数作为激活函数；

ReLU的公式为：

式中f(x)表示非线性激活函数值，x表示函数变量；采用交叉熵作为训练中的损失函数，其计算公式为：

其中p、q是两个单独的概率分布，代表标签值和预测结果值，y_i为p、q中的独立事件，n为序列的长度即分类类别的个数；

步骤b：设定PCA-CNN的训练参数，所述训练参数包括PCA提取的维数，卷积神经网络的迭代次数、优化器选用、初始学习率、学习率更新策略以及权重衰减系数，进行随机初始化，所述随机初始化为以均值为0，标准差为0.01的随机矩阵初始化神经网络的连接权重。

优选的，所述设定迭代次数为20000，所述优化器使用Adam优化器，所述初始学习率为0.001，所述学习率更新策略采用每5000步衰减为0.1倍的更新策略，所述权重衰减系数为0.005。

步骤c：将步骤a得到的图像数据集按照2:1:1的比例分为训练集、验证集、测试集三部分，将训练集输入PCA-CNN进行训练，训练中采用参差回传算法进行参数更新，设定权重更新系数为0.005，其中训练集用于模型的参数学习，每训练50步使用验证集进行验证，训练完成后在测试集上进行测试，最终得到最优训练参数，设置每一批次送入每一批次送入图片个数batch_size＝64；

具体的，步骤2包括如下子步骤：

步骤2.1，通过HTTP协议接收采集到的待识别图像并保证仪器屏幕区域正对镜头、居中且占据图像面积的三分之二以上；

步骤2.2，使用GrayWorld对待识别的图像进行灰度平衡。GrayWorld算法假设自然界景物对于光线的平均反射的均值在总体上是个定值，这个定值近似地为“灰色”，所述GrayWorld算法的具体过程如下：

(1)确定反射均值

其中

为彩色图像R、G、B三个色彩通道亮度的平均值，其范围为(0,255)；

(2)计算三个通道的增益系数k_r,k_g,k_b，计算方式为

(3)根据增益系数k_r,k_g,k_b对每个像素C调整其通道的值，使得：

C(R')＝C(R)*k_r

C(G')＝C(G)*k_g

C(B')＝C(B)*k_b，从而得到平衡之后的图像，避免因光照等因素造成的成像效果差异。

步骤2.3：确定屏幕区域的色调值范围和尾气分析仪屏幕区域在图像中的位置，从而对预处理后的图像进行矫正得到矫正图像I；

步骤2.3.1：通过在训练集上进行测试确定屏幕区域的色调值范围，将平衡后的图片转换为HSI色彩格式，通过比对色调值H，确定尾气分析仪器的屏幕区域在图像中的位置，确定屏幕的轮廓记为C；

优选的，由于屏幕颜色为浅蓝色，其色度值H在240～270之间，故可判断轮廓内部边缘像素的色度值h，若满足h∈(240,270)，则认为该位置为屏幕区域；

步骤2.3.2：新建与原图宽、高相等的画布，将轮廓C画于其上并填充内部作为屏幕位置二值图，利用平滑系数σ对屏幕位置二值图进行高斯模糊，然后检测Harris角点，得到屏幕区域的顶点位置；

优选的，步骤3.3.2为：新建与原图宽、高相等的画布，将显示屏幕轮廓C画于其上并填充内部像素，得到一个屏幕位置二值图，初始化平滑系数σ＝2，对屏幕位置二值图进行高斯模糊，以去除轮廓边缘的锯齿，对高斯模糊后的图像进行Harris角点检测，记得到的角点个数为n，若n>4，则增大σ值，使σ＝σ+0.5，重新对位置二值图进行模糊；若n＝4，则检测角点的距离与屏幕宽高是否相符，若在一定的误差范围内则认为检测到的角点Corner_s，s＝1,2,3,4为屏幕区域的顶点，根据x、y坐标值按照左上、右上、左下、右下的顺序依次排列顶点；

步骤2.3.3，通过步骤2.3.2中顶点的位置获得透射变换矩阵，并通过透射变化得到矫正的屏幕区域图像，记作图像I；

优选的，将原图的屏幕区域投影至宽为800像素，高600像素的长方形图像上，即使用Corner_s，s＝1,2,3,4与点序列[0,0]、[0,800]、[600,0]、[600,800]计算透射变换矩阵，并使用该透射变换矩阵对原图进行变换，将得到的屏幕图像记为I；

步骤2.4，使用投影法对矫正图像I进行行、列扫描得到投影直方图，按照直方图进行字符分割，得到二维的字符图像矩阵。

步骤2.4.1，对矫正图像I进行二值化、膨胀操作得到二值图像I_b；按行扫描I_b，记录每行的前景像素个数Num_i，i＝1,2…h，得到横向投影直方图；横向投影公式为：

其中i为图像该行的索引，w表示图像I_d的宽度；

优选的，使用3×3的结构元素对图像I的二值图像进行膨胀操作，以弥合小数点与数字之间的纵向间隔，记膨胀的图像为I_d；横向扫描图像I_d，按照每行像素的个数得到分割序列，对图像I进行行分割，得到行图像序列Ih₁,Ih₂…Ih_m；

步骤2.4.2，令i＝1,2…h，遍历Num_i，若Num_i-1＝0而Num_i≠0，则记录start＝n,反之若Num_i-1≠0而Num_i＝0，则记录end＝i；得到行分割序列[start₁,end₁]、[start₂,end₂]...[start_m,end_m],其中m为分割得到的行图像个数；通过行分割序列对图像I按行分割，得到行图像序列Ih₁,Ih₂…Ih_m；

步骤2.4.3，对每行图像Ih_i进行列扫描，得到纵向投影直方图，使用直方图进行纵向分割，将分割的字符图像按行、列号保存为二维向量，记作Iv，其中m、n分别为图像中字符的行、列数；纵向投影公式为：

其中j为图像该列的索引，h表示图像Ih_i的高度；针对图2所示的品牌汽车尾气分析仪，优选的，m＝3,n＝8。

具体的，步骤3包括以下子步骤：

步骤3.1：将字符图像矩阵Iv中的字符图像送入训练好的PCA-CNN神经网络，采用多GPU并行运算的方式进行识别，将识别结果保存为大小为m×n的结果矩阵R，R中的任一元素表示为p_i,j,i＝1,2…m,j＝1,2…n；

步骤3.2：对结果矩阵逐行进行分类，若p_i,j的值大于19则分为检测项目名称并令检测项目的位置为p_i,5k+1且k＝0,1,...，若p_i,j的值属于小于等于19则分为检测示数并令检测示数的位置为p_i,5k+2～p_i,5k+5，根据k取值的不同分别存储各组检测示数，记为序列N_k[p_i,a]且a＝0,1,2,3；

步骤3.3：对于步骤3.2得到的一种检测项目对应的序列N_k[p_i,a]，首先查找N_k中值大于9的元素记该元素对应的纵坐标为b，然后按照如下步骤计算，得到尾气分析仪器中该检测项目的检测示数值t，计算每个检测项目的检测示数值，将所有指标与检测值保存为json格式完成汽车尾气分析仪图像的识别：

1)计算

2)若s≥10^4-b，则使s＝s-10^4-b；

3)计算t＝s÷10^3-b。

例如，图2所示的汽车尾气分析仪器中，每项指标包含4个示数字符，小数点在第二位示数中，故b＝1；当示数为12.34时，结果序列N为[1,12,3,4]，计算结果为s＝2234，由于s>1000,使s＝1234，从而算得t＝12.34。

实施例2：

本实施例中，以某品牌汽车尾气分析仪器为例，其屏幕及附近区域的图像如图2所示，可以观测到，其屏幕的宽高比大致为4:3，检测项名称及示数的高度约为屏幕的0.15倍；将RGB颜色格式转换为HSI格式可以发现，屏幕内部的背景颜色的色调值H在范围240～270之内。

预先采集大量的仪表图片，对其进行数据集标注和扩充，按照2:1:1的比例分为训练集、验证集和测试集，用于训练PCA-CNN神经网络。在卷积层中，使用大小为5x5的卷积核进行卷积操作。初始化学习率为0.001，迭代次数20000次，每迭代5000次将学习率降为0.1倍。当训练准确率收敛或准确率大于99.5％时停止训练，保存模型参数。使用手机客户端中带有定位框的相机拍摄仪器图像，通过http协议上传至服务器端。

对上传的图片进行预处理，提取显示屏区域并矫正。通过对膨胀运算之后的二值屏幕图像进行行、列投影以分割字符，图3为膨胀之后的某行图像与原图的对比。将分割的字符图像矩阵输入训练好的PCA-CNN进行识别，识别过程使用Tensorflow完成多GPU并行运算操作，将识别的结果保存至结果矩阵中。

根据本发明提出的带小数点的数字数组的计算方法，计算出每个指标的分析结果，保存为JSON数据格式并返回客户端进行展现。

Claims (5)

1.一种基于GrayWorld与PCA-CNN的汽车尾气分析仪屏幕的识别方法，其特征在于，包括如下步骤：

步骤1：采集尾气分析仪器屏幕区域的图像并处理得到样本图像集，对样本图像集中的每个图像的检测项目和检测示数区域进行标注得到标签集，利用样本图像集和标签集进行训练，得到基于PCA的卷积神经网络模型；

步骤2：采集尾气分析仪器屏幕区域的待识别图像，利用GrayWorld算法对待识别图像进行预处理得到投影直方图，对投影直方图进行字符分割得到字符图像；

步骤3：将步骤2得到的字符图像输入基于PCA的卷积神经网络模型中进行识别得到结果矩阵，将结果矩阵中的所有元素逐行划分为检测项目或检测示数，计算每个检测项目对应的检测示数值，所有的检测项目和对应的检测示数值为待识别图像的检测结果。

2.如权利要求1所述的基于GrayWorld与PCA-CNN的汽车尾气分析仪屏幕的识别方法，其特征在于，步骤1采集尾气分析仪器屏幕区域的图像并处理得到样本图像集，对样本图像集中的每个图像的检测项目和检测示数区域进行标注得到标签集，具体包括如下子步骤：

(1)：采集尾气分析仪器屏幕区域的样本图像；

(2)：使用LabelImg软件对样本图像的检测项目和检测示数区域进行标注，令小数点与所属的数字包含于同一标注框内按照标注信息剪裁标注好的字符图像并保存，通过对保存的字符图像进行旋转并调整亮度进行图像数据集的增广；

(3)：将增广后的图像数据集中每一张字幅图像均归一化为32×32像素，得到样本图像集。

3.如权利要求1所述的基于GrayWorld与PCA-CNN的汽车尾气分析仪屏幕的识别方法，其特征在于，步骤2中利用GrayWorld算法对待识别图像进行预处理得到投影直方图具体包括如下子步骤：

(1)：对采集到的尾气分析仪器屏幕区域的待识别图像进行灰度平衡，并确定屏幕区域的色调值范围；

(2)：矫正尾气分析仪屏幕区域在图像中的位置得到矫正图像I；

(3)：使用投影法对矫正图像I进行行、列扫描得到投影直方图。

4.如权利要求1所述的基于GrayWorld与PCA-CNN的汽车尾气分析仪屏幕的识别方法，其特征在于，步骤3包括如下子步骤：

步骤3.1：将字符图像输入PCA-CNN中，采用多GPU并行运算的方式进行识别，将识别结果保存为大小为m×n的结果矩阵R，R中的任一元素表示为p_i,j,i＝1,2…m,j＝1,2…n；

步骤3.2：对结果矩阵中的元素逐行进行分类，若p_i,j的值大于19则分为检测项目名称并令检测项目的位置为p_i,5k+1且k＝0,1,...，若p_i,j的值属于小于等于19则分为检测示数并令检测示数的位置为p_i,5k+2～p_i,5k+5，根据k取值的不同分别存储各组检测示数，记为序列N_k[p_i,a]且a＝0,1,2,3；

步骤3.3：对步骤3.2得到的序列N_k[p_i,a]，首先查找N_k中值大于9的元素记该元素对应的纵坐标记为b，然后计算尾气分析仪器中任一检测项目对应的检测示数值t，所有的检测项目和对应的检测示数值为待识别图像的检测结果。

5.如权利要求4所述的基于GrayWorld与PCA-CNN的汽车尾气分析仪屏幕的识别方法，其特征在于，步骤3.3中首先查找N_k中值大于9的元素记该元素对应的纵坐标记为b，然后计算尾气分析仪器中任一检测项目对应的检测示数值t，包括如下子步骤：

1)计算

2)若s≥10^4-b，则使s＝s-10^4-b，执行步骤3)；否则直接执行步骤3)；

3)计算t＝s÷10^3-b。

Images