CN110659649A - 一种基于近红外光成像的图像处理与字符识别算法 - Google Patents

Abstract

一种基于近红外光成像技术的字符识别算法。本发明属于计算机视觉领域与图像处理领域，解决的是在近红外波段下获取的近红外图像存在对比度不高，受噪声影响严重，得到的车牌字符模糊不易识别等技术问题。本发明的技术方案主要包括：利用高分辨率的硅基CMOS芯片获取近红外车牌图像；采用OpenCV函数库对近红外图像进行平滑滤波处理；通过模板匹配算法对滤波处理后的车牌图像进行字符识别；利用CNN卷积神经网络和深度学习算法训练近红外图像字符库进行更准确地字符识别。近红外光成像对比红外热成像能得到更多的图像细节与信息，在车牌识别、夜间侦察等领域具有广泛应用前景。

Description

一种基于近红外光成像的图像处理与字符识别算法

技术领域

本发明属于计算机视觉领域及图像处理领域，具体涉及一种基于近红外光成像的图像处理与字符识别算法。

背景技术

近红外光成像技术可以直接获取探测物体的外形和图像细节，并且识别和分辨物体的关键信息。同时，在光照条件不足的情况下，近红外成像依旧能够获得分辨率较高的图像，因此在安全检测、模式探测与识别等领域有十分广泛的应用背景。另外，在近年来，随着科学技术的高速发展与城市交通的飞速提升，智能交通系统(Intelligent TrafficSystem，ITS)的概念应运而生，并随之广泛应用到交通管理领域。车牌自动识别系统作为智能交通系统中不可或缺的一部分，正作为一个重要课题受到越来越广泛的关注和研究。

目前的车牌自动识别系统一般采用可见光波段获取图像，为解决夜间成像问题，通常在可见光探测器周围外加探照光源进行补光。然而，一方面，可见光成像易受到天气条件的影响，在沙尘、雨天或空气颗粒物较多的情况下获取的图像质量会大打折扣；另一方面，在夜间成像过程中，外加探照光源补光易干扰驾驶员视觉，存在很大潜在安全隐患。

为了克服上述问题，本研究将基于微光环境下的近红外光成像技术应用到车牌自动识别系统中，利用近红外光成像技术的优势，补足目前车牌识别系统在夜间的弊端。

由于近红外光成像技术获取的红外图像普遍存在对比度不高和受噪声影响严重的问题，因此，本发明在采用近红外光获取车牌图像的基础上，实现了针对车牌字符的图像处理与识别算法，并结合深度学习方法，提出了基于CNN卷积神经网络的字符识别的优化算法改进。

发明内容

本发明的目的是提供一种基于近红外光成像的图像处理与字符识别算法，以解决现有技术近红外光成像存在的对比度低、噪点较多，以及近红外光图像的字符识别准确率不高的问题。

本发明利用常规的字符识别算法结果通过CNN卷积神经网络训练得到有效的字符库，利用深度学习对识别结果进行改进。

实现上述目的，本发明采取下述技术方案：

一种基于近红外光成像的图像处理与字符识别算法，包括如下步骤：

步骤1、对获取的近红外光车牌图像进行滤波平滑处理，实现去噪效果；

步骤2、利用OpenCV函数库实现对滤波去燥处理后的近红外光车牌图像进行预处理；所述预处理包括二值化及边缘增强；

步骤3、利用Matlab编程实现模板匹配算法，将预处理的车牌图像提取字符与模板字符进行匹配得到准确的识别处理结果；

步骤4、利用所述车牌字符识别处理结果与CNN卷积神经网络进行网络训练，将训练好的网络进行字符识别得到更加准确的字符识别结果。

与现有技术相比，本发明的有益效果是：

1)提出采用具有高分辨率(1080x720)的硅基CMOS传感器的近红外光成像技术，并将其应用在车牌识别领域，解决了目前车牌识别系统在夜间识别准确率较低、需要外加光源补光的问题。

2)针对近红外光图像给出了中值滤波的算法，中值滤波是一种非线性滤波，相比传统线性滤波方法有较大的提升效果，有效的抑制了红外成像过程中的散粒噪声的问题。

3)对字符识别提出基于模板匹配的字符识别算法，该算法实现较为简单，且识别结果在比较清晰的图像上有较高的准确率。

4)对字符识别结果利用CNN卷积神经网络进行网络训练得到字符库，该方案利用目前发展迅速的深度学习为基础，具有识别准确率高，可调整性强，处理数据大等优势，可以有效地提高识别结果的准确性。

5)本发明的一种基于近红外光成像的图像处理与字符识别算法，应用背景除在车牌自动识别领域，在公安侦查、故障检测、航空和生物识别领域也具有较大的应用前景。

附图说明

图1为本发明的算法流程框图；

图2为对近红外光图像的滤波平滑效果图，其中，图2a为原图，图2b为滤波后的效果图；

图3为对近红外光图像的预处理效果图，其中，图3a为二值化效果图，图3b为边缘增强效果图；

图4为字符识别结果图，其中，图4a为低质量图像识别结果图，图4b为中质量图像识别结果图，图4c为高质量图像识别结果图，上述图中，左边图像为待识别字符，右边图像为识别结果；

图5为卷积神经网络的训练进程图，其中图5a为训练的准确率，图5b为训练的损失率。

具体实施方式

为了加深对本发明的理解，下面将结合实施例对本发明做进一步详细描述，该实施案例仅用于解释本发明，并不对本发明的保护范围构成限定；

具体实施方式一：一种基于近红外光成像的图像处理与字符识别算法，包括如下步骤：

步骤1、对获取的近红外光车牌图像进行滤波平滑处理，实现去噪效果；

步骤2、利用OpenCV函数库实现对滤波去燥处理后的近红外光车牌图像进行预处理；所述预处理包括二值化及边缘增强(该步骤的目的是提取近红外光车牌图像中字符的有效信息，以便于后续进行的字符识别，该步骤主要利用OpenCV函数库，极大地方便了图像处理的实现)；

步骤3、利用Matlab编程实现模板匹配算法，将预处理的车牌图像提取字符与模板字符进行匹配得到准确的识别处理结果；

步骤4、利用所述车牌字符识别处理结果与CNN卷积神经网络进行网络训练，将训练好的网络进行字符识别得到更加准确的字符识别结果。

具体实施方式二：本实施方式是对具体实施方式一作出的进一步说明，步骤1中，采用中值滤波对所述近红外光图像进行滤波平滑处理(中值滤波属于非线性滤波，对散粒噪声有明显的抑制效果。中值滤波其基本思想是用像素点邻域的灰度值的中值来代替该像素点处的灰度值。简单来说就是选取一个矩阵窗口，邻域窗口中心点处的像素值是该窗口内所有像素点灰度值的中值)，中值滤波的滤波公式为：

其中：f(x,y)为选取的目标像素点的灰度值(将领域窗口的所有灰度值排列，选取中间值G即为滤波后的像素点的灰度值)，目标像素点周围九宫格内像素点灰度值排列后将灰度值的中值作为有效值替换目标像素点；G为滤波后的像素点的灰度值，x，y为图像任一像素点的坐标。

具体实施方式三：本实施方式是对具体实施方式一作出的进一步说明，步骤2中，所述二值化处理滤波平滑后的图像(二值化是将图像转化为只含有0和1两个像素值的图像，目的是可以将目标字符从无关的背景中分离出来，以便后续的字符分割与识别)，二值化阈值的计算公式为：

W(x,y)＝0.5×(maxf(x+x₁,y+y₁)+min(x+x₁,y+y₁)) (2)

其中：f(x,y)为选取的目标像素点的灰度值，二值化将近红外光图像得到的灰度图像转换成便于计算机处理的二值化图像；W(x,y)为计算区域内的阈值，x，y为图像任一像素点的坐标，x₁、y₁为取遍像素点(x,y)周围窗口内的所有像素点的坐标；

所述边缘增强的目的是提取二值化处理后字符的边缘信息，边缘信息是最能够表征图像目标特点的信息，边缘增强的计算公式为：

其中：g_x(x,y)、g_y(x,y)分别为x、y方向经过梯度计算后的像素点灰度值，θ为梯度的方向，G(x,y)为梯度的幅值；

通过公式(3)和(4)得到梯度的幅值和方向，然后将邻域内的幅值沿梯度方向与其他幅值比较，将非极大点的幅值定为0，以此来排除非边缘像素，得到候选边缘点。

具体实施方式四：如图所示，本实施方式是对具体实施方式一作出的进一步说明，步骤3中，基于所述模板匹配的字符识别算法，所述模板匹配是指将目标图像与模板图像的相关度进行计算并分类识别，所述相关度是指两个向量间的相关程度，在图像识别中图像的像素点分布即可认定是一个向量矩阵，该算法中采用的相关度公式为：

其中，x、y为两幅图像(目标图像与模板图像)的特征值向量，n为图像的像素点数目，i为取遍n内像素点的所有取值，r_x、r_y是两幅图像的灰度均值，R(x,y)是计算的相关度值。

具体实施方式五：如图所示，本实施方式是对具体实施方式一作出的进一步说明，步骤4(利用深度学习的思路对字符识别结果进行矫正以提高准确率)中，具体为：将所述车牌字符识别处理结果在CNN卷积神经网络中训练得到一个字符图样与字符识别结果相匹配的字符库，再通过深度学习的方法重新进行字符识别并对识别结果进行改正；所述卷积神经网络的基本数学模型为：

a＝g(z)＝g(w₁·a₁+w₂·a₂+b) (6)

其中，a₁、a₂表示输入向量，w₁、w₂为权重，b为偏置函数，g(z)代表激活函数，卷积神经网络中常用的是Relu函数，a为输出向量。

卷积神经网络由输入层、卷积计算层、激励层、池化层、全连接层和输出层构成，是目前在图像处理与模式识别领域使用最多而且最广泛的神经网络。CNN卷积神经网络可以直接提取输入图像的特征信息，具有局部连接、权值共享等特点，可以处理十分巨大的数据量。将模板匹配字符识别结果与字符图像通过CNN卷积神经网络进行训练，再利用该训练好的网络对字符识别结果进行改进。

具体实施方式六：本实施方式是对具体实施方式一作出的进一步说明，步骤1中，所述近红外光图像是这样获取的：利用高分辨率的硅基CMOS芯片获取近红外光车牌图像，该硅基CMOS芯片分辨率达到1080x720，最低可探测的光照度为0.001lux，具有高分辨率和高灵敏度的特性。

实施例1：

图像采集器件：硅基CMOS结构传感器(探测波长0.8-1.1μm，分辨率为1080x720，探测最低光照度为0.001lux，信噪比大于45dB)。

程序运行环境：Windows10、VisualStudio2017、MATLAB(R2018b)；

本实施例的一种基于近红外光成像的图像处理与字符识别算法如图1所示，具体步骤如下：

步骤1、利用硅基CMOS结构传感器获取夜间不同情况下的近红外光车牌图像，得到不同质量的近红外光车牌图像；

步骤2、对获取的近红外光车牌图像采取去噪平滑处理，对近红外光车牌图像中值滤波的平滑效果最为明显；

步骤3、利用OpenCV函数库实现对滤波处理后的近红外光车牌图像的预处理，包括二值化处理及边缘增强处理；

步骤4、利用Matlab实现基于模板匹配的字符识别算法，将去噪平滑和边缘提取的待识别字符与标准模板的车牌字符进行对比识别，得到字符识别结果；

步骤5、利用字符识别结果与CNN卷积神经网络进行网络训练，将训练好的网络用于字符识别得到改进的字符识别结果。

获取图像

本发明主要采用近红外光成像技术获取车牌图像，近红外光成像采用硅基CMOS传感器，该传感器的探测波段在0.8μm-1.1μm，探测的峰值波段在850nm，CMO传感器的输出图像分辨率达1080x720，最低感应光照度为0.001lux，具有高分辨率和高灵敏度的优势，可以在微光情况下得到清晰的图像。不过近红外光成像相比热成像所得到的图像具有噪点高、对比度低等问题，所以采用中值滤波的方式对红外图像进行去噪处理。如图2(a)为获取的近红外光图像。

中值滤波

中值滤波是一种非线性滤波方法，非线性滤波相比线性滤波可以实现对非均匀噪声的有效抑制，在处理红外图像过程中有较明显的效果，其缺点是需要处理的数据相比线性滤波更加复杂，处理耗时是线性滤波的数倍。中值滤波是用像素点邻域的灰度值的中值来代替该像素点处的灰度值。简单来说就是选取一个矩阵窗口，邻域窗口中心点处的像素值是该窗口内所有像素点灰度值的中值。中值滤波的主要实现步骤为：

1.选取3*3的矩阵窗口g，将图像像素点九宫格窗口内的灰度值代替窗口矩阵

2.将窗口内的像素点按灰度值大小顺序排列，G为输出的灰度中间值；

G＝median[f(x-1,y-1)+f(x,y-1)+f(x+1,y+1)+f(x-1,y)+f(x,y)

+f(x+1,y)+f(x-1,y+1)+f(x,y+1)+f(x+1,y+1)

3.选择像素点排序的中间值G取代原来点f(x,y)即窗口中心点处的灰度值；

矩阵中心点的灰度值被替换成了窗口内像素点中间值的灰度值，依照此算法将图像所有像素点进行滤波，可以滤去大部分的散粒噪声和椒盐噪声，得到不错的滤波去噪效果，如图2b所示为中值滤波后的近红外光图像，与原图对比可以看出，去噪后的图像比较平滑，边缘信息更容易提取。

图像预处理

图像预处理包括图像的二值化处理和边缘增强处理，主要目的是得到具有明显边缘信息的字符图像，以便后续的模板匹配字符识别过程。

二值化主要是将目标图像转化为只含有0和1两个灰度值的二值图像，首先设置在像素点(x,y)处的灰度值为f(x,y)，考虑以像素点(x,y)为中心的(2w+1)×(2w+1)窗口，w为窗口宽度，则有：

W(x,y)＝0.5×(max f(x+x₁,y+y₁)+min(x+x₁,y+y₁))

其中W(x,y)为计算区域内的阈值，x，y为图像任一像素点的坐标，x₁、y₁为取遍某像素点周围窗口内的所有点的坐标。

得到阈值后，通过比较f(x,y)与W(x,y)的灰度值的大小，若f(x,y)大于W(x,y)则二值化结果为区域目标点，即判断结果为1；否则为背景区域点，判断结果为0。

边缘增强处理指的是将目标图像的边缘信息从图像中提取出来，图像的边缘包含图像的大多数特征信息。将二值化后的字符图像进行边缘增强处理，在基本保留图像字符的特征信息的同时，大大减少后续字符识别过程的数据处理量，其步骤包括：

(1)噪声去除

在边缘检测之前常需要考虑去噪，其主要目的是使图像变得平滑，同时增大边缘宽度，这里采用高斯平滑滤波器。设图像像素点(x,y)处的灰度值为f(x,y)，则经过高斯滤波后的灰度值为：

其中，g_σ(x,y)为经过高斯滤波后的灰度值，x，y为某一像素点的位置坐标，f(x,y)为该像素点出的灰度值，σ为高斯滤波参数。

(2)计算图像梯度幅值和方向

计算梯度值可以利用一对卷积阵列(分别作用于x和y方向)实现：

其中：其中，G_x和G_y分别用于计算x和y方向的梯度值；

将各点灰度值与上述列阵点乘，得到各点处的梯度值g_x(x,y)和g_y(x,y)。再利用以下公式得到梯度幅值和方向：

其中，g_x(x,y)、g_y(x,y)分别为x、y方向经过梯度计算后的像素点灰度值，θ为梯度的方向，G(x,y)为梯度的幅值。

(3)过滤非极大值点

在得到梯度幅值与方向后，即可通过过滤非极大值的方法排除非边缘像素点，得到候选边缘点。过滤的公式表述为：

其中，G_T(x,y)为判定后的极大值处的梯度幅值，T表示梯度幅值的阈值，G(x,y)为像素点处的梯度幅值，G(x,y)的值越大，代表该点处的灰度变化越明显，即越可能为图像的边缘；

(4)高低阈值检测边缘

一般情况下，滤波会导致边缘被放大，出现不止一个像素点的边缘，此时通过设置滞后阈值来实现再筛选。滞后阈值分为高阈值和低阈值，像素点位置幅值大于高阈值的部分认定为边缘像素，小于低阈值的部分认定为非边缘排除，两阈值之间的部分如果与已知边缘点连接则认定为边缘点，否则将排除。

如图3(a)所示为图像的二值化处理效果，图中可以看出将原有图像中的背景信息全部剔除，仅含有所需字符的二值化信息，图3(b)为边缘增强处理后的效果图，边缘增强处理将字符的边缘特征信息提取出来，字符边缘内部的信息被舍去，这样可以大大减少后续的数据处理量。

模板匹配字符识别

通常我们将目标图像与模板图像的相关度进行计算并分类识别，相关度指的是两个向量间的相关程度，在图像识别中图像的像素点分布即可认定是一个向量矩阵。在将字符图像滤波平滑处理、二值化处理并提取出边缘信息的基础上，将字符图像的有效像素点向量缩小成一个特征点向量，然后把目标图像与34类模板字符图像(模板字符图像包含10类数字图像模板和24类字母图像模板)的向量相关度进行计算。每一类样本用m个进行相关值计算，再以相关度最大的模板所在类别作为目标字符图像的最终识别。公式如下：

其中，k^*表示最终分类字符，char_kmi代表第k类样本第m个图像的第i个像素点，n表示像素点个数，x_i表示待识别字符的像素点。

将目标字符与每一个模板字符的相关度值进行计算，再通过挑选出与最大相关度值相对应的样本字符作为匹配识别的结果。函数输出是最终分类字符的样本字符图样。

图4所示为字符识别的结果图，由于光照和车牌运动情况，获取的近红外光图像的质量并不一致，这里简单分三类不同质量的图像进行字符识别，得到初步的识别结果。由结果可知，低质量图像的待测字符为数字“6”，识别结果却是字母“N”，故模板匹配识别存在一定的误差。

训练卷积神经网络

基于卷积神经网络的字符识别算法以卷积神经网络为核心，利用大量的字符数据库作为样本来训练卷积神经网络，同时利用一部分样本作为测试样本对训练网络的准确率进行测试。当训练得到一个准确率接近100％的网络后，通过导入需要识别的目标字符，卷积神经网络会将字符进行分类，分类结果即为字符识别结果。如图5所示为训练字符图像与字符识别结果的网络训练过程，该网络由CNN卷积神经网络构成，训练网络随着训练时间和训练字符数量的推移，测试准确率逐步提高，损失率逐步降低，最后趋近0％。

综上，本发明所提出的基于近红外光成像的图像处理与字符识别算法，在近红外波段采用光成像技术获取红外图像，并对其进行滤波等图像处理，紧接着针对获取的车牌字符图像进行预处理及模板匹配识别，最后利用字符识别结果构建字符识别库，同时在CNN卷积神经网络中进行网络训练，最后采用深度学习的方式对识别结果进行矫正。该方案有效地解决了目前车牌识别系统在夜间识别准确率较低、需要外加光源补光的问题，对红外图像的滤波处理有效的解决了近红外光图像噪点高的问题，针对不同质量的红外图像识别可能会存在一定的误差，在此基础上根据识别结果利用卷积神经网络训练，得到准确率接近100％的识别网络，有效的解决了常规识别准确率不高的问题。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何属于本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种基于近红外光成像的图像处理与字符识别算法，其特征在于：包括如下步骤：

步骤1、对获取的近红外光车牌图像进行滤波平滑处理，实现去噪效果；

步骤2、利用OpenCV函数库实现对滤波去燥处理后的近红外光车牌图像进行预处理；所述预处理包括二值化及边缘增强；

步骤3、利用Matlab编程实现模板匹配算法，将预处理的车牌图像提取字符与模板字符进行匹配得到准确的识别处理结果；

步骤4、利用所述车牌字符识别处理结果与CNN卷积神经网络进行网络训练，将训练好的网络进行字符识别得到更加准确的字符识别结果。

2.根据权利要求1所述的一种基于近红外光成像的图像处理与字符识别算法，其特征在于：步骤1中，采用中值滤波对所述近红外光图像进行滤波平滑处理，中值滤波的滤波公式为：

其中：f(x,y)为选取的目标像素点的灰度值，目标像素点周围九宫格内像素点灰度值排列后将灰度值的中值作为有效值替换目标像素点；G为滤波后的像素点的灰度值，x，y为图像任一像素点的坐标。

3.根据权利要求1所述的一种基于近红外光成像的图像处理与字符识别算法，其特征在于：步骤2中，所述二值化处理滤波平滑后的图像，二值化阈值的计算公式为：

W(x,y)＝0.5×(maxf(x+x₁,y+y₁)+min(x+x₁,y+y₁)) (2)

其中：f(x,y)为选取的目标像素点的灰度值，二值化将近红外光图像得到的灰度图像转换成便于计算机处理的二值化图像；W(x,y)为计算区域内的阈值，x，y为图像任一像素点的坐标，x₁、y₁为取遍像素点(x,y)周围窗口内的所有像素点的坐标；

所述边缘增强的目的是提取二值化处理后字符的边缘信息，边缘信息是最能够表征图像目标特点的信息，边缘增强的计算公式为：

其中：g_x(x,y)、g_y(x,y)分别为x、y方向经过梯度计算后的像素点灰度值，θ为梯度的方向，G(x,y)为梯度的幅值；

通过公式(3)和(4)得到梯度的幅值和方向，然后将邻域内的幅值沿梯度方向与其他幅值比较，将非极大点的幅值定为0，以此来排除非边缘像素，得到候选边缘点。

4.根据权利要求1所述的一种基于近红外光成像的图像处理与字符识别算法，其特征在于：步骤3中，基于所述模板匹配的字符识别算法，所述模板匹配是指将目标图像与模板图像的相关度进行计算并分类识别，所述相关度是指两个向量间的相关程度，在图像识别中图像的像素点分布即可认定是一个向量矩阵，该算法中采用的相关度公式为：

其中，x、y为两幅图像的特征值向量，n为图像的像素点数目，i为取遍n内像素点的所有取值，r_x、r_y是两幅图像的灰度均值，R(x,y)是计算的相关度值。

5.根据权利要求1所述的一种基于近红外光成像的图像处理与字符识别算法，其特征在于：步骤4中，具体为：将所述车牌字符识别处理结果在CNN卷积神经网络中训练得到一个字符图样与字符识别结果相匹配的字符库，再通过深度学习的方法重新进行字符识别并对识别结果进行改正；所述卷积神经网络的基本数学模型为：

a＝g(z)＝g(w₁·a₁+w₂·a₂+b) (6)

其中，a₁、a₂表示输入向量，w₁、w₂为权重，b为偏置函数，g(z)代表激活函数，卷积神经网络中常用的是Relu函数，a为输出向量。

6.根据权利要求1所述的一种基于近红外光成像的图像处理与字符识别算法，其特征在于：步骤1中，所述近红外光图像是这样获取的：利用高分辨率的硅基CMOS芯片获取近红外光车牌图像，该硅基CMOS芯片分辨率达到1080x720，最低可探测的光照度为0.001lux，具有高分辨率和高灵敏度的特性。

Images