CN112598002B - 一种雾气和噪声影响下的车牌识别方法 - Google Patents

Abstract

针对当前车牌识别应用广泛，但对受复杂化境影响下车牌识别率不高的情况，本发明公开了一种雾气和噪声影响下的车牌识别方法，通过对受复杂环境图像进行去雾及去噪预处理后，使用基于深度学习的车牌识别算法进行车牌识别，最后使用RFID标签辅助车牌识别，可以实现车牌在复杂环境影响下的识别，该方法具有准确性和有效性，为复杂影响下的车牌识别提供了一种有效途径。

Description

一种雾气和噪声影响下的车牌识别方法

技术领域

本发明涉及图像预处理算法，属于射频识别与图像处理领域，尤其涉及一种雾气和噪声影响下的车牌识别方法。

背景技术

车牌识别技术经过多年的发展已经成为一个成熟的技术，国内外现在通常使用的是颜色定位或者边缘定位法先确定车牌位置，再进行字符分割来识别车牌。但此方法局限性较大,不能识别蓝色车辆上的车牌或者车辆格栅较复杂车型的车牌。随着深度学习技术的发展，车牌识别技术也有了新的突破。虽然深度学习算法对于细微影响有很好的矫正效果，但是在背景复杂且雾气较大的情况下，仅靠深度学习算法对原图像进行识别，识别率较差。

发明内容

本发明所要解决的技术问题是针对背景技术中所涉及到的缺陷，提供一种雾气和噪声影响下的车牌识别方法。

本发明为解决上述技术问题采用以下技术方案：

一种雾气和噪声影响下的车牌识别方法，包括以下步骤：

步骤1)，采集受雾气和噪声影响的车辆图像；

步骤2)，对受雾气和噪声影响的车辆图像分别使用去雾算法和去噪声算法进行预处理；

步骤3)，基于深度学习对经过预处理的车辆图像进行车牌定位与车牌识别。

作为本发明一种雾气和噪声影响下的车牌识别方法进一步的优化方案，步骤2)的具体步骤如下：

步骤2.1)，使用NL-means算法对图像进行去噪处理，NL-means算法噪声模型为：

V(i)＝X(i)+N(i)

其中，X(i)是原始图像，N(i)是均值为0，方差为σ²的高斯白噪声，V(i)是被噪声污染的图像；

对于给定的一个噪声图像V＝{V(i)|i∈I}，对于图像坐标范围I中的任何一个像素，NL-means算法使用整个噪声图像中所有像素的加权平均来得到这个像素点的估计，表示为如下形式：

其中权重w(i,j)的值取决于像素i和j的相似度，并且满足0≤w(i,j)≤1和∑_jw(i,j)＝1；

像素i和j的相似程度由以i和j为中心的矩阵的高斯加权欧式距离d(i,j)来度量：

上式表示邻域矩阵Ni和Nj之间高斯加权欧式距离的L²范数，α是高斯函数的标准差；

权重w(i,j)定义为如下：

其中，c(i)是归一化常数，参数h是指数函数的衰减系数，控制高斯函数的衰减程度；

步骤2.2)，采用大气散射模型、使用暗通道去雾算法对图像进行去雾处理，输入图像J的暗通道为：

其中，J^C表示彩色图像的每一个通道，Ω(X)表示以像素x为中心的一个窗口，r、g、b为红色、绿色、蓝色三个颜色通道；

步骤2.2.1)，计算大气散射模型的光线透射率t(x)：

采用大气散射模型作为雾气图像模型：

I(x)＝J(x)t(x)+A[1-t(x)]

其中，I(x)是待去雾图像；A是大气光强度，通常情况下假设为全局变量，与空间坐标无关；J(x)是需要恢复的无雾图像；

针对雾气图像模型进行变形处理：

其中c表示图像中RGB三个颜色通道，J是待求的无雾图像，A是大气光，I是输入的雾气图像，针对模型进行一次最小值运算，取每个通道中的最小值，得到下式：

令在每一个小的局部窗口区域中透射率没有差异，即在该局部窗口区域Ω(X)中透射率t(x)是一个常数，定义为对上式进行最小值滤波，取每个局部区域中暗通道的最小值：

根据暗通道先验原理概念定义：

又由统计分析得到无雾图像的暗通道都有很低的值，则：

J^dark→0

于是：

为防止去雾过度，应引入取值范围为[0,1]的预设的参数ω，将上式修正为：

步骤2.2.2)，计算大气散射模型的大气光强度A：

通过将暗通道图中的像素点按照亮度大小排序，选取前0.1％分位数处的像素值的亮度作为大气光强度A的值；

步骤2.2.2)，计算去雾后的图像：

考虑到当透射率t值很小时，会导致J值偏大，使整张图向白场过度，预先设置阈值t₀，当投射率小于t₀时，令t＝t₀；

把透射率t(x)，大气光强度A代入I(x)＝J(x)t(x)+A[1-t(x)]，获得无雾图像为：

作为本发明一种雾气和噪声影响下的车牌识别方法进一步的优化方案，所述步骤3)的具体步骤如下：

步骤3.1)，使用Cascade检测器框架对车牌进行粗定位，输出三个参数：目标的横坐标、目标的纵坐标、目标的尺度；

步骤3.2)，对车牌进行精定位，具体包括：灰度图像提取、图像多级二值化、连通域分析、裁切图像、RANSAC算法拟合、展开图像矩阵脚点；

步骤3.3)，对车牌字符进行识别，对车牌精定位后的图像进行滑动窗口法字符分割，确定各字符的位置，随后将分割得到的字符输入到字符识别网络最后得出识别结果。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

本发明提出了一种基于深度神经网络的车牌识别算法，通过把暗通道去雾算法和NL-Means算法进行整体融合，直接对受雾气和噪声影响的图像进行图像修复，实现了复杂影响下车牌的高准确率识别，本发明吗具有准确性和实用性，为复杂情况下的车牌识别提供了一种有效途径。

附图说明

图1是受雾气和噪声影响的原始图像；

图2是经由非局部平均算法去噪后的图像；

图3是经由暗通道去雾算法去雾后的图像；

图4是车牌粗定位图像；

图5是车牌精定位图像；

图6是车牌识别结果图像。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

本发明可以以许多不同的形式实现，而不应当认为限于这里所述的实施例。相反，提供这些实施例以便使本公开透彻且完整，并且将向本领域技术人员充分表达本发明的范围。在附图中，为了清楚起见放大了组件。

本发明提供了一种雾气和噪声影响下的车牌识别方法，包括以下步骤：

步骤1)，采集受雾气和噪声影响的车辆图像，如图1所示；

步骤2)，对受雾气和噪声影响的车辆图像分别使用去雾算法和去噪声算法进行预处理，如图2、图3所示；

步骤3)，基于深度学习对经过预处理的车辆图像进行车牌定位与车牌识别，如图4、图5、图6所示。

步骤2)的具体步骤如下：

步骤2.1)，使用NL-means算法对图像进行去噪处理，NL-means算法噪声模型为：

V(i)＝X(i)+N(i)

其中，X(i)是原始图像，N(i)是均值为0，方差为σ²的高斯白噪声，V(i)是被噪声污染的图像；

对于给定的一个噪声图像V＝{V(i)|i∈I}，对于图像坐标范围I中的任何一个像素，NL-means算法使用整个噪声图像中所有像素的加权平均来得到这个像素点的估计，表示为如下形式：

其中权重w(i,j)的值取决于像素i和j的相似度，并且满足0≤w(i,j)≤1和∑_jw(i,j)＝1；

像素i和j的相似程度由以i和j为中心的矩阵的高斯加权欧式距离d(i,j)来度量：

上式表示邻域矩阵Ni和Nj之间高斯加权欧式距离的L²范数，α是高斯函数的标准差，高斯加权代表使用一个离散化的高斯函数模板来对欧式距离进行加权，这代表距离中心越近的像素具有更高的权重，而距离中心像素越远的像素具有更低的权重，这实际上是一种高斯滤波，等价于先对图像块进行平滑操作，因此使用这种计算方法能降低噪声的影响并且突出中心像素的作用；

权重w(i,j)定义为如下：

其中，c(i)是归一化常数，参数h是指数函数的衰减系数，控制高斯函数的衰减程度，h越大高斯函数变化越平缓，但同时也会导致图像越模糊，h越小，边缘细节成分保持得越多，但会残留过多的噪声点；h的具体取值应该以图像中的噪声水平为依据；在实际实验中，为了避免计算量过大，邻域矩阵通常选择像素点周围的小部分，搜索窗口也选择图像中的一部分范围，而不是整个图像；

步骤2.2)，采用大气散射模型、使用暗通道去雾算法对图像进行去雾处理，输入图像J的暗通道为：

其中，J^C表示彩色图像的每一个通道，Ω(X)表示以像素x为中心的一个窗口，r、g、b为红色、绿色、蓝色三个颜色通道；

步骤2.2.1)，计算大气散射模型的光线透射率t(x)：

采用大气散射模型作为雾气图像模型：

I(x)＝J(x)t(x)+A[1-t(x)]

其中，I(x)是待去雾图像；A是大气光强度，通常情况下假设为全局变量，与空间坐标无关；J(x)是需要恢复的无雾图像；

针对雾气图像模型进行变形处理：

其中c表示图像中RGB三个颜色通道，J是待求的无雾图像，A是大气光，I是输入的雾气图像，针对模型进行一次最小值运算，取每个通道中的最小值，得到下式：

令在每一个小的局部窗口区域中透射率没有差异，即在该局部窗口区域Ω(X)中透射率t(x)是一个常数，定义为对上式进行最小值滤波，取每个局部区域中暗通道的最小值：

根据暗通道先验原理概念定义：

又由统计分析得到无雾图像的暗通道都有很低的值，则：

J^dark→0

于是：

为防止去雾过度，应引入取值范围为[0,1]的预设的参数ω，将上式修正为：

步骤2.2.2)，计算大气散射模型的大气光强度A：

通过将暗通道图中的像素点按照亮度大小排序，选取前0.1％分位数处的像素值的亮度作为大气光强度A的值；

步骤2.2.2)，计算去雾后的图像：

考虑到当透射率t值很小时，会导致J值偏大，使整张图向白场过度，预先设置阈值t₀，当投射率小于t₀时，令t＝t₀；

把透射率t(x)，大气光强度A代入I(x)＝J(x)t(x)+A[1-t(x)]，获得无雾图像为：

所述步骤3)的具体步骤如下：

步骤3.1)，使用Cascade检测器框架对车牌进行粗定位，输出三个参数：目标的横坐标、目标的纵坐标、目标的尺度，处理结果如图4所示；

步骤3.2)，对车牌进行精定位，具体包括：灰度图像提取、图像多级二值化、连通域分析、裁切图像、RANSAC算法拟合、展开图像矩阵脚点，处理结果如图5所示；

步骤3.3)，对车牌字符进行识别，对车牌精定位后的图像进行滑动窗口法字符分割，确定各字符的位置，随后将分割得到的字符输入到字符识别网络最后得出识别结果，处理结果如图6所示。

本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种雾气和噪声影响下的车牌识别方法，其特征在于，包括以下步骤：

步骤1)，采集受雾气和噪声影响的车辆图像；

步骤2)，对受雾气和噪声影响的车辆图像分别使用去雾算法和去噪声算法进行预处理；

步骤2.1)，使用NL-means算法对图像进行去噪处理，NL-means算法噪声模型为：

V(i)＝X(i)+N(i)

其中，X(i)是原始图像，N(i)是均值为0，方差为σ²的高斯白噪声，V(i)是被噪声污染的图像；

对于给定的一个噪声图像V＝{V(i)|i∈I}，对于图像坐标范围I中的任何一个像素，NL-means算法使用整个噪声图像中所有像素的加权平均来得到这个像素点的估计，表示为如下形式：

其中权重w(i,j)的值取决于像素i和j的相似度，并且满足0≤w(i,j)≤1和∑_jw(i,j)＝1；

像素i和j的相似程度由以i和j为中心的矩阵的高斯加权欧式距离d(i,j)来度量：

上式表示邻域矩阵Ni和Nj之间高斯加权欧式距离的L²范数，α是高斯函数的标准差；

权重w(i,j)定义为如下：

其中，c(i)是归一化常数，参数h是指数函数的衰减系数，控制高斯函数的衰减程度；

步骤2.2)，采用大气散射模型、使用暗通道去雾算法对图像进行去雾处理，输入图像J的暗通道为：

其中，J^c表示彩色图像的每一个通道，Ω(X)表示以像素x为中心的一个窗口，r、g、b为红色、绿色、蓝色三个颜色通道；

步骤2.2.1)，计算大气散射模型的光线透射率t(x)：

采用大气散射模型作为雾气图像模型：

I(x)＝J(x)t(x)+A[1-t(x)]

其中，I(x)是待去雾图像；A是大气光强度，通常情况下假设为全局变量，与空间坐标无关；J(x)是需要恢复的无雾图像；

针对雾气图像模型进行变形处理：

其中c表示图像中RGB三个颜色通道，J是待求的无雾图像，A是大气光，I是输入的雾气图像，针对模型进行一次最小值运算，取每个通道中的最小值，得到下式：

令在每一个小的局部窗口区域中透射率没有差异，即在该局部窗口区域Ω(X)中透射率t(x)是一个常数，定义为对上式进行最小值滤波，取每个局部区域中暗通道的最小值：

根据暗通道先验原理概念定义：

又由统计分析得到无雾图像的暗通道都有很低的值，则：

J^dark→0

于是：

为防止去雾过度，应引入取值范围为[0,1]的预设的参数ω，将上式修正为：

步骤2.2.2)，计算大气散射模型的大气光强度A：

通过将暗通道图中的像素点按照亮度大小排序，选取前0.1％分位数处的像素值的亮度作为大气光强度A的值；

步骤2.2.2)，计算去雾后的图像：

考虑到当透射率t值很小时，会导致J值偏大，使整张图向白场过度，预先设置阈值t₀，当投射率小于t₀时，令t＝t₀；

把透射率t(x)，大气光强度A代入I(x)＝J(x)t(x)+A[1-t(x)]，获得无雾图像为：

步骤3)，基于深度学习对经过预处理的车辆图像进行车牌定位与车牌识别。

2.根据权利要求1所述的雾气和噪声影响下的车牌识别方法，其特征在于，所述步骤3)的具体步骤如下：

步骤3.1)，使用Cascade检测器框架对车牌进行粗定位，输出三个参数：目标的横坐标、目标的纵坐标、目标的尺度；

步骤3.2)，对车牌进行精定位，具体包括：灰度图像提取、图像多级二值化、连通域分析、裁切图像、RANSAC算法拟合、展开图像矩阵脚点；

步骤3.3)，对车牌字符进行识别，对车牌精定位后的图像进行滑动窗口法字符分割，确定各字符的位置，随后将分割得到的字符输入到字符识别网络最后得出识别结果。