CN110633705A

CN110633705A - 一种低照度成像车牌识别方法及装置

Info

Publication number: CN110633705A
Application number: CN201910776966.7A
Authority: CN
Inventors: 张斯尧; 谢喜林; 王思远; 黄晋; 蒋杰; 张�诚; 文戎; 田磊
Original assignee: Changsha Qianshitong Intelligent Technology Co Ltd
Current assignee: Changsha Qianshitong Intelligent Technology Co Ltd
Priority date: 2019-08-22
Filing date: 2019-08-22
Publication date: 2019-12-31

Abstract

本发明实施例提供了一种低照度成像车牌识别方法及装置，所述方法包括：基于深度学习与自适应时空滤波，对低照度车牌图像的辨识度进行增强；通过多信息融合对增强了辨识度后的低照度车牌图像中的车牌区域进行定位，并对定位后的所述车牌区域进行倾斜校正；所述多信息包括所述车牌区域的边缘位置处的密度比周围区域的密度更大和所述车牌区域中的字符分布在一条或两条直线上；对经倾斜校正后的所述车牌区域中的字符进行分割；对分割后的所述车牌区域中的字符进行识别。通过本发明实施例能够提高低照度成像车牌识别的准确度和效率。

Description

一种低照度成像车牌识别方法及装置

技术领域

本发明属于计算机视觉与智慧交通技术领域，具体是涉及到一种基于深度学习与自适应时空滤波的低照度成像车牌识别方法、装置、终端设备及计算机可读介质。

背景技术

大多数室外视觉系统，如视频监控、目标识别和卫星遥感监测等，都需要获取清晰的图像特征。但是在低照度条件下(如夜间等环境)，由于场景的照度低(光信号微弱)，导致能见度低，所观察的景物信号非常微弱，图像成像质量低，目标模糊不清，尤其在图像经过存储、转换、传输等操作后，更进一步降低了低照度图像的质量，使成像系统无法正常工作。因此，研究如何对低照度图像进行有效处理，降低光信号弱的环境对成像系统的影响具有重要研究价值。

低照度下获取的图像灰度范围窄、灰度变化不明显，且相邻像素的空间关联性高，这些特点使得图像中的细节、背景和噪声等都包含在较窄的灰度范围之内。因此为了改善低照度下获取的图像的视觉效果，将其转换为一种更适于人眼观察和计算机处理的形式，便于提取有用信息，需要对被拍摄物在低照度下的成像进行处理。

具体的在车牌识别应用中，当车牌图像质量不高时，目前主要的技术思路是针对单帧图像利用相关的数字图像处理技术(如图像滤波等)进行相应的处理，以提高图像的质量。这些方法，大都是传统的思路，通常来说，会存在图像细节不够清晰，识别细节不够准确，处理效果往往根据环境不同而变化较大。而近年来，深度学习人工智能技术的发展，无疑为解决这些问题提供了新思路。

发明内容

有鉴于此，本发明实施例提供一种低照度成像车牌识别方法、装置、终端设备及计算机可读介质，能够提高低照度成像车牌的识别效率和准确性。

本发明实施例的第一方面提供了一种低照度成像车牌识别方法，包括：

基于深度学习与自适应时空滤波，对低照度车牌图像的辨识度进行增强；

通过多信息融合对增强了辨识度后的低照度车牌图像中的车牌区域进行定位，并对定位后的所述车牌区域进行倾斜校正；所述多信息包括所述车牌区域的边缘位置处的密度比周围区域的密度更大和所述车牌区域中的字符分布在一条或两条直线上；

对经倾斜校正后的所述车牌区域中的字符进行分割；

对分割后的所述车牌区域中的字符进行识别。

本发明实施例的第二方面提供了一种低照度成像车牌识别装置，包括：

辨识增强模块，用于基于深度学习与自适应时空滤波，对低照度车牌图像的辨识度进行增强；

定位校正模块，用于通过多信息融合对增强了辨识度后的低照度车牌图像中的车牌区域进行定位，并对定位后的所述车牌区域进行倾斜校正；所述多信息包括所述车牌区域的边缘位置处的密度比周围区域的密度更大和所述车牌区域中的字符分布在一条或两条直线上；

分割模块，用于对经倾斜校正后的所述车牌区域中的字符进行分割；

识别模块，用于对分割后的所述车牌区域中的字符进行识别。

本发明实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述低照度成像车牌识别方法的步骤。

本发明实施例的第六方面提供了一种计算机可读介质，所述计算机可读介质存储有计算机程序，所述计算机程序被处理执行时实现上述低照度成像车牌识别方法的步骤。

本发明实施例提供的低照度成像车牌识别方法中，可基于深度学习与自适应时空滤波，对低照度车牌图像的辨识度进行增强，通过多信息融合对增强了辨识度后的低照度车牌图像中的车牌区域进行定位，并对定位后的所述车牌区域进行倾斜校正，对经倾斜校正后的所述车牌区域中的字符进行分割，并对分割后的所述车牌区域中的字符进行识别，从而可提高低照度成像车牌的识别效率和准确性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种低照度成像车牌识别方法的流程图；

图2是本发明实施例提供的深度卷积神经网络的结构示意图；

图3是本发明实施例提供的对低照度车辆图像做可辨识度处理前后的对比图；

图4是本发明实施例提供的在对车牌区域中的字符进行分割的步骤中对车牌区域中的字符和背景做对比度增强处理前后的车牌对比图；

图5是本发明实施例提供的车牌投影曲线的滤波前后的对比效果图；

图6是本发明实施例提供的低照度成像车牌识别装置的结构示意图；

图7是图6中的辨识增强模块的细化结构图；

图8是图6中的定位校正模块的细化结构图；

图9是图6中的分割模块的细化结构图；

图10是本发明实施例提供的终端设备的示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

请参阅图1，图1是本发明实施例提供的低照度成像车牌识别方法。如图1所示，本实施例的低照度成像车牌识别方法包括以下步骤：

S101：基于深度学习与自适应时空滤波，对低照度车牌图像的辨识度进行增强。

在本发明实施例中，可通过自适应时空滤波方式对低照度车牌图像进行去噪处理，基于卷积神经网络的深度学习方式，将去噪后的低照度车牌图像进行卷积自编码处理，提高所述去噪后的低照度车牌图像的对比度，并保留所述去噪后的低照度车牌图像的图像细节，再可通过伽马校正对经过卷积自编码处理的低照度车牌图像进行亮度增强处理。

进一步地，关于去噪处理，通常来说，去除噪声和亮度映射过程中均会损失图像的细节信息，因此本发明实施例选取保边去噪效果比较好的自适应时空滤波去除低照度车辆图像中的噪声，自适应时空滤波方法同现有技术，故在此不再赘述。经过自适应时空滤波之后，低照度车辆图像的噪声可以得到很大的改善。

进一步地，关于将去噪后的低照度车牌图像进行卷积自编码处理，现行的深度神经网络结构，诸如AlexNet、ResNet等基于图像分类和目标检测的研究，并不可能被直接应用于微光图像复原。本发明算法采用了一种包含并行卷积、跳跃结构和子像素卷积层的改进的深度卷积神经网络，其结构如图2所示。结构图中所示结构网络主要为卷积层和子像素卷积层，其中，W1为并行卷积层，W2、W4和W5为卷积层，W3为子像素卷积层，卷积层和子像素卷积层可采用编码-解码模式进行连接，卷积层主要用来进行特征提取和增强，实现去噪和对比度提升。网络中还包括非线性激活层，主要结合卷积层和子像素卷积层来逼近任意函数，这里采用近似生物神经激活的ReLU(x)＝max(0，x)函数。

本发明系统实施例设计的深度卷积神经网络的输入和输出的图像具有相同的尺寸w×h×d，其中w，h，d分别为图像的宽度、高度和维度，由于微光图像为灰度图像，因此其维度d＝1。设F₀(x)＝x表示输入，F_l(0＜l≤L)表示卷积层或子像素卷积层的输出，W_l，b_l分别表示卷积层或子像素卷积层的卷积核的权重和偏差，*表示卷积或子像素卷积操作，W₁₁＝3×3×128、W₁₂＝5×5×128和W₁₃＝7×7×128分别表示第一并行卷积层包含的3种不同尺度大小的卷积核的权重，深度卷积神经网络的第W1、W2、W3层的输出F₁(x)、F₂(x)、F₃(x)可表示为：

F₂(x)＝max(0，W₂*F₁(x)+b₂) (2)

F₃(x)＝max(0，W₃*F₂(x)+b₃) (3)

其中，

对于第W4层，由于跳跃结构的引入，涉及到求和操作，其输出可表示为：

F₄(x)＝max(0，W₄*(F₂(x)+F₃(x))+b₄) (4)

对于第W5层，由于主要目的是进行输出地转换，仅对前一层进行线性组合，因此没有使用Re-LU激活函数，其输出可表示为：

F₅(x)＝W₅*F₄(x)+b₅ (5)

进一步地，关于亮度增强处理，Gamma校正可包含以下三个步骤：1)归一化：将像素值转换为0～1之间的实数；2)求输出值：根据预设的Gamma值所绘制的符合需求的Gamma曲线，将归一化后的像素值代入曲线中，求得相应的输出值；3)反归一化：将经过预补偿的实数值反变换为图像的整数值。最后可得出相应的校正结果，Gamma校正主要为了提高图像的亮度，最后输出高质量清晰的低照度车辆图像。图3为低照度车辆图像处理前后的对比图，其中，左边竖直排列的四幅为处理前的图像，右边竖直排列的四幅为相应的处理后的图像，可以发现本发明实施例提供的算法在增强图像对比度的同时更多的保留了场景细节信息，且图像亮度有明显提升，是一种高效的基于深度学习的低照度成像算法。

S102：通过多信息融合对增强了辨识度后的低照度车牌图像中的车牌区域进行定位，并对定位后的所述车牌区域进行倾斜校正。

在本发明实施例中，判断一个区域是否为车牌时可以借鉴人类定位物体方式。车牌区域的边缘密度(车牌区域的边缘位置处的密度)与其周围区域，特别是其下方区域相比较大，是一项重要的环境信息。通过环境信息，可以排除大量非车牌区域；对于单层车牌，所有字符分布在一条直线上，对于双层车牌，下层车牌所有字符分布在一条直线上，这是车牌的结构信息；车牌除汉字外的每个字符都是字母或者数字，这是车牌的部件信息。通过这3类信息的融合运用，可以获得很好的车牌定位效果。

首先可基于环境信息对车牌区域进行粗定位(或称为初步定为)，具体可采用灰度图像进行车牌的粗定位，通过梯度算子[-1 0 1]得到车牌图像的边缘图：1)车牌区域的边缘密度较大，但是如果密度值过大则不属于车牌区域；2)车牌区域边缘密度相对其相邻区域较大；3)车牌区域边缘密度分布较均匀。同时，一般对于大多数车牌定位的场景来说，车牌区域在图像中的大小分布在某一已知范围内。根据上述分析，可设图像中车牌最小尺寸为W_min，H_min，最大尺寸为W_max，H_max，其中W_min，H_min，W_max，H_max分别是图像中的最小宽度和高度以及最大宽度和高度，通过如下步骤可实现车牌的粗定位：

1)将整幅图像分为小的单元(cell)，并计算每个单元(cell)的边缘密度。每个单元的尺寸为w×h，其中w＝h＝H_min/2。对于每个小单元(cell)，计算其边缘密度：

式中，E_m，n表示第m行，第n列单元(cell)的边缘密度。e_i，j表示边缘图中第i行，第j列的像素值。

2)根据边缘密度值过滤背景区域。车牌区域边缘密度分布在一定范围内可以根据：

过滤背景区域，其中A_i，j＝1表示第i行第j列的单元(cell)属于车牌的候选区域，A_i，j＝0表示该单元(cell)属于背景区域，t₁和t₂为边缘密度的低阈值和高阈值。

3)根据当前单元(cell)同其下方单元(cell)的边缘密度对比过滤背景区域。通过观察，车牌区域的边缘密度大于其他周围区域的边缘密度，尤其大于其下方区域的边缘密度。因此，在这一步主要通过对比每个单元(cell)同其下方单元(cell)的边缘密度来过滤背景区域。选择当前单元(cell)同其下方第H_max/h个单元(cell)进行比对。如果当前单元(cell)同其下方第H_max/h个单元(cell)的边缘密度对比大于给定阈值，认为其属于车牌候选区域，否则将齐过滤。

4)根据车牌区域边缘密度分布是否均匀过滤背景区域。由于车牌区域边缘密度分布比较均匀，因此当有一个单元(cell)属于车牌区域时，其邻域中应存在与其边缘密度比较接近的单元(cell)。因此，可以计算当前单元(cell)左侧及右侧邻域中与当前单元(cell)边缘密度接近的单元(cell)个数，如果该个数大于给定阈值，则判定当前单元(cell)属于车牌候选区域，否则当前单元(cell)属于背景区域，并将其过滤。

5)根据车牌区域的尺寸过滤背景区域。车牌区域具有一定的尺寸，当一个单元(cell)所在的连通区域包含的单元(cell)个数小于(W_min/w)×(H_min/h)，或大于(W_max/w)×(H_max/h)时，则将该单元(cell)所在的连通区域过滤。

经过上述几个步骤，所述低照度车牌图像中的大部分背景区域会被过滤掉。

进一步地，在对车牌区域进行初步定位后，可基于车牌结构信息对车牌区域做精确定位(二次定位)。通过粗定位过程，大部分背景区域被过滤，对于没有被过滤的剩余区域，通过车牌结构信息可进行精确定位。所述车牌结构信息包括车牌上的字符分布在一条直线或两条直线上，即一个车牌由分布在一条直线或者两条直线上的字符构成，通过车牌字符的分布信息，可以精确定位车牌区域。车牌图像具有亮底暗字和暗底亮字两种类型，仅适用单一形态学操作无法同时成功提取出字符区域进行车牌定位。因此，可提出伪字符的概念，即将车牌字符之间的间隔部分看做是伪字符，通过成对的形态学操作(对于暗底亮字车牌，高帽运算提取其字符区域，低帽运算提取其伪字符区域；对于亮底暗字车牌，高帽运算提取其伪字符区域，低帽运算提取其字符区域)，将字符信息和车牌背景信息(伪字符)进行显式结合，能够在统一的框架下检测两种类型的车牌。这里的高帽运算(top-hat)通过原图像和开运算图像作差，能够提取局部较亮的区域；而低帽变换(bot-hat)通过原图像和闭运算图像作差，能够提取出局部较暗的区域。具体地，首先通过成对的形态学操作算子(高帽运算，低帽运算)对车牌候选区域进行运算，并对结果进行二值化以及连通成分分析，获取每个字符和伪字符的候选区域，提取车牌字符和伪字符，对于所有候选区域，通过霍夫变换进行直线检测，进而得到车牌的精确位置。由于大部分背景区域已经被滤除，小范围内的形态学操作能够很快地完成。粗定位结合细定位的车牌定位方法可以有效的提高车牌定位的速度，并通过排除大部分的背景图像提高了车牌定位的准确率。最后，将精确定位后的车牌图像进行截取并输出。

进一步地，在将精确定位后输出的车辆图像进行非极大值抑制处理，并将进行非极大值抑制处理后的低照度车牌图像中的车牌区域进行基于霍夫变换的倾斜校正，得到最终定位后的车牌图像。本发明实施例使用的是现行简单高效的基于贪心策略的非极大值抑制算法，故在此不做多赘述。经过非极大值抑制处理后的车牌图像可再进行基于霍夫变换的倾斜校正。霍夫变换是一种强有力的特征提取方法，它利用局部图像信息有效的积累所有可能的模型实例的依据，这使得它既能方便的从外部数据中获得额外的信息，又能敏锐的从只有一部分的实例中呈现出有效信息。霍夫变换普遍应用在计算机视觉中形状，位置，几何变换参数的判断中。自霍夫变换提出以来，其得到了广泛的应用。近些年，专家学者们对霍夫变换的理论性质与应用方法又进行了进一步的探讨。霍夫变换作为一种有效的识别直线的算法，具有良好的抗干扰性及鲁棒性。霍夫变换方法包含一个从图像空间中的特征到参数空间中点的集合的映射。每一个参数空间中的点表征着图像空间中模型的一个实例，图像特征利用一个函数被映射到参数空间当中去，这个函数产生能够兼容观察到的图像特征与假设的模型的所有的参数组合。每一个图像特征将在多维的参数空间中产生一个不同的平面，但是由所有图像特征产生的属于同一个模型的实例的一切平面都会相交在描绘共同的实例的点。霍夫变换的根本是产生这些平面并且识别与之相交的参数点。

S103：对经倾斜校正后的所述车牌区域中的字符进行分割。

在本发明实施例中，所述低照度车牌图像经定位后形成的车牌图像中有两种车牌，一种是有边框的车牌，而另一种是没有边框的车牌。可将车牌候选区域旋转至水平后就可以对车牌进行精确定位了，也就是对车牌边框的去除。对测试数据进行统计分析可以得出：经过定位旋转后的车牌候选区域边框有两种，一种是车牌本身的边框，而另一种是车牌周围的白色背景与车牌一起被当作候选车牌区域，此时该白色背景也可以被看作是车牌的边框。车牌边框的处理分为车牌上下边框的处理和车牌左右边框的处理。车牌的上下边框的处理比较简单，车牌的上下边框分为两种：一种是车牌本身的白色边框，另一种是车牌上下位置的白色背景。而车牌的左右边界也可以归为这两类，不过由于图像本身的特征，一般来说车牌的上下边框要宽于左右边框，并且车牌左右边框要复杂一些。对于车牌的上下边框的去除，本发明实施例采取了下面步骤一和二来处理：

一、上下边框的去除：可用OTSU(大津算法)方法获得车牌候选区域的二值化阈值，从而得到候选区域的二值图像，为了排除车牌倾斜角度的影响求取该二值图像中间部分的行和，然后将行和处理如下：

其中，式子(8)为C语言的相关表达，故在此不再赘述。再可从中间向两端开始寻找rowsum的上下方向上有一段距离为零的边界，本发明实施例提供的算法中采用的该距离为0.75×height，因为一般车牌的上下边框去除的比较准确，故可采用图形高度来做参考距离。此时所得到的边界就是最后所需要的车牌上下边界。经过上述处理后，对于大多数图片可以将其上下边框进行处理掉，然后就可以对该车牌区域进行去除左右边框了。

二：左右边框的去除：1、用去除上下边框相同的方法来找到一个左右边框的边界：left1，right1；2、重新构建一个二值图像，并用和第1步骤中相同的方法来寻找边界left2，right2。此时构建的二值图像根据车牌区域HSI模型的h值来二值化图像。首先对车牌区域的中间区域来统计其h值的范围，然后根据该范围对全部车牌区域进行二值化，就得到了我们需要的二值化图像。3、根据第1和第2步得到的两个边界信息来确定最后的边界。最后确定的边界可以用下面式子表示：

left＝max(left1，left2)

right＝min(right1，right2) (9)

其中，式子(9)为C语言的相关表达，故在此不再赘述。按照上述两个步骤一和二去边框处理后，得到的车牌区域比原来定位出来原始车牌区域精确了些，但是并不是绝对的精确，我们可以将其看作是边框去除过程中引入的误差。本发明采用的分割算法能够容忍在车牌边框去除时存在的少许误差。也就是说在去除车牌左右边框时，边框没有完全去除并不影响我们队字符的正确分割。

在进行分割字符前，必须要注意一个问题，那就是由于不同光照、和车牌脏旧等原因使得车牌的灰度图像中背景和字符对比度不强，这对于后一步用投影法来进行字符分割会带来一定的难度，故而在分割前需要先对车牌图像进行字符的对比度增强。

一个完整的车牌区域字符像素占整个车牌区域像素的20％，对于某些图片来说，虽然由于其他原因使得车牌中字符和背景的差异不是很大，但是总体上来说字符的像素值也比背景像素值高一些。故可以利用该特点来对车牌区域中前20％像素进行增强而对其他的像素进行抑制，从而到达增强目标字符抑制背景的目的。对此本发明采用车牌增强算法如下：

步骤1：统计整个车牌区域内像素点的最大像素值和最小像素值maxvalue，minvalue。

步骤2：设置需要增强的像素点数占全部像素点数的比例系数coef，比例系数范围在0-1之间，根据实际需要调整，通常原始车牌图像较清晰，比例系数就较小，原始车牌图像模糊，比例系数就大。

步骤3：统计0-255像素值上对应出现的像素点的个数，并存储在1×255的数组count(1，i)里面。

步骤4：从count(1，i)，i＝255开始往下统计像素点的个数，如果统计的像素点pixelnum＜width*height*coef则将i-1继续统计，否则停止统计并记下当前的像素值index。

步骤5：车牌区域每一点按下面的方法进行增强：

其中，式子(10)为C语言的相关表达，故在此不再赘述。经过上面的变换后，就可以将图像进行增强，如果原图已有很好的对比度，经过以上的变换也不会使图像的效果变差，其效果图如图4所示。

从图4的效果可以看出，上面的三幅图像由RGB直接转换为灰度图像的车牌区域其对比度一般或很差，经过增强后的下面三幅图像的背景和字符的对比度明显好转。这样的对比度增强对下一步分割字符有利。由于本发明实施例所采用的字符分割方法是基于灰度投影的算法，如果原本字符对比度不明显，其灰度投影图的波峰、波谷特征也不是很明显，但是经过图像增强后，其灰度投影图就能够很好的表现其波峰波谷特征，有利用对字符的精确分割。

本发明实施例所用的灰度投影分割字符充分利用了车牌字符的特点，与一般的投影分割相比有很大的优越性。普通的投影分割就是利用灰度投影曲线的波谷点来对字符进行分割。本发明对这种普通的投影算法进行了改进大大提高了字符分割正确率。由车牌字符投影曲线可以看出，车牌圆点右边的五个字符中除了字母就是数字。对于字母和数字来说，其投影曲线不是双峰结构就是单峰结构。所以本发明在对字符进行分割充分利用该特征改进了投影分割算法。进行字符分割前，对前面增强的车牌图像，按列累加图像的像素值，就可以得到车牌的投影曲线(或称为灰度投影曲线)，但是得到的投影曲线有很多噪声使其并不平滑，这影响系对字符的分割，所以首先需要将投影曲线进行平滑，在本算法中采用高斯滤波来平滑投影曲线，用于滤波的核为[0.25，0.5，1，0.5，0.25]。图5为车牌投影曲线的滤波前后的对比效果图。其中，图5中的上图为滤波前的车牌投影曲线，图5中的下图为滤波后的车牌投影曲线。从图中可以很明显的看出经过滤波后的投影曲线比原曲线平滑了很多，且滤波前的投影曲线中的一些由噪声引起的峰值也在滤波后消失了，从而在检测波峰波谷时就不会检测出因噪声产生的波峰波谷点。由滤波后的车牌灰度投影图，就可以根据该投影曲线来进行字符分割。本发明采用的是改进的投影法来进行字符分割。一般的投影法分割字符是直接利用波谷点来对字符进行分割，而本发明实施例提供的的投影法在分割字符时充分考虑了车牌字符的投影特征，具体步骤如下：

步骤一：根据车牌的灰度投影曲线图可得，车牌后面最多出现五个双峰结构，故搜索出前五个最大波谷点，然后判断这些点是否为双峰结构中的波谷点，如果是，则将该双峰结构的起止位置记下。

步骤二：确定车牌字符宽度characterwidth。如果步骤一检测到了双峰结构，则字符宽度就取为检测到的所有双峰结构的平均值，否则字符宽度就取前3个单峰宽度中的最大值。

步骤三：设置字符起始点为第二字符和第三字符的分割点，设置结束点为车牌最后一个波谷点。如果在步骤一中检测到了双峰结构则进行步骤四，否则进行步骤五。

步骤四：设置字符临时分割段起始点为字符起始点，字符临时分割段终点为一个双峰结构起始位置，然后在字符临时分割段里进行检测，如果该段里有一个峰结构，则该峰就单独为一个字符，如果该段里有两个峰结构，则先判断这两个峰是一个双峰字符还是两个单峰字符，具体判断规则就利用这两个峰的宽度，以及该宽度和字符宽度进行比较。如果这两个峰宽度之和小于字符宽度的1.2倍且这两个峰宽度相差很小，则这两个峰结构为一个双峰字符的投影；否则这两个峰结构就不是一个双峰字符的投影，且可以肯定前面一个峰结构就是一个字符，所以可以将其前面的一个峰结构分割出来，然后更新字符临时分割段如下：将字符临时分割段的起点更新到被分割出来的峰后面，字符临时分割段终点不变，但是如果此时字符临时分割段的起点等于终点时。则将其起点更新到先前的双峰结构的终止位置，并将临时分割段的终点更新到下一个双峰结构的起点，如果后面没有双峰结构了则将临时分割段的终点更新为字符结束点，然后重复步骤四直到分割到字符结束点为止。

步骤五：进行到该步骤说明在步骤一中并未检测到双峰结构，但是并不代表该车牌内不存在双峰结构的字符，即并不能排除存在有双峰结构的字符。此时分割就直接从字符起始点开始分割直到分割出5个字符。在分割中需要检测的就是相邻的两个峰结构是不是一个字符的双峰曲线。检测所利用的方法和步骤四中相同，利用两个峰的宽度和该宽度与字符宽度之间的关系进行判断。

步骤六：根据分割出的后面五个字符来分割前面两个字符(例如，湘A)。首先将分割出来的后面五个字符中的最大宽度作为前面两个字符的宽度。前面两个字符为字母或者汉字(例如，湘A)，且前面两个字符也为双峰结构，所以用后面五个字符中的最大宽度作为前面字符的宽度是合理的。分割前面两个字符的方法为：从第二字符和第三字符的分割点向前移动字符宽度个像素，然后将离该点的最近一个波谷值作为车牌第一字符和第二字符的分割点。利用同样方法也可以确定第一个字符的开始位置。

步骤七：对分割出来的字符序列进行检测，看该序列是否符合车牌字符序列的特征。该特征可以用下面表达式来表示，假设dis1为前面两个字符的宽度向量，dis2为后面五个字符看宽度向量，width为车牌宽度，height为车牌高度，则一个合理的车牌字符序列必须满足下面的表达式：

min(min(dis1)，min(dis2))＞width/10

max(dis2)＞width/5

height/min(dis1)＜3 (11)

其中，式子(11)为C语言的相关表达，故在此不再赘述。这样就可以从车牌区域中分割出字符序列，从上面的算法步骤中可以看出，对于还有部分左右边框的车牌，本发明的分割算法对其具有很高的鲁棒性。

S104：对分割后的所述车牌区域中的字符进行识别。

在本发明实施例中，关于已经分割好的所述车牌区域中的字符的识别，本发明实施例采用基于深度学习的卷积神经网络(CNN)进行车牌字符识别的数据库训练，训练好数据库后，输入任意分割后的车牌字符，能准确快速的输出相关车牌的具体字符信息。

在图1提供的低照度成像车牌识别方法中，可基于深度学习与自适应时空滤波，对低照度车牌图像的辨识度进行增强，通过多信息融合对增强了辨识度后的低照度车牌图像中的车牌区域进行定位，并对定位后的所述车牌区域进行倾斜校正，对经倾斜校正后的所述车牌区域中的字符进行分割，最后可对分割后的所述车牌区域中的字符进行识别，从而可增强低照度成像车牌的识别效率和准确性。

请参阅图6，图6是本发明实施例提供的一种低照度成像车牌识别装置的结构框图。如图6所示，本实施例的低照度成像车牌识别60包括辨识增强模块601、定位校正模块602、分割模块603和识别模块604。辨识增强模块601、定位校正模块602、分割模块603和识别模块604分别用于执行图1中的S101、S102、S103和S104中的具体方法，详情可参见图1的相关介绍，在此仅作简单描述：

辨识增强模块601，用于基于深度学习与自适应时空滤波，对低照度车牌图像的辨识度进行增强。

定位校正模块602，用于通过多信息融合对增强了辨识度后的低照度车牌图像中的车牌区域进行定位，并对定位后的所述车牌区域进行倾斜校正；所述多信息包括所述车牌区域的边缘位置处的密度比周围区域的密度更大和所述车牌区域中的字符分布在一条或两条直线上。

分割模块603，用于对经倾斜校正后的所述车牌区域中的字符进行分割。

识别模块604，用于对分割后的所述车牌区域中的字符进行识别。

进一步地，可参见图7，辨识增强模块601可具体包括去噪单元6011、卷积单元6012和伽马校正单元6013：

去噪单元6011，用于通过自适应时空滤波方式对低照度车牌图像进行去噪处理。

卷积单元6012，用于基于卷积神经网络的深度学习方式，将去噪后的低照度车牌图像进行卷积自编码处理，提高所述去噪后的低照度车牌图像的对比度，并保留所述去噪后的低照度车牌图像的图像细节。

伽马校正单元6013，用于通过伽马校正对经过卷积自编码处理的低照度车牌图像进行亮度增强处理。

进一步地，可参见图8，定位校正模块602可具体包括初步定位单元6021、二次定位单元6022和倾斜校正单元6023：

初步定位单元6021，用于通过所述低照度车牌图像中的车牌区域的边缘位置处的密度比周围区域的密度更大的特征，初步定位增强了辨识度后的低照度车牌图像中的车牌区域；

二次定位单元6022，用于通过车牌结构信息对经初步定为后的低照度车牌图像中的车牌区域进行二次定位；所述车牌结构信息包括车牌上的字符分布在一条直线或两条直线上；

倾斜校正单元6023，用于将经二次定位后的低照度车牌图像进行非极大值抑制处理，并将进行非极大值抑制处理后的低照度车牌图像中的车牌区域进行基于霍夫变换的倾斜校正。

进一步地，可参见图9，分割模块603可具体包括边框去除单元6031、对比增强单元6032和分割单元6033：

边框去除单元6031，用于去除经倾斜校正后的所述车牌区域的边框。

对比增强单元6032，用于增强去除了边框后的车牌区域内的字符与背景的对比度。

分割单元6033，用于利用车牌上的字符的投影曲线具有双缝结构及单峰结构的特征，采用投影法对增强了对比度后的车牌区域内的字符进行分割。

在图6提供的低照度成像车牌识别装置，可基于深度学习与自适应时空滤波，对低照度车牌图像的辨识度进行增强，通过多信息融合对增强了辨识度后的低照度车牌图像中的车牌区域进行定位，并对定位后的所述车牌区域进行倾斜校正，对经倾斜校正后的所述车牌区域中的字符进行分割，最后可对分割后的所述车牌区域中的字符进行识别，从而可增强低照度成像车牌的识别效率和准确性。

图10是本发明一实施例提供的终端设备的示意图。如图10所示，该实施例的终端设备10包括：处理器100、存储器101以及存储在所述存储器101中并可在所述处理器100上运行的计算机程序102，例如进行低照度成像车牌识别的程序。所述处理器100执行所述计算机程序102时实现上述方法实施例中的步骤，例如，图1所示的S101至S104。或者，所述处理器100执行所述计算机程序102时实现上述各装置实施例中各模块/单元的功能，例如图6所示模块601至604的功能。

示例性的，所述计算机程序102可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器101中，并由所述处理器100执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序102在终端设备10中的执行过程。例如，所述计算机程序102可以被分割成辨识增强模块601、定位校正模块602、分割模块603和识别模块604。(虚拟装置中的模块)，各模块具体功能如下：

所述终端设备10可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。终端设备10可包括，但不仅限于，处理器100、存储器101。本领域技术人员可以理解，图10仅仅是终端设备10的示例，并不构成对终端设备10的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。

所述处理器100可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器101可以是终端设备10的内部存储单元，例如终端设备10的硬盘或内存。所述存储器101也可以是终端设备10的外部存储设备，例如所述终端设备10上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器101还可以既包括终端设备10的内部存储单元也包括外部存储设备。所述存储器101用于存储所述计算机程序以及终端设备10所需的其他程序和数据。所述存储器101还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims

1.一种低照度成像车牌识别方法，其特征在于，包括：

对经倾斜校正后的所述车牌区域中的字符进行分割；

对分割后的所述车牌区域中的字符进行识别。

2.根据权利要求1所述的低照度成像车牌识别方法，其特征在于，所述基于深度学习与自适应时空滤波，对低照度车牌图像的辨识度进行增强，包括：

通过自适应时空滤波方式对低照度车牌图像进行去噪处理；

基于卷积神经网络的深度学习方式，将去噪后的低照度车牌图像进行卷积自编码处理，提高所述去噪后的低照度车牌图像的对比度，并保留所述去噪后的低照度车牌图像的图像细节；

通过伽马校正对经过卷积自编码处理的低照度车牌图像进行亮度增强处理。

3.根据权利要求1所述的低照度成像车牌识别方法，其特征在于，所述通过多信息融合对增强了辨识度后的所述低照度车牌图像中的车牌区域进行定位，并对定位后的所述车牌区域进行倾斜校正，包括：

通过所述低照度车牌图像中的车牌区域的边缘位置处的密度比周围区域的密度更大的特征，初步定位增强了辨识度后的低照度车牌图像中的车牌区域；

通过车牌结构信息对经初步定为后的低照度车牌图像中的车牌区域进行二次定位；所述车牌结构信息包括车牌上的字符分布在一条直线或两条直线上；

将经二次定位后的低照度车牌图像进行非极大值抑制处理，并将进行非极大值抑制处理后的低照度车牌图像中的车牌区域进行基于霍夫变换的倾斜校正。

4.根据权利要求1所述的低照度成像车牌识别方法，其特征在于，所述对经倾斜校正后的所述车牌区域中的字符进行分割，包括：

去除经倾斜校正后的所述车牌区域的边框；

增强去除了边框后的车牌区域内的字符与背景的对比度；

利用车牌上的字符的投影曲线具有双缝结构及单峰结构的特征，采用投影法对增强了对比度后的车牌区域内的字符进行分割。

5.一种低照度成像车牌识别装置，其特征在于，包括：

6.根据权利要求5所述的低照度成像车牌识别装置，其特征在于，所述辨识增强模块包括：

去噪单元，用于通过自适应时空滤波方式对低照度车牌图像进行去噪处理；

卷积单元，用于基于卷积神经网络的深度学习方式，将去噪后的低照度车牌图像进行卷积自编码处理，提高所述去噪后的低照度车牌图像的对比度，并保留所述去噪后的低照度车牌图像的图像细节；

伽马校正单元，用于通过伽马校正对经过卷积自编码处理的低照度车牌图像进行亮度增强处理。

7.根据权利要求5所述的低照度成像车牌识别装置，其特征在于，所述定位校正模块包括：

初步定位单元，用于通过所述低照度车牌图像中的车牌区域的边缘位置处的密度比周围区域的密度更大的特征，初步定位增强了辨识度后的低照度车牌图像中的车牌区域；

二次定位单元，用于通过车牌结构信息对经初步定为后的低照度车牌图像中的车牌区域进行二次定位；所述车牌结构信息包括车牌上的字符分布在一条直线或两条直线上；

倾斜校正单元，用于将经二次定位后的低照度车牌图像进行非极大值抑制处理，并将进行非极大值抑制处理后的低照度车牌图像中的车牌区域进行基于霍夫变换的倾斜校正。

8.根据权利要求5所述的低照度成像车牌识别装置，其特征在于，所述分割模块包括：

边框去除单元，用于去除经倾斜校正后的所述车牌区域的边框；

对比增强单元，用于增强去除了边框后的车牌区域内的字符与背景的对比度；

分割单元，用于利用车牌上的字符的投影曲线具有双缝结构及单峰结构的特征，采用投影法对增强了对比度后的车牌区域内的字符进行分割。

9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-5中任一项所述方法的步骤。

10.一种计算机可读介质，所述计算机可读介质存储有计算机程序，其特征在于，所述计算机程序被处理执行时实现如权利要求1-5中任一项所述方法的步骤。