CN111429727B - 一种开放式停车位中车牌识别方法及系统 - Google Patents

Abstract

本发明公开了一种开放式停车位中车牌识别方法，包括：S1，获取待检测图像；S2，车牌检测，对待检测的图像采用改进的MTCNN深度学习算法进行车牌检测，判断当前图像中是否存在车牌的四个顶点；S3，车牌校正，根据检测的车牌的四个顶点，计算透视变换矩阵，采用透视变换理论，对车牌进行校正；S4，整牌识别，对校正后的车牌图像归一化处理，然后对归一化后的车牌进行整行识别。还公开了一种开放式停车位中车牌识别系统，本发明提供的方法和系统能有效提高开放式停车位中车牌的识别效率和准确性。

Description

一种开放式停车位中车牌识别方法及系统

技术领域

本发明涉及一种车牌识别方法及系统，尤其涉及一种开放式停车位中的车牌识别方法及系统。

背景技术

目前的车牌识别设备应用最广泛的是高速入口的ETC车牌识别设备以及封闭式停车场车牌识别设备。这两种设备的场景十分固定，所抓拍的车牌角度非常正，距离对于抓拍车牌来说足够清晰，不用考虑功耗性能等问题的情况下，补光也很充足，不受限于光线。采用传统的OCR处理方案就能满足。但是在开放式的场景中，停车过程不尽相同，导致车牌抓拍角度各种各样，且受限于设备的性能及安装角度，抓拍的车牌的清晰度非常有限，因此如何在开放式停车场中进行准确的车牌识别，这是一个急需解决技术问题。

发明内容

在开放式停车场的车位管理中，车牌识别及图像分类是一个痛点，如果无法实现车牌的准确识别，将无法实现对开放式停车位的有效管理。而且受限于芯片性能、功耗及场景多样化的问题，车牌识别的准确率较低。如图1所示，在开放式停车场中，包含超声波探测器的停车场车位管理设备一般安装在距离车位上边框18厘米处(可根据实际车位长度进行调整)，一般使超声波探测距离覆盖半个车位，超声波探测器定时发射超声波，用以检测车位内物体的距离，根据回波时间减发射时间，算出距离，一般小于5米大于0.2米都算有车，此超声波只用于判断是否启动停车位管理设备。如图1所示。停车设备启动时，将会对停车场进行拍照，由于停车过程不尽相同，导致车牌抓拍角度各种各样，且受限于设备的性能及安装角度，抓拍的车牌的清晰度非常有限，因此无法准确识别车牌。

为了实现开放式停车场中车牌的准确识别，本申请提出了一种开放式停车位中车牌识别方法，包括：

S1，获取待检测图像；

S2，车牌检测，对待检测的图像采用改进的MTCNN深度学习算法进行车牌检测，判断当前图像中是否存在车牌的四个顶点；

S3，车牌校正，根据检测的车牌的四个顶点，计算透视变换矩阵，采用透视变换理论，对车牌进行校正；

S4，整牌识别，对校正后的车牌图像归一化处理，然后对归一化后的车牌进行整行识别。

优选地，所述步骤S2包括：

S201，通过一个基于3层的CNN快速生成候选窗口；

S202，通过一个4层的卷积神经网络CNN对步骤S201得到候选窗口图像进行处理，否决大量非车牌窗口从而精化车牌窗口；

S203，使用5层的CNN进一步精化结果并输出4个车牌顶点。

优选地，所述步骤S2还包括：

当检测不到车牌时，将图片通过有车无车算法进行判断，在判断有车时，通过人工进行车牌识别，当判断无车时，不作处理。

所述有车无车算法采用mobilenet网络对场景图像进行分类，将图像的类型分为六类，有车样本：露出车身车轮、只露出底盘(无车轮)、只有车轮；无车样本：场景中没有车、场景中有经过车辆(远处小车)、图片曝光。

另外，本发明还提供了一种开放式停车位中车牌识别系统，包括：

待检测图像获取模块，获取待检测的图像；

车牌检测模块，对待检测的图像采用改进的MTCNN深度学习算法进行车牌检测，判断当前图像中是否存在车牌的四个顶点；

车牌校正模块，根据检测的车牌的四个顶点，计算透视变换矩阵，采用透视变换理论，对车牌进行校正；

车牌识别模块，对校正后的车牌图像归一化处理，然后对归一化后的车牌进行整行识别。

从以上技术方案可以看出，本申请具有以下优点：本申请能够节省资源，在检测的车辆时，对车辆进行车牌识别；采用改进的MTCNN深度学习算法进行车牌检测，保证各个角度的车牌进行准确识别，抗干扰性强，能够有效提高检测的准确性以及效率；另外，在检测不到车牌时，利用有车无车检测算法对图像进行再次校验，避免车辆无法识别车牌的情况发生。

附图说明

图1为本申请具体实施例中开放式停车位示意图；

图2为本申请具体实施例中开放式停车位中车牌识别的流程示意图；

图3为本申请具体实施例中P-Net的结构示意图；

图4为本申请具体实施例中R-Net的结构示意图；

图5为本申请具体实施例中O-Net的结构示意图。

具体实施方式

以下结合其中的较佳实施例对本发明方案进行详细阐述。

实施例一

参见图2所示，是本发明的开放式停车位中车牌识别的流程示意图。如图2所示，该实施例中的开放式停车位中车牌识别方法包括步骤：

S1，获取待检测图像；

在开放式停车位车位管理设备检测到车辆时，设备将启动拍照功能，每隔一段时间，如3秒，拍摄一次图像，此时，将获得大量停车位中的场景图像，将得到的场景图像作为待检测图像。

S2，车牌检测，对待检测的图像采用改进的MTCNN深度学习算法进行车牌检测，判断当前图像中是否存在车牌的四个顶点；

所述步骤S2进一步包括：

S201，通过一个基于3层的CNN快速生成候选窗口；

该步骤是通过一个全部由卷积层组成的3层CNN网络获取候选车牌窗口以及车牌框回归向量。基于车牌框回归向量对候选窗口进行校正，该步骤在三个任务det、box、landmark任务上，a的对应取值为{1.0,0.5,0.5}，其中该阶段输入的图像的宽为16，高为12。然后，采用非极大值抑制(NMS)算法合并高重叠率的候选窗口，该处理针对产生的多个车牌位置结果进行融合处理，将位置区域重合的进行合并处理，最终达到每个车牌输出一个确切的位置。

所述3层CNN网络为P-Net，如图3所示，其输入为宽16高12的3通道彩图(RGB或者BGR)，第一层为10个5*5的卷积层，第二层为16个3*3的卷积层，第三层为32个1*1的卷积层，然后输出一个2+4+8＝12维的向量，其中包括plate_confidence，no_plateconfidence，车牌位置的四个坐标为(left,top,right,bottom),四个顶点的坐标为(x1,y1),(x2,y2),(x3,y3),(x4,y4)总共12个值。plate_confidence，no_plateconfidence代表车牌和非车牌的置信度。

在车牌的置信度plate_confidence大于阈值时，判定该图像包含车牌，否则判断检测不到车牌。然后根据步骤S201输出的四个车牌位置坐标去图像上截取车牌图像，接下来对车牌图像进行归一化处理并作为候选窗口，输入步骤进行S202处理。其中，归一化后的车牌图像优选为36*24的图像，判定阈值优选为0.7。

S202，通过一个4层的卷积神经网络CNN对步骤S201得到候选窗口图像进行处理，否决大量非车牌窗口从而精化车牌窗口；

所述4层的卷积神经网络CNN称为R-Net，如图4所示，输入的为宽36高24的3通道彩图(RGB或者BGR)，第一层为28个11*11的卷积层，第二层为48个4*4的卷积层，第三层为65个3*3的卷积层，第四层为一个128维的全连接层，最后为输出层，输出一个2+4+8＝12维的向量，其中包括plate_confidence，no_plateconfidence，车牌位置的四个坐标为(left,top,right,bottom),四个顶点的坐标为(x1,y1),(x2,y2),(x3,y3),(x4,y4)总共12个值。plate_confidence，no_plateconfidence代表车牌和非车牌的置信度。其中，步骤S201输出的候选窗口作为R-Net的输入，R-Net能够进一步筛除大量错误的候选窗口，再利用车牌框回归向量对候选窗口做校正，并执行NMS算法。该阶段在三个任务det、box、landmark任务上，a的对应取值优选为{1.0,0.5,1.0}，其中该步骤输入的图像优选宽为36，高为24。

在车牌的置信度plate_confidence大于阈值时，判定该图像包含车牌，否则判断检测不到车牌。然后根据步骤S202输出车牌位置的四个坐标去图像上截取车牌图像，接下来对车牌图像进行归一化处理并作为候选窗口，输入步骤进行S203处理。其中，归一化后的车牌图像优选为72*48的图像，判定阈值优选为0.6。

S203，使用5层的CNN进一步精化结果并输出4个车牌顶点；

与步骤S202相似，依然采用5层的卷积神经网络CNN进行处理，而且网络能够输出四个车牌顶点的位置坐标。该阶段在三个任务det、box、landmark任务上，a的对应取值为{1.0,0.5,1.0}，其中该阶段输入的图像的宽为48，高为72。

所述5层的卷积神经网络CNN称为O-Net，如图5所示，输入的为宽72高48的3通道彩图(RGB或者BGR)，第一层为23个32*32的卷积层，第二层为64个10*10的卷积层，第三层为64个4*4的卷积层，第四层为128个3*3的卷积层，第五层为一个256维的全连接层，最后为输出层，输出一个2+4+8＝12维的向量，其中包括plate_confidence，no_plateconfidence，车牌位置的四个坐标为(left,top,right,bottom),四个顶点的坐标为(x1,y1),(x2,y2),(x3,y3),(x4,y4)总共12个值。

在车牌的置信度plate_confidence大于阈值时，判定该图像包含车牌，输出车牌的四个坐标，否则判断检测不到车牌。阈值优选为0.4.

S3，车牌校正，根据检测的车牌的四个顶点，计算透视变换矩阵，采用透视变换理论，对车牌进行校正；

其中透视变换公式为：

其中，u,v是原始图片坐标，对应得到变换后的图片坐标x,y,其中x＝x′/w′，y＝y′/w′。

透视变换矩阵计算方法为：通过车牌检测方法，得到车牌的四个顶点的坐标，分别为(x1,y1),(x2,y2),(x3,y3),(x4,y4)，代表左上，右上，右下，左下四个顶点，对应矫正的坐标为(0,0),(W,0),(W,H),(0,H)，其中W为车牌的宽度，可以取132，H为车牌的高度，可以取32，将这四对坐标分别输入到以下这个方程组：

然后可以得到8个方程，如下所示，根据这8个方程，解出矩阵的8个参数，依次为a11,a12,a13,a21,a22,a23,a31,a32,其中a33＝1为固定值：

S4，整牌识别，对校正后的车牌图像归一化处理，然后对归一化后的车牌进行整行识别。

传统的车牌识别算法，对定位后的车牌进行字符分割，然后采用机器学习算法对分割后的字符进行识别，传统算法的缺点是最终的识别率严重依赖字符分割的效果，而字符分割对抓拍曝光的车牌、磨损车牌、脏车牌等效果较差，且此类车牌很难解决。本发明采用CNN+RNN网络对校正后归一化的车牌图像做整行识别。本实施例中将车牌归一化到128*32尺寸，即宽128，高32，然后送入神经网络进行识别。该网络总共分三类，从下到上依次为：

1)卷积层，使用CNN，从输入图像中提取特征序列；

2)循环层，使用RNN，预测从卷积层获取的特征序列的标签(真实值)分布；循环层由一个双向LSTM循环神经网络构成，预测特征序列中的每一个特征向量的标签分布(真实结果的概率列表)，循环层的误差被反向传播，最后会转换成特征序列，再把特征序列反馈到卷积层，作为卷积层和循环层之间连接的桥梁。

3)转录层，使用CTC模型，是把从循环层获取的标签分布通过去重整合操作转换成最终的识别结果；转录是将双向LSTM网络预测的特征序列的所有可能的结果进行整合，转换为最终结果。

在步骤S2中，当检测不到车牌时，将图片通过有车无车算法进行判断，在判断有车时，通过人工进行车牌识别，当判断无车时，不作处理。

其中，有车无车算法采用mobilenet网络对场景图像进行分类，本实施例中将图像的类型分为六类，如下所示：有车样本：露出车身车轮、只露出底盘(无车轮)、只有车轮。无车样本：场景中没有车、场景中有经过车辆(远处小车)、图片曝光。

本实施例中，提出一种开放式停车位中车牌识别方法，通过采用改进的MTCNN算法对开放式停车位中的车牌进行车牌检测，并通过车牌整行内容进行识别，能够有效提高车牌的识别准确性；并且在检测不到车牌时，通过对车牌图像进行分类识别，在判断有车时，对图像进行进一步检测，能够进一步提高开放式停车位中车牌识别的准确性，而且提高了车牌识别的效率。

实施例二

本申请实施例中还包括一种开放式停车位中车牌识别系统，包括：

待检测图像获取模块，在开放式停车位车位管理设备检测到车辆时，设备将启动拍照功能，每隔一段时间，如3秒，拍摄一次图像，此时，将获得大量停车位中的场景图像，将得到的场景图像作为待检测图像。

车牌检测模块，对待检测的图像采用改进的MTCNN深度学习算法进行车牌检测，判断当前图像中是否存在车牌的四个顶点；

所述车牌检测模块进一步包括：

候选窗口生成子模块，通过一个基于3层的CNN快速生成候选窗口；

所述候选窗口生成子模块是一个全部由卷积层组成的3层CNN网络获取候选车牌窗口以及车牌框回归向量。基于车牌框回归向量对候选窗口进行校正，该步骤在三个任务det、box、landmark任务上，a的对应取值为{1.0,0.5,0.5}，其中该阶段输入的图像的宽为16，高为12。然后，采用非极大值抑制(NMS)算法合并高重叠率的候选窗口，该处理针对产生的多个车牌位置结果进行融合处理，将位置区域重合的进行合并处理，最终达到每个车牌输出一个确切的位置。

所述3层CNN网络为P-Net，如图3所示，其输入为宽16高12的3通道彩图(RGB或者BGR)，第一层为10个5*5的卷积层，第二层为16个3*3的卷积层，第三层为32个1*1的卷积层，然后输出一个2+4+8＝12维的向量，其中包括plate_confidence，no_plateconfidence，车牌位置的四个坐标为(left,top,right,bottom),四个顶点的坐标为(x1,y1),(x2,y2),(x3,y3),(x4,y4)总共12个值。plate_confidence，no_plateconfidence代表车牌和非车牌的置信度。

在车牌的置信度plate_confidence大于阈值时，判定该图像包含车牌，否则判断检测不到车牌。然后根据候选窗口生成子模块输出的四个车牌位置坐标去图像上截取车牌图像，接下来对车牌图像进行归一化处理并作为候选窗口，输入车牌窗口筛选子模块进行处理。其中，归一化后的车牌图像优选为36*24的图像，判定阈值优选为0.7。

车牌窗口筛选子模块，通过一个4层的卷积神经网络CNN对候选窗口生成子模块得到候选窗口图像进行处理，否决大量非车牌窗口从而精化车牌窗口；

所述4层的卷积神经网络CNN称为R-Net，如图4所示，输入的为宽36高24的3通道彩图(RGB或者BGR)，第一层为28个11*11的卷积层，第二层为48个4*4的卷积层，第三层为65个3*3的卷积层，第四层为一个128维的全连接层，最后为输出层，输出一个2+4+8＝12维的向量，其中包括plate_confidence，no_plateconfidence，车牌位置的四个坐标为(left,top,right,bottom),四个顶点的坐标为(x1,y1),(x2,y2),(x3,y3),(x4,y4)总共12个值。plate_confidence，no_plateconfidence代表车牌和非车牌的置信度。其中，步骤S201输出的候选窗口作为R-Net的输入，R-Net能够进一步筛除大量错误的候选窗口，再利用车牌框回归向量对候选窗口做校正，并执行NMS算法。该阶段在三个任务det、box、landmark任务上，a的对应取值优选为{1.0,0.5,1.0}，其中该步骤输入的图像优选宽为36，高为24。

在车牌的置信度plate_confidence大于阈值时，判定该图像包含车牌，否则判断检测不到车牌。然后根据车牌窗口筛选子模块输出车牌位置的四个坐标去图像上截取车牌图像，接下来对车牌图像进行归一化处理并作为候选窗口，输入车牌顶点输出子模块进行处理。其中，归一化后的车牌图像优选为72*48的图像，判定阈值优选为0.6。

车牌顶点输出子模块，使用5层的CNN进一步精化结果并输出4个车牌顶点；

车牌顶点输出子模块采用5层的卷积神经网络CNN进行处理，而且网络能够输出四个车牌顶点的位置坐标。该阶段在三个任务det、box、landmark任务上，a的对应取值为{1.0,0.5,1.0}，其中该阶段输入的图像的宽为48，高为72。

所述5层的卷积神经网络CNN称为O-Net，如图5所示，输入的为宽72高48的3通道彩图(RGB或者BGR)，第一层为23个32*32的卷积层，第二层为64个10*10的卷积层，第三层为64个4*4的卷积层，第四层为128个3*3的卷积层，第五层为一个256维的全连接层，最后为输出层，输出一个2+4+8＝12维的向量，其中包括plate_confidence，no_plateconfidence，车牌位置的四个坐标为(left,top,right,bottom),四个顶点的坐标为(x1,y1),(x2,y2),(x3,y3),(x4,y4)总共12个值。

在车牌的置信度plate_confidence大于阈值时，判定该图像包含车牌，输出车牌的四个坐标，否则判断检测不到车牌。阈值优选为0.4.

车牌校正模块，根据检测的车牌的四个顶点，计算透视变换矩阵，采用透视变换理论，对车牌进行校正；

其中透视变换公式为：

其中，u,v是原始图片坐标，对应得到变换后的图片坐标x,y,其中x＝x′/w′，y＝y′/w′。

透视变换矩阵计算方法为：通过车牌检测方法，得到车牌的四个顶点的坐标，分别为(x1,y1),(x2,y2),(x3,y3),(x4,y4)，代表左上，右上，右下，左下四个顶点，对应矫正的坐标为(0,0),(W,0),(W,H),(0,H)，其中W为车牌的宽度，可以取132，H为车牌的高度，可以取32，将这四对坐标分别输入到以下这个方程组：

然后可以得到8个方程，如下所示，根据这8个方程，解出矩阵的8个参数，依次为a11,a12,a13,a21,a22,a23,a31,a32,其中a33＝1为固定值：

车牌识别模块，对校正后的车牌图像归一化处理，然后对归一化后的车牌进行整行识别。

传统的车牌识别算法，对定位后的车牌进行字符分割，然后采用机器学习算法对分割后的字符进行识别，传统算法的缺点是最终的识别率严重依赖字符分割的效果，而字符分割对抓拍曝光的车牌、磨损车牌、脏车牌等效果较差，且此类车牌很难解决。本发明采用CNN+RNN网络对校正后归一化的车牌图像做整行识别。本实施例中将车牌归一化到128*32尺寸，即宽128，高32，然后送入神经网络进行识别。该神经网络总共分三类，从下到上依次为：

1)卷积层，使用CNN，从输入图像中提取特征序列；

2)循环层，使用RNN，预测从卷积层获取的特征序列的标签(真实值)分布；循环层由一个双向LSTM循环神经网络构成，预测特征序列中的每一个特征向量的标签分布(真实结果的概率列表)，循环层的误差被反向传播，最后会转换成特征序列，再把特征序列反馈到卷积层，作为卷积层和循环层之间连接的桥梁。

3)转录层，使用CTC模型，是把从循环层获取的标签分布通过去重整合操作转换成最终的识别结果；转录是将双向LSTM网络预测的特征序列的所有可能的结果进行整合，转换为最终结果。

在车牌检测模块中，当检测不到车牌时，将图片通过有车无车子模块进行判断，在判断有车时，通过人工进行车牌识别，当判断无车时，不作处理。

其中，有车无车子模块采用mobilenet网络对场景图像进行分类，本实施例中将图像的类型分为六类，如下所示：有车样本：露出车身车轮、只露出底盘(无车轮)、只有车轮。无车样本：场景中没有车、场景中有经过车辆(远处小车)、图片曝光。

本申请实施例的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括一个或多个指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请实施例方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质，包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。

本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“”(the)旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。

所描述的实施例中的各方面、实施方式、实现或特征能够单独使用或以任意组合的方式使用。所描述的实施例中的各方面可由软件、硬件或软硬件的结合实现。所描述的实施例也可以由存储有计算机可读代码的计算机可读介质体现，该计算机可读代码包括可由至少一个计算装置执行的指令。计算机可读介质可与任何能够存储数据的数据存储装置相关联，该数据可由计算机系统读取。用于举例的计算机可读介质可以包括只读存储器、随机存取存储器、CD-ROM、HDD、DVD、磁带以及光数据存储装置等。计算机可读介质还可以分布于通过网络联接的计算机系统中，这样计算机可读代码就可以分布式存储并执行。

上述技术描述可参照附图，这些附图形成了本申请的一部分，并且通过描述在附图中示出了依照所描述的实施例的实施方式。虽然这些实施例描述的足够详细以使本领域技术人员能够实现这些实施例，但这些实施例是非限制性的；这样就可以使用其它的实施例，并且在不脱离所描述的实施例的范围的情况下还可以做出变化。比如，流程图中所描述的操作顺序是非限制性的，因此在流程图中阐释并且根据流程图描述的两个或两个以上操作的顺序可以根据若干实施例进行改变。作为另一个例子，在若干实施例中，在流程图中阐释并且根据流程图描述的一个或一个以上操作是可选的，或是可删除的。另外，某些步骤或功能可以添加到所公开的实施例中，或两个以上的步骤顺序被置换。所有这些变化被认为包含在所公开的实施例以及权利要求中。

另外，上述技术描述中使用术语以提供所描述的实施例的透彻理解。然而，并不需要过于详细的细节以实现所描述的实施例。因此，实施例的上述描述是为了阐释和描述而呈现的。上述描述中所呈现的实施例以及根据这些实施例所公开的例子是单独提供的，以添加上下文并有助于理解所描述的实施例。上述说明书不用于做到无遗漏或将所描述的实施例限制到本申请的精确形式。根据上述教导，若干修改、选择适用以及变化是可行的。在某些情况下，没有详细描述为人所熟知的处理步骤以避免不必要地影响所描述的实施例。

Claims (9)

1.一种开放式停车位中车牌识别方法，其特征在于，包括：

S1，获取待检测图像；

S2，车牌检测，对待检测的图像采用改进的MTCNN深度学习算法进行车牌检测，判断当前图像中是否存在车牌的四个顶点；

S3，车牌校正，根据检测的车牌的四个顶点，计算透视变换矩阵，采用透视变换理论，对车牌进行校正；

其中，透视变换公式为：

其中，u,v是原始图片坐标，对应得到变换后的图片坐标(x,y),其中x＝x′/w′，y＝y′/w′；透视变换矩阵计算方法为：通过车牌检测方法，得到车牌的四个顶点的坐标，分别为(x1,y1),(x2,y2),(x3,y3),(x4,y4)，代表左上，右上，右下，左下四个顶点，对应矫正的坐标为(0,0),(W,0),(W,H),(0,H)，其中W为车牌的宽度，H为车牌的高度，将这四对坐标分别输入到以下这个方程组：

然后可以得到8个方程，如下所示，根据这8个方程，解出矩阵的8个参数，依次为a11,a12,a13,a21,a22,a23,a31,a32,其中a33＝1为固定值：

S4，整牌识别，对校正后的车牌图像归一化处理，然后对归一化后的车牌进行整行识别；

所述步骤S4包括：采用CNN+RNN网络对校正后归一化的车牌图像做整行识别；

所述CNN+RNN网络包括：

1)卷积层，使用CNN，从输入图像中提取特征序列；

2)循环层，使用RNN，预测从卷积层获取的特征序列的标签分布；循环层由一个双向LSTM循环神经网络构成，预测特征序列中的每一个特征向量的标签分布，循环层的误差被反向传播，最后会转换成特征序列，再把特征序列反馈到卷积层，作为卷积层和循环层之间连接的桥梁；

3)转录层，使用CTC模型，是把从循环层获取的标签分布通过去重整合操作转换成最终的识别结果；转录是将双向LSTM网络预测的特征序列的所有可能的结果进行整合，转换为最终结果。

2.根据权利要求1所述的车牌识别方法，其特征在于，所述步骤S2包括：

S201，通过一个基于3层的CNN快速生成候选窗口；

S202，通过一个4层的CNN对步骤S201得到候选窗口图像进行处理，否决大量非车牌窗口从而精化车牌窗口；

S203，使用5层的CNN对步骤S202得到的车牌窗口进行进一步精化并输出4个车牌顶点。

3.根据权利要求1所述的车牌识别方法，其特征在于，所述步骤S2还包括：当检测不到车牌时，将图片通过有车无车算法进行判断，在判断有车时，通过人工进行车牌识别，当判断无车时，不作处理。

4.根据权利要求3所述的车牌识别方法，其特征在于，所述有车无车算法采用mobilenet网络对场景图像进行分类，将图像的类型分为六类，有车样本：露出车身车轮、只露出底盘(无车轮)、只有车轮；无车样本：场景中没有车、场景中有经过车辆(远处小车)、图片曝光。

5.根据权利要求2所述的车牌识别方法，其特征在于，所述3层CNN网络输入为宽16高12的3通道彩图，第一层为10个5*5的卷积层，第二层为16个3*3的卷积层，第三层为32个1*1的卷积层，然后输出一个2+4+8＝12维的向量，其中包括plate_confidence，no_plateconfidence，车牌位置的四个坐标为(left,top,right,bottom),四个顶点的坐标为(x1,y1),(x2,y2),(x3,y3),(x4,y4)总共12个值，plate_confidence，no_plateconfidence代表车牌和非车牌的置信度；在车牌的置信度plate_confidence大于阈值时，判定该图像包含车牌，否则判断检测不到车牌；然后根据步骤S201输出的车牌位置的四个坐标去图像上截取车牌图像，接下来对车牌图像进行归一化处理并作为候选窗口，输入步骤S202进行处理。

6.根据权利要求2所述的车牌识别方法，其特征在于，所述4层的卷积神经网络CNN，输入的为宽36高24的3通道彩图，第一层为28个11*11的卷积层，第二层为48个4*4的卷积层，第三层为65个3*3的卷积层，第四层为一个128维的全连接层，最后为输出层，输出一个2+4+8＝12维的向量，其中包括plate_confidence，no_plateconfidence，车牌位置的四个坐标为(left,top,right,bottom),四个顶点的坐标为(x1,y1),(x2,y2),(x3,y3),(x4,y4)总共12个值，plate_confidence，no_plateconfidence代表车牌和非车牌的置信度；在车牌的置信度plate_confidence大于阈值时，判定该图像包含车牌，否则判断检测不到车牌；然后根据步骤S202输出的四个车牌位置坐标去图像上截取车牌图像，接下来对车牌图像进行归一化处理并作为候选窗口，输入步骤S203进行处理。

7.根据权利要求2所述的车牌识别方法，其特征在于，所述5层的CNN的输入为步骤S202输出的宽72高48的3通道彩图，第一层为23个32*32的卷积层，第二层为64个10*10的卷积层，第三层为64个4*4的卷积层，第四层为128个3*3的卷积层，第五层为一个256维的全连接层，最后为输出层，输出一个车牌框回归向量，所述向量为一个维的向量，其中包括plate_confidence，no_plateconfidence，车牌位置的四个坐标为(left,top,right,bottom),四个顶点的坐标为(x1,y1),(x2,y2),(x3,y3),(x4,y4)总共12个值，其中plate_confidence，no_plateconfidence代表车牌和非车牌的置信度；在车牌的置信度plate_confidence大于阈值时，判定该图像包含车牌，输出车牌的四个顶点坐标，否则判断检测不到车牌。

8.一种开放式停车位中车牌识别系统，其特征在于，包括：

待检测图像获取模块，获取待检测的图像；

车牌检测模块，对待检测的图像采用改进的MTCNN深度学习算法进行车牌检测，判断当前图像中是否存在车牌的四个顶点；

车牌校正模块，根据检测的车牌的四个顶点，计算透视变换矩阵，采用透视变换理论，对车牌进行校正；

其中，透视变换公式为：

其中，u,v是原始图片坐标，对应得到变换后的图片坐标(x,y),其中x＝x′/w′，y＝y′/w′；透视变换矩阵计算方法为：通过车牌检测方法，得到车牌的四个顶点的坐标，分别为(x1,y1),(x2,y2),(x3,y3),(x4,y4)，代表左上，右上，右下，左下四个顶点，对应矫正的坐标为(0,0),(W,0),(W,H),(0,H)，其中W为车牌的宽度，H为车牌的高度，将这四对坐标分别输入到以下这个方程组：

然后可以得到8个方程，如下所示，根据这8个方程，解出矩阵的8个参数，依次为a11,a12,a13,a21,a22,a23,a31,a32,其中a33＝1为固定值：

车牌识别模块，对校正后的车牌图像归一化处理，然后对归一化后的车牌进行整行识别；

所述车牌识别模块采用CNN+RNN网络对校正后归一化的车牌图像做整行识，所述CNN+RNN网络包括：

1)卷积层，使用CNN，从输入图像中提取特征序列；

2)循环层，使用RNN，预测从卷积层获取的特征序列的标签分布；循环层由一个双向LSTM循环神经网络构成，预测特征序列中的每一个特征向量的标签分布，循环层的误差被反向传播，最后会转换成特征序列，再把特征序列反馈到卷积层，作为卷积层和循环层之间连接的桥梁；

3)转录层，使用CTC模型，是把从循环层获取的标签分布通过去重整合操作转换成最终的识别结果；转录是将双向LSTM网络预测的特征序列的所有可能的结果进行整合，转换为最终结果。

9.一种计算机装置，其特征在于，所述计算机装置包括：输入/输出接口、处理器和存储器，所述存储器中存储有程序指令；所述处理器用于执行存储器中存储的程序指令，执行如权利要求1-7任一所述的方法。

Images