CN106778737A - 一种车牌矫正方法、装置和一种视频采集装置 - Google Patents

Abstract

本发明公开了一种车牌矫正方法、装置和一种视频采集装置，其中，所述车牌矫正方法包括：获取待检测图像及基于卷积神经网络的目标检测识别模型；通过所述基于卷积神经网络的目标检测识别模型检测所述待检测图像中目标车牌的四个角点信息；所述角点信息包括：正方形区域、角点类别和该角点的置信度；根据所述目标车牌的四个角点信息，对所述待检测图像中的目标车牌进行车牌矫正。采用本发明技术方案可以准确地描述车牌在三维空间内旋转而导致的平面图形上表现出的各种形变，通过定位四个角点信息可以矫正三维空间内的形变车牌，且受车牌号码变化的影响较小，检测率高，误捡率低，角点类别识别率高，定位准确。

Description

一种车牌矫正方法、装置和一种视频采集装置

技术领域

本发明涉及图像处理技术领域，特别涉及一种车牌矫正方法、装置和一种视频采集装置。

背景技术

随着经济水平和人民生活水平的不断提高，各大中小城市中车辆不断的增加。与此同时，随之而来的交通问题也越来越备受关注。在交通违法行为识别的过程中，违法车辆车牌的自动、准确识别尤为重要。然而，违法车辆的车牌识别过程中，首先需要对待检测图像中的车牌的倾斜方向进行矫正。目前较为常用的倾斜方向分析方法是通过主成分分析(Principal Component Analysis，简称PCA)等方法分析字符倾斜方向，根据这个倾斜方向确定车牌的倾斜方向并进行矫正。

然而在实际的确定车牌的倾斜方向的过程中会受到车牌中一些倾斜字符干扰，从而影响车牌倾斜方向的判断，如车牌中出现多个”7”的情况，容易造成车牌倾斜方向的误判；且在现有技术中确定车牌的倾斜方向通常仅限于处理车牌在摄像机像平面内的旋转，而对于车牌在三维空间内的任意旋转无效。例如在三维空间内车牌的透视形变，会使字符产生近大远小的视觉效果，采用现有技术的确定车牌倾斜方向的方法无法实现这类车牌的矫正。此外，现有技术中车牌倾斜角度的识别算法不具有尺度不变性，例如：对字符的大小有要求，如果字符大小变化较大时，算法的精度会受到很大影响。因为车牌的倾斜角度是根据字符的倾斜角度计算的，字符在计算PCA的图像上所占比例的大小将直接影响字符的倾斜程度对PCA的影响，如果字符过小或者过大，计算得到的角度将不能反映整个字符的倾斜角度。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的，本发明的技术方案是这样实现的：

一方面，本发明提供了一种车牌矫正方法，包括：

获取待检测图像及基于卷积神经网络的目标检测识别模型；

通过所述基于卷积神经网络的目标检测识别模型检测所述待检测图像中目标车牌的四个角点信息；所述角点信息包括：正方形区域、角点类别和该角点的置信度；

根据所述目标车牌的四个角点信息，对所述待检测图像中的目标车牌进行车牌矫正。

本发明还提供了一种车牌矫正装置，包括：

信息获取单元，用于获取待检测图像及基于卷积神经网络的目标检测识别模型；

检测单元，用于通过所述基于卷积神经网络的目标检测识别模型检测所述待检测图像中目标车牌的四个角点信息；所述角点信息包括：正方形区域、角点类别和该角点的置信度；

矫正单元，用于根据所述目标车牌的四个角点信息，对所述待检测图像中的目标车牌进行车牌矫正。

本发明还提供了一种视频采集装置，包括：如上所述车牌矫正装置。

本发明的技术方案通过定位四个角点信息可以矫正三维空间内的形变车牌，且受车牌号码变化的影响较小，检测率高，误捡率低，角点类别识别率高，定位准确；且车牌的四个角点可以准确地描述车牌在三维空间内旋转而导致的平面图形上表现出的的各种形变，通过定位四个角点并将它们矫正为标准车牌的矩形，可以达到矫正车牌形变的目的，提高后续车牌号码的识别率。本发明技术方案中所述车牌的样本角点，根据角点类别及样本角点尺度，以所述车牌的样本角点坐标为中点，边长可以根据车牌大小多次采样即样本角点尺度，获取不同训练样本；这样不仅丰富了训练样本数目，有利于训练出性能更好的模型，而且使模型具有了尺度不变性，在所述待检测图像上检测角点时，只要待检测目标的大小在训练设置的大小范围内，就不需要对待测图像进行尺度上的缩放，降低了运算量，简化了检测算法；以车牌角点为特征的基于卷积神经网络的目标检测识别模型特别适合在运算和存储资源有限的嵌入式系统使用，因为相对于整个车牌来说，它的面积是比较小的，参 与计算的参数量和所需的内存空间都较小。

附图说明

图1为本发明实施例提供的一种车牌矫正方法流程图；

图2为本发明实施例提供的另一种车牌矫正方法流程图；

图3为本发明实施例提供的一种车牌矫正装置结构示意图；

图4为本发明实施例提供的一种视频采集装置结构示意图；

图5为本发明实施例提供的一种形变车牌图像的矫正前示意图；

图6为本发明实施例提供的一种形变车牌图像的矫正后示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

如图1为所示为本发明实施例提供的一种车牌矫正方法流程图；该方法包括：

101：获取待检测图像及基于卷积神经网络的目标检测识别模型；

102：通过所述基于卷积神经网络的目标检测识别模型检测所述待检测图像中目标车牌的四个角点信息；所述角点信息包括：正方形区域、角点类别和该角点的置信度；

103：根据所述目标车牌的四个角点信息，对所述待检测图像中的目标车牌进行车牌矫正。

本发明技术方案通过对车牌的四个角点的检测，对三维空间内任意角度旋转的车牌进行精确定位，并根据所述四点位置对倾斜车牌进行矫正，得到去除形变的车牌图像，再利用常规的车牌识别算法得到车牌号码识别结果，提高了倾斜车牌的号码识别率。

基于以上实施例，如图2所示，为本发明实施例提供的另一种车牌矫正方法流程图；该方法包括：

201：获取所述带标注的训练样本、待训练样本图像及配置参数；其中，所述获取所述带标注的训练样本的步骤具体包括：

获取样本角点、角点类别及配置信息；所述配置信息包括：样本角点尺度；根据所述角点类别及配置信息，确定至少一个尺度的所述样本角点的角点框坐标位置；根据所述确定的角点框坐标位置，获取带标注的训练样本；所述带标注的训练样本包括：车牌四个角点框坐标位置，角点类别。车牌的四个角点类别按照左上角、右上角、左下角、右下角分为四类。

需要说明的是，所述样本角点是通过人工标注获取到的车牌角点位置p₀，如式(1)所示，所述角点类别也是通过人工标注获取得到，所述角点类别C，如式(2)所示：

p₀＝{x₀,y₀} (1)

其中，x₀为角点的横坐标，y₀为角点的纵坐标。

以所述角点位置p₀为中心，按照不同的边长在图像上选取若干个正方形区域作为正样本。样本的最小边长可以为20像素，最大边长根据车牌的大小有所不同，原则是每个正方形样本中只能出现一个角点。例如：左上角的样本不能出现左下角。每个正样本的标注信息包括正方形位置P，如式(3)所示，和角点类别C，如式(2)：

P＝{x,y,a} (3)

y＝y₀-a/2 (5)

其中，x为正方形样本的左上角横坐标，y为正方形样本的左上角纵坐标，a为正方形样本的边长。

202：根据配置参数，生成所述待训练样本图像的候选推荐区域，并确定所述待训练样本图像的候选推荐区域中角点框的坐标位置；所述配置参数包括：车牌角点样本的尺度和车牌角点样本位置搜索步长；所述根据配置参数，生成所述待训练样本图像的候选推荐区域步骤，具体为根据所述车牌角点样本的尺度和车牌角点样本位置搜索步长，生成所述待训练样本图像的候选推荐区域。

203：根据所述带标注的训练样本与所述待训练样本图像的候选推荐区域中角点框的坐标位置，确定所述待训练样本图像的候选推荐区域的样本类型；所述样本类型包括：正样本或负样本；

204：根据所述带标注的训练样本、所述待训练样本图像的候选推荐区域的样本类型、所述待训练样本图像的候选推荐区域中角点框的坐标位置和角点类别，获取所述基于卷积神经网络的目标检测识别模型。

205：获取待检测图像及基于卷积神经网络的目标检测识别模型；

206：通过所述基于卷积神经网络的目标检测识别模型检测所述待检测图像中目标车牌的四个角点信息；所述角点信息包括：正方形区域、角点类别和该角点的置信度；该步骤具体包括：获取相同类别角点区域合并阈值；通过所述基于卷积神经网络的目标检测识别模型确定所述待检测图像中目标车牌的四个角点候选推荐区域；根据所述待检测图像中目标车牌的四个角点候选推荐区域，检测所述待检测图像中候选推荐区域内角点信息；所述角点信息包括：正方形区域、角点类别和该角点的置信度；根据所述相同类别角点区域合并阈值，将所述角点类别相同的角点信息进行合并处理，获取合并后的角点信息；所述合并后的角点信息中的置信度为合并前至少两个角点信息中的置信度之和；根据所述合并后的角点信息，获取所述角点的置信度最高的目标车牌的四个角点信息。

其中，将所述角点类别相同的正方形区域进行合并处理的过程如下：

S1:逐对比较角点类别一致的各个正方形区域，按下式计算重叠面积：

其中，表示两个正方形区域的并集的面积，表示两个正方形区域的交集的面积。

S2:当所述重叠面积大于所述相同类别角点区域合并阈值，合并这角点的候选推荐区域，合并后的角点信息中的置信度为合并前至少两个角点信息中的置信度之和；

S3:在车牌大小范围内的区域中搜索四个类别的角点候选推荐区域，每类角点取置信度最高的组成一个车牌的四个角点组。

还需要说明的是，以上所述角点类别相同的正方形区域如果只有一个，则不需要进行如上合并步骤。

207：根据所述目标车牌的四个角点信息，对所述待检测图像中的目标车牌进行车牌矫正；该步骤具体包括：

获取车牌的四个角点的标准角点信息；根据所述角点的置信度最高的目标车牌的四个角点信息和所述车牌的四个角点的标准角点信息，获取矫正参数；根据所述矫正参数和待检测图像，获取矫正后的车牌图像。

如图3所示，为本发明实施例提供的一种车牌矫正装置；该装置包括：

信息获取单元301，用于获取待检测图像及基于卷积神经网络的目标检测识别模型；

检测单元302，用于通过所述基于卷积神经网络的目标检测识别模型检测所述待检测图像中目标车牌的四个角点信息；所述角点信息包括：正方形区域、角点类别和该角点的置信度；

矫正单元303，用于根据所述目标车牌的四个角点信息，对所述待检测图像中的目标车牌进行车牌矫正。

需要说明的是，该装置还包括：

信息接收单元，用于获取样本角点、角点类别及配置信息；所述配置信息包括：样本角点尺度；

信息确定单元，用于根据所述角点类别及配置信息，确定至少一个尺度的所述样本角点的角点框坐标位置；

样本获取单元，用于根据所述确定的角点框坐标位置，获取带标注的训练样本；所述带标注的训练样本包括：车牌四个角点框坐标位置，角点类别；

参数获取单元，用于获取所述带标注的训练样本、待训练样本图像及配置参数；

样本信息确定单元，用于根据配置参数，生成所述待训练样本图像的候选推荐区域，并确定所述待训练样本图像的候选推荐区域中角点框的坐标位置；

类型确定单元，用于根据所述带标注的训练样本与所述待训练样本图像的候选推荐区域中角点框的坐标位置，确定所述待训练样本图像的候选推荐区域的样本类型；所述样本类型包括：正样本或负样本；

模型获取单元，用于根据所述带标注的训练样本、所述待训练样本图像的候选推荐区域的样本类型、所述待训练样本图像的候选推荐区域中角点框的坐标位置和角点类别，获取所述基于卷积神经网络的目标检测识别模型。

还需要说明的是，所述配置参数包括：车牌角点样本的尺度和车牌角点样本位置搜索步长；

所述样本信息确定单元，还用于根据所述车牌角点样本的尺度和车牌角点样本位置搜索步长，生成所述待训练样本图像的候选推荐区域；

所述检测单元，还用于获取相同类别角点区域合并阈值；通过所述基于卷积神经网络的目标检测识别模型确定所述待检测图像中目标车牌的四个角点候选推荐区域；根据所述待检测图像中目标车牌的四个角点候选推荐区域，检测所述待检测图像中候选推荐区域内角点信息；所述角点信息包括：正方形区域、角点类别和该角点的置信度；根据所述相同类别角点区域合并阈值，将所述角点类别相同的角点信息进行合并处理，获取合并后的角点信息；所述合并后的角点信息中的置信度为合并前至少两个角点信息中的置信度之和；根据所述合并后的角点信息，获取所述角点的置信度最高的目标车牌的四个角点信息。

需要说明的是，以上所述检测单元实现的两个功能都是通过“基于卷积神经网络的目标检测识别模型”实现的；具体实现分两个步骤，第一个步骤检测出角点的候选区域，第二个步骤确定角点的类别和再次精确定位。

所述矫正单元，还用于获取车牌的四个角点的标准角点信息；根据所述角点的置信度最高的目标车牌的四个角点信息和所述车牌的四个角点的标准角点信息，获取矫正参数；根据所述矫正参数和待检测图像，获取矫正后的车牌图像。

如图4所示，为本发明实施例提供的一种视频采集装置；该视频采集装置包括：如上所述车牌矫正装置。

本发明的技术方案通过定位四个角点信息可以矫正三维空间内的形变车牌，且受车牌号码变化的影响较小，检测率高，误捡率低，角点类别识别率高，定位准确；且车牌的四个角点可以准确地描述车牌在三维空间内旋转而导致的平面图形上表现出的的各种形变，通过定位四个角点并将它们矫正为标准车牌的矩形，可以达到矫正车牌形变的目的，提高后续车牌号码的识别率。本发明技术方案中所述车牌的样本角点，根据角点类别及样本角点尺度，以所述车牌的样本角点坐标为中点，边长可以根据车牌大小多次采样即样本角点尺度，获取不同训练样本；这样不仅丰富了训练样本数目，有利于训练出性能更好的模型，而且使模型具有了尺度不变性，在所述待检测图像上检测角点时，只要待检测目标的大小在训练设置的大小范围内，就不需要对待测图像进行尺度上的缩放，降低了运算量，简化了检测算法；以车牌角点为特征的基于卷积神经网络的目标检测识别模型特别适合在运算和存储资源有限的嵌入式系统使用，因为相对于整个车牌来说，它的面积是比较小的，参与计算的参数量和所需的内存空间都较小。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种车牌矫正方法，其特征在于，包括：

获取待检测图像及基于卷积神经网络的目标检测识别模型；

通过所述基于卷积神经网络的目标检测识别模型检测所述待检测图像中目标车牌的四个角点信息；所述角点信息包括：正方形区域、角点类别和该角点的置信度；

根据所述目标车牌的四个角点信息，对所述待检测图像中的目标车牌进行车牌矫正。

2.根据权利要求1所述的方法，其特征在于，该方法还包括：

获取样本角点、角点类别及配置信息；所述配置信息包括：样本角点尺度；

根据所述角点类别及配置信息，确定至少一个尺度的所述样本角点的角点框坐标位置；

根据所述确定的角点框坐标位置，获取带标注的训练样本；所述带标注的训练样本包括：车牌四个角点框坐标位置，角点类别。

3.根据权利要求2所述的方法，其特征在于，该方法还包括：

获取所述带标注的训练样本、待训练样本图像及配置参数；

根据配置参数，生成所述待训练样本图像的候选推荐区域，并确定所述待训练样本图像的候选推荐区域中角点框的坐标位置；

根据所述带标注的训练样本与所述待训练样本图像的候选推荐区域中角点框的坐标位置，确定所述待训练样本图像的候选推荐区域的样本类型；所述样本类型包括：正样本或负样本；

根据所述带标注的训练样本、所述待训练样本图像的候选推荐区域的样本类型、所述待训练样本图像的候选推荐区域中角点框的坐标位置和角点类别，获取所述基于卷积神经网络的目标检测识别模型。

4.根据权利要求3所述的方法，其特征在于，所述配置参数包括：车牌角点样本的尺度和车牌角点样本位置搜索步长；所述根据配置参数，生成所述待训练样本图像的候选推荐区域步骤，具体包括：

根据所述车牌角点样本的尺度和车牌角点样本位置搜索步长，生成所述待训练样本图像的候选推荐区域。

5.根据权利要求4所述的方法，其特征在于，所述通过所述基于卷积神经网络的目标检测识别模型检测所述待检测图像中目标车牌的四个角点信息的步骤，具体包括：

获取相同类别角点区域合并阈值；

通过所述基于卷积神经网络的目标检测识别模型确定所述待检测图像中目标车牌的四个角点候选推荐区域；

根据所述待检测图像中目标车牌的四个角点候选推荐区域，检测所述待检测图像中候选推荐区域内角点信息；所述角点信息包括：正方形区域、角点类别和该角点的置信度；

根据所述相同类别角点区域合并阈值，将所述角点类别相同的角点信息进行合并处理，获取合并后的角点信息；所述合并后的角点信息中的置信度为合并前至少两个角点信息中的置信度之和；

根据所述合并后的角点信息，获取所述角点的置信度最高的目标车牌的四个角点信息。

6.根据权利要求5所述的方法，其特征在于，所述根据所述目标车牌的四个角点信息，对所述待检测图像中的目标车牌进行车牌矫正的步骤，具体包括：

获取车牌的四个角点的标准角点信息；

根据所述角点的置信度最高的目标车牌的四个角点信息和所述车牌的四个角点的标准角点信息，获取矫正参数；

根据所述矫正参数和待检测图像，获取矫正后的车牌图像。

7.一种车牌矫正装置，其特征在于，包括：

信息获取单元，用于获取待检测图像及基于卷积神经网络的目标检测识别模型；

检测单元，用于通过所述基于卷积神经网络的目标检测识别模型检测所述待检测图像中目标车牌的四个角点信息；所述角点信息包括：正方形区域、角点类别和该角点的置信度；

矫正单元，用于根据所述目标车牌的四个角点信息，对所述待检测图像中的目标车牌进行车牌矫正。

8.根据权利要求7所述的装置，其特征在于，该装置还包括：

信息接收单元，用于获取样本角点、角点类别及配置信息；所述配置信息包括：样本角点尺度；

信息确定单元，用于根据所述角点类别及配置信息，确定至少一个尺度的所述样本角点的角点框坐标位置；

样本获取单元，用于根据所述确定的角点框坐标位置，获取带标注的训练样本；所述带标注的训练样本包括：车牌四个角点框坐标位置，角点类别；

参数获取单元，用于获取所述带标注的训练样本、待训练样本图像及配置参数；

样本信息确定单元，用于根据配置参数，生成所述待训练样本图像的候选推荐区域，并确定所述待训练样本图像的候选推荐区域中角点框的坐标位置；

类型确定单元，用于根据所述带标注的训练样本与所述待训练样本图像的候选推荐区域中角点框的坐标位置，确定所述待训练样本图像的候选推荐区域的样本类型；所述样本类型包括：正样本或负样本；

模型获取单元，用于根据所述带标注的训练样本、所述待训练样本图像的候选推荐区域的样本类型、所述待训练样本图像的候选推荐区域中角点框的坐标位置和角点类别，获取所述基于卷积神经网络的目标检测识别模型。

9.根据权利要求8所述的装置，其特征在于，所述配置参数包括：车牌角点样本的尺度和车牌角点样本位置搜索步长；

所述样本信息确定单元，还用于根据所述车牌角点样本的尺度和车牌角点样本位置搜索步长，生成所述待训练样本图像的候选推荐区域；

所述检测单元，还用于获取相同类别角点区域合并阈值；通过所述基于卷积神经网络的目标检测识别模型确定所述待检测图像中目标车牌的四个角点候选推荐区域；根据所述待检测图像中目标车牌的四个角点候选推荐区域，检测所述待检测图像中候选推荐区域内角点信息；所述角点信息包括：正方形区域、角点类别和该角点的置信度；根据所述相同类别角点区域合并阈值，将所述角点类别相同的角点信息进行合并处理，获取合并后的角点信息；所述合并后的角点信息中的置信度为合并前至少两个角点信息中的置信度之和；根据所述合并后的角点信息，获取所述角点的置信度最高的目标车牌的四个角点信息；

所述矫正单元，还用于获取车牌的四个角点的标准角点信息；根据所述角点的置信度最高的目标车牌的四个角点信息和所述车牌的四个角点的标准角点信息，获取矫正参数；根据所述矫正参数和待检测图像，获取矫正后的车牌图像。

10.一种视频采集装置，其特征在于，包括：如权利要求7至权利要求9中任意一项所述的车牌矫正装置。