CN105279512A - 一种倾斜车牌识别方法和装置 - Google Patents

Abstract

本发明提供了一种倾斜车牌识别方法和装置。其中，所述方法包括：从拍摄的车牌图像中确定车牌字符区域；根据车牌图像中的车牌的整体倾斜角度对车牌字符区域进行矫正，得到车牌字符区域的矫正图像；根据矫正图像内像素点的灰度值计算车牌的字符倾斜角度；根据字符倾斜角度对矫正图像中的字符进行矫正，得到车牌字符区域的优化图像；识别优化图像中的字符，得到车牌图像内的车牌。通过本发明，可以对倾斜角度很大的车牌进行识别。

Description

一种倾斜车牌识别方法和装置

技术领域

本发明涉及数据识别领域，具体而言，涉及一种倾斜车牌识别方法和装置。

背景技术

车牌识别，是以数字图像处理以及计算机视觉和识别等技术为基础，对拍摄的车辆图像进行分析，从而得到每辆汽车的车牌号码的技术，随着城市交通的发展，车牌识别的技术已经在查处车辆违章和高速公路收费等方面得到广泛应用。

现有的车牌识别的过程包括：通过霍夫变换算法等图像识别算法定位图像中的车牌位置并与现有车牌模板进行关联匹配，以确定车牌的字符区域；然后将车牌中的字符分割出来；最后对图像中的字符进行识别。

由于霍夫变换算法的局限性，现有的车牌识别过程只能对倾斜角度较小(车牌的倾斜角度为40度以下)的车牌进行定位和识别，而对于倾斜角度过大(车牌的倾斜角度为60度以上)的车牌就无法进行定位，容易导致车牌漏检情况的出现。

发明内容

本发明的目的在于提供一种倾斜车牌识别方法和装置，可以对倾斜角度很大的车牌进行识别。

第一方面，本发明实施例提供了一种倾斜车牌识别方法，所述方法包括：

从拍摄的车牌图像中确定车牌字符区域；

根据所述车牌图像中的车牌的整体倾斜角度对所述车牌字符区域进行矫正，得到所述车牌字符区域的矫正图像；

根据所述矫正图像内像素点的灰度值计算所述车牌的字符倾斜角度；

根据所述字符倾斜角度对所述矫正图像中的字符进行矫正，得到所述车牌字符区域的优化图像；

识别所述优化图像中的字符，得到所述车牌图像内的车牌。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，根据所述矫正图像内像素点的灰度值计算所述车牌的字符倾斜角度包括：

根据预设的每个字符旋转角度对所述矫正图像进行仿射变换，得到与所述每个字符旋转角度对应的字符变换图像；

分别计算每个所述字符变换图像中纵向直线上各像素点的灰度值和；

根据计算得到的所述灰度值和计算所述车牌的字符倾斜角度。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，根据计算得到的所述灰度值和计算所述车牌的字符倾斜角度包括：

分别计算每个所述字符变换图像中纵向直线上各像素点的灰度值和方差；

从计算的所述灰度值和方差中选择最大值；

将所述最大值的所述字符变换图像对应的字符旋转角度作为所述车牌的字符倾斜角度；

根据所述字符倾斜角度对所述矫正图像中的字符进行矫正包括：根据所述字符倾斜角度对所述矫正图像中的字符进行仿射变换。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，根据所述车牌图像中的车牌的整体倾斜角度对所述车牌字符区域进行矫正，得到所述车牌字符区域的矫正图像包括：

根据预设的每个车牌旋转角度对所述车牌字符区域进行仿射变换，得到与所述每个车牌旋转角度对应的车牌变换图像；

分别计算每个所述车牌变换图像中纵向边缘梯度幅值的和；

从计算的所述纵向边缘梯度幅值的和中选择最大的纵向边缘梯度幅值的和；

将所述最大的纵向边缘梯度幅值的和对应的车牌旋转角度作为所述车牌的整体倾斜角度；

根据所述车牌的整体倾斜角度对所述车牌字符区域进行仿射变换，得到所述车牌字符区域的所述矫正图像。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，从拍摄的车牌图像中确定车牌字符区域包括：

计算拍摄得到的车牌图像中的纵向边缘检测图像；

确定所述纵向边缘检测图像上的车牌字符区域中心点；

按照设定的车牌字符区域大小对所述车牌字符区域中心点进行扩展，得到所述车牌字符区域。

结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，确定所述纵向边缘检测图像上的车牌字符区域中心点包括：

获取所述纵向边缘检测图像的纵向边缘梯度幅值；

通过插值运算和非极大值抑制算法，得到所述纵向边缘梯度幅值的局部极大值点；

选择所述纵向边缘梯度幅值的局部极大值点为车牌字符区域中心点。

第二方面，本发明实施例提供了一种倾斜车牌识别装置，所述装置包括：

车牌字符区域确定模块，用于从拍摄的车牌图像中确定车牌字符区域；

车牌字符区域矫正模块，根据所述车牌图像中的车牌的整体倾斜角度对所述车牌字符区域进行矫正，得到所述车牌字符区域的矫正图像；

字符倾斜角度计算模块，用于根据所述矫正图像内像素点的灰度值计算所述车牌的字符倾斜角度；

字符矫正模块，用于根据所述字符倾斜角度对所述矫正图像中的字符进行矫正，得到所述车牌字符区域的优化图像；

识别模块，用于识别所述优化图像中的字符，得到所述车牌图像内的车牌。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，字符倾斜角度计算模块包括：

仿射变换单元，用于根据预设的每个字符旋转角度对所述矫正图像进行仿射变换，得到与所述每个字符旋转角度对应的字符变换图像；

灰度值和计算单元，用于分别计算每个所述字符变换图像中纵向直线上各像素点的灰度值和；

字符倾斜角度计算单元，用于根据计算得到的所述灰度值和计算所述车牌的字符倾斜角度。

结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，字符倾斜角度计算单元包括：

方差计算子单元，用于分别计算每个所述字符变换图像中纵向直线上各像素点的灰度值和方差；

最大值选择子单元，用于从计算的所述灰度值和方差中选择最大值；

字符倾斜角度确定子单元，用于将所述最大值的所述字符变换图像对应的字符旋转角度作为所述车牌的字符倾斜角度。

结合第二方面，本发明实施例提供了第二方面的第三种可能的实施方式，其中，车牌字符区域矫正模块包括：

车牌变换图像获取单元，用于根据预设的每个车牌旋转角度对所述车牌字符区域进行仿射变换，得到与所述每个车牌旋转角度对应的车牌变换图像；

纵向边缘梯度幅值和计算单元，用于分别计算每个所述车牌变换图像中纵向边缘梯度幅值的和；

最大值选择单元，用于从计算的所述纵向边缘梯度幅值的和中选择最大的纵向边缘梯度幅值的和；

整体倾斜角度确定单元，用于将所述最大的纵向边缘梯度幅值的和对应的车牌旋转角度作为所述车牌的整体倾斜角度；

车牌字符区域处理单元，用于根据所述车牌的整体倾斜角度对所述车牌字符区域进行仿射变换，得到所述车牌字符区域的所述矫正图像。

结合第二方面，本发明实施例提供了第二方面的第四种可能的实施方式，其中，车牌字符区域确定模块包括：

纵向边缘检测图像计算单元，用于计算拍摄得到的车牌图像中的纵向边缘检测图像；

中心点确定单元，用于确定所述纵向边缘检测图像上的车牌字符区域中心点；

车牌字符区域处理单元，用于按照设定的车牌字符区域大小对所述车牌字符区域中心点进行扩展，得到所述车牌字符区域。

结合第二方面，本发明实施例提供了第二方面的第五种可能的实施方式，其中，中心点确定单元包括：

纵向边缘梯度幅值获取子单元，用于获取所述纵向边缘检测图像的纵向边缘梯度幅值；

局部极大值点计算子单元，用于通过插值运算和非极大值抑制算法，得到所述纵向边缘梯度幅值的局部极大值点；

车牌字符区域中心点选择子单元，用于选择所述纵向边缘梯度幅值的局部极大值点为车牌字符区域中心点。

本发明实施例提供的一种倾斜车牌识别方法和装置，在对车牌进行矫正后得到矫正图像后，根据矫正图像内像素点的灰度值计算车牌的字符倾斜角度，并通过字符倾斜角度对矫正图像中的字符进行矫正，得到车牌字符区域的优化图像，然后对优化图像中的车牌字符进行识别；从而在对车牌进行矫正的基础上，进一步对车牌中的字符进行矫正，所以可以对车牌图像进行大角度(40度以上)的旋转以对车牌图像进行矫正，因此可以对倾斜角度很大的车牌进行识别，提高车牌的识别率，尽量减少车牌的漏检情况。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例提供的一种倾斜车牌识别方法所涉及的一种实施系统的结构示意图；

图2示出了本发明实施例1提供的一种倾斜车牌识别方法的流程图；

图3示出了本发明实施例2提供的另一种倾斜车牌识别方法的流程图；

图4示出了本发明实施例3提供的一种倾斜车牌识别装置的结构示意图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

考虑到相关的车牌识别技术中，由于霍夫变换算法的局限性，现有的车牌识别过程只能对倾斜角度较小(车牌的倾斜角度为40度以下)的车牌进行定位和识别，而对于倾斜角度过大(车牌的倾斜角度为60度以上)的车牌就无法进行定位，容易导致车牌漏检情况的出现。基于此，本发明实施例提供了一种倾斜车牌识别方法和装置。

参见图1，其示出了本发明实施例提供的倾斜车牌识别方法所涉及的一种实施系统的结构示意图，该系统包括：倾斜车牌识别设备10，其中，倾斜车牌识别设备10包括处理器100和与处理器100连接的存储器101；

倾斜车牌识别设备10，用于将摄像头拍摄的车牌图像发送给处理器100进行定位和识别；处理器100，用于从拍摄的车牌图像中确定车牌字符区域；对车牌字符区域进行矫正，得到车牌字符区域的矫正图像，然后根据矫正图像内像素点的灰度值计算车牌的字符倾斜角度，并根据字符倾斜角度对矫正图像中的字符进行矫正，得到车牌字符区域的优化图像；识别优化图像中的字符得到识别结果，并将车牌图像、该车牌图像的优化图像以及对该优化图像的识别结果发送到存储器101进行存储；存储器101，用于接受并存储处理器100发送的车牌图像、该车牌图像的优化图像以及对该优化图像的识别结果。

倾斜车牌识别设备10可以采用现有的任意型号的服务器或者计算设备检测车道线并进行存储，这里不再一一赘述。

处理器100可以采用现有的任何中央处理器、微处理器或者可编程器件对车道图像中的车道线进行检测，这里不再一一赘述。

存储器101可以采用现有的任何大容量存储介质对检测得到的车道线进行存储，这里不再一一赘述。

实施例1

参见图2，本实施例提供一种倾斜车牌识别方法，该方法包括如下步骤：

步骤200、倾斜车牌识别设备从拍摄的车牌图像中确定车牌字符区域。

车牌中记录的字符，是由中文、英文和数字字符组合形成的，用于表征车辆唯一性的车辆编号。

车牌图像，是车辆在经过高速收费站或者城市中的路口时，设置在高速收费站或者路口的摄像头都会对经过的车辆的车牌进行拍照而得到的。摄像头在对车辆拍照得到车牌图像后，会将车牌图像发送给倾斜车牌识别设备，使得倾斜车牌识别设备从拍摄的车牌图像中识别车牌的字符。

车牌字符区域，就是车牌图像中只包括具有字符的车牌的图像区域，摄像头在拍摄车牌图像时，往往会拍摄到车辆的整个正面或者后面的图像，而需要识别的车牌字符区域仅占有车牌图像的一部分；所以为了更好的对车牌进行识别，就需要首先在车牌图像中定位出车牌字符区域。

步骤202、倾斜车牌识别设备根据车牌图像中的车牌的整体倾斜角度对车牌字符区域进行矫正，得到车牌字符区域的矫正图像。

车牌的整体倾斜角度，是倾斜车牌识别设备对车牌字符区域进行矫正旋转的角度；根据车牌的整体倾斜角度对车牌进行旋转，倾斜车牌识别设备就对车牌字符区域进行了车牌矫正操作。

步骤204、倾斜车牌识别设备根据矫正图像内像素点的灰度值计算车牌的字符倾斜角度。

具体地，倾斜车牌识别设备根据设定的每个角度值对矫正图像进行仿射变换，并在进行完每个角度值的仿射变换时，计算按照当前的角度值矫正图像进行仿射变换后的图像内像素点的灰度值，并根据计算得到的灰度值确定车牌的字符倾斜角度。

车牌的字符倾斜角度，是倾斜车牌识别设备对矫正图像中的字符进行进一步矫正旋转的角度；根据车牌的字符倾斜角度对车牌进行二次旋转后，倾斜车牌识别设备就完成了对车牌字符区域的矫正操作。

步骤206、根据字符倾斜角度对矫正图像中的字符进行矫正，倾斜车牌识别设备得到车牌字符区域的优化图像。

步骤208、倾斜车牌识别设备识别优化图像中的字符，得到车牌图像内的车牌。

其中，倾斜车牌识别设备调用预存的车牌识别算法对优化图像中的字符进行识别，获得正确的车牌号码。倾斜车牌识别设备可以通过现有的任何现有的车牌识别算法对优化图像中的字符进行识别，这里不再一一赘述。

综上所述，本实施例提供一种倾斜车牌识别方法，在对车牌进行矫正后得到矫正图像后，根据矫正图像内像素点的灰度值计算车牌的字符倾斜角度，并通过字符倾斜角度对矫正图像中的字符进行矫正，得到车牌字符区域的优化图像，然后对优化图像中的车牌字符进行识别；从而在对车牌进行矫正的基础上，进一步对车牌中的字符进行矫正，所以可以对车牌图像进行大角度(40度以上)的旋转以对车牌图像进行矫正，因此可以对倾斜角度很大的车牌进行识别，提高车牌的识别率，尽量减少车牌的漏检情况。

相关技术中，使用霍夫变换算法对车牌图像中的车牌进行定位时，是通过车牌的边缘直线来确定车牌位置的，由于车牌中字符的边缘通常不是直线，所以霍夫变换算法不能对车牌中的字符进行矫正。所以相关技术中一般只对车牌进行旋转后，就对车牌图像上的字符进行识别，没有对字符进行旋转的方法。所以上述根据矫正图像内像素点的灰度值计算车牌的字符倾斜角度的步骤可以包括以下步骤(1)至步骤(5)：

(1)根据预设的每个字符旋转角度对矫正图像进行仿射变换，得到与每个字符旋转角度对应的字符变换图像；

(2)分别计算每个字符变换图像中纵向直线上各像素点的灰度值和；

(3)根据计算得到的灰度值和计算车牌的字符倾斜角度。

在步骤(1)中，通过以下公式1根据beta'对矫正图像进行仿射变换：

$Gx=\left[\begin{array}{ccc}\cos \left({\mathrm{beta}}^{\′}\right)& -\sin \left({\mathrm{beta}}^{\′}\right)& Xc-Xc*\cos \left({\mathrm{beta}}^{\′}\right)+Yc*\sin \left({\mathrm{beta}}^{\′}\right)\\ \sin \left({\mathrm{beta}}^{\′}\right)& \cos \left({\mathrm{beta}}^{\′}\right)& Yc-Xc*\sin \left({\mathrm{beta}}^{\′}\right)-Yc*\cos \left({\mathrm{beta}}^{\′}\right)\\ 0& 0& 1\end{array}\right]---\left(1\right)$

其中，Xc表示车牌字符区域中心点的横坐标，Yc表示车牌字符区域中心点的纵坐标，beta'表示当前对矫正图像进行仿射变换的角度。

字符旋转角度beta'的取值范围为：[-30°,30°]，取值步长为3°。即beta'可以取得的角度值为：-30°、-27°、-24°……24°、27°和30°。

在步骤(2)中，每旋转一个beta'，以垂直方向为纵轴，从矫正图像中选取N条平行于纵轴的直线，通过以下公式2计算N条直线上的灰度值之和Sum；

Sum(Gx,beta',x＝i)＝∑(B2[i,y”])(2)

其中，Gx表示根据beta'对矫正图像进行仿射变换的矩阵，x表示矫正图像旋转beta'后的图像中平行于纵轴的直线横坐标，i∈[0,N]，N等于矫正图像旋转beta'后的字符变换图像宽度，y”表示矫正图像中像素点的纵坐标y'旋转beta'后的字符变换图像中的纵坐标。

步骤(3)包括如下步骤(31)至步骤(33)：

(31)分别计算每个字符变换图像中纵向直线上各像素点的灰度值和方差；

(32)从计算的灰度值和方差中选择最大值；

(33)将最大值的字符变换图像对应的字符旋转角度作为车牌的字符倾斜角度。

在步骤(31)中，通过以下公式3计算字符变换图像中N条线的灰度值和的方差D：

D(Gx,beta',x＝i)＝E(Sum²)-(E(Sum))²(3)

其中，公式3中字符的含义与上述公式2中字符的含义一致，这里不再一一赘述。

倾斜车牌识别设备可以采用现有的任何灰度值的计算方法来分别计算矫正图像中N条直线中每条直线上的灰度值，这里不再一一赘述。

在步骤(32)中，倾斜车牌识别设备可以采用现有的任何可以比较数值大小的方法，从计算的灰度值和方差中选择最大值，这里不再一一赘述。

由于本实施例中通过以上描述的内容确定了对矫正图像中的字符进行矫正的字符倾斜角度；相应的，根据字符倾斜角度对矫正图像中的字符进行矫正步骤包括：根据字符倾斜角度对矫正图像中的字符进行仿射变换。

通过以上的描述，通过计算车牌字符区域矫正图像在根据每个字符旋转角度进行仿射变换后的图像中纵向多条直线的灰度值和的方差，将灰度值和的方差最大值对应的beta'确定为字符倾斜角度，从而在车牌矫正的基础上，可以对字符进行矫正，所以可以识别大角度倾斜的车牌，降低了车牌被漏检的可能性。

在现有技术中，通过对原始图像进行霍夫变换，确定车牌边缘所在直线，然后根据直线的斜率确定车牌的旋转角度，但是如果图像中车牌被遮挡或模糊，使得边缘线不完整，而导致确定不了车牌边缘所在直线时，就不能对车牌进行旋转和识别。因此上述根据车牌图像中的车牌的整体倾斜角度对车牌字符区域进行矫正，得到车牌字符区域的矫正图像的步骤可以包括以下步骤(1)至步骤(5)：

(1)根据预设的每个车牌旋转角度对车牌字符区域进行仿射变换，得到与每个车牌旋转角度对应的车牌变换图像；

(2)分别计算每个车牌变换图像中纵向边缘梯度幅值的和；

(3)从计算的纵向边缘梯度幅值的和中选择最大的纵向边缘梯度幅值的和；

(4)将最大的纵向边缘梯度幅值的和对应的车牌旋转角度作为车牌的整体倾斜角度；

(5)根据车牌的整体倾斜角度对车牌字符区域进行仿射变换，得到车牌字符区域的矫正图像。

在步骤(1)中，通过以下公式4根据alpha'对车牌字符区域进行仿射变换：

${\mathrm{Gx}}^{\′}=\left[\begin{array}{ccc}\cos \left({\mathrm{alpha}}^{\′}\right)& -\sin \left({\mathrm{alpha}}^{\′}\right)& Xc-Xc*\cos \left({\mathrm{alpha}}^{\′}\right)+Yc*\sin \left({\mathrm{alpha}}^{\′}\right)\\ \sin \left({\mathrm{alpha}}^{\′}\right)& \cos \left({\mathrm{alpha}}^{\′}\right)& Yc-Xc*\sin \left({\mathrm{alpha}}^{\′}\right)-Yc*\cos \left({\mathrm{alpha}}^{\′}\right)\\ 0& 0& 1\end{array}\right]---\left(4\right)$

其中，Xc表示车牌字符区域中心点的横坐标，Yc表示车牌字符区域中心点的纵坐标，alpha'表示当前对车牌字符区域进行仿射变换的角度。

字符旋转角度alpha'的取值范围为：[-50°,50°]，取值步长为5°。即alpha'可以取得的角度值为：-50°、-45°、-40°……40°、45°和50°。

在步骤(2)中，每旋转一个alpha'，以水平方向横轴，通过以下公式5计算车牌字符区域的车牌变换图像在该横轴上的纵向边缘梯度幅值的和；

Sum(Gx',alpha')＝∑(Gx'[x',0])(5)

其中，Gx'表示根据alpha'对车牌字符区域进行仿射变换的矩阵，x'表示车牌字符区域中的像素点横坐标x以alpha'仿射变换后得到的车牌变换图像中该像素点的横坐标。

在步骤(3)中，倾斜车牌识别设备可以采用现有的任何可以比较数值大小的方法，从计算的纵向边缘梯度幅值的和中选择最大的纵向边缘梯度幅值的和，这里不再一一赘述。

通过以上描述，通过计算各车牌旋转角度的纵向边缘响应之和，就可以确定车牌字符区域的整体倾斜角度，从而可以无需确定车牌边缘所在直线，就可以确定车牌的旋转角度，进一步降低了车牌被漏检的可能性。

相关技术中，通过计算得到车牌图像的纵向边缘检测图像后，会分别确定车牌四个边缘的位置，通过车牌四个边缘的位置才可以确定车牌的位置，所以计算消耗量较大，不能快速的确定车牌的位置，所以上述从拍摄的车牌图像中确定车牌字符区域的步骤可以包括以下步骤(1)至步骤(3)：

(1)计算拍摄得到的车牌图像中的纵向边缘检测图像；

(2)确定纵向边缘检测图像上的车牌字符区域中心点；

(3)按照设定的车牌字符区域大小对车牌字符区域中心点进行扩展，得到车牌字符区域。

在步骤(1)中根据以下公式6计算纵向边缘检测图像Gx”；

${\mathrm{Gx}}^{\′\′}=\left[\begin{array}{ccc}-1& 0& +1\\ -2& 0& +2\\ -1& 0& +1\end{array}\right]*A---\left(6\right)$

其中， $\left[\begin{array}{ccc}-1& 0& +1\\ -2& 0& +2\\ -1& 0& +1\end{array}\right]$ 表示边缘响应soble算子，A表示车牌图像像素位置矩阵。

步骤(2)包括如下步骤(21)至步骤(23)：

(21)获取纵向边缘检测图像的纵向边缘梯度幅值；

(22)通过插值运算和非极大值抑制算法，得到纵向边缘梯度幅值的局部极大值点；

(23)选择纵向边缘梯度幅值的局部极大值点为车牌字符区域中心点。

通过以上描述，通过简单的插值运算和非极大值抑制算法，就可以在纵向边缘检测图像上确定作为车牌字符区域中心点的纵向边缘梯度幅值的局部极大值点，简单实用。

在步骤(3)中，根据车牌字符区域中心点确定车牌位置，并以车牌字符区域中心点为坐标原点，对车牌字符区域中心点进行图像扩展，得到车牌字符区域。

通常情况下，车牌图像中的车牌宽度在100至150像素之间，高度在25至35像素之间。为了避免车牌漏检，故扩展区域相对车牌区域要大一些；由于车牌倾斜后，宽高比变小，故车牌字符区域上下扩展范围比例相对车牌图像要更大一些。

因此在形成车牌字符区域的过程中，以车牌字符区域中心点为坐标原点，上下各扩展50像素，左右各扩展200像素，形成宽度为400，高度为100的车牌字符区域。

通过以上描述，在得到纵向边缘检测图像后，通过确定纵向边缘检测图像中的车牌字符区域中心点就可以定位车牌的位置，计算简单，可以提高定位车牌位置的速度。

实施例2

参见图3，本实施例提供了另一种倾斜车牌识别方法，该方法包括如下步骤：

步骤300、定位车牌中心点；

本实施例提出一种全新的基于车牌中心点的车牌检测、定位技术，通过车牌区域内特有的边缘响应特性，选取纵向方向上的边缘响应数值，通过插值运算和非极大值抑制算法，定位图像内边缘响应的局部极大值点，选为候选车牌区域的中心点C1。

提取边缘响应采用sobel算子，原始图像为A，纵向边缘检测的图像为Gx，计算公式如下：

$Gx=\left[\begin{array}{ccc}-1& 0& +1\\ -2& 0& +2\\ -1& 0& +1\end{array}\right]*A$

步骤302、计算车牌整体倾斜角度alpha；

(2.1)以候选车牌区域的中心点C1[Xc,Yc]，上下各扩展50像素，左右各扩展200像素，形成宽度为400，高度为100的车牌候选区域局部图像B1。

一般视频图像中的车牌宽度在100～150像素之间，高度在25～35像素之间。为了避免车牌漏检，故扩展区域相对车牌区域要大一些；由于车牌倾斜后，宽高比变小，故上下扩展范围比例要相对更大一些。

(2.2)以中心点C1为坐标原点，对局部图像B1进行仿射变换，旋转角度alpha’的取值范围为：[-50°,50°]，取值步长为5°。

经过多次仿射变换证明，发现超过±50°的倾斜车牌很难通过仿射变换进行有效矫正；经过试验证明，即可选取步长为5°，即可满足车牌角度矫正对步长最小要求。

(2.3)每旋转一个角度，以该角度方向为横轴，计算局部图像B横轴上的纵向边缘响应之和；

Sum(Gx,alpha')＝∑(Gx[x',0])

其中，[x’,y’]分别是局部图像B1的[x,y]以alpha’角度仿射变换后对应的坐标值。

仿射变换的变换矩阵M如下：

$\left[\begin{array}{ccc}\cos \left({\mathrm{alpha}}^{\′}\right)& -\sin \left({\mathrm{alpha}}^{\′}\right)& Xc-Xc*\cos \left({\mathrm{alpha}}^{\′}\right)+Yc*\sin \left({\mathrm{alpha}}^{\′}\right)\\ \sin \left({\mathrm{alpha}}^{\′}\right)& \cos \left({\mathrm{alpha}}^{\′}\right)& Yc-Xc*\sin \left({\mathrm{alpha}}^{\′}\right)-Yc*\cos \left({\mathrm{alpha}}^{\′}\right)\\ 0& 0& 1\end{array}\right]$

步骤304、根据角度alpha对车牌局部图像进行矫正；

车牌整体倾斜角度alpha，即为使局部图像B1横轴上的纵向边缘响应之和最大的角度值，即：

alpha＝MAX(Sum(Gx,alpha'))

按照alpha值对局部图像B1进行仿射变换，求得矫正后的车牌局部图像B2；

步骤306、计算车牌字符倾斜角度beta；

仍以中心点C1为坐标原点，对局部图像B2进行仿射变换，旋转角度beta’的取值范围为：[-30°,30°]，取值步长为3°。

经过试验证明，超过±30°的倾斜字符很难进行有效矫正；经过试验证明，即可选取步长为3°，即可满足字符角度矫正对步长最小要求。

每旋转一个角度，以角度方向为纵轴，选取N条平行于纵轴的直线，计算直线上的灰度值之和；

N等于车牌局部图像B2的图像高度；

Sum(Gx,beta',x＝i)＝∑(B2[i,y”])

其中，[x”,y”]分别是局部图像B1的[x',y']以beta’角度仿射变换后对应的坐标值。放射变换公式同(2)2.3。

计算旋转角度为beta’时，N条线的灰度值和的方差；

D(Gx,beta',x＝i)＝E(Sum²)-(E(Sum))²

步骤308、根据角度beta对车牌局部图像进行矫正；

车牌字符倾斜角度beta即为使局部图像B2上D值最大的角度值，即：

beta＝MAX(D(Gx,beta',x＝i))

按照beta值对局部图像B2进行仿射变换，求得矫正后的车牌局部图像B3；

步骤310、调用原车牌识别技术；对图像B3调用车牌识别算法，获得正确的车牌号码。

综上所述，本实施例提供一种倾斜车牌识别方法，在对车牌进行矫正后得到矫正图像后，根据矫正图像内像素点的灰度值计算车牌的字符倾斜角度，并通过字符倾斜角度对矫正图像中的字符进行矫正，得到车牌字符区域的优化图像，然后对优化图像中的车牌字符进行识别；从而在对车牌进行矫正的基础上，进一步对车牌中的字符进行矫正，所以可以对车牌图像进行大角度(40度以上)的旋转以对车牌图像进行矫正，因此可以对倾斜角度很大的车牌进行识别，提高车牌的识别率，尽量减少车牌的漏检情况。

实施例3

参见图4，本实施例提供一种倾斜车牌识别装置，该倾斜车牌识别装置用于执行上述的倾斜车牌识别方法，该装置包括：车牌字符区域确定模块400、车牌字符区域矫正模块402、字符倾斜角度计算模块404、字符矫正模块406和识别模块408；

车牌字符区域确定模块400，用于从拍摄的车牌图像中确定车牌字符区域；

车牌字符区域矫正模块402，与车牌字符区域确定模块400连接，根据车牌图像中的车牌的整体倾斜角度对车牌字符区域进行矫正，得到车牌字符区域的矫正图像；

字符倾斜角度计算模块404，与车牌字符区域矫正模块402连接，用于根据矫正图像内像素点的灰度值计算车牌的字符倾斜角度；

字符矫正模块406，与字符倾斜角度计算模块404连接，用于根据字符倾斜角度对矫正图像中的字符进行矫正，得到车牌字符区域的优化图像；

识别模块408，与字符矫正模块406连接，用于识别优化图像中的字符，得到车牌图像内的车牌。

相关技术中，使用霍夫变换算法对车牌图像中的车牌进行定位时，是通过车牌的边缘直线来确定车牌位置的，由于车牌中字符的边缘通常不是直线，所以霍夫变换算法不能对车牌中的字符进行矫正。所以相关技术中一般只对车牌进行旋转后，就对车牌图像上的字符进行识别，没有对字符进行旋转的方法。为了对字符进行旋转，字符倾斜角度计算模块404具体包括：

仿射变换单元，用于根据预设的每个字符旋转角度对矫正图像进行仿射变换，得到与每个字符旋转角度对应的字符变换图像；

灰度值和计算单元，用于分别计算每个字符变换图像中纵向直线上各像素点的灰度值和；

字符倾斜角度计算单元，用于根据计算得到的灰度值和计算车牌的字符倾斜角度。

其中，为了降低字符倾斜角度的计算量，字符倾斜角度计算单元具体包括：

方差计算子单元，用于分别计算每个字符变换图像中纵向直线上各像素点的灰度值和方差；

最大值选择子单元，用于从计算的灰度值和方差中选择最大值；

字符倾斜角度确定子单元，用于将最大值的字符变换图像对应的字符旋转角度作为车牌的字符倾斜角度。

通过以上的描述，通过计算车牌字符区域矫正图像在根据每个字符旋转角度进行仿射变换后的图像中纵向多条直线的灰度值和的方差，将灰度值和的方差最大值对应的字符旋转角度确定为字符倾斜角度，从而在车牌矫正的基础上，对字符进行矫正，所以可以识别大角度倾斜的车牌，降低了车牌被漏检的可能性。

在现有技术中，通过对原始图像进行霍夫变换，确定车牌边缘所在直线，然后根据直线的斜率确定车牌的旋转角度，但是如果图像中车牌被遮挡或模糊，使得边缘线不完整，而导致确定不了车牌边缘所在直线时，就不能对车牌进行旋转和识别。所以为了在不用确定车牌边缘所在直线的情况下，也可以对车牌字符区域进行识别和矫正，车牌字符区域矫正模块402具体包括：

车牌变换图像获取单元，用于根据预设的每个车牌旋转角度对车牌字符区域进行仿射变换，得到与每个车牌旋转角度对应的车牌变换图像；

纵向边缘梯度幅值和计算单元，用于分别计算每个车牌变换图像中纵向边缘梯度幅值的和；

最大值选择单单元，用于从计算的纵向边缘梯度幅值的和中选择最大的纵向边缘梯度幅值的和；

整体倾斜角度确定单元，用于将最大的纵向边缘梯度幅值的和对应的车牌旋转角度作为车牌的整体倾斜角度；

车牌字符区域处理单元，用于根据车牌的整体倾斜角度对车牌字符区域进行仿射变换，得到车牌字符区域的矫正图像。

通过以上描述，通过计算各车牌旋转角度的纵向边缘响应之和，就可以确定车牌字符区域的整体倾斜角度，从而可以无需确定车牌边缘所在直线，就可以确定车牌的旋转角度，进一步降低了车牌被漏检的可能性。

相关技术中，通过计算得到车牌图像的纵向边缘检测图像后，会分别确定车牌四个边缘的位置，通过车牌四个边缘的位置才可以确定车牌的位置，所以计算消耗量较大，不能快速的确定车牌的位置，所以为了快速的确定车牌的位置，车牌字符区域确定模块400具体包括：

纵向边缘检测图像计算单元，用于计算拍摄得到的车牌图像中的纵向边缘检测图像；

中心点确定单元，用于确定纵向边缘检测图像上的车牌字符区域中心点；

车牌字符区域处理单元，用于按照设定的车牌字符区域大小对车牌字符区域中心点进行扩展，得到车牌字符区域。

为了简化得到车牌字符区域中心点的计算过程，中心点确定单元具体包括：

纵向边缘梯度幅值获取子单元，用于获取纵向边缘检测图像的纵向边缘梯度幅值；

局部极大值点计算子单元，用于通过插值运算和非极大值抑制算法，得到纵向边缘梯度幅值的局部极大值点；

车牌字符区域中心点选择子单元，用于选择纵向边缘梯度幅值的局部极大值点为车牌字符区域中心点。

通过以上描述，通过简单的插值运算和非极大值抑制算法，就可以在纵向边缘检测图像上确定作为车牌字符区域中心点的纵向边缘梯度幅值的局部极大值点，简单实用。

通过以上描述，在得到纵向边缘检测图像后，通过确定纵向边缘检测图像中的车牌字符区域中心点就可以定位车牌的位置，计算简单，可以提高定位车牌位置的速度。

综上所述，本实施例提供一种倾斜车牌识别装置，在对车牌进行矫正后得到矫正图像后，根据矫正图像内像素点的灰度值计算车牌的字符倾斜角度，并通过字符倾斜角度对矫正图像中的字符进行矫正，得到车牌字符区域的优化图像，然后对优化图像中的车牌字符进行识别；从而在对车牌进行矫正的基础上，进一步对车牌中的字符进行矫正，所以可以对车牌图像进行大角度(40度以上)的旋转以对车牌图像进行矫正，因此可以对倾斜角度很大的车牌进行识别，提高车牌的识别率，尽量减少车牌的漏检情况。

本发明实施例所提供的视频播放方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (12)

1.一种倾斜车牌识别方法，其特征在于，所述方法包括：

从拍摄的车牌图像中确定车牌字符区域；

根据所述车牌图像中的车牌的整体倾斜角度对所述车牌字符区域进行矫正，得到所述车牌字符区域的矫正图像；

根据所述矫正图像内像素点的灰度值计算所述车牌的字符倾斜角度；

根据所述字符倾斜角度对所述矫正图像中的字符进行矫正，得到所述车牌字符区域的优化图像；

识别所述优化图像中的字符，得到所述车牌图像内的车牌。

2.根据权利要求1所述的方法，其特征在于，根据所述矫正图像内像素点的灰度值计算所述车牌的字符倾斜角度包括：

根据预设的每个字符旋转角度对所述矫正图像进行仿射变换，得到与所述每个字符旋转角度对应的字符变换图像；

分别计算每个所述字符变换图像中纵向直线上各像素点的灰度值和；

根据计算得到的所述灰度值和计算所述车牌的字符倾斜角度。

3.根据权利要求2所述的方法，其特征在于，根据计算得到的所述灰度值和计算所述车牌的字符倾斜角度包括：

分别计算每个所述字符变换图像中纵向直线上各像素点的灰度值和方差；

从计算的所述灰度值和方差中选择最大值；

将所述最大值的所述字符变换图像对应的字符旋转角度作为所述车牌的字符倾斜角度；

根据所述字符倾斜角度对所述矫正图像中的字符进行矫正包括：根据所述字符倾斜角度对所述矫正图像中的字符进行仿射变换。

4.根据权利要求1所述的方法，其特征在于，根据所述车牌图像中的车牌的整体倾斜角度对所述车牌字符区域进行矫正，得到所述车牌字符区域的矫正图像包括：

根据预设的每个车牌旋转角度对所述车牌字符区域进行仿射变换，得到与所述每个车牌旋转角度对应的车牌变换图像；

分别计算每个所述车牌变换图像中纵向边缘梯度幅值的和；

从计算的所述纵向边缘梯度幅值的和中选择最大的纵向边缘梯度幅值的和；

将所述最大的纵向边缘梯度幅值的和对应的车牌旋转角度作为所述车牌的整体倾斜角度；

根据所述车牌的整体倾斜角度对所述车牌字符区域进行仿射变换，得到所述车牌字符区域的所述矫正图像。

5.根据权利要求1所述的方法，其特征在于，从拍摄的车牌图像中确定车牌字符区域包括：

计算拍摄得到的车牌图像中的纵向边缘检测图像；

确定所述纵向边缘检测图像上的车牌字符区域中心点；

按照设定的车牌字符区域大小对所述车牌字符区域中心点进行扩展，得到所述车牌字符区域。

6.根据权利要求5所述的方法，其特征在于，确定所述纵向边缘检测图像上的车牌字符区域中心点包括：

获取所述纵向边缘检测图像的纵向边缘梯度幅值；

通过插值运算和非极大值抑制算法，得到所述纵向边缘梯度幅值的局部极大值点；

选择所述纵向边缘梯度幅值的局部极大值点为车牌字符区域中心点。

7.一种倾斜车牌识别装置，其特征在于，所述装置包括：

车牌字符区域确定模块，用于从拍摄的车牌图像中确定车牌字符区域；

车牌字符区域矫正模块，根据所述车牌图像中的车牌的整体倾斜角度对所述车牌字符区域进行矫正，得到所述车牌字符区域的矫正图像；

字符倾斜角度计算模块，用于根据所述矫正图像内像素点的灰度值计算所述车牌的字符倾斜角度；

字符矫正模块，用于根据所述字符倾斜角度对所述矫正图像中的字符进行矫正，得到所述车牌字符区域的优化图像；

识别模块，用于识别所述优化图像中的字符，得到所述车牌图像内的车牌。

8.根据权利要求7所述的装置，其特征在于，所述字符倾斜角度计算模块包括：

仿射变换单元，用于根据预设的每个字符旋转角度对所述矫正图像进行仿射变换，得到与所述每个字符旋转角度对应的字符变换图像；

灰度值和计算单元，用于分别计算每个所述字符变换图像中纵向直线上各像素点的灰度值和；

字符倾斜角度计算单元，用于根据计算得到的所述灰度值和计算所述车牌的字符倾斜角度。

9.根据权利要求8所述的装置，其特征在于，所述字符倾斜角度计算单元包括：

方差计算子单元，用于分别计算每个所述字符变换图像中纵向直线上各像素点的灰度值和方差；

最大值选择子单元，用于从计算的所述灰度值和方差中选择最大值；

字符倾斜角度确定子单元，用于将所述最大值的所述字符变换图像对应的字符旋转角度作为所述车牌的字符倾斜角度。

10.根据权利要求7所述的装置，其特征在于，所述车牌字符区域矫正模块包括：

车牌变换图像获取单元，用于根据预设的每个车牌旋转角度对所述车牌字符区域进行仿射变换，得到与所述每个车牌旋转角度对应的车牌变换图像；

纵向边缘梯度幅值和计算单元，用于分别计算每个所述车牌变换图像中纵向边缘梯度幅值的和；

最大值选择单元，用于从计算的所述纵向边缘梯度幅值的和中选择最大的纵向边缘梯度幅值的和；

整体倾斜角度确定单元，用于将所述最大的纵向边缘梯度幅值的和对应的车牌旋转角度作为所述车牌的整体倾斜角度；

车牌字符区域处理单元，用于根据所述车牌的整体倾斜角度对所述车牌字符区域进行仿射变换，得到所述车牌字符区域的所述矫正图像。

11.根据权利要求7所述的装置，其特征在于，所述车牌字符区域确定模块包括：

纵向边缘检测图像计算单元，用于计算拍摄得到的车牌图像中的纵向边缘检测图像；

中心点确定单元，用于确定所述纵向边缘检测图像上的车牌字符区域中心点；

车牌字符区域处理单元，用于按照设定的车牌字符区域大小对所述车牌字符区域中心点进行扩展，得到所述车牌字符区域。

12.根据权利要求11所述的装置，其特征在于，所述中心点确定单元包括：

纵向边缘梯度幅值获取子单元，用于获取所述纵向边缘检测图像的纵向边缘梯度幅值；

局部极大值点计算子单元，用于通过插值运算和非极大值抑制算法，得到所述纵向边缘梯度幅值的局部极大值点；

车牌字符区域中心点选择子单元，用于选择所述纵向边缘梯度幅值的局部极大值点为车牌字符区域中心点。