CN106169076A - 一种基于透视变换的角度车牌图像库搭建方法 - Google Patents

Abstract

本发明公开一种基于透视变换的角度车牌图像库搭建方法，其具体实现过程为：1）建立针孔相机成像模型，获得三维车牌四个顶点的坐标值；2）对三维车牌进行空间几何变换，获得变换后的三维车牌四个顶点的坐标值；3）将三维车牌投影变换到二维图像，并获得车牌二维图像四个顶点的坐标值；同时获得正投影的车牌图像四个顶点的坐标值；4）计算二维图像变成不同形状二维图像的投影矩阵H；5）基于所得的投影矩阵H，将正投影的车牌图像变换成不同形状的车牌图像，建立不同成像形状的车牌图像库。本发明提出的建立车牌图像库的方法可以模拟实际的拍摄环境，能够明确成像属性，图像可扩充性强，并且成本低。

Description

一种基于透视变换的角度车牌图像库搭建方法

技术领域

本发明涉及车牌识别技术领域，更具体地，涉及一种基于透视变换的角度车牌图像库搭建方法。

背景技术

车牌的倾斜矫正一直是车牌识别技术中一个重要的课题。现有识别算法和软件主要都应用于固定的场景，通常只能识别倾斜角度很小或完全水平的车牌图像，使得摄像头的拍摄角度的适应范围受到很大的限制，对车牌发生倾斜情况的识别具有不稳定性，对于一些倾斜度较大的车牌还需要人眼去进行分辨，因此关于研究倾斜车牌图像的定位与识别技术意义重大。

标准车牌图像库的搭建是评价和推动车牌识别技术的关键因素。现有的获取车牌库的方法都是在实验室或者道路上搭建拍摄平台，通过拍摄车牌样本或者道路上的车辆采集所需要的车牌图像库从而进行识别算法或者软件的评测，这种采集方式所需要的成本大，需要资金购买拍摄设备，并且搭建采集环境。道路采集的方式，虽然拍摄环境是固定的，但是由于道路上车辆的位置以及车牌的悬挂位置，角度都不完全一致，所以拍摄到的图像并不完全一致，其成像属性虽然近似，但是不够明确，以至于图像的测试结果难以说明问题。实验室采集的方式，虽然能够明确成像属性，但是难以收集到一定数量的车牌样本。

发明内容

本发明为克服上述现有技术所述的至少一种缺陷(不足)，提供一种基于透视变换的角度车牌图像库搭建方法。该方法可以模拟实际的拍摄环境，能够明确成像属性，图像可扩充性强，且成本低。

为解决上述技术问题，本发明的技术方案如下：

一种基于透视变换的角度车牌图像库搭建方法，其具体实现过程为：

1)建立针孔相机成像模型，获得三维车牌四个顶点的坐标值；

2)对三维车牌进行空间几何变换，获得变换后的三维车牌四个顶点的坐标值；

3)将三维车牌投影变换到二维车牌图像，并获得二维车牌图像四个顶点的坐标值；同时可手动取点并且根据车牌的标准尺寸(GA36-2014)获得正投影的车牌图像四个顶点的坐标值，这里正投影的车牌图像是指当车牌平面平行于成像平面，并且车牌上下边缘平行于x轴的一种车牌投影图像；这种车牌图像的形状为矩形，并且车牌没有变形。

4)计算二维图像变成不同形状二维图像的投影矩阵H；

5)基于所得的投影矩阵H，将正投影的车牌图像变换成不同形状的车牌图像，建立不同成像形状的车牌图像库。

优选的，所述针孔相机成像模型具体为：相机坐标系为(x',y',z')，原点o'的坐标为(0,0,0)，相机焦距为f，(x,y)平面为像平面，相机光轴通过z'轴，设初始情况下车牌几何中心与相机坐标系原点重合，并且车牌的水平边缘平行于x轴，车牌的竖直边缘平行于y轴，则在相机坐标系中车牌顶点的坐标为(x,y,z)。

优选的，所述对三维车牌进行空间几何变换是指对三维车牌进行平移和旋转变换，其中平移变换矩阵为M_t，旋转变换矩阵为M_r，平移和旋转变换能够多次进行，上述变换的矩阵相乘之后得到最终的变换矩阵为M，如公式(1)所示，空间几何变换后车牌顶点在相机坐标系中的坐标为(x_e,y_e,z_e)，如公式(2)所示；

$M=M_t\·M_s=\left[\begin{array}{cccc}{m}_{11}& m_{12}& m_{13}& m_{14}\\ m_{21}& m_{22}& m_{23}& m_{24}\\ m_{31}& m_{32}& m_{33}& m_{34}\\ m_{41}& m_{42}& m_{43}& m_{44}\end{array}\right]---\left(1\right)$

(x_e,y_e,z_e,1)＝(x,y,z,1)·M (2)

其中m_ij为4×4变换矩阵M的参数，(x,y,z)表示变换前车牌顶点在相机坐标系中的坐标；

采用公式(2)对车牌四个顶点分别进行空间几何变换得到变换后的三维车牌四个顶点的坐标值。

优选的，将三维车牌投影变换到二维图像，是用针孔相机模型下的投影变换公式计算投影坐标(x_s,y_s)，如公式(3)所示；

$\begin{array}{c}{x}_s=x_{e}f/z_e\\ y_s=y_{e}f/z_e\end{array}---\left(3\right)$

其中f为相机焦距；

采用公式(3)对三维车牌的四个顶点分别进行投影变换，获得车牌二维图像四个顶点的坐标值。

优选的，计算二维图像变成不同形状二维图像的投影矩阵H的方式为：利用公式(4)求得透视投影变换矩阵H；

$\left[\begin{array}{c}{x}_s\\ y_s\\ 1\end{array}\right]=H\·\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right]=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]\·\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right]---\left(4\right)$

其中，[x_s,y_s]为输出车牌图像的顶点坐标，即公式(3)计算出的值；[x',y']为输入车牌图像的顶点坐标，即正投影的车牌图像顶点坐标。

优选的，基于所得的投影矩阵H，采用公式(5)将正投影的车牌图像变换不同形状的车牌图像，其中，[u,v]为输出图像，[x',y']为输入图像，即正投影的车牌图像。

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=H\·\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right]---\left(5\right).$

与现有技术相比，本发明技术方案的有益效果是：由于车牌是平面物体，所以可以利用透视变换的原理将正投影的车牌图像变换成不同形状的车牌图像。与传统的搭建拍摄平台采集标准图像库的方法相比，本发明提出的建立车牌图像库的方法可以模拟实际的拍摄环境，能够明确成像属性，图像可扩充性强，并且成本低。另外，本发明所提出的建立的车牌库图像只含有车牌，没有车辆，道路以及其他背景图像，该图像库不涉及车辆个人隐私问题，可公开用于车牌识别算法(软件)对于不同成像角度车牌图像的识别评测。

附图说明

图1为角度车牌库搭建方法流程图。

图2为车牌成像模型示意图。

图3为竖直平行透视车牌图。

图4为正投影的车牌图。

图5为车牌竖直平行透视图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。下面结合附图和实施例对本发明的技术方案做进一步的说明。

本实施例提出了一种基于透视变换的角度车牌图像库搭建方法，图1是该方法的流程图。由于车牌是平面物体，所以可以利用透视变换的原理将正投影的车牌图像变换成不同形状的车牌图像。与传统的搭建拍摄平台采集标准图像库的方法相比，本实施例建立车牌图像库的方法可以模拟实际的拍摄环境，能够明确成像属性，图像可扩充性强，并且成本低。另外，本实施例建立的车牌库图像只含有车牌，没有车辆，道路以及其他背景图像，该图像库不涉及车辆个人隐私问题，可公开用于车牌识别算法(软件)对于不同成像角度车牌图像的识别评测。该方法分为以下五个步骤。

第一，建立针孔相机成像模型，如图2所示，其中相机坐标系为(x',y',z')，原点o'的坐标为(0,0,0)，相机焦距为f，(x,y)平面为像平面，相机光轴通过z'轴，假设初始情况下车牌几何中心与相机坐标系原点重合，并且车牌的水平边缘平行于x轴，车牌的竖直边缘平行于y轴，那么在相机坐标系中车牌顶点的坐标为(x,y,z)。

第二，三维车牌物体的空间几何变换，即在相机模型下，车牌三维物体的平移和旋转变换。其中平移变换矩阵为M_t，旋转变换矩阵为M_r，平移和旋转变换可以多次进行，上述变换的矩阵相乘之后得到最终的变换矩阵为M，如公式(1)所示，几何变换后车牌顶点在相机坐标系中的坐标为(x_e,y_e,z_e)，如公式(2)所示。

$M=M_t\·M_s=\left[\begin{array}{cccc}{m}_{11}& m_{12}& m_{13}& m_{14}\\ m_{21}& m_{22}& m_{23}& m_{24}\\ m_{31}& m_{32}& m_{33}& m_{34}\\ m_{41}& m_{42}& m_{43}& m_{44}\end{array}\right]---\left(1\right)$

(x_e,y_e,z_e,1)＝(x,y,z,1)·M (2)

第三，三维物体向二维图像的投影变换，用线性相机模型下的投影变换公式计算投影坐标(x_s,y_s)，如公式(3)所示。

$\begin{array}{c}{x}_s=x_{e}f/z_e\\ y_s=y_{e}f/z_e\end{array}---\left(3\right)$

第四，二维图像的透视投影变换，已知输入输出车牌四个顶点的横纵坐标值，可以利用公式(4)求得透视投影变换矩阵H。

$\left[\begin{array}{c}{x}_s\\ y_s\\ 1\end{array}\right]=H\·\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right]=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]\·\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right]---\left(4\right)$

其中，[x_s,y_s]为输出车牌图像的4个顶点坐标，即公式(3)计算出的值。[x',y']为输入车牌图像的4个顶点坐标，即正投影的车牌图像顶点坐标。

第五，已知投影矩阵H，可以利用公式(5)将正投影的车牌图像变换成不同形状的车牌图像，其中，[u,v]为输出图像，[x',y']为输入图像，即正投影的车牌图像。

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=H\·\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right]---\left(5\right).$

由于汽车牌照与CCD摄像机所成的角度以及距离的变化，拍摄得到的汽车牌照图像可能从矩形变成梯形或是平行四边形或是任意四边形，当相机与车牌的俯拍角度较大并且拍摄距离近时，会产生竖直透视车牌图像。

本实施例的目标是建立如图3所示的车牌竖直平行透视图像，图3中的车牌图像为等腰梯形，其车牌图像竖直透视角为γ，γ＝车牌竖边与y轴的角度，具体实施步骤如下。

第一，建立针孔相机模型。初始情况下，车牌顶点的坐标为(x,y,z)，以小型汽车车牌的尺寸为例，具体可以表示为A(-22k,-7k,0),B(22k,-7k,0),C(22k,7k,0),D(-22k,7k,0)，其中k表示车牌尺寸。

第二，几何变换。车牌的竖直透视成像形成的过程可以理解为先做车牌绕x'轴旋转，旋转角度为θ_x，然后再沿着z'轴平移，平移距离为-z_s，变换矩阵M_x如公式(6)所示，其中T_x为旋转变换矩阵，T_t为平移变换矩阵。几何变换后车牌四个顶点A_v，B_v，C_v，D_v在相机坐标系中的坐标如公式(7)所示。

$M_x=T_x\·T_t=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& {\mathrm{cos\θ}}_x& {\mathrm{sin\θ}}_x& 0\\ 0& -{\mathrm{sin\θ}}_x& {\mathrm{cos\θ}}_x& 0\\ 0& 0& 0& 1\end{array}\right]\·\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\ 0& 0& -z_s& 1\end{array}\right]=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& {\mathrm{cos\θ}}_x& {\mathrm{sin\θ}}_x& 0\\ 0& -{\mathrm{sin\θ}}_x& {\mathrm{cos\θ}}_x& 0\\ 0& 0& -z_s& 1\end{array}\right]---\left(6\right)$

$\begin{array}{c}{A}_v(-22k,-7k\cos \mathrm{\θ},-z_s-7k\sin \mathrm{\θ})\\ B_v(22k,-7k\cos \mathrm{\θ},-z_s-7k\sin \mathrm{\θ})\\ C_v(22k,7k\cos \mathrm{\θ},-z_s+7k\sin \mathrm{\θ})\\ D_v(-22k,7k\cos \mathrm{\θ},-z_s+7k\sin \mathrm{\θ})\end{array}---\left(7\right)$

第三，三维物体向二维图像的投影变换。利用公式(3)计算出车牌四个顶点的投影坐标，公式(8)为点B和C的坐标值，竖直透视角γ与θ_x的数学关系，如公式(9)所示，那么车牌四个顶点的投影坐标(x_s,y_s)是k，f，z_s，γ的函数。

$\begin{array}{cc}{x}_{Bs}\frac{22k}{-z_s-7k{\mathrm{sin\θ}}_x}f& y_{Bs}\frac{-7k{\mathrm{cos\θ}}_x}{-z_s-7k{\mathrm{sin\θ}}_x}f\\ x_{Cs}\frac{22k}{-z_s+7k{\mathrm{sin\θ}}_x}f& y_{Cs}\frac{7k{\mathrm{cos\θ}}_x}{-z_s+7k{\mathrm{sin\θ}}_x}f\end{array}---\left(8\right)$

$tan(90-\mathrm{\γ})=\frac{y_{Cs}-y_{Bs}}{x_{Cs}-x_{Bs}}\⇒{\mathrm{\θ}}_x={\tan }^{-1}\left(\frac{z_s}{tan(90-\mathrm{\γ})22k}\right)---\left(9\right)$

第四，二维图像的透视投影变换。已知输入输出四个点的坐标，可以利用公式(4)求得透视投影变换矩阵H,输入的四个点的坐标为正投影的车牌图像坐标A'(-22k,-7k),B'(22k,-7k),C'(22k,7k),D'(-22k,7k)，输出的四个点的坐标为公式(4)和(9)所计算出来的四个顶点的坐标值。这里假设k＝10，z_s＝220，f＝35，γ＝10,15,20。

第五，建立竖直平行透视车牌图像库。已知投影矩阵H，可以利用公式(5)将正投影的车牌图像，如图(4)，变换成不同竖直透视角度的车牌图像，如图(5)，(a)、(b)、(c)分别是γ＝10、γ＝15、γ＝20的情况。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (6)

1.一种基于透视变换的角度车牌图像库搭建方法，其特征在于，其具体实现过程为：

1)建立针孔相机成像模型，获得三维车牌四个顶点的坐标值；

2)对三维车牌进行空间几何变换，获得变换后的三维车牌四个顶点的坐标值；

3)将三维车牌投影变换到二维车牌图像，并获得二维车牌图像四个顶点的坐标值；同时可手动取点并且根据车牌的标准尺寸获得正投影的车牌图像四个顶点的坐标值，所述正投影的车牌图像是指当车牌平面平行于成像平面，并且车牌上下边缘平行于x轴的一种车牌投影图像；该车牌图像的形状为矩形，并且车牌没有变形；

4)计算二维图像变成不同形状二维图像的投影矩阵H；

5)基于所得的投影矩阵H，将正投影的车牌图像变换成不同形状的车牌图像，建立不同成像形状的车牌图像库。

2.根据权利要求1所述的基于透视变换的角度车牌图像库搭建方法，其特征在于，所述针孔相机成像模型具体为：相机坐标系为(x',y',z')，原点o'的坐标为(0,0,0)，相机焦距为f，(x,y)平面为像平面，相机光轴通过z'轴，设初始情况下车牌几何中心与相机坐标系原点o'重合，并且车牌的水平边缘平行于x轴，车牌的竖直边缘平行于y轴，则在相机坐标系中车牌顶点的坐标为(x,y,z)。

3.根据权利要求2所述的基于透视变换的角度车牌图像库搭建方法，其特征在于，所述对三维车牌进行空间几何变换是指对三维车牌进行平移和旋转变换，其中平移变换矩阵为M_t，旋转变换矩阵为M_r，平移和旋转变换能够多次进行，上述变换的矩阵相乘之后得到最终的变换矩阵为M，如公式(1)所示，空间几何变换后车牌顶点在相机坐标系中的坐标为(x_e,y_e,z_e)，如公式(2)所示；

$M=M_t\·M_s=\left[\begin{array}{cccc}{m}_{11}& m_{12}& m_{13}& m_{14}\\ m_{21}& m_{22}& m_{23}& m_{24}\\ m_{31}& m_{32}& m_{33}& m_{34}\\ m_{41}& m_{42}& m_{43}& m_{44}\end{array}\right]---\left(1\right)$

(x_e,y_e,z_e,1)＝(x,y,z,1)·M (2)

其中m_ij为4×4变换矩阵M的参数，(x,y,z)表示变换前车牌顶点在相机坐标系中的坐标；

采用公式(2)对车牌四个顶点分别进行空间几何变换得到变换后的三维车牌四个顶点的坐标值。

4.根据权利要求3所述的基于透视变换的角度车牌图像库搭建方法，其特征在于，将三维车牌投影变换到二维图像，是用针孔相机模型下的投影变换公式计算投影坐标(x_s,y_s)，如公式(3)所示；

$\begin{array}{c}{x}_s=x_{e}f/z_e\\ y_s=y_{e}f/z_e\end{array}---\left(3\right)$

其中f为相机焦距；

采用公式(3)对三维车牌的四个顶点分别进行投影变换，获得车牌二维图像四个顶点的坐标值。

5.根据权利要求4所述的基于透视变换的角度车牌图像库搭建方法，其特征在于，计算二维图像变成不同形状二维图像的投影矩阵H的方式为：利用公式(4)求得透视投影变换矩阵H；

$\left[\begin{array}{c}{x}_s\\ y_s\\ 1\end{array}\right]=H\·\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right]=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]\·\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right]---\left(4\right)$

其中，[x_s,y_s]为输出车牌图像的顶点坐标，即公式(3)计算出的值；[x',y']为输入车牌图像的顶点坐标，即正投影的车牌图像顶点坐标。

6.根据权利要求5所述的基于透视变换的角度车牌图像库搭建方法，其特征在于，基于所得的投影矩阵H，采用公式(5)将正投影的车牌图像变换不同形状的车牌图像，其中，[u,v]为输出图像，[x',y']为输入图像，即正投影的车牌图像；

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=H\·\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right]---\left(5\right).$