CN106169076B - 一种基于透视变换的角度车牌图像库搭建方法 - Google Patents

一种基于透视变换的角度车牌图像库搭建方法 Download PDF

Info

Publication number
CN106169076B
CN106169076B CN201610589032.9A CN201610589032A CN106169076B CN 106169076 B CN106169076 B CN 106169076B CN 201610589032 A CN201610589032 A CN 201610589032A CN 106169076 B CN106169076 B CN 106169076B
Authority
CN
China
Prior art keywords
license plate
image
dimensional
vertex
transformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610589032.9A
Other languages
English (en)
Other versions
CN106169076A (zh
Inventor
余志�
赵有婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN201610589032.9A priority Critical patent/CN106169076B/zh
Publication of CN106169076A publication Critical patent/CN106169076A/zh
Application granted granted Critical
Publication of CN106169076B publication Critical patent/CN106169076B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于透视变换的角度车牌图像库搭建方法，其具体实现过程为：1）建立针孔相机成像模型，获得三维车牌四个顶点的坐标值；2）对三维车牌进行空间几何变换，获得变换后的三维车牌四个顶点的坐标值；3）将三维车牌投影变换到二维图像，并获得车牌二维图像四个顶点的坐标值；同时获得正投影的车牌图像四个顶点的坐标值；4）计算二维图像变成不同形状二维图像的投影矩阵H；5）基于所得的投影矩阵H，将正投影的车牌图像变换成不同形状的车牌图像，建立不同成像形状的车牌图像库。本发明提出的建立车牌图像库的方法可以模拟实际的拍摄环境，能够明确成像属性，图像可扩充性强，并且成本低。

Description

一种基于透视变换的角度车牌图像库搭建方法
技术领域
本发明涉及车牌识别技术领域，更具体地，涉及一种基于透视变换的角度车牌图像库搭建方法。
背景技术
车牌的倾斜矫正一直是车牌识别技术中一个重要的课题。现有识别算法和软件主要都应用于固定的场景，通常只能识别倾斜角度很小或完全水平的车牌图像，使得摄像头的拍摄角度的适应范围受到很大的限制，对车牌发生倾斜情况的识别具有不稳定性，对于一些倾斜度较大的车牌还需要人眼去进行分辨，因此关于研究倾斜车牌图像的定位与识别技术意义重大。
标准车牌图像库的搭建是评价和推动车牌识别技术的关键因素。现有的获取车牌库的方法都是在实验室或者道路上搭建拍摄平台，通过拍摄车牌样本或者道路上的车辆采集所需要的车牌图像库从而进行识别算法或者软件的评测，这种采集方式所需要的成本大，需要资金购买拍摄设备，并且搭建采集环境。道路采集的方式，虽然拍摄环境是固定的，但是由于道路上车辆的位置以及车牌的悬挂位置，角度都不完全一致，所以拍摄到的图像并不完全一致，其成像属性虽然近似，但是不够明确，以至于图像的测试结果难以说明问题。实验室采集的方式，虽然能够明确成像属性，但是难以收集到一定数量的车牌样本。
发明内容
本发明为克服上述现有技术所述的至少一种缺陷(不足)，提供一种基于透视变换的角度车牌图像库搭建方法。该方法可以模拟实际的拍摄环境，能够明确成像属性，图像可扩充性强，且成本低。
为解决上述技术问题，本发明的技术方案如下：
一种基于透视变换的角度车牌图像库搭建方法，其具体实现过程为：
1)建立针孔相机成像模型，获得三维车牌四个顶点的坐标值；
2)对三维车牌进行空间几何变换，获得变换后的三维车牌四个顶点的坐标值；
3)将三维车牌投影变换到二维车牌图像，并获得二维车牌图像四个顶点的坐标值；同时可手动取点并且根据车牌的标准尺寸(GA36-2014)获得正投影的车牌图像四个顶点的坐标值，这里正投影的车牌图像是指当车牌平面平行于成像平面，并且车牌上下边缘平行于x轴的一种车牌投影图像；这种车牌图像的形状为矩形，并且车牌没有变形。
4)计算二维图像变成不同形状二维图像的投影矩阵H；
5)基于所得的投影矩阵H，将正投影的车牌图像变换成不同形状的车牌图像，建立不同成像形状的车牌图像库。
优选的，所述针孔相机成像模型具体为：相机坐标系为(x',y',z')，原点o'的坐标为(0,0,0)，相机焦距为f，(x”,y”)平面为像平面，相机光轴通过z'轴，设初始情况下车牌几何中心与相机坐标系原点重合，并且车牌的水平边缘平行于x' 轴，车牌的竖直边缘平行于y'轴，则在相机坐标系中车牌顶点的坐标为(x,y,z)。
优选的，所述对三维车牌进行空间几何变换是指对三维车牌进行平移和旋转变换，其中平移变换矩阵为Mt，旋转变换矩阵为Mr，平移和旋转变换能够多次进行，上述变换的矩阵相乘之后得到最终的变换矩阵为M，如公式(1)所示，空间几何变换后车牌顶点在相机坐标系中的坐标为(xe,ye,ze)，如公式(2)所示；
(xe,ye,ze,1)＝(x,y,z,1)·M (2)
其中mij为4×4变换矩阵M的参数，(x,y,z)表示变换前车牌顶点在相机坐标系中的坐标；
采用公式(2)对车牌四个顶点分别进行空间几何变换得到变换后的三维车牌四个顶点的坐标值。
优选的，将三维车牌投影变换到二维图像，是用针孔相机模型下的投影变换公式计算投影坐标(xs,ys)，如公式(3)所示；
其中f为相机焦距；
采用公式(3)对三维车牌的四个顶点分别进行投影变换，获得车牌二维图像四个顶点的坐标值。
优选的，计算二维图像变成不同形状二维图像的投影矩阵H的方式为：利用公式(4)求得透视投影变换矩阵H；
其中，[xs,ys]为输出车牌图像的顶点坐标，即公式(3)计算出的值；[xz,yz]为输入车牌图像的顶点坐标，即正投影的车牌图像顶点坐标。
优选的，基于所得的投影矩阵H，采用公式(5)将正投影的车牌图像变换不同形状的车牌图像，其中，[u,v]为输出图像，[xz,yz]为输入图像，即正投影的车牌图像。
与现有技术相比，本发明技术方案的有益效果是：由于车牌是平面物体，所以可以利用透视变换的原理将正投影的车牌图像变换成不同形状的车牌图像。与传统的搭建拍摄平台采集标准图像库的方法相比，本发明提出的建立车牌图像库的方法可以模拟实际的拍摄环境，能够明确成像属性，图像可扩充性强，并且成本低。另外，本发明所提出的建立的车牌库图像只含有车牌，没有车辆，道路以及其他背景图像，该图像库不涉及车辆个人隐私问题，可公开用于车牌识别算法 (软件)对于不同成像角度车牌图像的识别评测。
附图说明
图1为角度车牌库搭建方法流程图。
图2为车牌成像模型示意图。
图3为竖直平行透视车牌图。
图4为正投影的车牌图。
图5为车牌竖直平行透视图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。下面结合附图和实施例对本发明的技术方案做进一步的说明。
本实施例提出了一种基于透视变换的角度车牌图像库搭建方法，图1是该方法的流程图。由于车牌是平面物体，所以可以利用透视变换的原理将正投影的车牌图像变换成不同形状的车牌图像。与传统的搭建拍摄平台采集标准图像库的方法相比，本实施例建立车牌图像库的方法可以模拟实际的拍摄环境，能够明确成像属性，图像可扩充性强，并且成本低。另外，本实施例建立的车牌库图像只含有车牌，没有车辆，道路以及其他背景图像，该图像库不涉及车辆个人隐私问题，可公开用于车牌识别算法(软件)对于不同成像角度车牌图像的识别评测。该方法分为以下五个步骤。
第一，建立针孔相机成像模型，如图2所示，其中相机坐标系为(x',y',z')，原点o'的坐标为(0,0,0)，相机焦距为f，(x”,y”)平面为像平面，相机光轴通过z' 轴，假设初始情况下车牌几何中心与相机坐标系原点重合，并且车牌的水平边缘平行于x'轴，车牌的竖直边缘平行于y'轴，那么在相机坐标系中车牌顶点的坐标为(x,y,z)。
第二，三维车牌物体的空间几何变换，即在相机模型下，车牌三维物体的平移和旋转变换。其中平移变换矩阵为Mt，旋转变换矩阵为Mr，平移和旋转变换可以多次进行，上述变换的矩阵相乘之后得到最终的变换矩阵为M，如公式(1) 所示，几何变换后车牌顶点在相机坐标系中的坐标为(xe,ye,ze)，如公式(2)所示。
(xe,ye,ze,1)＝(x,y,z,1)·M (2)
第三，三维物体向二维图像的投影变换，用线性相机模型下的投影变换公式计算投影坐标(xs,ys)，如公式(3)所示。
第四，二维图像的透视投影变换，已知输入输出车牌四个顶点的横纵坐标值，可以利用公式(4)求得透视投影变换矩阵H。
其中，[xs,ys]为输出车牌图像的4个顶点坐标，即公式(3)计算出的值。[xz,yz] 为输入车牌图像的4个顶点坐标，即正投影的车牌图像顶点坐标。
第五，已知投影矩阵H，可以利用公式(5)将正投影的车牌图像变换成不同形状的车牌图像，其中，[u,v]为输出图像，[x',y']为输入图像，即正投影的车牌图像。
由于汽车牌照与CCD摄像机所成的角度以及距离的变化，拍摄得到的汽车牌照图像可能从矩形变成梯形或是平行四边形或是任意四边形，当相机与车牌的俯拍角度较大并且拍摄距离近时，会产生竖直透视车牌图像。
本实施例的目标是建立如图3所示的车牌竖直平行透视图像，图3中的车牌图像为等腰梯形，其车牌图像竖直透视角为γ，γ＝车牌竖边与y轴的角度，具体实施步骤如下。
第一，建立针孔相机模型。初始情况下，车牌顶点的坐标为(x,y,z)，以小型汽车车牌的尺寸为例，具体可以表示为A(-22k,-7k,0),B(22k,-7k,0),C(22k,7k,0), D(-22k,7k,0)，其中k表示车牌尺寸。
第二，几何变换。车牌的竖直透视成像形成的过程可以理解为先做车牌绕 x'轴旋转，旋转角度为θx，然后再沿着z'轴平移，平移距离为-zs，变换矩阵Mx如公式(6)所示，其中Tx为旋转变换矩阵，Tt为平移变换矩阵。几何变换后车牌四个顶点Av，Bv，Cv，Dv在相机坐标系中的坐标如公式(7)所示。
第三，三维物体向二维图像的投影变换。利用公式(3)计算出车牌四个顶点的投影坐标，公式(8)为点B和C的坐标值，竖直透视角γ与θx的数学关系，如公式(9)所示，那么车牌四个顶点的投影坐标(xs,ys)是k，f，zs，γ的函数。
第四，二维图像的透视投影变换。已知输入输出四个点的坐标，可以利用公式(4)求得透视投影变换矩阵H,输入的四个点的坐标为正投影的车牌图像坐标 A'(-22k,-7k),B'(22k,-7k),C'(22k,7k),D'(-22k,7k)，输出的四个点的坐标为公式(4) 和(9)所计算出来的四个顶点的坐标值。这里假设k＝10，zs＝220，f＝35，γ＝ 10,15,20。
第五，建立竖直平行透视车牌图像库。已知投影矩阵H，可以利用公式(5) 将正投影的车牌图像，如图4 ，变换成不同竖直透视角度的车牌图像，如图5 ， (a)、(b)、(c)分别是γ＝10、γ＝15、γ＝20的情况。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (6)

1.一种基于透视变换的角度车牌图像库搭建方法，其特征在于，其具体实现过程为：
1)建立针孔相机成像模型，获得三维车牌四个顶点的坐标值；
2)对三维车牌进行空间几何变换，获得变换后的三维车牌四个顶点的坐标值；
3)将三维车牌投影变换到二维车牌图像，并获得二维车牌图像四个顶点的坐标值；同时可手动取点并且根据车牌的标准尺寸获得正投影的车牌图像四个顶点的坐标值，所述正投影的车牌图像是指当车牌平面平行于成像平面，并且车牌上下边缘平行于x轴的一种车牌投影图像；该车牌图像的形状为矩形，并且车牌没有变形；
4)计算二维图像变成不同形状二维图像的投影矩阵H；
5)基于所得的投影矩阵H，将正投影的车牌图像变换成不同形状的车牌图像，建立不同成像形状的车牌图像库。
2.根据权利要求1所述的基于透视变换的角度车牌图像库搭建方法，其特征在于，所述针孔相机成像模型具体为：相机坐标系为(x',y',z')，原点o'的坐标为(0,0,0)，相机焦距为f，(x”,y”)平面为像平面，相机光轴通过z'轴，设初始情况下车牌几何中心与相机坐标系原点o'重合，并且车牌的水平边缘平行于x'轴，车牌的竖直边缘平行于y'轴，则在相机坐标系中车牌顶点的坐标为(x,y,z)。
3.根据权利要求2所述的基于透视变换的角度车牌图像库搭建方法，其特征在于，所述对三维车牌进行空间几何变换是指对三维车牌进行平移和旋转变换，其中平移变换矩阵为Mt，旋转变换矩阵为Mr，平移和旋转变换能够多次进行，上述变换的矩阵相乘之后得到最终的变换矩阵为M，如公式(1)所示，空间几何变换后车牌顶点在相机坐标系中的坐标为(xe,ye,ze)，如公式(2)所示；
(xe,ye,ze,1)＝(x,y,z,1)·M (2)
其中mij为4×4变换矩阵M的参数，(x,y,z)表示变换前车牌顶点在相机坐标系中的坐标；
采用公式(2)对车牌四个顶点分别进行空间几何变换得到变换后的三维车牌四个顶点的坐标值。
4.根据权利要求3所述的基于透视变换的角度车牌图像库搭建方法，其特征在于，将三维车牌投影变换到二维图像，是用针孔相机模型下的投影变换公式计算投影坐标(xs,ys)，如公式(3)所示；
其中f为相机焦距；
采用公式(3)对三维车牌的四个顶点分别进行投影变换，获得车牌二维图像四个顶点的坐标值。
5.根据权利要求4所述的基于透视变换的角度车牌图像库搭建方法，其特征在于，计算二维图像变成不同形状二维图像的投影矩阵H的方式为：利用公式(4)求得透视投影变换矩阵H；
其中，[xs,ys]为输出车牌图像的顶点坐标，即公式(3)计算出的值；[xz,yz]为输入车牌图像的顶点坐标，即正投影的车牌图像顶点坐标。
6.根据权利要求5所述的基于透视变换的角度车牌图像库搭建方法，其特征在于，基于所得的投影矩阵H，采用公式(5)将正投影的车牌图像变换不同形状的车牌图像，其中，[u,v]为输出图像，[xz,yz]为输入图像，即正投影的车牌图像；
CN201610589032.9A 2016-07-22 2016-07-22 一种基于透视变换的角度车牌图像库搭建方法 Expired - Fee Related CN106169076B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610589032.9A CN106169076B (zh) 2016-07-22 2016-07-22 一种基于透视变换的角度车牌图像库搭建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610589032.9A CN106169076B (zh) 2016-07-22 2016-07-22 一种基于透视变换的角度车牌图像库搭建方法

Publications (2)

Publication Number Publication Date
CN106169076A CN106169076A (zh) 2016-11-30
CN106169076B true CN106169076B (zh) 2019-05-14

Family

ID=58065605

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610589032.9A Expired - Fee Related CN106169076B (zh) 2016-07-22 2016-07-22 一种基于透视变换的角度车牌图像库搭建方法

Country Status (1)

Country Link
CN (1) CN106169076B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874897A (zh) * 2017-04-06 2017-06-20 北京精英智通科技股份有限公司 一种车牌识别方法和装置
CN109063748B (zh) * 2018-07-16 2021-11-16 重庆大学 基于数据增强的目标检测方法
CN111784588A (zh) * 2019-04-04 2020-10-16 长沙智能驾驶研究院有限公司 图像数据增强方法、装置、计算机设备和存储介质
CN110659638B (zh) * 2019-09-24 2023-04-07 北京精英路通科技有限公司 车牌的识别方法、装置、计算机设备及存储介质
CN112419186B (zh) * 2020-11-20 2024-03-26 北京易华录信息技术股份有限公司 一种车牌图像的批量生成方法、装置及计算机设备
CN112950954B (zh) * 2021-02-24 2022-05-20 电子科技大学 一种基于高位摄像头的智能停车车牌识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050020350A (ko) * 2003-08-22 2005-03-04 김영모 스테레오 비전을 이용한 자동차 번호판 추출 및 인식시스템 및 그 방법
CN103150904A (zh) * 2013-02-05 2013-06-12 中山大学 一种基于图像特征的卡口车辆图像识别方法
CN104504744A (zh) * 2014-12-31 2015-04-08 深圳市捷顺科技实业股份有限公司 一种合成车牌图像的拟真方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MY182746A (en) * 2013-05-28 2021-02-04 Mimos Berhad System and method for multiple license plates identification
US9042647B2 (en) * 2013-06-06 2015-05-26 Xerox Corporation Adaptive character segmentation method and system for automated license plate recognition

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050020350A (ko) * 2003-08-22 2005-03-04 김영모 스테레오 비전을 이용한 자동차 번호판 추출 및 인식시스템 및 그 방법
CN103150904A (zh) * 2013-02-05 2013-06-12 中山大学 一种基于图像特征的卡口车辆图像识别方法
CN104504744A (zh) * 2014-12-31 2015-04-08 深圳市捷顺科技实业股份有限公司 一种合成车牌图像的拟真方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于学习的车牌图像超分辨重建技术研究;王鹏;《中国优秀硕士学位论文全文数据库 信息科技辑》;20121015;第5-22页
车牌识别系统的研究与实现;姬峰宽;《中国优秀硕士学位论文全文数据库 信息科技辑》;20130215;第7-26页

Also Published As

Publication number Publication date
CN106169076A (zh) 2016-11-30

Similar Documents

Publication Publication Date Title
CN106169076B (zh) 一种基于透视变换的角度车牌图像库搭建方法
CN111750820B (zh) 影像定位方法及其系统
JP4825980B2 (ja) 魚眼カメラの校正方法。
CN105869160B (zh) 利用Kinect实现三维建模和全息显示的方法及系统
CN106408556B (zh) 一种基于一般成像模型的微小物体测量系统标定方法
CN107113376B (zh) 一种图像处理方法、装置及摄像机
KR101666959B1 (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
JP4825971B2 (ja) 距離算出装置、距離算出方法、構造解析装置及び構造解析方法。
TWI587241B (zh) Method, device and system for generating two - dimensional floor plan
CN112132908B (zh) 一种基于智能检测技术的相机外参数标定方法及设备
CN100417231C (zh) 立体视觉半实物仿真系统及方法
WO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
CN106534670B (zh) 一种基于固联鱼眼镜头摄像机组的全景视频生成方法
CN107578450B (zh) 一种用于全景相机装配误差标定的方法及系统
CN108734738B (zh) 相机标定方法及装置
CN108362205B (zh) 基于条纹投影的空间测距方法
Xu et al. 3D multi-directional sensor with pyramid mirror and structured light
CN111091594B (zh) 多点云平面融合方法及装置
CN100416466C (zh) 单目视觉半实物仿真系统及方法
CN101661625A (zh) 基于一幅标准图像生成各视角下样本图像的方法
Ventura et al. Structure and motion in urban environments using upright panoramas
KR101673144B1 (ko) 부분 선형화 기반의 3차원 영상 정합 방법
JP2005275789A (ja) 三次元構造抽出方法
CN107958468A (zh) 利用空间位置不同的三个球标定中心折反射摄像机的方法
CN106713741B (zh) 全景视频的质量诊断方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190514

Termination date: 20200722