CN107169494B - 基于手持终端的车牌图像分割校正方法 - Google Patents

基于手持终端的车牌图像分割校正方法 Download PDF

Info

Publication number
CN107169494B
CN107169494B CN201710402297.8A CN201710402297A CN107169494B CN 107169494 B CN107169494 B CN 107169494B CN 201710402297 A CN201710402297 A CN 201710402297A CN 107169494 B CN107169494 B CN 107169494B
Authority
CN
China
Prior art keywords
license plate
image
boundary
quadrangle
rectangle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710402297.8A
Other languages
English (en)
Other versions
CN107169494A (zh
Inventor
赖世铭
赵麒瑞
刘煜
熊志辉
周典乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN201710402297.8A priority Critical patent/CN107169494B/zh
Publication of CN107169494A publication Critical patent/CN107169494A/zh
Application granted granted Critical
Publication of CN107169494B publication Critical patent/CN107169494B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Abstract

本发明提供了一种基于手持终端的车牌图像分割校正方法，针对手持终端设备采集图像产生的多种图像畸变情况，在定位车牌图像的基础上实现畸变校正。本方法针对手持终端采集图像产生的多种车牌图像畸变，具有极强的针对性，能较好的实现手持终端产生的车牌图像畸变的校正。

Description

基于手持终端的车牌图像分割校正方法
技术领域
本发明涉及图像处理技术领域，具体的涉及一种基于手持终端的车牌图像分割校正方法。
背景技术
基于手持终端的车牌识别系统，与传统的基于固定平台和固定场景的车牌识别系统相比，具有图像采集方便，应用场景灵活，使用操作简单，拓展范围广泛等优点，对车辆的智能化、科学化管理具有重要的意义。
基于手持终端的车牌号码识别系统的图像采集灵活方便，但容易受到拍照角度、空间位置、人为抖动、手持终端镜头以及车牌本身所存在的形变等因素干扰，所采集的车牌图像常常产生畸变线性畸变和非线性畸变，线性畸变主要包括水平倾斜、垂直倾斜、不规则四边形畸变等，非线性畸变主要包括弯折、扭曲、局部比例失调等。手持终端首次采集的车牌图像畸变对车牌字符分割及识别等后续工作具有极大干扰，会影响车牌识别系统的准确率。
现有的车牌畸变校正方法主要有直线检测法、投影最值法、交点检测法和主成分分析法，这些方法主要针对车牌的线性畸变，对非线性畸变的车牌校正效果较差。
发明内容
本发明的目的在于提供一种基于手持终端的车牌图像分割校正方法，该发明解决了现有技术中手持终端对于非线性畸变校正效果较差的技术问题。
本发明提供了一种基于手持终端的车牌图像分割校正方法，包括以下步骤：
步骤S100：通过手持图像采集终端获取待校正车牌图像，并对车牌图像二值化后作为输入图像；
步骤S200：对输入图像分别进行水平方向和垂直方向的边缘检测，采用Radon变换检测输入图像中车牌水平方向的倾斜角θ和垂直方向的倾斜角φ，在水平方向上旋转变换倾斜角θ后去除车牌水平方向上的非字符区域，在垂直方向上错切变换倾斜角φ后去除车牌垂直方向上的非字符区，得到倾斜校正车牌图像；
步骤S300：检测倾斜校正车牌图像中车牌字符区域边界，判断车牌区域是否是正规标准矩形，如果是正规标准矩形，则对倾斜校正车牌图像进行放缩后完成校正，得到畸变校正后的车牌图像；
如果不是则对车牌区域的畸变区域进行判断，判断畸变区域的边界是直线还是曲线，若是边界为直线，则畸变区域为整体线性畸变四边形；
若是曲线边界，则按字符块将畸变区域进行近似四边形分割成多个小四边形区域；
步骤S400：建立透视投影模型，将每个小四边形区域投影变换为对应的正规小矩形区域，将多个正规小矩形区域拼接后得到畸变校正后的车牌图像；
对于整体线性畸变四边形，将线性畸变四边形投影变换为正规标准矩形，得到畸变校正后的车牌图像。
进一步地，步骤S200中对输入图像分别进行水平方向和垂直方向的边缘检测步骤，包括以下步骤：
步骤S210：设f(x,y)表示输入图像像素点(x,y)的像素值，其水平方向上的梯度向量值 fx(x,y)表示为：
fx(x,y)＝[f(x-1,y+1)+2*f(x,y+1)+f(x+1,y+1)]
-[f(x-1,y-1)+2*f(x,y-1)+f(x+1,y-1)]
其垂直方向的梯度向量值fy(x,y)表示为：
fy(x,y)＝[f(x+1,y-1)+2*f(x+1,y)+f(x+1,y+1)]
-[f(x-1,y-1)+2*f(x-1,y)+f(x-1,y+1)]
选取输入图像的所有像素点水平方向上的梯度向量值fx(x,y)的绝对值求平均值作为水平方向上的边缘点阈值，如果fx(x,y)的绝对值大于该阈值，则认为(x,y)为水平边缘点，将其作为水平方向上的边缘点，得到水平方向边缘；
选取输入图像的所有像素点垂直方向上的梯度向量值fy(x,y)的绝对值求平均值作为垂直方向上的边缘点阈值，如果fy(x,y)的绝对值大于该阈值，则认为(x,y)为垂直边缘点，将其作为垂直方向上的边缘点，得到垂直方向边缘。
进一步地，步骤S200中包括步骤S220：当投影距离的积分值达到极值时，所对应的角度即为车牌的倾斜角，二维图形的Radon变换投影计算公式为：
其中，Rθ(x')表示沿着θ方向的投影积分值，
进一步地，步骤S300中车牌的畸变区域的近似四边形分割包括步骤如下：
步骤S310：采用最小周长多边形来求取字符边界，得到字符边界的四边形近似；
步骤S320：求取最小多边形的凸多边形；
步骤S330：以外接矩形不能与多边形产生交点为限制，矩形的宽最小作为目标，得到最小宽外接矩形，外接矩形与字符边界线段的交点，即为畸变区域的小四边形交点，得到小四边形区域。
进一步地，步骤S400还包括以下步骤：根据畸变图像建立坐标系，确定畸变图像四边形角点坐标(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)，根据正规标准矩形建立坐标系，确定正规标准矩形角点坐标(x1',y1')、(x2',y2')、(x3',y3')、(x4',y4')，采用如下矩阵求解透视投影参数以仅需投影变换：
本发明的技术效果：
本发明提供基于手持终端的车牌图像分割校正方法，首先分别在水平和垂直方向上对图像进行基础倾斜校正，边缘检测后采用Radon方法确定倾斜角，倾斜校正后去除非字符区域干扰；然后检测字符区域，判断字符区域边界，建立相应的正规标准矩形作为校正的目标图像区域；最后建立透视投影模型，将畸变图像区域透视变换到目标图像区域，重构图像实现图像畸变校正。
本发明提供基于手持终端的车牌图像分割校正方法，在实现线性畸变校正的基础上，从基本的线性畸变校正入手，依据车牌字符特征，对非线性畸变的车牌区域，进行近似四边形分割，采用线性近似的方法，对每个分割区域建立透视投影模型，较好的实现在手持终端采集图像产生的一系列图像畸变，提高了车牌图像处理的鲁棒性，提高基于手持终端的车牌号码识别系统的识别率。
本发明提供基于手持终端的车牌图像分割校正方法，充分考虑手持终端采集图像可能出现的各种图像畸变情况，从最常见的线性畸变入手，采用Radon变换分别对车牌在水平和垂直方向上进行倾斜校正，然后对车牌字符区域边界进行检测，对于存在的可能情况进行了分类处理，建立了不同畸变情况对应的正规标准矩形目标图像，进一步构建透视投影模型，将畸变图像变换为标准正规矩形图像，通过投影变换实现畸变图像的校正。
本发明提供基于手持终端的车牌图像分割校正方法，对非线性畸变的校正，采用了分割近似的方法，将非线性畸变区域分割为小的线性区域进行处理，较好的解决了车牌各种畸变的情况，提高了车牌图像畸变校正的准确率和应用范围，是基于手持终端的车牌识别系统字符分割和识别的重要基础。
具体请参考根据本发明的基于手持终端的车牌图像分割校正方法提出的各种实施例的如下描述，将使得本发明的上述和其他方面显而易见。
附图说明
图1为本发明提供的基于手持终端的车牌图像分割校正方法的流程框图；
图2为本发明提供方法中透视投影模型的透视变换原理示意图。
图3为本发明优选实施例中基于手持终端的车牌图像分割校正方法的车牌图像分割校正结果示意图。
具体实施方式
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
参见图1，本发明提供的一种基于手持终端的车牌图像分割校正方法，包括以下步骤：
步骤S100：通过手持图像采集终端获取待校正车牌的图像，并对车牌图像二值化后作为输入图像；为保证所处理图像中含车牌信息，还需对所得图像中所含车牌信息进行车牌定位后分割出含车牌的车牌区域作为车牌图像。
步骤S200：对所述输入图像分别进行水平方向和垂直方向的边缘检测，采用Radon变换检测输入图像中车牌水平方向和垂直方向上的倾斜角，根据所得倾斜角在水平方向上采用旋转变换去除车牌的水平方向上的非字符区域，在垂直方向上采用错切变换去除车牌垂直方向上的非字符区，得到倾斜校正车牌图像；从而实现车牌的倾斜校正；
步骤S300：检测倾斜校正车牌图像中车牌字符区域边界，判断车牌区域是否是正规标准矩形，如果是正规标准矩形，则对倾斜校正车牌图像进行放缩后完成校正；
如果不是则对车牌区域的畸变区域进行判断，判断畸变区域的边界是直线还是曲线，若是直线边界，则为线性畸变，建立畸变四边形，建立对应正规标准矩形的目标区域；
若是曲线边界，则为非线性畸变，将畸变区域按字符块分割成多个较小的小四边形区域，建立正规标准矩形目标区域，并将所述正规标准矩形目标区域按字符比例建立多个与所述小四边形区域对应的小矩形区域；
所述步骤S300中检测倾斜校正后的车牌字符区域边界，判断车牌区域畸变的情况，建立对应的正规标准矩形作为校正的目标图像区域，是指检测倾斜校正后的字符区域边界，根据区域边界构成情况，判断图像畸变是线性畸变还是非线性畸变。首先判断区域是否是正规标准矩形，若是，则将图像适当放缩完成校正，若否，则下一步；判断畸变区域边界是直线还是曲线，若是直线边界，则为线性畸变，畸变区域整体为四边形区域，建立对应正规的标准矩形目标区域，直接进行投影变换即可。若是曲线边界，则为非线性畸变，将畸变区域抽象视为多个线性区域构成，并将其按字符块分割成较小的四边形区域，分别对每个分割后的小四边形区域进行投影变换。
步骤S400：建立透视投影模型，求解所述线性畸变四边形和所述正规标准矩形目标区域的变换参数，将所述畸变区域透视变换到所述正规标准矩形目标区域，重构图像得到畸变校正后的车牌图像；对于所述整体线性畸变四边形，将所述线性畸变四边形投影变换为正规标准矩形，得到畸变校正后的车牌图像。
作为本发明的进一步改进，所述步骤S200中对所述输入图像分别进行水平方向和垂直方向的边缘检测步骤，包括以下步骤：
步骤S210：设f(x,y)表示输入图像像素点(x,y)的像素值，其水平方向上的梯度向量值 fx(x,y)表示为：
fx(x,y)＝[f(x-1,y+1)+2*f(x,y+1)+f(x+1,y+1)]
-[f(x-1,y-1)+2*f(x,y-1)+f(x+1,y-1)]
其垂直方向的梯度向量值fy(x,y)表示为：
fy(x,y)＝[f(x+1,y-1)+2*f(x+1,y)+f(x+1,y+1)]
-[f(x-1,y-1)+2*f(x-1,y)+f(x-1,y+1)]
选取所有像素点水平方向上的梯度向量值fx(x,y)的绝对值求平均值作为水平方向上的边缘点阈值，如果fx(x,y)的绝对值大于该阈值，则认为(x,y)为水平边缘点；
选取所述输入图像的所有像素点垂直方向上的梯度向量值fy(x,y)的绝对值求平均值作为垂直方向上的边缘点阈值，如果fy(x,y)的绝对值大于该阈值，则认为(x,y)为垂直边缘点，将其作为垂直方向上的边缘点，得到垂直方向边缘。按此方法能快速得到图像垂直方向和水平方向的边缘。
采用Radon变换检测输入图像中车牌水平方向和垂直方向上的倾斜角步骤，包括以下步骤：步骤S220：当投影距离的积分值达到极值时，所对应的角度即为车牌的倾斜角，二维图形的Radon变换投影计算公式为：
其中，Rθ(x')表示沿着θ方向的投影积分值，
倾斜校正的详细过程描述如下：首先对输入图像进行水平方向的边缘检测，Radon变换检测出水平方向倾斜角θ，进行旋转变换实现车牌的水平倾斜校正，检测车牌字符的水平边界，去除水平方向的非字符区域；然后对输入图像进行垂直方向的边缘检测，Radon检测垂直方向倾斜角φ，进行错切变换实现车牌的垂直倾斜校正，去除垂直方向的非字符区域，实现车牌的倾斜校正。此处的非字符区是指车牌图片中所包含的，诸如车牌铆钉等干扰因素。
作为本发明的进一步改进，所述步骤S300中车牌的畸变区域的近似分割包括步骤如下：
步骤S310：采用最小周长多边形来求取字符边界，得到字符边界的多边形近似。计算最小周长多边形的过程，是使用一组连接单元的集合封入一条边界，允许边界收缩，边界受到这些集合单元的内、外墙的约束，边界收缩，即可得到字符的一个最小周长多边形；
步骤S320：求取最小多边形的凸多边形。最小周长多边形的顶点与字符区域内墙或外墙的顶点一致，可将多边形顶点分为凸顶点和凹顶点两类(凸顶点是一组三个点的中心，它定义了范围0°＜θ＜180°
内的一个角，类似的，凹顶点定义了范围180°＜θ＜360°内的一个角)。删除多边形的凹顶点，将凹顶点的相邻顶点直接相连，形成新的多边形，反复迭代这一过程，直到不存在凹顶点为止，得到字符边界的凸多边形；
步骤S330：利用凸多边形的最小宽外接矩形，确定分割的小四边形区域。凸多边形的外接矩形必然经过多边形某一顶点和一条边，以外接矩形不能与多边形产生交点为限制，矩形的宽最小作为目标，得到最小宽外接矩形。外接矩形与字符边界线段的交点，即为畸变区域的小四边形交点，得到分割的小四边形。按此方法分割车牌的畸变区域，有利于通过透视获得较好的校正效果，避免车牌的变形。
作为本发明的进一步改进，所述步骤S400还包括以下步骤：将畸变图像上的点P(x,y)以某一中心点O为单光源点，投影到正规标准矩形上得到点P'(x',y')，图像的透视变换过程表示为：
透视投影是从一个平面到另一个平面的过程，分别根据畸变图像和正规标准矩形图像建立坐标系，确定畸变图像四边形角点坐标(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)和正规标准矩形角点坐标(x1',y1')、(x2',y2')、(x3',y3')、(x4',y4')，求解透视投影参数，求解的过程矩阵表示如下：
求解透视投影参数，实现畸变图像的透视投影变换。如果畸变图形边界检测为直线，则将区域视为整体畸变的四边形，对四边形进行透视投影即可实现校正；如果畸变图形边界检测为曲线，则需要按照前述方法对其进行近似四边形的分割，分别对每个分割的小四边形建立相应的透视投影模型，分别实现投影变换，变换到相应的正规小矩形区域，再由这些小矩形进行拼接，得到正规标准矩形，最终实现图像畸变校正。
下面结合附图，对本发明进行详细描述：
本实施例提供的一种基于手持终端的车牌图像分割校正方法，包括如下步骤：
步骤S100：基于手持终端采集图像，图像实现车牌定位后分割出车牌区域，将车牌区域二值化作为输入图像；
步骤S200：对输入图像分别进行水平方向和垂直方向的边缘检测，采用Radon变化检测车牌水平方向和垂直方向上的倾斜角，水平方向上采用旋转变换后去除水平方向非字符区域，垂直方向上采用错切变换后去除垂直方向上非字符区，实现车牌的倾斜校正。
首先，对车牌进行水平方向和垂直方向的边缘检测，是设f(x,y)表示输入图像像素点 (x,y)的像素值，其水平方向上的梯度向量值fx(x,y)表示为：
fx(x,y)＝[f(x-1,y+1)+2*f(x,y+1)+f(x+1,y+1)]
-[f(x-1,y-1)+2*f(x,y-1)+f(x+1,y-1)]
其垂直方向的梯度向量值fy(x,y)表示为：
fy(x,y)＝[f(x+1,y-1)+2*f(x+1,y)+f(x+1,y+1)]
-[f(x-1,y-1)+2*f(x-1,y)+f(x-1,y+1)]
选取所有像素点水平方向上的梯度向量值fx(x,y)的绝对值求平均值作为水平方向上的边缘点阈值，如果fx(x,y)的绝对值大于该阈值，则认为(x,y)为水平边缘点；同理可求得垂直边缘点。
其次，采用Radon变换求车牌倾斜角，是指当投影距离的积分值达到极值时，所对应的角度即为车牌的倾斜角，二维图形的Radon变换投影计算公式为：
其中，Rθ(x')表示沿着θ方向的投影积分值，
倾斜校正的详细过程描述如下：首先对输入图像进行水平方向的边缘检测，Radon变换检测出水平方向倾斜角θ，进行旋转变换实现车牌的水平倾斜校正，检测车牌字符的水平边界，去除水平方向诸如车牌铆钉等干扰因素的非字符区域；然后对输入图像进行垂直方向的边缘检测，Radon检测垂直方向倾斜角φ，进行错切变换实现车牌的垂直倾斜校正，去除垂直方向的非字符区域，实现车牌的倾斜校正。
步骤S300：检测倾斜校正后的车牌字符区域边界，判断车牌区域畸变的情况，建立相应的正规标准矩形作为校正的目标图像区域。
检测倾斜校正后的车牌字符区域边界，判断车牌区域畸变的情况，建立相应的正规标准矩形作为校正的目标图像区域，是指检测倾斜校正后的字符区域边界，根据区域边界构成情况，判断图像畸变是线性畸变还是非线性畸变。首先判断区域是否是正规标准矩形，若是，则将图像适当放缩完成校正，若否，则下一步；判断畸变区域边界是直线还是曲线，若是直线边界，则为线性畸变，畸变区域为四边形区域，建立对应正规的标准矩形目标区域，若是曲线边界，则为非线性畸变，将畸变区域抽象视为多个线性区域构成，并将其按字符块分割成较小的四边形区域，对应将正规标准矩形目标区域按字符比例，建立小矩形区域对应畸变分割的小四边形区域。
畸变车牌近似分割具体步骤如下：
首先，采用最小周长多边形来求取字符边界，得到字符边界的多边形近似。计算最小周长多边形的过程，是使用一组连接单元的集合封入一条边界，允许边界收缩，边界受到这些集合单元的内、外墙的约束，边界收缩，即可得到字符的一个最小周长多边形。
其次，求取最小多边形的凸多边形。最小周长多边形的顶点与字符区域内墙或外墙的顶点一致，可将多边形顶点分为凸顶点和凹顶点两类(凸顶点是一组三个点的中心，它定义了范围0°＜θ＜180°内的一个角，类似的，凹顶点定义了范围180°＜θ＜360°内的一个角)。删除多边形的凹顶点，将凹顶点的相邻顶点直接相连，形成新的多边形，反复迭代这一过程，直到不存在凹顶点为止，得到字符边界的凸多边形。
最后，利用凸多边形的最小宽外接矩形，确定分割的小四边形区域。凸多边形的外接矩形必然经过多边形某一顶点和一条边，以外接矩形不能与多边形产生交点为限制，矩形的宽最小作为目标，得到最小宽外接矩形。外接矩形与字符边界线段的交点，即为畸变区域的小四边形交点，得到分割的小四边形。步骤S400：建立透视投影模型，求解畸变四边形和正规标准矩形的变换参数，将畸变区域透视变换到目标区域，重构图像实现畸变校正。
透视投影模型如图2所示，将畸变图像上的点P(x,y)以某一中心点O为单光源点，投影到正规标准矩形上的点P'(x',y')。图像的透视变换过程表示为：
透视投影是从一个平面到另一个平面的过程，分别根据畸变图像和正规标准矩形图像建立坐标系，确定畸变图像四边形角点坐标(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)和正规标准矩形角点坐标(x1',y1')、(x2',y2')、(x3',y3')、(x4',y4')，求解透视投影参数，求解的过程矩阵表示如下：
求解透视投影参数，实现畸变图像的透视投影变换。如果畸变图形边界检测为直线，则将区域视为整体畸变的四边形，对四边形进行透视投影即可实现校正；如果畸变图形边界检测为曲线，则需要按照前述方法对其进行近似四边形的分割，分别对每个分割的小四边形建立相应的透视投影模型，分别实现投影变换，变换到相应的正规小矩形区域，再由这些小矩形进行拼接，得到正规标准矩形，最终实现图像畸变校正。
所得结果如图3所示，对实验车牌图像加入任意的倾斜、形变、扭曲，采用上述方法，均可得到正规的标准矩形区域车牌，说明本发明提供方法的校正效果较好。
本领域技术人员将清楚本发明的范围不限制于以上讨论的示例，有可能对其进行若干改变和修改，而不脱离所附权利要求书限定的本发明的范围。尽管己经在附图和说明书中详细图示和描述了本发明，但这样的说明和描述仅是说明或示意性的，而非限制性的。本发明并不限于所公开的实施例。
通过对附图，说明书和权利要求书的研究，在实施本发明时本领域技术人员可以理解和实现所公开的实施例的变形。在权利要求书中，术语“包括”不排除其他步骤或元素，而不定冠词“一个”或“一种”不排除多个。在彼此不同的从属权利要求中引用的某些措施的事实不意味着这些措施的组合不能被有利地使用。权利要求书中的任何参考标记不构成对本发明的范围的限制。

Claims (5)

1.一种基于手持终端的车牌图像分割校正方法，其特征在于，包括以下步骤：
步骤S100：通过手持图像采集终端获取待校正车牌图像，并对车牌图像二值化后作为输入图像；
步骤S200：对所述输入图像分别进行水平方向和垂直方向的边缘检测，采用Radon变换检测输入图像中车牌水平方向的倾斜角θ和垂直方向的倾斜角φ，在水平方向上旋转变换倾斜角θ后去除车牌水平方向上的非字符区域，在垂直方向上错切变换倾斜角φ后去除车牌垂直方向上的非字符区，得到倾斜校正车牌图像；
步骤S300：检测倾斜校正车牌图像中车牌字符区域边界，判断车牌区域是否是正规标准矩形，如果是正规标准矩形，则对倾斜校正车牌图像进行放缩后完成校正，得到畸变校正后的车牌图像；
如果不是则对车牌区域的畸变区域进行判断，判断畸变区域的边界是直线还是曲线，若是边界为直线，则畸变区域为整体线性畸变四边形；
若是曲线边界，则畸变区域为非线性畸变四边形，按字符块将畸变区域进行近似四边形分割成多个小四边形区域，建立正规标准矩形目标区域，并将所述正规标准矩形目标区域按字符比例建立多个与所述小四边形区域对应的小矩形区域；
步骤S400：建立透视投影模型，求解所述畸变区域和所述正规标准矩形目标区域的变换参数，将所述畸变区域透视变换到所述正规标准矩形目标区域，重构图像得到畸变校正后的车牌图像；
对于所述非线性畸变四边形，则将分割得到的所述小四边形区域与建立的标准目标区域小四边形，分别进行透视投影变换，变换后得到的小矩形组合，得到畸变校正后的车牌图像；
对于所述整体线性畸变四边形，将所述线性畸变四边形投影变换为正规标准矩形，得到畸变校正后的车牌图像。
2.根据权利要求1所述的基于手持终端的车牌图像分割校正方法，其特征在于，所述步骤S200中对所述输入图像分别进行水平方向和垂直方向的边缘检测步骤，包括以下步骤：
步骤S210：设f(x,y)表示所述输入图像像素点(x,y)的像素值，其水平方向上的梯度向量值fx(x,y)表示为：
fx(x,y)＝[f(x-1,y+1)+2*f(x,y+1)+f(x+1,y+1)]
-[f(x-1,y-1)+2*f(x,y-1)+f(x+1,y-1)]
其垂直方向的梯度向量值fy(x,y)表示为：
fy(x,y)＝[f(x+1,y-1)+2*f(x+1,y)+f(x+1,y+1)]
-[f(x-1,y-1)+2*f(x-1,y)+f(x-1,y+1)]
选取所述输入图像的所有像素点水平方向上的梯度向量值fx(x,y)的绝对值求平均值作为水平方向上的边缘点阈值，如果fx(x,y)的绝对值大于该阈值，则认为(x,y)为水平边缘点，将其作为水平方向上的边缘点，得到水平方向边缘；
选取所述输入图像的所有像素点垂直方向上的梯度向量值fy(x,y)的绝对值求平均值作为垂直方向上的边缘点阈值，如果fy(x,y)的绝对值大于该阈值，则认为(x,y)为垂直边缘点，将其作为垂直方向上的边缘点，得到垂直方向边缘。
3.根据权利要求1所述的基于手持终端的车牌图像分割校正方法，其特征在于，所述步骤S200中包括步骤S220：当投影距离的积分值达到极值时，所对应的角度即为车牌的倾斜角，二维图形的Radon变换投影计算公式为：
其中，Rθ(x')表示沿着θ方向的投影积分值，
4.根据权利要求1所述的基于手持终端的车牌图像分割校正方法，其特征在于，所述步骤S300中车牌的畸变区域的近似四边形分割包括步骤如下：
步骤S310：采用最小周长多边形来求取字符边界，得到字符边界的四边形近似；
步骤S320：求取最小多边形的凸多边形；
步骤S330：以外接矩形不能与多边形产生交点为限制，矩形的宽最小作为目标，得到最小宽外接矩形，外接矩形与字符边界线段的交点，即为畸变区域的小四边形交点，得到所述小四边形区域。
5.根据权利要求1所述的基于手持终端的车牌图像分割校正方法，其特征在于，所述步骤S400还包括以下步骤：根据畸变图像建立坐标系，确定畸变图像四边形角点坐标(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)，根据正规标准矩形建立坐标系，确定正规标准矩形角点坐标(x1′,y1′)、(x2',y2')、(x3',y3')、(x4',y4')，采用如下矩阵求解透视投影参数以仅需投影变换：
CN201710402297.8A 2017-06-01 2017-06-01 基于手持终端的车牌图像分割校正方法 Active CN107169494B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710402297.8A CN107169494B (zh) 2017-06-01 2017-06-01 基于手持终端的车牌图像分割校正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710402297.8A CN107169494B (zh) 2017-06-01 2017-06-01 基于手持终端的车牌图像分割校正方法

Publications (2)

Publication Number Publication Date
CN107169494A CN107169494A (zh) 2017-09-15
CN107169494B true CN107169494B (zh) 2018-07-20

Family

ID=59821315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710402297.8A Active CN107169494B (zh) 2017-06-01 2017-06-01 基于手持终端的车牌图像分割校正方法

Country Status (1)

Country Link
CN (1) CN107169494B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108320270B (zh) * 2018-01-26 2023-12-29 腾讯科技（深圳）有限公司 一种图像校正方法、装置和存储介质
CN109100370A (zh) * 2018-06-26 2018-12-28 武汉科技大学 一种基于投影法和连通域分析的pcb板缺陷检测方法
CN111105418B (zh) * 2019-03-27 2023-07-11 上海洪朴信息科技有限公司 一种针对图像中矩形目标的高精度图像分割方法
CN110097054A (zh) * 2019-04-29 2019-08-06 济南浪潮高新科技投资发展有限公司 一种基于图像投影变换的文本图像纠偏方法
CN110930336B (zh) * 2019-11-29 2023-11-28 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN112990188A (zh) 2019-12-13 2021-06-18 华为技术有限公司 一种文本识别方法及装置
CN111539880B (zh) * 2020-04-15 2023-09-08 上海摩象网络科技有限公司 图像处理方法、设备及手持相机
CN112308794A (zh) * 2020-10-27 2021-02-02 深圳Tcl数字技术有限公司 显示图像的校正方法、设备及计算机可读存储介质
CN112767262A (zh) * 2021-01-06 2021-05-07 中国人民解放军63863部队 一种图像畸变校正处理方法
CN115908201B (zh) * 2023-01-09 2023-11-28 武汉凡德智能科技有限公司 一种图像畸变的热区快速修正方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1696383A2 (en) * 2005-02-25 2006-08-30 Psion Teklogix Systems Inc. Automatic perspective distortion detection and correction for document imaging
CN1932837A (zh) * 2005-09-12 2007-03-21 电子科技大学 基于小波变换和雷登变换的车牌提取方法
CN101408933A (zh) * 2008-05-21 2009-04-15 浙江师范大学 基于粗网格特征提取和bp神经网络的车牌字符识别方法
CN104657938A (zh) * 2015-02-03 2015-05-27 中国人民解放军国防科学技术大学 一种基于低秩约束的车牌校正算法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4899803B2 (ja) * 2006-11-06 2012-03-21 ソニー株式会社 画像処理装置、カメラ装置、画像処理方法、およびプログラム
CN102509093B (zh) * 2011-10-18 2014-01-29 广州市加信电子技术有限公司 近距离数字化证件信息采集系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1696383A2 (en) * 2005-02-25 2006-08-30 Psion Teklogix Systems Inc. Automatic perspective distortion detection and correction for document imaging
CN1932837A (zh) * 2005-09-12 2007-03-21 电子科技大学 基于小波变换和雷登变换的车牌提取方法
CN101408933A (zh) * 2008-05-21 2009-04-15 浙江师范大学 基于粗网格特征提取和bp神经网络的车牌字符识别方法
CN104657938A (zh) * 2015-02-03 2015-05-27 中国人民解放军国防科学技术大学 一种基于低秩约束的车牌校正算法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
一种基于鱼眼全景拍摄的畸变车牌校正新方法;赵麒瑞等;《中国科技论文在线》;20170517;全文 *
汽车牌照识别系统中的牌照定位方法研究;郭亚;《中国优秀硕士学位论文全文数据库 信息科技辑》;20090815;全文 *
计算机识别几何畸变车牌图像的关键技术研究;吴运翔;《中国优秀硕士学位论文全文数据库 信息科技辑》;20120715;全文 *

Also Published As

Publication number Publication date
CN107169494A (zh) 2017-09-15

Similar Documents

Publication Publication Date Title
CN107169494B (zh) 基于手持终端的车牌图像分割校正方法
CN111243032B (zh) 一种棋盘格角点全自动检测方法
US7965904B2 (en) Position and orientation measuring apparatus and position and orientation measuring method, mixed-reality system, and computer program
US8311287B2 (en) Validation and correction of map data using oblique images
WO2018028306A1 (zh) 一种车牌号码识别方法及装置
US9754192B2 (en) Object detection utilizing geometric information fused with image data
CN107993263B (zh) 环视系统自动标定方法、汽车、标定装置及存储介质
JP2018523865A (ja) 情報処理方法、デバイス、および端末
TW202011733A (zh) 對影像進行目標取樣的方法及裝置
EP4016457A1 (en) Positioning method and apparatus
CN110009561A (zh) 一种监控视频目标映射到三维地理场景模型的方法及系统
CN109101963A (zh) 证件图像自动正向的方法、图像处理装置和可读存储介质
KR101165415B1 (ko) 이미지내 생체 얼굴 인식 방법 및 인식 장치
CN109815831B (zh) 一种车辆朝向获取方法及相关装置
CN108052869B (zh) 车道线识别方法、装置及计算机可读存储介质
CN114926514B (zh) 一种事件图像与rgb图像的配准方法及装置
JP2013089129A (ja) 移動体検出装置、コンピュータプログラム及び移動体検出方法
CN103544699B (zh) 一种基于单图片三圆模版的摄像头标定方法
Duan et al. Real time road edges detection and road signs recognition
JP2007265292A (ja) 道路標識データベース構築装置
JP2018137636A (ja) 画像処理装置及び画像処理プログラム
CN107992788B (zh) 识别交通灯的方法、装置及车辆
CN106874897A (zh) 一种车牌识别方法和装置
CN112767412A (zh) 车辆部件级分割方法、装置以及电子设备
JPH08320990A (ja) 車番読み取り装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant