CN201159903Y - 一种车牌识别装置 - Google Patents

Abstract

本实用新型公开了一种车牌识别装置，集成设置在高速数字信号处理芯片上，包括：图像采集模块和图像处理模块；所述图像处理模块包括：车牌检测子模块，字符分割子模块、字符识别子模块和输出子模块。本实用新型实施例的这种车牌识别的装置，通过采用高速的数字处理设备，能够对视频流中包含车牌信息的多帧图像进行逐帧识别处理，不依赖单张图片，实现了高速实时的车牌识别；同时由于不依赖外部触发，降低了成本。

Description

一种车牌识别装置

技术领域

本实用新型涉及图像识别技术，具体涉及一种车牌识别装置。

背景技术

当前，随着计算机技术的迅速发展，计算机的信息处理能力不断提高。图像识别技术，随着计算机处理能力的提高也得到了快速发展，其中，基于多媒体和人工智能技术的智能交通及电子警察系统在世界范围内得到了广泛的应用。这些应用中，有96％的自动化系统使用了车牌自动识别技术，75％以上的系统是以车牌识别为核心的应用。

车牌识别，是指从静态或视频图像中获取图像的一定区域中存在的车牌区域，并进一步识别出车牌区域中的字符。车牌自动识别，作为最基本的车辆信息采集技术，在视频监控和智能交通管理等各领域有着重要的实用价值，是众多智能交通及电子警察系统中必不可少的功能模块，也是影响整个系统性能的关键所在。车牌识别技术主要包括采用启发式规则方法，该方法根据车牌的外在形状和颜色等特点，设定一定的规则来获取车牌区域。

目前普遍使用的车牌自动识别装置，虽然种类繁多，功能和性能各有不同，但它们的识别流程基本相同，图1示出了现有车牌识别流程的示意图，其中包括：

步骤101：预先在外部埋设地感线圈或者架设红外线感应光帘，通过所述的地感线圈或感应光帘，感知车辆到达信息。同时，预先架设摄像机，将摄像机指向指定区域，所述摄像机的焦点和焦距都设定在该区域的中心位置。当车辆到达指定的区域时，所述地感线圈或感应光帘感知车辆到达后发出触发信号，通知车牌识别装置将视频流中对应当前时刻的帧设置为车牌识别的目标帧。

步骤102：车牌识别装置接收到触发信号，从摄像机采集到的视频流中选出目标帧。

步骤103：采用设定的特征定位和提取技术，从目标帧中选出车牌区域，采用印刷体字体的识别算法，识别出车牌中的字符内容。

采用上述方法，可以从视频流中识别出所需的车牌信息，但是，现有方法无法实现车牌的实时识别，而需要通过外部触发来获取触发信号，然后根据触发信号从视频流中抓取某一帧作为目标帧，并基于该单个目标帧进行车牌识别。但在实际应用中，触发信号的获取，必须通过信号采集、放大、整形和传输等多个过程，因此当车辆速度有较大变化时，车牌识别装置获取的触发信号与车辆到达最佳识别区域之间可能会存在一定的时间差，从而导致根据触发信号抓取到的目标帧不一定识别效果最好(比如车牌位置不在摄像机焦距区域中，图像不清晰)，影响识别率。

同时，由于该方法需要预先埋设地感线圈或架设红外线光帘，调试地感线圈或光帘敏感度时需要花费大量人力物力，而一旦系统运行出现问题或设备老化需要更新时，还需要重新毁坏道路重新铺设地感线圈或架设感应光帘，因此维护成本较高。

实用新型内容

本实用新型实施例提供一种车牌识别装置，不需要外部触发就能够实现高速实时识别处理。

为达到上述目的，本实用新型的技术方案具体是这样实现的：

一种车牌识别装置，集成设置在高速数字信号处理芯片上，该装置包括：图像采集模块和图像处理模块；所述图像处理模块包括：车牌检测子模块，字符分割子模块、字符识别子模块和输出子模块；

所述图像采集模块，根据视频流，得到多帧车牌图像；

所述车牌检测子模块，计算车牌的边缘信息，逐帧确定各当前帧图像中车牌的位置，并根据边缘信息得到校正后的车牌图像；

所述字符分割子模块，将所述校正后的车牌图像分割成多个字符图像；

所述字符识别子模块，利用预先设定的字符识别模型对分割得到的字符图像进行识别，得到字符图像的识别结果；

所述输出子模块，融合多帧校正后的车牌图像的字符识别结果，当所述识别结果满足预先设定的出牌条件时，将识别结果输出。

所述车牌检测子模块包括：车牌检测单元和图像校正单元；

所述车牌检测单元，根据车牌固有的边缘特征来确定当前图像中是否有车牌，以及车牌的大致位置；采用sobel或prewitt算子的水平、垂直方向的灰度检测模板计算各帧车牌图像中边缘像素点的水平、垂直边缘；

所述图像校正单元，根据所述水平、垂直边缘，计算所述各帧车牌图像中边缘像素点的水平、垂直方向的角度，分别得到各帧校正后的车牌图像。

所述字符分割子模块，进一步用于根据预先设置的不同类型的车牌图像的字符分割方法，分别将每帧校正后的车牌图像分割成多个字符图像。

所述输出子模块，包括多帧识别融合单元和识别结果输出单元；

所述多帧识别融合单元，用于融合多帧校正后的车牌图像的识别结果，当所述识别结果满足预先设定的出牌条件时，将所述识别结果通知识别结果输出单元；所述预先设定的出牌条件为：同一车牌的已识别样本达到预设的数量，且车牌中的各字符识别结果的置信度达到预设的置信权值；

所述识别结果输出单元，用于根据所述多帧识别融合单元的通知，将所述满足输出条件的车牌的识别结果输出。

由上述的技术方案可见，本实用新型实施例的这种车牌识别的装置，通过采用高速的数字处理设备，能够对视频流中包含车牌信息的多帧图像进行逐帧识别处理，不依赖单张图片，实现了高速实时的车牌识别；同时由于不依赖外部触发，因此降低了成本。

附图说明

图1为现有车牌识别流程的示意图。

图2为本实用新型实施例中车牌识别装置识别过程的流程示意图。

图3为本实用新型实施例中车牌识别的装置的组成结构示意图。

具体实施方式

为使本实用新型的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本实用新型进一步详细说明。

本实用新型中车牌识别装置的识别过程的流程如图2所示，其中包括：

步骤201：采集包含车牌信息的视频信息，得到各帧包含车牌信息的图像。

本实用新型实施例中的车牌识别装置，使用了高速的数字处理芯片，因此可以实现对视频流的实时处理。对视频采集设备采集到的视频进行逐帧处理，得到包含车牌信息的各帧图像。

步骤202：在每帧视频图像中进行车牌检测，分别计算各帧图像中车牌的边缘信息，根据边缘信息确定车牌在各帧图像中所在的区域，并获取车牌的大小和位置信息，然后根据所述边缘信息计算出水平和垂直方向的角度，得到各帧校正后的车牌图像。

图像中的车牌轮廓和背景交界处具有强烈的边缘，车牌轮廓和背景交界处的边缘是进行车牌识别的重要信息，根据边缘信息可以将车牌轮廓与背景图像区分开来；同时，边缘不仅具有强度，而且还具有一定的方向，因此还需要分别求取图像上各个像素点的水平边缘和垂直边缘。

像素点边缘的求取方法有很多种，常用的如sobel或prewitt算子，例如：

$\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$ $\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]$

左侧的矩阵S1为sobel水平方向的检测模板，右侧的矩阵S2为sobel垂直方向的检测模板，其中S1中每个点代表一个像素点的量化值，该矩阵用于计算中心处元素A(即第2行第2列的元素)的水平边缘，用EH(A)表示，EH(A)＝[1-(-1)]+2×[2-(-2)]+[1-(-1)]＝12，即，将水平方向上同行的第三列元素减去第一列元素，得到的差值再乘以该行的范数，分别按照该方法求出三行的值，再求和得到A点的水平边缘；垂直边缘的计算方法与水平边缘类似，只是此时是采用竖直方向上同列的第三行元素减去第一行元素，将差值乘以该列的范数，然后再将三列分别得到的值做和得到该点的垂直边缘。Prewitt算子的计算方法与sobel类似，区别在于prewitt算法在求得各行/列的差值后，不再乘以该行/列的范数。

以上所述的sobel和prewitt算子的计算模板，是对灰度图像(即黑白图像)中像素点求边缘的模板，由于对车牌识别装置来说，车牌信息并不需要彩色效果，因此采用灰度图像的边缘模板计算即可。

由于图像采集设备和车牌之间相对位置不固定，因此图像中的车牌图像并不总是适宜于直接进行识别的(比如倾斜成一定角度或车牌中的各字符不位于同一平面内等)，因此需要根据计算得到的各像素点的水平边缘和垂直边缘，进一步计算车牌图像的边缘方向，根据所述的边缘方向将所述车牌图像校正到合适的形状和位置。

一种可行的车牌图像校正的方法为：先求原始车牌图像信号的矩阵的分布协方差矩阵，进一步求出该协方差矩阵的特征值以及相应的特征向量(每个特征向量又称为主分量)。将各特征值按降序进行排列，每个特征值与全部特征值总和的比值称为该特征值对应的主分量的贡献率，表征该分量代表原始车牌图像中的信号能量的百分比；根据需要决定选取主分量的个数，分别计算各选取的主分量与坐标轴的夹角确定车牌图像的倾斜角度，根据倾斜角度对车牌图像进行旋转，得到校正后的车牌图像。

步骤203：根据校正后的车牌图像中的特征信息，利用预先设定的分类器识别模型将车牌图像分割成多个字符图像。

对车牌进行识别，关键的部分就是识别出车牌上的各种字符信息，因此得到校正后的车牌图像后，根据设定的各种不同类型的车牌模板进行模板匹配的分割方法进行字符分割。

一种可行的字符分割的方法为：根据车牌背景颜色(例如国内常见的车牌为黄色、蓝色或白色)判断出车牌类型(黄牌，蓝牌或白牌)后，进行相应车牌类型的字符分割；首先要准备好待分割车牌图像相关的特征信息，然后在车牌附近按分类器设定的检测框对待分割车牌图像中的每一个位置进行检测，所述的检测框可以设定为固定的字符宽度及间距，对每一个位置，将检测结果与所述的特征信息进行比较可以获得一个得分，所有位置都遍历之后，得分最高的情况就被认为是最合理的分割，按照所述最合理的分割方法对车牌图像进行字符分割得到各字符所在区域的图像。

步骤204：利用所述分类器对分割得到的字符图像进行识别，得到字符图像的识别结果。

所述对字符图像进行识别的方法为：将分割好的各字符图像缩放到分类器识别模型能够处理的尺寸；再对字符图像的灰度进行转换，使其处于分类器识别模型能够处理的灰度范围之内。使用预先训练的分类器对进行了缩放和灰度转换后的字符图像进行识别，可以得出该字符的识别结果以及该结果的置信度。对各车牌图像中包含的每个字符重复上述操作，即可识别出整个车牌。

车牌中包含的特征信息相对固定，因此对所述分类器预先进行训练时可以根据各种不同类型的车牌模板对分类器进行有针对性地训练。例如：国内应用的普通车牌通常包含汉字、英文字母和数字三类，汉字一般由各省简称开头，如京、沪、粤等，英文字母为A～Z中的任意一个或多个，同时车牌中还包括不同的颜色信息，如白色、蓝色和黄色车牌等；而特殊车牌通常如武警、军队牌照等，也都包含各自特殊的特征信息。需要指出的是，以上描述仅是为了说明分类器进行设置的一种可能的分类方法，而不应理解为限定。具体对分类器进行训练以及分类器进行识别的过程可以采用现有成熟技术，此处不再赘述。

步骤205：将多帧图像的字符识别结果汇总，当满足预先设定的出牌条件时，将识别结果输出，得到最终识别出的车牌信息。

所述预先设定的出牌条件为：同一车牌的已识别样本达到预设的数量，且车牌中的各字符识别结果的置信度达到预设的置信权值。

本实用新型的车牌识别装置基于逐帧处理的技术，因此可以获取同一车牌的多帧图像(设为N帧)，对每一帧图像中的车牌进行识别得到一个识别结果，具体来说，即对每一帧图像中的车牌中包含的每一个字符，都会得出N个识别结果，N为自然数。

例如：某车牌的其中一个字符为A，则对该字符的N个识别结果可以分为两类，一类识别结果为A，另一类的识别结果不为A，假设预设出牌条件为：已识别样本数量大于等于30帧，且第一类识别结果的数量大于等于15帧时，输出识别结果为A，否则输出识别结果为未知。对于该车牌的其他字符，同样适用于该出牌条件。

容易理解，上述的出牌条件仅为举例，实际使用时可以根据具体应用的需要灵活设置，本实用新型不做限定。

本实用新型提供的车牌识别的装置，集成设置在高速数字信号处理芯片上，其组成结构如图3所示，其中包括：图像采集模块320和图像处理模块310；

所述图像处理模块310包括：车牌检测子模块311，字符分割子模块312、字符识别子模块313和输出子模块314；

所述图像采集模块320，根据采集的视频流，从视频流中获取多帧车牌图像；

所述车牌检测子模块311，计算车牌的边缘信息，逐帧确定各当前帧图像中车牌的位置，并根据边缘信息得到校正后的车牌图像；

所述字符分割子模块312，将校正后的车牌图像分割成多个字符图像；

所述字符识别子模块313，利用预先设定的字符识别模型对分割得到的字符图像进行识别，得到字符图像的识别结果；

所述输出子模块314，融合多帧图像的字符识别结果，当所述识别结果满足预先设定的出牌条件时，将识别结果输出。

所述车牌检测子模块311，包括：车牌检测单元315和图像校正单元316；

所述车牌检测单元315，根据车牌固有的边缘特征来确定当前图像中是否有车牌，以及车牌的大致位置；采用sobel或prewitt算子的水平、垂直方向的灰度检测模板计算各帧车牌图像中边缘像素点的水平、垂直边缘；

所述图像校正单元316，根据所述水平、垂直边缘，计算所述各帧车牌图像中边缘像素点的水平、垂直方向的角度，分别得到各帧校正后的车牌图像。

所述字符分割子模块312，进一步用于根据预先设置的不同类型的车牌图像的字符分割方法，将校正后的车牌图像分割成多个字符图像。

所述输出子模块314，包括多帧识别融合单元317和识别结果输出单元318；

所述多帧识别融合单元317，用于融合多帧车牌图像的识别结果，当所述识别结果满足预先设定的出牌条件时，将所述识别结果通知识别结果输出单元318；所述预先设定的出牌条件为：同一车牌的已识别样本达到预设的数量，且车牌中的各字符识别结果的置信度达到预设的置信权值；

所述识别结果输出单元318，用于根据所述多帧识别融合单元317的通知，将所述满足输出条件的车牌的识别结果输出。

本实用新型实施例中提供的车牌识别的装置为集成于高速数字信号处理芯片上的嵌入式设备。在实际应用中，所述芯片可以采用一个或多个德州仪器公司的TMS320DM642高速数字信号处理(Digital Signal Processing，DSP)芯片，该芯片具有4800MIPS的高速数据处理能力。

而该芯片对车牌图像数据进行处理的算法可以通过计算机程序实现，该计算机程序可以存储在一个可移动的存储介质中，如闪存等。

由上述可见，本实用新型提供的车牌识别的装置，通过采用高速的数字处理设备，能够对视频流中包含车牌信息的多帧图像进行逐帧识别处理，不依赖单张图片，实现了高速实时的车牌识别；同时由于不依赖外部触发，因此降低了成本。

因此，容易理解，以上所述仅为本实用新型的较佳实施例，并非用于限定本实用新型的精神和保护范围，任何熟悉本领域的技术人员所做出的等同变化或替换，都应视为涵盖在本实用新型的保护范围之内。

Claims (4)

1、一种车牌识别装置，集成设置在高速数字信号处理芯片上，其特征在于，该装置包括：图像采集模块和图像处理模块；所述图像处理模块包括：车牌检测子模块，字符分割子模块、字符识别子模块和输出子模块；

所述图像采集模块，根据视频流，得到多帧车牌图像；

所述车牌检测子模块，计算车牌的边缘信息，逐帧确定各当前帧图像中车牌的位置，并根据边缘信息得到校正后的车牌图像；

所述字符分割子模块，将所述校正后的车牌图像分割成多个字符图像；

所述字符识别子模块，利用预先设定的字符识别模型对分割得到的字符图像进行识别，得到字符图像的识别结果；

所述输出子模块，融合多帧校正后的车牌图像的字符识别结果，当所述识别结果满足预先设定的出牌条件时，将识别结果输出。

2、根据权利要求1所述的车牌识别装置，其特征在于，所述车牌检测子模块包括：车牌检测单元和图像校正单元；

所述车牌检测单元，根据车牌固有的边缘特征来确定当前图像中是否有车牌，以及车牌的大致位置；采用sobel或prewitt算子的水平、垂直方向的灰度检测模板计算各帧车牌图像中边缘像素点的水平、垂直边缘；

所述图像校正单元，根据所述水平、垂直边缘，计算所述各帧车牌图像中边缘像素点的水平、垂直方向的角度，分别得到各帧校正后的车牌图像。

3、根据权利要求2所述的车牌识别装置，其特征在于，所述字符分割子模块，进一步用于根据预先设置的不同类型的车牌图像的字符分割方法，分别将每帧校正后的车牌图像分割成多个字符图像。

4、根据权利要求1或3所述的车牌识别装置，其特征在于，所述输出子模块，包括多帧识别融合单元和识别结果输出单元；

所述多帧识别融合单元，用于融合多帧校正后的车牌图像的识别结果，当所述识别结果满足预先设定的出牌条件时，将所述识别结果通知识别结果输出单元；所述预先设定的出牌条件为：同一车牌的已识别样本达到预设的数量，且车牌中的各字符识别结果的置信度达到预设的置信权值；

所述识别结果输出单元，用于根据所述多帧识别融合单元的通知，将所述满足输出条件的车牌的识别结果输出。

Images