CN104573637B - 一种基于多摄像头的车牌识别方法 - Google Patents

Abstract

本发明公开了一种基于多摄像头的车牌识别方法，包括以下步骤：建立多摄像头采集终端，基于车辆进出口的情况和单个摄像头的参数，计算最佳检测视野下所需摄像头的数量，并进行安装；多摄像头采集终端采集车辆视频，并传输给车牌识别模块；车牌识别模块对每个摄像头采集到的每帧车辆图像分别进行识别，并分别获得一车牌结果；基于所有车牌结果，进行混合投票，获得最佳车牌结果。本发明通过多路摄像头对同一车辆进出场时进行多角度拍摄与识别，得到不同角度和位置下车牌识别结果，进而对多组结果进行投票筛选得到唯一的最佳车牌结果，大大提高了车牌的识别率。

Description

一种基于多摄像头的车牌识别方法

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种基于多摄像头的车牌识别方法。

背景技术

车牌识别是图像处理与模式识别技术在现代智能交通中的一个成功应用。通过摄像头采集到的图像或视频，应用图像处理与分析技术将车牌图像从图像中定位出来，再将车牌图像分割为一个个单独的车牌字符图像，应用模式识别技术识别得到最终的车牌结果。

传统的车牌识别技术大都是基于拍照的解决方案，在车辆进出口的地方通过地感信号来判定车辆的进出场，然后控制照相机对车辆进行抓拍，然后对得到的单张图像进行车牌的定位与车牌号码的识别，得到单一的车牌结果。这种单张拍照的识别方式有很大的缺点，经常因为车辆速度过快或网络传输延时造成拍照的识别时机不佳，致使车牌在图像中处于不易识别到的区域。而且单张识别的可靠度低，一旦识别出错，没有纠正的机会。

现在市场上较新的车牌识别解决方案是基于视频的多帧识别技术，这种解决方案利用网络摄像头对车辆进出的区域进行视频采集，在检测到车牌进出场时，对视频中的图像进行连续的识别，从而可以得到一系列的车牌结果。这种方案解决了车辆识别时机的问题和车辆繁忙时的车辆跟车问题。但是在某些公共车辆进出场所，出入口往往较宽，这样车辆进出的角度自由度较大，由于单摄像头的拍摄广角限制，很多车辆因为进场角度不佳，造成了无法识别的情况。

发明内容

本发明的目的在于提供一种基于多摄像头的车牌识别方法，其能够对车辆进出口进行多角度覆盖式的视频采集，提高了车牌的识别率。

为实现上述目的，本发明采用以下技术方案：

一种基于多摄像头的车牌识别方法，包括以下步骤：

S1、建立多摄像头采集终端，基于车辆进出口的情况和单个摄像头的参数，计算最佳检测视野下所需摄像头的数量，并进行安装；

S2、多摄像头采集终端采集车辆视频，并传输给车牌识别模块；

S3、车牌识别模块对每个摄像头采集到的每帧车辆图像分别进行识别，并分别获得一车牌结果；

S4、基于步骤S3获得的所有车牌结果，进行混合投票，获得最佳车牌结果。

优选地，所述步骤S4包括以下分步骤：

S41、对步骤S3获得的所有车牌结果进行分组；

S42、剔除错误的车牌结果；

S43、确定最佳分组；

S44、根据最佳分组内的所有车牌结果，分别对每个车牌字符位置进行结果统计，并投票出每个车牌字符位置的最佳结果，最终获得唯一的最佳车牌结果。

优选地，所述步骤S41包括以下分步骤：

S411、定义步骤S1中建立的多摄像头采集终端所具有的摄像头数量为n，每个摄像头的标记为C₁,C₂,…C_n，每个摄像头在一辆车辆进出后都对应有0～M条车牌结果，所有的车牌结果表示为：

其中，r_i ^k为第k个摄像头采集到的第i帧车牌图像对应的车牌结果，并且对于每个识别结果

有r_i ^k＝p₁p₂p₃p₄p₅p₆p₇，其中p_i i(1≤i≤7)表示车牌第个字符的识别结果；

S412、对于r_i ^k，若其是第一个车牌结果，则将其单独作为一个分组并标记为G1，若其不是第一个车牌结果，则判断r_i ^k是否可以归为当前已经存在的分组，若可以，则将其归为当前已经存在的分组，若不可以，则将其单独作为一个新的分组，最终获得车牌结果的所有分组。

优选地，在步骤S412中，所述判断r_i ^k是否可以归为当前已经存在的分组通过以下方法实现：

对于当前已经存在的第t个分组G_t，将组内的每个车牌结果分别与r_i ^k进行比较，判断是否匹配，匹配规则为：

其中，1≤i≤7，r_i ^k为当前分析的车牌结果，

为第t个分组G_t中的第j个车牌结果；

判断r_i ^k是否满足与G_t归为一组的条件，所述归为一组的条件为：

其中，num(S)表示集合S中元素的个数，

标识两车牌结果匹配。

优选地，在步骤S42中，所述剔除错误的车牌结果通过以下方法实现：对每个分组，判断其包含的车牌结果的数量是否小于2，若是，则将该分组删除，若否则保留该分组。

优选地，所述步骤S43包括以下分步骤：

S431、通过以下公式计算每个分组的平均置信度：

其中，C_m为该组的平均置信度，

为第t个分组第i个车牌结果的置信度，k为第t个分组中车牌结果的数量；

S432、对于每个分组，通过以下公式计算其特征值：

F＝5C_m+N

其中，C_m为该组的平均置信度，N为该分组中车牌结果的数量；

S433、选取特征值最大的分组作为最佳分组。

优选地，所述步骤S1包括以下分步骤：

S11、获取车辆进出口环境参数和摄像头参数，所述车辆进出口环境参数包括通行宽度W及最大广角θ，所述摄像头参数包括架设高度H、外参数矩阵M₁及内参数矩阵M₂；

S12、根据摄像头参数，通过以下公式计算单个摄像头的最大覆盖面积S_s：

S13、根据车辆进出口环境参数及实际施工过程中摄像头的重叠区域S_r，通过以下公式计算最佳检测视野下所需摄像头的数量N_c：

S14、根据步骤S13中得出的摄像头数量，安装多个摄像头，从而建立多摄像头采集终端优选地，所述步骤S3包括以下分步骤：

S31、车牌定位；

S32、车牌图像预处理，对车牌图像进行去模糊及对比度增强处理；

S33、车牌倾斜校正；

S34、车牌的精确切割；

S35、车牌字符切割；

S36、车牌字符识别。

采用上述技术方案后，本发明与背景技术相比，具有如下优点：

本发明通过多路摄像头对同一车辆进场时进行多角度拍摄与识别，得到不同角度和位置下车牌识别结果，进而对多组结果进行投票筛选得到唯一的最佳车牌结果，大大提高了车牌的识别率。

附图说明

图1为本发明的工作流程示意图。

图2为本发明的流程原理图。

图3为宽车道下多摄像头多角度视频采集的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例

配合图1和图2所示，本发明公开了一种基于多摄像头的车牌识别方法，包括以下步骤：

S1、建立多摄像头采集终端基于车辆进出口的情况和单个摄像头的参数，计算最佳检测视野下所需摄像头的数量，并进行安装。本步骤具体通过以下步骤实现：

S11、获取车辆进出口环境参数和摄像头参数，所述车辆进出口环境参数包括通行宽度W及最大广角θ，所述摄像头参数包括架设高度H、外参数矩阵M1及内参数矩阵M2。

S12、根据摄像头参数，通过以下公式计算单个摄像头的最大覆盖面积Ss：

S13、根据车辆进出口环境参数及实际施工过程中摄像头的重叠区域Sr，通过以下公式计算最佳检测视野下所需摄像头的数量Nc：

S14、根据步骤S13中得出的摄像头数量，安装多个摄像头，并实现其与服务器进行通信，这样服务器可以控制上述的多个摄像头进行视频采集，上述的多个摄像头也可以将采集到的视频数据传送到服务器，通过服务器上安装的车牌识别模板进行识别(如图3所示)。

S2、视频采集

多摄像头采集终端采集车辆视频，并传输给车牌识别模块。在本实施例中，步骤S2具体通过以下方法实现：

利用车辆进出口的地感线圈来检测是否有车辆入场，并将检测信号发送给服务器，服务器根据该检测信号判断是否有车辆进场或出场；

当检测到车辆进出场信号后，多摄像头采集终端开始采集车辆视频，并将车辆视频数据传输给车牌识别模块；当检测到车辆进离场信号后，多摄像头采集终端停止采集车辆视频。

S3、车牌识别

车牌识别模块对每个摄像头采集到的每帧车辆图像分别进行车牌识别，并分别获得一车牌结果。

在本实施例中，步骤S3中的车牌识别具体通过以下步骤实现：

S31、车牌定位。该步骤具体通过以下方法实现：

1)车辆图像边缘检测。对当前帧的车辆图像进行sobel竖直边缘检测，得到图像在竖直方向上的纹理。

2)形态学处理。对上一步骤得到的边缘图像进行水平方向竖直方向的形态学运算，让车牌纹理区域形成连通区域。

3)车牌区域筛选。对多个连通区域进行尺寸筛选，选择那些符合车牌特征的连通区域再做进一步分析。

4)伪车牌过滤。对步骤筛选到的图像区域进行字符查找分析，判定其是否包含车牌，把不包含车牌的区域滤除。

S32、车牌图像预处理，对车牌图像进行去模糊及对比度增强处理；

S33、车牌倾斜校正；

S34、车牌的精确切割；

S35、车牌字符切割；

S36、车牌字符识别。

步骤S3中的车牌识别可采用以上给出的方法，也可采用其他车牌识别方法，只要能够保证有效识别出车牌结果即可，本发明不做具体限制。

S4、混合投票

基于步骤S3获得的所有车牌结果，进行混合投票，获得最佳车牌结果。步骤S4具体通过以下步骤实现：

S41、对步骤S3获得的所有车牌结果进行分组。该步骤具体通过以下步骤实现：

S411、定义步骤S1中建立的多摄像头采集终端所具有的摄像头数量为n，每个摄像头的标记为C₁,C₂,…C_n，每个摄像头在一辆车辆进出后都对应有0-M条车牌结果，所有的车牌结果表示为：

其中，r_i ^k为第k个摄像头采集到的第i帧车牌图像对应的车牌结果，并且对于每个识别结果

有r_i ^k＝p₁p₂p₃p₄p₅p₆p₇，其中p_i表示车牌第i(1≤i≤7)个字符的识别结果；

S412、对于r_i ^k，若其是第一个车牌结果，则将其单独作为一个分组并标记为G1，若其不是第一个车牌结果，则判断r_i ^k是否可以归为当前已经存在的分组，若可以，则将其归为当前已经存在的分组，若不可以，则将其单独作为一个新的分组，最终获得车牌结果的所有分组G，

在本实施例中，所述判断r_i ^k是否可以归为当前已经存在的分组通过以下方法实现：

对于当前已经存在的第t个分组Gt，将组内的每个车牌结果分别与r_i ^k进行比较，判断是否匹配，匹配规则为：

其中，1≤i≤7，r_i ^k为当前分析的车牌结果，

为第t个分组G_t中的第j个车牌结果。即，将r_i ^k与

进行比较，若二者对应位置的字符有4个以上是相同的，则判定二者匹配。

判断r_i ^k是否满足与Gt归为一组的条件，所述归为一组的条件为：

其中，num(S)表示集合S中元素的个数，

标识两车牌结果匹配。

S42、剔除错误的车牌结果。在所有车牌结果中，有可能包含了一些识别出错的结果，也有可能包含了一些伪对象的识别，这样的结果一般会被单独分成一组，这样的结果可以直接从G中剔除。对每个分组，判断其包含的车牌结果的数量是否小于2，若是，则将该分组删除，若否则保留该分组。

S43、确定最佳分组。该步骤具体通过以下步骤实现：

S431、通过以下公式计算每个分组的平均置信度：

其中，C_m为该组的平均置信度，

为第t个分组第i个车牌结果的置信度，k为第t个分组中车牌结果的数量；

S432、对于每个分组，通过以下公式计算其特征值：

F＝5C_m+N

其中，Cm为该组的平均置信度，N为该分组中车牌结果的数量；

S433、选取特征值最大的分组作为最佳分组。

S44、根据最佳分组内的所有车牌结果，分别对每个车牌字符位置进行结果统计，并投票出每个车牌字符位置的最佳结果，最终获得唯一的最佳车牌结果。

对于每一个车牌结果

中的每个位置上的结果

都有一个置信度

将这个置信度

作为对应位置上识别结果的权重。对于第k个位置可能出现的结果都有一个最终投票得分：

其中，k为车牌号码的位置，c为该位置的结果，

为最终投票得分。

对于第k个位置上的所有种识别结果c，计算出得分最高的那个结果c_r，作为车牌第k位置的最终识别结果。对车牌的7个位置都进行如上的步骤，则可以得到一个7个字符组成的最终车牌结果。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (7)

1.一种基于多摄像头的车牌识别方法，其特征在于，包括以下步骤：

S1、建立多摄像头采集终端，基于车辆进出口的情况和单个摄像头的参数，计算最佳检测视野下所需摄像头的数量，并进行安装；

所述步骤S1包括以下分步骤：

S11、获取车辆进出口环境参数和摄像头参数，所述车辆进出口环境参数包括通行宽度W及最大广角θ，所述摄像头参数包括架设高度H、外参数矩阵M₁及内参数矩阵M₂；

S12、根据摄像头参数，通过以下公式计算单个摄像头的最大覆盖面积S_s：

S13、根据车辆进出口环境参数及实际施工过程中摄像头的重叠区域S_r，通过以下公式计算最佳检测视野下所需摄像头的数量N_c：

S14、根据步骤S13中得出的摄像头数量，安装多个摄像头，从而建立多摄像头采集终端；

S2、多摄像头采集终端采集车辆视频，并传输给车牌识别模块；

S3、车牌识别模块对每个摄像头采集到的每帧车辆图像分别进行识别，并分别获得一车牌结果；

S4、基于步骤S3获得的所有车牌结果，进行混合投票，获得最佳车牌结果。

2.如权利要求1所述的一种基于多摄像头的车牌识别方法，其特征在于，所述步骤S4包括以下分步骤：

S41、对步骤S3获得的所有车牌结果进行分组；

S42、剔除错误的车牌结果；

S43、确定最佳分组；

S44、根据最佳分组内的所有车牌结果，分别对每个车牌字符位置进行结果统计，并投票出每个车牌字符位置的最佳结果，最终获得唯一的最佳车牌结果。

3.如权利要求2所述的一种基于多摄像头的车牌识别方法，其特征在于，所述步骤S41包括以下分步骤：

S411、定义步骤S1中建立的多摄像头采集终端所具有的摄像头数量为n，每个摄像头的标记为C₁,C₂,…C_n，每个摄像头在一辆车辆进出后都对应有0～M条车牌结果，所有的车牌结果表示为：

其中，r_i ^k为第k个摄像头采集到的第i帧车牌图像对应的车牌结果，并且对于每个识别结果

有r_i ^k＝p₁p₂p₃p₄p₅p₆p₇，其中p_i表示车牌第i个字符的识别结果，1≤i≤7；

S412、对于r_i ^k，若其是第一个车牌结果，则将其单独作为一个分组并标记为G1，若其不是第一个车牌结果，则判断r_i ^k是否可以归为当前已经存在的分组，若可以，则将其归为当前已经存在的分组，若不可以，则将其单独作为一个新的分组，最终获得车牌结果的所有分组。

4.如权利要求3所述的一种基于多摄像头的车牌识别方法，其特征在于，在步骤S412中，所述判断r_i ^k是否可以归为当前已经存在的分组通过以下方法实现：

对于当前已经存在的第t个分组G_t，将组内的每个车牌结果分别与r_i ^k进行比较，判断是否匹配，匹配规则为：

其中，1≤i≤7，r_i ^k为当前分析的车牌结果，

为第t个分组G_t中的第j个车牌结果；

判断r_i ^k是否满足与G_t归为一组的条件，所述归为一组的条件为：

其中，num(S)表示集合S中元素的个数，

标识两车牌结果匹配。

5.如权利要求4所述的一种基于多摄像头的车牌识别方法，其特征在于，在步骤S42中，所述剔除错误的车牌结果通过以下方法实现：

对每个分组，判断其包含的车牌结果的数量是否小于2，若是，则将该分组删除，若否则保留该分组。

6.如权利要求5所述的一种基于多摄像头的车牌识别方法，其特征在于，所述步骤S43包括以下分步骤：

S431、通过以下公式计算每个分组的平均置信度：

其中，C_m为该组的平均置信度，

为第t个分组第i个车牌结果的置信度，k为第t个分组中车牌结果的数量；

S432、对于每个分组，通过以下公式计算其特征值：

F＝5C_m+N

其中，C_m为该组的平均置信度，N为该分组中车牌结果的数量；

S433、选取特征值最大的分组作为最佳分组。

7.如权利要求1-6任一项所述的一种基于多摄像头的车牌识别方法，其特征在于，所述步骤S3包括以下分步骤：

S31、车牌定位；

S32、车牌图像预处理，对车牌图像进行去模糊及对比度增强处理；

S33、车牌倾斜校正；

S34、车牌的精确切割；

S35、车牌字符切割；

S36、车牌字符识别。

Images