CN105512649A - 一种基于颜色空间的高清视频实时车牌定位方法 - Google Patents

Abstract

本发明涉及一种基于颜色空间的高清视频实时车牌定位方法，包括：获取视频图像并选取感兴趣区域，对视频图像中的感兴趣区域进行下采样；对下采样后的图像中YUV三通道分别获取垂直边缘特征，形成合成特征图像；设置多个匹配模板，通过卷积运算获取对应车牌位置，并将多个车牌位置还原到视频图像中；在各匹配模板获取的车牌位置中，若车牌位置重叠，则根据卷积运算结果去重叠后得到定位的车牌位置；否则，则保留多个车牌位置为定位的车牌位置。本发明直接视频拍摄采用的YUV格式数据，不做空间变化和图像编码，能够提高处理速度。边缘采用差分运算并且不进行二值化处理，同样是为了实现快速检测。融合颜色信息，极大提高检测精度。

Description

一种基于颜色空间的高清视频实时车牌定位方法

技术领域

本发明涉及一种车牌定位方法，特别涉及一种高清视频的实时车牌定位方法。

背景技术

随着汽车保有量的日益增加，智能交通领域对治安、交通的管理需求也越来越强。200万或者更高像素的高清摄像机不仅可以清晰的抓拍车牌，也能够高质量的获取车辆信息和车载情况，被广泛应用到电子警察抓拍、交通卡口等监管系统。而车牌信息作为车辆管理的主要凭据，车牌识别系统已被广泛应用。

在车牌识别系统中，车牌定位是整个识别模块的前提，其定位准确性将大大影响整个系统的最终识别性能。高清图像视频取景范围大，需要处理的数据量大，背景也更复杂，而现有的基于标清图像的车牌定位方法检测目标背景简单且只识别单一车道的单一车牌，很难直接应用于高清晰图像。而车牌定位是高清图像和标清图像车牌识别的最大区别。鉴于实时性和准确性需求，针对高清视频的实时定位问题必须得到解决。

发明内容

本发明目的是解决现有车牌定位方法的不足，提供一种基于颜色空间的高清视频实时车牌定位方法。该方法可以实时定位到高清视频中车牌位置，为车牌识别系统提供车牌位置信息。

一种基于颜色空间的高清视频实时车牌定位方法，包括以下步骤：

1)从视频采集设备中获取视频图像；

2)选取视频图像中的感兴趣区域，且感兴趣区域内的车牌像素宽度达到设定范围；

3)对视频图像中的感兴趣区域进行下采样；

4)对下采样后的图像中YUV三通道分别获取垂直边缘特征，将三通道的垂直边缘特征融合，形成合成特征图像；

5)设置车牌的宽高比和多个尺寸作为合成特征图像中的多个匹配模板；

6)使用各匹配模板在合成特征图像中通过卷积运算获取对应车牌位置，并将多个车牌位置还原到视频图像中；

7)在各匹配模板获取的车牌位置中，若车牌位置重叠，则根据卷积运算结果去重叠后得到定位的车牌位置；否则，则保留多个车牌位置为定位的车牌位置。

所述对下采样后的图像中YUV三通道分别获取垂直边缘特征包括以下步骤：

对下采样后的图像中Y、U、V三通道图像分别进行水平差分运算，得到各通道图像的垂直边缘特征；

其中，每个通道图像中的水平差分计算公式：

edgeIm(i,j)＝pucIm(i,j)-pucIm(i-1,j)(1)

edgeIm为该通道下采样后的垂直边缘特征，pucIm为下采样后的该通道图像，(i,j)表示该通道当前像素位置，(i-1,j)代表j行的前一像素位置。

所述将三通道的垂直边缘特征融合，形成合成特征图像通过下式得到：

edgeMerge＝edgeY+|edgeU-edgeV|(2)

edgeMerge为合成特征图像，edgeY，edgeU，edgeV分别为Y、U、V三通道垂直边缘特征。

所述使用匹配模板在合成特征图像中通过卷积运算获取车牌位置包括以下步骤：

将合成特征图像分割成若干个大于匹配模板尺寸的矩形框；

使用匹配模板在每个矩形框内进行卷积运算，得到卷积结果；

求取每个矩形框内的卷积结果局部最大值，当该值大于阈值时，记录该值为车牌位置特征值，其所在位置即为候选车牌位置。

所述根据卷积运算结果去重叠后得到定位的车牌位置包括以下步骤：

将重叠车牌位置对应的各匹配模板的车牌位置特征值分别归一化；

比较归一化后的各车牌位置特征值，选取最大值对应的候选车牌位置为定位的车牌位置。

本发明具有以下优点及有益效果：

1.本发明直接视频拍摄采用的YUV格式数据，不做空间变化和图像编码，能够提高处理速度。

2.选取感兴趣区域，减少背景干扰，可提高处理速度。

3.边缘采用差分运算并且不进行二值化处理，同样是为了实现快速检测。

4.融合颜色信息，极大提高定位精度和鲁棒性。

附图说明

图1为本发明方法流程图；

图2为垂直边缘特征图像示意图；

图3为定位结果图像示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

如图1所示，本发明涉及一种基于颜色空间的高清视频实时车牌定位方法。针对高清摄像机拍摄的道路交通图像，实时定位出车辆牌照位置。选取特定区域，针对特定区域处理。进行图像预处理，增强边缘信息。对图像进行下采样，提高处理速度。图像YUV三通道分别获取垂直边缘特征。将三通道的边缘特征图融合，以使其对蓝底白字、黄底黑字，白底黑字，黑底白字车牌均具有较好的定位效果。设置不同尺寸车牌模板的大小和宽高比。使用卷积法搜索边缘信息，获取车牌位置，将车牌位置还原到原始图像中。对于不同尺寸车牌模板搜索结果去重叠后保留最佳搜索结果。具体实施步骤为：

1)现场场景视频获取：高清摄像机(分辨率大于200万像素)对道路交通拍摄形成高清视频图像。

2)鉴于目前被广泛使用的视频数据以YUV格式保存，本发明直接对原始YUV数据进行处理，不对其颜色空间转换可以显著提高处理速度。

其中，YUV格式是欧洲电视系统所采用的一种颜色编码方法，其中“Y”表示明亮度(Luminance或Luma)，也就是灰阶值；而“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。

3)选取感兴趣区域ROI(regionofinterest)。在实际车牌定位模块中，车牌在图像中的大小会受到安装距离，采集的场景大小影响。ROI是从图像中选择的一个图像区域，圈定该区域以便进一步处理，使用ROI可以减少处理时间，增加精度。在车牌定位实际应用场景中，车牌像素宽度一般为100像素到300像素。在本发明中，提供72到600宽度范围，用户可根据需求设置车牌定位范围。鉴于智能交通领域，摄像机是固定的。车牌只能在图像中某个区域出现并达到可检测像素大小。因此，用户可根据实际应用场景设置ROI，只对高清图片中特定区域处理，可以排除大量背景区域干扰，快速有效的提取大小不同的车牌候选区域。

4)对输入图像Y，U,V三通道数据分别进行高度、宽度方向的下采样。

5)对下采样后的图像中Y、U、V三通道图像分别进行水平差分运算，得到各通道图像的垂直边缘特征；

其中，每个通道图像中的水平差分计算公式：

edgeIm(i,j)＝pucIm(i,j)-pucIm(i-1,j)(1)

edgeIm为该通道下采样后的垂直边缘特征，pucIm为下采样后的该通道图像；(i,j)表示该通道当前像素位置，(i-1,j)代表j行的前一像素位置。

6)形成合成特征图像通过下式得到：

edgeMerge＝edgeY+|edgeU-edgeV|(2)

edgeMerge为合成特征图像，edgeY，edgeU，edgeV分别为Y、U、V三通道垂直边缘特征。采样后感兴趣区域的垂直边缘特征图像如图2所示。

7)由于相机拍摄距离，角度不同，车牌尺寸在图像中大小也不相同，根据国家标准，车牌的宽高比大约为1：3。根据此比例设置车牌模板高度像素为8，宽度像素为24。在本发明中，设置一个比例因子factor，其值为3到25，共23级。于是形成23个级别的车牌匹配模板，高度最小值为3x8＝24，最大值为25x8＝200，宽度最小值为3x24＝72，最大值为25x24＝600。实际使用中，只需要其中几个级别即可，如：3到6级，对应像素高度24到48，像素宽度72到144。

8)对于合成特征图像edgeMerge，将合成特征图像分割成若干个大于匹配模板尺寸的矩形框；本发明中矩形框的宽度和高度分别为模板尺寸的二倍。

使用匹配模板在每个矩形框内进行卷积运算，得到卷积结果；在当前矩形框B中使用车牌模板W求取卷积B’。

$B^{\′}=B\⊗W---\left(3\right)$

求取每个矩形框内的卷积结果局部最大值，当该值大于阈值T_plate时，记录该值为车牌位置特征值Feature，其所在位置(i，j)为候选车牌位置。

鉴于同一幅图像中可能存在多个车牌，任一个车牌候选位置均会得到定位，将定位的车牌位置还原到视频图像中。

不同尺寸的匹配模板依次进行上述卷积运算，获取相应的特征值Feature和候选车牌位置，将候选车牌位置还原到视频图像中。

9)将不同尺寸车牌模板对应特征值归一化，即此特征值除以车牌模板尺寸形成新特征值NewFeature。对于同一个车牌，不同尺寸模板均会得到特征值，即候选位置重叠。如果不同尺寸模板定位到的候选车牌位置存在重合区域，比较归一化后特征值NewFeature，选取最大NewFeature对应的候选车牌位置为最终定位的车牌位置。定位结果图像如图3。图中大框内为感兴趣区域，两个存在车牌的小框为定位结果。

Claims (5)

1.一种基于颜色空间的高清视频实时车牌定位方法，其特征在于：包括以下步骤：

1)从视频采集设备中获取视频图像；

2)选取视频图像中的感兴趣区域，且感兴趣区域内的车牌像素宽度达到设定范围；

3)对视频图像中的感兴趣区域进行下采样；

4)对下采样后的图像中YUV三通道分别获取垂直边缘特征，将三通道的垂直边缘特征融合，形成合成特征图像；

5)设置车牌的宽高比和多个尺寸作为合成特征图像中的多个匹配模板；

6)使用各匹配模板在合成特征图像中通过卷积运算获取对应车牌位置，并将多个车牌位置还原到视频图像中；

7)在各匹配模板获取的车牌位置中，若车牌位置重叠，则根据卷积运算结果去重叠后得到定位的车牌位置；否则，则保留多个车牌位置为定位的车牌位置。

2.根据权利要求1所述的一种基于颜色空间的高清视频实时车牌定位方法，其特征在于所述对下采样后的图像中YUV三通道分别获取垂直边缘特征包括以下步骤：

对下采样后的图像中Y、U、V三通道图像分别进行水平差分运算，得到各通道图像的垂直边缘特征；

其中，每个通道图像中的水平差分计算公式：

edgeIm(i,j)＝pucIm(i,j)-pucIm(i-1,j)(1)

edgeIm为该通道下采样后的垂直边缘特征，pucIm为下采样后的该通道图像，(i,j)表示该通道当前像素位置，(i-1,j)代表j行的前一像素位置。

3.根据权利要求1所述的一种基于颜色空间的高清视频实时车牌定位方法，其特征在于所述将三通道的垂直边缘特征融合，形成合成特征图像通过下式得到：

edgeMerge＝edgeY+|edgeU-edgeV|(2)

edgeMerge为合成特征图像，edgeY，edgeU，edgeV分别为Y、U、V三通道垂直边缘特征。

4.根据权利要求1所述的一种基于颜色空间的高清视频实时车牌定位方法，其特征在于所述使用匹配模板在合成特征图像中通过卷积运算获取车牌位置包括以下步骤：

将合成特征图像分割成若干个大于匹配模板尺寸的矩形框；

使用匹配模板在每个矩形框内进行卷积运算，得到卷积结果；

求取每个矩形框内的卷积结果局部最大值，当该值大于阈值时，记录该值为车牌位置特征值，其所在位置即为候选车牌位置。

5.根据权利要求1所述的一种基于颜色空间的高清视频实时车牌定位方法，其特征在于所述根据卷积运算结果去重叠后得到定位的车牌位置包括以下步骤：

将重叠车牌位置对应的各匹配模板的车牌位置特征值分别归一化；

比较归一化后的各车牌位置特征值，选取最大值对应的候选车牌位置为定位的车牌位置。