CN106709493A - 一种双动态视频车牌定位方法和装置 - Google Patents

Abstract

本申请涉及一种双动态视频车牌定位方法和装置，所述方法包括，步骤S100：获取视频图像序列；步骤S200：判断当前帧是否为帧内编码帧；步骤S300：若当前帧为帧内编码帧，提取当前帧的灰度值；步骤S400：基于边缘轮廓图像分析获取当前帧的粗定位车牌区域；步骤S500：基于视频解码中编码模式对粗定位车牌区域进行筛选，实现车牌定位。采用本发明提供的技术方案，结合图像和视频解码中编码模式信息进行分析，在基本不增加计算复杂度的情况下，利用视频解码中编码模式信息对粗定位车牌区域进行筛除，排除干扰，实现对车牌区域的确认，使车牌定位算法复杂度降低，提高算法实时性和鲁棒性，满足了移动化场景下的双动态视频车牌定位的需要。

Description

一种双动态视频车牌定位方法和装置

技术领域

本申请涉及视频图像识别技术，尤其涉及一种双动态视频车牌定位方法和装置。

背景技术

车牌识别技术(License Plate Recognition,LPR)是计算机视频图像识别技术在车辆牌照识别中的一种应用，要求能够将运动中的汽车牌照从复杂背景中提取并识别出来。车牌识别的处理步骤一般包括图像输入、车牌定位、字符分割、字符识别等，实现捕获定位和识别汽车牌号。其中车牌定位技术是车牌识别系统的关键步骤，对后续的车牌识别和字符分割有着极其重要的影响，其主要工作就是从包含整个车辆的图像中找到车牌区域的位置。

车牌识别中的视频由于摄像头的状态不同，获得的视频分为单动态视频和双动态视频两种。所述单动态视频是指摄像头固定不动，被拍摄物运动的视频图像，如通过停车场入口摄像头获得的视频，此类视频中的背景总体是静态的，几乎不出现大面积的运动背景。所述双动态视频，是指摄像头和被拍摄物都运动的视频图像，如通过车辆上的行车记录仪获取的视频，此类视频中不仅有运动目标还有背景的全局运动，图像背景均处于运动中，传统的帧间差分法由于大量背景运动的干扰，难以实现过滤感兴趣的运动目标，而背景差分法由于每一帧的背景都是动态的，难以建立背景模型。

现有技术中，常用基于图像边缘及轮廓的图像分析方法定位车牌，其算法简单，易于实现，但很容易受干扰边缘的影响，因而难以保证鲁棒性。为应对车牌定位时的干扰问题，通常对车牌定位采用多种特征进行联合判别，以提高算法的鲁棒性，如基于边缘轮廓和纹理特征结合的车牌定位方法，首先通过基于轮廓的算法提取车牌区域，再基于纹理分析补足基于边缘轮廓方法的抗干扰问题，实现对车牌的定位。但多种特征关联起来建立的特征集增加了方法的复杂度，提高了算法实时实现的门槛，而在双动态视频场景下，视频中的背景信息更加复杂，往往导致纹理分析的复杂度上升较多，增加了计算的复杂度，影响算法的实时性。

发明内容

本发明提供了一种双动态视频车牌定位方法和装置，以解决现有技术中的双动态视频车牌定位的计算复杂以及鲁棒性差的问题。

第一方面，本发明提供了一种双动态视频车牌定位方法，该方法包括：

步骤S100：获取视频图像序列；

步骤S200：判断当前帧是否为帧内编码帧；

步骤S300：若当前帧为帧内编码帧，提取当前帧的灰度值；

步骤S400：对当前帧进行基于边缘轮廓的图像分析，获取粗定位车牌区域；

步骤S500：基于视频解码中编码模式对粗定位车牌区域进行筛选。

优选地，所述步骤S200后还包括：

步骤S210：若当前帧不是帧内编码帧，则缓存当前帧，并提取下一帧作为当前帧；

步骤S220：判断第2次当前帧是否为帧内编码帧；

步骤S230：若连续2次当前帧都不是帧内编码帧，则分别提取缓存帧和当前帧的灰度值；

步骤S240：基于边缘轮廓图像分析获取缓存帧和当前帧的粗定位车牌区域；

步骤S250：联合缓存帧和当前帧的视频解码中编码模式，对粗定位车牌区域进行筛选。

优选地，所述步骤S220后还包括步骤S221：若第2次判断当前帧为帧内编码帧时，则返回步骤S300。

优选地，所述步骤S400或步骤S240通过以下步骤实现：

步骤S420：利用Sobel算子获取区域图像边缘；

步骤S430：对所述图像边缘做二值化处理；

步骤S440：对所述二值化边缘图像做闭运算；

步骤S450：提取所述二值化边缘图像中每个区域的轮廓；

步骤S460：对所述每个区域的轮廓求矩形包围盒。

优选地，所步骤S500通过以下步骤实现：

步骤S510：分别提取每个粗定位车牌区域内像素大小为16x16的宏块；

步骤S520：分别统计各粗定位车牌区域提取的宏块中，各编码模式对应的宏块数量；

步骤S530：当编码模式为I4x4的宏块数量M4，与所在粗定位车牌区域宏块总数MB的比例大于阀值T1时，则将所述粗定位车牌区域确定为车牌区域。

优选地，所述步骤S250步骤通过以下步骤实现：

步骤S251：提取当前帧和缓存帧中形成对应关系的粗定位车牌区域；

步骤S252：分别提取所述当前帧和缓存帧中形成对应关系的粗定位车牌区域内像素大小为16x16的宏块；

步骤S253：分别统计各粗定位车牌区域提取的宏块中，各编码模式对应的宏块数量；

步骤S254：当形成对应关系中的缓存帧中粗定位车牌区域所覆盖的宏块中，或者当形成对应关系中的当前帧中粗定位车牌区域所覆盖的宏块中，大宏块模式的宏块数量M16与该区域覆盖的宏块总数MB的比例，大于T3，则将该当前帧粗定位车牌区域确定为车牌区域。

优选地，所述步骤S460后还包括步骤S470：筛除所述不符合条件包围盒中的粗定位车牌区域。

优选地，所述步骤S470通过设定包围盒的长度、宽度、长宽比和面积阀值，实现筛除所述不符合条件包围盒中的粗定位车牌区域，具体筛除条件指满足下述任意一种：

包围盒长度小于长度阀值，或包围盒宽度小于宽度阀值，或包围盒长度比小于等于最小长宽比阀值，或包围盒长宽比大于等于最大长宽比阀值，或包围盒面积小于等于最小面积阀值，或包围盒面积大于等于最大面积阀值。

第二方面，本发明实施例提供了一种双动态视频车牌定位装置，包括：

视频图像获取模块，用于获取视频图像序列；帧内编码帧判断模块，用于判断当前帧是否为帧内编码帧；灰度提取模块，用于提取当前帧的灰度值；粗定位车牌区域获取模块，用于对当前帧进行基于边缘轮廓的图像分析，获取粗定位车牌区域；车牌定位确认模块，用于对粗定位车牌区域进行筛选，基于视频解码中编码模式的分析，实现对车牌区域的确认。

优选地，所述装置还包括：图像帧处理模块，用于在当前帧不是帧内编码帧时，缓存当前帧，并提取下一帧图像作为当前帧；帧内编码帧判断模块二，用于在第1次当前帧判断不是帧内编码帧时，对提取的下一帧图像进行第2次判断。

由以上技术方案可见，在本发明实施例中基于图像轮廓和视频解码中编码模式信息相结合的方法，对双动态视频图像中的车牌进行定位，其中基于轮廓图像分析，获取粗定位车牌区域的算法复杂度低，然后在基本不增加计算复杂度的情况下，利用视频解码中的编码模式进行分析，解决抗干扰问题，筛除伪车牌区域，实现粗定位车牌区域的确认，最终实现车牌定位。本发明实施例与现有技术相比，本发明所提供的车牌定位方法算法复杂度低，提高了算法的实时性，同时能解决移动化场景下的双动态视频车牌定位干扰的问题，提高算法的鲁棒性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1提供的一种双动态视频车牌定位方法的流程示意图；

图2为本发明实施例2提供的一种双动态视频车牌定位方法的流程示意图；

图3为本发明实施例3提供的一种双动态视频车牌定位装置的结构示意图；

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

参见图1，为本发明实施例1提供的一种双动态视频车牌定位方法的流程示意图，该定位方法包括：获取视频图像序列、判断当前帧是否为帧内编码帧、提取当前帧内编码帧的灰度值、对当前帧进行基于轮廓分析获取粗定位车牌区域、再进一步通过视频解码中编码模式信息对粗定位车牌区域进行确认。

具体的。步骤S100，获取视频图像序列；通过调取摄像头拍摄的双动态视频，获取视频文件的视频流，对视频进行解码，输出YUV图像，获取视频图像序列。

步骤S200，判断当前帧是否为帧内编码帧。从视频图像序列中读取一帧图像数据，所述图像为当前帧，判断当前帧是否为帧内编码帧。所述帧内编码帧指仅使用帧内预测(Intra-prediction)进行编码的帧图像，即I(Intra)帧。

步骤S300，若当前帧为帧内编码帧，提取当前帧的灰度值。视频在经过解码后，得到每一帧图像的YUV像素数据，所述Y表示亮度分量，即灰度值，U和V表示色度，用于指定像素的颜色，由于Y包含了灰度图的所有信息，因此只用Y分量就可以完整表示出一幅灰度图。所以当判定当前帧为I帧时，从解码得到的图像YUV数据中提取灰度值Y作为处理对象。

步骤S400，对当前帧进行基于边缘轮廓的图像分析，获取粗定位车牌区域；

对图像用基于边缘轮廓的算法进行边缘检测，从当前帧的灰度图中提取车牌所在的区域，即粗定位车牌区域。由于车牌自身具有一些固有的特征，如我国的车牌字符之间间隔均匀，呈水平排列，因而在牌照的矩形区域内，其边缘轮廓相比背景更为丰富。所述算法可采用各种现有技术实现，本发明实施例1对此算法的实现不做限制。

步骤S500，基于视频解码中编码模式对粗定位车牌区域进行筛选。

提取粗定位车牌区域的视频解码信息，基于视频解码中的编码模式，筛除不符合车牌区域特征的伪目标区域，对粗定位车牌区域进行确认。

另外，在本发明实施例1的一种优先方案中，所述步骤S400指基于边缘轮廓对当前帧图像进行分析，获取粗定位车牌区域。该步骤主要用于对获取的当前帧进行图像处理，首先使用高斯函数和Sobel算子对当前帧图像进行滤波和边缘检测，在此基础上，使用闭运算将边缘图像中的字符组聚为连通或者接近连通的区域，进而得到一个近似矩形的区域，再对每个近似矩形区域求包围盒，获取粗定位车牌区域。一种优选方案中，对伪车牌区域包围盒进行筛选，获得当前帧的粗定位车牌区域。具体包括：

步骤S410：对当前帧进行高斯模糊；

首先通过高斯函数对当前帧进行高斯模糊，以减少图像噪声对后续算法的不利影响，使图像中的运动目标检测的结果准确。

步骤S420：利用Sobel算子提取车牌区域图像边缘；

对模糊后的图像进行Sobel运算，所述Sobel运算指用于图像边缘检测的索贝尔算子。我国的车牌通常由七个字符和一个小圆点组成，各字符水平排列，间隔相等，因此，所述近似矩形的区域有着丰富的边缘信息，并且这些边缘信息有一定的规则，如区域内垂直边缘的信息比水平边缘的信息密集，车牌区域外的其他区域水平边缘的信息比垂直边缘的信息密集。在本发明实施例中，Sobel运算的卷积核为卷积核形成Sobel边缘算子，区域图像中的每个点都用这个核做卷积，卷积的绝对值作为该点的输出值，通过Sobel运算获取区域边缘图像，实现图像增强，使得边缘与背景对比明显。

步骤S430：对所述图像边缘做二值化处理；

所述对图像做二值化处理是指将图像上的所有像素点的灰度值分为两类，即图像只有黑白两种颜色，二值化处理能够适当地排除背景的干扰，增强目标区域，突出目标物体的轮廓，并且减少数据量，提高运算速率。

经过Sobel算子运算提取的区域图像边缘，并没有将图像的主体与背景严格地区分开来，因此对提取的图像轮廓要做进一步的二值化，即图像灰度处理，获得帧内编码帧(I帧)的边缘增强的二值化边缘图像。所述二值化处理采用现有技术实现，一般来说通过对卷积结果的逐点判断来进行二值化，如当数值大于T的点输出255，即8比特的图像所能有的最大值，否则输出0，所述T可以是经验值也可以通过自适应算法获得。

步骤S440：对所述二值化边缘图像做闭运算；

通过Sobel算子获得的二值化边缘图像，其边缘有一定程度的断开，需通过闭运算，对其进行平滑滤波处理。所述闭运算指在保持原二值图像的形状和位置基本不发生变化的前提下，将图像中的小空洞和小裂缝进行填平，组聚为连通或者接近连通的区域，进而得到近似矩形的区域。

步骤S450：提取所述二值化边缘图像中每个区域的轮廓；提取步骤S440中近似矩形区域的轮廓。

步骤S460：对所述每个区域的轮廓求矩形包围盒。

所述矩形包围盒，意在简单计算一个总体横平竖直包围当前区域的最小矩形。对当前区域S的轮廓C，若其所含点集(X₀,Y₀),...(Xn,Yn)，则该区域S的矩形包围盒指，四个端点为(Xmin,Ymin)(Xmax,Ymin)(Xmin,Ymax)(Xmax,Ymax)的矩形。其中Xmin是X₀...Xn中间的最小值，Xmax是X₀...Xn中的最大值，Ymin是Y₀...Yn中间的最小值，Ymax是Y₀...Yn中的最大值。例如，当车牌水平放置时，获取的矩形包围盒很接近车牌本身；而当车牌本身有一定倾斜时，比起同样水平位置摆放的车牌，该包围盒就包含了一些斜边以外的像素，使其变得“胖”一些。

在本发明实施例1的一种优选方案中，所述步骤S500对基于轮廓图像分析后获取的粗定位车牌区域，再进行基于解码信息的筛除，以对粗定位车牌区域进行确认。本发明实施例中主要利用H.264视频编解码器标准中的解码信息，所述解码信息包括预测单元使用的参考帧、运动向量信息、编码模式及解码图像。编码器通常将视频帧划分成若干宏块,并且以宏块为最小处理单元。

在本发明实施例1中，利用解码信息中的编码模式获取粗定位车牌区域内帧内预测编码信息，当被编码为I4x4模式的宏块数量在帧内宏块总量超过一定的阀值，则说明该区域体现出车牌的明显纹理指证，则为目标区域。具体方法包括：

步骤S510：分别提取每个粗定位车牌区域内像素大小为16x16的宏块；

由于H.264中宏块的帧内编码模式，能较好的反映图像的纹理特征，因此对基于图像分析获取的每个粗定位车牌区域，分别提取各自区域内像素大小为16x16的宏块。

步骤S520：分别统计各粗定位车牌区域提取的宏块中，各编码模式对应的宏块数量；

由于统计的宏块均来自于I帧，如H.264中基线(baseline)类支持16x16和4x4两种宏块编码模式，分别统计各编码模式宏块的数量，为筛除伪目标区域提供基础。

步骤S530：当编码模式为I4x4的宏块数量M4，与所在粗定位车牌区域宏块总数MB的比例大于阀值T1时，则将所述粗定位车牌区域确定为车牌区域。

所述I4x4模式具体指宏块采用4x4帧内编码模式，例如，在H.264编码体系中宏块的帧内编码，如果宏块内像素值比较一致，图像纹理平缓，图像细节变化不明显的平坦区域，则通常会编码为I16x16模式，而宏块内像素值变化比较复杂，图像中有包含大量纹理、边缘等细节的区域，则一般会编码为I4x4模式。因此本发明实施例1，统计I4x4模式编码的宏块数量，与所在粗定位车牌区域宏块总数MB的比例，如果该比例大于阈值T1，即M4/MB>T1时，则将当前粗定位区域进行确认，否则将当前区域视为伪车牌区域，进行筛除。在本发明实施例1中，将阀值T1设在45～60％之间，当I4x4模式的宏块数量M4与区域宏块总数MB的比例大于阀值T1时，则将当前帧粗定位车牌区域确定为车牌区域，T1优选为50％。

在本发明实施例1的一种优选方案中，所述步骤S460后还包括步骤S470,筛除所述不符合条件包围盒中的粗定位车牌区域。由于车辆上正常安装的车牌都具有固定的宽高比，因此在清晰的车辆图像中，每个车牌的宽高比大都是相接近的，考虑到可能存在的噪声、车牌倾斜等影响宽高比的因素。本发明实施例1优选基于设定包围盒的长度、宽度、长宽比和面积阀值，筛除所述不符合条件包围盒中的粗定位车牌区域，检测出目标包围盒，具体筛除条件指满足下述任意一种：

包围盒长度小于长度阀值，或包围盒宽度小于宽度阀值。所述长度阀值minW值可选取40～60像素，其中优选为50像素,所述宽度阀值minH值可选取12～18像素，其中优选为16像素。例如当包围盒的长度和宽度分别为50像素和16像素时，该包围盒则呈现一个正常车牌形状的区域，在经验值上属于车牌区域。又如当包围盒的长度和宽度分别为60像素和8像素时，虽然包围盒的长度符合车牌的条件，但包围盒的宽度过小，不符合宽度的条件，因此视为伪车牌区域予以筛除。

包围盒长宽比小于等于最小长宽比阀值，或包围盒长宽比大于等于最大长宽比阀值。其中最小长宽比阀值minR为1.8～2.2,最大长宽比阀值maxR为3.3～3.6。例如，目前我国标准车牌的长宽比约为3.2,但在实际使用中，由于车牌倾斜会导致的一定误差，如包围盒的最大长宽比为2.8时，是由于车牌倾斜45度左右，而导致包围盒不那么准确贴合车牌的主轴方向所引起的。因此，为避免错误筛除真实的车牌区域，容许存在一定的误差，对车牌区域包围盒的长宽比设定在一定的范围。

包围盒面积小于等于最小面积阀值，或包围盒面积大于等于最大面积阀值。其中最小面积阀值minS可选取1000～2000，优选minS为1000；最大面积阀值maxS可选取13000～16000,优选maxS为15000。在现实环境中，车牌的面积通常不会太大也不会太小，会在一定的标准范围以内，如果超出了面积阀值的范围，往往是图像中的干扰区域，应予以筛除。

本发明实施例1所提供的技术方案，结合边缘轮廓图像和视频解码中编码模式进行分析，在基本不增加计算复杂度的情况下，利用视频解码中帧内编码编码模式信息，对粗定位车牌区域进行筛除，排除干扰，实现车牌定位，提高算法实时性和鲁棒性。

参见图2，为本发明实施例2提供的一种双动态视频车牌定位方法的流程示意图，该方法在实施例1的基础上，当步骤S200判断当前帧不是帧内编码帧时，则缓存当前帧，并提取下一帧作为当前帧，然后进行第2次帧内编码帧判断。当缓存帧和当前帧均不是帧内编码帧时，即表示两帧图像是连续的前向预测编码帧。此种情况下，则需联合缓存帧和当前帧作图像分析获取两帧中的各自粗定位车牌区域，然后再联合缓存帧和当前帧视频解码中编码模式对粗定位车牌区域进行筛选，对车牌区域进行最终确认。其具体方法如下：

步骤S210：若判断当前帧不是帧内编码帧时，即将当前帧进行缓存，并提取下一帧作为。当前帧；如果当前帧和下一帧都不是I帧，则两帧图像是连续的前向预测编码帧，即P帧，相比较I帧，P帧表示当前帧跟前一帧的差别，解码时需要用之前缓存的图像帧叠加上当前帧定义的差别，生成最终画面，因此当是连续P帧时，需提取当前帧和缓存帧两帧图像，为第2次帧内编码帧判断提供基础。

步骤S220：判断第2次当前帧是否为帧内编码帧；

当上一帧图像，即缓存帧不是帧内编码帧时，需对下一帧图像，即当前帧进行第2次帧内编码帧判断，如果当前帧为帧内编码帧，则返回步骤S300，通过本发明实施例1的方法实现粗定位车牌区域筛选。如果当前帧仍然不是帧内编码帧时，则表示存在两个连续的P帧，则进入步骤S230，将2帧图像结合起来作为车牌定位的处理对象。

本发明实施例2中的步骤S230和S240，与本发明实施例1中的步骤S300和S400采用相同的方法实现，其区别在于实施例2中将缓存帧和当前帧两帧作为处理对象，分别提取缓帧和当前帧的灰度值，再分别对缓存帧和当前帧的图像进行图像分析，获取粗定位车牌区域，此处不再详述。

由于连续P帧的编码信息不同，本发明实施例2通过步骤S250，联合缓存帧和当前帧的视频解码中编码模式，对粗定位车牌区域进行筛选。具体指利用缓存帧和当前帧的视频解码中编码模式，获取粗定位车牌区域的帧间编码信息，基于对编码信息的分析，对粗定位车牌区域进行筛选，筛除伪车牌区域，对粗定位车牌区域进行确认。

本发明实施例2的一种优选方案中，所述步骤S250具体指首先判断两帧内是否有形成对应关系的粗定位车牌区域，基于形成对应关系的区域，通过帧间编码模式的分析，来筛除伪车牌区域。详细步骤如下：

步骤S251：提取当前帧和缓存帧中形成对应关系的粗定位车牌区域；

由于是连续的两帧，因此两帧图像之间的内容相关度非常高，一般而言，在缓存帧中基于图像分析粗定位出的每一个车牌区域，都会对应于当前帧中基于图像分析粗定位出的一个车牌区域，并且这两个区域之间，大致位置都是相近的。

在本发明实施例2中，当前帧中可能存在多个粗定位车牌区域n，因此缓存帧中也可能存在多个待匹配的粗定位车牌区域m，为确定对应关系，对当前帧n个区域中的每个区域，依次到缓存帧的m个区域里寻找对应关系，依次判断。所述形成对应关系的判断条件指：对当前帧，即在第二个P帧中经过粗定位得到的每一个车牌区域S1，查找缓存帧中的粗定位车牌区域，如果存在一个缓存帧中的车牌区域S2，则提取S1与S2之间面积较大的那个区域Smax，然后求两个区域S1和S2的重叠区域S，再取重叠区域S与Smax的面积比值，当S/Smax>T2时，则认为当前帧粗定位车牌区域与这一个缓存帧中粗定位车牌区域形成对应关系。在当前帧的第一个区域判断完成后，再接着判断n个区域里的下一个，提取当前帧和缓存帧中形成对应关系的粗定位车牌区域。

所述重叠阀值T2设在45％～65％之间，优选的，T2为50％。例如实际使用中，将重叠阀值T2设定为50％，在当前帧中经过粗定位得到的一个车牌区域S1，找到一个缓存帧中的车牌区域S2，且两个区域的重叠区域S，与两个区域中面积较大的那个区域Smax的面积比值为55％，即S/Smax>50％,表明满足对应关系条件，因此判定当前帧粗定位车牌区域与缓存帧粗定位车牌区域形成对应关系，提取形成对应关系的粗定位车牌区域，作为后续编码模式分析的基础。

另外，如果在判断过程中，当前帧中的粗定位车牌区域，与缓存帧中的m个区域都不符合重叠的条件，即表示在缓存帧中没有与之形成对应关系的车牌区域，则对当前帧中该粗定位车牌区域予以筛除。

步骤S252：分别提取所述当前帧和缓存帧中形成对应关系的粗定位车牌区域内像素大小为16x16的宏块；

步骤S253：分别统计各粗定位车牌区域提取的宏块中，各编码模式对应的宏块数量；

分别统计当前帧和缓存帧中粗定位车牌区域，各种编码模式对应的宏块数量，为筛除伪目标区域提供基础。

步骤S254：当形成对应关系中的缓存帧中粗定位车牌区域所覆盖的宏块中，或者当形成对应关系中的当前帧中粗定位车牌区域所覆盖的宏块中，大宏块模式的宏块数量M16与该区域覆盖的宏块总数MB的比例，大于T3，则将该当前帧粗定位车牌区域确定为车牌区域。

所述大块模式指P帧中的宏块被编码为Skip、P16x16、P16x8、P8x16等相对大块模式，小块模式指P帧中的宏块被编码为P8x8、P8x4、P4x8、P4x4等相对小块模式。在H.264中，当P8x8等小块模式出现时，一般是由于当前宏块中各局部区域的运动不一致引起的。而在车牌识别场景下，车牌基本上是一个整体运动的状态，因此车牌区域内的宏块较少被编码为P8x8等小尺寸模式。

本发明实施例2中，将阀值T3设在40～60％之间，例如，当形成对应关系中的缓存帧中粗定位车牌区域所覆盖的宏块中，大宏块模式的宏块数量M16与该区域覆盖的宏块总数MB的比例为50％，则表示比例大于阀值T3，满足确认车牌的条件M16/MB>T3，则确认对应的当前帧中的粗定位车牌区域为目标车牌区域。又如，当形成对应关系中的当前帧中粗定位车牌区域所覆盖的宏块中，大宏块模式的宏块数量M16与该区域覆盖的宏块总数MB的比例为55％时，则表示比例大于阀值T3，满足确认车牌的条件M16/MB>T3，则确认当前帧中的粗定位车牌区域为目标车牌区域。T3优选为50％。

如果形成对应关系中的缓存帧中粗定位车牌区域所覆盖的宏块中，或者当形成对应关系中的当前帧中粗定位车牌区域所覆盖的宏块中，大宏块模式的宏块数量M16与该区域覆盖的宏块总数MB的比例，都小于阀值T3，则将当前帧粗定位车牌区域定位为干扰区域，予以筛除。

本发明实施例2所提供的技术方案，结合边缘轮廓图像和视频解码中编码模式进行分析，在基本不增加计算复杂度的情况下，利用视频解码中帧间编码编码模式信息，对粗定位车牌区域进行筛除，排除干扰，实现对车牌区域的确认，提高算法实时性和鲁棒性，同时解决视频图像序列中连续两帧前向预测编码帧情形的，车牌区域确认问题，满足现实中移动化场景下的双动态视频车牌定位的需要。

基于上述方法实施例，本发明还提供了一种双动态视频车牌定位装置，图3为本发明实施例提供的一种双动态视频车牌定位装置的结构示意图，该装置包括：

视频图像获取模块301，用于获取视频图像序列；帧内编码帧判断模块302，用于判断当前帧是否为帧内编码帧；灰度提取模块，用于提取当前帧的灰度值303；粗定位车牌区域获取模块304，用于对当前帧进行基于边缘轮廓的图像分析，获取粗定位车牌区域；车牌确认模块305，用于对粗定位车牌区域进行基于视频解码信息的筛选，对车牌区域进行确认。

在本发明一种可选实施例中，所述双动态视频车牌定位装置还包括：图像帧处理模块，用于在当前帧不是帧内编码帧时，缓存当前帧，并提取下一帧图像作为当前帧；

帧内编码帧判断模块二，用于在第1次当前帧判断不是帧内编码帧时，对提取的下一帧图像进行第2次判断。

以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上所述仅是本申请的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种双动态视频车牌定位方法，其特征在于，所述步骤包括：

步骤S100：获取视频图像序列；

步骤S200：判断当前帧是否为帧内编码帧；

步骤S300：若当前帧为帧内编码帧，提取当前帧的灰度值；

步骤S400：基于边缘轮廓图像分析获取当前帧的粗定位车牌区域；

步骤S500：基于视频解码中编码模式对粗定位车牌区域进行筛选。

2.根据权利要求1所述的双动态视频车牌定位方法，其特征在于，所述步骤S200后还包括：

步骤S210：若当前帧不是帧内编码帧，则缓存当前帧，并提取下一帧作为当前帧；

步骤S220：判断第2次当前帧是否为帧内编码帧；

步骤S230：若连续2次当前帧都不是帧内编码帧，则分别提取缓存帧和当前帧的灰度值；

步骤S240：基于边缘轮廓图像分析获取缓存帧和当前帧的粗定位车牌区域；

步骤S250：联合缓存帧和当前帧的视频解码中编码模式，对粗定位车牌区域进行筛选。

3.根据权利要求2所述的双动态视频车牌定位方法，其特征在于，所述步骤S220后还包括步骤S221：若第2次判断当前帧为帧内编码帧时，则返回步骤S300。

4.根据权利要求1或2所述的双动态视频车牌定位方法，其特征在于，所述步骤S400或步骤S240通过以下步骤实现：

步骤S410：对当前帧进行高斯模糊；

步骤S420：利用Sobel算子获取区域图像边缘；

步骤S430：对所述图像边缘做二值化处理；

步骤S440：对所述二值化边缘图像做闭运算；

步骤S450：提取所述二值化边缘图像中每个区域的轮廓；

步骤S460：对所述每个区域的轮廓求矩形包围盒。

5.根据权利要求1所述的双动态视频车牌定位方法，其特征在于，所述步骤S500通过以下步骤实现：

步骤S510：分别提取每个粗定位车牌区域内像素大小为16x16的宏块；

步骤S520：分别统计各粗定位车牌区域提取的宏块中，各编码模式对应的宏块数量；

步骤S530：当编码模式为I4x4的宏块数量M4，与所在粗定位车牌区域宏块总数MB的比例大于阀值T1时，则将所述粗定位车牌区域确定为车牌区域。

6.根据权利要求2所述的双动态视频车牌定位方法，其特征在于，所述步骤S250步骤通过以下步骤实现：

步骤S251：提取当前帧和缓存帧中形成对应关系的粗定位车牌区域；

步骤S252：分别提取所述当前帧和缓存帧中形成对应关系的粗定位车牌区域内像素大小为16x16的宏块；

步骤S253：分别统计各粗定位车牌区域提取的宏块中，各编码模式对应的宏块数量；

步骤S254：当形成对应关系中的缓存帧中粗定位车牌区域所覆盖的宏块中，或者当形成对应关系中的当前帧中粗定位车牌区域所覆盖的宏块中，大宏块模式的宏块数量M16与该区域覆盖的宏块总数MB的比例大于T3，则将该当前帧粗定位车牌区域确定为车牌区域。

7.根据权利要求4所述的双动态视频车牌定位方法，其特征在于，所述步骤S460后还包括步骤S470：筛除所述不符合条件包围盒中的粗定位车牌区域。

8.根据权利要求7所述的双动态视频车牌定位方法，其特征在于，所述步骤S470通过设定包围盒的长度、宽度、长宽比和面积阀值，实现筛除所述不符合条件包围盒中的粗定位车牌区域，具体筛除条件指满足下述任意一种：

包围盒长度小于长度阀值，或包围盒宽度小于宽度阀值，或包围盒长度比小于等于最小长宽比阀值，或包围盒长宽比大于等于最大长宽比阀值，或包围盒面积小于等于最小面积阀值，或包围盒面积大于等于最大面积阀值。

9.一种双动态视频车牌定位装置，其特征在于，该装置包括：

视频图像获取模块，用于获取视频图像序列；

帧内编码帧判断模块，用于判断当前帧是否为帧内编码帧；

灰度提取模块，用于提取当前帧的灰度值；

粗定位车牌区域获取模块，用于对当前帧进行基于边缘轮廓的图像分析，获取粗定位车牌区域；

车牌定位确认模块，用于通过视频解码中编码模式，对粗定位车牌区域进行筛选，实现对车牌区域的确认。

10.根据权利要求9所述的双动态视频车牌定位装置，其特征在于，该装置还包括：

图像帧处理模块，用于在当前帧不是帧内编码帧时，缓存当前帧，并提取下一帧图像作为当前帧；

帧内编码帧判断模块二，用于在第1次当前帧判断不是帧内编码帧时，对提取的下一帧图像进行第2次判断。