CN107609555B

CN107609555B - 车牌检测方法、应用其的车型识别方法及相关装置

Info

Publication number: CN107609555B
Application number: CN201710830661.0A
Authority: CN
Inventors: 陶海; 马文华; 郑翔; 宋君
Original assignee: Beijing Vion Intelligent Technology Co ltd
Current assignee: Beijing Vion Intelligent Technology Co ltd
Priority date: 2017-09-15
Filing date: 2017-09-15
Publication date: 2020-10-27
Anticipated expiration: 2037-09-15
Also published as: CN107609555A

Abstract

本发明的实施例公开一种车牌检测方法、应用其的车型识别方法及相关装置，先基于边缘检测来粗略确定待检测图像中的车牌候选区域，然后基于车牌检测模型在该车牌候选区域内精确检测出车牌区域，再根据该车牌区域确定对应的车身候选区域，最后通过车型识别模型在该车身候选区域内进行车型识别；其中，基于车牌区域确定车身候选区域并仅在该车身候选区域内进行车型识别的方式，可以减小车型识别的范围，从而提高车型识别效率；而基于边缘检测来粗略确定车牌候选区域，并仅在该车牌候选区域内进行车牌检测，以确定所述车牌区域的方式，可以减小车牌检测的范围，提高车牌检测效率，并进一步提高车型识别效率。

Description

车牌检测方法、应用其的车型识别方法及相关装置

技术领域

本发明涉及智能交通技术领域，尤其涉及一种车牌检测方法、应用其的车型识别方法及相关装置。

背景技术

车型识别是现代智能交通系统的一项重要功能，有着广泛的应用需求。例如，为缓解道路拥堵状况，需要在一些路段对特殊车型采取禁行措施(如，在上下班高峰期间，禁止大型货车在市区内行驶)，这样就需要智能交通系统能够及时并准确地识别经过禁行路段的各个路口或卡口的每辆车的车型，当发现禁行车型时要进行抓拍等处理。

现有一类车型识别技术，直接在原始图像的全图范围内进行车辆区域定位，即遍历全图进行特征提取以确定车身所在区域、排除背景环境区域，然后通过一定的学习算法(如深度学习算法)在所定位的车辆区域内进行训练及识别。现有另一类车型识别技术是基于车牌定位实现的，即先在待识别图像中确定车牌的位置，再基于车牌位置确定进行车辆区域定位，进而在所确定的车身所在区域内通过一定的学习算法进行各种车型的车身特征训练及识别。由于车牌具有相对统一的尺寸及位置，故相对于上述第一类车型识别技术，第二类车型识别技术根据车牌位置进行车辆区域定位，不仅可以减少车辆区域定位过程的工作量，还可以提高车型识别准确度，减少自然环境的影响。

对于上述第二类车型识别技术，其核心之一在于如何实现车牌定位；现有的车牌定位技术也大致包括两类：一类是通过直接分析图像的颜色和纹理等特征，将车牌区域与车身、自然环境区域区分开来，但由于颜色、纹理等特征易受环境光照等因素干扰，在复杂自然环境下车牌定位精度低；另一类是通过基于Haar特征(即矩形特征)的自适应增强算法(Adaboost)训练模型进行全图搜索，虽然车牌定位精度高，但是特征数据计算量大，导致车牌定位速度慢，进而在应用于车型识别过程中时，也会影响车型识别速度，难以保证对预设车型的及时识别。

发明内容

有鉴于此，本发明实施例提供一种车牌检测方法、应用其的车型识别方法及相关装置，以提升车牌定位效率及准确率，进而提高车型识别效率及准确率。

为达到上述目的，本发明的实施例采用如下技术方案：

第一方面，本发明实施例提供一种车牌检测方法，包括：

获取待检测图像和基于自适应增强算法的车牌检测模型；

对所述待检测图像进行边缘检测，得到所述待检测图像中的车牌候选区域；

通过所述车牌检测模型在所述待检测图像中的所述车牌候选区域内进行车牌检测，得到所述待检测图像中的车牌信息；所述车牌信息包括车牌位置和/或车牌颜色。

第二方面，本发明实施例提供一种车型识别方法，包括：

获取待检测图像和基于自适应增强算法的车牌检测模型；

通过所述车牌检测模型在所述待检测图像中的所述车牌候选区域内进行车牌检测，得到所述待检测图像中的车牌信息；所述车牌信息包括车牌位置和/或车牌颜色；

根据所述车牌信息获取所述待检测图像中的车身候选区域；

获取基于卷积神经网络的车型识别模型，通过所述车型识别模型在所述车身候选区域内进行车型识别，得到所述待检测图像中的车型信息。

第三方面，本发明实施例提供一种车牌检测装置，包括：

信息获取模块，用于获取待检测图像和基于自适应增强算法的车牌检测模型；

车牌粗检模块，用于对所述待检测图像进行边缘检测，得到所述待检测图像中的车牌候选区域；

车牌精检模块，用于通过所述车牌检测模型在所述待检测图像中的所述车牌候选区域内进行车牌检测，得到所述待检测图像中的车牌信息；所述车牌信息包括车牌位置和/或车牌颜色。

第四方面，本发明实施例提供一种车型识别装置，包括：

车牌精检模块，用于通过所述车牌检测模型在所述待检测图像中的所述车牌候选区域内进行车牌检测，得到所述待检测图像中的车牌信息；所述车牌信息包括车牌位置和/或车牌颜色；

车身区域获取模块，用于根据所述车牌信息获取所述待检测图像中的车身候选区域；

车型识别模块，用于获取基于卷积神经网络的车型识别模型，通过所述车型识别模型在所述车身候选区域内进行车型识别，得到所述待检测图像中的车型信息。

第五方面，本发明实施例还提供了一种电子设备，可以包括：

一个或者多个处理器；

存储器；

一个或者多个模块，所述一个或者多个模块存储在所述存储器中，当被所述一个或者多个处理器执行时进行如下操作：

获取待检测图像和基于自适应增强算法的车牌检测模型；

作为一可行的实施例，所述电子设备中，当所述存储器中存储的一个或多个模块被所述一个或多个处理器执行时，还可以进行如下操作：

根据所述车牌信息获取所述待检测图像中的车身候选区域；

第六方面，本发明实施例还提供了一种存储介质，用于存储应用程序，所述应用程序用于执行本发明实施例所提供的一种车牌检测方法和/或车型识别方法。

第七方面，本发明实施例还提供了一种应用程序，用于执行本发明实施例所提供的一种车牌检测方法和/或车型识别方法。

在本发明实施例中，没有直接利用车牌检测模型对待检测图像的全图进行车牌检测，而是先通过边缘检测粗略确定待检测图像中的车牌所在区域，作为车牌候选区域，再通过车牌检测模型仅在该车牌候选区域中进行车牌检测，从而可以大大减小该车牌检测模型在车牌检测过程中的特征提取、分析等处理操作的工作量，提高车牌检测效率。进一步的，本发明实施例根据上述车牌检测过程检测到的车牌区域，来确定待检测图像中的车身候选区域，通过车型识别模型在该车身候选区域内进行车型识别，得到待检测图像中车辆的车型信息；相对于直接在整个待检测图像内进行车型识别，本发明实施例可以减小车型识别的范围，从而提高车型识别效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的车牌检测方法流程示意图；

图2为本发明实施例提供的车牌检测方法中获取车牌候选区域的方法流程示意图；

图3为本发明实施例提供的车牌检测方法中梯度图像和梯度缩略图的示意图；

图4为本发明实施例提供的车牌检测方法中梯度图像和积分图的示意图；

图5为本发明实施例提供的车型识别方法流程示意图；

图6为本发明实施例提供的车型识别方法中所采用的车身区域配置参数示意图；

图7为本发明实施例提供的车牌检测装置的结构示意图；

图8为本发明实施例提供的车型识别装置的结构示意图。

具体实施方式

下面结合附图对本发明实施例进行详细描述。

应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

图1为本发明实施例车牌检测方法流程示意图。参见图1，该方法包括：

S11、获取待检测图像和基于自适应增强(Adaboost)算法的车牌检测模型；

本实施例中所述的车牌检测模型仍可以沿用现有技术中基于Haar特征和Adaboost算法的车牌检测模型。

S12、对所述待检测图像进行边缘检测，得到所述待检测图像中的车牌候选区域；

S13、通过所述车牌检测模型在所述待检测图像中的所述车牌候选区域内进行车牌检测，得到所述待检测图像中的车牌信息；所述车牌信息包括车牌位置和/或车牌颜色。

由以上步骤可知，本实施例车牌检测方法，并没有直接利用车牌检测模型对待检测图像的全图进行车牌检测，而是先通过边缘检测粗略确定待检测图像中的车牌所在区域，作为车牌候选区域，再通过车牌检测模型仅在该车牌候选区域中进行车牌检测，从而可以大大减小该车牌检测模型在车牌检测过程中的特征提取、分析等处理操作的工作量，提高车牌检测效率。

作为一可选实施例，如图2所示，上述步骤S12基于边缘检测操作确定车牌候选区域的过程，具体可以包括以下步骤：

S121、获取用于记录所述待检测图像中物体边缘信息的梯度图像；

本步骤中，作为一可选实施例，获取所述待检测图像对应的梯度图像的方法可以包括：

S1211、对所述待检测图像进行灰度化处理，得到其对应的灰度图像；

所述待检测图像为带有颜色信息的彩色图像，通过灰度化处理，将图像中的颜色信息去除，仅保留亮度信息(从黑色到白色，亮度逐渐增加)，即得到该待检测图像对应的灰度图像。

例如，如果所述待检测图像为YUV格式的图像，由于其Y通道表示亮度信息，故可以直接获取该YUV格式的待检测图像的Y通道图像信息，即得到该待检测图像对应的灰度图像。如果待检测图像为RGB格式的图像，则可以由R、G和B三通道的信息转化得到灰度信息，从而得到对应的灰度图像。

S1212、根据预设梯度算法计算所述灰度图像中每个像素的梯度值，得到以所述梯度值为相应像素的像素值的梯度图像。

本申请实施例中，用于获取梯度图像的图像梯度算法可以有多种，例如最基础的对灰度图像中各个像素计算其像素值的一阶/二阶微分作为该像素的梯度值，或者基于Sobel算子、Robinson算子、Laplace算子等梯度算子来计算各像素的梯度值。灰度图像中某个像素的梯度值，即为该像素在梯度图像上的像素值。

下面举例说明图像梯度的基本含义。所述待检测图像、灰度图像和梯度图像三者中的各个像素是一一对应，即对于待检测图像中坐标为(x，y)的像素A，其在灰度图像上的对应像素A’的坐标也为(x，y)，在梯度图像上的对应像素A”的坐标也为(x，y)。所述灰度图像可以视为一个二维离散函数I＝f(x,y)，该灰度图像上A’的像素值(即A’的灰度值)即表示为I(x,y)，则像素A’的梯度值G(x,y)为函数I＝f(x,y)在点A’(x，y)处的导数，同时，A’在灰度图像上的梯度值G(x,y)也即梯度图像上的对应像素A”的像素值；梯度值G(x,y)的计算公式如下：

G(x,y)＝G_X(x,y)+G_Y(x,y)；

G_X(x,y)＝I(x+1,y)-I(x,y)；

G_Y(x,y)＝I(x,y+1)-I(x,y)。

其中，G_X(x,y)为A’在x轴(图像宽度)方向上的导数，G_Y(x,y)为A’在y轴(图像高度)方向上的导数，I(x+1,y)为A’在x轴正方向上的相邻像素的像素值；I(x,y+1)为A’在y轴正方向上的相邻像素的像素值。

另外，梯度值G(x,y)也可以采用中值差分来计算，公式如下：

G(x,y)＝G_X(x,y)+G_Y(x,y)；

G_X(x,y)＝[I(x+1,y)-I(x-1,y)]/2；

G_Y(x,y)＝[I(x,y+1)-I(x,y-1)]/2。

其中，I(x-1,y)为A’在x轴负方向上的相邻像素的像素值；I(x,y-1)为A’在y轴负方向上的相邻像素的像素值。

S122、按照预设步长，从所述梯度图像的起始原点开始，依次获取预设尺寸的梯度图像块，并将每个所述梯度图像块依次映射为梯度缩略图中的一个像素；

其中，所述梯度缩略图中任一像素的像素值为所述梯度图像中对应的梯度图像块内所有像素的像素值之和。

图3为本实施例由梯度图像到梯度缩略图的变换示意图。如图3所示，对于尺寸为12*12像素的梯度图像310(每个小虚线框为梯度图像310中的一个像素)，以其左上角顶点为起始原点，假设梯度图像块对应的预设尺寸为3*3像素，预设步长为3像素，则：

梯度图像310中实线框311内的9个像素组成一个梯度图像块，该梯度图像块311在对应的梯度缩略图320中映射为一个像素321，且像素321的像素值为梯度图像块311中9个像素的像素值之和；

梯度图像310中实线框312内的9个像素也组成一个梯度图像块，该梯度图像块312在对梯度缩略图320中也映射为一个像素322，且像素322的像素值为梯度图像块312中9个像素的像素值之和，同时，由于梯度图像块311和312在梯度图像310的宽度方向上相邻，故其对应的映射像素321和322也在梯度缩略图320的宽度方向上相邻；

梯度图像310中的梯度图像块313在对梯度缩略图320中也映射为一个像素323，且像素323的像素值为梯度图像块313中9个像素的像素值之和，同时，由于梯度图像块311和313在梯度图像310的高度方向上相邻，故其对应的映射像素321和323也在梯度缩略图320的高度方向上相邻。

以此类推，通过在梯度图像310中按照预设步长和预设尺寸提取梯度图像块，并映射为梯度缩略图中的一个像素，可以将尺寸为12*12像素的梯度图像310缩小为尺寸为4*4像素的梯度缩略图320，并基于该梯度缩略图执行后续图像处理步骤。可见，相对于直接基于梯度图像执行后续处理步骤的方式，本实施例可减少图像处理工作量，从而提高车牌检测效率。

需要说明的是，图3中图像宽度方向上的预设步长u1和图像高度方向上的预设步长u2采用相同的数值，即u1＝u2＝3像素，预设尺寸中的预设宽度w₀和预设高度h₀也相同，即w₀＝h₀＝3(即获取到的梯度图像块为正方形)；在其他实施例中u1和u2可以不同，w₀和h₀也可以不同(即获取的梯度图像块可以为长方形)，如可以设置u1＝3、u2＝2，w₀＝4、h₀＝3等，只要保证u1≤w₀且u2≤h₀即可。对于同一梯度图像，所采用的预设步长越大且梯度图像块的预设尺寸越大，则得到的梯度缩略图越小，可以根据实际应用需求设置所述预设步长u1和u2，以及梯度图像块的预设尺寸w₀和h₀。

S123、对所述梯度缩略图进行均值滤波，并获取所述梯度缩略图中滤波前后的像素值满足第一预设关系的第一目标像素；

本实施例中对所述梯度缩略图进行均值滤波，即对所述梯度缩略图中的每个像素，用其邻域内的像素均值代替该像素的原像素值。对于梯度缩略图中的任一像素，假设其在滤波前的像素值为Z₁、在滤波后的像素值为Z₂，则所述第一预设关系可以表示为Z₁＞f₁(Z₂)，其中f₁可以为一次函数、二次函数等。例如，可以取Z₁＞3*Z₂(即f₁(Z₂)＝3*Z₂)，即遍历梯度缩略图中的每个像素，只要其滤波前的像素值大于滤波后的像素值的3倍，就将该像素记为第一目标像素。

S124、将所述梯度缩略图中所有第一目标像素所构成的区域映射于所述待检测图像中，得到第一车牌候选区域。

本实施例中，由于车牌区域内存在多个字符，故相对于车身等其他平滑区域，车牌区域内包含的边缘信息更多，对应于梯度图像或梯度缩略图中则表现为像素值更高(或者说响应更强)，将所有满足上述第一预设关系的像素所构成的区域作为车牌候选区域，因此，通过均值滤波及所述第一预设关系可以筛选出像素值最高(高于一定值)的区域，即所有的第一目标像素所构成的区域S₁’，就是该梯度缩略图中最有可能存在车牌的区域；然后依照步骤S122所采用的预设步长和预设尺寸进行逆操作，将S₁’中的每个像素映射为待检测图像中的一个像素块，即可得到该区域S₁’在待检测图像中的映射区域，也即得到所述待检测图像中的第一车牌候选区域S₁。

基于上述第一车牌候选区域S₁，在步骤S13中，就可以通过基于Adaboost算法的车牌检测模型仅在待检测图像的第一车牌候选区域S₁中进行车牌检测，除S₁之外的其他区域都不检测，故本实施例可以大大缩减车牌检测模型需要检测的区域，提高车牌检测效率。

作为一可选实施例，在所述步骤S122中，将每个所述梯度图像块依次映射为梯度缩略图中的一个像素，具体可以包括以下步骤：

S1221、获取所述梯度图像对应的积分图；

S1222、根据所述积分图确定所述梯度缩略图中每个像素的像素值。

本实施例中，所述梯度缩略图中任一像素的像素值为所述梯度图像中对应的梯度图像块内所有像素的像素值之和；以图3所示情况为例，要计算像素321的像素值，就需要将梯度图像块311中的9个像素的像素值求和，按照此计算方法确定梯度缩略图中各个像素的像素值所需的计算量较大。有鉴于此，本实施例基于积分图来计算所述梯度缩略图中每个像素的像素值，以减少计算量，具体原理如下。

如图4所示的梯度图像410，其中每个虚线小方格表示一个像素P_ij(i＝1,2,3……，表示该像素所在的行数，j＝1,2,3……，表示该像素所在的列数)，虚线小方格内的数字表示该像素P_ij的像素值I_ij；例如，位于第1行第1列的像素P₁₁的像素值I₁₁为1，位于第2行第3列的像素P₂₃的像素值I₂₃为7等等。

根据积分图的定义，由梯度图像410中的像素P₁₁到像素P_ij所构成的矩形区域S_ij内所有像素的像素值之和，记为该梯度图像410对应的积分图420中位于第i行第j列的像素的像素值I(S_ij)。例如，积分图420中位于第2行第3列的像素(实线小方格)的像素值I(S₂₃)为：由梯度图像410中的像素P₁₁到像素P₂₃所构成的矩形区域S₂₃(即梯度图像410实线框所示的6个虚线小方格构成的区域)内所有像素的像素值之和，即

又如，积分图420中位于第3行第2列的像素的像素值I(S₃₂)为：由梯度图像410中的像素P₁₁到像素P₃₂所构成的矩形区域S₃₂(图4中未示出)内所有像素的像素值之和，即

由以上叙述可知，本实施例中所述积分图420记录了梯度图像410中由像素P₁₁到任意另一个像素P_ij所构成的矩形区域S_ij内所有像素的像素值之和，也就是说可以根据该积分图420直接读取到梯度图像410中以像素P₁₁为左上角像素的任一矩形区域S_ij对应的像素值和I(S_ij)。

对于梯度图像410对应的梯度缩略图中的每个像素，其像素值为从梯度图像410中获取的一个梯度图像块对应的像素值和；虽然该梯度图像块的左上角像素不一定为像素P₁₁，但无论该梯度图像块包括几个像素，其都可以通过最多四个以P₁₁为左上角像素的矩形区域S_ij转化得到，从而该梯度图像块对应的像素值和，也可以根据上述最多四个矩形区域S_ij对应的像素值和I(S_ij)通过加减运算得到。

如图4所示，假设从梯度图像410中获取到阴影区域所示的梯度图像块，即由P₃₂至P₄₄的6个像素所构成的图像块，记为S_32～44，该梯度图像块S_32～44在对应的梯度缩略图中被映射为一个像素B。由于该梯度图像块S_32～44可以由梯度图像410中的矩形区域S₄₄，减去矩形区域S₂₄，再减去矩形区域S₄₁，再加上矩形区域S₂₁(S₂₄和S₄₁中都包括S₂₁，多减了一个S₂₁)得到，故基于上述积分图420快速计算得到该像素B的像素值I_B的步骤为：从积分图420中分别读取得到：矩形区域S₄₄对应的像素值和I(S₄₄)＝136，矩形区域S₂₄对应的像素值和I(S₂₄)＝36，矩形区域S₄₁对应的像素值和I(S₄₁)＝28，矩形区域S₂₁对应的像素值和I(S₂₁)＝6(即积分图420中四个阴影小方格对应的数值)；则I_B的计算式为：

I_B＝I(S₄₄)-I(S₂₄)-I(S₄₁)+I(S₂₁)＝136-36-28+6＝78。

而如果直接基于梯度图像410计算I_B，则需要将阴影区域中6个像素的像素值进行求和运算，即I_B＝10+11+12+14+15+16＝78。

可见，相对于直接基于梯度图像来计算其对应的梯度缩略图中每个像素的像素值，本实施例基于积分图来计算该梯度缩略图中各个像素的像素值，无论该像素在梯度图像中对应的梯度图像块包含多少个像素，都可以转化为最多四个矩形区域对应的像素值和的加减运算，而实际应用中获取的每个梯度图像块所包含的像素个数一般都不低于4个，因此本实施例可以提高梯度缩略图中像素值的计算速度，从而提高图像处理速度，最终提高车牌检测效率。

在上述步骤S121～S124中，本实施例基于边缘检测确定了第一车牌候选区域，但实际应用中由于黄色对边缘检测效果的影响，所述第一车牌候选区域通常会漏掉黄色车牌区域；为避免这一现象，作为另一可选实施例，上述步骤S12还可以包括以下步骤：

S125、将所述待检测图像缩小至与所述梯度缩略图相同的尺寸，根据预设HSV色彩阈值获取缩小后的待检测图像内的黄色区域；

假设，待检测图像的尺寸为12*12像素，对应的梯度图像的尺寸也为12*12像素，由该梯度图像根据预设步长和预设尺寸得到的梯度缩略图的尺寸为4*4像素，则在本步骤S125中，将所述待检测图像直接由12*12像素缩小至4*4像素，下文将缩小后的待检测图像称为待检测缩略图像；相对于梯度缩略图，该待检测缩略图像仍保留了颜色信息。

在得到所述待检测缩略图像后，在基于色调(Hue)、饱和度(Saturation)和明度(Value)的色彩空间(简称HSV色彩空间)内，根据预设HSV色彩阈值对该待检测缩略图像进行筛选，得到该待检测缩略图像中的黄色区域；所述预设HSV色彩阈值即黄色对应的HSV数值范围。

S126、根据步骤S123得到的所述梯度缩略图的均值滤波结果，获取所述梯度缩略图中滤波前后的像素值满足第二预设关系的第二目标像素，得到所述梯度缩略图中所有第二目标像素所构成的滤波区域；

与前文所述步骤S123中获取第一目标像素类似，本步骤S126中根据第二预设关系获取所述梯度缩略图中的第二目标像素。参照上文所述第一预设关系的表达式Z₁＞f₁(Z₂)，本步骤中的第二预设关系的表达式可以为Z₁＞f₂(Z₂)；同样的，f₂也可以为一次函数、二次函数等任一种函数。

其中，所述第二预设关系所限定的像素区域包含所述第一预设关系所限定的像素区域，即满足第一预设关系的第一目标像素，也必然满足第二预设关系。例如，当根据前文所述第一预设关系取Z₁＞3*Z₂(即f₁(Z₂)＝3*Z₂)时，第二预设关系可以取Z₁＞2*Z₂，即f₂(Z₂)＝2*Z₂；显然，当Z₁大于3*Z₂时，Z₁也必然大于2*Z₂。

S127、获取所述黄色区域在所述待检测图像中的第一映射区域，以及所述滤波区域在所述待检测图像中的第二映射区域，并将所述第一映射区域和第二映射区域的公共区域作为第二车牌候选区域。

本步骤中，将根据预设HSV色彩阈值在待检测缩略图中得到的黄色区域，以及根据第二预设关系在梯度缩略图中得到的滤波区域，都映射到待检测图像中，得到两个映射区域，即所述黄色区域对应的第一映射区域和所述滤波区域对应的第二映射区域(由于所述第二预设关系所限定的像素区域包含所述第一预设关系所限定的像素区域，故该第二映射区域包含步骤S124得到的第一车牌候选区域)，然后取该第一映射区域和第二映射区域的交集，即其公共区域，作为第二车牌候选区域。

前文步骤S124相当于仅基于边缘信息获取到第一车牌候选区域，本步骤S127相当于同时基于颜色信息和边缘信息获取到第二车牌候选区域，该第一车牌候选区域和第二车牌候选区域中的任一种或二者的并集区域，都可以作为步骤S13中的车牌候选区域。较佳地，本实施例在步骤S13中，在所述第一车牌候选区域和第二车牌候选区域所构成的并集区域中进行车牌检测，既可以避免漏掉黄色车牌区域，也可以避免仅检测到黄色车牌区域，从而提高车牌检测准确度。

由上述可见，本发明实施例车牌检测方法，没有直接利用车牌检测模型对待检测图像的全图进行车牌检测，而是先通过边缘检测粗略确定待检测图像中的车牌所在区域，作为车牌候选区域，再通过车牌检测模型仅在该车牌候选区域中进行车牌检测，从而可以大大减小该车牌检测模型在车牌检测过程中的特征提取、分析等处理操作的工作量，提高车牌检测效率；其中，在通过边缘检测粗略确定待检测图像中的车牌所在区域的过程中，基于梯度图像、积分图和梯度缩略图等来处理边缘信息，并基于HSV色彩空间的颜色信息来补充前述边缘信息处理过程中容易漏掉的黄色区域，从而保证粗略定位的车牌候选区域更完整，避免部分真正的车牌区域被排除在车牌候选区域之外，提高车牌检测准确度。

基于上文所述的车牌检测方法，本发明实施例还提供一种车型识别方法。图5本发明实施例车型识别方法的流程图。参照图5，该车型识别方法包括以下步骤：

S21、获取待检测图像和基于自适应增强(Adaboost)算法的车牌检测模型；

S22、对所述待检测图像进行边缘检测，得到所述待检测图像中的车牌候选区域；

S23、通过所述车牌检测模型在所述待检测图像中的所述车牌候选区域内进行车牌检测，得到所述待检测图像中的车牌信息；所述车牌信息包括车牌位置和/或车牌颜色；

上述步骤S21～S23分别与前文所述的步骤S11～S13对应，此处不再赘述。

S24、根据所述车牌信息获取所述待检测图像中的车身候选区域；

本步骤相当于根据检测到的车牌区域来预测车身所在的区域，即所述车身候选区域。

本步骤S24中，作为一可选实施例，具体可以包括：获取基于车牌位置的车身区域配置参数，并根据所述车牌信息和车身区域配置参数获取所述待检测图像中的车牌区域所对应的车身候选区域。

由于车牌在车身上的安装位置是相对固定的，因此预先根据各种车型的车牌位置，及其车身和车牌之间的相对尺寸，来设定一组或多组车身区域配置参数。例如，参照图6所示的车身区域和车牌区域的相对位置示意图，每组车身区域配置参数可以包括4个参数值{L，R，U，D}，其中，L表示车身区域的左边缘到车牌区域的左边缘的距离，R表示车身区域的右边缘到车牌区域的右边缘的距离，U表示车身区域的上边缘到车牌区域的上边缘的距离，D表示车身区域的下边缘到车牌区域的下边缘的距离。

本实施例中，可以根据不同车型设定不同的车身配置参数，也可以综合各种车型设定一组公用的车身配置参数(例如，可以基于体积最大的车型来设定该公用的车身配置参数)。

S25、获取基于卷积神经网络(Convolutional Neural Network，CNN)的车型识别模型，通过所述车型识别模型在所述车身候选区域内进行车型识别，得到所述待检测图像中的车型信息。

相对于直接在整个待检测图像内进行车型识别，本步骤中在步骤S24预测出的车身候选区域内进行车型识别，车型识别范围大大缩小，从而可以提高车型识别效率。

可见，本发明实施例车型识别方法，没有直接在整个待检测图像内进行车型识别，而是先基于边缘检测来粗略确定待检测图像中的车牌候选区域，然后基于车牌检测模型在该车牌候选区域内精确检测出车牌区域，再根据该车牌区域确定对应的车身候选区域，最后通过车型识别模型在该车身候选区域内进行车型识别；其中，基于车牌区域确定车身候选区域，并仅在该车身候选区域内进行车型识别的方式，可以减小车型识别的范围，从而提高车型识别效率；而基于边缘检测来粗略确定车牌候选区域，并仅在该车牌候选区域内进行车牌检测，以确定所述车牌区域的方式，可以减小车牌检测的范围，从而提高车牌检测效率，并进一步提高车型识别效率。

图7为本发明实施例车牌检测装置的结构示意图。参见图7，该装置包括：信息获取模块710、车牌粗检模块720和车牌精检模块730。

其中，该信息获取模块710，用于获取待检测图像和基于自适应增强算法的车牌检测模型；

该车牌粗检模块720，用于对所述待检测图像进行边缘检测，得到所述待检测图像中的车牌候选区域；

该车牌精检模块730，用于通过所述车牌检测模型在所述待检测图像中的所述车牌候选区域内进行车牌检测，得到所述待检测图像中的车牌信息；所述车牌信息包括车牌位置和/或车牌颜色。

本发明实施例中，作为一可选实施例，上述车牌粗检模块720具体可以包括：

梯度图像获取单元，用于获取用于记录所述待检测图像中物体边缘信息的梯度图像；

梯度图像缩小单元，用于按照预设步长，从所述梯度图像的起始原点开始，依次获取预设尺寸的梯度图像块，并将每个所述梯度图像块依次映射为梯度缩略图中的一个像素；其中，所述梯度缩略图中任一像素的像素值为所述梯度图像中对应的梯度图像块内所有像素的像素值之和；

图像滤波单元，用于对所述梯度缩略图进行均值滤波；

第一滤波处理单元，用于获取所述梯度缩略图中滤波前后的像素值满足第一预设关系的第一目标像素；

第一区域获取单元，用于将所述梯度缩略图中所有第一目标像素所构成的区域映射于所述待检测图像中，得到第一车牌候选区域。

本发明实施例中，作为另一可选实施例，上述车牌粗检模块720还可以包括：

黄色区域筛选单元，用于将所述待检测图像缩小至与所述梯度缩略图相同的尺寸，根据预设HSV色彩阈值获取缩小后的待检测图像内的黄色区域；

第二滤波处理单元，用于获取所述梯度缩略图中滤波前后的像素值满足第二预设关系的第二目标像素，得到所述梯度缩略图中所有第二目标像素所构成的滤波区域；其中，所述第二预设关系所限定的像素区域包含所述第一预设关系所限定的像素区域；

第二区域获取单元，用于获取所述黄色区域在所述待检测图像中的第一映射区域，以及所述滤波区域在所述待检测图像中的第二映射区域，并将所述第一映射区域和第二映射区域的公共区域作为第二车牌候选区域。

由上述可见，本发明实施例车牌检测装置，没有直接利用车牌检测模型对待检测图像的全图进行车牌检测，而是先通过边缘检测粗略确定待检测图像中的车牌所在区域，作为车牌候选区域，再通过车牌检测模型仅在该车牌候选区域中进行车牌检测，从而可以大大减小该车牌检测模型在车牌检测过程中的特征提取、分析等处理操作的工作量，提高车牌检测效率；其中，在通过边缘检测粗略确定待检测图像中的车牌所在区域的过程中，基于梯度图像、积分图和梯度缩略图等来处理边缘信息，并基于HSV色彩空间的颜色信息来补充前述边缘信息处理过程中容易漏掉的黄色区域，从而保证粗略定位的车牌候选区域更完整，避免部分真正的车牌区域被排除在车牌候选区域之外，提高车牌检测准确度。

图8为本发明实施例车型识别装置的结构示意图。参见图8，该装置包括：信息获取模块810、车牌粗检模块820、车牌精检模块830、车身区域获取模块840和车型识别模块850。

其中，信息获取模块810、车牌粗检模块820和车牌精检模块830，分别相当于前文车牌检测装置中的信息获取模块710、车牌粗检模块720和车牌精检模块730，此处不再赘述。

所述车身区域获取模块840，用于根据所述车牌信息获取所述待检测图像中的车身候选区域；

所述车型识别模块850，用于获取基于卷积神经网络的车型识别模型，通过所述车型识别模型在所述车身候选区域内进行车型识别，得到所述待检测图像中的车型信息。

可见，本发明实施例车型识别装置，没有直接在整个待检测图像内进行车型识别，而是先基于边缘检测来粗略确定待检测图像中的车牌候选区域，然后基于车牌检测模型在该车牌候选区域内精确检测出车牌区域，再根据该车牌区域确定对应的车身候选区域，最后通过车型识别模型在该车身候选区域内进行车型识别；其中，基于车牌区域确定车身候选区域，并仅在该车身候选区域内进行车型识别的方式，可以减小车型识别的范围，从而提高车型识别效率；而基于边缘检测来粗略确定车牌候选区域，并仅在该车牌候选区域内进行车牌检测，以确定所述车牌区域的方式，可以减小车牌检测的范围，从而提高车牌检测效率，并进一步提高车型识别效率。

为了描述的方便，以上装置是以功能分为各种单元/模块分别描述的。当然，在实施本发明时可以把各单元/模块的功能在同一个或多个软件和/或硬件中实现。

本发明实施例还提供了一种电子设备，可以包括：

一个或者多个处理器；

存储器；

获取待检测图像和基于自适应增强算法的车牌检测模型；

本发明实施例中，作为一可选实施例，在上述电子设备中，当所述存储器中存储的一个或多个模块被所述一个或多个处理器执行时，还可以进行如下操作：

根据所述车牌信息获取所述待检测图像中的车身候选区域；

本发明实施例还提供了一种存储介质，用于存储应用程序，所述应用程序用于执行本发明实施例所提供的车牌检测方法和/或车型识别方法。

本发明实施例还提供了一种应用程序，用于执行本发明实施例所提供的车牌检测方法和/或车型识别方法。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims

1.一种车牌检测方法，其特征在于，包括：

获取待检测图像和基于自适应增强算法的车牌检测模型；

其中，所述对所述待检测图像进行边缘检测，得到所述待检测图像中的车牌候选区域的步骤，包括：

获取用于记录所述待检测图像中物体边缘信息的梯度图像；

按照预设步长，从所述梯度图像的起始原点开始，依次获取预设尺寸的梯度图像块，并将每个所述梯度图像块依次映射为梯度缩略图中的一个像素；其中，所述梯度缩略图中任一像素的像素值为所述梯度图像中对应的梯度图像块内所有像素的像素值之和；

对所述梯度缩略图进行均值滤波，并获取所述梯度缩略图中滤波前后的像素值满足第一预设关系的第一目标像素；

将所述梯度缩略图中所有第一目标像素所构成的区域映射于所述待检测图像中，得到第一车牌候选区域；

将所述待检测图像缩小至与所述梯度缩略图相同的尺寸，根据预设HSV色彩阈值获取缩小后的待检测图像内的黄色区域；

获取所述梯度缩略图中滤波前后的像素值满足第二预设关系的第二目标像素，得到所述梯度缩略图中所有第二目标像素所构成的滤波区域；其中，所述第二预设关系所限定的像素区域包含所述第一预设关系所限定的像素区域；

获取所述黄色区域在所述待检测图像中的第一映射区域，以及所述滤波区域在所述待检测图像中的第二映射区域，并将所述第一映射区域和第二映射区域的公共区域作为第二车牌候选区域。

2.一种车型识别方法，其特征在于，包括：

根据权利要求1所述的车牌检测方法获取车牌信息，获取待检测图像中的车身候选区域；

3.一种车牌检测装置，其特征在于，包括：

所述车牌粗检模块至少包括：

图像滤波单元，用于对所述梯度缩略图进行均值滤波；

第一区域获取单元，用于将所述梯度缩略图中所有第一目标像素所构成的区域映射于所述待检测图像中，得到第一车牌候选区域；

所述车牌粗检模块还包括：

4.一种车型识别装置，其特征在于，包括：

权利要求3所述的车牌检测装置，所述车牌检测装置用于获取待检测图像中的车牌信息；

5.一种电子设备，其特征在于，包括：

一个或者多个处理器；

存储器；

一个或者多个模块，所述一个或者多个模块存储在所述存储器中，当被所述一个或者多个处理器执行时进行如权利要求1车牌检测方法。

6.一种电子设备，其特征在于，包括：

一个或者多个处理器；

存储器；

一个或者多个模块，所述一个或者多个模块存储在所述存储器中，当被所述一个或者多个处理器执行时进行如权利要求2车型识别方法。

7.一种存储介质，其特征在于，所述存储介质中存储有应用程序，所述应用程序用于执行如权利要求1所述的车牌检测方法，和/或，如权利要求2所述的车型识别方法。