CN111932496A - 车牌图像质量的确定方法、装置、存储介质及电子装置 - Google Patents

Abstract

本发明提供了一种车牌图像质量的确定方法、装置、存储介质及电子装置，其中，该方法包括：确定与当前帧图像中包括的目标车牌图像的尺寸对应的目标sobel算子；基于所述目标sobel算子确定所述目标车牌图像的目标像素密度；至少根据所述目标像素密度确定所述目标车牌图像的图像质量。通过本发明，解决了相关技术中存在的由于无法对图片的质量进行有效评价，进而导致无法有效进行图片选取的问题。

Description

车牌图像质量的确定方法、装置、存储介质及电子装置

技术领域

本发明涉及通信领域，具体而言，涉及一种车牌图像质量的确定方法、 装置、存储介质及电子装置。

背景技术

图像质量评价由来已久，但是传统的目标图像质量评价主要是对图像 清晰度、对比度、信噪比等反映真实视觉感知的角度进行评价。

在相关技术中，在进行图像选取时，会对视频每帧中所有检测到的目 标都进行属性分析，这样会使得计算压力过大，导致低端芯片难以做到实 时图像选取。例如，在停车场自动安全管理等解决方案中一般都会选择使 用较低端的芯片，用高端芯片会大大提高产品的价格。另外，采用相关技 术中的图像选取方式会导致对场景中质量差的目标也进行属性分析，如： 对严重曝光模糊的车牌、非常不完整的车辆等，而这种图片往往会导致属 性分析错误。错误属性的引入，会造成多方面的混乱，比如交通违章自动 记录，可能会导致违章记录下的车牌号并不是真正的违章车辆。

针对相关技术中存在的由于无法对图片的质量进行有效评价，进而导 致无法有效进行图片选取的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种车牌图像质量的确定方法、装置、存储介质 及电子装置，以至少解决相关技术中存在的由于无法对图片的质量进行有 效评价，进而导致无法有效进行图片选取的问题。

根据本发明的一个实施例，提供了一种车牌图像质量的确定方法，包 括：确定与当前帧图像中包括的目标车牌图像的尺寸对应的目标sobel算 子；基于所述目标sobel算子确定所述目标车牌图像的目标像素密度；至 少根据所述目标像素密度确定所述目标车牌图像的图像质量。

根据本发明的另一个实施例，提供了一种车牌图像质量的确定装置， 包括：第一确定模块，用于确定与当前帧图像中包括的目标车牌图像的尺 寸对应的目标sobel算子；第二确定模块，用于基于所述目标sobel算子确 定所述目标车牌图像的目标像素密度；第三确定模块，用于至少根据所述 目标像素密度确定所述目标车牌图像的图像质量。

根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质 中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任 一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和 处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述 计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明，由于在确定目标车牌图像的像素密度时，充分考了了车 牌尺寸的干扰，即，是依据与目标车牌图像的尺寸对应的sobel算子确定 的，保证不同尺寸的车牌的像素密度存在一致性，增加了车牌质量评价的 鲁棒性，有效区分开清晰车牌和曝光、模糊车牌的差距，达到有效评价图 片的质量，进而有效选取图片的目的，解决了相关技术中存在的由于无法 对图片的质量进行有效评价，进而导致无法有效进行图片选取的问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一 部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发 明的不当限定。在附图中：

图1是本发明实施例的一种车牌图像质量的确定方法的计算机终端的 硬件结构框图；

图2是根据本发明实施例的车牌图像质量的确定方法的流程图；

图3是根据本发明实施例的采用sobel算子对车牌图像进行处理的示 意图；

图4是根据本发明实施例获取车牌像素密度值pd_value的流程图；

图5是根据本发明实施例的车牌生命周期中的不同帧图片和评分示意 图；

图6是根据本发明实施例的机动车遮挡和贴边示意图；

图7是根据本发明实施例的整体流程示意图；

图8是根据本发明实施例的车牌图像质量的确定装置的结构框图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是， 在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语 “第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序 或先后次序。

近年来，随着视频数据结构化处理的广泛应用，目标优选技术得到了 越来越多的关注。目标优选技术主要是对在视频中持续一段时间的目标进 行逐帧质量评价，从中选取一张或多张质量最好的目标。

而相关技术中的目标优选技术主要针对人脸，车辆车牌的选择主要还 是仅基于反映视觉感知的质量评价方式。很少结合目标自身特征，从后期 属性分析的角度进行评价，比如目标同样清晰的情况下，正向的机动车相 较于侧向的机动车更符合属性识别需求，但传统图像质量评价无法获得正 向机动车质量更优的结论。

在本发明实施例中提出的目标优选算法结合了目标自身特征和视觉 感知，根据不同的属性识别需求针对性评价生命周期中的目标所有图像， 并从中挑选最优的几张用于属性识别。

本提案涉及安防监控的视频结构化领域，视频结构化是一种通过对监 控视频进行特征提取、语义分析，实现视频数据向信息情报转化的技术。 视频中的车辆在视频中持续一段时间，计算资源的稀缺性导致不可能对每 帧的车辆都进行属性分析，这时就需要从车辆出现到消失的生命周期中， 挑选一张质量最优的目标进行分析。

下面结合实施例对本发明进行说明：

本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或 者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施 例的一种车牌图像质量的确定方法的计算机终端的硬件结构框图。如图1 所示，计算机终端10可以包括一个或多个(图1中仅示出一个)处理器 102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件 FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述计算 机终端还可以包括用于通信功能的传输设备106以及输入输出设备108。 本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述 计算机终端的结构造成限定。例如，计算机终端10还可包括比图1中所 示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及 模块，如本发明实施例中的车牌图像质量的确定方法对应的计算机程序， 处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功 能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存 储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、 或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括 相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接 至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局 域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体 实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中， 传输装置106包括一个网络适配器(Network Interface Controller，简称为 NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一 个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模 块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种车牌图像质量的确定方法，图2是根据本发 明实施例的车牌图像质量的确定方法的流程图，如图2所示，该流程包括 如下步骤：

步骤S202，确定与当前帧图像中包括的目标车牌图像的尺寸对应的 目标索贝尔sobel算子；

步骤S204，基于所述目标sobel算子确定所述目标车牌图像的目标像 素密度；

步骤S206，至少根据所述目标像素密度确定所述目标车牌图像的图 像质量。

其中，执行上述操作的可以是计算机终端或者类似的可以进行运算处 理的设备。

在上述实施例中，由于在确定目标车牌图像的像素密度时，充分考了 了车牌尺寸的干扰，即，是依据与目标车牌图像的尺寸对应的sobel算子 确定的，保证不同尺寸的车牌的像素密度存在一致性，增加了车牌质量评 价的鲁棒性，有效区分开清晰车牌和曝光、模糊车牌的差距，达到有效评 价图片的质量，进而有效选取图片的目的，解决了相关技术中存在的由于 无法对图片的质量进行有效评价，进而导致无法有效进行图片选取的问题。

在一个可选的实施例中，由于检出车牌上的字母基本都是水平对齐的， 车牌图像的横向边缘信息比纵向边缘信息更丰富，因此选择一维横向的 sobel算子进行纹理锐化，传统的一维sobel算子公式如式1a_1所示。传 统的一维sobel算子处理不同尺寸的车牌，锐化后的像素强度受车牌尺寸 影响较严重，直接导致不同尺寸的车牌水平像素密度值hpd_value差异较大， 大尺寸车牌的hpd_value甚至和曝光、模糊车牌的hpd_value差不多，导致无法区分清晰、曝光或者模糊车牌。因此本发明使用随车牌图像的大小变 化的扩展性sobel算子(也可以称为目标sobel算子)，公式如式1a_2所示。 传统sobel算子和扩展性sobel算子对目标车牌图像进行处理，获得的锐化 图如图3(a)至3(d)所示。

d₀＝|d₀-d₁|+|d₀-d_-1| (1a_1)

其中，d₀表示车牌图像中的当前像素，d₁和d_-1分别表示d₀的左右邻近 像素。

其中，n表示所述扩展性sobel算子的半宽，plate_w表示所述目标车 牌图像的宽度，w_thresh表示所述扩展性sobel算子随所述目标车牌图像的 尺寸扩展的程度，例如，w_thresh＝20，d₀表示所述目标车牌图像中的当 前像素，d_i和d_-i分别表示d₀的左右距离i个像素位置的像素，i为大于或等 于1的整数。其中，上述的用于确定扩展性sobel算子的半宽n的公式用 于表示在(plate_w/w_thresh-1)>2时,n＝(plate_w/w_thresh-1)；否则n＝2。

下面结合具体实施例对本发明进行说明：

在本具体实施例中，车辆原图如图3(a)所示，对100*300、30*90像 素大小的车牌进行sobel算子处理的结果图如图3(b)所示，水平像素 密度值hpd_value分别为0.11486和0.357419，对100*300、30*90像素大 小的车牌分别进行扩展性sobel算子处理的结果图如图3(c)所示， hpd_value分别为0.45868和0.41996。图3(d)表示对30*90的车牌进行 高斯模糊后，分别用sobel算子和扩展性sobel算子获取的锐化图效果。对 比图3(b)和图3(d)的hpd_value可以发现，传统sobel算子对100*300 的清晰车牌和30*90的模糊车牌进行处理，获得的hpd_value是差不多的， 传统sobel算子无法利用hpd_value实现清晰的大尺寸车牌和模糊的小尺寸 车牌的区分，从而无法有效评价车牌质量。对比图3(b)和图3(c)的 hpd_value，sobel算子不能对100*300和30*90的清晰车牌获得一致的 hpd_value，而扩展性sobel算子可以，说明扩展性sobel算子针对不同尺 寸的车牌都能有效评价车牌质量。

在一个可选的实施例中，基于所述目标sobel算子确定所述目标车牌 图像的目标像素密度值包括：基于所述目标sobel算子确定所述目标车牌 图像的车牌水平像素密度以及所述目标车牌图像的车牌倾斜像素密度；将 所述车牌水平像素密度和所述车牌倾斜像素密度确定为所述目标像素密 度值。

在一个可选的实施例中，基于所述目标sobel算子确定所述目标车牌 图像的车牌水平像素密度包括：通过如下公式(1b-1)确定所述车牌水平 像素密度hpd_value。

其中，hpd_value即对车牌图像(即，上述的目标车牌图像)经过扩展 性sobel算子处理的锐化图，设置上、下、左、右边界的矩形框的框内像 素均值，公式如式1b_1所示。hpd_value用于分析车牌的清晰、模糊状况。 设置上、下、左、右边界的原因是对车牌检测框定位误差问题给予包容。

其中，start_x、end_x、start_y、end_y分别表示预先设置的用于计 算hpd_value的矩形框在车牌图像中的左、右、上、下位置，d_ij表示车牌图 像中第i行第j列的像素。

在一个可选的实施例中，基于所述目标sobel算子确定所述目标车牌 图像的车牌倾斜像素密度包括：确定所述目标车牌图像与预定正方形块重 叠的车牌图像；逐行确定重叠的车牌图像的像素密度，并在各列中选择像 素密度最大的位置作为重叠的车牌图像当前列的纵向中心；基于确定的各 列的纵向中心确定所述目标车牌图像的车牌倾斜像素密度。可选地，基于 确定的各列的纵向中心确定所述目标车牌图像的车牌倾斜像素密度包括： 通过对确定的各列的纵向中心分别向上向下扩展预定像素距离来生成扩 展后的车牌图像；将扩展后的车牌图像的像素密度确定为所述车牌倾斜像 素密度。

在上述实施例中，hpd_value对于稍微倾斜的车牌有一定的容忍度，但 是对于过度倾斜的车牌，就很难通过hpd_value来分析它的清晰模糊程度。 这时需要分析车牌的倾斜情况，利用车牌倾斜像素密度分析车牌的优劣性。 本实施例中可以通过计算方块像素密度block_pd_value来分析车牌的倾斜 情况。本实施例中可以使用bsz大小的正方形block，先逐行计算和block重 叠的车牌位置的像素密度block_pd_value，各行中选择block_pd_value最大 的位置作为车牌图像当前列的纵向中心位置v_cen，然后逐列获取v_cen， 分析列向v_cen的倾斜趋势，并更新车牌上下界。在本实施例中，过度倾 斜的车牌，各列v_cen基本呈现单调递增或单调递减的趋势，因此车牌是 否过度倾斜、是斜上还是斜下的倾斜趋势都可以直接通过比较前后列 v_cen差值的正数、负数比例获取，如式1c_1所示。车牌倾斜像素密度的 计算，以每一列v_cen为车牌当前列的纵向中心，上下扩展一定像素距离 构建每列的上下界，最后生成的图形内的像素密度，即所需的车牌倾斜像 素密度。

其中，v_cen_i表示第i列的纵向中心位置，pos_num表示车牌图像前后 列v_cen倾斜上上的数目，neg_num表示车牌图像前后列v_cen倾斜向下的 数目。

下面结合附图对如何获取车牌像素密度值pd_value进行整体说明，如 图4所示，包括如下步骤：

S402，利用扩展性sobel算子对车牌图像进行纹理锐化；

S404，计算车牌水平像素密度hpd_value；

S406，判断hpd_value是否大于预设值Thresh；

S408，在确定hpd_value大于预设值Thresh时，确定车牌的像素密度值 pd_value＝max(hpd_value,block_pd_value)；

S410，在确定hpd_value不大于预设值Thresh时，利用方块像素密度， 分析车牌的倾斜情况；

S412，判断车牌是否过度倾斜；

S414，在判断结果为过度倾斜的情况下，计算车牌倾斜像素密度 block_pd_value；

S416，在判断结果为未过度倾斜的情况下，将block_pd_value置零。

在一个可选的实施例中，至少根据所述目标像素密度确定所述目标车 牌图像的图像质量包括：确定所述目标车牌图像的车牌尺寸信息、高宽比 信息以及所述目标车牌图像在用于对所述目标车牌图像进行检测的预设 检测框中的位置信息；基于所述车牌尺寸信息、所述高宽比信息、所述位 置信息以及所述目标像素密度确定所述目标车牌图像的图像质量。在本实 施例中，车牌本身都有一些规律，比如：单行车牌的高宽比普遍1:3，双 行车牌的高宽比普遍1:2；车牌的位置都在机动车检测框内部，越靠近机 动车检测框横向中央，说明车牌越正越有利于识别。在本实施例中，利用 车牌高宽比、尺寸、位置等处于何种状态最优的先验知识，结合车牌纹理 信息，对车牌进行评分(即，确定车牌图像的图像质量)。公式如2_1所 示。后续车牌优选选择车牌生命周期中分值最大的一张，即最优车牌。车牌生命周期中的不同帧图片和评分如图5所示。可选地，基于所述车牌尺 寸信息、所述高宽比信息、所述位置信息以及所述目标像素密度确定所述 目标车牌图像的图像质量包括：

通过如下公式2_1确定所述目标车牌图像的评分plate_score，至少基 于所述plate_score确定所述目标车牌图像的图像质量。其中，

heuristic_k₂、heuristic_k₃分别表示所述车牌尺寸信息、所述高宽比信 息、所述位置信息，g(·)表示对heuristic_k所做的函数处理公式，pd_value 表示所述目标像素密度，f(·)表示对pd_value进行的函数处理公式， P_DENSITY_T表示预先设置的像素密度阈值，可选地， P_DENSITY_T＝0.25。

从图4中可以看出，完整的车牌较不完整的车牌分数高，大尺寸车牌 较小尺寸车牌分数高。其中，对于车牌的完整性分辨也是得益于pd_value， 因为车牌大多被平滑物体遮挡，这样会大幅度降低车牌的pd_value。

在车辆的生命周期中，期望抓拍的车辆是完整、有高质量车牌、方向 正向、尺寸越大越好的。因此需要综合评价车辆是否包含车牌、是否完整、 车辆方向、尺寸这几个评价指标，得到车辆图像质量。在一个可选的实施 例中，至少基于所述plate_score确定所述目标车牌图像的图像质量包括： 确定所述目标车牌图像所在车辆的车辆尺寸信息、所述车辆的方向信息以 及所述车辆的完整性信息；基于所述plate_score、所述车辆尺寸信息、所 述车辆的方向信息以及所述车辆的完整性信息确定所述目标车牌图像的 图像质量。

可选地，机动车不完整的情况主要是遮挡和贴边(检测框处于图像边 界状态)。针对遮挡情况，直接计算所有其他目标与当前机动车的检测框 交集的总和与机动车本身面积的比值cover_ratio，作为完整性因子(或称 为完整性信息)的一个参数，见公式3a_1。针对机动车贴边情况，以机动 车与边界的最短贴边距离stick_dis为完整性因子的另一参数，见公式3a_2。 最短贴边距离的提出是由于检测的固有缺陷问题，如图6所示，当车辆有部分已在场景外时(即，车辆处于截断状态时)，检测框依旧处于场景内， 且检测框边界靠近但不紧贴图像边界。因此，当最短贴边距离小到一定程 度时，可以判断车辆是不完整的。在本实施例中，在确定了车辆的遮挡参 数(或称为遮挡信息)和贴边参数(或称为贴边信息)后，可以基于车辆 的遮挡参数和贴边参数确定车辆的完整性信息。

在本实施例中，通过如下公式确定所述车辆的遮挡参数cover_ratio：

其中，所述cover_ratio表示所述车辆受遮挡面积占所述车辆自身面积 的比例，r表示用于检测机动车的检测框，Ω表示两个检测框的交集运算， Area(·)表示检测框的面积运算，m表示当前帧内所有的目标数；

在本实施例中，可以通过如下公式确定所述车辆的贴边参数 cover_ratio：

stick_dis＝min(ul_x,ul_y,img_w-lr_x,img_h-lr_y) (3a_2)

其中，stick_dis表示所述车辆的最短贴边距离，ul_x、ul_y分别表示 用于检测所述车辆的检测框的左上角横、纵坐标，lr_x、lr_y分别表示所 述检测框的右下角横、纵坐标，img_w、img_h分别表示当前帧大图的宽、 高。

在一个可选的实施例中，在确定车辆的方向信息时，可以首先计算当 前帧车辆轨迹点到前T帧轨迹点的向量差值，分别计算车辆x向和y向的 位移向量占轨迹长度的比值，将比值与方向阈值进行比较，从而对车辆方 向进行初步评分，公式如3b_1、3b_2、3b_3所示。

其中，

表示以当前帧图像的右上角为坐标原点的所述车辆的位移向 量，x、y分别表示所述车辆的横、纵方向的坐标，

分别表示所 述车辆在t时刻和t-T时刻的位移向量，sta表示车辆从t-T时刻到t时刻，y 方向的位移向量差与整体轨迹长度的比值，cta表示车辆从t-T时刻到t时 刻，x方向的位移向量差与整体轨迹长度的比值，ratio数组分别表示机动 车前向、侧向、后向的方向评分，其中，公式3b_3表示当Δy＜0时，前向 分值ratio[0]为0，侧向和后向的分值分别为ratio[1]和ratio[2]；当Δy＜0时， 无后向分值，侧向和前向分值分别为ratio[1]和ratio[0]；abs(·)表示取绝对值 运算；在本实施例中，在确定了哥方向的分值之后，再基于确定的各方向 的分值确定所述车辆的方向信息。

在一个可选的实施例中，基于所述plate_score、所述车辆尺寸信息、 所述车辆的方向信息以及所述车辆的完整性信息确定所述目标车牌图像 的图像质量包括：分别确定所述plate_score、所述车辆尺寸信息、所述车 辆的方向信息以及所述车辆的完整性信息对于确定所述目标车牌图像的 图像质量的权重；基于分别确定的所述plate_score、所述车辆尺寸信息、 所述车辆的方向信息以及所述车辆的完整性信息的权重确定所述目标车牌图像的图像质量。在本实施例中，为了有效、直观地对车辆生命周期中 的所有图像进行质量评分，选出最优的一张车辆图像进行抓拍输出和传入 后续步骤进行属性分析，需要将车牌质量分值、车辆尺寸、方向、完整性 这几个评价指标综合考虑，这就是一个多指标综合评价问题。一方面，评 价指标之间存在相关性，比如贴边距离和车辆尺寸两个指标：由于检测框 的定位精确度受车辆尺寸影响，同样大小的贴边距离，尺寸大的车辆图像 质量更可能受到贴边距离的影响；又比如车辆方向分值ratio[0]、ratio[1]和 ratio[2]三者相互关联。另一方面，评价指标较多，且难以确定每个指标影 响车辆图像质量的权重。这都大大增加了车辆图像质量评分的复杂性。本 发明使用PCA(主成分分析)方法，对几个评价指标通过线性变换转化成 互不相关的特征向量，使用转化后特征向量对应的特征值来确定各个评价 因子在综合评价中的影响权重。

在上述实施例中，分别确定所述plate_score、所述车辆尺寸信息、所 述车辆的方向信息以及所述车辆的完整性信息对于确定所述目标车牌图 像的图像质量的权重包括：

确定训练样本数据矩阵X如公式3c-3所示：

其中，所述X中列向的8个变量分别表示所述plate_score，所述车辆 尺寸信息中包括的车辆高，所述车辆尺寸信息中包括的车辆宽，所述车辆 的方向信息中包括的前向分值ratio[0]，所述车辆的方向信息中包括的侧向 分值ratio[1]，所述车辆的方向信息中包括的后向分值ratio[2]，所述车辆的 完整性信息中包括的遮挡参数cover_ratio以及所述车辆的完整性信息中包 括的贴边参数stick_dis8个评价因子在各个维度进行均值归一化后的值， m为样本数，每一行表示一个样本数据，一共m个样本；PCA方法先利 用X获得协方差矩阵C(公式见3c_4)，再对C求取特征值λ和特征向量U， 协方差矩阵C与特征值矩阵Λ、特征向量矩阵U的关系见公式3c_5。特征 向量u_i即经过线性变换后的第i维的评价因子，特征值λ_i规定了u_i在车辆 图像的质量评分中占的权重，公式见3c_6。具体包括：

利用所述X确定协方差矩阵C：

对所述C求取特征值矩阵Λ和特征向量矩阵U，其中：

基于Λ和U确定各评价因子在所述目标车牌图像的图像质量的权重， 其中，特征向量u_i为经过线性变换后的第i维的评价因子，特征值λ_i用于 指示u_i在车辆图像的质量评分中占的权重，Λ的对角线上的值是每一个特 征向量对应的特征值，y_j表示第j个样本的质量评价分值，λ_i表示特征向 量第i维对应的特征值，u_ji表示第j个样本的特征向量在第i维的值，其中， λ_n中的n实际上表示特征向量的维度，可选地，该n取值可以为8，即表 示有8维特征向量。

下面结合附图对本发明的整体流程进行说明，如图7所示，该整体流 程包括如下步骤：

S702，获取车牌车辆的检测结果；

S704，分析车牌纹理信息，并获取车牌像素密度值；

S706，利用先验指示结合像素密度，获得车牌评分，实现车牌优选；

S708，利用车辆先验知识和车辆检测框信息获取车辆方向和完整性；

S710，利用车辆完整性、方向、车牌信息优选车辆。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根 据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当 然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理 解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软 件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如 ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可 以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所 述的方法。

在本实施例中还提供了一种车牌图像质量的确定装置，该装置用于实 现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使 用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下 实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的 组合的实现也是可能并被构想的。

图8是根据本发明实施例的车牌图像质量的确定装置的结构框图，如 图8所示，该装置包括：

第一确定模块82，用于确定与当前帧图像中包括的目标车牌图像的尺 寸对应的目标sobel算子；

第二确定模块84，用于基于所述目标sobel算子确定所述目标车牌图 像的目标像素密度；

第三确定模块86，用于至少根据所述目标像素密度确定所述目标车牌 图像的图像质量。

在一个可选的实施例中，所述第一确定模块82可以通过如下方式确 定与当前帧图像中包括的目标车牌图像的尺寸对应的目标sobel算子：通 过如下公式确定所述目标sobel算子：

n＝(plate_w/w_thresh-1)＞2？(plate_w/w_thresh-1):2

其中，n表示所述目标sobel算子的半宽，plate_w表示所述目标车牌 图像的宽度，w_thresh表示所述目标sobel算子随所述目标车牌图像的尺寸 扩展的程度，d₀表示所述目标车牌图像中的当前像素，d_i和d_-i分别表示d₀的左右距离i个像素位置的像素，i为大于或等于1的整数。

在一个可选的实施例中，所述第二确定模块84可以通过如下方式确 定所述目标车牌图像的目标像素密度值：基于所述目标sobel算子确定所 述目标车牌图像的车牌水平像素密度以及所述目标车牌图像的车牌倾斜 像素密度；将所述车牌水平像素密度和所述车牌倾斜像素密度确定为所述 目标像素密度值。

在一个可选的实施例中，所述第二确定模块84可以通过如下方式确 述目标车牌图像的车牌水平像素密度：通过如下公式确定所述车牌水平像 素密度hpd_value：

其中，start_x、end_x、start_y、end_y分别表示预先设置的用于计 算所述hpd_value的矩形框在所述目标车牌图像中的左、右、上、下位置， d_ij表示所述目标车牌图像中第i行第j列的像素。

在一个可选的实施例中，所述第二确定模块84可以通过如下方式确 定所述目标车牌图像的车牌倾斜像素密度：确定所述目标车牌图像与预定 正方形块重叠的车牌图像；逐行确定重叠的车牌图像的像素密度，并在各 列中选择像素密度最大的位置作为重叠的车牌图像当前列的纵向中心；基 于确定的各列的纵向中心确定所述目标车牌图像的车牌倾斜像素密度。

在一个可选的实施例中，所述第二确定模块84可以通过如下方式基 于确定的各列的纵向中心确定所述目标车牌图像的车牌倾斜像素密度：通 过对确定的各列的纵向中心分别向上向下扩展预定像素距离来生成扩展 后的车牌图像；将扩展后的车牌图像的像素密度确定为所述车牌倾斜像素 密度。

在一个可选的实施例中，所述第三确定模块86可以通过如下方式确 定所述目标车牌图像的图像质量：确定所述目标车牌图像的车牌尺寸信息、 高宽比信息以及所述目标车牌图像在用于对所述目标车牌图像进行检测 的预设检测框中的位置信息；基于所述车牌尺寸信息、所述高宽比信息、 所述位置信息以及所述目标像素密度确定所述目标车牌图像的图像质量。

在一个可选的实施例中，所述第三确定模块86可以通过如下方式基 于所述车牌尺寸信息、所述高宽比信息、所述位置信息以及所述目标像素 密度确定所述目标车牌图像的图像质量：通过如下公式确定所述目标车牌 图像的评分plate_score：

plate_score＝g(heuristic_k)*f(pd_value)；其中，

g(heuristic_k)＝heuristic_k₁+heuristic_k₂+heuristic_k₃，

heuristic_k₁、heuristic_k₂、heuristic_k₃分别表示所述车牌尺寸信息、所 述高宽比信息、所述位置信息，g(·)表示对heuristic_k所做的函数处理公式， pd_value表示所述目标像素密度，f(·)表示对pd_value进行的函数处理公 式，P_DENSITY_T表示预先设置的像素密度阈值；至少基于所述 plate_score确定所述目标车牌图像的图像质量。

在一个可选的实施例中，所述第三确定模块86可以通过如下方式基 于所述plate_score确定所述目标车牌图像的图像质量：确定所述目标车牌 图像所在车辆的车辆尺寸信息、所述车辆的方向信息以及所述车辆的完整 性信息；基于所述plate_score、所述车辆尺寸信息、所述车辆的方向信息 以及所述车辆的完整性信息确定所述目标车牌图像的图像质量。

在一个可选的实施例中，所述第三确定模块86可以通过如下方式确 定所述车辆的完整性信息：通过如下公式确定所述车辆的遮挡参数 cover_ratio：

其中，所述cover_ratio表示所述车辆 受遮挡面积占所述车辆自身面积的比例，r表示用于检测机动车的检测框， Ω表示两个检测框的交集运算，Area(·)表示检测框的面积运算，m表示当 前帧内所有的目标数；通过如下公式确定所述车辆的贴边参数cover_ratio：

stick_dis＝min(ul_x,ul_y,img_w-lr_x,img_h-lr_y)，其中，stick_dis表 示所述车辆的最短贴边距离，ul_x、ul_y分别表示用于检测所述车辆的 检测框的左上角横、纵坐标，lr_x、lr_y分别表示所述检测框的右下角横、 纵坐标，img_w、img_h分别表示当前帧大图的宽、高；基于所述cover_ratio 和所述cover_ratio确定所述车辆的所述完整性信息。

在一个可选的实施例中，所述第三确定模块86可以通过如下方式确 定所述车辆的方向信息：通过如下公式确定所述车辆各方向的分值：

sta＝Δy/sqrt(Δy*Δy+Δx*Δx)

cta＝Δx/sqrt(Δy*Δy+Δx*Δx)

其中，

表示以当前帧图像的右上角为坐标原点的所述车辆的位移向 量，x、y分别表示所述车辆的横、纵方向的坐标，

分别表示所 述车辆在t时刻和t-T时刻的位移向量，sta表示车辆从t-T时刻到t时刻，y 方向的位移向量差与整体轨迹长度的比值，cta表示车辆从t-T时刻到t时 刻，x方向的位移向量差与整体轨迹长度的比值，ratio数组分别表示机动 车前向、侧向、后向的方向评分，其中，当Δy＜0时，前向分值ratio[0]为0，侧向和后向的分值分别为ratio[1]和ratio[2]；当Δy＜0时，无后向分值，侧向 和前向分值分别为ratio[1]和ratio[0]；abs(·)表示取绝对值运算；基于确定的 各方向的分值确定所述车辆的方向信息。

在一个可选的实施例中，所述第三确定模块86可以通过如下方式基 于所述plate_score、所述车辆尺寸信息、所述车辆的方向信息以及所述车 辆的完整性信息确定所述目标车牌图像的图像质量：分别确定所述 plate_score、所述车辆尺寸信息、所述车辆的方向信息以及所述车辆的完 整性信息对于确定所述目标车牌图像的图像质量的权重；基于分别确定的 所述plate_score、所述车辆尺寸信息、所述车辆的方向信息以及所述车辆 的完整性信息的权重确定所述目标车牌图像的图像质量。

在一个可选的实施例中，所述第三确定模块86可以通过如下方式分 别确定所述plate_score、所述车辆尺寸信息、所述车辆的方向信息以及所 述车辆的完整性信息对于确定所述目标车牌图像的图像质量的权重包括：

确定训练样本数据矩阵X为：

其中，所述X中列向的8个变量分别表示所述plate_score，所述车辆 尺寸信息中包括的车辆高，所述车辆尺寸信息中包括的车辆宽，所述车辆 的方向信息中包括的前向分值，所述车辆的方向信息中包括的侧向分值， 所述车辆的方向信息中包括的后向分值，所述车辆的完整性信息中包括的 遮挡参数以及所述车辆的完整性信息中包括的贴边参数8个评价因子在各 个维度进行均值归一化后的值，m为样本数；

利用所述X确定协方差矩阵C：

对所述C求取特征值矩阵Λ和特征向量矩阵U，其中：

C＝UΛU^-1

基于Λ和U确定各评价因子在所述目标车牌图像的图像质量的权重， 其中，特征向量u_i为经过线性变换后的第i维的评价因子，特征值λ_i用于 指示u_i在车辆图像的质量评分中占的权重，Λ的对角线上的值是每一个特 征向量对应的特征值，y_j表示第j个样本的质量评价分值，λ_i表示特征向 量第i维对应的特征值，u_ji表示第j个样本的特征向量在第i维的值。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于 后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器 中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机 程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中 的步骤。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只 读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存 储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存 储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述 任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中， 该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式 中所描述的示例，本实施例在此不再赘述。

由上述实施例可知，本发明实施例提出了根据车辆生命周期中的特征 信息，快速有效地挑选出一张质量最优的车辆车牌的方法。首先，可以逐 帧针对目标在视频中的车牌检测结果，采用扩展性sobel算子处理车牌纹 理信息，获取车牌锐化图的像素密度值，像素密度值作为车牌清晰度的判 断。之后，利用车牌的高宽比、在车辆中的位置、尺寸等处于何种状态最 优的先验知识，结合车牌像素密度值，获取车牌质量分值，并利用车牌质 量分值在视频序列中挑选出最优的车牌图像。然后，我们将贴边距离、遮 挡比例作为车辆完整性参数，利用历史轨迹点获取方向信息，使用主成分 分析方法综合车牌质量分值、完整性、方向、尺寸等信息，实现车辆质量 评分。

通过本发明实施例，可以达到如下有益效果：

本发明实施例中的车辆车牌优选方法不同于传统单纯基于视觉感知 的角度评价图像像质，而是从后期属性识别的角度评价车辆车牌质量效果。

本发明实施例对车辆车牌生命周期中的所有图片，采用快速便捷的 方式进行质量评价和优选，避免每帧车辆车牌都进行属性分析带来的计算 量过大、时间开销过多的问题。

本发明实施例在车牌质量评估时，采用随车牌尺寸自适应扩展的sobel 算子进行锐化，避免车牌尺寸差异带来的锐化后像素密度差异，导致车牌 质量评判不准问题。

本发明实施例对车牌过度倾斜情况进行了分析和处理，避免了车牌倾 斜带来的质量评估不准问题。

本发明实施例对车辆完整性参数设置中，基于检测缺陷的考虑，增设 了检测框最短贴边距离作为完整性参数之一。最短贴边距离可以有效判断 出车辆目标截断的可能性。

本发明实施例使用主成分分析方法综合车牌质量、车辆方向、完整性、 尺寸等因素进行维度转换，简化多指标综合评价问题。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤 可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者 分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执 行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来 执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的 步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模 块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特 定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于 本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原 则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护 范围之内。

Claims (13)

1.一种车牌图像质量的确定方法，其特征在于，包括：

确定与当前帧图像中包括的目标车牌图像的尺寸对应的目标索贝尔sobel算子；

基于所述目标sobel算子确定所述目标车牌图像的目标像素密度；

至少根据所述目标像素密度确定所述目标车牌图像的图像质量。

2.根据权利要求1所述的方法，其特征在于，确定与当前帧图像中包括的目标车牌图像的尺寸对应的目标sobel算子包括：

通过如下公式确定所述目标sobel算子：

n＝(plate_w/w_thresh-1)＞2？(plate_w/w_thresh-1):2

其中，n表示所述目标sobel算子的半宽，plate_w表示所述目标车牌图像的宽度，w_thresh表示所述目标sobel算子随所述目标车牌图像的尺寸扩展的程度，d₀表示所述目标车牌图像中的当前像素，d_i和d_-i分别表示d₀的左右距离i个像素位置的像素，i为大于或等于1的整数。

3.根据权利要求1所述的方法，其特征在于，基于所述目标sobel算子确定所述目标车牌图像的目标像素密度值包括：

基于所述目标sobel算子确定所述目标车牌图像的车牌水平像素密度以及所述目标车牌图像的车牌倾斜像素密度；

将所述车牌水平像素密度和所述车牌倾斜像素密度确定为所述目标像素密度值。

4.根据权利要求3所述的方法，其特征在于，基于所述目标sobel算子确定所述目标车牌图像的车牌水平像素密度包括：

通过如下公式确定所述车牌水平像素密度hpd_value：

其中，start_x、end_x、start_y、end_y分别表示预先设置的用于计算所述hpd_value的矩形框在所述目标车牌图像中的左、右、上、下位置，d_ij表示所述目标车牌图像中第i行第j列的像素。

5.根据权利要求3所述的方法，其特征在于，基于所述目标sobel算子确定所述目标车牌图像的车牌倾斜像素密度包括：

确定所述目标车牌图像与预定正方形块重叠的车牌图像；

逐行确定重叠的车牌图像的像素密度，并在各列中选择像素密度最大的位置作为重叠的车牌图像当前列的纵向中心；

基于确定的各列的纵向中心确定所述目标车牌图像的车牌倾斜像素密度。

6.根据权利要求5所述的方法，其特征在于，基于确定的各列的纵向中心确定所述目标车牌图像的车牌倾斜像素密度包括：

通过对确定的各列的纵向中心分别向上向下扩展预定像素距离来生成扩展后的车牌图像；

将扩展后的车牌图像的像素密度确定为所述车牌倾斜像素密度。

7.根据权利要求1所述的方法，其特征在于，至少根据所述目标像素密度确定所述目标车牌图像的图像质量包括：

确定所述目标车牌图像的车牌尺寸信息、高宽比信息以及所述目标车牌图像在用于对所述目标车牌图像进行检测的预设检测框中的位置信息；

基于所述车牌尺寸信息、所述高宽比信息、所述位置信息以及所述目标像素密度确定所述目标车牌图像的图像质量。

8.根据权利要求7所述的方法，其特征在于，基于所述车牌尺寸信息、所述高宽比信息、所述位置信息以及所述目标像素密度确定所述目标车牌图像的图像质量包括：

通过如下公式确定所述目标车牌图像的评分plate_score：

plate_score＝g(heuristic_k)*f(pd_value)；

其中，g(heuristic_k)＝heuristic_k₁+heuristic_k₂+heuristic_k₃，

heuristic_k₁、heuristic_k₂、heuristic_k₃分别表示所述车牌尺寸信息、所述高宽比信息、所述位置信息，g(·)表示对heuristic_k所做的函数处理公式，pd_value表示所述目标像素密度，f(·)表示对pd_value进行的函数处理公式，P_DENSITY_T表示预先设置的像素密度阈值；

至少基于所述plate_score确定所述目标车牌图像的图像质量。

9.根据权利要求8所述的方法，其特征在于，至少基于所述plate_score确定所述目标车牌图像的图像质量包括：

确定所述目标车牌图像所在车辆的车辆尺寸信息、所述车辆的方向信息以及所述车辆的完整性信息；

基于所述plate_score、所述车辆尺寸信息、所述车辆的方向信息以及所述车辆的完整性信息确定所述目标车牌图像的图像质量。

10.根据权利要求9所述的方法，其特征在于，基于所述plate_score、所述车辆尺寸信息、所述车辆的方向信息以及所述车辆的完整性信息确定所述目标车牌图像的图像质量包括：

分别确定所述plate_score、所述车辆尺寸信息、所述车辆的方向信息以及所述车辆的完整性信息对于确定所述目标车牌图像的图像质量的权重；

基于分别确定的所述plate_score、所述车辆尺寸信息、所述车辆的方向信息以及所述车辆的完整性信息的权重确定所述目标车牌图像的图像质量。

11.一种车牌图像质量的确定装置，其特征在于，包括：

第一确定模块，用于确定与当前帧图像中包括的目标车牌图像的尺寸对应的目标sobel算子；

第二确定模块，用于基于所述目标sobel算子确定所述目标车牌图像的目标像素密度；

第三确定模块，用于至少根据所述目标像素密度确定所述目标车牌图像的图像质量。

12.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至10任一项中所述的方法。

13.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至10任一项中所述的方法。

Images