CN108665417B - 一种车牌图像去模糊方法、装置及系统 - Google Patents

Abstract

本发明实施例提供了一种车牌图像去模糊方法、装置及系统，其中，车牌图像去模糊方法包括：采集车牌图像，并通过统计车牌图像的清晰度信息，确定车牌图像的当前模糊等级；根据当前模糊等级，以及模糊等级与神经网络的网络参数的对应关系，确定当前模糊等级对应的神经网络的网络参数，其中，对应关系为通过对多张清晰车牌图像和多张模糊车牌图像构成的样本对集合进行训练得到的；根据当前模糊等级对应的神经网络的网络参数，对车牌图像进行神经网络运算，得到去模糊后的车牌图像。通过本发明可以实现在出现字符相连的情况时，提高字符复原效果。

Description

一种车牌图像去模糊方法、装置及系统

技术领域

本发明涉及图像处理技术领域，特别是涉及一种车牌图像去模糊方法、装置及系统。

背景技术

随着我国国民经济的飞速发展，机动车辆的规模及流量迎来了爆炸式增长，致使公路交通负担越来越重，交通事故已严重危害人民群众的人身和财产安全。在交通管理方面，抓拍、定位和识别超速、闯红灯等违章的车牌号对交通管理执法和实现交通自动化管理具有非常重要的意义，但由于违章车辆的速度一般很快，图像采集设备采集到的车牌图像往往是模糊的，无法准确获取车牌信息。

为了应对上述无法准确获取车牌信息的问题，现有技术提出了一种实用的模糊车牌图像复原方法，该方法对训练集中所有车牌图像提取单个字符，作为字符标准库；在进行车牌去模糊处理时，利用车牌二值图像的垂直积分投影的波峰波谷完成单个字符分割，利用字符标准库对分割后的单个字符进行复原处理，并按原车牌图像排列顺序排列，得到去模糊复原后的车牌图像。

由于在车牌图像出现运动模糊时，可能会出现字符相连的情况，而上述方案只能提取单个字符，字符相连时会降低字符分割的准确性，进而影响字符复原效果。

发明内容

本发明实施例的目的在于提供一种车牌图像去模糊方法、装置及系统，以实现在出现字符相连的情况时，提高字符复原效果。具体技术方案如下：

第一方面，本发明实施例提供了一种车牌图像去模糊方法，所述方法包括：

采集车牌图像，并通过统计所述车牌图像的清晰度信息，确定所述车牌图像的当前模糊等级；

根据所述当前模糊等级，以及模糊等级与神经网络的网络参数的对应关系，确定所述当前模糊等级对应的神经网络的网络参数，其中，所述对应关系为通过对多张清晰车牌图像和多张模糊车牌图像构成的样本对集合进行训练得到的；

根据所述网络参数，对所述车牌图像进行神经网络运算，得到去模糊后的车牌图像。

可选的，所述模糊等级包括：严重模糊等级、中度模糊等级及轻度模糊等级，或者，所述模糊等级包括：第1等级至第n等级，其中，n为大于或等于2的整数。

可选的，所述采集车牌图像，包括：

采集原始车辆图像；

统计所述原始车辆图像的图像亮度信息；

根据所述图像亮度信息，得到采集所述原始车辆图像时的曝光参数；

调节所述曝光参数，得到满足预设图像亮度条件的亮度信息；

采集具有所述亮度信息的车辆图像的图像信号；

根据所述图像信号，提取车牌图像。

可选的，所述通过统计所述车牌图像的清晰度信息，确定所述车牌图像的当前模糊等级，包括：

统计所述车牌图像的平均梯度幅值；

对所述平均梯度幅值进行映射，并根据预设的平均梯度幅值与图像模糊等级的映射关系，确定所述车牌图像的当前模糊等级；或者，获取离线训练的模糊车牌图像的平均梯度幅值及所对应的模糊等级，确定所述离线训练的模糊车牌图像的平均梯度幅值中与所述车牌图像的平均梯度幅值相等的平均梯度幅值，所对应的模糊等级为所述车牌图像的当前模糊等级。

可选的，所述采集车牌图像，并通过统计所述车牌图像的清晰度信息，确定所述车牌图像的当前模糊等级之前，所述方法还包括：

获取多张清晰车牌图像及多张模糊车牌图像，并将每个清晰车牌图像及所对应的模糊车牌图像作为样本对，构成样本对集合；

根据预设参数确定所述样本对集合中所有样本对的模糊等级，其中，所述预设参数为预设降质模糊核强度或者预设长曝光时间；

将所述样本对集合中具有相同模糊等级的所有样本对及由相同模糊等级的样本对确定的相似性度量函数，输入深度神经网络，进行训练；

在所述相似性度量函数的数值小于预设值时，完成所述训练，得到模糊等级与神经网络的网络参数的对应关系。

可选的，所述获取多张清晰车牌图像及多张模糊车牌图像，并将每个清晰车牌图像及所对应的模糊车牌图像作为样本对，构成样本对集合，包括：

获取经短曝光时间采集的多张清晰车牌图像，及经长曝光时间采集的多张模糊车牌图像；

将同时采集的清晰车牌图像与模糊车牌图像进行亮度归一化操作，得到亮度相同的第一清晰车牌图像与第一模糊车牌图像；

获得包含所述第一清晰车牌图像与所述第一模糊车牌图像的样本对；

获得不同采集时刻下的样本对，构成样本对集合。

可选的，所述获取多张清晰车牌图像及多张模糊车牌图像，并将每个清晰车牌图像及所对应的模糊车牌图像作为样本对，构成样本对集合，包括：

获取经短曝光时间采集的多张清晰车牌图像；

根据预设降质模糊核，对每个清晰车牌图像进行退化模型降质，生成每个清晰车牌图像对应的模糊车牌图像；

获得包含第二清晰车牌图像与所述第二清晰车牌图像对应的第二模糊车牌图像的样本对，其中，所述第二清晰车牌图像为所有清晰车牌图像中的任一清晰车牌图像；

获得每张清晰车牌图像对应的样本对，构成样本对集合。

可选的，在所述模糊等级包括严重模糊等级、中度模糊等级及轻度模糊等级时，所述根据所述当前模糊等级，以及模糊等级与神经网络的网络参数的对应关系，确定所述当前模糊等级对应的神经网络的网络参数，包括：

在所述当前模糊等级为严重模糊等级时，从所述对应关系中选择严重模糊等级对应的神经网络的网络参数；

或者，

在所述当前模糊等级为中度模糊等级时，从所述对应关系中选择中度模糊等级对应的神经网络的网络参数；

或者，

在所述当前模糊等级为轻度模糊等级时，从所述对应关系中选择轻度模糊等级对应的神经网络的网络参数；

所述根据所述网络参数，对所述车牌图像进行神经网络运算，得到去模糊后的车牌图像，包括：

根据所述严重模糊等级对应的神经网络的网络参数，对所述车牌图像进行神经网络运算，得到去模糊后的车牌图像；

或者，

根据所述中度模糊等级对应的神经网络的网络参数，对所述车牌图像进行神经网络运算，得到去模糊后的车牌图像；

或者，

根据所述轻度模糊等级对应的神经网络的网络参数，对所述车牌图像进行神经网络运算，得到去模糊后的车牌图像。

可选的，所述根据所述网络参数，对所述车牌图像进行神经网络运算，得到去模糊后的车牌图像之后，所述方法还包括：

对所述去模糊后的车牌图像进行编码，得到编码后去模糊的车牌图像。

可选的，所述清晰车牌图像及所述模糊车牌图像的格式均为Bayer格式数据。

第二方面，本发明实施例提供了一种车牌图像去模糊装置，所述装置包括：

采集模块，用于采集车牌图像，并通过统计所述车牌图像的清晰度信息，确定所述车牌图像的当前模糊等级；

网络参数确定模块，用于根据所述当前模糊等级，以及模糊等级与神经网络的网络参数的对应关系，确定所述当前模糊等级对应的神经网络的网络参数，其中，所述对应关系为通过对多张清晰车牌图像和多张模糊车牌图像构成的样本对集合进行训练得到的；

第一运算模块，用于根据所述网络参数，对所述车牌图像进行神经网络运算，得到去模糊后的车牌图像。

可选的，所述模糊等级包括：严重模糊等级、中度模糊等级及轻度模糊等级，或者，所述模糊等级包括：第1等级至第n等级，其中，n为大于或等于2的整数。

可选的，所述采集模块，包括：

第一采集子模块，用于采集原始车辆图像；

第一统计子模块，用于统计所述原始车辆图像的图像亮度信息；

参数获得子模块，用于根据所述图像亮度信息，得到采集所述原始车辆图像时的曝光参数；

调节子模块，用于调节所述曝光参数，得到满足预设图像亮度条件的亮度信息；

第二采集子模块，用于采集具有所述亮度信息的车辆图像的图像信号；

提取子模块，用于根据所述图像信号，提取车牌图像。

可选的，所述采集模块，还包括：

第二统计子模块，用于统计所述车牌图像的平均梯度幅值；

当前模糊等级确定子模块，用于对所述平均梯度幅值进行映射，并根据预设的平均梯度幅值与图像模糊等级的映射关系，确定所述车牌图像的当前模糊等级；或者，获取离线训练的模糊车牌图像的平均梯度幅值及所对应的模糊等级，确定所述离线训练的模糊车牌图像的平均梯度幅值中与所述车牌图像的平均梯度幅值相等的平均梯度幅值所对应的模糊等级为所述车牌图像的当前模糊等级。

可选的，所述装置还包括：

获取模块，用于获取多张清晰车牌图像及多张模糊车牌图像，并将每个清晰车牌图像及所对应的模糊车牌图像作为样本对，构成样本对集合；

第一确定模块，用于根据预设参数确定所述样本对集合中所有样本对的模糊等级，其中，所述预设参数为预设降质模糊核强度或者预设长曝光时间；

第二运算模块，用于将所述样本对集合中具有相同模糊等级的所有样本对及由相同模糊等级的样本对确定的相似性度量函数，输入深度神经网络，进行训练；

第二确定模块，用于在所述相似性度量函数的数值小于预设值时，完成所述训练，得到模糊等级与神经网络的网络参数的对应关系。

可选的，所述获取模块，包括：

第一获取子模块，用于获取经短曝光时间采集的多张清晰车牌图像，及经长曝光时间采集的多张模糊车牌图像；

归一化子模块，用于将同时采集的清晰车牌图像与模糊车牌图像进行亮度归一化操作，得到亮度相同的第一清晰车牌图像与第一模糊车牌图像；

第一样本对获得子模块，用于获得包含所述第一清晰车牌图像与所述第一模糊车牌图像的样本对；

第一集合构成子模块，用于获得不同采集时刻下的样本对，构成样本对集合。

可选的，所述获取模块，还包括：

第二获取子模块，用于获取经短曝光时间采集的多张清晰车牌图像；

降质子模块，用于根据预设降质模糊核，对每个清晰车牌图像进行退化模型降质，生成每个清晰车牌图像对应的模糊车牌图像；

第二样本对获得子模块，用于获得包含第二清晰车牌图像与所述第二清晰车牌图像对应的第二模糊车牌图像的样本对，其中，所述第二清晰车牌图像为所有清晰车牌图像中的任一清晰车牌图像；

第二集合构成子模块，用于获得每张清晰车牌图像对应的样本对，构成样本对集合。

可选的，所述网络参数确定模块，包括：

第一选择子模块，用于在所述当前模糊等级为严重模糊等级时，从所述对应关系中选择严重模糊等级对应的神经网络的网络参数；

第二选择子模块，用于在所述当前模糊等级为中度模糊等级时，从所述对应关系中选择中度模糊等级对应的神经网络的网络参数；

第三选择子模块，用于在所述当前模糊等级为轻度模糊等级时，从所述对应关系中选择轻度模糊等级对应的神经网络的网络参数；

所述第一运算模块，包括：

第一运算子模块，用于根据所述严重模糊等级对应的神经网络的网络参数，对所述车牌图像进行神经网络运算，得到去模糊后的车牌图像；

第二运算子模块，用于根据所述中度模糊等级对应的神经网络的网络参数，对所述车牌图像进行神经网络运算，得到去模糊后的车牌图像；

第三运算子模块，用于根据所述轻度模糊等级对应的神经网络的网络参数，对所述车牌图像进行神经网络运算，得到去模糊后的车牌图像。

可选的，所述装置还包括：

编码模块，用于对所述去模糊后的车牌图像进行编码，得到编码后去模糊的车牌图像。

可选的，所述清晰车牌图像及所述模糊车牌图像的格式均为Bayer格式数据。

第三方面，本发明实施例提供了一种车牌图像去模糊系统，所述系统包括：

图像采集单元，用于采集车牌图像，并将采集的车牌图像发送至模糊估计单元及去模糊处理单元，所述图像采集单元中包括：将所述车牌图像的光信号转化为电信号的图像传感器部件；

模糊估计单元，用于获取所述图像采集单元发送的所述车牌图像，并通过统计所述车牌图像的清晰度信息，确定所述车牌图像的当前模糊等级；发送所述车牌图像的当前模糊等级至去模糊处理单元；

离散训练单元，用于通过对多张清晰车牌图像和多张模糊车牌图像构成的样本对集合进行训练，得到模糊等级与神经网络的网络参数的对应关系；发送所述对应关系至去模糊处理单元；

去模糊处理单元，用于从所述离散训练单元发送的所述对应关系中选择所述模糊估计单元发送的所述当前模糊等级对应的神经网络的网络参数，对所述图像采集单元发送的所述车牌图像进行神经网络运算，得到去模糊后的车牌图像。

可选的，所述系统还包括：

自动曝光单元，用于获取所述图像采集单元采集的原始车辆图像；统计所述原始车辆图像的图像亮度信息；根据所述图像亮度信息，得到采集所述原始车辆图像时的曝光参数；调节所述曝光参数，得到满足预设图像亮度条件的亮度信息；

车牌提取单元，用于获取所述图像采集单元采集的所述原始车辆图像；采集具有经所述自动曝光单元得到的亮度信息的车辆图像的图像信号；根据所述图像信号，提取车牌图像；发送所述车牌图像至模糊估计单元及去模糊处理单元，以使所述模糊估计单元根据所述车牌图像确定所述车牌图像的当前模糊等级，所述去模糊处理单元对所述车牌图像进行神经网络运算，得到去模糊后的车牌图像；

编码单元，用于对所述去模糊处理单元得到的去模糊后的车牌图像进行编码，得到编码后去模糊的车牌图像。

可选的，所述离散训练单元，包括：

样本生成子单元，用于获取多张清晰车牌图像及多张模糊车牌图像，并将每个清晰车牌图像及所对应的模糊车牌图像作为样本对，构成样本对集合；

网络训练子单元，用于根据预设参数确定所述样本对集合中所有样本对的模糊等级，其中，所述预设参数为预设降质模糊核强度或者预设长曝光时间；将所述样本对集合中具有相同模糊等级的所有样本对及由相同模糊等级的样本对确定的相似性度量函数，输入深度神经网络，进行训练；在所述相似性度量函数的数值小于预设值时，完成所述训练，得到模糊等级与神经网络的网络参数的对应关系。

可选的，所述样本生成子单元，具体用于：

获取经短曝光时间采集的多张清晰车牌图像，及经长曝光时间采集的多张模糊车牌图像；将同时采集的清晰车牌图像与模糊车牌图像进行亮度归一化操作，得到亮度相同的第一清晰车牌图像与第一模糊车牌图像；获得包含所述第一清晰车牌图像与所述第一模糊车牌图像的样本对；获得不同采集时刻下的样本对，构成样本对集合；

或者，

获取经短曝光时间采集的多张清晰车牌图像；根据预设降质模糊核，对每个清晰车牌图像进行退化模型降质，生成每个清晰车牌图像对应的模糊车牌图像；获得包含第二清晰车牌图像与所述第二清晰车牌图像对应的第二模糊车牌图像的样本对，其中，所述第二清晰车牌图像为所有清晰车牌图像中的任一清晰车牌图像；获得每张清晰车牌图像对应的样本对，构成样本对集合像。

本发明实施例提供的一种车牌图像去模糊方法、装置及系统，通过采集多张清晰车牌图像及多张模糊车牌图像，并构成样本对集合，并通过对样本对集合中的所有样本对进行训练，得到不同等级的模糊车牌图像对应的神经网络的网络参数，通过获取采集的车牌图像的当前模糊等级，选择当前模糊等级对应的神经网络的网络参数，对车牌图像进行神经网络运算得到去模糊后的车牌图像。网络参数与图像本身有关，而不需要对单个字符进行提取，在出现字符相连的情况时，不需要对字符进行分割，针对不同等级的模糊车牌图像，根据预先训练好的当前模糊等级对应的网络参数，可以得到提升字符复原效果的去模糊后的车牌图像。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的车牌图像去模糊方法的第一种流程示意图；

图2为本发明实施例的车牌图像去模糊方法的第二种流程示意图；

图3为本发明实施例的车牌图像去模糊方法的第三种流程示意图；

图4为本发明实施例的应用实例的样本采集示意图；

图5为本发明实施例的应用实例的深度神经网络结构示意图；

图6为本发明实施例的应用实例的模糊车牌复原示意图；

图7为本发明实施例的车牌图像去模糊装置的第一种结构示意图；

图8为本发明实施例的车牌图像去模糊装置的第二种结构示意图；

图9为本发明实施例的车牌图像去模糊装置的第三种结构示意图；

图10为本发明实施例的车牌图像去模糊系统的一种结构示意图；

图11为本发明实施例的车牌图像去模糊系统的另一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了实现在出现字符相连的情况时，提高字符复原效果，本发明实施例提供了一种车牌图像去模糊方法、装置及系统。

下面首先对本发明实施例所提供的一种车牌图像去模糊方法进行介绍。

需要说明的是，本发明实施例所提供的一种车牌图像去模糊方法的执行主体可以为一种车牌识别系统中的成像控制器，可以通过软件实现本发明实施例所提供的车牌图像去模糊方法。需要强调的是，本发明实施例的车牌图像去模糊方法的执行主体不仅限于上述成像控制器，还可以是摄像机、服务器等，实现本发明实施例所提供的车牌图像去模糊方法不仅限于软件，还可以是硬件电路或逻辑电路。

如图1所示，本发明实施例所提供的一种车牌图像去模糊方法，可以包括如下步骤：

S101，采集车牌图像，并通过统计车牌图像的清晰度信息，确定车牌图像的当前模糊等级。

其中，采集车牌图像，可以是通过图像采集电路采集的，也可以是通过图像采集传感器采集的，一般情况下，车牌图像的采集过程是将光信号转化为电信号，采集到的数据格式可以是Bayer格式数据、RGB格式数据、YUV格式数据等格式数据中的任一种。车牌图像的清晰度信息可以是车牌图像的边缘信息，也可以是车牌图像的纹理信息，清晰度信息的数值越大，代表车牌图像越清晰，也就是说，车牌图像的模糊等级越低。

需要说明的是，车牌图像可以是仅仅包含车牌的图像，也可以是包含车辆、环境等信息的图像，一般情况下，车牌图像可以理解为仅包含车牌的图像。车牌图像的模糊等级代表了车牌图像的模糊程度，模糊等级可以是根据模糊的严重程度设定的严重模糊等级、中度模糊等级、轻度模糊等级，也可以是根据清晰度信息的数值设定的多个模糊等级，例如1级模糊至10级模糊。获取车牌图像的清晰度信息，可以根据车牌图像的平均梯度幅值确定，平均梯度幅值越大，车牌图像的清晰度越高、模糊等级越低；获取车牌图像的清晰度信息，也可以根据车牌图像的分辨率确定，分辨率越高，车牌图像的清晰度越高、模糊等级越低。这都是合理的，这里不做限定，当然，其他获取车牌图像的清晰度信息的方法也属于本发明实施例的保护范围。

可选的，所述模糊等级可以包括：严重模糊等级、中度模糊等级及轻度模糊等级，或者，所述模糊等级包括：第1等级至第n等级，其中，n为大于或等于2的整数。

可以理解的是，根据车牌图像模糊的严重程度设定严重模糊等级、中度模糊等级、轻度模糊等级三个模糊等级，减少了模糊等级划分的运算量，保证后续根据模糊等级确定网络参数步骤的效率。

需要说明的是，由于在采集车牌图像时，曝光参数的不同，使得采集到的车牌图像的图像亮度存在很大的差异，在采集的车牌图像太暗或者太亮时，可能不宜于后续的统计车牌图像的清晰度信息的步骤。

可选的，为了提高图像处理的效率，在采集模块采集的为包含车辆、环境等信息的原始车辆图像时，所述采集车牌图像的步骤，可以包括：

首先，采集原始车辆图像。

其中，采集的原始车辆图像为通过图像采集电路或者图像采集传感器采集的包含有车辆、车牌和/或其他环境背景的原始图像。

其次，统计原始车辆图像的图像亮度信息。

需要说明的是，图像亮度信息可以是原始车辆图像的明暗程度，可以用0-255的数值表示图像的亮度信息，其中，0表示图像最暗，255表示图像最亮。现有技术中，得到图像亮度信息有多种方法，最常用的方法是利用图像中像素的灰度值进行统计，即利用图像中像素的三色素的平均值进行统计，该方法属于现有技术，这里不再赘述。

再次，根据图像亮度信息，得到采集原始车辆图像时的曝光参数。

需要说明的是，图像亮度信息与采集原始车辆图像时的曝光参数具有对应关系，其中，曝光参数可以包括快门、增益等参数。则通过图像亮度信息可以得到采集原始车辆图像时的曝光参数。

然后，调节曝光参数，得到满足预设图像亮度条件的亮度信息。

再然后，采集具有该亮度信息的车辆图像的图像信号。

其中，预设图像亮度条件为：图像亮度信息与预设图像亮度信息的差值小于预设差值。需要说明的是，在采集的原始车辆图像太亮或者太暗时，可以通过调节曝光参数，将采集的原始车辆图像的图像亮度信息调节至与预设图像亮度信息的差值小于预设差值，其中，预设图像亮度信息为亮度适中、便于识别并进行处理的图像亮度。该预设图像亮度可以预先设定为经验值。通过本实施例，在采集原始车辆图像时，通过调节曝光参数，将采集的原始车辆图像的图像亮度信息调节至与预设图像亮度信息的差值小于预设差值，便于原始车辆图像的识别及处理。其中，原始车辆图像的图像信号可以为在采集原始车辆图像之后将光信号转换为例如电信号等数字信号的幅值信号。

需要强调的是，在采集原始车辆图像或者采集满足预设亮度信息的原始车辆图像之后，还可以通过色彩插值及亮度与输入电压的非线性关系(例如，Gamma校正)，将原始车辆图像处理为适合人眼观察的图像，这里不再赘述。

最后，根据图像信号，提取车牌图像。

需要说明的是，原始车辆图像中在车牌图像信号的幅值会出现峰值，因此，根据图像信号的峰值可以确定车牌所处的区域，提取该区域的车牌图像，使得后续步骤处理的图像更为精确。提取车牌图像的方法可以利用例如直方图分析的方法，这里不再赘述。

可选的，所述通过统计车牌图像的清晰度信息，确定车牌图像的当前模糊等级的步骤，可以包括：

首先，统计车牌图像的平均梯度幅值。

需要说明的是，平均梯度幅值表征了图像的边缘信息，边缘信息是图像的基本特征，在车牌图像中，边缘信息越丰富，则车牌越清晰。

然后，对平均梯度幅值进行映射，并根据预设的平均梯度幅值与图像模糊等级的映射关系，确定车牌图像的当前模糊等级；或者，获取离线训练的模糊车牌图像的平均梯度幅值及所对应的模糊等级，确定离线训练的模糊车牌图像的平均梯度幅值中与车牌图像的平均梯度幅值相等的平均梯度幅值所对应的模糊等级为车牌图像的当前模糊等级。

需要说明的是，由于一幅图像中边缘只占很小的一部分，则整幅图像的平均梯度幅值的越接近非边缘点的梯度幅度值，即平均梯度幅值越大则图像越清晰，而模糊等级越低。可以预先设定平均梯度幅值与图像的模糊等级的映射关系，根据平均梯度幅值确定车牌图像的模糊等级。当然也可以是在离线训练时，记录模糊车牌图像的平均梯度幅值及模糊等级，通过比较离线训练的模糊车牌图像的平均梯度幅值与车牌图像的平均梯度幅值，从离线训练的模糊车牌图像的平均梯度幅值中选择与车牌图像的平均梯度幅值相等的平均梯度幅值，确定该平均梯度幅值对应的模糊等级为车牌图像的当前模糊等级。

应用本实施例，通过提取采集的原始车辆图像的图像信号，确定车牌所处的区域，提取该区域的车牌图像，使得后续步骤处理的图像更为精确。并且通过获取车牌图像的平均梯度幅值，确定车牌图像的模糊等级，提高了图像处理的效率。

S102，根据当前模糊等级，以及模糊等级与神经网络的网络参数的对应关系，确定当前模糊等级对应的神经网络的网络参数。

其中，对应关系为通过对多张清晰车牌图像和多张模糊车牌图像构成的样本对集合进行训练得到的，清晰车牌图像与模糊车牌图像有一一对应的关系。需要说明的是，本实施例在进行去模糊之前，根据清晰车牌图像与模糊车牌图像的一一对应关系，通过对多张清晰车牌图像和多张模糊车牌图像构成样本对集合，针对每一组样本对中的模糊车牌图像，进行神经网络运算，使得运算后的特征图与该组样本对的清晰车牌图像相似，记录相似时，所使用的神经网络的网络参数作为该组样本对中模糊车牌图像对应模糊等级的神经网络的网络参数。通过上述的离线训练过程，得到模糊等级与神经网络的网络参数的对应关系，根据该对应关系，可以得到当前模糊等级所对应的神经网络的网络参数。通过对当前车牌图像的模糊程度进行估计，自适应从离线训练好的多个卷积神经网络参数中选择最合适的一组参数，针对性的提取网络网络参数，提升了运算的效率。

需要强调的是，作为样本对的清晰车牌图像和模糊车牌图像的数量一般很多，数据太少无法保证包含所有情况。清晰车牌图像及模糊车牌图像的格式可以为Bayer格式数据、RGB格式数据、YUV格式数据等中的任一种格式数据。

可选的，所述清晰车牌图像及模糊车牌图像的格式均为Bayer格式数据。

需要说明的是，相对于编码后的图像数据，Bayer数据样本的精度更高，有利于神经网络学习出性能更好的网络参数。

S103，根据当前模糊等级对应的神经网络的网络参数，对车牌图像进行神经网络运算，得到去模糊后的车牌图像。

需要说明的是，对车牌图像所进行的神经网络运算在这里不做限定，一般情况下，最常用的神经网络运算为卷积运算，以卷积运算为例，神经网络的网络参数为每个卷积层所使用的卷积核内的数值。例如，第一层卷积核的尺寸为3×3，通道数为3，每个通道的卷积核内的数值分别为[1,0.4,1；0.5,1,0.2；1,0.8,1]，[0.5,0.7,1；0.2,0.3,0.6；0.9,0.8,0.2],[0.1,0.2,0.3；0.6,0.7,0.4；0.9,0.8,0.3]，则神经网络的第一个卷积层的网络参数为[1,0.4,1；0.5,1,0.2；1,0.8,1]，[0.5,0.7,1；0.2,0.3,0.6；0.9,0.8,0.2],[0.1,0.2,0.3；0.6,0.7,0.4；0.9,0.8,0.3]。由于离线训练中模糊车牌图像与清晰车牌图像对应，因此通过对车牌图像进行神经网络运算，得到的去模糊后的车牌图像与相同模糊等级的模糊车牌图像对应的清晰车牌图像基本相同。

可选的，所述根据当前模糊等级，以及模糊等级与神经网络的网络参数的对应关系，确定当前模糊等级对应的神经网络的网络参数的步骤，可以包括：

在当前模糊等级为严重模糊等级时，从对应关系中选择严重模糊等级对应的神经网络的网络参数；

或者，

在当前模糊等级为中度模糊等级时，从对应关系中选择中度模糊等级对应的神经网络的网络参数；

或者，

在当前模糊等级为轻度模糊等级时，从对应关系中选择轻度模糊等级对应的神经网络的网络参数；

所述根据当前模糊等级对应的神经网络的网络参数，对车牌图像进行神经网络运算，得到去模糊后的车牌图像的步骤，可以包括：

根据严重模糊等级对应的神经网络的网络参数，对车牌图像进行神经网络运算，得到去模糊后的车牌图像；

或者，

根据中度模糊等级对应的神经网络的网络参数，对车牌图像进行神经网络运算，得到去模糊后的车牌图像；

或者，

根据轻度模糊等级对应的神经网络的网络参数，对车牌图像进行神经网络运算，得到去模糊后的车牌图像。

需要说明的是，根据车牌图像模糊的严重程度设定严重模糊等级、中度模糊等级、轻度模糊等级三个模糊等级，根据模糊等级的不同，从网络参数中获取的神经网络的网络参数也不同，将图像的清晰度划分为三个模糊等级，有效减少模糊等级划分的运算量。

应用本实施例，通过采集多张清晰车牌图像及多张模糊车牌图像，并构成样本对集合，并通过对样本对集合中的所有样本对进行训练，得到不同等级的模糊车牌图像对应的神经网络的网络参数，通过获取采集的车牌图像的当前模糊等级，选择当前模糊等级对应的神经网络的网络参数，对车牌图像进行神经网络运算得到去模糊后的车牌图像。网络参数与图像本身有关，而不需要对单个字符进行提取，在出现字符相连的情况时，不需要对字符进行分割，针对不同等级的模糊车牌图像，根据预先训练好的当前模糊等级对应的网络参数，可以得到提升字符复原效果的去模糊后的车牌图像。

如图2所示，本发明实施例所提供的一种车牌图像去模糊方法，在如图1所示实施例的基础上，步骤S101之前，车牌图像去模糊方法还可以包括：

S201，获取多张清晰车牌图像及多张模糊车牌图像，并将每个清晰车牌图像及所对应的模糊车牌图像作为样本对，构成样本对集合。

需要强调的是，作为样本对的清晰车牌图像和模糊车牌图像的数量一般很多，数据太少无法保证包含所有情况。清晰车牌图像与模糊车牌图像可以是同时采集的，也可以是先采集其中一种图像再通过运算得到对应的另一种图像得到的，这都是合理的。

可选的，所述获取多张清晰车牌图像及多张模糊车牌图像，并将每个清晰车牌图像及所对应的模糊车牌图像作为样本对，构成样本对集合的步骤，可以包括：

首先，获取经短曝光时间采集的多张清晰车牌图像，及经长曝光时间采集的多张模糊车牌图像。

需要说明的是，短曝光时间为采集图像的曝光时间很短，例如4ms，通过短曝光时间通常能够采集到清晰的车牌图像；而长曝光时间为采集图像的曝光时间较长，例如40ms，由于采集时间长，采集的图像往往为运动模糊的车牌图像。在每一次有一个车辆通过的时候同时采集该车辆的清晰车牌图像和模糊车牌图像。

其次，将同时采集的清晰车牌图像与模糊车牌图像进行亮度归一化操作，得到亮度相同的第一清晰车牌图像与第一模糊车牌图像。

需要说明的是，即便清晰车牌图像与模糊车牌图像是同时采集的，两个图像之间也可能存在亮度不相同的情况，为了后续处理的方便，以及数据的统一性，在采集到清晰车牌图像与模糊车牌图像后，需对这两个车牌图像的亮度进行归一化操作，保证两个图像的亮度相同。

然后，获得包含所述第一清晰车牌图像与所述第一模糊车牌图像的样本对。

最后，获得不同采集时刻下的样本对，构成样本对集合。

可以理解的是，每次采集的清晰车牌图像与模糊车牌图像作为一个样本对，并将所有样本对构成样本对集合，便于针对每一组样本对中的模糊车牌图像进行运算，通过不断训练找到运算后的特征图与清晰车牌图像相似时对应的神经网络的网络参数。

需要说明的是，本实施例在采集样本时，分别通过短曝光时间及长曝光时间，同时采集大量的清晰车牌图像和模糊车牌图像。本实施例中的模糊车牌图像为实际采集的，故基于该样本对训练的网络，能更好的适应实际的运动模糊问题。

可选的，所述获取多张清晰车牌图像及多张模糊车牌图像，并将每个清晰车牌图像及所对应的模糊车牌图像作为样本对，构成样本对集合的步骤，还可以包括：

首先，获取经短曝光时间采集的多张清晰车牌图像。

需要说明的是，短曝光时间为采集图像的曝光时间很短，例如4ms，通过短曝光时间通常能够采集到清晰的车牌图像。

其次，根据预设降质模糊核，对每个清晰车牌图像进行退化模型降质，生成每个清晰车牌图像对应的模糊车牌图像。

需要说明的是，假设基于运动模糊只与车辆的运动速度及方向有关，采用预设降质模糊核，对清晰车牌图像进行退化模型降质，生成对应的模糊车牌图像，其中，预设降质模糊核由长度和角度决定，长度反映模糊程度，角度反映模糊方向。退化模型降质属于现有技术，这里不再赘述。

然后，获得包含第二清晰车牌图像与所述第二清晰车牌图像对应的第二模糊车牌图像的样本对。

最后，获得每张清晰车牌图像对应的样本对，构成样本对集合。

其中，第二清晰车牌图像为所有清晰车牌图像中的任一清晰车牌图像。可以理解的是，每次采集的清晰车牌图像与降质得到的模糊车牌图像作为一个样本对，并将所有样本对构成样本对集合，便于针对每一组样本对中的模糊车牌图像进行运算，通过不断训练找到运算后的特征图与清晰车牌图像相似时对应的神经网络的网络参数。

需要说明的是，本实施例在采集样本时，基于运动模糊仅与车辆的运动速度及方向有关的假设，采用线性的降质模糊核对清晰车牌图像进行退化来生成样本对。这种生成样本对的方法操作简单，且比较符合实际的模糊情况。

S202，根据预设参数确定样本对集合中所有样本对的模糊等级。

其中，预设参数为预设降质模糊核强度或者预设长曝光时间。根据S201，生成样本对集合，可以是通过短曝光时间及长曝光时间、同时采集大量的清晰车牌图像和模糊车牌图像生成的，也可以是通过基于运动模糊仅与车辆的运动速度及方向有关的假设、采用线性的降质模糊核对清晰车牌图像进行退化生成的。通过短曝光时间及长曝光时间、同时采集大量的清晰车牌图像和模糊车牌图像生成样本对集合的方式中，预设长曝光时间决定了模糊等级，预设长曝光时间越大则采集的图像的模糊等级越高；采用线性的降质模糊核对清晰车牌图像进行退化生成样本对集合的方式中，预设模糊核强度决定了模糊等级，预设模糊核强度越大则采集的图像的模糊等级越高。其中，预设模糊核强度及预设长曝光时间可以预先设定。

S203，将所述样本对集合中具有相同模糊等级的所有样本对及由相同模糊等级的样本对确定的相似性度量函数，输入深度神经网络，进行训练。

需要说明的是，对样本对的模糊车牌图像进行神经网络运算在这里不做限定，一般情况下，最常采用的神经网络为卷积神经网络。样本对的模糊车牌图像的模糊等级代表了该模糊车牌图像的模糊程度，模糊等级可以是根据模糊的严重程度设定的严重模糊等级、中度模糊等级、轻度模糊等级，也可以是根据清晰度信息的数值设定的多个模糊等级，例如1级模糊至10级模糊。相同的模糊等级可以对应有很多样本对，需要对所有样本对的模糊车牌图像的清晰度信息进行统计，可以根据该模糊车牌图像的平均梯度幅值确定，平均梯度幅值越大，车牌图像的清晰度越高、模糊等级越低；对样本对的模糊车牌图像的清晰度信息进行统计，也可以根据该模糊车牌图像的分辨率确定，分辨率越高，车牌图像的清晰度越高、模糊等级越低。这都是合理的，这里不做限定，当然，其他统计模糊车牌图像的清晰度信息的方法也属于本发明实施例的保护范围。相似性度量函数是根据相同模糊等级的样本对中的模糊车牌图像与对应的清晰车牌图像建立的，代表了模糊车牌图像和清晰车牌图像的相近程度。一种具体实现方式中，相似性度量函数是通过对模糊车牌图像和清晰车牌图像的对应像素点的像素值作差，将所有的差值进行平方求和得到。需要强调的是，除了上述得到相似性度量函数的方法之外，其他实现求取相似性度量函数的方法均属于本发明的保护范围，这里不再一一列举。

需要说明的是，神经网络运算可以包括但不限于卷积层、全连接层、RELU(Rectified Linear Units，修正线性单元层)、池化Pooling层等结构的深度神经网络，运算时可以采用Caffe(Convolutional Architecture for Fast Feature Embedding，快速特性嵌入的卷积架构)开源工具，经过预设若干时长运算得到最终的网络参数。

S204，在相似性度量函数的数值小于预设值时，完成训练，得到模糊等级与神经网络的网络参数的对应关系。

需要说明的是，相似性度量函数的数值越小，则说明对模糊车牌图像的训练结果与清晰车牌图像越相近，在相似性度量函数的数值等于0时，训练结果与清晰车牌图像近似相同。因此，本实施例中给定了一个预设值，在相似性度量函数的数值小于该预设值时，可以认为训练的结果已经与清晰车牌图像有很高的相似度，则得到该训练结果的网络参数可以作为该模糊车牌图像对应的模糊等级的最优网络参数。

需要强调的是，步骤S201至S204按顺序执行，步骤S101与步骤S201至S204可以是并行执行的，步骤S101至S103与图1所示实施例的步骤完全相同，这里不再赘述。

应用本实施例，通过采集多张清晰车牌图像及多张模糊车牌图像，并构成样本对集合，并通过对样本对集合中的所有样本对进行训练，得到不同等级的模糊车牌图像对应的神经网络的网络参数，通过获取采集的车牌图像的当前模糊等级，选择当前模糊等级对应的神经网络的网络参数，对车牌图像进行神经网络运算得到去模糊后的车牌图像。网络参数与图像本身有关，而不需要对单个字符进行提取，在出现字符相连的情况时，不需要对字符进行分割，针对不同等级的模糊车牌图像，根据预先训练好的当前模糊等级对应的网络参数，可以得到提升字符复原效果的去模糊后的车牌图像。并通过采集大量车牌图像，作为样本集对卷积神经网络进行训练，以使对当前车牌图像的模糊程度进行估计，自适应从离线训练好的多个卷积神经网络参数中选择最合适的一组参数，相对于只采用一组网络参数处理任意模糊程度的车牌图像，具有较佳的效果。

如图3所示，本发明实施例所提供的一种车牌图像去模糊方法，在如图1所示实施例的基础上，步骤S103之后，车牌图像去模糊方法还可以包括：

S301，对去模糊后的车牌图像进行编码，得到编码后去模糊的车牌图像。

需要说明的是，对去模糊后的车牌图像进行编码就是对该去模糊后的车牌图像进行压缩，以便于存储和传输。现有技术中，对图像进行编码的方法具有很多种，本发明实施例可以使用任一种编码方法。这里不再一一赘述。

需要强调的是，由于编码会加剧图像模糊的问题，因此，本实施例采用在编码前进行去模糊处理，可以降低编码对模糊现象的影响，提升模糊复原效果。步骤S101至S103与图1所示实施例的步骤完全相同，这里不再赘述。

应用本实施例，通过采集多张清晰车牌图像及多张模糊车牌图像，并构成样本对集合，并通过对样本对集合中的所有样本对进行训练，得到不同等级的模糊车牌图像对应的神经网络的网络参数，通过获取采集的车牌图像的当前模糊等级，选择当前模糊等级对应的神经网络的网络参数，对车牌图像进行神经网络运算得到去模糊后的车牌图像。网络参数与图像本身有关，而不需要对单个字符进行提取，在出现字符相连的情况时，不需要对字符进行分割，针对不同等级的模糊车牌图像，根据预先训练好的当前模糊等级对应的网络参数，可以得到提升字符复原效果的去模糊后的车牌图像。并且对去模糊后的车牌图像进行编码，降低存储及网络传输带宽，且由于在编码前进行去模糊处理，降低编码对模糊现象的影响，提升模糊复原效果。

下面结合具体的应用实施，对本发明实施例所提供的车牌图像去模糊方法进行介绍。

如图4所示为本应用实例的样本采集示意图。

设置图像采集单元401为短曝光时间采集，其中短曝光时间为4ms。采集的图像信号经过自动曝光单元402、色彩插值403、Gamma矫正404及车牌提取单元405处理后的大量的清晰车牌图像。

需要说明的是，自动曝光单元402自动调整采集车牌图像的曝光参数，使采集的图像满足亮度需求，例如要求图像亮度信息要求为154，色彩插值403可以采用双线性插值方法，Gamma矫正404可以采用Gamma曲线映射的方法，色彩插值403和Gamma矫正404用于将车牌图像处理成适合人眼观察的图像，便于提取。通过车牌提取单元405提取车牌后，保存清晰车牌图像数据作为样本集。

预设模糊核的角度取值范围为θ₁至θ₂，其中，0°≤θ₁≤θ₂≤180°，预设模糊核的长度取值范围0-15，在该长度、角度范围内随机生成模糊核，对上述采集的大量车牌图像进行降质，得到大量的清晰车牌图像与模糊车牌图像第一组样本对；保证预设模糊核的角度取值范围不变，预设模糊核的长度取值范围16-30，在该长度、角度范围内随机生成模糊核，对上述采集的大量车牌图像进行降质，得到大量的清晰车牌图像与模糊车牌图像第二组样本对；保证预设模糊核的角度取值范围不变，预设模糊核的长度取值范围31-45，在该长度、角度范围内随机生成模糊核，对上述采集的大量车牌图像进行降质，得到大量的清晰车牌图像与模糊车牌图像第三组样本对。

如图5所示，本应用实例采用5层深度神经网络结构，训练过程即为根据如图5所示的网络结构，神经网络的网络结构为每个卷积层的卷积核的尺寸和各卷积层的输出通道数。输入单元501输入图像，经过第一卷积层502输出128个通道的第一特征图，第二卷积层503通过对第一特征图进行卷积运算输出256个通道的第二特征图，第三卷积层504通过对第二特征图进行卷积运算输出256个通道的第三特征图，第四卷积层505通过对第三特征图进行卷积运算输出96个通道的第四特征图，第五卷积层506通过对第四特征图进行卷积运算输出3个通道的第五特征图，将第五特征图作为最终特征图由输出单元507输出。将最终特征图与该样本对中的清晰车牌图像进行比对，如果特征图与该样本对中的清晰车牌图像相似，则可确定计算得到该特征图的每层网络的网络参数为该样本对中的模糊车牌图像对应的模糊等级的网络参数。实际运算时可采用Caffe开源工具。

分别采用上述三组样本对，对神经网络进行训练，得到三组对应的卷积神经网络的网络参数，例如，如表1所示，为本应用实例的神经网络的网络结构示意表，假设第二组样本对中的模糊车牌图像的模糊等级为中度模糊，将第二组样本对中的模糊车牌图像输入网络结构如表1所示的神经网络进行训练，当第二组样本对中的模糊车牌图像对应的输出结果与第二组样本对中清晰车牌图像的平均差异值小于预设值时，完成训练。此时，神经网络的网络参数为中度模糊对应的网络参数。

如图6所示为本应用实例模糊车牌复原示意图。

设置原始车辆图像采集为长曝光时间采集，通过图像采集单元601采集原始车辆图像，并通过自动曝光单元602自动调整曝光参数使得采集的原始车辆图像满足亮度要求，例如要求图像亮度信息为154，通过色彩插值603及Gamma矫正604得到适合人眼观察的原始车辆图像，通过车牌提取单元605提取到原始车辆图像中车牌图像，例如车牌位于原始车辆图像中的左上角，面积占整个图像面积的1/4，则通过车牌提取单元605，提取包含车牌的更小面积的车牌图像，并且通过模糊估计单元606，根据平均梯度幅值计算确定车牌图像的模糊等级为中度模糊等级；然后通过去模糊处理单元607，根据表1所示的中度模糊等级对应的每层网络的网络参数，对包含车牌的更小面积的车牌图像进行如图5所示的多个网络层的卷积操作，最终得到复原的车牌图像。

表1

与现有技术相比，本方案中，通过采集多张清晰车牌图像及多张模糊车牌图像，并构成样本对集合，并通过对样本对集合中的所有样本对进行训练，得到不同等级的模糊车牌图像对应的神经网络的网络参数，通过获取采集的车牌图像的当前模糊等级，选择当前模糊等级对应的神经网络的网络参数，对车牌图像进行神经网络运算得到去模糊后的车牌图像。网络参数与图像本身有关，而不需要对单个字符进行提取，在出现字符相连的情况时，不需要对字符进行分割，针对不同等级的模糊车牌图像，根据预先训练好的当前模糊等级对应的网络参数，可以得到提升字符复原效果的去模糊后的车牌图像。

相应于上述车牌图像去模糊方法实施例，如图7所示，本发明实施例还提供了一种车牌图像去模糊装置，所述装置可以包括：

采集模块710，用于采集车牌图像，并通过统计所述车牌图像的清晰度信息，确定所述车牌图像的当前模糊等级；

网络参数确定模块720，用于根据所述当前模糊等级，以及模糊等级与神经网络的网络参数的对应关系，确定所述当前模糊等级对应的神经网络的网络参数，其中，所述对应关系为通过对多张清晰车牌图像和多张模糊车牌图像构成的样本对集合进行训练得到的；

第一运算模块730，用于根据所述网络参数，对所述车牌图像进行神经网络运算，得到去模糊后的车牌图像。

应用本实施例，通过采集多张清晰车牌图像及多张模糊车牌图像，并构成样本对集合，并通过对样本对集合中的所有样本对进行训练，得到不同等级的模糊车牌图像对应的神经网络的网络参数，通过获取采集的车牌图像的当前模糊等级，选择当前模糊等级对应的神经网络的网络参数，对车牌图像进行神经网络运算得到去模糊后的车牌图像。网络参数与图像本身有关，而不需要对单个字符进行提取，在出现字符相连的情况时，不需要对字符进行分割，针对不同等级的模糊车牌图像，根据预先训练好的当前模糊等级对应的网络参数，可以得到提升字符复原效果的去模糊后的车牌图像。

可选的，所述模糊等级可以包括：严重模糊等级、中度模糊等级及轻度模糊等级，或者，所述模糊等级包括：第1等级至第n等级，其中，n为大于或等于2的整数。

可选的，所述采集模块710，可以包括：

第一采集子模块，用于采集原始车辆图像；

第一统计子模块，用于统计所述原始车辆图像的图像亮度信息；

参数获得子模块，用于根据所述图像亮度信息，得到采集所述原始车辆图像时的曝光参数；

调节子模块，用于调节所述曝光参数，得到满足预设图像亮度条件的亮度信息；

第二采集子模块，用于采集具有所述亮度信息的车辆图像的图像信号；

提取子模块，用于根据所述图像信号，提取车牌图像。

可选的，所述采集模块710，还可以包括：

第二统计子模块，用于统计所述车牌图像的平均梯度幅值；

当前模糊等级确定子模块，用于对所述平均梯度幅值进行映射，并根据预设的平均梯度幅值与图像模糊等级的映射关系，确定所述车牌图像的当前模糊等级；或者，获取离线训练的模糊车牌图像的平均梯度幅值及所对应的模糊等级，确定所述离线训练的模糊车牌图像的平均梯度幅值中与所述车牌图像的平均梯度幅值相等的平均梯度幅值所对应的模糊等级为所述车牌图像的当前模糊等级。

可选的，所述网络参数确定模块720，可以包括：

第一选择子模块，用于在所述当前模糊等级为严重模糊等级时，从所述对应关系中选择严重模糊等级对应的神经网络的网络参数；

第二选择子模块，用于在所述当前模糊等级为中度模糊等级时，从所述对应关系中选择中度模糊等级对应的神经网络的网络参数；

第三选择子模块，用于在所述当前模糊等级为轻度模糊等级时，从所述对应关系中选择轻度模糊等级对应的神经网络的网络参数；

所述第一运算模块730，可以包括：

第一运算子模块，用于根据所述严重模糊等级对应的神经网络的网络参数，对所述车牌图像进行神经网络运算，得到去模糊后的车牌图像；

第二运算子模块，用于根据所述中度模糊等级对应的神经网络的网络参数，对所述车牌图像进行神经网络运算，得到去模糊后的车牌图像；

第三运算子模块，用于根据所述轻度模糊等级对应的神经网络的网络参数，对所述车牌图像进行神经网络运算，得到去模糊后的车牌图像。

可选的，所述清晰车牌图像及所述模糊车牌图像的格式均为Bayer格式数据。

更进一步的，在包含采集模块710、网络参数确定模块720、第一运算模块730的基础上，如图8所示，本发明实施例所提供的一种车牌图像去模糊装置还可以包括：

获取模块810，用于获取多张清晰车牌图像及多张模糊车牌图像，并将每个清晰车牌图像及所对应的模糊车牌图像作为样本对，构成样本对集合；

第一确定模块820，用于根据预设参数确定所述样本对集合中所有样本对的模糊等级，其中，所述预设参数为预设降质模糊核强度或者预设长曝光时间；

第二运算模块830，用于将所述样本对集合中具有相同模糊等级的所有样本对及由相同模糊等级的样本对确定的相似性度量函数，输入深度神经网络，进行训练；

第二确定模块840，用于在所述相似性度量函数的数值小于预设值时，完成所述训练，得到模糊等级与神经网络的网络参数的对应关系。

应用本实施例，通过采集多张清晰车牌图像及多张模糊车牌图像，并构成样本对集合，并通过对样本对集合中的所有样本对进行训练，得到不同等级的模糊车牌图像对应的神经网络的网络参数，通过获取采集的车牌图像的当前模糊等级，选择当前模糊等级对应的神经网络的网络参数，对车牌图像进行神经网络运算得到去模糊后的车牌图像。网络参数与图像本身有关，而不需要对单个字符进行提取，在出现字符相连的情况时，不需要对字符进行分割，针对不同等级的模糊车牌图像，根据预先训练好的当前模糊等级对应的网络参数，可以得到提升字符复原效果的去模糊后的车牌图像。并通过采集大量车牌图像，作为样本集对卷积神经网络进行训练，以使对当前车牌图像的模糊程度进行估计，自适应从离线训练好的多个卷积神经网络参数中选择最合适的一组参数，相对于只采用一组网络参数处理任意模糊程度的车牌图像，具有较佳的效果。

可选的，所述获取模块810，可以包括：

第一获取子模块，用于获取经短曝光时间采集的多张清晰车牌图像，及经长曝光时间采集的多张模糊车牌图像；

归一化子模块，用于将同时采集的清晰车牌图像与模糊车牌图像进行亮度归一化操作，得到亮度相同的第一清晰车牌图像与第一模糊车牌图像；

第一样本对获得子模块，用于获得包含所述第一清晰车牌图像与所述第一模糊车牌图像的样本对；

第一集合构成子模块，用于获得不同采集时刻下的样本对，构成样本对集合。

可选的，所述获取模块810，还可以包括：

第二获取子模块，用于获取经短曝光时间采集的多张清晰车牌图像；

降质子模块，用于根据预设降质模糊核，对每个清晰车牌图像进行退化模型降质，生成每个清晰车牌图像对应的模糊车牌图像；

第二样本对获得子模块，用于获得包含第二清晰车牌图像与所述第二清晰车牌图像对应的第二模糊车牌图像的样本对，其中，所述第二清晰车牌图像为所有清晰车牌图像中的任一清晰车牌图像；

第二集合构成子模块，用于获得每张清晰车牌图像对应的样本对，构成样本对集合。

更进一步的，在包含采集模块710、网络参数确定模块720、第一运算模块730的基础上，如图9所示，本发明实施例所提供的一种车牌图像去模糊装置还可以包括：

编码模块910，用于对所述去模糊后的车牌图像进行编码，得到编码后去模糊的车牌图像。

应用本实施例，通过采集多张清晰车牌图像及多张模糊车牌图像，并构成样本对集合，并通过对样本对集合中的所有样本对进行训练，得到不同等级的模糊车牌图像对应的神经网络的网络参数，通过获取采集的车牌图像的当前模糊等级，选择当前模糊等级对应的神经网络的网络参数，对车牌图像进行神经网络运算得到去模糊后的车牌图像。网络参数与图像本身有关，而不需要对单个字符进行提取，在出现字符相连的情况时，不需要对字符进行分割，针对不同等级的模糊车牌图像，根据预先训练好的当前模糊等级对应的网络参数，可以得到提升字符复原效果的去模糊后的车牌图像。并且对去模糊后的车牌图像进行编码，降低存储及网络传输带宽，且由于在编码前进行去模糊处理，降低编码对模糊现象的影响，提升模糊复原效果。

可以理解的是，本发明实施例的另一实施例中，车牌图像去模糊装置可以同时包括：采集模块710、网络参数确定模块720、第一运算模块730、获取模块810、第二运算模块820、统计模块830、确定模块840和编码模块910。

相应于上述车牌图像去模糊方法及装置实施例，如图10所示，本发明实施例还提供了一种车牌图像去模糊系统，所述系统可以包括：

图像采集单元1010，用于采集车牌图像，并将采集的车牌图像发送至模糊估计单元及去模糊处理单元，所述图像采集单元中包括：将所述车牌图像的光信号转化为电信号的图像传感器部件；

模糊估计单元1020，用于获取所述图像采集单元发送的所述车牌图像，并通过统计所述车牌图像的清晰度信息，确定所述车牌图像的当前模糊等级；发送所述车牌图像的当前模糊等级至去模糊处理单元；

离散训练单元1030，用于通过对多张清晰车牌图像和多张模糊车牌图像构成的样本对集合进行训练，得到模糊等级与神经网络的网络参数的对应关系；发送所述对应关系至去模糊处理单元；

去模糊处理单元1040，用于从所述离散训练单元发送的所述对应关系中选择所述模糊估计单元发送的所述当前模糊等级对应的神经网络的网络参数，对所述图像采集单元发送的所述车牌图像进行神经网络运算，得到去模糊后的车牌图像。

应用本实施例，通过采集多张清晰车牌图像及多张模糊车牌图像，并构成样本对集合，并通过对样本对集合中的所有样本对进行训练，得到不同等级的模糊车牌图像对应的神经网络的网络参数，通过获取采集的车牌图像的当前模糊等级，选择当前模糊等级对应的神经网络的网络参数，对车牌图像进行神经网络运算得到去模糊后的车牌图像。网络参数与图像本身有关，而不需要对单个字符进行提取，在出现字符相连的情况时，不需要对字符进行分割，针对不同等级的模糊车牌图像，根据预先训练好的当前模糊等级对应的网络参数，可以得到提升字符复原效果的去模糊后的车牌图像。

更进一步的，在包含图像采集单元1010、模糊估计单元1020、离散训练单元1030、去模糊处理单元1040的基础上，如图11所示，本发明实施例所提供的一种车牌图像去模糊系统还可以包括：

自动曝光单元1110，用于获取所述图像采集单元采集的原始车辆图像；统计所述原始车辆图像的图像亮度信息；根据所述图像亮度信息，得到采集所述原始车辆图像时的曝光参数；调节所述曝光参数，得到满足预设图像亮度条件的亮度信息；

车牌提取单元1120，用于获取所述图像采集单元采集的所述原始车辆图像；采集具有经所述自动曝光单元得到的亮度信息的车辆图像的图像信号；根据所述图像信号，提取车牌图像；发送所述车牌图像至模糊估计单元及去模糊处理单元，以使所述模糊估计单元根据所述车牌图像确定所述车牌图像的当前模糊等级，所述去模糊处理单元对所述车牌图像进行神经网络运算，得到去模糊后的车牌图像；

编码单元1130，用于对所述去模糊处理单元得到的去模糊后的车牌图像进行编码，得到编码后去模糊的车牌图像。

应用本实施例，通过采集多张清晰车牌图像及多张模糊车牌图像，并构成样本对集合，并通过对样本对集合中的所有样本对进行训练，得到不同等级的模糊车牌图像对应的神经网络的网络参数，通过获取采集的车牌图像的当前模糊等级，选择当前模糊等级对应的神经网络的网络参数，对车牌图像进行神经网络运算得到去模糊后的车牌图像。网络参数与图像本身有关，而不需要对单个字符进行提取，在出现字符相连的情况时，不需要对字符进行分割，针对不同等级的模糊车牌图像，根据预先训练好的当前模糊等级对应的网络参数，可以得到提升字符复原效果的去模糊后的车牌图像。并通过采集大量车牌图像，作为样本集对卷积神经网络进行训练，以使对当前车牌图像的模糊程度进行估计，自适应从离线训练好的多个卷积神经网络参数中选择最合适的一组参数，相对于只采用一组网络参数处理任意模糊程度的车牌图像，具有较佳的效果。并且对去模糊后的车牌图像进行编码，降低存储及网络传输带宽，且由于在编码前进行去模糊处理，降低编码对模糊现象的影响，提升模糊复原效果。

可选的，所述离散训练单元1030，可以包括：

样本生成子单元，用于获取多张清晰车牌图像及多张模糊车牌图像，并将每个清晰车牌图像及所对应的模糊车牌图像作为样本对，构成样本对集合；

网络训练子单元，用于根据预设参数确定所述样本对集合中所有样本对的模糊等级，其中，所述预设参数为预设降质模糊核强度或者预设长曝光时间；将所述样本对集合中具有相同模糊等级的所有样本对及由相同模糊等级的样本对确定的相似性度量函数，输入深度神经网络，进行训练；在所述相似性度量函数的数值小于预设值时，完成所述训练，得到模糊等级与神经网络的网络参数的对应关系。

可选的，所述样本生成子单元，具体用于：

获取经短曝光时间采集的多张清晰车牌图像，及经长曝光时间采集的多张模糊车牌图像；将同时采集的清晰车牌图像与模糊车牌图像进行亮度归一化操作，得到亮度相同的第一清晰车牌图像与第一模糊车牌图像；获得包含所述第一清晰车牌图像与所述第一模糊车牌图像的样本对；获得不同采集时刻下的样本对，构成样本对集合；

或者，

获取经短曝光时间采集的多张清晰车牌图像；根据预设降质模糊核，对每个清晰车牌图像进行退化模型降质，生成每个清晰车牌图像对应的模糊车牌图像；获得包含第二清晰车牌图像与所述第二清晰车牌图像对应的第二模糊车牌图像的样本对，其中，所述第二清晰车牌图像为所有清晰车牌图像中的任一清晰车牌图像；获得每张清晰车牌图像对应的样本对，构成样本对集合。

可选的，所述模糊等级包括：严重模糊等级、中度模糊等级及轻度模糊等级，或者，所述模糊等级包括：第1等级至第n等级，其中，n为大于或等于2的整数。

可选的，所述模糊估计单元1020，具体可以用于：

统计所述车牌图像的平均梯度幅值；

对所述平均梯度幅值进行映射，并根据预设的平均梯度幅值与图像模糊等级的映射关系，确定所述车牌图像的当前模糊等级；或者，获取离线训练的模糊车牌图像的平均梯度幅值及所对应的模糊等级，确定所述离线训练的模糊车牌图像的平均梯度幅值中与所述车牌图像的平均梯度幅值相等的平均梯度幅值所对应的模糊等级为所述车牌图像的当前模糊等级。

可选的，所述去模糊处理单元1040，具体可以用于：

在所述当前模糊等级为严重模糊等级时，从所述对应关系中选择严重模糊等级对应的神经网络的网络参数；

根据所述严重模糊等级对应的神经网络的网络参数，对所述车牌图像进行神经网络运算，得到去模糊后的车牌图像；

或者，

在所述当前模糊等级为中度模糊等级时，从所述对应关系中选择中度模糊等级对应的神经网络的网络参数；

根据所述中度模糊等级对应的神经网络的网络参数，对所述车牌图像进行神经网络运算，得到去模糊后的车牌图像；

或者，

在所述当前模糊等级为轻度模糊等级时，从所述对应关系中选择轻度模糊等级对应的神经网络的网络参数；

根据所述轻度模糊等级对应的神经网络的网络参数，对所述车牌图像进行神经网络运算，得到去模糊后的车牌图像。

可选的，所述清晰车牌图像及所述模糊车牌图像的格式均为Bayer格式数据。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (24)

1.一种车牌图像去模糊方法，其特征在于，所述方法包括：

采集车牌图像，并通过统计所述车牌图像的清晰度信息，确定所述车牌图像的当前模糊等级；所述清晰度信息至少根据所述车牌图像的平均梯度幅值确定，或者至少根据所述车牌图像的分辨率确定；所述车牌图像的清晰度信息包括车牌图像的边缘信息或车牌图像的纹理信息；

根据所述当前模糊等级，以及模糊等级与神经网络的网络参数的对应关系，确定所述当前模糊等级对应的神经网络的网络参数，其中，所述对应关系为通过对多张清晰车牌图像和多张模糊车牌图像构成的样本对集合进行训练得到的；所述神经网络是卷积神经网络时，所述神经网络的网络参数为每个卷积层所使用的卷积核内的数值，所述卷积核内的数值包括每个通道的卷积核内的数值；所述对应关系的训练过程包括：根据清晰车牌图像与模糊车牌图像的一一对应关系，通过对多张清晰车牌图像和多张模糊车牌图像构成样本对集合，针对每一组样本对中的模糊车牌图像，进行神经网络运算，使得运算后的特征图与该组样本对的清晰车牌图像相似，记录相似时，所使用的神经网络的网络参数作为该组样本对中模糊车牌图像对应模糊等级的神经网络的网络参数；

根据所述网络参数，对所述车牌图像进行神经网络运算，得到去模糊后的车牌图像。

2.根据权利要求1所述的车牌图像去模糊方法，其特征在于，所述模糊等级包括：严重模糊等级、中度模糊等级及轻度模糊等级，或者，所述模糊等级包括：第1等级至第n等级，其中，n为大于或等于2的整数。

3.根据权利要求1所述的车牌图像去模糊方法，其特征在于，所述采集车牌图像，包括：

采集原始车辆图像；

统计所述原始车辆图像的图像亮度信息；

根据所述图像亮度信息，得到采集所述原始车辆图像时的曝光参数；

调节所述曝光参数，得到满足预设图像亮度条件的亮度信息；

采集具有所述亮度信息的车辆图像的图像信号；

根据所述图像信号，提取车牌图像。

4.根据权利要求3所述的车牌图像去模糊方法，其特征在于，所述通过统计所述车牌图像的清晰度信息，确定所述车牌图像的当前模糊等级，包括：

统计所述车牌图像的平均梯度幅值；

对所述平均梯度幅值进行映射，并根据预设的平均梯度幅值与图像模糊等级的映射关系，确定所述车牌图像的当前模糊等级；或者，获取离线训练的模糊车牌图像的平均梯度幅值及所对应的模糊等级，确定所述离线训练的模糊车牌图像的平均梯度幅值中与所述车牌图像的平均梯度幅值相等的平均梯度幅值所对应的模糊等级为所述车牌图像的当前模糊等级。

5.根据权利要求1所述的车牌图像去模糊方法，其特征在于，所述采集车牌图像，并通过统计所述车牌图像的清晰度信息，确定所述车牌图像的当前模糊等级之前，所述方法还包括：

获取多张清晰车牌图像及多张模糊车牌图像，并将每个清晰车牌图像及所对应的模糊车牌图像作为样本对，构成样本对集合；

根据预设参数确定所述样本对集合中所有样本对的模糊等级，其中，所述预设参数为预设降质模糊核强度或者预设长曝光时间；

将所述样本对集合中具有相同模糊等级的所有样本对及由相同模糊等级的样本对确定的相似性度量函数，输入深度神经网络，进行训练；

在所述相似性度量函数的数值小于预设值时，完成所述训练，得到模糊等级与神经网络的网络参数的对应关系。

6.根据权利要求5所述的车牌图像去模糊方法，其特征在于，所述获取多张清晰车牌图像及多张模糊车牌图像，并将每个清晰车牌图像及所对应的模糊车牌图像作为样本对，构成样本对集合，包括：

获取经短曝光时间采集的多张清晰车牌图像，及经长曝光时间采集的多张模糊车牌图像；

将同时采集的清晰车牌图像与模糊车牌图像进行亮度归一化操作，得到亮度相同的第一清晰车牌图像与第一模糊车牌图像；

获得包含所述第一清晰车牌图像与所述第一模糊车牌图像的样本对；

获得不同采集时刻下的样本对，构成样本对集合。

7.根据权利要求5所述的车牌图像去模糊方法，其特征在于，所述获取多张清晰车牌图像及多张模糊车牌图像，并将每个清晰车牌图像及所对应的模糊车牌图像作为样本对，构成样本对集合，包括：

获取经短曝光时间采集的多张清晰车牌图像；

根据预设降质模糊核，对每个清晰车牌图像进行退化模型降质，生成每个清晰车牌图像对应的模糊车牌图像；

获得包含第二清晰车牌图像与所述第二清晰车牌图像对应的第二模糊车牌图像的样本对，其中，所述第二清晰车牌图像为所有清晰车牌图像中的任一清晰车牌图像；

获得每张清晰车牌图像对应的样本对，构成样本对集合。

8.根据权利要求2所述的车牌图像去模糊方法，其特征在于，在所述模糊等级包括严重模糊等级、中度模糊等级及轻度模糊等级时，所述根据所述当前模糊等级，以及模糊等级与神经网络的网络参数的对应关系，确定所述当前模糊等级对应的神经网络的网络参数，包括：

在所述当前模糊等级为严重模糊等级时，从所述对应关系中选择严重模糊等级对应的神经网络的网络参数；

或者，

在所述当前模糊等级为中度模糊等级时，从所述对应关系中选择中度模糊等级对应的神经网络的网络参数；

或者，

在所述当前模糊等级为轻度模糊等级时，从所述对应关系中选择轻度模糊等级对应的神经网络的网络参数；

所述根据所述网络参数，对所述车牌图像进行神经网络运算，得到去模糊后的车牌图像，包括：

根据所述严重模糊等级对应的神经网络的网络参数，对所述车牌图像进行神经网络运算，得到去模糊后的车牌图像；

或者，

根据所述中度模糊等级对应的神经网络的网络参数，对所述车牌图像进行神经网络运算，得到去模糊后的车牌图像；

或者，

根据所述轻度模糊等级对应的神经网络的网络参数，对所述车牌图像进行神经网络运算，得到去模糊后的车牌图像。

9.根据权利要求1所述的车牌图像去模糊方法，其特征在于，所述根据所述网络参数，对所述车牌图像进行神经网络运算，得到去模糊后的车牌图像之后，所述方法还包括：

对所述去模糊后的车牌图像进行编码，得到编码后去模糊的车牌图像。

10.根据权利要求1所述的车牌图像去模糊方法，其特征在于，所述清晰车牌图像及所述模糊车牌图像的格式均为Bayer格式数据。

11.一种车牌图像去模糊装置，其特征在于，所述装置包括：

采集模块，用于采集车牌图像，并通过统计所述车牌图像的清晰度信息，确定所述车牌图像的当前模糊等级；所述清晰度信息至少根据所述车牌图像的平均梯度幅值确定，或者至少根据所述车牌图像的分辨率确定；所述车牌图像的清晰度信息包括车牌图像的边缘信息或车牌图像的纹理信息；

网络参数确定模块，用于根据所述当前模糊等级，以及模糊等级与神经网络的网络参数的对应关系，确定所述当前模糊等级对应的神经网络的网络参数，其中，所述对应关系为通过对多张清晰车牌图像和多张模糊车牌图像构成的样本对集合进行训练得到的；所述神经网络是卷积神经网络时，所述神经网络的网络参数为每个卷积层所使用的卷积核内的数值，所述卷积核内的数值包括每个通道的卷积核内的数值；所述对应关系的训练过程包括：根据清晰车牌图像与模糊车牌图像的一一对应关系，通过对多张清晰车牌图像和多张模糊车牌图像构成样本对集合，针对每一组样本对中的模糊车牌图像，进行神经网络运算，使得运算后的特征图与该组样本对的清晰车牌图像相似，记录相似时，所使用的神经网络的网络参数作为该组样本对中模糊车牌图像对应模糊等级的神经网络的网络参数；

第一运算模块，用于根据所述网络参数，对所述车牌图像进行神经网络运算，得到去模糊后的车牌图像。

12.根据权利要求11所述的车牌图像去模糊装置，其特征在于，所述模糊等级包括：严重模糊等级、中度模糊等级及轻度模糊等级，或者，所述模糊等级包括：第1等级至第n等级，其中，n为大于或等于2的整数。

13.根据权利要求11所述的车牌图像去模糊装置，其特征在于，所述采集模块，包括：

第一采集子模块，用于采集原始车辆图像；

第一统计子模块，用于统计所述原始车辆图像的图像亮度信息；

参数获得子模块，用于根据所述图像亮度信息，得到采集所述原始车辆图像时的曝光参数；

调节子模块，用于调节所述曝光参数，得到满足预设图像亮度条件的亮度信息；

第二采集子模块，用于采集具有所述亮度信息的车辆图像的图像信号；

提取子模块，用于根据所述图像信号，提取车牌图像。

14.根据权利要求11所述的车牌图像去模糊装置，其特征在于，所述采集模块，还包括：

第二统计子模块，用于统计所述车牌图像的平均梯度幅值；

当前模糊等级确定子模块，用于对所述平均梯度幅值进行映射，并根据预设的平均梯度幅值与图像模糊等级的映射关系，确定所述车牌图像的当前模糊等级；或者，获取离线训练的模糊车牌图像的平均梯度幅值及所对应的模糊等级，确定所述离线训练的模糊车牌图像的平均梯度幅值中与所述车牌图像的平均梯度幅值相等的平均梯度幅值所对应的模糊等级为所述车牌图像的当前模糊等级。

15.根据权利要求11所述的车牌图像去模糊装置，其特征在于，所述装置还包括：

获取模块，用于获取多张清晰车牌图像及多张模糊车牌图像，并将每个清晰车牌图像及所对应的模糊车牌图像作为样本对，构成样本对集合；

第一确定模块，用于根据预设参数确定所述样本对集合中所有样本对的模糊等级，其中，所述预设参数为预设降质模糊核强度或者预设长曝光时间；

第二运算模块，用于将所述样本对集合中具有相同模糊等级的所有样本对及由相同模糊等级的样本对确定的相似性度量函数，输入深度神经网络，进行训练；

第二确定模块，用于在所述相似性度量函数的数值小于预设值时，完成所述训练，得到模糊等级与神经网络的网络参数的对应关系。

16.根据权利要求15所述的车牌图像去模糊装置，其特征在于，所述获取模块，包括：

第一获取子模块，用于获取经短曝光时间采集的多张清晰车牌图像，及经长曝光时间采集的多张模糊车牌图像；

归一化子模块，用于将同时采集的清晰车牌图像与模糊车牌图像进行亮度归一化操作，得到亮度相同的第一清晰车牌图像与第一模糊车牌图像；

第一样本对获得子模块，用于获得包含所述第一清晰车牌图像与所述第一模糊车牌图像的样本对；

第一集合构成子模块，用于获得不同采集时刻下的样本对，构成样本对集合。

17.根据权利要求15所述的车牌图像去模糊装置，其特征在于，所述获取模块，还包括：

第二获取子模块，用于获取经短曝光时间采集的多张清晰车牌图像；

降质子模块，用于根据预设降质模糊核，对每个清晰车牌图像进行退化模型降质，生成每个清晰车牌图像对应的模糊车牌图像；

第二样本对获得子模块，用于获得包含第二清晰车牌图像与所述第二清晰车牌图像对应的第二模糊车牌图像的样本对，其中，所述第二清晰车牌图像为所有清晰车牌图像中的任一清晰车牌图像；

第二集合构成子模块，用于获得每张清晰车牌图像对应的样本对，构成样本对集合。

18.根据权利要求11所述的车牌图像去模糊装置，其特征在于，所述网络参数确定模块，包括：

第一选择子模块，用于在所述当前模糊等级为严重模糊等级时，从所述对应关系中选择严重模糊等级对应的神经网络的网络参数；

第二选择子模块，用于在所述当前模糊等级为中度模糊等级时，从所述对应关系中选择中度模糊等级对应的神经网络的网络参数；

第三选择子模块，用于在所述当前模糊等级为轻度模糊等级时，从所述对应关系中选择轻度模糊等级对应的神经网络的网络参数；

所述第一运算模块，包括：

第一运算子模块，用于根据所述严重模糊等级对应的神经网络的网络参数，对所述车牌图像进行神经网络运算，得到去模糊后的车牌图像；

第二运算子模块，用于根据所述中度模糊等级对应的神经网络的网络参数，对所述车牌图像进行神经网络运算，得到去模糊后的车牌图像；

第三运算子模块，用于根据所述轻度模糊等级对应的神经网络的网络参数，对所述车牌图像进行神经网络运算，得到去模糊后的车牌图像。

19.根据权利要求11所述的车牌图像去模糊装置，其特征在于，所述装置还包括：

编码模块，用于对所述去模糊后的车牌图像进行编码，得到编码后去模糊的车牌图像。

20.根据权利要求11所述的车牌图像去模糊装置，其特征在于，所述清晰车牌图像及所述模糊车牌图像的格式均为Bayer格式数据。

21.一种车牌图像去模糊系统，其特征在于，所述系统包括：

图像采集单元，用于采集车牌图像，并将采集的车牌图像发送至模糊估计单元及去模糊处理单元，所述图像采集单元中包括：将所述车牌图像的光信号转化为电信号的图像传感器部件；

模糊估计单元，用于获取所述图像采集单元发送的所述车牌图像，并通过统计所述车牌图像的清晰度信息，确定所述车牌图像的当前模糊等级；发送所述车牌图像的当前模糊等级至去模糊处理单元；所述清晰度信息至少根据所述车牌图像的平均梯度幅值确定，或者至少根据所述车牌图像的分辨率确定；所述车牌图像的清晰度信息包括车牌图像的边缘信息或车牌图像的纹理信息；

离散训练单元，用于通过对多张清晰车牌图像和多张模糊车牌图像构成的样本对集合进行训练，得到模糊等级与神经网络的网络参数的对应关系；发送所述对应关系至去模糊处理单元；其中，所述神经网络是卷积神经网络时，所述神经网络的网络参数为每个卷积层所使用的卷积核内的数值，所述卷积核内的数值包括每个通道的卷积核内的数值；所述对应关系的训练过程包括：根据清晰车牌图像与模糊车牌图像的一一对应关系，通过对多张清晰车牌图像和多张模糊车牌图像构成样本对集合，针对每一组样本对中的模糊车牌图像，进行神经网络运算，使得运算后的特征图与该组样本对的清晰车牌图像相似，记录相似时，所使用的神经网络的网络参数作为该组样本对中模糊车牌图像对应模糊等级的神经网络的网络参数；

去模糊处理单元，用于从所述离散训练单元发送的所述对应关系中选择所述模糊估计单元发送的所述当前模糊等级对应的神经网络的网络参数，对所述图像采集单元发送的所述车牌图像进行神经网络运算，得到去模糊后的车牌图像。

22.根据权利要求21所述的车牌图像去模糊系统，其特征在于，所述系统还包括：

自动曝光单元，用于获取所述图像采集单元采集的原始车辆图像；统计所述原始车辆图像的图像亮度信息；根据所述图像亮度信息，得到采集所述原始车辆图像时的曝光参数；调节所述曝光参数，得到满足预设图像亮度条件的亮度信息；

车牌提取单元，用于获取所述图像采集单元采集的所述原始车辆图像；采集具有经所述自动曝光单元得到的亮度信息的车辆图像的图像信号；根据所述图像信号，提取车牌图像；发送所述车牌图像至模糊估计单元及去模糊处理单元，以使所述模糊估计单元根据所述车牌图像确定所述车牌图像的当前模糊等级，所述去模糊处理单元对所述车牌图像进行神经网络运算，得到去模糊后的车牌图像；

编码单元，用于对所述去模糊处理单元得到的去模糊后的车牌图像进行编码，得到编码后去模糊的车牌图像。

23.根据权利要求21所述的车牌图像去模糊系统，其特征在于，所述离散训练单元，包括：

样本生成子单元，用于获取多张清晰车牌图像及多张模糊车牌图像，并将每个清晰车牌图像及所对应的模糊车牌图像作为样本对，构成样本对集合；

网络训练子单元，用于根据预设参数确定所述样本对集合中所有样本对的模糊等级，其中，所述预设参数为预设降质模糊核强度或者预设长曝光时间；将所述样本对集合中具有相同模糊等级的所有样本对及由相同模糊等级的样本对确定的相似性度量函数，输入深度神经网络，进行训练；在所述相似性度量函数的数值小于预设值时，完成所述训练，得到模糊等级与神经网络的网络参数的对应关系。

24.根据权利要求23所述的车牌图像去模糊系统，其特征在于，所述样本生成子单元，具体用于：

获取经短曝光时间采集的多张清晰车牌图像，及经长曝光时间采集的多张模糊车牌图像；将同时采集的清晰车牌图像与模糊车牌图像进行亮度归一化操作，得到亮度相同的第一清晰车牌图像与第一模糊车牌图像；获得包含所述第一清晰车牌图像与所述第一模糊车牌图像的样本对；获得不同采集时刻下的样本对，构成样本对集合；

或者，

获取经短曝光时间采集的多张清晰车牌图像；根据预设降质模糊核，对每个清晰车牌图像进行退化模型降质，生成每个清晰车牌图像对应的模糊车牌图像；获得包含第二清晰车牌图像与所述第二清晰车牌图像对应的第二模糊车牌图像的样本对，其中，所述第二清晰车牌图像为所有清晰车牌图像中的任一清晰车牌图像；获得每张清晰车牌图像对应的样本对，构成样本对集合。

Images