CN111881924A - 结合光照不变性与短曝光光照增强的暗光车照识别方法 - Google Patents

Abstract

本申请公开了一种结合光照不变性与短曝光光照增强的暗光车照识别方法，对待识别黑暗车辆图像进行处理得到灰度光照不变性特征图和补光图像；将灰度光照不变性特征图和补光图像输入到预置车型识别模型，使得预置车型识别模型对灰度光照不变性特征图和补光图像进行特征提取后，再进行特征融合得到特征增强图像，并基于特征增强图像进行车型识别得到车型识别结果；将补光图像输入到预置颜色识别模型进行颜色识别得到颜色识别结果；结合颜色识别结果和车型识别结果，输出最终识别结果，解决了现有的车型识别方法在面对真实黑暗环境，例如夜晚监控摄像头获取的车辆图像，成像黑暗，且不清晰，存在噪点，无法提取车辆特征，使得识别结果不佳的技术问题。

Description

结合光照不变性与短曝光光照增强的暗光车照识别方法

技术领域

本申请涉及图像识别技术领域，尤其涉及结合光照不变性与短曝光光照增强的暗光车照识别方法。

背景技术

车型识别方法主要通过对获取的车辆图像进行轮廓特征提取，同时对车身细节部位进行特征提取，例如车前盖形状特征、车窗大小特征、车头部位布局特征等，再对提取的特征进行分类识别。现有技术中通常要求在光线充足的情况下采集车辆图像，使得车辆图像足够清晰，而面对真实黑暗环境，例如夜晚监控摄像头获取的车辆图像，成像黑暗，且不清晰，存在噪点，无法提取车辆特征，使得识别结果不佳。

发明内容

本申请提供了结合光照不变性与短曝光光照增强的暗光车照识别方法，用于解决现有的车型识别方法在面对真实黑暗环境，例如夜晚监控摄像头获取的车辆图像，成像黑暗，且不清晰，存在噪点，无法提取车辆特征，使得识别结果不佳的技术问题。

有鉴于此，本申请第一方面提供了一种结合光照不变性与短曝光光照增强的暗光车照识别方法，包括：

对待识别黑暗车辆图像进行处理，得到灰度光照不变性特征图，并对所述待识别黑暗车辆图像进行光照增强处理，得到补光图像；

将所述灰度光照不变性特征图和所述补光图像输入到预置车型识别模型，使得所述预置车型识别模型对所述灰度光照不变性特征图和所述补光图像进行特征提取后，对提取的特征进行特征融合得到特征增强图像，并基于所述特征增强图像进行车型识别，得到车型识别结果；

将所述补光图像输入到预置颜色识别模型进行颜色识别，得到颜色识别结果；

结合所述颜色识别结果和所述车型识别结果，输出最终识别结果。

可选地，所述对待识别黑暗车辆图像进行处理，得到灰度光照不变性特征图，包括：

基于位置敏感直方图方法对待识别黑暗车辆图像进行处理，得到灰度光照不变性特征图。

可选地，所述对所述待识别黑暗车辆图像进行光照增强处理，得到补光图像，包括：

基于预置光照增强模型对所述待识别黑暗车辆图像进行光照增强处理，得到补光图像，所述预置光照增强模型为训练好的U-net网络。

可选地，所述预置车型识别模型包括特征融合模块和特征识别模块，所述特征融合模块由编码器、融合层和解码器依次连接构成，所述编码器和所述解码器分别由4个卷积层构成。

可选地，所述特征融合模块中设置有注意力模块，所述注意力模块用于对输入的特征图进行注意力特征图加权计算，使得所述特征融合模块准确提取车辆特征图，所述特征识别模块对所述车辆特征图进行车型识别，得到车型识别结果。

可选地，所述预置颜色识别模型中设置有注意力模块，所述所述注意力模块用于对所述补光图像中的车辆的车身区域截取采样，得到车身部位特征图，使得所述预置颜色识别模型对所述车身部位特征图进行颜色识别，得到颜色识别结果。

可选地，所述预置车型识别模型的配置过程包括：

获取训练集，并对获取的所述训练集进行数据扩充，得到扩充后的数据集，所述训练集中的训练样本为待训练黑暗车辆图像；

对所述扩充后的数据集的训练样本进行处理，得到所述训练样本的灰度光照不变性特征图，并对所述训练样本进行光照增强处理，得到所述训练样本的补光图像；

将所述训练样本的灰度光照不变性特征图和补光图像输入至第一卷积神经网络进行训练，直至所述第一卷积神经网络收敛，得到所述预置车型识别网络。

可选地，所述预置颜色识别模块的配置过程包括：

将所述训练样本的补光图像输入至第二卷积神经网络进行训练，直至所述第二卷积神经网络收敛，得到所述预置颜色识别模型。

从以上技术方案可以看出，本申请具有以下优点：

本申请提供了一种结合光照不变性与短曝光光照增强的暗光车照识别方法，包括：对待识别黑暗车辆图像进行处理，得到灰度光照不变性特征图，并对待识别黑暗车辆图像进行光照增强处理，得到补光图像；将灰度光照不变性特征图和补光图像输入到预置车型识别模型，使得预置车型识别模型对灰度光照不变性特征图和补光图像进行特征提取后，对提取的特征进行特征融合得到特征增强图像，并基于特征增强图像进行车型识别，得到车型识别结果；将补光图像输入到预置颜色识别模型进行颜色识别，得到颜色识别结果；结合颜色识别结果和车型识别结果，输出最终识别结果。

本申请中，通过光照不变性特征在弱光照条件下生成车辆轮廓图，即使在黑暗光照条件，也能提取到车辆在正常光照条件下相似的特征，通过光照增强技术对黑暗车辆图像进行处理，从而能根据噪点强度自适应地去噪；通过将提取到的灰度光照不变性特征图和补光图像进行特征融合，得到的特征更具有鲁棒性，提高车型识别准确率，通过光照增强处理后得到的补光图像进行颜色识别，提高颜色识别准确率；最后结合颜色识别结果和车型识别结果进行输出，从而解决了现有的车型识别方法在面对真实黑暗环境，例如夜晚监控摄像头获取的车辆图像，成像黑暗，且不清晰，存在噪点，无法提取车辆特征，使得识别结果不佳的技术问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例提供的一种结合光照不变性与短曝光光照增强的暗光车照识别方法的一个流程示意图；

图2为本申请实施例提供的一种光照增强模型的一个结构示意图；

图3为本申请实施例提供的一种车型识别模型的一个结构示意图；

图4为本申请实施例提供的一种注意力模块的一个结构示意图。

具体实施方式

本申请提供了结合光照不变性与短曝光光照增强的暗光车照识别方法，用于解决现有的车型识别方法在面对真实黑暗环境，例如夜晚监控摄像头获取的车辆图像，成像黑暗，且不清晰，存在噪点，无法提取车辆特征，使得识别结果不佳的技术问题。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了便于理解，请参阅图1，本申请提供的一种结合光照不变性与短曝光光照增强的暗光车照识别方法的一个实施例，包括：

步骤101、对待识别黑暗车辆图像进行处理，得到灰度光照不变性特征图，并对待识别黑暗车辆图像进行光照增强处理，得到补光图像。

待识别黑暗车辆图像可以通过摄像头采集的静止车辆的图像或行驶车辆的图像。由于在黑暗照明条件下拍摄的待识别黑暗车辆图像，会对车辆外观产生巨大的影响，使得识别结果不够准确，本申请实施例通过对待识别黑暗车辆图像进行处理得到灰度光照不变性特征图，从而可以准确提取到待识别黑暗车辆图像的车辆轮廓特征，这样即使在黑暗光照条件下，也能得到与车型在正常光照条件下相似的特征。

在拍摄行驶状态下车辆的图像，拍摄成像时，曝光时间段，暗光条件下受到信噪比和低亮度的影响，图像的质量会受到很大的影响，同时，低曝光率的车辆图像存在很多噪声。本申请实施例中，通过短曝光光照增强技术根据噪点强度自适应地对待识别黑暗车辆图像进行光照增强处理，得到清晰的光照增强图像，即补光图像，以便于提高黑暗车辆图像的识别率。

步骤102、将灰度光照不变性特征图和补光图像输入到预置车型识别模型，使得预置车型识别模型对灰度光照不变性特征图和补光图像进行特征提取后，对提取的特征进行特征融合得到特征增强图像，并基于特征增强图像进行车型识别，得到车型识别结果。

将灰度光照不变性特征图和补光图像输入到预置车型识别模型，预置车型识别模型对输入的灰度光照不变性特征图和补光图像进行特征提取，并对基于灰度光照不变性特征图和补光图像提取到的两种特征进行特征融合，得到特征增强图像，预置车型识别模型基于融合后的特征增强图像进行车型识别，得到车型识别结果，通过融合这两种特征，可以得到更具有鲁棒性的特征，有助于提高车型识别结果。

步骤103、将补光图像输入到预置颜色识别模型进行颜色识别，得到颜色识别结果。

将补光图像输入到预置颜色识别模型进行特征提取和识别，得到车辆的颜色识别结果，通过对光照增强处理后得到的补光图像进行颜色识别，比基于原图像进行颜色识别得到的颜色识别结果准确率更高。

步骤102和步骤103可以同时执行，也可以先后执行。

步骤104、结合颜色识别结果和车型识别结果，输出最终识别结果。

通过结合颜色识别结果和车型识别结果，得到形容词-名词对识别结果。例如，颜色识别结果为黄色，车型识别结果为奥迪A6，结合颜色识别结果和车型识别结果，输出的最终识别结果为黑色的奥迪A6。

本申请实施例中，通过光照不变性特征在弱光照条件下生成车辆轮廓图，即使在黑暗光照条件，也能提取到车辆在正常光照条件下相似的特征，通过光照增强技术对黑暗车辆图像进行处理，从而能根据噪点强度自适应地去噪；通过将提取到的灰度光照不变性特征图和补光图像进行特征融合，得到的特征更具有鲁棒性，提高车型识别准确率，通过光照增强处理后得到的补光图像进行颜色识别，提高颜色识别准确率；最后结合颜色识别结果和车型识别结果进行输出，从而解决了现有的车型识别方法在面对真实黑暗环境，例如夜晚监控摄像头获取的车辆图像，成像黑暗，且不清晰，存在噪点，无法提取车辆特征，使得识别结果不佳的技术问题。

以上为本申请提供的一种结合光照不变性与短曝光光照增强的暗光车照识别方法的一个实施例，以下为本申请提供的一种结合光照不变性与短曝光光照增强的暗光车照识别方法的另一个实施例。

为了便于理解，本申请提供的一种结合光照不变性与短曝光光照增强的暗光车照识别方法的另一个实施例，包括：

步骤201、基于位置敏感直方图方法对待识别黑暗车辆图像进行处理，得到灰度光照不变性特征图。

本申请实施例采用位置敏感直方图方法对待识别黑暗车辆图像进行处理，得到灰度光照不变性特征图，该方法将原始图像转换为新图像，其中，当照度发生变化时，新图像像素点的像素值不会发生改变。

位置敏感直方图是一种位置关联的图像统计特征。定义三维矩阵Q(i,j,nbins)统一灰度图像的灰度分布，其中，(i,j)为每个像素点坐标，nbins为直方图区间(bin)的个数，nbins将灰度区间分段，属于某bin的像素点在该Q(i,j,nbins)＝1，反之，在Q(i,j,nbins)＝0。

位置敏感直方图在像素点p上的提取公式为：

式中，W为像素点数量，B为bin的总数量，p、q为像素点位置，Q(I_q,b)为0，除非像素位置q上的强度值I_q属于像素点b，α∈(0,1)，是控制随着参数远离目标中心(当前正在计算的像素点p)而减少的权重的参数。通过上式可知，每个像素点p的求值都是在所有像素点q上求得的。位置敏感直方图将距离纳入考量，在积分直方图基础上引入距离权重系数，这样可以减少背景因素的干扰，以便更好的提取车辆的外观特征。

通过基于位置敏感直方图

的特征，使用考量全局像素，而不仅是窗口局部像素的方法，因此，在全局下能够更加对比度来判断不太像素之间的特征，自适应地考虑使用图像像素点的贡献，而不是依赖亮度去识别，从而待识别黑暗车辆图像每个像素点在不同光照下都能产生不变的响应，生成不变响应公式如下：

式中，γ_p控制像素点p出的积分间隔，κ＝1，是常量，b_p为像素点p所属的bin。因而即使在黑暗光照条件，也能得到与车辆正常光照条件下相似的特征。通过对每个像素点p进行上述公式的处理，得到灰度光照不变性特征图。

步骤202、基于预置光照增强模型对待识别黑暗车辆图像进行光照增强处理，得到补光图像，预置光照增强模型为训练好的U-net网络。

为得到行驶状态下车辆的图像，拍摄成像时曝光时间短，暗光条件下，受到低信噪比和低亮度的影响，图片的质量会受到很大的影响，同时，低曝光率的照片会出现很多噪声。基于预置光照增强模型对待识别黑暗车辆图像进行光照增强处理，得到RGB补光图像。具体的，请参考图2，将待识别黑暗图像输入至预置光照增强模型后，预置光照增强模型将输入的待识别黑暗车辆图像打包为四个通道，并在每个通道上将空间分辨率降低一半，原始数据可以以6×6排列块组成。此外，消除黑色像素并按照期望的倍数缩放数据(例如，x100或x300)，更高的放大倍数可以产生更明亮的图像。将处理后数据进行卷积处理，输出是一个带12通道的图像，其空间分辨率只有输入的一半，最后合成光照增强车辆图像。

将U-net网络作为核心架构，在GPU中，模型结构可以处理全分辨率的图像(例如，在4240×2832或6000×4000分辨率)。同时，避免使用完全连接结构及模型集成方式，可以很大程度减少需要训练的参数且能使整个网络结构更加高效的运行。使用此方法能够抑制盲点噪声并实现颜色转换，并在空间网络直接处理图像，得到网络的输出。

步骤203、将灰度光照不变性特征图和补光图像输入到预置车型识别模型，使得预置车型识别模型对灰度光照不变性特征图和补光图像进行特征提取后，对提取的特征进行特征融合得到特征增强图像，并基于特征增强图像进行车型识别，得到车型识别结果。

将得到的灰度光照不变性特征图和补光图像输入预置车型识别模型进行特征融合，得到边缘特征与车身细节都突出显化的车辆特征图。预置车型识别模型包括特征融合模块和特征识别模块，特征融合模块由编码器、融合层和解码器依次连接构成，编码器和解码器分别由4个卷积层构成，本申请实施例中各个卷积层的卷积核大小为3*3，请参考图3提供的车型识别模型；特征识别模块可以为分类器或者softmax层。预置车型识别模型中的编码器对输入的灰度光照不变性特征图和补光图像进行特征提取；通过融合层对提取的两种特征进行融合，得到显著特征，其中，特征融合的公式为：

式中，

为第i种特征的第m个通道，k＝2，f_m为融合结果。

解码器对融合层输出的特征进行重构，得到最终的特征增强图像。

进一步，特征融合模块中设置有注意力模块，注意力模块可以嵌入在特征融合模块中的卷积层后或融合层后，注意力模块用于对输入的特征图进行注意力特征图加权计算，使得特征融合模块准确提取车辆特征图，特征识别模块对车辆特征图进行车型识别，得到车型识别结果。注意力模块的结构请参考图4，注意力模块对输入的特征图F∈R^C×H×W，沿着两个维度(通道和空间)依次进行处理，得到一维通道注意力特征图M_c∈R^C×1×1，和二维空间注意力特征图M_s∈R^1×H×W，然后通过注意力特征图乘以输入的特征图以进行自适应调整修饰，使得网络对图像特征分配更加准确的权重，以便更准确地对车辆位置进行定位识别。注意力模块包括通道特征提取模块和空间特征提取模块，通道特征提取模块的特征提取公式为：

式中，F'为通道特征提取模块提取的特征，M_c(F)为通道注意力特征图，F为输入的特征图，

为逐元素相乘。

特征图的每个通道可以被视为一个特征监测器，通道主要关注输入的图像中有什么意义。为了高效低计算通道注意力特征，使用最大池化和平均池化对特征图在空间维度上进行压缩，得到两个不同的空间背景描述：

和

使用由MLP组成的共享网络对这两个不同的空间背景描述进行计算得到通道注意力特征图M_c∈R^C×1×1。

空间特征提取模块的特征提取公式为：

式中，F”为空间特征提取模块提取的特征，M_s(F')为空间注意力特征图。

与通道注意力特征不同，空间注意力特征关注于位置信息，在通道的维度上采样最大池化和平均池化得到两个不同的特征描述：

和

然后将这两个特征描述进行融合，并通过卷积操作生成空间注意力特征图M_s∈R^1×H×W。

可以理解的是，注意力模块可以视为一个插件，可以将注意力模块嵌入到特征融合模块中，调整特征图的特征，使得车辆位置特征和车身部位特征更被模型注意，从而更准确地识别出车型。

进一步，预置车型识别模型的配置过程包括：

1、获取训练集，并对获取的训练集进行数据扩充，得到扩充后的数据集，训练集中的训练样本为待训练黑暗车辆图像。

待训练黑暗车辆图像为有标签的图像，通过对获取的训练集进行数据扩充，可以避免网络出现过拟合的情况。

2、对扩充后的数据集的训练样本进行处理，得到训练样本的灰度光照不变性特征图，并对训练样本进行光照增强处理，得到训练样本的补光图像。

3、将训练样本的灰度光照不变性特征图和补光图像输入至第一卷积神经网络进行训练，直至第一卷积神经网络收敛，得到预置车型识别网络。

步骤204、将补光图像输入到预置颜色识别模型进行颜色识别，得到颜色识别结果。

对车辆进行颜色识别是对车辆的外壳部位进行识别，避免车窗区域造成的颜色检测错误，需要先识别出车前盖等车身部位，再进行颜色识别。因此，本申请实施例中在预置颜色识别模型中也设置注意力模块，注意力模块的结构与步骤203中的注意力模块的结构相同，该注意力模块用于对补光图像中的车辆的车身区域截取采样，去除车窗区域，得到车身部位特征图，使得预置颜色识别模型对车身部位特征图进行颜色识别，得到颜色识别结果，从而避免颜色识别错误的情况。

进一步，预置颜色识别模块的配置过程包括：

将训练样本的补光图像输入至第二卷积神经网络进行训练，直至第二卷积神经网络收敛，得到预置颜色识别模型。

步骤205、结合颜色识别结果和车型识别结果，输出最终识别结果。

步骤205的具体过程与步骤104的具体过程一致，在此不再对步骤205进行赘述。

本申请实施例中通过层车型识别模型和颜色识别模型中设置注意力模块，以准确定位车辆位置和截取车身部位，通过注意力模块生成注意力特征图，帮助模型准确定位。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (8)

1.一种结合光照不变性与短曝光光照增强的暗光车照识别方法，其特征在于，包括：

对待识别黑暗车辆图像进行处理，得到灰度光照不变性特征图，并对所述待识别黑暗车辆图像进行光照增强处理，得到补光图像；

将所述灰度光照不变性特征图和所述补光图像输入到预置车型识别模型，使得所述预置车型识别模型对所述灰度光照不变性特征图和所述补光图像进行特征提取后，对提取的特征进行特征融合得到特征增强图像，并基于所述特征增强图像进行车型识别，得到车型识别结果；

将所述补光图像输入到预置颜色识别模型进行颜色识别，得到颜色识别结果；

结合所述颜色识别结果和所述车型识别结果，输出最终识别结果。

2.根据权利要求1所述的结合光照不变性与短曝光光照增强的暗光车照识别方法，其特征在于，所述对待识别黑暗车辆图像进行处理，得到灰度光照不变性特征图，包括：

基于位置敏感直方图方法对待识别黑暗车辆图像进行处理，得到灰度光照不变性特征图。

3.根据权利要求1所述的结合光照不变性与短曝光光照增强的暗光车照识别方法，其特征在于，所述对所述待识别黑暗车辆图像进行光照增强处理，得到补光图像，包括：

基于预置光照增强模型对所述待识别黑暗车辆图像进行光照增强处理，得到补光图像，所述预置光照增强模型为训练好的U-net网络。

4.根据权利要求1所述的结合光照不变性与短曝光光照增强的暗光车照识别方法，其特征在于，所述预置车型识别模型包括特征融合模块和特征识别模块，所述特征融合模块由编码器、融合层和解码器依次连接构成，所述编码器和所述解码器分别由4个卷积层构成。

5.根据权利要求4所述的结合光照不变性与短曝光光照增强的暗光车照识别方法，其特征在于，所述特征融合模块中设置有注意力模块，所述注意力模块用于对输入的特征图进行注意力特征图加权计算，使得所述特征融合模块准确提取车辆特征图，所述特征识别模块对所述车辆特征图进行车型识别，得到车型识别结果。

6.根据权利要求1所述的结合光照不变性与短曝光光照增强的暗光车照识别方法，其特征在于，所述预置颜色识别模型中设置有注意力模块，所述所述注意力模块用于对所述补光图像中的车辆的车身区域截取采样，得到车身部位特征图，使得所述预置颜色识别模型对所述车身部位特征图进行颜色识别，得到颜色识别结果。

7.根据权利要求1所述的结合光照不变性与短曝光光照增强的暗光车照识别方法，其特征在于，所述预置车型识别模型的配置过程包括：

获取训练集，并对获取的所述训练集进行数据扩充，得到扩充后的数据集，所述训练集中的训练样本为待训练黑暗车辆图像；

对所述扩充后的数据集的训练样本进行处理，得到所述训练样本的灰度光照不变性特征图，并对所述训练样本进行光照增强处理，得到所述训练样本的补光图像；

将所述训练样本的灰度光照不变性特征图和补光图像输入至第一卷积神经网络进行训练，直至所述第一卷积神经网络收敛，得到所述预置车型识别网络。

8.根据权利要求7所述的结合光照不变性与短曝光光照增强的暗光车照识别方法，其特征在于，所述预置颜色识别模块的配置过程包括：

将所述训练样本的补光图像输入至第二卷积神经网络进行训练，直至所述第二卷积神经网络收敛，得到所述预置颜色识别模型。

Images