发明内容
本申请提供一种车牌曝光补偿方法、装置与电子设备,针对不同车牌区域分别进行曝光处理,以在车牌图像中包含不同光线环境下的多个车牌,降低从车牌图像中提取车牌字符的难度。
第一方面,本申请提供一种车牌曝光补偿方法,包括:
获取待曝光补偿的图像;
基于预设训练模型识别所述图像中的至少一个车辆区域;
在所述图像中包含两个及以上的车辆区域时,对每个所述车辆区域进行图像分割,得到分割后的多个图像块;其中,每一个图像块中仅包含一个车辆区域,每个车辆区域中存在一个待识别车牌的车辆;
基于所述图像块中的车牌区域的亮度值计算多个曝光值;
合并差异值小于或等于第一阈值的曝光值得到多个集合,并选取每个集合中曝光值的最小值作为所述集合中每个图像块的曝光目标值;
基于曝光目标值对所述图像块的车牌区域进行调整。
在一些可行的实施例中,基于预设训练模型识别所述图像中的至少一个车辆区域,包括:
使用预设训练模型检测所述图像中与车辆具有相同特征的目标对象;
获取所述目标对象在所述图像中的像素位置;
使用图像分割技术对所述像素位置进行图像分割,得到分割后的至少一个图像块。
在一些可行的实施例中,使用图像分割技术对所述像素位置进行图像分割包括:
读取每个图像块中所述像素位置的颜色参数;所述颜色参数包括色相、饱和度以及亮度值;
基于所述像素位置的颜色参数以及预设分割值将所述图像分割成多个图像块;
根据最优阈值识别所述图像块中的目标部分和背景部分;所述最优阈值包括色相最优阈值、饱和度最优阈值以及亮度最优阈值。
在一些可行的实施例中,根据最优阈值识别所述图像块中的目标部分和背景部分包括:
如果所述图像块的颜色参数大于最优阈值,则将所述图像块中像素点划分为目标部分;
如果所述图像块的颜色参数小于或等于最优阈值,则将所述图像块中像素点划分为背景部分。
在一些可行的实施例中,基于所述图像块中的车牌区域的亮度值计算多个曝光值包括:
判断所述亮度值是否在预设区间范围之内,若是,基于所述图像块中的车牌区域的亮度值计算多个曝光值;
否则,根据所述亮度值与预设区间的下限值或上限值的关系确定亮度目标值,并基于所述亮度目标值计算曝光值。
在一些可行的实施例中,根据所述亮度值与预设区间的下限值或上限值的关系确定亮度目标值包括:
在所述亮度值小于预设区间中的下限值时,所述亮度目标值为所述亮度值与第二阈值的和值;
在所述亮度值大于预设区间中的上限值时,所述亮度目标值为所述亮度值与第三阈值的差值。
在一些可行的实施例中,合并差异值小于或等于第一阈值的曝光值得到多个集合,并选取每个集合中曝光值的最小值作为所述集合中每个图像块的曝光目标值包括:
分别计算每个图像块中所述待识别车牌车辆的曝光值;
合并运算每两个曝光值之间的差异值;
将差异值小于或等于第一阈值的曝光值进行整合,得到多个集合;
将每个集合中的曝光值的最小值确定为所述集合中每个图像块的曝光目标值。
在一些可行的实施例中,所述车牌曝光补偿方法还包括:
检测是否能从所述图像中确定出车牌区域;
若否,则获取所述车辆图像中预置区域的亮度参数,并基于所述亮度参数计算曝光目标值。
第二方面,本申请提供一种车牌曝光补偿装置,包括:获取模块、确定模块,处理模块以及调整模块;
所述获取模块用于获取待曝光补偿的图像;
所述确定模块用于基于预设训练模型识别所述图像中的至少一个车辆区域;
所述处理模块用于在所述图像中包含两个及以上的车辆区域时,对每个所述车辆区域进行图像分割,得到分割后的多个图像块;其中,每一个图像块中仅包含一个车辆区域,每个车辆区域中存在一个待识别车牌的车辆;所述处理模块还用于基于所述图像块中的车牌区域的亮度值计算多个曝光值;合并差异值小于或等于第一阈值的曝光值得到多个集合,并选取每个集合中曝光值的最小值作为所述集合中每个图像块的曝光目标值;
所述调整模块用于基于曝光目标值对所述图像块的车牌区域进行调整。
第三方面,本申请提供一种电子设备,包括:
处理器,以及与所述处理器通信连接的存储器;
其中,所述存储器存储有可被所述处理器执行的指令,以使所述处理器执行第一方面所述的车牌曝光补偿方法的步骤。
由上述技术内容可知,本申请提供一种车牌曝光补偿方法与装置,所述方法获取待曝光补偿的图像;基于预设训练模型识别所述图像中的至少一个车辆区域;在所述图像中包含两个及以上的车辆区域时,对每个所述车辆区域进行图像分割,得到分割后的多个图像块;其中,每一个图像块中仅包含一个车辆区域,每个车辆区域中存在一个待识别车牌的车辆;基于所述图像块中的车牌区域的亮度值计算多个曝光值;合并差异值小于或等于第一阈值的曝光值得到多个集合,并选取每个集合中曝光值的最小值作为所述集合中每个图像块的曝光目标值;基于曝光目标值对所述图像块的车牌区域进行调整。通过预设训练模型划分不同车牌区域,对不同车牌区域分别进行曝光处理,从而实现对复杂场景中不同光照条件下多个车牌的清晰获取,降低从车牌图像中提取车牌字符的难度。
具体实施方式
下面将详细地对实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下实施例中描述的实施方式并不代表与本申请相一致的所有实施方式。仅是与权利要求书中所详述的、本申请的一些方面相一致的系统和方法的示例。
车牌识别是一种获取与车牌对应的车辆信息以及车主信息的方式,可以采集包含车牌的图片数据或视频数据,并在图片数据和视频数据中识别车牌。其中,拍摄的图片中可能包含一个或多个车辆,在图片中存在多个车辆时,需要对每个车辆进行车牌识别。在车牌进行识别过程中,由于天气因素或极端光照条件下拍摄到的车牌图像的车牌区域成像不清晰时,需要对车牌区域进行曝光补偿,以便于提取车牌字符。但是若车牌图像中存在多个车牌,且不同车牌区域的亮度不同,无法对不同光线环境下的多个车牌进行正确曝光,使得从车牌图像中提取车牌字符难度较大。
如图1所示,本申请提供一种车牌曝光补偿方法以解决上述问题,所述方法包括:
S100:获取待曝光补偿的图像;
获取从图像采集设备发送的待曝光补偿的图像,在部分实施例中,所述待曝光补偿的图像可以为发生违章行为车辆的图像,图像采集设备基于压线算法或者其他违章算法判断出现在取景范围内的车辆是否违章,在判断出所述车辆存在违章行为时,发送待曝光补偿的图像,其中待曝光补偿的图像的分辨率可以为1080p。
S200:基于预设训练模型识别所述图像中的至少一个车辆区域;
本申请部分实施例中的预设训练模型采用大量数据集进行训练学习,以提升检测精度。其中,预设第一模型可以为YOLO、SSD、Fast R-CNN以及NanoDet等在目标检测方面速度较快和精度较高的模型。以NanoDet模型为例,NanoDet模型是一个速度超快和轻量级的移动端Anchor-free目标检测模型,轻量级模型NanoDet,对单阶段检测模型三大模块(Head、Neck、Backbone)进行轻量化,目标加检测速度很快;模型文件大小仅几兆。NanoDet使用Generalized Focal Loss损失函数。该损失函数能够去掉FCOS的Centerness分支,省去这一分支上的大量卷积,从而减少检测头的计算成本,适合移动端的轻量化部署。
在一些实施例中,基于预设训练模型识别所述图像中的至少一个车辆区域,包括:
使用预设训练模型检测所述图像中与车辆具有相同特征的目标对象;
获取所述目标对象在所述图像中的像素位置;
使用图像分割技术对所述像素位置进行图像分割,得到分割后的至少一个图像块。
S300:在所述图像中包含两个及以上的车辆区域时,使用图像分割技术对每个所述车辆区域进行图像分割,得到分割后的多个图像块;其中,每一个图像块中仅包含一个车辆区域,每个车辆区域中存在一个待识别车牌的车辆;
在待曝光补偿的图像中存在两个及以上的车辆区域时,由于每个车辆区域的亮度值不同,进行曝光补偿的曝光值也并不相同,所以需要针对每一个车辆区域进行曝光值的计算以实现对每个车牌区域进行曝光调整。因此在进行曝光值计算之前,需要使用图像分割技术对所述图像进行图像分割,以得到分割后的多个图像块,其中,每一个图像块中仅包含一个车辆区域,每个车辆区域中存在一个待识别车牌的车辆。
其中,使用图像分割技术对所述图像进行图像分割包括:
读取每个图像块中所述像素位置的颜色参数;所述颜色参数包括色相、饱和度以及亮度值;
基于所述像素位置的颜色参数以及预设分割值将所述图像分割成多个图像块;
根据最优阈值识别所述图像块中的目标部分和背景部分;所述最优阈值包括色相最优阈值、饱和度最优阈值以及亮度最优阈值。
在本申请部分实施例中,通过HSV特征实现图像分割。HSV色彩空间是一种用于描述颜色的模型,其名称取自代表颜色属性的三个分量:色相(hue)、饱和度(saturation)和亮度(value)。其中,色相表示颜色的基本属性,与光谱色以及人眼所感知到的颜色有关;饱和度表示颜色的纯度或深浅程度;而亮度则是颜色明暗的程度。HSV色彩空间通常被用来代替RGB(红绿蓝)颜色空间,相比于RGB,HSV色彩空间更易于理解和调整颜色。在HSV色彩空间中,色相的取值范围是0-360度,表示颜色的基本属性;饱和度的取值范围是0-100%,表示颜色的纯度;而亮度的取值范围也是0-100%,表示颜色的亮暗程度。这三个数值都可以通过变换来改变颜色,从而实现对颜色的调整和处理。
真实场景中RGB/BGR图像存在噪声,阴影和有时存在遮挡等影响,导致分割效果不理想,而HSV色彩空间将亮度或图像强度与色度或颜色信息分开,可以更好的获取信息。例如,在RGB色彩空间图像存在阴影,阴影部分很可能与原本没有阴影的部分有不同的特征,而在HSV色彩空间中,两个色块的色相分量很可能相似;阴影将主要影响亮度和饱和度,而色相不会有太大变化,因此在HSV色彩空间进行颜色分割具有较高的鲁棒性。通过设计HSV色彩空间各个分量的范围,可以很好地将该颜色的反光条提取出来。
通过在HSV色彩空间中选取一个适当的范围来设置阈值,保留指定颜色区域内的像素,从而提取出与目标颜色相近的物体区域。通过进一步的形态学处理,如腐蚀、膨胀等操作,可以使目标轮廓更加明显,最终实现对目标的精确定位和分割。
在一些实施例中,如果所述图像块的颜色参数大于最优阈值,则将所述图像块中像素点划分为目标部分;
如果所述图像块的颜色参数小于或等于最优阈值,则将所述图像块中像素点划分为背景部分。
通过计算图像块中像素点灰度值的平均值以及方差值;将所述方差值,平均值结合差异性算法得到所述像素点的第一阈值以及第二阈值,将所述第一阈值以及第二阈值中的最大值对应的灰度值作为最优阈值。
根据最优阈值以及当前图像块的颜色参数识别当前图像块中的目标部分和背景部分。如果所述图像块中像素点的颜色值大于最优阈值,则将所述图像块中像素点划分为目标部分;如果所述图像块中像素点的颜色值小于或等于最优阈值,则将所述图像块中像素点划分为背景部分;在一些实施例中,当前像素点的颜色值大于最优阈值时,置为1,反之,则置为0。
通过对图像块进行前景以及背景处理,可以根据分割的每一个图像块进行自适应,即每一个被分割的图像块基于其自身像素点的灰度值使用最符合的分割像素点,避免由于某些图像块中像素点的灰度值,由于普遍低于平均值而被处理成背景部分,可以消除非车辆区域的干扰。
S400:基于所述图像块中的车牌区域的亮度值计算多个曝光值;
如图2所示,在对所述图像中的每个所述车辆区域进行图像分割后,基于每个图像块中的车牌区域的亮度值计算多个曝光值具体包括:
判断所述亮度值是否在预设区间范围之内,若是,基于所述图像块中的车牌区域的亮度值计算多个曝光值;
否则,根据所述亮度值与预设区间的下限值或上限值的关系确定亮度目标值,并基于所述亮度目标值计算曝光值;其中,在所述亮度值小于预设区间中的下限值时,所述亮度目标值为所述亮度值与第二阈值的和值;
在所述亮度值大于预设区间中的上限值时,所述亮度目标值为所述亮度值与第三阈值的差值。
通过判断所述亮度值是否在预设区间范围之内,确定车牌区域是否处于极端场景,例如亮度过暗或者过亮,如果车牌区域处于极端场景下需要对所述车牌区域的亮度进行调整后再进行曝光值的计算,降低从车牌图像中提取车牌字符的难度。其中,所述亮度值在预设区间范围之内,则表示车牌区域处于正常场景,可以直接根据车牌区域的亮度值计算曝光值;否则,则根据所述亮度值与预设区间的下限值或上限值的关系确定亮度目标值,并基于所述亮度目标值计算曝光值。
在车牌的亮度值小于预设区间中的下限值时,确定场景模式为逆光场景,需要将所述亮度值与第二阈值进行加和,其中加和的和值为亮度目标值。在车牌的亮度值大于预设区间中的上限值时,确定场景模式为顺光场景,需要将所述亮度值与第三阈值进行减,其中差值为亮度目标值。预设区间中的下限值、预设区间中的上限值、第二阈值和第三阈值均为判断场景模式所使用的预设值。可以理解的是,下限值、上限值、第二阈值和第三阈值可以根据实际情况进行调整。下限值小于上限值。第二阈值和第三阈值可为1~10帧。通过设置第二阈值和第三阈值,可以避免在外界短暂干扰导致获取的车牌亮度急剧变化时连续来回调整图像亮度,防止对曝光补偿的来回调整导致车牌亮度忽明忽暗,提高图像亮度调节的稳定性。
S500:合并差异值小于或等于第一阈值的曝光值得到多个集合,并选取每个集合中曝光值的最小值作为所述集合中每个图像块的曝光目标值;
如图3所示,在一些实施例中,合并差异值小于或等于第一阈值的曝光值得到多个集合,并选取每个集合中曝光值的最小值作为所述集合中每个图像块的曝光目标值包括:
分别计算每个图像块中所述待识别车牌车辆的曝光值;
合并运算每两个曝光值之间的差异值;
将差异值小于或等于第一阈值的曝光值进行整合,得到多个集合;
将每个集合中的曝光值的最小值确定为所述集合中每个图像块的曝光目标值。
由于每个车牌区域均对应一个曝光值,需要基于每个曝光值对其所对应图像块的车牌区域进行曝光调整,为了节省操作,减小工作量,提高图像曝光效率,可以对不同车牌区域的曝光值进行合并运算,将曝光值差异值相近的进行整合,得到多个集合;将每个集合中的曝光值最小值作为该集合中每个图像块的曝光目标值,而未落在任何集合之内的曝光值即为该图像块的曝光目标值,例如:图像块1的曝光值为0.11,图像块2的曝光值为0.12,图像块3的曝光值为-0.05,图像块4的曝光值为-0.06,图像块5的曝光值为0.07,图像块6的曝光值为0.13,本实施例中差异值设定为0.01,因此第一集合包括图像块1,图像块2以及图像块6;第二集合包括图像块3和图像块4,那第一集合中的图像块1,图像块2以及图像块6的曝光目标值均为0.11,第二集合中的图像块3和图像块4的曝光目标值为-0.06,而图像块5的曝光目标值为0.07。
S600:基于曝光目标值对所述图像块的车牌区域进行调整。
在一些实施例中,所述车牌曝光补偿方法还包括:
检测是否能从所述图像中确定出车牌区域;
若否,则获取所述车辆图像中预置区域的亮度参数,并基于所述亮度参数计算曝光目标值。
在实际应用场景中会存在由于车辆周围环境过暗,而无法从拍摄的车辆图片信息中确定出车辆的车牌区域的情况,为了应对该情况的出现的无法确定车牌区域的问题,检测是否能够从所述图像中确定出所述车辆的车牌区域;若否,则获取所述车辆图像中预置区域的亮度参数;所述确定所述车辆的车牌区域内图片的亮度参数,包括:将所述预置区域的亮度参数确定为所述车辆的车牌区域内图片的亮度参数。
本实施例可通过图像识别技术或是车牌识别模型检测是否能够从图像中确定出目标车辆的车牌区域,其中,车辆识别模型采用改进的轻量化模型lite-yolox,采用简化的Darknet53作为骨干网络(分类网络),FPN(Feature Pyramid Networks,特征融合)作为Neck部分,将图片或视频序列帧中的高层的特征信息通过上采样的方式进行传递融合,并通过Head部分预测输出。Head的输出包括三个分支:目标框类别与预测分数;目标框置信度(区分目标框是前景还是背景);坐标框信息(视频序列帧中车辆的位置信息)。
通过轻量化模型可以识别图像或视频序列帧中的车辆,并可以通过输出的目标框置信度、目标框类别的预测分数对识别结果进行评价,以便于提高后续车牌识别的效率。
如果不能够通过上述两种技术获取到目标车辆的车牌区域,此时可以根据车辆的车牌区域大概的位置区域估算车辆区域的亮度参数,即通过确定车辆图像中的预置区域的亮度参数,确定目标车辆的车牌区域内图片的亮度参数。其中,预置区域是根据实际需求进行设定的,具体可以根据摄像设备所在位置及摄像设备拍摄的车辆的车牌区域中的大概位置确定,如摄像设备拍摄的车辆图片信息中目标车辆的车牌区域在车辆图片信息底部的四分之一处,则可将该位置区域设置成预置区域,即该位置区域包含了车辆的车牌区域。
在一些实施例中,如图4所示,本申请提供一种车牌曝光补偿装置,包括:获取模块11、确定模块12,处理模块13以及调整模块14;
所述获取模块11用于获取待曝光补偿的图像;
所述确定模块12用于基于预设训练模型识别所述图像中的至少一个车辆区域;
所述处理模块13用于在所述图像中包含两个及以上的车辆区域时,对每个所述车辆区域进行图像分割,得到分割后的多个图像块;其中,每一个图像块中仅包含一个车辆区域,每个车辆区域中存在一个待识别车牌的车辆;所述处理模块还用于基于所述图像块中的车牌区域的亮度值计算多个曝光值;合并差异值小于或等于第一阈值的曝光值得到多个集合,并选取每个集合中曝光值的最小值作为所述集合中每个图像块的曝光目标值;
所述调整模块14用于基于曝光目标值对所述图像块的车牌区域进行调整。
在一些实施例中,本申请提供一种电子设备,包括:
处理器,以及与所述处理器通信连接的存储器;
其中,所述存储器存储有可被所述处理器执行的指令,以使所述处理器执行方法类实施例中所述的方法的步骤。
本申请提供一种车牌曝光补偿方法与装置,所述方法获取待曝光补偿的图像;基于预设训练模型识别所述图像中的至少一个车辆区域;在所述图像中包含两个及以上的车辆区域时,对每个所述车辆区域进行图像分割,得到分割后的多个图像块;其中,每一个图像块中仅包含一个车辆区域,每个车辆区域中存在一个待识别车牌的车辆;基于所述图像块中的车牌区域的亮度值计算多个曝光值;合并差异值小于或等于第一阈值的曝光值得到多个集合,并选取每个集合中曝光值的最小值作为所述集合中每个图像块的曝光目标值;基于曝光目标值对所述图像块的车牌区域进行调整。通过预设训练模型划分不同车牌区域,对不同车牌区域分别进行曝光处理,从而实现对复杂场景中不同光照条件下多个车牌的清晰获取,降低从车牌图像中提取车牌字符的难度。
本申请提供的实施例之间的相似部分相互参见即可,以上提供的具体实施方式只是本申请总的构思下的几个示例,并不构成本申请保护范围的限定。对于本领域的技术人员而言,在不付出创造性劳动的前提下依据本申请方案所扩展出的任何其他实施方式都属于本申请的保护范围。