背景技术
数字图像采集是利用摄像头等传感器将光信号转化成电信号并用数字形式进行存储、传输和显示的过程,数字图像处理是将采集的数字图像针对使用目的和场景进行处理优化的过程,其中常见的方法包括:图像增强和复原、图像编码压缩、图像描述等。
宽动态是解决在极端光照条件下,摄像机输出的图像无法保留亮部和暗部细节的问题的方法。当在强光源(日光、灯具或反光等)照射下的高亮度区域及阴影、逆光等相对亮度较低的区域在图像中同时存在时,摄像机输出的图像会出现明亮区域因曝光过度成为白色,而黑暗区域因曝光不足成为黑色,无法保留细节,严重影响图像质量的问题。摄像机在同一场景中对最亮区域及较暗区域的表现是存在局限的,这种局限就是通常所讲的“动态范围”。
主流的宽动态方法是采用不同的曝光值进行多次曝光,将得到的几帧图像进行融合,再通过色调映射,得到一张可在屏幕上显示的宽动态范围的图像。但这种方法对于连续的视频流具有一定的局限性:进行多次曝光得到一帧宽动态范围的图片会导致帧率大幅下降,若要保持原有的帧率,则需要对图像采集器件提出更高的要求。同时,当有3D降噪需求时,由于需要保留图片信息用于运动估计,且宽动态的色调映射操作通常需要在YUV域上进行,相比Bayer域需要两到三倍的存储资源,因此宽动态算法会大幅提高存储空间的需求,影响成本。
如今,图像处理在智能汽车、智能家居、智能监控等诸多领域发挥着越来越重要的作用,宽动态和3D降噪均为其中比较重要的需求。一种可以保持帧率,并且占用资源极低的可兼容3D降噪的宽动态方法具有实用价值。
发明内容
发明目的:针对影像的宽动态和3D降噪要求,提出一种兼容3D降噪的图像宽动态方法,可以保持帧率,并且运行时占用内存存储资源低。
技术方案:一种兼容3D降噪的图像宽动态方法,包括:通过长短帧交替曝光策略获取连续的帧图像,并实时进行逐帧图像融合,所述图像融合过程中包括运动估计处理;
所述图像融合过程中,将待融合的一帧图像称为当前帧;在进行当前帧图像融合前,先将当前帧图像与上一帧图像映射为同一亮度;每次融合过程中,若当前帧为长曝光帧,则舍弃该帧图像中的过亮区域,并对过暗区域赋予高于其余区域的权重;若当前帧为短曝光帧,则舍弃该帧图像中的过暗区域,并对过亮区域赋予高于其余区域的权重;
最后,将完成所有帧融合后的图像进行色调映射,得到宽动态范围图像。
进一步的,所述长短帧交替曝光策略中,每帧的曝光增益和曝光时间计算方法包括:
步骤A:计算每一帧的基础曝光增益和曝光时间,包括:
设置初始化的基础曝光增益和曝光时间
、
,根据下式计算得到下一帧的基础曝光增益和曝光时间
、
:
其中,
、
为上一帧的基础曝光增益和曝光时间,
为亮度目标值,
为上一次融合后的图像的亮度平均值,函数
根据拍摄图像设备的传感器的物理性质预先确定得到;
步骤B:根据基础曝光增益和曝光时间计算实际曝光增益和曝光时间,包括:
首先,根据帧数确定将要采集的下一帧为长曝光帧或短曝光帧,对于长曝光帧和短曝光帧,分别用以下公式计算对应的实际曝光增益和曝光时间:
其中,
、
分别表示长曝光帧的实际曝光增益和曝光时间,
、
分别表示短曝光帧的实际曝光增益和曝光时间;
、
分别为长曝光帧和短曝光帧的增益系数,两者取值范围均为[0.1,0.5]。
进一步的,根据当前帧图像为长曝光帧或短曝光帧,所述图像映射的映射关系分别采用以下公式:
其中,
、
分别表示长曝光帧图像和短曝光帧图像,
、
分别表示调整亮度后的长曝光帧图像和短曝光帧图像。
进一步的,若当前帧为长曝光帧,对应的图像融合的数学表达式为:
若当前帧为短曝光帧,对应的图像融合的数学表达式为:
其中,
表示本次融合后的图像,
表示图像
中坐标为
的像素点的像素值,
为融合权重,
取值范围为[0.1,0.5],当没有3D降噪需求时,
取值为0.5,当需要进行3D降噪时,将
取值为3D降噪权重,即
范围为[0.1,0.5);
是对图像过亮或过暗区域进行融合的权重,取值范围为
;
表示上一次融合后的图像,
表示图像
经运动估计后像素点
匹配到的对应点
的像素值,
表示调整亮度后的长曝光帧图像中坐标为
的像素点的像素值,
表示调整亮度后的短曝光帧图像中坐标为
的像素点的像素值,
、
分别为图像过暗和过亮的判定阈值;
在每次图像融合后,将得到的图像
替换存储设备中的图像
。
进一步的,
,
,其中,
为图像动态范围值,系数
取值范围为[0.01,0.1]。
进一步的,根据图像亮度的收敛性判断是否执行所述图像宽动态方法;所述图像的亮度的收敛性通过自动曝光调节的收敛条件进行判定,当上一次融合后的图像的亮度平均值
满足
时,执行所述图像宽动态方法,其中
为亮度收敛的阈值,其取值范围为[0.05,0.2]。
有益效果:主流的宽动态方法是采用不同的曝光值进行多次曝光,将得到的几帧图像进行融合,再通过色调映射,得到一张可在屏幕上显示的宽动态范围的图像。但这种方法对于连续的视频流具有一定的局限性:进行多次曝光只能得到一帧宽动态范围的图片会导致帧率大幅下降,若要保持原有的帧率,则需要对图像采集器件提出更高的要求。本发明方法采用了新的曝光策略,通过长短帧交替曝光,然后将下一帧图像直接与上一次融合后的帧图像融合,而非传统的对每一帧图像均进行多次曝光再融合,从而可以在保持原帧率的前提下使用宽动态方法。
此外,由于传统的宽动态的色调映射操作通常需要在YUV域上进行,相比Bayer域需要两到三倍的存储资源。同时,当有3D降噪需求时,由于需要保留图片信息用于运动估计,即需要存储上一帧的图像信息作为参考帧,因此兼容3D降噪的宽动态算法会大幅提高存储空间的需求,影响成本。在本发明中,通过直接在Bayer域上进行亮度映射,再进行融合的处理方式,每次只需存储上一帧处理后得到的一张Bayer格式图像用于与下一次的图像融合,得到新的一帧输出图像,同时进行3D和宽动态的图像融合,实现兼容3D降噪和宽动态,相对传统方法大幅降低了存储资源的消耗。
具体实施方式
下面结合附图对本发明做更进一步的解释。
如图1所示,一种兼容3D降噪的图像宽动态方法,通过长短帧交替曝光策略获取连续的帧图像,并实时进行逐帧图像融合,图像融合过程中包括运动估计处理。在图像融合过程中,将待融合的一帧图像称为当前帧。在进行当前帧图像融合前,先将当前帧图像与上一帧图像映射为同一亮度;每次融合过程中,若当前帧为长曝光帧,则舍弃该帧图像中的过亮区域,并对过暗区域赋予高于其余区域的权重;若当前帧为短曝光帧,则舍弃该帧图像中的过暗区域,并对过亮区域赋予高于其余区域的权重。最后,将完成所有帧融合后的图像进行色调映射,得到宽动态范围图像。以上过程中的图像均以Bayer格式进行处理和存储。
具体的,长短帧交替曝光策略中,拍摄图像的设备进行自动曝光调节(AE),不同的传感器的曝光时间、曝光增益与进光量以及最终亮度的关系不同,这里用公式Ip=φ*(Ie*f(g,t))表示这一关系,其中g为曝光增益,t为曝光时间,两者共同作用;以函数f表示采集到的图像p的亮度Ip与环境亮度Ie的关系,函数f取决于传感器的物理性质;φ是一个截断函数,反应了图像传感器对过亮和过暗信息的损失,只有位于过亮和过暗信息之间部分与原始信息相同。
本发明中,每帧的曝光增益和曝光时间计算方法为:
步骤A:计算每一帧的基础曝光增益和曝光时间,包括:
设置初始化的基础曝光增益和曝光时间
、
,根据下式计算得到下一帧的基础曝光增益和曝光时间
、
:
其中,
、
为上一帧的基础曝光增益和曝光时间,
为亮度目标值,
为上一次融合后的图像的亮度平均值,亮度函数
根据拍摄图像设备的传感器的物理性质预先确定得到。
步骤B:根据基础曝光增益和曝光时间计算实际曝光增益和曝光时间,包括:
首先,根据帧数确定将要采集的下一帧为长曝光帧或短曝光帧,对于长曝光帧和短曝光帧,分别用以下公式计算对应的实际曝光增益和曝光时间:
其中,
、
分别表示长曝光帧的实际曝光增益和曝光时间,
、
分别表示短曝光帧的实际曝光增益和曝光时间;
、
分别为长曝光帧和短曝光帧的增益系数,两者取值范围均为[0.1,0.5],通常两者取值相同。
一般而言,在非过亮与过暗区域,亮度与f满足线性关系,因此在开始图像融合前先对对设备获取的下一帧图像进行亮度映射。根据当前帧图像为长曝光帧或短曝光帧,图像映射的映射关系分别采用以下公式:
其中,
、
分别为长曝光帧图像和短曝光帧图像,
、
分别为调整亮度后的长曝光帧图像和短曝光帧图像。图像
、
中间区域亮度相同,但过亮和过暗处细节保留不同。
经调整亮度后的图像整体亮度合适,但亮部和暗部细节缺失。在进行下一帧图像融合前先进行运动估计,运动估计是视频编码和视频处理中广泛使用的一种技术,也属于3D降噪中使用的基本方法。
每次融合迭代过程中,若当前帧为长曝光帧,则舍弃该帧图像中的过亮区域,并对过暗区域赋予高于其余区域的权重;若当前帧为短曝光帧,则舍弃该帧图像中的过暗区域,并对过亮区域赋予高于其余区域的权重。具体的,若当前帧为长曝光帧,对应的图像融合数学表达式为:
若当前帧为短曝光帧,对应的图像融合数学表达式为:
其中,
表示本次融合后的图像,
表示图像
中坐标为
的像素点的像素值。
为融合权重,
取值范围为[0.1,0.5],当没有3D降噪需求时,
取值为0.5,当需要进行3D降噪时,则将
取值为3D降噪权重,即此时
范围为[0.1,0.5)。3D降噪是常见的视频降噪方法,常规的3D降噪主要包括运动估计和时域融合。运动估计在为宽动态而进行的前面的步骤中已经完成,而在时域融合中,
越小,下一帧图像所占的权重越低,3D降噪强度越大,但同时对运动估计的要求也越高;反之
越大,降噪强度越低,但由融合导致的失真也会降低。当
取值为0.5时,几乎不产生3D降噪效果,相当于只进行宽动态的融合。
是对图像过亮或过暗区域进行融合的权重,由于过亮或过暗的问题,这一部分信息量较少,因此赋予下一帧更大的权重,其取值范围为
,一般取值为
。
表示上次融合后的图像,
表示图像
经运动估计后像素点
匹配到的对应点
的像素值,
表示调整亮度后的长曝光帧图像中坐标为
的像素点的像素值,
表示调整亮度后的短曝光帧图像中坐标为
的像素点的像素值,
、
分别为图像过暗和过亮的判定阈值,
,
,
为图像动态范围值,系数
取值范围为[0.01,0.1],一般取值为0.05。以8比特数据为例,0<th1<th2<255,即th1=θ*255,th2=(1-θ)*255。对于此范围外的像素值,由于数据失真,在融合中不进行计算。
在每次融合后,对得到的图像In进行存储,并将之前存储的图像In-1从存储设备中删除,从而实现至多同时只存储一帧Bayer图像。
最后,将融合后的图像进行色调映射,最终得到宽动态范围的图像。色调映射属于宽动态的基本方法,使用常规的色调映射方法即可将图片还原为可用电子屏幕显示的高动态范围的图像。
进一步的,根据图像亮度的收敛性判断是否执行本发明的图像宽动态方法。图像的亮度的收敛性通过自动曝光调节的收敛条件进行判定,当上一次融合后的图像的亮度平均值
满足
时,执行本图像宽动态方法,其中δ为亮度收敛的阈值,其取值范围为[0.05,0.2]。此判定条件下,在实际场景中,在摄像头刚开启时和场景发生变化需要调节曝光参数时,若亮度不满足收敛条件,则宽动态模块关闭,优先调节亮度;当亮度调节趋于稳定,满足上述收敛条件时,开启宽动态模块。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。