发明内容
为克服相关技术中存在的问题,本公开提供一种图像处理方法、装置及终端。
根据本公开实施例的第一方面,提供一种图像处理方法,包括:
根据图像中像素的颜色分量,判断所述图像中是否存在目标颜色的过曝区域;
在判定所述图像中存在目标颜色的过曝区域后,根据预设的校正模型校正所述过曝区域中像素的颜色分量,其中,所述校正模型包括:校正参数和校正算法。
结合第一方面,在第一方面第一种可能的实现方式中,所述判断所述图像中是否存在目标颜色的过曝区域,包括:
将图像中像素的颜色分量分别与预设的高亮阈值相对比,根据对比结果判断所述图像中是否存在高亮区域,其中,所述高亮区域内像素的目标颜色分量大于对应的第一高亮阈值,至少一种其他颜色分量大于对应的第二高亮阈值;
若所述图像中存在高亮区域,计算所述高亮区域外侧像素的至少一种其他颜色分量与所述高亮区域内像素对应的其他颜色分量的第一差值,并计算所述高亮区域外侧像素的目标颜色分量与所述高亮区域内像素的目标颜色分量的第二差值;
判断所述高亮区域外侧像素是否满足预设的突变条件,若是,判定满足所述预设的突变条件的像素构成的区域为光晕区域,其中,若所述第一差值大于预设的第一突变阈值,且所述第二差值小于预设的第二突变阈值,判定所述高亮区域外侧像素满足所述预设的突变条件;
判断所述光晕区域是否为目标颜色,若是,判定所述图像中存在目标颜色的过曝区域,并且所述高亮区域为所述目标颜色的过曝区域。
结合第一方面第一种可能的实现方式,在第一方面第二种可能的实现方式中,所述判断所述光晕区域是否为目标颜色,包括:
将所述光晕区域内像素的颜色分量与预设的颜色阈值相对比,若所述光晕区域中像素的目标颜色分量大于对应的目标颜色的颜色阈值,并且所述光晕区域内像素的其他两种颜色分量均小于对应的其他颜色的颜色阈值,判定所述光晕区域为目标颜色;
或,
将所述光晕区域中像素的目标颜色分量与其对应的其他颜色分量的和相对比,若所述目标颜色分量大于所述其他颜色分量的和,判定所述光晕区域为目标颜色。
结合第一方面第一种可能的实现方式,在第一方面第三种可能的实现方式中,若所述过曝区域为交通信号灯在图像中形成的区域,所述判断所述图像中是否存在目标颜色的过曝区域还包括:
判定所述光晕区域为目标颜色后,判断所述高亮区域的背景是否为暗色调背景,若是,判定所述图像中存在目标颜色的过曝区域,并且所述高亮区域为所述目标颜色的过曝区域。
结合第一方面,在第一方面第四种可能的实现方式中,若所述图像为R、G、B三通道输出的彩色图像,且所述目标颜色为红色,所述根据预设的校正模型校正所述过曝区域中像素的颜色分量,包括:
根据以下校正算法计算所述过曝区域中像素校正后的颜色分量,并据此调整所述过曝区域中各像素的颜色分量:
其中,R表示所述过曝区域中像素校正前的红色分量,G表示所述过曝区域中像素校正前的绿色分量,B表示所述过曝区域中像素校正前的蓝色分量,R'表示该像素校正后的红色分量,G'表示该像素校正后的绿色分量,B'表示该像素校正后的蓝色分量,m为图像色彩饱和时的亮度值,di表示本次校正所采用的归一化量值,α表示预设的绿色分量对应的校正参数,β表示预设的蓝色分量对应的校正参数。
结合第一方面,在第一方面第五种可能的实现方式中,若所述图像为单通道输出的图像,且所述目标颜色为红色,所述根据预设的校正模型校正所述过曝区域中像素的颜色分量,包括:
若所述过曝区域中的像素输出的颜色分量为红色分量,该像素校正后的红色分量保持不变;
若所述过曝区域中的像素输出的颜色分量为绿色分量或蓝色分量,获取该像素的周边像素的红色分量的均值,根据所述红色分量的均值和校正参数,按照以下校正算法计算校正后的绿色分量或蓝色分量:
其中,R1表示所述周边像素的红色分量的均值,G表示所述过曝区域中像素校正前的绿色分量,B表示所述过曝区域中像素校正前的蓝色分量,G'1表示该像素校正后的绿色分量,B'1表示该像素校正后的蓝色分量,k为图像色彩饱和时的亮度值,di1表示本次校正所采用的归一化量值,α1表示预设的绿色分量对应的校正参数,β1表示预设的蓝色分量对应的校正参数。
结合第一方面,在第一方面第六种可能的实现方式中,若所述过曝区域为箭头信号灯形成的区域,在判定所述图像中存在目标颜色的过曝区域后,所述图像处理方法还包括:
对所述过曝区域的边缘进行边缘增强处理。
结合第一方面,结合第一方面第一种可能的实现方式,结合第一方面第二种可能的实现方式,结合第一方面第三种可能的实现方式,在第一方面第七种可能的实现方式中,所述图像处理方法还包括:
对所述过曝区域的边缘进行平滑处理。
结合第一方面第一种可能的实现方式,在第一方面第把种可能的实现方式中,在判定所述图像中存在目标颜色的过曝区域后,所述图像处理方法还包括:
根据预设的压缩参数调整所述光晕区域中像素的颜色分量;
所述根据预设的压缩参数调整所述光晕区域中像素的颜色分量的压缩算法为:
其中,R2表示所述光晕区域中像素调整前的红色分量,G2表示所述光晕区域中像素调整前的绿色分量,B2表示所述光晕区域中像素调整前的蓝色分量,表示该像素调整后的红色分量,表示该像素调整后的绿色分量,表示该像素调整后的蓝色分量,λ表示预设的红色分量对应的压缩参数,ε表示预设的绿色分量对应的压缩参数,η表示预设的蓝色分量对应的压缩参数。
根据本公开实施例的第一方面,提供一种图像处理装置,包括:
判断模块,用于根据图像中像素的颜色分量,判断所述图像中是否存在目标颜色的过曝区域;
校正模块,用于在判定所述图像中存在目标颜色的过曝区域后,根据预设的校正模型校正所述过曝区域中像素的颜色分量,其中,所述校正模型包括:校正参数和校正算法。
结合第二方面,在第二方面第一种可能的实现方式中,所述判断模块包括:
对比单元,用于将图像中像素的颜色分量分别与预设的高亮阈值相对比,根据对比结果判断所述图像中是否存在高亮区域,其中,所述高亮区域中像素的目标颜色分量大于对应的第一高亮阈值,至少一种其他颜色分量大于对应的第二高亮阈值;
计算单元,用于若所述图像中存在高亮区域,计算所述高亮区域外侧像素的至少一种其他颜色分量与所述高亮区域内像素对应的其他颜色分量的第一差值,并计算所述高亮区域外侧像素的目标颜色分量与所述高亮区域内像素的目标颜色分量的第二差值;
第一判断单元,用于判断所述高亮区域外侧像素是否满足预设的突变条件,若是,判定满足所述预设的突变条件的像素构成的区域为光晕区域,其中,若所述高亮区域外侧像素对应的所述第一差值大于预设的第一突变阈值,且所述第二差值小于预设的第二突变阈值时,判定所述高亮区域外侧像素满足所述预设的突变条件;
第二判断单元,用于判断所述光晕区域是否为目标颜色,若是,判定所述图像中存在目标颜色的过曝区域,并且所述高亮区域为所述目标颜色的过曝区域。
结合第二方面第一种可能的实现方式,在第二方面第二种可能的实现方式中,所述第二判断单元包括:
第一子单元,用于将所述光晕区域内像素的颜色分量与预设的颜色阈值相对比,若所述光晕区域中像素的目标颜色分量大于对应的目标颜色的颜色阈值,并且所述光晕区域内像素的其他两种颜色分量均小于对应的其他颜色的颜色阈值,判定所述光晕区域为目标颜色;
或,
第二子单元,用于将所述光晕区域中像素点的目标颜色分量与其对应的其他颜色分量的和相对比,若所述目标颜色分量大于所述其他颜色分量的和,判定所述光晕区域为目标颜色。
结合第二方面第一种可能的实现方式,在第二方面第三种可能的实现方式中,若所述过曝区域为交通信号灯在图像中形成的区域,所述判断模块还包括:
背景判断单元,用于在判定所述光晕区域为目标颜色后,判断所述高亮区域的背景是否为暗色调背景,若是,判定所述图像中存在目标颜色的过曝区域,并且所述高亮区域为所述目标颜色的过曝区域。
结合第二方面,在第二方面第四种可能的实现方式中,若所述图像为R、G、B三通道输出的彩色图像,且所述目标颜色为红色,所述校正模块包括:
计算调整单元,用于根据以下校正算法计算所述过曝区域中像素校正后的颜色分量,并据此调整所述过曝区域中各像素的颜色分量:
其中,R表示所述过曝区域中像素校正前的红色分量,G表示所述过曝区域中像素校正前的绿色分量,B表示所述过曝区域中像素校正前的蓝色分量,R'表示该像素校正后的红色分量,G'表示该像素校正后的绿色分量,B'表示该像素校正后的蓝色分量,m为图像色彩饱和时的亮度值,di表示本次校正所采用的归一化量值,α表示预设的绿色分量对应的校正参数,β表示预设的蓝色分量对应的校正参数。
结合第二方面,在第二方面第五种可能的实现方式中,若所述图像为单通道输出的图像,且所述目标颜色为红色,所述校正模块包括:
第一校正单元,用于若所述过曝区域中的像素输出的颜色分量为红色分量,该像素校正后的红色分量保持不变;
第二校正单元,用于若所述过曝区域中的像素输出的颜色分量为绿色分量或蓝色分量,获取该像素的周边像素的红色分量的均值,根据所述红色分量的均值和校正参数,按照以下校正算法计算校正后的绿色分量或蓝色分量:
其中,R1表示所述周边像素的红色分量的均值,G表示所述过曝区域中像素校正前的绿色分量,B表示所述过曝区域中像素校正前的蓝色分量,G'1表示该像素校正后的绿色分量,B'1表示该像素校正后的蓝色分量,k为图像色彩饱和时的亮度值,di1表示本次校正所采用的归一化量值,α1表示预设的绿色分量对应的校正参数,β1表示预设的蓝色分量对应的校正参数。
结合第二方面,在第二方面第六种可能的实现方式中,若所述过曝区域为箭头信号灯形成的区域,所述图像处理装置还包括:
边缘增强模块,用于在判定所述图像中存在目标颜色的过曝区域后,对所述过曝区域的边缘进行增强处理。
结合第二方面,结合第二方面第一种可能的实现方式,结合第二方面第二种可能的实现方式,结合第二方面第三种可能的实现方式,在第二方面第七种可能的实现方式中,在判定所述图像中存在目标颜色的过曝区域后,所述图像处理装置还包括:
平滑处理模块,用于在判定所述图像中存在目标颜色的过曝区域后,对所述过曝区域的边缘进行平滑处理。
结合第二方面第一种可能的实现方式,在第二方面第把种可能的实现方式中,所述图像处理装置还包括:
光晕压缩模块,用于在判定所述图像中存在目标颜色的过曝区域后,根据预设的压缩参数调整所述光晕区域中像素的颜色分量;
所述光晕压缩模块在根据预设的压缩参数调整所述光晕区域中像素的颜色分量时,所采用的压缩算法为:
其中,R2表示所述光晕区域中像素调整前的红色分量,G2表示所述光晕区域中像素调整前的绿色分量,B2表示所述光晕区域中像素调整前的蓝色分量,表示该像素调整后的红色分量,表示该像素调整后的绿色分量,表示该像素调整后的蓝色分量,λ表示预设的红色分量对应的压缩参数,ε表示预设的绿色分量对应的压缩参数,η表示预设的蓝色分量对应的压缩参数。
根据本公开实施例的第三方面,提供一种终端,包括:处理器和存储器,其中,
所述存储器,用于存储图像处理的程序代码;
所述处理器,用于获取所述存储器中存储的程序代码,并根据所述程序代码执行以下操作:
根据图像中像素的颜色分量,判断所述图像中是否存在目标颜色的过曝区域;
在判定所述图像中存在目标颜色的过曝区域后,根据预设的校正模型校正所述过曝区域中像素的颜色分量,其中,所述校正模型包括:校正参数和校正算法。
本公开的实施例提供的技术方案可以包括以下有益效果:
本申请公开了一种图像处理方法、装置及方案,采用该方案处理图像时,在根据图像中像素的颜色分量,判定图像中存在目标颜色的过曝区域后,根据预设的校正模型对所述过曝区域中像素的颜色分量进行校正,通过校正,能够改变过曝区域的光谱特性,对图像实现了一定程度的色彩还原,解决了图像失真的问题。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
为了解决现有技术中图像失真的问题,本申请公开了一种图像处理方法、装置及终端。
图1是根据一示例性实施例示出的一种图像处理方法的流程图,如图1所示,所述图像处理方法包括以下步骤:
步骤S11、根据图像中像素的颜色分量,判断所述图像中是否存在目标颜色的过曝区域。
本申请能够针对多种形式的图像,如Bayer格式的图像,或者RGB、YUV和CMYK等格式的图像等。相机中设置的CCD(Charge-coupled Device,电荷耦合元件)芯片或CMOS(Complementary Metal Oxide Semiconductor,互补金属氧化物半导体)芯片获取到的原始图像即为Bayer格式的图像,在获取Bayer格式的图像后,相机中的DSP(DigitalSignal Processor,数字信号处理器)等模块对其进行处理,然后再生成RGB格式或其他格式的图像。其中,Bayer格式的图像为单通道输出的图像,每个像素只输出一种颜色分量;RGB格式的图像中,每个像素能够输出R、G、B三种颜色分量;另外,对于YUV或CMYK格式的图像,可通过色彩空间的转化将其转换到RGB三原色空间,即每个像素点处的颜色可采用R、G、B三种颜色分量表征。
另外,所述目标颜色根据需求设定,例如,当需要对红色的交通信号灯的图像进行处理时,所述目标颜色为红色。当然,所述目标颜色还可以为其他颜色,本申请对此不做限定。
步骤S12、在判定所述图像中存在目标颜色的过曝区域后,根据预设的校正模型校正所述过曝区域中像素的颜色分量,其中,所述校正模型包括:校正参数和校正算法。
本申请的步骤S11至步骤S12公开了一种图像处理方法,该方法中,在根据图像中像素的颜色分量,判定图像中存在目标颜色的过曝区域后,根据预设的校正模型对所述过曝区域中像素的颜色分量进行校正,通过校正,能够改变过曝区域的光谱特性,对图像实现了一定程度的色彩还原,从而解决图像失真的问题。
若本次处理的图像为对红色的交通信号灯拍照所形成的图像,其中图2所示的为红色的交通信号灯校正前的光谱特性示意图,图3为红色的交通信号灯校正后的光谱特性示意图。通过图2可知,若对红色的交通信号灯进行拍照时,摄像装置的曝光时间t∈[t1,t2),红色的交通信号灯在图像中表现为视觉上的红色,而当曝光时间t∈[t2,t3)时,红色的交通信号灯在图像中表现为视觉上的黄色,当曝光时间t>t3时,红色的交通信号灯在图像中表现为视觉上的白色,也就是说,若相机曝光时间过长,G分量和B分量达到饱和,图像中本应呈现为红色的红灯区域,由于曝光时间过长而表现为黄色或白色,即出现本申请需要校正的过曝区域。
参见图3所示的红色的交通信号灯校正后的光谱特性示意图可知,采用本申请公开的方案对图像进行处理后,过曝区域各像素的颜色分量被校正,即使曝光时间t>t1,红色的交通信号灯在图像中表现仍然为视觉上的红色,图像得到色彩还原,从而解决了图像失真的问题。
在上述实施例的步骤S11中,公开了判断所述图像中是否存在目标颜色的过曝区域的方案,参见图4,所述判断所述图像中是否存在目标颜色的过曝区域包括以下步骤:
步骤S111、将图像中像素的颜色分量分别与预设的高亮阈值相对比,根据对比结果判断所述图像中是否存在高亮区域,若是,执行步骤S112的操作,若否,执行步骤S116的操作,其中,所述高亮区域内像素的目标颜色分量大于对应的第一高亮阈值,至少一种其他颜色分量大于对应的第二高亮阈值。也就是说,若对比结果显示所述图像中某一区域内像素的目标颜色分量大于对应的第一高亮阈值,并且至少一种其他颜色分量大于对应的第二高亮阈值,则说明图像中存在高亮区域,该区域即为高亮区域。
其中,所述其他颜色分量指的是目标颜色分量以外的颜色分量,例如,若目标颜色分量为红色分量,则其他颜色分量为蓝色颜色分量和绿色颜色分量。
若本次处理的图像为对红色的交通信号灯拍照所形成的图像,则目标颜色为红色,其高亮区域表现为黄色或者白色。当高亮区域内像素的红色颜色分量大于预设的红色高亮阈值,蓝色分量和绿色分量分别大于对应的蓝色高亮阈值和绿色高亮阈值时,高亮区域表现为白色。当高亮区域内像素的红色颜色分量大于预设的红色高亮阈值,绿色分量大于预设的绿色高亮阈值,而蓝色分量小于预设的蓝色高亮阈值时,高亮区域表现为黄色。
若图像中某一区域为高亮区域,所述高亮区域有可能是过曝区域,需要执行后续操作,以便进行进一步的判断。
当所述图像为Bayer格式的图像时,由于每一像素只输出一种颜色分量,在比较时将每个像素输出的一种颜色分量与该颜色分量对应的高亮阈值相对比即可。当所述图像的每一像素同时输出R、G、B三个颜色分量,例如,该图像为RGB图像,在比较时,需将每一像素的三种颜色分量分别与对应的高亮阈值相对比。
步骤S112、若所述图像中存在高亮区域,计算所述高亮区域外侧像素的至少一种其他颜色分量与所述高亮区域内像素对应的其他颜色分量的第一差值,并计算所述高亮区域外侧像素的目标颜色分量与所述高亮区域内像素的目标颜色分量的第二差值。
步骤S113、判断所述高亮区域外侧像素是否满足预设的突变条件,若是,判定满足所述预设的突变条件的像素构成的区域为光晕区域,并执行步骤S114的操作,若否,则执行步骤S116的操作,其中,若所述第一差值大于预设的第一突变阈值,且所述第二差值小于预设的第二突变阈值,则判定所述高亮区域外侧像素满足所述预设的突变条件。
若某一区域内像素的目标颜色分量对应的第二差值小于预设第二突变阈值,则说明该区域相较于高亮区域来说,目标颜色分量未发生突变,该区域内的目标颜色趋近于饱和;若该区域内像素的至少一种其他颜色分量对应的第一差值大于预设的第一突变阈值,则说明该区域内其他颜色分量发生了突变。当某一区域内像素的所述第一差值大于预设的第一突变阈值,且所述第二差值小于预设的第二突变阈值,则说明该区域内像素满足预设的突变条件,这种情况下,可认为该区域为光晕区域。
步骤S114、判断所述光晕区域是否为目标颜色,若是,执行步骤S115的操作,若否,执行步骤S116的操作。
步骤S115、若所述光晕区域为目标颜色,判定所述图像中存在目标颜色的过曝区域,并且所述高亮区域为所述目标颜色的过曝区域。
步骤S116、判定所述图像中不存在目标颜色的过曝区域。
上述步骤S111至步骤S116公开的实施例,公开了一种判断图像中是否存在目标颜色的过曝区域的方案。该方案中,在确定图像中存在高亮区域后,判断高亮区域的外侧是否存在光晕区域,并在存在的情况下,判断所述光晕区域是否为目标颜色,若是,则确定图像中存在目标颜色的过曝区域,所述高亮区域即为所述过曝区域。
其中,判断所述光晕区域是否为目标颜色的方法,包括:
第一种方法,将所述光晕区域内像素的颜色分量与预设的颜色阈值相对比,若所述光晕区域中像素的目标颜色分量大于对应的目标颜色的颜色阈值,并且所述光晕区域内像素的其他两种颜色分量均小于对应的其他颜色的颜色阈值,判定所述光晕区域为目标颜色;
第二种方法,将所述光晕区域中像素的目标颜色分量与其对应的其他颜色分量的和相对比,若所述目标颜色分量大于所述其他颜色分量的和,判定所述光晕区域为目标颜色。
第一种方法中,将光晕区域内像素的颜色分量分别与预设的颜色阈值相比较,根据比较结果判断光晕区域是否表现为目标颜色。其中,在不用的应用环境下,所述颜色阈值的具体数值可以不同,以便使本申请公开的图像处理方法适用于多种应用环境。
另外,在第二种方法中,将目标颜色分量与其他颜色分量的和相对比,根据对比结果判断光晕区域是否表现为目标颜色。例如,若目标颜色为红色,光晕区域内像素的红色分量R>(蓝色分量B+绿色分量G),则判定光晕区域为目标颜色,即红色。该方法中,若处理的图像的同一像素输出三种颜色分量,在对比时,与目标颜色分量对应的其他颜色分量是同一像素输出的;若处理的图像为单通道输出的图像,即某一像素只输出一种颜色分量,则与某一像素的目标颜色分量相对应的其他颜色分量,为该像素的相邻像素的其他颜色分量的均值。该方法不需设置颜色阈值,提高了判断过程的自适应能力。
另外,交通信号灯的外侧通常设置有一个用于防水的保护罩,该保护罩在图像中会形成一定范围的暗色调背景。参见图5的图像示意图,若本次处理的图像为交通信号灯的图像,该图像的内部区域通常为高亮区域,并在高亮区域的外侧形成目标颜色的光晕区域,高亮区域和光晕区域之间为高亮区域的轮廓,光晕区域的外侧形成的区域为保护罩对应的暗色调背景。因此,若所述过曝区域为交通信号灯在图像中形成的区域时,还可以进一步根据是否存在暗色调背景这一因素,判断图像中是否存在目标颜色的过曝区域。
这种情况下,参见图6,若所述过曝区域为交通信号灯在图像中形成的区域,所述判断所述图像中是否存在目标颜色的过曝区域包括:
步骤S121、将图像中像素的颜色分量分别与预设的高亮阈值相对比,根据对比结果判断所述图像中是否存在高亮区域,若是,执行步骤S122的操作,若否,执行步骤S127的操作,其中,所述高亮区域内像素的目标颜色分量大于对应的第一高亮阈值,至少一种其他颜色分量大于对应的第二高亮阈值。
步骤S122、若所述图像中存在高亮区域,计算所述高亮区域外侧像素的至少一种其他颜色分量与所述高亮区域内像素对应的其他颜色分量的第一差值,并计算所述高亮区域外侧像素的目标颜色分量与所述高亮区域内像素的目标颜色分量的第二差值。
步骤S123、判断所述高亮区域外侧像素是否满足预设的突变条件,若是,判定满足所述预设的突变条件的像素构成的区域为光晕区域,并执行步骤S124的操作,若否,则执行步骤S126的操作,其中,若所述第一差值大于预设的第一突变阈值,且所述第二差值小于预设的第二突变阈值,则判定所述高亮区域外侧像素满足所述预设的突变条件。
步骤S124、判断所述光晕区域是否为目标颜色,若是,执行步骤S125的操作,若否,执行步骤S127的操作。
步骤S125、若所述光晕区域为目标颜色,判断所述高亮区域的背景是否为暗色调背景,若是,执行步骤S126的操作,若否,则执行步骤S127的操作。
步骤S126、若所述高亮区域的背景为暗色调背景,判定所述图像中存在目标颜色的过曝区域
步骤S127、判定所述图像中不存在目标颜色的过曝区域。
步骤S121至步骤S127公开的实施例中,首先判断图像中是否存在高亮区域,若存在,则判断高亮区域的外侧是否存在光晕区域,并在存在光晕区域时判断所述光晕区域是否为目标颜色,若是,继续判断所述图像中的背景是否为暗色调背景,若图像中的背景为暗色调背景,则判定图像中存在过曝区域,且所述高亮区域即为过曝区域。
上述方案中,采用了“高亮区域+边缘颜色+暗色调背景”相结合的检测策略,提高了检测图像中是否存在过曝区域的可靠性。
其中,判断图像中是否存在暗色调背景可通过多种方式实现。
在其中一种实现方式中,判断高亮区域的背景是否为暗色调背景包括:
将所述高亮区域的背景中像素的颜色分量分别与预设的背景阈值相对比,若所述背景中像素的颜色分量均小于所述对应的背景阈值,判定高亮区域的背景为暗色调背景。
在暗色调背景中,通常R、G、B三个颜色分量的值都很小,因此可预先设定至少两种颜色分量对应的背景阈值,若背景中像素的颜色分量均小于所述对应的背景阈值,说明该背景为暗色调背景。
在另一种实现方式中,判断高亮区域的背景是否为暗色调背景包括:
获取所述高亮区域中和背景区域中的像素之间对应目标颜色分量的差值,并将所述差值与预设的分量变化阈值相对比;若所述差值大于所述对应的分量变化阈值,判定所述图像中存在目标颜色的过曝区域。
在暗色调背景中,通常目标颜色的分量会突然变小。例如,若目标颜色为红色,高亮区域的像素的目标颜色分量为R1,背景的像素的目标颜色分量为R2,设定ΔR=R1-R2,则ΔR能够表征目标颜色的分量变化情况,若ΔR>ΔR-thres,ΔR-thres为预设的红色分量变化阈值,则认为背景中像素的红色分量发生突变,可判定该背景为暗色调背景。
上述两种判断高亮区域的背景是否为暗色调背景的方法,也可以结合使用,本申请对此不作限定。
在步骤S12中,公开了根据预设的校正模型校正所述过曝区域中像素的颜色分量的步骤。若所述图像为R、G、B三通道输出的彩色图像,且所述目标颜色为红色,所述根据预设的校正模型校正所述过曝区域中像素的颜色分量,包括:
根据以下校正算法计算所述过曝区域中像素校正后的颜色分量,并据此调整所述过曝区域中各像素的颜色分量:
其中,R表示所述过曝区域中像素校正前的红色分量,G表示所述过曝区域中像素校正前的绿色分量,B表示所述过曝区域中像素校正前的蓝色分量,R'表示该像素校正后的红色分量,G'表示该像素校正后的绿色分量,B'表示该像素校正后的蓝色分量,m为图像色彩饱和时的亮度值,di表示本次校正所采用的归一化量值,α表示预设的绿色分量对应的校正参数,β表示预设的蓝色分量对应的校正参数。
通过上述校正算法和校正参数构成的校正模型,能够改变过曝区域的光谱特性,实现对过曝区域中各像素的颜色分量的校正。由于目标颜色为红色,该校正模型不再调整红色分量R,并根据红色分量R对绿色分量G和蓝色分量B进行归一化处理。其中,m为图像色彩饱和时的亮度值,当图像的处理数据为八位数据时,m通常设定为255,α和β为预设的校正参数,经过多次试验的验证,通常α和β的取值范围为0.2~0.8,其具体取值根据图像的拍照环境和用户的校正需求确定。由于利用上述校正算法计算校正后的颜色分量时,各像素点校正后的颜色分量均与自身的红色分量相关,因此,相邻像素之间的变换系数不尽相同,保证了相邻像素之间的连续渐变性。
上述校正方式适用于多种格式的图像,例如RGB图像,所述RGB图像的每一像素均输出R、G、B三种颜色分量,另外,若需要校正的图像为其他形式的图像,如Bayer、YUV和CMYK等格式的图像,可预先对其进行处理,使其转化为R、G、B三通道输出的彩色图像,再根据校正模型对其进行校正即可。
上述校正的方法针对目标颜色为红色的情况,当然,所述目标颜色还可以为其他颜色。例如,若所述目标颜色为绿色,则可保持过曝区域中各像素的绿色分量保持不变,并根据校正模型计算红色分量R和蓝色分量B校正后的数值:
其中,R表示所述过曝区域中像素校正前的红色分量,G表示所述过曝区域中像素校正前的绿色分量,B表示所述过曝区域中像素校正前的蓝色分量,R'表示该像素校正后的红色分量,G'表示该像素校正后的绿色分量,B'表示该像素校正后的蓝色分量,n为图像色彩饱和时的亮度值,dI表示本次校正所采用的归一化量值,x表示预设的红色分量对应的校正参数,y表示预设的蓝色分量对应的校正参数。
若所述目标颜色为红色、绿色和蓝色之外的颜色时,则可以根据校正模型分别校正过曝区域中各像素的绿色分量G、红色分量R和蓝色分量B,实现对过曝区域的处理。
另外,本申请公开的图像处理方法还适用于单通道输出的图像,即该图像中任一像素输出的颜色分量即为R、G和B分量中的一个,如Bayer格式的图像。若所述图像为单通道输出的图像,且所述目标颜色为红色,所述根据预设的校正模型校正所述过曝区域中像素的颜色分量,包括:
若所述过曝区域中的像素输出的颜色分量为红色分量,该像素校正后的红色分量保持不变;
若所述过曝区域中的像素输出的颜色分量为绿色分量或蓝色分量,获取该像素的周边像素的红色分量的均值,根据所述红色分量的均值和校正参数,按照以下校正算法计算校正后的绿色分量或蓝色分量:
其中,R1表示所述周边像素的红色分量的均值,G表示所述过曝区域中像素校正前的绿色分量,B表示所述过曝区域中像素校正前的蓝色分量,G'1表示该像素校正后的绿色分量,B'1表示该像素校正后的蓝色分量,k为图像色彩饱和时的亮度值,di1表示本次校正所采用的归一化量值,α1表示预设的绿色分量对应的校正参数,β1表示预设的蓝色分量对应的校正参数。当图像的处理数据为八位时,k通常设定为255,α1和β1为预设的校正参数,通常α1和β1的取值范围为0.2~0.8,其具体取值根据图像的拍照环境和校正的需求确定。
参见表1,经过多次试验验证,若过曝区域为红色交通信号灯形成的图像,在不同环境下,校正参数的取值如下表时,能够获取较好的图像处理效果。当然,针对不同的图像,以及不同的校正需求,各校正参数还可以设定为其他值,本申请对此不做限定。
表1
另外,目标颜色也可以为其他颜色,若所述目标颜色为绿色,若过曝区域中的像素输出的颜色分量为绿色分量,该像素校正后的绿色分量保持不变;若所述过曝区域中的像素输出的颜色分量为红色分量或蓝色分量,则获取该像素的周边像素的绿色分量的均值,根据所述绿色分量的均值和预设的校正参数,计算校正后的红色分量或蓝色分量。
进一步的,若所述过曝区域为箭头信号灯形成的区域,在判定所述图像中存在目标颜色的过曝区域后,所述图像处理方法还包括:
对所述过曝区域的边缘进行边缘增强处理。
其中,所述过曝区域的边缘如图5所示,所述过曝区域的边缘位于过曝区域的外侧,并位于光晕区域的内侧。交通信号灯通常包括箭头信号灯和圆形信号灯,所述箭头信号灯用于指示方向。若所述过曝区域为箭头信号灯形成的,所述过曝区域的边缘通常会发生一定程度的模糊,使图像失真,影响对交通状况的监管。为了避免这种情况,本申请公开的图像处理方法还具备对所述过曝区域的边缘进行轮廓增强处理的操作,以使所述边缘更加鲜明,易于辨识。
在进行边缘增强处理处理操作时,可采用基于梯度的Sobel算子对第一类型区域进行边缘增强处理,Sobel算子利用像素的上、下、左、右邻域的灰度加权算法,根据在边缘点处达到极值这一原理进行轮廓的检测和增强,该方法不但具备较好的轮廓增强效果,而且对噪声具有平滑作用,使得箭头信号灯的边缘不致过于突兀,因此本发明通常采用Sobel算子实现边缘增强处理。另外,还可以采用Roberts算子、Sobel算子、Prewitt算子、Laplacian算子和LOG算子等方法实现边缘增强处理,本申请对此不作限定。
另外,上述边缘增强处理的操作,和步骤S12的操作之间没有严格的先后顺序,可并行执行。
进一步的,在判定所述图像中存在目标颜色的过曝区域后,所述图像处理方法还包括:
对所述过曝区域的边缘进行平滑处理。
对过曝区域中各像素的颜色分量校正后,该过曝区域的色彩会还原成原有的颜色,但是,校正后的过曝区域的边缘的亮度变化较突兀,通常会形成一条较为明显的边界线,该边界线能够有效表征过曝区域在校正后的轮廓,但是会产生一种不真实的视觉效应。因此,本申请提供对过曝区域的边缘进行平滑处理的步骤,以达到平滑过渡的视觉效果。
该平滑处理的操作能够以多种方式实现。例如,可以采用均值滤波、中值滤波、高斯滤波、低通滤波、高通滤波等方式,考虑到计算复杂度以及逻辑复杂度等因素,通常选择均值滤波的方式完成平滑处理的操作。采用均值滤波的方式对边缘中的像素点进行平滑处理时,首先任选其中一个像素,以该像素作为中心像素构建相应的滤波模板(如3*3的模板),然后获取滤波模板中各像素的颜色分量的均值,作为该中心像素处理后的颜色分量,从而实现平滑处理,使边缘取得平滑的效果,从而使图像的视觉表现较为自然真实。
另外,上述平滑处理的操作,和步骤S12的操作之间没有严格的先后顺序,可并行执行。
进一步的,在判定所述图像中存在目标颜色的过曝区域后,所述图像处理方法还包括:
根据预设的压缩参数调整所述光晕区域中像素的颜色分量;
所述根据预设的压缩参数调整所述光晕区域中像素的颜色分量的压缩算法为:
其中,R2表示所述光晕区域中像素调整前的红色分量,G2表示所述光晕区域中像素调整前的绿色分量,B2表示所述光晕区域中像素调整前的蓝色分量,表示该像素调整后的红色分量,表示该像素调整后的绿色分量,表示该像素调整后的蓝色分量,λ表示预设的红色分量对应的压缩参数,ε表示预设的绿色分量对应的压缩参数,η表示预设的蓝色分量对应的压缩参数。
若过曝区域外侧的光晕区域范围较大时,往往需要对光晕区域进行压缩调整,以使图像的表现更为真实自然。
其中,λ、ε和η表示预设的压缩参数,根据不同的应用场景,所述压缩参数通常选取不同的值。例如,夜晚场景下,λ的取值范围通常为0.5~0.7,ε的取值范围通常为0.6~0.8,η的取值范围通常为0.6~0.8;光照条件较好时,λ、ε和η的取值范围通常为0.8~1.0。当然,根据应用场景的不同和压缩力度的需求,各压缩参数还可以为其他数值,本申请对此不做限定。
另外,当目标颜色为红色,过曝区域为红色的交通信号灯形成的区域时,所述压缩参数的取值可参考表2。当然,针对不同的图像,以及需要达到的不同的效果,所述压缩参数还可以取其他值,本申请对此不作限定。
表2
另外,上述根据压缩参数调整光晕区域中像素的颜色分量的操作,和步骤S12的操作之间没有严格的先后顺序,可并行执行。
相应的,本申请还公开了一种图像处理装置,参见图7,所述图像处理装置包括:判断模块100和校正模块200。
其中,所述判断模块100用于根据图像中像素的颜色分量,判断所述图像中是否存在目标颜色的过曝区域;
所述校正模块200用于在判定所述图像中存在目标颜色的过曝区域后,根据预设的校正模型校正所述过曝区域中像素的颜色分量,其中,所述校正模型包括:校正参数和校正算法。
进一步的,参见图8,所述判断模块100包括:对比单元101、计算单元102、第一判断单元103和第二判断单元104。
其中,所述对比单元101,用于将图像中像素的颜色分量分别与预设的高亮阈值相对比,根据对比结果判断所述图像中是否存在高亮区域,其中,所述高亮区域中像素的目标颜色分量大于对应的第一高亮阈值,至少一种其他颜色分量大于对应的第二高亮阈值;
所述计算单元102,用于若所述图像中存在高亮区域,计算所述高亮区域外侧像素的至少一种其他颜色分量与所述高亮区域内像素对应的其他颜色分量的第一差值,并计算所述高亮区域外侧像素的目标颜色分量与所述高亮区域内像素的目标颜色分量的第二差值;
所述第一判断单元103,用于判断所述高亮区域外侧像素是否满足预设的突变条件,若是,判定满足所述预设的突变条件的像素构成的区域为光晕区域,其中,若所述高亮区域外侧像素对应的所述第一差值大于预设的第一突变阈值,且所述第二差值小于预设的第二突变阈值时,判定所述高亮区域外侧像素满足所述预设的突变条件;
所述第二判断单元104,用于判断所述光晕区域是否为目标颜色,若是,判定所述图像中存在目标颜色的过曝区域,并且所述高亮区域为所述目标颜色的过曝区域。
另外,所述第二判断单元104包括:
第一子单元,用于将所述光晕区域内像素的颜色分量与预设的颜色阈值相对比,若所述光晕区域中像素的目标颜色分量大于对应的目标颜色的颜色阈值,并且所述光晕区域内像素的其他两种颜色分量均小于对应的其他颜色的颜色阈值,判定所述光晕区域为目标颜色;
或,
第二子单元,用于将所述光晕区域中像素点的目标颜色分量与其对应的其他颜色分量的和相对比,若所述目标颜色分量大于所述其他颜色分量的和,判定所述光晕区域为目标颜色。
进一步的,若所述过曝区域为交通信号灯在图像中形成的区域,所述判断模块100还包括:背景判断单元,所述背景判断单元,用于在判定所述光晕区域为目标颜色后,判断所述高亮区域的背景是否为暗色调背景,若是,判定所述图像中存在目标颜色的过曝区域,并且所述高亮区域为所述目标颜色的过曝区域。
另外,参见图9,若所述图像为R、G、B三通道输出的彩色图像,且所述目标颜色为红色,所述校正模块200包括:
计算调整单元201,用于根据以下校正算法计算所述过曝区域中像素校正后的颜色分量,并据此调整所述过曝区域中各像素的颜色分量:
其中,R表示所述过曝区域中像素校正前的红色分量,G表示所述过曝区域中像素校正前的绿色分量,B表示所述过曝区域中像素校正前的蓝色分量,R'表示该像素校正后的红色分量,G'表示该像素校正后的绿色分量,B'表示该像素校正后的蓝色分量,m为图像色彩饱和时的亮度值,di表示本次校正所采用的归一化量值,α表示预设的绿色分量对应的校正参数,β表示预设的蓝色分量对应的校正参数。
另外,若所述图像为单通道输出的图像,且所述目标颜色为红色,所述校正模块200包括:
第一校正单元202,用于若所述过曝区域中的像素输出的颜色分量为红色分量,该像素校正后的红色分量保持不变;
第二校正单元203,用于若所述过曝区域中的像素输出的颜色分量为绿色分量或蓝色分量,获取该像素的周边像素的红色分量的均值,根据所述红色分量的均值和校正参数,按照以下校正算法计算校正后的绿色分量或蓝色分量:
其中,R1表示所述周边像素的红色分量的均值,G表示所述过曝区域中像素校正前的绿色分量,B表示所述过曝区域中像素校正前的蓝色分量,G'1表示该像素校正后的绿色分量,B'1表示该像素校正后的蓝色分量,k为图像色彩饱和时的亮度值,di1表示本次校正所采用的归一化量值,α1表示预设的绿色分量对应的校正参数,β1表示预设的蓝色分量对应的校正参数。
进一步的,若所述过曝区域为箭头信号灯形成的区域,所述图像处理装置还包括:
边缘增强模块,用于在判定所述图像中存在目标颜色的过曝区域后,对所述过曝区域的边缘进行边缘增强处理。
进一步的,在判定所述图像中存在目标颜色的过曝区域后,所述图像处理装置还包括:
平滑处理模块,用于在判定所述图像中存在目标颜色的过曝区域后,对所述过曝区域的边缘进行平滑处理。
进一步的,所述图像处理装置还包括:
光晕压缩模块,用于在判定所述图像中存在目标颜色的过曝区域后,根据预设的压缩参数调整所述光晕区域中像素的颜色分量;
所述光晕压缩模块在根据预设的压缩参数调整所述光晕区域中像素的颜色分量时,所采用的压缩算法为:
其中,R2表示所述光晕区域中像素调整前的红色分量,G2表示所述光晕区域中像素调整前的绿色分量,B2表示所述光晕区域中像素调整前的蓝色分量,表示该像素调整后的红色分量,表示该像素调整后的绿色分量,表示该像素调整后的蓝色分量,λ表示预设的红色分量对应的压缩参数,ε表示预设的绿色分量对应的压缩参数,η表示预设的蓝色分量对应的压缩参数。
本申请公开的图像处理装置在接收到需要处理的图像后,首先判断图像中是否存在目标颜色的过曝区域,若存在,则根据预设的校正模型校正所述过曝区域中像素的颜色分量,使其色彩还原,从而解决图像失真的问题。
该图像处理装置能够处理的图像包括多种格式,如Bayer格式、RGB格式、YUV格式和CMYK等格式。
若对图像处理的实时性要求较高,例如,该图像处理装置应用于智能交通领域,需要对交通状况实时监控,这种情况下,为了提高图像处理的速度,该装置所处理的图像通常为Bayer格式的图像。所述图像处理装置接收到的图像为相机成像端,如CCD芯片或CMOS芯片采集到的Bayer格式的图像,所述图像处理装置对Bayer格式的图像进行处理,处理后的图像仍为Bayer格式,再将处理后的图像传输至相机中的DSP(DigitalSignal Processor,数字信号处理器)模块处理即可。由于Bayer格式的图像中,每一像素只输出一种颜色分量,对过曝区域中像素的颜色分量进行校正时,需要处理的数据量较小,处理速度较快。
另外,本申请还公开了一种终端,所述终端包括:处理器和存储器,其中,
所述存储器,用于存储图像处理的程序代码;
所述处理器,用于获取所述存储器中存储的程序代码,并根据所述程序代码执行以下操作:
根据图像中像素的颜色分量,判断所述图像中是否存在目标颜色的过曝区域;
在判定所述图像中存在目标颜色的过曝区域后,根据预设的校正模型校正所述过曝区域中像素的颜色分量,其中,所述校正模型包括:校正参数和校正算法。
另外,所述处理器执行的操作中,所述判断所述图像中是否存在目标颜色的过曝区域,包括:
将图像中像素的颜色分量分别与预设的高亮阈值相对比,根据对比结果判断所述图像中是否存在高亮区域,其中,所述高亮区域内像素的目标颜色分量大于对应的第一高亮阈值,至少一种其他颜色分量大于对应的第二高亮阈值;
若所述图像中存在高亮区域,计算所述高亮区域外侧像素的至少一种其他颜色分量与所述高亮区域内像素对应的其他颜色分量的第一差值,并计算所述高亮区域外侧像素的目标颜色分量与所述高亮区域内像素的目标颜色分量的第二差值;
判断所述高亮区域外侧像素是否满足预设的突变条件,若是,判定满足所述预设的突变条件的像素构成的区域为光晕区域,其中,若所述第一差值大于预设的第一突变阈值,且所述第二差值小于预设的第二突变阈值,判定所述高亮区域外侧像素满足所述预设的突变条件;
判断所述光晕区域是否为目标颜色,若是,判定所述图像中存在目标颜色的过曝区域,并且所述高亮区域为所述目标颜色的过曝区域。
进一步的,所述判断所述光晕区域是否为目标颜色,包括:
将所述光晕区域内像素的颜色分量与预设的颜色阈值相对比,若所述光晕区域中像素的目标颜色分量大于对应的目标颜色的颜色阈值,并且所述光晕区域内像素的其他两种颜色分量均小于对应的其他颜色的颜色阈值,判定所述光晕区域为目标颜色;
或,
将所述光晕区域中像素的目标颜色分量与其对应的其他颜色分量的和相对比,若所述目标颜色分量大于所述其他颜色分量的和,判定所述光晕区域为目标颜色。
进一步的,若所述过曝区域为交通信号灯在图像中形成的区域,所述判断所述图像中是否存在目标颜色的过曝区域还包括:
判定所述光晕区域为目标颜色后,判断所述高亮区域的背景是否为暗色调背景,若是,判定所述图像中存在目标颜色的过曝区域,并且所述高亮区域为所述目标颜色的过曝区域。
进一步的,若所述图像为R、G、B三通道输出的彩色图像,且所述目标颜色为红色,所述根据预设的校正模型校正所述过曝区域中像素的颜色分量,包括:
根据以下校正算法计算所述过曝区域中像素校正后的颜色分量,并据此调整所述过曝区域中各像素的颜色分量:
其中,R表示所述过曝区域中像素校正前的红色分量,G表示所述过曝区域中像素校正前的绿色分量,B表示所述过曝区域中像素校正前的蓝色分量,R'表示该像素校正后的红色分量,G'表示该像素校正后的绿色分量,B'表示该像素校正后的蓝色分量,m为图像色彩饱和时的亮度值,di表示本次校正所采用的归一化量值,α表示预设的绿色分量对应的校正参数,β表示预设的蓝色分量对应的校正参数。
进一步的,若所述图像为单通道输出的图像,且所述目标颜色为红色,所述根据预设的校正模型校正所述过曝区域中像素的颜色分量,包括:
若所述过曝区域中的像素输出的颜色分量为红色分量,该像素校正后的红色分量保持不变;
若所述过曝区域中的像素输出的颜色分量为绿色分量或蓝色分量,获取该像素的周边像素的红色分量的均值,根据所述红色分量的均值和校正参数,按照以下校正算法计算校正后的绿色分量或蓝色分量:
其中,R1表示所述周边像素的红色分量的均值,G表示所述过曝区域中像素校正前的绿色分量,B表示所述过曝区域中像素校正前的蓝色分量,G'1表示该像素校正后的绿色分量,B'1表示该像素校正后的蓝色分量,k为图像色彩饱和时的亮度值,di1表示本次校正所采用的归一化量值,α1表示预设的绿色分量对应的校正参数,β1表示预设的蓝色分量对应的校正参数。
进一步的,若所述过曝区域为箭头信号灯形成的区域,在判定所述图像中存在目标颜色的过曝区域后,所述处理器执行的操作还包括:
对所述过曝区域的边缘进行边缘增强处理。
进一步的,所述处理器执行的操作还包括:对所述过曝区域的边缘进行平滑处理。
进一步的,在判定所述图像中存在目标颜色的过曝区域后,所述处理器执行的操作还包括:
根据预设的压缩参数调整所述光晕区域中像素的颜色分量;
所述根据预设的压缩参数调整所述光晕区域中像素的颜色分量的压缩算法为:
其中,R2表示所述光晕区域中像素调整前的红色分量,G2表示所述光晕区域中像素调整前的绿色分量,B2表示所述光晕区域中像素调整前的蓝色分量,表示该像素调整后的红色分量,表示该像素调整后的绿色分量,表示该像素调整后的蓝色分量,λ表示预设的红色分量对应的压缩参数,ε表示预设的绿色分量对应的压缩参数,η表示预设的蓝色分量对应的压缩参数。
所述终端可以包括多种形式,如相机、摄像头或计算机等,本申请对此不做限定。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。