发明内容
本发明提供一种图像处理方法、装置和拍摄终端,用于根据待处理图像的拍摄特征信息,对待处理图像进行图像处理,使得各图像质量均得到自适应的提升。
第一方面,本发明实施例提供一种图像处理方法,包括:
获取拍摄的未经图像处理的待处理图像;
提取所述待处理图像的拍摄特征信息;
根据所述拍摄特征信息,对所述待处理图像进行图像处理。
在第一方面的第一种可能的实现方式中,所述根据所述特征信息,对所述待处理图像进行图像处理,包括:
根据所述待处理图像的拍摄场景信息和元数据,对待处理图像进行降噪和/或增强处理。
结合第一方面的第一种可能的实现方式,在第一方面的第二种可能的实现方式中,所述根据所述待处理图像的拍摄场景信息和元数据,对待处理图像进行降噪和/或增强处理,包括:
根据所述拍摄场景信息和元数据,对所述待处理图像的亮度信息进行降噪和/或增强处理;和/或,
根据所述拍摄场景信息和元数据,对所述待处理图像的色度信息进行降噪和/或增强处理。
结合第一方面的第二种可能的实现方式,在第一方面的第三种可能的实现方式中,所述根据所述拍摄场景信息和元数据,对所述待处理图像的亮度信息进行降噪处理,包括:
根据所述亮度信息进行局部绝对差异计算,获取所述亮度信息的亮度值邻域绝对差异和SAD;
根据所述亮度值邻域SAD、拍摄场景信息和元数据,获得第一高斯降噪滤波核;
根据所述第一高斯降噪滤波核,对所述亮度信息进行高斯降噪处理;
所述对所述待处理图像的亮度信息进行增强处理,包括:
将所述亮度信息进行基于边缘保持的滤波分解,获得基本层亮度信息和至少一个细节层亮度信息;
根据所述拍摄场景信息和元数据,对所述基本层亮度信息进行对比度增强处理;
根据所述亮度值邻域SAD、拍摄场景信息和元数据,确定至少一个增益;
采用所述增益对所述细节层亮度信息进行细节增强处理;
将对比度增强处理的基本层亮度信息与细节增强处理的细节层亮度信息做和值,获得增强处理后的亮度信息。
结合第一方面的第三种可能的实现方式,在第一方面的第四种可能的实现方式中,所述对所述亮度信息进行增强处理之前,还包括:
将所述高斯降噪处理后的亮度信息与第一系数α1做乘积,获得α1倍高斯降噪处理后的亮度信息,所述α1为0到1的数值;
将所述高斯降噪处理前的亮度信息与(1-α1)做乘积,获得(1-α1)倍高斯降噪处理前的亮度信息;
将所述α1倍高斯降噪处理后的亮度信息与(1-α1)倍高斯降噪处理前的亮度信息做和值,获得第一亮度信息;
所述对所述待处理图像的亮度信息进行增强处理,包括:
对所述第一亮度信息进行增强处理。
结合第一方面的第二种可能的实现方式,在第一方面的第五种可能的实现方式中,所述根据所述拍摄场景信息和元数据,对所述待处理图像的亮度信息进行降噪和增强处理,包括:
根据所述亮度信息进行局部绝对差异计算,获取所述亮度信息的亮度值邻域绝对差异和SAD;
根据所述亮度值邻域SAD、拍摄场景信息和元数据,获得第一高斯降噪滤波核;
将高通滤波核和所述第一高斯降噪滤波核做卷积,获取卷积滤波核;
根据所述亮度值邻域SAD、拍摄场景信息和元数据,确定所述卷积滤波核的权重;
将所述卷积滤波核和权重做乘积,获取锐度增强滤波核;
将所述第一高斯降噪滤波核与所述锐度增强滤波核做和值,获得高斯降噪锐化滤波核;
根据所述高斯降噪锐化滤波核,对所述亮度信息进行高斯降噪处理和锐度增强处理。
结合第一方面的第三种可能的实现方式或第一方面的第四种可能的实现方式或第一方面的第五种可能的实现方式,在第一方面的第六种可能的实现方式中,所述根据所述亮度信息进行局部绝对差异计算,获取所述亮度信息的亮度值邻域SAD之前,还包括:
根据所述拍摄场景信息和元数据,对所述亮度信息进行椒盐降噪处理。
结合第一方面的第二种可能的实现方式或第一方面的第三种可能的实现方式或一方面的第四种可能的实现方式或第一方面的第五种可能的实现方式或第一方面的第六种可能的实现方式,在第一方面的第七种可能的实现方式中,所述根据拍摄场景信息和元数据,对所述待处理图像的色度信息进行降噪处理,包括:
根据所述色度信息进行局部绝对差异计算,获取所述色度信息的色度值邻域SAD;
根据所述色度值邻域SAD、拍摄场景信息和元数据,获取第二高斯降噪滤波核;
根据所述第二高斯降噪滤波核,对所述色度信息进行高斯降噪处理;
所述根据拍摄场景信息和元数据,对所述待处理图像的色度信息进行增强处理,包括:
将所述色度信息与所述亮度信息结合,获得合成的图像信息;
获取所述合成的图像信息的色彩饱和度;
根据所述拍摄场景信息和元数据,调整所述色彩饱和度。
结合第一方面的第七种可能的实现方式,在第一方面的第八种可能的实现方式中,所述将所述色度信息与所述亮度信息结合,获得合成的图像信息之前,还包括:
将所述增强处理后的亮度信息与第二系数α2做乘积,获得α2倍增强处理后的亮度信息,所述α2为0到1的数值;
将所述降噪处理后的亮度信息与(1-α2)做乘积,获得(1-α2)倍降噪处理后的亮度信息;
将所述α2倍增强处理后的亮度信息与(1-α2)倍降噪处理后的亮度信息做和值,获得第二亮度信息;
所述将所述色度信息与所述亮度信息结合,获得合成的图像信息,包括:
对所述色度信息和第二亮度信息结合,获得所述合成的图像信息。
结合第一方面的第七种可能的实现方式或第一方面的第八种可能的实现方式,在第一方面的第九种可能的实现方式中,所述根据所述色度信息进行局部绝对差异计算,获取所述色度信息的色度值邻域SAD之前,还包括:
根据所述拍摄场景信息和元数据,对所述色度信息进行椒盐降噪处理。
第二方面,本发明实施例提供一种图像处理装置,包括:
拍摄模块,用于获取拍摄的未经图像处理的待处理图像;
提取模块,用于提取所述待处理图像的拍摄特征信息;
处理模块,用于根据所述拍摄特征信息,对所述待处理图像进行图像处理。
在第二方面的第一种可能的实现方式中,所述处理模块具体用于根据所述待处理图像的拍摄场景信息和元数据,对待处理图像进行降噪和/或增强处理。
结合第二方面的第一种可能的实现方式,在第二方面的第二种可能的实现方式中,所述处理模块具体用于根据所述拍摄场景信息和元数据,对所述待处理图像的亮度信息进行降噪和/或增强处理;和/或,根据所述拍摄场景信息和元数据,对所述待处理图像的色度信息进行降噪和/或增强处理。
结合第二方面的第二种可能的实现方式,在第二方面的第三种可能的实现方式中,所述处理模块包括:第一高斯降噪单元和/或第一增强单元;
所述第一高斯降噪单元,用于根据所述亮度信息进行局部绝对差异计算,获取所述亮度信息的亮度值邻域绝对差异和SAD;根据所述亮度值邻域SAD、拍摄场景信息和元数据,获得第一高斯降噪滤波核;根据所述第一高斯降噪滤波核,对所述亮度信息进行高斯降噪处理;
所述第一增强单元,用于将所述亮度信息进行基于边缘保持的滤波分解,获得基本层亮度信息和至少一个细节层亮度信息;根据所述拍摄场景信息和元数据,对所述基本层亮度信息进行对比度增强处理;根据所述亮度值邻域SAD、拍摄场景信息和元数据,确定至少一个增益;采用所述增益对所述细节层亮度信息进行细节增强处理;将对比度增强处理的基本层亮度信息与细节增强处理的细节层亮度信息做和值,获得增强处理后的亮度信息。
结合第二方面的第三种可能的实现方式,在第二方面的第四种可能的实现方式中,所述处理模块还包括:
第一获取单元,用于将所述高斯降噪处理后的亮度信息与第一系数α1做乘积,获得α1倍高斯降噪处理后的亮度信息,所述α1为0到1的数值;将所述高斯降噪处理前的亮度信息与(1-α1)做乘积,获得(1-α1)倍高斯降噪处理前的亮度信息;将所述α1倍高斯降噪处理后的亮度信息与(1-α1)倍高斯降噪处理前的亮度信息做和值,获得第一亮度信息;
所述第一增强单元具体用于对所述第一亮度信息进行增强处理。
结合第二方面的第二种可能的实现方式,在第二方面的第五种可能的实现方式中,所述处理模块包括:
降噪增强单元,用于根据所述亮度信息进行局部绝对差异计算,获取所述亮度信息的亮度值邻域绝对差异和SAD;根据所述亮度值邻域SAD、拍摄场景信息和元数据,获得第一高斯降噪滤波核;将高通滤波核和所述第一高斯降噪滤波核做卷积,获取卷积滤波核;根据所述亮度值邻域SAD、拍摄场景信息和元数据,确定所述卷积滤波核的权重;将所述卷积滤波核和权重做乘积,获取锐度增强滤波核;将所述第一高斯降噪滤波核与所述锐度增强滤波核做和值,获得高斯降噪锐化滤波核;根据所述高斯降噪锐化滤波核,对所述亮度信息进行高斯降噪处理和锐度增强处理。
结合第二方面的第三种可能的实现方式或第二方面的第四种可能的实现方式或第二方面的第五种可能的实现方式,在第二方面的第六种可能的实现方式中,所述处理模块还包括:
第一椒盐降噪单元,用于根据所述拍摄场景信息和元数据,对所述亮度信息进行椒盐降噪处理。
结合第二方面的第二种可能的实现方式或第二方面的第三种可能的实现方式或第二方面的第四种可能的实现方式或第二方面的第五种可能的实现方式或第二方面的第六种可能的实现方式,在第二方面的第七种可能的实现方式中,所述处理模块还包括第二高斯降噪单元和第二增强单元;
所述第二高斯降噪单元,用于根据所述色度信息进行局部绝对差异计算,获取所述色度信息的色度值邻域SAD;根据所述色度值邻域SAD、拍摄场景信息和元数据,获取第二高斯降噪滤波核;根据所述第二高斯降噪滤波核,对所述色度信息进行高斯降噪处理;
所述第二增强单元,用于将所述色度信息与所述亮度信息结合,获得合成的图像信息;获取所述合成的图像信息的色彩饱和度;根据所述拍摄场景信息和元数据,调整所述色彩饱和度。
结合第二方面的第七种可能的实现方式,在第二方面的第八种可能的实现方式中,所述处理模块还包括:
第二获取单元,用于在所述第二增强单元将所述色度信息与所述亮度信息结合获得合成的图像信息之前,将所述增强处理后的亮度信息与第二系数α2做乘积,获得α2倍增强处理后的亮度信息,所述α2为0到1的数值;将所述降噪处理后的亮度信息与(1-α2)做乘积,获得(1-α2)倍降噪处理后的亮度信息;将所述α2倍增强处理后的亮度信息与(1-α2)倍降噪处理后的亮度信息做和值,获得第二亮度信息;
所述第二增强单元具体用于对所述色度信息和第二亮度信息结合,获得所述合成的图像信息;获取所述合成的图像信息的色彩饱和度;根据所述拍摄场景信息和元数据,调整所述色彩饱和度。
结合第二方面的第七种可能的实现方式或第二方面的第八种可能的实现方式,在第二方面的第九种可能的实现方式中,所述处理模块还包括:
第二椒盐降噪单元,用于在所述第二高斯降噪单元根据所述色度信息进行局部绝对差异计算,获取所述色度信息的色度值邻域SAD之前,根据所述拍摄场景信息和元数据,对所述色度信息进行椒盐降噪处理。
第三方面,本发明实施例还提供一种拍摄终端,包括:如上所述的图像处理装置。
在第三方面的第一种可能的实现方式中,所述拍摄终端包括:手机或平板电脑。
本发明实施例提供的图像处理方法、装置和拍摄终端,通过获取拍摄的未经图像处理的待处理图像,从待处理图像中提取出拍摄特征信息,根据拍摄特征信息进行图像处理,从而使得拍摄终端在获取拍摄的待处理图像后,将待处理图像的拍摄特征信息作为自适应处理图像的依据,根据各个待处理图像各自的拍摄特征信息对各待处理图像进行处理,从而可以使得拍摄终端处理所得的图像质量均得到自适应的提升。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明图像处理方法实施例一的流程图,如图1所示,本实施例能够采用图像处理装置来实现,并且这个装置例如可以集成在拍摄终端来实现本实施例的方法,本实施例的方法可以包括:
步骤101、获取拍摄的未经图像处理的待处理图像。
本实施例中,获取拍摄待处理图像,该待处理图像可以为未经图像处理算法处理的图像,例如可以为拍摄终端所拍摄的图像,该拍摄终端可以为手机、平板电脑(PAD)、笔记本电脑或者多功能播放器等具有拍摄镜头的设备,由于这些拍摄终端的硬件条件限制,所拍摄的图像质量较差,因此,需要对该图像进行处理。
步骤102、提取待处理图像的拍摄特征信息。
本实施例中,在获取拍摄的待处理图像后,直接从待处理图像中提取出待处理图像的拍摄特征信息,该拍摄特征信息可以为待处理图像所拍摄的场景信息,如蓝色天空、绿色植物、日落、夜景和人物等,也可以为拍摄待处理图像时的元数据,如拍摄待处理图像时的感光度和曝光时间等。需要说明的是,只要可以反映出待处理图像的特征均可以作为本实施例所使用的拍摄特征信息。
步骤103、根据拍摄特征信息,对待处理图像进行图像处理。
本实施例中,由于可以实时地从拍摄终端所拍摄的待处理图像中提取出的拍摄特征信息,并且拍摄特征信息可以反映这个待处理图像所需要关注的特征和质量缺陷,同时每个待处理图像的拍摄特征信息可以不同,从而可以根据不同的拍摄特征信息有针对性地对不同的待处理图像进行图像处理。
具体来说,在现有技术中,拍摄终端在获取拍摄的图像后,采用固定的图像处理方式,例如采用预先设置在拍摄终端中的固定的图像处理算法进行图像处理,也即,现有技术针对拍摄获得的不同待处理图像进行相同的处理。因此,图像处理的适应性较差,导致处理后的图像质量参差不齐。
相比之下,本实施例中,拍摄终端在获取拍摄的待处理图像后,将未经图像处理的待处理图像的拍摄特征信息作为自适应处理图像的依据,根据各个待处理图像各自的拍摄特征信息对各待处理图像进行处理,从而可以使得拍摄终端处理所得的图像质量均得到自适应的提升。
需要说明的是,本实施例的图像处理方法可以应用于拍摄终端在获取拍摄的原始图像之后,在该拍摄终端的显示屏上显示图像之前执行。
本发明实施例一提供的图像处理方法,通过获取拍摄的未经图像处理的待处理图像,从待处理图像中提取出拍摄特征信息,根据拍摄特征信息进行图像处理,从而使得拍摄终端在获取拍摄的待处理图像后,将待处理图像的拍摄特征信息作为自适应处理图像的依据,根据各个待处理图像各自的拍摄特征信息对各待处理图像进行处理,从而可以使得拍摄终端处理所得的图像质量均得到自适应的提升。
图2为本发明图像处理方法实施例二的流程图,如图2所示,本实施例能够采用图像处理装置来实现,并且这个装置例如可以集成在拍摄终端来实现本实施例的方法,本实施例的方法可以包括:
步骤201、获取拍摄的未经图像处理的待处理图像。
本实施例中,获取拍摄的待处理图像,该待处理图像可以为未经图像处理算法处理的图像,例如可以为拍摄终端所拍摄的图像,该拍摄终端可以为手机、PAD、笔记本电脑或者多功能播放器等具有拍摄镜头的设备,由于这些拍摄终端的硬件条件限制,所拍摄的图像质量较差,因此,需要对该图像进行处理。
步骤202、提取待处理图像的拍摄场景信息和元数据。
本实施例中,在获取拍摄的待处理图像后,直接从待处理图像中提取出待处理图像的拍摄场景信息和元数据,拍摄场景信息可以为蓝色天空场景、绿色植物场景、日落场景、夜晚场景、低照度场景和人脸区域等),拍摄元数据可以为拍摄待处理图像时的感光度和曝光时间等,本领域普通技术人员可以理解,提取拍摄场景信息和元数据与现有技术一致,本实施例在此不再赘述。
本实施例中,在获得拍摄场景信息和元数据后,可以根据该拍摄场景信息和元数据对待处理图像进行降噪和/或增强处理,由于从待处理图像中提取出的拍摄场景信息和元数据可以反映了这个待处理图像中存在哪些质量缺陷,从而可以针对性地进行降噪和/或增强处理,以提升图像质量。在具体实现时,将待处理图像分为待处理图像的亮度信息和色度信息,根据拍摄场景信息和元数据对待处理图像进行降噪和/或增强处理可以包括:步骤203和步骤204。本领域普通技术人员可以理解,将待处理图像分为待处理图像的亮度信息和色度信息与现有技术中色彩空间转换一致,本实施例在此不再赘述。
步骤203、根据拍摄场景信息和元数据,对待处理图像的亮度信息进行降噪和/或增强处理。
本实施例中,根据拍摄场景信息和元数据对待处理图像的亮度信息进行降噪处理可以包括:对亮度信息进行局部绝对差异计算,获取亮度信息的亮度值邻域绝对差异和(Sum of Absolute Difference,简称为SAD);根据亮度值邻域SAD、拍摄场景信息和元数据,获得第一高斯降噪滤波核;根据第一高斯降噪滤波核,对亮度信息进行高斯降噪处理。
具体地,本领域普通技术人员可以理解,进行局部绝对差异计算与现有技术中一致,本实施例在此不再赘述,通过局部绝对差异计算可以获取每个像素的亮度值邻域SAD(即中心像素与邻域像素的亮度值差的绝对值的和),每个亮度值邻域SAD可以表征每个像素的局部特征(如该像素处于边缘区域还是平坦区域)。根据亮度值邻域SAD、拍摄场景信息和元数据,获得第一高斯降噪滤波核,第一高斯降噪滤波核可以为现有技术中的双边滤波核,本实施例在此不再赘述。由于第一高斯降噪滤波核中的方差参数决定了降噪的程度,方差参数越大,则降噪程度越强,所以在获取各像素的亮度值邻域SAD后,对各亮度值邻域SAD进行分析,亮度值邻域SAD越大,表示边缘信息的强度值大,该像素包括边缘信息越多,为了保持在降噪处理过程中边缘信息不受到模糊,则可以减小该像素对应的第一高斯降噪滤波核中的方差参数,相应地,亮度值邻域SAD越小,表示边缘信息的强度值小,该像素包括边缘信息越少,为了保证降噪的效果,则可以增大该像素对应的第一高斯降噪滤波核中的方差参数;由于各像素的亮度值邻域SAD可以不同,因此可以根据不同亮度值邻域SAD确定不同的方差参数。进一步地,若待处理图像的拍摄元数据中的感光度低,则可以减小第一高斯降噪滤波核中的方差参数,以弱化降噪程度;若待处理图像的元数据中的感光度高,则可以增大第一高斯降噪滤波核中的方差参数,以强化降噪程度;若待处理图像的拍摄场景信息为夜晚场景或者低照度场景,则可以增大第一高斯降噪滤波核中的方差参数,以强化降噪;从而可以确定第一高斯降噪滤波核,采用第一高斯降噪滤波核生成高斯降噪滤波器,对亮度信息进行高斯降噪处理,以进行高斯噪声的降噪处理。
本实施例中,根据拍摄场景信息和元数据对待处理图像的亮度信息进行降噪处理可以包括:将亮度信息进行基于边缘保持的滤波分解,获得基本层亮度信息和至少一个细节层亮度信息;根据拍摄场景信息和元数据,对基本层亮度信息进行对比度增强处理;根据亮度值邻域SAD、拍摄场景信息和元数据,确定至少一个增益;采用增益对细节层亮度信息进行细节增强处理;将对比度增强处理的基本层亮度信息与细节增强处理的细节层亮度信息做和值,获得增强处理后的亮度信息。
具体地,可以采用基于边缘保持的滤波算法(如双边滤波算法、其它具有边缘保持特性的滤波算法)对亮度信息进行多级分解,得到一个基本层亮度信息和多个不同细节程度的细节层亮度信息,以便在后续增强处理过程中可以管理各层次细节的对比度,改善图像的清晰度。例如:可以将亮度信息进行两级边缘保持滤波分解,获得低频的基本层亮度信息、中频的中细节层亮度信息和高频的小细节层亮度信息。然后可以根据拍摄场景信息和元数据,对基本层亮度信息进行对比度增强处理,以改善高亮和偏暗区域的亮度和对比度,其中,对比度增强算法可以包括:色调映射,直方图均衡,线性拉伸和Gamma校正等;如,拍摄场景信息为逆光场景时,可以通过控制色调映射曲线的形状来使图像中暗部区域变亮。
本实施例可以通过亮度值邻域SAD、拍摄场景信息和元数据获得各细节层亮度信息的增益,如:由于高频的小细节层亮度信息中可能包括较多的噪声,可以对小细节层亮度信息的增益设置得较小,由于中频的中细节层亮度信息中包括较多的细节信息和边缘信息,可以对中细节层亮度细节的增益设置得较大;若拍摄元数据中的感光度低时,可以分别提高中细节层亮度信息和小细节层亮度信息的增益,来强化边缘信息增强,使细节信息更丰富;若拍摄元数据中的感光度高时,可以分别降低中细节层亮度信息和小细节层亮度信息的增益,来弱化边缘信息增强;若拍摄场景信息为人脸区域,则可以分别减少中细节层亮度信息和小细节层亮度信息的增益,以弱化边缘的增强处理,使人脸显示得更自然;从而可以实现根据拍摄场景信息和元数据,分别确定中细节层亮度信息和小细节层亮度信息的增益,然后分别采用各增益对各细节层亮度信息进行细节增强处理;然后,将对比度增强处理后的基本层亮度层信息、细节增强处理后的中细节层亮度信息和细节增强处理后的小细节层亮度信息做和值,可以获得增强处理后的亮度信息。需要说明的是,增强处理前的亮度信息可以为降噪处理前的亮度信息也可以为降噪处理后的亮度信息。
可选地,对亮度信息进行增强处理之前还可以包括:将高斯降噪处理后的亮度信息与第一系数α1做乘积,获得α1倍高斯降噪处理后的亮度信息,α1为0到1的数值;将高斯降噪处理前的亮度信息与(1-α1)做乘积,获得(1-α1)倍高斯降噪处理前的亮度信息;将α1倍高斯降噪处理后的亮度信息与(1-α1)倍高斯降噪处理前的亮度信息做和值,获得第一亮度信息;然后对第一亮度信息进行增强处理,具体实现过程可以参见本实施例中上述的相关记载,此处不再赘述。需要说明的是,α1取值根据实际应用场景而定,本实施例在此不做限制。
步骤204、根据拍摄场景信息和元数据,对待处理图像的色度信息进行降噪和/或增强处理。
本实施例中,根据拍摄场景信息和元数据对待处理图像的色度信息进行降噪处理可以包括:根据色度信息进行局部绝对差异计算,获取色度信息的色度值邻域SAD;根据色度值邻域SAD、拍摄场景信息和元数据,获取第二高斯降噪滤波核;根据第二高斯降噪滤波核,对色度信息进行高斯降噪处理。
具体地,对色度信息进行降噪处理的过程与本实施上述的对亮度信息进行降噪处理的过程类似,详细可以参见上述的相关记载,本实施例在此不再赘述。
需要说明的是,步骤203和步骤204也可以择一执行。
本实施例中,根据拍摄场景信息和元数据对待处理图像的色度信息进行增强处理可以包括:将色度信息与亮度信息合成,获得合成的图像信息;获取合成的图像信息的色彩饱和度;根据拍摄场景信息和元数据,调整色彩饱和度。
具体地,将色度信息与亮度信息结合,从而可以获得合成的图像信息,从合成的图像信息中获取各色彩饱和度,然后根据拍摄场景信息和元数据,调整色彩饱和度,以改善图像的鲜艳度。需要说明的是,获取色彩饱和度与现有技术中一致,本实施例在此不再赘述。例如:若拍摄元数据中的感光度低时,则可以提高各色彩饱和度,使颜色更鲜艳;若拍摄元数据中的感光度高时,为降低彩色噪声,则可以弱化各色彩饱和度的增强;若拍摄场景信息为蓝色天空场景时,则可以提高色彩为蓝色的像素点的饱和度,使蓝天更蓝;若拍摄场景信息为绿色植物场景时,则可以提高色彩为绿色的像素点的饱和度,使绿色植物更绿;若拍摄场景信息为日落场景时,则可以提高色彩为红黄色的像素点的饱和度,使日落更绚烂。需要说明的是,用于结合的色度信息可以为降噪处理前的色度信息也可以为降噪处理后的色度信息,用于结合的亮度信息可以为降噪处理后的亮度信息,也可以为增强处理后的亮度信息。
可选地,将色度信息与亮度信息结合获得合成的图像信息之前,还可以包括:将增强处理后的亮度信息与第二系数α2做乘积,获得α2倍增强处理后的亮度信息,α2为0到1的数值;将降噪处理后的亮度信息与(1-α2)做乘积,获得(1-α2)倍降噪处理后的亮度信息;将α2倍增强处理后的亮度信息与(1-α2)倍降噪处理后的亮度信息做和值,获得第二亮度信息;然后将色度信息和第二亮度信息做和值,获得合成的图像信息。具体实现过程可以参见本实施例上述中的详细记载,此处不再赘述。需要说明的是,α2取值根据实际应用场景而定,本实施例在此不做限制。
本发明实施例二提供的图像处理方法,通过获取拍摄未经图像处理的待处理图像,提取待处理图像的拍摄场景信息和元数据,根据拍摄场景信息和元数据,对待处理图像的亮度信息进行降噪和/或增强处理,根据拍摄场景信息和元数据,对待处理图像的色度信息进行降噪和/或增强处理;从而使得拍摄终端在获取拍摄的待处理图像后,将待处理图像的拍摄场景信息和元数据作为自适应处理图像的依据,根据各个待处理图像各自的拍摄场景信息和元数据对各待处理图像的色度信息和亮度信息进行处理,从而可以使得拍摄终端处理所得的图像质量均得到自适应的提升。
图3为本发明图像处理方法实施例三的流程图,如图3所示,本实施例能够采用图像处理装置来实现,并且这个装置例如可以集成在拍摄终端来实现本实施例的方法,本实施例的方法是对图2所示方法实施例的进一步细化的方案,本实施例的方法包括:
步骤301、根据拍摄场景信息和元数据,对亮度信息进行椒盐降噪处理。
本实施例中,可以采用具有椒盐噪声去除效应的椒盐降噪滤波器(如标准的中值滤波器等)对亮度进行椒盐降噪处理;可以根据拍摄场景和元数据,对椒盐降噪滤波器的邻域窗口大小进行调整,然后再对亮度信息进行椒盐降噪处理,以进行椒盐噪声的降噪处理。若拍摄元数据的感光度低时,可以减少椒盐降噪滤波器的邻域窗口大小,以弱化降噪处理程度;若拍摄元数据的感光度高时,可以增加椒盐降噪滤波器的邻域窗口大小,以强化降噪处理程度;若拍摄场景信息为夜晚场景或低照度场景,则可以增加椒盐降噪滤波器的邻域窗口大小,以强化降噪处理程度。
步骤302、根据椒盐降噪处理后的亮度信息进行局部绝对差异计算,获取椒盐降噪处理后的亮度信息的亮度值邻域SAD;根据亮度值邻域SAD、拍摄场景信息和元数据,获得第一高斯降噪滤波核。
本实施例中,在对亮度信息进行椒盐降噪处理后,根据椒盐降噪处理后的亮度信息进行局部绝对差异计算,获取椒盐降噪处理后的亮度信息的亮度值邻域SAD;然后根据亮度邻域SAD、拍摄场景信息和元数据,获得第一高斯降噪滤波核,步骤302的具体实现过程可以参见本发明实施例二的步骤203中根据拍摄场景信息和元数据对亮度信息进行降噪处理的相关记载,本实施例在此不再赘述。
步骤303、将高通滤波核和第一高斯降噪滤波核做卷积,获取卷积滤波核;根据亮度值邻域SAD、拍摄场景信息和元数据,确定卷积滤波核的权重;将卷积滤波核和权重做乘积,获取锐度增强滤波核;
本实施例中,高通滤波核可以为具有高通特性的滤波核(如Laplacian高通滤波核等),将高通滤波核和第一高斯降噪滤波核做卷积,获得卷积滤波核;然后根据亮度值邻域SAD、拍摄场景信息和元数据,确定卷积滤波核的权重,将卷积滤波核和权重做乘积,获取锐度增强滤波核;如:若亮度值邻域SAD越大,则说明边缘信息越多,则可以增大权重,以强化边缘增强处理;若亮度值邻域SAD越少,则说明边缘信息越少,噪声越多,则可以减少权重,以抑制噪声;若拍摄元数据中的感光度低时,则可以增加权重,以强化边缘增强处理;若拍摄元数据中的感光度高时,则可以减少权重,以抑制噪声放大;若拍摄场景信息为人脸区域信息,则可以减少权重,以弱化边缘增强处理,使人脸更自然。
步骤304、将第一高斯降噪滤波核与锐度增强滤波核做和值,获得高斯降噪锐化滤波核;根据高斯降噪锐化滤波核,对亮度信息进行高斯降噪处理和锐度增强处理。
本实施例中,将第一高斯降噪滤波核与锐度增强滤波核做和值,获得高斯降噪锐化滤波核,然后根据高斯降噪锐化滤波核生成高斯降噪锐化滤波器,由于第一高斯降噪滤波核根据亮度值邻域SAD(即边缘信息)确定的,所以该高斯降噪锐化滤波器可以沿着边缘信息的方向对亮度信息进行平滑降噪处理,可以沿着垂直于边缘信息的方向对亮度信息进行边缘增强处理,从而可以同时对亮度信息进行高斯降噪处理和锐度增强处理,且提高了图像处理的效率。
步骤305、将高斯降噪处理和锐度增强处理后的亮度信息与第一系数α1做乘积,获得α1倍高斯降噪处理和锐度增强处理后的亮度信息,α1为0到1的数值;将椒盐降噪处理后的亮度信息与(1-α1)做乘积,获得(1-α1)倍椒盐降噪处理后的亮度信息;将α1倍高斯降噪处理和锐度增强处理后的亮度信息与(1-α1)倍椒盐降噪处理后的亮度信息做和值,获得第一亮度信息。
本实施例中,需要说明的是,α1取值根据实际应用场景而定,本实施例在此不做限制。
步骤306、根据拍摄场景信息和元数据,对第一亮度信息进行增强处理。
本实施例中,步骤306的具体实现过程可以参见本发明实施例二中步骤203中根据拍摄场景信息和元数据对亮度信息进行增强处理的相关记载,本实施例在此不再赘述。
步骤307、将增强处理后的第一亮度信息与第二系数α2做乘积,获得α2倍增强处理后的亮度信息,α2为0到1的数值;将增强处理前的第一亮度信息与(1-α2)做乘积,获得(1-α2)倍增强处理前的第一亮度信息;将α2倍增强处理后的第一亮度信息与(1-α2)倍增强处理前的第一亮度信息做和值,获得第二亮度信息。
本实施例中,需要说明的是,α2取值根据实际应用场景而定,本实施例在此不做限制。
步骤308、根据拍摄场景信息和元数据,对色度信息进行椒盐降噪处理。
本实施例中,步骤308的具体实现过程可以参见本实施例中步骤301中的相关记载,本实施例在此不再赘述。
步骤309、根据椒盐降噪处理后的色度信息进行局部绝对差异计算,获取椒盐降噪处理后的色度信息的色度值邻域SAD;根据色度值邻域SAD、拍摄场景信息和元数据,获得第二高斯降噪滤波核;根据第二高斯降噪滤波核,对椒盐降噪处理后的色度信息进行高斯降噪处理。
本实施例中,步骤309的具体实现过程可以参见本发明实施例二中步骤204中根据拍摄场景信息和元数据对色度信息进行降噪处理的相关记载,本实施例在此不再赘述。
步骤310、对高斯降噪处理后的色度信息和第二亮度信息结合,获得合成的图像信息;获取合成的图像信息的色彩饱和度;根据拍摄场景信息和元数据,调整色彩饱和度。
本实施例中,步骤310的具体实施过程可以参见本发明实施例二步骤204中根据拍摄场景信息和元数据对待处理图像的色度信息进行增强处理的相关记载,本实施例在此不再赘述。
需要说明的是,步骤308和步骤309可以在步骤301~步骤307之前执行,也可以与步骤301~步骤307同时执行,本实施例在此不做限制。
本发明实施例三提供的图像处理方法,在图2所示方法实施例二的基础上,进一步地,使得拍摄终端在获取拍摄的待处理图像后,将待处理图像的拍摄场景信息和元数据作为自适应处理图像的依据,根据各个待处理图像各自的拍摄特征信息对各待处理图像的色度信息和亮度信息分别进行椒盐降噪处理、高斯降噪处理以及增强处理等综合处理,从而达到降低噪声,改善对比度,强化边缘,调整饱和度等效果,进而使得拍摄终端处理所得的图像质量均得到自适应的提升,还提高了各图像的处理效率。
值得注意的是,采用本发明上述实施例提供的图像处理方法,根据拍摄场景信息和元数据(metadata),可以实时地、具有针对性地以及动态地对图像进行处理,从而使得本发明上述实施例的通用性更强,适用面更广,对于改善各种场景的拍摄图像质量,提升用户的拍照体验具有十分重要的意义。
图4为本发明图像处理装置实施例一的结构示意图,如图4所示,本实施例的装置可以包括:拍摄模块11、提取模块12和处理模块13,其中,拍摄模块11用于获取拍摄的未经图像处理的待处理图像;提取模块12用于提取所述待处理图像的拍摄特征信息;处理模块13用于根据所述拍摄特征信息,对所述待处理图像进行图像处理。
本发明实施例一提供的图像处理装置,可以用于执行图1所示方法实施例的技术方案,其实现原理和技术效果类似,详细可以参见上述实施例中的相关记载,此处不再赘述。
图5为本发明图像处理装置实施例二的结构示意图,如图5所示,本实施例的装置在图4所示装置结构的基础上,上述的处理模块13具体用于根据所述待处理图像的拍摄场景信息和元数据,对待处理图像进行降噪和/或增强处理。进一步地,处理模块13具体用于根据所述拍摄场景信息和元数据,对所述待处理图像的亮度信息进行降噪和/或增强处理;和/或,根据所述拍摄场景信息和元数据,对所述待处理图像的色度信息进行降噪和/或增强处理。
进一步地,处理模块13可以包括:第一高斯降噪单元131和/或第一增强单元132;其中,第一高斯降噪单元131用于根据所述亮度信息进行局部绝对差异计算,获取所述亮度信息的亮度值邻域绝对差异和SAD;根据所述亮度值邻域SAD、拍摄场景信息和元数据,获得第一高斯降噪滤波核;根据所述第一高斯降噪滤波核,对所述亮度信息进行高斯降噪处理。第一增强单元132用于将所述亮度信息进行基于边缘保持的滤波分解,获得基本层亮度信息和至少一个细节层亮度信息;根据所述拍摄场景信息和元数据,对所述基本层亮度信息进行对比度增强处理;根据所述亮度值邻域SAD、拍摄场景信息和元数据,确定至少一个增益;采用所述增益对所述细节层亮度信息进行细节增强处理;将对比度增强处理的基本层亮度信息与细节增强处理的细节层亮度信息做和值,获得增强处理后的亮度信息。
可选地,处理模块13还包括:第一获取单元133,该第一获取单元133用于将所述高斯降噪处理后的亮度信息与第一系数α1做乘积,获得α1倍高斯降噪处理后的亮度信息,所述α1为0到1的数值;将所述高斯降噪处理前的亮度信息与(1-α1)做乘积,获得(1-α1)倍高斯降噪处理前的亮度信息;将所述α1倍高斯降噪处理后的亮度信息与(1-α1)倍高斯降噪处理前的亮度信息做和值,获得第一亮度信息。第一增强单元132具体用于对所述第一亮度信息进行增强处理。
进一步地,处理模块13还包括:第二高斯降噪单元134和第二增强单元135;其中,第二高斯降噪单元134用于根据所述色度信息进行局部绝对差异计算,获取所述色度信息的色度值邻域SAD;根据所述色度值邻域SAD、拍摄场景信息和元数据,获取第二高斯降噪滤波核;根据所述第二高斯降噪滤波核,对所述色度信息进行高斯降噪处理。第二增强单元135用于将所述色度信息与所述亮度信息结合,获得合成的图像信息;获取所述合成的图像信息的色彩饱和度;根据所述拍摄场景信息和元数据,调整所述色彩饱和度。
可选地,所述处理模块还可以包括:第二获取单元136,该第二获取单元136用于在所述第二增强单元将所述色度信息与所述亮度信息结合获得合成的图像信息之前,将所述增强处理后的亮度信息与第二系数α2做乘积,获得α2倍增强处理后的亮度信息,所述α2为0到1的数值;将所述降噪处理后的亮度信息与(1-α2)做乘积,获得(1-α2)倍降噪处理后的亮度信息;将所述α2倍增强处理后的亮度信息与(1-α2)倍降噪处理后的亮度信息做和值,获得第二亮度信息。第二增强单元135具体用于对所述色度信息和第二亮度信息结合,获得所述合成的图像信息;获取所述合成的图像信息的色彩饱和度;根据所述拍摄场景信息和元数据,调整所述色彩饱和度。
本发明实施例二提供的图像处理装置,可以用于执行图2所示方法实施例的技术方案,其实现原理和技术效果类似,详细可以参见上述实施例中的相关记载,此处不再赘述。
图6为本发明图像处理装置实施例三的结构示意图,如图6所示,本实施例的装置在图5所示装置结构的基础上,进一步地,处理模块13可以包括:降噪增强单元137,该降噪增强单元137用于根据所述亮度信息进行局部绝对差异计算,获取所述亮度信息的亮度值邻域绝对差异和SAD;根据所述亮度值邻域SAD、拍摄场景信息和元数据,获得第一高斯降噪滤波核;将高通滤波核和所述第一高斯降噪滤波核做卷积,获取卷积滤波核;根据所述亮度值邻域SAD、拍摄场景信息和元数据,确定所述卷积滤波核的权重;将所述卷积滤波核和权重做乘积,获取锐度增强滤波核;将所述第一高斯降噪滤波核与所述锐度增强滤波核做和值,获得高斯降噪锐化滤波核;根据所述高斯降噪锐化滤波核,对所述亮度信息进行高斯降噪处理和锐度增强处理。
优选地,处理模块13还可以包括:第一椒盐降噪单元138,该第一椒盐降噪单元138用于根据所述拍摄场景信息和元数据,对所述亮度信息进行椒盐降噪处理。
更进一步地,处理模块13还可以包括:第二椒盐降噪单元139,该第二椒盐降噪单元139用于在所述第二高斯降噪单元134根据所述色度信息进行局部绝对差异计算,获取所述色度信息的色度值邻域SAD之前,根据所述拍摄场景信息和元数据,对所述色度信息进行椒盐降噪处理。
本发明实施例三提供的图像处理装置,可以用于执行图3所示方法实施例的技术方案,其实现原理和技术效果类似,详细可以参见上述实施例中的相关记载,此处不再赘述。
图7为本发明图像处理装置实施例四的结构示意图,如图7所示,本实施例的装置包括存储器21和与存储器21连接的处理器22,其中,存储器21中存储一组程序代码,存储器21可以包括非易失性存储器(Non-volatileMemory)。处理器22可以是一个中央处理器(Central Processing Unit,简称为CPU),或者是特定集成电路ASIC(Application Specific Integrated Circuit,简称为ASIC),或者是被配置成实施本发明实施例的一个或多个集成电路。处理器22用于调用存储器21中存储的程序代码,用于执行如下操作:
获取拍摄的未经图像处理的待处理图像;
提取所述待处理图像的拍摄特征信息;
根据所述拍摄特征信息,对所述待处理图像进行图像处理。
进一步地,所述根据所述特征信息,对所述待处理图像进行图像处理,包括:
根据所述待处理图像的拍摄场景信息和元数据,对待处理图像进行降噪和/或增强处理。
优先地,所述根据所述待处理图像的拍摄场景信息和元数据,对待处理图像进行降噪和/或增强处理,包括:
根据所述拍摄场景信息和元数据,对所述待处理图像的亮度信息进行降噪和/或增强处理;和/或,
根据所述拍摄场景信息和元数据,对所述待处理图像的色度信息进行降噪和/或增强处理。
进一步地,所述根据所述拍摄场景信息和元数据,对所述待处理图像的亮度信息进行降噪处理,包括:
根据所述亮度信息进行局部绝对差异计算,获取所述亮度信息的亮度值邻域绝对差异和SAD;
根据所述亮度值邻域SAD、拍摄场景信息和元数据,获得第一高斯降噪滤波核;
根据所述第一高斯降噪滤波核,对所述亮度信息进行高斯降噪处理;
所述对所述待处理图像的亮度信息进行增强处理,包括:
将所述亮度信息进行基于边缘保持的滤波分解,获得基本层亮度信息和至少一个细节层亮度信息;
根据所述拍摄场景信息和元数据,对所述基本层亮度信息进行对比度增强处理;
根据所述亮度值邻域SAD、拍摄场景信息和元数据,确定至少一个增益;
采用所述增益对所述细节层亮度信息进行细节增强处理;
将对比度增强处理的基本层亮度信息与细节增强处理的细节层亮度信息做和值,获得增强处理后的亮度信息。
可选地,所述对所述亮度信息进行增强处理之前,还包括:
将所述高斯降噪处理后的亮度信息与第一系数α1做乘积,获得α1倍高斯降噪处理后的亮度信息,所述α1为0到1的数值;
将所述高斯降噪处理前的亮度信息与(1-α1)做乘积,获得(1-α1)倍高斯降噪处理前的亮度信息;
将所述α1倍高斯降噪处理后的亮度信息与(1-α1)倍高斯降噪处理前的亮度信息做和值,获得第一亮度信息;
所述对所述待处理图像的亮度信息进行增强处理,包括:
对所述第一亮度信息进行增强处理。
进一步地,所述根据所述拍摄场景信息和元数据,对所述待处理图像的亮度信息进行降噪和增强处理,包括:
根据所述亮度信息进行局部绝对差异计算,获取所述亮度信息的亮度值邻域绝对差异和SAD;
根据所述亮度值邻域SAD、拍摄场景信息和元数据,获得第一高斯降噪滤波核;
将高通滤波核和所述第一高斯降噪滤波核做卷积,获取卷积滤波核;
根据所述亮度值邻域SAD、拍摄场景信息和元数据,确定所述卷积滤波核的权重;
将所述卷积滤波核和权重做乘积,获取锐度增强滤波核;
将所述第一高斯降噪滤波核与所述锐度增强滤波核做和值,获得高斯降噪锐化滤波核;
根据所述高斯降噪锐化滤波核,对所述亮度信息进行高斯降噪处理和锐度增强处理。
优先地,所述根据所述亮度信息进行局部绝对差异计算,获取所述亮度信息的亮度值邻域SAD之前,还包括:
根据所述拍摄场景信息和元数据,对所述亮度信息进行椒盐降噪处理。
进一步地,所述根据拍摄场景信息和元数据,对所述待处理图像的色度信息进行降噪处理,包括:
根据所述色度信息进行局部绝对差异计算,获取所述色度信息的色度值邻域SAD;
根据所述色度值邻域SAD、拍摄场景信息和元数据,获取第二高斯降噪滤波核;
根据所述第二高斯降噪滤波核,对所述色度信息进行高斯降噪处理;
所述根据拍摄场景信息和元数据,对所述待处理图像的色度信息进行增强处理,包括:
将所述色度信息与所述亮度信息结合,获得合成的图像信息;
获取所述合成的图像信息的色彩饱和度;
根据所述拍摄场景信息和元数据,调整所述色彩饱和度。
可选地,所述将所述色度信息与所述亮度信息结合,获得合成的图像信息之前,还包括:
将所述增强处理后的亮度信息与第二系数α2做乘积,获得α2倍增强处理后的亮度信息,所述α2为0到1的数值;
将所述降噪处理后的亮度信息与(1-α2)做乘积,获得(1-α2)倍降噪处理后的亮度信息;
将所述α2倍增强处理后的亮度信息与(1-α2)倍降噪处理后的亮度信息做和值,获得第二亮度信息;
所述将所述色度信息与所述亮度信息给合,获得合成的图像信息,包括:
对所述色度信息和第二亮度信息给合,获得所述合成的图像信息。
优选地,所述根据所述色度信息进行局部绝对差异计算,获取所述色度信息的色度值邻域SAD之前,还包括:
根据所述拍摄场景信息和元数据,对所述色度信息进行椒盐降噪处理。
需要说明的是,处理器22通过调用存储器21中存储的程序代码具体实现的技术方案可以参见本发明图1、图2和图3所示的图像处理方法实施例,其实现原理和技术效果类似,详细可以参见上述实施例中的相关记载,在此不再赘述。
图8为本发明拍摄终端实施例一的结构示意图,如图8所示,本实施例的拍摄终端30可以包括图像处理装置31,其中,图像处理装置31可以采用图4~图6任一图像处理装置实施例的结构,其对应地,可以执行图1~图3所示的任一实施例的技术方案,其实现原理和技术效果类似,详细可以参见上述实施例中的相关记载,此处不再赘述,
其中,拍摄终端30可以为手机或者平板电脑,也可以为笔记本电脑或者多功能播放器等具有拍摄镜头的设备。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。