CN115239578A - 图像处理方法及装置、计算机可读存储介质、终端设备 - Google Patents
图像处理方法及装置、计算机可读存储介质、终端设备 Download PDFInfo
- Publication number
- CN115239578A CN115239578A CN202210689628.1A CN202210689628A CN115239578A CN 115239578 A CN115239578 A CN 115239578A CN 202210689628 A CN202210689628 A CN 202210689628A CN 115239578 A CN115239578 A CN 115239578A
- Authority
- CN
- China
- Prior art keywords
- image
- value
- pixel
- brightness
- mapping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 238000013507 mapping Methods 0.000 claims abstract description 150
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims description 29
- 238000004590 computer program Methods 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 9
- 230000002146 bilateral effect Effects 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 241000023320 Luma <angiosperm> Species 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 5
- 230000003321 amplification Effects 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000000717 retained effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009828 non-uniform distribution Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G06T5/90—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Abstract
本申请提供了一种图像处理方法及装置、计算机可读存储介质、终端设备,该图像处理方法包括:获取待处理图像;计算待处理图像在亮度域的低频信息的统计值;根据统计值所属场景确定对应的映射曲线,映射曲线表示各个像素在亮度域的原始亮度值与调整后亮度值的映射关系,不同场景对应不同的映射曲线;根据映射曲线确定待处理图像中各个像素的调整亮度值;将各个像素的调整亮度值的增益映射至对应像素的各个颜色通道,以得到调整后的图像。本申请提供了一种能够提升图像低亮区域的亮度并且避免高亮区域过曝的图像处理方案。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及一种图像处理方法及装置、计算机可读存储介质、终端设备。
背景技术
图像显示最终的目标是显示的图像效果可以尽量接近人们视野观察到的自然场景。目前现有的图像捕获设备获取的图像信息可具有较高的亮度、更深的位宽和更广的色域,其包含了大量的信息,但因硬件处理能力的限制,无法在普通的显示器上显示,因此需将高比特位宽数据降低位宽用于显示设备显示,但由于线性压缩会造成显示的图像动态范围损失严重,会出现严重的失真现象,无法获取自然场景中全部光照所涉及的范围。当图像仅有有限的动态范围时,图像整体偏亮或者偏暗,出现大量的细节丢失。
目前现有的提高图像动态范围的方法是对整体偏暗的图像进行整体亮度提升,以提升低亮区域的亮度。
但是,现有技术在图像整体亮度提升的同时易造成高亮区域过曝,且低亮区域的噪声也会明显增加。
发明内容
本申请提供了一种通信方法及装置,提供了一种能够提升图像低亮区域的亮度并且避免高亮区域过曝的图像处理方案。
为了达到上述目的,本申请提供了以下技术方案:
第一方面,提供了一种图像处理方法,图像处理方法包括:获取待处理图像;计算所述待处理图像在亮度域的低频信息的统计值;根据所述统计值所属场景确定对应的映射曲线,所述映射曲线表示各个像素在亮度域的原始亮度值与调整后亮度值的映射关系,不同场景对应不同的映射曲线;根据所述映射曲线确定所述待处理图像中各个像素的调整亮度值;将各个像素的调整亮度值的增益映射至对应像素的各个颜色通道,以得到调整后的图像。
可选的,在所述映射曲线中,原始亮度值低于第一预设门限时,该原始亮度值对应的调整后亮度值高于该原始亮度值;原始亮度值高于所述第一预设门限时,该原始亮度值对应的调整后亮度值低于该原始亮度值。
可选的,在所述映射曲线中,原始亮度值低于第二预设门限时,该原始亮度值与其对应的调整后亮度值为线性关系且调整后亮度值大于原始亮度值,所述第二预设门限小于所述第一预设门限。
可选的,所述根据所述映射曲线确定所述待处理图像中各个像素的调整亮度值包括:在所述待处理图像为当前视频帧时,根据所述当前视频帧中各个像素的原始亮度值以及所述映射曲线确定各个像素的目标亮度值;计算位于所述当前视频帧之前的多个视频帧与所述当前视频帧的亮度差异;根据所述亮度差异以及所述目标亮度值确定各个像素的调整亮度值,所述调整亮度值与所述目标亮度值的差值小于预设阈值。
可选的,所述根据所述统计值所属场景确定对应的映射曲线包括:将所述统计值输入映射模型,以得到所述统计值所属场景对应的映射曲线,所述映射模型是预先训练得到的。
可选的,所述将各个像素的调整亮度值的增益映射至对应像素的各个颜色通道包括:计算各个原始亮度值下的调整增益,所述调整增益为调整亮度值与原始亮度值的比值;将各个像素的调整增益映射至对应像素的各个颜色通道,以得到所述调整后的图像。
可选的,所述待处理图像为彩色图像,所述计算所述待处理图像在亮度域的低频信息的统计值包括:对所述待处理图像进行双边滤波,以得到所述待处理图像在亮度域的低频图像和高频图像;对所述低频图像进行非均匀分布的直方图统计,以得到所述统计值。
可选的,所述将各个像素的调整亮度值的增益映射至对应像素在各个颜色通道之前还包括:将所述高频图像中各个像素的高频信息添加至各个像素的调整亮度值,以用于转换为各个像素在各个颜色通道。
第二方面,本申请还公开一种图像处理装置,图像处理装置包括:获取模块,用于获取待处理图像;统计模块,用于计算所述待处理图像在亮度域的低频信息的统计值;映射曲线确定模块,用于根据所述统计值所属场景确定对应的映射曲线,所述映射曲线表示各个像素在亮度域的原始亮度值与调整后亮度值的映射关系,不同场景对应不同的映射曲线;亮度调整模块,用于根据所述映射曲线确定所述待处理图像中各个像素的调整亮度值;转换模块,用于将各个像素的调整亮度值的增益映射至对应像素的各个颜色通道,以得到调整后的图像。
第三方面,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器运行以执行第一方面提供的一种方法。
第四方面,提供了一种终端设备,包括存储器和处理器,存储器上存储有可在处理器上运行的计算机程序,处理器运行计算机程序以执行第一方面提供的一种方法。
第五方面,提供了一种通信装置,包括存储器和处理器,存储器上存储有可在处理器上运行的计算机程序,其特征在于,处理器运行计算机程序以执行第一方面提供的一种方法。
第八方面,提供了一种计算机程序产品,其上存储有计算机程序,计算机程序被处理器运行以执行第一方面提供的一种方法。
与现有技术相比,本申请实施例的技术方案具有以下有益效果:
本申请技术方案中,对于待处理图像,可以根据其在亮度域的低频信息的统计值来确定映射曲线,并根据映射曲线对图像中各个像素的亮度值进行调整。由于图像在亮度域的低频信息通常不包含噪声,因此基于亮度域的低频信息进行亮度调整,能够在保留图像的细节信息的同时,抑制噪声放大。
进一步地,在映射曲线中,原始亮度值低于第一预设门限时,该原始亮度值对应的调整后亮度值高于该原始亮度值;原始亮度值高于第一预设门限时,该原始亮度值对应的调整后亮度值低于该原始亮度值。本发明技术方案通过上述映射曲线能够实现对图像低亮区域进行亮度提升且高亮区域进行亮度抑制,从而在保证图像整体动态范围得到大幅度改善的同时,确保图像整体噪声没有明显的增加。
进一步地,在待处理图像为当前视频帧时,根据当前视频帧中各个像素的原始亮度值以及映射曲线确定各个像素的目标亮度值;计算位于当前视频帧之前的多个视频帧与当前视频帧的亮度差异;根据亮度差异以及目标亮度值确定各个像素的调整亮度值,调整亮度值小于等于目标亮度值。本申请技术方案在对视频中各个视频帧进行色调映射时,考量了当前视频帧与其之前的多个视频帧的亮度差异,对映射曲线平滑过渡,从而使得相邻视频帧之间的亮度差异较小,避免帧间闪烁问题,提升用户的视频观看体验。
附图说明
图1是本申请实施例提供的一种图像处理方法的流程图;
图2是本申请实施例提供的一种映射曲线的示意图;
图3是本申请实施例提供的一种图像处理的应用场景的示意图;
图4是本申请实施例提供的一种图像处理装置的结构示意图。
具体实施方式
如背景技术中所述,现有技术在图像整体亮度提升的同时易造成高亮区域过曝,且低亮区域的噪声也会明显增加。
此外,视频具有独特的时域特性及空间内容的关联,如果简单地将每帧图像色调映射的方法直接应用于视频进行视频色调映射,会造成图像质量出现较大的问题,如帧间变化出现闪烁的问题。现有技术中提高图像动态范围的方法大多关注单帧图像的色调映射,而没有考虑帧间图像时域变换,易出现帧间闪烁的问题。
本申请技术方案中,对于待处理图像,可以根据其在亮度域的低频信息的统计值来确定映射曲线,并根据映射曲线对图像中各个像素的亮度值进行调整。由于图像在亮度域的低频信息通常不包含噪声,因此基于亮度域的低频信息进行亮度调整,能够在保留图像的细节信息的同时,抑制噪声放大。
进一步地,在映射曲线中,原始亮度值低于第一预设门限时,该原始亮度值对应的调整后亮度值高于该原始亮度值;原始亮度值高于第一预设门限时,该原始亮度值对应的调整后亮度值低于该原始亮度值。本发明技术方案通过上述映射曲线能够实现对图像低亮区域进行亮度提升且高亮区域进行亮度抑制,从而在保证图像整体动态范围得到大幅度改善的同时,确保图像整体噪声没有明显的增加。
为使本发明的上述目的、特征和优点能够更为明显易懂,下面结合附图对本发明的具体实施例做详细的说明。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请提供了一种图像处理方法,能够提升图像低亮区域的亮度并且避免高亮区域过曝。
参见图1,本申请提供的图像处理方法包括:
步骤101:获取待处理图像。
步骤102:计算待处理图像在亮度域的低频信息的统计值。
步骤103:根据统计值所属场景确定对应的映射曲线,映射曲线表示各个像素在亮度域的原始亮度值与调整后亮度值的映射关系,不同场景对应不同的映射曲线。
步骤104:根据映射曲线确定待处理图像中各个像素的调整亮度值。
步骤105:将各个像素的调整亮度值的增益映射至对应像素的各个颜色通道,以得到调整后的图像
需要指出的是,本实施例中各个步骤的序号并不代表对各个步骤的执行顺序的限定。
可以理解的是,在具体实施中,所述图像处理方法可以采用软件程序的方式实现,该软件程序运行于芯片或芯片模组内部集成的处理器中。该方法也可以采用软件结合硬件的方式实现,本申请不作限制。
本发明实施例中,待处理图像可以是图片、照片,也可以是视频帧。
在步骤102的具体实施中,对待处理图像在亮度域的低频信息进行统计,也即对待处理图像在亮度域的低频图像中各个像素的亮度值进行统计,以获得统计值。该统计值能够反映待处理图像整体亮度情况。具体而言,统计值可以包括图像中低亮区域的亮度值、图像高亮区域的亮度值、对数平均值和/或算数平均值。
需要说明的是,图像中低亮区域可以是像素值低于第一预设阈值的区域,高亮区域可以是像素值高于第二预设阈值的区域,第二预设阈值大于等于第一预设阈值。
具体地,对低频图像进行非均匀分布的直方图统计,以获得低频图像对应的直方图数据。按照整幅图像的像素个数比例获得低亮区域的像素个数M1,在直方图中从左至右累加像素个数达到M1时所对应的亮度值即为低亮区域的亮度值(也可以称为低亮值)。按照整幅图像的像素个数比例获得高亮区域的像素个数M2,在直方图从右至左累加像素个数达到M2时所对应的亮度值即为高亮区域的亮度值(也可以称为高亮值)。
具体地,图像在亮度域的低频信息(也可以称为低频分量),指的是图像中亮度变换平缓的区域中各个像素的亮度值。图像中的高频信息(也可以称为高频分量),指的是图像亮度变化剧烈的地方,通常是图像的边缘(或者轮廓)处各个像素的亮度值。图像的高频信息中通常包含噪声。故而本申请是对低频信息进行统计,以避免噪声的影响。
在一个具体的实施例中,待处理图像是彩色图像时,例如RGB图像,为了获得待处理图像在亮度域的低频信息,需要将待处理图像转换为亮度图。例如,将高比特的RGB图像的每个像素所对应的R、G、B三个通道值的最大值作为当前像素的亮度值,从而获得当前图像对应的亮度图。再对亮度图进行双边滤波处理,获得待处理图像在亮度域的低频图像和高频图像。
更具体地,可以是对待处理图像对应的Luma图进行双边滤波处理。
在步骤103的具体实施中,可以基于待处理图像在亮度域的低频信息的统计值所属场景确定映射曲线,该映射曲线用于对待处理图像在亮度域的低频图像中各个像素的亮度值进行调整。
具体地,请参照图2,图2示出了一种映射曲线,映射曲线表示各个像素在亮度域的原始亮度值与调整后亮度值的映射关系。图2所示映射曲线所处坐标系的横坐标表示像素的原始低频亮度值,纵坐标表示像素的调整后的低频亮度值(也即调整亮度值)。
在一种具体实施方式中,可以将统计值输入映射模型,以得到统计值所属场景对应的映射曲线,映射模型是预先训练得到的。
具体地,映射模型可以是利用预先标注好的训练数据训练得到的,训练数据可以包括统计值所属场景及其对应的映射曲线。具体地,统计值所属场景可以是根据图像中是否存在人脸、动态范围等级来确定的,例如统计值所属场景包括有人脸、无人脸、低动态I级、低动态II级、高动态I级、高动态II级、高动态III级等。将上述统计值所属场景输入映射模型之后,映射模型可以输出对应的映射曲线。不同场景对应的映射曲线对像素的亮度调整范围不同。
进而在步骤104中,根据映射曲线确定待处理图像中各个像素的调整亮度值。具体地,对于每个像素,根据其原始亮度值在映射曲线上进行查找,在映射曲线上查找到的与该原始亮度值对应的调整亮度值即是该像素的调整亮度值。
由于步骤104中对像素的亮度调整是在亮度域进行的,因此在步骤105中还需要将各个像素的调整亮度值的增益映射至对应像素的各个颜色通道,以得到调整后的图像。调整后的图像为彩色图像,例如RGB图像,此时像素的各个颜色通道分别是R通道、G通道和B通道。
本申请实施例既能够对图像亮度进行压缩,又保留图像的细节与颜色信息,使用动态自适应色调映射技术将高动态图像与视频数据映射为低位宽设备可兼容的图像和视频,能够使高动态范围图像或视频更好地兼容低位宽显示设备。
在本申请一个非限制性的实施例中,在映射曲线中,原始亮度值低于第一预设门限时,该原始亮度值对应的调整后亮度值高于该原始亮度值;原始亮度值高于第一预设门限时,该原始亮度值对应的调整后亮度值低于该原始亮度值。
继续参照图2,对于映射曲线S,原始亮度值低于第一预设门限T1时,该原始亮度值在映射曲线S上对应的调整后亮度值高于该原始亮度值;相应地,原始亮度值高于第一预设门限T1时,该原始亮度值对应的调整后亮度值低于该原始亮度值。那么利用曲线对各个像素的亮度值进行调整后能够达到的效果是对低亮区域中各个像素的亮度值进行提升,而对高亮区域中各个像素的亮度值进行抑制。
进一步地,在映射曲线中,原始亮度值低于第二预设门限时,该原始亮度值与其对应的调整后亮度值为线性关系且调整后亮度值大于或等于原始亮度值,第二预设门限小于第一预设门限。
继续参照图2,像素的原始亮度值低于第二预设门限Ymin时,可以根据设定的低亮控制参数,实现低亮部分亮度的线性提升,也即调整后亮度值高于或等于该原始亮度值且两者为线性关系,从而控制低亮区域的增益。之所以这样设置是为了避免亮度较小的像素的亮度提升过多而造成噪声过度增加的问题。
进一步地,在步骤103中确定映射曲线时,可以先根据映射模型确定映射曲线,再对该映射曲线进行调节,以得到最终的映射曲线。在调节映射曲线的过程中还可以考虑整幅图像各亮度区间的占比,保证图像的对比度没有过度降低。具体地,可以根据直方图数据进行分析,将直方图进行亮度区间占比分析,并进行累加直方图,获得一条直方图均衡化的曲线。将该均衡化的曲线与映射曲线进行加权可得到最终的映射曲线,这样可以在保证图像整体动态范围提升的同时降低图像的对比度损失。
具体地,对待处理图像按照亮度进行分区,例如将待处理图像等分成128个区间,即0~127。在像素亮度为10比特(bit)数据的情况下,首先会将该像素10bit亮度值右移3位获得对应的7bit数值,即0~127值,查找对应的区间。其中,将直方图按照亮度范围均分成10个直方图区间,计算每个亮度区间的像素个数占全图像素个数的比例。该比例为统计值的一部分。将该比例以及自动曝光(Auto Exposure,AE)传过来的环境光亮度BV输入映射模型,可以得到对应的映射曲线,映射模型为先前经过大量的数据训练得到的。
对整幅待处理图像进行直方图数据累加,具体地,第一个直方图区间在映射曲线上对应的映射值为原始的直方图值,第二个直方图区间在映射曲线上对应的映射值则为第一个直方图区间与第二个直方图区间累加获得的映射值,依次累加,获得对应的直方图均衡化的映射曲线。
将直方图均衡化的映射曲线与先前获得的全局提亮的映射曲线进行加权处理。具体地,在整个亮度区间范围内设置多个控制点位置(如第一预设门限和第二预设门限),控制直方图均衡化的映射曲线和全局提亮的映射曲线在不同亮度区间的加权情况,最终获得理想的映射曲线(如图2所示的映射曲线)。
在本申请一个非限制性的实施例中,在对视频中各帧进行映射时,需要采用与单帧图像映射不同的方案。视频色调映射是对连续的帧进行色调映射,与单帧色调映射最大的差异是需要考虑帧间的时域性联系,否则仅仅考虑单帧的色调映射会造成帧间闪烁的问题。
本发明实施例中,在所述待处理图像为当前视频帧时,根据当前视频帧中各个像素的原始亮度值以及映射曲线确定各个像素的目标亮度值;计算位于当前视频帧之前的多个视频帧与当前视频帧的亮度差异;根据亮度差异以及目标亮度值确定各个像素的调整亮度值,使得调整亮度值能够递进接近目标亮度值。
具体实施中,在当前视频帧与其之前的多个视频帧的亮度差异达到预设门限时,为了避免帧间闪烁,在确定像素的调整亮度值时,需要使实际的亮度调整值递进地接近目标亮度值。也即,在亮度差异达到预设门限时,使调整亮度值递进地接近目标亮度值。当亮度差异低于预设门限时,意味着当前视频帧与其之前的多个视频帧的亮度差异较小,在这种情况下,可以使调整亮度值等于目标亮度值。
本申请实施例通过对当前帧的亮度调整程度进行限制,分多帧逐步变换到目标亮度,能够保证当前帧与上一帧的映射曲线变换不会过大,从而使得人眼观看视频时较自然,提升观看体验。
在本申请一个非限制性的实施例中,将高频图像中各个像素的高频信息添加至各个像素的调整亮度值,以用于将各个像素的调整亮度值增益映射在当前像素各个颜色通道,以得到调整后的图像。
本申请在对待处理图像的低频图像中各个像素进行亮度调整(也即进行色调映射处理)后,需要将高频图像的细节信息回加到调整后的低频图像中。通过上述过程能够保留图像的纹理细节、避免噪声过度放大。
进一步地,在将高频信息回加后,需将回加后的亮度图像与色度图结合转换为色彩图。例如,将回加后的luma图像与色度图结合转换为RGB图。
在本申请一个非限制性的实施例中,在步骤105的具体实施中,在各个像素的调整亮度值的增益映射至对应像素的各个颜色通道时,为了避免映射后的图像饱和度不会出现异常情况,还可以对各个颜色通道进行调整。
具体地,计算各个原始亮度值下的调整增益,调整增益为调整亮度值与原始亮度值的比值;将各个像素的调整亮度值的增益映射至对应像素的各个颜色通道,并利用各个像素对应的调整增益对该像素的各个颜色通道进行加权,以得到调整后的图像
以RGB图像为例,本申请通过对亮度图的每个亮度值计算得到对应的调整增益,该调整增益具体可以是调整亮度值与原始亮度值的比值。将此值映射到R、G、B三个通道,从而使得同一亮度所对应的R、G、B值的增益倍数一致。
在一个具体实施例中,在获得调整后的图像后,还可以对图像进行一定的去噪处理、去畸变处理、饱和度调节处理和色域转换处理等,最后在显示界面进行显示。
在本申请一个具体应用场景中,待处理图像为RGB图像,下面结合图3对图像处理的过程进行详细描述。
通过图像捕获装置的镜头将光照信息投射到感光元件,如电荷耦合设备(ChargeCoupled Device,CCD)或互补金属氧化物半导体(Complementary Metal OxideSemiconductor,CMOS)的感光区域,感光元件经过光电转换将光信号转换为电信号,从而获得高比特拜耳(Bayer)格式的原始图像,之后对原始图像进行预处理,例如去噪、坏点矫正、色彩插值等处理。将预处理后的高比特位的拜耳格式图像通过去马赛克的插值方式得到高比特的RGB域图像。
将高比特的RGB图像的每个像素所对应的R、G、B三个值的最大值作为当前像素的亮度值,从而获得当前图像对应的亮度图,例如luma图,以及色度图。利用滤波器对亮度图进行双边滤波处理,获得低频图像(也即LumaBase图像)和高频图像(也即LumaDetail图像)。然后对低频图像进行非均匀分布的直方图统计,从而获得反映图像信息的各类参数。将各类参数输入至图像处理控制单元,图像处理控制单元会自适应得到图像的映射曲线。
在对视频进行图像处理时,图像控制处理单元需将上一帧图像的参数与当前帧的映射曲线进行结合,以对当前帧的变换程度进行限制。
在对高比特RGB输入图像对应的Luma图进行双边滤波处理以及对获得的低频图像进行色调映射处理后,将对Luma图双边滤波获得的高频图像细节信息回加到映射图像中。在将高频信息回加后,将回加高频信息后的映射图与色度图结合变换到RGB色域。在变换到RGB色域的过程中,可以对亮度图的每个亮度值计算得到对应的亮度增益,将此值映射到R、G、B三个通道,从而同一亮度所对应的R、G、B值的增益倍数一致。
关于本申请实施例的更多具体实现方式,请参照前述实施例,此处不再赘述。
请参照图4,图4示出了一种图像处理装置40,图像处理装置40可以包括:
获取模块401,用于获取待处理图像;
统计模块402,用于计算所述待处理图像在亮度域的低频信息的统计值;
映射曲线确定模块403,用于根据所述统计值所属场景确定对应的映射曲线,所述映射曲线表示各个像素在亮度域的原始亮度值与调整后亮度值的映射关系,不同场景对应不同的映射曲线;
亮度调整模块404,用于根据所述映射曲线确定所述待处理图像中各个像素的调整亮度值;
转换模块405,用于将各个像素的调整亮度值的增益映射至对应像素的各个颜色通道,以得到调整后的图像。
本申请实施例中,对于待处理图像,可以根据其在亮度域的低频信息的统计值来确定映射曲线,并根据映射曲线对图像中各个像素的亮度值进行调整。由于图像在亮度域的低频信息通常不包含噪声,因此基于亮度域的低频信息进行亮度调整,能够在保留图像的细节信息的同时,抑制噪声放大。
本申请能够实现自适应的提升图像的动态范围,既保留了图像中低亮区域的纹理细节,又抑制了图像中高亮区域的过曝情况,并且一定程度上具有较好的去噪效果。
在具体实施中,上述图像处理装置40可以对应于终端设备中具有图像处理功能的芯片,例如片上系统(System-On-a-Chip,SOC)、基带芯片等;或者对应于终端设备中包括具有图像处理功能的芯片模组;或者对应于具有数据处理功能芯片的芯片模组,或者对应于终端设备。
在本申请一个非限制性的实施例中,亮度调整模块404可以包括:
目标亮度值确定单元,用于在待处理图像为当前视频帧时,根据当前视频帧中各个像素的原始亮度值以及映射曲线确定各个像素的目标亮度值;
亮度差异计算单元,用于计算位于当前视频帧之前的多个视频帧与当前视频帧的亮度差异;
调整单元,用于根据亮度差异以及目标亮度值确定各个像素的调整亮度值,调整亮度值与目标亮度值的差值小于预设阈值。也就是说,调整亮度值递进接近目标亮度值。
本申请技术方案在对视频中各个视频帧进行色调映射时,考量了当前视频帧与其之前的多个视频帧的亮度差异,从而使得相邻视频帧之间的亮度差异较小,避免帧间闪烁问题,提升用户的视频观看体验。
在本申请一个非限制性的实施例中,映射曲线确定模块403可以将所述统计值输入映射模型,以得到所述统计值所属场景对应的映射曲线,所述映射模型是预先训练得到的在本申请一个非限制性的实施例中,转换模块405可以包括:
调整增益计算单元,用于计算各个原始亮度值下的调整增益,所述调整增益为调整亮度值与原始亮度值的比值;
加权调整单元,用于将各个像素的调整亮度值的增益映射至对应像素的各个颜色通道,并利用各个像素对应的调整增益对该像素的各个颜色通道进行加权,以得到所述调整后的图像。
在本申请一个非限制性的实施例中,统计模块402可以包括:
滤波单元,用于对所述待处理图像进行双边滤波,以得到所述待处理图像在亮度域的低频图像和高频图像;
统计单元,用于对所述低频图像进行非均匀分布的直方图统计,以得到所述统计值。
进一步地,统计模块402将高频图像中各个像素的高频信息添加至各个像素的调整亮度值,以用于将各个像素的调整亮度值的增益映射至对应像素的各个颜色通道,得到调整后的图像。
关于上述实施例中描述的各个装置、产品包含的各个模块/单元,其可以是软件模块/单元,也可以是硬件模块/单元,或者也可以部分是软件模块/单元,部分是硬件模块/单元。例如,对于应用于或集成于芯片的各个装置、产品,其包含的各个模块/单元可以都采用电路等硬件的方式实现,或者,至少部分模块/单元可以采用软件程序的方式实现,该软件程序运行于芯片内部集成的处理器,剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现;对于应用于或集成于芯片模组的各个装置、产品,其包含的各个模块/单元可以都采用电路等硬件的方式实现,不同的模块/单元可以位于芯片模组的同一组件(例如芯片、电路模块等)或者不同组件中,或者,至少部分模块/单元可以采用软件程序的方式实现,该软件程序运行于芯片模组内部集成的处理器,剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现;对于应用于或集成于终端设备的各个装置、产品,其包含的各个模块/单元可以都采用电路等硬件的方式实现,不同的模块/单元可以位于终端设备内同一组件(例如,芯片、电路模块等)或者不同组件中,或者,至少部分模块/单元可以采用软件程序的方式实现,该软件程序运行于终端设备内部集成的处理器,剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现。
本申请实施例还公开了一种存储介质,所述存储介质为计算机可读存储介质,其上存储有计算机程序,所述计算机程序运行时可以执行前述图像处理方法的步骤。所述存储介质可以包括只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random AccessMemory,RAM)、磁盘或光盘等。存储介质还可以包括非挥发性存储器(non-volatile)或者非瞬态(non-transitory)存储器等。
应理解,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/“,表示前后关联对象是一种“或”的关系。
本申请实施例中出现的“多个”是指两个或两个以上。
本申请实施例中出现的第一、第二等描述,仅作示意与区分描述对象之用,没有次序之分,也不表示本申请实施例中对设备个数的特别限定,不能构成对本申请实施例的任何限制。
本申请实施例中出现的“连接”是指直接连接或者间接连接等各种连接方式,以实现设备间的通信,本申请实施例对此不做任何限定。
上述实施例,可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时,上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。
应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法、装置和系统,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的;例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式;例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理包括,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的部分步骤。
虽然本申请披露如上,但本申请并非限定于此。任何本领域技术人员,在不脱离本申请的精神和范围内,均可作各种更动与修改,因此本申请的保护范围应当以权利要求所限定的范围为准。
Claims (11)
1.一种图像处理方法,其特征在于,包括:
获取待处理图像;
计算所述待处理图像在亮度域的低频信息的统计值;
根据所述统计值所属场景确定对应的映射曲线,所述映射曲线表示各个像素在亮度域的原始亮度值与调整后亮度值的映射关系,不同场景对应不同的映射曲线;
根据所述映射曲线确定所述待处理图像中各个像素的调整亮度值;
将各个像素的调整亮度值的增益映射至对应像素的各个颜色通道,以得到调整后的图像。
2.根据权利要求1所述的图像处理方法,其特征在于,在所述映射曲线中,原始亮度值低于第一预设门限时,该原始亮度值对应的调整后亮度值高于该原始亮度值;原始亮度值高于所述第一预设门限时,该原始亮度值对应的调整后亮度值低于该原始亮度值。
3.根据权利要求2所述的图像处理方法,其特征在于,在所述映射曲线中,原始亮度值低于第二预设门限时,该原始亮度值与其对应的调整后亮度值为线性关系且调整后亮度值大于原始亮度值,所述第二预设门限小于所述第一预设门限。
4.根据权利要求1所述的图像处理方法,其特征在于,所述根据所述映射曲线确定所述待处理图像中各个像素的调整亮度值包括:
在所述待处理图像为当前视频帧时,根据所述当前视频帧中各个像素的原始亮度值以及所述映射曲线确定各个像素的目标亮度值;
计算位于所述当前视频帧之前的多个视频帧与所述当前视频帧的亮度差异;
根据所述亮度差异以及所述目标亮度值确定各个像素的调整亮度值,所述调整亮度值与所述目标亮度值的差值小于预设阈值。
5.根据权利要求1所述的图像处理方法,其特征在于,所述根据所述统计值所属场景确定对应的映射曲线包括:
将所述统计值输入映射模型,以得到所述统计值所属场景对应的映射曲线,所述映射模型是预先训练得到的。
6.根据权利要求1所述的图像处理方法,其特征在于,所述将各个像素的调整亮度值的增益映射至对应像素的各个颜色通道包括:
计算各个原始亮度值下的调整增益,所述调整增益为调整亮度值与原始亮度值的比值;
将各个像素的调整增益映射至对应像素的各个颜色通道,以得到所述调整后的图像。
7.根据权利要求1所述的图像处理方法,其特征在于,所述待处理图像为彩色图像,所述计算所述待处理图像在亮度域的低频信息的统计值包括:
对所述待处理图像进行双边滤波,以得到所述待处理图像在亮度域的低频图像和高频图像;
对所述低频图像进行非均匀分布的直方图统计,以得到所述统计值。
8.根据权利要求7所述的图像处理方法,其特征在于,所述将各个像素的调整亮度值的增益映射至对应像素在各个颜色通道之前还包括:
将所述高频图像中各个像素的高频信息添加至各个像素的调整亮度值,以用于转换为各个像素在各个颜色通道。
9.一种图像处理装置,其特征在于,包括:
获取模块,用于获取待处理图像;
统计模块,用于计算所述待处理图像在亮度域的低频信息的统计值;
映射曲线确定模块,用于根据所述统计值所属场景确定对应的映射曲线,所述映射曲线表示各个像素在亮度域的原始亮度值与调整后亮度值的映射关系,不同场景对应不同的映射曲线;
亮度调整模块,用于根据所述映射曲线确定所述待处理图像中各个像素的调整亮度值;
转换模块,用于将各个像素的调整亮度值的增益映射至对应像素的各个颜色通道,以得到调整后的图像。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行权利要求1至9中任一项所述图像处理方法的步骤。
11.一种终端设备,包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,其特征在于,所述处理器运行所述计算机程序时执行权利要求1至9中任一项所述图像处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210689628.1A CN115239578A (zh) | 2022-06-17 | 2022-06-17 | 图像处理方法及装置、计算机可读存储介质、终端设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210689628.1A CN115239578A (zh) | 2022-06-17 | 2022-06-17 | 图像处理方法及装置、计算机可读存储介质、终端设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115239578A true CN115239578A (zh) | 2022-10-25 |
Family
ID=83669932
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210689628.1A Pending CN115239578A (zh) | 2022-06-17 | 2022-06-17 | 图像处理方法及装置、计算机可读存储介质、终端设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115239578A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116152094A (zh) * | 2023-01-09 | 2023-05-23 | 辉羲智能科技(上海)有限公司 | 自动驾驶高动态场景图像优化方法、系统、终端及介质 |
-
2022
- 2022-06-17 CN CN202210689628.1A patent/CN115239578A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116152094A (zh) * | 2023-01-09 | 2023-05-23 | 辉羲智能科技(上海)有限公司 | 自动驾驶高动态场景图像优化方法、系统、终端及介质 |
CN116152094B (zh) * | 2023-01-09 | 2024-02-09 | 辉羲智能科技(上海)有限公司 | 自动驾驶高动态场景图像优化方法、系统、终端及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11218630B2 (en) | Global tone mapping | |
US9842381B2 (en) | Global tone mapping | |
US9538093B2 (en) | Forming high-dynamic-range (HDR) images using single-channel data | |
US8363131B2 (en) | Apparatus and method for local contrast enhanced tone mapping | |
CN105407296B (zh) | 实时视频增强方法和装置 | |
CN113518185B (zh) | 视频转换处理方法、装置、计算机可读介质及电子设备 | |
DE112017000500T5 (de) | Bewegungsadaptive Flussverarbeitung zur zeitlichen Rauschunterdrückung | |
US11017511B2 (en) | Method and system of haze reduction for image processing | |
WO2019104047A1 (en) | Global tone mapping | |
CN111899197A (zh) | 一种图像增亮去噪方法、装置、移动终端和存储介质 | |
CN110807735A (zh) | 图像处理方法、装置、终端设备及计算机可读存储介质 | |
WO2022151852A1 (zh) | 图像处理方法、装置、系统、电子设备以及存储介质 | |
CN115239578A (zh) | 图像处理方法及装置、计算机可读存储介质、终端设备 | |
Albu et al. | One scan shadow compensation and visual enhancement of color images | |
CN112911366B (zh) | 饱和度调整方法、装置及显示设备 | |
CN114223209A (zh) | Hdr图像传感器的自适应图像数据线性化 | |
CN111970501A (zh) | 纯色场景ae色彩处理方法、装置、电子设备及存储介质 | |
CN114051126B (zh) | 视频处理方法和视频处理装置 | |
WO2022111269A1 (zh) | 视频的细节增强方法、装置、移动终端和存储介质 | |
WO2016200480A1 (en) | Color filter array scaler | |
CN111031301A (zh) | 一种色域空间调整的方法、存储设备及显示终端 | |
US20240137658A1 (en) | Global tone mapping | |
Lee et al. | Complex adaptation-based LDR image rendering for 3D image reconstruction | |
US20230388465A1 (en) | Chroma adjustment method, electronic device and readable storage medium | |
KR20230133344A (ko) | 화상 처리 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |