CN112686810A - 一种图像处理的方法及装置 - Google Patents
一种图像处理的方法及装置 Download PDFInfo
- Publication number
- CN112686810A CN112686810A CN201910996393.9A CN201910996393A CN112686810A CN 112686810 A CN112686810 A CN 112686810A CN 201910996393 A CN201910996393 A CN 201910996393A CN 112686810 A CN112686810 A CN 112686810A
- Authority
- CN
- China
- Prior art keywords
- interpolation point
- spline curve
- curve
- coordinate
- coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 13
- 238000013507 mapping Methods 0.000 claims abstract description 350
- 238000000034 method Methods 0.000 claims abstract description 201
- 238000012937 correction Methods 0.000 claims abstract description 65
- 230000006870 function Effects 0.000 claims description 135
- 230000008569 process Effects 0.000 claims description 96
- 238000012545 processing Methods 0.000 claims description 69
- 230000005540 biological transmission Effects 0.000 claims description 14
- 230000000694 effects Effects 0.000 abstract description 38
- 238000004891 communication Methods 0.000 description 29
- 238000010586 diagram Methods 0.000 description 21
- 230000007704 transition Effects 0.000 description 10
- 230000003247 decreasing effect Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000012546 transfer Methods 0.000 description 6
- 239000013307 optical fiber Substances 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 241000023320 Luma <angiosperm> Species 0.000 description 3
- 238000003491 array Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000012886 linear function Methods 0.000 description 3
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 208000002173 dizziness Diseases 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请提供了一种图像处理的方法,包括:根据待处理图像的特征信息或动态元数据自适应确定至少一个插值点,以及通过该至少一个插值点的修正样条曲线,修正样条曲线包括一次样条曲线或三次样条曲线中的至少一项;根据修正的色调映射曲线对所述待处理图像进行色调映射,修正的色调映射曲线包括初始色调映射曲线的至少一部分和该修正样条曲线。本申请提供的方法能够根据场景的需要自适应修改色调映射曲线,从而使得各种场景下的图像都能得到较好的显示效果。
Description
技术领域
本申请涉及图像处理领域,并且更具体地,涉及一种图像处理的方法及装置。
背景技术
动态范围(dynamic range,DR)可以用于表示图片最大灰度值与最小灰度值的比率。动态范围还可以用于表示图片最大亮度值与最小亮度值的比率。真实世界的动态范围介于10-3-106之间,被称作高动态范围(high dynamic range,HDR),而显示设备的显示能力通常是有限的,远低于真实世界的亮度范围。例如,真实世界中事物的亮度较亮为2000nit,而显示设备最大能够显示的亮度仅有500nit,如果不做处理,显示设备将无法再现真实世界中的该事物。另一种情况,当真实世界中事物的亮度较暗例如亮度值为10nit,而显示设备最小能够显示的亮度有100nit,如果不进行任何处理,显示设备将无法再现真实世界中的事物。本申请提供一种方法,目的在于使显示设备生动、真实地再现真实世界中的场景。
发明内容
本申请提供一种图像处理的方法及装置,目的在于提升显示设备色调映射的效果。
第一方面,提供了一种图像处理的方法,包括:根据待处理图像的特征信息或动态元数据,确定至少一个插值点的第一坐标;根据该至少一个插值点的第一坐标确定至少一个第二坐标和至少一个一阶导数;根据该至少一个插值点的第一坐标、至少一个第二坐标以及至少一个一阶导数确定修正样条曲线的系数,该修正样条曲线包括一次样条曲线或三次样条曲线中的至少一项;根据修正的色调映射曲线对该待处理图像进行色调映射tone-mapping,该修正的色调映射曲线包括初始色调映射曲线的至少一部分和该修正样条曲线。
根据待处理图像的特征信息或者待处理图像的动态元数据,例如亮度信息、像素分布信息等自适应确定插值点的位置,并根据这些插值点灵活确定最适用于待处理图像的修正样条曲线,基于修正后的色调映射曲线对待处理图像进行色调有映射,由于色调映射曲线不是固定不变的,而是根据待处理图像或者动态元数据自适应调整的,各种场景下的图像都能得到较好的显示效果。
本申请实施例提供的图像处理方法,能够根据场景的需要自适应修改曲线以达到特定效果,例如提高亮度,提高对比度,模糊部分信息等。示例性的,通过增加暗区亮度来提升暗区细节的显示效果,也可以降低暗区亮度来提升对比度;或者可以对高亮区分配较多比特数,来显示亮区的细节。
在一种可能的实施方式中,该至少一个插值点包括:第一插值点,该修正样条曲线包括:第一样条曲线,该第一样条曲线为经过该第一插值点的一次样条曲线,该修正样条曲线的系数包括第一系数MA0和第二系数MB0;该根据该至少一个插值点的第一坐标确定至少一个第二坐标和至少一个一阶导数,包括:根据该第一插值点的第一坐标TH1确定该第一插值点在该初始色调映射曲线上的第二坐标VA1,以及该初始色调映射曲线在该第一插值点处的一阶导数GD1;该根据该至少一个插值点的第一坐标、至少一个第二坐标以及至少一个一阶导数确定修正样条曲线的系数,包括:确定GD1为该第一样条曲线的第二系数MB0;确定VA1为该第一样条曲线的第一系数MA0。
本申请实施例只需要确定一个插值点,且可选的,该第一插值点靠近亮区端点,对应图像的整体场景比较亮的情况,此时对亮区进行修正,从而更好的展现图像的亮部细节,具体的,基于线性函数对大于预设阈值(TH1)的像素区域进行色调映射,并且该第一样条曲线在第一插值点与初始色调映射曲线平滑连接,避免不光滑的色调映射曲线影响色调映射效果。
在一种可能的实施方式中,该至少一个插值点包括:第一插值点和第二插值点,该修正样条曲线包括:第一样条曲线,该第一样条曲线为经过该第一插值点和该第二插值点的三次样条曲线,该修正样条曲线的系数包括第一系数MA1、第二系数MB1、第三系数MC1以及第四系数MD1;该根据该至少一个插值点的第一坐标确定至少一个第二坐标和至少一个一阶导数,包括:根据该第一插值点的第一坐标TH1、该第二插值点的第一坐标TH2分别计算该第一插值点和该第二插值点在该初始色调映射曲线上的第二坐标VA1和VA2;根据TH1、TH2计算该初始色调映射曲线在该第一插值点处的一阶导数GD1和在该第二插值点处的一阶导数GD2;该根据该至少一个插值点的第一坐标、至少一个第二坐标以及至少一个一阶导数确定修正样条曲线的系数,包括:确定VA1为该第一样条曲线的第一系数MA1;确定GD1为该第一样条曲线的第二系数MB1;根据TH1、TH2、VA2以及GD2构建得到包含两个方程式的方程组;解析该方程组得到该第一样条曲线的第三系数MC1和第四系数MD1。
本申请实施例需要确定2个插值点,在一种可选的情况中,该2个插值点靠近亮区端点,对应图像的整体场景比较亮的情况,此时对亮区进行修正,从而更好的展现图像的亮部细节,具体的,基于三次样条函数对第一插值点和第二插值点之间的像素区域进行色调映射,并且该三次样条函数在第一插值点与初始色调映射曲线平滑连接,避免不光滑的色调映射曲线影响色调映射效果。
在一种可能的实施方式中,该根据TH1、TH2、VA2以及GD2构建得到包含两个方程式的方程组,包括:使得该第二插值点在该第一样条曲线上的第二坐标为VA2与S1之和,得到第一方程式,S1为该动态元数据中包括的坐标偏移值;使得该第一样条曲线在该第二插值点处的一阶导数为GD2与S2之和,得到第二方程式,S2为该动态元数据中包括的斜率偏移值。
在一种可能的实施方式中,该至少一个插值点包括:第一插值点,该修正样条曲线包括:第一样条曲线,该第一样条曲线为经过原点和该第一插值点的一次样条函数,该修正样条曲线的系数包括:该第一样条曲线的一阶导数MB0;在该根据该至少一个插值点的第一坐标确定至少一个第二坐标和至少一个一阶导数之前,该方法还包括:根据该动态元数据中包括的待处理图像的亮度的最大值maxL和该待处理图像的亮度的平均值avgL中的至少一项获取该第一样条曲线的一阶导数MB0。
在一种可能的实施方式中,该至少一个插值点还包括:第二插值点和第三插值点,该修正样条曲线还包括:第二样条曲线和第三样条曲线,该第二样条曲线为经过该第一插值点和该第二插值点的三次样条曲线,该第三样条曲线为经过该第二插值点和该第三插值点的三次样条曲线;该修正样条曲线的系数还包括:该第二样条曲线的第一系数MA1、第二系数MB1、第三系数MC1、第四系数MD1,以及该第三样条曲线的第一系数MA2,第二系数MB2,第三系数MC2和第四系数MD2;该根据该至少一个插值点的第一坐标确定至少一个第二坐标和至少一个一阶导数,包括:根据该第一插值点的第一坐标TH1和MB0计算该第一插值点在该第一样条曲线上的第二坐标VA1;根据该第三插值点的第一坐标TH3计算该第三插值点在该初始色调映射曲线上的第二坐标VA3;根据该第二插值点的第一坐标TH2计算该第二插值点在第一直线上的第二坐标VA2,该第一直线为该第一插值点和该第三插值点所在的直线;根据TH3计算该初始色调映射曲线在该第三插值点处的一阶导数GD3。
在一种可能的实施方式中,该根据该至少一个插值点的第一坐标、至少一个第二坐标以及至少一个一阶导数确定修正样条曲线的系数,包括:确定VA1为该第二样条曲线的第一系数MA1;确定MB0为该第二样条曲线的第二系数MB1;确定VA2为该第三样条曲线的第一系数MA2;根据TH1、TH2、TH3、VA2、VA3、GD3以及该第二样条曲线与该第三样条曲线在该第二插值点处的导数关系构建包含五个方程式的方程组;解析该包含五个方程式的方程组,得到MC1、MD1、MB2、MC2和MD2。
本申请实施例对应图像的整体场景比较暗的情况,此时对暗区进行修正,从而更好的展现图像的暗部细节,使得亮度低于显示设备显示能力的像素点可以在显示设备上有较优的显示效果,具体的,对低于第一阈值(TH1)的像素基于一次样条函数公式进行色调映射,更好保留了该部分的暗部细节信息,然后基于三次样条函数实现一次样条函数与初始色调映射曲线的平滑过渡,避免不光滑的色调映射曲线影响色调映射效果。应当理解,本申请实施例中有两条三次样条曲线,在一种可选的情况中,可以只有一条三次样条曲线,第一样条曲线通过一条三次样条函数与初始色调映射曲线平滑连接,这种情况下,只需要确定2个插值点。
具体的,第一样条曲线相比基础曲线提高了暗区亮度,相当于给暗区分配了更多的比特数。两条三次样条函数实现了第一样条曲线与初始色调映射曲线的平滑过渡,并且可以通过控制曲线的点和斜率来达到对修正区域的增强或者减弱处理。
在一种可能的实施方式中,该根据TH1、TH2、TH3、VA2、VA3、GD3以及该第二样条曲线与该第三样条曲线在该第二插值点处的导数关系构建包含五个方程式的方程组,包括:使得该第二插值点在该第二样条曲线上的第二坐标为VA2,得到第一方程式;使得该第三插值点在该第三样条曲线上的第二坐标为VA3,得到第二方程式;使得该第三样条曲线在该第三插值点处的一阶导数为GD3,得到第三方程式;使得该第二样条曲线和该第三样条曲线在该第二插值点处的一阶导数相等,得到第四方程式;使得该第二样条曲线和该第三样条曲线在该第二插值点处的二阶导数相等,得到第五方程式。
在一种可能的实施方式中,该根据待处理图像的特征信息或动态元数据,确定至少一个插值点的第一坐标,包括:根据该动态元数据中包括的该待处理图像的亮度的最大值maxL和待处理图像的亮度的平均值avgL中的至少一项确定该第一插值点的第一坐标TH1;TH2=TH1+B;TH3=TH2+C*TH2-D*CH2;其中,B、C和D为常数。可选的,B、C和D为常数,在一种可选的情况中,该常数可以包含在该动态元数据中。在一种可选的情况中,B、C和D也可以直接定义在相关的程序代码中,而不需要从动态元数据中获取。
在一种可能的实施方式中,该至少一个插值点包括:第一插值点、第二插值点和第三插值点,该修正样条曲线包括:第一样条曲线和第二样条曲线,该第一样条曲线为经过该第一插值点和该第二插值点的三次样条曲线,该第二样条曲线为经过该第二插值点和该第三插值点的三次样条曲线;该修正样条曲线的系数包括:该第一样条曲线的第一系数MA1、第二系数MB1、第三系数MC1、第四系数MD1,以及该第二样条曲线的第一系数MA2,第二系数MB2,第三系数MC2和第四系数MD2;该根据该至少一个插值点的第一坐标确定至少一个第二坐标和至少一个一阶导数,包括:根据该第一插值点的第一坐标TH1、该第三插值点的第一坐标TH3分别计算该第一插值点和该第三插值点在该初始色调映射曲线上的第二坐标VA1和VA3;根据该第二插值点的第一坐标TH2计算该第二插值点在第一直线上的第二坐标VA2,该第一直线为该第一插值点和该第三插值点所在的直线;计算该初始色调映射曲线在该第一插值点处的一阶导数GD1和在该第三插值点处的一阶导数GD3。
本申请实施例对应图像包含位于特定亮度区间内的像素,此时对该特定亮度区间进行重点修正,从而更好的展现图像在该区间的亮度细节;具体的,基于三次样条函数对第一插值点和第二插值点以及第二插值点和第三插值点之间的像素进行色调映射,提升该部分像素的显示效果。进一步的,第一样条曲线与第二样条曲线、第一样条曲线和第二样条曲线与初始色调映射曲线之间都是平滑过渡的,避免不光滑的色调映射曲线影响色调映射效果。
在一种可能的实施方式中,该根据该至少一个插值点的第一坐标、至少一个第二坐标以及至少一个一阶导数确定修正样条曲线的系数,包括:确定VA1为该第一样条曲线的第一系数MA1确定GD1为该第一样条曲线的第二系数MB1;确定VA2与偏移值之和为该第二样条曲线的第一系数MA2,所述偏移值为0、正数或负数;根据TH1、TH2、TH3、VA2、VA3、GD3以及该第一样条曲线与该第二样条曲线在该第二插值点处的导数关系构建包含五个方程式的方程组;解析该包含五个方程式的方程组,得到MC1、MD1、MB2、MC2和MD2。
可选的,该偏移值包含在动态元数据中。
在一种可能的实施方式中,该根据TH1、TH2、TH3、VA2、VA3、GD3以及该第一样条曲线与该第二样条曲线在该第二插值点处的导数关系构建包含五个方程式的方程组,包括:使得该第二插值点在该第一样条曲线上的第二坐标为VA2,得到第一方程式;使得该第三插值点在该第二样条曲线上的第二坐标为VA3,得到第二方程式;使得该第二样条曲线在该第三插值点处的一阶导数为GD3,得到第三方程式;使得该第一样条曲线和该第二样条曲线在该第二插值点处的一阶导数相等,得到第四方程式;使得该第一样条曲线和该第二样条曲线在该第二插值点处的二阶导数相等,得到第五方程式。
在一种可能的实施方式中,该至少一个插值点包括:第一插值点、第二插值点和第三插值点,该修正样条曲线包括:第一样条曲线和第二样条曲线,该第一样条曲线为经过该第一插值点和该第二插值点的三次样条曲线,该第二样条曲线为经过该第二插值点和该第三插值点的一次样条曲线;该修正样条曲线的系数包括:该第一样条曲线的第一系数MA1、第二系数MB1、第三系数MC1、第四系数MD1,以及该第二样条曲线的第一系数MA2和第二系数MB2;该根据该至少一个插值点的第一坐标确定至少一个第二坐标和至少一个一阶导数,包括:根据该第一插值点的第一坐标TH1、该第三插值点的第一坐标TH3分别计算该第一插值点和该第三插值点在该初始色调映射曲线上的第二坐标VA1和VA3;根据该第二插值点的第一坐标TH2计算该第二插值点在第一直线上的第二坐标VA2,该第一直线为该第一插值点和该第三插值点所在的直线;计算该初始色调映射曲线在该第一插值点处的一阶导数GD1。
在一种可能的实施方式中,该根据该至少一个插值点的第一坐标、至少一个第二坐标以及至少一个一阶导数确定修正样条曲线的系数,包括:确定VA1为该第一样条曲线的第一系数MA1确定GD1为该第一样条曲线的第二系数MB1;确定VA2与偏移值之和为该第二样条曲线的第一系数MA2,所述偏移值为0、正数或负数;根据TH1、TH2、TH3、VA2、VA3以及该第一样条曲线与该第二样条曲线在该第二插值点处的导数关系构建包含三个方程式的方程组;解析该包含三个方程式的方程组,得到MC1、MD1和MB2。
应当理解,该偏移值可以包含在动态元数据中。
本申请实施例对应图像的整体场景比较亮的情况,此时对亮区进行修正,从而更好的展现图像的亮部细节,具体的,基于一次样条曲线对第二插值点和第三插值点之间的像素区域进行色调映射,并基于第一插值点和第二插值点之间的三次样条函数实现一次样条函数与初始色调映射曲线平滑连接,避免不光滑的色调映射曲线影响色调映射效果。
在一种可能的实施方式中,该根据TH1、TH2、TH3、VA2、VA3以及该第一样条曲线与该第二样条曲线在该第二插值点处的导数关系构建包含三个方程式的方程组,包括:使得该第二插值点在该第一样条曲线上的第二坐标为VA2,得到第一方程式;使得该第三插值点在该第二样条曲线上的第二坐标为VA3,得到第二方程式;使得该第一样条曲线和该第二样条曲线在该第二插值点处的一阶导数相等,得到第三方程式。
在一种可能的实施方式中,该至少一个插值点构成至少一个修正区间,其中,一个修正区间对应一个修正样条曲线,该根据修正的色调映射曲线对该待处理图像进行色调映射,包括:当待处理的像素点位于该至少一个修正区间时,基于该修正样条曲线对该待处理的像素点进行色调映射;当该待处理的像素点在该至少一个修正区间之外时,基于该初始色调映射曲线对该待处理的像素点进行色调映射。
在一种可能的实施方式中,在该根据待处理图像的特征信息或动态元数据,确定至少一个插值点的第一坐标之前,该方法还包括:根据该动态元数据中的模式指示值确定该待处理图像适用的目标场景模式,该至少一个插值点以及该修正样条曲线与该目标场景模式有关。
示例性的,确定的插值点的个数,以及修正样条曲线包含一次样条曲线和三次样条曲线的数量与待处理图像适用的场景模式有关,当待处理图像整体偏暗时,第一插值点位于靠近暗区端点的区域,且原点与第一插值点之间的像素用一次样条曲线进行映射,可以更好的显示出暗区的细节;当待处理图像整体偏亮时,多个插值点位于靠近亮区端点的区域。
在一种可能的实施方式中,该初始色调映射曲线包括以下公式中的一种:
L′=a×L+b;
其中,L表示线性信号值,L’表示非线性信号值,p、a、m、b、c1、c2、c3、n、N、ρ均为动态范围映射系数,0≤L≤1。
在本申请实施例中,第一方面提供的方法可以应用在多种初始色调映射曲线上,具有很强的灵活性。
在一种可能的实施方式中,该多个插值点包括第一插值点、第二插值点和第三插值点,该样条函数包括经过该第一插值点和该第二插值点的第一样条函数,以及经过该第二插值点和该第三插值点的第二样条函数,该第一样条函数包括:第一系数MA1、第二系数MB1,第三系数MC1和第四系数MD1;该第二样条函数包括:第一系数MA2,第二系数MB2,第三系数MC2和第四系数MD2。
在一种可能的实施方式中,,该第一插值点不在该初始色调映射曲线上,该确定经过该多个插值点的样条函数,包括:确定该第一插值点在一次样条函数上的第二坐标VA1,该一次样条函数为原点与该第一插值点之间的一次样条函数;确定该VA1为该第一样条函数的第一系数MA1。
在一种可能的实施方式中,该第一插值点位于该初始色调映射曲线上,该确定经过该多个插值点的样条函数,包括:确定该第一插值点在该初始色调映射曲线上的第二坐标VA1;确定该VA1为该第一样条函数的第一系数MA1。
在一种可能的实施方式中,该确定经过该多个插值点的样条函数,还包括:确定该第三插值点在该初始色调映射曲线上的第二坐标VA3;确定该第二插值点在第一直线上的第二坐标VA2,该第一直线为该第一插值点和该第三插值点所在的直线;确定该VA2为该第二样条函数的第一系数MA2。
在一种可能的实施方式中,该动态元数据还包括该第二插值点的第二坐标偏移量,该确定经过该多个插值点的样条函数,还包括:确定该第三插值点在该初始色调映射曲线上的第二坐标VA3;确定该第二插值点在第一直线上的第二坐标VA2,该第一直线为该第一插值点和该第三插值点所在的直线;确定该VA2与该第二坐标偏移量之和为该第二样条函数的第一系数MA2。
在一种可能的实施方式中,该确定经过该多个插值点的样条函数,还包括:确定该一次样条函数的一阶导数为该MB1;确定该初始色调映射曲线在该第三插值点的一阶导数为该MB2。
在一种可能的实施方式中,该确定经过该多个插值点的样条函数,还包括:确定该初始色调映射曲线在该第一插值点的一阶导数为该MB1;确定该初始色调映射曲线在该第三插值点的一阶导数为该MB2。
在一种可能的实施方式中,该确定经过该多个插值点的样条函数,还包括:使得该第二插值点在该第一样条函数上的第二坐标值为该VA2,得到第一方程式;使得该第三插值点在该第二样条函数上的第二坐标值为该VA3,得到第二方程式;使得该第二样条函数在该第三插值点处的一阶导数为该初始色调映射曲线在该第三插值点的一阶导数,得到第三方程式;使得该第一样条函数和该第二样条函数在该第二插值点处的一阶导数相等,得到第四方程式;使得该第一样条函数和该第二样条函数在该第二插值点处的二阶导数相等,得到第五方程式;解析该第一方程式、该第二方程式、该第三方程式、该第四方程式和该第五方程式,得到该第一样条函数的第三系数MC1、第四系数MD1,以及该第二样条函数的第三系数MC2、第四系数MD2。
在一种可能的实施方式中,该第一插值点和该第三插值点位于该初始色调映射曲线上,该确定经过该多个插值点的样条函数,包括:分别确定该第一插值点和该第三插值点在该初始色调映射曲线上各自的第二坐标值VA1和VA3;确定该第二插值点在第一直线上对应的第二坐标值VA2,该第一直线为该第一插值点和该第三插值点所在的直线;确定该VA1为该第一样条函数的第一系数MA1,该VA2为该第二样条函数的第一系数MA2;分别确定该初始色调映射曲线在该第一插值点和该第三插值点处的斜率GD1和GD3,令该GD1为该第一样条函数的第二系数MB1,该GD3为该第二样条函数的第二系数MB2;使得该第二插值点在该第一样条函数上的第二坐标值为该VA2,得到第一方程式;使得该第三插值点在该第二样条函数上的第二坐标值为该VA3,得到第二方程式;使得该第二样条函数在该第三插值点处的一阶导数为GD3,得到第三方程式;使得该第一样条函数和该第二样条函数在该第二插值点处的一阶导数相等,得到第四方程式;使得该第一样条函数和该第二样条函数在该第二插值点处的二阶导数相等,得到第五方程式;解析该第一方程式、该第二方程式、该第三方程式、该第四方程式和第五方程式,得到该第一样条函数的第三系数MC1、第四系数MD1,以及该第二样条函数的第三系数MC2、第四系数MD2;根据MA1、MB1、MC1和MD1确定该第一样条函数;根据MA2、MB2、MC2和MD2确定该第二样条函数。
在一种可能的实施方式中,该第一插值点不在该初始色调映射曲线上,该确定经过该多个插值点的样条函数,包括:确定该第一插值点在一次样条函数上的第二坐标VA1为该第一样条函数的第一系数MA1,该一次样条函数为经过原点和该第一插值点的直线;确定该第三插值点在该初始色调映射曲线上的第二坐标VA3;确定该第二插值点在第一直线上的第二坐标VA2为该第二样条函数的第一系数MA2,该第一直线为该第一插值点和该第三插值点所在的直线;确定该一次样条函数的一阶导数为该MB1;确定该初始色调映射曲线在该第三插值点的一阶导数为该MB2;使得该第二插值点在该第一样条函数上的第二坐标值为该VA2,得到第一方程式;使得该第三插值点在该第二样条函数上的第二坐标值为该VA3,得到第二方程式;使得该第二样条函数在该第三插值点处的一阶导数为GD3,得到第三方程式;使得该第一样条函数和该第二样条函数在该第二插值点处的一阶导数相等,得到第四方程式;使得该第一样条函数和该第二样条函数在该第二插值点处的二阶导数相等,得到第五方程式;解析该第一方程式、该第二方程式、该第三方程式、该第四方程式和该第五方程式,得到该第一样条函数的第三系数MC1、第四系数MD1,以及该第二样条函数的第三系数MC2、第四系数MD2;根据MA1、MB1、MC1和MD1确定该第一样条函数;根据MA2、MB2、MC2和MD2确定该第二样条函数。
在一种可能的实施方式中,该动态元数据包括该样条函数区间的起始位置L1和该样条函数区间的结束位置L3,该根据动态元数据确定多个插值点,包括:TH1=L1/255,TH3=L3/255,TH2=(TH1+TH3)/2;其中,TH1为该第一插值点的第一坐标,TH2为该第二插值点的第一坐标,TH3为该第三插值点的第一坐标。
在一种可能的实施方式中,该根据该目标图片的亮度信息,确定多个插值点,包括:根据如下公式确定该第一插值点的第一坐标TH1,
其中,maxL包含在动态元数据中,maxL为待处理图像的亮度的最大值;当接收到待处理图像时,根据待处理图像的动态元数据中包含的maxL结合上述公式计算得到第一插值点的第一坐标TH1。PvalueL为暗区像素点的第一阈值,PvalueH为暗区像素点亮度值的第二阈值,第一阈值小于第二阈值。示例性的,PvalueL的值可以为0.15,PvalueH的值可以为0.25;TPH为亮区像素点的第三阈值,TPL为亮区像素点的第四阈值,示例性的,TPH的值可以为0.6,TPL的值可以为0.1。在一种可选的情况中,可以将上述公式中的maxL替换成avgL,或者将maxL替换成a*maxL+b*avgL,其中,a,b均为常数,且0≤a≤1,0≤b≤1。
在一种可能的实施方式中,该确定该第一插值点在一次样条函数上的第二坐标VA1之前,该方法还包括:
确定该一次样条函数的一阶导数MB0,
其中,avgL包含在动态元数据中,avgL为待处理图像的亮度的平均值;当接收到待处理图像时,根据动态元数据中包含的avgL结合上述公式计算得到第一样条曲线的斜率MB0。AvL为平均像素点的第五阈值,AvH为平均像素点的第六阈值,示例性的,AvL的值可以为0.15,AvH的值可以为0.65;SvalueL为暗区像素点的亮度值增加的第一斜率阈值,SvalueH为暗区像素点的亮度值增加的第二斜率阈值,第一斜率阈值小于第二斜率阈值。示例性的,SvalueL的值可以为1,SvalueH的值可以为1.2。在一种可选的情况中,可以将上述公式中的avgL替换成maxL,或者替换成a*maxL+b*avgL,其中,a,b均为常数,且0≤a≤1,0≤b≤1。
在一种可能的实施方式中,该第一样条函数f1为:
f1=MD1×(L-TH1)3+MC1×(L-TH1)2+MB1×(L-TH1)1+MA1;
该第二样条函数f2为:
f2=MD2×(L-TH2)3+MC2×(L-TH2)2+MB2×(L-TH2)1+MA2;
其中,TH1为该第一插值点的第一坐标,TH2为该第二插值点的第一坐标,L为函数的因变量。
在一种可能的实施方式中,该根据该样条函数对该目标图片中位于该样条函数区间内的像素进行色调映射,包括:当待处理像素位于该第一插值点和该第二插值点之间时,根据该第一样条函数对该待处理像素进行色调映射;当待处理像素位于该第二插值点和该第三插值点之间时,根据该第二样条函数对该待处理像素进行色调映射。
第二方面,提供了一种图像处理的方法,包括:确定动态元数据中的模式指示值,该模式指示值用于指示待处理图像适用的目标场景模式;根据该模式指示值调用与该目标场景模式对应的修正样条曲线参数的获取过程,获取样条修正曲线;根据修正的色调映射曲线对该待处理图像进行色调映射,该修正的色调映射曲线包括初始色调映射曲线的至少一部分和该修正样条曲线。
本申请实施例提供的图像处理方法,根据动态元数据中的模式指示值确定待处理的图像适用的场景模式,并合理地对初始色调映射曲线进行灵活修正,可以针对不同的亮度区域调整图像显示的效果,强化图像的亮度变化细节,给用户带来更好的视觉体验。通过对色调映射曲线进行多种形式的微调,可以获得例如柔和、生动、明亮、黄昏等多种风格的显示效果。
在一种可能的实施方式中,该根据该模式指示值调用与该目标场景模式对应的修正样条曲线参数的获取过程,包括:当该模式指示值为第一预设值时,调用第一获取过程;当该模式指示值为第二预设值时,调用第二获取过程;当该模式指示值为第三预设值时,调用第三获取过程;当该模式指示值为第四预设值时,调用第四获取过程;当该模式指示值为第五预设值时,调用第五获取过程。
在一种可能的实施方式中,该第一获取过程得到的该修正样条曲线包括:第一样条曲线、第二样条曲线与第三样条曲线,该第一样条曲线为经过原点和第一插值点的一次样条函数,该第二样条曲线为经过该第一插值点和第二插值点的三次样条曲线,该第三样条曲线为经过该第二插值点和第三插值点的三次样条曲线,调用第一获取过程包括:根据该动态元数据中包括的该待处理图像的亮度的最大值maxL和该待处理图像的亮度的平均值avgL中的至少一项确定该第一插值点的第一坐标TH1;根据该动态元数据中包括的该待处理图像的亮度的平均值avgL和该待处理图像的亮度的最大值maxL的至少一项获取该第一样条曲线的一阶导数MB0;TH2=TH1+B;TH3=TH2+C*TH2-D*CH2;其中,TH2为该第二插值点的第一坐标,TH3为该第三插值点的第一坐标,B、C和D为常数。可选的,B、C和D可以携带在该动态元数据中;根据TH1和MB0计算该第一插值点在该第一样条曲线上的第二坐标VA1;根据TH3计算该第三插值点在该初始色调映射曲线上的第二坐标VA3;根据TH2计算该第二插值点在第一直线上的第二坐标VA2,该第一直线为该第一插值点和该第三插值点所在的直线;根据TH3计算该初始色调映射曲线在该第三插值点处的一阶导数GD3;确定VA1为该第二样条曲线的第一系数MA1;确定MB0为该第二样条曲线的第二系数MB1;确定VA2与偏移值之和为该第三样条曲线的第一系数MA2,该偏移值为0、正数或负数;根据TH1、TH2、TH3、VA2、VA3、GD3以及该第二样条曲线与该第三样条曲线在该第二插值点处的导数关系构建包含五个方程式的方程组;解析该包含五个方程式的方程组,得到MC1、MD1、MB2、MC2和MD2。
第一获取过程对应图像的整体场景比较暗的情况,此时对暗区进行修正,从而更好的展现图像的暗部细节,使得亮度低于显示设备显示能力的像素点可以在显示设备上有较优的显示效果,具体的,对低于第一阈值(TH1)的像素基于一次样条函数公式进行色调映射,更好保留了该部分的暗部细节信息,然后基于三次样条函数实现一次样条函数与初始色调映射曲线的平滑过渡,避免不光滑的色调映射曲线影响色调映射效果。应当理解,本申请实施例中有两条三次样条曲线,在一种可选的情况中,可以只有一条三次样条曲线,第一样条曲线通过一条三次样条函数与初始色调映射曲线平滑连接,这种情况下,只需要确定2个插值点。
第一样条曲线相比基础曲线提高了暗区亮度,相当于给暗区分配了更多的比特数。两条三次样条函数实现了第一样条曲线与初始色调映射曲线的平滑过渡,并且可以通过控制曲线的点和斜率来达到对修正区域的增强或者减弱处理。
在一种可能的实施方式中,该第二获取过程得到的该修正样条曲线包括:第一样条曲线和第二样条曲线,该第一样条曲线为经过该第一插值点和该第二插值点的三次样条曲线,该第二样条曲线为经过该第二插值点和该第三插值点的三次样条曲线,调用第二获取过程包括:根据该动态元数据获取该第一插值点的第一坐标TH1、该第二插值点的第一坐标TH2以及该第三插值点的第一坐标TH3;根据TH1、TH3分别计算该第一插值点和该第三插值点在该初始色调映射曲线上的第二坐标VA1和VA3;根据TH2计算该第二插值点在第一直线上的第二坐标VA2,该第一直线为该第一插值点和该第三插值点所在的直线;计算该初始色调映射曲线在该第一插值点处的一阶导数GD1和在该第三插值点处的一阶导数GD3;确定VA1为该第一样条曲线的第一系数MA1确定GD1为该第一样条曲线的第二系数MB1;确定VA2与偏移值之和为该第二样条曲线的第一系数MA2,所述偏移值为0、正数或负数;根据TH1、TH2、TH3、VA2、VA3、GD3以及该第一样条曲线与该第二样条曲线在该第二插值点处的导数关系构建包含五个方程式的方程组;解析该包含五个方程式的方程组,得到MC1、MD1、MB2、MC2和MD2。
第二获取过程对应图像包含位于特定亮度区间内的像素,此时对该特定亮度区间进行重点修正,从而更好的展现图像在该区间的亮度细节;具体的,基于三次样条函数对第一插值点和第二插值点以及第二插值点和第三插值点之间的像素进行色调映射,提升该部分像素的显示效果。进一步的,第一样条曲线与第二样条曲线、第一样条曲线和第二样条曲线与初始色调映射曲线之间都是平滑过渡的,避免不光滑的色调映射曲线影响色调映射效果。
具体的,该修正方式可以对任意区间进行修正,而且修正区间的修正曲线与初始色调映射曲线平滑连接,并可以通过控制插值点和偏移值提高图像对比度,或者提升或减少部分像素的亮度值,从而达到想要的效果。
在一种可能的实施方式中,该第三获取过程得到的该修正样条曲线包括:第一样条曲线,该第一样条曲线为经过该第一插值点的一次样条曲线,调用第三获取过程包括:根据该动态元数据获取该第一插值点的第一坐标TH1;根据TH1确定该第一插值点在该初始色调映射曲线上的第二坐标VA1,以及该初始色调映射曲线在该第一插值点处的一阶导数GD1;确定GD1为该第一样条曲线的第二系数MB0;确定VA1为该第一样条曲线的第一系数MA0。
第三获取过程对应图像的整体场景比较亮的情况,此时对亮区进行修正,从而更好的展现图像的亮部细节,具体的,基于线性函数对大于预设阈值(TH1)的像素区域进行色调映射,并且该第一样条曲线在第一插值点与初始色调映射曲线平滑连接,避免不光滑的色调映射曲线影响色调映射效果。
具体的,以一次样条曲线对大于第一插值点的像素进行色调映射,表示TH1之后的点都使用第一插值点的压缩率进行压缩,避免对亮区像素点的过渡压缩,从而提升图像亮度值。
在一种可能的实施方式中,该第四获取过程得到的该修正样条曲线包括:第一样条曲线,该第一样条曲线为经过该第一插值点和该第二插值点的三次样条曲线,调用第四获取过程包括:根据该动态元数据获取该第一插值点的第一坐标TH1以及该第二插值点的第一坐标TH2;根据TH1、TH2分别计算该第一插值点和该第二插值点在该初始色调映射曲线上的第二坐标VA1和VA2;根据TH1、TH2计算该初始色调映射曲线在该第一插值点处的一阶导数GD1和在该第二插值点处的一阶导数GD2;使得该第二插值点在该第一样条曲线上的第二坐标为VA2与S1之和,得到第一方程式,S1为该动态元数据中包括的坐标偏移值;使得该第一样条曲线在该第二插值点处的一阶导数为GD2与S2之和,得到第二方程式,S2为该动态元数据中包括的斜率偏移值;解析该第一方程式和该第二方程式构成的方程组得到该第一样条曲线的第三系数MC1和第四系数MD1。
第四获取过程对应图像的整体场景比较亮的情况,此时对亮区进行修正,从而更好的展现图像的亮部细节,具体的,基于三次样条函数对第一插值点和第二插值点之间的像素区域进行色调映射,并且该三次样条函数在第一插值点与初始色调映射曲线平滑连接,避免不光滑的色调映射曲线影响色调映射效果。
具体的,可以增加第一插值点和亮区像素的端点之间的像素的亮度值,也可以减少第一插值点和亮区像素的端点之间的亮度值,既可以满足增加亮度达到更加眩晕的效果,也可以减少亮度来达到增强亮区细节等功能。并且增加和减少是一个非线性过程,可以提升对比度。
在一种可能的实施方式中,该第五获取过程得到的该修正样条曲线包括:第一样条曲线和第二样条曲线,该第一样条曲线为经过该第一插值点和该第二插值点的三次样条曲线,该第二样条曲线为经过该第二插值点和该第三插值点的一次样条曲线,调用第五获取过程包括:根据该动态元数据获取该第一插值点的第一坐标TH1、该第二插值点的第一坐标TH2以及该第三插值点的第一坐标TH3;根据TH1、TH3分别计算该第一插值点和该第三插值点在该初始色调映射曲线上的第二坐标VA1和VA3;根据TH2计算该第二插值点在第一直线上的第二坐标VA2,该第一直线为该第一插值点和该第三插值点所在的直线;计算该初始色调映射曲线在该第一插值点处的一阶导数GD1;确定VA1为该第一样条曲线的第一系数MA1;确定GD1为该第一样条曲线的第二系数MB1;确定VA2与该动态元数据中包含的坐标偏移值之和为该第二样条曲线的第一系数MA2;根据TH1、TH2、TH3、VA2、VA3以及该第一样条曲线与该第二样条曲线在该第二插值点处的导数关系构建包含三个方程式的方程组;解析该包含三个方程式的方程组,得到MC1、MD1和MB2。
在一种可选的情况中,第一插值点的亮度值>第二插值点的亮度值>第三插值点的亮度值。
在一种可选的情况中,第一插值点的亮度值<第二插值点的亮度值<第三插值点的亮度值。
第五获取过程对应图像的整体场景比较亮的情况,此时对亮区进行修正,从而更好的展现图像的亮部细节,具体的,基于一次样条曲线对第二插值点和第三插值点之间的像素区域进行色调映射,并基于第一插值点和第二插值点之间的三次样条函数实现一次样条函数与初始色调映射曲线平滑连接,避免不光滑的色调映射曲线影响色调映射效果。
具体的,该场景下,第一插值点和第二插值点之间可以用三次样条函数来满足对初始色调映射曲线的增加亮度和减少亮度,并且这种增加和减少为非线性。第二插值点到第三插值点之间基于直线进行色调映射,可以为第二插值点与第三插值点之间的像素分配更多的比特数,从而提升亮区细节。
在一种可能的实施方式中,该初始色调映射曲线包括以下公式中的一种:
L′=a×L+b;
其中,L表示线性信号值,L’表示非线性信号值,p、a、m、b、c1、c2、c3、n、N、ρ均为动态范围映射系数,0≤L≤1。
第三方面,本申请提供图像处理装置,包括用于执行第一方面或第一方面任意一种可能的实施方式中的模块。
第四方面,本申请提供图像处理装置,包括:确定模块,用于确定动态元数据中的模式指示值,该模式指示值用于指示待处理图像适用的目标场景模式;该确定模块,还用于根据该模式指示值调用与该目标场景模式对应的修正样条曲线参数的获取过程,获取样条修正曲线;色调映射模块,用于根据修正的色调映射曲线对该待处理图像进行色调映射,该修正的色调映射曲线包括初始色调映射曲线的至少一部分和该修正样条曲线。
在一种可能的实施方式中,该确定模块具体用于:当该模式指示值为第一预设值时,调用第一获取过程;当该模式指示值为第二预设值时,调用第二获取过程;当该模式指示值为第三预设值时,调用第三获取过程;当该模式指示值为第四预设值时,调用第四获取过程;当该模式指示值为第五预设值时,调用第五获取过程。
在一种可能的实施方式中,该第一获取过程得到的该修正样条曲线包括:第一样条曲线、第二样条曲线与第三样条曲线,该第一样条曲线为经过原点和第一插值点的一次样条函数,该第二样条曲线为经过该第一插值点和第二插值点的三次样条曲线,该第三样条曲线为经过该第二插值点和第三插值点的三次样条曲线,该确定模块具体用于:根据该动态元数据中包括的该待处理图像的亮度的最大值maxL和该待处理图像的亮度的平均值avgL中的至少一项确定该第一插值点的第一坐标TH1;根据该动态元数据中包括的该待处理图像的亮度的最大值maxL和该待处理图像的亮度的平均值avgL中的至少一项获取该第一样条曲线的一阶导数MB0;TH2=TH1+B;TH3=TH2+C*TH2-D*CH2;其中,TH2为该第二插值点的第一坐标,TH3为该第三插值点的第一坐标,B、C和D为常数,可选的,B、C和D为该动态元数据中包含的常数;根据TH1和MB0计算该第一插值点在该第一样条曲线上的第二坐标VA1;根据TH3计算该第三插值点在该初始色调映射曲线上的第二坐标VA3;根据TH2计算该第二插值点在第一直线上的第二坐标VA2,该第一直线为该第一插值点和该第三插值点所在的直线;根据TH3计算该初始色调映射曲线在该第三插值点处的一阶导数GD3;确定VA1为该第二样条曲线的第一系数MA1;确定MB0为该第二样条曲线的第二系数MB1;确定VA2与偏移值之和为该第三样条曲线的第一系数MA2,该偏移值为0、正数或负数;根据TH1、TH2、TH3、VA2、VA3、GD3以及该第二样条曲线与该第三样条曲线在该第二插值点处的导数关系构建包含五个方程式的方程组;解析该包含五个方程式的方程组,得到MC1、MD1、MB2、MC2和MD2。
在一种可能的实施方式中,该第二获取过程得到的该修正样条曲线包括:第一样条曲线和第二样条曲线,该第一样条曲线为经过该第一插值点和该第二插值点的三次样条曲线,该第二样条曲线为经过该第二插值点和该第三插值点的三次样条曲线,该确定模块具体用于:根据该动态元数据获取该第一插值点的第一坐标TH1、该第二插值点的第一坐标TH2以及该第三插值点的第一坐标TH3;根据TH1、TH3分别计算该第一插值点和该第三插值点在该初始色调映射曲线上的第二坐标VA1和VA3;根据TH2计算该第二插值点在第一直线上的第二坐标VA2,该第一直线为该第一插值点和该第三插值点所在的直线;计算该初始色调映射曲线在该第一插值点处的一阶导数GD1和在该第三插值点处的一阶导数GD3;确定VA1为该第一样条曲线的第一系数MA1确定GD1为该第一样条曲线的第二系数MB1;确定VA2与偏移值之和为该第二样条曲线的第一系数MA2,所述偏移值为0、正数或负数;根据TH1、TH2、TH3、VA2、VA3、GD3以及该第一样条曲线与该第二样条曲线在该第二插值点处的导数关系构建包含五个方程式的方程组;解析该包含五个方程式的方程组,得到MC1、MD1、MB2、MC2和MD2。
在一种可能的实施方式中,该第三获取过程得到的该修正样条曲线包括:第一样条曲线,该第一样条曲线为经过该第一插值点的一次样条曲线,该确定模块具体用于:根据该动态元数据获取该第一插值点的第一坐标TH1;根据TH1确定该第一插值点在该初始色调映射曲线上的第二坐标VA1,以及该初始色调映射曲线在该第一插值点处的一阶导数GD1;确定GD1为该第一样条曲线的第二系数MB0;确定VA1为该第一样条曲线的第一系数MA0。
在一种可能的实施方式中,该第四获取过程得到的该修正样条曲线包括:第一样条曲线,该第一样条曲线为经过该第一插值点和该第二插值点的三次样条曲线,该确定模块具体用于:根据该动态元数据获取该第一插值点的第一坐标TH1以及该第二插值点的第一坐标TH2;根据TH1、TH2分别计算该第一插值点和该第二插值点在该初始色调映射曲线上的第二坐标VA1和VA2;根据TH1、TH2计算该初始色调映射曲线在该第一插值点处的一阶导数GD1和在该第二插值点处的一阶导数GD2;使得该第二插值点在该第一样条曲线上的第二坐标为VA2与S1之和,得到第一方程式,S1为该动态元数据中包括的坐标偏移值;使得该第一样条曲线在该第二插值点处的一阶导数为GD2与S2之和,得到第二方程式,S2为该动态元数据中包括的斜率偏移值;解析该第一方程式和该第二方程式构成的方程组得到该第一样条曲线的第三系数MC1和第四系数MD1。
在一种可能的实施方式中,该第五获取过程得到的该修正样条曲线包括:第一样条曲线和第二样条曲线,该第一样条曲线为经过该第一插值点和该第二插值点的三次样条曲线,该第二样条曲线为经过该第二插值点和该第三插值点的一次样条曲线,该确定模块具体用于:根据该动态元数据获取该第一插值点的第一坐标TH1、该第二插值点的第一坐标TH2以及该第三插值点的第一坐标TH3;根据TH1、TH3分别计算该第一插值点和该第三插值点在该初始色调映射曲线上的第二坐标VA1和VA3;根据TH2计算该第二插值点在第一直线上的第二坐标VA2,该第一直线为该第一插值点和该第三插值点所在的直线;计算该初始色调映射曲线在该第一插值点处的一阶导数GD1;确定VA1为该第一样条曲线的第一系数MA1;确定GD1为该第一样条曲线的第二系数MB1;确定VA2与偏移值之和为该第二样条曲线的第一系数MA2,所述偏移值为0、正数或负数;根据TH1、TH2、TH3、VA2、VA3以及该第一样条曲线与该第二样条曲线在该第二插值点处的导数关系构建包含三个方程式的方程组;解析该包含三个方程式的方程组,得到MC1、MD1和MB2。第四方面,本申请提供图像处理装置,包括处理器和传输接口,该传输接口,用于接收或发送图像数据;该处理器,用于调用存储器中存储的程序指令,并执行该程序指令以执行第一方面或第一方面任意一种实现方式该的方法。
示例性的,该图像处理装置可以为芯片。
第五方面,本申请提供了一种图像处理装置,包括处理器和传输接口,所述传输接口,用于接收或发送图像数据;所述处理器,用于调用存储器中存储的程序指令,并执行所述程序指令以执行第一方面或第一方面任意一种可能的实施方式的方法。
在一种可能的实现方式中,该图像处理装置还可以包括存储器。
第六方面,本申请提供了一种图像处理装置,包括处理器和传输接口,所述传输接口,用于接收或发送图像数据;所述处理器,用于调用存储器中存储的程序指令,并执行所述程序指令以执行第二方面或第二方面任意一种可能的实施方式中的方法。
第七方面,本申请提供了一种图像处理装置,包括处理器和存储器,用于执行第一方面或第一方面任意一种方式所述的方法。
第八方面,本申请提供了一种图像处理装置,包括处理器和存储器,用于执行第二方面或第二方面任意一种方式所述的方法。
第九方面,本申请提供了一种计算机可读存储介质,该计算机可读存储介质存储有程序指令,当所述程序指令在计算机或处理器上运行时,使所述计算机或处理器执行第一方面或第一方面任意一种实现方式所述的方法。
第十方面,本申请提供了一种计算机可读存储介质,该计算机可读存储介质存储有程序指令,当所述程序指令在计算机或处理器上运行时,使所述计算机或处理器执行第二方面或第二方面任意一种实现方式所述的方法。
第十一方面,本申请提供了一种计算机程序产品,包括计算机程序,该计算机程序在某一计算机或处理器上执行时,将会使该计算机或处理器执行第一方面或第一方面任意一种实现方式所述的方法。
第十二方面,本申请提供了一种计算机程序产品,包括计算机程序,该计算机程序在某一计算机或处理器上执行时,将会使该计算机或处理器执行第二方面或第二方面任意一种实现方式所述的方法。
附图说明
图1是本申请实施例所提供的一种图像显示系统的示意性框图;
图2是本申请实施例提供的一种示例性的图像处理装置的硬件架构图;
图3是本申请实施例提供的一种示例性的图像处理的方法流程示意图;
图4a是本申请实施例提供的一种示例性的修正样条曲线示意图;
图4b是本申请实施例提供的一种示例性的修正样条曲线示意图;
图4c是本申请实施例提供的一种示例性的修正样条曲线示意图;
图4d是本申请实施例提供的一种示例性的修正样条曲线示意图;
图4e是本申请实施例提供的一种示例性的修正样条曲线示意图;
图4f是本申请实施例提供的几种示例性的初始色调映射曲线的示意图;
图5是本申请实施例提供的一种示例性的获取修正样条曲线的参数的方法流程图;
图6a是本申请实施例提供的一种示例性的获取修正样条曲线的参数的方法流程图;
图6b本申请实施例提供的一种示例性的获取修正样条曲线的参数的方法流程图;
图7是本申请实施例提供的一种示例性的获取修正样条曲线的参数的方法流程图;
图8是本申请实施例提供的一种示例性的获取修正样条曲线的参数的方法流程图;
图9是本申请实施例提供的一种示例性的获取修正样条曲线的参数的方法流程图;
图10是本申请实施例提供的一种示例性的获取修正样条曲线的参数的方法流程图;
图11是本申请实施例提供的一种示例性的图像处理装置的结构框图。
具体实施方式
本申请的说明书实施例和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元。方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。
图像获取设备可以通过接收自然场景的光信号,生成包含自然场景的图片或视频。为了便于图像或视频的传输,需要将光信号转换为电信号,并且通过取值范围固定的亮度值或色度值(例如灰度值介于0~255),记录各个像素点的图像信息。将光信号转换为电信号的曲线为光电转移函数,常见的光电转移函数有PQ(perceptual quantizer)光电转移函数、HLG(hybrid log-gamma)光电转移函数、场景亮度保真(scene luminance fidelity,SLF)光电转移函数。显示设备可以通过显示图片或视频再现自然场景。在一种可选的情况中,将图像获取设备称作前端设备,将显示设备称作后端设备。显示设备可以根据光电转移函数和图像中各个像素的亮度值或灰度值,确定拍摄时某物体的亮度,即电子设备可以将YUV或RGB信息转化为单位为nit的亮度。然而物体的亮度可能超过了显示设备的显示能力。由于图像获取设备获取的亮度信息与显示设备的亮度显示能力不匹配,因此存在使用低亮度显示能力的显示设备显示高亮度图像的情况,以及使用高亮度显示能力的显示设备显示低亮度图像的情况。这些情况都需要对图像获取设备获取的图像进行色调映射(tone-mapping),以使得图像符合显示设备的显示能力。示例性的,可以基于色调映射曲线,将高动态范围图像色调映射在低动态范围显示能力的显示设备。应当理解,该色调映射曲线可以由显示设备确定,也可以由外置于显示设备的处理设备确定。
然而,在某些情况下,当色调映射曲线确定不准确时,高动态范围图像的显示效果较差。例如,在视频播放过程中,如果针对该视频仅确定一个色调映射曲线,不同的视频帧之间显示的图像内容差别可能比较大,例如某些视频帧显示的图像非常暗,而另外一些视频帧显示的图像非常亮,整个视频如果采用一个固定的色调映射曲线,那么无法将该视频中每一帧的画面完美再现在显示设备上。并且,色调映射曲线携带的数据量较大,如果针对每一个图像或画面帧均确定一个色调映射曲线,那么可能会引入数据冗余的后果。
本申请提供一种图像处理的方法及装置,根据场景特点灵活的对初始色调映射曲线进行修正,使得不同场景下的图像色调映射后均能获得较好的或符合主观需求的显示效果。
如图1所示为本申请实施例所提供的一种示例性的图像显示系统10的示意性框图。图像显示系统10可包括图像获取设备12、图像处理设备14和显示设备34,示例性的,图像获取设备12可以获取HDR图像或者标准动态范围(Standard Dynamic Range,SDR)图像。图像处理设备14可对由图像获取设备12所获取的HDR图像或SDR图像进行处理。
图像获取设备12和图像处理设备14之间可通过链路13进行通信连接,图像处理设备14可经由链路13从图像获取设备12接收图像数据。链路13可包括一个或多个通信媒体或装置。一个或多个通信媒体可包含无线和/或有线通信媒体,例如射频(radio frequency,RF)频谱或一个或多个物理传输线。可选的,一个或多个通信媒体可形成基于分组的网络的一部分,基于分组的网络例如可以为局域网、广域网或全球网络(例如,因特网)。一个或多个通信媒体可包含路由器、交换器、基站或促进从图像获取设备12到图像处理设备14的通信的其它设备。在一种可选的情况中,链路13可以为蓝牙无线链路。
示例性的,图像获取设备12包括图片源16、以及通信接口22或者也可以称为传输接口。另外可选地,图像获取设备12还可以包括图像处理器20。具体实现形态中,所述图像处理器20、图片源16、以及通信接口22可能是图像获取设备12中的硬件部件,也可能是图像获取设备12中的软件程序,或者通信接口22也可以是由硬件模块结合软件程序。
图片源16,可以包括或可以为任何类别的图片捕获设备,用于例如捕获现实世界图片,和/或任何类别的图片或评论(对于屏幕内容编码,屏幕上的一些文字也认为是待编码的图片或图像的一部分)生成设备,例如,用于生成计算机动画图片的计算机图形处理器,或用于获取和/或提供现实世界图片、计算机动画图片(例如,屏幕内容、虚拟现实(virtual reality,VR)图片)的任何类别设备,和/或其任何组合(例如,实景(augmentedreality,AR)图片)。示例性的,图片源16可以为用于捕获图片的相机或者用于存储图片的存储器,图片源16还可以包括存储先前捕获或产生的图片和/或获取或接收图片的任何类别的(内部或外部)接口。当图片源16为相机时,图片源16可例如为本地的或集成在图像获取设备中的集成相机;当图片源16为存储器时,图片源16可为本地的或例如集成在图像获取设备中的集成存储器。当所述图片源16包括接口时,接口可例如为从外部视频源接收图片的外部接口,外部视频源例如为外部图片捕获设备,比如相机、外部存储器或外部图片生成设备,外部图片生成设备例如为外部计算机图形处理器、计算机或服务器。
其中,图片可以视为像素点的二维阵列或矩阵。阵列中的像素点也可以称为采样点。在一种可选的情况中,为了表示颜色,每个像素包括三个颜色分量。例如在RGB格式或颜色空间中,图片包括对应的红色、绿色及蓝色采样阵列。但是,在视频编码中,每个像素通常以亮度/色度格式或颜色空间表示,例如对于YUV格式的图片,包括Y指示的亮度分量(有时也可以用L指示)以及U和V指示的两个色度分量。亮度(luma)分量Y表示亮度或灰度水平强度(例如,在灰度等级图片中两者相同),而两个色度(chroma)分量U和V表示色度或颜色信息分量。相应地,YUV格式的图片包括亮度采样值(Y)的亮度采样阵列,和色度值(U和V)的两个色度采样阵列。RGB格式的图片可以转换或变换为YUV格式,反之亦然,该过程也称为色彩转换或颜色格式转换。如果图片是黑白的,该图片可以只包括亮度采样阵列。本申请实施例中,由图片源16传输至图像处理器的图片也可称为原始图片数据17。
图像处理器20,用于执行图像处理,例如亮度映射、色调映射(tone-mapping)、色彩格式转换(例如,从RGB格式转换为YUV格式)、色域转换、饱和度调节、调色、分辨率调节或去噪等。
通信接口22,可用于接收经图像处理的图片数据19,并可通过链路13将经图像处理的图片数据19传输至图像处理设备14做进一步的图像处理,或者传输至存储器进行存储。示例性的,通信接口22可以用于将经图像处理的图片数据19封装成合适的格式,例如数据包,以在链路13上传输。
图像处理设备14包括通信接口28、图像处理器32和显示设备34。分别描述如下:
通信接口28,可用于从图像获取设备12或任何其它源接收经图像处理的图片数据19,所述任何其它源例如为存储设备。示例性的,通信接口22和通信接口28的具体实例可参考前述对接口的说明,此处不再赘述。通信接口28可以用于藉由图像获取设备12和图像处理设备14之间的链路13或其他任何类别的网络传输或接收经图像处理的图片数据19,通信接口28可以例如用于解封装通信接口22所传输的数据包以获取经图像处理的图片数据19。
通信接口28和通信接口22都可以配置为单向通信接口或者双向通信接口,以及可以用于例如发送和接收消息来建立连接、确认和交换任何其它与通信链路和/或例如经图像处理的图片数据和/或与数据传输有关的信息。示例性的,通信接口28和通信接口22可以为根据任何专有或标准化接口协议的任何类别的接口,例如高清晰度多媒体接口(highdefinition multimedia interface,HDMI)、移动产业处理器接口(Mobile IndustryProcessor Interface,MIPI)、MIPI标准化的显示串行接口(Display Serial Interface,DSI)、视频电子标准协会(Video Electronics Standards Association,VESA)标准化的嵌入式显示端口(Embedded Display Port,eDP)、Display Port(DP)或者V-By-One接口,V-By-One接口是一种面向图像传输开发的数字接口标准,以及各种有线或无线接口、光接口等。
图像处理器32,用于对经图像处理的图片数据19执行色调映射处理,以获得经色调映射处理的图片数据33。图像处理器32执行的处理还可以包括:超分辨率、色彩格式转换(例如,从YUV格式转换为RGB格式)、去噪、色域转换、饱和度调节、亮度映射、上采样、下采样和图像锐化等处理,还可用于将经色调映射处理的图片数据33传输至显示设备34。应当理解,图像处理器20以及图像处理器32可以是通用中央处理器(Central Processing Unit,CPU)、片上系统(System on Chip,SOC)、集成在SOC上的处理器、单独的处理器芯片或控制器等;图像处理器20以及图像处理器32还可以为专用处理设备,例如专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(FieldProgrammable Gate Array,FPGA)或数字信号处理器(Digital Signal Processor,DSP)、专用的视频或图形处理器、图形处理单元(Graphics Processing Unit,GPU)以及神经网络处理单元(Neural-network Processing Unit,NPU)等。图像处理器20以及图像处理器32还可以是多个处理器构成的处理器组,多个处理器之间通过一个或多个总线彼此耦合。
显示设备34,用于接收经色调映射处理的图片数据33以向用户或观看者显示图片。显示设备34可以为或可以包括任何类别的用于呈现经重构图片的显示器,例如,集成的或外部的显示器或监视器。例如,显示器可以包括液晶显示器(liquid crystal display,LCD)、有机发光二极管(organic light emitting diode,OLED)显示器、等离子显示器、投影仪、微LED显示器、硅基液晶(liquid crystal on silicon,LCoS)、数字光处理器(digital light processor,DLP)或任何类别的其它显示器。在一种可选的情况中,显示设备34本身具有图像处理的功能,图像的色调映射也可以在显示设备处实现。
应当理解,图1将图像获取设备12、图像处理设备14、显示设备34绘示为单独的设备,在一种可选的情况中,一个图像处理装置可以同时具备图像获取设备12和图像处理设备14两者的功能。在一种可选的情况中,一个图像处理装置可以同时具备图像处理设备14和显示设备34两者的功能。在一种可选的情况中,一个图像处理装置同时具备图像获取设备12,图像处理设备14和显示设备34三者的功能,例如智能移动手机具备相机、图像处理器和显示屏,其中,相机对应图像获取设备12,图像处理器对应图像处理设备14,显示屏对应显示设备34。再例如智能电视具备摄像头、图像处理器和显示屏,摄像头对应图像获取设备12,图像处理器对应图像处理设备14,显示屏对应显示设备34。
在一种可选的情况中,图像处理设备包括硬件层、运行在硬件层之上的操作系统层,以及运行在操作系统层上的应用层。该硬件层包括CPU、内存管理单元(memorymanagement unit,MMU)和内存(也称为主存)等硬件。该操作系统可以是任意一种或多种通过进程(process)实现业务处理的计算机操作系统,例如,Linux操作系统、Unix操作系统、Android操作系统、iOS操作系统或windows操作系统等。该应用层包含浏览器、通讯录、文字处理软件、即时通信软件等应用。并且,本申请实施例并未对本申请实施例提供的方法的执行主体的具体结构特别限定,只要能够通过运行相关代码以实现本申请实施例提供的方法进行图像处理即可,例如,本申请实施例提供的方法的执行主体可以是电子设备,或者,是电子设备中能够调用程序并执行程序的功能模块,例如可以是电子设备中的处理器。
应当理解,图像获取设备12和图像处理设备14可以包括任何类别的手持或静止设备,例如,笔记本或膝上型计算机、移动电话、智能手机、平板或平板计算机、摄像机、台式计算机、机顶盒、电视机、相机、车载设备、显示设备、数字媒体播放器、视频游戏控制台、视频流式传输设备(例如内容服务服务器或内容分发服务器)、广播接收器设备、广播发射器设备等,并可以不使用或使用任何类别的操作系统。
如图2所示,为本申请实施例提供的一种示例性的图像处理装置的硬件架构图,该图像处理装置200例如可以为处理器芯片,示例性的,图2中所示的硬件架构图可以是图1中的图像处理器20或者图像处理器32的示例性架构图,本申请实施例提供的图像处理方法可以应用在该处理器芯片上。
参考图2,该装置200包括:至少一个CPU,微控制器(Microcontroller Unit,MCU)、GPU、NPU、内存总线、接收接口和发送接口等。虽然图2中未示出,该装置200还可以包括应用处理器(Application Processor,AP),存储器、解码器以及专用的视频或图像处理器。装置200的上述各个部分通过连接器相耦合,示例性的,连接器包括各类接口、传输线或总线等,这些接口通常是电性通信接口,但是也可能是机械接口或其它形式的接口,本实施例对此不做限定。
可选的,CPU可以是一个单核(single-CPU)处理器或多核(multi-CPU)处理器;可选的,CPU可以是多个处理器构成的处理器组,多个处理器之间通过一个或多个总线彼此耦合。该接收接口可以为处理器芯片的数据输入的接口,在一种可选的情况下,该接收接口和发送接口的类型可以参考通信接口28和通信接口22部分的描述,此处不再赘述。
存储器通过内存总线耦合至CPU、GPU、MCU以及NPU等,存储器可以用于存储计算机程序指令,包括计算机操作系统(Operation System,OS)和各种用户应用程序,存储器还用于存储图像数据或视频数据。存储器可以是非掉电易失性存储器,例如是嵌入式多媒体卡(Embedded Multi Media Card,EMMC)、通用闪存存储(Universal Flash Storage,UFS)或只读存储器(Read-Only Memory,ROM),或者是可存储静态信息和指令的其他类型的静态存储设备,还可以是掉电易失性存储器(volatile memory),例如随机存取存储器(RandomAccess Memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的程序代码并能够由计算机存取的任何其他计算机可读存储介质,但不限于此。应当理解,存储器可以是独立于图像处理装置200之外。
在一种可选的情况中,上述各部分集成在同一个芯片上;在另一种可选的情况中,CPU、GPU、解码器、接收接口以及发送接口集成在一个芯片上,该芯片内部的各部分通过总线访问外部的存储器。专用视频/图形处理器可以与CPU集成在同一个芯片上,也可以作为单独的处理器芯片存在,例如专用视频/图形处理器可以为专用ISP。在一种可选的情况中,NPU也可以作为独立的处理器芯片。该NPU用于实现各种神经网络或者深度学习的相关运算。可选的,本申请实施例提供的图像处理方法和图像处理框架可以由GPU或NPU实现,也可以由专门的图形处理器来实现。
在本申请实施例中涉及的芯片是以集成电路工艺制造在同一个半导体衬底上的系统,也叫半导体芯片,其可以是利用集成电路工艺制作在衬底(通常是例如硅一类的半导体材料)上形成的集成电路的集合,其外层通常被半导体封装材料封装。所述集成电路可以包括各类功能器件,每一类功能器件包括逻辑门电路、金属氧化物半导体(Metal-Oxide-Semiconductor,MOS)晶体管、双极晶体管或二极管等晶体管,也可包括电容、电阻或电感等其他部件。每个功能器件可以独立工作或者在必要的驱动软件的作用下工作,可以实现通信、运算、或存储等各类功能。
如图3所示,为本申请实施例提供的一种图像处理的方法流程示意图。应当理解,为了便于描述,图3以步骤的形式对方法进行描述,虽然在方法流程图3中示出了方法的顺序,但是在某些情况下,可以以不同于此处的顺序执行所描述的步骤。
该图像处理的方法包括:
301、确定动态元数据(dynamic metadata)中的模式指示值,该模式指示值用于指示待处理图像适用的目标场景模式;
应当理解,动态元数据是视频前端设备在生成图像数据或视频数据的时候生成的,该动态元数据中包括该模式指示值,示例性的,该模式指示值可以是前端设备对获取或生成的图像数据进行分析得到的。该视频前端设备可以为如图1所示的图像获取设备12。示例性的,图像获取设备12在获取或生成图像数据的时候,对每一帧图像数据进行图像帧分析,获得每一帧图像数据的特征信息,进一步的,可以根据分析获得的特征信息确定图像数据所适应的色调映射模式。例如,如果当前图像整体场景比较暗,则确认该图像帧适应暗场景色调映射模式;如果当前图像整体场景比较亮,则确认该图像帧适应亮场景色调映射模式;如果当前图像包含位于特定亮度区间内的像素,则确认该图像帧适应特定场景色调映射模式。进一步的,图像处理设备14或显示设备34在接收到待处理图像和该待处理图像的动态元数据之后,根据动态元数据中的模式指示值对初始色调映射曲线进行适应性修正,并基于修正之后的色调映射曲线对待处理图像进行色调映射。在一种可选的情况中,机顶盒可以称为播放设备。应当理解,步骤301的执行主体可以是图1中所示的图像处理设备14或显示设备34,示例性的,图像处理设备14可以是机顶盒或机顶盒中的图像处理器,或者可以是具备播放和显示能力的智能移动终端中的图像处理器或者图像处理单元。
302、根据模式指示值调用与该目标场景模式对应的修正样条曲线参数的获取过程,并获取样条曲线;
具体的,
当模式指示值为第一预设值时,调用第一获取过程;
当模式指示值为第二预设值时,调用第二获取过程;
当模式指示值为第三预设值时,调用第三获取过程;
当模式指示值为第四预设值时,调用第四获取过程;
当模式指示值为第五预设值时,调用第五获取过程。
示例性的,设置动态元数据中包含的该模式指示值为3Spline_num。
若3Spline_num等于0,则调用样条曲线参数获取过程0,并获取第一场景模式对应的修正样条曲线参数;
若3Spline_num等于1,则调用样条曲线参数获取过程1,并获取第二场景模式对应的修正样条曲线参数;
若3Spline_num等于2,则调用样条曲线参数获取过程2,并获取第三场景模式对应的修正样条曲线参数;
若3Spline_num等于3,则调用样条曲线参数获取过程3,并获取第四场景模式对应的修正样条曲线参数;
若3Spline_num等于4,则调用样条曲线参数获取过程4,并获取第五场景模式对应的修正样条曲线参数。
在一种可选的情况中,3Spline_num的值还可以为大于等于5的其他整数,并对应其他的样条曲线参数获取过程,本申请实施例对此不作限定。可选的,3Spline_num的值也可以是英文字母、希腊字母或者其他预设的指示值,而不一定是罗马数字。
不同的样条曲线参数获取的修正样条曲线的参数不同,该修正样条曲线的参数包括至少一个插值点的第一坐标和修正样条曲线的多个系数;
该至少一个插值点构成修正区间,每相邻两个插值点之间构成一个子修正区间,该修正样条曲线经过该至少一个插值点。示例性的,该修正样条曲线可以包括多条样条曲线,当样条曲线包括样条曲线1、样条曲线2时,样条曲线1可以是在[xM1,xM2]区间内的M次样条函数,样条曲线2可以是在[xL1,xL2]区间内的L次样条函数,其中,区间[xM1,xM2]与区间[xL1,xL2]的交集为空,或者区间[xM1,xM2]与区间[xL1,xL2]有一个共同的端点值。样条曲线1的次数M与样条曲线2的次数L可以相同也可以不同。示例性的,该多条修正样条曲线可以包括一次样条曲线或三次样条曲线中的至少一项,该修正样条曲线包括的三次样条曲线的条数可以为一条、两条、三条或者更多条,本申请实施例对三次样条曲线的个数不作限定。三次样条曲线与初始色调映射曲线平滑连接。示例性的,当修正样条曲线包括一次样条曲线和三次样条曲线时,三次样条曲线与一次样条曲线以及初始色调映射曲线均平滑连接。
一次样条曲线的函数形式为y=ax+b,包括两个系数,确定一次样条曲线需要至少2个已知条件。
二次样条曲线的函数形式为y=ax2+bx+c,且a≠0,包括三个系数,确定该二次样条曲线需要至少3个已知条件,例如经过该二次样条曲线的3个点的坐标;或者,经过该二次样条曲线的2个点的坐标以及该二次样条曲线在其中一个点的导数。
三次样条曲线的函数形式为y=ax3+bx2+cx+d,且a≠0,包括四个系数,确定该三次样条曲线需要至少4个已知条件,例如预先获知经过该三次样条曲线的4个点的坐标;或者,预先获知2个点的坐标以及该三次样条曲线在该两个点的导数。
N次样条曲线包括N+1个系数,确定该N次样条曲线需要至少N+1个已知条件。
示例性的,如图4a所示,为本申请实施例提供的对应上述的第一场景模式一种示例性的修正样条曲线示意图,第一场景模式对应图像的整体场景比较暗的情况。
多个插值点包括:第一插值点、第二插值点、第三插值点,修正样条曲线包括:第一样条曲线、第二样条曲线和第三样条曲线,该第一样条曲线为一次样条曲线,第二样条曲线和第三样条曲线均为三次样条曲线,第一样条曲线为原点与第一插值点之间的直线,第二样条曲线为第一插值点和第二插值点之间的样条曲线,第三样条曲线为第二插值点和第三插值点之间的样条曲线;第一样条曲线与第二样条曲线在第一插值点处平滑连接,第二样条曲线与第三样条曲线在第二插值点处平滑连接,第三样条曲线与初始色调映射曲线在第三插值点处平滑连接。输出的该修正样条曲线的参数包括:TH1、TH2、TH3、该第一样条曲线的斜率MB0、第二样条曲线的4个系数MA1、MB1、MC1和MD1,第三样条曲线的4个系数MA2、MB2、MC2和MD2。
第一样条曲线:F(L)=MB0×L (1)
第二样条曲线:F(L)=MD1×(L-TH1)3+MC1×(L-TH1)2+MB1×(L-TH1)1+MA1 (2)
第三样条曲线:F(L)=MD2×(L-TH2)3+MC2×(L-TH2)2+MB2×(L-TH2)1+MA2 (3)
其中,TH1为第一插值点的第一坐标,TH2为第二插值点的第一坐标,TH3为第三插值点的第一坐标,第一坐标例如可以是横坐标,L为函数的自变量。
第一场景模式对应图像的整体场景比较暗的情况,此时对暗区进行修正,从而更好的展现图像的暗部细节,使得亮度低于显示设备显示能力的像素点可以在显示设备上有较优的显示效果,具体的,对低于第一阈值(TH1)的像素基于一次样条函数公式(1)进行色调映射,更好保留了该部分的暗部细节信息,然后基于三次样条函数实现一次样条函数与初始色调映射曲线的平滑过渡,避免不光滑的色调映射曲线影响色调映射效果。应当理解,第一场景模式中有两条三次样条曲线,在一种可选的情况中,可以只有一条三次样条曲线,第一样条曲线通过一条三次样条函数与初始色调映射曲线平滑连接,这种情况下,只需要确定2个插值点。第一场景模式下的获取过程为第一获取过程,第一获取过程的详细过程参考图6a和图6b所示的方法或者下述的情况3.1。具体的,这种场景下第一样条曲线相比基础曲线提高了暗区亮度,相当于给暗区分配了更多的比特数。两条三次样条函数实现了第一样条曲线与初始色调映射曲线的平滑过渡,并且可以通过控制曲线的点和斜率来达到对修正区域的增强或者减弱处理。
如图4b所示,为本申请实施例提供的对应上述的第二场景模式一种示例性的修正样条曲线示意图,第二场景模式对应图像包含位于特定亮度区间内的像素。
多个插值点包括:第一插值点、第二插值点、第三插值点,该第一插值点和第三插值点在初始色调映射曲线上,该第二插值点可以在初始色调映射曲线上,也可以不在初始色调映射曲线上,当第二插值点不在初始色调映射曲线上时,第二插值点与初始色调映射曲线之间存在纵坐标偏移值。修正样条曲线包括:第一样条曲线和第二样条曲线,该第一样条曲线和第二样条曲线均为三次样条曲线,第一样条曲线为第一插值点和第二插值点之间的样条曲线,第二样条曲线为第二插值点和第三插值点之间的样条曲线;示例性的,第一样条曲线与初始色调映射曲线在第一插值点处平滑连接,第二样条曲线与初始色调映射曲线在第三插值点处平滑连接,第一样条曲线与第二样条曲线在第二插值点处平滑连接。输出的该修正样条曲线的参数包括:TH1、TH2、TH3、该第一样条曲线的4个系数MA1、MB1、MC1和MD1,第二样条曲线的4个系数MA2、MB2、MC2和MD2。
第一样条曲线:F(L)=MD1×(L-TH1)3+MC1×(L-TH1)2+MB1×(L-TH1)1+MA1 (4)
第二样条曲线:F(L)=MD2×(L-TH2)3+MC2×(L-TH2)2+MB2×(L-TH2)1+MA2 (5)
其中,TH1为第一插值点的第一坐标,TH2为第二插值点的第一坐标,TH3为第三插值点的第一坐标,第一坐标例如可以是横坐标,L为函数的自变量。
第二场景模式对应图像包含位于特定亮度区间内的像素,此时对该特定亮度区间进行重点修正,从而更好的展现图像在该区间的亮度细节;具体的,基于三次样条函数对第一插值点和第二插值点以及第二插值点和第三插值点之间的像素进行色调映射,提升该部分像素的显示效果。进一步的,第一样条曲线与第二样条曲线、第一样条曲线和第二样条曲线与初始色调映射曲线之间都是平滑过渡的,避免不光滑的色调映射曲线影响色调映射效果。第二场景模式下的获取过程为第二获取过程,第二获取过程的详细过程参考图7所示的方法或者下述的情况3.3。具体的,该修正方式可以对任意区间进行修正,而且修正区间的修正曲线与初始色调映射曲线平滑连接,并可以通过控制插值点和偏移值提高图像对比度,或者提升或减少部分像素的亮度值,从而达到想要的效果。
如图4c所示,为本申请实施例提供的对应上述的第三场景模式一种示例性的修正样条曲线示意图,第三场景模式对应图像的整体场景比较亮的情况。
多个插值点包括:第一插值点,修正样条曲线包括第一样条曲线,该第一样条曲线为过该第一插值点的一次样条曲线,该第一样条曲线与初始色调映射曲线在第一插值点处平滑连接;输出的该修正样条曲线的参数包括:TH1、第一样条曲线的第一系数MA0、第二系数MB0。
第一样条曲线:F(L)=MB0×(L-TH1)1+MA0 (6)
其中,TH1为第一插值点的第一坐标,该第一坐标可以是横坐标。
第三场景模式对应图像的整体场景比较亮的情况,此时对亮区进行修正,从而更好的展现图像的亮部细节,具体的,基于线性函数(第一样条曲线)对大于预设阈值(TH1)的像素区域进行色调映射,并且该第一样条曲线在第一插值点与初始色调映射曲线平滑连接,避免不光滑的色调映射曲线影响色调映射效果。具体的,以一次样条曲线对大于第一插值点的像素进行色调映射,表示TH1之后的点都使用第一插值点的压缩率进行压缩,避免对亮区像素点的过渡压缩,从而提升图像亮度值。第三场景模式下的获取过程为第三获取过程,第三获取过程的详细过程参考图8所示的方法或者下述的情况1。
如图4d所示,为本申请实施例提供的对应上述的第四场景模式一种示例性的修正样条曲线示意图,第四场景模式对应图像的整体场景比较亮的情况。
多个插值点包括:第一插值点和第二插值点,在一种可选的情况中,第二插值点与初始色调映射曲线在纵坐标方向上存在偏移值Spline_strength,修正样条曲线包括:第一样条曲线,该第一样条曲线为经过第一插值点和第二插值点的三次样条曲线,该第一样条曲线在第一插值点与初始色调映射曲线平滑连接;输出的该修正样条曲线的参数包括:TH1、TH2,以及该第一样条曲线的4个系数MA1、MB1、MC1和MD1。
第一样条曲线:F(L)=MD1×(L-TH1)3+MC1×(L-TH1)2+MB1×(L-TH1)1+MA1 (7)
其中,TH1为第一插值点的第一坐标,TH2为第二插值点的第一坐标,第一坐标例如可以是横坐标,L为函数的自变量。
第四场景模式对应图像的整体场景比较亮的情况,此时对亮区进行修正,从而更好的展现图像的亮部细节,具体的,基于三次样条函数(公式(7))对第一插值点和第二插值点之间的像素区域进行色调映射,并且该三次样条函数在第一插值点与初始色调映射曲线平滑连接,避免不光滑的色调映射曲线影响色调映射效果。具体的,可以增加第一插值点和亮区像素的端点之间的像素的亮度值,也可以减少第一插值点和亮区像素的端点之间的亮度值,既可以满足增加亮度达到更加眩晕的效果,也可以减少亮度来达到增强亮区细节等功能。并且增加和减少是一个非线性过程,可以提升对比度。第四场景模式下的获取过程为第四获取过程,第四获取过程的详细过程参考图9所示的方法或者下述的情况2。
如图4e所示,为本申请实施例提供的对应上述的第五场景模式一种示例性的修正样条曲线示意图,第五场景模式对应图像的整体场景比较亮的情况。
多个插值点包括:第一插值点、第二插值点、第三插值点,修正样条曲线包括:第一样条曲线和第二样条曲线,该第一样条曲线为第一插值点和第二插值点之间的三次样条曲线,第二样条曲线为第二插值点和第三插值点之间的一次样条曲线;第一样条曲线与初始色调映射曲线在第一插值点处平滑连接,第二样条曲线与初始色调映射曲线在第三插值点处平滑连接,第一样条曲线与第二样条曲线在第二插值点处平滑连接。输出的该修正样条曲线的参数包括:TH1、TH2、TH3、该第一样条曲线的4个系数MA1、MB1、MC1和MD1,第二样条曲线的2个系数MA2和MB2。其中,TH1为第一插值点的第一坐标,TH2为第二插值点的第一坐标,TH3为第三插值点的第一坐标,第一坐标例如可以是横坐标。
第一样条曲线:F(L)=MD1×(L-TH1)3+MC1×(L-TH1)2+MB1×(L-TH1)1+MA1 (8)
第二样条曲线:F(L)=MB2×(L-TH2)1+MA2 (9)
其中,L为函数的自变量。
应当理解,第五场景模式下修正样条曲线包括一条一次样条曲线和一条三次样条曲线,对两条样条曲线的位置不限定。虽然在图4e中,一次样条曲线对应的像素区间的像素点的亮度大于三次样条曲线对应的像素区间的像素点的亮度,也即第一插值点的亮度值<第二插值点的亮度值<第三插值点的亮度值;在一种可选的情况中,一次样条曲线对应的像素区间的像素点的亮度也可以小于三次样条曲线对应的像素区间的像素点的亮度,在这种情况下第一插值点的亮度值>第二插值点的亮度值>第三插值点的亮度值。
第五场景模式对应图像的整体场景比较亮的情况,此时对亮区进行修正,从而更好的展现图像的亮部细节,具体的,基于一次样条曲线(公式(9))对第二插值点和第三插值点之间的像素区域进行色调映射,并基于第一插值点和第二插值点之间的三次样条函数实现一次样条函数与初始色调映射曲线平滑连接,避免不光滑的色调映射曲线影响色调映射效果。具体的,该场景下,第一插值点和第二插值点之间可以用三次样条函数来满足对初始色调映射曲线的增加亮度和减少亮度,并且这种增加和减少为非线性。第二插值点到第三插值点之间基于直线进行色调映射,可以为第二插值点与第三插值点之间的像素分配更多的比特数,从而提升亮区细节。第五场景模式下的获取过程为第五获取过程,第一获取过程的详细过程参考图10所示的方法或者下述的情况3.2。
303、根据修正的色调映射曲线对该待处理图像进行色调映射,该修正的色调映射曲线包括初始色调映射曲线的至少一部分和修正样条曲线。
应当理解,初始色调映射曲线可以是任意形式的可用于色调映射过程的曲线。具体地,图4f示出了几种初始色调映射曲线的可能形式。示例性的,初始色调映射曲线可以是经过归一化处理的曲线,即初始色调映射曲线中任一点的坐标为(第一坐标值,第二坐标值),第一坐标值的取值在0~1之间,第二坐标值的取值在0~1之间。下面以经过归一化处理的初始色调映射曲线进行阐述,应理解,本申请对此不作限定。
图4f中实线所示的初始色调映射曲线又称为SLF色调映射曲线,其满足:
其中,L表示映射前的信号值,L’表示映射后的信号值,在一种可选的情况中,映射前的信号值为线性信号值,映射后的信号值为非线性信号值,p、a、m、b均为动态范围映射系数,0≤L≤1,0≤L’≤1。a与显示设备的动态范围显示能力成正比,与目标图片的动态范围成反比。b与显示设备的最小亮度显示能力成正比。
图4f中单点划线所示的初始色调映射曲线为一次多项式色调映射函数,其满足:
L′=a×L+b, (11)
其中,L表示映射前的信号值,L’表示映射后的信号值,在一种可选的情况中,映射前的信号值为线性信号值,映射后的信号值为非线性信号值,a、b均为动态范围映射系数,0≤L≤1,0≤L’≤1。a与显示设备的动态范围显示能力成正比,与目标图片的动态范围成反比。b与显示设备的最小亮度显示能力成正比。
图4f中虚线所示的初始色调映射曲线又称为sigmoidal色调映射曲线,其满足:
其中,L表示映射前的信号值,L’表示映射后的信号值,在一种可选的情况中,映射前的信号值为线性信号值,映射后的信号值为非线性信号值,c1、c2、c3、n均为动态范围映射系数,0≤L≤1,0≤L’≤1。c1、c2、c3、n均与目标图片的平均亮度、最大亮度,最小亮度有关,并且和显示设备的最小显示亮度,最大显示亮度有关。
图4f中双点划线所示的初始色调映射曲线又称为贝塞尔色调映射曲线,其满足:
其中,L表示映射前的信号值,L’表示映射后的信号值,在一种可选的情况中,映射前的信号值为线性信号值,映射后的信号值为非线性信号值,n、N、ρ均为动态范围映射系数,0≤L≤1,0≤L’≤1。n、N、ρ与目标图像的亮度分布有关,和目标图像的平均亮度也有关。
以SLF公式为例,可以通过图像的整体亮度,确定p和m。其中,当图像的整体偏亮的情况下,p的取值较小,m的取值较大;当图像的整体偏暗的情况下,p的取值较大,m的取值较小。p的取值范围可以是3~6。m的取值范围可以是2~4,m通常取2.4。
应当理解,修正的色调映射曲线可以为一种分段多项式函数(piecewisepolynomial function),示例性的,修正的色调映射曲线的多个分段函数之间平滑连接。具体的,当待处理像素位于修正区间内,根据修正样条曲线对该待处理像素进行色调映射;当待处理像素不在修正区间内,根据初始色调映射曲线对待处理像素进行色调映射。应当理解,在确定待处理像素所在的区间时,可以比较待处理像素的像素值与多个插值点的第一坐标值,示例性的,当待处理像素为RGB格式时,可以将RGB三个分量中的最大值作为待处理像素的像素值;当待处理像素为YUV格式时,可以将Y分量作为待处理像素的像素值。
示例性的,修正区间包括第一修正区间、第二修正区间和第三修正区间,其中,第一修正区间对应第一样条函数,第二修正区间对应第二样条函数,第三修正区间对应第三样条函数,则当待处理像素位于第一修正区间时,基于第一样条函数对待处理像素进行色调映射;当待处理像素位于第二修正区间时,基于第二样条函数对待处理像素进行色调映射;当待处理像素位于第三修正区间时,基于第三样条函数对待处理像素进行色调映射;当待处理像素不在这三个修正区间时,基于初始色调映射曲线对待处理像素进行色调映射。
示例性的,对应上述的第一场景模式:
当待处理像素点位于原点和第一插值点之间时,基于公式(1)对待处理的像素点进行色调映射;
当待处理像素点位于第一插值点和第二插值点之间时,基于公式(2)对待处理的像素点进行色调映射;
当待处理像素点位于第二插值点和第三插值点之间时,基于公式(3)对待处理的像素点进行色调映射;
当待处理像素点的像素值大于第三插值点的第一坐标TH3时,基于初始色调映射曲线对待处理像素进行色调映射。
对应上述的第二场景模式:
当待处理像素点位于第一插值点和第二插值点之间时,基于公式(4)对待处理的像素点进行色调映射;
当待处理像素点位于第二插值点和第三插值点之间时,基于公式(5)对待处理的像素点进行色调映射;
当待处理像素点的像素值大于第三插值点的第一坐标TH3时,基于初始色调映射曲线对待处理像素进行色调映射。
对应上述的第三场景模式:
当待处理像素点的像素值小于于第一插值点的第一坐标TH1时,基于初始色调映射曲线对待处理像素进行色调映射;
当待处理像素点的像素值大于第一插值点的第一坐标TH1时,基于公式(6)对待处理的像素点进行色调映射。
对应上述的第四场景模式:
当待处理像素点的像素值小于于第一插值点的第一坐标TH1时,基于初始色调映射曲线对待处理像素进行色调映射;
当待处理像素点位于第一插值点和第二插值点之间时,基于公式(7)对待处理的像素点进行色调映射.
对应上述的第五场景模式:
当待处理像素点的像素值小于于第一插值点的第一坐标TH1时,基于初始色调映射曲线对待处理像素进行色调映射;
当待处理像素点位于第一插值点和第二插值点之间时,基于公式(8)对待处理的像素点进行色调映射;
当待处理像素点位于第二插值点和第三插值点之间时,基于公式(9)对待处理的像素点进行色调映射。
本申请实施例提供的图像处理方法,根据动态元数据中的模式指示值确定待处理的图像适用的场景模式,并合理地对初始色调映射曲线进行灵活修正,可以针对不同的亮度区域调整图像显示的效果,强化图像的亮度变化细节,给用户带来更好的视觉体验。通过对色调映射曲线进行多种形式的微调,可以获得例如柔和、生动、明亮、黄昏等多种风格的显示效果。
本申请实施例提供的图像处理方法,能够根据场景的需要自适应修改曲线的任何部分,从而提高亮度,提高对比度,模糊部分信息等。例如,通过增加暗区亮度来提升暗区细节的显示效果,也可以降低暗区亮度来提升对比度;或者可以对高亮区分配较多比特数,来显示亮区的细节,并且可以修改曲线任何部分来达到需要的特定效果。
如图5所示,为本申请实施例提供的一种获取修正样条曲线的参数的方法流程图。该方法包括:
501、根据待处理图像的特征信息或者动态元数据,确定至少一个插值点的第一坐标;
示例性的,该至少一个插值点可以仅包括第一插值点,或者包括第一差值点和第二插值点,或者包括第一插值点、第二插值点和第三插值点。示例性的,如本申请所示的第三场景模式下,只需要确定一个插值点;如本申请所示的第四场景模式下,需要确定两个插值点;如本申请第一场景模式、第二场景模式和第五场景模式需要确定三个插值点。
502、根据该至少一个插值点的第一坐标确定至少一个第二坐标和至少一个一阶导数;
503、根据该至少一个插值点的第一坐标、至少一个第二坐标以及至少一个一阶导数确定修正样条曲线的系数,该修正样条曲线包括一次样条曲线或三次样条曲线中的至少一项;
本申请实施例提供几种确定修正样条曲线示例性情况:
情况1:包含一个插值点的情况;
至少一个插值点包括第一插值点,修正样条曲线包括第一样条曲线,该第一样条曲线为一条一次样条曲线,该第一样条曲线为经过该第一插值点的一次样条曲线,该修正样条曲线的系数包括第一系数MA0和第二系数MB0,该一次样条曲线与初始色调映射曲线在该第一插值点处平滑连接,具体的,该一次样条曲线在该第一插值点处的一阶导数等于初始色调映射曲线在第一插值点处的一阶导数。对应的,
501具体包括:根据动态元数据中包含的数据确定第一插值点的第一坐标TH1;
502具体包括:
根据TH1计算该第一插值点在初始色调映射曲线上的第二坐标VA1以及该初始色调映射曲线在该第一插值点处的一阶导数GD1;
503具体包括:
确定GD1为第一样条曲线的第二系数MB0,VA1为第一样条曲线的第一系数MA0;
根据MB0和MA0获得该第一样条曲线。
情况1对应的具体方案如图8的方案所示。
情况2:包含两个插值点的情况;
至少一个插值点包括第一插值点和第二插值点,修正样条曲线包括:第一样条曲线,该第一样条曲线为一条三次样条曲线,该第二插值点可以是初始色调映射曲线的其中一个端点,如本申请实施例所示的第四场景模式,第二插值点为初始色调映射曲线亮区的端点,修正样条曲线与初始色调映射曲线在第一插值点处平滑连接。对应的,
501具体包括:
根据动态元数据中包含的数据确定第一插值点的第一坐标TH1和第二插值点的第一坐标TH2,示例性的,TH1=A,TH2=B,其中,A和B为动态元数据中包含的常数;或者A和B为根据动态元数据中包含的数据计算得到的。
502具体包括:
根据TH1、TH2分别计算第一插值点和第二插值点在初始色调映射曲线上的第二坐标VA1和VA2;
根据TH1、TH2计算初始色调映射曲线在第一插值点处的一阶导数GD1和在第二插值点处的一阶导数GD2;
503具体包括:
确定VA1为第一样条曲线的第一系数MA1,确定GD1为第一样条曲线的第二系数MB1;
根据TH1、TH2、VA2以及GD2构建得到包含两个方程式的方程组;
解析该方程组得到第一样条曲线的第三系数MC1和第四系数MD1;
根据MA1、MB1、MC1和MD1获得该第一样条曲线。
其中,根据TH1、TH2、VA2以及GD2构建得到包含两个方程式的方程组,具体包括:
使得该第二插值点在该第一样条曲线上的第二坐标为VA2与S1之和,得到第一方程式,S1为该动态元数据中包括的坐标偏移值;
使得该第一样条曲线在该第二插值点处的一阶导数为GD2与S2之和,得到第二方程式,S2为该动态元数据中包括的斜率偏移值。
情况2对应的具体方案如图9的方案所示。
对于包含两个插值点的情况,还包括一种可选情况,该第一插值点为靠近暗区端点的点,修正样条曲线包括:第一样条曲线和第二样条曲线,该第一样条曲线为一次样条曲线,第二样条曲线为三次样条曲线,该第一样条曲线为经过原点和第一插值点的直线,该第二样条曲线经过第一插值点和第二插值点,一次样条曲线与三次样条曲线在第一插值点处平滑连接,三次样条曲线与初始色调映射曲线在第二插值点处平滑连接。这种情况可以对暗区进行修正。
情况3:包含三个插值点的情况;
至少一个插值点包括第一插值点、第二插值点和第三插值点。
情况3.1:修正样条曲线包括:一条一次样条曲线和两条三次样条曲线(如本申请实施例所示的第一场景模式);对应的,
501具体包括:
根据动态元数据中包括的待处理图像的亮度的最大值maxL和待处理图像的亮度的平均值avgL中的至少一项确定第一插值点的第一坐标TH1;
TH2=TH1+B;
TH3=TH2+C*TH2-D*CH2;
其中,TH2为所述第二插值点的第一坐标,TH3为所述第三插值点的第一坐标,B、C和D为常数,在一种可选的情况中,B、C和D为动态元数据中包含的常数;
该方法还包括:
根据动态元数据中包括的待处理图像的亮度的平均值avgL获取第一样条曲线的一阶导数MB0;
502具体包括:
根据TH1和MB0计算第一插值点在第一样条曲线上的第二坐标VA1;
根据TH3计算第三插值点在初始色调映射曲线上的第二坐标VA3;
计算第二插值点在第一直线上的第二坐标VA2,该第一直线为该第一插值点和第三插值点所在的直线;
计算初始色调映射曲线在第三插值点处的一阶导数GD3;
503具体包括:
确定VA1为该第二样条曲线的第一系数MA1;
确定MB0为该第二样条曲线的第二系数MB1;
确定VA2与偏移值之和为该第三样条曲线的第一系数MA2,所述偏移值为0、正数或负数;
应当理解,该偏移值可以通过动态元数据传给色调映射的装备,也可以定义在程序代码中。
根据TH1、TH2、TH3、VA2、VA3、GD3以及该第二样条曲线与该第三样条曲线在该第二插值点处的导数关系构建包含五个方程式的方程组;
解析该包含五个方程式的方程组,得到MC1、MD1、MB2、MC2和MD2。
其中,根据TH1、TH2、TH3、VA2、VA3、GD3以及该第二样条曲线与该第三样条曲线在该第二插值点处的导数关系构建包含五个方程式的方程组,具体包括:
使得该第二插值点在该第二样条曲线上的第二坐标为VA2,得到第一方程式;
使得该第三插值点在该第三样条曲线上的第二坐标为VA3,得到第二方程式;
使得该第三样条曲线在该第三插值点处的一阶导数为GD3,得到第三方程式;
使得该第二样条曲线和该第三样条曲线在该第二插值点处的一阶导数相等,得到第四方程式;
使得该第二样条曲线和该第三样条曲线在该第二插值点处的二阶导数相等,得到第五方程式。
情况3.1对应的具体方案如图6a和图6b的方案所示。
情况3.2:修正样条曲线包括:第一样条曲线和第二样条曲线,该第一样条曲线为经过该第一插值点和该第二插值点的三次样条曲线,该第二样条曲线为经过该第二插值点和该第三插值点的一次样条曲线;该修正样条曲线的系数包括:该第一样条曲线的第一系数MA1、第二系数MB1、第三系数MC1、第四系数MD1,以及该第二样条曲线的第一系数MA2和第二系数MB2(如本申请实施例所示的第五场景模式);对应的,
501具体包括:
根据动态元数据中包含的数据确定第一插值点的第一坐标TH1、第二插值点的第一坐标TH2和第三插值点的第一坐标TH3,示例性的,TH1=A,TH2=B,TH3=C,其中,A、B和C为动态元数据中包含的常数;或者A、B和C为根据动态元数据中包含的数据计算得到的。
502具体包括:
根据TH1和TH3分别计算第一插值点和第三插值点在初始色调映射曲线上的第二坐标VA1和VA3,VA1为第一样条曲线的第一系数MA1;
计算第二插值点在第一直线上的第二坐标VA2,该第一直线为该第一插值点(TH1,VA1)和第三插值点(TH3,VA3)所在的直线;
计算初始色调映射曲线在第一插值点处的一阶导数GD1,
503具体包括:
确定VA1为该第一样条曲线的第一系数MA1
确定GD1为该第一样条曲线的第二系数MB1;
在一种可选的情况中,动态元数据中包括坐标偏移值,确定VA2与该动态元数据中包含的坐标偏移值之和为该第二样条曲线的第一系数MA2;
根据TH1、TH2、TH3、VA2、VA3以及该第一样条曲线与该第二样条曲线在该第二插值点处的导数关系构建包含三个方程式的方程组;
解析该包含三个方程式的方程组,得到MC1、MD1和MB2。
其中,根据TH1、TH2、TH3、VA2、VA3以及该第一样条曲线与该第二样条曲线在该第二插值点处的导数关系构建包含三个方程式的方程组,具体包括:
使得该第二插值点在该第一样条曲线上的第二坐标为VA2,得到第一方程式;
使得该第三插值点在该第二样条曲线上的第二坐标为VA3,得到第二方程式;
使得该第一样条曲线和该第二样条曲线在该第二插值点处的一阶导数相等,得到第三方程式。
情况3.2对应的具体方案如图10的方案所示。
情况3.3:该修正样条曲线包括:第一样条曲线和第二样条曲线,该第一样条曲线为经过该第一插值点和该第二插值点的三次样条曲线,该第二样条曲线为经过该第二插值点和该第三插值点的三次样条曲线;该修正样条曲线的系数包括:该第一样条曲线的第一系数MA1、第二系数MB1、第三系数MC1、第四系数MD1,以及该第二样条曲线的第一系数MA2,第二系数MB2,第三系数MC2和第四系数MD2(如本申请实施例所示的第二场景模式)。对应的,
501具体包括:
根据动态元数据中包含的数据确定第一插值点的第一坐标TH1、第二插值点的第一坐标TH2和第三插值点的第一坐标TH3,示例性的,TH1=A,TH2=B,TH3=C,其中,A、B和C为动态元数据中包含的常数;或者A、B和C为根据动态元数据中包含的数据计算得到的。
502具体包括:
根据TH1和TH3分别计算第一插值点和第三插值点在初始色调映射曲线上的第二坐标VA1和VA3;
计算第二插值点在第一直线上的第二坐标VA2,该第一直线为该第一插值点和第三插值点所在的直线;
计算初始色调映射曲线在第一插值点处的一阶导数GD1和在第三插值点处的一阶导数GD3;
503具体包括:
确定VA1为该第一样条曲线的第一系数MA1
确定GD1为该第一样条曲线的第二系数MB1;
确定VA2与偏移值之和为该第二样条曲线的第一系数MA2,所述偏移值为0、正数或负数;可选的,该偏移值可以包含在动态元数据中。
根据TH1、TH2、TH3、VA2、VA3、GD3以及该第一样条曲线与该第二样条曲线在该第二插值点处的导数关系构建包含五个方程式的方程组;
解析该包含五个方程式的方程组,得到MC1、MD1、MB2、MC2和MD2。
其中,根据TH1、TH2、TH3、VA2、VA3、GD3以及该第一样条曲线与该第二样条曲线在该第二插值点处的导数关系构建包含五个方程式的方程组,具体包括:
使得该第二插值点在该第一样条曲线上的第二坐标为VA2,得到第一方程式;
使得该第三插值点在该第二样条曲线上的第二坐标为VA3,得到第二方程式;
使得该第二样条曲线在该第三插值点处的一阶导数为GD3,得到第三方程式;
使得该第一样条曲线和该第二样条曲线在该第二插值点处的一阶导数相等,得到第四方程式;
使得该第一样条曲线和该第二样条曲线在该第二插值点处的二阶导数相等,得到第五方程式。
情况3.3对应的具体方案如图7的方案所示。
504、根据修正的色调映射曲线对该待处理图像进行色调映射,该修正的色调映射曲线包括初始色调映射曲线的至少一部分和修正样条曲线。
504请参考303部分的描述,此处不再赘述。
在一种可选的情况中,在501之前,该方法还包括:
根据动态元数据中的模式指示值确定待处理图像适用的目标场景模式,至少一个插值点以及修正样条曲线与所述目标场景模式有关。具体的,至少一个插值点的个数,以及修正样条曲线包含的一次样条曲线和三次样条曲线的确定与该模式指示值有关。或者说,根据模式指示值来决定具体获取上述情况1、情况2、情况3.1、情况3.2以及情况3.3中哪一种情况的修正样条曲线的参数。
如图6a所示,为本申请实施例提供的一种获取修正样条曲线的参数的方法流程示意图。图6a中的方法流程示意图为第一场景模式下以及情况3.1,修正样条曲线参数的获取。这种情况下,修正样条曲线包括一条一次样条曲线即第一样条曲线,以及两条三次样条曲线:第二样条曲线与第三样条曲线。
601、获取第一插值点的第一坐标TH1和第一样条曲线的一阶导数MB0;
其中,maxL以及avgL包含在动态元数据中,maxL为待处理图像的亮度的最大值,avgL为待处理图像的亮度的平均值;当接收到待处理图像时,根据待处理图像的动态元数据中包含的maxL结合公式(14)计算得到第一插值点的第一坐标TH1,根据动态元数据中包含的avgL结合公式(15)计算得到第一样条曲线的斜率MB0,该第一样条曲线例如为公式(1)所示的曲线。在一种可选的情况中,可以根据待处理图像的亮度的平均值avgL计算得到第一插值点的第一坐标,对应的,将公式(14)中的maxL替换成avgL即可。在另一种可选的情况中,可以根据待处理图像的亮度的最大值maxL和待处理图像的亮度的平均值avgL计算第一插值点的第一坐标,对应的,将公式(14)中的maxL替换成a*maxL+b*avgL,其中,a,b均为常数,且0≤a≤1,0≤b≤1。
对应的,在一种可选的情况中,可以根据待处理图像的亮度的最大值maxL计算得到第一样条曲线的一阶导数MB0,对应的,将公式(15)中的avgL替换成maxL即可。在另一种可选的情况中,可以根据待处理图像的亮度的最大值maxL和待处理图像的亮度的平均值avgL计算第一插值点的第一坐标,对应的,将公式(15)中的avgL替换成a*maxL+b*avgL,其中,a,b均为常数,且0≤a≤1,0≤b≤1。
PvalueL为暗区像素点的第一阈值,PvalueH为暗区像素点亮度值的第二阈值,第一阈值小于第二阈值。示例性的,PvalueL的值可以为0.15,PvalueH的值可以为0.25;TPH为亮区像素点的第三阈值,TPL为亮区像素点的第四阈值,示例性的,TPH的值可以为0.6,TPL的值可以为0.1;AvL为平均像素点的第五阈值,AvH为平均像素点的第六阈值,示例性的,AvL的值可以为0.15,AvH的值可以为0.65;SvalueL为暗区像素点的亮度值增加的第一斜率阈值,SvalueH为暗区像素点的亮度值增加的第二斜率阈值,第一斜率阈值小于第二斜率阈值。示例性的,SvalueL的值可以为1,SvalueH的值可以为1.2。
602、获取第二插值点和第三插值点的第一坐标TH2、TH3;
TH2=TH1+B (16)
TH3=TH2+C*TH2-D*TH2 (17)
其中,B为暗区过渡区像素点的第一偏移值,C为亮区像素点的第二偏移值,D为亮区像素点的第三偏移值;B、C和D为常数,在一种可选的情况中,动态元数据中包括上述B、C和D;B、C和D也可以直接定义在相关的程序代码中,而不需要从动态元数据中获取。示例性的,B可以为0.15,C和D可以为0.5。
603、根据TH1、TH2以及TH3确定第二样条曲线的4个系数MA1、MB1、MC1和MD1以及第三样条曲线的4个系数MA2、MB2、MC2和MD2;
应当理解,在这种情况下,修正样条曲线包括两条三次样条曲线:第二样条曲线与第三样条曲线。在一种可选的情况中,修正样条曲线可能只包括一条三次样条曲线。
具体的,如图6b所示,步骤603包括:
6031、分别计算第一插值点、第二插值点和第三插值点的第二坐标VA1、VA2和VA3;
具体的,6031具体包括:
1)、计算第一插值点在一次样条曲线上的第二坐标VA1;
VA1=MB0×TH1;
2)、计算第三插值点在初始色调映射曲线上的第二坐标VA3;
示例性的,取初始色调映射曲线为SLF色调映射曲线,如公式(18)所示:
则将TH3带入公式(18)得到VA3=F(TH3);应当理解,公式(18)中的p、m、n、a、b、k1、k2、k3均为常数。该初始色调映射曲线的参数可以从动态元数据中获取,也可以根据待处理的图像提前计算得到。
3)、计算第二插值点在第一直线上的第二坐标VA2,该第一直线为该第一插值点和第三插值点所在的直线;
6032、确定VA1为第二样条曲线的第一系数MA1,确定VA2与偏移值之和为第三样条曲线的第一系数MA2;可选的,该偏移值可以为0、正数或负数;该偏移值可以从动态元数据中获取,也可以定义在样条曲线参数获取过程的相关程序代码中。
6033、确定该第一样条曲线的一阶导数MB0为第二样条曲线的第二系数MB1;
6034、计算初始色调映射曲线在第三插值点处的一阶导数GD3;
6035、根据TH1、TH2、TH3、VA2、VA3、GD3以及第二样条曲线与第三样条曲线在第二插值点处的导数关系构建方程组;
示例性的,该方程组包括:第一方程式、第二方程式、第三方程式、第四方程式和第五方程式,6035具体包括:
1)、使得第二插值点在第二样条曲线上的第二坐标为上述VA2,在一种可选的情况中,VA2=公式(19)+偏移值,得到第一方程式如公式(21)所示:
MD1×(TH2-TH1)3+MC1×(TH2-TH1)2+MB1×(TH2-TH1)1+MA1=VA2 (21)
2)、使得第三插值点在第三样条曲线上的第二坐标为上述VA3,得到第二方程式如公式(22)所示:
MD2×(TH3-TH1)3+MC2×(TH3-TH1)2+MB2×(TH3-TH1)1+MA2=VA3 (22)
3)、使得第三样条曲线在第三插值点处的一阶导数为上述GD3,得到第三方程式,如公式(23)所示:
3×MD2×(TH3-TH2)2+2×MC2×(TH3-TH2)1+MB2=GD3(23)
4)、使得第二样条曲线和第三样条曲线在第二插值点处的一阶导数相等,得到第四方程式,如公式(24)所示:
3×MD1×(TH2-TH1)2+2×MC1×(TH2-TH1)1+MB1=
3×MD2×(TH2-TH2)2+2×MC2×(TH2-TH2)1+MB2 (24)
5)、使得第二样条曲线和第三样条曲线在第二插值点处的二阶导数相等,得到第五方程式,如公式(25)所示:
6×MD1×(TH2-TH1)1+2×MC1=6×MD2×(TH2-TH2)1+2×MC2 (25)
6036、解析由第一方程式、第二方程式、第三方程式、第四方程式和第五方程式构成的方程组,得到MC1、MD1、MB2、MC2和MD2。
MC1=(3.0*VA2-2.0*GD1*h1-3.0*VA1-b2*h1)/(h1*h1) (26)
MD1=(h1*GD1+h1*b2+2*VA1-2.0*VA2)/(h1*h1*h1) (27)
MC2=MC1+3.0*MD1*h1 (29)
MD2=-(VA3-VA2-h2*GD3+MC1]*h2*h2+3*MD1*h1*h2*h2)/(2*h2*h2*h2)(30)
其中,h1=TH2-TH1,h2=TH3-TH2。
604、根据MA1、MB1、MC1和MD1确定第二样条曲线,根据MA2、MB2、MC2和MD2确定第三样条曲线。
具体的,第二样条曲线如公式(2)所示,第三样条曲线的如公式(3)所示。
应当理解,为了便于描述,图6a和图6b以步骤的形式对方法进行描述,虽然在方法流程图中示出了方法的顺序,但是在某些情况下,可以以不同于此处的顺序执行所描述的步骤。
如图7所示,为本申请实施例提供的一种获取修正样条曲线的参数的方法流程示意图。图7中的方法流程示意图为第二场景模式下,修正样条曲线参数的获取。该情况下,修正样条曲线包括两条三次样条曲线:第一样条曲线和第二样条曲线。在一种可选的情况中,修正样条曲线可以只包括一条三次样条曲线,对应的,只需要确定两个插值点。
该方法包括:
701、获得第一插值点、第二插值点和第三插值点各自的第一坐标TH1、TH2和TH3;
示例性的,TH1=A,TH2=B,TH3=C,其中,A、B、C均为常数,假设AB构成第一调整区间,BC构成第二调整区间,A为第一调整区间中像素点的亮度值的最小值,B为第一调整区间中像素点的亮度值的最大值,C为第二调整区间中像素点的亮度值的最大值,A<B<C。
在一种可选的情况中,A、B和C可以根据动态元数据中得到,例如动态元数据包括修正样条曲线区间的起始位置L1和结束位置L3,则根据动态元数据中的数据信息可以计算出上述A、B与C:
A=L1/255,C=L3/255,B=(A+C)/2
在一种可选的情况中,动态元数据中直接携带了上述A、B和C。
在一种可选的情况中,可以通过公式(14)类似的公式计算得到A、B和C。
702、分别计算第一插值点和第三插值点在初始色调映射曲线上的第二坐标VA1和VA3;
示例性的,初始色调映射曲线如上述公式(18)所示,将TH1带入公式(18)得到VA1,则将TH3带入公式(18)得到VA3:
703、计算第二插值点在第一直线上的第二坐标VA2,该第一直线为该第一插值点和第三插值点所在的直线;
在一种可选的情况中,VA2的计算公式同公式(19)。
在一种可选的情况中,动态元数据中包括坐标偏移值Spline_strength,应当理解,该坐标偏移值可为正数,也可为负数,也可以为0。此时,VA2为第二插值点在第一直线上的第二坐标与动态元数据中携带的坐标偏移值之和:
704、确定VA1为第一样条曲线的第一系数MA1,VA2为第二样条曲线的第一系数MA2;
705、计算初始色调映射曲线在第一插值点处的一阶导数GD1和在第三插值点处的一阶导数GD3,确定GD1为第一样条曲线的第二系数MB1;
GD3的计算公式同公式(20)。
706、根据TH1、TH2、TH3、VA2、VA3、GD3以及第一样条曲线与第二样条曲线在第二插值点处的导数关系构建方程组,该方程组包括5个方程式;
示例性的,706具体包括:
1)、使得第二插值点在第一样条曲线上的第二坐标为上述VA2,得到第一方程式,该第一方程式如公式(21)所示;
2)、使得第三插值点在第二样条曲线上的第二坐标为上述VA3,得到第二方程式,如公式(22)所示;
3)、使得第二样条曲线在第三插值点处的一阶导数为GD3,得到第三方程式,如公式(23)所示;
4)、使得第一样条曲线和第二样条曲线在第二插值点处的一阶导数相等,得到第四方程式,如公式(24)所示;
5)、使得第一样条曲线和第二样条曲线在第二插值点处的二阶导数相等,得到第五方程式,如公式(25)所示。
707、解析由第一方程式、第二方程式、第三方程式、第四方程式和第五方程式构成的方程组,得到MC1、MD1、MB2、MC2和MD2;
计算结果参考公式(26)至公式(30),此处不再赘述。
708、根据MA1、MB1、MC1和MD1确定第一样条曲线,根据MA2、MB2、MC2和MD2确定第二样条曲线。
第一样条曲线:F(L)=MD1×(L-TH1)3+MC1×(L-TH1)2+MB1×(L-TH1)1+MA1 (35)
第二样条曲线:F(L)=MD2×(L-TH2)3+MC2×(L-TH2)2+MB2×(L-TH2)1+MA2 (36)在该场景下,根据动态元数据获取第一插值点、第二插值点和第三插值点的第一坐标、第一插值点和第三插值点都在初始色调映射曲线上,动态元数据还可以包括第二插值点的纵坐标偏移值,该纵坐标偏移值用于指示第二插值点在纵坐标方向上与第一插值点和第三插值点所定义的直线的偏移值。
如图8所示,为本申请实施例提供的一种获取修正样条曲线的参数的方法流程示意图。图8中的方法流程示意图为第三场景模式下,修正样条曲线参数的获取。该情况下,修正样条曲线包括一条一次样条曲线:第一样条曲线,需要确定的参数包括:第一插值点的第一坐标TH1、第一样条曲线的第一系数MA0和第二系数MB0。
该方法包括:
801、获取第一插值点的第一坐标TH1;
在一种可选的方案中,TH1=A;
可选的,A可以为携带在动态元数据中的常数,A也可以是根据携带在动态元数据中的数据计算得到的,例如动态元数据中携带了修正区间起始值L1,则A=L1/255。
在一种可选的方案中,TH1可以基于图片的特征信息以及与公式(14)类似的分段公式计算得到。
802、计算第一插值点在初始色调映射曲线上的第二坐标VA1;
初始色调映射曲线如公式(18)所示,则将TH1带入公式(18)得到VA1:
803、计算初始色调映射曲线在第一插值点处的一阶导数GD1;
804、确定GD1为第一样条曲线的第二系数MB0,VA1为第一样条曲线的第一系数MA0。
对应的,得到的该修正样条曲线为如公式(6)所示。
如图9所示,为本申请实施例提供的一种获取修正样条曲线的参数的方法流程示意图。图9中的方法流程示意图为第四场景模式下,修正样条曲线参数的获取。该情况下,修正样条曲线包括一条三次样条曲线:第一样条曲线。
该方法包括:
901、根据动态元数据获取第一插值点和第二插值点各自的第一坐标TH1、TH2;
示例性的,TH1=A,TH2=B;其中,A和B为常数。示例性的,B可以为1.0。
在一种可选的情况中,A和B可以直接从动态元数据中获取;在一种可选的情况中,A和B可以根据动态元数据中携带的数据信息计算得到。A和B还可以根据待处理图像的特征以及与公式(14)类似的分段公式计算得到。
902、分别计算第一插值点和第二插值点在初始色调映射曲线上各自的第二坐标VA1和VA2;
示例性的,初始色调映射曲线如上述公式(18)所示,将TH1带入公式(18)得到VA1,则将TH2带入公式(18)得到VA2:
903、计算初始色调映射曲线在第一插值点处的一阶导数GD1和在第二插值点处的一阶导数GD2;
904、确定VA1为第一样条曲线的第一系数MA1,确定GD1为第一样条曲线的第二系数MB1;
905、根据TH1、TH2、VA2以及GD2构建方程组;
示例性的,905具体包括:
1)、使得第二插值点在第一样条曲线上的第二坐标为VA2’=VA2+S1,得到第一方程式如公式(43);
MD1×(TH2-TH1)3+MC1×(TH2-TH1)2+MB1×(TH2-TH1)1+MAi=VA2+S1 (43)
其中,S1为动态元数据中包括的坐标偏移值,可选的,S1可以为正值、负值或者0。
2)、使得第一样条曲线在第二插值点处的一阶导数GD2’=GD2+S2,得到第二方程式如公式(44);
3×MD1×(TH2-TH1)2+2×MC1×(TH2-TH1)1+MB1=GD2+S2 (44)
其中,S2为动态元数据中包括的斜率偏移值,可选的,S2可以为正值、负值或者0。
906、解析由第一方程式和第二方程式构成的方程组,得到MC1、MD1。
对应的,得到的修正样条曲线如公式(45)所示:
F(L)=MD1×(L-TH1)3+MC1×(L-TH1)2+MB1×(L-TH1)1+MA1 (45)
如图10所示,为本申请实施例提供的一种获取修正样条曲线的参数的方法流程示意图。图10中的方法流程示意图为第五场景模式下,修正样条曲线参数的获取。该情况下,修正样条曲线包括一条三次样条曲线和一条一次样条曲线。修正样条曲线的参数包括:第一样条曲线的4个系数MA1、MB1、MC1和MD1,第二样条曲线的2个系数MA2和MB2。
该方法包括:
1001、获得第一插值点、第二插值点和第三插值点各自的第一坐标TH1、TH2和TH3;
示例性的,TH1=A,TH2=B,TH3=C,其中,A、B、C均为常数,假设AB构成第一调整区间,BC构成第二调整区间,A为第一调整区间中像素点的亮度值的最小值,B为第一调整区间中像素点的亮度值的最大值或者为第二调整区间像素点的亮度值的最小值,C为第二调整区间中像素点的亮度值的最大值,A<B<C。
在一种可选的情况中,A、B和C可以根据动态元数据中得到,例如动态元数据包括修正样条曲线区间的起始位置L1和结束位置L3,则根据动态元数据中的数据信息可以计算出上述A、B与C:
A=L1/255,C=L3/255,B=(A+C)/2
在一种可选的情况中,动态元数据中直接携带了上述A、B和C。
在一种可选的情况中,可以通过公式(14)类似的公式计算得到A、B和C。
1002、分别计算第一插值点和第三插值点在初始色调映射曲线上的第二坐标VA1和VA3;
具体请参考702部分的描述,此处不再赘述。
1003、计算第二插值点在第一直线上的第二坐标VA2,该第一直线为该第一插值点(TH1,VA1)和第三插值点(TH3,VA3)所在的直线;
在一种可选的情况中,VA2的计算公式与公式(19)相同。
在一种可选的情况中,动态元数据中包括坐标偏移值Spline_strength,应当理解,该坐标偏移值可为正数,也可为负数,或者为0,当Spline_strength为0时,VA2的值可根据公式(19)计算。此时,VA2为第二插值点在第一直线上的第二坐标与动态元数据中携带的坐标偏移值之和:
应当理解,VA1<VA2<VA3。
1004、确定VA1为第一样条曲线的第一系数MA1,VA2为第二样条曲线的第一系数MA2;
1005、计算初始色调映射曲线在第一插值点处的一阶导数GD1和在第三插值点处的一阶导数GD3,确定GD1为第一样条曲线的第二系数MB1;
1006、根据TH1、TH2、TH3、VA2、VA3以及第一样条曲线和第二样条曲线在第二插值点处的导数关系构建方程组;
示例性的,1006具体包括:
1)、使得第二插值点在第一样条曲线上的第二坐标为VA2,得到第一方程式,如公式(49)所示;
MD1×(TH2-TH1)3+MC1×(TH2-TH1)2+MB1×(TH2-TH1)1+MA1=VA2 (49)
2)、使得第三插值点在第二样条曲线上的第二坐标为VA3,得到第二方程式,如公式(50)所示;
MB2×(TH3-TH2)1+MA2=VA3 (50)
3)、使得第一样条曲线和第二样条曲线在第二插值点处的一阶导数相等,得到第三方程式,如公式(51)所示;
3×MD1×(TH2-TH1)2+2×MC1×(TH2-TH1)1+MB1=MB2 (51)
1007、解析由第一方程式、第二方程式和第三方程式构成的方程组,得到MC1、MD1和MB2。
得到的修正样条曲线如公式(52)和公式(53)所示,其中公式(52)为第一样条曲线,公式(53)为第二样条曲线。
F(L)=MD1×(L-TH1)3+MC1×(L-TH1)2+MB1×(L-TH1)1+MA1 (52)
F(L)=MB2×(L-TH2)1+MA2 (53)
应当理解,为了便于描述,图7至图10中所示的方法流程图以步骤的形式对方法进行描述,虽然示出了方法的顺序,但是在某些情况下,可以以不同于此处的顺序执行所描述的步骤。
如图11所示,为本申请实施例提供的一种示例性图像处理装置1100的结构框图。该图像处理装置1100包括:
确定模块1110:用于执行方法实施例中的步骤301、302、501、502和503
色调映射模块1120:用于执行方法实施例中的步骤303和504。
具体的,该确定模块还用于执行图6a、图6b、以及图7至图10所示的方法实施例中的部分或全部步骤。
在一种可选的情况中,该图像处理装置1100还包括:获取模块1130,用于获取待处理的图像和对应的动态元数据。
应当理解,如图1所示的图像处理设备14以及如图2所示的图像处理装置都可以用于实现本申请实施例图3、图5、图6a、图6b以及图7至图10提供的任一个方法实施例。具体的,图像处理设备14以及图2中的处理器调用存储在存储器中的程序指令,以执行如图3、图5、图6a、图6b以及图7至图10任一个实施例所示的方法中的部分或全部步骤。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机或处理器上运行时,使得计算机或处理器执行上述任一个方法中的一个或多个步骤。上述信号处理装置的各组成模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在所述计算机可读取存储介质中。
基于这样的理解,本申请实施例还提供一种包含指令的计算机程序产品,当其在计算机或处理器上运行时,使得计算机或处理器执行本申请实施例提供的任一个方法。本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备或其中的处理器执行本申请各个实施例所述方法的全部或部分步骤。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (37)
1.一种图像处理的方法,其特征在于,包括:
根据待处理图像的特征信息或动态元数据,确定至少一个插值点的第一坐标;
根据所述至少一个插值点的第一坐标确定至少一个第二坐标和至少一个一阶导数;
根据所述至少一个插值点的第一坐标、至少一个第二坐标以及至少一个一阶导数确定修正样条曲线的系数,所述修正样条曲线包括一次样条曲线或三次样条曲线中的至少一项;
根据修正的色调映射曲线对所述待处理图像进行色调映射tone-mapping,所述修正的色调映射曲线包括初始色调映射曲线的至少一部分和所述修正样条曲线。
2.根据权利要求1所述的方法,其特征在于,所述至少一个插值点包括:第一插值点,所述修正样条曲线包括:第一样条曲线,所述第一样条曲线为经过所述第一插值点的一次样条曲线,所述修正样条曲线的系数包括第一系数MA0和第二系数MB0;
所述根据所述至少一个插值点的第一坐标确定至少一个第二坐标和至少一个一阶导数,包括:
根据所述第一插值点的第一坐标TH1确定所述第一插值点在所述初始色调映射曲线上的第二坐标VA1,以及所述初始色调映射曲线在所述第一插值点处的一阶导数GD1;
所述根据所述至少一个插值点的第一坐标、至少一个第二坐标以及至少一个一阶导数确定修正样条曲线的系数,包括:
确定GD1为所述第一样条曲线的第二系数MB0;
确定VA1为所述第一样条曲线的第一系数MA0。
3.根据权利要求1所述的方法,其特征在于,所述至少一个插值点包括:第一插值点和第二插值点,所述修正样条曲线包括:第一样条曲线,所述第一样条曲线为经过所述第一插值点和所述第二插值点的三次样条曲线,所述修正样条曲线的系数包括第一系数MA1、第二系数MB1、第三系数MC1以及第四系数MD1;
所述根据所述至少一个插值点的第一坐标确定至少一个第二坐标和至少一个一阶导数,包括:
根据所述第一插值点的第一坐标TH1、所述第二插值点的第一坐标TH2分别计算所述第一插值点和所述第二插值点在所述初始色调映射曲线上的第二坐标VA1和VA2;
根据TH1、TH2计算所述初始色调映射曲线在所述第一插值点处的一阶导数GD1和在所述第二插值点处的一阶导数GD2;
所述根据所述至少一个插值点的第一坐标、至少一个第二坐标以及至少一个一阶导数确定修正样条曲线的系数,包括:
确定VA1为所述第一样条曲线的第一系数MA1;
确定GD1为所述第一样条曲线的第二系数MB1;
根据TH1、TH2、VA2以及GD2构建得到包含两个方程式的方程组;
解析所述方程组得到所述第一样条曲线的第三系数MC1和第四系数MD1。
4.根据权利要求3所述的方法,其特征在于,所述根据TH1、TH2、VA2以及GD2构建得到包含两个方程式的方程组,包括:
使得所述第二插值点在所述第一样条曲线上的第二坐标为VA2与S1之和,得到第一方程式,S1为所述动态元数据中包括的坐标偏移值;
使得所述第一样条曲线在所述第二插值点处的一阶导数为GD2与S2之和,得到第二方程式,S2为所述动态元数据中包括的斜率偏移值。
5.根据权利要求1所述的方法,其特征在于,所述至少一个插值点包括:第一插值点,所述修正样条曲线包括:第一样条曲线,所述第一样条曲线为经过原点和所述第一插值点的一次样条函数,所述修正样条曲线的系数包括:所述第一样条曲线的一阶导数MB0;
在所述根据所述至少一个插值点的第一坐标确定至少一个第二坐标和至少一个一阶导数之前,所述方法还包括:
根据所述动态元数据中包括的所述待处理图像的亮度的最大值maxL和所述待处理图像的亮度的平均值avgL中的至少一项获取所述第一样条曲线的一阶导数MB0。
6.根据权利要求5所述的方法,其特征在于,所述至少一个插值点还包括:第二插值点和第三插值点,所述修正样条曲线还包括:第二样条曲线和第三样条曲线,所述第二样条曲线为经过所述第一插值点和所述第二插值点的三次样条曲线,所述第三样条曲线为经过所述第二插值点和所述第三插值点的三次样条曲线;所述修正样条曲线的系数还包括:所述第二样条曲线的第一系数MA1、第二系数MB1、第三系数MC1、第四系数MD1,以及所述第三样条曲线的第一系数MA2,第二系数MB2,第三系数MC2和第四系数MD2;
所述根据所述至少一个插值点的第一坐标确定至少一个第二坐标和至少一个一阶导数,包括:
根据所述第一插值点的第一坐标TH1和MB0计算所述第一插值点在所述第一样条曲线上的第二坐标VA1;
根据所述第三插值点的第一坐标TH3计算所述第三插值点在所述初始色调映射曲线上的第二坐标VA3;
根据所述第二插值点的第一坐标TH2计算所述第二插值点在第一直线上的第二坐标VA2,所述第一直线为所述第一插值点和所述第三插值点所在的直线;
根据TH3计算所述初始色调映射曲线在所述第三插值点处的一阶导数GD3。
7.根据权利要求6所述的方法,其特征在于,所述根据所述至少一个插值点的第一坐标、至少一个第二坐标以及至少一个一阶导数确定修正样条曲线的系数,包括:
确定VA1为所述第二样条曲线的第一系数MA1;
确定MB0为所述第二样条曲线的第二系数MB1;
确定VA2与偏移值之和为所述第三样条曲线的第一系数MA2,所述偏移值为0、整数或负数;
根据TH1、TH2、TH3、VA2、VA3、GD3以及所述第二样条曲线与所述第三样条曲线在所述第二插值点处的导数关系构建包含五个方程式的方程组;
解析所述包含五个方程式的方程组,得到MC1、MD1、MB2、MC2和MD2。
8.根据权利要求7所述的方法,其特征在于,所述根据TH1、TH2、TH3、VA2、VA3、GD3以及所述第二样条曲线与所述第三样条曲线在所述第二插值点处的导数关系构建包含五个方程式的方程组,包括:
使得所述第二插值点在所述第二样条曲线上的第二坐标为VA2,得到第一方程式;
使得所述第三插值点在所述第三样条曲线上的第二坐标为VA3,得到第二方程式;
使得所述第三样条曲线在所述第三插值点处的一阶导数为GD3,得到第三方程式;
使得所述第二样条曲线和所述第三样条曲线在所述第二插值点处的一阶导数相等,得到第四方程式;
使得所述第二样条曲线和所述第三样条曲线在所述第二插值点处的二阶导数相等,得到第五方程式。
9.根据权利要求6至8任一项所述的方法,其特征在于,所述根据待处理图像的特征信息或动态元数据,确定至少一个插值点的第一坐标,包括:
根据所述动态元数据中包括的所述待处理图像的亮度的最大值maxL和所述待处理图像的亮度的平均值avgL中的至少一项确定所述第一插值点的第一坐标TH1;
TH2=TH1+B;
TH3=TH2+C*TH2-D*CH2;
其中,B、C和D为常数。
10.根据权利要求1所述的方法,其特征在于,所述至少一个插值点包括:第一插值点、第二插值点和第三插值点,所述修正样条曲线包括:第一样条曲线和第二样条曲线,所述第一样条曲线为经过所述第一插值点和所述第二插值点的三次样条曲线,所述第二样条曲线为经过所述第二插值点和所述第三插值点的三次样条曲线;所述修正样条曲线的系数包括:所述第一样条曲线的第一系数MA1、第二系数MB1、第三系数MC1、第四系数MD1,以及所述第二样条曲线的第一系数MA2,第二系数MB2,第三系数MC2和第四系数MD2;
所述根据所述至少一个插值点的第一坐标确定至少一个第二坐标和至少一个一阶导数,包括:
根据所述第一插值点的第一坐标TH1、所述第三插值点的第一坐标TH3分别计算所述第一插值点和所述第三插值点在所述初始色调映射曲线上的第二坐标VA1和VA3;
根据所述第二插值点的第一坐标TH2计算所述第二插值点在第一直线上的第二坐标VA2,所述第一直线为所述第一插值点和所述第三插值点所在的直线;
计算所述初始色调映射曲线在所述第一插值点处的一阶导数GD1和在所述第三插值点处的一阶导数GD3。
11.根据权利要求10所述的方法,其特征在于,所述根据所述至少一个插值点的第一坐标、至少一个第二坐标以及至少一个一阶导数确定修正样条曲线的系数,包括:
确定VA1为所述第一样条曲线的第一系数MA1
确定GD1为所述第一样条曲线的第二系数MB1;
确定VA2与偏移值之和为所述第二样条曲线的第一系数MA2,所述偏移值为0、正数或负数;
根据TH1、TH2、TH3、VA2、VA3、GD3以及所述第一样条曲线与所述第二样条曲线在所述第二插值点处的导数关系构建包含五个方程式的方程组;
解析所述包含五个方程式的方程组,得到MC1、MD1、MB2、MC2和MD2。
12.根据权利要求11所述的方法,其特征在于,所述根据TH1、TH2、TH3、VA2、VA3、GD3以及所述第一样条曲线与所述第二样条曲线在所述第二插值点处的导数关系构建包含五个方程式的方程组,包括:
使得所述第二插值点在所述第一样条曲线上的第二坐标为VA2,得到第一方程式;
使得所述第三插值点在所述第二样条曲线上的第二坐标为VA3,得到第二方程式;
使得所述第二样条曲线在所述第三插值点处的一阶导数为GD3,得到第三方程式;
使得所述第一样条曲线和所述第二样条曲线在所述第二插值点处的一阶导数相等,得到第四方程式;
使得所述第一样条曲线和所述第二样条曲线在所述第二插值点处的二阶导数相等,得到第五方程式。
13.根据权利要求1所述的方法,其特征在于,所述至少一个插值点包括:第一插值点、第二插值点和第三插值点,所述修正样条曲线包括:第一样条曲线和第二样条曲线,所述第一样条曲线为经过所述第一插值点和所述第二插值点的三次样条曲线,所述第二样条曲线为经过所述第二插值点和所述第三插值点的一次样条曲线;所述修正样条曲线的系数包括:所述第一样条曲线的第一系数MA1、第二系数MB1、第三系数MC1、第四系数MD1,以及所述第二样条曲线的第一系数MA2和第二系数MB2;
所述根据所述至少一个插值点的第一坐标确定至少一个第二坐标和至少一个一阶导数,包括:
根据所述第一插值点的第一坐标TH1、所述第三插值点的第一坐标TH3分别计算所述第一插值点和所述第三插值点在所述初始色调映射曲线上的第二坐标VA1和VA3;
根据所述第二插值点的第一坐标TH2计算所述第二插值点在第一直线上的第二坐标VA2,所述第一直线为所述第一插值点和所述第三插值点所在的直线;
计算所述初始色调映射曲线在所述第一插值点处的一阶导数GD1。
14.根据权利要求13所述的方法,其特征在于,所述根据所述至少一个插值点的第一坐标、至少一个第二坐标以及至少一个一阶导数确定修正样条曲线的系数,包括:
确定VA1为所述第一样条曲线的第一系数MA1
确定GD1为所述第一样条曲线的第二系数MB1;
确定VA2与偏移值之和为所述第二样条曲线的第一系数MA2,所述偏移值为0、正数或负数;
根据TH1、TH2、TH3、VA2、VA3以及所述第一样条曲线与所述第二样条曲线在所述第二插值点处的导数关系构建包含三个方程式的方程组;
解析所述包含三个方程式的方程组,得到MC1、MD1和MB2。
15.根据权利要求14所述的方法,其特征在于,所述根据TH1、TH2、TH3、VA2、VA3以及所述第一样条曲线与所述第二样条曲线在所述第二插值点处的导数关系构建包含三个方程式的方程组,包括:
使得所述第二插值点在所述第一样条曲线上的第二坐标为VA2,得到第一方程式;
使得所述第三插值点在所述第二样条曲线上的第二坐标为VA3,得到第二方程式;
使得所述第一样条曲线和所述第二样条曲线在所述第二插值点处的一阶导数相等,得到第三方程式。
16.根据权利要求1至15任一项所述的方法,其特征在于,所述至少一个插值点构成至少一个修正区间,其中,一个修正区间对应一个修正样条曲线,所述根据修正的色调映射曲线对所述待处理图像进行色调映射,包括:
当待处理的像素点位于所述至少一个修正区间时,基于所述修正样条曲线对所述待处理的像素点进行色调映射;
当所述待处理的像素点在所述至少一个修正区间之外时,基于所述初始色调映射曲线对所述待处理的像素点进行色调映射。
17.根据权利要求1至16任一项所述的方法,其特征在于,在所述根据待处理图像的特征信息或动态元数据,确定至少一个插值点的第一坐标之前,所述方法还包括:
根据所述动态元数据中的模式指示值确定所述待处理图像适用的目标场景模式,所述至少一个插值点以及所述修正样条曲线与所述目标场景模式有关。
18.一种图像处理的方法,其特征在于,包括:
确定动态元数据中的模式指示值,所述模式指示值用于指示待处理图像适用的目标场景模式;
根据所述模式指示值调用与所述目标场景模式对应的修正样条曲线参数的获取过程,获取样条修正曲线;
根据修正的色调映射曲线对所述待处理图像进行色调映射,所述修正的色调映射曲线包括初始色调映射曲线的至少一部分和所述修正样条曲线。
19.根据权利要求18所述的方法,其特征在于,所述根据所述模式指示值调用与所述目标场景模式对应的修正样条曲线参数的获取过程,包括:
当所述模式指示值为第一预设值时,调用第一获取过程;
当所述模式指示值为第二预设值时,调用第二获取过程;
当所述模式指示值为第三预设值时,调用第三获取过程;
当所述模式指示值为第四预设值时,调用第四获取过程;
当所述模式指示值为第五预设值时,调用第五获取过程。
20.根据权利要求19所述的方法,其特征在于,所述第一获取过程得到的所述修正样条曲线包括:第一样条曲线、第二样条曲线与第三样条曲线,所述第一样条曲线为经过原点和第一插值点的一次样条函数,所述第二样条曲线为经过所述第一插值点和第二插值点的三次样条曲线,所述第三样条曲线为经过所述第二插值点和第三插值点的三次样条曲线,调用第一获取过程包括:
根据所述动态元数据中包括的所述待处理图像的亮度的最大值maxL和所述待处理图像的亮度的平均值avgL中的至少一项确定所述第一插值点的第一坐标TH1;
根据所述动态元数据中包括的所述待处理图像的亮度的最大值maxL和所述待处理图像的亮度的平均值avgL中的至少一项获取所述第一样条曲线的一阶导数MB0;
TH2=TH1+B;
TH3=TH2+C*TH2-D*CH2;
其中,TH2为所述第二插值点的第一坐标,TH3为所述第三插值点的第一坐标,B、C和D为常数;
根据TH1和MB0计算所述第一插值点在所述第一样条曲线上的第二坐标VA1;
根据TH3计算所述第三插值点在所述初始色调映射曲线上的第二坐标VA3;
根据TH2计算所述第二插值点在第一直线上的第二坐标VA2,所述第一直线为所述第一插值点和所述第三插值点所在的直线;
根据TH3计算所述初始色调映射曲线在所述第三插值点处的一阶导数GD3;
确定VA1为所述第二样条曲线的第一系数MA1;
确定MB0为所述第二样条曲线的第二系数MB1;
确定VA2与偏移值之和为所述第三样条曲线的第一系数MA2,所述偏移值为0、正数或负数;
根据TH1、TH2、TH3、VA2、VA3、GD3以及所述第二样条曲线与所述第三样条曲线在所述第二插值点处的导数关系构建包含五个方程式的方程组;
解析所述包含五个方程式的方程组,得到MC1、MD1、MB2、MC2和MD2。
21.根据权利要求19所述的方法,其特征在于,所述第二获取过程得到的所述修正样条曲线包括:第一样条曲线和第二样条曲线,所述第一样条曲线为经过所述第一插值点和所述第二插值点的三次样条曲线,所述第二样条曲线为经过所述第二插值点和所述第三插值点的三次样条曲线,调用第二获取过程包括:
根据所述动态元数据获取所述第一插值点的第一坐标TH1、所述第二插值点的第一坐标TH2以及所述第三插值点的第一坐标TH3;
根据TH1、TH3分别计算所述第一插值点和所述第三插值点在所述初始色调映射曲线上的第二坐标VA1和VA3;
根据TH2计算所述第二插值点在第一直线上的第二坐标VA2,所述第一直线为所述第一插值点和所述第三插值点所在的直线;
计算所述初始色调映射曲线在所述第一插值点处的一阶导数GD1和在所述第三插值点处的一阶导数GD3;
确定VA1为所述第一样条曲线的第一系数MA1
确定GD1为所述第一样条曲线的第二系数MB1;
确定VA2与偏移值之和为所述第二样条曲线的第一系数MA2,所述偏移值为0、正数或负数;
根据TH1、TH2、TH3、VA2、VA3、GD3以及所述第一样条曲线与所述第二样条曲线在所述第二插值点处的导数关系构建包含五个方程式的方程组;
解析所述包含五个方程式的方程组,得到MC1、MD1、MB2、MC2和MD2。
22.根据权利要求19所述的方法,其特征在于,所述第三获取过程得到的所述修正样条曲线包括:第一样条曲线,所述第一样条曲线为经过所述第一插值点的一次样条曲线,调用第三获取过程包括:
根据所述动态元数据获取所述第一插值点的第一坐标TH1;
根据TH1确定所述第一插值点在所述初始色调映射曲线上的第二坐标VA1,以及所述初始色调映射曲线在所述第一插值点处的一阶导数GD1;
确定GD1为所述第一样条曲线的第二系数MB0;
确定VA1为所述第一样条曲线的第一系数MA0。
23.根据权利要求19所述的方法,其特征在于,所述第四获取过程得到的所述修正样条曲线包括:第一样条曲线,所述第一样条曲线为经过所述第一插值点和所述第二插值点的三次样条曲线,调用第四获取过程包括:
根据所述动态元数据获取所述第一插值点的第一坐标TH1以及所述第二插值点的第一坐标TH2;
根据TH1、TH2分别计算所述第一插值点和所述第二插值点在所述初始色调映射曲线上的第二坐标VA1和VA2;
根据TH1、TH2计算所述初始色调映射曲线在所述第一插值点处的一阶导数GD1和在所述第二插值点处的一阶导数GD2;
使得所述第二插值点在所述第一样条曲线上的第二坐标为VA2与S1之和,得到第一方程式,S1为所述动态元数据中包括的坐标偏移值;
使得所述第一样条曲线在所述第二插值点处的一阶导数为GD2与S2之和,得到第二方程式,S2为所述动态元数据中包括的斜率偏移值;
解析所述第一方程式和所述第二方程式构成的方程组得到所述第一样条曲线的第三系数MC1和第四系数MD1。
24.根据权利要求19所述的方法,其特征在于,所述第五获取过程得到的所述修正样条曲线包括:第一样条曲线和第二样条曲线,所述第一样条曲线为经过所述第一插值点和所述第二插值点的三次样条曲线,所述第二样条曲线为经过所述第二插值点和所述第三插值点的一次样条曲线,调用第五获取过程包括:
根据所述动态元数据获取所述第一插值点的第一坐标TH1、所述第二插值点的第一坐标TH2以及所述第三插值点的第一坐标TH3;
根据TH1、TH3分别计算所述第一插值点和所述第三插值点在所述初始色调映射曲线上的第二坐标VA1和VA3;
根据TH2计算所述第二插值点在第一直线上的第二坐标VA2,所述第一直线为所述第一插值点和所述第三插值点所在的直线;
计算所述初始色调映射曲线在所述第一插值点处的一阶导数GD1;
确定VA1为所述第一样条曲线的第一系数MA1;
确定GD1为所述第一样条曲线的第二系数MB1;
确定VA2与偏移值之和为所述第二样条曲线的第一系数MA2,所述偏移值为0、正数或负数;
根据TH1、TH2、TH3、VA2、VA3以及所述第一样条曲线与所述第二样条曲线在所述第二插值点处的导数关系构建包含三个方程式的方程组;
解析所述包含三个方程式的方程组,得到MC1、MD1和MB2。
25.一种图像处理的装置,其特征在于,包括:
确定模块,用于根据待处理图像的特征信息或动态元数据,确定至少一个插值点的第一坐标;
所述确定模块,还用于根据所述至少一个插值点的第一坐标确定至少一个第二坐标和至少一个一阶导数;
所述确定模块,还用根据所述至少一个插值点的第一坐标、至少一个第二坐标以及至少一个一阶导数确定修正样条曲线的系数,所述修正样条曲线包括一次样条曲线或三次样条曲线中的至少一项;
色调映射模块,用于根据修正的色调映射曲线对所述待处理图像进行色调映射,所述修正的色调映射曲线包括初始色调映射曲线的至少一部分和所述修正样条曲线。
26.根据权利要求25所述的装置,其特征在于,所述至少一个插值点包括:第一插值点,所述修正样条曲线包括:第一样条曲线,所述第一样条曲线为经过所述第一插值点的一次样条曲线,所述修正样条曲线的系数包括第一系数MA0和第二系数MB0;
所述确定模块,具体用于:
根据所述第一插值点的第一坐标TH1确定所述第一插值点在所述初始色调映射曲线上的第二坐标VA1,以及所述初始色调映射曲线在所述第一插值点处的一阶导数GD1;
确定GD1为所述第一样条曲线的第二系数MB0;
确定VA1为所述第一样条曲线的第一系数MA0。
27.根据权利要求25所述的装置,其特征在于,所述至少一个插值点包括:第一插值点和第二插值点,所述修正样条曲线包括:第一样条曲线,所述第一样条曲线为经过所述第一插值点和所述第二插值点的三次样条曲线,所述修正样条曲线的系数包括第一系数MA1、第二系数MB1、第三系数MC1以及第四系数MD1;
所述确定模块,具体用于:
根据所述第一插值点的第一坐标TH1、所述第二插值点的第一坐标TH2分别计算所述第一插值点和所述第二插值点在所述初始色调映射曲线上的第二坐标VA1和VA2;
根据TH1、TH2计算所述初始色调映射曲线在所述第一插值点处的一阶导数GD1和在所述第二插值点处的一阶导数GD2;
确定VA1为所述第一样条曲线的第一系数MA1;
确定GD1为所述第一样条曲线的第二系数MB1;
根据TH1、TH2、VA2以及GD2构建得到包含两个方程式的方程组;
解析所述方程组得到所述第一样条曲线的第三系数MC1和第四系数MD1。
28.根据权利要求25所述的装置,其特征在于,所述至少一个插值点包括:第一插值点,所述修正样条曲线包括:第一样条曲线,所述第一样条曲线为经过原点和所述第一插值点的一次样条函数,所述修正样条曲线的系数包括:所述第一样条曲线的一阶导数MB0;所述确定模块,还用于:
根据所述动态元数据中包括的所述待处理图像的亮度的最大值maxL和所述待处理图像的亮度的平均值avgL中的至少一项获取所述第一样条曲线的一阶导数MB0。
29.根据权利要求28所述的装置,其特征在于,所述至少一个插值点还包括:第二插值点和第三插值点,所述修正样条曲线还包括:第二样条曲线和第三样条曲线,所述第二样条曲线为经过所述第一插值点和所述第二插值点的三次样条曲线,所述第三样条曲线为经过所述第二插值点和所述第三插值点的三次样条曲线;所述修正样条曲线的系数还包括:所述第二样条曲线的第一系数MA1、第二系数MB1、第三系数MC1、第四系数MD1,以及所述第三样条曲线的第一系数MA2,第二系数MB2,第三系数MC2和第四系数MD2;所述确定模块,具体用于:
根据所述第一插值点的第一坐标TH1和MB0计算所述第一插值点在所述第一样条曲线上的第二坐标VA1;
根据所述第三插值点的第一坐标TH3计算所述第三插值点在所述初始色调映射曲线上的第二坐标VA3;
根据所述第二插值点的第一坐标TH2计算所述第二插值点在第一直线上的第二坐标VA2,所述第一直线为所述第一插值点和所述第三插值点所在的直线;
根据TH3计算所述初始色调映射曲线在所述第三插值点处的一阶导数GD3;
确定VA1为所述第二样条曲线的第一系数MA1;
确定MB0为所述第二样条曲线的第二系数MB1;
确定VA2与偏移值之和为所述第三样条曲线的第一系数MA2,所述偏移值为0、正数或负数;
根据TH1、TH2、TH3、VA2、VA3、GD3以及所述第二样条曲线与所述第三样条曲线在所述第二插值点处的导数关系构建包含五个方程式的方程组;
解析所述包含五个方程式的方程组,得到MC1、MD1、MB2、MC2和MD2。
30.根据权利要求28或29所述的装置,其特征在于,所述确定模块,具体用于:
根据所述动态元数据中包括的所述待处理图像的亮度的最大值maxL和所述待处理图像的亮度的平均值avgL中的至少一项确定所述第一插值点的第一坐标TH1;
TH2=TH1+B;
TH3=TH2+C*TH2-D*CH2;
其中,B、C和D为常数。
31.根据权利要求25所述的装置,其特征在于,所述至少一个插值点包括:第一插值点、第二插值点和第三插值点,所述修正样条曲线包括:第一样条曲线和第二样条曲线,所述第一样条曲线为经过所述第一插值点和所述第二插值点的三次样条曲线,所述第二样条曲线为经过所述第二插值点和所述第三插值点的三次样条曲线;所述修正样条曲线的系数包括:所述第一样条曲线的第一系数MA1、第二系数MB1、第三系数MC1、第四系数MD1,以及所述第二样条曲线的第一系数MA2,第二系数MB2,第三系数MC2和第四系数MD2;所述确定模块,具体用于:
根据所述第一插值点的第一坐标TH1、所述第三插值点的第一坐标TH3分别计算所述第一插值点和所述第三插值点在所述初始色调映射曲线上的第二坐标VA1和VA3;
根据所述第二插值点的第一坐标TH2计算所述第二插值点在第一直线上的第二坐标VA2,所述第一直线为所述第一插值点和所述第三插值点所在的直线;
计算所述初始色调映射曲线在所述第一插值点处的一阶导数GD1和在所述第三插值点处的一阶导数GD3;
确定VA1为所述第一样条曲线的第一系数MA1
确定GD1为所述第一样条曲线的第二系数MB1;
确定VA2与偏移值之和为所述第二样条曲线的第一系数MA2,所述偏移值为0、正数或负数;
根据TH1、TH2、TH3、VA2、VA3、GD3以及所述第一样条曲线与所述第二样条曲线在所述第二插值点处的导数关系构建包含五个方程式的方程组;
解析所述包含五个方程式的方程组,得到MC1、MD1、MB2、MC2和MD2。
32.根据权利要求25所述的装置,其特征在于,所述至少一个插值点包括:第一插值点、第二插值点和第三插值点,所述修正样条曲线包括:第一样条曲线和第二样条曲线,所述第一样条曲线为经过所述第一插值点和所述第二插值点的三次样条曲线,所述第二样条曲线为经过所述第二插值点和所述第三插值点的一次样条曲线;所述修正样条曲线的系数包括:所述第一样条曲线的第一系数MA1、第二系数MB1、第三系数MC1、第四系数MD1,以及所述第二样条曲线的第一系数MA2和第二系数MB2;
所述确定模块,具体用于:
根据所述第一插值点的第一坐标TH1、所述第三插值点的第一坐标TH3分别计算所述第一插值点和所述第三插值点在所述初始色调映射曲线上的第二坐标VA1和VA3;
根据所述第二插值点的第一坐标TH2计算所述第二插值点在第一直线上的第二坐标VA2,所述第一直线为所述第一插值点和所述第三插值点所在的直线;
计算所述初始色调映射曲线在所述第一插值点处的一阶导数GD1;
确定VA1为所述第一样条曲线的第一系数MA1
确定GD1为所述第一样条曲线的第二系数MB1;
确定VA2与偏移值之和为所述第二样条曲线的第一系数MA2,所述偏移值为0、正数或负数;
根据TH1、TH2、TH3、VA2、VA3以及所述第一样条曲线与所述第二样条曲线在所述第二插值点处的导数关系构建包含三个方程式的方程组;
解析所述包含三个方程式的方程组,得到MC1、MD1和MB2。
33.根据权利要求25至32任一项所述的装置,其特征在于,所述至少一个插值点构成至少一个修正区间,其中,一个修正区间对应一个修正样条曲线,所述色调映射模块,具体用于:
当待处理的像素点位于所述至少一个修正区间时,基于所述修正样条曲线对所述待处理的像素点进行色调映射;
当所述待处理的像素点在所述至少一个修正区间之外时,基于所述初始色调映射曲线对所述待处理的像素点进行色调映射。
34.根据权利要求25至33任一项所述的装置,其特征在于,在所述根据待处理图像的特征信息或动态元数据,确定至少一个插值点的第一坐标之前,所述确定模块还用于:
根据所述动态元数据中的模式指示值确定所述待处理图像适用的目标场景模式,所述至少一个插值点以及所述修正样条曲线与所述目标场景模式有关。
35.一种图像处理的装置,其特征在于,包括:
确定模块,用于确定动态元数据中的模式指示值,所述模式指示值用于指示待处理图像适用的目标场景模式;
所述确定模块,还用于根据所述模式指示值调用与所述目标场景模式对应的修正样条曲线参数的获取过程,获取样条修正曲线;
色调映射模块,用于根据修正的色调映射曲线对所述待处理图像进行色调映射,所述修正的色调映射曲线包括初始色调映射曲线的至少一部分和所述修正样条曲线。
36.一种图像处理的装置,其特征在于,包括处理器和传输接口,
所述传输接口,用于接收或发送图像数据;
所述处理器,用于调用存储器中存储的程序指令,并执行所述程序指令以执行如权利要求1至17或者18至24中任一项所述的方法。
37.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有程序指令,当所述程序指令在计算机或处理器上运行时,使所述计算机或处理器执行如权利要求1至17或者18至24中任一项所述的方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910996393.9A CN112686810A (zh) | 2019-10-18 | 2019-10-18 | 一种图像处理的方法及装置 |
PCT/CN2020/113525 WO2021073304A1 (zh) | 2019-10-18 | 2020-09-04 | 一种图像处理的方法及装置 |
EP20877785.4A EP4036841A4 (en) | 2019-10-18 | 2020-09-04 | IMAGE PROCESSING METHOD AND APPARATUS |
US17/721,602 US20220237754A1 (en) | 2019-10-18 | 2022-04-15 | Image processing method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910996393.9A CN112686810A (zh) | 2019-10-18 | 2019-10-18 | 一种图像处理的方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112686810A true CN112686810A (zh) | 2021-04-20 |
Family
ID=75445318
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910996393.9A Pending CN112686810A (zh) | 2019-10-18 | 2019-10-18 | 一种图像处理的方法及装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220237754A1 (zh) |
EP (1) | EP4036841A4 (zh) |
CN (1) | CN112686810A (zh) |
WO (1) | WO2021073304A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113626903A (zh) * | 2021-08-18 | 2021-11-09 | 北京赛目科技有限公司 | 一种道路曲线设置方法、装置、电子设备及存储介质 |
WO2022228368A1 (zh) * | 2021-04-30 | 2022-11-03 | 华为技术有限公司 | 一种图像处理方法、设备及系统 |
CN115564644A (zh) * | 2022-01-10 | 2023-01-03 | 荣耀终端有限公司 | 图像数据的处理方法、相关设备以及计算机存储介质 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11961206B2 (en) * | 2021-09-09 | 2024-04-16 | Samsung Electronics Co., Ltd. | Image generation using non-linear scaling and tone-mapping based on cubic spline curves |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010074222A (ja) * | 2008-09-16 | 2010-04-02 | Sony Corp | 画像処理装置、輝度変換曲線補正方法およびプログラム |
WO2018152063A1 (en) * | 2017-02-15 | 2018-08-23 | Dolby Laboratories Licensing Corporation | Tone curve mapping for high dynamic range images |
CN108496356A (zh) * | 2015-06-02 | 2018-09-04 | 三星电子株式会社 | 用于色调映射的方法和设备 |
CN110050292A (zh) * | 2016-12-12 | 2019-07-23 | 杜比实验室特许公司 | 用于调整高动态范围图像的视频处理曲线的系统和方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10140953B2 (en) * | 2015-10-22 | 2018-11-27 | Dolby Laboratories Licensing Corporation | Ambient-light-corrected display management for high dynamic range images |
CN106981054B (zh) * | 2017-03-27 | 2019-12-24 | 联想(北京)有限公司 | 一种图像处理方法及电子设备 |
CN107016647B (zh) * | 2017-04-26 | 2019-11-22 | 武汉大学 | 全景图像色调一致性纠正方法及系统 |
CN110246086B (zh) * | 2018-03-07 | 2021-09-03 | 舜宇光学(浙江)研究院有限公司 | 彩色图像增强的图像处理方法及其图像处理系统 |
CN109785275A (zh) * | 2018-12-27 | 2019-05-21 | 珠海亿智电子科技有限公司 | 一种图像的色调映射方法及设备 |
-
2019
- 2019-10-18 CN CN201910996393.9A patent/CN112686810A/zh active Pending
-
2020
- 2020-09-04 WO PCT/CN2020/113525 patent/WO2021073304A1/zh unknown
- 2020-09-04 EP EP20877785.4A patent/EP4036841A4/en active Pending
-
2022
- 2022-04-15 US US17/721,602 patent/US20220237754A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010074222A (ja) * | 2008-09-16 | 2010-04-02 | Sony Corp | 画像処理装置、輝度変換曲線補正方法およびプログラム |
CN108496356A (zh) * | 2015-06-02 | 2018-09-04 | 三星电子株式会社 | 用于色调映射的方法和设备 |
CN110050292A (zh) * | 2016-12-12 | 2019-07-23 | 杜比实验室特许公司 | 用于调整高动态范围图像的视频处理曲线的系统和方法 |
WO2018152063A1 (en) * | 2017-02-15 | 2018-08-23 | Dolby Laboratories Licensing Corporation | Tone curve mapping for high dynamic range images |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022228368A1 (zh) * | 2021-04-30 | 2022-11-03 | 华为技术有限公司 | 一种图像处理方法、设备及系统 |
CN113626903A (zh) * | 2021-08-18 | 2021-11-09 | 北京赛目科技有限公司 | 一种道路曲线设置方法、装置、电子设备及存储介质 |
CN113626903B (zh) * | 2021-08-18 | 2024-03-12 | 北京赛目科技股份有限公司 | 一种道路曲线设置方法、装置、电子设备及存储介质 |
CN115564644A (zh) * | 2022-01-10 | 2023-01-03 | 荣耀终端有限公司 | 图像数据的处理方法、相关设备以及计算机存储介质 |
Also Published As
Publication number | Publication date |
---|---|
EP4036841A4 (en) | 2022-12-07 |
WO2021073304A1 (zh) | 2021-04-22 |
EP4036841A1 (en) | 2022-08-03 |
US20220237754A1 (en) | 2022-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10891722B2 (en) | Display method and display device | |
US10462407B2 (en) | Display method and display device | |
JP6234920B2 (ja) | ハイダイナミックレンジ画像信号生成及び処理 | |
CN112686810A (zh) | 一种图像处理的方法及装置 | |
WO2021004176A1 (zh) | 一种图像处理的方法及装置 | |
JP6946325B2 (ja) | 高ダイナミックレンジピクチャを符号化する方法及び装置、対応する符号化方法及並びに符号化装置 | |
CN107888943B (zh) | 图像处理 | |
US20170324959A1 (en) | Method and apparatus for encoding/decoding a high dynamic range picture into a coded bitstream | |
CN108460732B (zh) | 用于处理图像的方法和计算设备 | |
JP6948309B2 (ja) | パラメトリック・トーン調整関数を使用してピクチャをトーン・マッピングする方法およびデバイス | |
KR20120107429A (ko) | 구역 기반의 톤 매핑 | |
JP2018507619A (ja) | カラー・ピクチャを符号化および復号する方法および装置 | |
EP3113496A1 (en) | Method and device for encoding both a hdr picture and a sdr picture obtained from said hdr picture using color mapping functions | |
JP2018507620A (ja) | カラー・ピクチャを復号する方法および装置 | |
JP6937781B2 (ja) | 高ダイナミックレンジ画像を符号化ビットストリームへ符号化/復号する方法と装置 | |
CN108806638B (zh) | 一种图像的显示方法及其装置 | |
US20190132600A1 (en) | Method and apparatus for encoding/decoding a scalar integer into a parameter representative of a pivot points of a piece-wise linear function | |
WO2016181584A1 (ja) | 表示方法および表示装置 | |
JP2018509835A (ja) | 適応的カラーグレード補間方法及びデバイス | |
WO2023138491A1 (zh) | 一种图像采集方法、图像显示方法及装置 | |
WO2022228368A1 (zh) | 一种图像处理方法、设备及系统 | |
CN113012051A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN116993597A (zh) | 一种图像校正方法、装置及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |