CN109416831B - 用于扩展图像的色彩的低成本色彩扩展模块 - Google Patents

用于扩展图像的色彩的低成本色彩扩展模块 Download PDF

Info

Publication number
CN109416831B
CN109416831B CN201780027656.4A CN201780027656A CN109416831B CN 109416831 B CN109416831 B CN 109416831B CN 201780027656 A CN201780027656 A CN 201780027656A CN 109416831 B CN109416831 B CN 109416831B
Authority
CN
China
Prior art keywords
low
function
luminance
pass filtered
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780027656.4A
Other languages
English (en)
Other versions
CN109416831A (zh
Inventor
M-J.科莱蒂斯
L.考文
T.波利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
InterDigital VC Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=57868255&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN109416831(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by InterDigital VC Holdings Inc filed Critical InterDigital VC Holdings Inc
Publication of CN109416831A publication Critical patent/CN109416831A/zh
Application granted granted Critical
Publication of CN109416831B publication Critical patent/CN109416831B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/06Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed using colour palettes, e.g. look-up tables
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20028Bilateral filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0666Adjustment of display parameters for control of colour parameters, e.g. colour temperature

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Manufacture Of Porous Articles, And Recovery And Treatment Of Waste Products (AREA)

Abstract

模块(700)包括:‑低通滤波器,用于对图像的亮度分量进行低通滤波,‑第一查找表(710),存储仅低通滤波亮度值的第一扩展函数的预计算值,‑第二查找表(720),存储仅亮度值的第二扩展函数的预计算值,‑处理器(740,760),被配置为将与要扩展的色彩的输入亮度值相对应的第二查找表的输出乘以与和所述输入亮度值相关联的输入低通滤波亮度值相对应的所述第一查找表的输出。

Description

用于扩展图像的色彩的低成本色彩扩展模块
技术领域
本原理一般地涉及高动态范围成像和扩展低动态范围内容的动态范围以针对具有特别高的峰值亮度的显示设备准备这样的内容的领域。
背景技术
显示技术中的最新进展开始允许扩展范围的色度、亮度和对比度值被显示。允许扩展图像内容中的亮度或明亮度的范围的技术称为高动态范围成像,通常缩写为HDR。HDR技术关注于捕获、处理和显示较宽动态范围的内容。
尽管已经出现许多HDR显示设备,并且正在开发能够以增加的动态范围捕获图像的相机,但是仍然存在非常有限的可用HDR内容。虽然最新进展保证为期不远的HDR内容的本地(native)捕获,但是它们并不处理现有内容。
为了针对HDR显示设备准备传统(在此称为低动态范围的LDR)内容,可以采用反向或逆色调映射算子(ITMO)或色彩扩展算子。这样的方法特别以恢复或重建原始场景的外观为目的来处理图像内容中的彩色区域的亮度信息。典型地,ITMO采取传统(LDR)图像作为输入,以全局方式扩展图像的彩色区域的亮度范围,并且随后局部处理高亮部分或明亮区以增强图像中的色彩的HDR外观。
尽管存在若干ITMO解决方案,但是它们关注于在感观上重现原始场景的外观,并且依赖于关于内容的严格假设。此外,文献中提出的多数扩展方法朝着动态范围的极端增加而进行优化。
典型地,通过彩色区域中的亮亮的暗值与亮值之间的动态范围的扩展结合量化步骤数量的增加来定义HDR成像。为了实现动态范围的更加极端的增加,许多方法将全局扩展与增强图像的高亮部分和其他明亮区的外观的局部处理步骤相结合。文献中提出的已知全局扩展步骤从逆S形变化到线性或分段线性。
为了增强图像中的明亮的局部特征,已知创建亮度扩展图,其中将图像的每个像素与应用于该像素的亮度的扩展值相关联。在最简单的情况下,可以检测图像中的裁剪区,并且然后使用陡峭扩展曲线进行扩展,然而这样的解决方案并不供应对图像外观的充分控制。
发明内容
通过各种所描述的实施例解决现有技术的这些和其他缺点和劣势,该实施例指向用于扩展低动态范围内容的动态范围的方法和装置,以针对具有特别高的峰值亮度的显示设备准备这样的内容。
本发明的目的是一种用于扩展图像的色彩的色彩扩展模块,其中所述色彩被表示在将亮度分量与色度分量分离的色彩空间中,包括:
-低通滤波器,用于对所述亮度分量进行低通滤波,
-第一查找表,存储仅低通滤波亮度值的第一扩展函数的预计算值,
-第二查找表,存储仅亮度值的第二扩展函数的预计算值,
-处理器,被配置为将与要扩展的色彩的输入亮度值相对应的所述第二查找表的输出乘以与和所述输入亮度值相关联的输入低通滤波亮度值相对应的所述第一查找表的输出。
这样的色彩扩展模块尤其有利且便宜,因为它仅使用两个小尺寸的查找表。
优选地,该模块包含在电子设备中,诸如:TV机;移动设备;通信设备;游戏设备;平板;智能电话;膝上型机;相机;编码芯片;服务器。
根据一个一般方面,还提供一种方法以用于扩展低动态范围内容的动态范围,以针对具有特别高的峰值亮度的显示设备准备这样的内容。用于扩展图像的色彩的方法,其中色彩被表示在将亮度分量与色度分量分离的色彩空间中,包括对该亮度分量进行低通滤波,以及通过使用指数图以指数方式缩放所述低通滤波亮度分量来扩展用于所述亮度分量的值范围。然后获得扩展亮度值以表示图像在新HDR版本中的扩展色彩。这样的扩展色彩可以特别用于在具有较高的峰值亮度的显示设备上再现图像。
优选地,该方法还包括:
对所述亮度分量进行高通滤波,
使用细节图以指数方式缩放所述高通滤波亮度分量,
通过缩放的高通滤波亮度分量对所述缩放的低通滤波亮度分量进行加权。
然后获得扩展亮度值以表示图像在新HDR版本中的扩展色彩,其中细节被增强以补偿来自亮度分量的低通滤波的细节损失。
优选地,通过将所述亮度分量除以所述低通滤波亮度分量来获得所述高通滤波。
优选地,根据所述低通滤波亮度分量的指数函数来计算所述指数图,并且所述加权的缩放的低通滤波亮度分量是以下的乘积:
-使用所述指数函数并且还使用仅所述低通滤波亮度分量的第一细节函数以指数方式缩放的所述低通滤波亮度分量,以及
-使用仅所述亮度分量的第二细节函数以指数方式缩放的所述亮度分量。
该加权的缩放的低通滤波亮度分量的这样的定义对应于下面的主要实施例中的等式(15)。
有利地,该乘积的第一项仅涉及低通滤波亮度而不直接涉及亮度,并且该乘积的第二项则涉及亮度而不直接涉及低通滤波亮度。这样的优点允许仅使用两个分离的一维LUT来计算加权的缩放的低通滤波亮度分量,即扩展亮度。
优选地,该方法还包括:
通过色度扩展因子来扩展所述图像的至少一个色度分量的值范围。
在第一变型中,所述色度扩展因子对应于通过所述亮度分量归一化的所述扩展亮度分量。参见下面的主要实施例中的等式(6)和(7)。
在第二变型中,所述色度扩展因子是由通过所述亮度分量归一化的所述扩展亮度分量缩放的所述指数图的函数。参见下面的主要实施例中的等式(8)和(9)。
在第三优选变型中,所述色度扩展因子是所述指数图或所述低通滤波亮度分量的函数,所述函数由通过所述低通滤波亮度分量归一化的所述扩展亮度分量缩放。参见下面的主要实施例中的等式(10)和(11)。
本发明的目的还在于一种非临时性储存介质,其携带程序代码的指令以用于当所述程序在计算设备上执行时,执行以上色彩扩展方法的步骤。
本发明的目的还在于用于扩展图像的色彩的方法,其中色彩被表示在将亮度分量与色度分量分离的色彩空间中,包括:
-对该亮度分量进行低通滤波,
-通过计算仅所述低通滤波亮度分量的第一函数f(Ylow)与仅所述亮度的第二函数g(Y)的乘积来获得所述亮度分量的扩展值。
根据另一一般方面,提供一种装置以用于扩展低动态范围内容的动态范围,以针对具有特别高的峰值亮度的显示设备准备这样的内容。该装置包括对图像中的至少一个分量进行操作的低通滤波器,以及具有比低通滤波之前的至少一个图像分量更高的峰值亮度值的显示设备,从而扩展具有较低峰值亮度的图像中的至少一个分量的值范围。
根据另一一般方面,提供第二方法以用于扩展图像中的至少一个分量的值范围,以便在具有较高的峰值亮度的显示设备上再现所述图像。该方法包括,使用指数图以指数方式缩放低通滤波亮度分量,以及通过由亮度分量的函数以指数方式缩放的图像的亮度分量对缩放的低通滤波亮度分量进行加权。
根据另一一般方面,提供第三方法以用于扩展图像中的至少一个分量的值范围,以便在具有较高的峰值亮度的显示设备上再现所述图像。该方法包括第一方法的特征,并且还包括生成在单个像素基础上计算的指数图,以及计算增强图,其中增强图是亮度分量和低通滤波亮度分量的函数。上述扩展包括以指数方式对低通滤波亮度分量应用指数图,以及利用增强图缩放至少一个分量的扩展值范围。
根据另一一般方面,提供第二装置以用于扩展图像中的至少一个分量的值范围,以便在具有较高的峰值亮度的显示设备上再现所述图像。该装置包括第一查找表,其存储使用指数图以指数方式缩放的低通滤波亮度分量的值。该装置还包括第二查找表,其存储由缩放参数以指数方式缩放的亮度分量的值。该装置还包括第一乘法器,其组合第一和第二查找表的输出,第三查找表,其存储将被应用于低通滤波亮度分量的指数图,以及第二乘法器,其将色度分量与第三查找表的输出组合。该装置还包括第三乘法器,其将亮度分量与第一乘法器的输出组合,以生成扩展亮度分量。该装置还包括对每个色度分量进行操作的第四和第五乘法器,其将第一乘法器的输出与第二乘法器的输出组合,以生成扩展色度分量。
根据另一一般方面,提供第三装置以用于扩展图像中的至少一个分量的值范围,以便在具有较高的峰值亮度的显示设备上再现所述图像。该装置包括第一处理器,被配置为生成在单个像素基础上计算的指数图。该装置还包括第二处理器,被配置为计算增强图,其中增强图是亮度分量和低通滤波亮度分量的函数,并且还包括第三处理器,被配置为使用指数图以指数方式扩展低通滤波亮度分量,并利用增强图来缩放结果。
在附图和以下描述中阐述一个或多个实现方式的细节。即使以一个具体方式进行描述,但应清楚的是,可以以各种方式配置或实施实现方式。例如,实现方式可以作为方法来执行,或者作为装置来实施,诸如例如被配置为执行一组操作的装置或者存储用于执行一组操作的指令的装置,或者以信号来实施。根据结合附图和权利要求考虑的以下详细描述,其他方面和特征将变得明显。
附图说明
可以根据以下示例性附图更好地理解本原理,附图中:
图1示出了本原理的实现方式的一个实施例。
图2(a)示出了亮度分量和两个色度分量的处理的实现方式的一个实施例。
图2(b)示出了亮度分量和两个色度分量的处理的实现方式的另一个实施例。
图3(a)是图2(a)的实施例的修改版本。
图3(b)是图2(b)的实施例的修改版本。
图4示出了本原理下的方法的实施例。
图5示出了本原理下的方法的第二实施例。
图6示出了包括本原理下的色彩扩展装置的系统的实施例,其包括扩展图像的显示器。
图7示出了本原理下的色彩扩展装置的实施例,其关注于LUT和乘法器。
具体实施方式
如所提及的那样,为了增强图像中的明亮的局部特征,已知创建亮度扩展图,其中将图像的每个像素与应用于该像素的亮度的扩展值相关联。在最简单的情况下,可以检测图像中的裁剪区,并且然后使用陡峭扩展曲线来扩展;然而,这样的解决方案并不供应对图像外观的充分控制。
文献WO2015096955中给出了更可控的亮度扩展解决方案,其公开了基于对图像亮度应用指数的图像的亮度扩展,其中指数从图像亮度的低通滤波版本获得。然而,在目前的情况下,亮度指数扩展函数应用于图像亮度的低通滤波版本,而不是应用于图像亮度本身。由于应用于亮度的指数取决于图像亮度的低通滤波版本,于是扩展在全局上是仅一个变量(即图像亮度的低通滤波版本,使得Yexp=f(Ylow))而不是两个变量(亮度本身Y和亮度的低通滤波版本Ylow)的函数。特别地由于该差异,可以使用小尺寸查找表来有利地实现本发明,这使得其更适于硬件应用。
所描述的实施例指向用于扩展低动态范围内容的动态范围的方法和装置,特别指向针对具有高峰值亮度的显示设备准备这样的内容。
本扩展方法的目的是扩展图像I的色彩的亮度通道Y,以便获得这些色彩的扩展亮度Yexp
例如,可以通过将表示图像的色彩的数据变换到将色度与亮度分离的色彩空间(诸如YUV色彩空间)中,以本身已知的方式来获得要扩展(以及要加权-参见下面)的亮度通道Y。
为了获得扩展亮度Yexp,首先计算亮度Y的低通滤波版本,表示为Ylow。可以根据亮度Y的该低通滤波版本来计算每像素指数图E。另外,可以根据亮度Y的高通滤波版本来获得增强图Yenhance。该增强图Yenhance用作应用于中间扩展亮度的权重。亮度Y的这样的高通滤波版本优选地通过比较该亮度Y和低通滤波版本Ylow来获得,特别地通过将该亮度Y除以其低通滤波版本Ylow来获得。在中间扩展之后,该增强图Yenhance对图像中的颗粒和其他细节进行编码,并且可以用于恢复因低通滤波而丢失的细节并增强这样的细节的可见性。
通过将每像素指数E应用于低通版本Ylow得到中间扩展亮度,并最终将该中间扩展亮度乘以Yenhance,使得Yexp=(Ylow)ExYenhance,来获得最终扩展亮度Yexp,其中E从指数图获得。
为了重建扩展彩色图像Iexp的所有色彩分量,优先地根据Y与Yexp之间的关系,特别地根据比率Yexp/Y,来缩放图像I的色彩的色彩通道(chromatic channel)(例如U和V),相应地获得Uexp和Vexp
为了获得最终扩展图像,应用逆色彩空间变换,以从亮度-色度表示Yexp、Uexp和Vexp变换回到图像的原始色彩空间(例如,RGB)。
如下面关于等式(15)所解释的那样,特别地当指数图E被计算为Ylow的指数函数E(Ylow)时,以及特别地当通过将亮度Y除以Ylow来获得用于增强细节的亮度Y的高通滤波版本时,可以仅通过两个LUT来对扩展进行近似,这使硬件应用中的处理简化。下面参考LUT1和LUT2将其描述为替选实施例。
现在将关于以上亮度扩展方法给出更多细节。
为了计算亮度的低通版本Ylow,在一个实施例中,使用2维高斯滤波器来计算亮度的低通版本,其表示为Ylow。高斯滤波器的标准偏差σ可以设置为例如2的值,而核尺寸(kernel size)设置为小值,例如3×3、3×5、5×5等。
在另一实施例中,可以使用可分离高斯滤波器来计算亮度的低通版本,由此例如首先利用1D高斯滤波器对亮度Y的水平维度进行滤波,并且然后利用另一1D高斯滤波器在垂直维度中对其输出进行滤波。或者,可以反转顺序,使得首先进行垂直滤波,随后是水平滤波。
为了将指数图E计算为Ylow的指数函数,在一个特定但非限制性实施例中,使用以下处理。对于给定像素p,由以下等式给出指数E:
E=a(Ylow)2+bYlow+c=E(Ylow) (1)
其中参数a、b和c是根据我们用Lmax表示的扩展图像的最大期望输出亮度值来计算的。例如,Lmax可以设置为500尼特与2000尼特之间的值。
所有像素扩展指数值E(Ylow)是当它们与低通亮度值Ylow的每像素图组合时从每像素扩展指数图E(p)获得的。
为了计算增强图Yenhance,使用以下等式:
其中细节参数d可以例如设置为d=1.25。在该情况下,Yenhance是图像亮度Y和低通版本Ylow的函数。注意,比率对应于对亮度Y进行高通滤波的一种方式,其中通过将亮度分量除以低通滤波亮度分量来获得高通滤波。可以替代地使用其他已知的对亮度Y进行高通滤波的方式。
注意,可以将细节参数d像素映射到所谓的细节图中,该细节图因此用于以指数方式缩放高通滤波亮度分量。
最终,如下获得最终扩展亮度Yexp
通过用等式(2)的右边替代上面的Yenhance,我们也可以将等式(3)重新表示为:
在该等式(4)中,通过以指数方式缩放的高通滤波亮度分量对缩放的低通滤波亮度分量/>进行加权。
等式(4)可以写为如下:
注意,等式(3)、(4)和(5)在数学上是等同的。
图1示出了本原理的实现方式的一个实施例。
在遵循等式(3)、(4)、(5)获得最终扩展亮度Yexp之后,优选地相应扩展图像的色彩的色彩通道。在用于色彩的亮度-色度表示是YUV色彩空间的一个实施例中,由U和V给出输入的色彩通道。在特定且非限制性实施例中,可以如下获得它们的缩放对应物,表示为Uexp和Vexp
在等式(6)和(7)中,使用与通过所述亮度分量归一化的扩展亮度分量相对应的色度扩展因子来扩展色度分量。
为了增强图像的饱和度,可以根据取决于指数图E和/或取决于Ylow的参数E’来附加地缩放色彩通道。在该情况下,如下而不是使用等式(6)、(7)来计算扩展色彩通道Uexp和Vexp
最终,将色彩通道Uexp和Vexp与扩展亮度通道Yexp重新组合,以形成最终HDR图像的色彩。
图2(a)示出了亮度分量和两个色度分量的以上处理的实现方式的实施例,其中需要六个乘法器。图2(b)示出了如何反转彩度通道(chroma channel)中的乘法器的顺序可以实际上节省一个乘法器,因为使用单个乘法器来形成(Yexp/Y)E’,然后利用两个附加乘法器将其乘以每个彩度通道。
在另一实现方式中,如下而不是使用等式(8)、(9)来计算扩展色彩通道Uexp和Vexp
在等式(6)和(7)中,色度分量使用作为指数图或低通滤波亮度分量的函数的色度扩展因子来扩展,通过所述亮度分量归一化的所述扩展亮度分量来缩放。
图3(a)是图2(a)的修改版本,其被更新以遵循该实现方式。与图2(b)类似,图3(b)示出了如何反转彩度通道中的乘法器的顺序可以实际上节省一个乘法器,因为使用单个乘法器来形成(Yexp/Y)E,然后利用两个附加乘法器将其乘以每个彩度通道。
现在将描述特定实施例,其有利地允许仅从两个LUT计算扩展亮度Yexp,特别地当细节参数变化时。
在等式(5)中,细节参数d一方面以指数方式缩放Ylow,而另一方面Y可以设置为常数,例如像等式(2)中的1.25,或者可以根据Y和/或Ylow而变化。
例如,特别地当以指数方式缩放Ylow时,根据取决于Ylow的值的第一细节函数d1,细节参数可以如下变化:
其中,在第一实现方式中,d1min=1.3且d1max=1.5,以及,在第二实现方式中,d1min=1.4且d1max=1.8。
在不脱离本发明的情况下,可以设想其他实现方式,其中函数d1仅是Ylow的函数。
这意味着,在等式(5)中,特别地应用于Ylow的细节取决于Ylow
在等式(5)中,特别地当以指数方式缩放Y时,根据取决于Y的值的第二细节函数d2,细节参数可以例如如下变化:
其中在一个实现方式中,d2min=1.3且d2max=1.7。这意味着,在等式(4)中,特别地应用于Y的细节取决于Y。
在不脱离本发明的情况下,可以设想其他实现方式,其中d2仅是Y的函数。
使用细节函数d2(当它以指数方式缩放Y时取决于Y)和细节函数d1(当它以指数方式缩放Ylow时取决于Ylow),我们还可以将等式(1)、(2)和(3)重新表示为:
这与以下相同:
或者
其中函数d1()可以在应用于Ylow时遵循等式(12),并且函数d2()可以在应用于Y时遵循等式(13)。这意味着在等式(15)中,应用于Ylow的细节仅取决于Ylow,并且应用于Y的细节仅取决于Y。
注意,在所有以上等式中,细节函数d1和d2可以在Y或Ylow的函数中以非线性方式变化,而不是如上面在等式(12)和(13)中给出的特定示例中那样线性地变化。
如下面所解释的那样,利用当应用于指数影响的Ylow时取决于Ylow的第一细节函数d1()和当应用于指数影响的Y时取决于Y的第二细节函数d2(](如在上面的等式15和15’中那样)的亮度扩展方法的这样的实现方式尤其有利于使硬件所需的存储器大小最小化。在图2(a)和图2(b)上所示的这样的实现方式中,使用唯一变量的以下函数:
a)第一扩展函数其唯一地取决于Ylow
b)第二扩展函数g(Y)=Y(d2(Y)-1),其唯一地取决于Y
在图3(a)和图3(b)上所示的这样的另一实现方式中,使用唯一变量的以下函数:
a)第一扩展函数其唯一地取决于Ylow
b)第二扩展函数g′(Y)=Yd2(Y),其唯一地取决于Y。
图5示出了用于扩展图像的亮度分量的方法500的一个实施例。该方法始于开始框501,其提供亮度分量Y并且前进到用于对亮度分量进行低通滤波的框510。该方法还前进到框520,用于从块510提供的低通滤波亮度值生成指数图,其在每像素基础上被计算。控制从提供亮度的块501并且从提供低通滤波亮度的块510前进到用于生成增强图的块530,其中增强图是亮度分量和低通滤波亮度分量的函数(参见上面的等式2)。通过对来自块510的低通滤波亮度分量以指数方式应用来自块520的指数图,控制也从块510和块520前进以用于扩展图像分量值范围。从块540,控制前进到块550,用于使用从框530生成的增强图来对扩展图像分量值范围进行加权。
现在我们将详述以上亮度扩展方法的这样的实现方式如何可以在硬件需求中是有利的。
在低成本硬件应用中,函数(如指数函数)的复杂计算非常经常地被查找表(LUT)替代。这里,归功于根据等式(15)或(15’)的扩展亮度Yexp的新公式,可以有利地使用较简单的LUT架构来实现扩展方法,使用具有与仅取决于Ylow的第一扩展函数的预计算值相对应的输出值的第一LUT,以及具有与仅取决于Y的第二扩展函数的预计算值相对应的输出值的第二LUT。
在下面详述的这样的硬件实现方式中,第一LUT通过Ylow个条目寻址并嵌入Ylow的每个值(例如,在Ylow使用8位进行编码的情况下为0到255,导致具有255个数据的深度尺寸的LUT),例如第一扩展函数的计算结果:
f(x)=x(E(x)-d1(x)),其中x整数在[0..255]范围中而第二LUT通过Y个条目寻址并嵌入Y的每个值(例如,在Y使用8位进行编码的情况下为0到255,导致具有256个数据的深度尺寸的LUT),例如第二扩展函数的计算结果:
g(x)=x(d2(x)-1),其中x实数在[0..255]范围中
注意,替选地,可以使用具有多于8位的数据来寻址两个LUT,例如n=10位(Y和Ylow则为[0..1023]范围中的整数)。在该情况下,输入数据Y和Ylow被缩放以匹配嵌入式函数中使用的[0..255]范围:
x′=x*255/(2n-1)
f(x)=x(E(x′)-d1(x′)),其中x整数在[0..1023]范围中g(x)=x(d2(x)-1),其中x整数在[0..1023]范围中
在专用于硬件的本发明的第一实施例中,在图2(a)和图2(b)中描述的专用于亮度扩展的两个功能块(Ylow)E-d1、Yd2-1和专用于色度扩展的功能块E′被图7的查找表LUT1、LUT2和LUT3替代(参见下面)。在专用于硬件的本发明的第二实施例中,在图3(a)或图3(b)中描述的这三个功能块(Ylow)E-d1-1、Yd2和E′类似地被三个查找表替代。由于存储器大小也是选择硬件架构的重要准则,所以使用仅一个变量(分别为Ylow和Y)的两个分离的函数f(Ylow)和g(Y)的以上描述的亮度扩展方法(与现有技术中的两个变量Ylow和Y的一个函数(参见上面的等式4)相比)尤其良好适配于其中该函数被LUT替代的硬件应用,特别地因为与具有Ylow和Y个条目的一个LUT(在Ylow和Y都是8位数据的情况下的LUT中的64k个条目)相比,它允许显著减少LUT的所需存储器大小(在Ylow是8位数据的情况下的LUT1中的256个条目+在Y是8位数据的情况下的LUT1中的256个条目)。
如图2(a)、图2(b)、图3(a)和图3(b)以及特别地图7上所示,一旦完成低通滤波,则仅需要三个LUT和六个或五个乘法器来实现色彩扩展和细节恢复/增强。低通滤波步骤本身是硬件实现方式中已知的,并且可以以本身已知的方式来实现。参考这些图,三个LUT例如如下:
a)第一LUT-LUT1-提供用于具有仅基于一个变量Ylow的条目的第一扩展函数的值
b)第二LUT-LUT2-提供用于具有仅基于一个变量Y的条目的第二扩展函数的值
c)第三LUT-LUT 3-用于色度扩展,当通过Ylow寻址时提供E′
在本方法相对于现有方法的优点之中,本发明已被优化以易于在HW中实现并使用三个独立的小LUT。它可以使用具有合理孔径的2D可分离对称滤波器、少许查找表(图2(b)和图3(b)中仅3个)和少许乘法(图2(b)和图3(b)中仅5个)。
此外,使HW实现方式容易的主要促成者在于将动态扩展应用于“滤波亮度”而不是如WO2015096955中那样应用于亮度本身,同时保持相同的扩展因子E和相同的低通滤波亮度信号Ylow。因此,代替具有用于扩展亮度的两个不同变量(亮度和滤波亮度)的函数,本发明使用仅一个变量的两个函数,每个函数由具有小尺寸的一个LUT来实现,因为它只有一个变量条目。
为了在扩展之后保持相同质量,还修改了细节的锐化以恢复扩展滤波亮度的细节。该修改还使得可以降低用于计算最终扩展亮度的运算数量。
图4示出了用于实现本原理的方法400的一个实施例。该方法以开始框401起始,并前进到用于对图像的亮度分量进行低通滤波的框410。控制从框410前进到框420,用于扩展至少一个图像分量的色彩,以便通过使用低通滤波亮度产生HDR图像的扩展色彩,来在具有较高的峰值亮度的显示设备上再现图像。
图6示出了用于在具有比图像更高的峰值亮度值的显示器上再现图像的系统600的实施例。该系统包括对图像亮度分量进行操作的低通滤波器610。低通滤波器610的输出与处理器620的输入处于信号连接。处理器620扩展图像的色彩。处理器620的输出与显示器630的输入处于信号连接。显示器630显示图像的扩展色彩。
图7示出了用于扩展图像的色彩以便在具有较高的峰值亮度的显示设备上再现扩展图像的色彩扩展装置700的实施例。该装置包括低通滤波器(未示出但类似于图6上的标号610),存储如上所述的第一扩展函数的预计算值的第一查找表(LUT 1)710,存储如上所述的第二扩展函数的预计算值的第二查找表(LUT2)720,存储被定义为低通滤波亮度值的函数E’(Ylow)的色度扩展因子的预计算值的第三查找表(LUT 3)730,以及被配置为特别地实现如下定义的乘法器740、750、760、770和780的处理器(未示出但类似于图6上的标号620)。
LUT 710的输入是来自低通滤波器(未示出)的输出的低通滤波亮度分量。LUT 710存储函数的值,即使用指数函数E(Ylow)和仅取决于低通滤波亮度分量的第一细节函数d1以指数方式缩放的低通滤波亮度分量的值。LUT 710的输出与第一乘法器740的一个输入处于信号连接。乘法器740的另一个输入来自第二查找表(LUT 2)720的输出。LUT 720的输入是图像的亮度分量。LUT 720存储函数g(Y)=Y(d2(T)-1)的值,即通过仅取决于亮度分量的第二细节函数d2以指数方式缩放的该亮度分量的值。乘法器740的输出被发送到另一乘法器760的第一输入。乘法器760的第二输入是图像的亮度分量。乘法器760的输出是图像的亮度分量的扩展值Yexp
还包括装置700,第三查找表(LUT3)730采取低通滤波亮度分量作为其输入。LUT730存储E’(E)值,即取决于适配于缩放色彩的色彩分量的另一指数函数E’(E)的值。LUT730的输出被发送到乘法器750的一个输入。乘法器750的第二输入是乘法器740的输出。乘法器750的输出然后被发送到乘法器770和乘法器780。相应的色度分量U、V被分别发送到乘法器770和乘法器780。色度分量可以在时间上多路复用,使得仅需要一个乘法器来将指数图应用于两个色度分量。乘法器770和780的输出是扩展色度分量,例如Uexp和Vexp
本描述说明了本原理。因此,将理解,本领域技术人员将能够想出各种布置,这些布置虽然未在此明确描述或示出,但是体现本原理并且因此包括在本原理内。
本领域技术人员将理解,在此展现的框图表示体现本原理的说明性电路的概念视图。类似地,将理解,任何流程图表、流程图、状态转换图、伪代码等表示可以基本上表示在计算机可读介质中并因此由计算机或处理器执行的各种处理,无论这样的计算机或处理器是否明确示出。
可以通过使用专用硬件以及能够与适当软件相关联地执行软件的硬件来提供图中所示的各种元件的功能。当由处理器提供时,该功能可以由单个专用处理器、由单个共享处理器或者由多个单独的处理器(其中的一些可以共享)来提供。此外,术语“处理器”或“控制器”的明确使用不应被解释为排他地指代能够执行软件的硬件,并且可以在没有限制的情况下隐含地包括数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)以及非易失性存储器。
还可以包括常规和/或定制的其他硬件。类似地,图中所示的任何切换仅仅是概念性的。它们的功能可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的交互来执行,或者甚至手动执行,具体技术可由实现者选择,如从上下文更特别理解的那样。
在据此的权利要求中,表达为用于执行指定功能的部件的任何元件旨在涵盖执行该功能的任何方式,包括例如a)执行该功能的电路元件的组合,或者b)任何形式的软件(因此包括固件、微代码等)与用于执行该软件的适当电路相结合以执行该功能。由这样的权利要求限定的本原理在于以下事实,即由各种所述部件提供的功能以权利要求所要求的方式组合和集合在一起。因此认为可以提供那功能的任何部件都等同于在此所示的那些部件。
说明书中对本原理的“一个实施例”或“实施例”及其其他变型的引用意指结合实施例描述的具体特征、结构、特性等包括在本原理的至少一个实施例中。因此,在整个说明书各处出现的短语“在一个实施例中”或“在实施例中”以及任何其他变型的出现不一定都指代相同的实施例。
基于在此的教导,相关领域普通技术人员可以容易地明确本原理的这些和其他特征和优点。要理解,可以以各种形式的硬件、软件、固件、专用处理器或其组合来实现本原理的教导。
最优选地,将本原理的教导实现为硬件和软件的组合。此外,可以将软件实现为有形地体现在程序储存单元上的应用程序。可以将应用程序上载到包括任何适当架构的机器并由其执行。优选地,将该机器实现在具有诸如一个或多个中央处理单元(“CPU”)、随机存取存储器(“RAM”)和输入/输出(“I/O”)接口之类的硬件的计算机平台上。计算机平台还可以包括操作系统和微指令代码。在此描述的各种处理和功能可以是微指令代码的一部分或应用程序的一部分,或者它们的任何组合,其可以由CPU执行。另外,各种其他外围单元可以连接到计算机平台,诸如附加数据储存单元和打印单元。
还要理解,因为附图中描绘的一些组成系统组件和方法优选地以软件来实现,所以系统组件或处理功能块之间的实际连接可以根据本原理被编程的方式而不同。给出在此的教导,相关领域普通技术人员将能够想到本原理的这些和类似的实现方式或配置。
尽管在此已经参考附图描述了说明性实施例,但是要理解,本原理不限于那些精确的实施例,并且相关领域普通技术人员可以在其中实施各种改变和修改而不脱离本原理的范围。所有这样的改变和修改旨在包括在所附权利要求中阐述的本原理的范围内。

Claims (11)

1.一种用于扩展图像的色彩的动态范围的色彩动态范围扩展模块(700),其中所述色彩被表示在将亮度分量与色度分量分离的色彩空间中,包括:
低通滤波器,用于对所述亮度分量进行低通滤波,
第一查找表(710),存储仅低通滤波亮度值的第一扩展函数的预计算值,
第二查找表(720),存储仅亮度值的第二扩展函数的预计算值,
第三查找表(730),存储仅低通滤波亮度值的第三扩展函数的预计算值,
处理器,被配置为:
将与要扩展的色彩的输入亮度值相对应的所述第二查找表的输出乘以(740)与和所述输入亮度值相关联的输入低通滤波亮度值相对应的所述第一查找表的输出,以获得第一结果,以及将所述第一结果进一步乘以(760)所述输入亮度值,以获得扩展亮度分量,以及
将所述第一结果乘以(750)与所述低通滤波亮度值相对应的所述第三查找表的输出,以获得第二结果,以及将所述第二结果进一步乘以(770,780)色度分量值,以获得扩展色度分量。
2.根据权利要求1所述的色彩动态范围扩展模块,其中所述第一扩展函数被定义为使用指数函数和第一细节函数d1(Ylow)以指数方式缩放的所述低通滤波亮度分量,指数函数和第一细节函数d1(Ylow)二者本身是仅所述低通滤波亮度分量的函数。
3.根据权利要求1或2所述的色彩动态范围扩展模块,其中所述第二扩展函数被定义为使用第二细节函数d2(Y)以指数方式缩放的所述亮度分量,第二细节函数d2(Y)本身是仅所述亮度分量的函数。
4.根据权利要求1或2所述的色彩动态范围扩展模块,其中所述第三扩展函数被定义为低通滤波亮度分量的函数。
5.一种电子设备,其包含根据权利要求1至4中任一项所述的色彩动态范围扩展模块。
6.根据权利要求5所述的电子设备,其中,所述电子设备选自包括以下的组:TV机;移动设备;通信设备;游戏设备;平板;智能电话;膝上型机;相机;编码芯片;服务器。
7.一种用于扩展图像的色彩的动态范围的方法,其中所述色彩被表示在将亮度分量与色度分量分离的色彩空间中,包括:
对所述亮度分量进行低通滤波,
获得存储仅低通滤波亮度值的第一扩展函数的预计算值的第一查找表(710)、存储仅亮度值的第二扩展函数的预计算值的第二查找表(720)、以及存储仅低通滤波亮度值的第三扩展函数的预计算值的第三查找表(730),
将与要扩展的色彩的输入亮度值相对应的所述第二查找表的输出乘以(740)与和所述输入亮度值相关联的输入低通滤波亮度值相对应的所述第一查找表的输出,以获得第一结果,以及将所述第一结果进一步乘以(760)所述输入亮度值,以获得扩展亮度分量,以及
将所述第一结果乘以(750)与所述低通滤波亮度值相对应的所述第三查找表的输出,以获得第二结果,以及将所述第二结果进一步乘以(770,780)色度分量值,以获得扩展色度分量。
8.根据权利要求7所述的方法,其中所述第一扩展函数被定义为使用指数函数和第一细节函数d1(Ylow)以指数方式缩放的所述低通滤波亮度分量,指数函数和第一细节函数d1(Ylow)二者本身是仅所述低通滤波亮度分量的函数。
9.根据权利要求7或8所述的方法,其中所述第二扩展函数被定义为使用第二细节函数d2(Y)以指数方式缩放的所述亮度分量,第二细节函数d2(Y)本身是仅所述亮度分量的函数。
10.根据权利要求7或8所述的方法,其中所述第三扩展函数被定义为低通滤波亮度分量的函数。
11.一种非临时性储存介质,其携带程序代码的指令以用于当所述程序在计算设备上执行时,执行根据权利要求7至10之一所述的方法的步骤。
CN201780027656.4A 2016-05-04 2017-01-20 用于扩展图像的色彩的低成本色彩扩展模块 Active CN109416831B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EPPCT/EP2016/060081 2016-05-04
PCT/EP2016/060081 WO2017190786A1 (en) 2016-05-04 2016-05-04 Optimized content-adaptive inverse tone mapping for low to high dynamic range conversion
PCT/EP2017/051178 WO2017190850A1 (en) 2016-05-04 2017-01-20 Low cost color expansion module for expanding colors of an image

Publications (2)

Publication Number Publication Date
CN109416831A CN109416831A (zh) 2019-03-01
CN109416831B true CN109416831B (zh) 2023-07-25

Family

ID=57868255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780027656.4A Active CN109416831B (zh) 2016-05-04 2017-01-20 用于扩展图像的色彩的低成本色彩扩展模块

Country Status (6)

Country Link
US (1) US10733712B2 (zh)
EP (1) EP3452979B1 (zh)
JP (1) JP6849696B2 (zh)
KR (2) KR20190035602A (zh)
CN (1) CN109416831B (zh)
WO (2) WO2017190786A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3249605A1 (en) * 2016-05-23 2017-11-29 Thomson Licensing Inverse tone mapping method and corresponding device
EP3418972A1 (en) 2017-06-23 2018-12-26 Thomson Licensing Method for tone adapting an image to a target peak luminance lt of a target display device
CN108305227A (zh) * 2018-01-23 2018-07-20 中国航空工业集团公司洛阳电光设备研究所 一种对比度不变的图像低亮度区域增强亮度的方法
EP3839876A1 (en) 2019-12-20 2021-06-23 Fondation B-COM Method for converting an image and corresponding device
US20230370646A1 (en) * 2020-10-02 2023-11-16 Dolby Laboratories Licensing Corporation Adaptive local reshaping for sdr-to-hdr up-conversion
EP4068197A1 (en) * 2021-03-30 2022-10-05 Beijing Xiaomi Mobile Software Co., Ltd. Method for image processing
KR102564447B1 (ko) * 2021-11-30 2023-08-08 엘지전자 주식회사 디스플레이 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8285040B1 (en) * 2008-12-09 2012-10-09 Csr Technology Inc. Method and apparatus for adaptive contrast enhancement of image data
CN104463820A (zh) * 2014-10-29 2015-03-25 广东工业大学 一种基于频域的反色调映射算法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5005074A (en) * 1989-11-17 1991-04-02 Rca Licensing Corporation Adaptive multistandard video comb filter
JP2002044679A (ja) * 2000-07-21 2002-02-08 Olympus Optical Co Ltd 映像信号処理回路
US7773158B2 (en) * 2005-10-12 2010-08-10 Panasonic Corporation Visual processing device, display device, and integrated circuit
JP5457652B2 (ja) * 2008-09-01 2014-04-02 キヤノン株式会社 画像処理装置およびその方法
JP6461165B2 (ja) 2013-12-27 2019-01-30 トムソン ライセンシングThomson Licensing 画像の逆トーンマッピングの方法
KR101749229B1 (ko) * 2014-12-22 2017-06-20 엘지디스플레이 주식회사 화상 표시 방법 및 화상 표시 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8285040B1 (en) * 2008-12-09 2012-10-09 Csr Technology Inc. Method and apparatus for adaptive contrast enhancement of image data
CN104463820A (zh) * 2014-10-29 2015-03-25 广东工业大学 一种基于频域的反色调映射算法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
High-Quality Brightness Enhancement Functions for Real-Time Reverse Tone Mapping;Rafael Pacheco Kovaleski等;《Visual computer》;20091231;第1-8页 *

Also Published As

Publication number Publication date
US10733712B2 (en) 2020-08-04
KR20190035602A (ko) 2019-04-03
JP2019518359A (ja) 2019-06-27
WO2017190850A1 (en) 2017-11-09
EP3452979A1 (en) 2019-03-13
EP3452979B1 (en) 2022-10-19
KR20240001264A (ko) 2024-01-03
CN109416831A (zh) 2019-03-01
JP6849696B2 (ja) 2021-03-24
US20190147572A1 (en) 2019-05-16
WO2017190786A1 (en) 2017-11-09

Similar Documents

Publication Publication Date Title
CN109416831B (zh) 用于扩展图像的色彩的低成本色彩扩展模块
KR102234092B1 (ko) 이미지의 역 톤 매핑을 위한 방법
EP2076013B1 (en) Method of high dynamic range compression
KR102523505B1 (ko) 역 톤 매핑을 위한 방법 및 장치
JP5392560B2 (ja) 画像処理装置および画像処理方法
JPH08251432A (ja) 実時間画像強調技法
CN110706162A (zh) 一种图像处理方法、装置及计算机存储介质
JP6771977B2 (ja) 画像処理装置および画像処理方法、プログラム
JP4375325B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2017103569A (ja) 画像処理装置および画像処理方法
CN113132696A (zh) 图像色调映射方法、装置、电子设备和存储介质
Marsi et al. Video enhancement and dynamic range control of HDR sequences for automotive applications
CN111462158A (zh) 一种图像处理方法、装置及智能设备、存储介质
JP6335614B2 (ja) 画像処理装置、その制御方法、及びプログラム
JP5365881B2 (ja) 画像処理装置、画像処理方法
KR20220011068A (ko) 이미지를 처리하기 위한 방법 및 장치
JP2009017336A (ja) 撮像装置及び撮像システム
CN113724144A (zh) 一种图像处理方法及终端设备上的图像信号处理器
JP7507554B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
CN111583104B (zh) 光斑虚化方法及装置、存储介质、计算机设备
CN111915528B (zh) 一种图像增亮方法、装置、移动终端和存储介质
US20220318966A1 (en) Method and device for image processing, and storage medium
TWI533708B (zh) 影像增強處理方法及影像處理裝置
CN115147290A (zh) 图像处理方法、设备和存储介质
CN115187477A (zh) 一种基于色调映射的高动态范围图像的处理装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant