CN112585969A - 经由自适应的sdr-hdr整形函数减少hdr成像中的条带伪影 - Google Patents

经由自适应的sdr-hdr整形函数减少hdr成像中的条带伪影 Download PDF

Info

Publication number
CN112585969A
CN112585969A CN201980053583.5A CN201980053583A CN112585969A CN 112585969 A CN112585969 A CN 112585969A CN 201980053583 A CN201980053583 A CN 201980053583A CN 112585969 A CN112585969 A CN 112585969A
Authority
CN
China
Prior art keywords
range
bin
shaping function
input
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980053583.5A
Other languages
English (en)
Other versions
CN112585969B (zh
Inventor
N·J·加德吉尔
苏冠铭
朱强
宋青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN112585969A publication Critical patent/CN112585969A/zh
Application granted granted Critical
Publication of CN112585969B publication Critical patent/CN112585969B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98Adaptive-dynamic-range coding [ADRC]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20072Graph-based image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

描述了用于在显示高动态范围图像时减少条带伪影的方法和系统。给出第一动态范围中的输入图像以及将码字从所述第一动态范围映射到第二动态范围的输入后向整形函数,其中,所述第二动态范围等于或高于所述第一动态范围,生成基于所述输入图像和所述输入后向整形函数的统计数据,以估计通过将所述输入后向整形函数应用于所述输入图像而生成的所述第二动态范围中的目标图像中的条带伪影的风险。将单独的条带减轻算法应用于所述第一动态范围的暗色部分和高光部分以生成经修改的后向整形函数,当所述经修改的后向整形函数被应用于所述输入图像以生成所述目标图像时,消除或减少了所述目标图像中的条带。

Description

经由自适应的SDR-HDR整形函数减少HDR成像中的条带伪影
相关申请的交叉引用
本申请要求于2018年8月10日提交的美国临时专利申请号62/717,070和2018年8月10日提交的欧洲专利申请号18188468.5的优先权,所述专利申请中的每一个均通过援引以其全文特此并入。
技术领域
本文件总体上涉及图像。更具体地,本发明的实施例涉及经由适当适配标准动态范围(SDR)-高动态范围(HDR)整形函数(reshaping function)来减少重构的HDR图像中的条带伪影。
背景技术
如本文所使用的,术语“动态范围(DR)”可以涉及人类视觉系统(HVS)感知图像中的强度(例如,光亮度(luminance)、亮度(luma))范围的能力,所述强度范围例如是从最暗的灰色(黑色)到最亮的白色(高光)。从这个意义上说,DR与“参考场景的(scene-referred)”强度有关。DR还可以涉及显示设备充分地或近似地渲染特定广度(breadth)的强度范围的能力。从这个意义上说,DR与“参考显示的(display-referred)”强度有关。除非在本文的描述中的任何一点明确指定特定的意义具有特定的意思,否则应推断为所述术语可以在任一意义上例如可互换地使用。
如本文所使用的,术语“高动态范围(HDR)”涉及跨越人类视觉系统(HVS)的14到15个数量级的DR广度。实际上,相对于HDR,人类可以同时感知强度范围中的广泛广度的DR可能会被稍微截短。如本文所使用的,术语“视觉动态范围(VDR)或增强动态范围(EDR)”可以单独地或可互换地与这种DR相关:所述DR可在场景或图像内由包括眼运动的人类视觉系统(HVS)感知,允许场景或图像上的一些光适性变化。如本文所使用的,VDR可以涉及跨越5到6个数量级的DR。因此,虽然相对于真实场景参考的HDR可能稍微窄一些,但VDR或EDR可以代表宽DR广度并且也可以被称为HDR。
实际上,图像包括一个或多个颜色分量(例如,亮度Y以及色度Cb和Cr),其中每个颜色分量由每像素n位的精度表示(例如,n=8)。使用线性光亮度编码,其中n≤8的图像(例如,彩色24位JPEG图像)被视为标准动态范围的图像,而其中n>8的图像可以被视为增强动态范围的图像。HDR图像还可以使用高精度(例如,16位)浮点格式来存储和分布,如由工业光魔公司(Industrial Light and Magic)开发的OpenEXR文档格式。
大多数消费者桌面显示器目前支持200到300cd/m2或尼特的光亮度。大多数消费者HDTV的范围从300到500尼特,其中,新型号达到1000尼特(cd/m2)。因此,这样的传统显示器代表了相对于HDR的较低动态范围(LDR),也被称为标准动态范围(SDR)。随着HDR内容的可用性由于捕获设备(例如,相机)和HDR显示器(例如,杜比实验室的PRM-4200专业参考监视器)二者的发展而增加,HDR内容可以被颜色分级并被显示在支持更高动态范围(例如,从1,000尼特到5,000尼特或更高)的HDR显示器上。
在传统的图像流水线中,使用非线性的光-电函数(OETF)来量化所捕获的图像,所述非线性的光-电函数将线性场景光转换为非线性视频信号(例如,伽马编码的RGB或YCbCr)。然后,信号在被显示在显示器上之前在接收器上通过电-光传递函数(EOTF)来处理,所述电-光传递函数将视频信号值转化成输出屏幕颜色值。这种非线性函数包括ITU-RRec.BT.709和BT.2020中记载的传统“伽马”曲线、SMPTE ST 2084中描述的“PQ”(感知量化)曲线以及Rec.ITU-R BT.2100中描述的“混合对数伽马(HybridLog-gamma)”或“HLG”曲线。
如本文所使用的,术语“前向整形(forward reshaping)”表示这样的样本到样本映射或码字到码字映射的过程:即数字图像从其原始位深度和原始码字分布或表示(例如,伽马或PQ或HLG等)到相同或不同位深度和不同码字分布或表示的图像。整形允许以固定的比特率改善可压缩性或改善图像质量。例如,非限制性地,可以将整形应用于10位或12位PQ编码的HDR视频,以提高10位视频编码架构中的编码效率。在接收器中,在对接收到的信号(可能或可能不被整形)进行解压缩之后,接收器可以应用“逆向(或后向)整形(inversereshaping或backward reshaping)函数”以将信号恢复为其原始的码字分布和/或实现更高的动态范围。
如本文所使用的,术语“条带”(也被称为“色带”)是指成像和视频中的视觉伪影,其中,相同颜色的阴影被显示为光亮度变化的条带。当可见时,条带在视觉上很烦人,并且经常被认为是低质量编码或低质量显示的指示。如诸位发明人在此所理解的,期望用于在显示视频内容(尤其是HDR内容)时减少条带的改进技术。
在本节中描述的方法是可以追寻的方法,但不一定是之前已经设想到或追寻的方法。因此,除非另有指明,否则不应认为本节中所述的任何方法仅凭其纳入本节就可称为现有技术。类似地,除非另有表示,否则关于一种或多种方法所认定的问题不应基于本节而认为在任何现有技术中被认定。
附图说明
在附图中以举例而非限制的方式来图示本发明的实施例,并且其中类似的附图标记指代类似的元件,并且在附图中:
图1A描绘了根据本发明的实施例的使用整形函数的用于HDR数据的示例单层编码器;
图1B描绘了根据本发明的实施例的与图1A的编码器相对应的示例HDR解码器;
图2描绘了根据本发明的实施例的用于减少条带伪影的示例过程;
图3描绘了根据本发明的实施例的用于得到与减少条带伪影有关的参数的示例过程;
图4描绘了根据本发明的实施例的用于减轻暗色区域中的条带的示例过程;
图5描绘了根据本发明的实施例的用于减轻高光区域中的条带的示例过程;
图6A描绘了根据本发明的实施例的用于减少暗色中的条带的原始BLUT和经修改的BLUT的示例;以及
图6B描绘了根据本发明的实施例的用于减少高光中的条带的原始BLUT和经修改的BLUT的示例。
具体实施方式
本文描述了通过适当地适配整形图像映射函数来减少HDR图像和视频内容中的条带伪影。给出SDR图像和后向整形函数,得到更新的整形函数,使得通过将更新的整形函数应用于输入图像而生成的输出HDR图像具有减少的条带伪影或没有条带伪影。在以下说明中,出于解释的目的,阐述了许多具体细节以便提供对本发明的各种实施例的透彻理解。然而,显而易见的是,可以在没有这些具体细节的情况下实践本发明的各种实施例。在其他实例中,众所周知的结构和设备没有详尽描述。
概述
本文描述的示例实施例涉及减少HDR图片中的条带伪影。在实施例中,编码器或解码器接收输入后向整形函数,所述输入后向整形函数将码字从第一动态范围映射到第二动态范围,其中,所述第二动态范围等于或高于所述第一动态范围。所述编码器或解码器还接收所述第一动态范围中的输入图像。所述编码器或解码器基于所述输入图像和所述输入后向整形函数生成统计数据,以估计所述第二动态范围中的目标图像中的条带伪影的风险,其中,所述目标图像是通过将所述输入后向整形函数应用于所述输入图像而生成的。所述编码器或解码器将所述第一动态范围划分为暗色范围和高光范围,并且基于所述统计数据估计所述暗色范围中的条带风险和所述高光范围中的条带风险。条带风险值代表所述暗色范围中的仓(bin)和所述高光范围中的仓具有条带伪影的可能性。条带风险值是根据第一值与第二值之间的差来计算的。所述第一值是根据用于在没有条带伪影的情况下重构所述目标图像的码字数量并根据所述统计数据来计算的。所述第二值是根据所述第二动态范围中的仓的经分配的码字数量来计算的。所述方法包括通过以下方式生成输出后向整形函数:针对所述暗色范围和/或高光范围中的所述差为正的码字仓,调整所述输入后向整形函数的斜率,以减少所述目标图像中的所述条带伪影;以及针对所述暗色范围和/或高光范围中的所述差不为正的其余码字仓,补偿所述输入后向整形函数的经调整的斜率,以在所述目标图像中保持所述第二动态范围。
所述方法进一步包括用所述输出后向整形函数替换所述输入后向整形函数。当将输出后向整形函数应用于所述输入图像时,生成的输出图像(即目标图像)具有减少的条带伪影或没有条带伪影。
所述方法可以在编码器或解码器侧执行。例如,可以在编码器或解码器侧生成输出后向整形函数。
当在编码器中执行所述方法时,可以将输出后向整形函数发送到解码器(例如,通过元数据的比特流)。当在解码器中执行所述方法时,可以在解码器处直接使用输出后向整形函数以在解码器侧重构目标图像。
可以在对数据进行编码之前应用输入后向整形函数以例如获得经编码的目标图像。例如,可以在对数据进行解码之后应用输出后向整形函数以获得条带伪影减少的经解码的目标图像。
在实施例中,生成所述输出后向整形函数涉及应用暗色条带减轻函数和/或高光条带减轻函数以基于所述统计数据和所述输入后向整形函数来生成输出后向整形函数。
在实施例中,如果所述目标图像的全范围中的所述差为正,则生成所述输出后向整形函数。
在实施例中,如果所述目标图像的全范围中的所述差不为正,则跳过生成所述输出后向整形函数的步骤。
在实施例中,基于所述输入图像和所述输入后向整形函数生成统计数据包括:通过计算所述输入图像中的光亮度值的标准偏差、并且基于所述输入后向整形函数计算所述第二动态范围中的对应光亮度标准偏差值(或方差值),来生成所述目标图像中的光亮度标准偏差值(或方差值)的估计值。
在实施例中,所述光亮度值按仓进行分组,并且针对每个仓计算所述标准偏差。
在实施例中,计算所述输入图像中的光亮度值的标准偏差包括:计算所述输入图像中的光亮度值的直方图;将所述输入图像划分为非重叠块;针对所述图像块中的一个或多个图像块计算所述光亮度值的基于块的标准偏差;基于所述基于块的标准偏差计算所述第一动态范围中的每个仓的基于仓的标准偏差值(或方差值);基于所述光亮度值的直方图和所述基于仓的标准偏差值(或方差值)计算每个仓的归一化的基于仓的标准偏差值(或方差值)。
在实施例中,基于所述输入后向整形函数计算所述第二动态范围中的对应标准偏差值(或方差值)包括:对于所述第一动态范围中的每个仓,基于所述输入后向整形函数计算所述仓在所述第二动态范围中的归一化范围;以及通过基于所述仓在所述第二动态范围中的归一化范围缩放所述归一化的基于仓的标准偏差值(或方差值)来生成所述第二动态范围中的重构图像中的光亮度标准偏差值(或方差值)的基于仓的估计值。
在实施例中,调整所述输入后向整形函数在所述高光范围中的斜率包括:基于所述高光范围中的具有正差的更小的仓值确定所述高光范围内的减轻范围的起始值;以及调整现有后向整形函数在所述减轻范围内的斜率。
在实施例中,补偿所述输入后向整形函数在所述高光范围中的经调整的斜率包括:确定由于调整所述现有后向整形函数在所述减轻范围中的斜率而产生的明亮度损失值;确定恢复范围的起始值,所述恢复范围跨越所述第一动态范围中的介于所述第一动态范围的起始值与所述减轻范围的起始值之间的仓;基于所述明亮度损失值确定用于明亮度保持的多项式;以及基于所述用于明亮度保持的多项式调整所述现有后向整形函数在所述恢复范围内的斜率。
在实施例中,如果所述输入后向整形函数在所述暗色范围中的斜率没有被调整,则所述现有后向整形函数包括所述输入后向整形函数,否则,所述现有后向整形函数包括针对所述暗色范围中的码字仓生成的所述输出后向整形函数。
示例HDR编码系统
如通过援引以其全文并入本文的于2017年10月4日提交的并且作为美国专利申请公开U.S.2018/0098094公布的B.Wen等人的名称为“具有直方图传递和近似的逆亮度/色度映射(Inverse luma/chroma mappings with histogram transfer and approximation)”的美国专利申请序列号15/725,101(“101申请”)中所描述的,图1A和图1B图示了使用图像整形的示例的单层逆向显示管理(SLiDM)编解码器框架。更具体地,图1A图示了示例的编码器侧编解码器架构,其可以用上游视频编码器中的一个或多个计算处理器来实施。图1B图示了示例的解码器侧编解码器架构,其也可以用一个或多个下游视频解码器中的一个或多个计算处理器来实施。
在此框架下,SDR内容(117)由实施编码器侧编解码器架构的上游编码设备在经编码的视频信号(144)的单个层中编码和传输。SDR内容由实施解码器侧编解码器架构的下游解码设备在视频信号的单个层中接收和解码。后向整形元数据(152)也和SDR内容一起在视频信号中编码和传输,使得HDR显示设备可以基于SDR内容和后向整形元数据来重构HDR内容。
在一些实施例中,如图1A所图示的,如SDR图像(117)的后向兼容的SDR图像在编解码器框架的编码器侧作为输入被接收。在此,“后向兼容的SDR图像”可以指针对SDR显示器专门优化或颜色分级的SDR图像。
压缩块142(例如,根据如AVC、HEVC、AV1等任何已知视频编码算法实施的编码器)将SDR图像(117)压缩/编码到视频信号的单个层144中。通过图示而非限制的方式,使用逆动态范围映射(DM)模块146(其可以代表SDR到HDR转换工具)将SDR图像(117)转换为参考HDR图像148。在一些实施例中,逆DM模块也可以称为逆色调映射工具。在一些实施例中,取代将SDR图像(117)转换为目标HDR图像(148),可以直接从用于得到SDR图像(117)的相同的源/输入视频内容(未示出)得到HDR内容(148)。
无论目标HDR图像(148)是否是从SDR图像(117)得到的,后向整形函数发生器150都接收SDR图像(117)和参考HDR图像(148)两者作为输入,执行优化以找出最佳后向整形函数,使得通过利用最佳后向整形函数对SDR图像(117)进行后向整形而生成的经后向整形的图像尽可能地接近参考HDR图像(148)。最佳后向整形函数可以用后向整形元数据152代表或指定。
代表/指定最佳后向整形函数的后向整形元数据的示例可以包括但不一定仅限于以下各项中任何一项:逆色调映射函数、逆亮度映射函数、逆色度映射函数、查找表(LUT)、多项式、逆DM系数/参数等。在各种实施例中,亮度后向整形函数和色度后向整形函数可以联合地或单独地得到/优化,可以使用累积分布函数(CDF)直方图近似/传递技术得到,并且可以使用如‘101申请’和/或于2018年6月13日提交的N.J.Gadgil等人的名称为“高效的端到端单个层逆向显示管理编码(Efficient end-to-end single layer inverse displaymanagement coding)”的PCT申请序列号PCT/US 2018/037313中所描述的各种技术得到,所述申请通过援引以其全文并入本文。
由后向整形函数发生器(150)基于SDR图像(117)和目标HDR图像(148)生成的后向整形元数据(152)可以作为视频信号144的一部分被复用。
在一些实施例中,后向整形元数据(152)作为整个图像元数据的一部分被携带在视频信号中,其被单独携带在视频信号中,与其中将SDR图像编码在视频信号中的单个层分开。例如,后向整形元数据(152)可以被编码在编码比特流中的分量流中,所述分量流可以与或可以不与其中SDR图像(117)被编码的单个层(编码比特流的)分开。
因此,可以在编码器侧生成或预生成后向整形元数据(152),以利用在编码器侧可获得的强大的计算资源和离线编码流程(包括但不限于内容自适应多行程、超前操作、逆亮度映射、逆色度映射、基于CDF的直方图近似和/或传递等)。
图1A的编码器侧架构可以用于避免将目标HDR图像(148)直接编码为视频信号中的经编码/压缩的HDR图像;相反,视频信号中的后向整形元数据(152)可以用于使下游解码设备能够将SDR图像(117)(在视频信号中被编码的)后向整形为与参考HDR图像(148)相同或接近近似/最佳近似的重构图像。
在一些实施例中,如图1B所图示的,SDR图像(117)被编码在单个层(144)中的视频信号和作为整个图像元数据的一部分的后向整形元数据(152)在编解码器框架的解码器侧作为输入被接收。解压缩块154将视频信号的单个层(144)中的经压缩的视频数据解压缩/解码成经解码的SDR图像(156)。解压缩154通常对应于压缩142的逆向。经解码的SDR图像(156)可以与SDR图像(117)相同,经受压缩块(142)和解压缩块(154)中的量化误差,这可能已经针对SDR显示设备进行了优化。经解码的SDR图像(156)可以以输出SDR视频信号的形式输出(例如,通过HDMI接口、通过视频链路等)以在SDR显示设备上渲染。
另外,后向整形块158从输入的视频信号中提取后向整形元数据(152),基于后向整形元数据(152)来构造最佳后向整形函数,并且基于最佳后向整形函数对经解码的SDR图像(156)执行后向整形操作以生成经后向整形的图像(160)(或重构的HDR图像)。在一些实施例中,经后向整形的图像代表与参考HDR图像(148)相同或接近近似/最佳近似的生产质量的或接近生产质量的HDR图像。经后向整形的图像(160)可以以输出HDR视频信号的形式输出(例如,通过HDMI接口、通过视频链路等)以在HDR显示设备上渲染。
在一些实施例中,作为在HDR显示设备上渲染经后向整形的图像(160)的HDR图像渲染操作的一部分,可以对经后向整形的图像(160)执行特定于HDR显示设备的显示管理操作。
用于减少条带伪影的示例系统
图2描绘了根据实施例的用于减少条带伪影的示例数据流(200)。如图2所描绘的,此工作流的输入是SDR图像(202)(例如,输入的视频序列117的一部分)和参考后向查找表(BLUT)或后向整形函数204(例如,根据之前描述的框150所设计的)。所述过程将构造新的BLUT(227),当将所述新的BLUT(227)应用于解码器中的SDR数据(例如,参见图1B)时,所述新的BLUT(227)将减少所得HDR图像中的条带。
所提出的方法与任何有效的参考BLUT配合使用,其被设计成应用于SDR图像以产生HDR输出。例如,有效的BLUT的一个条件要求整形函数必须单调非递减。因此,所提出的方法不关乎用于生成参考BLUT(204)的方法。
如果用动态范围比目标HDR图像(例如,HDR图像160)低的VDR或HDR图像来取代输入的SDR图像(202),则所提出的方法也将起作用。
令IS为输入SDR图像,其具有sbits位深度的P个亮度像素。SDR码字的总数量通过
Figure BDA0002941439580000084
给出。令此亮度码字空间被划分为NL个仓(bin)(例如,NL=64),每个仓中包含相同数量的码字。令
Figure BDA0002941439580000081
为仓b中的最小和最大SDR码字。应注意,除了最后一个仓,对于所有仓,
Figure BDA0002941439580000085
令TREF为Is的参考后向查找表(BLUT)。应注意,非限制性地,TREF指定从SDR码字到其对应的归一化的(0与1之间)HDR码字的参考映射。在此文件中,s表示码字索引,并且b表示仓索引。
统计数据收集
在框205处,从SDR输入(202)和输入BLUT(204)或TREF收集统计数据,如下所示。
a)计算
Figure BDA0002941439580000082
即SDR输入的亮度直方图。
Figure BDA0002941439580000083
表示Is中的第i个亮度像素的介于0与1之间的归一化值,然后表1以伪代码形式提供了示例直方图实施方式:
表1:输入SDR直方图计算
Figure BDA0002941439580000091
b)计算
Figure BDA0002941439580000092
即NL个亮度仓中的SDR标准偏差的基于块的度量。
令包含P个像素的图像Is由具有wB×wB个亮度像素(例如,wB=4)的非重叠方块构成。总计,输入图像中存在
Figure BDA0002941439580000093
个非重叠块。对于图像的水平或竖直尺寸不能被wB整除的图像,当以光栅扫描顺序扫描图像时,可以排除其分数像素块。例如,可以排除最右列和/或最底行的分数块。令
Figure BDA0002941439580000094
为IS的第j个非重叠块。令
Figure BDA0002941439580000095
为像素的第j个块中的介于0与1之间的第k个归一化亮度像素值。而且,令
Figure BDA0002941439580000096
为IS的NL仓的亮度直方图。令
Figure BDA0002941439580000097
Figure BDA0002941439580000098
Figure BDA0002941439580000099
的块亮度平均值和标准偏差:
Figure BDA00029414395800000910
Figure BDA00029414395800000911
给出NL个亮度仓,用于计算每个块
Figure BDA00029414395800000912
的统计数据(例如,平均值、方差或标准偏差)的示例算法描绘于表2中。
表2:亮度仓中基于块的标准偏差的收集
Figure BDA0002941439580000101
在表2中,术语INVALID表示参数的值未定义或无效。出于实际目的,这可能只是大的负值。
c)计算
Figure BDA0002941439580000111
即SDR亮度仓中的每一个SDR亮度仓的归一化HDR范围。在此步骤中,TREF,即参考BLUT,被用于计算
Figure BDA0002941439580000112
即与每个SDR亮度仓相对应的归一化HDR范围。令
Figure BDA0002941439580000113
第一仓可以以不同方式处理,因为对于-1不存在码字并且HDR范围从
Figure BDA0002941439580000114
Figure BDA0002941439580000115
计算。对于所有其他仓,HDR范围从
Figure BDA0002941439580000116
Figure BDA0002941439580000117
计算。表3提供了示例实施方式。
表3:计算
Figure BDA0002941439580000118
Figure BDA0002941439580000119
Figure BDA00029414395800001110
Figure BDA00029414395800001111
为激活信号码字范围的最小和最大SDR码字,所述激活信号码字范围指全范围(例如
Figure BDA00029414395800001118
)或更窄的SMPTE范围(例如,对于8位数据,[16,235])。
Figure BDA00029414395800001112
Figure BDA00029414395800001113
Figure BDA00029414395800001114
为包含激活信号最小码字和最大码字的仓的起始索引和结束索引。
Figure BDA00029414395800001115
对于所有非信号仓,因为信号范围之外未分配HDR码字(这主要适用于SMPTE范围)。令
Figure BDA00029414395800001116
为仓b中的信号码字数量。
Figure BDA00029414395800001117
如果提及每个亮度仓中的码字数量的非边界情况,则可以仅使用NCW。SMPTE范围是最常见的情况,因此其已在一些示例中使用了。
条带风险的估计
给出步骤205中收集的统计数据,图2中的步骤210计算“条带风险”的量度。当此量度为正时,则可以应用稍后进行更详细描述的条带减轻方案(例如,步骤215和220),否则可以跳过这些步骤。
考虑全范围信号,令
Figure BDA0002941439580000121
为亮度仓b中的重构HDR信号的标准偏差的估计值。对于
Figure BDA0002941439580000122
的仓,因为没有SDR码字落入这种仓,则也是
Figure BDA0002941439580000123
Figure BDA0002941439580000124
为未压缩的HDR信号中的用于避免亮度仓b中的条带所需的估计的HDR码字数量。令
Figure BDA0002941439580000125
为亮度仓b中的所估计的条带风险。在实施例中,可以使用基于计算出的
Figure BDA0002941439580000126
Figure BDA0002941439580000127
值的统计传递方程在每个信号仓中估计
Figure BDA0002941439580000128
值。例如,可以使用仓b中的TREF的局部斜率来将
Figure BDA0002941439580000129
映射到
Figure BDA00029414395800001210
表示为sc_factor的比例因子的值可以用于将SMPTE范围转换为全范围,因为下一个步骤期望全范围HDR信号。对于SDR SMPTE信号,
Figure BDA00029414395800001211
Figure BDA00029414395800001212
为仓b中的归一化SDR码字数量。因此,对于每个仓b,给出
Figure BDA00029414395800001213
Figure BDA00029414395800001214
其中,
Figure BDA00029414395800001215
代表仓b中的TREF的局部斜率。当TREF应用于SDR信号上时,此等式将用于特定亮度范围的SDR标准偏差值转换为所得HDR信号中的标准偏差。直观地,
Figure BDA00029414395800001216
表示由于针对SMPTE范围调整的(如果需要的话)第b个SDR亮度仓内容生成的HDR内容的标准偏差值。对于全范围中的输入信号,sc_factor=1。
Figure BDA00029414395800001217
被定义为
Figure BDA00029414395800001218
Figure BDA00029414395800001219
的函数,所述函数对于每个信号仓b,将HDR标准偏差和HDR范围映射到用于避免条带所需的码字数量。在实施例中,给出信号的标准偏差,可以使用在于2017年7月12日提交的、还作为美国专利申请公开序列号2017/0308996公布的并且通过援引并入本文的H.Kadu等人的名称为“用于整形函数的基于单行程和多行程的多项式近似(Single-pass and multi-pass-based polynomial approximations forreshaping functions)”的美国专利申请序列号15/648,125中所使用的实验映射表来估计代表HDR信号的用于避免条带所需的码字数量。然后,每个仓b的条带风险估计值
Figure BDA0002941439580000131
可以作为用于避免条带所需的HDR码字数量
Figure BDA0002941439580000132
与仓b中的HDR码字数量
Figure BDA0002941439580000133
之间的差得到,或者
Figure BDA0002941439580000134
应注意,对于其中
Figure BDA0002941439580000135
的仓,同样得出
Figure BDA0002941439580000136
下表4中描述了此步骤的伪代码:
表4:条带风险估计
Figure BDA0002941439580000137
程序interpolate_table_lookup()使用实验映射数据的简单线性插值给出插值输出值:
Figure BDA0002941439580000138
的对(例如,参见表4)和输入
Figure BDA0002941439580000139
值。每个
Figure BDA00029414395800001310
的对是全HDR范围的HDR标准偏差(介于0与1之间)与用于避免条带所需的其对应码字数量之间的映射。每个计算出的
Figure BDA0002941439580000141
对应于
Figure BDA0002941439580000142
如使用TREF得到的HDR码字范围的一部分。
直观地,当
Figure BDA0002941439580000143
(仓b中的来自TREF的码字数量)小于用于避免条带所需的最小码字数量
Figure BDA0002941439580000144
时,条带风险
Figure BDA0002941439580000145
结果为正。这意味着在观看来自HDR图像的所述亮度仓的内容时,可能会出现条带的视觉外观。
Figure BDA0002941439580000146
的值越高,在其对应的光亮度范围出现条带的可能性越高。替代性地,当仓b的
Figure BDA0002941439580000147
高于
Figure BDA0002941439580000148
时,这意指第b个仓的在TREF中的经分配的码字数量多于用于避免条带所需的估计的码字数量。因此,TREF的这部分被标记为“条带安全”,这意味着这部分不会在所得HDR图像中引起条带的视觉外观。因此,此步骤的目标是为每个SDR亮度仓识别和量化HDR图像中的潜在条带。就
Figure BDA0002941439580000149
而言,还可以计算每个仓的码字数量的下限。
条带减轻
如诸位发明人所理解的,观察到减少条带伪影需要在暗色区(黑色)与高光之间采取不同的策略。为了减少暗色中的条带,重要的是保持较高强度的整形响应,否则整个图像可能看起来更暗。因此,经修改的BLUT在其减少较暗区域中的条带时需要达到HDR强度的原始水平。HDR图像/视频重构的主要特征之一是其能够示出高强度水平,因此,期望通过保持高光部分的整体明亮度来维持“HDR外观”。因此,重要的是在修改原始BLUT时,保持受影响区域的整体或“平均明亮度”不变。例如,如高光剪切的简单解决方案通常是不足够的,因为其无法保持目标明亮度。基于这些观察结果,提出了用于减少暗色和高光中的条带的单独算法,在图2中如步骤215和220分别表示的。在框225中,将来自框215和220的结果合并在一起以构造最终的经修改的后向整形函数(BLUT)(227)。图3中概述了适用于这两个步骤的一些初步步骤和符号,并且在下面进行描述。
首先,将BLUT分为暗色区域和高光区域。采用经PQ编码的数据,令ATh,PQ为被表示为感知量化(PQ)值的阈值,其在应用于TREF时,确定SDR暗色区域和高光区域(步骤305)。(如果使用伽马、HLG或某种其他EOTF对输入的SDR进行编码,则可以使用适当的替代性阈值)。令
Figure BDA00029414395800001410
Figure BDA00029414395800001411
为暗色部分的最小和最大SDR码字。令
Figure BDA00029414395800001412
Figure BDA00029414395800001413
为其对应的仓索引。令
Figure BDA00029414395800001414
Figure BDA00029414395800001415
为高光部分的最小和最大SDR码字。令
Figure BDA00029414395800001416
Figure BDA00029414395800001417
为其对应的仓索引。所有这些值可以在步骤310中得到。在步骤315中,可以使用
Figure BDA00029414395800001418
的值,即亮度仓b的条带风险估计值,来识别被暗色和明亮条带影响的仓。令
Figure BDA00029414395800001419
Figure BDA00029414395800001420
分别为指示(例如,当设置为1时)暗色仓和明亮仓中的至少一个中是否存在正
Figure BDA0002941439580000151
值的暗色条带风险标志和明亮条带风险标志。令
Figure BDA0002941439580000152
为对于明亮部分
Figure BDA0002941439580000153
的最低仓索引。
Figure BDA0002941439580000154
Figure BDA0002941439580000155
的值可以通过检查暗色部分和明亮部分两者中的
Figure BDA0002941439580000156
值得到。表5中示出了用于得到这些参数的示例伪代码。
表5:用于计算暗色与高光之间的边界相关参数的示例算法
Figure BDA0002941439580000157
如果标志
Figure BDA0002941439580000158
中的任一个被设置(例如,为1),则需要在步骤320中得到
Figure BDA0002941439580000159
即来自
Figure BDA00029414395800001510
的原始差分LUT(dLUT)。直观地,dLUT代表BLUT在感兴趣的仓中(例如,在标记为有条带风险的暗色区或高光区中)的“斜率”。令
Figure BDA00029414395800001511
为经修改的dLUT并且Ts MOD为使用δMOD构造的经修改的BLUT以便减轻条带。标志
Figure BDA00029414395800001512
Figure BDA0002941439580000161
指示构成的HDR图像中的潜在条带风险,并且触发接下来呈现的减少条带的算法。表6示出了构建差分LUT的示例。
表6:差分BLUT(或dLUT)的示例构造
Figure BDA0002941439580000162
Figure BDA0002941439580000171
暗色中的条带减少
总体思路是:a)降低具有正条带风险的仓中的dLUT(或BLUT的斜率),以及b)通过增加无风险仓中的dLUT来补偿HDR强度水平的下降。这引起相邻的带的HDR强度的差减小,减轻了带的外观,从而使强度偏移更平滑。
在两行程的方法(two pass-approach)中,如图4中描绘的,在第一行程(步骤405和410)中,在被表征为“易具有条带风险”的所有仓中减小原始BLUT的斜率。接下来,在第二行程中(步骤420),重新分配其余的码字以补偿强度下降。最终(步骤425),生成经修改的BLUT。
Figure BDA0002941439580000181
表示这样的码字数量,其决定每个仓被标志为“易具有条带风险”、“条带风险边界线”或“条带风险未知”的作用标志
Figure BDA0002941439580000182
Figure BDA0002941439580000183
为这样的码字数量:其要添加到用于降低易具有风险的仓中的条带风险所需要的码字数量。然后,表7描绘了一组示例条件以及在调整差分dLUT时要应用的对应动作和参数(例如,作为步骤405的一部分)。在实施例中,在没有任何限制的情况下,将使用以下根据经验选择的参数:
Figure BDA0002941439580000184
在表7中,可选的参数θ提供了对算法进行微调的附加级别。基于实验,θ=1.2产生良好的实验结果。
表7:暗色中两行程的条带减少-条件和动作
Figure BDA0002941439580000185
如表7所示,对于“易具有风险的”仓,当
Figure BDA0002941439580000186
为正时,dLUT值需要被减小使得
Figure BDA0002941439580000187
仓b的dLUT乘数
Figure BDA0002941439580000188
在这种情况下取决于需要的码字数量
Figure BDA0002941439580000189
参考BLUT中的经分配的码字数量
Figure BDA00029414395800001810
以及条带减少算法的主动性
Figure BDA00029414395800001811
原始dLUT值通过使用定义为经分配的码字
Figure BDA00029414395800001812
与需要的码字
Figure BDA00029414395800001813
Figure BDA00029414395800001814
的比率的乘数而减小。因此,在恢复的仓中,dLUT被调整为
Figure BDA00029414395800001815
Figure BDA00029414395800001816
Figure BDA00029414395800001817
时,此亮度仓中的内容处于条带风险边界线,并且因此无法增加dLUT来补偿强度下降。
Figure BDA00029414395800001818
的情况下,此仓中的内容充分低于条带风险,因此可以增加此仓中的dLUT来补偿强度下降并且保持非暗色部分。因此,
Figure BDA00029414395800001819
因此
Figure BDA00029414395800001820
以某种方式反映了dLUT修改对风险检测的敏感性。最后,在不存在关于仓中的风险统计的信息时,
Figure BDA00029414395800001821
并且不对原始dLUT进行调整。
令Ψ表示归一化的HDR码字平衡。其被初始化为0,并且目标是在暗色条带减少结束时使此平衡为0。在跨暗色仓的第一行程中,在所有易出现条带(其中风险为正)的仓中,BLUT斜率都会减小。在第二行程中,将其余的HDR码字分配到无风险仓中,以补偿强度下降。这样确保在非暗色部分维持HDR外观。因此,在实施例中,
Figure BDA0002941439580000191
在极少数情况下,强度下降(Ψ)可能无法完全恢复,因此在两行程完成之后会导致Ψ<0,但是这种情况通常很少见,并且发生在若干个仓上分布有大量的暗色条带的非常差的图像中。表8以伪代码描绘了图4中所描绘的过程的示例实施方式。
表8:暗色中两行程的条带减轻方法的示例实施方式
Figure BDA0002941439580000192
Figure BDA0002941439580000201
Figure BDA0002941439580000211
高光中的条带减少
如果标志
Figure BDA00029414395800002114
被设置(例如,为1),则在高光部分中构造新的BLUT以减少条带,同时尝试维持平均明亮度。在图5中描绘了示例过程。主要想法是定位高光部分中的最低条带风险倾向SDR码字,并且开始从下到上使用风险估计值来构造BLUT,这意指首先构造最小需要的dLUT曲线,然后分配其余的码字。在此过程期间,监测与参考BLUT相比整体图像明亮度的损失。通过修改无条带风险SDR码字的参考BLUT来补偿总明亮度损失。
Figure BDA0002941439580000212
为从其开始修改BLUT的亮度仓。令
Figure BDA0002941439580000213
为用作偏移的固定仓数量,使得
Figure BDA0002941439580000214
从步骤505开始,经修改的dLUT,即
Figure BDA0002941439580000215
将从
Figure BDA0002941439580000216
(其被称为减轻部分的开始)开始构建,直到最高强度亮度仓
Figure BDA0002941439580000217
为止。令
Figure BDA0002941439580000218
为dLUT修改的起始SDR码字。考虑
Figure BDA0002941439580000219
即随着
Figure BDA00029414395800002110
Figure BDA00029414395800002111
之间的仓索引b而线性变化的加性变量参数,可以采用
Figure BDA00029414395800002112
的最小值和最大值。表9中描绘了计算
Figure BDA00029414395800002113
的示例(步骤510)。在实施例中,使用的典型值为
Figure BDA0002941439580000221
Figure BDA0002941439580000222
看起来这些值独立于输入的位深度或亮度空间分辨率值很好地工作。
表9:用于计算高光加性因子的示例算法
Figure BDA0002941439580000223
整体图像明亮度损失是基于
Figure BDA0002941439580000224
即IS的亮度直方图(例如,参见表1)。使用
Figure BDA0002941439580000225
Figure BDA0002941439580000226
Figure BDA0002941439580000227
可以计算每个经调整的码字的明亮度损失,并且将其加起来以保持跟踪所得HDR图像的整体明亮度损失。为了提高计算效率,在实施例中,构造了h(RC),表示为图像的逆累积直方图,其是从
Figure BDA0002941439580000228
统计得到的。在实施例中,使用SDR直方图和两个整形函数将码字b的明亮度损失计算为
Figure BDA0002941439580000229
预先计算的逆累积直方图消除了对每个码字使用dLUT来构造BLUT的需求,即,可以表明
Figure BDA00029414395800002210
给出h(RC),其定义为
Figure BDA00029414395800002211
Figure BDA00029414395800002212
其中,
Figure BDA00029414395800002213
用于计算其值的示例算法描绘于表10中。
表10:计算逆累积亮度直方图
Figure BDA00029414395800002214
减轻部分:令Φ表示由于
Figure BDA00029414395800002215
Figure BDA00029414395800002216
的差而导致的平均HDR明亮度的损失。在步骤535中,用于减轻部分的无条带dLUT可以使用
Figure BDA00029414395800002217
Figure BDA00029414395800002218
针对在s=β处开始的所有SDR码字s进行计算,如:
Figure BDA00029414395800002219
在步骤520中,仓b的明亮度损失(Φb)使用
Figure BDA0002941439580000231
Figure BDA0002941439580000232
进行计算:
Figure BDA0002941439580000233
并且
Figure BDA0002941439580000234
恢复部分:在此部分,可以将Φ用作目标明亮度预算,以便在恢复部分(即紧接在“减轻部分”之前的用于补偿明亮度下降的一组仓)中分配附加HDR码字(步骤525)(例如,参见图6B)。令γ为此恢复部分的开始,即,开始构造
Figure BDA0002941439580000235
直到β-1的SDR码字。γ被确定为预算Φ的函数。通常,对于更高的预算,需要更宽的码字范围进行补偿。令
Figure BDA0002941439580000236
为要用于基于Φ进行补偿的SDR码字范围的分数。明亮度恢复部分:[γ,β)使用一阶多项式进行构造。一阶项以递减的方式使用。考虑到恢复部分应在其接近条带风险减轻部分时贡献较少的码字,因此使用递减函数。令多项式从具有最大值的γ开始,在β-1处线性减小到0:
Figure BDA0002941439580000237
给出明亮度预算和查找表,首先使用插值获得
Figure BDA0002941439580000238
然后γ:
Figure BDA0002941439580000239
为了恢复整体明亮度的下降,预算需要遵循以下等式:
Figure BDA00029414395800002310
参数a1、a0需要使用码字预算进行计算(参见步骤530)。假设一半预算要由常数项(a0)消耗并且另一半要由一阶项(a1)消耗,则:
Figure BDA00029414395800002311
并且
Figure BDA0002941439580000241
使用a1、a0,可以根据等式(13)构造明亮度恢复部分的
Figure BDA0002941439580000242
表11中描绘了整个过程的示例。
表11:用于减少高光中的条带伪影的示例过程
Figure BDA0002941439580000243
Figure BDA0002941439580000251
Figure BDA0002941439580000252
Figure BDA0002941439580000261
图6A描绘了原始BLUT(605)和根据实施例生成的经修改的BLUT(610)的示例,以针对暗色中的潜在条带伪影进行调整。
图6B描绘了原始BLUT(615)和根据实施例生成的经修改的BLUT(620)的示例,以针对高光中的潜在条带伪影进行调整。在图6B,区域625表示恢复范围(在γ处开始)并且区域630表示减轻范围(在β处开始)。
如图2所示,过程200在暗色和高光中应用单独的条带减轻算法。在实施例中,当这两个步骤都需要时,在应用高光减轻步骤(220)之前应用暗色条带减轻步骤(215)。因此,如果两个步骤都需要,则将步骤220应用于通过步骤215生成的经修改的BLUT(217)以生成经修改的BLUT 222。如果跳过步骤215,则将步骤220应用于原始BLUT 204以生成经修改的BLUT 222。如果跳过步骤220,则步骤225的输入是步骤215的输出BLUT 217,否则为BLUT222。在一些实施例中,条带减轻块215和220的输出可以由块225进一步进行滤波或平滑以生成最终的输出BLUT 227。这种BLUT后处理的示例可以在于2018年2月28日提交并且通过援引并入本文的N.J.Gadgil和G-M.Su的名称为“用于图像/视频处理的线性编码器(LinearEncoder for Image/Video Processing)”的美国临时专利申请序列号62/636,388中找到。
在实施例中,用于减少条带伪影的过程200在编码器(例如,作为图1A中所描绘的编码器的一部分)中执行。在这种场景下,更新的后向整形函数227(图2所示)将替换由框150生成的函数,并且其经编码的表示将作为元数据152被向下游发送到解码器。
在另一个实施例中,过程200可以在解码器(例如,作为图1B中所描绘的解码器的一部分)中执行。在这种场景下,参考图2所示的SDR输入202将代表重构的SDR输出156(参考图1B所示,在解压缩之后),并且参考图2所示的输入的BLUT 204将代表基于输入的元数据(152)生成的BLUT。在图2的过程200完成之后,输入的BLUT将由经修改的BLUT 227替换,所述经修改的BLUT 227将在图1B的解码器中在步骤158中使用,以重构无条带的重构的HDR信号160。
示例计算机系统实施方式
本发明的实施例可以利用计算机系统、以电子电路和部件来配置的系统、集成电路(IC)设备(如微控制器、现场可编程门阵列(FPGA)或另外的可配置或可编程逻辑设备(PLD)、离散时间或数字信号处理器(DSP)、专用IC(ASIC))和/或包括这种系统、设备或部件中的一个或多个的装置来实施。计算机和/或IC可以执行、控制或实行与减少条带伪影相关的指令,如本文描述的那些指令。计算机和/或IC可以计算与本文描述的减少条带伪影有关的各种参数或值中的任何参数或值。图像和视频动态范围扩展实施例可以以硬件、软件、固件及其各种组合来实施。
本发明的某些实施方式包括执行软件指令的计算机处理器,所述软件指令使处理器执行方法。例如,显示器、编码器、机项盒、转码器等中的一个或多个处理器可以通过执行处理器可访问的程序存储器中的软件指令来实施如上文所描述的减少条带伪影方法。也可以以程序产品的形式提供实施例。程序产品可以包括携带一组计算机可读信号的任何非暂态且有形的介质,所述一组计算机可读信号包括指令,所述指令当由数据处理器执行时使数据处理器执行本发明的实施例的方法。根据本发明的实施例的程序产品可以采用各种非暂态且有形的形式中的任何一种。程序产品可以包括例如物理介质,如包括软盘、硬盘驱动器的磁性数据存储介质、包括CD ROM、DVD的光学数据存储介质、包括ROM、闪速存储器RAM的电子数据存储介质等。程序产品上的计算机可读信号可以可选地被压缩或加密。
在上面提到部件(例如,软件模块、处理器、组件、设备、电路等)的情况下,除非另有指明,否则对所述部件的引用(包括对“装置”的引用)都应被解释为包括执行所描述部件的功能的任何部件为所述部件的等同物(例如,功能上等同的),包括在结构上不等同于执行在本发明的所图示示例实施例中的功能的所公开结构的部件。
等同物、扩展、替代物及其他
因此,描述了涉及减少HDR图像的条带伪影的示例实施例。在前述说明书中,已经参考可以根据实施方式而变化的许多具体细节描述了本发明的实施例。因此,指明本发明以及本申请人的发明意图的唯一且排他性指示是根据本申请以具体形式发布的权利要求组,其中,这种权利要求发布包括任何后续修正。本文中针对这种权利要求中包含的术语明确阐述的任何定义应支配如在权利要求中使用的这种术语的含义。因此,权利要求中未明确引用的限制、要素、特性、特征、优点或属性不应以任何方式限制这种权利要求的范围。因此,应当从说明性而非限制性意义上看待本说明书和附图。
可以从以下枚举的示例实施例(EEE)中理解本发明的实施例的各个方面:
1.在包括一个或多个处理器的编码器或解码器中,一种用于减少条带伪影的方法,所述方法包括:
接收输入后向整形函数(204)(BLUT),其将码字从第一动态范围映射到第二动态范围,其中,所述第二动态范围等于或高于所述第一动态范围;
接收所述第一动态范围中的输入图像(202);
基于所述输入图像和所述输入后向整形函数生成(205)统计数据,以估计所述第二动态范围中的目标图像中的条带伪影的风险,其中,所述目标图像是通过将所述输入后向整形函数应用于所述输入图像而生成的;
将所述第一动态范围划分为码字仓;
将所述第一动态范围划分为暗色范围和高光范围;
基于所述统计数据计算(210)所述暗色范围中的仓的条带风险值和所述高光范围中的仓的条带风险值,以及如果所述暗色范围或所述高光范围中的至少一者中的条带风险值为正,则应用暗色条带减轻函数(215)和/或高光条带减轻函数(220)以基于所述统计数据和所述输入后向整形函数来生成输出后向整形函数;以及
用所述输出后向整形函数替换所述输入后向整形函数。
2.如EEE 1或2所述的方法,其中,所述输入图像包括标准动态范围图像,并且所述目标图像包括高动态范围图像。
3.如任一前述EEE所述的方法,其中,基于所述输入图像和所述输入后向整形函数(BLUT)生成统计数据包括:
计算所述输入图像中的光亮度值的直方图;
将所述输入图像划分为非重叠块;
针对所述图像块中的一个或多个图像块计算所述光亮度值的基于块的标准偏差;
基于所述基于块的标准偏差计算用于所述第一动态范围中的每个仓的基于仓的标准偏差值;
基于所述光亮度值的直方图和所述基于仓的标准偏差值计算用于每个仓的归一化的基于仓的标准偏差值;
对于所述第一动态范围中的每个仓,基于所述输入BLUT计算所述仓的在所述第二动态范围中的归一化范围;
以及通过基于所述仓的在所述第二动态范围中的归一化范围来缩放所述归一化的基于仓的标准偏差值,生成所述第二动态范围中的重构图像中的光亮度标准偏差值的基于仓的估计值。
4.如EEE 3所述的方法,其中,计算所述条带风险值包括:
对于所述第一动态范围中的每个仓:
计算第一值,所述第一值估计用于在没有条带的情况下适当地重构所述第二动态范围中的图像所需的更低的码字数量,其中,所述估计基于所述仓的在所述第二动态范围中的估计的光亮度标准偏差;
计算第二值,所述第二值计算用于所述仓的在所述第二动态范围中的经分配码字数量;以及
通过从所述第一值减去所述第二值来计算所述仓的所述条带风险值。
5.如任一前述EEE所述的方法,其中,应用所述暗色条带减轻函数包括:
对于所述暗色范围中的每个仓,
如果所述仓的所述条带风险值为正,则减小所述输入BLUT的斜率。
6.如EEE 5所述的方法,其中,所述输入BLUT的斜率是基于以下乘数因子而减小的:
Figure BDA0002941439580000291
其中,
Figure BDA0002941439580000292
表示仓b中的在所述输入图像中的所述码字数量,
Figure BDA0002941439580000293
表示仓b中的用于避免条带所需的码字的估计值,并且
Figure BDA0002941439580000294
表示第一常数,该第一常数代表添加到
Figure BDA0002941439580000295
以减少所述暗色中的条带的码字的安全裕量。
7.如EEE 5所述的方法,进一步包括:
对于所述条带风险值与第二常数之和小于或等于零的每个仓,调整所述输入BLUT的斜率。
8.如EEE7所述的方法,其中,所述输入BLUT的斜率是基于以下乘数因子而调整的:
Figure BDA0002941439580000296
其中,
Figure BDA0002941439580000301
表示仓b中的在所述输入图像中的所述码字数量,
Figure BDA0002941439580000302
表示仓b中的用于避免条带所需的码字的估计值,
Figure BDA0002941439580000303
表示第二常数,该第二常数代表添加到
Figure BDA0002941439580000304
以减少所述暗色中的条带的码字的安全裕量,并且θ表示小的常数值。
9.如EEE 7所述的方法,其中,如果所述仓的所述条带风险值为负,并且所述仓的所述条带风险值与所述第二常数值相加之和大于零,则不对所述仓内所述输入BLUT的斜率进行调整。
10.如任一前述EEE所述的方法,其中,应用所述高光条带减轻函数包括:
基于所述高光范围中的具有正条带风险值的更小的仓值确定所述高光范围内的减轻范围的起始值;
调整现有BLUT在所述减轻范围内的斜率;
确定由于调整所述现有BLUT在所述减轻范围内的斜率而产生的明亮度损失值;
确定恢复范围的起始值,所述恢复范围跨越所述第一动态范围中的介于所述第一动态范围的起始值与所述减轻范围的起始值之间的仓;
基于所述明亮度损失值确定用于明亮度保持的多项式;以及
基于所述用于明亮度保持的多项式调整所述现有BLUT在所述恢复范围内的斜率,其中,
如果在所述暗色区域中没有应用所述暗色减轻函数,则所述现有BLUT包括所述输入BLUT;
否则,所述现有BLUT函数包括由所述暗色减轻函数生成的输出BLUT。
11.如EEE 10所述的方法,其中,针对所述减轻范围内的仓b的所述现有BLUT是根据以下添加的因子调整的:
Figure BDA0002941439580000305
其中,
Figure BDA0002941439580000306
表示仓b中的用于避免条带所需的码字的估计值,
Figure BDA0002941439580000307
表示一常数,该常数代表添加到
Figure BDA0002941439580000308
以避免所述高光中的条带的码字的安全裕量,并且
Figure BDA0002941439580000309
表示所述第二动态范围中的与所述第一动态范围中的仓b相对应的归一化范围值。
12.如EEE 10所述的方法,其中,针对所述恢复范围内的码字的所述现有BLUT是根据以下添加的因子调整的:
Figure BDA00029414395800003010
其中,β表示所述减轻范围的所述起始值,
Figure BDA0002941439580000311
表示所述现有BLUT的斜率,a0和a1是基于所述明亮度损失值确定的多项式系数,并且s表示所述恢复范围内的码字。
13.如EEE 12所述的方法,其中,所述现有BLUT在所述恢复范围中被调整为:
对于(s=γ+1;s≤β;s++)
Figure BDA0002941439580000312
其中,Ts MOD表示与输入码字s相对应的经修改的BLUT值,并且γ表示所述恢复范围的所述起始值。
14.如EEE 11至13中任一项所述的方法,其中,所述现有BLUT在所述减轻范围中被调整为:
对于
Figure BDA0002941439580000313
Figure BDA0002941439580000314
其中,Ts MOD表示与输入码字s相对应的经修改的BLUT值,β表示所述减轻范围的所述起始值,并且
Figure BDA0002941439580000315
表示所述输入图像中的最大光亮度范围。
15.一种非暂态计算机可读存储介质,其上存储有用于利用一个或多个处理器执行根据EEE 1至14所述的方法的计算机可执行指令。
16.一种装置,包括处理器并且被配置为执行如EEE 1至14中所述的方法中的任一种方法。

Claims (24)

1.一种用于减少目标图像中的条带伪影的方法,所述方法包括:
接收输入后向整形函数(204)(BLUT),所述输入后向整形函数将码字从第一动态范围映射到第二动态范围,其中,所述第二动态范围等于或高于所述第一动态范围;
接收所述第一动态范围中的输入图像(202);
基于所述输入图像和所述输入后向整形函数生成(205)统计数据,其中,所述目标图像是通过将所述输入后向整形函数应用于所述输入图像而生成的;
将所述第一动态范围划分为码字仓;
将所述第一动态范围划分为暗色范围和高光范围;
基于第一值与第二值之间的差计算(210)条带风险值,所述条带风险值代表所述暗色范围中的仓和所述高光范围中的仓具有条带伪影的可能性,所述第一值是根据用于在没有条带伪影的情况下重构所述目标图像的码字数量并根据所述统计数据来计算的,并且所述第二值是根据用于所述第二动态范围中的仓的经分配的码字数量来计算的;以及,
通过以下操作生成输出后向整形函数:
针对所述暗色范围和/或高光范围中的所述差为正的码字仓,调整所述输入后向整形函数的斜率,以减少所述目标图像中的所述条带伪影,以及
针对所述暗色范围和/或高光范围中的所述差不为正的其余码字仓,补偿所述输入后向整形函数的经调整的斜率,以在所述目标图像中保持所述第二动态范围;以及
用所述输出后向整形函数替换所述输入后向整形函数。
2.如权利要求1所述的方法,其中,所述输入图像包括标准动态范围图像,并且所述目标图像包括高动态范围图像。
3.如权利要求1或权利要求2所述的方法,其中,如果所述目标图像的全范围中的所述差为正,则生成所述输出后向整形函数。
4.如权利要求1、2或3所述的方法,其中,如果所述目标图像的全范围中的所述差不为正,则跳过生成所述输出后向整形函数的步骤。
5.如权利要求1至4中任一项所述的方法,其中,基于所述输入图像和所述输入后向整形函数(BLUT)生成统计数据包括:
通过以下操作生成所述目标图像中的光亮度标准偏差值的估计值:
计算所述输入图像中的光亮度值的标准偏差;
基于所述输入后向整形函数(BLUT)计算所述第二动态范围中的对应光亮度标准偏差值。
6.如权利要求5所述的方法,其中,所述光亮度值按仓进行分组,并且针对每个仓计算所述标准偏差。
7.如权利要求5或6所述的方法,其中,计算所述输入图像中的光亮度值的标准偏差包括:
计算所述输入图像中的光亮度值的直方图;
将所述输入图像划分为非重叠块;
针对图像块中的一个或多个图像块计算所述光亮度值的基于块的标准偏差;
基于所述基于块的标准偏差计算用于所述第一动态范围中的每个仓的基于仓的标准偏差值;
基于所述光亮度值的直方图和所述基于仓的标准偏差值计算用于每个仓的归一化的基于仓的标准偏差值。
8.如权利要求5或6所述的方法,其中,基于所述输入后向整形函数(BLUT)计算所述第二动态范围中的对应标准偏差值包括:
对于所述第一动态范围中的每个仓,基于所述输入后向整形函数(BLUT)计算所述仓的在所述第二动态范围中的归一化范围;
以及通过基于所述仓的在所述第二动态范围中的归一化范围缩放所述归一化的基于仓的标准偏差值来生成所述第二动态范围中的重构图像中的光亮度标准偏差值的基于仓的估计值。
9.如权利要求5至8中任一项所述的方法,其中,计算所述条带风险值包括:
对于所述第一动态范围中的每个仓:
计算所述第一值,所述第一值估计用于在没有条带的情况下适当地重构所述第二动态范围中的图像所需的更低的码字数量,其中,所述估计基于所述仓的在所述第二动态范围中的估计的光亮度标准偏差;
计算所述第二值,所述第二值计算所述仓的在所述第二动态范围中的经分配的码字数量;以及
将所述仓的所述条带风险值计算为所述第一值与所述第二值之间的差。
10.如任一前述权利要求所述的方法,其中,调整所述输入后向整形函数在所述暗色范围中的斜率包括:
对于所述暗色范围中的每个仓,
如果所述仓的所述差为正,则减小所述输入后向整形函数(BLUT)的斜率。
11.如权利要求10所述的方法,其中,所述输入后向整形函数(BLUT)的斜率是基于以下乘数因子而减小的:
Figure FDA0002941439570000031
其中,
Figure FDA0002941439570000032
表示仓b中的在所述输入图像中的所述码字数量,
Figure FDA0002941439570000033
表示仓b中的用于避免条带所需的码字的估计值,并且
Figure FDA0002941439570000034
表示第一常数,该第一常数代表添加到
Figure FDA0002941439570000035
以减少所述暗色中的条带的码字的安全裕量。
12.如权利要求10所述的方法,其中,补偿所述输入后向整形函数在所述暗色范围中的经调整的斜率包括:
对于所述差与第二常数之和小于或等于零的每个仓,补偿所述输入后向整形函数(BLUT)的斜率。
13.如权利要求12所述的方法,其中,所述输入后向整形函数(BLUT)的斜率是基于以下乘数因子而补偿的:
Figure FDA0002941439570000036
其中,
Figure FDA0002941439570000041
表示仓b中的在所述输入图像中的所述码字数量,
Figure FDA0002941439570000042
表示仓b中的用于避免条带所需的码字的估计值,
Figure FDA0002941439570000043
表示所述第二常数,所述第二常数代表添加到
Figure FDA0002941439570000044
以减少所述暗色中的条带的码字的安全裕量,并且θ表示小的常数值。
14.如权利要求12所述的方法,其中,如果所述仓的所述差为负,并且所述仓的所述差与所述第二常数值相加之和大于零,则不在所述仓内对所述输入后向整形函数(BLUT)的斜率进行调整。
15.如任一前述权利要求所述的方法,其中,调整所述输入后向整形函数在所述高光范围中的斜率包括:
基于所述高光范围中的具有正差的更小的仓值确定所述高光范围内的减轻范围的起始值;
调整现有后向整形函数(BLUT)在所述减轻范围内的斜率。
16.如权利要求15所述的方法,其中,补偿所述输入后向整形函数在所述高光范围中的经调整的斜率包括:
确定由于调整所述现有后向整形函数(BLUT)在所述减轻范围中的斜率而产生的明亮度损失值;
确定恢复范围的起始值,所述恢复范围跨越所述第一动态范围中的介于所述第一动态范围的起始值与所述减轻范围的起始值之间的仓;
基于所述明亮度损失值确定用于明亮度保持的多项式;以及
基于所述用于明亮度保持的多项式调整所述现有后向整形函数(BLUT)在所述恢复范围内的斜率。
17.如权利要求16所述的方法,其中,
如果所述输入后向整形函数在所述暗色范围中的斜率没有被调整,则所述现有后向整形函数(BLUT)包括所述输入后向整形函数(204);
否则所述现有后向整形函数包括针对所述暗色范围中的所述码字仓生成的所述输出后向整形函数(217)。
18.如权利要求15至17中任一项所述的方法,其中,针对所述减轻范围内的仓b的所述现有后向整形函数(BLUT)是根据以下添加的因子调整的:
Figure FDA0002941439570000051
其中,
Figure FDA0002941439570000057
表示仓b中的用于避免条带所需的码字的估计值,
Figure FDA0002941439570000058
表示一常数,该常数代表添加到
Figure FDA0002941439570000059
以避免所述高光中的条带的码字的安全裕量,并且
Figure FDA00029414395700000510
表示所述第二动态范围中的与所述第一动态范围中的仓b相对应的归一化范围值。
19.如权利要求15至17中任一项所述的方法,其中,针对所述恢复范围内的码字的所述现有后向整形函数(BLUT)是根据以下添加的因子调整的:
Figure FDA0002941439570000052
其中,β表示所述减轻范围的所述起始值,
Figure FDA00029414395700000511
表示所述现有后向整形函数(BLUT)的斜率,a0和a1是基于所述明亮度损失值确定的多项式系数,并且s表示所述恢复范围内的码字。
20.如权利要求19所述的方法,其中,所述现有后向整形函数(BLUT)在所述恢复范围中被调整为:
对于(s=γ+1;s≤β;s++)
Figure FDA0002941439570000053
其中,Ts MOD表示与输入码字s相对应的经调整的后向整形函数(BLUT)值,并且γ表示所述恢复范围的所述起始值。
21.如权利要求18至20中任一项所述的方法,其中,所述现有后向整形函数(BLUT)在所述减轻范围中被调整为:
对于
Figure FDA0002941439570000054
Figure FDA0002941439570000055
其中,Ts MOD表示与输入码字s相对应的经修改的后向整形函数(BLUT)值,β表示所述减轻范围的所述起始值,并且
Figure FDA0002941439570000056
表示所述输入图像中的最大光亮度范围。
22.如前述权利要求中任一项所述的方法,其中,所述输入后向整形函数(BLUT)是单调非递减函数。
23.一种装置,包括处理器并且被配置为执行如权利要求1至21中所述的方法中的任一种方法。
24.一种非暂态计算机可读存储介质,其上存储有用于利用一个或多个处理器执行根据权利要求1至21中任一项所述的方法的计算机可执行指令。
CN201980053583.5A 2018-08-10 2019-08-07 用于减少目标图像中的条带伪影的方法、装置及存储介质 Active CN112585969B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862717070P 2018-08-10 2018-08-10
EP18188468 2018-08-10
US62/717,070 2018-08-10
EP18188468.5 2018-08-10
PCT/US2019/045541 WO2020033573A1 (en) 2018-08-10 2019-08-07 Reducing banding artifacts in hdr imaging via adaptive sdr-to-hdr reshaping functions

Publications (2)

Publication Number Publication Date
CN112585969A true CN112585969A (zh) 2021-03-30
CN112585969B CN112585969B (zh) 2023-03-28

Family

ID=67667938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980053583.5A Active CN112585969B (zh) 2018-08-10 2019-08-07 用于减少目标图像中的条带伪影的方法、装置及存储介质

Country Status (6)

Country Link
US (1) US11341624B2 (zh)
EP (1) EP3834411B1 (zh)
JP (1) JP7049526B2 (zh)
CN (1) CN112585969B (zh)
ES (1) ES2974520T3 (zh)
WO (1) WO2020033573A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114363702A (zh) * 2021-12-28 2022-04-15 上海网达软件股份有限公司 Sdr视频转换为hdr视频的方法、装置、设备及存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113016182B (zh) 2018-10-03 2023-07-11 杜比实验室特许公司 减少后向兼容hdr成像中的条带伪影
US11663702B2 (en) 2018-12-19 2023-05-30 Dolby Laboratories Licensing Corporation Image debanding using adaptive sparse filtering
EP3734588B1 (en) 2019-04-30 2022-12-07 Dolby Laboratories Licensing Corp. Color appearance preservation in video codecs
WO2022032010A1 (en) * 2020-08-06 2022-02-10 Dolby Laboratories Licensing Corporation Adaptive streaming with false contouring alleviation
US11475549B1 (en) * 2021-06-04 2022-10-18 Nvidia Corporation High dynamic range image generation from tone mapped standard dynamic range images
EP4420353A1 (en) 2021-10-21 2024-08-28 Dolby Laboratories Licensing Corporation Context-based reshaping algorithms for encoding video data
CN114722330A (zh) * 2022-03-09 2022-07-08 西安交通大学 基于混合策略sns的盐场蒸发计算方法、系统、终端及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103119936A (zh) * 2010-09-16 2013-05-22 皇家飞利浦电子股份有限公司 用于图像的改进的编码的设备和方法
JP2014531821A (ja) * 2011-09-27 2014-11-27 コーニンクレッカ フィリップス エヌ ヴェ 画像のダイナミックレンジ変換のための装置及び方法
CN106464892A (zh) * 2014-05-28 2017-02-22 皇家飞利浦有限公司 用于对hdr图像进行编码的方法和装置以及用于使用这样的编码图像的方法和装置
JP2018026794A (ja) * 2016-08-01 2018-02-15 株式会社リコー 画像処理装置、画像投影装置、及び画像処理方法
US20180098094A1 (en) * 2016-10-05 2018-04-05 Dolby Laboratories Licensing Corporation Inverse luma/chroma mappings with histogram transfer and approximation
EP3340167A1 (en) * 2016-12-22 2018-06-27 Thomson Licensing Displaying method for displaying an image on a first display device and at least a portion of the same image on a second display device

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9747673B2 (en) * 2014-11-05 2017-08-29 Dolby Laboratories Licensing Corporation Systems and methods for rectifying image artifacts
US10223774B2 (en) 2016-02-02 2019-03-05 Dolby Laboratories Licensing Corporation Single-pass and multi-pass-based polynomial approximations for reshaping functions
US10032262B2 (en) 2016-02-02 2018-07-24 Dolby Laboratories Licensing Corporation Block-based content-adaptive reshaping for high dynamic range images
WO2018231968A1 (en) 2017-06-16 2018-12-20 Dolby Laboratories Licensing Corporation Efficient end-to-end single layer inverse display management coding
US10609372B2 (en) * 2017-09-29 2020-03-31 Dolby Laboratories Licensing Corporation Up-conversion to content adaptive perceptual quantization video signals
JP6952202B2 (ja) 2018-02-28 2021-10-20 ドルビー ラボラトリーズ ライセンシング コーポレイション 画像/映像処理のためのリニアエンコーダ

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103119936A (zh) * 2010-09-16 2013-05-22 皇家飞利浦电子股份有限公司 用于图像的改进的编码的设备和方法
JP2014531821A (ja) * 2011-09-27 2014-11-27 コーニンクレッカ フィリップス エヌ ヴェ 画像のダイナミックレンジ変換のための装置及び方法
CN106464892A (zh) * 2014-05-28 2017-02-22 皇家飞利浦有限公司 用于对hdr图像进行编码的方法和装置以及用于使用这样的编码图像的方法和装置
JP2018026794A (ja) * 2016-08-01 2018-02-15 株式会社リコー 画像処理装置、画像投影装置、及び画像処理方法
US20180098094A1 (en) * 2016-10-05 2018-04-05 Dolby Laboratories Licensing Corporation Inverse luma/chroma mappings with histogram transfer and approximation
EP3340167A1 (en) * 2016-12-22 2018-06-27 Thomson Licensing Displaying method for displaying an image on a first display device and at least a portion of the same image on a second display device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114363702A (zh) * 2021-12-28 2022-04-15 上海网达软件股份有限公司 Sdr视频转换为hdr视频的方法、装置、设备及存储介质
CN114363702B (zh) * 2021-12-28 2023-09-08 上海网达软件股份有限公司 Sdr视频转换为hdr视频的方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US20210350511A1 (en) 2021-11-11
US11341624B2 (en) 2022-05-24
CN112585969B (zh) 2023-03-28
JP7049526B2 (ja) 2022-04-06
ES2974520T3 (es) 2024-06-27
WO2020033573A1 (en) 2020-02-13
EP3834411A1 (en) 2021-06-16
EP3834411B1 (en) 2024-02-14
JP2021524647A (ja) 2021-09-13

Similar Documents

Publication Publication Date Title
CN112585969B (zh) 用于减少目标图像中的条带伪影的方法、装置及存储介质
CN112106357B (zh) 用于对图像数据进行编码和解码的方法及装置
EP3510772B1 (en) Coding of high dynamic range video using segment-based reshaping
EP3011741B1 (en) Adaptive reshaping for layered coding of enhanced dynamic range signals
JP6771656B2 (ja) シングルレイヤー後方互換性コーデックのリアルタイム再構成
CN113016182B (zh) 减少后向兼容hdr成像中的条带伪影
CN112771567B (zh) Sdr到hdr图像转换中的图像去噪
WO2018049335A1 (en) Coding of high dynamic range video using segment-based reshaping
CN113170205B (zh) 整形函数生成方法及装置以及图像解码方法及装置
WO2018044803A1 (en) Real-time reshaping of single-layer backwards-compatible codec
CN114747224B (zh) 一种用于生成整形函数的方法、装置以及存储介质
EP4128762B1 (en) Blind local reshaping in hdr imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant