CN118103864A - 一种用于噪声自适应高动态范围图像处理的设备和方法 - Google Patents

一种用于噪声自适应高动态范围图像处理的设备和方法 Download PDF

Info

Publication number
CN118103864A
CN118103864A CN202180102762.0A CN202180102762A CN118103864A CN 118103864 A CN118103864 A CN 118103864A CN 202180102762 A CN202180102762 A CN 202180102762A CN 118103864 A CN118103864 A CN 118103864A
Authority
CN
China
Prior art keywords
image
image block
random noise
block
hdr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180102762.0A
Other languages
English (en)
Inventor
陈虎
余全合
徐巍炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN118103864A publication Critical patent/CN118103864A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

一种用于噪声自适应高动态范围图像处理的设备(200)和方法(600)能够确定HDR图像(201)的多个图像块(202)(601)，其中，每个图像块(202)包括多个像素。此外，所述设备(200)和方法(600)能够确定所述HDR图像(201)的所述图像块(202)的局部对比值(203)(602)，并且根据所述图像块(202)的所述局部对比值(203)添加随机噪声(204)(603)。因此，所述设备(200)和方法(600)能够根据所述图像块(202)的局部对比值(203)向所述HDR图像(201)的所述图像块(202)自适应地逐块添加随机噪声(204)。

Description

一种用于噪声自适应高动态范围图像处理的设备和方法
技术领域
本发明涉及处理高动态范围(high dynamic range，HDR)图像，例如，将HDR图像转换为标准动态范围(standard dynamic range，SDR)图像。作为处理的一部分，向HDR图像添加随机噪声，以消除带状伪影。本发明提供了一种用于实现HDR图像处理的设备、方法和计算机程序，其中，考虑了HDR图像的局部对比值。该设备、方法和计算机程序可以用于计算机视觉应用。
背景技术
HDR图像通常使用感知量化(perceptual quantizer，PQ)曲线或混合对数伽玛(hybrid log-gamma，HLG)曲线从线性域变换为非线性域，然后编码为10位或12位。PQ曲线和HLG曲线均在R-REC-BT.2100中进行了标准化。对于大多数自然图像，编码到10位足以确保高图像质量，例如，不会出现带状伪影。
然而，在许多情况下，HDR图像必须转换为SDR图像，才能在SDR显示器上显示。传统的SDR显示器通常需要使用伽玛曲线进行非线性变换，而且仅支持8位的图像编码。伽玛曲线有多种变体，最典型的一种变体在ITU-R建议BT.1886中进行了标准化。在将HDR图像编码为8位SDR图像时，精确度损失通常会导致带状伪影。图1示出了带状伪影100的示例。在此处，在该示例中，原始HDR图像具有高精确度，更具体地说具有浮点精确度，输出的SDR图像在使用伽玛曲线编码为8位之后最终会出现可见的带状伪影。
遗憾的是，大多数中低端智能手机和AR/VR耳机(即用于增强现实(augmentedreality，AR)和虚拟现实(virtual reality，VR)的头戴式显示器)都包括这样的传统SDR显示器，这说明普遍需要将HDR图像转换为8位SDR图像。
最近，一些高端智能手机和电视(television，TV)已经能够支持10位SDR图像。然而，非线性曲线仍然是伽玛曲线。在从PQ或HLG转换为伽玛时，仍然存在误差，这会再次产生带状伪影。
解决带状伪影的最典型方法之一是在处理HDR图像并将其转换为SDR图像的过程中，向图像添加随机噪声。流行的图像编辑器通常都提供这样的功能。在HDR图像转换为SDR后会出现带状伪影的部分中，会添加随机噪声。随机噪声的强度通常由用户或调色师进行调整。值得注意的是，随机噪声的强度(电平)很重要。如果添加的随机噪声的电平足够高，则带状伪影不再可见。如果添加的随机噪声的电平太低，则带状伪影仍然可见。另一方面，如果添加的随机噪声的电平太高，则随机噪声在SDR图像中可见，这也会降低图像质量。因此，找到一个好的平衡点很重要。
在实践中，由于图像和视频的数量巨大，所以人手动处理所有图像或视频帧是不现实的。因此，人们提出了添加随机噪声的自动算法。最典型的方法是使用伪随机噪声进行图片编码，这种方法简单有效。
然而，希望改进这种方法，因为添加的噪声电平是固定的。对于一些图像，噪声可能太弱以至于无法去除带状伪影，而对于另一些图像，噪声可能太强而造成干扰。随机噪声通常被添加到完整的图像中，因此，噪声也被添加到没有明显带状伪影的区域。因此，噪声可以在输出的SDR图像中变得可见，并且可以降低其图像质量，尤其是在这些没有明显带状伪影的区域中。
发明内容
鉴于上述情况，本发明的目的是在处理HDR图像的过程中，例如，在将HDR图像转换为SDR图像的过程中，改善对带状伪影的去除。本发明的目标是通过向HDR图像添加适量的随机噪声，去除带状伪影。这适用于任何HDR图像，因此目的是考虑HDR图像的内容。本发明还旨在避免在将HDR图像处理成SDR图像时，向首先不会显示带状伪影的HDR图像的区域添加随机噪声。
这些和其他目的通过所附独立权利要求的主题来实现。有利的实现方式在从属权利要求中进一步定义。
本发明的第一方面提供了一种用于处理HDR图像的设备，该设备用于：确定HDR图像的多个图像块，其中，每个图像块包括多个像素；为多个图像块中的每个图像块：确定图像块的局部对比值；向图像块添加随机噪声，其中，添加到图像块的随机噪声的电平取决于图像块的局部对比值。
第一方面的设备用于向每个图像块分别添加随机噪声。因此，HDR图像的不同区域会得到不同的处理。例如，可以避免向HDR图像的区域添加随机噪声，这些区域首先不会显示带状伪影。此外，第一方面的设备考虑图像块的相应局部对比值。这说明，每个图像块可能会获得不同电平的随机噪声，特别是为该图像块选择的随机噪声。局部对比值反映了各个图像块的内容。因此，在添加随机噪声时，第一方面的设备能够考虑到整个HDR图像的内容。总体而言，在处理HDR图像(例如，转换为SDR图像)的过程中，去除带状伪影得到了改进。
在第一方面的一种实现方式中，该设备用于根据图像块的局部对比值向HDR图像的所有图像块自适应地逐块添加随机噪声。
最后，向HDR图像添加随机噪声，以避免带状伪影，其中，向HDR图像中的每个图像块添加适量的随机噪声。
在第一方面的一种实现方式中，该设备用于为多个图像块中的每个图像块：确定图像块的编码误差值；其中，添加到图像块的随机噪声的电平还取决于图像块的编码误差值。
这样就能为HDR图像中的每个图像块提供适量的随机噪声，从而进一步减少带状伪影。
在第一方面的一种实现方式中，该设备还用于为多个图像块中的每个图像块：计算图像块的编码误差值与局部对比值之间的比值；其中，添加到图像块的随机噪声的电平取决于为图像块计算的比值。
这样，将两个影响因素——编码误差值和局部对比值——以最有效的方式综合考虑。
在第一方面的一种实现方式中，该设备还用于为多个图像块中的每个图像块：确定为图像块计算的比值是小于还是大于第一阈值和第二阈值；其中，如果为图像块计算的比值小于第一阈值，则添加到图像块的随机噪声的电平是最小噪声电平或零；其中，如果为图像块计算的比值大于第二阈值，则添加到图像块的随机噪声的电平是最大电平；其中，如果为图像块计算的比值在第一阈值与第二阈值之间，则添加到图像块的随机噪声的电平在最小噪声电平与最大噪声之间，并且取决于该比值。
这就进一步避免了一方面向任何图像块添加过多的随机噪声，另一方面在非绝对必要的情况下不添加随机噪声或只添加少量随机噪声。
在第一方面的一种实现方式中，如果为图像块计算的比值在第一阈值与第二阈值之间：如果图像块的局部对比值较小，则添加到图像块的随机噪声的电平较大；和/或如果图像块的编码误差值较大，则添加到图像块的随机噪声的电平较大。
通过这种方式，可以最有效地消除带状伪影。
在第一方面的一种实现方式中，该设备还用于为多个图像块中的每个图像块：基于图像块的像素的平均像素值，确定最大噪声电平。
因此，基于HDR图像的内容或特征，确定最大噪声电平。
在第一方面的一种实现方式中，该设备还用于将包括添加到每个图像块的随机噪声的HDR图像转换为SDR图像。
在第一方面的一种实现方式中，该设备用于将HDR图像从PQ域转换为线性域或伽玛域；在线性域或伽玛域中，向多个图像块中的每个图像块添加随机噪声。
在第一方面的一种实现方式中，该设备用于在线性域中，向HDR图像中的每个图像块添加随机噪声之后，将HDR图像从线性域转换为伽玛域，然后基于转换为伽玛域的HDR图像，使用量化生成SDR图像；或者，在伽玛域中，向HDR图像中的每个图像块添加随机噪声之后，在伽玛域中基于HDR图像，使用量化生成SDR图像。
在第一方面的一种实现方式中，该设备还用于为多个图像块中的每个图像块：在伽玛域或线性域中，确定图像块的编码误差。
在第一方面的一种实现方式中，该设备还用于通过以下步骤确定图像块的编码误差值：在伽玛域中，量化图像块的像素的原始像素值，以获得经量化的像素值；将经量化的像素值从伽玛域转换为线性域，以获得重建的像素值；基于原始像素值与重建的像素值之间的均方误差，计算图像块的编码误差。
在第一方面的一种实现方式中，该设备还用于为多个图像块中的每个图像块：基于图像块中的每个像素的像素值和图像块中的所有像素的平均像素值，确定图像块的局部对比值。
因此，本发明的方案可以在线性域或伽玛域中实现，从而为不同的应用提供高度的灵活性和适应性。
本发明的第二方面提供了一种用于处理HDR图像的方法，该方法包括：确定HDR图像的多个图像块，其中，每个图像块包括多个像素；为多个图像块中的每个图像块：确定图像块的局部对比值；向图像块添加随机噪声，其中，添加到图像块的随机噪声的电平取决于图像块的局部对比值。
在第二方面的一种实现方式中，该方法包括根据图像块的局部对比值向HDR图像的所有图像块自适应地逐块添加随机噪声。
在第二方面的一种实现方式中，该方法包括为多个图像块中的每个图像块，确定图像块的编码误差值；其中，添加到图像块的随机噪声的电平还取决于图像块的编码误差值。
在第二方面的一种实现方式中，该方法包括为多个图像块中的每个图像块，计算图像块的编码误差值与局部对比值之间的比值；其中，添加到图像块的随机噪声的电平取决于为图像块计算的比值。
在第二方面的一种实现方式中，该方法包括为多个图像块中的每个图像块：确定为图像块计算的比值是小于还是大于第一阈值和第二阈值；其中，如果为图像块计算的比值小于第一阈值，则添加到图像块的随机噪声的电平是最小噪声电平或零；其中，如果为图像块计算的比值大于第二阈值，则添加到图像块的随机噪声的电平是最大电平；其中，如果为图像块计算的比值在第一阈值与第二阈值之间，则添加到图像块的随机噪声的电平在最小噪声电平与最大噪声电平之间，并且取决于该比值。
在第二方面的一种实现方式中，如果为图像块计算的比值在第一阈值与第二阈值之间：如果图像块的局部对比值较小，则添加到图像块的随机噪声的电平较大；和/或如果图像块的编码误差值较大，则添加到图像块的随机噪声的电平较大。
在第二方面的一种实现方式中，该方法包括为多个图像块中的每个图像块：基于图像块的像素的平均像素值，确定最大噪声电平。
在第二方面的一种实现方式中，该方法包括将包括添加到每个图像块的随机噪声的HDR图像转换为标准动态范围(standard dynamic range，SDR)图像。
在第二方面的一种实现方式中，该方法包括将HDR图像从PQ域转换为线性域或伽玛域；在线性域或伽玛域中，向多个图像块中的每个图像块添加随机噪声。
在第二方面的一种实现方式中，该方法包括在线性域中，向HDR图像中的每个图像块添加随机噪声之后，将HDR图像从线性域转换为伽玛域，然后基于转换为伽玛域的HDR图像，使用量化生成SDR图像；或者，在伽玛域中，向HDR图像中的每个图像块添加随机噪声之后，在伽玛域中基于HDR图像，使用量化生成SDR图像。
在第二方面的一种实现方式中，该方法包括为多个图像块中的每个图像块：在伽玛域或线性域中，确定图像块的编码误差。
在第二方面的一种实现方式中，该方法包括通过以下步骤确定图像块的编码误差值：在伽玛域中，量化图像块的像素的原始像素值，以获得经量化的像素值；将经量化的像素值从伽玛域转换为线性域，以获得重建的像素值；基于原始像素值与重建的像素值之间的均方误差，计算图像块的编码误差。
在第二方面的一种实现方式中，该方法包括为多个图像块中的每个图像块：基于图像块中的每个像素的像素值和图像块中的所有像素的平均像素值，确定图像块的局部对比值。
第二方面的方法可以由第一方面的设备执行。第二方面及其实现方式的方法实现了与上述针对第一方面及其相应实现方式的设备所描述的相同的优点。
本发明的第三方面提供了一种计算机程序，所述计算机程序包括指令，当所述程序由计算机执行时，所述指令使所述计算机执行根据第二方面或其实现方式中的任何实现方式所述的方法。
本发明的第四方面提供了一种非瞬时性存储介质，所述非瞬时性存储介质存储可执行程序代码，所述可执行程序代码当由处理器执行时，执行根据第二方面或其实现方式中的任一种所述的方法。
根据各方面和实现方式，本发明建议以图像块方式向HDR图像添加随机噪声。随机噪声的电平可以基于每个图像块的局部对比值，还可以基于每个图像块的编码误差值自适应地计算。
这种方法具有两个主要优点。首先，HDR图像质量与局部对比值高度相关，因此，这种局部对比值可以用于评估HDR图像质量。因此，基于局部对比值计算随机噪声电平比其他度量(例如，直方图或梯度)更有效。
其次，随机噪声电平是逐块而不是逐像素地计算的。因此，对于本发明的方案，计算复杂度大大降低。这也说明具有更高的速度和更低的功耗。特别是当涉及到对功比敏感的设备(例如，智能手机或AR/VR耳机)中的硬件实现时。
需要注意的是，本申请中描述的所有设备、元件、单元和模块可以在软件或硬件元件或其任何类型的组合中实现。本申请中描述的各种实体所执行的所有步骤以及所描述的各种实体要执行的功能均意在指相应实体用于执行相应步骤和功能。虽然在以下具体实施例的描述中，外部实体执行的具体功能或步骤没有在执行具体步骤或功能的实体的具体详述元件的描述中反映，但是技术人员应清楚，这些方法和功能可以通过相应的硬件或软件元件或其任何组合实现。
附图说明
结合所附附图，下面具体实施例的描述将阐述上述各个方面及其实现方式，在附图中：
图1示出了传统8位SDR图像中的带状伪影的示例；
图2示出了根据本发明实施例的用于处理HDR图像的设备；
图3示出了根据本发明实施例的用于处理HDR图像的设备；
图4示出了根据本发明实施例的用于将HDR图像转换为SDR图像的示例性设备；
图5示出了根据本发明实施例的用于将HDR图像转换为SDR图像的示例性设备；
图6示出了根据本发明实施例的用于处理HDR图像的方法。
具体实施方式
图2出了根据本发明实施例的设备200。设备200用于处理HDR图像201。例如，设备200可以处理HDR图像201以转换为SDR图像，即准备HDR图像201进行转换或者将HDR图像201转换为SDR图像。设备200可以是图像处理流水线的一部分。设备200也可以用于实现整个图像处理流水线。设备200可以是处理设备，例如，处理器或计算机。例如，设备200可以是SDR显示器的处理器，或者是智能手机的处理器，或者是AR或VR耳机的处理器。
设备200用于确定HDR图像201的多个图像块，其中，每个图像块202包括HDR图像201的多个像素。每个图像块202可以包括相等数量的像素，这些像素在每个图像块202中的排列方式相同。然而，这不是本发明的要求，两个或两个以上图像块202在其像素数量或其像素排列方式上也可以不同。例如，不同的图像块202可以具有相同的块大小或不同的块大小。确定图像块202还可以由设备200的第一处理子单元(如图2中的虚线框所示)执行。
对于多个图像块中的每个图像块202，设备200还用于确定图像块202的局部对比值203。也就是说，设备200可以用于逐块计算DR图像201的多个局部对比值202。确定每个图像块202的局部对比值203还可以由设备200的第二处理子单元(如图2中的虚线框所示)执行。
然后，设备200用于向每个图像块202添加随机噪声204。添加到每个图像块202的随机噪声204的电平取决于为每个图像块202确定的局部对比值203。因此，设备200可以用于基于图像块202的局部对比值203生成该图像块的随机噪声204，然后向该图像块添加随机噪声204。生成随机噪声204并且向每个图像块202添加随机噪声还可以分别由设备200的第三处理子单元和第四处理子单元(如图2中的虚线框所示)执行。第三处理子单元和第四处理子单元可以是一个子单元，在图2中分开主要是为了说明。根据上述内容，如果两个图像块202的局部对比值203不同，则添加到这两个图像块202的随机噪声204的电平也会不同。
设备200因此可以用于自适应地逐块向为HDR图像201确定的所有图像块202添加随机噪声204。由此，根据这些图像块202的相应局部对比值203添加随机噪声202。
设备200还可以用于输出每个图像块200添加有随机噪声204的HDR图像201(如图2中的虚线箭头所示)，例如，作为后续转换为SDR图像的输入。这可以由另一个设备执行。或者，设备200可以将添加有随机噪声204的HDR图像201直接转换为SDR图像，并且可以输出SDR图像。
图3示出了根据本发明实施例的设备200，该设备建立在图2所示的设备200的实施例的基础上。图2和图3中的相同元件标有相同的附图标记，并且同样地实现和运行。
图3所示的设备200还用于确定每个图像块202的编码误差值301。即，设备200用于为HDR图像201中的每个图像块202，确定局部对比值203以及编码误差值301。确定每个图像块202的编码误差值301还可以由设备200的第五处理子单元(如图3中的附加虚线所示)执行。
设备200用于向每个图像块202添加确定的和生成的随机噪声204，其中，添加到每个图像块202的随机噪声204的电平现在取决于该图像块202的局部对比值203和编码误差值301。也就是说，如果局部对比值203和/或如果两个图像块202的编码误差值301不同，则添加到这两个图像块202的随机噪声204的电平也可以不同。仅在某些情况下，如果两个块具有不同的局部对比值203和不同的编码误差值301，则随机噪声204的计算仍然可以导致两个图像块202的随机噪声204的电平相同。即，当局部对比值203的差值和编码误差值301的差值在确定随机噪声204的电平时相互补偿时。
例如，添加到每个图像块202的随机噪声204的电平可以取决于编码误差值301与局部对比值203之间的比值。通常，对于每个图像块202，添加到图像块202的随机噪声204的电平可以随着图像块202的局部对比值203的减小而增大，和/或可以随着图像块202的编码误差值301的增大而增大。
图2或图3的设备200可以包括处理器或处理电路(未示出)，该处理器或处理电路用于执行、进行或启动本文所述的设备200的各种操作。处理电路可以包括硬件和/或处理电路可以由软件控制。硬件可以包括模拟电路或数字电路，或既包括模拟电路又包括数字电路。数字电路可以包括专用集成电路(application-specific integrated circuit，ASIC)、现场可编程阵列(field-programmable array，FPGA)、数字信号处理器(digitalsignal processor，DSP)或多用途处理器等组件。设备200还可以包括存储器电路，该存储器电路存储可以由处理器或处理电路执行的一个或多个指令，例如，在软件的控制下。例如，存储器电路可以包括存储可执行软件代码的非瞬时性存储介质，可执行软件代码在由处理器或处理电路执行时，使得执行设备200的各种操作。在一个实施例中，所述处理电路包括一个或多个处理器和连接到一个或多个处理器的非瞬时性存储器。非瞬时性存储器可以携带可执行程序代码，当一个或多个处理器执行可执行程序代码时，使设备200执行、进行或启动本文描述的操作或方法。
根据图2和图3的上述设备200，本发明的主要方面在于计算随机噪声204的强度，局部自适应于每个图像块202。对于每个图像块202，如图3所述，带状伪影出现的影响因素可以是编码误差值301和局部对比值203。编码误差值301(其指示编码伪影的量)与局部对比值201(其指示图像内容)之间的比值可以是用于随机噪声计算的确定量。如果所述比值较小，例如，如果编码误差值301相对较小并且局部对比值203相对较大，这通常是在很少出现带状伪影的具有纹理的图像区域中的情况，则可以不添加或仅添加少量随机噪声204。如果所述比值较高，例如，如果编码误差值301相对较大并且局部对比值203相对较小——这通常是在容易出现带状伪影的平滑图像区域中的情况——则会添加更高电平的随机噪声204，即，添加的随机噪声204更强。
图4示出了根据本发明实施例的设备200，该设备建立在图3所示的设备200的实施例之上。图3和图4中的相同元件标有相同的附图标记，具有同样的实现方式和功能。对于图4的设备200，编码误差值301、局部对比值203和随机噪声204都是在线性域中计算的。
图4所示的设备200的输入是PQ域中的HDR图像201，其中，HDR图像201可以用位深度N进行编码，其中，N通常是10或12。值得注意的是，HDR图像201也可以用另一非线性曲线(例如，HLG)进行编码，并且设备200执行的以下步骤仍然适用。
图4所示的设备200的输出是伽玛域中的SDR图像401，其中，SDR图像401具有位深度M，其中，M通常是8，但也可以是10。通常，在N≥M的约束下，N和M也可以取其他值。SDR图像401可以通过从线性域转换为伽玛域并使用量化，从添加有随机噪声204的HDR图像中生成。
在由设备200执行的处理开始时，将PQ域中的HDR图像201转换为线性域。然后，可以将该图像归一化为0与1之间的范围。可以通过除以要显示SDR图像401的显示器的最大图像像素值或峰值亮度值来进行归一化。
接下来，在线性域中计算局部对比值203和编码误差值301(在图4中也称为“失真”)。值203和301可以由设备200逐块计算，即为HDR图像201中的每个图像块202计算。基于这两个计算值203和301，可以在线性域中为每个图像块202计算随机噪声204的电平(或强度)。然后，随机噪声204可以根据相应的计算电平在线性域中生成，并且可以在线性域中添加到每个图像块202。最后，HDR图像201(现在添加有随机噪声204)可以从线性域转换为伽玛域，并且可以编码为M位。
计算局部对比值203有很多种方式。然而，一种可能的方式是基于每个图像块202中的每个像素的像素值和该图像块202中的所有像素的平均像素值来计算该图像块202的局部对比值203。例如，可以根据以下公式计算图像块202的局部对比值203：
其中，C为图像块202的局部对比值203，K×K为图像块202的像素大小，I(x,y)为图像块202中的像素值，为图像块202中的所有像素值的平均值。
值得一提的是，每个图像块202的块大小可以与图像和/或视频分辨比成比例地增加。例如，在上述给出的用于计算局部对比值203的公式中，可以为HD分辨比(即，1920×1080)的视频的图像块202选择K＝16，可以为4K分辨比(即，3840×2160)的视频的图像块202选择K＝32。
如上所述，为每个图像块202计算局部对比值203还存在其他方式，K或其他参数的所选值也可以不同。然而，由设备200执行的步骤仍然适用。
为了如上所述计算线性域中的编码误差值301，还可以将线性域中的HDR图像201转换为图4所示的伽玛域。在伽玛域中，HDR图像201可以量化为M位。伽玛域中的量化值可以从伽玛域转换回线性域，其中，这些值可以称为重建值。然后，可以将原始像素值与重建的像素值之间的均方根误差作为编码误差值301。例如，设备200可以用于在伽玛域中对每个图像块202的像素的原始像素值进行量化，将经量化的像素值从伽玛域转换为线性域，以获得重建的像素值，并基于均方误差计算图像块202的编码误差值301。例如，设备200可以根据以下公式计算图像块202的编码误差值301：
其中，D为图像块202的编码误差值301，I′(x,y)为图像块202中的像素的重建值。关于C(局部对比值203)的计算，上面已经描述了其他变量。
作为设备200的下一个步骤，可以计算随机噪声204的电平。随机噪声204具有不同形式，最常用的形式是高斯噪声和均匀噪声。图4所示的设备200的进一步说明以高斯噪声为例。然而，由设备200执行的步骤同样适用于均匀噪声或其他形式的噪声，而不失一般性。仅默认值或某些选定的参数可能不同。
首先，例如，可以根据以下公式计算图像块202的编码误差值301与局部对比值203之间的比值r：
接下来，例如，根据以下公式，比值r可以缩放，并且可以限幅到0与1之间的范围，以获得比值R：
其中，rL和rH为两个阈值，例如，在使用高斯噪声的情况下，一种可能的选择是第一阈值rL＝0，第二阈值rH＝0.5。如果比值r小于第一阈值rL，则不存在可见的带状伪影，因此，可以完全不添加随机噪声204或仅添加最小噪声电平。如果比值r大于第二阈值rH，则所述比值限幅到1，以便将噪声强度限制在某个最大噪声电平，从而避免添加过多噪声。在这两者之间，比值r在0与1之间线性地缩放，因此噪声电平也会线性地取决于该比值。
例如，这可以说明，如果比值r小于第一阈值，则随机噪声204的电平是最小噪声电平或零；如果为图像块202计算的比值r大于第二阈值，则随机噪声204的电平可以是最大噪声电平，如果比值r在第一阈值与第二阈值之间，则随机噪声204的电平可以在最小噪声电平与最大噪声电平之间，并且取决于该比值。
随机噪声202的电平或数学上所说的噪声标准偏差可以由设备200根据以下等式来计算：
σ＝max(0,aR·D-C)
其中，a为实现可调性的常数，例如，取决于SDR显示器的类型或应用领域。对于高斯噪声的情况，可能的值可以是a＝10。N可以是10，M可以是8。通常，a可以是N和M的函数，即a＝a(N,M)。
最后，可以根据图像块202中的平均像素值来限制随机噪声电平：
其中，Imax为像素的最大值，由于图像被归一化到0与1之间的范围，所以一般可以是1，IT为阈值(其可能的值可以是IT＝Imax/2)。常数a也会影响噪声电平的限制程度，对于高斯噪声，可以设置为3。直观地说，对于更接近零的像素值，随机噪声204的电平会受到较大限制，以避免这些像素中过多的像素变得太暗，对于更接近最大值的像素值，该电平也会受到较大限制，以避免过多像素变得过饱和。中间的像素值，即更接近阈值IT的像素，会受到较小限制。
图5示出了根据本发明实施例的设备200，该设备建立在图3所示的设备200的实施例的基础上。图5和图3中的相同元件标有相同的附图标记，并且同样地实现和运行。对于图5所示的设备200，编码误差值301、局部对比值203和随机噪声204都是在伽玛域中计算的。
HDR图像201的输入和SDR图像401的输出与图4所示的设备200相同。图4和图5的设备200之间的主要区别在于，在图5中的伽玛域中而不是在图4中的线性域中，执行相关局部对比值203和编码误差值301的计算以及随机噪声204的电平的计算。例如，可以完全不涉及线性域，如图5示例性所示。
在图5的设备200的处理开始时，将HDR图像201从PQ域转换为伽玛域。然后，对于每个图像块202，在伽玛域中计算局部对比值203、编码误差值301和随机噪声204的电平。具体地，这些值203、301和204可以是在伽玛域中基于图像块202的像素值来计算的。为了计算编码误差值301，可以对伽玛域中的HDR图像进行量化，如上文关于图4所述。然后，随机噪声204也在伽玛域中添加到图像块202。最后，将具有随机噪声的HDR图像204编码为M位，以便产生SDR图像401。
上述关于图4的等式分别用于计算每个图像块202的局部对比值203、编码误差值301和随机噪声204的电平，对于图5所示的设备200也是有效的。某些参数会进行不同的调整。
图6出了根据本发明实施例的方法600。该方法600适用于处理HDR图像201，具体地，适用于将HDR图像201转换为SDR图像401。方法600可以由图2至图5中的任一个图的设备200执行。
方法600包括步骤601，确定HDR图像201的多个图像块202，其中，每个图像块202包括多个像素。该步骤601可以由设备200的第一处理子单元执行。此外，所述方法6000包括步骤602，为每个图像块202确定图像块202的局部对比值203。然后，方法600包括步骤601，向每个图像块202添加603随机噪声204，其中，添加到图像块202的随机噪声204的电平取决于图像块202的局部对比值203，即，为图像块202确定的局部对比值。
本发明已结合各种实施例作为示例以及方面和实现方式进行描述。但是，根据对附图、本发明和独立权利要求的研究，本领域技术人员在实施所要求保护的主题时，能够理解和实现其他变型。在权利要求书以及说明书中，词语“包括”不排除其他元件或步骤，且不定冠词“一个”不排除多个。单个元件或其他单元可以满足权利要求书中描述的若干实体或项目的功能。在互不相同的从属权利要求中列举某些措施并不指示这些措施的组合不能用于有利的实现方式中。

Claims (15)

1.一种用于处理高动态范围(high dynamic range，HDR)图像(201)的设备(200)，其特征在于，所述设备(200)用于：
确定所述HDR图像(201)的多个图像块，其中，每个图像块(202)包括多个像素；
为所述多个图像块中的每个图像块(202)：
确定所述图像块(202)的局部对比值(203)；
向所述图像块(202)添加随机噪声(204)，其中，添加到所述图像块(202)的所述随机噪声(204)的电平取决于所述图像块(202)的所述局部对比值(203)。
2.根据权利要求1所述的设备(200)，其特征在于，所述设备用于根据所述图像块(202)的所述局部对比值(203)向所述HDR图像(201)的所有图像块(202)自适应地逐块添加随机噪声(204)。
3.根据权利要求1或2所述的设备(200)，其特征在于，所述设备还用于为所述多个图像块中的每个图像块(202)：
确定所述图像块(202)的编码误差值(301)；
所述添加到所述图像块(202)的所述随机噪声(204)的电平还取决于所述图像块(202)的所述编码误差值(301)。
4.根据权利要求3所述的设备(200)，其特征在于，所述设备还用于为所述多个图像块中的每个图像块(202)：
计算所述图像块(202)的所述编码误差值(301)与所述局部对比值(203)之间的比值；
所述添加到所述图像块(202)的所述随机噪声(204)的电平取决于为所述图像块(202)计算的所述比值。
5.根据权利要求4所述的设备(200)，其特征在于，所述设备还用于为所述多个图像块中的每个图像块(202)：
确定为所述图像块(202)计算的所述比值是小于还是大于第一阈值和第二阈值；
如果为所述图像块(202)计算的所述比值小于所述第一阈值，则所述添加到所述图像块(202)的所述随机噪声(204)的电平是最小噪声电平或零；
如果为所述图像块(202)计算的所述比值大于所述第二阈值，则所述添加到所述图像块(202)的所述随机噪声(204)的电平是最大噪声电平；
如果为所述图像块(202)计算的所述比值在所述第一阈值与所述第二阈值之间，则所述添加到所述图像块(202)的所述随机噪声(204)的电平在所述最小噪声电平与所述最大噪声电平之间，并且取决于所述比值。
6.根据权利要求5所述的设备(200)，其特征在于，如果为所述图像块(202)计算的所述比值在所述第一阈值与所述第二阈值之间：
如果所述图像块(202)的所述局部对比值(203)较小，则所述添加到所述图像块(202)的所述随机噪声(204)的电平较大；和/或
如果所述图像块(202)的所述编码误差值(301)较大，则所述添加到所述图像块(202)的所述随机噪声(204)的电平较大。
7.根据权利要求5或6所述的设备(200)，其特征在于，所述设备还用于为所述多个图像块中的每个图像块(200)：
基于所述图像块(202)的所述像素的平均像素值，确定所述最大噪声电平。
8.根据权利要求1至7中任一项所述的设备(200)，其特征在于，所述设备还用于将包括添加到每个图像块(202)的所述随机噪声(204)的所述HDR图像(201)转换为标准动态范围(standard dynamic range，SDR)图像(401)。
9.根据权利要求1至8中任一项所述的设备(200)，其特征在于，所述设备还用于：
将所述HDR图像(201)从感知量化(perceptual quantizer，PQ)域转换为线性域或伽玛域；
在所述线性域或所述伽玛域中，向所述多个图像块中的每个图像块(202)添加所述随机噪声(204)。
10.根据权利要求8和9所述的设备(200)，其特征在于，所述设备还用于：
在所述线性域中，向所述HDR图像(201)中的每个图像块(202)添加所述随机噪声(204)之后，将所述HDR图像(201)从所述线性域转换为所述伽玛域，然后基于转换为所述伽玛域的所述HDR图像(201)使用量化生成所述SDR图像(401)；或者，
在所述伽玛域中，向所述HDR图像(201)中的每个图像块(202)添加所述随机噪声(204)之后，在所述伽玛域中基于所述HDR图像(201)使用量化生成所述SDR图像(401)。
11.根据权利要求3至10中任一项所述的设备(200)，其特征在于，所述设备还用于为所述多个图像块中的每个图像块(202)：
在所述伽玛域或所述线性域中，确定所述图像块(202)的所述编码误差值(301)。
12.根据权利要求11所述的设备(200)，其特征在于，所述设备还用于通过以下步骤确定所述图像块(202)的所述编码误差值：
在所述伽玛域中，量化所述图像块(202)的所述像素的原始像素值，以获得经量化的像素值；
将所述经量化的像素值从所述伽玛域转换为所述线性域，以获得重建的像素值；
基于所述原始像素值与所述重建的像素值之间的均方误差，计算所述图像块(202)的所述编码误差值(301)。
13.根据权利要求1至11中任一项所述的设备(200)，其特征在于，所述设备还用于为所述多个图像块中的每个图像块(202)：
基于所述图像块(202)中的每个像素的像素值和所述图像块(202)中的所有像素的平均像素值，确定所述图像块(202)的所述局部对比值(203)。
14.一种用于处理高动态范围(high dynamic range，HDR)图像(201)的方法(600)，其特征在于，所述方法(600)包括：
确定(601)所述HDR图像(201)的多个图像块，其中，每个图像块(202)包括多个像素；
为所述多个图像块中的每个图像块(202)：
确定(602)所述图像块(202)的局部对比值(203)；
向所述图像块(202)添加(603)随机噪声(204)，其中，添加到所述图像块(202)的所述随机噪声(204)的电平取决于所述图像块(202)的所述局部对比值(203)。
15.一种计算机程序，其特征在于，所述计算机程序包括指令，当所述程序由计算机执行时，所述指令使所述计算机执行根据权利要求14所述的方法(600)。
CN202180102762.0A 2021-10-29 2021-10-29 一种用于噪声自适应高动态范围图像处理的设备和方法 Pending CN118103864A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/127673 WO2023070582A1 (en) 2021-10-29 2021-10-29 A device and method for noise-adaptive high dynamic range image processing

Publications (1)

Publication Number Publication Date
CN118103864A true CN118103864A (zh) 2024-05-28

Family

ID=86158884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180102762.0A Pending CN118103864A (zh) 2021-10-29 2021-10-29 一种用于噪声自适应高动态范围图像处理的设备和方法

Country Status (2)

Country Link
CN (1) CN118103864A (zh)
WO (1) WO2023070582A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107277399B (zh) * 2017-06-09 2020-10-20 深圳Tcl新技术有限公司 电视终端及hdr图像转为sdr的方法和计算机可读存储介质
US10755392B2 (en) * 2017-07-13 2020-08-25 Mediatek Inc. High-dynamic-range video tone mapping
CN107451974B (zh) * 2017-07-31 2020-06-02 北京电子工程总体研究所 一种高动态范围图像的自适应再现显示方法
CN108769804B (zh) * 2018-04-25 2020-12-15 杭州当虹科技股份有限公司 一种高动态范围视频的格式转换方法
CN111445424B (zh) * 2019-07-23 2023-07-18 广州市百果园信息技术有限公司 图像处理和移动终端视频处理方法、装置、设备和介质
US11659141B2 (en) * 2019-11-22 2023-05-23 Hanwha Techwin Co., Ltd. Image processing apparatus and method

Also Published As

Publication number Publication date
WO2023070582A1 (en) 2023-05-04

Similar Documents

Publication Publication Date Title
JP7421674B2 (ja) 異なる表示機能の間で知覚ルミナンス非線形性ベースの画像データ交換を改善する装置および方法
KR101368120B1 (ko) 가중 인코딩을 위한 방법 및 시스템
US7570390B2 (en) Image processing device and method
CN109118436B (zh) 图像色调适配方法及相应的电子设备和存储介质
CN110999301A (zh) 位深度高效图像处理
US7929794B2 (en) Method and apparatus for image data compression
US10742986B2 (en) High dynamic range color conversion correction
CN114467298B (zh) 一种图像信号转换处理方法、装置及终端设备
US10497093B2 (en) Image processing apparatus for minimizing deterioration of image quality of a raw image
US10387999B2 (en) Image processing apparatus, non-transitory computer-readable medium storing computer program, and image processing method
US10674182B2 (en) Pixel pre-processing and encoding
US11800108B2 (en) Method for image compression and circuit system thereof
CN118103864A (zh) 一种用于噪声自适应高动态范围图像处理的设备和方法
US10602109B2 (en) Method and arrangements for HDR encoding
EP4058976A1 (en) Device and method for pre-processing image data for a computer vision application
US10715772B2 (en) High dynamic range color conversion correction
US20240013356A1 (en) Method for generating high dynamic range image, and image processing system
WO2023280424A1 (en) Devices and methods for processing image data
WO2019071045A1 (en) HIGH DYNAMIC RANGE COLORING CORRECTION
WO2019071046A1 (en) HIGH DYNAMIC RANGE OF COLOR CONVERSION CORRECTION

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination