CN117422651A - 产生高动态范围图像的方法及图像处理系统 - Google Patents

产生高动态范围图像的方法及图像处理系统 Download PDF

Info

Publication number
CN117422651A
CN117422651A CN202211241778.2A CN202211241778A CN117422651A CN 117422651 A CN117422651 A CN 117422651A CN 202211241778 A CN202211241778 A CN 202211241778A CN 117422651 A CN117422651 A CN 117422651A
Authority
CN
China
Prior art keywords
image data
image
dynamic range
conversion function
color space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211241778.2A
Other languages
English (en)
Inventor
陈滢如
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
British Virgin Islands Shangshuo Star Co ltd
Original Assignee
British Virgin Islands Shangshuo Star Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by British Virgin Islands Shangshuo Star Co ltd filed Critical British Virgin Islands Shangshuo Star Co ltd
Publication of CN117422651A publication Critical patent/CN117422651A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/002—Special television systems not provided for by H04N7/007 - H04N7/18
    • H04N7/005—Special television systems not provided for by H04N7/007 - H04N7/18 using at least one opto-electrical conversion device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/202—Gamma control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本申请公开了一种产生高动态范围图像数据的方法和图像处理系统。所述方法包括：对第一色彩空间中的第一图像数据进行图像增强处理，据以产生第二图像数据，其中所述第一图像数据通过应用于标准动态范围内容的第一光电转换函数而产生；将所述第二图像数据转换为第二色彩空间中的第三图像数据，其中所述第二色彩空间的色域比所述第一色彩空间的色域更宽广；对所述第三图像数据进行动态范围调整以产生第四图像数据，其中所述第四图像数据的位深度大于所述第三图像数据的位深度；以及基于应用于高动态范围内容的第二光电转换函数，将所述第四图像数据转换为所述高动态范围图像数据。所述方法能够减少图像增强处理所造成的失真伪影。

Description

产生高动态范围图像的方法及图像处理系统
技术领域
本申请涉及图像处理，尤其涉及一种产生高动态范围图像的方法以及图像处理系统。
背景技术
能够支持高动态范围(high dynamic range，HDR)已成为显示设备制造商的关键卖点。HDR视频技术可提供更为宽广的亮度与色彩范围的信息，从而重现人眼可见的最亮白色与最暗黑色之间的色彩与对比。HDR兼容(HDR-compatible)的显示设备可解读上述信息，并呈现由较宽广色域(color gamut)与亮度所建构的图像。通过HDR视频技术，可以在显示器上再现摄像头所捕获的图像真实感。然而，仍需要有一种改善方案，来减少图像信号处理器(image signal processor，ISP)对HDR图像进行处理所造成的失真伪影(artifact)。
发明内容
本申请的实施例公开了一种产生高动态范围图像的方法以及图像处理系统。
本申请的某些实施例包括一种产生高动态范围图像数据的方法。所述方法包括：对第一色彩空间中的第一图像数据进行图像增强处理，据以产生第二图像数据，其中所述第一图像数据通过应用于标准动态范围内容的第一光电转换函数而产生；将所述第二图像数据转换为第二色彩空间中的第三图像数据，其中所述第二色彩空间的色域比所述第一色彩空间的色域更宽广；对所述第三图像数据进行动态范围调整以产生第四图像数据，其中所述第四图像数据的位深度大于所述第三图像数据的位深度；以及基于应用于高动态范围内容的第二光电转换函数，将所述第四图像数据转换为所述高动态范围图像数据。
本申请的某些实施例包括一种产生高动态范围图像数据的方法。所述方法包括：对输入图像数据进行色调映射与色彩校正，以产生表现在色彩空间中的第一图像数据，其中所述色彩空间具有与高动态范围内容兼容的色域，所述第一图像数据的位深度小于所述输入图像数据的位深度；对所述第一图像数据进行动态范围调整以产生第二图像数据，其中所述第二图像数据与所述输入图像数据具有相等的位深度；基于支持所述高动态范围内容的光电转换函数，将所述第二图像数据转换为第三图像数据；以及对所述第三图像数据进行图像增强处理，据以产生所述高动态范围图像数据。
本申请的某些实施例包括一种图像处理系统。所述图像处理系统包括存储器以及图像信号处理器。该存储器用以存储输入图像数据相应的输出图像数据，所述输入图像数据是由图像传感器所捕获。所述图像信号处理器耦接于所述存储器。所述图像信号处理器用以执行以下操作：基于支持第一动态范围的第一光电转换函数，将所述输入图像数据转换为第一色彩空间中的第一图像数据；对所述第一图像数据进行图像增强处理，以产生第二图像数据；将所述第二图像数据转换为第二色彩空间中的第三图像数据，其中所述第二色彩空间的色域比所述第一色彩空间的色域更宽广；对所述第三图像数据进行动态范围调整以产生第四图像数据，其中所述第四图像数据的位深度大于所述第三图像数据的位深度；以及将第二光电转换函数应用至所述第四图像数据，据以产生所述输出图像数据，其中所述第二光电转换函数支持第二动态范围，且所述第二动态范围比所述第一动态范围更宽广。
通过本申请所公开的图像处理方案，图像信号处理器端可产生高动态范围图像数据，而不会(或几乎不会)引入图像增强处理所造成的失真伪影。图像信号处理器端可将高动态范围视频流提供给显示器端，这个高动态范围视频流的动态范围与图像传感器所捕获的图像串流的动态范围相等。再者，本申请所公开的图像处理方案可实现图像信号处理器导引的视频系统或是质量感知端到端视频系统，其可从图像处理器端将元数据输出至显示器端，以供后续图像处理使用。
附图说明
搭配附随附图来阅读下文的实施方式，可清楚地理解本申请的多种态样。应注意到，根据本领域的标准惯例，附图中的各种特征并不一定是按比例进行绘制的。事实上，为了能够清楚地描述，可任意放大或缩小某些特征的尺寸。
图1是根据本申请某些实施例的视频系统的示意图。
图2是根据本申请某些实施例的图1所示的光电转换函数的示意图。
图3是根据本申请某些实施例的位于图1所示的图像信号处理器端的图像信号处理管道的实施方式的示意图。
图4是根据本申请某些实施例的产生高动态范围图像数据的方法的流程图。
图5是根据本申请某些实施例的位于图1所示的图像信号处理器端的图像信号处理管道的实施方式的示意图。
图6是根据本申请某些实施例的产生高动态范围图像数据的方法的流程图。
具体实施方式
以下披露内容公开了多种实施方式或例示，其能用以实现本申请内容的不同特征。下文所述的组件与配置的具体例子用以简化本申请内容。当可想见，这些叙述仅为例示，其本意并非用于限制本申请内容。举例来说，本申请内容可能会在实施例中重复使用组件符号和/或标号。此种重复使用乃是基于简洁与清楚的目的，且其本身不代表所讨论的不同实施例和/或组态之间的关系。
此外，若将一组件描述为与另一组件“连接(connected to)”或“耦接(coupledto)”，则两者可直接连接或耦接，或两者间可能出现其他中间(intervening)组件。
视频图像的预处理(pre-processing)可包括对线性光RGB成分和/或亮度(luminance)成分进行一维的色彩成分转换(one-dimensional color componenttransform)。这些转换通常通过模拟人眼视觉来优化针对所捕获的光信息而进行的量化处理，其中一种转换是称为“光电转换函数”(opto-electrical transfer function，OETF)的校正函数。图像信号处理器(image signal processor，ISP)可采用光电转换函数来校正输入图像数据，以供进一步的图像处理，诸如降噪(noise reduction)或图像锐化(imagesharpening)。举例来说，在用来产生标准动态范围(standard dynamic range，SDR)图像的ISP管道(pipeline)中，ISP可采用支持SDR内容的光电转换函数来校正输入图像数据，接着可对校正后的图像数据进行图像增强处理(image enhancement)，从而产生SDR图像。相似地，在用来产生HDR图像的ISP管道中，ISP会采用支持HDR内容的光电转换函数来校正输入图像数据。然而，用来处理HDR内容的光电转换函数在低亮度范围具有较陡的斜率，因此，对校正后的图像数据进行图像增强处理将导致HDR图像中出现失真伪影，例如边缘过冲(edgeovershoot)和/或暗区噪声。对于端到端(end-to-end)HDR系统来说，需对HDR图像进行后处理以减少失真伪影。
本申请提供了多个例示性的产生HDR图像数据的方法。这些方法能够对具有宽广动态范围的图像数据进行图像增强处理，而不会(或几乎不会)造成处理后的图像数据出现失真伪影，再将图像增强处理后的HDR图像数据输出至显示器端(display end)。此外，这些方法能够将HDR图像数据的动态范围维持在与图像传感器(image sensor)所接收的输入图像数据同等的动态范围。应注意到，本文所使用的词语“图像数据”可以是静止图像数据，或是视频流的帧数据(frame data)。本申请还提供多个例示性的图像处理系统。这些图像处理系统可用来实现质量感知端到端视频系统(quality-aware end-to-end videosystem)，其涵盖了ISP端(ISP end)与显示器端。本申请的图像处理系统位于ISP端，用以提供元数据(metadata)给显示器端，而这个元数据可包括色调映射参数(tone mappingparameter)和/或图像增强参数(image enhancement parameter)。显示器端可基于这个元数据来呈现高质量的HDR视频内容。进一步的说明如下。
图1是根据本申请某些实施例的视频系统的示意图。视频系统100可实施为质量感知端到端HDR视频系统，其可支持视频预览、视频录制和/或视频播放。视频系统100可包括ISP端11及显示器端13。在某些实施例中，ISP端11与显示器端13可集成在一电子装置(例如智能手机)中。位于显示器端13的显示设备13可设置在这个电子装置中。在某些实施例中，ISP端11与显示器端13可位于两个不同的电子装置中，例如，ISP端11位于一智能手机中，而显示设备13则是在这个智能手机之外。
ISP端11可将编码视频流VS1输出至显示器端13。编码视频流VS1可包含元数据MD，其包括了表示图像/视频质量的参数。显示器端13可接收编码视频流VS1以得知视频质量，并可基于编码视频流VS1显示视频内容。
举例来说，在ISP端11，图像处理系统110用以处理图像传感器120所捕获的输入图像数据IMG0，据以产生编码视频流VS1。图像处理系统110可包括图像信号处理器112、存储器114以及视频编码器116。图像信号处理器112用以处理输入图像数据IMG0，以产生输出图像数据IMGD。输出图像数据IMGD与输入图像数据IMG0可具有相同(或实质上相同)的动态范围。存储器114耦接于图像信号处理器112，用以存储输出图像数据IMGD。存储器114的实施例可以是为动态随机存取存储器(dynamic random access memory，DRAM)、闪存(flashmemory)或其他类型的存储装置。视频编码器116耦接于图像信号处理器112，用以对输出图像数据IMGD进行编码，以产生编码视频流VS1。此外，图像信号处理器112可用来产生元数据MD，其包括表示图像/视频质量的参数，例如色调映射参数和/或图像增强参数。视频编码器116可将元数据MD与输出图像数据IMGD一同编码，以产生编码视频流VS1。举例来说(但本申请不限于此)，元数据MD可嵌入在编码视频流VS1的标头(header)。
在显示器端13的显示设备130包括了处理电路132以及显示器136。处理电路132中的视频解码器134可对编码视频流VS1进行解码，以产生解码视频流VS2。显示器136可基于解码视频流VS2显示HDR内容。于此实施例中，在显示器端13的显示管道(displaypipeline)可根据编码视频流VS1中的元数据MD来做进一步的处理。举例来说，视频解码器134可从编码视频流VS1中提取元数据MD。基于所提取的元数据MD及显示器136的动态范围，处理电路132可对所接收的图像数据适应性地执行色调映射。
在某些实施例中，图像信号处理器112可对第一图像数据进行图像增强处理。第一图像数据是通过支持第一动态范围的光电转换函数f1而产生的，并以具有第一色域的第一色彩空间来表示。此外，基于支持第二动态范围(其比第一动态范围更为宽广)的光电转换函数f2，图像信号处理器112可将经过图像增强处理的图像数据转换为第二图像数据。第二图像数据以具有第二色域(其比第一色域更为宽广)的第二色彩空间来表示。举例来说，光电转换函数f1是支持SDR内容的光电转换函数(可称为SDR OETF)，且第一色彩空间是SDR装置能够支持的色彩空间；光电转换函数f2是支持HDR内容的光电转换函数(可称为HDROETF)，且第二色彩空间是HDR标准所采用的色彩空间。图像信号处理器112可根据第二图像数据(其与HDR标准兼容)来产生输出图像数据IMGD。由于是对利用SDR OETF而产生的第一图像数据来进行图像增强处理，图像信号处理器112所产生的HDR图像不会形成失真伪影。
图2是根据本申请某些实施例的光电转换函数f1与f2(如图1所示)的示意图。图2还绘示了光电转换函数的反函数，其也称为“电光转换函数”(electro-optical transferfunction，EOTF)。光电转换函数f_2020与电光转换函数invf_2020是由ITU-R BT.2020标准所定义，光电转换函数f_2020是SDR光电转换函数；光电转换函数f_hlg与电光转换函数invf_hlg是ITU-R BT.2100所规范的标准，光电转换函数f_hlg是混合对数伽马转换函数(hybrid log-gamma(HLG)transfer function)，其为与SDR内容的转换函数向下兼容的HDR光电转换函数；光电转换函数f_hdr10与电光转换函数invf_hdr10是由SMPTE ST.2084标准所定义，光电转换函数f_hdr10是感知量化转换函数(perceptual quantizer(PQ)transferfunction)，其为HDR光电转换函数，且在低亮度范围下具有比光电转换函数f_hlg还陡的斜率。举例来说(但本申请不限于此)，光电转换函数f_2020可用来实施图1所示的光电转换函数f1，而光电转换函数f_hlg或光电转换函数f_hdr10可用来实施图1所示的光电转换函数f2。然而，这并非用来限制本申请的范围。在某些实施例中，只要光电转换函数f2可支持的动态范围比光电转换函数f1可支持的动态范围更加宽广，便可采用其他光电转换函数来实施图1所示的光电转换函数f1与f2，而不会悖离本申请的范围。
图3是根据本申请某些实施例的位于ISP端11(如图1所示)的ISP管道的实施方式的示意图。ISP管道302可利用图1所示的图像信号处理器112来实现，例如，图1所示的图像信号处理器112可包括硬件单元(诸如专用的电路)以便执行ISP管道302中不同的阶段/块；又例如，图1所示的图像信号处理器112可包括软件单元(诸如可存储计算机程序码的非挥发性计算机可读介质)以便执行ISP管道302中不同的阶段/块；又例如，图1所示的图像信号处理器112可包括硬件单元与软件单元的组合，以便执行ISP管道302中不同的阶段/块。
ISP管道302可利用图1所示的光电转换函数f1与f2来产生HDR视频内容，而不会引入失真伪影至所产生的HDR视频内容中。为方便说明，ISP管道302所使用的光电转换函数f1与f2分别由图2所示的光电转换函数f_2020与f_hdr10来实施。本领域的技术人员应可了解，只要光电转换函数f2所支持的动态范围比光电转换函数f1所支持的动态范围来得更加宽广，其他光电转换函数也可作为光电转换函数f1与f2，而不会悖离本申请的范围。
于此实施例中，基于支持动态范围DR1的光电转换函数f1，ISP管道302的阶段310可将输入图像数据IMG0转换为图像数据IMG1。输入图像数据IMG0可以是图1所示的图像传感器120捕获的原始图像数据(raw image data)，图像数据IMG1(以色彩空间CS1表现)则可用于将捕获的原始图像数据重现在显示器136。动态范围DR1可以是标准动态范围，光电转换函数f1可以是SDR光电转换函数，例如图2所示的光电转换函数f_2020。此外，色彩空间CS1可具有的色域为SDR显示器所支持。举例来说，色彩空间CS1可以是P3色彩空间(即，DCI-P3或Display P3色彩空间)，其具有宽色域SDR显示器支持的色域。
阶段310可包括处理块311与光电转换函数块(OETF block)318。处理块311用以将输入图像数据IMG0转换成色彩空间CS1中的图像数据IMGZ。处理块311包括(但不限于)色调映射(tone mapping，TM)块312、去马赛克(demosaicing，DM)块314以及色彩校正矩阵(color correction matrix，CCM)块316。色调映射块312可对输入图像数据IMG0进行色调映射处理(诸如局部色调映射(local tone mapping，LTM))，以压缩输入图像数据IMG0的像素值的范围。举例来说，输入图像数据IMG0可以是每像素20位长度/深度，而色调映射块312所产生的经色调映射处理的图像数据(即图像数据IMGC)可以是每像素14位长度/深度。此外，去马赛克块314可执行图像数据IMGC的去马赛克操作，从而得到全彩的图像数据IMGM。色彩校正矩阵块316可通过色域映射(gamut mapping)来对图像数据IMGM进行色彩校正，从而产生色彩空间CS1中的图像数据IMGZ。光电转换函数块318用以将光电转换函数f1应用至图像数据IMGZ，以产生具有标准动态范围的图像数据IMG1。
阶段320用来对图像数据IMG1进行图像增强处理，以产生经强化处理后的图像数据IMG2。图像增强处理可包括降噪(noise reduction)、图像锐化(image sharpening)两者中的一个或者两者兼具。也就是说，阶段320可对图像数据IMG1执行降噪处理和/或图像锐化处理。应注意到，阶段320所进行的图像增强处理可包括其他操作(例如对比度增强(contrast enhancement))，而不会悖离本申请的范围。
阶段320包括(但不限于)色彩空间转换(color space conversion，CSC)块322、降噪(NR)块324以及图像锐化块326。色彩空间转换块322可将图像数据IMG1从一色彩定义域(color domain)转换至另一色彩定义域，以产生图像数据IMG1S。在图3所示的实施例中，色彩空间转换块322可将图像数据IMG1从RGB色彩定义域转换至YUV色彩定义域。图像数据IMG1S(即，YUV色彩定义域中的图像数据IMG1)将依序由降噪块324及图像锐化块326对其进行相关的图像处理。
阶段330用以将图像数据IMG2转换为具有动态范围DR2(其比动态范围DR1更宽广)的图像数据IMGH。图像数据IMGH可以是HDR图像数据，也就是说，动态范围DR2可以是符合HDR标准的高动态范围。阶段330可称为HDR控制块(HDR mastering block)。此外，图像数据IMGH是运用色域比色彩空间CS1的色域来得宽广的色彩空间CS2来表现，例如，色彩空间CS2可以是HDR10标准所定义的BT.2020色彩空间。
阶段330包括多个处理块331-333。处理块331用以将图像数据IMG2转换为色彩空间CS2中的图像数据IMG3。于此实施例中，处理块331可包括色彩空间转换块3311、电光转换函数块3312以及色彩校正矩阵块3313。色彩空间转换块3311可将图像数据IMG2从YUC色彩定义域转换至RGB色彩定义域，据以产生图像数据IMG2S。基于电光转换函数invf1，电光转换函数块3312可将图像数据IMG2S(即RGB色彩定义域中的图像数据IMG2)转换为IMGX，其以色彩空间CS1(例如P3色彩空间)来表现。电光转换函数invf1可以是光电转换函数块318所使用的光电转换函数f1的反函数。色彩校正矩阵块3313可通过色域映射来对图像数据IMGX进行色彩校正，从而产生表现在色彩空间CS2(例如BT.2020色彩空间)中的图像数据IMG3。
处理块332用来对图像数据IMG3进行动态范围调整，以产生图像数据IMG4。处理块332可用于补偿损失的动态范围，例如，图像数据IMG4的位深度大于图像数据IMG3的位深度。此外，图像数据IMG4与图像数据IMG0可具有相等的位深度。
处理块332可包括逆色调映射(inverse tone mapping)块3321及亮度变换(luminance transform)块3322。逆色调映射块3321可对图像数据IMG3进行逆色调映射，以产生位深度大于图像数据IMG3的位深度的图像数据IMGY。此外，图像数据IMGY与输入图像数据IMG0可具有相等的位深度，也就是说，逆色调映射块3321可恢复(或部分恢复)经色调映射块312压缩后所损失的像素值范围。
亮度变换块3322可将图像数据IMGY的各个像素的亮度值重新映射至预定亮度范围，从而产生具有重新映射后的亮度值的图像数据IMG4，这些重新映射后的亮度值分布于上述预定亮度范围。亮度变换块3322可根据使用者需求或映射准则来设定这个预定亮度范围。举例来说，图像数据IMG4的最小亮度值可等同于显示器136的预定亮度水平(brightness level)或最小亮度水平；在另一个例子中，图像数据IMG4的最大亮度值可等同于显示器136的预定亮度水平或最大亮度水平；在另一个例子中，显示器136的最大与最小亮度水平可分别作为预定亮度范围的下限与上限。
在某些实施例中，处理块332可将元数据MD输出至显示设备，所输出的元数据MD可包括预定亮度范围的信息，和/或包括用于图像增强处理的至少一个参数。举例来说，请一并参阅图1和图3，从ISP端11输出的元数据MD可包括在编码视频流VS1(其输出至显示器端13的显示设备130)中。当元数据MD包括处理块332所使用的预定亮度范围的信息时，处理电路132可基于显示器136的动态范围，适应性地对解码视频流VS2中的图像数据进行色调映射；当元数据MD包括阶段320中所使用的降噪处理、对比度校正/强化处理和/或图像锐化的参数时，处理电路132可根据元数据MD对解码视频流VS2执行更进一步的图像增强处理。
请再次参阅图3，处理块333用以将光电转换函数f2应用至图像数据IMG4，据以产生图像数据IMGH。光电转换函数f2所支持的动态范围DR2可以是高动态范围；光电转换函数f2可以是HDR光电转换函数，诸如图2所示的光电转换函数f_hdr10。在图3所示的实施例中，处理块3331可包括光电转换函数块3331以及色彩空间转换块3332。光电转换函数块3331可将光电转换函数f2应用至图像数据IMG4，从而产生具有高动态范围DR2的图像数据IMG4S。色彩空间转换块3332可将图像数据IMG4S从RGB色彩定义域转换至YUV色彩定义域。YUV色彩定义域中的图像数据IMG4S可作为图像数据IMGH。
缩放块(scaler block)340用以将图像数据IMGH放大/缩小至与显示器(诸如显示器136)相匹配的尺寸，例如，缩放块340可对图像数据IMGH进行缩放、裁剪和/或重新调整等处理，从而产生经缩放处理后的图像数据IMGS。递色(dither)块350可对图像数据IMGS用递色技术进行处理，以产生位深度小于图像数据IMGS的位深度的图像数据IMGD。举例来说，图像数据IMGD可具有与HDR标准兼容的8位或10位格式。
于运作中，处理块311可将输入图像数据IMG0转换为P3色彩空间中的图像数据IMGZ。光电转换函数块318可将SDR光电转换函数(例如图2所示的光电转换函数f_2020)应用至图像数据IMGZ，从而产生伽马压缩后(gamma compressed)的图像数据IMG1。阶段320可对图像数据IMG1进行图像增强处理(包括降噪及图像锐化)。接下来，基于电光转换函数invf1(例如图2所示的电光转换函数invf_2020)，处理块331可通过伽马展开(gammaexpansion)来将图像数据IMG2转换为图像数据IMGX。此外，处理块331还可将图像数据IMGX转换为BT.2020色彩空间中的图像数据IMG3。
接下来，处理块332可对图像数据IMG3进行逆局部色调映射(inverse local tonemapping)，以恢复因为处理块311的压缩操作而损失的像素值范围。举例来说，色调映射块312可进行局部色调映射处理，以将输入图像数据IMG0的像素值从20位深度压缩为14位深度，而逆色调映射块3321则可进行逆局部色调映射处理，以将图像数据IMG3的位深度由14位恢复成20位。此外，处理块332可调整绝对亮度值以提升视频内容的整体质量。举例来说，亮度变换块3322可将图像数据IMGY的亮度值重新映射至预定亮度范围，使图像数据IMGY的最低场景亮度值(scene luminance value)映射至显示器136的预定亮度水平。处理块333可将光电转换函数f2(诸如图2所示的光电转换函数f_hdr10)应用至处理块332所输出的图像数据IMG4，从而产生HDR图像数据(即图像数据IMGH)。
再者，处理块332可产生元数据MD，其包括了表示图像/视频质量的参数(例如色调映射和/或图像增强参数)。元数据MD可包括在图1所示的编码视频流VS1中。图1所示的显示设备130可接收编码视频流VS1以从中感知视频质量。
通过本申请所公开的图像处理方案，显示设备所接收的视频流的动态范围可等于(或实质上等于)图像传感器所捕获的图像数据的动态范围。此外，本申请所公开的图像处理方案可产生HDR图像数据，而不会引入图像增强处理所造成的失真伪影。再者，本申请所公开的图像处理方案可输出元数据(其包括用来表示图像/视频质量的参数)，以供显示管道中的图像处理使用。
图4是根据本申请某些实施例的产生HDR图像数据的方法的流程图。以上基于图3所示的ISP管道302来描述的操作可归纳于图4所示的流程图。为方便说明，以下搭配图3所示的ISP管道302来说明方法400。应注意到，图1所示的图像信号处理器112可采用方法400来产生HDR图像数据，而不会悖离本申请的范围。此外，在某些实施例中，方法400可包括其他步骤。
于步骤402中，对第一色彩空间中的第一图像数据进行图像增强处理，从而产生第二图像数据。第一图像数据是通过应用于标准动态范围内容的第一光电转换函数而产生。举例来说，阶段320可接收表现在色彩空间CS1(例如P3色彩空间)中的图像数据IMG1，并可对图像数据IMG1进行图像增强处理以产生图像数据IMG2。图像数据IMG1是利用光电转换函数f1(诸如图2所示的光电转换函数f_2020)而产生。
在某些实施例中，可将第一光电转换函数应用于来自图像传感器所捕获的输入图像的图像数据，从而产生第一图像数据。举例来说，处理块311可对输入图像数据IMG0进行色调映射与色彩校正，以产生图像数据IMGZ。光电转换函数f1应用于图像数据IMGZ以产生图像数据IMG1。
于步骤404中，将第二图像数据转换为第二色彩空间中的第三图像数据，第二色彩空间具有比第一色彩空间更加宽广的色域。举例来说，处理块331可将图像数据IMG2转换为表现在色彩空间CS2中的图像数据IMG3，色彩空间CS2可以是BT.2020色彩空间，其具有比P3色彩空间宽广的色域。
在某些实施例中，可采用电光转换函数以将第二图像数据转换为以第一色彩空间表现的图像数据。接下来，可使用色彩校正矩阵来修改转换后的第二图像数据，从而产生第三图像数据。举例来说，基于电光转换函数invf1(其可为光电转换函数f1的反函数)，处理块331可将图像数据IMG2转换为图像数据IMGX。处理块331可通过色调映射对图像数据IMGX进行色彩校正，从而产生以色彩空间CS2表现的图像数据IMG3。
于步骤406，对第三图像数据进行动态范围调整以产生第四图像数据，第四图像数据的位深度大于第三图像数据的位深度。举例来说，处理块332可对图像数据IMG3进行动态范围调整以产生图像数据IMG4。为了恢复像素值范围，处理块332可增加各像素的位深度来加大数值范围。因此，图像数据IMG4的位深度大于图像数据IMG3的位深度。
在某些实施例中，动态范围调整操作可包括逆色调映射与亮度值重新映射，举例来说，处理块332可对图像数据IMG3进行逆色调映射以产生图像数据IMGY。此外，处理块332可将图像数据IMGY的亮度值映射至预定亮度范围，从而产生图像数据IMG4。图像数据IMG4所具有的经重新映射的亮度值会对应分布在上述预定亮度范围。
于步骤408，基于应用于高动态范围内容的第二光电转换函数，将第四图像数据转换为高动态范围图像数据。举例来说，基于光电转换函数f2(其可为图2所示的光电转换函数f_hdr10)，处理块333可将图像数据IMG4转换为图像数据IMGH。
由于本领域的技术人员在阅读上述关于图1至图3的段落说明后，应可了解方法400的操作细节，因此，进一步的说明在此便不再赘述。
请再次参阅图1，在某些实施例中，图像信号处理器112可利用动态范围解压缩及光电转换函数f3来产生具有高动态范围的输出图像数据IMGD。光电转换函数f3可支持HDR内容，并且在低亮度范围下呈现相对平缓的斜率。图像处理系统110输出的编码视频流VS1可具有与图像传感器120所捕获的原始图像数据实质上相等的动态范围。
图5是根据本申请某些实施例的位于ISP端11(如图1所示)的ISP管道的实施方式的示意图。ISP管道502可利用图1所示的图像信号处理器112来实现，例如，图1所示的图像信号处理器112可包括硬件单元、软件单元，或硬件单元与软件单元的组合，以便执行ISP管道502中不同的阶段/块。除了设置在处理块311与318之间的HDR控制块(即处理块532)之外，ISP管道502的结构与图3所示的ISP管道302的结构大致相似。
ISP管道502可利用图1所示的光电转换函数f3来产生HDR视频内容，而不会造成严重的失真伪影。举例来说，图2所示的光电转换函数f_hlg可用来实现光电转换函数f3。本领域的技术人员应可了解，可采用其他能够在低亮度范围下呈现较为平缓斜率的HDR光电转换函数来实现光电转换函数f3，而不会悖离本申请的范围。
于此实施例中，ISP管道502中的处理块311可对输入图像数据IMG0进行色调映射与色彩校正，以产生以色彩空间CS3(其具有与HDR内容兼容的色域)表现的图像数据IMGZ。图像数据IMGZ的位深度小于输入图像数据IMG0的位深度，例如，色调映射块312可对输入图像数据IMG0进行色调映射(例如局部色调映射)以产生图像数据IMGC。去马赛克块314可对图像数据IMGC进行去马赛克的处理，从而获得全彩的图像数据IMGM。色彩校正矩阵块316可通过色域映射来对图像数据IMGM进行色彩校正，以产生表现在色彩空间CS3中的图像数据IMGZ。色彩空间CS3具有与HDR内容兼容的色域，举例来说，色彩空间CS3可以是HDR标准所支持的BT.2020色彩空间。
处理块532用来对图像数据IMGZ进行动态范围调整，以产生具有高动态范围的图像数据IMGZS。处理块532所进行的动态范围调整可包括(不限于)逆色调映射与亮度值重新映射。如此一来，图像数据IMGZS与输入图像数据IMG0可具有相等的位深度，在图5所示的实施例中，可采用图3所示的逆色调映射块3321与亮度变换块3322来实现处理块532。逆色调映射块3321可对图像数据IMGZ进行逆色调映射以产生图像数据IMGY，其位深度大于图像数据IMGZ的位深度。亮度变换块3322可将图像数据IMGY的亮度值重新映射至预定亮度范围以产生图像数据IMGZS，其亮度值(经重新映射后的亮度值)可对应分布在这个预定亮度范围。在某些实施例中，处理块532可输出元数据MD，其包括了上述预定亮度范围的信息。
光电转换函数块318可基于光电转换函数f3(诸如图2所示的光电转换函数f_hlg)将图像数据IMGZS转换为图像数据IMG1。阶段320可对图像数据IMG1进行图像增强处理，据以产生HDR图像数据(即图像数据IMGH)。阶段320所执行的图像增强处理可包括降噪处理和/或图像锐化处理。应注意到，图像数据IMG1是利用光电转换函数f3而产生的，而光电转换函数f3是在低亮度范围下具有较为平缓的斜率的HDR光电转换函数。因此，对图像数据IMG1进行图像增强处理并不会导致在图像数据IMGH中出现严重的失真伪影，也就是说，ISP管道502可产生几乎不存在失真伪影的HDR图像数据。
于运作中，处理块311可将输入图像数据IMG0转换为BT.2020色彩空间中的图像数据IMGZ。逆色调映射块3321可对图像数据IMGZ进行逆局部色调映射，以恢复因为处理块311的压缩操作而损失的像素值范围。亮度变换块3322可调整图像数据IMGY的亮度值，并产生图像数据IMGZS，其具有具有调整后的亮度值。处理块332还可产生元数据MD，其包括了用来表示图像/视频质量的参数(诸如色调映射参数和/或亮度值重新映射的信息)。元数据MD可包括在图1所示的编码视频流VS1中。
接下来，光电转换函数块318可将光电转换函数f3(例如图2所示的光电转换函数f_hlg)应用至图像数据IMGZS，从而产生符合HDR标准的图像数据IMG1。阶段320可对图像数据IMG1进行图像增强处理，据以产生图像数据IMGH。应注意到，处理块532所产生的元数据MD可包括阶段320所使用的图像增强参数。
由于本领域的技术人员在阅读上述关于图1至图4的段落说明后，应可了解ISP管道502中各阶段/块的操作细节，相似的说明在此便不再重复。
图6是根据本申请某些实施例的产生HDR图像数据的方法的流程图。以上基于图5所示的ISP管道502来描述的操作可归纳于图6所示的流程图。为方便说明，以下搭配图5所示的ISP管道502来说明方法600。应注意到，图1所示的图像信号处理器112可采用方法600来产生HDR图像数据，而不会悖离本申请的范围。此外，在某些实施例中，方法600可包括其他步骤。
于步骤602中，对输入图像数据进行色调映射与色彩校正，以产生表现在色彩空间(其具有与高动态范围内容兼容的色域)中的第一图像数据，其位深度小于输入图像数据的位深度。举例来说，处理块311可对输入图像数据IMG0进行色调映射与色彩校正，以产生以HDR标准所支持的色彩空间CS3(例如BT.2020色彩空间)表现的图像数据IMGZ(其位深度小于输入图像数据IMG0)。
于步骤604中，对第一图像数据进行动态范围调整以产生第二图像数据，第二图像数据与输入图像数据具有相等的位深度。举例来说，处理块532可对图像数据IMGZ进行动态范围调整以产生图像数据IMGZS。为了恢复像素值范围，处理块532可增加每个像素的位深度来加大数值范围。因此，就每个像素而言，图像数据IMGZS与输入图像数据IMG0可具有相等的位深度。
在某些实施例中，动态范围调整操作可包括逆色调映射与亮度值重新映射。举例来说，处理块532可对图像数据IMGZ进行逆色调映射以产生图像数据IMGY。此外，处理块532可将图像数据IMGY的亮度值映射至预定亮度范围，从而产生图像数据IMGZS。图像数据IMGZS所具有的经重新映射的亮度值可对应分布在上述预定亮度范围。
于步骤606中，基于支持高动态范围内容的光电转换函数，将第二图像数据转换为第三图像数据。举例来说，基于光电转换函数f3(诸如图2所示的光电转换函数f_hlg)，光电转换函数块318可将图像数据IMGZS转换为图像数据IMG1。
于步骤608中，对第三图像数据进行图像增强处理，据以产生高动态范围图像数据。举例来说，阶段320可接收以色彩空间CS3(诸如BT.2020色彩空间)表现的图像数据IMG1，并对图像数据IMG1进行图像增强处理以产生图像数据IMGH。
由于本领域的技术人员在阅读上述关于图1至图5的段落说明后，应可了解方法600的操作细节，因此，进一步的说明在此便不再赘述。
通过本申请所公开的图像处理方案，图像信号处理器端可产生高动态范围图像数据，而不会(或几乎不会)引入图像增强处理所造成的失真伪影。图像信号处理器端可将高动态范围视频流提供给显示器端，这个高动态范围视频流的动态范围与图像传感器所捕获的图像串流的动态范围相等。再者，本申请所公开的图像处理方案可实现图像信号处理器导引的视频系统(ISP-guided video system)或是质量感知端到端视频系统，其可从图像处理器端将元数据输出至显示器端，以供后续图像处理使用。
上文的叙述简要地提出了本申请某些实施例的特征，而使得本领域的技术人员能够更全面地理解本申请的多种态样。本领域的技术人员当可理解，其可轻易地利用本申请内容作为基础，来设计或更动其他工艺与结构，以实现与此处所述的实施方式相同的目的和/或达到相同的优点。本领域的技术人员应当明白，这些均等的实施方式仍属于本申请内容的精神与范围，且其可进行各种变更、替代与更动，而不会悖离本申请内容的精神与范围。

Claims (20)

1.一种产生高动态范围图像数据的方法，其特征在于，包括：
对第一色彩空间中的第一图像数据进行图像增强处理，据以产生第二图像数据，其中所述第一图像数据通过应用于标准动态范围内容的第一光电转换函数而产生；
将所述第二图像数据转换为第二色彩空间中的第三图像数据，其中所述第二色彩空间的色域比所述第一色彩空间的色域更宽广；
对所述第三图像数据进行动态范围调整以产生第四图像数据，其中所述第四图像数据的位深度大于所述第三图像数据的位深度；以及
基于应用于高动态范围内容的第二光电转换函数，将所述第四图像数据转换为所述高动态范围图像数据。
2.根据权利要求1所述的方法，其特征在于，将所述第二图像数据转换为所述第三图像数据的步骤包括：
基于电光转换函数，将所述第二图像数据转换为所述第一色彩空间中的第五图像数据；以及
通过色域映射来对所述第五图像数据进行色彩校正，从而产生所述第二色彩空间中的所述第三图像数据。
3.根据权利要求1所述的方法，其特征在于，对所述第三图像数据进行动态范围调整的步骤包括：
对所述第三图像数据进行逆色调映射，以产生第五图像数据；以及
将所述第五图像数据的多个亮度值重新映射至预定亮度范围，从而产生所述第四图像数据，其中所述第四图像数据所具有的重新映射后的所述多个亮度值分布在所述预定亮度范围。
4.根据权利要求3所述的方法，其特征在于，还包括：
对输入图像数据进行色调映射与色彩校正，以产生所述第一色彩空间中的第六图像数据，其中所述输入图像数据与所述第五图像数据具有相等的位深度；以及
将所述第一光电转换函数应用至所述第六图像数据，以产生具有标准动态范围的所述第一图像数据。
5.根据权利要求3所述的方法，其特征在于，还包括：
将包括所述预定亮度范围的信息的元数据输出至显示设备。
6.根据权利要求1所述的方法，其特征在于，所述图像增强处理包括降噪与影像锐化两者中的至少一个。
7.根据权利要求1所述的方法，其特征在于，还包括：
将包括所述图像增强处理所使用的至少一个参数的元数据输出至显示设备。
8.一种产生高动态范围图像数据的方法，其特征在于，包括：
对输入图像数据进行色调映射与色彩校正，以产生表现在色彩空间中的第一图像数据，其中所述色彩空间具有与高动态范围内容兼容的色域，所述第一图像数据的位深度小于所述输入图像数据的位深度；
对所述第一图像数据进行动态范围调整以产生第二图像数据，其中所述第二图像数据与所述输入图像数据具有相等的位深度；
基于支持所述高动态范围内容的光电转换函数，将所述第二图像数据转换为第三图像数据；以及
对所述第三图像数据进行图像增强处理，据以产生所述高动态范围图像数据。
9.根据权利要求8所述的方法，其特征在于，所述光电转换函数是混合对数伽马转换函数。
10.根据权利要求8所述的方法，其特征在于，对所述第一图像数据进行动态范围调整的步骤包括：
对所述第一图像数据进行逆色调映射，以产生第四图像数据；以及
将所述第四图像数据的多个亮度值重新映射至预定亮度范围，从而产生所述第二图像数据，其中所述第二图像数据所具有的重新映射后的所述多个亮度值分布在所述预定亮度范围。
11.根据权利要求10所述的方法，其特征在于，还包括：
将包括所述预定亮度范围的信息的元数据输出至显示设备。
12.根据权利要求8所述的方法，其特征在于，所述图像增强处理包括降噪与影像锐化两者中的至少一个。
13.根据权利要求12所述的方法，其特征在于，还包括：
将包括所述图像增强处理所使用的至少一个参数的元数据输出至显示设备。
14.一种图像处理系统，其特征在于，包括：
存储器，用以存储输入图像数据相应的输出图像数据，所述输入图像数据是由图像传感器所捕获；以及
图像信号处理器，耦接于所述存储器，所述图像信号处理器用以执行以下操作：
基于支持第一动态范围的第一光电转换函数，将所述输入图像数据转换为第一色彩空间中的第一图像数据；
对所述第一图像数据进行图像增强处理，以产生第二图像数据；
将所述第二图像数据转换为第二色彩空间中的第三图像数据，其中所述第二色彩空间的色域比所述第一色彩空间的色域更宽广；
对所述第三图像数据进行动态范围调整以产生第四图像数据，其中所述第四图像数据的位深度大于所述第三图像数据的位深度；以及
将第二光电转换函数应用至所述第四图像数据，据以产生所述输出图像数据，其中所述第二光电转换函数支持第二动态范围，且所述第二动态范围比所述第一动态范围更宽广。
15.根据权利要求14所述的图像处理系统，其特征在于，所述第一光电转换函数支持标准动态范围内容，以及所述第二光电转换函数支持高动态范围内容。
16.根据权利要求14所述的图像处理系统，其特征在于，将所述第二图像数据转换为所述第三图像数据的操作包括：
基于电光转换函数，将所述第二图像数据转换为所述第一色彩空间中的第五图像数据；以及
通过色域映射来对所述第五图像数据进行色彩校正，从而产生所述第二色彩空间中的所述第三图像数据。
17.根据权利要求14所述的图像处理系统，其特征在于，对所述第三图像数据进行动态范围调整的操作包括：
对所述第三图像数据进行逆色调映射，以产生第五图像数据；以及
将所述第五图像数据的多个亮度值重新映射至预定亮度范围，从而产生所述第四图像数据，其中所述第四图像数据所具有的重新映射后的所述多个亮度值分布在所述预定亮度范围。
18.根据权利要求17所述的图像处理系统，其特征在于，所述第五图像数据与所述输入图像数据具有相等的位深度。
19.根据权利要求17所述的图像处理系统，其特征在于，所述图像信号处理器还用以将包括所述预定亮度范围的信息的元数据输出至显示设备。
20.根据权利要求14所述的图像处理系统，其特征在于，所述图像增强处理包括降噪与图像锐化两者中的至少一个。
CN202211241778.2A 2022-07-07 2022-10-11 产生高动态范围图像的方法及图像处理系统 Pending CN117422651A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/811,087 US20240013356A1 (en) 2022-07-07 2022-07-07 Method for generating high dynamic range image, and image processing system
US17/811,087 2022-07-07

Publications (1)

Publication Number Publication Date
CN117422651A true CN117422651A (zh) 2024-01-19

Family

ID=89431672

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211241778.2A Pending CN117422651A (zh) 2022-07-07 2022-10-11 产生高动态范围图像的方法及图像处理系统

Country Status (3)

Country Link
US (1) US20240013356A1 (zh)
CN (1) CN117422651A (zh)
TW (1) TW202404342A (zh)

Also Published As

Publication number Publication date
TW202404342A (zh) 2024-01-16
US20240013356A1 (en) 2024-01-11

Similar Documents

Publication Publication Date Title
US10432955B2 (en) High dynamic range adaptation operations at a video decoder
JP6609708B2 (ja) 高ダイナミックレンジ映像データの再形成および適応のためのシステムおよび方法
KR102488954B1 (ko) 영상 처리 장치 및 그의 영상 처리 방법
CN107209929B (zh) 用于对高动态范围图像进行处理的方法和装置
JP2016213809A (ja) 表示方法および表示装置
JP7086587B2 (ja) 復号された画像データから画像データを再構成する方法および装置
RU2710873C2 (ru) Способ и устройство для декодирования цветного изображения
JP6948309B2 (ja) パラメトリック・トーン調整関数を使用してピクチャをトーン・マッピングする方法およびデバイス
JP2011193511A (ja) 高ダイナミックレンジ画像データを復号化するための装置及び方法、表示用画像を処理可能なビューア、ならびに表示装置
CN111885312B (zh) Hdr图像的成像方法、系统、电子设备及存储介质
CN110521198B (zh) 用于重构hdr图像的方法和设备
CN114866809B (zh) 视频转换方法、装置、设备、存储介质及程序产品
US20220256157A1 (en) Method and apparatus for processing image signal conversion, and terminal device
US10497093B2 (en) Image processing apparatus for minimizing deterioration of image quality of a raw image
WO2016181584A1 (ja) 表示方法および表示装置
CN117422651A (zh) 产生高动态范围图像的方法及图像处理系统
US20190079930A1 (en) Systems and methods for rendering graphical assets
CN107888944B (zh) 图像处理
KR20070111111A (ko) 영상 압축방법과 신장방법 및 그 장치
RU2776101C1 (ru) Способ и устройство для восстановления адаптированного к дисплею изображения hdr
CN110999300B (zh) 用于图像/视频处理的单通道逆映射
WO2007105951A1 (en) Method and device for coding and decoding data
CN108027978B (zh) 用于hdr编码/解码的颜色分量采样的同位置亮度采样的确定
JP2023130222A (ja) 画像処理装置、制御方法及びプログラム
CN116993597A (zh) 一种图像校正方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination