CN110545413B - 用于执行高动态范围视频的色调映射的方法及装置 - Google Patents

用于执行高动态范围视频的色调映射的方法及装置 Download PDF

Info

Publication number
CN110545413B
CN110545413B CN201910383854.5A CN201910383854A CN110545413B CN 110545413 B CN110545413 B CN 110545413B CN 201910383854 A CN201910383854 A CN 201910383854A CN 110545413 B CN110545413 B CN 110545413B
Authority
CN
China
Prior art keywords
video signal
tone mapping
dynamic range
rgb video
linear rgb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910383854.5A
Other languages
English (en)
Other versions
CN110545413A (zh
Inventor
陈滢如
李文甫
张德浩
黄泰翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN110545413A publication Critical patent/CN110545413A/zh
Application granted granted Critical
Publication of CN110545413B publication Critical patent/CN110545413B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/92—
    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/202—Gamma control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/643—Hue control means, e.g. flesh tone control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Abstract

本发明提供了一种用于执行高动态范围(HDR)视频的色调映射的视频控制器以及方法。所述视频控制器包括：色彩空间转换器，配置为接收输入高动态范围视频信号以及在所述HDR视频信号上执行YUV到RGB转换来获得具有第一伽马曲线的第一RGB视频信号；去伽马单元，配置为在所述第一RGB视频信号上应用第二伽马曲线来补偿所述第一伽马曲线来获得线性RGB视频信号；第一直方图计算器，配置为计算所述线性RGB视频信号的当前帧的第一直方图；以及色调映射单元，配置为根据所述线性RGB视频信号的先前帧的直方图在所述线性RGB视频信号的当前帧上应用色调映射曲线来生成输出线性RGB视频信号。

Description

用于执行高动态范围视频的色调映射的方法及装置
技术领域
本发明涉及视频处理，更具体地，涉及用于执行高动态范围(high-dynamic-range，HDR)视频的色调映射(tone-mapping)的视频控制器以及方法。
背景技术
高动态范围(HDR)是由许多标准组织(例如，蓝光协会、ISO/IEC HEVC、ITU-R、SMPTE、CEA以及HDMI)以及私人企业(例如，杜比、飞利浦)所引入的一种新技术。如超高清(ultra-high-definition，UHD)蓝光播放器以及UHD TV的装置预期在不久的将来支持HDR技术。
播放HDR视频的需求包括两个主要的用例场景，如：1)在HDR显示监视器或TV上重放HDR视频；以及2)在传统标准动态范围(SDR)显示监视器或TV上播放HDP视频。第二种用例需要将HDR视频转换成SDR视频。然而，传统的HDR到SDR转换技术可能使用静态色调映射，例如使用ST 2086标准中定义的静态元数据。虽然静态色调映射在图像中的黑暗区域可以具有更好的对比度(contrast)，其也使得图像中明亮区域饱和。
当在HDR视频中静态元数据可用时，传统的HDR到SDR转换技术不能适应性逐帧改变色调映射曲线(即，视频流中每一帧有不同的色调映射曲线)，从而导致差的视频质量。
因此，需要一种执行高动态视频(HDR)的色调映射的视频控制器以及方法来解决上述提到的问题。
发明内容
在参考附图的后续实施例中给出了本发明的细节描述。
在一示例性实施例中，提供了一种视频控制器。所述视频控制器包括：色彩空间转换器，配置为接收输入高动态范围视频信号以及在所述输入HDR视频信号上执行YUV到RGB转换来获得具有第一伽马曲线的第一RGB视频信号；去伽马单元，配置为在所述第一RGB视频信号上应用第二伽马曲线来补偿所述第一伽马曲线来获得线性RGB视频信号；第一直方图计算器，配置为计算所述线性RGB视频信号的当前帧的第一直方图；以及色调映射单元，配置为根据所述线性RGB视频信号的先前帧的直方图，在所述线性RGB视频信号的当前帧上应用色调映射曲线来生成输出线性RGB视频信号。
在另一个示例性实施例中，提供了一种用于执行高动态范围(HDR)视频的色调映射的方法。所述方法包括后续步骤：接收输入高动态范围视频信号；在所述输入HDR视频信号上执行YUV到RGB转换来获得具有第一伽马曲线的第一RGB视频信号；在所述第一RGB视频信号上应用第二伽马曲线来补偿所述第一伽马曲线来获得第二RGB视频信号；计算所述第二RGB视频信号的当前帧的第一直方图；以及根据所述第二RGB视频信号的先前帧的直方图，在所述第二RGB视频信号的当前帧上应用色调映射曲线来生成输出RGB视频信号。
本发明通过适应性逐帧改变色调映射曲线，能够获得较好的视频质量。
附图说明
通过阅读后续的细节描述以及示例并参考附图，可以更充分地理解本发明，其中：
图1是根据本发明实施例的视频控制器的框图。
图2A以及2B是根据本发明实施例的动态色调映射的示例。
图3A以及3B是根据本发明实施例的适应性色调映射的曲线的图示。
图3C是静态色调映射的曲线；以及
图4是用于执行高动态范围视频的色调映射的方法的流程图。
具体实施方式
后续的描述是实施本发明的最佳实施方式。所作之描述是为了说明本发明的一般原理以及不应对此作限制性理解。本发明的范围由参考所附权利要求最佳确定。
图1是根据本发明实施例的视频控制器的框图。如图1所示，视频控制器100包括色彩空间转换器110、去伽马(de-gamma)单元111、色域映射单元112、色调映射单元113、伽马单元114、色彩空间转换器115、直方图计算器116、局部对比度增强单元117以及直方图计算器118。视频控制器110经由如高清多媒体接口(HDMI)2.0A版或以上版本的多媒体传输接口可以电性地连接到显示面板120，以及显示面板120可以显示来自视频控制器100的输出线性RGB视频信号或者从输出线性RGB视频信号生成的输出SDR视频信号。
色彩空间转换器110配置为在输入HDR视频信号(或视频信号)1001上执行色彩空间转换(如，YUV到RGB转换)来获得第一RGB视频信号1101。输入HDR视频信号1001可以是为线性RGB视频信号的HDR YUV信号。输入HDR视频信号1001可以来自于具有或不具有显示面板的电子装置。例如，输入HDR视频信号1001可以来自于配备有显示面板的TV、智能手机或平板PC。或者，输入HDR视频信号1001可以来自于网络视频流或者不具有显示面板的如蓝光播放器、机顶盒或视频游戏控制器的电子装置。具体地，在YUV到RGB转换后，第一伽马曲线将应用在输入HDR视频信号1001上，并且因此获得RGB格式的非线性RGB视频信号(即，第一RGB视频信号)。在一些实施例中，输入HDR视频信号1001可以来自遵守SMPTE(Society ofMotion Picture&Television Engineers，电源电视工程师协会)ST 2084或ST 2086标准的视频信号。
去伽马单元111配置为去伽马第一RGB视频信号1101来获得线性RGB视频信号1111。更具体地，去伽马单元111应用第二伽马曲线来补偿包含在第一RGB视频信号1101中的第一伽马曲线。因此，经伽马补偿的第一RGB视频信号(例如，线性RGB视频信号1111)可以具有线性属性。
色域映射单元112配置为将线性RGB视频信号1111的第一伽马映射到第二伽马。例如，用于超高清电视(UHDTV)的第一色域(例如，色彩空间)可以由ITU-R BT 2020标准定义，以及用于HDTV的第二色域可以由ITU-R BT 709标准定义，以及用于UHDTV的第一色域比用于HDTV的第二色域更宽。如果UHDTV视频信号将在HDTV显示面板上播放，用于UHDTV的视频信号的较宽的色域(如，第一色域)应当被映射成用于HDTV的较小色域(如，第二色域)。在一些实施例中，可以省略色域映射单元112。
应当注意的是，来自于去伽马单元111或色域映射单元112的线性RGB信号1111是可以以坎德拉(candela)/平方米(cd/m2或“尼特(nit)”)为单元表示的绝对亮度信号。
伽马计算器116可以从去伽马单元111或色域映射单元112接收线性RGB视频信号1111，以及每一帧地计算线性RGB视频信号的直方图。特别地，已计算的直方图1161记录先前帧(如，t＝n-1)中每一像素的绝对亮度值，并且被提供给色调映射单元113。对于UHDTV视频信号，其需要大量的操作来计算具有4K分辨率的视频信号的直方图。因此，直方图计算器116可以由专用逻辑电路而不是数字信号处理器(DSP)实施。在一些实施例中，直方图计算器116可以被认为是绝对亮度直方图计算器。
色调映射单元113配置为根据先前帧(即，t＝n-1)的已计算的直方图1161，在具有第一动态范围(即，高动态范围)的线性RGB视频信号1111上执行色调映射来生成具有第二动态范围(即，标准动态范围(SDR)或低动态范围(LDR))的输出线性RGB视频信号1131，其中第一动态范围比第二动态范围更宽。更具体地，根据先前帧(即，t＝n-1)的已计算的直方图1161，色调映射单元113可以在HDR内容上应用色调映射曲线来将当前帧(即，t＝n)的HDR内容转换成SDR内容。如图像或视频的SDR内容可以具有基于有限的阴极射线管(cathode raytube)设计的传统伽马曲线，其允许最大亮度100cd/m2。将在后续描述由色调映射单元113使用的色调映射算法。
伽马单元114配置为将第三伽马曲线应用于来自色调映射单元113的输出线性RGB视频信号1131来获得第二RGB视频信号1141。例如，第三伽马曲线可以被认为是为具有标准动态范围的原始显示面板设计的显示面板伽马曲线或已编码的伽马曲线。
色彩空间转换器115配置为在第二RGB视频信号1141上执行色彩空间转换(如，RGB到YUV转换)来获得SDR视频信号1151，其被进一步提供给局部对比度增强单元117以及直方图计算器118。
直方图计算器118配置为计算SDR视频信号1151的每一帧中不同区域的直方图。由直方图118计算的直方图是基于SDR视频信号1151的每一帧中每一像素的亮度值(即，Y值)。在实施例中，直方图计算器可以被认为是相关亮度直方图计算器。
局部对比度增强单元117配置为基于来自直方图计算器118的已计算的直方图增强SDR视频信号1151的不同区域的局部对比度来生成输出SDR视频信号1171。例如，SDR视频信号1151中的每一帧可以被拆分成多个区域，以及直方图计算器118可以计算每一帧中每一区域的直方图。基于每一帧中每一区域的已计算的直方图，局部对比度增强单元117可以确定每一帧中的黑暗区域以及明亮区域。然后，局部对比度增强单元117可以在黑暗区域中应用更强的对比度增强以及明亮区域中用很少的对比度增强。因此，可以获得明亮区域中更多的细节，并且可以改善黑暗区域中的对比度。
在一个实施例中，视频控制器100的元件110～118可以由集成电路、片上系统或逻辑电路实施，但本发明不限于此。在可选的实施例中，除了直方图计算器116以及118，视频控制器100的大部分元件可以由诸如通用处理器、数字信号处理器或视频信号处理器的处理器实施，但本发明不限于此。由于计算直方图的大量操作，直方图计算器116以及118优选由专用逻辑电路实施。
图2A以及2B是根据本发明实施例的动态色调映射的示例。参考图2A，输入HDR视频信号中的maxCLL(最大内容亮度等级)参数是4000nit以及显示面板具有用于静态色调映射的500nit的最大面板亮度。如果用于显示当前帧的100％内容的第一亮度阈值T1是2000nit，色调映射单元113可以设置稍小于第二亮度阈值T2的目标亮度阈值单元T，其中可以使用第二亮度阈值T2来显示当前帧的预定百分比的内容。换言之，当最大面板亮度PL小于第二亮度阈值T2时，色调映射单元113可以决定在第二亮度阈值T2以及最大面板亮度PL之间的目标亮度阈值T。
在该实施例中，例如，预定百分比是95％，但本发明不限于此。例如，目标亮度阈值T可以是第二亮度阈值T2与显示面板的最大面板亮度PL的加权和。
参考图2B，输入HDR视频信号中的maxCLL参数是4000nit以及显示面板具有用于静态色调映射的500nit的最大面板亮度PL。如果用于显示当前帧的100％内容的第一亮度阈值T1是300nit(即，小于500nit的最大面板亮度PL)，色调映射单元113可以设置在第一亮度阈值T1与第二亮度阈值T2之间的目标亮度阈值T，其中使用该第二亮度阈值T2显示当前帧的预定百分比的内容。换言之，当最大面板亮度PL大于第二亮度阈值T2时，色调映射单元113可以确定在第一亮度阈值T1与第二亮度阈值T2之间的目标亮度阈值T。
在该实施例中，例如，预定百分比是95％，但本发明不限于此。例如，目标阈值T可以是第一亮度阈值与第二亮度阈值的加权和。
需要注意的是，图2A与2B是为了描述的目的，为了更好的色调映射结果，色调映射单元113可以设置各种转折点以及在每两个相邻转折点间色调映射曲线的不同斜率。此外，在图2A以及2B的实施例中未考虑maxCLL参数。
图3A与3B是根据本发明实施例的用于适应性色调映射的曲线的图示。参考图2A以及图3A，在图2A定义的条件下，图3A中的曲线310可以被用于由色调映射单元113执行的色调映射。例如，当色调映射单元113的线性RGB视频信号的亮度小于第一亮度阈值T1(即，2000nit)时，色调映射曲线310是近似线性的(即，图3A-3C中斜率不为0的斜直线部分)。当色调映射单元113的输入线性RGB视频信号的亮度值大于或等于第一亮度阈值T1(即，2000nit)时，输出亮度被削减到500nit(即，显示面板的最大面板亮度PL)，削减过程对应于图3A-3C中斜率为0的水平直线的部分。因此，本发明中所指的线性对应的是图中斜直线部分，而非水平直线部分，也即，色调映射曲线近似线性指的是色调映射曲线是斜率不为0的曲线。
参考图2B以及图3B，在图2B定义的条件下，图3B中的色调映射曲线320可以被用于由色调映射单元113执行的色调映射。例如，当色调映射单元113的输入线性RGB视频信号的亮度小于第一亮度阈值T1(即，300nit)时，色调映射曲线320是近似线性的，以及当色调映射单元113的输入线性RGB视频信号的亮度大于或等于第一亮度阈值T1(即，300nit)时，输入亮度被削减到500nit(即，显示面板的最大面板亮度PL)。
图3C是用于静态色调映射的曲线的图示。如果使用了静态色调映射，色调映射算法可以基于显示面板的最大面板亮度PL或输入HDR视频信号的maxCLL参数。例如，如果色调映射算法基于maxCLL参数，使用色调映射曲线330。然而，4000nit的maxCLL参数可以指示整个视频的最大亮度是4000nit，以及几乎视频中每一帧所具有的最大亮度远小于4000nit的maxCLL。因此，如果增强了视频中的黑色内容，视频中许多明亮区域将会饱和。
如果色调映射算法基于显示面板的最大面板亮度PL，则使用色调映射曲线340。然而，当输入线性RGB视频信号的亮度大于或等于显示面板的最大面板亮度(即，500nit)时，输出亮度被削减到500nit(即，显示面板的最大面板亮度)。
因为两个相邻帧的特性或直方图可能区别很大，色调映射单元113可以缓慢地调整色调映射曲线以阻止视频闪烁(flickering)。例如，使用当前色调映射曲线(即，t＝n)以及先前色调映射曲线(即，t＝n-1)的加权色调映射曲线可以用作为下一帧(即，t＝n+1)的色调映射曲线。
此外，在视频信号的任何两个相邻帧之间可能发生场景变化。因为来自直方图计算器116的已计算直方图延迟了一个帧，因此色调映射单元113可以检测线性RGB视频信号的帧的场景变化，以及一旦检测到场景变化，使用特定的色调映射曲线来加快色调映射曲线的调整速度。
在一个实施例中，对于具有显示面板的电子装置，如电视、智能电话、平板PC，显示面板的最大面板亮度可以被调整到较大值，以及较宽的色域可以用于更好的HDR再映射结果。或者，对于不具有显示面板的电子装置，例如蓝光播放器或视频游戏控制器，可以提供如滚动条(scroll bar)之类的图形用户界面(GUI)，以及经由该滚动条可以调整显示面板的目标亮度以为了更好的HDR再映射结果。此外，显示面板的默认色域(例如，BT 709)可以被设置为较宽色域，如BT 2020、数字影院倡导联盟(Digital Cinema Initiatives，DCI)P3或其他色域，但本发明不限于此。
图4是用于执行高动态范围视频(HDR)的色调映射的方法的流程图。
在步骤S410中，接收输入高动态范围(HDR)视频信号。例如，输入HDR视频信号可以遵守具有静态元数据的定义的SMPTE ST 2086标准。
在步骤S420中，在所述输入HDR视频信号上执行YUV到RGB转换来获得具有第一伽马曲线的第一RGB视频信号。例如，用于将YUV分量转换成RGB分量的转换矩阵可以包括第一伽马曲线的信息。
在步骤S430中，将第二伽马曲线应用于所述第一RGB视频信号来补偿所述第一伽马曲线来获得线性RGB视频信号。为了在后续步骤执行色调映射，需要线性RGB视频信号，以及所述第二伽马曲线可以被认为是所述第一伽马曲线的反曲线(inverse curve)。因此，可以在步骤S430中补偿所述第一伽马曲线。
在步骤S440中，计算所述线性RGB视频信号的每一帧的第一直方图。例如，直方图计算器116可以重复地计算所述线性RGB视频信号的每一帧的直方图，以及所述第一直方图是基于所述线性RGB视频信号的当前帧中像素的绝对亮度值(即，没有伽马)。
在步骤S450中，根据所述线性RGB视频信号的先前帧的所述第一直方图，在所述线性RGB视频信号的当前帧上应用色调映射曲线来生成输出线性RGB视频信号。例如，所述输出线性RGB视频信号可以是SDR视频信号。
所述方法，或其某些方面或部分可以采取呈现于有形媒体(如软盘、CD-ROM、硬盘驱动器或任何其他机器可读(如，计算机可读)存储媒体)或计算机程序产品中的程序代码的形式，而不受其外部形状或形式的限制，其中，当程序代码由如计算机的机器加载并执行时，机器从而成为用于执行所述方法的装置。所述方法还可以程序代码的形式呈现，程序代码通过诸如电线或缆线的一些传输媒介、或通过光纤、或经由任何其他传输形式来传输，其中，当程序代码被接收并且由如计算机的机器加载并执行时，所述机器成为用于实施所公开方法的装置。当在通用处理器上实施时，程序代码与处理器组合来提供操作类似于专用逻辑电路的独特装置。
综上所述，提供了一种用于在HDR视频上执行色调映射的视频控制器以及方法。所述视频控制器以及方法能够应用不同的色调映射曲线用于线性域(即，不具有伽马)中输入HDR视频信号的每一帧与输入HDR视频信号的静态元数据来获得SDR视频信号。此外，可以经由局部对比度增强来增强SDR视频信号中的各自区域的对比度，以及因此实现输出SDR视频信号的更好的视频质量。
此处所描述的系统和/或进程的各种元件可以在软件、固件和/或硬件和/或其任何组合中实施。例如，此处所描述的系统和/或进程的各种元件可以至少部分地由诸如可以在智能电话之类的计算系统中找到的芯片上计算系统(SOC)的硬件提供。本领域技术人员将意识到此处描述的系统可以包括还未在对应的图示中描述的额外的元件。
如此处描述任何实施方式中所使用的，术语“单元”可以指“元件”或“逻辑单元”，如下文所描述的这些术语。因此，术语“单元”可以指配置为提供此处所描述的功能的软件逻辑、固件逻辑和/或硬件逻辑的任何组合。例如，本领域普通技术人员将能理解，由硬件和/或固件执行的操作可以可替换地经由软件元件实施，其可以实施为软件包、编码和/或指令集，以及还能理解逻辑单元还可以利用一部分软件实施其功能。
此外，可以响应于由一个或多个计算机程序产品提供的指令来进行此处所描述的进程的任何一个或多个块。这种程序产品可以包括提供指令的信号承载介质，该指令在由诸如处理器执行时可以提供此处所描述的功能。计算机程序产品可以以任何形式的计算机可读媒介提供。因此，例如响应于由计算机可读媒介传到给处理器的指令，包括一个或多个处理器核心的处理器可以执行一个或多个操作。
虽然本发明已经以示例以及以优先实施例的方式进行描述，能够理解，本发明不限于所公开的实施例。反之，其旨在覆盖各种修正以及类似布置(如对本领域技术人员显而易见的)。因此，所附权利要求的范围应当给予最宽的解释，以便包括所有这样的修改以及类似的布置。

Claims (20)

1.一种视频控制器，用于执行高动态范围视频的色调映射，其特征在于，包括：
色彩空间转换器，配置为接收输入高动态范围视频信号以及对所述输入高动态范围视频信号执行YUV到RGB转换来获得具有第一伽马曲线的第一RGB视频信号；
去伽马单元，配置为对所述第一RGB视频信号应用第二伽马曲线来补偿所述第一伽马曲线来获得线性RGB视频信号；
第一直方图计算器，配置为计算所述线性RGB视频信号的当前帧的第一直方图；以及
色调映射单元，配置为根据所述线性RGB视频信号的先前帧的所述第一直方图，在所述线性RGB视频信号的当前帧上应用色调映射曲线来生成输出线性RGB视频信号，其中所述色调映射曲线是从所述先前帧的所述第一直方图得到。
2.如权利要求1所述的视频控制器，其特征在于，进一步包括：
色域映射单元，配置为将所述线性RGB视频信号的第一色域映射成第二色域，其中所述第一色域比所述第二色域更宽。
3.如权利要求1所述的视频控制器，其特征在于，所述视频控制器电性连接到具有最大面板亮度的显示面板，以及所述色调映射单元进一步确定用于显示所述线性RGB视频信号的当前帧的100％内容的第一亮度阈值，以及用于显示所述线性RGB视频信号的当前帧的预定百分比内容的第二亮度阈值。
4.如权利要求3所述的视频控制器，其特征在于，当所述最大面板亮度小于所述第二亮度阈值时，所述色调映射单元确定在所述第二亮度阈值以及所述最大面板亮度之间的目标亮度阈值，其中当所述线性RGB视频信号的当前帧的亮度值小于所述目标亮度阈值时，所述色调映射曲线是斜率不为0的线性曲线。
5.如权利要求3所述的视频控制器，其特征在于，当所述最大面板亮度大于所述第一亮度阈值时，所述色调映射单元确定在所述第一亮度阈值与所述第二亮度阈值之间的目标亮度阈值，其中当所述线性RGB视频信号的当前帧的亮度值小于所述目标亮度阈值时，所述色调映射曲线是斜率不为0的线性曲线。
6.如权利要求3所述的视频控制器，其特征在于，当所述线性RGB视频信号的当前帧的亮度值大于或等于所述第一亮度阈值时，所述线性RGB视频信号的输出亮度值被削减到所述最大面板亮度。
7.如权利要求1所述的视频控制器，其特征在于，所述色调映射单元通过使用所述线性RGB视频信号的先前帧的色调映射曲线与当前帧的色调映射曲线来计算加权色调映射曲线，以及所述色调映射单元将所述加权色调映射曲线用作所述线性RGB视频信号的下一帧的色调映射曲线。
8.如权利要求1所述的视频控制器，其特征在于，所述色调映射单元进一步检测所述线性RGB视频信号内的场景变化，以及一旦在所述线性RGB视频信号的先前帧与当前帧之间检测到所述场景变化，确定用于所述线性RGB视频信号的当前帧的特定色调映射曲线。
9.如权利要求1所述的视频控制器，其特征在于，进一步包括：
伽马单元，配置为将第三伽马曲线应用于所述输出线性RGB视频信号来生成第二RGB视频信号；
第二色彩空间转换器，配置为在所述第二RGB视频信号上执行RGB到YUV转换来获得标准动态范围视频信号；
第二直方图计算器，配置为计算所述标准动态范围视频信号的当前帧中多个区域的第二直方图；以及
局部对比度增强单元，配置为基于所述标准动态范围视频信号的先前帧的多个区域的第二直方图，增强所述标准动态范围视频信号的每一帧中多个区域的对比度值来生成输出标准动态范围视频信号。
10.如权利要求9所述的视频控制器，其特征在于，所述局部对比度增强单元在所述标准动态范围视频信号的当前帧的黑暗区域应用较强的对比度增强，以及在所述标准动态范围视频信号的当前帧的明亮区域应用较弱的对比度增强。
11.一种用于执行高动态范围视频的色调映射的方法，其特征在于，包括：
接收输入高动态范围视频信号；
在所述输入高动态范围视频信号上执行YUV到RGB转换来获得具有第一伽马曲线的第一RGB视频信号；
在所述第一RGB视频信号上应用第二伽马曲线来补偿所述第一伽马曲线来获得线性RGB视频信号；
计算所述线性RGB视频信号的当前帧的第一直方图；以及
根据所述线性RGB视频信号的先前帧的第一直方图，在所述线性RGB视频信号的当前帧上应用色调映射曲线来生成输出线性RGB视频信号，其中所述色调映射曲线是从所述先前帧的所述第一直方图得到。
12.如权利要求11所述的用于执行高动态范围视频的色调映射的方法，其特征在于，进一步包括：
将所述线性RGB视频信号的第一色域映射成第二色域，其中所述第一色域比所述第二色域更宽。
13.如权利要求11所述的用于执行高动态范围视频的色调映射的方法，其特征在于，利用显示面板的最大面板亮度显示视频信号，所述方法进一步包括：
确定用于显示所述线性RGB视频信号的当前帧100％内容的第一亮度阈值，以及用于显示所述线性RGB视频信号的当前帧的预定百分比内容的第二亮度阈值。
14.如权利要求13所述的用于执行高动态范围视频的色调映射的方法，其特征在于，进一步包括：
当所述最大面板亮度小于所述第二亮度阈值时，确定在所述第二亮度阈值以及所述最大面板亮度之间的目标亮度阈值，其中当所述线性RGB视频信号的当前帧的亮度值小于所述目标亮度阈值时，所述色调映射曲线是斜率不为0的线性曲线。
15.如权利要求13所述的用于执行高动态范围视频的色调映射的方法，其特征在于，进一步包括：
当所述最大面板亮度大于所述第一亮度阈值时，确定在所述第一亮度阈值与所述第二亮度阈值之间的目标亮度阈值，其中当所述线性RGB视频信号的当前帧的亮度值小于所述目标亮度阈值时，所述色调映射曲线是斜率不为0的线性曲线。
16.如权利要求13所述的用于执行高动态范围视频的色调映射的方法，其特征在于，当所述线性RGB视频信号的当前帧的亮度值大于或等于所述第一亮度阈值时，所述输出线性RGB视频信号的输出亮度值被削减到所述最大面板亮度。
17.如权利要求11所述的用于执行高动态范围视频的色调映射的方法，其特征在于，进一步包括：
通过使用所述线性RGB视频信号的先前帧的色调映射曲线以及当前帧的色调映射曲线来计算加权色调映射曲线，并将所述加权色调映射曲线用作所述线性RGB视频信号的下一帧的色调映射曲线。
18.如权利要求11所述的用于执行高动态范围视频的色调映射的方法，其特征在于，进一步包括：
检测所述线性RGB视频信号内的场景变化；以及
一旦在所述线性RGB视频信号的先前帧与当前帧之间检测到场景变化，确定用于所述线性RGB视频信号的当前帧的特定色调映射曲线。
19.如权利要求11所述的用于执行高动态范围视频的色调映射的方法，其特征在于，进一步包括：
将第三伽马曲线应用于所述输出线性RGB视频信号来生成第二RGB视频信号；
在所述第二RGB视频信号上执行RGB到YUV转换来获得标准动态范围视频信号；
计算所述标准动态范围视频信号的当前帧中多个区域的第二直方图；以及
基于所述标准动态范围视频信号的先前帧的多个区域的第二直方图，增强所述标准动态范围视频的当前帧的所述多个区域的对比度值。
20.如权利要求19所述的用于执行高动态范围视频的色调映射的方法，其特征在于，进一步包括：
在所述标准动态范围视频信号的当前帧的黑暗区域中应用较强的对比度增强；以及
在所述标准动态范围视频信号的当前帧的明亮区域中应用较弱的对比度增强。
CN201910383854.5A 2017-07-13 2019-05-09 用于执行高动态范围视频的色调映射的方法及装置 Active CN110545413B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762531909P 2017-07-13 2017-07-13
US15/991,711 US10755392B2 (en) 2017-07-13 2018-05-29 High-dynamic-range video tone mapping
US15/991,711 2018-05-29

Publications (2)

Publication Number Publication Date
CN110545413A CN110545413A (zh) 2019-12-06
CN110545413B true CN110545413B (zh) 2021-07-23

Family

ID=64999126

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910383854.5A Active CN110545413B (zh) 2017-07-13 2019-05-09 用于执行高动态范围视频的色调映射的方法及装置

Country Status (3)

Country Link
US (1) US10755392B2 (zh)
CN (1) CN110545413B (zh)
TW (1) TWI734978B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10915999B2 (en) * 2016-05-25 2021-02-09 Sony Corporation Image processing apparatus, image processing method, and program
ES2903174T3 (es) 2017-05-05 2022-03-31 Lilly Co Eli Control de bucle cerrado de glucosa fisiológica
JP7071084B2 (ja) * 2017-10-10 2022-05-18 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
US11901060B2 (en) 2017-12-21 2024-02-13 Ypsomed Ag Closed loop control of physiological glucose
US10609424B2 (en) * 2018-03-09 2020-03-31 Dolby Laboratories Licensing Corporation Single-layer progressive coding for supporting multi-capability HDR composition
US10957024B2 (en) * 2018-10-30 2021-03-23 Microsoft Technology Licensing, Llc Real time tone mapping of high dynamic range image data at time of playback on a lower dynamic range display
EP3716605B1 (en) * 2019-03-26 2022-08-24 LG Electronics Inc. Signal processing device and image display apparatus including the same
KR20200144775A (ko) * 2019-06-19 2020-12-30 삼성전자주식회사 디스플레이장치 및 그 제어방법
US11790498B1 (en) * 2019-09-10 2023-10-17 Apple Inc. Augmented reality local tone mapping for light-transmissive display panel systems and methods
CN112686809A (zh) 2019-10-18 2021-04-20 华为技术有限公司 处理高动态范围图像的方法和装置
US20220392422A1 (en) * 2019-10-25 2022-12-08 Sony Group Corporation Information processing system, information processing method, and program
CN111294575B (zh) * 2020-01-19 2022-06-28 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN115883810A (zh) * 2020-04-30 2023-03-31 华为技术有限公司 映射曲线参数的获取方法和装置
CN115361510A (zh) * 2020-05-08 2022-11-18 华为技术有限公司 一种高动态范围hdr视频的处理方法、编码设备和解码设备
CN112261442B (zh) * 2020-10-19 2022-11-11 上海网达软件股份有限公司 一种用于视频hdr与sdr实时转码的方法及系统
CN113079362B (zh) * 2021-03-30 2023-03-24 北京奇艺世纪科技有限公司 视频信号处理方法、装置及电子设备
CN113099201B (zh) * 2021-03-30 2022-12-02 北京奇艺世纪科技有限公司 视频信号处理方法、装置及电子设备
CN113489930B (zh) * 2021-06-10 2024-03-19 中央广播电视总台 一种视频信号处理方法、装置及存储介质
WO2023070582A1 (en) * 2021-10-29 2023-05-04 Huawei Technologies Co.,Ltd. A device and method for noise-adaptive high dynamic range image processing
US11734806B2 (en) 2021-11-24 2023-08-22 Roku, Inc. Dynamic tone mapping
CN114466147B (zh) * 2021-12-23 2024-03-15 阿里巴巴（中国）有限公司 一种视频亮度的调整方法、装置、电子设备以及存储介质
CN117176931A (zh) * 2022-09-15 2023-12-05 深圳Tcl新技术有限公司 显示控制方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1799057A (zh) * 2003-04-29 2006-07-05 微软公司 用于生成高动态范围视频的系统和过程
CN102763134A (zh) * 2010-02-19 2012-10-31 汤姆森特许公司 用于高动态范围视频色调映射的参数内插
CN104574290A (zh) * 2013-10-17 2015-04-29 想象技术有限公司 色调映射
CN105745914A (zh) * 2013-11-22 2016-07-06 杜比实验室特许公司 用于逆色调映射的方法和系统
WO2016151196A1 (en) * 2015-03-24 2016-09-29 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
WO2017035661A1 (en) * 2015-09-02 2017-03-09 Irystec Software Inc. System and method for real-time tone-mapping
CN107203974A (zh) * 2016-03-16 2017-09-26 汤姆逊许可公司 扩展的高动态范围hdr到hdr色调映射的方法、装置和系统
CN107403422A (zh) * 2017-08-04 2017-11-28 上海兆芯集成电路有限公司 用以增强图像对比度的方法及其系统
WO2018031153A1 (en) * 2016-08-11 2018-02-15 Intel Corporation Brightness control for spatially adaptive tone mapping of high dynamic range (hdr) images
CN107872662A (zh) * 2016-09-22 2018-04-03 三星显示有限公司 显示设备

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4549881B2 (ja) * 2004-03-18 2010-09-22 シャープ株式会社 色信号変換装置、表示ユニット、色信号変換プログラム、色信号変換プログラムを記録したコンピュータ読み取り可能な記録媒体
KR101166827B1 (ko) * 2005-05-10 2012-07-19 엘지디스플레이 주식회사 액정 표시장치의 구동장치 및 구동방법
KR101147100B1 (ko) * 2005-06-20 2012-05-17 엘지디스플레이 주식회사 액정 표시장치의 구동장치 및 구동방법
JP2007065182A (ja) * 2005-08-30 2007-03-15 Sanyo Electric Co Ltd 表示装置
KR100782826B1 (ko) * 2005-12-10 2007-12-06 삼성전자주식회사 영상 획득 장치 및 방법과 그 방법을 수행하는 프로그램이기록된 기록매체
JP5190731B2 (ja) * 2007-10-23 2013-04-24 Ｎｌｔテクノロジー株式会社 画像表示装置、該画像表示装置に用いられる画像表示方法、及び液晶表示装置
KR100970883B1 (ko) * 2008-10-08 2010-07-20 한국과학기술원 영역 특성을 고려한 영상 보정 장치 및 그 방법
JP2010154132A (ja) * 2008-12-24 2010-07-08 Toshiba Corp ガンマ補正回路およびガンマ補正方法
JP5223742B2 (ja) * 2009-03-16 2013-06-26 富士通セミコンダクター株式会社 エッジ強調画像処理装置
US9230312B2 (en) * 2010-01-27 2016-01-05 Adobe Systems Incorporated Methods and apparatus for performing tone mapping on high dynamic range images
JP4955082B2 (ja) * 2010-02-10 2012-06-20 シャープ株式会社 画像処理装置、画像形成装置、および画像処理方法
US9055227B2 (en) * 2010-03-17 2015-06-09 Texas Instruments Incorporated Scene adaptive brightness/contrast enhancement
JP2011203814A (ja) * 2010-03-24 2011-10-13 Sony Corp 画像処理装置および方法、プログラム
GB2500835B (en) * 2010-12-10 2014-02-12 Ibm High-dynamic range video tone mapping
KR101440773B1 (ko) * 2010-12-13 2014-09-18 엘지디스플레이 주식회사 유기 발광 표시 장치의 구동 장치 및 그의 구동 방법
TWI513327B (zh) * 2011-04-15 2015-12-11 Dolby Lab Licensing Corp 高動態範圍影像的編碼、解碼及表示
KR101492682B1 (ko) * 2011-09-23 2015-02-13 엘지디스플레이 주식회사 유기전계발광표시장치와 이의 구동방법
CN102970549B (zh) * 2012-09-20 2015-03-18 华为技术有限公司 图像处理方法及装置
US9407814B2 (en) * 2012-12-21 2016-08-02 Nvidia Corporation Approach for camera control
JP6317577B2 (ja) * 2013-12-04 2018-04-25 キヤノン株式会社 映像信号処理装置及びその制御方法
JP6360321B2 (ja) * 2014-02-10 2018-07-18 シナプティクス・ジャパン合同会社 表示装置、表示パネルドライバ、画像処理装置及び画像処理方法
JP6379794B2 (ja) * 2014-07-24 2018-08-29 株式会社リコー 画像処理装置、画像処理方法および画像処理システム
CN107431808B (zh) 2014-10-07 2020-07-31 网格欧洲有限责任公司 改进的视频和图像编码过程
EP3211892A4 (en) * 2014-11-14 2017-11-29 Samsung Electronics Co., Ltd. Method and device for image display based on metadata, and recording medium therefor
CN104601971B (zh) * 2014-12-31 2019-06-14 小米科技有限责任公司 色彩调整方法及装置
US20160307540A1 (en) * 2015-04-20 2016-10-20 Apple Inc. Linear scaling in a display pipeline
WO2016182307A1 (ko) * 2015-05-11 2016-11-17 삼성전자 주식회사 메타데이터에 기초한 영상 처리 장치 및 영상 처리 방법
US10136074B2 (en) * 2015-06-02 2018-11-20 Samsung Electronics Co., Ltd. Distribution-point-based adaptive tone mapping
US11176646B2 (en) * 2015-06-25 2021-11-16 Samsung Electronics Co., Ltd. HDR tone mapping methods with scene adaptive parameterized tone map function
KR102177725B1 (ko) * 2015-06-29 2020-11-12 엘지디스플레이 주식회사 피크휘도제어부를 포함하는 유기발광다이오드 표시장치 및 그 구동방법
GB2544333B (en) * 2015-11-13 2018-02-21 Advanced Risc Mach Ltd Display controller
US9984446B2 (en) * 2015-12-26 2018-05-29 Intel Corporation Video tone mapping for converting high dynamic range (HDR) content to standard dynamic range (SDR) content
JP6650821B2 (ja) * 2016-04-25 2020-02-19 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
ITUA20163652A1 (it) * 2016-05-20 2017-11-20 Trellis Europe S R L Metodo per la codifica e decodifica di immagini hdr
US10915999B2 (en) * 2016-05-25 2021-02-09 Sony Corporation Image processing apparatus, image processing method, and program
US20170353704A1 (en) * 2016-06-01 2017-12-07 Apple Inc. Environment-Aware Supervised HDR Tone Mapping
CN109416830A (zh) * 2016-07-08 2019-03-01 深圳市大疆创新科技有限公司 用于图像处理的系统和方法
JP6703788B2 (ja) * 2016-07-11 2020-06-03 キヤノン株式会社 画像処理装置および画像処理方法
KR102490304B1 (ko) * 2016-08-12 2023-01-20 삼성전자주식회사 디스플레이장치와 기록매체
JP6580801B2 (ja) * 2016-12-14 2019-09-25 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
EP3591968A4 (en) * 2017-02-28 2020-01-22 Sony Corporation IMAGE PROCESSING DEVICE AND METHOD
GB2566050B (en) * 2017-08-31 2021-08-25 Imagination Tech Ltd Luminance-normalised colour spaces
JP2020036162A (ja) * 2018-08-29 2020-03-05 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1799057A (zh) * 2003-04-29 2006-07-05 微软公司 用于生成高动态范围视频的系统和过程
CN102763134A (zh) * 2010-02-19 2012-10-31 汤姆森特许公司 用于高动态范围视频色调映射的参数内插
CN104574290A (zh) * 2013-10-17 2015-04-29 想象技术有限公司 色调映射
CN104574291A (zh) * 2013-10-17 2015-04-29 想象技术有限公司 色调映射
CN105745914A (zh) * 2013-11-22 2016-07-06 杜比实验室特许公司 用于逆色调映射的方法和系统
WO2016151196A1 (en) * 2015-03-24 2016-09-29 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
WO2017035661A1 (en) * 2015-09-02 2017-03-09 Irystec Software Inc. System and method for real-time tone-mapping
CN107203974A (zh) * 2016-03-16 2017-09-26 汤姆逊许可公司 扩展的高动态范围hdr到hdr色调映射的方法、装置和系统
WO2018031153A1 (en) * 2016-08-11 2018-02-15 Intel Corporation Brightness control for spatially adaptive tone mapping of high dynamic range (hdr) images
CN107872662A (zh) * 2016-09-22 2018-04-03 三星显示有限公司 显示设备
CN107403422A (zh) * 2017-08-04 2017-11-28 上海兆芯集成电路有限公司 用以增强图像对比度的方法及其系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高动态范围图像的色调映射算法研究;谭磊;《中国优秀硕士学位论文全文数据库（电子期刊）》;20170331;全文 *

Also Published As

Publication number Publication date
TWI734978B (zh) 2021-08-01
US20190019277A1 (en) 2019-01-17
CN110545413A (zh) 2019-12-06
US10755392B2 (en) 2020-08-25
TW202005368A (zh) 2020-01-16

Similar Documents

Publication Publication Date Title
CN110545413B (zh) 用于执行高动态范围视频的色调映射的方法及装置
US10992898B2 (en) Display method and display device
US10891722B2 (en) Display method and display device
JP6709986B2 (ja) 輝度特性生成方法
JP4221434B2 (ja) 輪郭補正方法、画像処理装置及び表示装置
US11122245B2 (en) Display apparatus, method for controlling the same and image providing apparatus
US11410343B2 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
CN107409191B (zh) 信号处理装置、录像再生装置、信号处理方法以及存储介质
US20090290063A1 (en) System and Method for Processing Videos and Images to a Determined Quality Level
US8970636B2 (en) System and method for color correction between displays with and without average picture dependency
CN107533832B (zh) 图像处理装置、图像处理方法与程序
US8014623B2 (en) System and method for efficiently enhancing videos and images
JPWO2018062022A1 (ja) 調整装置、調整方法およびプログラム
US11189064B2 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
WO2016181584A1 (ja) 表示方法および表示装置
US8068691B2 (en) Sparkle processing
CN104954609A (zh) 图像处理设备、图像处理方法以及程序
WO2018062022A1 (ja) 調整装置、調整方法およびプログラム
WO2019044171A1 (ja) 映像処理装置、表示装置、映像処理方法、制御プログラム、および記録媒体
US8587725B2 (en) Method of digital signal processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant