CN107103588A - 用于图像的动态范围变换的装置和方法 - Google Patents

用于图像的动态范围变换的装置和方法 Download PDF

Info

Publication number
CN107103588A
CN107103588A CN201610937427.3A CN201610937427A CN107103588A CN 107103588 A CN107103588 A CN 107103588A CN 201610937427 A CN201610937427 A CN 201610937427A CN 107103588 A CN107103588 A CN 107103588A
Authority
CN
China
Prior art keywords
image
display
dynamic range
hdr
mapping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610937427.3A
Other languages
English (en)
Inventor
C.L.C.M.克尼贝勒
R.J.范德维勒尤坦
W.德哈安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN107103588A publication Critical patent/CN107103588A/zh
Pending legal-status Critical Current

Links

Classifications

    • G06T5/90
    • G06T5/92
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2003Display of colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006Details of the interface to the display terminal
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327Table of contents
    • G11B27/329Table of contents on a disc [VTOC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0271Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0606Manual adjustment
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0613The adjustment depending on the type of the information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/066Adjustment of display parameters for control of contrast
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/06Colour space transformation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/04Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G09G2370/045Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller using multiple communication channels, e.g. parallel and serial
    • G09G2370/047Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller using multiple communication channels, e.g. parallel and serial using display data channel standard [DDC] communication

Abstract

一种图像处理装置包括用于接收图像信号的接收器(201),该图像信号至少包括编码图像和目标显示器基准。目标显示器基准指示编码图像针对其而被编码的目标显示器的动态范围。动态范围处理器(203)通过响应于目标显示器基准向编码图像施加动态范围变换而生成输出图像。输出(205)然后例如向适当的显示器输出包括输出图像的输出图像信号。此外,所述动态范围变换可以响应于从显示器接收的显示器动态范围指示而执行。本发明可以用来从例如低动态范围(LDR)图像生成改进的高动态范围(HDR)图像,或者反之亦然。

Description

用于图像的动态范围变换的装置和方法
技术领域
本发明涉及用于图像的动态范围变换,更特别地但是非排他性地,涉及根据低动态范围图像生成高动态图像或者根据高动态范围图像生成低动态范围图像的图像处理。
背景技术
随着数字信号表示和通信日益取代模拟表示和通信,各种不同的源信号的数字编码在过去的几十年变得越来越重要。如何在将数据率保持为可接受的水平的同时改进可以从编码的图像和视频序列获得的质量的持续的研究和开发正在进行着。
感知的图像质量的一个重要因素是在显示图像时可以复现的动态范围。常规上,复现的图像的动态范围倾向于相对于正常的视觉大大降低。事实上,真实世界中遇到的照度(luminance)水平跨越从无月亮的夜晚变化到直视太阳的高达14个数量级的动态范围。在晴天或者在夜晚,瞬时照度动态范围和相应的人类视觉系统响应可以落在10.000:1与100.000:1之间(明亮的反射对暗阴影区块(region))。传统上,显示器的动态范围局限于大约2-3个数量级,并且传感器也具有有限的范围,例如<10.000:1,这取决于噪声可接受性。因此,传统上有可能存储和传输8比特伽玛编码格式的图像,而不在传统再现设备上引入明显感知的伪像。然而,在记录更精确且更生动的图像的努力中,开发了新颖的能够记录超过6个数量级的动态范围的高动态范围(HDR)图像传感器。而且,大多数特效、计算机图形学增强和其他的后期制作工作已经在更高的比特深度且以更高的动态范围例行地进行。
此外,最新技术的显示系统的对比度和峰值照度继续增大。近来,已经提出了新的原型显示器,其具有高达3000 Cd/m2的峰值照度和5-6个数量级的对比率(显示器是原始的,观看环境也将影响最终再现的对比率,该对比率对于白天观看电视而言可能甚至下降至低于50:1)。期望的是,未来的显示器将能够提供甚至更高的动态范围以及特别是更高的峰值照度和对比率。当在这样的显示器上显示传统上编码的8比特信号时,令人讨厌的量化和剪切伪像可能出现。而且,传统的视频格式提供不充分的净空和准确性以传达新的HDR图像中包含的丰富信息。
结果,存在对于新方法的增长的需求,这些方法允许消费者完全地受益于最新技术的(和未来的)传感器和显示系统的能力。优选地,这样的附加信息的表示是向后兼容的,使得旧式装备仍然可以接收普通的视频流,而新的HDR启用设备可以充分利用新格式传达的附加信息。因此,希望的是,编码的视频数据不仅表示HDR图像,而且允许编码可以在常规装备上显示的相应传统低动态范围(LDR)图像。
为了成功地引入HDR系统并且完全利用HDR的美好前景,重要的是,所采取的方法提供向后兼容性并且允许优化或者至少适应HDR显示器。然而,这内在地涉及对于HDR的优化与对于传统LDR的优化之间的冲突。
例如,典型地,诸如视频剪辑之类的图像内容将在工作室中进行处理(颜色分级与色调映射)以便最佳地显现于特定显示器上。传统上,对于LDR显示器进行了这样的优化。例如,在标准LDR显示器的生产期间,颜色分级专家将平衡许多图片质量方面以便为故事情节创建希望的“外观”。这可以涉及平衡区块和局部对比度,有时甚至有意地剪切像素。例如,在具有相对低的峰值视亮度的显示器上,爆炸或者明亮的亮点经常被严重剪切以便向观看者传达高视亮度的印象(在具有差的黑色水平的显示器上对于暗阴影细节发生相同的事情)。该操作典型地将通过假设标称LDR显示器而执行,并且传统上,显示器偏离这样的标称LDR显示器相对较少,因为事实上几乎所有消费显示器都是LDR显示器。
然而,如果电影适于HDR目标显示器,那么结果将非常不同。事实上,颜色专家会执行优化,其将导致非常不同的代码映射。例如,不仅亮点和阴影细节可能在HDR显示器上更好地被保留,而且它们也可以被优化成在中间灰度色调上具有不同的分布。因此,最佳的HDR图像不是通过按照与白点照度(最大可实现视亮度)上的差相应的值简单地缩放LDR图像来实现的。
理想情况下,将对于显示器的每个可能的动态范围执行单独的颜色分级和色调映射。例如,一个视频序列将用于500Cd/m2的最大白点照度,一个用于1000Cd/m2,一个用于1500Cd/m2,等等,直到最大可能视亮度。给定显示器于是可以简单地选择与其视亮度相应的视频序列。然而,这样的方法是不切实际的,因为它需要生成大量视频序列,从而增加生成这些不同的视频序列所需的资源。此外,所需的存储和分发能力将大大提高。再者,该方法将可能的最大显示器视亮度水平限制为离散的水平,从而对于最大显示器视亮度水平介于为其提供视频序列的水平之间的显示器提供次优的性能。此外,这样的方法不会允许被开发成具有比要利用的最高视亮度水平视频序列更高的最大视亮度水平的未来显示器。
相应地,期望的是在内容提供侧创建仅仅有限数量的视频序列,并且期望的是在分发链中稍后的点处向这样的视频序列应用自动动态范围转换以便生成适合于要在其上再现视频序列的特定显示器的视频序列。然而,在这样的方法中,得到的图像质量高度取决于自动动态范围转换。
因此,一种改进的支持用于图像的不同动态范围并且优选地用于支持不同动态范围图像的方法将是有利的。
发明内容
相应地,本发明寻求优选地单独地或者以任意组合地缓解、减轻或者消除上面提到的缺点中的一个或多个。
依照本发明的一个方面,提供了一种图像处理装置,包括:接收器,其用于接收图像信号,该图像信号至少包括第一编码图像和第一目标显示器基准,该第一目标显示器基准指示第一编码图像针对其而被编码的第一目标显示器的动态范围;动态范围处理器,其被布置成通过响应于第一目标显示器基准向第一编码图像施加动态范围变换而生成输出图像;以及输出,其用于输出包括输出图像的输出图像信号。
本发明可以允许系统支持不同的动态范围图像和/或显示器。特别地,该方法可以允许可以适于图像再现的特定特性的改进的动态范围变换。在许多情景中,可以实现从LDR到HDR图像或者从HDR到LDR的改进的动态范围变换。
在一些实施例中,该动态范围变换相对于第一编码图像增大了输出视频信号的动态范围。在一些实施例中,该动态范围变换相对于第一编码图像减小了输出视频信号的动态范围。
动态范围与再现照度范围相应,即与用于再现的图像的从最小光输出到最大光输出的范围相应。因此,动态范围不仅仅是最大值与最小值之比或者量化度量(例如比特数量),而是与用于图像再现的实际照度范围相应。因此,动态范围可以是例如以也称为尼特(nit)的坎德拉每平方米(cd/m2)测量的照度值范围。动态范围因此是从与最低照度值(经常假设为绝对黑色,即没有光输出)相应的光输出(视亮度)到与最高照度值相应的光输出(视亮度)的照度范围。动态范围特别地可以由也称为白点、白点照度、白色照度或者最大照度的最高光输出值表征。对于LDR图像和LDR显示器而言,白点典型地为500尼特或者更小。
特别地,可以将输出图像信号馈送至具有特定动态范围的显示器,并且因此动态范围变换可以将编码图像从目标显示器基准指示的动态范围转换为要在其上再现图像的显示器的动态范围。
图像可以是诸如例如帧之类的运动图像序列的图像,或者视频序列的图像。作为另一个实例,图像可以是永久的背景,或者例如诸如图形等等之类的覆盖图像。
第一编码图像特别地可以是LDR图像并且输出图像可以是HDR图像。第一编码图像特别地可以是HDR图像并且输出图像可以是LDR图像。
依照本发明的一个可选的特征,第一目标显示器基准包括第一目标显示器的白点照度。
这在许多实施例中可以提供有利的操作。特别地,它可以允许低复杂度和/或低开销,同时提供足够的信息以便允许执行改进的动态范围变换。
依照本发明的一个可选的特征,第一目标显示器基准包括用于第一目标显示器的电光传递函数指示。
这在许多实施例中可以提供有利的操作。特别地,它可以允许低复杂度和/或低开销,同时提供足够的信息以便允许执行改进的动态范围变换。特别地,该方法可以允许动态范围变换也适于用于例如中间范围照度的特定特性。例如,它可以允许动态范围变换考虑目标显示器与终端用户显示器的伽玛上的差异。
依照本发明的一个可选的特征,第一目标显示器基准包括色调映射指示,该指示表示用来生成用于第一目标显示器的第一编码图像的色调映射。
这在许多情景中可以允许执行改进的动态范围变换,并且特别地可以允许该动态范围变换补偿在内容创建侧执行的色调映射的特定特性。
在一些情景中,所述图像处理设备因此可以考虑针对其优化了编码图像的显示器的特性以及特定色调映射的特性二者。这可以例如允许在将图像从一个动态范围变换到另一个时考虑主观的和例如艺术的色调映射决策。
依照本发明的一个可选的特征,所述图像信号进一步包括数据字段,该数据字段包括动态范围变换控制数据;并且所述动态范围处理器进一步被布置成响应于动态范围变换控制数据而执行动态范围变换。
这在许多系统中可以提供改进的性能和/或功能。特别地,它可以允许局部地且针对性地适应特定动态范围显示器,同时仍然允许内容提供商侧保持对于得到的图像的一定控制。
动态范围变换控制数据可以包括规定必须和/或可以施加的动态范围变换的特性的数据,和/或它可以规定动态范围变换的推荐的特性。
依照本发明的一个可选的特征,所述动态范围变换控制数据包括用于不同显示器最大照度水平的不同动态范围变换参数。
这在许多实施例中可以提供改进的控制和/或适应。特别地,它可以允许图像处理设备103选择适当的控制数据并且将该数据应用于针对其生成输出图像的特定动态范围。
依照本发明的一个可选的特征,所述动态范围变换控制数据包括用于不同显示器最大照度水平的不同色调映射参数,并且动态范围处理器被布置成响应于用于输出图像信号的最大照度以及所述不同色调映射参数而确定用于动态范围变换的色调映射参数。
这在许多实施例中可以提供改进的控制和/或适应。特别地,它可以允许图像处理设备103选择适当的控制数据并且将该数据应用于针对其生成输出图像的特定动态范围。色调映射参数特别地可以提供必须、可以或者推荐用于动态范围变换的参数。
依照本发明的一个可选的特征,所述动态范围变换控制数据包括限定必须由动态范围变换应用的变换参数集合的数据。
这可以允许内容提供商侧保持对于在图像处理设备所支持的显示器上再现的图像的控制。这可以确保不同再现情形之间的均一性。该方法可以例如允许内容提供商确保在不同显示器上再现时图像的艺术印象保持相对不变。
依照本发明的一个可选的特征,所述动态范围变换控制数据包括限定由动态范围变换应用的变换参数的极限的数据。
这在许多实施例中可以提供改进的操作和改进的用户体验。特别地,它在许多情景中可以允许实现内容提供商保持对于他/她的内容再现的控制的愿望,同时允许终端用户根据他/她的偏好对它定制之间的改进的折衷。
依照本发明的一个可选的特征,所述动态范围变换控制数据包括用于不同图像类别的不同变换控制数据。
这在许多情景中可以提供改进的变换的图像。特别地,它可以允许针对不同图像的各特性优化动态范围变换。例如,可以将不同的动态范围变换施加到与主图像相应的图像、与图形相应的图像、与背景相应的图像等等。
依照本发明的一个可选的特征,第一目标显示器的动态范围的最大照度不小于1000尼特。
要变换的图像可以是HDR图像。所述动态范围变换可以将这样的HDR图像变换为具有不同动态范围的另一幅HDR图像(其与具有不小于1000尼特的动态范围的显示器关联)。因此,改进的图像质量可以通过将一个动态范围的一幅HDR图像转换成另一个动态范围(其可以具有更高或者更低的白点照度)的另一幅HDR图像来实现。
依照本发明的一个可选的特征,所述图像信号包括第二编码图像和第二目标显示器基准,该第二目标显示器基准指示第二编码图像针对其而被编码的第二目标显示器的动态范围,第二目标显示器的动态范围不同于第一目标显示器的动态范围;所述动态范围处理器被布置成响应于第二目标显示器基准而向第二编码图像施加动态范围变换。
这在许多情景中可以允许改进的输出质量。特别地,可以根据关联的目标显示器的差别(以及典型地根据它们中的每一个如何与输出图像的希望的动态范围有关)对于第一编码图像和对于第二编码图像施加不同的变换。
依照本发明的一个可选的特征,所述图像动态范围处理器被布置成通过组合第一编码图像和第二编码图像而生成输出图像。
这在许多实施例和情景中可以提供改进的图像质量。在一些情景中,该组合可以是一种选择组合,其中简单地通过选择所述图像之一而执行该组合。
依照本发明的一个可选的特征,所述图像处理装置进一步包括:接收器,其用于接收来自显示器的数据信号,该数据信号包括数据字段,该数据字段包括显示器的显示器动态范围指示,该显示器动态范围指示包括至少一个照度规格;并且所述动态范围处理器被布置成响应于显示器动态范围指示而向第一编码图像施加动态范围变换。
这在许多实施例中可以允许改进的图像再现。
依照本发明的一个可选的特征,所述动态范围处理器被布置成在响应于第一目标显示器基准将输出图像生成为第一编码图像以及将输出图像生成为第一编码图像的变换的图像之间进行选择。
这在许多实施例中可以允许改进的图像再现和/或可以降低计算负荷。例如,如果终端用户显示器具有的动态范围非常接近针对其生成编码图像的动态范围,那么再现图像的改进的质量典型地将在直接使用接收的图像的情况下实现。然而,如果动态范围充分不同,那么改进的质量通过处理该图像以使其适应不同的动态范围而实现。在一些实施例中,动态范围变换可以简单地适于在空操作(直接使用第一编码图像)与在目标显示器基准充分地不同于终端用户显示器的情况下施加预定且固定的动态范围变换之间切换。
依照本发明的一个可选的特征,所述动态范围变换包括色域变换。
这在许多实施例和情景中可以允许生成改进的输出图像。特别地,它可以允许感知的改进的颜色再现并且可以例如补偿由图像区域的视亮度的变化而造成的颜色感知的变化。在一些实施例中,动态范围变换可以在于色域变换。
依照本发明的一个可选的特征,所述图像处理装置进一步包括用于将动态范围控制数据发送至图像信号的源的控制数据发送器。
这可以允许该源响应于动态范围控制数据而适应性调节图像信号。动态范围控制数据特别地可以包括用于图像的优选动态范围的指示和/或用于终端用户显示器的动态范围(例如白点照度以及可选地EOTF或者伽玛函数)的指示。
依照本发明的一个方面,提供了一种图像信号源装置,包括:接收器,其用于接收编码图像;生成器,其用于生成图像信号,该图像信号包括编码图像和目标显示器基准,该目标显示器基准指示编码图像针对其而被编码的目标显示器的动态范围;发送器,其用于发送图像信号。
依照本发明的一个方面,提供了一种图像处理方法,包括:
接收图像信号,该图像信号至少包括第一编码图像和第一目标显示器基准,该第一目标显示器基准指示第一编码图像针对其而被编码的第一目标显示器的动态范围;
通过响应于第一目标显示器基准向第一编码图像施加动态范围变换而生成输出图像;以及
输出包括输出图像的输出图像信号。
依照本发明的一个方面,提供了一种发送图像信号的方法,该方法包括:接收编码图像;生成图像信号,该图像信号包括编码图像和目标显示器基准,该目标显示器基准指示编码图像针对其而被编码的目标显示器的动态范围;发送图像信号。
依照本发明的一个方面,提供了一种图像信号,该图像信号至少包括第一编码图像和第一目标显示器基准,该第一目标显示器基准指示第一编码图像针对其而被编码的第一目标显示器的动态范围。
本发明的这些和其他方面、特征和优点根据以下描述的实施例将是清楚明白的,并且将参照所述实施例进行阐述。
附图说明
将仅仅通过实例的方式参照附图描述本发明的实施例,在附图中
图1为依照本发明一些实施例的图像再现系统的元件的实例的图示;
图2为图像处理装置的元件的实例的图示;
图3图示出用于图像处理装置的映射的实例;
图4图示出用于显示器的电光传递函数(EOTF)的实例;
图5图示出蓝光TM标准的 HDMV-2D模式中用于呈现平面的模型的实例;
图6图示出用于HDR和LDR图像的动态范围处理的实例;
图7图示出用于图像处理装置的映射的实例;
图8-10图示出当在相同显示器上呈现时利用了不同动态范围变换的图像的实例;
图11图示出用于图像处理装置的可能映射与照度值之间的关系的实例;
图12图示出用于图像处理装置的映射的实例;
图13图示出用于图像处理装置的映射的实例;
图14图示出依照蓝光TM标准的图形流的结构;
图15图示出用于图像和关联的覆盖图形图像的动态范围处理的实例;
图16图示出用于图像和图形的动态范围处理的实例;
图17为图像处理装置的元件的实例的图示;
图18图示出用于图像处理装置的映射的实例;
图19为图像处理装置的元件的实例的图示;
图20图示出用于图像处理装置的映射的实例;
图21为依照本发明一些实施例的显示器的元件的实例的图示;
图22为图像处理装置的元件的实例的图示;以及
图23示意性地图示出借助于编码装置对HDR图像编码的8比特图像的生成。
具体实施方式
图1图示出视听分发路径的一个实例。在该实例中,内容提供商装置101生成用于诸如例如电影、电视节目等等之类的视听内容项的视听内容信号。特别地,内容提供商装置101可以依照适当的编码格式和颜色表示对视听内容编码。特别地,内容提供商装置101可以依照诸如例如YCrCb之类的适当表示编码视听内容项的视频序列的图像。内容提供商装置101可以被认为代表创建和广播该内容的制作和分发工作室。
然后,视听内容信号经由分发路径105分发至图像处理设备103。图像处理设备103可以例如为驻留在内容项的特定消费者处的机顶盒,诸如例如个人视频记录器、蓝光TM播放器、网络(例如因特网)流送设备、卫星或地面电视接收器等等。
视听内容被编码并且从内容提供商装置101通过介质分发,所述介质可以例如包括封装的介质或者通信介质。然后,它到达图像处理设备103形式的源设备,该设备包括用于解码和回放该内容的功能。
应当理解的是,分发路径105可以是任何分发路径并且经由任何介质或者使用任何适当的通信标准。此外,分发路径无需是实时的,而是可以包括永久的或者临时的存储装置。例如,分发路径可以包括因特网、卫星、缆线或地面广播、移动或固定通信网络等等,或者诸如DVD或蓝光光盘TM或者记忆卡等等之类的物理分发介质上的存储。
图像处理设备103经由通信路径109耦合到显示器107。图像处理设备103生成表示视听内容项的显示信号。因此,该源设备将解码的内容流送至信宿(sink)设备,该信宿设备可以是电视或者将数字信号转换成物理表示的另一个设备。
图像处理设备103可以对数据执行例如图像增强或者信号处理算法,并且特别地可以解码和重新编码(处理的)视听信号。重新编码特别地可以是与接收的信号不同的编码或表示格式。
图1的系统在一些实施例中被布置成向显示器107提供高动态范围(HDR)视频信息,并且在其他实施例或情景中被布置成向显示器107提供低动态范围(LDR)图像。此外,为了提供例如改进的向后兼容性,在一些情景中它可以能够提供LDR和HDR 图像二者,这取决于其被显示的显示器。特别地,该系统能够传送/分发与LDR和HDR图像二者有关的图像信号。
常规显示器典型地使用LDR表示。典型地,这样的LDR表示通过与规定的基色有关的三分量8比特表示提供。例如,RGB颜色表示可以通过郑重参考红色、绿色和蓝色基色的三个8比特样本提供。另一种表示使用一个亮度(luma)分量和两个彩度分量(例如YCrCb)。这些LDR表示与给定视亮度或照度范围相应。
HDR特别地允许在HDR显示器上适当地呈现明亮得多的图像(或者图像区域)。事实上,HDR显示器上显示的HDR图像可以提供比LDR显示器上呈现的相应LDR图像所能提供的明亮得多的白色。事实上,HDR显示器可以允许实现LDR显示器的典型地至少四倍亮的白色。视亮度特别地可以相对于可以表示的最暗黑色测量,或者可以相对于给定灰度或黑色水平测量。
LDR图像特别地可以与诸如和特定基色集合和/或特定白点有关的固定比特分辨率之类的特定显示器参数相应。例如,可以为给定RGB基色集合以及例如500Cd/m2的白点提供8比特。HDR图像是包括应当超越这些限制再现的数据的图像。特别地,视亮度可以比该白点亮四倍以上(例如2000Cd/m2)或者更多。
高动态范围像素值具有这样的照度对比度范围(像素集合中的最亮的照度除以最暗的照度),其比可以在NTSC和MPEG-2时代标准化的显示器(具有其典型的RGB基色和D65白色,其中最大驱动水平[255,255,255],基准视亮度为例如500尼特或者以下)上忠实地显示的范围大(得多)。典型地,对于这样的基准显示器,8比特就足以以视觉上的小步长显示近似500尼特与近似0.5尼特之间(即具有对比度范围1000:1或者以下)的所有灰度值,而HDR图像以更高比特字,例如10比特编码(其也由具有更大的阱深和DAC(例如14比特)的照相机捕获)。特别地,HDR图像典型地包含场景白色以上的(亮图像物体的)许多像素值。特别地,若干像素比场景白色的2倍还亮。该场景白色典型地可以与NTSC/MPEG-2基准显示器的白色等同。
用于HDR图像的比特数X典型地可以大于或等于用于LDR图像的比特数Y(X典型地可以为例如10或12或14比特(每颜色通道,如果使用了几个通道的话),并且Y可以例如为8或10比特)。可能需要进行变换/映射以便使像素适合较小的范围,例如压缩缩放。典型地,可能涉及非线性变换,例如,对数编码可以用X比特字编码比线性编码大得多的照度范围(像亮度那样),即使从一个值到下一个值的照度差值步长于是不等距,但是对于人类视觉系统而言也不需要它们这样。
应当指出的是,LDR和HDR图像之间的差别不仅仅在于,与LDR图像相比,更大数量的比特用于HDR图像。相反地,HDR图像比LDR图像覆盖更大的照度范围,并且典型地具有更高的最大照度值,即更高的白点。事实上,虽然LDR图像具有与不超过500尼特相应的最大照度(白)点,但是HDR图像具有与超过500尼特并且通常不小于1000尼特、2000尼特或者甚至4000尼特或者更高相应的最大照度(白)点。因此,HDR图像不仅仅使用与更高的粒度或改进的量化相应的更多的比特,而是与更大的实际照度范围相应。因此,最亮的可能像素值通常与这样的照度/光输出相应,该输出对于HDR图像而言比对于LDR图像而言更高。事实上,HDR和LDR图像可以使用相同数量的比特,但是HDR图像值被引用到比LDR图像值更大的照度动态范围/更亮的最大照度(并且因此HDR图像在照度尺度上以更粗糙的量化表示)。
理想情况下,由内容提供商装置101提供的内容将被捕获并且参照与显示器107的照度范围匹配的照度范围编码。然而,在实际的系统中,该内容可能在具有许多不同特性的许多不同显示器上再现和/或可能依照基于与特定显示器107的照度范围不同的照度范围的标准进行编码。此外,该内容可能最初不是由与该显示器的照度范围确切匹配的捕获设备或方法捕获的。
相应地,在内容系统中支持HDR典型地需要不同照度范围之间的某种变换或转换。例如,如果接收了LDR图像并且应当在HDR显示器上呈现,那么就应当执行从LDR到HDR的转换。如果接收了HDR图像并且应当在LDR显示器上呈现,那么就应当执行从HDR到LDR的转换。这样的转换典型地相当复杂,并且不仅仅等同于照度范围的简单缩放,因为这样的缩放将导致被感知为看起来不自然的图像。典型地,使用相当复杂的变换,并且这些变换经常涉及使用术语色调映射。
原则上,这样的照度变换可以在内容分发系统中的三个不同的地方执行。
一种选项是在内容提供商装置101处执行它。典型地,这可以允许将相同的照度变换操作分发到多个显示器,从而允许单个变换用于许多用户。这可以允许例如由熟练的色调映射专家执行复杂的、人工的且资源要求高的色调映射并且证明其是合理的。事实上,这可以提供针对给定照度范围的主观优化的图像,经常称为艺术色调映射。然而,这种方法资源要求非常高,并且对于应用到许多显示器是不可行的。此外,对于每个支持的照度范围需要单独的图像流,导致需要非常高的通信资源,这对于许多系统而言是不切实际的。
另一种选项是在图像处理设备103中执行照度变换。然而,由于普通用户对于照度变换并不熟练,并且由于所要求的努力使得执行人工适应是不切实际的(尤其是对于诸如视频剪辑、电影等等之类的运动图像而言),因而该变换优选地应当是自动的。然而,这样的变换常规上不能够提供最佳的图像。特别地,最佳的变换可能取决于特定的内容类型、图像的预期特性(例如,不同的变换可能适合于预期为暗且险恶的场景以及仅仅预期为暗以便指示夜间场景的场景)。此外,内容创作者可能关心这样的自动变换的潜在影响,并且可能不愿意失去对于在不同的情景中可能如何呈现内容的控制。再者,最佳的变换典型地取决于显示器107的确切特性,并且基于假设的、标称的或者标准的显示器的变换典型地将导致次优的变换。
可能地,该变换也可以在显示器107中执行。
在图1的系统中,图像处理设备103包括用于对接收自内容处理设备103的图像(或者诸如例如视频序列之类的图像集合)执行照度动态范围变换以便增加其动态范围的功能。具体而言,图像处理设备103从内容提供商装置101接收图像,然后处理该图像以便生成更高动态范围的图像。特别地,接收的图像可以是LDR图像,该图像通过施加照度动态范围变换以便增加动态范围而被转换成HDR图像。变换的图像然后可以输出到为HDR显示器的显示器107,从而导致最初接收的LDR图像被转换成再现的HDR图像。动态范围变换可以将与一个动态范围关联的输入图像(的至少一部分)的照度值映射为用于与不同动态范围关联的输出图像(的至少一部分)的照度值。
在另一种情景中,图像处理设备103可以从内容提供商装置101接收图像并且然后处理该图像以便生成更低动态范围的图像。特别地,接收的图像可以是HDR图像,该图像通过施加照度动态范围变换以便减小动态范围而被转换成LDR图像。变换的图像然后可以输出到为LDR显示器的显示器107,从而导致最初接收的HDR图像被转换成再现的LDR图像。
在图1的系统中,根据接收自内容提供商装置101和/或显示器107的信息适应性调节动态范围变换。因此,在该系统中,动态范围变换不仅仅是图像处理设备103中的局部执行的操作,而是也可以取决于来自内容提供商装置101和/或显示器107的特性、属性或信息。
首先,将参照其中动态范围变换基于从内容提供商装置101提供给图像处理设备103的信息的情形描述图1的系统。
图2图示出图1的图像处理设备103的元件的实例。
图像处理设备103包括从内容提供商装置101接收图像信号的接收器201。图像信号包括一幅或多幅编码图像。在许多情景中,图像信号可以是包括编码视频序列(即图像序列)的视频信号。应当理解的是,可以使用图像的任何适当的编码,包括例如JPEG图像编码、MPEG视频编码等等。编码图像由像素值表示,对于图像的每一个像素而言,其表示用于该像素(或者用于单独的颜色通道子像素)的相应光输出。这些像素值可以依照诸如例如RGB、YUV等等之类的任何适当的颜色表示提供。
此外,图像信号包括目标显示器基准,该目标显示器基准指示第一编码图像针对其而被编码的目标显示器的动态范围。因此,目标显示器基准提供了用于编码图像的基准,其反映了接收的图像针对其而被构造的动态范围。目标显示器基准可以指示内容提供商装置101处的色调映射针对其而被设计以及特别地针对其而被优化的照度。
因此,内容提供商装置101被布置成生成这样的图像信号,该图像信号不仅包括编码图像本身,而且包括表示编码信号针对其而被生成的显示器动态范围的目标显示器基准。特别地,内容提供商装置101可以从内部或外部源接收编码图像。例如,该图像可以作为人工色调分级的结果而提供,该分级针对特定显示器对编码图像优化。此外,内容提供商装置101可以例如经由从特定显示器自动地传送至内容提供商装置101的显示信息获得已经用于优化的该显示器的信息(例如,内容提供商装置101也可以包括支持人工色调映射所需的功能,并且可以连接到用于该色调映射的目标/基准显示器)。作为另一个实例,可以在其上也存储了关联的显示器的属性的介质上接收编码的色调映射的图像。作为又一个实例,内容提供商装置101可以通过人工用户输入接收目标显示器的特性的信息。
内容提供商装置101可以响应于这样的信息生成包括编码图像和目标显示器基准的图像信号,该目标显示器基准指示用于色调映射的目标显示器的动态范围。例如,与白点照度的标识相应的数据值以及可选地与目标显示器的标识相应的电光传递函数可以由内容提供商装置101包含在图像信号中。
此外,图像处理设备103包括动态范围处理器203,该动态范围处理器将动态范围变换施加到接收的编码图像以便生成具有更高动态范围,即与图像再现时更大的输出照度范围相应的输出图像。特别地,输入的编码图像可以是针对具有500尼特的最大照度白点的LDR显示器编码的图像,并且其可以被变换成具有例如1000或2000尼特的最大照度白点的HDR输出图像。典型地,动态范围变换也可以增加用来表示每个值的比特数,但是应当理解的是,这不是必不可少的,并且在一些实施例中,与输入图像相比,相同的比特数(或者事实上甚至更少的比特)可以用于输出图像。作为另一个实例,输入的编码图像可以是针对具有2000尼特的最大白点照度的HDR显示器编码的图像,并且其可以被变换成具有例如500尼特的最大白点照度的LDR输出图像。这样的动态范围降低变换也可以包括用于像素值的比特数的减少。
动态范围变换响应于目标显示器基准而执行并且因此可以适于不仅考虑希望的输出照度范围,而且考虑接收的图像针对其而被编码的照度范围。例如,系统可以适应性调节动态范围变换,使得根据输入图像是针对300尼特还是500尼特图像而生成,针对1000尼特生成输出图像的变换将不同。这可以导致大大改进的输出图像。
事实上,在一些实施例中,输入图像本身可以是HDR图像,诸如例如1000尼特图像。这样的图像分别到2000尼特图像和5000尼特图像的最佳变换典型地将是不同的,并且目标显示器基准的提供可以允许图像处理设备103针对该特定情形优化动态范围变换,从而针对特定显示器特性提供大大改进的图像。事实上,如果显示器为500尼特显示器,那么动态范围变换应当执行动态范围压缩而不是扩展。
这些方法在诸如例如对于未来电视系统越来越感知的东西之类的不均一的内容分发系统中可能是特别有利的。事实上,HDR LCD/LED TV的(峰值)视亮度当前快速地增大,并且在不远的将来,具有多种多样的(峰值)视亮度的显示器预期在市场上共同存在。更亮的图片在电视屏幕上看起来更好,并且更亮的电视在商店销售得更好。另一方面,笔记本计算机、平板计算机和智能电话中的“低端”显示器也变得非常流行,并且也用于再现例如电视内容。
由于显示器视亮度(以及典型地规定显示器如何将输入像素(颜色)驱动值转换成光值(所述光值然后向观看者提供特定的心理视觉印象)的电光传递函数)在内容生成侧不再知道(并且其此外通常与所述内容预期用于它/针对它而被分级的基准监视器不同),因而在显示器上提供最好/最佳的图片质量变得具有挑战性。此外,虽然在过去可能存在显示器视亮度的一些变化,但是该变化相对微小,并且已知的固定视亮度的假设不引入显著的降质(并且经常可以由用户例如通过设置显示器的视亮度和/或对比度而人工地补偿)。
然而,由于各种各样的显示器(智能电话、平板计算机、膝上型计算机、PC监视器、CRT显示器、传统LCD TV显示器和明亮HDR显示器)的大幅增加,用于再现的显示器的特性(尤其是视亮度和对比度)表现出巨大的变化。例如,最新技术的高端显示系统的对比度和峰值照度不断地增加,并且开发了具有高达5000cd/m2的峰值照度和5-6个数量级的对比率的新原型显示器。另一方面,用于例如智能电话和平板计算机中的显示器变得越来越流行,但是具有相对较低的性能特性。
如先前所提到的,诸如用于电影的视频等等之类的内容在内容创建侧进行处理以便提供希望的再现图像。例如,当为一般分发(例如通过DVD或蓝光TM)发布电影时,制作者/制片厂典型地适应性调节和定制图像以便在特定显示器上最佳地显现。这样的过程经常称为颜色分级和色调映射。色调映射可以被认为是输入像素的亮度值到输出像素的亮度值的非线性映射。执行色调映射以便将视频与显示器的特性、观看条件和主观偏好匹配。在局部色调映射的情况下,该处理根据图像内的像素的位置而变化。在全局色调映射的情况下,相同的处理应用到所有像素。
例如,当把内容转换成适合于一般消费者分发时,经常执行色调映射以便在标准LDR显示器上提供希望的输出。这可以通过颜色分级专家人工地执行,所述专家平衡许多图片质量方面以便创建用于故事情节的希望的“外观”。这可能涉及平衡区块的和局部的对比度,有时甚至有意地剪切像素。因此,典型地,这个阶段的色调映射不仅仅是一种简单的自动化转换,而是典型地为人工的、主观的并且经常为艺术的转换。
如果对于HDR目标显示器而不是对于LDR目标显示器对内容进行分级,那么色调映射的结果典型地将非常不同。因此,当仅仅在HDR显示器上再现针对LDR显示器编码的视频内容时,得到的图像将远远不同于最佳图像。类似地,如果HDR优化图像仅仅在LDR显示器上再现,那么可能出现显著的感知图像质量降低。
这个问题在图1的系统中通过动态范围变换解决,该动态范围变换在图像处理设备103中执行,但是基于优选地接收自内容提供商装置101和显示器107二者的信息。按照这种方式,该动态范围变换(特别地为色调映射算法)可以适于考虑在内容提供商装置101中执行的色调映射的特性并且适于显示器107的特定照度范围。特别地,在图像处理设备103处执行的色调映射可以取决于在内容生成侧针对其执行色调映射的目标显示器。
内容提供商装置101将目标显示器基准提供给图像处理设备103(与编码图像分开地或者与其集成地,即,图像信号可以由两个分开的数据通信组成)。目标显示器基准特别地可以包括或者可以是目标显示器的白点照度。
例如,对于相对较低复杂度的系统而言,内容提供商装置101可以简单地发送用于已经编码的每个编码图像(视频)的目标显示器的白点照度的指示。例如,可以传送指示目标显示器处可用的尼特数的数据。于是,动态范围变换可以基于尼特数适应性调节变换。例如,如果图像处理设备103执行动态范围变换以生成用于2000尼特显示器的输出图像,那么输入图像是被色调映射到500尼特的显示器还是1000尼特的显示器的知识可以用来优化图像处理设备103处执行的动态范围变换。在这两种情景中,动态范围变换可以应用非线性变换,但是该非线性变换对于这两种情景可以具有不同的特性,即取决于用于内容提供侧的色调映射的目标显示器的白点。
例如,可以执行以下针对500尼特目标显示器色调映射的接收的LDR图像像素与用于2000尼特终端用户显示器的输出HDR图像像素之间的映射:
0-200尼特 → 0-200尼特
200– 300尼特 → 200-600尼特
300– 400尼特 → 600-1000尼特
400– 500尼特 → 1000-2000尼特
然而,对于1000尼特的目标显示器而言,可以改为执行以下映射:
0-200尼特 → 0-200尼特
200– 700尼特 → 200-1000尼特
700– 1000尼特 → 1000-2000尼特
因此,按照相对值(完全映射的百分比),这两种不同的映射可以如图3中所示,其中分别针对500尼特目标显示器301和1000尼特目标显示器示出了x轴上的用于输入图像的白色水平的百分比相对于y轴上的用于输出图像的白色水平的百分比之间的关系。在该实例中,根据在内容提供侧使用/假设的目标基准显示器,两种非常不同的非线性色调映射应用于相同的用户显示器。
应当理解的是,相同的映射可以通过互换轴(相应于施加上面描述的映射的逆映射)而用于从2000尼特优化图像到500或1000尼特优化图像的映射。也应当理解的是,可以根据输入图像是否是1000、2000或者4000尼特优化图像而适应性调节到例如500尼特优化图像的映射。
在一些实施例中,目标显示器基准可替换地或者此外可以包括用于目标显示器的电光传递函数指示。例如,可以包括用于目标显示器的伽玛指示。
显示器的电光传递函数(EOTF)描述了用于该显示器的输入(驱动)亮度值(Y’)与输出照度(Y)之间的关系。该转换函数取决于显示器的许多特性。再者,像视亮度和对比度那样的用户设置可以对该函数具有很大的影响。图4图示出用于8比特(256级)输入值的EOTF的典型实例。
目标显示器的EOTF的传送可以提供用来生成编码图像或视频的目标或基准显示器的有利表征。该表征然后可以在图像处理设备103处用来使动态范围变换适于目标显示器与终端用户显示器的特性之间的差别。例如,动态范围变换可以包括对目标/基准显示器与终端用户显示器的EOTF之比倒置的补偿。
应当理解的是,存在表征EOTF的许多方式。一种可能性是提供EOTF的样本值集合。然后,图像处理设备103可以例如使用简单线性插值在这些样本点之间插值。另一种可能性是提供一种至少在显示范围的部分上的显示器的灰度级/对比度行为的特定模型。作为另一个实例,内容提供商装置101可以传送表征EOTF的特定数学函数。在一些情景中,可以利用本地地存储在图像处理设备103中的模型/函数的关联参数预定义目标显示器集合。在这种情况下,内容提供商装置101可以仅仅将目标显示器的标识码传送至图像处理设备103。
作为又一个实例,可以预先确定一种潜在的数学函数,并且目标显示器指示可以包括用于使预先确定的函数适于描述特定目标显示器EOTF的参数。例如,EOTF可以由用于常规显示器的伽玛函数表征,并且目标显示器指示可以提供用于目标显示器的特定伽玛。
在许多系统中,目标显示器指示可以包括目标显示器的最大照度和伽玛或者存在于其中。因此,特别地,EOTF的表征可以由两个值提供,即伽玛和白点/最大照度,以下描述将集中于这样的情景。
该描述也将集中于其中分发系统依照蓝光TM标准的实施例。蓝光TM是基于光盘技术的音频/视频/数据分发格式家族。BD-ROMTM是蓝光盘只读格式的首字母缩写。该格式主要用于高清晰度视频(2D和3D)和高质量音频的分发。
BD-ROMTM播放器以两种操作模式为特征:HDMV和BD-J。在任何时间点,该播放器处于HDMV模式或者BD-J模式下。配置文件5蓝光TM播放器以接近标准2D视频/图形再现地再现3D立体视频/图形为特征。举例而言,图5示出了用于HDMV-2D模式中呈现平面的模型。
作为图1的系统的一个特定实例,图像信号可以是在BDROMTM上编码的视频信号,并且因此图像处理设备103特别地可以为蓝光TM播放器。编码视频可以为盘上的初级或者可选地次级视频内容。初级视频典型地为2D或者可能地3D立体格式的实际电影。
为了在BDROMTM系统中实现最佳的图片质量,图1的系统使用允许传输目标显示器参数的BDROMTM规范的扩增。该数据与终端用户显示器的假设的或实际的信息一起然后由BDROMTM播放器用来执行动态范围变换。特别地,BDROMTM播放器(图像处理设备103)可以根据目标显示器和/或终端用户显示器的特性执行附加的视频色调映射或者其他处理。
一种用于传输关于目标显示器的参数的信息的选项是将指示这些参数值的数据嵌入到盘上的BDROMTM数据中。播放列表文件(xxxxx.mpls)中的扩展数据结构可以用于这点。该扩展数据结构将具有唯一且新颖的标识。不兼容的旧式BDROMTM播放器将不知道该新数据结构,并且只会忽略它。这将保证向后兼容性。下面示出了这样的Target_Display_descriptor(目标显示器描述符)的句法和语义的一种可能的实现方式。
句法 比特数 助记符
Target_Display_Descriptor () {
Abs_Max_Luminance 8 uimsbf
Gamma (或者显示器的灰度值行为模型,例如EOTF) 8 uimsbf
}
在该实例中,Abs_Max_Luminance为具有例如介于0与255之间的值的参数,其依照下式指示目标显示器的绝对最大照度/白点:
以cd/m2为单位的绝对最大照度 = Abs_Max_Luminance[bit0-4] x 10Abs _Max_Luminance[bit5-7]
应当理解的是,当然可以使用用于尾数或指数的其他比特量。
伽玛是具有例如介于0与255之间的值的参数,其依照下式指示目标显示器的伽玛:
目标显示器EOTF的伽玛 = 伽玛/25。
因此,在该实例中,目标显示器基准由BDROMTM提供给图像处理设备103,包括视频信号针对其而被生成的目标显示器的伽玛值和绝对最大照度。图像处理设备103然后在执行自动动态范围变换时使用该信息以便为更高/更低照度终端用户显示器增大或减小视频信号的动态范围。
应当理解的是,许多不同的动态范围变换是可能的,并且可以使用基于目标显示器基准适应性调节这样的动态范围变换的许多不同的方式。在下文中,提供了各个不同的实例,但是应当理解的是,在其他实施例中可以使用其他的方法。
首先,给定原始图像分别到LDR和HDR图像的最佳映射的差别可以由图6图示出,图6示出了可以用于LDR显示器(图的下部)和HDR显示器(图的上部)的不同色调映射的实例。原始图像对于LDR和HDR二者是相同的。该图像的直方图示于图6的左边。它表明大多数像素具有中低范围内的亮度值。该直方图也示出了高亮度值处的第二小峰(例如汽车头灯或者闪光灯)。
在该实例中,色调映射由三个连续处理步骤表示:
剪切:将低范围和高范围内的亮度值映射为有限数量的输出亮度值。
扩展:使动态范围适于希望的亮度动态范围。
视亮度:使平均照度水平适于最佳的视亮度。
在LDR情况下,将亮度范围映射为LDR显示器的照度范围。原始图像的动态范围大得多,并且因此原始图像被严重剪切以便适应显示器的有限动态范围。
在HDR情况(图的上部)下,剪切可以不那么严重,因为显示器的动态范围比LDR显示器大一个数量级。
图6示出了每个处理步骤之后的直方图以及分别在LDR和HDR显示器上示出的图像的直方图。具体而言,最右边的直方图图示出当在HDR显示器上示出时的LDR色调映射的图像以及相反的情况。在第一种情况下,图像将太亮,并且低范围和高范围亮度值将丧失太多细节。在第二种情况下,图像将太暗,并且中间范围亮度值丧失太多细节和对比度。
如可以看见的,仅仅在HDR显示器上呈现LDR优化图像(的照度缩放版本)(或者相反的情况)可能大大地降低图像质量,并且因而图像处理设备103可以执行动态范围变换以便提高图像质量。此外,由于工作室处执行的优化强烈地取决于针对其执行优化的显示器的特性,因而要由图像处理设备103执行的最佳动态范围变换不仅仅取决于终端用户显示器,而且也取决于基准显示器。相应地,提供给图像处理设备103的目标显示器基准允许图像处理设备103不仅仅基于终端用户显示器的假设的或者已知的特性,而且基于内容提供商侧使用的实际显示器执行希望的动态范围变换。事实上,可以认为目标显示器基准的提供允许图像处理设备103部分地或者完全地逆转工作室侧执行的一些色调映射,从而允许估计原始图像的特性。基于该估计,图像处理设备103于是可以应用针对终端用户HDR显示器的特定动态范围特性而优化的希望的色调映射。
应当理解的是,图像处理设备103典型地不寻求执行特定的逆色调映射以便重新创建原始信号,接着是适合于特定终端用户显示器的色调映射。事实上,典型地,动态范围变换不会提供充分的信息以执行这样的逆色调映射,并且由内容提供商执行的色调映射经常可能是部分不可逆的。然而,图像处理设备103可以执行这样的动态范围变换,其寻求通过动态范围变换适应性调节接收的图像,从而提供以下结果:可以是生成原始图像的逆色调映射的较为理论的操作的(可能地非常粗糙的)近似,接着是原始图像到特定的希望的动态范围的优化色调映射。因此,图像处理设备103可以简单地应用例如从动态范围变换的输入的亮度值到该变换的输出处的适当亮度值的简单映射。然而,该映射不仅反映了用于给定终端用户显示器的原始图像的希望的色调映射,而且取决于已经在内容提供商装置101处执行的实际色调映射。因此,图像处理设备103可以使用动态范围变换使施加的变换适于考虑且适于已经执行的色调映射。
举例而言,图像处理设备103可以被布置成提供用于在具有预定最大照度(比如4000尼特)的HDR图像上显示的输出图像。接收的图像/视频可能针对500尼特的LDR显示器而被色调映射。该色调映射因此针对给定最大照度和伽玛对图像进行了优化。作为一个特定的实例,伽玛函数可以是图7的曲线701,并且当在500尼特显示器上呈现时得到的图像可能像图8那样。
当要在例如4000尼特的HDR显示器上呈现该图像时,经常希望的是,用于暗区域的光输出基本上不变化,而用于亮区域的光输出应当大幅地增加。因此,需要(线性)照度值与实际驱动值之间的非常不同的关系。特别地,如果使用图7的映射曲线703,即如果在内容侧色调映射处应用了更高的伽玛,那么对于HDR图像将生成大幅改进的图像。然而,该更高的映射在500尼特显示器上将导致如图9中所示看起来太暗的图像。
在该系统中,图像处理设备103被告知用于内容侧的目标显示器的伽玛值,并且它可以因此导出曲线701。此外,希望的曲线703是已知的,因为它取决于针对其生成输出图像的显示器动态范围(其例如可以从显示器107提供给图像处理设备103,或者可以是假设的/预先确定的)。因此,图像处理设备103可以向每个像素照度值施加与从曲线701到曲线703的转换相应的变换。按照这种方式,图像处理设备103可以因此继续以使用从内容提供商装置101提供的目标显示器基准施加将生成的输出信号从适合于LDR显示器的信号转换为适合于HDR显示器的信号的动态范围变换。
应当理解的是,当执行降低动态范围的动态范围变换时,相同的考虑可以适用。例如,如果接收的内容要在诸如移动电话显示器之类的低质量、低照度显示器上显示,那么用于映射曲线的优选的伽玛可以如图7的曲线705所示,即小于1的伽玛可能是优选的。当在正常的500尼特LDR上呈现时,相应的图像将如图10所示看起来太亮且具有太小的对比度,并且事实上对于HDR显示器而言该情景甚至更糟糕。
因此,如果图像处理设备103生成用于这样的低视亮度显示器的图像,那么它可以继续以执行通过针对曲线701与705之间的伽玛差异调整照度值而降低动态范围的动态范围变换。
作为另一个实例,如果内容提供商装置101提供预期用于低视亮度/动态范围显示器的图像以及相应地依照曲线705编码的图像,那么图像处理设备103可以使用由动态范围变换提供的该伽玛的知识以便通过适于曲线705与701之间的差异将接收的值变换为适合于500尼特显示器的值,或者通过适于曲线705与703之间的差异而将接收的值变换为适合于4000尼特显示器的值。
因此,指示假设用于目标显示器的伽玛值和最大照度/白点照度的动态范围变换的提供允许图像处理设备103将接收的图像转换为适合于要在其上再现图像的显示器的特定视亮度照度值的伽玛值。
在一些系统中,目标显示器基准可以包括色调映射指示,该指示表示用来生成用于第一目标显示器的第一编码视频流的色调映射。
在一些系统中,目标显示器基准可以直接提供在内容提供商侧执行的一些特定色调映射的信息。例如,目标显示器基准可以包括限定针对其生成LDR(或HDR)图像,即针对其执行了色调映射的显示器的白点照度和伽玛的信息。然而,此外,目标显示器基准可以提供一些特定信息,该信息例如限定在内容提供商侧执行的色调映射中丧失的一些信息。
例如,在图6的实例中,与剪切的图像相应的LDR色调映射图像可能被图像处理设备103接收。图像处理设备103可以施加将此映射为适当的动态范围的动态范围变换以及基于目标显示器伽玛和白点的信息的非线性关系。然而,为了提供改进的适应,用于LDR图像的严重剪切优选地应当被转化成较不严重的剪切(或者事实上在一些情景中转化为无剪切)。相应地,内容提供商装置101可以提供标识已经由内容提供商针对LDR图像执行了的特定剪切的附加信息,从而允许部分地或者完全地逆转该剪切。例如,动态范围变换可以限定剪切的范围,并且图像处理设备103可以相应地依照适当的算法(其例如标识剪切的值的区域(例如爆炸)并且生成朝该区域的中心增大的视亮度)将剪切的值分布在该范围上。
可替换地或者此外,动态范围变换可以提供限定在内容提供商侧执行的附加色调映射的信息。例如,可以对电影或其他视频序列的大多数图像执行相对标准的色调映射。图像处理设备103可以基于伽玛和白点照度使用在内容提供商侧假设标准色调映射的动态范围变换将这样的色调映射图像转换为希望的(更高或更低)动态范围的图像。然而,对于一些图像而言,内容提供商可以执行专用且主观的色调映射。例如,颜色分级者可能针对一些图像希望特定的艺术效果或质量,诸如例如用于紧张情形的暗图像(比如在恐怖电影中)的精细分等级或偏色(color cast)或者用于梦幻般场景的特效。该色调映射可以由目标显示器基准中的数据表征,从而允许图像处理设备103使动态范围变换适于已经应用的特定色调映射。
因此,特别地,在一些情景中,在内容提供商侧执行附加/修改的色调映射以便生成特定的外观,使得图像相对于通过固定适应目标显示器的裸露的电光行为所期望的图像被修改。内容提供商装置101提供的数据可以规定与基准显示器相比希望的外观,并且给定所有因素,这可以由图像处理设备103用来实际地生成希望的光学行为(例如,然而输入信号中的盲编码可能偶然结束于反射的环绕光下方,使得它不再可以依照编码的内容提供商侧行为进行补偿)。
举例而言,如果已知目标显示器的伽玛对于较暗的值为低,则对于这样的(基准)显示器有可能细调比如恐怖场景的外观。例如,图像可以通过额外照度提升进行补偿,使得图像仍然看起来是微暗的,但是至少一定目标结构仍然可见。
举例而言,与基准目标的伽玛和白点照度一起,在内容提供商侧的颜色分级者可以提供关于特定区块和/或图像的艺术印象的一些(附加)信息。例如,对于给定EOTF而言,内容提供者可以指示希望特定区域为了更好的可见性而具有增大的视亮度,或者具有减小的对比度以便提供雾蒙蒙的外观,等等。因此,与(例如由伽玛和白点照度表示的)EOTF一起,目标显示器基准可以指示局部/部分显示器照度范围的边界并且提供动态范围变换数据,该数据提供关于其灰度级的优选分配的更精确信息。
在一些实施例中,动态范围处理器(203)可以被布置成在响应于目标显示器基准将输出图像生成为第一编码图像的变换的图像以及将输出图像生成为接收的编码图像之间进行选择。
特别地,如果由目标显示器基准指示的白点照度充分接近终端用户显示器的白点照度,那么动态范围变换可以简单地在于不对接收的编码图像执行任何处理,即输入图像可以简单地用作输出图像。然而,如果由目标显示器基准指示的白点照度不同于终端用户显示器的白点照度,那么动态范围变换可以依照接收的图像像素到输出图像像素的适当映射修改接收的图像。在这样的情况下,可以根据目标显示器基准适应性调节该映射。在其他实例中,可以使用一种或多种预定映射。
例如,图像处理设备103可以包括:预定的第一映射,其被确定为针对白点照度水平的加倍提供适当的输出图像;以及预定的第二映射,其被确定为针对白点照度水平的减半提供适当的输出图像。在这样的实例中,图像处理设备103可以根据目标显示器基准的白点照度和终端用户显示器的白点在第一映射、第二映射与单位映射之间进行选择。图像处理设备103特别地可以选择与目标显示器基准白点照度和终端用户显示器白点照度之间的比值最密切地相应的映射。
例如,如果接收具有指示其针对500尼特显示器而被优化的目标显示器基准的输入图像,并且终端用户显示器为1000尼特显示器,那么图像处理设备103将选择第一映射。如果相反地,目标显示器基准指示输入图像针对1000尼特显示器而被优化,那么图像处理设备103将选择单位映射(即直接使用输入图像)。如果目标显示器基准指示它针对2000尼特显示器而被优化,那么图像处理设备103将选择第二映射。
如果接收到目标显示器的白点照度的中间值,那么图像处理设备103可以选择最接近这些白点照度之间的比值的映射,或者可以例如在这些映射之间插值。
在一些实施例中,动态范围变换可以包括色域变换或者在于色域变换中。因此,在一些实施例中,动态范围处理器203可以根据目标显示器基准修改再现图像的色度。例如,当接收的HDR图像在LDR显示器上再现时,压缩可能导致在各图像对象中具有更少的变化和分级的更平淡的图像。动态范围变换可以通过增加彩度变化而补偿这样的减少。例如,当具有照亮的苹果的图像针对在HDR显示器上再现而被优化时,在具有降低的动态范围的LDR显示器上再现典型地会使得该苹果看起来不那么突出并且看起来不那么清楚且更加无光泽。这可以由动态范围变换通过使得苹果的颜色更加饱和而补偿。作为另一个实例,纹理变化可能由于照度变化降低的原因而在知觉上变得不那么显著,并且这可以通过增加纹理的彩度变化而补偿。
在一些系统中,视频信号可以包括包含动态范围变换控制数据的数据字段,并且动态范围处理器203可以响应于该控制数据而适应性调节动态范围变换。这可以由内容所有者/提供商用来保持对于提供的内容的再现的至少一些输入或控制。
控制数据可以例如限定必须施加、可以施加或者推荐施加的动态范围变换的操作或参数。此外,控制数据可以针对不同的终端用户显示器而进行区分。例如,单独的控制数据可以被提供用于多种可能的终端用户显示器,例如一组数据用于500尼特显示器,另一组用于1000尼特显示器,另一组用于2000尼特显示器,并且又一组用于4000尼特显示器。
举例而言,内容创建者可以根据图11中所示的终端用户显示器特性规定哪种色调映射应当由动态范围处理器203执行。在该实例中,控制数据可以规定用于与显示器的最大照度(x轴)和入射到显示器上的外界光(以及因而来自显示器的反射——y轴)的给定值相应的三个区域中的每一个的映射。
因此,在该特定实例中,映射1用于低外界光环境下的低视亮度显示器。映射1可以简单地为单位映射,即可以直接使用接收的LDR图像。对于相对较暗的外界环境(低屏幕反射)下的高最大照度(HDR)显示器而言,可以使用映射2。映射2可以执行这样的映射,该映射进一步扩展LDR图像的亮照度,同时基本上维持较暗段的强度。对于相对较亮的外界环境(大量的屏幕反射)下的高最大照度(HDR)显示器而言,可以使用映射3。映射3可以执行更激进的映射,其不仅扩展LDR图像的亮照度,而且加亮较暗图像区域并且增大这些区域的对比度。
在一些情景中,控制数据可以规定这些映射与预定的(例如标准化的或者在内容提供商侧和在再现器侧均已知的)映射之间的边界。在一些情景中,控制数据可以进一步限定不同映射的元素,或者可以例如使用伽玛值真正精确地规定映射,或者规定特定变换函数。
在一些实施例中,动态范围变换控制数据可以直接且明确地规定应当被执行以便将接收的图像变换为具有不同动态范围的图像的动态范围变换。例如,控制数据可以针对一定范围的目标输出显示器白点规定从输入图像值到输出图像值的直接映射。该映射可以作为简单的参数而提供,从而允许由动态范围处理器203实现适当的变换,或者可以提供详细的数据,例如特定查找表或数学函数。
作为一个低复杂度的实例,动态范围变换可以简单地将分段线性函数应用到LDR图像的输入值以便生成改进的HDR值。事实上,在许多情景中,可以使用如图12中所示的由两个线性关系组成的简单映射。该映射示出输入像素值与输出像素值之间的直接映射(或者在一些情景中,该映射可以反映输入像素照度与输出像素照度之间的(可能连续的)映射)。应当理解的是,相同的映射可以用来从输入HDR图像映射到输出LDR图像。
特别地,对于从LDR到HDR的映射,该方法提供了一种这样的动态范围变换,该变换维持图像的暗区域仍然为暗,而同时允许大大增加的动态范围用来提供亮区域的明亮得多的再现,以及真正改进的且看起来更生动的中间范围。对于从HDR到LDR的映射,该方法提供了一种这样的动态范围变换,该变换维持图像的暗区域,但是压缩较亮的区域以便反映显示器的视亮度降低的范围。
然而,确切的变换取决于图像针对其而被生成的目标显示器和要在其上再现图像的显示器。例如,当在1000尼特显示器上再现用于500尼特显示器的图像时,需要一种相对适度的变换,并且亮区域的拉伸相对有限。然而,如果相同的图像要在5000尼特显示器上显示,则需要一种极端得多的变换以便在不太多地加亮暗区域的情况下完全利用可用的视亮度。
同样地,映射可能取决于原始图像针对其而被生成的目标显示器。例如,如果针对1000尼特而被优化的输入图像要在2000尼特显示器上再现,那么需要一种相对适度的变换,并且亮区域的拉伸相对有限。然而,如果图像已经针对500尼特显示器而被优化并且要在2000尼特显示器上显示,那么需要一种极端得多的变换以便在不太多地加亮暗区域的情况下完全利用可用的视亮度。图13图示出两种不同的映射可以如何分别用于1000尼特输入图像(曲线1301,最大值255相应于1000尼特)和500尼特输入图像(曲线1303,最大值255相应于500尼特)以便在2000尼特LDR输入图像上显示(最大值255相应于2000尼特)。
这种简单关系的一个优点是,可以以非常低的开销传送希望的色调映射。事实上,控制数据可以规定曲线的拐点,即两个直线段之间的过渡点。因此,简单的双分量数据值可以规定由图像处理设备103针对不同显示器执行的希望的色调映射。图像处理设备103可以进一步通过在提供的值之间进行插值而确定用于其他最大照度值的适当的值。
在一些实现方式中,可以例如提供更多的点以便限定仍然分段线性但是具有更多线性区间的曲线。这可以允许更精确的色调映射,并且在仅仅引入相对微小的开销的同时改进得到的图像质量。
在许多实现方式中,控制数据可以不规定应当执行的特定色调映射,而是提供限定边界的数据,在这些边界内,可以由图像处理设备103自由地适应性调节动态范围变换/色调映射。
例如,控制数据可以限定用于过渡点的极限(可能地针对不同的最大视亮度水平提供不同的极限),而不是规定用于图12和图13的曲线的特定过渡点。因此,图像处理设备103可以单独地确定用于动态范围变换的希望的参数,使得其可以被设置为考虑例如特定用户偏好而提供用于特定显示器的优选过渡。然而,同时,内容提供商可以确保这种自由受限于可接受的范围,从而允许内容提供商保留对于如何再现内容的一定控制。
因此,动态范围变换控制数据可以包括限定必须由动态范围处理器203执行的动态范围变换所应用的变换参数和/或限定用于这些变换参数的极限的数据。控制数据可以针对一定范围的最大视亮度水平提供这样的信息,从而允许动态范围变换适于不同的终端用户显示器。此外,对于未显式地包含在控制数据中的最大视亮度水平,适当的数据值可以例如通过插值从可用的数据值生成。例如,如果指明了用于2000尼特和4000尼特终端用户显示器的两个直线段之间的拐点,那么用于3000尼特显示器的适当的值可以通过简单的插值(例如在该特定实例中通过简单的平均)而找到。
应当理解的是,根据单独的应用的特定偏好和要求,在不同的系统中可以使用用于动态范围变换以及用于如何从内容提供商侧通过附加的控制数据限制、适应性调节和控制这点的许多不同的和变化的方法。
事实上,可以在控制数据中提供许多不同的命令或参数值以便依照内容提供商的偏好生成色调映射。
例如,在低复杂度系统中,可以施加简单的动态范围变换,并且内容提供商装置101可以简单地提供用于目标显示器的白色水平和黑色水平,这些水平然后由动态范围处理器203用来确定要应用的色调映射。在一些系统中,可以强制地提供色调映射函数(伽玛或者其他方式)以用于映射输入图像的至少一个范围。例如,控制数据可以规定必须依照给定的映射再现较暗和/或中间范围,同时允许由图像处理设备103自由地映射较亮的范围。
在一些情景中,控制数据可以只提供可以例如在中间范围区域中应用的适当映射的建议。在这样的情况下,内容提供商可以因此帮助图像处理设备103提供(例如通过内容提供商的人工优化)找到的建议的动态范围变换参数以便在给定HDR显示器上观看时提供高图像质量。图像处理设备103可以有利地使用这点,但是自由地修改映射例如以便适应各用户偏好。
在许多情景中,映射至少部分地基于控制数据而执行,表示相对较低复杂度的函数关系,例如伽玛映射、S曲线、通过对于各范围的部分规定而限定的组合映射等等。然而,在一些情景中,当然可以使用更复杂的映射。
也应当理解的是,动态范围变换经常可以包括用来表示值的比特数的增加或减少。例如,可以将8比特图像变换成12或14比特图像。在这样的情况下,可以独立于改变的量化提供来自内容提供商装置101的控制数据。例如,8比特至8比特联合编码的色调映射(用于灰度子分布的“形状”)可以由内容提供商装置101限定,并且图像处理设备103可以通过考虑到更多比特的变换而按特定显示器白色视亮度缩放该映射。
在其他实施例或情景中,动态范围变换可以包括用来表示值的比特数的减少。例如,可以将12比特图像变换成8比特图像。这样的情景经常可能在动态范围变换提供动态范围的减小时,例如在转换要在8比特输入值LDR显示器上再现的12比特HDR图像时发生。
如所提到的,控制数据可以提供强制的或者自愿的控制数据。事实上,接收的数据可以包括指示提供的色调映射参数是强制的、允许的还是建议的一个或多个字段。
例如,建议的色调映射函数可以和可以接受与其多大的偏差的指示一起提供。标准配置下的图像处理设备103于是可以自动地应用建议的映射。然而,可以修改变换例如以便反映用户的个人偏好。例如,用户输入可以改变图像处理设备103的设置,例如使得图像的暗区域再现得比内容提供商认为理想的情况更亮。例如,用户可以简单地按压用于增加视亮度的按钮,并且色调映射可以相应地变化(例如,向上移动图12和图13的曲线的下面的直线部分)。用户可以因此向色调映射引入细调。然而,可以将内容提供商可接受多少细调的数据包含在控制数据中,从而将动态范围变换限制为生成仍然被内容提供商认为保持了提供的图像的完整性的输出图像。控制数据可以例如也规定用户交互的效果,诸如例如限定或限制用户对按钮的每次按压所发生的视亮度的变化。
相应地,所述动态范围变换提供了一种动态范围变换,该变换预期在考虑到输入图像针对其而被生成的显示器的显示器特性的同时提供适合于特定终端用户显示器107的图像。因此,图像处理设备103生成与给定最大照度/视亮度值关联,即预期用于在具有该白点/最大照度值的显示器上再现的输出信号。在一些系统中,显示器的白点照度可能不为图像处理设备103精确地获悉,并且因此可以针对(例如由用户人工地输入的)假设的白点照度生成输出信号。在(如以后将描述的)其他应用中,显示器可以提供关于白点照度的信息,并且图像处理设备103可以基于该信息适应性调节动态范围变换。
如果输出信号针对其而被生成的白点照度确切地或者充分接近地与接收的图像之一的白点照度相应(依照任何适当的准则,例如白点照度差值低于阈值),那么图像处理设备103可以继续以便在输出图像中直接使用该图像,即动态范围变换可以简单地为单位映射。此外,如果输出白点照度不直接与接收的图像的白点照度相应,但是确实与为其提供显式的动态范围变换控制数据的终端用户显示器白点照度匹配,那么该控制数据可以直接用来适应性调节动态范围变换。如果输出白点照度不直接与接收的图像的白点照度或者与针对其提供动态范围变换控制数据的白点照度相应,那么由控制数据针对不同白点照度提供的色调映射参数可以用来根据输出白点照度适应性调节动态范围变换。特别地,动态范围处理器203可以在用于其他白点照度值至特定输出白点照度的色调映射参数之间插值。在许多实施例中,简单的线性插值将是足够的,但是应当理解的是,可以使用许多其他的方法。
事实上,控制数据也可以例如提供关于应当如何处理针对不同显示器白点照度提供的色调映射参数以便生成针对特定输出白点照度的色调映射参数的信息。例如,控制数据可以指示必须用来生成适当的色调映射参数的非线性插值函数。
也应当理解的是,动态范围变换不一定对于不同的图像或者甚至对于相同的图像是恒定的。
事实上,在许多系统中,可以连续地更新动态范围变换控制数据,从而允许动态范围处理器203执行的动态范围变换适于当前的特性。这可以允许与用于亮图像/场景相比,不同的色调映射用于暗图像/场景。这可以提供改进的性能。事实上,响应于动态更新的动态范围变换控制数据而控制的时变动态范围变换可以用来向内容提供商提供附加的控制。例如,暗场景的再现在HDR显示器上可能是不同的,这取决于该场景是否是预期提供不安的紧张场景或者该场景是否仅仅为了与夜间情景相应而是暗的(在第一种情况下,暗场景可以在HDR显示器上再现为与在LDR显示器上一样暗,并且在第二种情况下,暗场景可以再现得稍微更亮,从而利用附加的动态范围以便在暗区域中允许改进的视觉上可感知的区别)。
相同的考虑可以应用在图像内。例如,场景可能与明亮天空在暗阴影地面上方(例如明亮天空在图像的上半部分并且森林在图像的下半部分)相应。当从LDR映射到HDR时,可以有利地不同地映射这两个区域,并且动态范围变换控制数据可以规定这些映射的差异。因此,动态范围变换控制数据可以包括针对不同的图像而变化和/或取决于图像中的位置的色调映射参数。
作为一个特定的实例,至少一些控制数据可以与给定图像区域、照度范围和/或图像范围关联。
动态范围变换控制数据可以依照任何适当的通信方法或标准提供给图像处理设备103。
在该特定实例中,内容提供商装置101与图像处理设备103之间的通信使用蓝光TM介质。用于动态范围变换的控制命令的传输可以通过将这些参数值嵌入到盘上的BDROM数据中而实现。播放列表文件(xxxxx.mpls)中的扩展数据结构可以用于这点。该扩展数据结构将具有唯一且新的标识。旧式BDROM播放器将不了解该新的数据结构,并且将简单地忽略它。这将保证向后兼容性。这样的LHDR_descriptor(LHDR描述符)的句法和语义的一种可能的实现方式在下面示出。
句法 比特数 助记符
LHDR_Descriptor () {
Video_Process_descriptor 8 uimsbf
DR_Process_descriptor 8 uimsbf
Level_Process_descriptor 8 uimsbf
Dynamic_range
}
在该实例中,LHDR_descriptor包含三个处理描述符。这些参数规定在目标显示器类别与终端用户显示器类别不同的情况下视频的附加处理。举例而言,这些参数可以具有以下值。
Video_Process_descriptor(视频处理描述符):
在目标显示器=LDR,终端用户显示器=HDR的情况下的视频/图形处理 在目标显示器=HDR,终端用户显示器=LDR的情况下的视频/图形处理
0x00 无附加处理 无附加处理
0x01 根据DR_Process_descriptor和Level_Process_descriptor,允许有限的附加处理 根据DR_Process_descriptor和Level_Process_descriptor,允许有限的附加处理
0x02 对附加处理无限制 对附加处理无限制
0x03-0xFF 保留 保留
DR_Process_descriptor(DR处理描述符):
在目标显示器=LDR,终端用户显示器=HDR的情况下的视频/图形处理 在目标显示器=HDR,终端用户显示器=LDR的情况下的视频/图形处理
0x00 允许将动态范围增大到125% 允许将动态范围减小到80%
0x01 允许将动态范围增大到150% 允许将动态范围减小到70%
0x02 允许将动态范围增大到200% 允许将动态范围减小到50%
0x03-0xFF 保留 保留
Level_Process_descriptor(水平处理描述符):
在目标显示器=LDR,终端用户显示器=HDR的情况下的视频/图形处理 在目标显示器=HDR,终端用户显示器=LDR的情况下的视频/图形处理
0x00 允许将水平范围适应性调节为80-125% 允许将水平范围适应性调节为80-125%
0x01 允许将水平范围增大到70-150% 允许将水平范围增大到70-150%
0x02 允许将水平范围增大到50-200% 允许将水平范围增大到50-200%
0x03-0xFF 保留 保留
前面的实例集中于这样的实例,其中接收自内容提供商装置101的信号仅仅包括图像/视频序列的一个版本以及特别地其中该信号仅仅包括LDR图像/视频序列。
然而,在一些系统和实现方式中,内容提供商装置101可以生成包括超过一个图像版本的图像信号。在这样的情景中,可以针对一个目标显示器对一幅图像进行色调映射,并且另一幅图像可以与相同的原始图像相应,但是针对不同的目标显示器进行色调映射。特别地,一幅图像可以是针对例如500尼特显示器而生成的LDR图像,并且另一幅图像可以是针对例如2000尼特显示器而生成的HDR图像。
在这样的实例中,图像信号可以进一步包括第二目标显示器基准,即目标显示器基准可以针对所述图像中的每一幅而提供,从而指示编码器侧的色调映射针对单独的图像针对其而被优化的显示器特性。特别地,可以针对每个图像/视频序列提供最大视亮度和伽玛参数。
在这样的系统中,图像处理设备103可以被布置成响应于第二目标显示器基准并且特别地通过考虑第一和第二目标显示器基准而施加动态范围变换。
动态范围变换可以不仅适应性调节对图像执行的特定映射或操作,而且也可以取决于目标显示器基准而选择使用哪幅图像作为变换的基础。作为一个低复杂度的实例,动态范围处理器203可以根据关联的目标显示器基准如何密切地与输出信号针对其而被生成的白点照度匹配在使用第一图像与第二图像之间进行选择。特别地,可以选择与最接近希望的输出白点照度的白点照度关联的图像。因此,如果生成LDR输出图像,那么可以从编码的LDR图像执行动态范围变换。然而,如果生成具有比编码的HDR图像更高的最大视亮度的HDR图像,那么可以对编码的HDR图像执行动态范围变换。
如果要针对编码图像的白点照度之间的最大视亮度(例如针对1000尼特显示器)生成图像,那么动态范围变换可以基于这两幅图像。特别地,可以执行这些图像之间的插值。这样的插值可以是线性的或非线性的,并且可以在变换之前直接对编码图像执行,或者可以在施加变换之后应用到图像上。各图像的加权典型地可以取决于它们与希望的输出最大视亮度有多接近。
例如,第一变换图像可以通过向第一编码图像(LDR图像)施加动态范围变换而生成,并且第二变换图像可以通过向第二变换图像施加动态范围变换而生成。然后,对第一和第二变换图像进行组合(例如求和)以便生成输出图像。第一和第二变换图像各自的权重通过第一和第二编码图像各自的目标显示器基准如何密切地与希望的输出最大视亮度匹配而确定。
例如,对于700尼特显示器,对第一变换图像加权可以比第二变换图像高得多,并且对于3000尼特显示器,对第二变换图像加权可以远高于第一变换图像。对于2000尼特显示器,可能地可以同等地对这两幅变换图像加权,并且输出值可以通过对每幅图像的值进行平均而生成。
作为另一个实例,所述变换可以针对不同的图像区域选择性地基于第一或第二图像,例如取决于图像特性而执行。
例如,对于相对较暗的区域,可以将动态范围变换施加到LDR图像以便生成这样的像素值,其适合于1000尼特显示器,然而利用了可以用于LDR图像的暗区域的与HDR图像相应的更精细的分辨率(例如,如果相同的比特数用于这两幅图像的话)。然而,对于更亮的区域而言,像素值可以通过向HDR图像施加动态范围变换而生成,从而利用了该图像典型地在高视亮度范围内具有更多的信息(特别地,对于HDR图像而言,由于剪切而引起的信息损失相对于LDR图像通常小得多)。
因此,当从内容提供商装置101接收超过一幅图像时,图像处理设备103可以根据这些图像之一生成输出图像,或者可以在生成输出图像时组合它们。这些编码图像的选择和/或组合基于为每幅图像提供的目标显示器基准以及输出信号针对其而被生成的最大视亮度。
应当理解的是,除了各编码图像的组合和/或选择之外,各动态范围变换也可以响应于该动态范围变换而进行调整和适应性调节。例如,可以将先前描述的方法单独地应用于每种动态范围变换。类似地,可以接收可以用来适应性调节和控制如先前所描述的每种动态范围变换的动态范围变换控制数据。此外,动态范围变换控制数据可以包含这样的信息,该信息限定用于第一和第二编码图像的处理的组合的强制的、可选的或者优选的/建议的参数。
在一些系统中,动态范围变换控制数据包括用于不同图像类别的不同变换控制数据。特别地,在执行动态范围变换时,可以不同地处理不同类型的图像/内容。
例如,可以针对不同类型的视频内容限定或建议不同的色调映射。例如,针对卡通、恐怖电影、足球赛等等限定不同的动态范围变换。在这样的情况下,接收的视频信号可以提供描述内容类型的元数据(或者可以在图像处理设备103中本地地应用内容分析),并且针对特定内容施加适当的动态范围变换。
作为另一个实例,可以利用为不同图像提供的不同变换将再现图像生成为覆盖图像的组合。例如,在蓝光TM中,限定了许多不同呈现平面(如图5中所示),并且不同的动态范围变换可以应用于这些不同的呈现平面。
这些呈现平面中的每一个的特性由内容提供商针对特定目标显示器而优化。终端用户的观看体验可以通过使呈现平面的特性适于终端用户显示器而优化。典型地,最佳的适应对于不同的呈现平面将是不同的。
关于色调映射,目前的BDROM系统中的情形如下:
- 视频色调映射(全局和/或局部)在工作室中使用工作室监视器执行。
- 图形色调映射(通常不同于视频色调映射)在工作室中使用工作室监视器执行。
- OSD色调映射在BDROM播放器中执行。
- 全局和/或局部色调映射在显示器中对于组合的视频&图形信号执行。该处理不能由终端用户控制。
- 全局色调映射在显示器中对于组合的视频&图形信号执行。除别的以外,该处理取决于由终端用户设置的视亮度和对比度值。
当出现以下情况时,实现改进的图片质量:
1. 视频色调映射针对终端用户显示器而优化。
2. 图形色调映射针对终端用户显示器而优化。
3. 系统允许图形色调映射与视频色调映射不同。
4. 系统允许不同的图形色调映射用于不同的图形分量
5. 系统允许视频&图形色调映射取决于视频特性。
也应当指出的是,在盘上存在视频的LDR和HDR版本二者的情况下,附加的色调映射将取决于用于目标显示器的两组参数:一组用于视频的LDR版本,并且一组用于视频的HDR版本。
在另一种增强的实现方式中,视频和/或图形色调映射随着时间而变化,并且例如取决于场景中的视频内容。内容提供商可以根据视频和图形内容的特性将色调映射指令发送至播放器。在另一种实现方式中,播放器自主地从视频信号中提取视频的特性,并且根据这些特性适应性调节视频&图形色调映射。
例如,可以针对一定时间跨度调暗字幕,或者可以针对一定时间量实现特定的伽玛变化(并且这二者可以协调)。
在下文中,描述了如何针对BDROM提供用于图形色调映射的控制命令的实例。
BDROM图形流由嵌入到PES分组中的段组成,所述PES分组嵌入到传输流中。图14图示出适当的数据结构。
与主视频的同步在基本流水平使用PES分组中的PTS值进行。BDROM图形段由段描述符和段数据组成。段描述符包含段类型和长度。
下表示出了在蓝光光盘标准中限定的一些段类型:
0x00 – 0x13 保留
0x14 调色板定义段
0x15 对象定义段
0x16 呈现组成段
0x17 窗口定义段
0x18 交互式组成段
0x19 - 0x7F 保留
0x80 显示器设置段结束
0x81 – 0x82 HDMV文本字幕流使用
0x83 LHDR_Processing_Definition_Segment
0x84 - 0xFF 保留
在现有的规范中,值0x83-0xFF是保留的。因此,新的段类型使用例如值0x83来限定以便指示包含LHDR_Processing_definition segment(LHDR处理定义段)的段。通常,LHDR_Processing_definition段限定在目标显示器不同于终端用户显示器的情况下图形解码器处理图形的方式。
下表示出了LHDR_Processing_definition段的可能结构的一个实例:
在该实例中,LHDR_Processing_definition段包含两个处理描述符:Pop-up_process_descriptor(弹出处理描述符)和Subtitle_process_descriptor(字幕处理描述符)。该段也可以包含在目标显示器类别不同于终端用户显示器类别的情况下使用的调色板。LHDR调色板包含与原始调色板相同数量的条目,但是这些条目针对其他显示器类别而被优化。
参数Pop-up_process_descriptor规定了在目标显示器类别不同于终端用户显示器类别的情况下弹出图形的附加处理。
举例而言,该参数可以具有以下值。
- Pop-up_process_descriptor=0x00:无附加处理。
- Pop-up_process_descriptor=0x01-0x03:设置最小透明度值。
- Pop-up_process_descriptor=0x04:图形处理器使用LHDR_Processing_definition段中限定的调色板。
- Pop-up_process_descriptor=0x05:对附加处理无限制。
参数Subtitle_process_descriptor规定了在目标显示器类别不同于终端用户显示器类别的情况下字幕图形的附加处理。
举例而言,该参数可以具有以下值。
- Subtitle_process_descriptor=0x00:无附加处理。
- Pop-up_process_descriptor=0x01-0x03:适应性调节亮度值。
- Subtitle_process_descriptor=0x04:图形处理器使用LHDR_Processing_definition段中限定的调色板。
- Subtitle_process_descriptor=0x05:对附加处理无限制。
用于Pop-up_process_descriptor和Subtitle_process_descriptor的句法的特定实例在下表中提供:
在目标显示器=LDR,终端用户显示器=HDR的情况下的图形处理 在目标显示器=HDR,终端用户显示器=LDR的情况下的图形处理
0x00 无附加处理 无附加处理
0x01 设置T_value >= 128 无附加处理
0x02 设置T_value >= 192 无附加处理
0x03 设置T_value >= 222 无附加处理
0x04 使用LHDR调色板 使用LHDR调色板
0x05 无限制 无限制
0x06-0xFF 保留 保留
在目标显示器=LDR,终端用户显示器=HDR的情况下的图形处理 在目标显示器=HDR,终端用户显示器=LDR的情况下的图形处理
0x00 无特殊处理 无特殊处理
0x01 Luma:=Luma/5 Luma:=Luma*5
0x02 Luma:=Luma/3 Luma:=Luma*3
0x03 Luma:=Luma/2 Luma:=Luma*2
0x04 使用LHDR调色板 使用LHDR调色板
0x05 无限制 无限制
0x06-0xFF 保留 保留
图15和图16中图示出取决于显示器特性的有区别的色调映射的特定实例。在这些实例中,原始内容以HDR视频内容和字幕为特征。用于视频的色调映射与图6的实例相同。
这些图形以具有黑色边界的白色字幕字符为特征。原始直方图示出了低亮度范围内的一个峰和高亮度范围内的另一个峰。该直方图对于字幕内容而言非常适合于LDR显示器,因为它将导致显示器上明亮清晰的文本。然而,在HDR显示器上,这些字符会太亮,造成烦扰、光晕和眩光。出于这个原因,将如图16中所描绘的那样适应性调节用于字幕图形的色调映射。
在先前的实例中,图像处理设备103生成与希望的最大视亮度相应,即预期用于在具有给定动态范围/白点照度的显示器上呈现的输出图像。输出信号特别地可以被生成为与用户设置相应,该用户设置指示希望的最大/白点照度,或者可以简单地假设用于显示器107的给定动态范围。
在一些系统中,图像处理设备103可以包括动态范围处理器203,该处理器被布置成根据接收自显示器107的指示显示器107的照度特性的数据适应性调节其处理。
图17中图示出这样的图像处理设备103的一个实例。该图像处理设备103与图1的图像处理设备相应,但是在这个实例中,图像处理设备103还包括显示器接收器1701,该接收器接收来自显示器107的数据信号。该数据信号包括数据字段,该数据字段包括用于显示器107的显示器动态范围指示。显示器动态范围指示包括指示显示器的照度属性的至少一个照度规格。特别地,该照度规格可以包括用于显示器的最大视亮度,即最大/白点照度的规格。特别地,显示器动态范围指示可以限定显示器是HDR还是LDR显示器,并且可以特别地指示以尼特为单位的最大光输出。因此,显示器动态范围指示可以限定显示器是否为500尼特、1000尼特、2000尼特、4000尼特等的显示器。
图像处理设备103的显示器接收器1701耦合到向其馈送显示器动态范围指示的动态范围处理器203。动态范围处理器203相应地可以生成直接与特定显示器相应的输出信号,而不是生成针对假设的或者人工设置的白点照度的输出信号。
动态范围处理器203可以相应地响应于接收的显示器动态范围指示而适应性调节动态范围变换。例如,接收的编码图像可能是LDR图像,并且可以假设该图像已经针对500尼特显示器而被优化。如果显示器动态范围指示指示显示器确实是500尼特显示器,那么图像处理设备103可以直接使用编码图像。然而,如果显示器动态范围指示指示显示器为1000尼特显示器,那么可以施加第一动态变换。如果显示器动态范围指示指示显示器107为2000尼特显示器,那么可以施加不同的变换,等等。类似地,如果接收的图像为2000尼特优化图像,那么图像处理设备103可以在显示器动态范围指示指示显示器为2000尼特显示器的情况下直接使用该图像。然而,如果显示器动态范围指示指示显示器为1000尼特或者500尼特显示器,那么图像处理设备103可以执行适当的动态范围变换以便降低动态范围。
例如,参照图18,可以分别针对1000尼特显示器和4000尼特显示器限定两种不同的变换,并且针对500尼特显示器限定第三一对一映射。在图1中,用于500尼特显示器的映射由曲线1801指示,用于1000尼特显示器的映射由曲线1803指示,用于4000尼特显示器的映射由曲线1805指示。因此,在该实例中,假设接收的编码图像为500尼特图像,并且这自动地被转换成适合于特定显示器的图像。因此,图像处理设备103可以自动地适应性调节和生成用于它所连接的特定显示器的优化图像。特别地,图像处理设备103可以自动地适于该显示器是HDR还是LDR显示器,并且可以进一步适于显示器的特定白色照度。
应当理解的是,当从较高动态范围映射到较低动态范围时,可以使用逆映射。
如果显示器具有与图18的三条曲线之一相应的白色照度,那么可以将相应的映射应用到编码图像。如果显示器具有不同的照度值,那么可以使用这些变换的组合。
因此,动态范围处理器203可以根据显示器动态范围指示选择适当的动态范围变换。作为一个低复杂度的实例,动态范围处理器203可以在根据关联的白点照度如何密切地与显示器动态范围指示所指示的白点照度匹配而使用这些曲线之间进行选择。特别地,可以选择与最接近显示器动态范围指示中指示的希望的白点照度的白点照度关联的映射。因此,如果生成LDR输出图像,那么可以使用曲线1801执行动态范围变换。如果生成相对较低白点照度的HDR图像,那么使用曲线1803的映射。然而,如果生成高白点照度的HDR图像,那么使用曲线1805。
如果要针对用于这两个HDR设置的动态范围变换之间的白色照度(例如针对2000尼特显示器)生成图像,那么可以使用这两个映射1803、1805。特别地,可以执行针对这两个映射的变换图像之间的插值。这样的插值可以是线性的或者非线性的。各变换图像的加权典型地可以取决于它们与希望的输出最大视亮度有多密切。
例如,第一变换图像可以通过将第一映射1803应用到编码图像(LDR图像)而完成,并且第二变换图像可以通过将第二映射应用到编码图像而完成。然后,对第一和第二变换图像进行组合(例如求和)以便生成输出图像。第一和第二变换图像的权重分别通过与这些不同映射关联的白色照度如何密切地与显示器动态范围指示中指示的显示器白色照度匹配而确定。
例如,对于1500尼特显示器,对第一变换图像加权可以比第二变换图像高得多,并且对于3500尼特显示器,对第二变换图像加权可以远高于第一变换图像。
在一些实施例中,动态范围处理器(203)可以被布置成在响应于显示器动态范围指示将输出图像生成为接收的编码图像以及将输出图像生成为接收的编码图像的变换的图像之间进行选择。
特别地,如果显示器动态范围指示所指示的白点照度充分接近针对接收的图像指示或假设的白点照度,那么动态范围变换可以简单地在于不对接收的图像执行任何处理,即输入图像可以简单地用作输出图像。然而,如果显示器动态范围指示所指示的白点照度不同于针对接收的图像指示或假设的白点照度,那么动态范围变换可以依照输入图像像素到输出图像像素的适当映射修改接收的编码图像。在这样的情况下,可以根据终端用户显示器的白点照度的接收的指示适应性调节该映射。在其他实例中,可以使用一种或多种预定的映射。
例如,图像处理设备103可以包括:预定的第一映射,其被确定为针对白点水平的加倍提供适当的输出图像;以及预定的第二映射,其被确定为针对白点水平的减半提供适当的输出图像。在这样的实例中,图像处理设备103可以根据(例如如目标显示器基准所指示的)接收的图像的白点照度和如显示器动态范围指示所指示的终端用户显示器的白点照度在第一映射、第二映射与单位映射之间进行选择。图像处理设备103特别地可以选择与终端用户显示器和输入图像的白点照度之间的比值最密切地相应的映射。
例如,如果接收具有指示其针对1000尼特显示器而被优化的目标显示器基准的输入图像,并且终端用户显示器为2000尼特显示器,那么图像处理设备103将选择第一映射。如果相反地,显示器动态范围指示指示终端用户显示器为1000尼特显示器,那么图像处理设备103将选择单位映射(即直接使用输入图像)。如果动态范围指示指示终端用户显示器为500尼特显示器,那么图像处理设备103将选择第二映射。
如果接收到终端用户显示器的白点照度的中间值,那么图像处理设备103可以选择最接近这些白点照度之间的比值的映射,或者可以例如在这些映射之间插值。
在图2的实例中,图像处理设备103被布置成基于接收自内容提供商装置101的目标显示器基准,但是在没有特定显示器107的任何特定信息或知识的情况下执行动态范围变换(即,它可以简单地生成针对给定动态范围/白点优化的输出图像,但是不明确地知道连接的显示器107是否具有该值)。因此,可以使用假设的或者基准白点照度。在图17的实例中,图像处理设备103可以基于接收自显示器107的显示器动态范围指示,但是在没有所接收的编码图像针对其而被生成的白点照度以及特定动态范围的任何特定信息或知识的情况下执行动态范围变换(即,它可以简单地针对接收的编码图像基于给定动态范围/白点照度生成输出图像,但是不明确地知道图像是否实际地针对这样的范围和照度而生成)。因此,可以使用针对编码图像的假设的或者基准白点照度。然而,应当理解的是,在许多实现方式中,图像处理设备103可以被布置成响应于接收自内容提供商侧和接收自终端用户显示器的信息而执行动态范围变换。图19示出了图像处理设备103的一个实例,该设备包括动态范围处理器203,该处理器被布置成响应于目标显示器基准和显示器动态范围指示二者而执行动态范围变换。也应当理解的是,针对图2和图17的独立方法所提供的评论和描述(加上必要的修改)同样适用于图19的系统。
这些方法可以尤其是在非均一内容分发系统(诸如例如针对未来的电视系统越来越多地感知到的系统)是有利的。事实上,显示器的(峰值)视亮度当前正快速地增加,并且在不远的将来,具有各种各样的(峰值)视亮度的显示器预期共同存在于市场上。由于显示器视亮度(以及典型地规定显示器如何将输入像素(颜色)驱动值转换成于是向观看者提供特定的心理视觉印象的光值的电光传递函数)不再在内容生成侧(并且其此外通常不同于基准监视器,所述内容预期用于该监视器/针对该监视器而被分级)已知,因而在显示器上提供最好/最佳的图片质量变得具有挑战性。
因此,在图1的系统中,显示器107(或者信宿设备)可以向后将关于其视亮度能力(峰值视亮度、灰度(/颜色)再现传递函数或者其HDR范围上的其他灰度再现属性,比如特定电光传递函数等等)的信息发送至图像处理设备103。
在该特定实例中,图像处理设备103是借助于HDMI接口连接到显示器的BDROM播放器,并且因此显示器动态范围指示可以经由HDMI接口从显示器传送至图像处理设备103。因此,显示器动态范围指示特别地可以作为EDID信息的部分而传送,该EDID信息可以通过HDMI从显示器107用信号发送至图像处理设备103。然而,应当理解的是,可以将该方法应用到许多其他的视频/图形生成设备,比如DVB接收器、ATSC接收器、个人计算机、平板计算机、智能电话和游戏控制台等等。也应当理解的是,可以使用许多其他的有线和无线接口,例如显示器端口、USB、以太网和WIFI等等。
然后,图像处理设备103可以根据例如显示器视亮度选择例如内容/信号的不同版本之一。例如,如果来自内容提供商装置101的信号包括LDR和HDR图像二者,那么图像处理设备103可以基于显示器动态范围指示指示显示器是LDR显示器还是HDR显示器而在这些图像之间进行选择。作为另一个实例,图像处理设备103可以对内容的不同视亮度版本进行插值/混合以便导出对于显示器视亮度而言近似最佳的新信号。作为另一个实例,它可以适应性调节从编码图像到输出图像的映射。
应当理解的是,在不同的实现方式中,可以在显示器动态范围指示中提供不同的参数和信息。特别地,应当指出的是,先前提供的对于目标显示器基准的评论和描述可以同样地适用于显示器动态范围指示。因此,从显示器107传送至图像处理设备103的参数和信息可以像针对关于目标显示器的信息从内容提供商装置101到图像处理设备103的传送所描述的参数和信息那样。
特别地,显示器可以传送用于显示器的最大照度/白点照度,并且这可以由动态范围处理器203用来如先前所描述的适应性调节输出信号。
可替换地或者此外,在一些实施例中,显示器动态范围指示可以包括用于显示器107的黑点照度。黑点照度典型地可以指示与相应于最暗像素值的驱动值相应的照度。对于一些显示器而言,用于显示器的固有黑点照度可以相应于实际上没有光输出。然而,对于许多显示器而言,例如LCD元件的最暗设置仍然导致来自显示器的一些光输出,导致感知为更亮和浅灰色而不是深黑色的黑色图像区域。对于这样的显示器而言,黑点照度的信息可以由动态范围处理器203用来执行这样的色调映射,其中例如显示器的黑点照度之下的所有黑色水平都被转换成最深暗的像素值(或者例如使用更逐渐的过渡)。在一些情景中,黑点照度可以包括来自外界光的贡献。例如,黑点照度可以反映从显示器反射的光量。
此外,对于许多显示器而言,显示器动态范围指示可以包括更多的表征显示器的OETF的信息。特别地,如先前所提到的,显示器可以包括白点照度和/或黑点照度。在许多系统中,显示器动态范围指示也可以包括关于在居间的光输出处的显示器的OETF的更多细节。特别地,显示器动态范围指示可以包括用于显示器的OETF的伽玛。
然后,动态范围处理器203可以使用该OETF的信息适应性调节特定动态范围变换以便提供希望的性能,并且特别地,到HDR图像的转换可以不仅反映较亮的光输出是可能的,而且也可以完全考虑应当如何生成驱动值之间的关系以便在增大的视亮度范围内提供希望的光输出。类似地,到LDR图像的转换可以不仅反映不那么亮的光输出是可获得的,而且也可以完全考虑应当如何生成驱动值之间的关系以便在减小的视亮度范围内提供希望的光输出。
显示器动态范围指示因此可以特别地提供这样的信息,该信息告知动态范围处理器203它应当如何将与一个动态范围相应的输入值映射为与另一个且典型地更大的动态范围相应的输出值。动态范围处理器203可以考虑这点并且可以例如补偿显示器107再现中的任何变化或非线性。
应当理解的是,许多不同的动态范围变换是可能的,并且可以使用基于显示器动态范围指示适应性调节这样的动态范围变换的许多不同的方式。事实上,应当理解的是,针对基于来自内容提供商装置101的目标显示器基准的动态范围变换而提供的大多数评论(加上必要的修改)同样适合基于终端用户显示器的照度特性的信息的动态范围变换。
作为一个低复杂度的实例,动态范围变换可以简单地将分段线性函数应用到LDR图像的输入值以便生成改进的HDR值(或者应用到HDR图像的输入值以便生成改进的LDR值)。事实上,在许多情景中,可以使用由如图20中所图示的两种线性关系组成的简单映射。该映射表现出输入像素值与输出像素值之间的直接映射(或者在一些情景中,该映射可以反映输入像素照度与输出像素照度之间的(可能地连续的)映射)。
特别地,该方法提供了一种这样的动态范围变换,该变换维持图像的暗区域以便保持为暗,而同时允许大大增加的动态范围用来提供亮区域的明亮得多的再现,以及真正改进的且看起来更生动的中间范围。然而,确切的变换取决于要在其上再现它的显示器。例如,当在1000尼特显示器上再现用于500尼特显示器的图像时,需要一种相对适度的变换,并且亮区域的拉伸相对有限。然而,如果相同的图像要在5000尼特显示器上显示,则需要一种极端得多的变换以便在不太多地加亮暗区域的情况下完全利用可用的视亮度。图20图示出针对500尼特LDR输入图像(最大值255相应于500尼特)两种不同的映射可以如何分别用于1000尼特显示器(曲线2001,最大值255相应于1000尼特)和5000尼特显示器(曲线2003,最大值255相应于5000尼特)。图像处理设备103可以进一步通过在提供的值之间进行插值而确定用于其他最大照度的适当的值。在一些实现方式中,更多的点可以用来限定仍然分段线性但是具有更多线性区间的曲线。
应当理解的是,当从HDR输入图像映射到LDR输出图像时,可以使用相同的映射。
在一些实施例中,动态范围变换可以包括色域变换或者在于色域变换,该色域变换可以取决于接收的显示器动态范围指示。因此,在一些实施例中,动态范围处理器203可以根据显示器动态范围指示修改再现图像的色度。例如,当接收的HDR图像在LDR显示器上再现时,压缩可能导致在各图像对象中具有更少的变化和分级的更平淡的图像。动态范围变换可以通过增加彩度变化而补偿这样的减少。例如,当具有照亮的苹果的图像针对在HDR显示器上再现而被优化时,在具有降低的动态范围的LDR显示器上再现典型地会使得苹果看起来不那么突出并且看起来不那么清楚且更加无光泽。这可以由动态范围变换通过使得苹果的颜色更加饱和而补偿。作为另一个实例,纹理变化可能由于照度变化降低的原因而在知觉上变得不那么显著,并且这可以通过增加纹理的彩度变化而补偿。
在一些实例或情景中,显示器动态范围指示可以提供用于显示器的一般信息,例如标准制造参数、缺省EOTF等等。在一些实例或情景中,显示器动态范围指示可以进一步反映显示器中执行的特定处理,并且可以特别地反映用户设置。因此,在这样的实例中,显示器动态范围指示不仅仅提供仅仅取决于显示器的固定和不变的信息,而且相反地也提供可以反映显示器的特定操作的时变函数。
例如,显示器可以能够操作于具有不同再现特性的不同图像模式下。例如,在“生动的”显示模式下,显示器可以将图像再现为亮区域比正常情况更亮,在“静音”显示模式下,显示器可以将图像再现为亮区域比正常情况更暗,等等。关于当前模式的信息,例如用于该模式的特定伽玛,可以作为显示器动态范围指示的部分报告给图像处理设备103,从而允许图像处理设备103适应性调节动态范围变换以便反映再现特性。图像处理设备103可以例如通过补偿这点而覆盖显示设置,或者可以优化该变换以维持特定设置。
显示器动态范围指示也可以反映用于显示器的其他处理设置。例如,可以将剪切水平、背光功率设置、颜色方案映射等等传送至图像处理设备103,其中它们可以由动态范围处理器203用来适应性调节动态范围变换。
图21图示出显示器107的元件的一个实例,其中显示器将显示器动态范围指示提供给图像处理设备103。
在该实例中,显示器包括接收器2101,该接收器接收从图像处理设备103输出图像信号。接收的图像信号耦合到驱动器2103,该驱动器进一步耦合到再现图像的显示面板2105。该显示面板可以例如是技术人员所知的LCD或等离子体显示面板。
驱动器2103被布置成驱动显示面板2105,使得它再现编码图像。在一些实施例中,驱动器2103可以执行高级的且可能地自适应的信号处理算法,包括色调映射、颜色分级等等。在其他实施例中,驱动器2103可以相对低复杂度,并且可以例如仅仅执行从输入信号值到用于显示面板2105的像元的驱动值的标准映射。
此外,在该系统中,显示器107包括被布置成将数据信号发送至图像处理设备103的发送器2107。对于HDMI连接而言,如以后将描述的,数据信号可以例如使用E-EDID结构在DDC通道中传送。
发送器2107生成包括用于显示器(107)的显示器动态范围指示的数据信号。因此,特别地,发送器2107指示例如显示器的白点照度和可选地EOTF。例如,可以生成和发送提供若干预定白点照度或EOTF之间的索引的数据值。
在一些低复杂度的实施例中,例如,白点照度可以是存储在发送器2107中的固定值,发送器仅仅传送该标准值。在更复杂的值中,显示器动态范围指示可以被确定为反映动态变化的和/或适应性调节的值。例如,驱动器2103可以被布置成操作于不同的显示模式下,并且显示器动态范围指示可以相应地被适应性调节。作为另一个实例,用于显示器的例如视亮度水平的用户设置可以由发送器2107生成和发送的显示器动态范围指示反映。
如先前所提到的,显示器动态范围指示可以包括外界光度量,并且动态范围处理器可以被布置成响应于外界光度量而适应性调节动态范围变换。外界光度量可以作为显式和单独的数据而提供,或者可以在其他参数中反映。例如,外界光度量可以在黑点照度中反映,该黑点照度可以包括与来自显示器的光反射相应的贡献。
在许多情景中,显示器可以包括置于显示器前面的光检测器。该光检测器可以检测总体外界光水平,或者可以特别地测量从给定方向到达显示器的很可能向后朝观看者反射的光。基于该光检测,显示器因此可以生成外界光指示,该外界光指示总体上反映例如观看环境的外界光水平,或者例如特别地反映从屏幕反射的光的估计。显示器107可以将该值作为单独的值或者例如通过计算反映光反射的量的有效黑色照度水平而报告给图像处理设备103。
动态范围处理器203于是可以相应地适应性调节动态范围变换。例如,当外界光水平为高时,可以更激进地使用HDR显示器的附加亮水平的更多用途以便生成具有高对比度的看起来明亮的图像。例如,可以将平均光输出设置得相对较高,并且可以甚至将中间范围照度推向HDR范围。亮区域可以使用全HDR范围再现,并且甚至暗区域典型地将在相对较高的光水平下再现。然而,HDR图像的增加的动态范围允许这样的相对较亮的图像仍然表现出大的照度变化并且因而仍然具有高对比度。
因此,显示器的HDR能力用来生成图像,其提供甚至例如在明亮日光下观看时被感知为明亮且具有高对比度的图像。这样的图像典型地不适合于暗室,因为其将是压倒性的并且看起来太亮。因此,在暗环境下,动态范围变换将执行保守得多的LDR至HDR变换,其例如对于暗的和中间范围的值维持相同的LDR光输出,并且仅仅对于较亮区域增大视亮度。
该方法可以允许图像处理设备103自动地使LDR至HDR动态范围变换(或者例如HDR至HDR动态范围变换)适于匹配显示器的特定观看环境。此外,这在无需图像处理设备103对该环境进行任何测量或者事实上甚至置于该环境中或附近的情况下是可能的。
外界光指示典型地可以是可选的,并且因而图像处理设备103可以在其可用的情况下使用它,并且在其他情况下仅仅针对特定特性(例如显示器的OETF)执行缺省动态范围变换。
由显示器提供的关于其观看环境(尤其是周围光)的可选的扩展信息因此由图像处理设备103用来执行更复杂的图像/视频优化变换,以便将最佳的图像/视频呈现给显示器,其中该优化可以不仅包括显示器的特性,而且包括观看环境的特性。
因此,当由显示器提供关于观看环境的信息时,可以执行进一步的优化。显示器典型地将周期性地测量周围光并且将关于这点的信息(例如三参数:XYZ形式的视亮度和颜色)发送至图像处理设备103。该信息典型地可以不作为EDID数据的部分或者主要用于信息的一次传送的任何其他数据类型而提供。相反地,它可以例如在诸如例如使用HDMI-CEC的单独的通道中传送。该周期性测量和更新可以例如导致,如果用户例如关断显示器邻近的光,那么图像处理设备103可以例如通过应用不同的颜色/照度映射而自动地适应性调节处理以便提供更适合于较暗观看情形的图像。
可以由终端用户显示器在显示器动态范围指示中报告的相关参数组的一个实例包括:
· 终端用户显示器的绝对最大照度(白点照度)。
· 终端用户显示器的伽玛——工厂设置。
终端用户显示器的绝对最大照度可以例如针对典型显示器设置、工厂缺省设置或者产生最高视亮度的设置而限定。
可以由终端用户显示器在显示器动态范围指示中报告的相关参数组的另一个实例包括:
· 针对视亮度、对比度等的当前设置的终端用户显示器的最大照度。
· 终端用户显示器的伽玛——当前设置。
第一参数组是时间独立的,而第二组随着时间变化,因为它取决于用户设置。一组或者另一组的应用对于系统的行为和用户体验具有影响,并且应当理解的是,用在特定系统中的特定参数组取决于系统的偏好和要求。事实上,可以在这两组之间对参数进行混合,并且例如可以在接通时提供工厂缺省设置,其后周期性地报告依赖于用户设置的参数。
也应当理解的是,特定参数组可以表征用于显示器的EOTF,其或者是工厂缺省EOTF,或者是依赖于特定当前用户设置的EOTF。因此,这些参数可以提供关于显示器的照度输出与驱动值之间的映射的信息,所述映射允许图像处理设备103生成导致希望的输出图像的驱动值。应当理解的是,在其他实现方式中,其他参数可以用来表征显示器的光输出与驱动值之间的映射的部分或者整个映射。
应当理解的是,许多不同的方法可以用于将显示器动态范围指示从显示器传送至图像处理设备103。
例如,对于与用户设置无关并且不随着时间而变化的显示器的参数而言,通信可以针对HDMI连接使用E-EDID结构在DDC通道中有效地传输。
在一种低复杂度的方法中,可以针对终端用户显示器限定一组类别,每个类别限定相关参数的范围。在这样的方法中,只需传输用于终端用户显示器的类别标识码。
将描述以E-EDID格式传送显示器动态范围指示数据的一个特定实例。
在该特定实例中,E-EDID的前128个字节应当包含EDID 1.3结构(基础EDID块)。
对于显示器动态范围指示参数,可以限定E-EDID数据结构中的新显示器描述符块。由于当前设备不了解这样的新显示器描述符块,因而它们将仅仅忽略它,从而提供向后兼容性。该“照度行为”描述符的一种可能的格式在下表中列出。
字节号 字节数 值 描述
0,1 2 00h 指示该18字节描述符是显示器描述符
2 1 00h 保留
3 1 F6h 指示这是照度描述符的显示器描述符标签号
4 1 00h 保留
5 1 Peak_Luminance
6-8 3 传递曲线(可选的;例如,α、β、偏移量)
Peak_Luminance(峰值照度)是具有0与255之间的值的依照下式指示显示器的峰值照度的参数:
显示器峰值照度(cd/m2)=50 x Peak_Luminance,
从而覆盖0至255*50=12750cd/m2或者255*100的范围
该传递曲线可以是伽玛曲线(像在ITU601、ITU709等等中那样),但是允许高得多的伽玛(高达10)。或者,在一些情景中,不同的传递(或者对数)曲线参数可能更合适。例如,代替伽玛函数:
可以使用幂函数:
其中参数α、β和∆可以被设置为提供希望的表征。
附加的信息因此可以由图像处理设备103用来针对确定不同的视频和图形(或者多图像分量)灰度级做出更高级的决策,比如例如诸如基于伽玛的修改之类的全局处理。具有例如关于显示器如何伽玛重映射所有灰度级的更多信息,动态范围处理器203可以针对视频和次要图像的最后外观做出更明智的决策(以及它们可以如何在照度上重叠,也根据例如像子区有多大等等那样的几何属性)。
在先前的实例中,显示器107提供了显示器动态范围指示,该指示告知图像处理设备103显示器将如何显示到来的显示信号。特别地,显示器动态范围指示可以指示由显示器应用的光输出与驱动值之间的映射。因此,在这些实例中,显示器动态范围指示告知图像处理设备103可用的动态范围以及其如何被呈现,并且图像处理设备103自由地将动态范围变换适应性调节为它认为合适的。
然而,在一些系统中,显示器也可能能够对图像处理设备103执行的动态范围变换施加一定控制。特别地,显示器动态范围指示可以包括动态范围变换控制数据,并且动态范围处理器203可以被布置成响应于该动态范围变换控制数据而执行动态范围变换。
控制数据可以例如限定必须施加、可以施加或者推荐施加的动态范围变换的操作或参数。此外,控制数据可以针对要编码的图像的不同特性而进行区分。例如,单独的控制数据可以被提供用于多幅可能的初始图像,例如一组用于500尼特图像,另一组用于1000尼特编码图像等等。
举例而言,显示器可以根据接收的图像的动态范围规定哪种色调映射应当由动态范围处理器203执行。例如,对于2000尼特显示器,控制数据可以规定在从500尼特LDR图像映射时应当使用的一种映射,以及在从1000尼特图像映射时应当使用的另一种映射,等等。
在一些情景中,控制数据可以规定这些映射之间的边界,其中,这些映射被预定义在各个区间(例如标准化的或者在内容提供商侧和在再现器侧均已知的)内。在一些情景中,控制数据可以进一步限定不同映射的元素,或者可以例如使用伽玛值真正精确地规定映射,或者规定特定变换函数。
在一些实施例中,动态范围变换控制数据可以直接且明确地规定应当被执行以便将接收的图像变换为具有与显示器的动态范围相应的动态范围的图像的动态范围变换。例如,控制数据可以针对一定范围的接收的图像白点规定从输入图像值到输出图像值的直接映射。该映射可以作为简单的参数而提供,从而允许由动态范围处理器203实现适当的变换,或者可以提供详细的数据,例如特定查找表或数学函数。
作为一个低复杂度的实例,动态范围变换可以简单地将分段线性函数应用到LDR图像的输入值以便生成改进的HDR值(或者应用到HDR图像的输入值以便生成改进的LDR值)。事实上,在许多情景中,可以使用如图20中所示的由两个线性关系组成的简单映射。
特别地,如先前所描述的,这样的方法可以提供一种这样的动态范围变换,该变换维持图像的暗区域以便保持是暗,而同时允许大大增加的动态范围用来提供亮区域的明亮得多的再现,以及真正改进的且看起来更生动的中间范围。然而,确切的变换取决于接收的图像的动态范围以及终端目标显示器的动态范围。在一些系统中,显示器因此可以规定要由图像处理设备103执行的色调映射简单地传送函数的拐点的(即映射的线性元素之间的交点的)坐标。
这种简单关系的一个优点是,可以以非常低的开销传送希望的色调映射。事实上,简单的双分量数据值可以规定由图像处理设备103针对不同显示器执行的希望的色调映射。可以针对不同的输入图像传送“拐”点的不同坐标,并且图像处理设备103可以通过在提供的值之间进行插值而确定用于其他输入图像的适当的值。
应当理解的是,关于从内容提供商装置101提供动态范围变换控制数据所提供的大多数评论同样很好地(加上必要的修改)适用于接收自显示器107的动态范围变换控制数据。
因此,在一些情景中,显示器107可以控制由图像处理设备103执行的动态范围变换。这种方法的一个优点是,它可以例如通过控制显示器并且在没有向图像处理设备103提供用户输入或设置的任何要求的情况下而允许用户控制希望的再现图像。这在其中多个图像处理设备与相同显示器一起使用的情景中可能特别有利,并且特别地,它可以帮助在来自不同图像处理设备的图像之间提供同质性。
在许多实现方式中,来自显示器107的控制数据可以不规定应当执行的特定色调映射,而是提供限定边界的数据,在这些边界内,可以由图像处理设备103自由地适应性调节动态范围变换/色调映射。
例如,控制数据可以限定用于过渡点的极限(可能地针对不同的最大视亮度水平提供不同的极限),而不是规定用于图20的曲线的特定过渡点。因此,图像处理设备103可以单独地确定用于动态范围变换的希望的参数,使得其可以被设置为考虑例如特定用户偏好而提供用于特定显示器的优选过渡。然而,同时,显示器可以将这种自由限制为可接受的水平。
因此,动态范围变换控制数据可以包括限定必须由动态范围处理器203执行的动态范围变换所应用的变换参数和/或限定用于这些变换参数的极限的数据。控制数据可以针对一定范围的输入图像动态范围提供这样的信息,从而允许动态范围变换适于不同的接收的图像。此外,对于具有未显式地包含在控制数据中的动态范围的输入图像,适当的数据值可以例如通过插值从可用的数据值生成。例如,如果指明了用于500尼特和2000尼特输入图像的两个直线段之间的拐点,那么用于1000尼特输入图像的适当的值可以通过简单的插值(例如在该特定实例中通过简单的平均)而找到。
应当理解的是,根据单独的应用的特定偏好和要求,在不同的系统中可以使用用于动态范围变换以及用于如何从显示器侧通过附加的控制数据限制、适应性调节和控制这点的许多不同的和变化的方法。
在一些情景中,控制数据可以只提供可以例如在中间范围区域中应用的适当映射的建议。在这样的情况下,显示器制造商可以因此帮助图像处理设备103提供(例如通过显示器制造商的人工优化)找到的建议的动态范围变换参数以便在特定显示器上观看时提供高图像质量。图像处理设备103可以有利地使用这点,但是自由地修改映射例如以便适应各用户偏好。
在许多情景中,至少部分地基于控制数据而执行的映射表示相对较低复杂度的函数关系,例如伽玛映射、S曲线、通过对于各范围的部分规定而限定的组合映射等等。然而,在一些情景中,当然可以使用更复杂的映射。
如所提到的,控制数据可以提供强制的或者自愿的控制数据。事实上,接收的数据可以包括指示提供的色调映射参数是强制的、允许的还是建议的一个或多个字段。
在一些系统中,显示器可能能够依照不同的动态范围操作。例如,具有比如5000尼特的白点照度的非常亮的HDR显示器也可能能够在具有4000尼特的白点照度的显示模式下操作,具有3000尼特的另一个显示器,具有2000尼特的一个显示器,具有1000尼特的另一显示器,且最终可以在具有仅仅500尼特的白色照度的LDR模式下操作。
在这样的情景中,来自显示器的数据信号可以指示多个照度动态范围。因此,这些不同照度动态范围中的每一个可以与用于显示器的动态范围模式相应。在这样的布置中,动态范围处理器203可以选择照度动态范围之一并且继续以便响应于选择的显示器动态范围执行动态范围变换。例如,动态范围处理器203可以选择2000尼特的动态范围,并且然后继续以执行动态范围变换以便针对该白点照度优化生成的图像。
用于显示器的适当照度动态范围的选择可以取决于不同的方面。在一些系统中,图像处理设备103可以被布置成基于图像类型选择适当的显示器动态范围。例如,每个范围可以与给定图像类型关联,并且图像处理设备103可以选择与接收的图像最密切地相应的图像类型,并且然后继续以使用与该图像类型关联的动态范围。
例如,可以限定与不同内容类型相应的若干图像类型。例如,一种图像类型可以与卡通关联,另一种与足球赛关联,另一种与新闻节目关联,另一种与电影关联,等等。图像处理设备103然后可以(例如基于显式的元数据或者基于内容分析)确定用于接收的图像的适当类型,并且继续以应用相应的动态范围。这可以例如导致非常生动地且以高对比度和高视亮度地呈现卡通,同时允许不会不自然地再现例如暗电影。
系统因此可以适于再现的特定信号。例如,可以不同地显示制作粗糙的消费类视频、灯火通明的足球赛、光线良好的新闻节目(例如对比度降低的场景)等等,并且特别地,再现图像的动态范围可以适于特别适合特定图像的范围。
先前提到的是,显示器可以向图像处理设备103提供控制数据。然而,可替换地或者此外,在一些系统中,可以是图像处理设备103向显示器107提供控制数据。
因此,如图22中所图示的,图像处理设备103可以包括控制器2201,该控制器能够向显示器107输出显示器控制数据信号。
显示器控制信号特别地可以指示显示器操作在由图像处理设备103针对特定图像选择的特定动态范围模式下。因此,结果,光线不足的业余图像将用低动态范围进行再现,从而避免引入由于变换到原始图像中实际不存在的高动态范围而引起的不可接受的错误。同时,系统可以自动地适应性调节使得高质量图像可以有效地被变换成高动态范围图像且如此一样被呈现。作为一个特定的实例,对于业余视频序列而言,图像处理设备103和显示器可以自动地适应性调节以便以1000尼特动态范围呈现该视频。然而,对于专业捕获的高质量图像而言,图像处理设备103和显示器107可以自动地适应性调节以便使用显示器107胜任的整个5000尼特动态范围呈现该视频。
显示器控制信号因此可以被生成为包括诸如“使用1000尼特动态范围”、“使用LDR范围”、“使用最大动态范围”等等之类的命令。
显示器控制数据可以用来在(从图像处理设备103到显示器的)向前方向上提供若干命令。例如,控制数据可以包括用于显示器的图像处理指令,并且特别地可以包括用于显示器的色调映射指示。
例如,控制数据可以规定应当由显示器107应用的视亮度设置、剪切设置或者对比度设置。图像处理指令因此可以限定应当由显示器107对接收的显示信号执行的强制的、自愿的或者建议的操作。该控制数据因此可以允许图像处理设备103控制由显示器107执行的一些处理。
控制数据可以例如规定应当应用或者不应当应用的特定滤波。作为另一个实例,控制数据可以规定应当如何执行背光操作。例如,显示器可能能够在使用背光源的激进的局部调光的低功率模式下操作,或者可能能够在其中局部调光仅在它可以改进暗区域的再现时使用的高功率模式下操作。控制数据可以用来在这些操作模式之间切换显示器。
在一些实例中,控制数据可以规定应当由显示器执行的特定色调映射,或者可以事实上规定应当关断色调映射功能(从而允许图像处理设备103完全控制全部的色调映射)。
应当理解的是,在一些实施例中,系统可以在两个方向上,即在从图像处理设备103到显示器107的前向方向上和在从显示器107到图像处理设备103的后向方向上使用控制数据。在这样的情况下,可能有必要引入解决潜在冲突的规则和操作条件。例如,可以布置成图像处理设备103为主设备,其在冲突的情况下控制显示器107和支配显示器107。作为另一个实例,控制数据可以在所述两个方向上限于特定参数,使得不发生冲突。
作为另一个实例,主从关系可以是用户可设置的。例如,图像处理设备103和显示器107可以均被布置成提供用于另一个实体的控制数据,并且可以特别地都能够作为主设备而操作。在这样的系统中,用户可以指定这些设备之一为主设备,另一个就变成从设备。用户可以特别地基于他从图像处理设备103还是从显示器107控制系统的偏好对此进行选择。
上面描述的系统因此可以允许内容提供商与图像处理设备之间的通信和/或图像处理设备与显示器之间的通信。这些方法可以应用于以内容提供商与图像处理设备之间和/或图像处理设备与显示器之间的通信通道为特征的许多系统中。实例包括BDROM、ATSC和DVB或者互联网等等。
系统可以利用图像处理设备与显示器之间的通信通道,例如HDMI或显示器端口通信接口。该通信可以在两个方向上。例如,如果智能显示器正在做所有的最佳视频和图形映射,那么图像处理设备可以例如读取控制参数,并且以类似的HDMI结构对它们重新格式化并传输它们。
该方法特别地可以应用于BDROM系统中。这样,该方法可以扩增BDROM规范以便允许目标显示器参数和控制命令的传输。与终端用户显示器参数结合使用这样的数据可以允许BDROM播放器例如:
· 在播放器中根据目标显示器和终端用户显示器的特性执行附加的视频和/或图形色调映射或者其他处理。
· 执行通过内容提供商提供的数据流中的命令操纵的附加视频和/或图形色调映射或者其他处理。
在一些实施例中,图像处理设备103也可以包括发送器,其用于将动态范围控制数据发送至内容提供商装置101。因此,图像处理设备103可能能够控制或者至少影响在内容提供商装置101处执行的处理或操作。
作为一个特定的实例,控制数据可以包括用于图像的优选动态范围的指示,并且可以特别地包括用于终端用户显示器的动态范围(例如白点照度以及可选地EOTF或伽玛函数)的指示。
在一些实施例中,内容提供商装置101可以被布置成在执行色调映射时考虑优选动态范围的指示。然而,在其他实施例中,内容提供商装置101可以提供例如涉及色调映射专家的人工色调映射的若干预定色调映射。例如,可以针对500尼特显示器、针对1000尼特显示器以及针对2000尼特显示器生成色调映射的图像。
在这样的情景中,内容提供商装置101可以被布置成基于接收的控制数据选择将哪幅图像传输至图像处理设备103。特别地,可以选择最接近控制数据所指示的动态范围的图像,并且将其传输至图像处理设备103。
这样的方法可以特别适合于流送应用,其中可以动态地更新流送的信号以便尽可能地匹配终端用户显示器的动态范围。
该方法可以降低必须在图像处理设备103中施加的动态范围变换的程度,并且特别地对于其中内容提供商装置101可以提供色调映射到与终端用户显示器相同的动态范围的图像的情景而言,可以允许动态范围变换为简单的空操作(即,它可以允许接收的图像直接由图像处理设备103使用)。
存在其中当前实施例可以是有用的各种各样的应用情景。例如,具有像素图像内容的特定白点或者预期白色或者类似的值的编码(例如局部对象纹理的DCT编码)允许针对各种不同的可能的输出信号更加智能地分配所需代码水平与预期输出照度。可以例如将暗室的纹理编码成就像它被良好地照射一样(即高达255的像素亮度,而不是具有暗场景图像中的例如40的最大亮度),但是规定必须以特定的方式,即它必须被再现为暗,来处理“白色”,即255。这样做的一种简单的方式是针对该255亮度代码联合编码例如要在显示器上再现的输出照度。可以做同样的事情以便编码诸如例如在其中具有强光的有雾场景中的显著地非常亮的值。
关于伽玛,这可以例如用来指示材料是否被编码,这例如是基于渐变的赛璐珞负面材料或者利用具有强饱和设置的数字照相机。或者,典型地针对其上将发生再现的最终显示器的一个伽玛意图与另一个背离的任何其他原因。EOTF典型地可以例如编码相当粗略的灰度值行为,例如补偿例如具有不同伽玛的显示器或者可作为不同伽玛补偿的不同观看环境。因此,可以传达诸如“针对伽玛=X的基准显示器编码/预期用于该显示器,例如在该显示器上优化的信号”之类的信息,使得具有其他特性的另一个显示器知道如何处理它以获得朝着艺术意图的更优的再现。色调映射可以是更一般的,因为它们也可以传达例如将什么样的典型的再现意图应用到图像(例如艺术家使得云暗得更险恶,这应当利用任何最终的显示再现数学运算,来仍然在输出的显示的图像中至少近似地表现出)。
我们借助于图23阐述一个另外的实例,即在LDR图像中(近似地)编码任何HDR场景(“HDR_encoded_as_LDR”)的原理,其可以例如是10比特图像标准,但是我们将解释在经典8比特图像中编码的有趣变型,该图像即是与例如MPEG2或AVC标准兼容并且也可以由经典再现技术直接使用的图像。尽管可能希望许多比特用于HDR信号,例如12、16或22比特,但是8比特用于亮度通道对于再现的任何峰值白色而言已经传达了许多信息(尤其是对于逼近复杂的纹理,许多可能的颜色)。再者,许多HDR信号可以允许显著的近似程度,因为例如太阳无需确切地以其真正具有的视亮度编码,因为无论如何在显示器上再现时它都会被近似。对于照度的LDR范围,甚至更少的比特量通常就相当足够了,因为例如6比特就给出了图像的合理近似/质量(这从打印获悉)。
在该实例中,我们因此通过在至少像素的亮度上应用典型地简单的适当的映射,即数学变换而确切地在8比特亮度结构内编码HDR图像。准则是,一方面(通过对变换联合编码),可以通过逆转联合编码的映射(无需任何或者显著的后校正)而从LDR 8比特编码图像重建HDR图像(即例如预期用于0.1-5000尼特显示器再现的8比特或12比特插值近似),即,该HDR图像将看起来在心理视觉上(几乎)是不能区分的,或者至少它 仍然是良好的HDR图像(即典型地表现出HDR场景外观,逼近它直接从原始的例如12比特HDR图像IM_HDR生成的情况下该HDR将被再现的样子,其中,其HDR范围HDR_Rng是要再现的照度)。但是另一方面,我们想要LDR图像,即,如果将8比特信号直接应用到例如0.1-400尼特的LDR显示器,这仍然允许良好的视觉再现。例如,可以例如通过丢弃最低有效比特并且假设白色(最大代码值255)预期在400尼特下再现而仅仅线性地将HDR图像IM_HDR压缩为LDR范围LDR_Rng。然而,由于这样的HDR图像典型地包含在其亮度范围的上部的非常亮的对象,因而这样的8比特图像将在LDR显示器上看起来太暗,因为图像/场景的相关较暗部分现在结束于非常低的亮度代码,即显示器输出照度。然而,大量改进可能已经通过在将HDR/12比特/5000尼特图像编码为LDR/8比特/400尼特经典(例如AVC)表示之前应用最佳的伽玛而实现。即,该伽玛将亮对象映射为更亮的部分(例如使得它们反差和粉彩(pastellish)更少,但是在LDR显示器上仍然可接受,仍然具有再次进行到HDR的合理逆转映射的足够信息),这最佳地通过同时不太多地挤压较暗部分(例如深色树)而协调,使得这些暗对象在LDR显示器上仍然看起来相当亮(并且也可以重新创建良好的HDR暗部分以用于暗观看周围环境的观看;或者足够的纹理数据可用于在HDR显示器上对这些更亮地编码)。
通常,这样的映射可以是亮度上的一般全局变换(即这样的映射,该映射未考虑几何局部特定细节,例如像素驻留于图像中何处,或者其相邻像素的亮度是什么,或者它属于什么种类的场景对象,而是仅仅将像素的亮度值作为输入)。可以对一定程度上更加复杂的映射联合编码,例如仅仅用于图像中的划界的子区或对象的变换(局部映射,在这种情况下,典型地联合编码另外的信息,例如限定对象的边界)。但是,通常,尽管可以设想对我们公开的实施例有效的任何变换,但是如果其只是降低典型地人类分级者限定这些最佳映射的工作量,那么它们将典型地很少且是简单的(如果诸如S曲线或多点样条之类的一般全局函数就足够了,那么不编码局部映射)。
我们利用内容创建者侧图像编码装置510阐述了该实例,其中,人类优化编码到存储器(例如蓝光光盘511或者临时存储器,用于要存储或传输的信号的最终编码)的典型地为8比特LDR图像Im_1的输出图像(典型地用变换/映射函数或算法策略涵盖,如例如AVC或HEVC中所规定的某种图像信号结构S中的元数据MET)。该分级者可以在将其指令发送至图像编码单元550(该单元进行到8bit亮度的映射)和格式化器554之前在一个或多个显示器530上检查图像,例如检查LDR和可恢复HDR图像在各基准LDR和HDR显示器上是否看起来没问题,所述格式化器依照当前使用的图像编码标准对图像及其颜色代码定型,并且将纹理图像和变换的元数据联合编码到输出512。
在顶部,我们看到具有其HDR范围的HDR图像IM_HDR(其经由图像编码装置510的输入511输入)如何被映射为具有其LDR范围的再现照度的LDR图像(如果在LDR显示器上的话)。
尽管我们利用内容创建侧的用于传输至诸如消费者家庭之类的内容使用侧的编码阐述了“HDR_encoded_as_LDR(将HDR编码为 LDR)”,但是在诸如例如家庭网络中的两个家庭装置之类的不同装置之间传输(例如通过代码转换)时,显然也可以使用相同的“HDR_encoded_as_LDR”实施例。于是,例如自动图像分析和映射单元可以应用自动图像分析和相应的亮度映射方法。这在具有诸如例如12比特HDR图像之类的第一图像表示并且将其通过HDMI或其他网络连接发送至电视时可以例如通过内容接收或存储装置完成。或者,8比特LDR图像可以依照或者针对无线标准进行编码,以用于流送至具有HDR能力,然而无论如何视觉质量更小的移动显示器。
典型地,至少对于新HDR标准而言,如果这样的在经典LDR(例如,MPEG)方案中的8比特编码(例如,8比特亮度以及用于色度的正常2×8比特编码)被执行,那么该标准将用元数据注释该LDR图像实际上不是主要预期用于LDR显示器的LDR图像(尽管如所述的,它可能已经被构造,使得它在例如100尼特峰值视亮度或峰值白色的LDR显示器上仍然看起来合理),而是HDR图像。它可以用普通HDR代码这样做,所述普通HDR代码被例如假定为对于具有3500尼特左右的峰值视亮度的HDR显示器给出合理的再现。元数据中的联合编码的第一目标显示器基准的一定程度上更特殊的地方也可能在于,该HDR信号原始在例如5000尼特显示器上进行分级。这将意味着,图像对象的实际亮度(也在被映射到LDR亮度时)将具有取决于典型地在5000尼特显示器上再现什么东西的值(例如,保留一定子范围的高视亮度,将在场景中的正常视亮度场景对象,典型地主要对象推向已经在例如16比特HDR粗分级中的更深的亮度值)。在这种情况下,实际的3500尼特或2500尼特显示器可以进一步优化颜色变换功能以便根据质量准则(例如,输出照度相似度,或者在HDR效果上的心理视觉外观质量度量,等等)最佳地色域映射到实际的显示器色域,而不是在假定该HDR信号仍然给出合理图片(峰值视亮度在预期值5000尼特左右的范围内)的情况下仅仅使用该HDR信号用于驱动该显示器。人们甚至可以为最终的HDR_encoded_as_LDR图像联合编码第二峰值视亮度值(例如,在250尼特显示器上看起来最合理,在更高和或更低的峰值视亮度上开始表现出轻微的伪像,甚至潜在地进一步优选地以功能性的方式(例如,几何位置,等)规定这样的伪像,使得再现器可以尝试针对这些伪像进行校正)。
对于HDR显示器,我们指的是峰值视亮度大于750尼特的显示器,具有更低峰值视亮度,尤其是低于500尼特的显示器是LDR显示器。
用于判断是否LDR再现以及根据LDR图像的恢复的HDR信号的HDR再现(典型地仅仅通过逆转联合编码的映射而导出,但是可以进行一些另外的处理,比如接收侧装置可以应用量化边界减轻图像处理等等)的预定质量标准将是一种数学算法,或者在编码最终的图像编码以用于分发时判断它足够好的人类操作者。但是,人类应用的和软件编码的质量估计器将应用这样的图像分析准则,例如:各个不同的区块中,尤其是图像中心的区块中是否存在足够的(局部)对比度(即仍然保留了原始的例如主赛璐珞负面扫描12或14比特HDR图像的足够的可见度),是否存在许多像量化边界那样的伪像以及步阶多大或多宽,是否存在照度直方图的足够的空间子模式(是否保留了原始电影外观/意图),特别地,空间分开的对象是否具有足够的区内对比度,等等。并且特别地,如果原件存在于比如例如连接的装置的联网系统中,那么发送装置(例如机顶盒)判断可恢复HDR信号是否足够接近该位置处存在的原始例如12比特HDR信号(其可以基于像MSE或PSNR那样的数学准则或者心理视觉加权差值等等进行)。例如,在自动亮度变换以及对应的自动颜色调整(其可以例如是伽玛函数或类似的幂函数,或者对比如典型的例如场景中的中值视亮度这样的因素进行调谐的S曲线,或者比如检测小的明亮区域并将其自己的子范围以及对应的映射函数给予它们之类的另外的图像分析,等等)之后,颜色分级者(例如在首先对16比特原始HDR进行了主分级之后)于是进一步对HDR_encoded_as_LDR图像进行颜色分级。一方面,这因此被完成以便给出良好可用的LDR分级,但是另一方面,也给出可恢复的HDR,因此他可以将包含区域的重要信息分配给LDR范围的子区域,所述子区域具有足够的代码值,但是仍然将它们转换成示出LDR上的良好再现的“平均”亮度范围(例如,不太暗,使得较暗区域仍然良好可视,但暗得仍然足以表达情绪)。典型地,他可以通过从自动的亮度/颜色映射函数微调亮度/颜色映射函数来这样做。至少亮度应该被正确地安置,然后可以从此开始对颜色进行优化。例如,如果某背景区域在LDR再现中表现得微暗,他仍然可以在与那些像素对应的部分中调谐全局映射函数,只要它在LDR再现的其他部分中没有变得更糟,并且当然,经由逆映射,可恢复HDR图像不会遭遇亚临界的质量。原理上,他甚至可以选择对空间上的局部图像区域进行分级(如果除了第一图像之外,是第一次,或者第二次,则对该区域编码),使得它对应于相比于图像的其余部分而言的另一显示峰值视亮度,或者伽玛等,使得在再现之前,再现器将不得不对此进行考虑。这可能例如对于强调暗区域是有用的,但是一般而言,人们会保持简单地被固定成一种HDR预期显示编码的事情。因此,此外,于是从HDR到LDR的全局映射函数(或者其从LDR到HDR的逆映射)以及如果可应用的进一步的变换数据被联合编码。旧式系统不了解所有这些并且原理上,即使第一目标显示器基准和其他信息从图像编码信号丢弃,也可以使用经典编码的LDR图像,但是一般而言,人们会将此写在数据的例如为升级而保留且被更旧的系统忽视但由更加新的系统使用的部分中。HDR图像解码盒可以不论以何种方式对此数据进行查看,即使它可能连接到老式LDR显示器。它于是可以通过颜色变换,给定所有局部因素,以及所有该附加元数据信息(是否仅仅使用预期的显示器类型以及是否“盲目”地基于分级者使用的当前再现环境与预期再现环境之间的相似度,或者还通过使用在LDR编码与原始HDR编码之间的映射函数中的信息中的一些或全部,来变换LDR输入信号,所述信息指出与这两个之间的差异相关的一些事项,即,原始场景和/或分级的HDR信号的HDR本质和组成)来在一定程度上改进LDR信号,而并非仅仅将LDR信号应用于显示器以便驱动再现。
这样的信号具有以下优点:任何HDR胜任系统知道实际上将HDR图像编码为LDR图像,并且可以在再现之前最佳地恢复该HDR图像,然而,向后兼容的旧式LDR系统也可以直接将LDR图像用于再现。
技术人员应该清楚的是,哪些组合可以从我们的教导得出,比如例如,比如在若干LDR编码中针对若干HDR显示器编码若干HDR分级,重新分级,针对不同情形的可替换物,比如也可以看作显示再现类型的观看环境的变化。在我们提出特定参数,比如8比特旧式编码的地方,当然应该理解的是,可以用比如10比特LDR编码技术做同样的事情,并且我们不想排除保护任何变体、组合或简单可替换实现。因此,我们的教导当然可以被组合,并且被考虑这样描述而没有乏味地清楚地规定每个和每种可容易共读的变体,除非从我们的描述特别清楚可见这不是可能的或预期的。当然,编码可以用在各种不同的情景中,不论专业或例如移动消费者,若干应用,比如例如安全系统、新闻聚集,等等。它可以被大量地自动地用在任何技术系统内,比如在IC或多芯片、或联网技术系统等内。本发明的部分的一些可以形成单独的商业应用,比如例如任何分级都可以被执行为在现有图像编码上的重新分级,而不论已经按照这种方式进行了分级,但是现在改进了,或者缺乏一些种类的分级,比如对于新颖的流行显示器或显示的方式而言。
应当理解的是,为了清楚起见,上面的描述参照不同的功能电路、单元和处理器描述了本发明的实施例。然而,应当显而易见的是,可以使用不同功能电路、单元或处理器之间的任何适当的功能分布而不减损本发明。例如,被示出由单独的处理器或控制器执行的功能可以由相同的处理器或控制器执行。因此,对于特定功能单元或电路的引用应当仅仅视作对于用于提供所描述的功能的适当构件的引用,而不是指示严格的逻辑或物理结构或组织。
所有的方法实施例和教导都与相应的装置以及潜在地另外的诸如输出信号、实施例之类的产品相应,并且反之亦然。本发明可以以任何适当的形式实现,包括硬件、软件、固件或者这些的任意组合。可选地,本发明可以至少部分地实现为运行在一个或多个数据处理器和/或数字信号处理器上的计算机软件。本发明的实施例的元件和部件可以在物理上、功能上和逻辑上以任何适当的方式实现。事实上,所述功能可以在单个单元中、在多个单元中或者作为其他功能单元的部分而实现。同样地,本发明可以在单个单元中实现,或者可以在物理上和功能上分布在不同单元、电路和处理器之间。
尽管已经结合一些实施例描述了本发明,但是本发明并不预期限于本文阐述的特定形式。相反地,本发明的范围仅由所附权利要求书限制。此外,虽然特征可能看起来结合特定实施例而被描述,但是本领域技术人员应当认识到,依照本发明可以组合所描述的实施例的各种不同的特征。在权利要求书中,措词包括并没有排除其他元件或步骤的存在。
此外,尽管单独地被列出,但是多个构件、元件、电路或方法步骤可以由例如单个电路、单元或处理器实现。此外,尽管单独的特征可以包含于不同的权利要求中,但是这些特征可能地可以有利地加以组合,并且包含于不同的权利要求中并不意味着特征的组合不可行和/或不是有利的。此外,特征包含于一种权利要求类别中并不意味着限于该类别,而是表示如果适当的话,该特征同样可适用于其他权利要求类别。此外,权利要求中特征的顺序并不意味着特征必须据以起作用的任何特定顺序,并且特别地,方法权利要求中各步骤的顺序并不意味着这些步骤必须按照该顺序来执行。相反地,这些步骤可以以任何适当的顺序执行。此外,单数引用并没有排除复数。因此,对于“一”、“一个”、“第一”、“第二”等等的引用并没有排除复数。权利要求中的附图标记仅仅作为澄清的实例而被提供,不应当以任何方式被解释为限制了权利要求的范围。

Claims (4)

1.一种用于存储图像信号的存储介质,包括:
第一部分,其用于存储第一编码图像,第一编码图像包括应该用至少1000尼特的照度再现的像素,
第二部分,其用于存储在图像信号中联合编码的编码图像的第一目标显示器基准,第一目标显示器基准指示第一编码图像针对其而被编码的第一目标显示器的动态范围,以及目标显示器基准包括目标显示器的白点照度,该白点照度具有至少1000尼特的值。
2.如权利要求1所述的存储介质,其中第一目标显示器基准包括用于第一目标显示器的电光传递函数指示。
3.如权利要求1或2所述的存储介质,其中第一目标显示器基准包括色调映射指示,该色调映射指示表示用于生成第一目标显示器的第一编码图像的色调映射。
4.如权利要求1所述的存储介质,其中图像信号还包括包含动态范围变换控制数据的数据字段。
CN201610937427.3A 2011-09-27 2012-09-20 用于图像的动态范围变换的装置和方法 Pending CN107103588A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
EP11182922.2 2011-09-27
EP11182922 2011-09-27
US201261588731P 2012-01-20 2012-01-20
US61/588731 2012-01-20
EP12160557.0 2012-03-21
EP12160557 2012-03-21
CN201280047190.1A CN103843058B (zh) 2011-09-27 2012-09-20 用于图像的动态范围变换的装置和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201280047190.1A Division CN103843058B (zh) 2011-09-27 2012-09-20 用于图像的动态范围变换的装置和方法

Publications (1)

Publication Number Publication Date
CN107103588A true CN107103588A (zh) 2017-08-29

Family

ID=47994354

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201280047160.0A Active CN103827956B (zh) 2011-09-27 2012-09-20 用于图像的动态范围变换的装置和方法
CN201280047190.1A Active CN103843058B (zh) 2011-09-27 2012-09-20 用于图像的动态范围变换的装置和方法
CN201610937427.3A Pending CN107103588A (zh) 2011-09-27 2012-09-20 用于图像的动态范围变换的装置和方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201280047160.0A Active CN103827956B (zh) 2011-09-27 2012-09-20 用于图像的动态范围变换的装置和方法
CN201280047190.1A Active CN103843058B (zh) 2011-09-27 2012-09-20 用于图像的动态范围变换的装置和方法

Country Status (16)

Country Link
US (6) US10916000B2 (zh)
EP (2) EP2745290A1 (zh)
JP (4) JP6407717B2 (zh)
KR (1) KR101972748B1 (zh)
CN (3) CN103827956B (zh)
AU (4) AU2012313936B2 (zh)
BR (2) BR112014006977B1 (zh)
CA (2) CA2850037C (zh)
IN (1) IN2014CN01863A (zh)
MX (2) MX2014003554A (zh)
PE (1) PE20141864A1 (zh)
PH (1) PH12017502053A1 (zh)
RU (3) RU2643485C2 (zh)
UA (1) UA116082C2 (zh)
WO (2) WO2013046095A1 (zh)
ZA (2) ZA201403081B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108681991A (zh) * 2018-04-04 2018-10-19 上海交通大学 基于生成对抗网络的高动态范围反色调映射方法及系统
CN110062160A (zh) * 2019-04-09 2019-07-26 Oppo广东移动通信有限公司 图像处理方法和装置

Families Citing this family (315)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2638264B2 (ja) * 1990-07-30 1997-08-06 ヤマハ株式会社 電子楽器用コントローラ
US8988552B2 (en) 2011-09-26 2015-03-24 Dolby Laboratories Licensing Corporation Image formats and related methods and apparatuses
EP4155898A1 (en) 2011-12-06 2023-03-29 Dolby Laboratories Licensing Corporation Method of improving the perceptual luminance nonlinearity-based image data exchange across different display capabilities
US10242650B2 (en) 2011-12-06 2019-03-26 Dolby Laboratories Licensing Corporation Perceptual luminance nonlinearity-based image data exchange across different display capabilities
TWI586150B (zh) * 2012-06-29 2017-06-01 新力股份有限公司 影像處理裝置及非暫態電腦可讀儲存媒體
KR102037716B1 (ko) * 2012-11-23 2019-10-30 삼성디스플레이 주식회사 디스플레이 장치의 감마 데이터 저장 방법, 디스플레이 장치 및 디스플레이 장치의 구동 방법
US9332215B1 (en) * 2013-01-23 2016-05-03 Rockwell Collins, Inc. System and method for displaying to airborne personnel mission critical high dynamic range video on a low resolution display
JP6420540B2 (ja) * 2013-02-04 2018-11-07 キヤノン株式会社 画像処理装置及びその制御方法、プログラム、記憶媒体
IN2015KN02510A (zh) 2013-02-21 2015-09-11 Dolby Lab Licensing Corp
US10055866B2 (en) * 2013-02-21 2018-08-21 Dolby Laboratories Licensing Corporation Systems and methods for appearance mapping for compositing overlay graphics
EP2959676B1 (en) 2013-02-21 2020-09-23 Dolby Laboratories Licensing Corporation Systems and methods for appearance mapping for compositing overlay graphics
WO2014128586A1 (en) 2013-02-21 2014-08-28 Koninklijke Philips N.V. Improved hdr image encoding and decoding methods and devices
EP3926963A3 (en) * 2013-04-30 2022-01-26 Saturn Licensing LLC Transmitting device, transmitting method, receiving device, and receiving method
WO2014204865A1 (en) 2013-06-17 2014-12-24 Dolby Laboratories Licensing Corporation Adaptive reshaping for layered coding of enhanced dynamic range signals
CA2914978C (en) * 2013-06-20 2022-05-03 Sony Corporation Reproduction device, reproduction method, and recording medium
JP2015005878A (ja) * 2013-06-20 2015-01-08 ソニー株式会社 再生装置、再生方法、および記録媒体
TWI684364B (zh) * 2013-06-21 2020-02-01 日商新力股份有限公司 送訊裝置、高動態範圍影像資料送訊方法、收訊裝置、高動態範圍影像資料收訊方法及程式
CN105324988B (zh) 2013-06-24 2019-12-06 索尼公司 再现装置、再现方法以及记录介质
JP2015008360A (ja) 2013-06-24 2015-01-15 ソニー株式会社 再生装置、再生方法、および記録媒体
JP2015008361A (ja) * 2013-06-24 2015-01-15 ソニー株式会社 再生装置、再生方法、および記録媒体
US10171787B2 (en) * 2013-07-12 2019-01-01 Sony Corporation Reproduction device, reproduction method, and recording medium for displaying graphics having appropriate brightness
EP3024222A4 (en) * 2013-07-14 2017-01-18 LG Electronics Inc. Method and apparatus for transmitting and receiving ultra high-definition broadcasting signal for expressing high-quality color in digital broadcasting system
JP6368365B2 (ja) * 2013-07-18 2018-08-01 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. Hdrイメージの符号化のためのコードマッピング関数を作成するための方法及び装置、並びに、かかる符号化イメージの使用のための方法及び装置
RU2654049C2 (ru) 2013-07-19 2018-05-16 Конинклейке Филипс Н.В. Транспортировка hdr метаданных
JP6241683B2 (ja) * 2013-08-20 2017-12-06 ソニー株式会社 再生装置、再生方法、および記録媒体
US9264683B2 (en) 2013-09-03 2016-02-16 Sony Corporation Decoding device and decoding method, encoding device, and encoding method
US9712781B2 (en) 2013-09-06 2017-07-18 Lg Electronics Inc. Method and apparatus for transmitting and receiving ultra-high definition broadcasting signal for high dynamic range representation in digital broadcasting system
KR102113178B1 (ko) * 2013-09-12 2020-05-21 삼성디스플레이 주식회사 표시 장치 및 액정 표시 장치
JP6459969B2 (ja) * 2013-09-27 2019-01-30 ソニー株式会社 再生装置、再生方法
US9448771B2 (en) 2014-10-17 2016-09-20 Duelight Llc System, computer program product, and method for generating a lightweight source code for implementing an image processing pipeline
US9460118B2 (en) 2014-09-30 2016-10-04 Duelight Llc System, method, and computer program product for exchanging images
US9361319B2 (en) 2013-09-30 2016-06-07 Duelight Llc Systems, methods, and computer program products for digital photography
US9508133B2 (en) 2014-11-18 2016-11-29 Duelight Llc System and method for generating an image result based on availability of a network resource
US20230061404A1 (en) * 2013-09-30 2023-03-02 Duelight Llc System, method, and computer program product for exchanging images
ES2929313T3 (es) 2013-10-10 2022-11-28 Dolby Laboratories Licensing Corp Visualización de contenido DCI y otro en un proyector de rango dinámico mejorado
JP6202330B2 (ja) 2013-10-15 2017-09-27 ソニー株式会社 復号装置および復号方法、並びに符号化装置および符号化方法
CN105684412B (zh) * 2013-10-22 2017-04-26 杜比实验室特许公司 用于扩展动态范围图像的引导颜色分级
RU2767328C2 (ru) * 2013-11-04 2022-03-17 Долби Лэборетериз Лайсенсинг Корпорейшн Одно- и многомодуляторные проекционные системы с глобальным регулированием яркости
WO2015073377A1 (en) 2013-11-13 2015-05-21 Dolby Laboratories Licensing Corporation Workflow for content creation and guided display management of edr video
WO2015076608A1 (ko) * 2013-11-21 2015-05-28 엘지전자 주식회사 비디오 처리 방법 및 비디오 처리 장치
CN105745914B (zh) 2013-11-22 2018-09-07 杜比实验室特许公司 用于逆色调映射的方法和系统
US10291827B2 (en) 2013-11-22 2019-05-14 Futurewei Technologies, Inc. Advanced screen content coding solution
BR112016012417B1 (pt) 2013-12-18 2023-04-11 Hfi Innovation Inc Método e aparelho para inicialização e gerenciamento de paleta
CN105850129B (zh) * 2013-12-27 2019-06-14 汤姆逊许可公司 对高动态范围图像进行色调映射的方法及设备
US10182242B2 (en) 2013-12-27 2019-01-15 Mediatek Inc. Method and apparatus for palette coding with cross block prediction
WO2015096647A1 (en) 2013-12-27 2015-07-02 Mediatek Inc. Method and apparatus for major color index map coding
EP3087742B1 (en) 2013-12-27 2020-09-23 HFI Innovation Inc. Method and apparatus for syntax redundancy removal in palette coding
EP3061247A4 (en) 2014-01-07 2016-08-31 Mediatek Inc METHOD AND APPARATUS FOR COLOR INDEX PREDICTION
RU2667083C1 (ru) * 2014-01-24 2018-09-14 Сони Корпорейшн Устройство передачи, способ передачи, устройство приема и способ приема
DE202015009982U1 (de) * 2014-02-07 2022-08-02 Sony Group Corporation Übertragungsvorrichtung, Empfangsvorrichtung und Anzeigevorrichtung
KR20150099672A (ko) * 2014-02-22 2015-09-01 삼성전자주식회사 전자 장치 및 그것의 디스플레이 제어 방법
CN106031172B (zh) 2014-02-25 2019-08-20 苹果公司 用于视频编码和解码的自适应传递函数
CN109089014B (zh) 2014-02-27 2021-02-19 杜比实验室特许公司 用于控制颤抖可见性的方法、装置及计算机可读介质
JP6439418B2 (ja) * 2014-03-05 2018-12-19 ソニー株式会社 画像処理装置及び画像処理方法、並びに画像表示装置
WO2015143351A1 (en) * 2014-03-21 2015-09-24 Futurewei Technologies, Inc. Advanced screen content coding with improved color table and index map coding methods
US10306306B2 (en) * 2014-05-12 2019-05-28 Sony Corporation Communication device and communication method to process images
US10404937B2 (en) 2014-05-15 2019-09-03 Sony Corporation Communication device and communication method
JP6751901B2 (ja) * 2014-05-16 2020-09-09 パナソニックIpマネジメント株式会社 輝度変換方法、輝度変換装置および映像表示装置
CN110278345B (zh) * 2014-05-16 2022-08-02 松下知识产权经营株式会社 变换方法、变换装置以及图像显示装置
JP6571073B2 (ja) * 2014-05-20 2019-09-04 エルジー エレクトロニクス インコーポレイティド ディスプレイ適応的映像再生のためのビデオデータ処理方法及び装置
US10091512B2 (en) 2014-05-23 2018-10-02 Futurewei Technologies, Inc. Advanced screen content coding with improved palette table and index map coding methods
RU2667034C2 (ru) 2014-05-28 2018-09-13 Конинклейке Филипс Н.В. Способы и устройства для кодирования hdr-изображений и способы и устройства для использования таких кодированных изображений
US9786251B1 (en) * 2014-05-28 2017-10-10 Musco Corporation Apparatus, method, and system for visually indicating perceived glare thresholds
JP6643669B2 (ja) * 2014-06-10 2020-02-12 パナソニックIpマネジメント株式会社 表示装置および表示方法
CN110460745B (zh) 2014-06-10 2022-03-08 松下知识产权经营株式会社 显示装置
WO2015190045A1 (ja) * 2014-06-10 2015-12-17 パナソニックIpマネジメント株式会社 変換方法および変換装置
JP6531759B2 (ja) * 2014-06-13 2019-06-19 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2015194101A1 (ja) * 2014-06-16 2015-12-23 パナソニックIpマネジメント株式会社 再生方法および再生装置
EP2958075A1 (en) * 2014-06-20 2015-12-23 Thomson Licensing Method and apparatus for dynamic range expansion of LDR video sequence
MX357793B (es) * 2014-06-23 2018-07-25 Panasonic Ip Man Co Ltd Metodo de conversion y aparato de conversion.
WO2015198552A1 (ja) * 2014-06-25 2015-12-30 パナソニックIpマネジメント株式会社 コンテンツデータ生成方法、映像ストリーム伝送方法及び映像表示方法
MX358934B (es) * 2014-06-26 2018-09-10 Panasonic Ip Man Co Ltd Dispositivo de salida de datos, metodo de salida de datos y metodo de generacion de datos.
MX2019005231A (es) * 2014-06-27 2019-09-10 Panasonic Ip Man Co Ltd Dispositivo de salida de datos, metodo de salida de datos y metodo de generacion de datos.
MX364635B (es) * 2014-06-27 2019-05-03 Panasonic Ip Man Co Ltd Dispositivo de salida de datos, método de salida de datos y método de generación de datos.
MX2019008149A (es) * 2014-06-30 2019-09-05 Panasonic Ip Man Co Ltd Metodo de reproduccion de datos y dispositivo de reproduccion de datos.
MX366401B (es) 2014-06-30 2019-07-08 Panasonic Ip Man Co Ltd Metodo de reproduccion de datos y dispositivo de reproduccion de datos.
US9613407B2 (en) 2014-07-03 2017-04-04 Dolby Laboratories Licensing Corporation Display management for high dynamic range video
JP6478499B2 (ja) * 2014-07-07 2019-03-06 キヤノン株式会社 画像処理装置、画像処理方法、及び、プログラム
JP6421504B2 (ja) * 2014-07-28 2018-11-14 ソニー株式会社 画像処理装置及び画像処理方法
EP3944241A3 (en) * 2014-08-07 2022-05-04 Panasonic Intellectual Property Corporation of America Decoding system and decoding method
JP6466258B2 (ja) * 2014-08-07 2019-02-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 再生装置、再生方法および記録媒体
WO2016021809A1 (ko) * 2014-08-08 2016-02-11 엘지전자 주식회사 디스플레이 적응적 영상 재생을 위한 비디오 데이터 처리 방법 및 장치
JP7053259B6 (ja) * 2014-08-08 2022-06-01 コーニンクレッカ フィリップス エヌ ヴェ Hdr画像をエンコードする方法及び装置
TWI539433B (zh) * 2014-08-13 2016-06-21 友達光電股份有限公司 曲面顯示裝置及其伽馬校正方法
MX366637B (es) * 2014-08-19 2019-07-17 Panasonic Ip Man Co Ltd Método de transmisión, método de reproducción y dispositivo de reproducción.
WO2016027426A1 (ja) * 2014-08-19 2016-02-25 パナソニックIpマネジメント株式会社 映像ストリーム生成方法、再生装置及び記録媒体
MX2019008379A (es) * 2014-08-19 2019-09-09 Panasonic Ip Man Co Ltd Metodo de transmision, metodo de reproduccion y dispositivo de reproduccion.
JP6331882B2 (ja) * 2014-08-28 2018-05-30 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US20170221524A1 (en) * 2014-09-08 2017-08-03 Sony Corporation Information processing apparatus, information recording medium, and information processing method, and program
TWI683307B (zh) * 2014-09-08 2020-01-21 日商新力股份有限公司 資訊處理裝置,資訊記錄媒體及資訊處理方法以及程式
JP2016058848A (ja) * 2014-09-08 2016-04-21 ソニー株式会社 画像処理装置及び画像処理方法
EP3118854B1 (en) * 2014-09-10 2019-01-30 Panasonic Intellectual Property Corporation of America Recording medium, playback device, and playback method
US20170193638A1 (en) * 2014-09-11 2017-07-06 Kevin Patrick GRUNDY System and method for controlling dynamic range compression image processing
US9501855B2 (en) 2014-09-11 2016-11-22 Sony Corporation Image processing apparatus and image processing method
EP4280598A3 (en) * 2014-09-12 2024-02-21 Panasonic Intellectual Property Corporation of America Recording medium, playback device, and playback method
JP2016062637A (ja) 2014-09-12 2016-04-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 記録媒体、再生装置、および再生方法
EP3196881B1 (en) * 2014-09-12 2021-12-22 Sony Group Corporation Playback device, playback method, information processing device, information processing method, program, and recording medium
US10910017B2 (en) 2014-09-12 2021-02-02 Sony Corporation Reproducing device, reproducing method, information processing device, information processing method, program, and recording medium
US10362287B2 (en) 2014-09-12 2019-07-23 Sony Corporation Information processing apparatus, information processing method and program, and recording medium
MX367898B (es) * 2014-09-22 2019-09-11 Panasonic Ip Man Co Ltd Metodo de reproduccion y aparato de reproduccion.
JP5995129B2 (ja) * 2014-09-22 2016-09-21 パナソニックIpマネジメント株式会社 再生方法および再生装置
US9729801B2 (en) * 2014-10-02 2017-08-08 Dolby Laboratories Licensing Corporation Blending images using mismatched source and display electro-optical transfer functions
JP6510039B2 (ja) 2014-10-02 2019-05-08 ドルビー ラボラトリーズ ライセンシング コーポレイション ジャダー可視性制御のためのデュアルエンドメタデータ
JP6539032B2 (ja) * 2014-10-06 2019-07-03 キヤノン株式会社 表示制御装置、表示制御方法、およびプログラム
TR201808347T4 (tr) * 2014-10-10 2018-07-23 Koninklijke Philips Nv Dinamik erim eşleştirmelerine yönelik doyma işleminin belirtimi.
KR20160044954A (ko) * 2014-10-16 2016-04-26 삼성전자주식회사 정보 제공 방법 및 이를 구현하는 전자 장치
JP2016081553A (ja) * 2014-10-17 2016-05-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 記録媒体、再生方法、および再生装置
WO2016063474A1 (ja) * 2014-10-21 2016-04-28 パナソニックIpマネジメント株式会社 再生装置、表示装置および伝送方法
TWI685837B (zh) 2014-10-23 2020-02-21 日商新力股份有限公司 資訊處理裝置、資訊處理方法、及程式產品、以及記錄媒體
WO2016063475A1 (ja) * 2014-10-24 2016-04-28 パナソニックIpマネジメント株式会社 送信方法および再生装置
EP3213291B1 (en) * 2014-10-27 2019-11-06 Dolby Laboratories Licensing Corporation Content mapping using extended color range
CN110971887B (zh) * 2014-11-04 2021-11-02 松下电器(美国)知识产权公司 再现方法、再现装置以及记录介质
CN107148780B (zh) * 2014-11-07 2020-06-16 索尼公司 发送装置、发送方法、接收装置和接收方法
JP2016100039A (ja) * 2014-11-17 2016-05-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 記録媒体、再生方法、および再生装置
EP3029925A1 (en) 2014-12-01 2016-06-08 Thomson Licensing A method and device for estimating a color mapping between two different color-graded versions of a picture
MX2020004669A (es) 2014-12-03 2022-01-06 Panasonic Ip Man Co Ltd Método de generación de datos, método de reproducción de datos, dispositivo de generación de datos y dispositivo de reproducción de datos.
KR20160067275A (ko) * 2014-12-03 2016-06-14 삼성디스플레이 주식회사 표시 장치 및 이의 구동 방법
JP6601729B2 (ja) * 2014-12-03 2019-11-06 パナソニックIpマネジメント株式会社 データ生成方法、データ再生方法、データ生成装置及びデータ再生装置
JP6741975B2 (ja) * 2014-12-09 2020-08-19 パナソニックIpマネジメント株式会社 送信方法および送信装置
WO2016092759A1 (ja) * 2014-12-09 2016-06-16 パナソニックIpマネジメント株式会社 送信方法、受信方法、送信装置および受信装置
US10366672B2 (en) 2014-12-11 2019-07-30 Koninklijke Philips N.V. Optimizing high dynamic range images for particular displays
ES2825699T3 (es) 2014-12-11 2021-05-17 Koninklijke Philips Nv Optimización e imágenes de alto rango dinámico para pantallas particulares
EP3035678A1 (en) * 2014-12-16 2016-06-22 Thomson Licensing Method and device of converting a high-dynamic-range version of a picture to a standard-dynamic-range version of said picture
TW201633779A (zh) 2014-12-16 2016-09-16 湯姆生特許公司 將圖像之高動態範圍版本轉換至該圖像之標準動態範圍版本之方法及裝置
WO2016103968A1 (ja) * 2014-12-22 2016-06-30 ソニー株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
HUE056171T2 (hu) * 2014-12-29 2022-01-28 Sony Group Corp Adókészülék, adási eljárás, vevõkészülék és vételi eljárás
CN107211076B (zh) 2015-01-19 2018-10-30 杜比实验室特许公司 用于高动态范围视频的显示管理的方法、装置和存储介质
JP7106273B2 (ja) * 2015-01-27 2022-07-26 インターデジタル マディソン パテント ホールディングス, エスアーエス 画像及びビデオを電気光変換及び光電気変換するための方法、システム、及び機器
JP2018509802A (ja) * 2015-01-29 2018-04-05 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 局所ダイナミックレンジ調節色処理
EP3051821A1 (en) * 2015-01-30 2016-08-03 Thomson Licensing Method and apparatus for encoding and decoding high dynamic range (HDR) videos
EP3051825A1 (en) * 2015-01-30 2016-08-03 Thomson Licensing A method and apparatus of encoding and decoding a color picture
BR112017015790A2 (pt) 2015-01-30 2018-03-27 Thomson Licensing método e aparelho de codificação e decodificação de uma imagem colorida
GB2534929A (en) * 2015-02-06 2016-08-10 British Broadcasting Corp Method and apparatus for conversion of HDR signals
KR102295970B1 (ko) * 2015-02-06 2021-08-30 엘지전자 주식회사 영상표시장치,
EP3267685B1 (en) * 2015-03-05 2022-11-23 Sony Group Corporation Transmission device, transmission method, receiving device, and receiving method
EP3067882A1 (en) 2015-03-10 2016-09-14 Thomson Licensing Adaptive color grade interpolation method and device
JP6463179B2 (ja) * 2015-03-17 2019-01-30 キヤノン株式会社 信号処理装置、信号処理方法および撮像装置
JP6374614B2 (ja) * 2015-03-20 2018-08-15 ドルビー ラボラトリーズ ライセンシング コーポレイション 信号再整形近似
JP2016178595A (ja) * 2015-03-23 2016-10-06 シャープ株式会社 受信装置、受信方法、及びプログラム
KR102477041B1 (ko) * 2015-03-24 2022-12-14 소니그룹주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
EP3276949A4 (en) * 2015-03-27 2018-04-25 Panasonic Intellectual Property Management Co., Ltd. Signal processing device, record/replay device, signal processing method, and program
US10109228B2 (en) 2015-04-10 2018-10-23 Samsung Display Co., Ltd. Method and apparatus for HDR on-demand attenuation control
KR102322709B1 (ko) * 2015-04-29 2021-11-08 엘지디스플레이 주식회사 영상 처리 방법 및 영상 처리 회로와 그를 이용한 표시 장치
US10257526B2 (en) * 2015-05-01 2019-04-09 Disney Enterprises, Inc. Perceptual color transformations for wide color gamut video coding
US10708564B2 (en) 2015-05-11 2020-07-07 Samsung Electronics Co., Ltd. Image processing apparatus and image processing method based on metadata
WO2016181584A1 (ja) * 2015-05-12 2016-11-17 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 表示方法および表示装置
MX2019013303A (es) * 2015-05-12 2020-07-20 Panasonic Ip Corp America Metodo de presentacion visual y dispositivo de presentacion visual.
JP6731722B2 (ja) * 2015-05-12 2020-07-29 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 表示方法および表示装置
CN107533832B (zh) * 2015-05-12 2020-11-27 索尼公司 图像处理装置、图像处理方法与程序
KR102337159B1 (ko) * 2015-05-21 2021-12-08 삼성전자주식회사 컨텐츠 출력 장치 및 방법과, 디스플레이 장치
JP6663214B2 (ja) 2015-05-26 2020-03-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 表示方法および表示装置
JP6666022B2 (ja) * 2015-06-04 2020-03-13 キヤノン株式会社 画像表示装置、画像出力装置、及び、それらの制御方法
AU2016270443B2 (en) * 2015-06-05 2019-01-03 Apple Inc. Rendering and displaying high dynamic range content
US10007412B2 (en) * 2015-06-24 2018-06-26 Samsung Electronics Co., Ltd. Tone mastering system with creative intent metadata
DE112016002868T5 (de) 2015-06-25 2018-03-08 Mitsubishi Electric Corporation Videowiedergabevorrichtung und Videowiedergabeverfahren
US11245939B2 (en) * 2015-06-26 2022-02-08 Samsung Electronics Co., Ltd. Generating and transmitting metadata for virtual reality
EP3113495A1 (en) * 2015-06-30 2017-01-04 Thomson Licensing Methods and devices for encoding and decoding a hdr color picture
GB2539917B (en) * 2015-06-30 2021-04-07 British Broadcasting Corp Method and apparatus for conversion of HDR signals
EP3113496A1 (en) 2015-06-30 2017-01-04 Thomson Licensing Method and device for encoding both a hdr picture and a sdr picture obtained from said hdr picture using color mapping functions
EP3314893A1 (en) * 2015-06-30 2018-05-02 Dolby Laboratories Licensing Corporation Real-time content-adaptive perceptual quantizer for high dynamic range images
JP6611494B2 (ja) * 2015-07-08 2019-11-27 キヤノン株式会社 画像表示装置及びその制御方法
KR102309676B1 (ko) 2015-07-24 2021-10-07 삼성전자주식회사 사용자 적응 이미지 보상기
US10777148B2 (en) 2015-07-31 2020-09-15 Sony Corporation Image signal luminance processing method, device and display apparatus
US10885614B2 (en) 2015-08-19 2021-01-05 Samsung Electronics Co., Ltd. Electronic device performing image conversion, and method thereof
US11070830B2 (en) 2015-08-24 2021-07-20 Interdigital Madison Patent Holdings, Sas Coding and decoding method with color conversion and corresponding devices
WO2017032822A1 (en) 2015-08-25 2017-03-02 Thomson Licensing Inverse tone mapping based on luminance zones
WO2017040237A1 (en) * 2015-08-28 2017-03-09 Arris Enterprises Llc Color volume transforms in coding of high dynamic range and wide color gamut sequences
US10572983B2 (en) 2015-08-31 2020-02-25 Interdigital Vc Holdings, Inc. Method and apparatus for inverse tone mapping
WO2017037971A1 (ja) * 2015-09-01 2017-03-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 変換方法および変換装置
JP6820507B2 (ja) * 2015-09-14 2021-01-27 パナソニックIpマネジメント株式会社 映像受信方法、映像送信方法、映像受信装置及び映像送信装置
CN107925789A (zh) * 2015-09-18 2018-04-17 夏普株式会社 接收装置、接收方法、程序
KR102121676B1 (ko) * 2015-09-21 2020-06-10 돌비 레버러토리즈 라이쎈싱 코오포레이션 지각 코드 공간에서 디스플레이를 동작시키기 위한 기술들
AU2016326942B2 (en) * 2015-09-25 2019-10-10 Sony Corporation Image processing device and image processing method
EP4258673A3 (en) * 2015-10-07 2023-12-13 Panasonic Intellectual Property Management Co., Ltd. Video transmission method, video reception method, video transmission device, and video reception device
JP6830190B2 (ja) * 2015-10-07 2021-02-17 パナソニックIpマネジメント株式会社 映像送信方法、映像受信方法、映像送信装置及び映像受信装置
US10140953B2 (en) * 2015-10-22 2018-11-27 Dolby Laboratories Licensing Corporation Ambient-light-corrected display management for high dynamic range images
MX2018005762A (es) * 2015-11-09 2018-08-01 Thomson Licensing Metodo y dispositivo para adaptar el contenido de video decodificado de corrientes elementales a las caracteristicas de una pantalla.
JP6872098B2 (ja) * 2015-11-12 2021-05-19 ソニーグループ株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
EP3169071B1 (en) * 2015-11-16 2020-01-29 InterDigital VC Holdings, Inc. Backward-compatible encoding of a hdr picture
CN105336290B (zh) * 2015-11-18 2018-06-01 青岛海信电器股份有限公司 伽马Gamma校正方法及装置
JP6831389B2 (ja) * 2015-11-24 2021-02-17 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 複数のhdr画像ソースの処理
AU2015261734A1 (en) * 2015-11-30 2017-06-15 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data according to local luminance intensity
WO2017103399A1 (fr) * 2015-12-16 2017-06-22 B<>Com Procede de traitement d'une image numerique, dispositif, equipement terminal et programme d'ordinateur associes
CN111275628A (zh) * 2015-12-23 2020-06-12 华为技术有限公司 一种图像信号转换处理方法、装置及终端设备
CN108370428B (zh) 2015-12-25 2020-12-15 夏普株式会社 显示装置和显示装置的控制方法以及电视接收机
US9984446B2 (en) * 2015-12-26 2018-05-29 Intel Corporation Video tone mapping for converting high dynamic range (HDR) content to standard dynamic range (SDR) content
JP6710970B2 (ja) 2015-12-28 2020-06-17 ソニー株式会社 送信装置および送信方法
JP6233424B2 (ja) * 2016-01-05 2017-11-22 ソニー株式会社 撮像システムおよび撮像方法
JP6237797B2 (ja) 2016-01-05 2017-11-29 ソニー株式会社 ビデオシステム、ビデオ処理方法、プログラム、およびビデオコンバーター
KR20170088303A (ko) * 2016-01-22 2017-08-01 한국전자통신연구원 화질 열화 감소를 위한 영상 신호 변환 방법 및 장치
CN109074775B (zh) * 2016-01-29 2022-02-08 巴科股份有限公司 数字图像处理链和处理块以及包括它们的显示器
KR20180109889A (ko) 2016-02-09 2018-10-08 소니 주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
US10257394B2 (en) * 2016-02-12 2019-04-09 Contrast, Inc. Combined HDR/LDR video streaming
KR102405309B1 (ko) 2016-02-12 2022-06-07 삼성전자주식회사 디스플레이 장치 및 그 디스플레이 방법
US10264196B2 (en) 2016-02-12 2019-04-16 Contrast, Inc. Systems and methods for HDR video capture with a mobile device
JP2017151308A (ja) 2016-02-25 2017-08-31 キヤノン株式会社 情報処理装置および情報処理方法
JP6992740B2 (ja) * 2016-02-26 2022-01-13 ソニーグループ株式会社 情報処理装置、表示装置、情報記録媒体、および情報処理方法、並びにプログラム
JP6824055B2 (ja) * 2016-03-02 2021-02-03 シャープ株式会社 受信装置および放送システム
JP6451669B2 (ja) * 2016-03-04 2019-01-16 ソニー株式会社 評価装置、評価方法およびカメラシステム
JP6161222B1 (ja) * 2016-03-17 2017-07-12 シャープ株式会社 受信装置および放送システム
ES2951773T3 (es) * 2016-03-18 2023-10-24 Koninklijke Philips Nv Codificación y decodificación de vídeos HDR
EP3220645A1 (en) * 2016-03-18 2017-09-20 Thomson Licensing A method and a device for encoding a high dynamic range picture, corresponding decoding method and decoding device
JP6757157B2 (ja) * 2016-03-29 2020-09-16 キヤノン株式会社 投影装置およびその制御方法
JP6830244B2 (ja) * 2016-03-29 2021-02-17 パナソニックIpマネジメント株式会社 表示装置及びその制御方法
US20170289571A1 (en) * 2016-04-01 2017-10-05 Intel Corporation Temporal control for spatially adaptive tone mapping of high dynamic range video
GB2549521A (en) 2016-04-21 2017-10-25 British Broadcasting Corp Method and apparatus for conversion of dynamic range of video signals
JP6755701B2 (ja) 2016-04-25 2020-09-16 キヤノン株式会社 撮像装置、表示装置及び画像処理装置
EP3244616A1 (en) * 2016-05-13 2017-11-15 Thomson Licensing A method for encoding an input video comprising a luma component and two chroma components, the method comprising reshaping of said input video based on reshaping functions
KR102488954B1 (ko) * 2016-05-16 2023-01-16 엘지전자 주식회사 영상 처리 장치 및 그의 영상 처리 방법
CN105979192A (zh) * 2016-05-16 2016-09-28 福州瑞芯微电子股份有限公司 一种视频显示方法和装置
JP6891882B2 (ja) * 2016-05-25 2021-06-18 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム
CN113593499B (zh) 2016-05-27 2023-12-12 杜比实验室特许公司 在视频优先级与图形优先级之间转换
US20170353704A1 (en) * 2016-06-01 2017-12-07 Apple Inc. Environment-Aware Supervised HDR Tone Mapping
US10032263B2 (en) 2016-06-12 2018-07-24 Apple Inc. Rendering information into images
JP6729055B2 (ja) * 2016-06-23 2020-07-22 セイコーエプソン株式会社 映像処理装置、表示装置および映像処理方法
WO2018000126A1 (en) * 2016-06-27 2018-01-04 Intel Corporation Method and system of multi-dynamic range multi-layer video blending with alpha channel sideband for video playback
US9916638B2 (en) * 2016-07-20 2018-03-13 Dolby Laboratories Licensing Corporation Transformation of dynamic metadata to support alternate tone rendering
WO2018031441A1 (en) 2016-08-09 2018-02-15 Contrast, Inc. Real-time hdr video for vehicle control
WO2018035696A1 (zh) * 2016-08-22 2018-03-01 华为技术有限公司 一种图像处理方法以及装置
TWI631505B (zh) * 2016-08-26 2018-08-01 晨星半導體股份有限公司 應用於播放裝置的影像處理方法及相關的電路
JP6276815B1 (ja) * 2016-09-02 2018-02-07 シャープ株式会社 画像処理装置、テレビジョン受像機、画像処理システム、画像処理プログラム、記録媒体、および映像提供装置
JP7054851B2 (ja) * 2016-09-09 2022-04-15 パナソニックIpマネジメント株式会社 表示装置および信号処理方法
EP3511928B1 (en) * 2016-09-09 2022-01-12 Panasonic Intellectual Property Management Co., Ltd. Display device and signal processing method
JP6751233B2 (ja) * 2016-09-12 2020-09-02 オンキヨー株式会社 映像処理装置
KR102594201B1 (ko) * 2016-09-22 2023-10-27 삼성디스플레이 주식회사 영상 처리 방법 및 이를 수행하는 표시 장치
WO2018062062A1 (ja) * 2016-09-29 2018-04-05 パナソニックIpマネジメント株式会社 再生方法、生成方法、再生装置、生成装置、および記録媒体
GB2554669B (en) * 2016-09-30 2022-04-06 Apical Ltd Image processing
US11202050B2 (en) 2016-10-14 2021-12-14 Lg Electronics Inc. Data processing method and device for adaptive image playing
EP3470976A1 (en) 2017-10-12 2019-04-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and apparatus for efficient delivery and usage of audio messages for high quality of experience
US10218952B2 (en) 2016-11-28 2019-02-26 Microsoft Technology Licensing, Llc Architecture for rendering high dynamic range video on enhanced dynamic range display devices
JP2018091999A (ja) * 2016-12-02 2018-06-14 キヤノン株式会社 画像処理装置、表示装置及び画像処理方法
CN110050292B (zh) * 2016-12-12 2023-08-01 杜比实验室特许公司 用于调整高动态范围图像的视频处理曲线的系统和方法
JP7131391B2 (ja) * 2017-01-16 2022-09-06 ソニーグループ株式会社 ビデオ処理装置、ビデオ処理方法およびプログラム
US10176561B2 (en) 2017-01-27 2019-01-08 Microsoft Technology Licensing, Llc Content-adaptive adjustments to tone mapping operations for high dynamic range content
US10104334B2 (en) * 2017-01-27 2018-10-16 Microsoft Technology Licensing, Llc Content-adaptive adjustment of display device brightness levels when rendering high dynamic range content
JP6466488B2 (ja) * 2017-02-09 2019-02-06 シャープ株式会社 表示装置、テレビジョン受像機、映像処理方法、制御プログラム、及び記録媒体
WO2018147196A1 (ja) * 2017-02-09 2018-08-16 シャープ株式会社 表示装置、テレビジョン受像機、映像処理方法、バックライト制御方法、受信装置、映像信号生成装置、送信装置、映像信号伝送システム、受信方法、プログラム、制御プログラム、及び記録媒体
CN106713907B (zh) * 2017-02-21 2018-08-03 京东方科技集团股份有限公司 一种显示器的hdr图像显示性能评测方法及装置
JP7086587B2 (ja) * 2017-02-24 2022-06-20 インターデジタル ヴイシー ホールディングス, インコーポレイテッド 復号された画像データから画像データを再構成する方法および装置
JP6381704B1 (ja) * 2017-02-28 2018-08-29 シャープ株式会社 映像信号生成装置、受信装置、テレビジョン受像機、送受信システム、制御プログラム、及び記録媒体
KR102308192B1 (ko) 2017-03-09 2021-10-05 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
EP3566203B1 (en) 2017-03-20 2021-06-16 Dolby Laboratories Licensing Corporation Perceptually preserving scene-referred contrasts and chromaticities
JP2017143546A (ja) * 2017-03-21 2017-08-17 ソニー株式会社 再生装置、記録媒体、表示装置、および情報処理方法
CN110574356B (zh) * 2017-04-10 2024-01-12 惠普发展公司,有限责任合伙企业 动态色域可调整显示器
CN109644289B (zh) * 2017-04-21 2021-11-09 松下知识产权经营株式会社 再现装置、再现方法、显示装置、以及显示方法
EP3399497A1 (en) * 2017-05-05 2018-11-07 Koninklijke Philips N.V. Optimizing decoded high dynamic range image saturation
US10403214B2 (en) * 2017-05-12 2019-09-03 Apple Inc. Electronic devices with tone mapping to accommodate simultaneous display of standard dynamic range and high dynamic range content
CN110770787B (zh) * 2017-06-16 2023-04-07 杜比实验室特许公司 高效端到端单层逆向显示管理编码
EP3644618A4 (en) * 2017-06-21 2020-05-27 Panasonic Intellectual Property Management Co., Ltd. IMAGE DISPLAY SYSTEM AND IMAGE DISPLAY METHOD
EP3418972A1 (en) 2017-06-23 2018-12-26 Thomson Licensing Method for tone adapting an image to a target peak luminance lt of a target display device
CN110945861B (zh) * 2017-07-07 2022-11-29 株式会社半导体能源研究所 显示系统及显示系统的工作方法
US11049225B2 (en) 2017-07-07 2021-06-29 Panasonic Intellectual Property Management Co., Ltd. Video processing system and video processing method
US11265530B2 (en) 2017-07-10 2022-03-01 Contrast, Inc. Stereoscopic camera
US11039045B2 (en) 2017-07-14 2021-06-15 Panasonic Intellectual Property Management Co., Ltd. Video display system and video display method
US10504263B2 (en) * 2017-08-01 2019-12-10 Samsung Electronics Co., Ltd. Adaptive high dynamic range (HDR) tone mapping with overlay indication
US11065960B2 (en) 2017-09-13 2021-07-20 Corning Incorporated Curved vehicle displays
WO2019053917A1 (ja) * 2017-09-13 2019-03-21 パナソニックIpマネジメント株式会社 輝度特性生成方法
KR102614338B1 (ko) * 2017-09-21 2023-12-19 소니그룹주식회사 재생 장치, 재생 방법, 프로그램, 및 기록 매체
US11019302B2 (en) * 2017-09-28 2021-05-25 Dolby Laboratories Licensing Corporation Frame rate conversion metadata
US11272308B2 (en) * 2017-09-29 2022-03-08 Apple Inc. File format for spatial audio
CN109891902B (zh) 2017-10-06 2022-02-18 松下知识产权经营株式会社 影像显示系统及影像显示方法
JP6753386B2 (ja) * 2017-10-25 2020-09-09 ソニー株式会社 カメラシステム、ビデオ処理方法およびプログラム
KR102413839B1 (ko) * 2017-11-15 2022-06-28 삼성전자 주식회사 컨텐츠 제공장치, 그 제어방법 및 기록매체
KR102448497B1 (ko) * 2017-11-17 2022-09-28 삼성전자주식회사 디스플레이 장치, 디스플레이 장치의 제어 방법 및 영상 제공 장치
JP6821269B2 (ja) 2017-12-05 2021-01-27 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置および画像処理方法
JP7191649B2 (ja) * 2017-12-27 2022-12-19 キヤノン株式会社 電子機器
CN110049258B (zh) 2017-12-27 2022-03-25 佳能株式会社 电子设备及其控制方法和计算机可读介质
US11270661B2 (en) * 2017-12-27 2022-03-08 Panasonic Intellectual Property Management Co., Ltd. Display apparatus and display method
JP7180079B2 (ja) * 2018-02-28 2022-11-30 セイコーエプソン株式会社 回路装置及び電子機器
RU2675281C1 (ru) * 2018-03-28 2018-12-18 федеральное государственное бюджетное образовательное учреждение высшего образования "Национальный исследовательский университет "МЭИ" (ФГБОУ ВО "НИУ "МЭИ") Способ идентификации линейной динамической системы
KR102489265B1 (ko) * 2018-04-10 2023-01-17 엘지전자 주식회사 비디오 신호를 처리하는 멀티미디어 디바이스 및 그 제어 방법
JP6652153B2 (ja) * 2018-04-26 2020-02-19 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
TWI808970B (zh) 2018-04-30 2023-07-21 圓剛科技股份有限公司 影像訊號轉換裝置
US10951888B2 (en) 2018-06-04 2021-03-16 Contrast, Inc. Compressed high dynamic range video
CN110620935B (zh) * 2018-06-19 2022-04-08 杭州海康慧影科技有限公司 图像处理方法及装置
EP3824456A1 (en) * 2018-07-16 2021-05-26 Corning Incorporated Display with localized brightness adjustment and related methods
JP2020024550A (ja) * 2018-08-07 2020-02-13 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP2020025176A (ja) * 2018-08-07 2020-02-13 キヤノン株式会社 表示制御装置、表示制御装置の制御方法、およびプログラム
US11284134B2 (en) 2018-08-08 2022-03-22 Comcast Cable Communications, Llc Media content enhancement based on content importance
CN112585969B (zh) * 2018-08-10 2023-03-28 杜比实验室特许公司 用于减少目标图像中的条带伪影的方法、装置及存储介质
CN108986053B (zh) * 2018-08-21 2021-03-16 北京小米移动软件有限公司 屏幕显示方法及装置
JP6583501B2 (ja) * 2018-08-28 2019-10-02 ソニー株式会社 再生装置、表示装置、情報処理方法
CN111063319B (zh) * 2018-10-16 2021-05-18 深圳Tcl新技术有限公司 基于背光调整的图像动态增强方法、装置和计算机设备
US10957024B2 (en) 2018-10-30 2021-03-23 Microsoft Technology Licensing, Llc Real time tone mapping of high dynamic range image data at time of playback on a lower dynamic range display
US11503310B2 (en) * 2018-10-31 2022-11-15 Ati Technologies Ulc Method and apparatus for an HDR hardware processor inline to hardware encoder and decoder
CN109243383B (zh) * 2018-11-09 2021-12-17 珠海格力电器股份有限公司 一种显示屏的背光亮度调节方法及显示屏装置
RU190476U1 (ru) * 2018-11-19 2019-07-02 Федеральное государственное автономное образовательное учреждение высшего образования "Севастопольский государственный университет" Устройство преобразования яркости цифрового телевизионного изображения
US20200192548A1 (en) * 2018-12-13 2020-06-18 Ati Technologies Ulc Methods and apparatus for displaying a cursor on a high dynamic range display device
EP3672254A1 (en) * 2018-12-21 2020-06-24 InterDigital VC Holdings, Inc. Decoding an image
KR102643588B1 (ko) * 2019-01-21 2024-03-04 엘지전자 주식회사 카메라 장치 및 이를 구비하는 전자 장치
JP7204514B2 (ja) * 2019-02-13 2023-01-16 キヤノン株式会社 画像出力装置およびその制御方法、プログラム
JP7301551B2 (ja) * 2019-02-21 2023-07-03 キヤノン株式会社 画像処理装置、画像処理方法、表示装置、制御方法、およびプログラム
JP2020141334A (ja) * 2019-02-28 2020-09-03 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
CN111754412B (zh) * 2019-03-29 2024-04-19 Tcl科技集团股份有限公司 构建数据对的方法、装置及终端设备
US11404025B2 (en) * 2019-04-10 2022-08-02 Mediatek Inc. Video processing system for performing artificial intelligence assisted picture quality enhancement and associated video processing method
JP6672505B2 (ja) * 2019-04-15 2020-03-25 マクセル株式会社 投射型映像表示装置
KR102575261B1 (ko) * 2019-05-16 2023-09-06 주식회사 엘엑스세미콘 주위조도에 따라 영상의 밝기를 조절하는 디스플레이 구동장치 및 구동방법
US11881151B2 (en) * 2019-06-07 2024-01-23 Stereyo Bv Method for producing an image by a display and recording said image by a camera
US11405582B2 (en) * 2019-06-28 2022-08-02 Meta Platforms, Inc. Preprocessing of high-dynamic-range video using a hybrid lookup table scheme
JP6904470B2 (ja) * 2019-08-30 2021-07-14 ソニーグループ株式会社 再生装置、表示装置、情報処理方法
JP6756396B2 (ja) * 2019-08-30 2020-09-16 ソニー株式会社 再生装置、表示装置、情報処理方法
US11473971B2 (en) 2019-09-27 2022-10-18 Apple Inc. Ambient headroom adaptation
KR102641738B1 (ko) 2019-09-30 2024-02-29 삼성전자주식회사 영상 처리 방법 및 이를 지원하는 전자 장치
JP2020074571A (ja) * 2020-01-16 2020-05-14 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US11270662B2 (en) * 2020-01-21 2022-03-08 Synaptics Incorporated Device and method for brightness control of display device based on display brightness value encoding parameters beyond brightness
GB2592656B (en) * 2020-03-05 2023-04-19 Canon Kk High level syntax for video coding and decoding
CN111489705B (zh) * 2020-04-14 2023-05-09 深圳市隆利科技股份有限公司 图像分区显示的方法
CN113630563B (zh) * 2020-05-08 2022-07-22 华为技术有限公司 一种高动态范围hdr视频的处理方法、编码设备和解码设备
CN113240578A (zh) * 2021-05-13 2021-08-10 北京达佳互联信息技术有限公司 图像特效的生成方法、装置、电子设备及存储介质
CN113658564B (zh) * 2021-08-30 2022-12-13 京东方科技集团股份有限公司 一种图像色深转换的方法、电子设备
US11734806B2 (en) 2021-11-24 2023-08-22 Roku, Inc. Dynamic tone mapping
JPWO2023095718A1 (zh) * 2021-11-29 2023-06-01
KR102564447B1 (ko) * 2021-11-30 2023-08-08 엘지전자 주식회사 디스플레이 장치
CN114972124B (zh) * 2022-07-29 2022-10-28 自然资源部第三地理信息制图院 一种遥感图像亮度自适应均衡方法及系统
CN117133252A (zh) * 2023-02-27 2023-11-28 荣耀终端有限公司 图像处理方法和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1489853A2 (en) * 2003-05-30 2004-12-22 Seiko Epson Corporation Illuminator, projection display device, and method for driving the same
WO2005104035A1 (en) * 2004-04-23 2005-11-03 Brightside Technologies Inc. Encoding, decoding and representing high dynamic range images
CN1951101A (zh) * 2004-05-11 2007-04-18 皇家飞利浦电子股份有限公司 用于处理彩色图像数据的方法
CN101888487A (zh) * 2010-06-02 2010-11-17 中国科学院深圳先进技术研究院 高动态范围视频成像系统和图像生成方法
WO2010132237A1 (en) * 2009-05-11 2010-11-18 Dolby Laboratories Licensing Corporation Light detection, color appearance models, and modifying dynamic range for image display

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3271487B2 (ja) 1995-08-30 2002-04-02 凸版印刷株式会社 アプルーバル特性付画像データベースおよび画像処理装置
DE69842020D1 (de) 1997-01-31 2011-01-05 Hitachi Ltd Bildanzeigesystem mit der Veranlagung zur Modifikation von Anzeigeeigenschaften in einem bestimmten Anzeigebereich
GB2335326B (en) 1997-10-31 2002-04-17 Sony Corp Image processing apparatus and method and providing medium.
JP2002149149A (ja) 2000-11-13 2002-05-24 Sony Corp 色校正方法および装置
JP4155723B2 (ja) * 2001-04-16 2008-09-24 富士フイルム株式会社 画像管理システム及び画像管理方法、並びに画像表示装置
US20030081118A1 (en) * 2001-10-29 2003-05-01 Cirulli Robert J. Calibration of a telecine transfer device for a best light video setup
DE10213514C1 (de) 2002-03-26 2003-11-27 Michael Kaatze Kaffeebrüher
US20040061709A1 (en) 2002-09-17 2004-04-01 Lg Electronics Inc. Method and apparatus for driving plasma display panel
KR100712334B1 (ko) * 2002-09-30 2007-05-02 엘지전자 주식회사 액정 표시기의 밝기 레벨 조절방법
JP3975357B2 (ja) 2003-06-12 2007-09-12 船井電機株式会社 液晶テレビジョン装置
JP2005086226A (ja) * 2003-09-04 2005-03-31 Auto Network Gijutsu Kenkyusho:Kk 撮像装置
JP4617085B2 (ja) 2004-02-16 2011-01-19 キヤノン株式会社 画像表示装置および画像表示方法
US7085414B2 (en) * 2004-05-05 2006-08-01 Canon Kabushiki Kaisha Characterization of display devices by averaging chromaticity values
US8050511B2 (en) * 2004-11-16 2011-11-01 Sharp Laboratories Of America, Inc. High dynamic range images from low dynamic range images
CN101742306A (zh) * 2006-01-23 2010-06-16 马普科技促进协会 高动态范围编解码器
US8014445B2 (en) * 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
JP4203081B2 (ja) * 2006-05-19 2008-12-24 株式会社東芝 画像表示装置および画像表示方法
US8872753B2 (en) * 2006-08-31 2014-10-28 Ati Technologies Ulc Adjusting brightness of a display image in a display having an adjustable intensity light source
US7978203B1 (en) * 2006-12-18 2011-07-12 Pixar Methods and apparatus for color grading with gamut match preview
CN101569171B (zh) * 2006-12-21 2013-05-15 汤姆森许可贸易公司 为显示器提供颜色分级的方法、装置和系统
JP4687918B2 (ja) 2007-07-24 2011-05-25 富士ゼロックス株式会社 画像処理装置及びプログラム
US8330768B2 (en) * 2007-07-27 2012-12-11 Sharp Laboratories Of America, Inc. Apparatus and method for rendering high dynamic range images for standard dynamic range display
US8233738B2 (en) * 2007-07-30 2012-07-31 Dolby Laboratories Licensing Corporation Enhancing dynamic ranges of images
US8135230B2 (en) 2007-07-30 2012-03-13 Dolby Laboratories Licensing Corporation Enhancing dynamic ranges of images
US8223113B2 (en) * 2007-12-26 2012-07-17 Sharp Laboratories Of America, Inc. Methods and systems for display source light management with variable delay
US20100303439A1 (en) * 2008-01-31 2010-12-02 Thomson Licensing Method and system for look data definition and transmission
US8593476B2 (en) * 2008-02-13 2013-11-26 Gary Demos System for accurately and precisely representing image color information
JP4544319B2 (ja) 2008-03-11 2010-09-15 富士フイルム株式会社 画像処理装置、方法及びプログラム
WO2009135358A1 (en) 2008-05-08 2009-11-12 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Method and apparatus for enhancing the dynamic range of an image
KR101662696B1 (ko) 2008-08-22 2016-10-05 톰슨 라이센싱 콘텐츠 전달 방법 및 시스템
US8184112B2 (en) * 2008-09-24 2012-05-22 Global Oled Technology Llc Increasing dynamic range of display output
JP2010114839A (ja) 2008-11-10 2010-05-20 Canon Inc 画像処理装置および画像処理方法
US8831343B2 (en) * 2009-01-19 2014-09-09 Dolby Laboratories Licensing Corporation Image processing and displaying methods for devices that implement color appearance models
JP5624062B2 (ja) * 2009-03-06 2014-11-12 コーニンクレッカ フィリップス エヌ ヴェ 入力画像データを出力画像データに変換するための方法、入力画像データを出力画像データに変換するための画像変換ユニット、画像処理装置、ディスプレイデバイス
KR101346008B1 (ko) * 2009-03-13 2013-12-31 돌비 레버러토리즈 라이쎈싱 코오포레이션 고 동적 범위, 가시 동적 범위, 및 광색역 비디오의 층상 압축
EP2230839A1 (en) 2009-03-17 2010-09-22 Koninklijke Philips Electronics N.V. Presentation of video content
CN102422258A (zh) 2009-05-06 2012-04-18 汤姆森许可贸易公司 用于传送根据显示设备能力而优化的多媒体内容的方法和系统
CN101930719A (zh) 2009-06-18 2010-12-29 辉达公司 自动切换显示器场景模式的方法及系统
JP2011010108A (ja) 2009-06-26 2011-01-13 Seiko Epson Corp 撮像制御装置、撮像装置及び撮像制御方法
EP2539884B1 (en) 2010-02-24 2018-12-12 Dolby Laboratories Licensing Corporation Display management methods and apparatus
EP2543181B1 (en) 2010-03-03 2015-10-21 Koninklijke Philips N.V. Apparatuses and methods for defining color regimes
US20110242142A1 (en) 2010-03-30 2011-10-06 Ati Technologies Ulc Multiple display chrominance and luminance method and apparatus
US9082334B2 (en) * 2010-06-14 2015-07-14 Barco N.V. Luminance boost method and system
US9509935B2 (en) * 2010-07-22 2016-11-29 Dolby Laboratories Licensing Corporation Display management server
EP2596622B1 (en) * 2010-07-22 2023-06-28 Dolby Laboratories Licensing Corporation System, apparatus and methods for mapping between video ranges of image data and display
US8525933B2 (en) * 2010-08-02 2013-09-03 Dolby Laboratories Licensing Corporation System and method of creating or approving multiple video streams
US9549197B2 (en) * 2010-08-16 2017-01-17 Dolby Laboratories Licensing Corporation Visual dynamic range timestamp to enhance data coherency and potential of metadata using delay information
TWI559779B (zh) * 2010-08-25 2016-11-21 杜比實驗室特許公司 擴展影像動態範圍
WO2012153224A1 (en) 2011-05-10 2012-11-15 Koninklijke Philips Electronics N.V. High dynamic range image signal generation and processing
US9451292B2 (en) * 2011-09-15 2016-09-20 Dolby Laboratories Licensing Corporation Method and system for backward compatible, extended dynamic range encoding of video

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1489853A2 (en) * 2003-05-30 2004-12-22 Seiko Epson Corporation Illuminator, projection display device, and method for driving the same
WO2005104035A1 (en) * 2004-04-23 2005-11-03 Brightside Technologies Inc. Encoding, decoding and representing high dynamic range images
CN1951101A (zh) * 2004-05-11 2007-04-18 皇家飞利浦电子股份有限公司 用于处理彩色图像数据的方法
WO2010132237A1 (en) * 2009-05-11 2010-11-18 Dolby Laboratories Licensing Corporation Light detection, color appearance models, and modifying dynamic range for image display
CN101888487A (zh) * 2010-06-02 2010-11-17 中国科学院深圳先进技术研究院 高动态范围视频成像系统和图像生成方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108681991A (zh) * 2018-04-04 2018-10-19 上海交通大学 基于生成对抗网络的高动态范围反色调映射方法及系统
CN110062160A (zh) * 2019-04-09 2019-07-26 Oppo广东移动通信有限公司 图像处理方法和装置
CN110062160B (zh) * 2019-04-09 2021-07-02 Oppo广东移动通信有限公司 图像处理方法和装置
US11403740B2 (en) 2019-04-09 2022-08-02 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and apparatus for image capturing and processing

Also Published As

Publication number Publication date
JP6407717B2 (ja) 2018-10-17
RU2017137235A3 (zh) 2021-02-25
US20190172187A1 (en) 2019-06-06
ZA201403080B (en) 2015-11-25
US20140210847A1 (en) 2014-07-31
RU2640750C2 (ru) 2018-01-11
WO2013046095A1 (en) 2013-04-04
RU2014116969A (ru) 2015-11-10
CN103843058A (zh) 2014-06-04
CA2850031A1 (en) 2013-04-04
US11423523B2 (en) 2022-08-23
AU2012313935B9 (en) 2017-05-04
US11928803B2 (en) 2024-03-12
US11640656B2 (en) 2023-05-02
US20140225941A1 (en) 2014-08-14
AU2017235969B2 (en) 2019-08-08
CA2850037C (en) 2022-10-04
CA2850037A1 (en) 2013-04-04
PH12017502053A1 (en) 2018-04-23
JP6430577B2 (ja) 2018-11-28
US20210142453A1 (en) 2021-05-13
BR112014006977A2 (pt) 2017-04-04
AU2017235969A1 (en) 2017-10-19
RU2643485C2 (ru) 2018-02-01
KR101972748B1 (ko) 2019-08-16
BR112014006977B1 (pt) 2022-09-13
US10916000B2 (en) 2021-02-09
JP2014532195A (ja) 2014-12-04
JP2014531821A (ja) 2014-11-27
MX2014003554A (es) 2014-06-05
RU2761120C2 (ru) 2021-12-06
WO2013046096A1 (en) 2013-04-04
US20220343477A1 (en) 2022-10-27
CN103843058B (zh) 2016-11-23
IN2014CN01863A (zh) 2015-05-29
MX2014003556A (es) 2014-05-28
CN103827956A (zh) 2014-05-28
BR112014006978B1 (pt) 2021-08-31
AU2012313935B2 (en) 2017-04-20
PE20141864A1 (es) 2014-12-12
CN103827956B (zh) 2017-06-13
BR112014006978A2 (pt) 2017-04-04
EP2745290A1 (en) 2014-06-25
AU2017235970A1 (en) 2017-10-19
AU2017235970B2 (en) 2019-08-08
JP6509262B2 (ja) 2019-05-08
RU2017137235A (ru) 2019-02-11
ZA201403081B (en) 2015-11-25
JP6133300B2 (ja) 2017-05-24
AU2012313935A1 (en) 2014-05-15
US20190156471A1 (en) 2019-05-23
AU2012313936A1 (en) 2014-05-15
JP2017117476A (ja) 2017-06-29
RU2014116971A (ru) 2015-11-10
KR20140066771A (ko) 2014-06-02
AU2012313936B2 (en) 2017-06-29
EP2745507A1 (en) 2014-06-25
UA116082C2 (uk) 2018-02-12
JP2017184238A (ja) 2017-10-05
CA2850031C (en) 2023-07-11

Similar Documents

Publication Publication Date Title
CN103827956B (zh) 用于图像的动态范围变换的装置和方法
US11183143B2 (en) Transitioning between video priority and graphics priority
CN105393525B (zh) 创建用于对hdr图像编码的代码映射函数的方法和装置以及使用这样的编码图像的方法和装置
CN103119936B (zh) 用于图像的改进的编码的设备和方法
CN103873738B (zh) 包括变化的元数据等级的用于控制颜色管理的可缩放系统
CN103430212A (zh) 用于分析图像分级的设备和方法
CN103582911A (zh) 高动态范围图像信号生成和处理
Zink et al. Managing HDR content production and display device capabilities

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination