CN109219844B - 在视频优先级与图形优先级之间转换 - Google Patents

在视频优先级与图形优先级之间转换 Download PDF

Info

Publication number
CN109219844B
CN109219844B CN201780032761.7A CN201780032761A CN109219844B CN 109219844 B CN109219844 B CN 109219844B CN 201780032761 A CN201780032761 A CN 201780032761A CN 109219844 B CN109219844 B CN 109219844B
Authority
CN
China
Prior art keywords
graphics
dynamic range
video
input
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780032761.7A
Other languages
English (en)
Other versions
CN109219844A (zh
Inventor
R·阿特肯斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Priority to CN202110854224.9A priority Critical patent/CN113593500B/zh
Priority to CN202110853917.6A priority patent/CN113593499B/zh
Publication of CN109219844A publication Critical patent/CN109219844A/zh
Application granted granted Critical
Publication of CN109219844B publication Critical patent/CN109219844B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005—Adapting incoming signals to the display format of the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026—Control of mixing and/or overlay of colours in general
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363—Graphics controllers
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0271—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/066—Adjustment of display parameters for control of contrast
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0428—Gradation resolution change
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/02—Graphics controller able to handle multiple formats, e.g. input or output formats
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G09G2370/042—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller for monitor identification
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/12—Use of DVI or HDMI protocol in interfaces along the display data pipeline

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)

Abstract

接收视频动态范围的输入视频数据及其输入动态元数据。接收图形动态范围的输入图形数据。通过视频接口从目标显示器接收显示器标识数据。至少部分地基于(a)输入动态元数据、(b)显示器标识数据和(c)数值插值因子来生成插值的动态元数据，以便操作优先级转换模式，用于在视频优先模式与图形优先模式之间转换。至少部分地基于插值的动态元数据将输入视频数据和输入图形数据融合成图形融合的视频数据。图形融合的视频数据和插值的动态元数据被发送到目标显示器，用于渲染图形融合的视频数据中表示的图形融合的图像。

Description

在视频优先级与图形优先级之间转换
技术领域
本发明大体上涉及图像。更具体而言，本发明的实施例涉及结合将图形与视频内容融合(blend)而在视频优先级与图形优先级之间转换。
背景技术
如本文所使用的，术语“动态范围”(DR)可以涉及人类视觉系统(HVS)感知图像中的强度(例如，亮度，辉度)范围的能力，例如从最暗的暗(黑色)到最亮的亮(即，白色)。在这个意义上，DR涉及“参考场景”的强度。DR还可以涉及显示设备充分或近似地渲染特定宽度的强度范围的能力。在这个意义上，DR涉及“参考显示器”的强度。除非在本文的描述中的任何点明确地指定特定意义具有特定的显著性，否则应当推断该术语可以在任一意义上(例如，可互换地)使用。
如本文所使用的，术语高动态范围(HDR)涉及跨越人类视觉系统(HVS)的大约14-15或更多个数量级的DR宽度。在实践中，人类可以在其上同时感知强度范围中广泛宽度的DR可以相对于HDR稍微被截短。如本文所使用的，术语增强动态范围(EDR)或视觉动态范围(VDR)可以单独或可互换地涉及由包括眼睛运动在内的人类视觉系统(HVS)在场景或图像中可感知的DR，允许场景或图像上的一些光适应变化。如本文所使用的，EDR可以涉及跨越5至6个数量级的DR。因此，虽然相对于真正参考场景的HDR可能稍微变窄，但是EDR仍然表示宽DR宽度并且也可以被称为HDR。
在实践中，图像包括一个或多个颜色分量(例如，辉度Y以及色度Cb和Cr)，其中每个颜色分量由每像素n位的精度(例如，
n＝8)表示。使用线性亮度编码，其中n≤8的图像(例如，彩色24位JPEG图像)被认为是标准动态范围的图像，而n>8的图像可以被认为是增强动态范围的图像。还可以使用高精度(例如，16位)浮点格式(诸如由Industrial Light and Magic开发的OpenEXR文件格式)来存储和分发EDR和HDR图像。
用于给定显示器的参考电光传递函数(EOTF)表征输入视频信号的颜色值(例如，亮度)与由显示器产生的输出屏幕颜色值(例如，屏幕亮度)之间的关系。例如，通过引用整体并入本文的ITU Rec.ITU-R BT.1886，“Reference electro-optical transferfunction for flat panel displays used in HDTV studio production”(2011年3月)基于阴极射线管(CRT)的测量特性定义了用于平板显示器的参考EOTF。给定视频流，关于其EOTF的信息通常作为元数据嵌入位流中。如本文所使用的，术语“元数据”涉及作为编码位流的一部分被发送并且协助解码器渲染解码的图像的任何辅助信息。这种元数据可以包括但不限于如本文所述的颜色空间或色域信息、参考显示参数和辅助信号参数。
大多数消费者桌面显示器目前支持200至300cd/m2或尼特的亮度。大多数消费者HDTV范围从300到500尼特，新型号达到1000尼特(cd/m2)。因此，这种显示器代表相对于HDR或EDR的较低动态范围(LDR)，也称为标准动态范围(SDR)。由于捕获装备(例如，相机)和HDR显示器(例如，来自杜比实验室的PRM-4200专业参考监视器)的进步，HDR内容的可用性增加，因此HDR内容可以被颜色分级并显示在支持更高动态范围(例如，从1000尼特到5000尼特或更多)的HDR显示器上。可以使用支持高亮度能力(例如，0到10000尼特)的替代EOTF来定义这种显示器。在通过引用整体并入本文的SMPTE ST 2084：2014“High Dynamic RangeEOTF of Mastering Reference Displays”中定义了这种EOTF的示例。
如本文所使用的，术语“显示管理”表示将第一动态范围(例如，1000尼特)的输入视频信号映射到第二动态范围(例如，500尼特)的显示所需的处理(例如，色调和色域映射)。显示管理处理的示例在2014年2月13日由R.Atkins等人提交的PCT申请序列No.PCT/US2014/016304('304申请)“Display management for high dynamic range video”中描述，该申请通过引用整体并入本文。显示管理可以由传入的内容的源生成并多路复用到编码位流中的输入元数据辅助或控制。
在一些用例中，视频信号中的视频内容也可以在被发送到目标显示器之前由第三动态范围(例如，100尼特、400尼特等)的图形融合。如本文所使用的，术语“图形”表示可以与视频信号融合的任何类型的图像(例如，菜单、静止图片、向量图形、视频等)。如本发明人认识到的，期望用于将图形与可以用于支持各种显示设备的视频内容融合的改进技术。
本节中描述的方法是可以追求的方法，但不一定是以前构想或追求的方法。因此，除非另有指示，否则不应当仅仅由于它们包括在本节中而假设本节中描述的任何方法是现有技术。类似地，除非另有指示，否则关于一种或多种方法识别出的问题不应当基于本节而假设已经在任何现有技术中被识别出。
附图说明
在附图的图示中通过示例而非限制图示了本发明的实施例，并且附图中相同的附图标记是指相似的元素，其中：
图1A描绘了示例源设备；
图1B描绘了示例目标显示器；
图2A图示了示例视频优先模式；
图2B图示了示例图形优先模式；
图2C图示了示例优先级转换模式；
图3图示了示例处理流程；以及
图4图示了可以在其上实现如本文所述的计算机或计算设备的示例硬件平台的简化框图。
具体实施方式
本文描述了与将图形与视频内容融合相关的视频优先级和图形优先级之间的转换。在下面的描述中，为了解释的目的，阐述了许多具体细节，以便提供对本发明的透彻理解。但是，将清楚的是，可以在没有这些具体细节的情况下实践本发明。在其它情况下，没有详细描述众所周知的结构和设备，以便避免不必要的阻塞、模糊或混淆本发明。
概述
本文描述的示例实施例涉及融合图形数据。在视频接收器中，接收输入视频数据和用于输入视频数据的输入动态元数据。输入视频数据处于视频动态范围。接收处于与该视频动态范围不同的图形动态范围的输入图形数据。从视频接收器通过视频接口链接到的目标显示器接收显示器标识数据。至少部分地基于(a)输入动态元数据、(b)显示器标识数据和(c)数值插值因子来生成插值动态元数据，以操作优先级转换模式，用于在视频优先模式与图形优先模式之间转换。输入视频数据和输入图形数据至少部分地基于插值动态元数据被融合成图形融合的视频数据。图形融合的视频数据和插值动态元数据被发送到目标显示器，用于渲染在图形融合的视频数据中表示的图形融合图像。
在实施例中，通过将输入视频数据的视频动态范围映射到插值动态元数据中指定的源动态范围，从视频动态范围的输入视频数据生成源动态范围的色调映射的视频数据。通过将输入图形数据的图形动态范围映射到插值动态元数据中指定的源动态范围，从图形动态范围的输入图形数据生成源动态范围的映射的图形数据。通过融合源动态范围的色调映射的视频数据和源动态范围的映射的图形数据来生成图形融合的视频数据。
示例源设备和目标显示器
假设传入的编码视频位流(例如，EDR视频位流等)已被正确解码，图1A描绘了示例源设备100的实施例，用于为目标显示器(例如，图1B的150等)生成源视频信号。源设备(100)通过将源视频信号通过视频接口(诸如高清晰度多媒体接口(HDMI)接口等)提供给目标显示器(150)而充当目标显示器(150)的视频源。由源设备(100)生成然后发送到目标显示器(150)的源视频信号可以包括源视频数据122和源元数据127。
图1B描绘了示例目标显示器150的实施例，其可以包括目标显示器管理器130和显示面板135。目标显示器(150)可以通过视频接口向源设备(100)提供显示器标识数据，并且接收从源设备(100)通过视频接口输出的源视频信号。显示器标识数据的示例可以包括但不必只限于以下任何一个：扩展显示器标识数据(EDID)、E-EDID、DisplayID等。
源设备(100)和目标显示器(150)的任何、一些或所有部件(例如，如图1A和图1B等中所示)可以至少部分地用软件、硬件或软件和硬件的组合来实现。
给定由源设备(100)生成的源视频信号中接收的源视频数据(122)和源元数据(127)，目标显示器管理器(130)调整源视频数据(122)的亮度和颜色，以匹配显示面板(135)的动态范围和色域。目标显示器管理器(130)可以部分地基于如用户选择的TV观看简档129(例如，2D模式、3D模式、电影模式、生动模式等)、部分地基于其它环境参数(例如，环境光)等来执行其视频处理操作中的至少一些。然后在显示面板(135)上渲染在视频处理操作之后由目标显示器管理器(130)生成的视频数据132。
如本文所使用的，术语“源设备”表示接收输入数字媒体内容(例如，视频、图片、音乐等)以在电视机、监视器或其它显示器上回放的任何设备。源设备的示例包括数字媒体设备、数字媒体接收器、机顶盒、游戏机(例如，Xbox)、通用个人计算机、平板电脑、专用数字媒体接收器(诸如Apple TV或Roku盒)等。
由源设备(100)接收的传入的编码视频位流可以由源设备(100)解码为输入视频数据102和输入动态元数据104。如图1A中所描绘的，源设备(100)还接收输入图形数据106。输入视频数据(102)可以包括输入图像的序列。如本文所使用的，术语“元数据”涉及作为编码位流的一部分发送的任何辅助信息，并且帮助解码器渲染解码的图像。这种元数据可以包括但不限于颜色空间或色域信息、参考显示参数和辅助信号参数，如本文所述的那些。
输入视频数据(102)可以是RGB颜色格式或任何其它颜色空间(诸如YCbCr、XYZ等)。输入视频数据(102)中表示的输入图像可以在参考监视器(例如，EDR监视器等)上进行颜色分级，参考监视器可以具有与目标显示器不同的动态范围和色域特性。如本文所使用的，术语“颜色分级”表示在一个或多个输入图像(例如，视频、场景、图片组(GOP)、单个图片等)(的空间区域、图像细节等)中调整局部和全局颜色分量(包括但不限于辉度相关值和色度相关值)的处理，以校正颜色伪像和/或匹配艺术意图(例如，导演的意图、颜色分级者的意图、视频专业人员的意图等)。
输入动态元数据(104)可以包括与参考显示器相关的参考显示元数据，其用于在生成输入视频数据(102)的节目制作期间对输入视频数据(102)中表示的输入图像进行颜色分级。例如，这种元数据可以包括ITU-R BT.1866建议书(2011年3月)定义的参考电光传递函数(EOTF)。输入动态元数据(104)还可以包括附加的显示和内容元数据，诸如参考显示器的最大和最小明度，一个或多个输入图像中的图像数据的最大、最小和平均中间色调，以及颜色分级期间环境光的强度。如本文所使用的，术语“内容元数据”可以指基于每帧或每场景调整的、或者每当有在帧序列的图像内容中检测到的某个改变(例如，超过某个阈值等)时调整的、内容相关的元数据。如果没有与输入视频数据(102)相关的元数据，那么在一些实施例中，源设备(100)可以通过分析输入视频数据(102)中的图像内容(例如，最小亮度、最大亮度、平均亮度等)来提取这种数据。如本文所使用的，术语“场景”或“镜头”表示可以共享相同的整体明度特性的一系列连续捕获的帧。指定场景剪辑的内容元数据也可以是输入动态元数据(104)的一部分。
在一些实施例中，输入图形数据(106)(例如，字幕、菜单和其它叠加等)可以在特定于图形的颜色空间和动态范围中可用(例如，Rec.709在100尼特、400尼特处等)，其不同于输入视频数据(102)的颜色空间和动态范围。使事情更复杂的是，源设备(100)中的输入图形的动态范围也可以不同于由目标显示器(150)的目标显示器管理器(135)所支持的最大动态范围。
如图1A中所描绘的，在实施例中，源显示器管理器(110)使用输入视频数据(102)、输入图形数据(106)、EDID(108)、输入动态元数据(104)等来生成或确定预融合视频数据112和预融合图形数据116。更具体而言，在一些实施例中，可以对如输入视频数据(102)中所表示的具有参考动态范围的一个或多个输入图像执行图像映射操作，以映射到具有色调映射的动态范围的一个或多个色调映射的图像；可以对如输入图形数据(106)中所表示的一个或多个输入图形执行图形映射操作，以映射到具有相同色调映射的动态范围的一个或多个逆色调映射的图形。然后，由图形融合器115将具有相同色调映射的动态范围的色调映射的图像和逆色调映射的图形融合成源视频数据(122)中的一个或多个图形融合的图像。应当注意的是，在源设备(100)以视频优先模式操作的一些实施例中，色调映射的动态范围可以被设置为参考动态范围；因此，在这些实施例中，作用于一个或多个输入图像上的图像映射操作可以不包括动态范围映射，或者可以变为不更改一个或多个输入图像的动态范围的空操作。
在实施例中，源显示器管理器(110)和目标显示器管理器(120)中的一个或两个可以基于A.Ballestad和A.Kostlin的美国专利No.8,593,480，“Method and apparatus forimage data transformation”的美国专利中描述的色调映射和逆色调映射方法来实现，该专利通过引用整体并入本文。在'304申请中描述了这种实现的示例；但是，也可以应用替代的映射技术。
在一些实施例中，图形融合在IPT-PQ颜色空间中执行；但是，如本文所述的图形融合也可以在其它颜色空间中执行，诸如线性RGB、伽马RGB、YCbCr、XYZ、CIE-Lab等。于2015年2月26日由Timo Kunkel等人提交的美国专利申请No.14/631,950“Graphics Blending forHigh Dynamic Range Video”中描述了图形融合的一些示例，该申请通过引用整体并入本文。
如本文所使用的，术语“PQ”是指感知量化。人类视觉系统以非常非线性的方式对增加的光线级别作出响应。人类看到刺激的能力受那个刺激的亮度、刺激的尺寸、组成刺激的(一个或多个)空间频率以及眼睛在人观看刺激的特定时刻适应的亮度级别的影响。在优选实施例中，感知量化器函数将线性输入灰度级映射到更好地匹配人类视觉系统中的对比度灵敏度阈值的输出灰度级。PQ映射函数的示例在由J.S.Miller等人于2012年12月6日提交的标题为“Perceptual luminance nonlinearity-based image data exchange acrossdifferent display capabilities”的序列号为PCT/US2012/068212的PCT申请中描述，并且该申请通过引用整体并入本文，其中给出了固定的刺激尺寸，对于每个亮度级别(即，刺激级别)，根据最灵敏的适应级别和最灵敏的空间频率(根据HVS模型)选择那个亮度级别的最小可见对比度步长。与表示物理阴极射线管(CRT)设备的响应曲线并且可以巧合地(coincidently)与人类视觉系统响应的方式非常粗略地相似的传统伽马曲线相比，如由'212申请确定的PQ曲线使用相对简单的功能模型模仿人类视觉系统的真实视觉响应。
基于PQ曲线的EOTF的示例在通过引用整体并入本文的SMPTE ST 2084：2014“HighDynamic Range EOTF of Mastering Reference Displays”中定义。感知量化的EOTF的另一个示例在2014年10月J.Stessen等人的ISO/IEC JTC1/SC29/WG11MPEG2014/M35065“Chromaticity based color signals for wide color gamut and high dynamicrange”中给出，其中该文献通过引用整体并入本文。
再次考虑输入视频数据(102)及其输入动态元数据(104)。如果不需要视频合成(例如，将输入视频数据(102)中表示的输入图像与输入图形数据(106)中表示的输入图形融合)，那么输入视频数据(102)和输入动态元数据(104)两者可以在没有变换的情况下传递到目标显示器(150)。如果需要视频合成，那么除了图形融合之外，元数据再生器(125)可以以源元数据(127)的形式再生元数据，该元数据可以由目标显示器(150)用于解码、色调映射和渲染图形融合的图像。元数据再生器(125)对源元数据(127)的再生可以至少部分地基于在由源设备(102)执行的源显示管理操作中使用的元数据114。
源设备(100)可以结合生成源视频数据(122)中的图形融合的图像以三种不同(例如，稳态等)操作模式操作。第一操作模式是视频优先模式。第二操作模式是图形优先模式。第三操作模式是优先级转换模式。
示例视频优先模式
图2A图示了示例第一操作模式(或视频优先模式)。在视频优先模式下，源设备(100)接收输入的编码位流，并将输入的编码位流解码为输入视频数据(102)和输入动态元数据(104)。
出于说明的目的，输入视频数据(102)具有跨越表示为“Vmin”的参考最小亮度(例如，0.03尼特等)和表示为“Vmax”的参考最大亮度(例如，4000尼特等)之间的参考动态范围202，如在输入动态元数据(104)中所指定的。输入图形数据(106)具有跨越表示为“Gmin”的图形最小亮度(例如，0尼特等)和表示为“Gmax”的图形最大亮度(例如，400尼特等)之间的图形动态范围204。
响应于检测到输入图像数据(106)中没有输入图形用于要与其融合的输入视频数据(102)中的输入图像，源设备(100)以符合管理(govern)源设备(100)和目标显示器(150)之间的视频接口的标准/规范的信号格式打包(pack)输入视频数据(102)和输入动态元数据(104)，并经由视频接口直接向目标显示器(150)输出输入视频数据(102)作为源视频数据(122)以及输入动态元数据(104)作为源元数据(127)。源设备(100)或其中的元数据再生器(125)可以不执行元数据重新映射或再生。
另一方面，响应于检测到输入图形数据(106)中存在输入图形用于要与其融合的输入视频数据(102)中的输入图像，源设备(100)或其中的源显示器管理器(110)执行将这些输入图形逆色调映射到如输入动态元数据(104)中所指示的参考动态范围(202)中的逆色调映射的图形的第一映射操作208。第一映射操作(208)可以包括从如EDID(108)中指示的目标动态范围206到参考动态范围(202)的映射。目标动态范围(206)跨越表示为“Tmin”的目标最小亮度(例如，0.05尼特等)和表示为“Tmax”的目标最大亮度(例如，850尼特等)之间，如在EDID(108)中所指示的。
图形融合器(115)接收具有参考动态范围(202)的输入图像作为预融合视频数据112以及具有参考动态范围(202)的逆色调映射的图形作为预融合图形数据116。
随后，图形融合器(115)将在预融合视频数据(112)中接收的输入图像与预融合图形数据(116)中的逆色调映射的图形(所有这些图像和图形在参考动态范围(202)中表示)融合成图形融合的图像。源设备(100)以符合管理视频接口的标准/规范的信号格式将图形融合的图像和输入动态元数据(104)打包，并经由视频接口将图形融合的图像作为源视频数据(122)并且将输入动态元数据(104)作为源元数据(127)输出到目标显示器(150)。源设备(100)或其中的元数据再生器(125)可以不执行元数据重新映射或再生。
目标显示器(150)经由视频接口从源设备(100)接收源视频数据(122)中的图形融合的图像和源元数据(127)中的输入动态元数据(104)，并执行第二映射操作210，以使用在源元数据(127)中接收的输入动态元数据(104)将图形融合的图像映射到目标显示器能力。在第二映射操作(210)中将图形融合的图像映射到目标显示器能力可以包括但不必仅限于将利用其表示图形融合的图像的参考动态范围(202)映射到目标动态范围(206)。因此，第二映射操作(210)可以表示第一映射操作(208)的逆。作为执行第二映射操作(210)的结果，图形融合的图像中的图形从逆色调映射的图形动态范围返回到(例如，原始的、预逆色调映射的等)图形动态范围(204)。
由目标显示器(150)对输入动态元数据(104)的使用用来确保融合到图形融合的图像中的(输入视频数据(102)中的)输入图像的色调映射针对输入图像被优化。
但是，输入图形数据(106)中的输入图形已被映射两次，其中一次是由第一映射操作(208)表示的从目标动态范围(206)到参考动态范围(202)的逆色调映射，另一次是由第二映射操作(210)表示的从参考动态范围(202)到目标动态范围(206)的色调映射。
在一些实施例中，第一映射操作(208)(例如，完全、基本上等)抵消第二映射操作(210)对图形的影响，使得由目标显示器(150)渲染的图形具有输入图形数据(106)中的相同图形动态范围(204)。
但是，在一些实施例中，第一映射操作(208)可以不抵消第二映射操作(210)对图形的影响；由目标显示器(150)渲染的图形可以具有相对于输入图形数据(106)中的图形动态范围(204)偏离的动态范围。这可以由各种底层(underlying)因素造成，包括但不限于(例如，稍微等)由目标显示器(150)发送到源设备(100)的不准确的EDID信息。在示例中，在EDID(108)中，目标显示器(150)可以指示/报告与在目标设备(150)中实现/实施的实际目标动态范围(例如，825尼特的实际最大亮度等)稍微不同的目标动态范围(例如，具有850尼特的最大亮度等)。在另一个示例中，在EDID(108)中，目标显示器(150)可以指示/报告没有目标显示器(150)中实际使用的图像处理算法或指示/报告与其不同的图像处理算法。在又一个示例中，在EDID(108)中，目标显示器(150)可以指示/报告没有实际对目标显示器(150)进行的用户调整或指示/报告与其不同的用户调整。
在一些操作场景中，诸如闭路字幕文本之类的图形是小的。在一些其它操作场景中，诸如用于改变频道的菜单、电子节目指南等的图形是大的。一方面，如果图像中的图形比图像中的非图形视频内容小得多，那么视觉伪像可能太小而不会显著或令人反感。另一方面，如果图像中的图形在空间上足够大或甚至覆盖整个屏幕，那么视觉伪像可能变得显著或令人反感。示例视觉伪像可以包括但不必仅限于以下任何一个：闪烁、呼吸(例如，时间视觉变化、视觉脉动等)、其它显著或令人反感的调整等。
示例图形优先模式
图2B图示了示例第二操作模式(或图形优先模式)。如在视频优先模式下那样，在图形优先模式下，源设备(100)接收输入的编码位流，并将输入的编码位流解码为输入视频数据(102)和输入动态元数据(104)。
源设备(100)执行第三映射操作212，该操作将输入视频数据(102)中的输入图像色调映射到如EDID(108)中指定的目标动态范围(206)中的色调映射的图像。第三映射操作(212)可以包括从如输入动态元数据(104)中指示的参考动态范围(202)到目标动态范围(206)的映射。源设备(100)或其中的元数据再生器(125)基于EDID(108)来再生静态元数据，该静态元数据识别/指定用其表示色调映射的图像的相同目标动态范围(206)。在一些实施例中，在图形优先模式下生成的静态元数据不从图像到图像、从场景到场景等而变化。元数据再生器(125)可以接收元数据(114)中的静态元数据，如在由源设备(102)执行的源显示器管理操作中使用的。
响应于检测到输入图形数据(106)中没有输入图形用于要与其融合的输入视频数据(102)中的输入图像，源设备(100)以符合管理源设备(100)和目标显示器(150)之间的视频接口的标准/规范的信号格式打包色调映射的图像和静态元数据，并经由视频接口向目标显示器(150)输出色调映射的图像作为源视频数据(122)、并且输出静态元数据作为源元数据(127)。在接收到源视频数据(122)中色调映射的图像和源元数据(127)中的静态元数据时，目标显示器(150)确定静态元数据指示色调映射的图像(已经)在目标动态范围(206)中表示，并且避免对源视频数据(122)中色调映射的图像在不同动态范围之间执行任何色调映射操作。可以由目标显示器(150)在显示面板(135)上直接用源视频数据(122)中表示的目标动态范围(206)渲染色调映射的图像。
另一方面，响应于检测到输入图形数据(106)中存在输入图形用于要与其融合的输入视频数据(102)中的输入图像，源设备(100)或其中的源显示器管理器(110)执行第四映射操作214，该操作将这些输入图形逆色调映射到如EDID(108)中所指示的目标动态范围(206)中的逆色调映射的图形。第四映射操作(214)可以包括从图形动态范围(204)到目标动态范围(206)的映射。
图形融合器(115)接收具有目标动态范围(206)的色调映射的图像作为预融合视频数据112以及具有相同目标动态范围(206)的逆色调映射的图形作为预融合图形数据116。
随后，图形融合器(115)将在预融合视频数据(112)中接收的输入图像与预融合图形数据(116)中的逆色调映射的图形(所有这些图像和图形在目标动态范围(206)中表示)融合成图形融合的图像。源设备(100)以符合管理视频接口的标准/规范的信号格式将图形融合的图像和静态元数据打包，并经由视频接口向目标显示器(150)输出图形融合的图像作为源视频数据(122)、并且输出静态元数据作为源元数据(127)。
目标显示器(150)经由视频接口从源设备(100)接收源视频数据(122)中的图形融合的图像和源元数据(127)中的静态元数据。在接收到源视频数据(122)中的图形融合的图像和源元数据(127)中的静态元数据时，目标显示器(150)确定静态元数据指示图形融合的图像(已经)在目标动态范围(206)中表示，并避免对源视频数据(122)中的图形融合的图像在不同动态范围之间执行任何色调映射操作。可以由目标显示器(150)在显示面板(135)上用源视频数据(122)中表示的目标动态范围(206)直接渲染图形融合的图像。
由于源元数据(127)包括不从图像到图像、从场景到场景等而变化的静态元数据，因此目标显示器(150)无需将在源视频数据(122)中接收的图像的输入动态范围映射到不同的动态范围。因此，如在图形融合的图像中表示的输入图像的图像内容和在相同图形融合的图像中表示的图形的图形内容就动态范围而言是稳定的。因此，在图形优先模式下可以避免与视频优先模式相关联的一些或所有视觉缺陷/伪像。
但是，将输入视频数据(102)中的输入图像映射到图形融合的图像中表示的输入图像的图像内容是由不渲染图形融合的图像的源设备(100)执行的，而不是由实际渲染图形融合的图像的目标设备(150)执行。与由实际渲染图形融合的图像的目标设备(例如，150)执行的映射相比，由源设备(100)执行的这种映射可能是次优的。与如源设备(100)所依据的EDID(108)指定的那些相比，目标设备(150)可以具有更多与渲染相关的控制和选项(例如，背光、用户模式、对多个动态范围的支持等)以最佳地渲染图像(无论是否图形融合)。这些与渲染相关的控制和选项中的一些或全部(否则可供目标显示器(150)选择)可以被静态元数据禁用或受其影响，因为静态元数据指示源视频数据(122)中的图像已经被源设备(100)转换成目标显示器(150)的目标动态范围(206)。在示例中，如果由目标显示器(150)来映射源视频数据(122)，那么目标显示器(150)可以选择最大亮度为400尼特的动态范围，而不是EDID报告的850尼特的最大亮度。由目标显示器(150)选择的动态范围可以更好地用于渲染某些图形融合的图像。在另一个示例中，如果由目标显示器(150)来映射源视频数据(122)，那么目标显示器(150)可以操作可以未在EDID(108)中报告的可能已经优化的附加映射，从而渲染某些图形图像。
视频优先模式和图形优先模式两者具有各自优势的有效用例。一般而言，视频优先模式针对来自输入视频数据(102)的非图形视频内容进行优化，而图形模式针对来自输入图形数据(106)的图形进行优化。在一些操作场景中，期望两种优先模式之间的平滑转换，例如为了允许没有融合图形的图像以无缝的方式平滑地转换成具有融合图形的图像，或反过来。为了支持两种优先模式之间的平滑转换，源元数据(127)中表示的操作参数、配置参数等(其与源视频数据(122)相关联并且由源设备(100)发送到目标显示器(150))可以在视频优先模式与图形优先模式之间平滑地改变。
与视频数据相关联的示例元数据
在一些实施例中，源元数据(127)可以包括以下当中的一些或全部：视频编码参数、源显示器参数、源内容色域参数、环境参数、用于指定用于将源视频数据(122)的亮度范围划分成具体亮度区域的点的元数据等。
源元数据(127)可以被划分或分类为不同级别的元数据。在一些实施例中，源元数据(127)中的L0元数据提供/描述关于用其表示源视频数据(122)的源显示器的动态范围的信息。在图形优先模式下，源元数据(127)中的L0元数据可以包括静态元数据，以指示目标动态范围(206)作为用其表示源视频数据(122)的源显示器的动态范围。在视频优先模式下，源元数据(127)中的L0元数据可以包括动态元数据，以指示参考动态范围(202)作为用其表示源视频数据(122)的源显示器的动态范围。在优先级转换模式下，源元数据(127)中的L0元数据可以包括源设备再生的动态元数据，以指示不同于目标动态范围(206)和参考动态范围(202)两者的动态范围作为用其表示源视频数据(122)的源显示器的动态范围。用于视频优先模式的源显示器是用于生成输入视频数据(102)的参考显示器。用于图形优先模式的源显示器是目标显示器(150)。用于优先级转换模式的源显示器不是实际显示器，而是具有不同于目标动态范围(206)和参考动态范围(202)两者的动态范围(如在L0元数据中所指示的)的逻辑显示器。
源元数据(127)中的L1元数据提供/描述关于如源视频数据(122)中所表示的源图像、源场景、源GOP等中的亮度值的分布的信息。在一些实施例中，亮度值的分布可以由基于图像、场景、GOP等的图像内容(例如，像素值、辉度值、色度值、Y值、Cb/Cr值、RGB值等)导出的直方图来表示。在一些实施例中，由源设备(100)接收的输入动态元数据(104)提供/描述关于如由源设备接收的输入视频数据(102)中所表示的输入图像、输入场景、输入GOP等中的输入亮度值的分布的信息(例如，在直方图等中)。输入视频数据(102)中的输入图像、输入场景、输入GOP等可以用于导出如源视频数据(122)中所表示的源图像、源场景等。输入图像、输入场景、输入GOP等中的输入亮度值的分布可以用于导出(例如，基于从输入动态元数据(104)中指示的参考动态范围(202)到如源元数据(127)的L0元数据所中所指示的源显示器的动态范围的映射)如源视频数据(122)中所表示的源图像、源场景、源GOP等中的亮度值的分布。如前所述，源元数据(127)的L0元数据中指示的源显示器的动态范围分别指(a)图形优先模式下的目标动态范围(206)、(b)视频优先模式下的参考动态范围(202)，以及(c)优先级转换模式下的不同于目标动态范围(206)和参考动态范围(202)两者的动态范围。
在一些实施例中，L1元数据可以将源视频数据(122)中表示的源图像(例如，没有图形融合的图像、具有图形融合的图像等)的亮度范围划分为具体亮度区域。例如，源内容的亮度范围被划分为多个区域，其中区域可以由沿着亮度范围的点来定义。这种范围可以由一个图像、图像的集合、一个视频场景、多个视频场景来定义。L1元数据可以被目标显示器(150)用来生成/定义从用其表示源视频数据(122)的源显示器的动态范围(如在L0元数据中所指示的)到目标动态范围(206)的特定于目标显示器的映射。如果源元数据(127)中的L0元数据指示目标动态范围(206)作为源显示器的动态范围，那么目标显示器(150)可以跳过从源显示器的动态范围到目标动态范围(206)的映射。
在不失一般性的情况下，令视频数据(例如，102、122等)中的图像(例如，在GOP中、在场景中、在多个场景中、在媒体节目中等)由三个变量来表征，在示例性实施例中由变量Crush、Mid和Clip表示，它们分别表示图像的最低黑水平、平均灰度水平和最高白水平。可以为每个帧、帧的一部分、GOP中的帧序列、场景等计算它们的值。这些参数的值可以或者基于图像来计算，或者它们可以是与图像相关联的动态元数据(例如，104、127等)的一部分。在实施例中，这些参数是基于每个场景计算的。如本文所使用的，术语“场景”或“镜头”表示可以共享相同的整体明度特点的一系列连续捕获的帧。
L2元数据提供/描述关于视频特点调整的信息，这些调整源自导演、颜色分级者、视频专业人员等在具有参考动态范围(202)的参考显示器的制作工作室中进行的调整或追溯到这些调整。在一些实施例中，由源设备(100)接收的输入动态元数据(104)中的输入L2元数据可以作为源元数据(127)中的源L2元数据被传递到目标显示器(150)。
L3元数据提供/描述关于视频特点调整的信息，这些调整源自导演、颜色分级者、视频专业人员等在具有不同于参考动态范围(202)的第二参考动态范围的第二参考显示器的制作工作室中进行的调整或者追溯到这些调整。在一些实施例中，由于源设备(100)已经知道它是源视频数据(122)和源元数据(127)应当指向的目标显示器(150)，因此源设备(100)不需要发送并且不向目标显示器(150)发送任何L3元数据。因此，在这些实施例中，源元数据(127)可以不包括L3元数据。
在一些实施例中，源元数据(127)可以包括其它级别的元数据，诸如与源视频数据(122)相关的局部调光(dimming)元数据、在源视频数据(122)中表示的显著特征的标识等。
示例优先级转换模式
在视频优先模式和图形优先模式之间，在源设备(100)中存在至少两个配置差异。
第一配置差异在于，对于接收方目标显示器(150)，在视频优先模式下，由输入动态元数据(104)指示的参考动态范围(202)被设置为的L0元数据的源动态范围，而对于接收方目标显示器(150)，在图形优先模式下，由EDID(108)指示的目标动态范围(206)被设置为的L0元数据的源动态范围。源动态范围的最大亮度(218)是如图2A中所示的视频优先模式下的参考动态范围(202)的最大亮度，以及如图2B中所示的图形优先模式下的目标动态范围(206)的最大亮度。
第二配置差异在于，在视频优先模式下，输入图形数据(106)中的图形被逆映射到由输入动态元数据(104)指示的参考动态范围(202)，而在图形优先模式下，输入图形数据(106)中的图形被逆映射到由EDID(108)指示的目标动态范围(206)。但是，在给定模式下图形被逆映射到的动态范围由那个模式下的相同L0元数据表示。更具体而言，在视频优先模式下图形被逆映射到的动态范围是由视频优先模式下的L0元数据表示的参考动态范围(202)，而图形优先模式下图形被逆映射到的动态范围是由视频优先模式下的L0元数据表示的目标动态范围(206)。
因此，相同的元数据可以由源设备(100)通过HDMI传递到目标显示器(150)，以指示针对源视频数据(122)的源动态范围并指示图形已被逆映射到的动态范围(具有与源动态范围相同的最大亮度(218))。
图2C图示了示例第三操作模式(或优先级转换模式)。当源设备(100)以视频优先模式和图形优先模式之间的优先级转换模式操作时，源设备或其中的元数据再生器(125)生成包括操作参数、配置参数等的源元数据(127)，这些参数是从视频优先模式下和图形优先模式下的对应操作参数、对应配置参数等融合或插值的。元数据再生器(125)对源元数据(127)的再生可以至少部分地基于在由源设备(102)执行的源显示器管理操作中使用的元数据(114)(在图形优先级模式下，该元数据表示插值的动态元数据)。
在一些实施例中，由源设备(100)在从输入动态元数据(104)接收的L1元数据和从目标显示器(150)接收的基于EDID(108)的静态值之间插值与优先级转换模式相关的L1元数据。从输入动态元数据(104)接收的L2元数据可以由源设备(100)不变地传递到目标显示器(150)。L4元数据(例如，用于局部调光操作等)可以在从输入动态元数据(104)接收的L4元数据和静态值(例如，如输入动态元数据(104)中针对参考显示器所指示的4000尼特等)之间被插值等。在一些实施例中，优先级转换模式下用于插值值的端点值与或者视频优先模式或者图形优先模式下的端点值完全相同。
出于说明的目的，如在视频优先模式和图形优先模式下那样，源设备(100)接收输入的编码位流，并将输入的编码位流解码为输入视频数据(102)和输入动态元数据(104)。
源设备(100)执行第三映射操作(212)，该操作将输入视频数据(102)中的输入图像色调映射到源动态范围中的色调映射的图像，该源动态范围具有从参考动态范围(202)的最大亮度和目标动态范围(206)的最大亮度插值的最大亮度(218)，并且具有从参考动态范围(202)的最小亮度和目标动态范围(206)的最小亮度插值的最小亮度。在一些实施例中，由源设备(100)将输入图像色调映射到的、源动态范围的最大亮度(218)和最小亮度被如下确定：
DMParams.TmaxPQ＝DMParams.SmaxPQ*alpha+SinkParams.TmaxPQ*(1-alpha) (1)
DMParams.TminPQ＝DMParams.SminPQ*alpha+SinkParams.TminPQ*(1-alpha) (2)
其中DMParams.TmaxPQ和DMParams.TminPQ分别表示用于由源设备(100)发送到目标显示器(150)的源视频数据(122)的源动态范围的最大亮度(218)和最小亮度；DMParams.SmaxPQ和DMParams.SminPQ分别表示用于控制(master)由源设备(100)接收的输入视频数据(102)的参考动态范围(202)的最大亮度(Vmax)和最小亮度(Vmin)；SinkParams.TmaxPQ和SinkParams.TminPQ分别表示目标显示器(150)的目标动态范围(206)的最大亮度(Tmax)和最小亮度(Tmin)；以及alpha表示值范围[0,1]中的数值插值因子。
当源设备(100)以视频优先模式操作时，数值插值因子alpha被设置为1。当源设备(100)以图形优先模式操作时，数值插值因子alpha被设置为0。当源设备(100)以优先级转换模式操作时，数值插值因子alpha被设置为0和1之间的中间值。
第三映射操作(212)可以包括从输入动态元数据(104)中指示的参考动态范围(202)到由上述表达式(1)和表达式(2)的左手侧(LHS)描绘的源动态范围的映射。在一些实施例中，可以如下基于色调映射参数来配置从参考动态范围(202)到源动态范围的映射(例如，作为平滑曲线、作为S形曲线等)。
OutputMetadata.Level1.Crush＝Metadata.Level1.Crush*alpha+SinkParams.TminPQ*(1-alpha) (3)
OutputMetadata.Level1.Mid＝Metadata.Level1.Mid*alpha+mean([SinkParams.TminPQ SinkParams.TmaxPQ])*(1-alpha) (4)
OutputMetadata.Level1.Clip＝Metadata.Level1.Clip*alpha+SinkParams.TmaxPQ*(1-alpha) (5)
其中，OutputMetadata.Level1.Crush，OutputMetadata.Level1.Mid和OutputMetadata.Level1.Clip表示源视频数据(122)中表示的源图像的最低黑水平、平均灰度水平和最高白水平；并且Metadata.Level1.Crush，Metadata.Level1.Mid和Metadata.Level1.Clip表示在输入视频数据(102)中表示的对应输入图像的最低黑水平、平均灰度水平和最高白水平，它们被用于导出源视频数据(122)中表示的源图像。
在一些实施例中，源设备(100)或其中的源显示器管理器(110)执行第四映射操作(214)，该操作将输入图形数据(106)中的输入图形逆色调映射到在由上述表达式(1)和表达式(2)的LHS描绘的相同源动态范围内的逆色调映射的图形。第四映射操作(214)可以包括从无剪切(clip)图形动态范围到源动态范围的映射。在一些实施例中，由源设备(100)将输入图形逆色调映射到的、无剪切图形动态范围的最大亮度(218)和最小亮度被如下确定：
GraphicsParams.SmaxPQ＝max(GraphicsParams.SmaxPQ，SinkParams.TmaxPQ) (6)
GraphicsParams.SminPQ＝min(GraphicsParams.SminPQ，SinkParams.TminPQ) (7)
其中，表达式(6)和表达式(7)的左手侧(LHS)的GraphicsParams.SmaxPQ和GraphicsParams.SminPQ分别表示如前面所提到的无剪切图形动态范围(204)的最大亮度和最小亮度；表达式(6)和表达式(7)的右手侧(RHS)的GraphicsParams.SmaxPQ和GraphicsParams.SminPQ分别表示用于生成由源设备(100)接收的输入图形数据(106)的图形动态范围(204)的最大亮度(Gmax)和最小亮度(Gmin)。
第四映射操作(214)可以包括从由上述表达式(6)和表达式(7)的左手侧(LHS)描绘的无剪切图形动态范围到由上述表达式(1)和表达式(2)的左手侧(LHS)描绘的源动态范围的映射。在一些实施例中，可以如下基于色调映射参数来配置从无剪切图形动态范围到源动态范围的映射(例如，作为平滑曲线、作为S形曲线等)。
GraphicsMetadata.Level1.Crush＝Metadata.Level1.Crush*alpha+GraphicsParams.SminPQ*(1-alpha) (8)
GraphicsMetadata.Level1.Mid＝Metadata.Level1.Mid*alpha+mean([GraphicsParams.SmaxPQ GraphicsParams.SminPQ])*(1-alpha) (9)
GraphicsMetadata.Level1.Clip＝Metadata.Level1.Clip*alpha+GraphicsParams.SmaxPQ*(1-alpha) (10)
其中GraphicsMetadata.Level1.Crush、GraphicsMetadata.Level1.Mid和GraphicsMetadata.Level1.Clip表示源视频数据(122)中表示的源图像中要包括的图形的最低黑水平、平均灰度水平和最高白水平。
图形融合器(115)接收具有源动态范围的色调映射的图像作为预融合视频数据112和具有相同源动态范围的逆色调映射的图形作为预融合图形数据116。
随后，图形融合器(115)将在预融合视频数据(112)中接收的输入图像与预融合图形数据(116)中的逆色调映射的图形(所有这些图像和图形在相同的源动态范围内表示)融合成图形融合的图像。
源设备(100)或其中的元数据再生器(125)再生识别/指定用其表示源视频数据(122)中的色调映射的图像的源动态范围的插值的动态元数据(例如，作为L0元数据、表达式(1)和表达式(2)的LHS等)。此外、可选地或可替代地，源设备(100)或其中的元数据再生器(125)再生识别/指定源视频数据(122)中表示的色调映射的图像或源图像的亮度特点的插值的动态元数据(例如，作为L1元数据、表达式(4)和表达式(5)的LHS等)。在一些实施例中，在优先级转换模式下生成的插值的动态元数据从图像到图像、从GOP到GOP、从场景到场景等变化。
源设备(100)以符合管理视频接口的标准/规范的信号格式将图形融合的图像与插值的动态元数据打包，并经由视频接口向目标显示器(150)输出图形融合的图像作为源视频数据(122)，并且输出插值的动态元数据作为源元数据(127)。
目标显示器(150)经由视频接口从源设备(100)接收源视频数据(122)中的图形融合的图像和源元数据(127)中的插值的元数据。在接收到源视频数据(122)中的图形融合的图像和源元数据(127)中的插值的动态元数据时，目标显示器(150)确定插值的动态元数据指示图形融合的图像在由上述表达式(1)和表达式(2)的LHS描绘的源动态范围中表示(该源动态范围不同于目标动态范围(206))，并且继续对源视频数据(122)中的图形融合的图像执行源动态范围和目标动态范围(20)之间的色调映射操作。可以由目标显示器(150)在显示面板(135)上用目标动态范围(206)渲染色调映射的图形融合的图像。
在视频优先与图形优先之间转换
如本文所述的源设备(例如，100等)可以以各种方式中的任何一种使用视频优先模式和图形优先模式之间的优先级转换模式。如前所述，视频优先模式针对源图像的视频内容(例如，在源视频数据(122)等中)进行相对优化，该视频内容是从由源设备(100)接收的输入视频数据(例如，102等)导出的。相反，图形优先模式针对源图像的图形内容(例如，在源视频数据(122)等中)进行相对优化，该图形内容是从由源设备(100)接收的输入图形数据(例如，106等)导出的。
在示例中，最初占据显示面板(例如，135等)的不显眼位置(例如，角落)的图形可以被设计为从该不显眼的位置飞入并占据显示面板的相对大的部分(135)。可能存在诸如0.3、0.5秒、1秒等之类的短时间间隔，在此期间图形完成从显示面板(135)的不显眼位置到相对大部分的这个飞入过程。直到这个飞入过程的开始(例如，如在源设备(100)上运行的媒体播放应用等中实现的那样)，源设备(100)以视频优先模式操作。在这个飞入过程结束时，源设备(100)以图形优先模式操作。可以在短时间间隔中的一些或全部使用优先级转换模式，以从视频优先模式转换到图形优先模式。在一些实施例中，从视频优先模式到图形优先模式的这种转换可以是相对平滑的，通过相对平滑地改变在优先级转换模式中使用的数值插值因子alpha来实现。
在另一个示例中，最初占据显示面板(135)的相对大部分的图形可以被设计为飞出到显示面板(135)的不显眼位置(例如，角落)。可能存在诸如0.3、0.5秒、1秒等之类的短时间间隔，在此期间图形完成从显示面板(135)的相对大部分到不显眼位置的这个飞出过程。直到这个飞出过程的开始(例如，如在源设备(100)上运行的媒体播放应用等中实现的那样)，源设备(100)以图形优先模式操作。在这个飞出过程结束时，源设备(100)以视频优先模式操作。可以在短时间间隔中的一些或全部使用优先级转换模式，以从图形优先模式转换到视频优先模式。在一些实施例中，从图形优先模式到视频优先模式的这种转换可以是相对平滑的，通过相对平滑地改变在优先级转换模式中使用的数值插值因子alpha来实现。
在又一个示例中，用户可以在观看触发显示图形的视频节目或直播TV的同时按下一个或多个按钮(例如，暂停按钮、菜单按钮、菜单退出按钮等)。响应于这样的(一个或多个)用户动作、外部事件等，源设备(100)可以在短时间间隔内以优先级转换模式操作，以在视频优先模式与图形优先模式之间转换，并且反之亦然。
在优先级转换模式中使用的数值插值因子alpha可以表示为时间的函数。表示随时间变化的数值插值因子的函数的示例可以包括但不必仅限于以下任何一个：相对平滑变化的函数、相对突然的(具有不同阶数的不连续性)、解析函数、线性函数、非线性函数、指数函数、对数函数、非解析函数、阶梯函数等。数字插值因子alpha可以以编程方式确定(例如，在没有任何用户输入的情况下自动地、结合用户输入、取决于图形的尺寸、取决于视频内容等))、事件驱动(例如，按钮按下、用户接口事件等)、缺省地(例如，0.5秒、特定曲线、特定功能等)、暴露给媒体消费/播放应用的用户接口设计者、暴露给源设备的用户等。
示例处理流程
图3图示了根据本发明实施例的示例处理流程。在一些实施例中，一个或多个计算设备或部件(例如，编码设备/模块、转码设备/模块、解码设备/模块、色调映射设备/模块、图形融合设备、图像融合设备/模块、媒体设备/模块等)可以执行这个处理流程。在方框302中，媒体接收器(诸如源设备(100)等)接收输入视频数据并输入用于输入视频数据的动态元数据。输入视频数据处于视频动态范围。
在方框304中，媒体接收器接收处于不同于视频动态范围的图形动态范围的输入图形数据。
在方框306中，媒体接收器从视频接收器通过视频接口链接到的目标显示器接收显示器标识数据。
在方框308中，媒体接收器至少部分地基于(a)输入动态元数据、(b)显示器标识数据和(c)数值插值因子来生成插值的动态元数据，以操作用于在视频优先模式与图形优先模式之间转换的优先级转换模式。
在方框310中，媒体接收器至少部分地基于插值的动态元数据将输入视频数据和输入图形数据融合成图形融合的视频数据。
在方框312中，媒体接收器将图形融合的视频数据和插值的动态元数据发送到目标显示器，以渲染在图形融合的视频数据中表示的图形融合的图像。
在实施例中，来自目标显示器的显示器标识数据指定目标显示器的目标动态范围；插值的动态元数据指定源动态范围，源动态范围具有在视频动态范围的最大亮度和目标动态范围的最大亮度之间插值的最大亮度。
在实施例中，媒体接收器还被配置为执行：通过将输入视频数据的视频动态范围映射到在插值的动态元数据中指定的源动态范围，从视频动态范围的输入视频数据生成源动态范围的色调映射的视频数据；通过将输入图形数据的图形动态范围映射到在插值的动态元数据中指定的源动态范围，从图形动态范围的输入图形数据生成源动态范围的映射的图形数据；通过融合源动态范围的色调映射的视频数据和源动态范围的映射的图形数据，生成图形融合的视频数据；等等。
在实施例中，来自目标显示器的显示器标识数据指定目标显示器的目标动态范围；插值的动态元数据指定源动态范围，该源动态范围具有在视频动态范围的最大亮度和目标动态范围的最大亮度之间插值的最大亮度；插值的动态元数据使得目标显示器对图形融合的视频数据执行从插值的动态元数据中指定的源动态范围到目标动态范围的色调映射操作。
在实施例中，媒体接收器在分离视频优先模式与图形优先模式的连续时间间隔内连续地以优先级转换模式操作。
在实施例中，数值插值因子表示时间的函数。
在实施例中，显示器标识数据表示扩展显示器标识数据(EDID)、E-EDID、DisplayID等。
在实施例中，媒体接收器还被配置为执行：当媒体接收器在视频优先模式下操作时，向目标显示器发送处于视频动态范围的视频内容。处于视频动态范围的视频内容直接从输入视频数据导出，而不在不同的动态范围之间进行映射。
在实施例中，媒体接收器还被配置为执行：当媒体接收器在图形优先模式下操作时，向目标显示器发送处于目标动态范围的色调映射的视频内容。通过将输入视频数据从视频动态范围映射到目标动态范围，从输入视频数据导出处于视频动态范围的色调映射的视频内容。
在实施例中，输入视频数据和图形融合的视频数据中的至少一个由感知量化的码字值表示。
在实施例中，输入视频数据和图形融合的视频数据中的至少一个由非感知量化的码字值表示。
在实施例中，计算设备(诸如显示设备、移动设备、机顶盒、多媒体设备等)被配置为执行任何前述方法。在实施例中，一种装置包括处理器，并且被配置为执行任何前述方法。在实施例中，一种非瞬态计算机可读存储介质存储软件指令，所述软件指令在由一个或多个处理器执行时使得执行任何前述方法。
在实施例中，一种计算设备包括一个或多个处理器和存储指令集的一个或多个存储介质，所述指令集在由一个或多个处理器执行时使得执行任何前述方法。
要注意的是，虽然在本文讨论了单独的实施例，但是可以组合本文讨论的实施例和/或部分实施例的任意组合，以形成另外的实施例。
示例计算机系统实现
本发明的实施例可以用计算机系统、以电子电路系统和部件配置的系统、诸如微控制器的集成电路(IC)设备、现场可编程门阵列(FPGA)或另一种可配置或可编程逻辑器件(PLD)、离散时间或数字信号处理器(DSP)、专用IC(ASIC)和/或包括一个或多个这种系统、设备或部件的装置来实现。计算机和/或IC可以执行、控制或执行与具有增强的动态范围的图像的自适应感知量化相关的指令，诸如本文所描述的那些。计算机和/或IC可以计算与本文所述的自适应感知量化处理相关的各种参数或值中的任何一个。图像和视频实施例可以在硬件、软件、固件及其各种组合中实现。
本发明的某些实施例包括执行使处理器执行本发明的方法的软件指令的计算机处理器。例如，显示器、编码器、机顶盒、代码转换器等中的一个或多个处理器可以通过执行处理器可访问的、程序存储器中的软件指令来实现与上述HDR图像的自适应感知量化相关的方法。本发明也可以以程序产品的形式提供。程序产品可以包括携带包括指令的计算机可读信号集合的任何非瞬态介质，当指令由数据处理器执行时，使数据处理器执行本发明的方法。根据本发明的程序产品可以是各种各样的形式中的任何一种。程序产品可以包括例如物理介质(诸如包括软盘、硬盘驱动器的磁性数据存储介质，包括CD ROM、DVD的光学数据存储介质，包括ROM、闪存RAM的电子数据存储介质，等等)。程序产品上的计算机可读信号可以可选地被压缩或加密。
在上面提到部件(例如，软件模块、处理器、组件、设备、电路等)时，除非另有说明，否则对那个部件的引用(包括对“装置”的引用)应当被解释为包括那个部件的等同物(执行所述部件的功能的任何部件(例如，功能上相当)，包括在结构上不等同于执行在本发明的说明性示例实施例中的功能的所公开的结构的部件)。
根据一个实施例，本文描述的技术由一个或多个专用计算设备实现。专用计算设备可以是硬连线的以执行这些技术，或者可以包括数字电子设备(诸如被持久地编程为执行这些技术的一个或多个专用集成电路(ASIC)或现场可编程门阵列(FPGA))，或者可以包括被编程为根据固件、存储器、其它存储装置或组合中的程序指令执行这些技术的一个或多个通用硬件处理器。这种专用计算设备还可以将定制的硬连线逻辑、ASIC或FPGA与定制编程相结合，以实现这些技术。专用计算设备可以是台式计算机系统、便携式计算机系统、手持设备、联网设备或者结合硬连线和/或程序逻辑以实现这些技术的任何其它设备。
例如，图4是图示可以在其上实现本发明实施例的计算机系统400的框图。计算机系统400包括总线402或用于传送信息的其它通信机制，以及与总线402耦合以处理信息的硬件处理器404。硬件处理器404可以是例如通用微处理器。
计算机系统400还包括耦合到总线402的主存储器406，诸如随机存取存储器(RAM)或其它动态存储设备，用于存储将由处理器404执行的信息和指令。主存储器406还可以用于存储在执行由处理器404执行的指令期间的临时变量或其它中间信息。当存储在处理器404可访问的非瞬态存储介质中时，这些指令使计算机系统400成为被定制以执行指令中指定的操作的专用机器。
计算机系统400还包括耦合到总线402的只读存储器(ROM)408或其它静态存储设备，用于存储用于处理器404的静态信息和指令。存储设备410(诸如磁盘或光盘)被提供并耦合到总线402，用于存储信息和指令。
计算机系统400可以经由总线402耦合到显示器412(诸如液晶显示器)，用于向计算机用户显示信息。包括字母数字键和其它键的输入设备414耦合到总线402，用于将信息和命令选择传送到处理器404。另一种类型的用户输入设备是光标控件416(诸如鼠标、轨迹球或光标方向键)，用于将方向信息和命令选择传送到处理器404并用于控制显示器412上的光标移动。这种输入设备通常在两个轴(第一轴(例如，x)和第二轴(例如，y))上具有两个自由度，这允许设备指定平面中的位置。
计算机系统400可以使用定制的硬连线逻辑、一个或多个ASIC或FPGA、固件和/或程序逻辑(它们与计算机系统相结合，使计算机系统400成为或将计算机系统400编程为专用机器)来实现本文所述的技术。根据一个实施例，响应于处理器404执行包含在主存储器406中的一个或多个指令的一个或多个序列，计算机系统400执行本文所述的技术。这些指令可以从另一个存储介质(诸如存储设备410)读入到主存储器406中。包含在主存储器406中的指令序列的执行使得处理器404执行本文所述的处理步骤。在替代实施例中，可以使用硬连线的电路系统代替软件指令或与软件指令组合。
如本文使用的术语“存储介质”是指存储使机器以特定方式操作的数据和/或指令的任何非瞬态介质。这种存储介质可以包括非易失性介质和/或易失性介质。非易失性介质包括例如光盘或磁盘，诸如存储设备410。易失性介质包括动态存储器，诸如主存储器406。存储介质的常见形式包括例如软盘、柔性盘、硬盘、固态驱动器、磁带或任何其它磁数据存储介质、CD-ROM、任何其它光学数据存储介质、任何具有孔图案的物理介质、RAM、PROM和EPROM、FLASH-EPROM、NVRAM、任何其它存储器芯片或盒式磁带。
存储介质不同于传输介质但可以与传输介质结合使用。传输介质参与在存储介质之间传送信息。例如，传输介质包括同轴电缆、铜线和光纤，包括包含总线402的导线。传输介质也可以采用声波或光波的形式，诸如在无线电波和红外数据通信期间生成的那些。
各种形式的介质可以参与将一个或多个指令的一个或多个序列传载到处理器404以供执行。例如，指令最初可以在远程计算机的磁盘或固态驱动器上携带。远程计算机可以将指令加载到其动态存储器中，并使用调制解调器通过电话线发送指令。计算机系统400本地的调制解调器可以在电话线上接收数据并使用红外发送器将数据转换成红外信号。红外检测器可以接收红外信号中携带的数据，并且适当的电路系统可以将数据放在总线402上。总线402将数据传载到主存储器406，处理器404从主存储器406检索并执行指令。由主存储器406接收的指令可以可选地在由处理器404执行之前或之后存储在存储设备410上。
计算机系统400还包括耦合到总线402的通信接口418。通信接口418提供耦合到网络链路420的双向数据通信，其中网络链路420连接到本地网络422。例如，通信接口418可以是集成服务数字网(ISDN)卡、电缆调制解调器、卫星调制解调器或者提供与对应类型的电话线的数据通信连接的调制解调器。作为另一个示例，通信接口418可以是局域网(LAN)卡，以提供与兼容LAN的数据通信连接。还可以实现无线链路。在任何此类实现中，通信接口418发送和接收携带表示各种类型信息的数字数据流的电信号、电磁信号或光信号。
网络链路420通常通过一个或多个网络向其它数据设备提供数据通信。例如，网络链路420可以提供通过本地网络422到主计算机424或到由互联网服务提供商(ISP)426操作的数据设备的连接。ISP 426进而通过全球分组数据通信网络(现在通常称为“互联网”428)提供数据通信服务。本地网络422和互联网428两者使用携带数字数据流的电信号、电磁信号或光信号。通过各种网络的信号以及在网络链路420上并通过通信接口418的信号(其将数字数据携带到计算机系统400并从计算机系统400携带数字数据)是传输介质的示例形式。
计算机系统400可以通过(一个或多个)网络、网络链路420和通信接口418发送消息和接收数据，包括程序代码。在互联网示例中，服务器430可以通过互联网428、ISP 426、本地网络422和通信接口418发送对应用程序的所请求代码。
接收到的代码可以在被接收到时由处理器404执行，和/或存储在存储设备410或其它非易失性储存器中以供稍后执行。
等同物、扩展、替代方案和杂项
在前面的说明书中，已经参考众多具体细节描述了本发明的实施例，这些细节可以从实现到实现有所变化。因此，作为本发明的唯一和排他的指示并且是申请人作为本发明的意图的内容是从本申请发出的权利要求的集合，以这种权利要求发出的具体形式，包括任何后续的更正。对于这些权利要求中包含的术语在本文明确阐述的任何定义将决定权利要求中使用的术语的含义。因此，权利要求中没有明确叙述的任何限制、元素、特性、特征、优点或属性不应当以任何方式限制这种权利要求的范围。因而，说明书和附图被认为是说明性而不是限制性的。
从以下列举的示例实施例(EEE)可以理解本发明的各个方面：
EEE1.在视频接收器中，一种用于融合图形数据的方法，该方法包括：
接收输入视频数据和用于输入视频数据的输入动态元数据，其中输入视频数据处于视频动态范围；
接收处于不同于视频动态范围的图形动态范围的输入图形数据；
从视频接收器通过视频接口链接到的目标显示器接收显示器标识数据；
至少部分地基于(a)输入动态元数据、(b)显示器标识数据和(c)数值插值因子来生成插值的动态元数据，以操作优先级转换模式，用于在视频优先模式与图形优先模式之间转换；
至少部分地基于插值的动态元数据将输入视频数据和输入图形数据融合成图形融合的视频数据；
将图形融合的视频数据和插值的动态元数据发送到目标显示器，以渲染在图形融合的视频数据中表示的图形融合的图像。
EEE2.如EEE1所述的方法，其中来自目标显示器的显示器标识数据指定目标显示器的目标动态范围；并且其中插值的动态元数据指定源动态范围，源动态范围具有在视频动态范围的最大亮度和目标动态范围的最大亮度之间插值的最大亮度。
EEE 3.如EEE 2所述的方法，还包括：
通过将输入视频数据的视频动态范围映射到在插值的动态元数据中指定的源动态范围，从视频动态范围的输入视频数据生成源动态范围的色调映射的视频数据；
通过将输入图形数据的图形动态范围映射到在插值的动态元数据中指定的源动态范围，从图形动态范围的输入图形数据生成源动态范围的映射的图形数据；
通过融合源动态范围的色调映射的视频数据和源动态范围的映射的图形数据，生成图形融合的视频数据。
EEE4.如EEE2所述的方法，其中来自目标显示器的显示器标识数据指定目标显示器的目标动态范围；其中插值的动态元数据指定源动态范围，该源动态范围具有在视频动态范围的最大亮度和目标动态范围的最大亮度之间插值的最大亮度；并且其中插值的动态元数据使得目标显示器对图形融合的视频数据执行从插值的动态元数据中指定的源动态范围到目标动态范围的色调映射操作。
EEE5.如EEE1-4中任一项所述的方法，其中媒体接收器在分离视频优先模式与图形优先模式的连续时间间隔内连续地以优先级转换模式操作。
EEE6.如EEE1-5中任一项所述的方法，其中数值插值因子表示时间的函数。
EEE7.如EEE1-6中任一项所述的方法，其中显示器标识数据表示以下之一：扩展显示器标识数据(EDID)、E-EDID或DisplayID。
EEE 8.如EEE1-7中任一项所述的方法，还包括：当媒体接收器在视频优先模式下操作时，向目标显示器发送处于视频动态范围的视频内容，其中处于视频动态范围的视频内容直接从输入视频数据导出，而不在不同的动态范围之间进行映射。
EEE9.如EEE 1-8中任一项所述的方法，还包括：当媒体接收器在图形优先模式下操作时，向目标显示器发送处于目标动态范围的色调映射的视频内容，其中通过将输入视频数据从视频动态范围映射到目标动态范围，从输入视频数据导出处于视频动态范围的色调映射的视频内容。
EEE10.如EEE 1-9中任一项所述的方法，其中输入视频数据和图形融合的视频数据中的至少一个由感知量化的码字值表示。
EEE11.如EEE1-10中任一项所述的方法，其中输入视频数据和图形融合的视频数据中的至少一个由非感知量化的码字值表示。
EEE12.一种计算机系统，被配置为执行如EEE1-11中所述的任何一种方法。
EEE13.一种装置，包括处理器并且被配置为执行如EEE1-11中所述的任何一种方法。
EEE14.一种非瞬态计算机可读存储介质，其上存储有用于执行如EEE1-11中任一项所述的方法的计算机可执行指令。

Claims (17)

1.一种在视频接收器中用于融合图形数据的方法，该方法包括：
接收输入视频数据和用于输入视频数据的输入动态元数据，其中输入视频数据处于视频动态范围；
接收处于不同于视频动态范围的图形动态范围的输入图形数据；
从视频接收器通过视频接口链接到的目标显示器接收显示器标识数据；
至少部分地基于(a)输入动态元数据、(b)显示器标识数据和(c)数值插值因子来生成插值的动态元数据；
至少部分地基于插值的动态元数据将输入视频数据和输入图形数据融合成图形融合的视频数据；
将图形融合的视频数据和插值的动态元数据发送到目标显示器，以渲染在图形融合的视频数据中表示的图形融合的图像，
其中来自目标显示器的显示器标识数据指定目标显示器的目标动态范围；并且
其中插值的动态元数据指定源动态范围，源动态范围具有在视频动态范围的最大亮度和目标动态范围的最大亮度之间插值的最大亮度。
2.如权利要求1所述的方法，还包括：
通过将输入视频数据的视频动态范围映射到在插值的动态元数据中指定的源动态范围，从视频动态范围的输入视频数据生成源动态范围的色调映射的视频数据；
通过将输入图形数据的图形动态范围映射到在插值的动态元数据中指定的源动态范围，从图形动态范围的输入图形数据生成源动态范围的映射的图形数据；
通过融合源动态范围的色调映射的视频数据和源动态范围的映射的图形数据，生成图形融合的视频数据。
3.如权利要求1所述的方法，其中来自目标显示器的显示器标识数据指定目标显示器的目标动态范围；其中插值的动态元数据指定源动态范围，该源动态范围具有在视频动态范围的最大亮度和目标动态范围的最大亮度之间插值的最大亮度；并且其中插值的动态元数据使得目标显示器对图形融合的视频数据执行从插值的动态元数据中指定的源动态范围到目标动态范围的色调映射操作。
4.如权利要求1所述的方法，其中数值插值因子表示时间的函数。
5.如权利要求1所述的方法，其中显示器标识数据表示以下中的一个：扩展显示器标识数据(EDID)、E-EDID或DisplayID。
6.如权利要求1所述的方法，其中生成插值的动态元数据以操作用于在视频优先模式与图形优先模式之间转换的优先级转换模式。
7.如权利要求6所述的方法，还包括：当视频接收器在视频优先模式下操作时，向目标显示器发送处于视频动态范围的视频内容，其中处于视频动态范围的视频内容直接从输入视频数据导出，而不在不同的动态范围之间进行映射。
8.如权利要求6或7所述的方法，还包括：当视频接收器在图形优先模式下操作时，向目标显示器发送处于目标动态范围的色调映射的视频内容，其中通过将输入视频数据从视频动态范围映射到目标动态范围，从输入视频数据导出处于视频动态范围的色调映射的视频内容。
9.如权利要求6或7所述的方法，其中视频接收器在分离视频优先模式与图形优先模式的连续时间间隔内连续地以优先级转换模式操作。
10.如权利要求1所述的方法，其中输入视频数据和图形融合的视频数据中的至少一个由感知量化的码字值表示。
11.如权利要求1所述的方法，其中输入视频数据和图形融合的视频数据中的至少一个由非感知量化的码字值表示。
12.一种计算机系统，被配置为执行如权利要求1-11中任一项所述的方法。
13.一种包括处理器并且被配置为执行如权利要求1-11中任一项所述的方法的装置。
14.一种非瞬态计算机可读存储介质，其上存储有用于执行如权利要求1-11中任一项所述的方法的计算机可执行指令。
15.一种被配置为执行如权利要求1-11中任一项所述的方法的视频接收器。
16.一种计算设备，包括：
一个或多个处理器，以及
一个或多个存储介质，存储有指令集，所述指令集在被所述一个或多个处理器执行时使得执行如权利要求1-11中任一项所述的方法。
17.一种包括用于执行如权利要求1-11中任一项所述的方法的部件的装置。
CN201780032761.7A 2016-05-27 2017-05-25 在视频优先级与图形优先级之间转换 Active CN109219844B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110854224.9A CN113593500B (zh) 2016-05-27 2017-05-25 图形数据融合方法、数据映射方法、以及设备
CN202110853917.6A CN113593499B (zh) 2016-05-27 2017-05-25 在视频优先级与图形优先级之间转换

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662342676P 2016-05-27 2016-05-27
US62/342,676 2016-05-27
EP16180680 2016-07-22
EP16180680.7 2016-07-22
PCT/US2017/034593 WO2017205702A1 (en) 2016-05-27 2017-05-25 Transitioning between video priority and graphics priority

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN202110854224.9A Division CN113593500B (zh) 2016-05-27 2017-05-25 图形数据融合方法、数据映射方法、以及设备
CN202110853917.6A Division CN113593499B (zh) 2016-05-27 2017-05-25 在视频优先级与图形优先级之间转换

Publications (2)

Publication Number Publication Date
CN109219844A CN109219844A (zh) 2019-01-15
CN109219844B true CN109219844B (zh) 2021-08-20

Family

ID=56683722

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202110854224.9A Active CN113593500B (zh) 2016-05-27 2017-05-25 图形数据融合方法、数据映射方法、以及设备
CN201780032761.7A Active CN109219844B (zh) 2016-05-27 2017-05-25 在视频优先级与图形优先级之间转换
CN202110853917.6A Active CN113593499B (zh) 2016-05-27 2017-05-25 在视频优先级与图形优先级之间转换

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110854224.9A Active CN113593500B (zh) 2016-05-27 2017-05-25 图形数据融合方法、数据映射方法、以及设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110853917.6A Active CN113593499B (zh) 2016-05-27 2017-05-25 在视频优先级与图形优先级之间转换

Country Status (5)

Country Link
US (3) US10692465B2 (zh)
EP (2) EP3465673B1 (zh)
CN (3) CN113593500B (zh)
PL (1) PL3745390T3 (zh)
WO (1) WO2017205702A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3465673B1 (en) * 2016-05-27 2020-07-29 Dolby Laboratories Licensing Corporation Transitioning between video priority and graphics priority
JP2018013696A (ja) * 2016-07-22 2018-01-25 キヤノン株式会社 画像処理装置および表示装置
US11252391B2 (en) * 2017-03-06 2022-02-15 Nevermind Capital Llc Methods and apparatus for packing images into a frame and/or including additional content or graphics
JP7117626B2 (ja) 2017-06-21 2022-08-15 パナソニックＩｐマネジメント株式会社 映像表示装置及び映像表示方法
US10939158B2 (en) * 2017-06-23 2021-03-02 Samsung Electronics Co., Ltd. Electronic apparatus, display apparatus and control method thereof
US10735688B2 (en) * 2017-07-13 2020-08-04 Samsung Electronics Co., Ltd. Electronics apparatus, display apparatus and control method thereof
EP3654657B1 (en) 2017-07-14 2021-11-24 Panasonic Intellectual Property Management Co., Ltd. Video display device and video display method
EP3451677A1 (en) * 2017-09-05 2019-03-06 Koninklijke Philips N.V. Graphics-safe hdr image luminance re-grading
US11019302B2 (en) 2017-09-28 2021-05-25 Dolby Laboratories Licensing Corporation Frame rate conversion metadata
JP7108880B2 (ja) * 2017-10-06 2022-07-29 パナソニックＩｐマネジメント株式会社 映像表示装置及び映像表示方法
KR102391480B1 (ko) * 2017-11-06 2022-04-29 삼성디스플레이 주식회사 디스플레이 구동 집적 회로 및 이를 포함하는 디스플레이 장치
KR20200095651A (ko) * 2019-02-01 2020-08-11 삼성전자주식회사 고 동적 범위 콘텐트를 재생하는 전자 장치 및 그 방법
JP7256663B2 (ja) * 2019-03-26 2023-04-12 キヤノン株式会社 画像出力装置およびその制御方法
US11404025B2 (en) * 2019-04-10 2022-08-02 Mediatek Inc. Video processing system for performing artificial intelligence assisted picture quality enhancement and associated video processing method
KR20210045227A (ko) * 2019-10-16 2021-04-26 삼성전자주식회사 디스플레이 장치 및 그 동작방법
DE102019128554B4 (de) * 2019-10-22 2024-05-16 Schölly Fiberoptic GmbH Endoskopieverfahren zur verbesserten Darstellung eines Videosignals sowie zugehöriges Endoskopiesystem und Computerprogrammprodukt
WO2021222310A1 (en) * 2020-04-28 2021-11-04 Dolby Laboratories Licensing Corporation Image-dependent contrast and brightness control for hdr displays
JP2023529134A (ja) * 2020-06-03 2023-07-07 ドルビー ラボラトリーズ ライセンシング コーポレイション Ｈｄｒコンテンツを編集するための動的メタデータの計算
US12100426B2 (en) 2020-07-17 2024-09-24 Dolby Laboratories Licensing Corporation Video content creation tool and method
US11348470B1 (en) 2021-01-07 2022-05-31 Rockwell Collins, Inc. Apparent video brightness control and metric
US20240171775A1 (en) 2021-05-21 2024-05-23 Dolby Laboratories Licensing Corporation Patch-based reshaping and metadata for volumetric video
CN115620660B (zh) * 2021-09-22 2023-11-03 荣耀终端有限公司 基于帧数据的显示驱动方法、电子设备及存储介质
EP4283459A1 (en) * 2022-05-24 2023-11-29 Koninklijke Philips N.V. Mixing secondary graphics elements in hdr images

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101416227A (zh) * 2005-12-06 2009-04-22 杜比实验室特许公司 模块化电子显示器
CN101542539A (zh) * 2006-10-10 2009-09-23 奥多比公司 投射阴影的自动陷印
CN101742136A (zh) * 2008-11-18 2010-06-16 中兴通讯股份有限公司 一种基于多媒体终端的自适应显示方法
CN102414738A (zh) * 2009-04-30 2012-04-11 杜比实验室特许公司 具有三维和场序颜色合成控制的高动态范围显示器
CN102906810A (zh) * 2010-02-24 2013-01-30 爱普莱克斯控股公司 支持视觉受损的个体的扩增的现实全景
CN103091843A (zh) * 2011-11-04 2013-05-08 微软公司 透视显示器亮度控制
CN104581437A (zh) * 2014-12-26 2015-04-29 中通服公众信息产业股份有限公司 一种视频摘要生成及视频回溯的方法及系统

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101058010B1 (ko) * 2004-09-07 2011-08-19 삼성전자주식회사 그래픽 데이터 생성 장치, 방법 및 정보 저장 매체
US7987484B2 (en) 2007-06-24 2011-07-26 Microsoft Corporation Managing media content with a self-organizing map
US8887048B2 (en) 2007-08-23 2014-11-11 Sony Computer Entertainment Inc. Media data presented with time-based metadata
US20090062944A1 (en) 2007-09-04 2009-03-05 Apple Inc. Modifying media files
DE102010026633B4 (de) 2010-07-09 2013-08-01 Vfree.Tv Gmbh Client, Server, System, Verfahren und Computerprogrammprodukt zum individuellen und zeitunabhängigen Nutzen von Medieninhalten
US9075806B2 (en) 2011-02-22 2015-07-07 Dolby Laboratories Licensing Corporation Alignment and re-association of metadata for media streams within a computing device
TWI538474B (zh) 2011-03-15 2016-06-11 杜比實驗室特許公司 影像資料轉換的方法與設備
US20130089138A1 (en) 2011-06-27 2013-04-11 Qualcomm Incorporated Coding syntax elements using vlc codewords
EP2745290A1 (en) * 2011-09-27 2014-06-25 Koninklijke Philips N.V. Apparatus and method for dynamic range transforming of images
DK3079055T3 (da) 2011-12-06 2019-06-03 Dolby Laboratories Licensing Corp Indretning og fremgangsmåde til at forbedre den perceptuelle luminans ikke-lineæritetsbaserede billeddataudveksling på tværs af forskellige displayegenskaber
TWI606718B (zh) * 2012-01-03 2017-11-21 杜比實驗室特許公司 規定視覺動態範圍編碼操作及參數
US8872850B2 (en) * 2012-03-05 2014-10-28 Microsoft Corporation Juxtaposing still and dynamic imagery for cliplet creation
US20140016304A1 (en) * 2012-07-10 2014-01-16 Xinming Gao Led backlight driving circuit, backlight module, and lcd device
US8886846B2 (en) 2012-11-07 2014-11-11 Ati Technologies Ulc Flexible implementation of serial bus support over display interface
CN102970542B (zh) 2012-11-30 2015-06-10 上海晨思电子科技有限公司 一种视频数据转换的方法、装置和智能电视
CN105009567B (zh) * 2013-02-21 2018-06-08 杜比实验室特许公司 用于合成叠加图形的外观映射的系统和方法
US10055866B2 (en) 2013-02-21 2018-08-21 Dolby Laboratories Licensing Corporation Systems and methods for appearance mapping for compositing overlay graphics
WO2014130343A2 (en) 2013-02-21 2014-08-28 Dolby Laboratories Licensing Corporation Display management for high dynamic range video
WO2014176019A1 (en) 2013-04-23 2014-10-30 Dolby Laboratories Licensing Corporation Transmitting display management metadata over hdmi
CN105409225B (zh) * 2013-07-19 2019-09-17 皇家飞利浦有限公司 Hdr元数据传输
CN105594204B (zh) 2013-10-02 2017-08-15 杜比实验室特许公司 通过hdmi传输显示管理元数据
CN105379263B (zh) * 2013-11-13 2017-09-22 杜比实验室特许公司 用于指导图像的显示管理的方法和设备
JP6258683B2 (ja) * 2013-12-03 2018-01-10 株式会社日立製作所 光伝送システム
US9538155B2 (en) * 2013-12-04 2017-01-03 Dolby Laboratories Licensing Corporation Decoding and display of high dynamic range video
US9230338B2 (en) 2014-03-05 2016-01-05 Dolby Laboratories Licensing Corporation Graphics blending for high dynamic range video
US9584786B2 (en) * 2014-03-05 2017-02-28 Dolby Laboratories Licensing Corporation Graphics blending for high dynamic range video
US10637972B2 (en) 2014-05-06 2020-04-28 Lattice Semiconductor Corporation System for dynamic audio visual capabilities exchange
JP6571073B2 (ja) 2014-05-20 2019-09-04 エルジー エレクトロニクス インコーポレイティド ディスプレイ適応的映像再生のためのビデオデータ処理方法及び装置
US20150350641A1 (en) 2014-05-29 2015-12-03 Apple Inc. Dynamic range adaptive video coding system
JP2016538745A (ja) 2014-08-08 2016-12-08 エルジー エレクトロニクス インコーポレイティド ディスプレイ適応的映像再生のためのビデオデータ処理方法及び装置
EP3193326B1 (en) 2014-09-11 2019-05-15 Sony Corporation Image-processing device, and image-processing method
US10136074B2 (en) * 2015-06-02 2018-11-20 Samsung Electronics Co., Ltd. Distribution-point-based adaptive tone mapping
US10909949B2 (en) * 2015-06-12 2021-02-02 Avago Technologies International Sales Pte. Limited System and method to provide high-quality blending of video and graphics
EP3465673B1 (en) * 2016-05-27 2020-07-29 Dolby Laboratories Licensing Corporation Transitioning between video priority and graphics priority

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101416227A (zh) * 2005-12-06 2009-04-22 杜比实验室特许公司 模块化电子显示器
CN101542539A (zh) * 2006-10-10 2009-09-23 奥多比公司 投射阴影的自动陷印
CN101742136A (zh) * 2008-11-18 2010-06-16 中兴通讯股份有限公司 一种基于多媒体终端的自适应显示方法
CN102414738A (zh) * 2009-04-30 2012-04-11 杜比实验室特许公司 具有三维和场序颜色合成控制的高动态范围显示器
CN102906810A (zh) * 2010-02-24 2013-01-30 爱普莱克斯控股公司 支持视觉受损的个体的扩增的现实全景
CN103091843A (zh) * 2011-11-04 2013-05-08 微软公司 透视显示器亮度控制
CN104581437A (zh) * 2014-12-26 2015-04-29 中通服公众信息产业股份有限公司 一种视频摘要生成及视频回溯的方法及系统

Also Published As

Publication number Publication date
EP3745390B1 (en) 2023-10-04
CN113593499B (zh) 2023-12-12
CN113593500A (zh) 2021-11-02
EP3465673A1 (en) 2019-04-10
CN113593499A (zh) 2021-11-02
CN109219844A (zh) 2019-01-15
EP3745390A1 (en) 2020-12-02
US20190304407A1 (en) 2019-10-03
US10692465B2 (en) 2020-06-23
PL3745390T3 (pl) 2024-03-04
US20180018932A1 (en) 2018-01-18
US20200066225A1 (en) 2020-02-27
EP3465673B1 (en) 2020-07-29
US10460699B2 (en) 2019-10-29
WO2017205702A1 (en) 2017-11-30
US11183143B2 (en) 2021-11-23
CN113593500B (zh) 2024-02-13

Similar Documents

Publication Publication Date Title
CN109219844B (zh) 在视频优先级与图形优先级之间转换
US10977849B2 (en) Systems and methods for appearance mapping for compositing overlay graphics
JP7422832B2 (ja) 様々なレベルのメタデータを含む色管理を制御するスケーラブルシステム
US10055866B2 (en) Systems and methods for appearance mapping for compositing overlay graphics
KR101972748B1 (ko) 이미지들의 다이내믹 레인지 변환을 위한 장치 및 방법
EP3308547B1 (en) Metadata describing nominal lighting conditions of a reference viewing environment for video playback
CN110770787B (zh) 高效端到端单层逆向显示管理编码
JP2022540067A (ja) ハイダイナミックレンジ用映像コンテンツタイプメタデータ
KR102704419B1 (ko) Hdr 콘텐츠를 편집하기 위한 동적 메타데이터를 계산하는 것

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant