CN108831511B - 用于使用场景稳定元数据的系统、方法、设备和存储介质 - Google Patents

用于使用场景稳定元数据的系统、方法、设备和存储介质 Download PDF

Info

Publication number
CN108831511B
CN108831511B CN201810682570.1A CN201810682570A CN108831511B CN 108831511 B CN108831511 B CN 108831511B CN 201810682570 A CN201810682570 A CN 201810682570A CN 108831511 B CN108831511 B CN 108831511B
Authority
CN
China
Prior art keywords
scene
metadata
video
stable
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810682570.1A
Other languages
English (en)
Other versions
CN108831511A (zh
Inventor
R·阿特金斯
R·耶尤格
曲晟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN108831511A publication Critical patent/CN108831511A/zh
Application granted granted Critical
Publication of CN108831511B publication Critical patent/CN108831511B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller

Abstract

本文中公开了用于使用场景稳定元数据的系统、方法、设备和存储介质。将视频数据流划分或分割为场景，并且可以针对视频数据的给定场景产生第一组元数据。第一组元数据可以是任何已知的作为视频内容的期望应变量的元数据(例如，亮度)。可以逐帧地产生第一组元数据。在一个例子中，可以产生场景稳定元数据，其可以不同于场景的第一组元数据。可以通过监视场景的期望特征来产生场景稳定元数据，并且可以使用该场景稳定元数据来将期望特征保持在可接受的值范围内。这可以帮助避免当呈现视频数据时的明显的并且可能令人反感的视觉伪像。

Description

用于使用场景稳定元数据的系统、方法、设备和存储介质
本申请是申请号为201480042828.1、申请日为2014年7月28日、 发明名称为“用于产生场景稳定元数据的系统和方法”的发明专利申 请的分案申请。
相关申请的交叉引用
本申请要求2013年7月30日提交的美国临时专利申请No. 61/859,956的优先权，该申请的全部内容由此通过引用并入。
技术领域
本发明涉及视频内容创建和呈现，并且特别地，涉及用于产生用 于改进目标显示器上的视频数据的呈现的相关联的元数据的系统和方 法。
背景技术
视频文件中的元数据典型地是每一帧地产生或者针对关键帧产生 的。然而，在许多情况下，视频回放可能具有对于视频内容的观众而 言令人反感的伪像。这些伪像在场景之间(例如，对于可能具有某些 共同特征的场景来说)可能是明显的。例如，照相机可能正在捕捉在 空间和时间上正在移动的单个演员的视频——例如，在昏暗的房间里 并且移动到户外阳光灿烂的空间的一个瞬间。
周围条件的这样的改变可能对观众引起明显的伪像(例如，改变 前面提及的演员的面部色调)。当视频内容将被显示在可关于其性能 (例如，对于亮度、色域呈现等)具有限制的目标显示器上时，可能 尤其如此。对于内容创作者(诸如导演或后期制作人员)，可以通过 产生基于场景的元数据来减轻这样的伪像。
发明内容
本文中公开了用于针对期望的视频数据流产生并应用场景稳定元 数据的方法和系统。给出了如下的系统和/或方法，在这些系统和/或 方法中，将视频数据流划分或分割为场景，并且针对视频数据的给定 场景可产生第一组元数据。第一组元数据可以是任何已知的作为视频 内容的期望应变量(function)的元数据(例如，亮度、色域等)。 第一组元数据可以逐帧地产生。在一个实施例中，可以产生场景稳定 元数据，其可以不同于场景的第一组元数据。可以通过监视场景的期 望特征来产生场景稳定元数据，并且可以使用该场景稳定元数据来将 期望特征保持在可接受的值范围内。这可以帮助避免呈现视频数据时 的明显的并且可能令人反感的视觉伪像。
在一个实施例中，一种用于在视频数据流中使用场景稳定元数据 的方法，该方法包括：将视频数据流划分为一组场景；产生与该组场 景内的第一场景相关联的第一元数据；产生场景稳定元数据；并且将 场景稳定元数据与所述第一场景相关联。
在另一实施例中，一种用于对视频数据使用场景稳定元数据的系 统，该系统包括：处理器；与所述处理器相关联的存储器，所述存储 器进一步包括处理器可读指令，以使得当所述处理器读取处理器可读 指令时，使处理器执行以下指令：接收视频数据流，所述视频数据流 包括一组场景；对于该组场景，产生与该组场景相关联的第一元数据； 产生一组场景稳定元数据；并且对于至少一个场景，将场景稳定元数 据与所述至少一个场景相关联。
在又一实施例中，一种视频处理器包括：处理器；与所述处理器 相关联的存储器，所述存储器进一步包括处理器可读指令，以使得当 所述处理器读取处理器可读指令时，使处理器执行以下指令：接收传 入的视频数据流，所述视频数据流包括一组场景；接收与至少一个场 景相关联的第一组元数据；接收场景切换基本上是传入的视频数据流 的下一帧的指示；接收场景稳定元数据；并且将场景稳定元数据基本 上与传入的视频数据流的该下一帧相关联。
当结合本申请内呈现的附图阅读具体实施方式时，本系统的其他 特征和优点在下面在具体实施方式中被呈现。
附图说明
示例性实施例在附图的参考图中被例示说明。本文中公开的实施 例和附图要被例示性地、而非限制性地考虑。
图1描绘了根据本发明的原理构成的视频流水线系统的环境和架 构的一个实施例。
图2A和图2B描绘了可以适合于本申请的目的的视频流水线流程 图的两个实施例。
图3描绘了在示例性目标显示器的显示管理时可发生的视频处理 的高级流程图的一个实施例。
图4是用于视频文件的场景稳定元数据的产生和关联的视频处理 的一个实施例。
图5是将场景改变的预先(advanced)通知合并在视频流水线中 的流程图的一个实施例。
图6描绘了被分割为场景的一个示例性视频文件以及包括场景改 变的指示的场景内的一个帧。
具体实施方式
如本文中所使用的，术语“组件”、“系统”、“接口”等意图 指代计算机相关实体，该计算机相关实体是硬件、(例如，执行中的) 软件和/或固件。例如，组件可以是在处理器上运行的过程、处理器、 对象、可执行指令、程序和/或计算机。举例说明，在服务器上运行的应用和服务器两者都可以是组件。一个或多个组件可以驻留在过程内， 并且组件可以被本地化在一个计算机上和/或分布在两个或更多个计 算机之间。组件也可以意图指代通信相关实体，该通信相关实体是硬 件、(例如，执行中的)软件和/或固件，并且还可以包括足以实现通 信的有线或无线硬件。
在以下整个描述中，对特定细节进行了阐述，以便向本领域技术 人员提供更透彻的理解。然而，未对公知的元件进行详细示出或描述， 以避免不必要地模糊本公开。因此，描述和附图要从例示性的、而非 限制性的意义上来看待。
引言
为了在目标显示器上的视频回放中确保时间稳定性(例如，没有 闪烁、脉动、时明时暗等)并且减轻可能不适宜的视觉伪像，可能期 望与视频数据相关联的元数据随着时间的过去大体上是稳定的。在几 个实施例中，这可以通过强制使得元数据在场景的持续时间上稳定来 实现。这样的元数据可以被允许在每次场景切换时改变。在这样的情 况下，元数据中的适应内容的改变对于观众可以是不明显的。
仅举一例，可以临在显示之前逐帧地估计视频/图像数据元数据。 然而，这可能对场景的显现——可能地，在场景的中间——导致使人 不愉快的明显的改变。
在本申请的若干实施例中，描述了用于产生或以其他方式创建与 视频数据相关和/或关联的元数据的系统和方法。在本申请的许多实施 例中，如本文中将更详细地描述的，相关联的元数据可被逐场景地产 生。这样的元数据可以在视频数据流的前端被创建——或者在视频数 据流的任何其他合适的部分被创建。视频数据可以被传输和/或发送给 视频数据的用户/消费者/观众——不管是在电影院、家庭观看环境、 视频会议、还是在视频数据将被观看和/或消费的任何地方。
在以下共有的专利和/或专利申请中描述了许多元数据-产生和/或 元数据-消费技术：
(1)Messmer的2013年3月28日公布的、标题为“TONE AND GAMUT MAPPING METHODSAND APPARATURS”的美国专利 申请20130076763；
(2)Messmer等人的2013年6月27日公布的、标题为“DATA TRANSMISSION USINGOUT-OF-GAMUT COLOR COORINATES”的美国专利申请20130162666；
(3)Longhurst等人的2013年6月6日公布的、标题为 “MEATDATA FOR USE INCOLOR GRADING”的美国专利申请 20130141647；以及
(4)Messmer等人的2012年12月13日公布的、标题为“VIDEO DELIVERY ANDCONTROL BY OVERWRITING VIDEO DATA”的美国专利申请20120315011。
——所有这些申请的全部内容都由此通过引用并入。
图1、图2A和图2B描绘了本申请的系统和/或方法可以驻留在其 中的若干一般性的环境系统(分别为100、200、206)。这些系统表 示可能的端对端视频产生/传输/观看视频流水线——例如，在这些流 水线中，视频可以被捕捉，被逐场景地进行元数据提取，并且被置于 视频流中以供发布，被发送给目标显示器以供观看。
在图1中，系统100(或者其部分)可以被配置为执行本文中所 描述的方法中的一种或多种。系统100的组件可以被实现为软件、固 件、硬件和/或它们的组合。系统100包括视频捕捉子系统102、后期 制作子系统103和显示子系统104。视频数据流123(更具体地说，对 于视频流流水线中的不同点，123-1、123-2、123-3)由视频捕捉子系 统102产生，并且被输送到后期制作子系统103以供处理和编辑。视 频图像可以在编辑视频数据123的过程中在后期制作子系统103的参 考显示器111上被显示和观看。编辑后的视频数据123(经由编码器 127A和解码器127B通过发布介质125)被输送到显示子系统104以 供进一步处理和显示。子系统102、103和104(以及编码器127A) 中的每一个均可以被配置为在视频数据123中编码元数据225。下游 子系统可以被配置为从上游装置接收视频数据123并且对已经嵌入在 其中的元数据225进行解码。元数据225可以被下游子系统(例如， 子系统103和104)用于指导视频数据123的处理和/或显示。元数据 225可以连同显示器表征参数120一起被显示子系统104使用以控制 和/或指导显示子系统104的显示器118上的视频回放。
如图1中所见，子系统102、103和104可以分别包括处理器106、 108和116、以及可供各自的处理器访问的程序存储器107、109和117。 每个处理器(在这里和其他地方被描述)可以包括中央处理单元 (CPU)、一个或多个微处理器、一个或多个现场可编程门阵列(FPGA)、或它们的任何组合、或能够如本文中所描述的那样运作 的包括硬件和/或软件的任何其他合适的处理单元(一个或多个)。在 每个子系统中，处理器执行由存储在程序存储器中的软件提供的指令。 软件可以包括执行如本文中描述的元数据产生、编码、解码和处理步 骤的例程，诸如，举例来说，执行以下操作的例程：
(1)产生元数据225或者接收关于元数据225的参数；
(2)在视频数据123被传送到下游装置之前，在视频数据123 中编码元数据225；
(3)从自上游装置接收的视频数据123解码元数据225；
(4)处理并应用元数据225来指导视频数据的处理和/或显示；
(5)基于图像和/或视频数据123来选择用于对元数据225进行 编码的方法；
(6)等等。
系统100可以包括可供子系统102、103和104访问的储存库110。 储存库110可以包括元数据定义库112(例如，该库向元数据编码器 和解码器通知如何产生和/或读取元数据)和保留字列表114(例如， 受到保护的像素值或保留的元数据字)。在产生、编码和/或处理元数 据时，元数据定义库112可以被子系统102、103和104访问。在对元 数据225进行编码或解码时，可以将保留字114与编码的/解码的元数 据比特进行比较以识别要插入到(或者已经被插入到)元数据流中的 保护比特的序列，以防止保留字的传送。虽然在图1的例示说明的实 施例中示出了共享储存库110，但是在其他实施例中，子系统102、103 和104中的每个均可以结合有可供该子系统访问的存储介质中存储的 本地储存库110。
图2A是示出根据特定实施例的通过视频输送流水线200的数据 流程的流程图。视频输送流水线200具有与图1的视频输送流水线100 中所描绘的级类似的级。在视频输送流水线200的一个或多个级处， 可以产生元数据225，并且将元数据225嵌入在视频数据流123中以 供在下游级使用。元数据225连同视频数据123一起通过视频输送流 水线200被传输，以指导下游装置对视频数据进行处理和/或在方框 210指导显示子系统处的视频回放。在方框206，可以使用适合于视频 内容输送的类型(例如，通过卫星、电缆或高清网络的电视广播；通 过IP或无线网络的流传输多媒体；从DVD或其他存储介质的回放； 等等)的系统、设备和方法，将包括嵌入的元数据225的视频数据123 输送到显示子系统。
在图2A实施例中，在方框202，可以产生照相机元数据225A， 并且将照相机元数据225A嵌入在视频数据123-1中。可以基于照相机 设置和视频帧捕捉环境来产生照相机元数据225A。照相机元数据 225A可以包括例如提供视频帧捕捉期间的照相机设置的快照的照相 机参数。这样的照相机参数可以包括光圈(f光阑)、透镜、快门速 度、灵敏度(ISO额定值)等。这些照相机参数可以被用于指导视频 输送流水线200中的后续步骤，诸如方框204处的后期制作编辑期间 的颜色调整(例如，颜色调解)、或者方框210处的显示器配置。
在方框204，产生后期制作元数据225B，并且将后期制作元数据 225B嵌入在视频数据123-2中。后期制作元数据225B可以包括：参 考显示器和环境元数据225B1以及源视频内容表征元数据225B2。后 期制作元数据225B可以被用于指导视频输送流水线200中的后续步 骤，诸如方框210处的显示器配置。
参考显示器和环境元数据225B1可以描述方框204后期制作编辑 中使用的参考显示器配置和工作室或观看环境。例如，关于在方框204 后期制作编辑期间用于显示视频数据123的参考显示器，参考显示器 和环境元数据225B1可以包括诸如以下的参数：
(1)描述在精细分辨率下的参考显示器的色调和色域边界的3D 色域映射；
(2)限定参考显示器的色调和色域边界的缩减参数集(其可以被 用于估计3D色域映射)；
(3)描述参考显示器对每个色度通道的色调响应的系统色调响应 参数；
(4)屏幕大小
(5)等等。
参考显示器和环境元数据225B1还可以包括描述在方框204后期 制作编辑期间的工作室环境的参数，在工作室环境中，在参考显示器 上对视频内容进行颜色调解或编辑。这样的参数可以包括周围亮度和 周围色温。
源视频内容表征元数据225B2可以描述经后期制作编辑的视频内 容，该视频内容包括可以标识或提供以下内容的信息：
(1)色调映射(例如，可以被用于指导显示器处的色调扩展的定 制色调映射参数或曲线)；以及色域映射(例如，可以被用于指导显 示器处的色域扩展的定制色域映射参数)；
(2)在场景中被视为重要的最小黑色水平的水平(例如，汽车下 方的阴影)；
(3)与场景的最显要部分(例如，演员的面部)对应的水平；
(4)在场景中被视为重要的最大白色水平的水平(例如，灯泡的 中心)；
(5)场景中的色彩最多的颜色(例如，霓虹灯等)；
(6)图像中的光源的或者图像中的反射或发射对象的位置图；
(7)视频源内容的色域；
(8)图像的被特意地颜色调解到参考显示器的色域之外的区域；
(9)在视频处理器的预显示处理期间或者在显示器配置期间不应 改变的受到保护的颜色；
(10)在亮度或色域方面表征图像的图像直方图(例如，这样的 信息可以被下游装置用于确定平均亮度以改善色调和色域映射)；
(11)向下游装置警告来自前面的视频帧的任何统计或滞后不再 有效的场景改变或重置标志；
(12)表征视频内容的用以标识运动中的对象的运动图，该运动 图可以与光源位置图组合地被下游装置使用以指导色调和色域映射；
(13)经颜色调解的内容的来源(例如，直接来自照相机或者后 期制作编辑)的指示；
(14)导演的创作意图设置，其可以被用于控制下游装置，诸如 解码器/电视或其他显示器。例如，这样的设置可以包括：提供控制显 示器在特定模式(例如，生动、影院、标准、专业等)下操作的能力 的显示模式控制；可以被用于确定适当的色域或色调映射等的内容类 型(例如，动画、戏剧、体育、游戏等)；
(15)等等。
在方框206，将视频数据123-2输送到显示子系统。如图2B中所 见，输送流水线206可以包括编码器级127A，其用于驱动视频数据 123通过视频发布介质125(诸如卫星、电缆或高清网络)、IP或无 线网络、或DVD或其他存储介质等的发布、广播或传输。解码器级127B可以设在方框206的显示器端以对通过介质125发布的视频数据 123进行解码。解码器级127B可以用例如机顶盒或者用显示子系统内 的解码器来实现。在方框206和/或208，可以将观看环境元数据225C 和/或其他元数据225嵌入在视频数据123中。观看环境元数据225C 可以包括例如：
高级视频编码(AVC)VDR编码器数据，其提供参考监视器色调 映射或色域曲线或者参考环境的周围亮度。该信息的至少一些可以由 视频处理器在知晓显示器特性(例如，通过读取显示器的扩展显示标 识数据(EDID))和显示子系统的环境的情况下确定。在一些实施例 中，该信息的至少一些可以在工作室在视频数据的后期制作处理期间 被确定。
描述显示子系统的显示器所处的环境的参数。这样的参数可以包 括例如周围亮度和/或色调或色温。
观看环境元数据225C可以被用于指导在方框208的视频数据的 处理和/或在方框210的显示器配置。
显示子系统包括用于在方框208对传入的视频数据123-3进行处 理的视频处理器。显示子系统的视频处理器可以基于从视频数据123 提取的元数据225(例如，元数据225A)和/或与显示子系统的显示器 相关联的已知的显示特性对视频数据123-3执行信号处理。可以根据 显示器表征参数226和/或元数据225来针对显示器对视频数据123进 行处理和调整。
可以在方框206和/或208或者视频输送流水线200的其他级被嵌 入在视频数据123中的其他元数据225包括管控(housekeeping)元 数据225D(用于管理发布权限等)，诸如，举例来说：
(1)指示视频内容在哪被产生、发布、修改等的水印数据；
(2)出于搜索或索引目的等而提供视频内容的描述的指纹识别数 据；
(3)指示谁拥有视频内容和/或谁可以访问它的保护数据；
(4)等等。
可以至少部分基于与显示子系统的显示器相关联的显示器表征参 数206来产生观看环境元数据255C。在一些实施例中，观看环境元数 据255C、源视频内容表征元数据225B2和/或管控元数据225D可以通 过编码器级127A、解码器级127B处的视频数据103的分析来创建或 提供，和/或在方框208由视频处理器创建或提供。
在方框210，可以对显示子系统的显示器执行显示器配置。可以 基于显示器表征参数226和/或元数据225来确定用于显示器配置的适 当的参数，元数据225为诸如照相机元数据225A、后期制作元数据 225B(包括参考显示器和环境元数据225B1和源视频内容表征元数据 225B2)以及观看环境元数据225C。显示器被根据这样的参数进行配 置。视频数据123输出到显示器。
用于在方框208的视频数据123的处理以及在方框210的显示器 配置的元数据225在视频数据流中被输送，以使得元数据225在其被 应用之前在显示子系统(包括视频处理器和显示器)处被接收。在一 些实施例中，输送元数据225，以使得它比将应用该元数据225的帧 提前至少一个视频帧被显示子系统接收。在某些实施例中，元数据225 被提前一个视频帧输送，并且元数据225在方框208和/或210的应用 可以在传入的视频流中检测到新的视频帧时被触发。
分场景“稳定”元数据
如前面所提及的，可能希望的是逐场景地捕捉视频文件中的元数 据。如本文中所描述的，本申请的若干实施例可以逐场景地捕捉元数 据(例如，基于亮度、色域等)。特别地，一个实施例可以提供可在 相同的和/或类似的场景之间应用的一组“稳定”元数据。
在一个实施例中，每个场景可以与全局场景元数据相关联，所述 全局场景元数据可以响应于场景内的帧相关特性(例如，诸如每个帧 中的最小、最大和中间亮度值)而产生。也可以强制使得具有类似特 性的场景共享相同的元数据，以使得在显示期间，它们保持相同的样 子和感觉。在另一实施例中，接收器还可以接收“预先通知(Advanced Notice)元数据”——例如，也就是说，用于未来的场景的元数据， 所以它可以预先准备与DM处理相关的参数。
为了领会“稳定”场景元数据的概念，以下描述仅仅是为了说明 的目的而提供的，并非意图限制本申请的范围。可能希望的是使颜色 和明亮度在数个场景的过程中稳定。在一个例子中，假设在“场景” 中存在两个演员，但是照相机在一组的视频帧序列中——例如，在这 两个演员之间的持久的对话中——切换到一个演员，然后切换到另一 个演员。即使这可在戏剧上构成“场景”，但这两个不同的照相机切 换可能引起对于观众而言既明显、又令人反感的颜色和/或亮度偏移。 在一些实施例中，可以针对每次切换具有不同的元数据——例如，以 便生成整个场景的稳定外观。
另举一例，考虑在“场景”中存在单个演员——但是该演员在移 动中，并且照相机跟随该演员。再次，即使这可在戏剧上是单个场景， 也可能存在对于观众而言既明显、又令人反感的亮度和/或颜色偏移。 又举一例，导演可以利用“消融”(或“渐变”)技术，在该技术中， 一个场景降低其亮度(可能降至零)，而另一场景可以在数帧的时间 段期间从低(例如，零)亮度开始直到最大亮度。这样的消融或渐变 可以被用于例示说明对于屏幕上的演员的或者出于其他目的的闪回。
在导演可参与捕捉的视频的后期制作处理的情况下，这些情形可 能变得相关。这样的导演可在专业级的监视器(例如，具有大约高达 5000尼特的亮度)上对视频进行颜色分级、亮度映射。然而，电影可 能是在可能具有低得多的亮度的家庭视频设备或某一其他的目标显示 器上被观看。预先知道这一点可以允许导演或其他内容创作者有机会 改进观众对该内容的体验。
基于这数个例子(以及本文中未提及的其他例子)，从观众的角 度(如果不是视频的内容创作者/导演的角度)来讲可能希望的是，逐 场景地应用元数据，和/或在适当的位置具有可以确定对场景和/或帧 序列何时应用“稳定”元数据的过程——该过程可能已经对当前场景/ 帧利用了不同的、可能基于帧的元数据。
对于家庭视频情况，常常可能存在如下情况，存在显示器管理 (DM)处理器，其可试图向家庭显示器提供视频数据的“最好的” (或“更好的”)映射。DM常常提供动态范围映射以提供从可获得 的视频数据到目标显示器的良好亮度映射。动态范围映射可以使用基于亮度统计的元数据(例如，最大亮度、均值亮度和/或最小亮度)来 提供映射。
几个共有的专利申请公开了显示器管理(DM)系统和技术，并 且对于本申请的系统和方法可以是有用的。
(1)Gish等人的2011年8月11日公布的、标题为 “COMPATIBLE COMPRESSION OFHIGH DYNAMIC RANGE, VISUAL DYNAMIC RANGE,AND WIDE COLOR GAMUT VIDEO”的美国专利申请20110194618；
(2)Longhurst的2012年9月13日公布的、标题为 “INTERPOLATION OF COLORGAMUT FOR DISPLAY ON TARGET DISPLAY”的美国专利申请20120229495；
(3)Messmer的2012年12月20日公布的、标题为“VIDEO DISPLAY CONTROL USINGEMBEDDED METADATA”的美国专 利申请20120321273；以及
(4)Seetzen等人的2013年2月14日公布的、标题为“DISPLAY MANAGEMENT METHODSAND APPARATUS”的美国专利申请 20130038790；
——所有这些申请的全部内容都由此通过引用并入。
稳定场景元数据的一个实施例
图3描绘了本申请的高级方框流程图的一个实施例。视频流水线 300可以接收编码的比特流301，其可以进一步包括视频/图像数据连 同元数据，该元数据可以为某一可用格式——例如，逐帧、逐场景， 并且包括基于亮度统计的元数据、颜色映射元数据等。
该编码的比特流301可以被解码器302接收，解码器302可以进 一步包括解析器304。解码器302可以对传入的比特流进行解码，所 述传入的比特流可以被以本领域中已知的任何方式加密、压缩或以其 他方式编码。一旦被解码，传入的比特流就可以被解析器304解析。 解析器304可以从视频/图像数据分离出元数据。
经提取的视频/图像数据可以连同其相关联的元数据一起作为中 间比特流303被发出。如本文中进一步将描述的，比特流303还可以 包括一个或多个标志(或某一其他的指示、信号等)305，这些标志 305可以向(一个或多个)下游处理器通知要应用什么元数据、等等。
中间比特流303和/或任何标志305可以被显示器管理(DM)模 块306接收。DM模块306可以在最终的图像/视频数据被发送到目标 显示器308之前应用任何希望的图像/视频映射。目标显示器308可以 是可以向观众显示图像和/或视频数据的任何合适的装置。仅举一些例 子，这样的目标显示器308可以是HD电视、电影投影仪、台式监视 器、膝上型电脑、平板电脑、智能装置等。
如所提及的，本申请的数个实施例可以涉及分场景元数据(例如， 可能地，一组“稳定”场景元数据)的计算和/或推导。这样的稳定场 景元数据可在稳定场景元数据可以被采用(可能地，替代其他的可获 得的不论是基于场景的还是基于帧的元数据)以便减轻对于观众而言 可能是明显的和/或令人反感的伪像的时间期间被流水线明智地利用。
仅举一例，考虑黑暗洞穴中的场景。图像可能显示出洞穴的全部 黑暗细节。然而，如果照相机摇摄到洞穴的洞口(其是明亮的)，则 自适应映射可以相应地调整图像——例如，可以降低洞穴壁的黑暗细 节以适应新的更明亮的像素。通过产生并使用场景稳定元数据，可以 针对整个场景对映射进行优化——例如，所以将不存在明显改变的中 间场景。
图4是稳定场景元数据处理的高级流程400的一个实施例。在 402，可以将视频数据划分为一组场景。视频到一组场景的此划分和/ 或分割可以以若干方式实现。首先，分割可以由人类用户(例如，导 演、电影编辑师、后期制作的某人等)进行。例如，在一个实施例中， 场景切换可能已经从编辑决策列表(EDL)(其可以被用于从若干个 不同的镜头创建电影)知道。在一个实施例中可以提取该EDL并且使 用它来消除场景边界。这样，需要很少的额外努力，或者不需要额外 的努力。另外，用户具有覆写自动确定的(或提取的)场景切换的选 项。
可替代地，场景分割的识别可以由视频处理器自动地进行，该视 频处理器可以通过逐场景地对视频数据进行分析来做出这样的确定。 例如，如果在帧之间亮度数据、颜色数据或其他图像数据度量有可测 量的大的变化，则视频处理器可决定该差异可能标记两个场景的边界。 这样的自动确定可以在前瞻的或多道次的过程中被增强——由此数个 帧可以被分析，并且如果图像数据度量的初始差被标记，并且如果其 后许多帧中的该度量基本上与这样的初始差一致，则可以评估场景改 变很有可能已经发生。
为了本申请的目的，可以在视频数据中以任何已知的方式识别场 景。在404，可以逐场景地计算、测量或以其他方式提取元数据。仅 举一例，如果存在50个包括给定场景的帧，则可以针对整个场景测量 并提取亮度数据。可以计算场景元数据，诸如最小亮度、均值和/或平 均亮度和最大亮度。可以同样地测量和/或提取其他图像/视频度量以 形成其他的基于场景的元数据。
以下是产生视频流内的场景稳定元数据的一个实施例：
(1)针对场景内的每个帧计算MIN、MID和MAX亮度。然后 针对整个场景组合该结果。
a.对于MIN，取场景中的所有帧的所有极小值的最小值；
b.对于MID，取场景中的所有帧的所有中间值的中间值(平 均值)；
c.对于MAX，取场景中的所有帧的所有极大值的最大值。
将意识到，可以针对其他视频/图像度量(例如，色域数据等)推 导类似的统计。在另一实施例中，可以产生其他场景相关元数据—— 例如，多少锐化或平滑将应用于场景内的图像数据。
在406，可以针对场景计算一组“稳定”元数据。稳定元数据可 以不同于早先计算的基于场景的(或基于帧的)元数据——这取决于 这样的元数据的使用。可以针对场景、可能地根据可能在视频数据中 生成明显的和/或令人反感的改变的一些受监视的特征、方面和/或度 量(例如，即使早先计算的基于场景的元数据将被用于呈现场景以供 观看)，来计算和/或产生场景稳定元数据。例如，就一个演员来说， 在空间和时间中在不同的背景上移动(例如，在一次切换中从黑暗封 闭的房间进入明亮的户外阳光灿烂的环境)可以在演员的面部中的颜 色或色彩或者皮肤色调中生成明显的和/或令人反感的改变。在一些实 施例中，如果根据受监视的特征、方面和/或度量，第一场景和第二场 景(例如，不同于第二场景)可以被认为在感知上是类似的，用于第 二场景的元数据也可以被针对第一场景计算的元数据取代。第二场景 可以在第一场景之后或之前。
其他特征、方面和/或度量是可能的——例如，皮肤色调、发亮特 征/对象、黑暗特征/对象、有色特征/对象等。这样的改变可以用稳定 场景元数据来减轻。可以计算和/或产生场景稳定元数据，以使得在场 景的过程期间受监视的特征、方面和/或度量重回到和/或保持在可接 受值的范围内。在408，该过程可以将该稳定场景元数据与可以或者 可以不事先与场景相关联的任何其他元数据相关联和/或用该稳定场 景元数据替代该任何其他元数据。稳定场景元数据的此关联和/或替代 可以被提供来使这样的特征、方面和/或度量重回到可接受范围内—— 例如，在其他元数据允许这样的特征、方面和/或度量超出可接受范围 的情况下是可能的。特征、方面和/或度量的可接受值的范围可以人工 地(例如，由导演和/或电影编辑师)确定，或者根据涉及图像处理/ 呈现和/或电影编辑的某些规则和/或启发来确定。
应意识到，图4中所阐述的处理可以在视频/图像流水线中的许多 不同点处发生。例如，将视频分割成场景可以在后期制作中由人员进 行——或者在其他地方由流水线中的处理器进行。另外，基于场景的 元数据的计算和/或提取可以在后期制作中或者在流水线中的其他地 方进行。同样地，“稳定”场景元数据的关联可以在后期制作中发生， 或者可以在更下游在将最终的视频/图像数据发送到目标显示器以供 呈现之前，例如，由DM或其他视频处理器实现。
替代实施例
在一些实施例中，映射操作可以是图像内容相关的，以便实现最 大性能。这样的图像相关映射可以由从源内容产生的元数据控制。为 了确保时间稳定性(例如，没有闪烁、脉动、时明时暗等)，可能希 望的是，元数据随着时间的过去大体上是稳定的。在一个实施例中， 这可以通过强制使得元数据在场景的持续时间上稳定来实现。元数据 可以被允许在每次场景切换时改变。在这样的情况下，元数据中的适 应内容的突然改变对于观众可能是不明显的。
在一个实施例中，用于产生场景稳定元数据的步骤可以包括以下：
(1)获取视频数据中的场景切换的位置。在一个实施例中，这可 以从编辑决策列表(EDL)推导出。可替代地，这可以由人手动地输 入——或者由处理器自动地检测。
(2)针对场景中的每个帧计算和/或产生元数据：
a.可选地，对图像进行下采样。(这可以趋向于使处理加 速，并且最小化一些边远的像素值的影响。)
b.将图像转换到期望的颜色空间(例如，IPT-PQ)中
c.计算图像(例如，I通道)的最小值
d.计算图像(例如，I通道)的最大值
e.计算图像(例如，I通道)的均值
(3)将每帧的结果组合为每场景的结果：
a.计算帧极小值中的每个的最小值。
b.计算帧极大值中的每个的最大值。
c.计算帧均值中的每个的均值。
(4)将元数据与场景——或者可替代地与场景内的每个帧—— 相关联。
将意识到，以上实施例的变型是可能的并且是在本申请的范围之 下被构想的。例如，作为在步骤(2)中对场景的每个帧进行分析的替 代，可以选择单个代表性的帧，并且使用该帧来计算和/或产生元数据， 该元数据然后被与整个场景相关联。
另外，可以通过如下操作来支持渐变：在渐变的任一侧指示用于 场景的元数据、然后针对中间帧进行插值。这样的插值可以是线性的 或经由余弦或类似函数而在两端是渐近的。
在步骤(4)之后，可以与正确的视频帧适当同步地将元数据插入 到编码的比特流中。元数据可以有规律地重复以允许随机输入该流。
在又一实施例中，可以将一些预先计算的值包括在元数据中以帮 助将解码的视频转换到期望的颜色空间(例如，IPT-PQ)中。这可能 是可取的，因为转换常常是在具有可能不能很好地处理某些数学运算 (诸如除数运算和指数运算)的定点处理器的装置上进行的。预先计 算的值的使用以及将它们嵌入在元数据流中可以是有益的。
对场景稳定元数据/“预先通知”元数据进行解码
在视频解码器，新的场景元数据可以与新场景的第一帧在相同的 帧中到达。可替代地，元数据可以在场景的第一帧之前到达，以便提 供用于及时地对元数据进行解码和解释以使它被应用于处理视频的时 间。该“预先通知元数据”和其他技术对于改进场景稳定元数据在比 特流传输上的鲁棒性可能是可取的。若干改进可以包括以下改进(作 为单独的改进，或者作为组合的若干改进)：
(1)在同一场景内每一个帧地重复元数据；
(2)在元数据本体中添加场景切换基本上在下一帧发生的指示符 /标志；
(3)在元数据本体中添加场景切换在当前帧发生的指示符/标志；
(4)添加下一帧的元数据与当前帧的元数据基本相同(或大不相 同)的指示符/标志；和/或
(5)在元数据本体中添加数据完整性字段以供错误检查(例如， CRC32)。
图5描绘了这样的预先通知元数据的流程500的一个实施例。在 502，系统/流水线可以每一场景地计算和/或产生元数据。在504，可 以使该元数据一一稳定场景元数据或其他一一在视频数据比特流中与 场景相关联。然后，在506，系统/流水线可以在新场景的实际第一帧 之前提前期望数量的(例如，一个或多个)帧添加即将发生的场景改 变的指示。该指示和/或标志可以包括比特流的一部分，并且由DM(或 流水线中的其他合适的处理器)通知。在508，系统可以允许DM(或 其他合适的处理器)有时间在场景改变之前安装参数和/或映射。该附 加时间可以允许系统有机会避免对于视频内容的观众而言可能令人反 感的任何明显的伪像。
这可以趋向于是相对于常规的可能不能提前获得场景切换的位置 的元数据稳定化方法的改进。例如，如果场景切换不是提前知道的， 则可以通过视频数据的分析来即时地估计元数据，或者允许元数据随 着时间的过去平滑地改变。这可能引起图像伪像，诸如闪烁、脉动、 时明时暗等。在另一实施例中，通过在源(例如，在视频压缩之前) 处计算元数据，可以减少计算，因此降低能力较小的消费者装置所需 的成本。
图6是视频数据600的一个例子，其被划分为若干个场景(场景 1至场景N)，场景又包括若干个帧(例如，帧602a)。场景1的帧 602m可以具有与该帧相关联的预先通知标志——使得DM可以有时 间设置参数和/或映射以更好地呈现跟随的场景2。
现在已经给出了连同附图一起阅读的、例示说明本发明的原理的、 本发明的一个或多个实施例的详细描述。要意识到，本发明是与这样 的实施例结合描述的，但是本发明不限于任何实施例。本发明的范围 仅由权利要求限制，并且本发明涵盖许多替代、修改和等同。在该描 述中已经阐述了许多特定细节，以便提供本发明的透彻理解。这些细 节是出于示例的目的而提供的，并且本发明可以根据权利要求在没有 这些特定细节中的一些或全部的情况下实施。为了清楚起见，未对与 本发明相关的技术领域中已知的技术材料进行详细描述，以使得不会 不必要地模糊本发明。

Claims (18)

1.一种用于使用场景稳定元数据的方法，所述方法包括：
产生与视频流中的一组场景内的第一场景相关联的第一组元数据；
产生与所述视频流中的所述一组场景内的第二场景相关联的第二组元数据；
产生场景稳定元数据；以及
将所述场景稳定元数据与所述一组场景内的第二场景相关联，
其中，产生场景稳定元数据进一步包括：
监视场景内的特征以确定该场景的场景稳定元数据；以及
计算场景稳定元数据以使得场景内的受监视的特征被保持在可接受值的范围内。
2.根据权利要求1所述的方法，其中，使用场景切换来确定场景，并且场景切换通过一个或多个场景改变检测方法被检测，所述一个或多个场景改变检测方法包括通过处理器自动检测、人工检测，或者从编辑决策列表检测。
3.根据权利要求1所述的方法，其中，产生与所述一组场景内的第一场景相关联的第一组元数据包括：
计算该场景中的每个帧的最小、中间和最大亮度；和
计算所述场景的所有帧之中的最小、中间和最大亮度。
4.根据权利要求1所述的方法，其中，产生场景稳定元数据进一步包括：
监视场景内的特征以确定该场景的场景稳定元数据。
5.根据权利要求1所述的方法，其中，第二场景在第一场景之后。
6.根据权利要求1所述的方法，其中，第二场景在第一场景之前。
7.根据权利要求1所述的方法，其中，将场景稳定元数据与所述第二场景相关联进一步包括：
对于所述第二场景内的每一个帧重复所述元数据。
8.根据权利要求5所述的方法，其中，将场景稳定元数据与所述第二场景相关联进一步包括：
在第一场景的帧中添加指示从第一场景到第二场景的场景改变的场景切换的指示。
9.根据权利要求5所述的方法，其中，将场景稳定元数据与所述第二场景相关联进一步包括：
在第二场景的第一帧中添加指示从第一场景到第二场景的场景改变的场景切换的指示。
10.根据权利要求1-9中任一项所述的方法，其中，所述方法在用于处理包括多个场景的视频流的视频编码器中被执行。
11.一种用于使用场景稳定元数据的方法，所述方法包括：
接收传入的视频数据流，所述视频数据流包括一组场景；
接收当前场景中的一组场景稳定元数据，所述一组场景稳定元数据通过监视场景内的特征被确定以便使得将场景内的受监视的特征保持在可接受值范围内；
接收针对在传入的视频数据流中的第一场景的即将发生的场景改变的预先指示；以及
将所述一组场景稳定元数据与第一场景中的视频帧相关联。
12.根据权利要求11所述的方法，进一步包括：
接收针对在传入的视频数据流中的第二场景的即将发生的场景改变的指示；以及
将所述一组场景稳定元数据与第二场景中的视频帧相关联。
13.根据权利要求11所述的方法，其中，所述受监视的特征是组中的一个，所述组包括：皮肤色调、发亮特征、黑暗特征和有色特征。
14.根据权利要求11所述的方法，进一步包括：
准备与显示管理处理有关的参数，所述显示管理处理用于在针对第一场景的即将发生的场景改变之前显示第一场景中的帧。
15.根据权利要求11-14中任一项所述的方法，其中，所述方法在用于处理包括多个场景的视频流的视频编码器中被执行。
16.一种用于使用场景稳定元数据的系统，所述系统包括：
处理器；
与所述处理器相关联的存储器，所述存储器进一步包括处理器可读指令，以使得当所述处理器读取所述处理器可读指令时，使所述处理器执行根据权利要求1-15中任一项所述的方法。
17.一种用于使用场景稳定元数据的设备，所述设备包括用于执行根据权利要求1-15中任一项所述的方法的装置。
18.一种存储介质，包括可读指令，所述可读指令在被处理器执行时使得所述处理器执行根据权利要求1-15中任一项所述的方法。
CN201810682570.1A 2013-07-30 2014-07-28 用于使用场景稳定元数据的系统、方法、设备和存储介质 Active CN108831511B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361859956P 2013-07-30 2013-07-30
US61/859,956 2013-07-30
CN201480042828.1A CN105409203B (zh) 2013-07-30 2014-07-28 用于产生场景稳定元数据的系统和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201480042828.1A Division CN105409203B (zh) 2013-07-30 2014-07-28 用于产生场景稳定元数据的系统和方法

Publications (2)

Publication Number Publication Date
CN108831511A CN108831511A (zh) 2018-11-16
CN108831511B true CN108831511B (zh) 2020-10-23

Family

ID=51392348

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201480042828.1A Active CN105409203B (zh) 2013-07-30 2014-07-28 用于产生场景稳定元数据的系统和方法
CN201810682570.1A Active CN108831511B (zh) 2013-07-30 2014-07-28 用于使用场景稳定元数据的系统、方法、设备和存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201480042828.1A Active CN105409203B (zh) 2013-07-30 2014-07-28 用于产生场景稳定元数据的系统和方法

Country Status (10)

Country Link
US (2) US9607658B2 (zh)
EP (2) EP3425899B1 (zh)
JP (2) JP6227778B2 (zh)
KR (2) KR102051798B1 (zh)
CN (2) CN105409203B (zh)
BR (1) BR122020018850B1 (zh)
HK (2) HK1259138A1 (zh)
RU (1) RU2627048C1 (zh)
TW (2) TWI542206B (zh)
WO (1) WO2015017314A1 (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105379263B (zh) 2013-11-13 2017-09-22 杜比实验室特许公司 用于指导图像的显示管理的方法和设备
US10009632B2 (en) * 2014-03-05 2018-06-26 Qualcomm Incorporated Flicker detection and mitigation in video coding
JP6421504B2 (ja) * 2014-07-28 2018-11-14 ソニー株式会社 画像処理装置及び画像処理方法
CN110992914B (zh) 2014-10-06 2022-07-01 三星电子株式会社 显示设备及控制该显示设备的方法
EP3206408B1 (en) * 2014-10-10 2020-12-30 Sony Corporation Encoding device and method, playback device and method, and program
WO2016129891A1 (ko) * 2015-02-11 2016-08-18 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
US10430664B2 (en) * 2015-03-16 2019-10-01 Rohan Sanil System for automatically editing video
WO2016182307A1 (ko) * 2015-05-11 2016-11-17 삼성전자 주식회사 메타데이터에 기초한 영상 처리 장치 및 영상 처리 방법
US10056042B2 (en) 2015-05-12 2018-08-21 Dolby Laboratories Licensing Corporation Metadata filtering for display mapping for high dynamic range images
GB201511450D0 (en) * 2015-06-30 2015-08-12 British Broadcasting Corp Audio-video content control
EP3185570A1 (en) * 2015-12-22 2017-06-28 Thomson Licensing Method and apparatus for transmission-based smoothing of rendering
US10167694B2 (en) * 2016-08-31 2019-01-01 Weatherford Technology Holdings, Llc Pressure control device, and installation and retrieval of components thereof
CN108701439B (zh) * 2016-10-17 2021-02-12 华为技术有限公司 一种图像显示优化方法及装置
EP3316248A1 (en) * 2016-10-28 2018-05-02 Thomson Licensing Method for adapting a luminance of a multimedia content, corresponding computer program product and apparatus
US10346756B2 (en) 2017-01-25 2019-07-09 Centurylink Intellectual Property Llc Machine discovery and rapid agglomeration of similar states
US10438124B2 (en) 2017-01-25 2019-10-08 Centurylink Intellectual Property Llc Machine discovery of aberrant operating states
EP3697098A4 (en) * 2017-10-12 2020-08-19 Sony Corporation IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, TRANSMISSION DEVICE, TRANSMISSION METHOD AND RECEIVING DEVICE
KR102413839B1 (ko) 2017-11-15 2022-06-28 삼성전자 주식회사 컨텐츠 제공장치, 그 제어방법 및 기록매체
US10657627B2 (en) 2018-01-23 2020-05-19 Gopro, Inc. Temporal smoothing in image capture systems
US10298895B1 (en) 2018-02-15 2019-05-21 Wipro Limited Method and system for performing context-based transformation of a video
US11030728B2 (en) * 2018-05-29 2021-06-08 Apple Inc. Tone mapping techniques for increased dynamic range
EP3808068B1 (en) * 2018-06-18 2022-06-29 Dolby Laboratories Licensing Corporation Image capture methods and systems
KR102572432B1 (ko) * 2018-07-03 2023-08-30 삼성전자주식회사 디스플레이장치 및 그 제어방법과 기록매체
GB2578625A (en) * 2018-11-01 2020-05-20 Nokia Technologies Oy Apparatus, methods and computer programs for encoding spatial metadata
JP7246894B2 (ja) * 2018-11-07 2023-03-28 キヤノン株式会社 撮像装置およびその制御方法
US11184551B2 (en) 2018-11-07 2021-11-23 Canon Kabushiki Kaisha Imaging apparatus and control method thereof
CN109525901B (zh) * 2018-11-27 2020-08-25 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备及计算机可读介质
KR20200144775A (ko) 2019-06-19 2020-12-30 삼성전자주식회사 디스플레이장치 및 그 제어방법
KR20210083840A (ko) * 2019-12-27 2021-07-07 삼성전자주식회사 다이나믹 톤 메타데이터를 포함하는 영상의 편집을 위한 전자 장치 및 그의 동작 방법
WO2021242873A1 (en) * 2020-05-26 2021-12-02 Dolby Laboratories Licensing Corporation Picture metadata for variable frame-rate video
US11930189B2 (en) * 2021-09-30 2024-03-12 Samsung Electronics Co., Ltd. Parallel metadata generation based on a window of overlapped frames
WO2023055736A1 (en) 2021-10-01 2023-04-06 Dolby Laboratories Licensing Corporation Encoding and decoding multiple-intent images and video using metadata
US11734806B2 (en) 2021-11-24 2023-08-22 Roku, Inc. Dynamic tone mapping

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5724456A (en) * 1995-03-31 1998-03-03 Polaroid Corporation Brightness adjustment of images using digital scene analysis
GB9705999D0 (en) * 1997-03-22 1997-05-07 Philips Electronics Nv Video signal analysis and storage
JP3825615B2 (ja) * 2000-08-11 2006-09-27 株式会社東芝 動画像符号化装置および動画像符号化方法およびプログラムを記録した媒体
JP4362265B2 (ja) * 2002-04-05 2009-11-11 ソニー株式会社 映像コンテンツ編集支援システム，記録装置，編集者端末装置，コンピュータプログラム，記録媒体，映像コンテンツ編集支援方法
JP4212290B2 (ja) * 2002-04-08 2009-01-21 オリンパス株式会社 撮像システム
EP1496701A4 (en) 2002-04-12 2009-01-14 Mitsubishi Electric Corp METADATA EDITING DEVICE, METADATA REPRODUCTION DEVICE, METADATA DISTRIBUTION APPARATUS, METADA SEARCHING DEVICE, METADATA REPRODUCTION STATUS DISPLAYING DEVICE AND METADATA DISTRIBUTION METHOD
JP4263933B2 (ja) * 2003-04-04 2009-05-13 日本放送協会 映像提示装置、映像提示方法及び映像提示プログラム
US7986372B2 (en) * 2004-08-02 2011-07-26 Microsoft Corporation Systems and methods for smart media content thumbnail extraction
JPWO2006018993A1 (ja) * 2004-08-17 2008-05-08 松下電器産業株式会社 オーサリング装置、オーサリング方法並びにオーサリングプログラム及びそのプログラムを記録した記録媒体
WO2006082150A2 (en) * 2005-02-07 2006-08-10 Thomson Licensing METHOD AND APPARATUS FOR REPLAYING A VIDEO SIGNAL AND ONE OR MORE AUDIO SIGNALS RELATED TO AUDIO/VIDEO DATA THAT ARE BASED ON A 24Hz FRAME FREQUENCY VIDEO SIGNAL
JP4536015B2 (ja) * 2005-02-14 2010-09-01 富士フイルム株式会社 輝度変換曲線作成装置および方法，ならび輝度変換曲線作成プログラム
JP2006331591A (ja) * 2005-05-30 2006-12-07 Sony Corp 情報処理装置および方法、並びにプログラム
US7656462B2 (en) * 2005-06-17 2010-02-02 Martin Weston Systems and methods for modifying master film for viewing at different viewing locations
JP4592652B2 (ja) * 2005-09-09 2010-12-01 株式会社東芝 電子透かし埋め込み装置及び方法、電子透かし検出装置及び方法、並びにプログラム
US7639893B2 (en) * 2006-05-17 2009-12-29 Xerox Corporation Histogram adjustment for high dynamic range image mapping
US8458595B1 (en) * 2006-05-31 2013-06-04 Adobe Systems Incorporated Video editing including simultaneously displaying timelines and storyboards
JP4197014B2 (ja) * 2006-07-18 2008-12-17 株式会社日立製作所 映像の検索方法および装置
WO2008032739A1 (fr) * 2006-09-12 2008-03-20 Panasonic Corporation Dispositif de formation d'image de contenu
US20080195977A1 (en) * 2007-02-12 2008-08-14 Carroll Robert C Color management system
US20080242988A1 (en) * 2007-03-28 2008-10-02 Tetsuya Yoshida Ultrasound diagnostic apparatus, ultrasound image processing apparatus, and ultrasound image processing method
US8478331B1 (en) 2007-10-23 2013-07-02 Clearwire Ip Holdings Llc Method and system for transmitting streaming media content to wireless subscriber stations
US8237864B2 (en) 2007-11-12 2012-08-07 Cyberlink Corp. Systems and methods for associating metadata with scenes in a video
EP2238596A1 (en) * 2008-01-31 2010-10-13 Thomson Licensing Method and system for look data definition and transmission
ES2389458T3 (es) 2008-07-10 2012-10-26 The University Of Warwick Métodos y dispositivos para la compresión de datos de vídeo HDR
JP5004305B2 (ja) * 2008-09-04 2012-08-22 株式会社リコー 画像処理装置、画像処理方法、プログラムおよび記録媒体
KR20110126518A (ko) * 2009-02-19 2011-11-23 파나소닉 주식회사 기록매체, 재생장치 및 집적회로
BRPI1009443B1 (pt) 2009-03-13 2021-08-24 Dolby Laboratories Licensing Corporation Método de geração de parâmetros de mapeamento de tons inverso, método de compactação de dados de vídeo e método para geração de um fluxo de bits de saída a partir de um fluxo de bits de entrada
JP5493531B2 (ja) 2009-07-17 2014-05-14 三菱電機株式会社 映像音声記録再生装置および映像音声記録再生方法
US9226048B2 (en) 2010-02-22 2015-12-29 Dolby Laboratories Licensing Corporation Video delivery and control by overwriting video data
WO2011103258A2 (en) 2010-02-22 2011-08-25 Dolby Laboratories Licensing Corporation Video display control using embedded metadata
US10056055B2 (en) 2010-02-24 2018-08-21 Dolby Laboratories Licensing Corporation Display management methods and apparatus
JP2011223054A (ja) * 2010-04-02 2011-11-04 Canon Inc 画像処理装置および画像処理方法
US8928686B2 (en) 2010-06-08 2015-01-06 Dolby Laboratories Licensing Corporation Tone and gamut mapping methods and apparatus
EP2617184B1 (en) 2010-09-13 2019-01-16 Dolby Laboratories Licensing Corporation Data transmission using out-of-gamut color coordinates
US9113130B2 (en) * 2012-02-06 2015-08-18 Legend3D, Inc. Multi-stage production pipeline system
EP2498499B1 (en) 2011-03-08 2018-04-18 Dolby Laboratories Licensing Corporation Interpolation of color gamut for display on target display
TWI538473B (zh) * 2011-03-15 2016-06-11 杜比實驗室特許公司 影像資料轉換的方法與設備
LT3595281T (lt) * 2011-05-27 2022-05-25 Dolby Laboratories Licensing Corporation Spalvų kontrolės keičiamo mastelio sistemos, apimančios kintamo lygio metaduomenis
US9035965B2 (en) * 2011-12-06 2015-05-19 Dolby Laboratories Licensing Corporation Metadata for use in color grading
TWI556629B (zh) 2012-01-03 2016-11-01 杜比實驗室特許公司 規定視覺動態範圍編碼操作及參數
WO2015050857A1 (en) * 2013-10-02 2015-04-09 Dolby Laboratories Licensing Corporation Transmitting display management metadata over hdmi
CN105379263B (zh) * 2013-11-13 2017-09-22 杜比实验室特许公司 用于指导图像的显示管理的方法和设备

Also Published As

Publication number Publication date
HK1217068A1 (zh) 2016-12-16
RU2016102884A (ru) 2017-08-03
BR122020018850B1 (pt) 2023-01-31
RU2627048C1 (ru) 2017-08-03
US20160254028A1 (en) 2016-09-01
TW201630429A (zh) 2016-08-16
TWI542206B (zh) 2016-07-11
KR102051798B1 (ko) 2019-12-04
BR112016001639A2 (pt) 2017-08-01
EP3028446A1 (en) 2016-06-08
CN105409203B (zh) 2018-07-31
EP3425899A1 (en) 2019-01-09
KR20160027975A (ko) 2016-03-10
KR20170021384A (ko) 2017-02-27
CN105409203A (zh) 2016-03-16
US20170125063A1 (en) 2017-05-04
TWI555392B (zh) 2016-10-21
US10553255B2 (en) 2020-02-04
KR101775938B1 (ko) 2017-09-07
CN108831511A (zh) 2018-11-16
US9607658B2 (en) 2017-03-28
WO2015017314A1 (en) 2015-02-05
JP2018042253A (ja) 2018-03-15
JP6227778B2 (ja) 2017-11-08
EP3425899B1 (en) 2019-12-25
JP6334799B2 (ja) 2018-05-30
HK1259138A1 (zh) 2019-11-29
JP2016528826A (ja) 2016-09-15
TW201521435A (zh) 2015-06-01

Similar Documents

Publication Publication Date Title
CN108831511B (zh) 用于使用场景稳定元数据的系统、方法、设备和存储介质
US10977849B2 (en) Systems and methods for appearance mapping for compositing overlay graphics
EP3295451B1 (en) Metadata filtering for display mapping for high dynamic range images
CN109219844B (zh) 在视频优先级与图形优先级之间转换
US10055866B2 (en) Systems and methods for appearance mapping for compositing overlay graphics
WO2018231968A1 (en) Efficient end-to-end single layer inverse display management coding
US11587526B2 (en) Luminance adaption to minimize discomfort and improve visibility
US11288781B2 (en) Efficient end-to-end single layer inverse display management coding
BR112016001639B1 (pt) Sistema para gerar metadados estabilizados de cena
CN115668958A (zh) 用于可变帧速率视频的图片元数据

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1259138

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant