CN111149346A - 帧速率转换元数据 - Google Patents

帧速率转换元数据 Download PDF

Info

Publication number
CN111149346A
CN111149346A CN201880063042.6A CN201880063042A CN111149346A CN 111149346 A CN111149346 A CN 111149346A CN 201880063042 A CN201880063042 A CN 201880063042A CN 111149346 A CN111149346 A CN 111149346A
Authority
CN
China
Prior art keywords
frame rate
conversion
target display
jitter
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880063042.6A
Other languages
English (en)
Other versions
CN111149346B (zh
Inventor
J·A·派拉兹
R·阿特金斯
E·G·皮耶里
A·夏皮罗
S·达利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN111149346A publication Critical patent/CN111149346A/zh
Application granted granted Critical
Publication of CN111149346B publication Critical patent/CN111149346B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/013—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the incoming video signal comprising different parts having originally different frame rate, e.g. video and graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

提出了用于对高动态范围信号进行编码和解码的方法。所述信号以高帧速率进行编码，并伴随有定义了一组优选帧速率下转换参数的帧速率转换元数据，所述参数是根据目标显示器的最大光亮度、显示回放优先级模式或抖动控制模式来确定的。解码器至少根据所述目标显示器的最大光亮度和/或所述信号本身的特性，使用所述帧速率转换元数据来对输入高帧速率信号应用帧速率下转换。还讨论了基于帧的帧速率转换和基于像素的帧速率转换、以及用于通过元数据进行抖动控制的抖动模型。

Description

帧速率转换元数据
相关申请的交叉引用
本专利申请要求于2017年9月28日提交的美国临时专利申请序列号62/564,500、于2017年11月6日提交的欧洲专利申请号17200106.7、以及于2018年3月27日提交的美国临时专利申请序列号62/648,795的优先权权益，这些专利申请中的每一个都通过引用以其全文并入本文。
技术领域
本发明总体上涉及图像。更特别地，本发明的实施例涉及要用于视频序列中的帧速率转换的元数据。
背景技术
如本文所使用的，术语“动态范围(DR)”可以涉及人类视觉系统(HVS)感知图像中的强度(例如光亮度(luminance)、亮度(luma))范围的能力，该强度范围例如是从最暗的灰色(黑色)到最亮的白色(高光)。从这个意义上说，DR与“参考场景的(scene-referred)”强度有关。DR还可以涉及显示设备充分或近似渲染特定阔度(breadth)的强度范围的能力。从这个意义上说，DR与“参考显示的(display-referred)”强度有关。除非在本文的描述中的任何一点明确指定上下文具有特定的意思，否则应推断为术语可以在任一上下文中例如可互换地使用。
如本文所使用的，术语高动态范围(HDR)涉及跨越人类视觉系统(HVS)的大约14至15个数量级的DR阔度。在实践中，相对于HDR，人类可以同时地感知强度范围中的广泛阔度的DR可能会被稍微截短。如本文所使用的，术语增强动态范围(EDR)或视觉动态范围(VDR)可以单独地或可互换地与DR相关，所述DR可在场景或图像内由包括眼运动的人类视觉系统(HVS)感知，允许跨场景或图像的一些光适性变化。
在实践中，图像包括一个或多个颜色分量(例如，亮度Y以及色度Cb和Cr)，其中每个颜色分量由每像素n位的精度表示(例如，n＝8)。使用伽马域或其他感知域光亮度编码，其中n≤8的图像(例如，彩色24位JPEG图像)被视为标准动态范围的图像，而其中n＞8的图像可以被视为增强动态范围的图像。EDR和HDR图像也可以使用高精度(例如，16位)浮点格式来存储和分发，如由工业光魔公司(Industrial Light and Magic)开发的OpenEXR文件格式。
如本文所使用的，术语“元数据”涉及作为经编码比特流的一部分传输并且辅助解码器渲染经解码图像的任何辅助信息。这样的元数据可以包括但不限于如本文所描述的那些颜色空间或色域信息、参考显示器参数和辅助信号参数。
大多数消费者桌面显示器目前支持200cd/m2到300cd/m2(或尼特)的光亮度。大多数消费者HDTV的范围从300尼特到500尼特，其中新型号达到1000尼特(cd/m2)。因此，这样的传统显示器代表了关于HDR或EDR的较低动态范围(LDR)，也被称为标准动态范围(SDR)。随着HDR内容的可用性由于捕获设备(例如，相机)和HDR显示器(例如，杜比实验室的PRM-4200专业参考监视器)二者的发展而增加，HDR内容可以被颜色分级并被显示在支持更高动态范围(例如，从1,000尼特到5,000尼特或更高)的HDR显示器上。总体上，非限制性地，本公开文本的方法涉及高于SDR的任何动态范围。
高动态范围(HDR)内容创作现在正变得普遍，因为这种技术提供了比早期格式更逼真和栩栩如生的图像。然而，包括数亿个消费者电视显示器在内的许多显示系统不能再现HDR图像。此外，消费者HDR显示器可能与制作室处使用的HDR显示器的特性不匹配。为了改进现有显示方案，如在此由发明人所理解的，开发了用于将HDR图像映射到HDR显示器和SDR显示器的改进技术。
在本节中描述的方法是可以追求的方法，但不一定是之前已经设想到或追求的方法。因此，除非另有指明，否则不应认为本节中所述的任何方法仅凭其纳入本节就可称为现有技术。类似地，除非另有指明，否则关于一种或多种方法所认定的问题不应基于本节而被认为在任何现有技术中被认定。
附图说明
在附图中以示例的方式而非限制的方式来图示本发明的实施例，并且其中相似的附图标记指代相似的元件，并且在附图中：
图1描绘了用于视频传输流水线的示例过程；
图2A描绘了根据本发明的实施例的示例编码过程；
图2B描绘了根据本发明的实施例的示例解码过程；
图3A和图3B描绘了根据本发明的实施例的作为明亮度和帧速率的函数的抖动轮廓曲线；以及
图4描绘了用于通过引入非平滑运动来控制抖动的方法的示例。
具体实施方式
描述了用于通过元数据进行帧速率转换的方法。在以下说明中，出于解释的目的，阐述了许多具体细节以便提供对本发明的透彻理解。然而，明显的是，可以在没有这些具体细节的情况下实践本发明。在其他情形中，为了避免不必要地遮蔽、模糊或混淆本发明，没有详尽地描述众所周知的结构和设备。
概述
本文描述的示例实施例涉及用于通过元数据来调整HDR视频的回放帧速率的方法。编码器接收高帧速率HDR视频信号。所述编码器至少基于目标显示器的最大明亮度来确定用于高帧速率HDR视频的一组帧速率下转换参数。所述编码器基于帧速率下转换参数来生成帧速率转换元数据，并且基于高帧速率HDR视频和帧速率转换元数据来生成经编码比特流。
在另一个实施例中，解码器接收以输入高帧速率编码的输入HDR视频信号。所述解码器还接收与输入视频信号相关联的帧速率转换元数据。所述解码器确定目标显示器的最大明亮度。所述解码器至少基于目标显示器的最大明亮度和帧速率转换元数据来确定一组帧速率下转换参数，并且所述解码器基于输入视频信号和所述一组帧速率下转换参数以输出帧速率生成用于目标显示器的输出视频信号，其中，输出帧速率等于或低于输入高帧速率。
在至少一个实施例中，编码器对高动态范围(HDR)视频信号进行编码。编码器访问以第一帧速率编码的HDR视频信号；第一帧速率可以是例如高于典型现有实践的帧速率，如针对胶片(电影)的至少30帧每秒(fps)(例如48fps)和针对视频(例如，流式传输或广播)的至少60fps。编码器确定适合于将HDR视频信号适配为以第二帧速率进行回放的一组帧速率下转换参数，第二帧速率低于第一帧速率；第二帧速率可以是例如符合典型现有实践的帧速率，如针对胶片的24fps、针对PAL隔行视频的50fps和针对NTSC隔行视频的60fps。原则上，第二帧速率在某些情况下可能会低于典型现有实践。所述一组帧速率下转换参数包括：(i)适合于在目标显示器处确定第二帧速率的下转换因子；或(ii)可以从中获得所述下转换因子的元数据。所述对第二帧速率的确定可以至少根据目标显示器的最大明亮度来完成。通常，如果第一目标显示器的最大明亮度明显高于第二目标显示器的最大明亮度，并且所述确定未考虑其他因素，则针对第一目标显示器确定的第二帧速率将高于第二目标显示器的帧速率。例如，对于最大明亮度为100尼特的目标显示器，第二帧速率可以确定为第一帧速率的四分之一；对于最大明亮度为400尼特的目标显示器，第二帧速率可以确定为第一帧速率的三分之一；并且对于最大明亮度为600尼特的目标显示器，第二帧速率可以确定为第一帧速率的一半。然而，应当注意，在所述确定考虑其他因素的情况下，第二帧速率随最大明亮度增加的关系可能并非针对所有情况都成立。
帧速率转换
HDR信号的视频编码
图1描绘了传统视频传输流水线(100)的示例过程，其示出了从视频捕获到视频内容显示的各个阶段。使用图像生成块(105)来捕获或生成视频帧(102)序列。视频帧(102)可以被(例如，由数码相机)数字地捕获或者由计算机(例如，使用计算机动画)生成以提供视频数据(107)。可替代地，视频帧(102)可以由胶片相机捕获在胶片上。胶片被转换为数字格式以提供视频数据(107)。在制作阶段(110)，对视频数据(107)进行编辑以提供视频制作流(112)。
制作流(112)的视频数据然后在块(115)处被提供给处理器以进行后期制作编辑。块(115)后期制作编辑可以包括调整或修改图像的特定区中的颜色、对比度或明亮度，以根据视频创作者的创作意图来增强图像质量或实现图像的特定外观。这有时被称为“颜色调整(color timing)”或“颜色分级(color grading)”。可以在块(115)处执行其他编辑(例如，场景选择和排序、图像裁剪、添加计算机生成的视觉特效等)以产生用于发行的作品的最终版本(117)。在后期制作编辑(115)期间，在参考显示器(125)上观看视频图像。
在后期制作(115)之后，可以将最终作品(117)的视频数据传输到编码块(120)，以便向下游传输到如电视机、机顶盒、电影院等解码和回放设备。在一些实施例中，编码块(120)可以包括如由ATSC、DVB、DVD、蓝光和其他传输格式定义的那些音频编码器和视频编码器，以生成经编码比特流(122)。在接收器中，经编码比特流(122)由解码单元(130)解码，以生成表示信号(117)的相同或接近近似版本的经解码信号(132)。接收器可以附接到目标显示器(140)，所述目标显示器可以具有与参考显示器(125)完全不同的特性。在这种情况下，显示管理块(135)可以用于通过生成显示器映射信号(137)来将经解码信号(132)的动态范围映射到目标显示器(140)的特性。
电视机中的帧速率转换
在LCD或LED电视机(TV)中，为了解决LCD面板的灰阶响应时间(gray-to-grayresponse time)过慢(其可能导致显示器运动模糊和其他伪像)，制造商已经提高了面板中的刷新率。因此，虽然输入视频通常以24、30、50或60帧每秒传输，但现代LCD TV以120Hz、240Hz或更高的频率刷新其面板。
为了适应更高的刷新率，具有高刷新率的TV可以使用各种帧内插方案：从简单的帧复制到复杂的基于运动的内插技术。这样的TV还可以允许用户根据他们的喜好来控制“运动的平滑性”；然而，高帧速率内插并非没有问题。
例如，这种方法的一个副作用是所谓的“肥皂剧效果”，在这种情况下，使用高帧速率内插显示的电影会失去其“电影级画面”，并且看起来像TV“肥皂剧”(特定于TV的内容，通常以60fps(隔行扫描)而非电影级的24fps来显示)。
在HDR电视机上进一步加剧了这些问题中的一些问题。例如，似乎许多伪像(正如抖动(视频抖动))在SDR TV中通常被忽略或遗漏，但由于其较高的明亮度和对比度而在HDRTV中被增强并且更加明显。
考虑到从高帧速率下转换到较低帧速率产生的伪像比从低帧速率上转换为较高帧速率所产生的伪像少，并且考虑到高帧速率HDR TV机存在的问题，在示例实施例中，编码器以高帧速率(例如，以120fps)传输视频内容。如本文所使用的，术语“高帧速率”表示高于典型现有实践的帧速率。例如，非限制性地，标准帧速率的示例包括：针对胶片的24帧每秒(fps)、针对PAL隔行视频的50fps、和针对NTSC隔行视频的60fps。非限制性地，高帧速率的示例可以为：针对胶片(电影)的至少30fps(例如48fps)、和针对视频的至少60fps(例如，流式传输或广播)。
在实施例中，高帧速率内容还伴随有帧速率转换元数据，所述元数据使得解码器能够根据目标显示器的动态范围和刷新率对到来的视频进行下转换，从而更好地匹配原本的画面。通过同时传输高帧速率视频和帧速率下转换元数据，该系统满足了以下两种极端情况之间的所有用户：
a)更喜欢平稳运动(例如，没有电影级抖动)的观看者
b)更喜欢艺术创作的“电影级画面”的观看者
在实施例中，本文提出的技术也可以与其他去抖动技术结合使用，所述去抖动技术例如如在N.Xu等人的美国专利公开号2017/0054938“Systems and Methods to ControlJudder Visibility(用于控制抖动可见性的系统和方法)”、以及N.Xu等人的美国专利公开号2017/0264861“Dual-Ended Metadata for Judder Visibility Control(用于抖动可见性控制的双端元数据)”中公开的那些技术，所述美国专利公开文本中的每一个都通过引用并入本文。
帧速率转换元数据
在实施例中，帧速率转换元数据可以在整个序列、场景级别、帧级别或任何其他合适的时间间隔处适配。这些帧速率转换元数据涉及可见的帧速率，而不是传输的帧速率。该帧速率元数据可以由内容制作者在后期制作阶段(115)期间选择(例如，手动选择或通过基于计算机的工具与人交互的组合来选择)，或者所述帧速率元数据可以在后期制作或作为编码阶段(120)的一部分期间基于场景特性自动得到。例如，在后期制作期间，可以应用各种下转换滤波器，并为每个目标显示器选择认为最佳的下转换滤波器。作为另一示例，具有快速移动的场景可以具有比具有慢速移动的场景指定更高帧速率的元数据。无论如何选择帧速率转换元数据，发送高帧速率信号都确保在接收器上显示设备几乎不需要执行上采样，并且现有的帧速率转换大部分可被绕过，从而提高整体视频质量。
人类对帧速率和与帧速率相关的失真(如抖动)的感知也取决于人的适应水平。因此，在具有不同光亮度能力的显示器上，可能期望基于关于期望的目标帧速率、主控监测能力和周围环境条件的信息来适配目标帧速率。
示例
在第一示例中，考虑以下参数：
·输入帧速率：120fps
·目标动态范围：100尼特
·目标显示器帧速率：30fps
这种系统需要4比1的帧下转换。假定对帧中的所有像素应用同一下转换滤波器，给定下转换元数据C＝[c0 c1 c2 c3]，其中，ck，k＝0，1，2，3表示下转换滤波系数(例如，C＝[0.5，0.5，0，0])，对于输入帧fI(i)，i＝0，1，2，...M-1，输出帧可被生成为
fd(i，j)＝cofI(4i，j)+c1fI(4i+1，j)+c2fI(4i+2，j)+c3fI(4i+3，j)， (1)
其中，fd(i，j)表示第i个下转换(或输出)帧中的第j个像素，其中i＝0，1，...，N-1，并且针对这个示例，N＝M/4。类似地，fI(i，j)表示第i个输入帧中的第j个像素。
在第二示例中，考虑以下参数：
·输入帧速率：120fps
·目标DR：600尼特
·目标帧速率：60fps
这种系统需要2比1的帧下转换。给定C＝[c0 c1](例如，C＝[0.5 0.5])，输出帧可被生成为
fd(i，j)＝cofI(2i，j)+c1fI(2i+1，j)，i＝0，1，...,N-1。 (2)
在第三示例中，系统参数为：
·输入帧速率：120fps
·目标DR：600尼特
·目标帧速率：60fps
这种系统也需要2比1的帧下转换；然而，导演可能想要保持胶片模糊，因此下转换滤波器可以由与第二示例中不同的滤波器给出，比如说C＝[0.25 0.25 0.25 0.25]，并且fd(i，j)＝0.25(fI(2i，j)+fI(2i+1，j)+fI(2i+2，j)+fI(2i+3，j))，
i＝0，1，...，N-1。 (3)
在实施例中，帧速率转换元数据可以包括：下转换滤波器的阶数、滤波系数(例如向量C)、优选下转换因子(例如4:1)(或可替代地，优选输出帧速率)和目标最大光亮度速率。一些实施例可以包括附加元数据参数，如用于目标显示器的周围环境光和视频的回放“优先级模式”。如本文所使用的，术语“优先级模式”表示结合了视频和图形的视频帧是可以被认为主要是“视频”帧、“图形”帧还是在视频与图形之间过渡(或者反过来)的“过渡”帧。
回放优先级模式的概念由发明人之一在2017年5月25日提交的PCT申请序列号PCT/US2017/034593(‘593申请)“Transitioning between video priority and graphicspriority(视频优先级与图形优先级之间的过渡)”中引入，并且所述申请的全部内容通过引用并入本文，并且所述概念允许基于要显示的内容主要是视频、图形还是采用这两种模式之间的过渡模式来优化显示管理(例如，过程135)。
更具体地，如在‘593申请中所讨论的，在显示管理中，基于映射曲线将到来的HDR数据映射到目标显示器。通常，这种映射曲线的特性是基于输入信号的特性(例如，最小明亮度值、最大明亮度值、和平均明亮度值、对比度等)和目标显示器的特性(例如，最小显示器明亮度、最大显示器明亮度、和平均显示器明亮度、对比度等)来确定的，所述输入信号的特性可以通过输入信号元数据来确定，所述目标显示器的特性可以直接从显示器来确定(比如说通过检索显示器的扩展显示标识数据(EDID))。
在一些实施例中，回放可以在“视频优先级模式”与“图形优先级模式”之间切换，在视频优先级模式下，显示管理基于动态(快速变化的)元数据；而在图形优先级模式下，显示管理基于静态(慢速变化的)元数据。例如，如果视频帧序列主要是图形(比如说，在视频之上叠加了屏幕菜单)，并且其应用了动态元数据，则视频回放可能看起来不稳定。第三种，即“优先级过渡模式”允许模式为在这两个主要模式之间平滑地进行内插。
优先级模式的概念还可以应用于帧速率转换。例如，在实施例中，接收器可以决定在视频优先级模式、图形优先级模式和/或过渡回放优先级模式之间使用不同的下转换滤波器。作为示例，表1描绘了可以作为比特流的一部分被传送的帧转换元数据的示例查找表。可以从该元数据获得下转换因子。非限制性地，在实施例中，每当场景中的平均光亮度由于色调映射而变化时，帧速率就被降低。例如，当目标显示器为100尼特时，HDR胶片中的暗场景将根本不会被色调映射，因此无需更改这些场景的帧速率。另一方面，亮场景将被色调映射最多，因此需要使用较低的帧速率来显示这些场景。
表1：示例帧转换元数据
Figure BDA0002428162740000081
这些优先级模式提供了视频质量与图形稳定性之间的折衷；然而，尽管期望具有最佳的视频质量和最佳的图形稳定性，但是当为整个图像选择优先级时，这可能是不可能的。在2017年9月28日提交的美国专利公开号2018/0018932“Transitioning betweenvideo priority and graphics priority(视频优先级与图形优先级之间的过渡)”中，引入了一种新的“基于像素的混合”模式或“每像素优先级”模式，所述美国专利公开文本是‘593申请的部分延续(CIP)，并且其全部内容通过引用并入本文。在这种模式下，如表1的最后一行所描绘的，元数据可以包括“阿尔法”(或混合)优先级映射(所述映射表征混合图像中的一个或多个像素是具有“视频优先级”还是“图形优先级”)以及对应的下转换滤波器(例如视频的滤波器系数的CV向量和图形系数的CG向量)。在一个实施例中，混合优先级映射可以仅具有二值(例如，0或1)，但是在另一个实施例中，混合优先级映射可以包括在[0，1]中或一些其他合适的范围和表示形式的值。
在实施例中，假设映射值α(j)＝1指示第j个像素具有图形优先级，则
如果α(j)＝＝1，则通过应用CG的一组下转换系数生成第j个输出像素；
否则如果α(j)＝＝0，则通过应用CV的一组下转换系数生成第j个输出像素；
否则使用α(j)值来混合这两个输出，这可以表达为：
fd(i，j)＝α(j)F(fI，CG)+(1-α(j))F(fI，CV)， (4)
其中，fd(i，j)表示第i个输出下采样帧的像素j，F(fI，CG)表示输入帧基于CG下转换系数的函数，以及F(fI，CV)表示输入帧基于CV下转换系数的函数。
例如，给定具有基于像素的混合的4∶1下转换，等式(4)可以表达为：
fg(i，j)＝CG(0)fI(4i，j)+CG(1)fI(4i+1，j)+CG(2)fI(4i+2，j)+CG(3)fI(4i+3，j)；
(5)
fv(i，j)＝CV(0)fI(4i，j)+CV(1)fI(4i+1，j)+CV(2)fI(4i+2，j)+CV(3)fI(4i+3，j)；
fd(i，j)＝α(j)fg(i，j)+(1-α(j))fv(i，j)，
其中，对于k＝0到3，CG(k)和CV(k)分别表示图形优先级模式和视频优先级模式的下转换滤波系数。
在一些实施例中，可能期望不对图形像素应用任何帧内插，例如，对于所有下转换滤波器系数，CG(k)＝0。
在一些实施例中，所接收的帧转换元数据(例如，如表1所描绘的)可能未覆盖目标显示器的确切特征。例如，数据可以包括用于400尼特、800尼特和1,000尼特的目标显示器的滤波值，但是不包括用于650尼特的显示器的滤波值。在这种情况下，接收器可以决定选择最接近显示器的动态范围(比如说800尼特)的滤波值，或者可以决定在两个可用值之间内插滤波系数。例如，如果在800尼特下，C＝[0.25，0.25，0.25.，0.25]，并且在400尼特下，C＝[0.5，0.5]，则假定600尼特下C＝[1/3，1/3，1/3]的线性内插模型。
根据接收的机顶盒或显示器的功能，可能还需要在处理速度与缓冲速度之间进行折衷。因此，可以缩减滤波器或者可以将滤波系数选择为2的次幂。
图2A描绘了根据实施例的示例编码过程流程。给定HDR输入(例如112或117)，在步骤210中，生成输入的高帧速率版本。如果输入视频已经以合适的高帧速率(例如120fps)可用，则可以省略步骤210。然后，在步骤(220)和(225)中，比如说，在后期制作或编码过程期间，根据各种参数(如目标显示器的动态范围(例如，最大明亮度和最小明亮度)、周围环境条件和/或视频本身的特定特性)为目标显示器的期望“画面”生成一组下转换参数(例如，下转换因子和下转换滤波器)。所有这些数据共同表示帧速率转换元数据，在步骤(230)中，所述元数据与高帧速率视频打包在一起以传输到下游设备，如机顶盒和电视机。
虽然讨论对高帧视频的编码和传输超出了本发明的范围，但是编码器可以应用传统的编码技术(如用于符合标准的帧速率的那些编码技术)，或者可以应用如在WIPO公开号WO 2017/146972“Apparatus and Method for Encoding High Frame Rate Content inStandard Frame Rate Video Using Temporal Interlacing(用于使用时间隔行对标准帧速率视频中的高帧速率内容进行编码的装置和方法)”中提出的更复杂的高帧速率编码技术，所述公开文本通过引用并入本文。
图2B描绘了根据实施例的示例解码过程流程。在接收器(例如，机顶盒、手机、平板计算机、TV等)中，在步骤(250)中，接收器访问高帧速率HDR视频和相关联的帧速率转换元数据。在步骤(255)中，接收器确定目标显示器的特性(例如，最大明亮度、对比度等)。例如，在一些实施例中，可以通过显示器的扩展显示标识数据(EDID)取得这样的信息。在一些实施例中，接收器还可以考虑到来的视频的动态范围(例如，场景或帧中的最小明亮度、中间(平均)明亮度或最大明亮度)。然后，(步骤260)至少使用目标显示器的特性，接收器可以从帧速率转换元数据中提取适当的下转换因子和相关的下转换滤波器参数。在一些实施例中，接收器还可以考虑与回放“优先级”(例如，基于视频、基于图形或基于像素)、输入数据的明亮度和/或周围环境光相关的信息。目标显示器处的环境光水平可以是例如基于典型观看环境的知识的假定值，或者可以是例如使用连接到目标显示器的环境光传感器所测得的值。
在实施例中，为了减小与每个像素优先级相关的元数据大小，可以对阿尔法映射(alpha map)进行压缩(例如，使用已知的压缩方案，如zip、JPEG等)，或者可以将阿尔法映射限制为特定的几何形状(比如说，圆形或矩形)，从而可以仅使用一些参数(如，矩形的宽度、高度或圆的半径)来传送所述映射。
帧速率元数据和抖动控制
在视觉科学中，可以基于可感知错误的不同特征(例如，非平滑运动、闪烁边缘、模糊、假边缘或“频闪”)以各种方式对视频内容中的运动伪像进行分类。为了简化此讨论，将此类伪像统称为“抖动”。当抖动过多时，会破坏视频资源(video asset)中的运动质量，并使内容难以观看或观看起来令人不愉快。运动对象的细节可能会完全丢失，并且某些场景(尤其是相机揺摄)可能会给观看者带来困扰甚至令观看者完全无法观看。
抖动在现代显示系统中广泛存在。在观看显示器上的内容时会出现运动伪像、而在看着现实生活中的对象时不会出现运动伪像的原因主要是由于对象的静态呈现：也就是说，当人们看着显示器时，他们真正看到的是快速变化的一系列静态图像。即使以高速率(例如，以24Hz)更换图像，在现实生活中的对象与其被显示的对应物之间通常仍存在可感知的残差。当帧速率增加时，抖动会减少或甚至对观看者而言变得无法感知。
尽管在人们要精确地再现现实的情况下抖动可能被认为是不受欢迎的特征，但是全世界的观众在消费传统上涉及24Hz帧速率的电影级内容时已经习惯了某种画面。这种画面与艺术呈现、电影制作室制作和电影质量密切相关联。当帧速率增加时，某些观众以及内容创作者会抵触平滑运动，所述平滑运动然后被感知为伪像本身。这被称为“肥皂剧效果”，也被称为与TV制作室制作或家庭制作相关联的“视频画面”。最近，这也被称为“视频游戏画面”。在考虑替代的娱乐形式(如体育或视频游戏)时，通常不会出现这种反应，在这些可替代娱乐形式中，较高的帧速率已成为标准，并且抖动预计会最小化。因此，在考虑电影级内容时，人们会发现抖动是人们可能想要在一定阈值内保留的独特伪像，所述阈值不能太高以免破坏内容的质量，而且不能太低，否则会存在使观看者对内容的新画面不满意的风险。
此问题的另一个自由度是，抖动受与内容本身和观看者采用的显示模式相关联的其他因素的影响。如在N.Xu等人的美国专利公开号2017/0054938中所描述的，存在可能会影响抖动的几个因素，如内容的平均光亮度和最大光亮度、动态范围、对比度、运动的速度和方向、相机角度和快门速度、观众视野中的位置以及当然还有帧速率。有趣的是，随着显示技术的发展，主要是随着高动态范围电视和投影仪的引入，这些因素中的几个因素(例如，平均光亮度和最大光亮度、对比度等)也在不断发展。来自艺术家和观众的反馈表明，过去在传统电影院中具有合意的或可接受的抖动特性的电影现在当在HDR电影院中观看时可能会表现为抖动过多。这就给内容创作者带来了关于他们的电影中可以呈现什么样的场景和动作的新限制约束，从而有效地削弱了HDR效果或强制仅呈现慢速移动。如发明人所理解的，可以使用帧速率元数据来解决这些问题。
到目前为止所讨论的实施例假定TV或显示器将以高帧速率(例如，以120fps)接收内容，并且然后应用帧速率控制元数据以根据需要调整帧速率。可替代地，TV可以应用滤波器，以使120fps信号具有较低的常见帧速率(例如24fps)的关键特性。在一些实施例中，TV可以以标准帧速率(例如，以24、30或60fps或Hz)接收内容，并且然后使用帧内插技术来匹配期望的面板帧速率。不管视频的像素属性如何，这些帧内插技术通常都是相同的，也就是说，这些技术以恒定值对帧速率进行上采样而无需考虑特定于内容的参数(如最大明亮度)，其方式为根据导演的意图保留抖动。
在实施例中，可以使用如先前所讨论的帧速率控制元数据来调整此类内插方案。可以在每个帧、每个场景或任何其他合适的粒度间隔上启用调整。例如，帧内插可以使用滤波或嵌入在元数据中的其他参数来应用原始(所接收的)帧与经内插的帧二者的组合。例如，非限制性地，如果输入帧速率为60fps，并且TV内插到120fps，则等式(1)可以重写为
Figure BDA0002428162740000121
其中，
Figure BDA0002428162740000122
表示由显示器基于输入fI(i，j)帧生成的经内插的帧(例如，重复的输入帧、插入的黑色帧、运动内插的帧等)。
基于发明人进行的一系列主观视觉实验，在实施例中，抖动(J)可以被描述为帧速率和强度的函数，如在下式中
Figure BDA0002428162740000123
其中，I表示最大光亮度，R表示帧速率，并且c1和c2是通过将实验数据与等式(7)拟合而计算出的用于特定类型抖动的常数。例如，图3A描绘了作为明亮度和帧速率的函数的多个抖动轮廓曲线。明亮度以尼特为单位来测量，并且表示显示器在“PQ”域(SMPTE ST2084)中的最大光亮度。例如，在轮廓305中，点302表示100尼特显示器上的24Hz内容的感知抖动。可以将所述抖动视为参考SDR抖动。如图3A中描绘的，在1,000尼特(例如，使用HDR显示器)下，为了感知相同量的抖动，帧速率必须接近33Hz(点308)。类似地，在48尼特、24Hz(典型的电影院设置)(点303)下的感知抖动对应于400尼特显示器上以约33Hz(点306)进行显示的相同抖动。
作为另一示例，图3B描绘了用于5秒电影级摇摄(轮廓310)和7秒摇摄(轮廓315)的特征化抖动。这些摇摄持续时间还将对应于在给定持续时间中对象从屏幕的一个边缘移动到另一个边缘的感知。因此，点320表示24fps和48尼特(电影院中的典型最大光亮度)下的电影级运动揺摄，这对应于与点330处相同的感知抖动，所述点表示300尼特的监视器以30帧每秒进行显示。在这个示例中，轮廓315下方的点被认为比所述轮廓上方的点(例如，轮廓325中的点)具有更多的抖动。
可以应用等式(7)从而以各种方式改进抖动控制。在实施例中，给定期望抖动JR的值(例如，对于具有最大明亮度IR和参考帧速率RR的参考显示器)，在具有目标显示器的接收器上，所述接收器可以：a)对于目标显示器的固定明亮度(比如说，IT)，以及给定JR，求解等式(7)以确定适当的回放帧速率(比如说RT)；或者b)对于固定的回放帧速率，给定JR，求解等式(7)以确定显示器的最大明亮度，即：
Figure BDA0002428162740000131
或者
Figure BDA0002428162740000132
在一些系统中，求解等式(8a)可能会产生超出显示器能力的结果。类似地，将强度降低到超出某个点可能会在一开始就损害具有HDR TV的“附加值”。在这样的情况下，可以保持抖动恒定，并反复调整回放帧速率和强度二者，直到结果满足监视器和/或显示偏好的能力。
本领域技术人员将理解，等式(7)虽然简单且有效，但是可以由高阶多项式模型和/或其他参数表示形式代替。例如，抖动模型还可以包括与被测揺摄速度、图像对比度，运动类型(例如，揺摄或旋转)等相关的参数。不管抖动的模型表示如何，所提出的方法都仍然适用。
通过虚拟快门角度和帧速率控制进行抖动控制
在另一个实施例中，输出帧速率保持固定；然而，通过模拟由虚拟快门角度和帧速率表征的虚拟相机的特性来调整抖动。这是通过使用相对较简单的操作的组合对输入帧进行操作来实现的，所述操作如：丢弃帧、重复帧和对帧进行滤波。在最简单的可能实施方式中，滤波可以是对要被滤波的帧的简单取平均；然而，如先前描述的那些可替代滤波技术也是可能的。
作为示例，非限制性地，考虑120Hz的输入流。此输入可以表示为“120fps@360°”，因为这表示其快门始终处于打开状态的相机。现在考虑这样的系统：所述系统每隔一帧丢弃一个帧，但是重复剩余的帧，也就是说，使用我们之前的表示法，输出可以表达为：
Figure BDA0002428162740000141
这种配置可以被表示为虚拟的“60fps@180°”相机系统。
接下来，考虑这样的配置：所述配置每隔一帧丢弃一个帧，但每两帧输出一个滤波后的版本(例如，平均值)，即：
fd(i，j)＝fd(i+1，j)＝c0fI(i，j)+c1fI(i+1，j)，其中i＝0，2，4，...。 (10)
这种配置可以被表示为虚拟的“60fps@360°”相机系统。
本着同样的精神，并且非限制性地，表2示出了操纵输入帧及其等效“相机系统”的其他示例。所述表中的每个条目的特征在于被丢弃的帧数、被一起滤波的帧数、以及具有其虚拟快门系统和虚拟帧速率的虚拟相机系统配置。
这些配置中的每一个预计对所感知抖动具有不同的影响，因此，内容创作者可以选择最符合导演的视觉抖动意图的特定配置。可以使用帧速率元数据将所选择的配置向下游传递给接收器。
表2：通过用于120Hz输入的虚拟相机设置进行的抖动控制选项
编号 丢弃的帧 经滤波的帧 虚拟帧速率 虚拟快门角度
1 无 无 120 360
2 1 无 60 180
3 1 2 60 360
4 2 无 40 120
5 2 2 40 240
6 2 3 40 360
7 3 无 30 90
8 3 2 30 180
9 3 3 30 270
10 3 4 30 360
11 4 无 24 72
12 4 2 24 144
1 3 4 3 24 21 6
14 4 4 24 288
15 4 5 24 360
这种方法模拟了物理相机会如何捕获屏幕，但是可能提供有限的选项来表征抖动，尤其是对于较低的帧速率(比如说60fps)。
通过非平滑运动进行抖动控制
在Xu等人的美国专利公开号2017/0264861(将被称为‘861公开文本)中提出了一种用于通过引入非平滑运动来控制抖动的方法。这种方法的示例在图4中进行了图示。考虑在没有抖动的情况下的输入输出帧速率关系，所述关系由线405的斜率表征。还考虑时间间隔T。在实施例中，如果在每个周期T中以较慢的速度(例如，以由线408的斜率表征的速率)播放输入内容，则在每个时间段T结束时应该存在向前跳跃以便跟上真实的回放时间。在这种场景下，在时间T内以较低的速度显示正在平滑移动的对象，并且然后在下一个时间周期开始时将所述对象显示为跳到新位置。这种跳跃被感知为非平滑的运动，这是导致抖动的关键因素。可以通过线408的斜率来控制所产生的感知抖动的量，所述斜率相对于线405的斜率可以采取从0(最大可能抖动)到1(无抖动)的值。
如在‘861公开文本中所讨论的，此斜率(称为抖动控制速率(Judder ControlRate，JCR))可以在内容制作端确定，并且可以与视频数据一起作为元数据传输。然后，在接收器中，显示器的帧速率控制器可以读取JCR值并根据需要调整回放。
在实施例中，表2的这些JCR值或虚拟相机设置也可以映射到一组虚拟帧速率值(RV)，以便与等式(7)的抖动模型结合使用，例如：
Figure BDA0002428162740000161
如本文所使用的，术语“修整处理(trim-pass)”表示内容后期制作中的阶段，在所述阶段中，针对第一目标显示格式(比如说，4,000尼特的专业监视器)创作的视频流被着色艺术家重新分级到第二目标显示格式(如，针对300尼特的SDR TV)。制作室可以创作多个“修整(trims)”，如用于在SDR电影院(48尼特)、HDR电影院(例如100尼特)、SDR TV(例如300尼特)、HDR TV(例如1,000尼特)等上发布的修整。给定指定修整的输入视频，TV可以应用显示管理技术以将输入数据的最大强度映射到目标TV的动态范围。针对已知修整的给定RV值，类似的方法也可以用于生成TV特定的虚拟帧速率值。例如，如果接收器接收到具有表征针对每个修整的期望抖动的成对强度和RV值(例如，成对的I(i)、R(i))的表，则针对I(i)≤IT≤I(i+1)的目标显示器，使用线性内插，目标RV值(RVT)可以表达为
RVT＝(1-a)*R(i)+a*R(i+1)， (12a)
其中，
Figure BDA0002428162740000162
现在可以使用这个RVT值来确定最佳帧速率回放或最大明亮度，以匹配优选的抖动水平。
示例计算机系统实施方式
本发明的实施例可以利用计算机系统、配置在电子电路和部件中的系统、集成电路(IC)设备(如微控制器、现场可编程门阵列(FPGA)、或另一可配置或可编程逻辑器件(PLD)、离散时间或数字信号处理器(DSP)、专用IC(ASIC))、和/或包括一个或多个这样的系统、设备或部件的装置来实施。计算机和/或IC可以执行、控制或实行与帧速率转换元数据相关的指令，如本文所述的那些指令。计算机和/或IC可以计算与本文描述的图像变换过程有关的各种参数或值中的任何参数或值。图像和视频实施例可以以硬件、软件、固件及其各种组合来实施。
本发明的某些实施方式包括执行软件指令的计算机处理器，所述软件指令使处理器执行本发明的方法。例如，显示器、编码器、机顶盒、转码器等中的一个或多个处理器可以通过执行所述处理器可访问的程序存储器(memory)中的软件指令来实施与如上所述的与帧速率转换元数据相关的方法。还可以以程序产品的形式提供本发明。程序产品可以包括携带一组计算机可读信号的任何非暂态且有形介质，所述一组计算机可读信号包括指令，所述指令当由数据处理器执行时使数据处理器执行本发明的方法。根据本发明的程序产品可以采用各种非暂态且有形形式中的任何一种。程序产品可以包括例如物理介质，如包括软盘、硬盘驱动器的磁性数据存储介质(storage media)，包括CD ROM、DVD的光学数据存储介质，包括ROM、闪存RAM的电子数据存储介质等。程序产品上的计算机可读信号可以可选地被压缩或加密。
在上面提到部件(例如，软件模块、处理器、组件、设备、电路等)的情况下，除非另有说明，否则对此部件的引用(包括对“装置(means)”的引用)都应被解释为包括执行所描述部件的功能的任何部件的此部件的等同物(例如，功能上等同的)，包括在结构上不等同于执行在本发明的所图示示例实施例中的功能的所公开结构的部件。
将从以下枚举的示例实施例(EEE)列表中理解本公开文本的各个方面：
EEE1.一种用于对高动态范围(HDR)视频信号进行编码的方法，所述方法包括：
访问高帧速率HDR视频；
至少基于目标显示器的最大明亮度来确定所述高帧速率HDR视频的一组帧速率下转换参数；
基于所述帧速率下转换参数来生成帧速率转换元数据；以及
基于所述高帧速率HDR视频和所述帧速率转换元数据来生成经编码比特流。
EEE2.如EEE 1所述的方法，其中，所述一组帧速率下转换参数包括用于确定视频回放帧速率的下转换因子、以及下转换滤波系数。
EEE3.如EEE 1所述的方法，其中，所述帧速率下转换参数还基于目标显示器中周围环境光的值。
EEE4.如EEE 1所述的方法，其中，所述帧速率下转换参数还基于显示回放优先级模式，其中，所述显示回放优先级模式包括视频优先级模式、图形优先级模式、过渡优先级模式或基于像素的优先级模式中的一种或多种。
EEE5.如EEE 4所述的方法，其中，在所述基于像素的优先级模式下，所述帧速率下转换参数包括用于图形像素和用于视频像素的单独的下转换滤波系数组。
EEE6.如EEE 5所述的方法，其中，根据阿尔法掩膜(mask)，视频像素被确定为图形像素或视频像素。
EEE7.如EEE 6所述的方法，其中，所述阿尔法掩膜包含在所述帧速率转换元数据中。
EEE8.如EEE 1所述的方法，其中，所述帧速率转换元数据是在所述高帧速率HDR视频的序列级别、场景级别或帧级别处确定的。
EEE9.一种用于对高动态范围(HDR)视频信号进行解码的方法，所述方法包括：
接收以输入高帧速率编码的输入HDR视频信号；
接收与所述输入视频信号相关联的帧速率转换元数据；
确定目标显示器的最大明亮度；
至少基于所述目标显示器的最大明亮度和所述帧速率转换元数据来确定一组帧速率下转换参数；以及
基于所述输入视频信号和所述一组帧速率下转换参数来以输出帧速率生成用于所述目标显示器的输出视频信号。
EEE10.如EEE 9所述的方法，其中，所述一组帧速率下转换参数包括用于确定输出帧速率的下转换因子以及下转换滤波系数。
EEE11.如EEE 9所述的方法，其中，所述帧速率下转换参数还基于目标显示器中周围环境光的值。
EEE12.如EEE 9所述的方法，其中，所述帧速率下转换参数还基于显示优先级模式，其中，所述显示优先级模式包括视频优先级模式、图形优先级模式、过渡优先级模式或基于像素的优先级模式中的一种或多种。
EEE13.如EEE 12所述的方法，其中，在所述基于像素的优先级模式下，所述帧速率下转换参数包括用于图形像素和用于视频像素的单独的下转换滤波系数。
EEE14.如EEE 13所述的方法，其中，根据阿尔法掩膜，视频像素被确定为图形像素或视频像素。
EEE15.如EEE 14所述的方法，其中，所述阿尔法掩膜包含在所述帧转换元数据中。
EEE16.如EEE 9所述的方法，其中，所述帧转换元数据是在所述高帧速率HDR视频的序列级别、场景级别或帧级别处确定的。
EEE17.如EEE 1或EEE 9所述的方法，其中，所述帧速率下转换参数还包括抖动值、虚拟相机配置值、抖动控制速率值或虚拟帧速率值中的一个或多个，其中，
所述抖动值表示基于最大明亮度值和回放帧速率的根据抖动模型所感知的抖动，
所述虚拟相机配置值表示要在所述输入HDR视频信号中的帧上执行的一项或多项滤波操作，
所述抖动控制速率值表示介于0到1之间的表征相对于参考无抖动帧速率的回放帧速率的斜率值，并且
虚拟帧速率值表示根据虚拟相机配置值或抖动控制速率值的期望抖动。
EEE18.如EEE 17所述的方法，其中，根据所述抖动模型计算抖动值(J)包括计算
Figure BDA0002428162740000191
其中，R表示回放帧速率，I表示最大明亮度，而c1和c2是常数。
EEE19.如EEE 18所述的方法，其中，给定抖动值JR、抖动模型系数c1和c2、以及目标显示器的最大明亮度IT，以如下速率显示用于所述目标显示器的输出视频信号
Figure BDA0002428162740000192
EEE20.如EEE 18所述的方法，其中，给定抖动值JR、抖动模型系数c1和c2、以及目标显示器的目标帧速率RT，以如下给出的最大明亮度显示用于所述目标显示器的输出视频信号
Figure BDA0002428162740000193
EEE21.如EEE 17所述的方法，其中，给定表征一组修整的优选抖动值的一组成对的明亮度值和对应的虚拟帧速率值(I(i)，R(i))，对于最大明亮度为I(i)≤IT≤I(i+1)的显示器，所述显示器的对应虚拟帧速率(RVT)能够被计算为
RVT＝(1-a)*R(i)+a*R(i+1)，
其中，
Figure BDA0002428162740000194
EEE22.如EEE 17所述的方法，其中，所述最大明亮度对应于所述目标显示器的最大值或所述HDR视频信号中的一帧或一组帧的最大明亮度。
EEE23.一种装置，所述装置包括处理器并且被配置用于执行如EEE 1至22中所述的方法中的任一种方法。
EEE24.一种非暂态计算机可读存储介质，具有存储于其上的计算机可执行指令，所述指令用于利用一个或多个处理器来执行根据EEE 1至22任一项所述的方法。
等效物、扩展、替代品及其他
因此，描述了与帧速率转换元数据相关的示例实施例。在前述说明书中，已经参考许多具体细节描述了本发明的实施例，这些细节可以根据实施方式而变化。因此，指明本发明以及申请人的发明意图的唯一且排他性指示是根据本申请以具体形式发布的权利要求组，其中，这种权利要求发布包括任何后续修正。本文中明确阐述的针对这种权利要求中包含的术语的任何定义应当支配着权利要求中使用的这种术语的含义。因此，权利要求中未明确引用的限制、要素、特性、特征、优点或属性不应以任何方式限制这种权利要求的范围。因此，说明书和附图应被视为说明性的而非具有限制性意义。

Claims (24)

1.一种用于对高动态范围(HDR)视频信号进行编码的方法，所述方法包括：
访问以第一帧速率编码的HDR视频信号；
确定适合于将所述HDR视频信号适配为以第二帧速率进行回放的一组帧速率下转换参数，所述第二帧速率低于所述第一帧速率，
其中，所述一组帧速率下转换参数包括：(i)用于在目标显示器处至少基于所述目标显示器的最大明亮度的函数来确定所述第二帧速率的下转换因子，其中，所述第二帧速率随着所述最大明亮度而增加；或(ii)能够从中获得所述下转换因子的元数据；
基于所述一组帧速率下转换参数来生成帧速率转换元数据；以及
生成包括所述HDR视频信号和所述帧速率转换元数据的经编码比特流。
2.如权利要求1所述的方法，其中，所述一组帧速率下转换参数包括下转换滤波器的系数，所述下转换滤波器适合于将所述HDR视频信号适配为以所述第二帧速率在所述目标显示器处进行回放。
3.如权利要求1或权利要求2所述的方法，其中，还基于以下各项中的至少一项来确定所述一组帧速率下转换参数：
所述目标显示器的最小明亮度；
所述目标显示器处的环境光水平；以及
所述目标显示器的显示回放优先级模式。
4.如权利要求3所述的方法，其中，所述显示回放优先级模式包括视频优先级模式、图形优先级模式、过渡优先级模式或基于像素的优先级模式中的一种或多种。
5.如当从属于权利要求2时的权利要求4所述的方法，其中，在所述基于像素的优先级模式下，所述一组帧速率下转换参数包括所述下转换滤波器的第一组系数和第二组系数，所述第一组系数用于图形像素，所述第二组系数用于视频像素。
6.如权利要求5所述的方法，其中，根据阿尔法掩膜，视频像素被确定为图形像素或视频像素。
7.如权利要求6所述的方法，其中，所述阿尔法掩膜被包含在所述帧速率转换元数据中。
8.如任一前述权利要求所述的方法，其中，所述帧速率转换元数据是以所访问的HDR视频的序列级别、场景级别或帧级别被确定的。
9.一种用于对高动态范围(HDR)视频信号进行解码的方法，所述方法包括：
接收以第一帧速率编码的输入HDR视频信号；
接收与所述输入HDR视频信号相关联的帧速率转换元数据；
确定目标显示器的最大明亮度；
至少基于所述帧速率转换元数据来确定一组帧速率下转换参数，所述一组帧速率下转换参数适合于将所述输入HDR视频信号适配为以第二帧速率进行回放，所述第二帧速率低于所述第一帧速率，
其中，所述一组帧速率下转换参数包括：(i)用于在所述目标显示器处根据所述目标显示器的所述最大明亮度来确定所述第二帧速率的下转换因子，由此，所述第二帧速率随着最大明亮度而增加；或(ii)能够从中获得所述下转换因子的元数据；以及
至少基于所述输入视频信号和所述一组帧速率下转换参数来以所述第二帧速率生成用于所述目标显示器的输出视频信号。
10.如权利要求9所述的方法，其中，所述一组帧速率下转换参数包括用于下转换滤波器的系数，所述下转换滤波器适合于将所述输入HDR视频信号适配为以所述第二帧速率在所述目标显示器处进行回放。
11.如权利要求9或权利要求10所述的方法，其中，所述一组帧速率下转换参数基于以下各项中的至少一项：
所述目标显示器的最小明亮度；
所述目标显示器处的环境光水平；以及
所述目标显示器的显示回放优先级模式。
12.如权利要求11所述的方法，其中，所述显示回放优先级模式包括视频优先级模式、图形优先级模式、过渡优先级模式或基于像素的优先级模式中的一种或多种。
13.如当从属于权利要求10时的权利要求12所述的方法，其中，在所述基于像素的优先级模式下，所述一组帧速率下转换参数包括用于所述下转换滤波器的第一组系数和第二组系数，所述第一组系数用于图形像素，所述第二组系数用于视频像素。
14.如权利要求13所述的方法，其中，根据阿尔法掩膜，视频像素被确定为图形像素或视频像素。
15.如权利要求14所述的方法，其中，所述阿尔法掩膜被包含在所述帧速率转换元数据中。
16.如权利要求9所述的方法，其中，所述帧速率转换元数据是以所述输入HDR视频的序列级别、场景级别或帧级别被确定的。
17.如权利要求1或权利要求9所述的方法，其中，所述帧速率下转换参数还包括抖动值、虚拟相机配置值、抖动控制速率值或虚拟帧速率值中的一个或多个，其中，
所述抖动值表示基于最大明亮度值和回放帧速率的根据抖动模型所感知的抖动，
所述虚拟相机配置值表示要对所述输入HDR视频信号的帧执行的一项或多项滤波操作，
所述抖动控制速率值表示介于0到1之间的表征回放帧速率相对于参考无抖动帧速率的斜率值，并且
虚拟帧速率值表示根据虚拟相机配置值或抖动控制速率值的期望抖动。
18.如权利要求17所述的方法，其中，根据所述抖动模型计算抖动值(J)包括计算
Figure FDA0002428162730000031
其中，R表示回放帧速率，I表示最大明亮度，而c1和c2是常数。
19.如权利要求18所述的方法，其中，给定抖动值JR、抖动模型系数c1和c2、以及目标显示器的最大明亮度IT，以如下速率显示用于所述目标显示器的输出视频信号
Figure FDA0002428162730000041
20.如权利要求18所述的方法，其中，给定抖动值JR、抖动模型系数c1和c2、以及目标显示器的目标帧速率RT，以如下给出的最大明亮度显示用于所述目标显示器的输出视频信号
Figure FDA0002428162730000042
21.如权利要求17所述的方法，其中，给定表征一组修整的优选抖动值的一组成对的明亮度值和对应的虚拟帧速率值(I(i)，R(i))，对于最大明亮度为I(i)≤IT≤I(i+1)的显示器，所述显示器的对应虚拟帧速率(RVT)能够被计算为
RVT＝(1-a)*R(i)+a*R(i+1)，
其中，
Figure FDA0002428162730000043
22.如权利要求17所述的方法，其中，所述最大明亮度对应于所述目标显示器的最大值或所述HDR视频信号中的一帧或一组帧的最大明亮度。
23.一种装置，所述装置包括处理器并且被配置用于执行如权利要求1至22中所述的方法中的任一种方法。
24.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质具有存储于其上的计算机可执行指令，所述指令用于利用一个或多个处理器来执行根据权利要求1至22中任一项所述的方法。
CN201880063042.6A 2017-09-28 2018-09-27 用于编码和解码高动态范围视频的方法、装置和介质 Active CN111149346B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201762564500P 2017-09-28 2017-09-28
US62/564,500 2017-09-28
EP17200106 2017-11-06
EP17200106.7 2017-11-06
US201862648795P 2018-03-27 2018-03-27
US62/648,795 2018-03-27
PCT/US2018/053186 WO2019067762A1 (en) 2017-09-28 2018-09-27 FRAME FREQUENCY CONVERSION METADATA

Publications (2)

Publication Number Publication Date
CN111149346A true CN111149346A (zh) 2020-05-12
CN111149346B CN111149346B (zh) 2021-07-13

Family

ID=63794779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880063042.6A Active CN111149346B (zh) 2017-09-28 2018-09-27 用于编码和解码高动态范围视频的方法、装置和介质

Country Status (4)

Country Link
US (1) US11019302B2 (zh)
EP (1) EP3688978B1 (zh)
CN (1) CN111149346B (zh)
WO (1) WO2019067762A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114650324A (zh) * 2020-12-21 2022-06-21 深圳市万普拉斯科技有限公司 一种帧频切换方法、装置、终端设备和可读存储介质
CN115668958A (zh) * 2020-05-26 2023-01-31 杜比实验室特许公司 用于可变帧速率视频的图片元数据
CN117478882A (zh) * 2019-03-11 2024-01-30 杜比实验室特许公司 帧速率可伸缩视频编码

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4011079A1 (en) 2019-08-06 2022-06-15 Dolby Laboratories Licensing Corporation Canvas size scalable video coding
KR20210083840A (ko) * 2019-12-27 2021-07-07 삼성전자주식회사 다이나믹 톤 메타데이터를 포함하는 영상의 편집을 위한 전자 장치 및 그의 동작 방법
CN113467164B (zh) * 2020-03-31 2022-07-22 苏州佳世达光电有限公司 投影机及投影方法
US20230088882A1 (en) * 2021-09-22 2023-03-23 Samsung Electronics Co., Ltd. Judder detection for dynamic frame rate conversion
US20240108978A1 (en) * 2022-09-29 2024-04-04 Advanced Micro Devices, Inc. Remote display synchronization to preserve local display
CN116347224B (zh) * 2022-10-31 2023-11-21 荣耀终端有限公司 拍摄帧率控制方法、电子设备、芯片系统及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103827956A (zh) * 2011-09-27 2014-05-28 皇家飞利浦有限公司 用于图像的动态范围变换的装置和方法
CN104935826A (zh) * 2014-03-18 2015-09-23 汤姆逊许可公司 用于处理视频序列的方法、相应的设备、计算机程序和非瞬时计算机可读介质
CN105637886A (zh) * 2014-09-25 2016-06-01 华为技术有限公司 用于向客户端提供图形用户界面的服务器，以及客户端
WO2016128138A1 (en) * 2015-02-11 2016-08-18 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Method and device for emulating continuously varying frame rates
CN107079079A (zh) * 2014-10-02 2017-08-18 杜比实验室特许公司 用于抖动可视性控制的双端元数据

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10368031B2 (en) 2014-02-27 2019-07-30 Dolby Laboratories Licensing Corporation Systems and methods to control judder visibility
US10880557B2 (en) * 2015-06-05 2020-12-29 Fastvdo Llc High dynamic range image/video coding
US10116938B2 (en) * 2015-07-22 2018-10-30 Arris Enterprises Llc System for coding high dynamic range and wide color gamut sequences
WO2017146972A1 (en) 2016-02-22 2017-08-31 Dolby Laboratories Licensing Corporation Apparatus and method for encoding high frame rate content in standard frame rate video using temporal interlacing
EP3465673B1 (en) 2016-05-27 2020-07-29 Dolby Laboratories Licensing Corporation Transitioning between video priority and graphics priority

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103827956A (zh) * 2011-09-27 2014-05-28 皇家飞利浦有限公司 用于图像的动态范围变换的装置和方法
CN104935826A (zh) * 2014-03-18 2015-09-23 汤姆逊许可公司 用于处理视频序列的方法、相应的设备、计算机程序和非瞬时计算机可读介质
CN105637886A (zh) * 2014-09-25 2016-06-01 华为技术有限公司 用于向客户端提供图形用户界面的服务器，以及客户端
CN107079079A (zh) * 2014-10-02 2017-08-18 杜比实验室特许公司 用于抖动可视性控制的双端元数据
WO2016128138A1 (en) * 2015-02-11 2016-08-18 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Method and device for emulating continuously varying frame rates

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117478882A (zh) * 2019-03-11 2024-01-30 杜比实验室特许公司 帧速率可伸缩视频编码
CN117478882B (zh) * 2019-03-11 2024-05-28 杜比实验室特许公司 处理编码视频流的装置和生成快门间隔元数据的装置
US12108061B2 (en) 2019-03-11 2024-10-01 Dolby Laboratories Licensing Corporation Frame-rate scalable video coding
US12108060B2 (en) 2019-03-11 2024-10-01 Dolby Laboratories Licensing Corporation Frame-rate scalable video coding
CN115668958A (zh) * 2020-05-26 2023-01-31 杜比实验室特许公司 用于可变帧速率视频的图片元数据
CN114650324A (zh) * 2020-12-21 2022-06-21 深圳市万普拉斯科技有限公司 一种帧频切换方法、装置、终端设备和可读存储介质

Also Published As

Publication number Publication date
US11019302B2 (en) 2021-05-25
WO2019067762A1 (en) 2019-04-04
US20200275050A1 (en) 2020-08-27
CN111149346B (zh) 2021-07-13
EP3688978B1 (en) 2021-07-07
EP3688978A1 (en) 2020-08-05

Similar Documents

Publication Publication Date Title
CN111149346B (zh) 用于编码和解码高动态范围视频的方法、装置和介质
JP6833953B2 (ja) オーバーレイグラフィクス合成のためのアピアランスマッピングのシステムおよび装置
CN109219844B (zh) 在视频优先级与图形优先级之间转换
US10055866B2 (en) Systems and methods for appearance mapping for compositing overlay graphics
TWI765253B (zh) 用於高動態範圍影像之顯示管理
RU2640750C2 (ru) Устройство и способ для преобразования динамического диапазона изображений
CN110192223B (zh) 高动态范围图像的显示映射
KR102653767B1 (ko) 하이 다이내믹 레인지를 위한 비디오 콘텐츠 타입 메타데이터
RU2818525C2 (ru) Метаданные типа видеосодержимого для расширенного динамического диапазона
US20230319347A1 (en) Method, apparatus, and program product for authoring video content using stream embedded indicators
JP2024516080A (ja) ビューア適応状態に基づく輝度調整

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant