CN116195252A - 针对标准动态范围(sdr)内容的有效电光传递函数(eotf)曲线 - Google Patents

针对标准动态范围(sdr)内容的有效电光传递函数(eotf)曲线 Download PDF

Info

Publication number
CN116195252A
CN116195252A CN202180064102.8A CN202180064102A CN116195252A CN 116195252 A CN116195252 A CN 116195252A CN 202180064102 A CN202180064102 A CN 202180064102A CN 116195252 A CN116195252 A CN 116195252A
Authority
CN
China
Prior art keywords
modified
sdr content
content
sdr
encoded data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180064102.8A
Other languages
English (en)
Inventor
S·曼达尔
R·Y·金姆
K·A·斯莱特里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN116195252A publication Critical patent/CN116195252A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98Adaptive-dynamic-range coding [ADRC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本公开涉及用于传输标准动态范围(SDR)内容的系统和方法。该系统和方法可以使用修改的电光传递函数(EOTF)曲线以将SDR内容的非线性颜色值转换为修改的SDR内容的光学输出值。该系统和方法可以在防止条带的同时使用8比特来编码修改的SDR内容。该系统和方法可以将编码数据传输到客户端设备以用于在显示器上呈现。

Description

针对标准动态范围(SDR)内容的有效电光传递函数(EOTF) 曲线
背景技术
人眼感知图像或图像亮度的方式不同于电视和/或显示器设备呈现图像的方式。人眼可能会注意到较低范围的值与较高范围的值之间的更多差异。对图像或视频进行编码的编码器可能不知道人类对图像的感知与电视和/或显示器设备呈现图像的方式之间的差异。在对图像或视频进行编码之前,图像或视频被转换为编码器用于编码图像或视频的数字系统。编码器可以相等地对待所有值,并且因此,编码器可以以类似的方式对低亮度区域或高亮度区域进行编码。因此,编码器可能在个人无法看到图像或视频中的差异的高范围(例如,图像的明亮区域)中浪费宝贵的比特。
发明内容
提供本发明内容是为了以简化形式介绍概念的选择,这些概念将在下面的详细描述中进一步描述。本发明内容不旨在标识所要求保护的主题的关键特征或基本特征,也不旨在用作确定所要求保护主题的范围的帮助。
一个示例实现涉及系统。该系统可以包括一个或多个处理器;存储器,该存储器与该一个或多个处理器电子通信;以及指令,该指令存储在该存储器中,该指令由该一个或多个处理器可执行以:接收标准动态范围(SDR)内容;使用修改的电光传递函数(EOTF)曲线将SDR内容转换为修改的SDR内容,以将SDR内容的非线性颜色值转换为修改的SDR内容中的光学输出值;将修改的SDR内容发送到编码器,以通过使用8比特编码修改的SDR内容来生成编码数据;以及传输编码数据。
另一示例实现涉及一种方法。该方法可以包括接收标准动态范围(SDR)内容。该方法可以包括使用修改的电光传递函数(EOTF)曲线将SDR内容转换为修改的SDR内容,以将SDR内容的非线性颜色值转换为修改的SDR内容中的光学输出值。该方法可以包括将修改的SDR内容发送到编码器,以通过使用8比特编码修改的SDR内容来生成编码数据。该方法可以包括传输编码数据。
另一示例实现涉及计算机可读介质,该计算机可读介质存储由计算机设备可执行的指令。计算机可读介质可以包括至少一个指令,用于使计算机设备接收标准动态范围(SDR)内容。计算机可读介质可以包括至少一个指令,用于使计算机设备使用修改的电光传递函数(EOTF)曲线将SDR内容转换为修改的SDR内容,以将SDR内容的非线性颜色值转换为修改的SDR内容中的光学输出值。计算机可读介质可以包括至少一个指令,用于使计算机设备将修改的SDR内容发送到编码器,以通过使用8比特编码修改的SDR内容来生成编码数据。计算机可读介质可以包括至少一个指令,用于使计算机设备传输编码数据。
附加的特征和优点将在下面的描述中被阐述,并且部分地将从描述中显而易见,或者可以通过这里的教导的实践来学习。本公开的特征和优点可以通过所附权利要求中特别指出的仪器和组合来实现和获得。通过以下描述和所附权利要求,本公开的特征将变得更充分明显,或者可以通过下文所描述的本公开的实践来了解。
附图说明
为了描述可以获得本公开的上述和其他特征的方式,将通过参考附图中所示的其具体实现来进行更具体的描述。为了更好地理解,在各个附图中,相同的元素通过相同的附图标记来表示。虽然一些附图可以是概念的示意性或夸大的表示,但至少一些附图可以是按比例绘制的。理解这些附图描述了一些示例实现,这些实现将通过使用附图以附加的具体性和细节被描述和解释,其中:
图1示出了根据本公开的实现的用于传输SDR内容的示例系统。
图2A和图2B示出了根据本公开的实现的用于将SDR内容从设备传输到客户端设备以在显示器上呈现的示例方法。
图3示出了根据本公开的实现的使用修改的EOTF曲线的像素值的变换图的示例图。
图4示出了根据本公开的实现的在客户端设备处使用传递函数的像素值的变换图的示例图。
图5示出了计算机系统内可以包括的特定部件。
具体实施方式
本公开一般涉及标准动态范围(SDR)内容。人眼感知图像或图像亮度的方式不同于电视和/或显示器设备呈现图像的方式。人眼可能会注意到较低范围的值与较高范围的值之间的更多差异。例如,个人对图像的较暗部分更敏感,并且可能会注意到图像的较暗部分与图像的较亮部分的差异量相同的差异。
对图像或视频进行编码的编码器可能不知道人类对图像的感知与电视和/或显示器设备呈现图像的方式之间的差异。在对图像或视频进行编码之前,图像或视频被转换为编码器用于编码图像或视频的数字系统。编码器可以相等地对待所有值,并且因此,编码器可以以类似的方式对低亮度区域或高亮度区域进行编码。因此,编码器可能在个人无法看到图像或视频中的差异的高范围(例如,图像的明亮区域)中浪费宝贵的比特。
由电影和电视工程师协会(SMPTE)标准定义的不同电光传递函数(EOTF)曲线可以用于在编码之前转换图像或视频。目前,对于所有标准动态范围(SDR)内容,如SMPTE标准中所定义的,EOTF曲线SMPTE Rec.709被使用,其与人类对图像的感知不一致。SDR内容覆盖多达100尼特(nit),其中1nit是亮度单位,等于1坎德拉/平方米(cd/m2)。SMPTE Rec.709EOTF曲线使用8比特的颜色深度,这限制了SDR图像或视频中较暗内容的粒度。
对于高动态范围(HDR)内容,使用了一种新类型的EOTF曲线,即SMPTE Rec.2084,如SMPTE标准中所定义的,其与人类对图像的感知一致。HDR内容覆盖多达10000尼特,并且使用10比特编码。这样,EOTF SMPTE Rec.2084曲线可以实现以增加的亮度范围对视频图像进行创建,使得场景曝光的上限范围可以在无需被高度压缩的同时,仍然在视频图像中提供真实感与场景临场感。虽然EOTF SMPTE Rec.2084曲线与人类感知更为一致,但EOTFSMPTE-Rec.2084曲线是专为HDR内容设计的,而不适用于SDR内容。
设备和方法可以以如下方式使用修改的SMPTE Rec.2084EOTF曲线:该修改的EOTF曲线仅覆盖对于SDR内容所需的100尼特,同时以8比特精度编码而不显示条带。本公开包括提供益处和/或解决与改进向客户端设备传输SDR内容以在显示器上呈现相关联的问题的若干实际应用。
该设备和方法可以提高以SDR内容传输的图像的质量。该设备和方法还可以在SDR内容的编码期间保存编码比特,并且因此减少用于流式传输SDR内容的网络带宽要求。修改的EOTF曲线可以通过在编码期间使用更少的比特(例如,减少7%的比特)的同时实现相同或更好的图像质量来使得编码更有效。
这样,该设备和方法可以降低用于编码SDR内容的比特率,同时通过在以较低比特率编码的同时防止条带,来保持或改善所显示图像的质量。因此,设备和方法可以提供可以是与人类对图像的感知一致的SDR内容。
现在参考图1,示出了系统100,其用于经由网络104将SDR内容10从一个或多个设备102传输到一个或多个客户端设备106以在显示器30上呈现。设备102可以从多个内容提供商(例如游戏开发方、应用开发方、电视内容发布方和/或任何第三方内容发布方)接收SDR内容10。设备102可以托管SDR内容10或以其他方式向一个或多个客户端设备106提供SDR内容10。
SDR内容10可以包括但不限于图像和/或视频。在实现中,SDR内容10可以包括针对数字游戏的游戏内容的图像或视频。在另一实现中,SDR内容10可以包括针对电影和/或节目的图像或视频。在另一实现中,SDR内容10可以包括静止图像。
(多个)设备102和(多个)客户端设备106可以通过网络104直接或间接地彼此通信。网络104可以包括一个或多个网络,并且可以使用适合于传输数据的一个或多个通信平台或技术。网络104可以指能够在系统100的设备和/或模块之间传输电子数据的任何数据链路。网络104可以指硬连线网络、无线网络或硬连线和无线网络的组合。在一个或多个实现中,网络104包括蜂窝网络。
设备102和/或客户端设备106可以包括可连接到网络104的任何移动或固定计算机设备。设备102和/或客户端设备106可以包括例如移动设备,诸如移动电话、智能电话、个人数字助理(PDA)、平板计算机或膝上型计算机。附加地或备选地,设备102和/或客户端设备106可以包括一个或多个非移动设备,诸如台式计算机、服务器设备或其他非便携式设备。附加地或备选地,设备102和/或客户端设备106可以包括游戏设备、混合现实或虚拟现实设备、音乐设备、电视、导航系统或相机,或者具有与一个或多个其他设备的有线和/或无线连接能力的任何其他设备。在一个或多个实现中,设备102和/或客户端设备106是指与显示器30通信的专用游戏设备(例如,手持游戏设备)或视频游戏控制台。设备102和/或客户端设备106可以包括以下结合图3描述的特征和功能。
预编码部件12、编码器18、解码器22和/或颜色处理部件26的部件可以包括硬件、软件或两者。例如,预编码部件12、编码器18、解码器22和/或颜色处理部件26的部件可以包括存储在计算机可读存储介质上并可由一个或多个计算设备的处理器执行的一个或多个指令。当由一个或多个处理器执行时,一个或多个计算设备(例如,预编码部件12、编码器18、解码器22和/或颜色处理部件26)的计算机可执行指令可以执行本文所述的一种或多种方法。备选地,预编码部件12、编码器18、解码器22和/或颜色处理部件26的部件可以包括硬件,诸如用于执行特定功能或功能组的专用处理设备。附加地或备选地,预编码部件12、编码器18、解码器22和/或颜色处理部件26的部件可以包括计算机可执行指令和硬件的组合。
客户端设备106可以发送请求以从设备102接收SDR内容10或以其他方式访问SDR内容10以在显示器30上呈现。在实现中,SDR内容10可以从设备102被流式传输到客户端设备106。在一个或多个实现中,客户端设备106中的一个或多个客户端设备可以包括其上具有图形用户界面(例如,移动设备的屏幕)的显示器30。此外,或作为备选,客户端设备106中的一个或多个客户端设备可以被通信地耦合(例如,有线或无线)到其上具有图形用户界面的显示器30,以提供内容的显示。
一个示例用例可以包括客户端设备106请求流式传输电影或节目以在显示器30上呈现。另一示例用例可以包括客户端设备106请求流式传输针对数字游戏的游戏内容以在显示器30上呈现。
设备102可以包括预编码部件12,其可以接收由客户端设备106请求的SDR内容10,并且可以标识该SDR内容10是SDR格式。例如,SDR内容10可以使用Rec.709被编码。在实现中,设备102可以是游戏控制台,并且预编码部件12可以是在游戏控制台的显示管线中的硬件。在另一实现中,设备102可以是个人计算机,并且预编码部件12可以是图形处理单元(GPU)管线中的硬件。
预编码部件12可以选择修改的EOTF曲线14,以将SDR内容10从与SDR内容10一起提供的非线性颜色值转换为光学输出值。因此,预编码部件12可以选择修改的EOTF曲线14用于在编码之前对SDR内容10进行预处理,而不是使用SMPTE Rec.709EOTF曲线用于在编码之前对SDR内容10进行预处理。
修改的EOTF曲线14可以提供从包含少至8比特的数字代码值到100坎德拉/平方米(cd/m2)的亮度范围的有效映射,其中1nit等于1cd/m2。这样,修改的EOTF曲线14可以被限制为SDR内容所需的100nit。修改的EOTF曲线14还可以在不显示条带的情况下允许以8比特精度编码。条带可以包括图像的不同颜色区域之间的线。修改的EOTF曲线14可以允许在保持图像中从一种颜色到不同颜色的平滑渐变的同时以8比特精度编码。通过将Rec.709颜色空间(其是相对于国际电信联盟(ITU)建议2020颜色空间的更小的颜色空间,也称为Rec.2020)的使用与修改的EOTF曲线14提供的附加灰度相结合,可以防止SDR图像中的条带。使用修改的EOTF曲线14可以提供具有增加的真实感和临场感的SDR图像,并且因此可以提供更符合人类感知的图像。修改的EOTF曲线14可以表示与人类如何响应光强度密切匹配的数字系统。因此,修改的EOTF曲线14可以是模拟人类感知的量化函数,用于与SDR视频和图像一起使用。
预编码部件12可以使用修改的EOTF曲线14,以将SDR内容10转换为修改的SDR内容16。预编码部件12可以使用修改的EOTF曲线14来将针对捕获的SDR内容10的像素输入值变换为针对修改的SDR内容16的像素输出值。例如,SDR内容10可以以8比特被表示,并且像素输入值可以是0到255范围内的值。预编码部件12可以向编码器18发送或以其他方式传输修改的SDR内容16。编码器18可以使用8比特对修改的SDR内容16进行编码,并且可以保存编码数据20。例如,编码数据20可以以MP4格式或任何其他容器格式被保存,以允许通过互联网进行流式传输。
设备102可以向客户端设备106传输编码数据20。例如,设备102可以经由网络104将编码数据20流式传输到客户端设备106。由于使用8比特执行编码,所以可以减少传输编码数据20所需的网络带宽的量。通过使用修改的EOTF曲线14,可以在编码期间使用更少的比特来实现相同或更好的图像质量。例如,当使用修改的EOTF曲线14时,在编码过程期间可以使用少7%的比特。
解码器22可以接收编码数据20并且可以解码编码数据20。解码器22可以标识编码数据20使用了修改的EOTF曲线14,并且可以将编码数据20解码为经解码的修改的SDR内容16。在实现中,元数据24可以与编码数据20一起传输为提供修改的EOTF曲线14被使用的信息的边带数据。例如,该信息可以包括针对修改的EOTF曲线14的定制信息。解码器22可以使用元数据24来标识修改的EOTF曲线14被使用,并且可以响应于标识修改的EOTF14被使用而提供解码的修改的SDR内容16。
在另一实现中,可以将额外信息指定到编码数据20中,其指示修改的EOTF曲线1 4被使用。例如,编码数据20可以是高级视频编码(AVC)流(也称为H.264)或高效视频编码(HEVC)流(也称为H.265),并且可以将额外信息指定到H.264流或HEVC流中。通过将额外信息添加到编码数据20中,编码数据20可以不符合针对编码数据20的规范。解码器22可以被设计为识别不符合的编码数据20。例如,通过将关于修改的EOTF曲线14的额外信息添加到H.264流或HEVC流中,H.264流或HEVC流可以不符合针对H.264流和HEVC流的规范。解码器22可以识别不符合的H.264流或HEVC流,并且可以使用不符合的H.264流或者HEVC流来标识修改的EOTF曲线14被使用。解码器22响应于标识修改的EOTF曲线14被使用,针对不符合的H.264流或HEVC流提供经解码的修改的SDR内容16。
解码器22可将解码的修改的SDR内容16提供给颜色处理部件26。颜色处理部件26可以将修改的SDR内容16转换为标准格式的SDR内容28。颜色处理部件26可以将传递函数应用于解码的修改的SDR内容16。传递函数可以接收解码的修改的SDR内容16的像素值作为输入,并且可以将所接收的针对修改的SDR内容16的像素值转换为标准格式的像素值。显示器30可以在指定的观看环境中操作。例如,显示器30可以被设计为以Rec.709格式呈现视频SDR内容。这样,颜色处理部件26可以将修改的SDR内容16的像素值转换为Rec.709格式的像素值,并且将我的输出SDR内容28转换为Rec 709格式。
在实现中,修改的EOTF曲线14可以提供向显示器设备提供的非线性颜色值与由显示器设备产生的线性颜色值之间的关系。这样,颜色处理部件26可以直接使用修改的EOTF曲线14,并且可以将解码的修改的SDR内容16转换为线性光信息,以便于在显示器30上呈现。
显示器30可以呈现SDR内容28。呈现在显示器30上的SDR内容28可以更符合人类对图像的感知。SDR内容28可以具有图像和/或视频中呈现的更多视觉信息,因为与使用SMPTERec.709EOTF曲线相比,修改的EOTF曲线14被使用。例如,SDR内容28可以在图像的较暗部分中提供真实感。此外,SDR内容28可以不具有在图像或视频中出现的条带。
示例性用例可以包括用户使用3G蜂窝网络来流式传输针对数字游戏的游戏数据以在客户端设备106上显示。针对游戏数据的图像或视频可以包括SDR内容10。通过对游戏数据中的SDR内容10使用修改的EOTF曲线14,即使针对3G蜂窝网络的带宽可以受到限制,用户仍可在显示器30上接收良好的图像质量。
另一示例用例可以包括在静止图像上使用修改的EOTF曲线14。与在使用SMPTERec.709EOTF曲线时针对图像丢失的信息的量相比,可以减少在使用修改的EOTF曲线14将静止图像压缩和传输到客户端设备106期间丢失的视觉信息(例如,图像中的细节)的量。这样,使用修改的EOTF曲线14的静止图像可以与人眼通常看到的内容对应。
虽然上述示例使用SMPTE Rec.709EOTF曲线,这是与SDR视频一起使用的最常见的伽马曲线,但其他标准可以用于图片,诸如但不限于ProPhoto RGB、Adobe RGB和/或sRGB。系统100和修改的EOTF曲线14也可以与针对SDR内容的其他标准一起使用。
这样,系统100可以被用于通过以较低的比特率提供改进的图像质量来在图像质量方面实现更好的压缩。因此,系统100可以在优化图像质量的同时被用于降低传输视频或图像所需的带宽量。
现在参考图2A和图2B,示例性方法200可以由设备102(图1)和客户端设备106(图1)来使用,以传输SDR内容10(图1)。下面可以参考图1的架构来讨论方法200的动作。
在202处,方法200可以包括接收SDR内容202。设备102的预编码部件12可以接收由客户端设备106请求的SDR内容10。SDR内容10可以包括视频或图像。例如,SDR内容10可以包括但不限于用于针对数字游戏的游戏内容的图像或视频、针对电影的视频、针对节目的视频和/或静止图像。
在204处,方法200可以包括使用修改的EOTF曲线将SDR内容转换为修改的SDR内容。预编码部件12可以使用修改的EOTF曲线14来将SDR内容10转换为修改的SDR内容16。预编码部件12可以使用修改的EOTF曲线14来将针对捕获的Rec.709SDR内容10的像素输入值变换为针对修改的SDR内容16的像素输出值。针对8比特内容,修改的EOTF曲线14的像素输入值可以在0到255的范围内。因此,预编码部件12可以选择修改的EOTF曲线14用于在编码之前对SDR内容10进行预处理,而不是使用SMPTE Rec.709EOTF曲线用于在编码之前对SDR内容10进行预处理。
修改的EOTF曲线14可以提供从包含少至8比特的数字代码值到100坎德拉/平方米(cd/m2)的亮度范围的有效映射,其中1nit等于1cd/m2。这样,修改的EOTF曲线14可以被限制为SDR内容所需的100nit。修改的EOTF曲线14可以允许在不显示条带的情况下以8比特精度编码。条带可以包括图像的不同颜色区域之间的线。修改的EOTF曲线14可以允许在保持图像中从一种颜色到不同颜色的平滑渐变的同时以8比特精度进行编码。使用修改的EOTF曲线14可以提供具有增加的真实感和临场感的SDR图像,并且因此可以提供更符合人类感知的图像。例如,修改的EOTF曲线14可以增加SDR内容10的较暗部分中的粒度的级别。用户可能不会感知SDR内容10中的条带,因为所提出的EOTF曲线14的粒度几乎是EOTF SMPTERec.2084曲线的粒度的两倍,并且HDR内容使用Rec.2020颜色空间,其覆盖的空间是SDR颜色空间Rec.709的三倍。此外,修改的EOTF曲线14可以减少在SDR内容10的压缩期间SDR内容10中丢失的视觉信息的量。因此,修改的EOTF曲线14可以表示与人类如何响应光强度密切匹配的数字系统。
在206处,方法200可以包括向编码器发送修改的SDR内容。预编码部件12可以向编码器18发送或以其他方式传输修改的SDR内容16。
在208处,方法200可以包括保存编码数据。编码器18可以通过使用8比特对修改的SDR内容16进行编码来生成编码数据,并且可以保存编码数据20。例如,编码数据20可以以MP4格式或任何其他容器格式保存,以允许通过互联网进行流式传输。
在210处,方法200可以包括传输编码数据。设备102可以向客户端设备106传输编码数据20。例如,设备102可以响应于从客户端设备106接收到访问SDR内容10的请求,经由网络104将编码数据20流式传输到客户端设备106。由于使用8比特执行编码,因此与传输使用10比特的编码数据所需的网络带宽的量相比,传输编码数据20所需的网络带宽的量可以被减少。
在212处,方法200可以包括接收用于在显示器上呈现的编码数据。客户端设备106上的解码器22可以接收编码数据20并且可以解码编码数据20。
在214处,方法200可以包括标识编码数据使用了修改的EOTF曲线。解码器22可以标识编码数据20使用了修改的EOTF曲线14,并且可以将编码数据20解码为解码的修改的SDR内容16。在实现中,元数据24可以与编码数据20一起作为边带数据被传输。元数据24可以提供关于修改的EOTF曲线14的定制信息。解码器22可以使用元数据24来标识修改的EOTF曲线14被使用,并且可以响应于标识修改的EOTF14被使用而提供解码的修改的SDR内容16。在另一实现中,编码数据20可以包括添加到编码数据20中的额外信息,其指示使用了修改的EOTF曲线14。通过将额外信息添加到编码数据20中,编码数据20可能不符合针对编码数据20的规范。解码器22可以使用不符合的编码数据20来标识修改的EOTF曲线14被使用,并且响应于标识修改的EOTF曲线14被使用,可以针对不符合的编码数据20提供解码的修改的SDR内容16。
在216处,方法200可以包括将编码数据解码为修改的SDR内容。解码器22可以将编码数据20解码为修改的SDR内容16。
在218处,方法200可以包括将修改的SDR内容转换为标准格式的SDR内容。解码器22可将解码的修改的SDR内容16提供给颜色处理部件26。颜色处理部件26可以将修改的SDR内容16转换为标准格式的SDR内容28。颜色处理部件26可以将传递函数应用于解码的修改的SDR内容16。传递函数可以接收解码的修改的SDR内容16的像素值作为输入,并且可以将所接收的对于修改的SDR内容的像素值转换为标准格式的像素值。针对8比特内容,传递函数的像素输入值可以在0到255的范围内,并且传递函数的像素输出值可以在0到255的范围内。显示器30可以在指定的观看环境中操作。例如,显示器30可以被设计为以Rec.709格式呈现SDR内容28,并且颜色处理部件26可以将修改的SDR内容16转换为Rec.709格式的SDR内容28。
在220处,方法200可以包括传输SDR内容用于在显示器上呈现。颜色处理部件26可以传输SDR内容28用于在显示器30上呈现,并且显示器30可以呈现SDR内容28。呈现在显示器30上的SDR内容28可以与人类对图像的感知更为一致。SDR内容28可以将更多视觉信息呈现在图像和/或视频中,因为与使用SMPTE Rec.709EOTF曲线相比,使用了修改的EOTF曲线14。例如,SDR内容28可以在图像的较暗部分中提供真实感。此外,SDR内容28可以不具有在图像或视频中出现的条带。
方法200可以在通过防止条带来保持或改善所显示图像的质量的同时降低用于编码SDR内容10的比特率。这样,方法200可用于显示SDR内容28,其可与人类对图像或视频的感知一致。
现在参考图3,图300示出了在编码之前通过修改的EOTF曲线14(图1)对像素值的示例变换。在此示例中,使用Rec.709对捕获的SDR内容10(图1)进行编码。X轴表示像素输入值302,其用于针对SDR内容10的红色、绿色或蓝色通道的SDR内容10。SDR内容10可以以8比特表示,像素输入值302可以在0到255的范围内。Y轴表示像素输出值304,在变换之后由针对修改的SDR内容16(图1)的修改的EOTF曲线14计算。像素输出值304的范围可以从0到255。曲线306示出了针对修改的SDR内容16的像素输出值304与针对捕获的SDR内容10的像素输入值302。例如,预编码部件12(图1)可以使用修改的EOTF曲线14将针对捕获的SDR内容10的像素输入值302变换为针对修改的SDR内容16的像素输出值304。
现在参考图4,图400示出了在解码过程之后使用客户端设备106(图1)处的传递函数的像素值的示例变换,以确保视频或图像在显示器30(图1中)上正确地显示。X轴表示使用用于传递函数的修改的EOTF曲线14的解码图像的像素输入值402。像素输入值402的范围可以从0到255。例如,像素输入值402可以来自解码的修改的SDR内容16。Y轴表示由传递函数计算的SDR内容28的像素输出值404。像素输出值404的范围可以从0到255,并且可以根据标准SDR值来转换SDR内容28。在此示例中,SDR内容28的像素输出值404是Rec.709格式。曲线406示出了针对SDR内容28的像素输出值404与针对修改的SDR内容16的像素输入值402。例如,颜色处理部件26可以使用传递函数将针对修改的SDR内容16的像素输入值402转换为Rec709格式的针对SDR内容28的像素输出值。
图5示出了计算机系统500内可以包括的特定部件。一个或多个计算机系统500可以用于实现本文所描述的各种设备、部件和系统。
计算机系统500包括处理器501。处理器501可以是通用单芯片或多芯片微处理器(例如,高级RISC(精简指令集计算机)机器(ARM))、专用微处理器(例如数字信号处理器(DSP))、微控制器、可编程门阵列等。处理器501可以被称为中央处理器(CPU)。尽管在图5的计算机系统500中仅示出了单个处理器501,但是在备选配置中,可以使用处理器的组合(例如,ARM和DSP)。
计算机系统500还包括与处理器501电子通信的存储器503。存储器503可以是能够存储电子信息的任何电子部件。例如,存储器503可以体现为随机存取存储器(RAM)、只读存储器(ROM)、磁盘存储介质、光存储介质、RAM中的闪存设备、包括在处理器中的板上存储器、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)存储器、寄存器等等,也包括上述的组合。
指令505和数据507可以存储在存储器503中。指令505以由处理器501可执行以实现本文公开的一些或全部功能。执行指令505可以涉及使用存储在存储器503中的数据507。本文描述的模块和部件的各种示例中的任何一个示例可以部分或全部实现为存储在存储器503中并由处理器501执行的指令505。本文描述的各种数据的示例中的任何一个示例可以是存储在存储器503中并且在由处理器501执行指令505期间使用的数据507。
计算机系统500还可以包括用于与其他电子设备通信的一个或多个通信接口509。(多个)通信接口509可以基于有线通信技术、无线通信技术或两者。通信接口509的一些示例包括通用串行总线(USB)、以太网适配器、根据电气和电子工程师协会(IEEE)802.11无线通信协议操作的无线适配器、
Figure BDA0004133597750000141
无线通信适配器和红外(IR)通信端口。
计算机系统500还可以包括一个或多个输入设备511和一个或多个输出设备513。输入设备511的一些示例包括键盘、鼠标、麦克风、遥控设备、按钮、操纵杆、轨迹球、触摸板和光笔。输出设备513的一些示例包括扬声器和打印机。典型地包括在计算机系统500中的一种特定类型的输出设备是显示器设备515。与本文公开的实施例一起使用的显示器设备515可以利用任何合适的图像投影技术,诸如液晶显示器(LCD)、发光二极管(LED)、气体等离子体、电致发光等。还可以提供显示器控制器517,用于将存储在存储器503中的数据507转换为显示在显示器设备515上的文本、图形和/或运动图像(视情况而定)。
计算机系统500的各个部件可以通过一个或多个总线耦合在一起,总线可以包括电源总线、控制信号总线、状态信号总线、数据总线等。为了清楚起见,图5将各种总线作为一个总线系统519进行说明。
除非具体描述为以特定方式实现,否则本文所描述的技术可以以硬件、软件、固件或其任何组合来实现。被描述为模块、组件等的任何特征也可以一起实现在集成逻辑设备中,或者单独实现为分立但可互操作的逻辑设备。如果以软件实现,则所描述技术可以至少部分地由包括指令的非瞬态处理器可读存储介质实现,该指令在由至少一个处理器执行时执行本文描述的一个或多个方法。指令可以被组织成例程、程序、对象、部件、数据结构等,其可以执行特定的任务和/或实现特定的数据类型,并且其可以在各种实施例中根据需要进行组合或分发。
计算机可读介质可以是由通用或专用计算机系统可以访问的任何可用介质。存储计算机可执行指令的计算机可读介质是非瞬态计算机可读存储介质(设备)。承载计算机可执行指令的计算机可读介质是传输介质。因此,例如但不限于,本公开的实施例可以包括至少两种明显不同的计算机可读介质:非瞬态计算机可读存储介质(设备)和传输介质。
如本文所使用的,非瞬态计算机可读存储介质(设备)可以包括RAM、ROM、EbEPROM、CD-ROM、固态驱动器(SSD)(例如,基于RAM)、闪存、相变存储器(PCM)、其他类型的存储器、其他光盘存储装置、磁盘存储装置或其他磁存储设备,或可以用于存储计算机可执行指令或数据结构形式的所需程序代码部件并且可以由通用或专用计算机访问的任何其他介质。
本文描述的方法的步骤和/或动作可以彼此互换而不脱离权利要求的范围。换言之,除非所描述的方法的正确操作需要步骤或动作的特定顺序,否则可以在不脱离权利要求的范围的情况下修改特定步骤和/或动作的顺序和/或使用。
术语“确定”包括各种各样的动作,因此,“确定”可以包括核算、计算、处理、导出、调查、查找(例如,在表、数据库或其他数据结构中查找)、查明等。此外,“确定”可以包括接收(例如,接收信息)、访问(例如,访问存储器中的数据)等。此外,“确定”可以包括解决、选择、选定、建立等。
冠词“一”、“一个”和“该”旨在表示存在上述描述中的一个或多个元素。术语“包括”、“包含”和“具有”旨在具有包容性,意味着可能存在除所列元素之外的其他元素。此外,应当理解,对本公开的“一个实现”或“一个实施”的引用不旨在被解释为排除也包含所述特征的附加实施的存在。例如,关于本文中的实现描述的任何元素可以与本文中描述的任何其他实现的任何元素组合。因此,如通过本公开的实现所涵盖的本领域技术人员将理解的那样,此处所描述的数字、百分比、比率或其他值旨在包括该值,以及“大约”或“近似”说明的值的其他值。说明的值应被足够宽泛地解释为包括至少足够接近该说明的值以执行期望功能或实现期望结果的值。说明的值至少包括在适当的制造或生产过程中预期的变化,并且可以包括在说明的值的5%以内、1%以内、0.1%以内或0.01%以内的值。
鉴于本公开,本领域技术人员应当认识到,等效构造不脱离本公开的精神和范围,并且可以在不脱离本发明的精神和范围的情况下对本文所公开的实现进行各种改变、替换和替代。等效结构,包括功能性“方法加功能”条款,旨在涵盖本文中描述的执行所描述功能的结构,包括以相同方式操作的结构等效物和提供相同功能的等效结构。申请人的明确意图是不就任何权利要求调用“方法加功能”或其他“功能要求”,但“方法加功能”与相关功能同时出现的权利要求除外。属于权利要求的含义和范围内的对实现的每一个添加、删除和修改都将由权利要求所包含。
在不脱离其精神或特征的情况下,本公开可以以其他特定形式体现。所描述的实施例被认为是说明性的而非限制性的。因此,本公开的范围由所附权利要求而不是由前述描述来指示。在权利要求的含义和等效范围内的变更应包含在其范围内。

Claims (15)

1.一种系统,包括:
一个或多个处理器;
存储器,所述存储器与所述一个或多个处理器电子通信;以及
指令,所述指令被存储在所述存储器中,所述指令由所述一个或多个处理器可执行以:
接收标准动态范围(SDR)内容;
使用修改的电光传递函数(EOTF)曲线将所述SDR内容转换为修改的SDR内容,以将所述SDR内容的非线性颜色值转换为所述修改的SDR内容中的光学输出值;
将所述修改的SDR内容发送到编码器,以通过使用8比特编码所述修改的SDR内容来生成编码数据;以及
传输所述编码数据。
2.根据权利要求1所述的系统,其中所述修改的EOTF曲线被约束为100尼特。
3.根据权利要求1所述的系统,其中所述修改的EOTF曲线防止所述SDR内容中的条带。
4.根据权利要求1所述的系统,其中在以8比特编码所述修改的SDR内容的同时,所述修改的EOTF曲线提高所述SDR内容的图像质量。
5.根据权利要求1所述的系统,其中所述修改的EOTF曲线增加了在所述SDR内容的较暗部分中的粒度的级别。
6.根据权利要求1所述的系统,其中所述指令还由所述一个或多个处理器可执行以经由网络通过流式传输所述编码数据来向客户端设备传输所述编码数据。
7.根据权利要求6所述的系统,其中所述指令还由所述一个或多个处理器可执行以:
通过访问与所述编码数据相关联的元数据来标识所述编码数据使用了所述修改的EOTF曲线;
将所述编码数据解码为所述修改的SDR内容;
将所述修改的SDR内容转换为标准格式的SDR内容,其中所述标准格式与所述显示器的指定观看环境对应;以及
传输所述标准格式的所述SDR内容以用于在显示器上呈现。
8.一种方法,包括:
接收标准动态范围(SDR)内容;
使用修改的电光传递函数(EOTF)曲线将所述SDR内容转换为修改的SDR内容,以将所述SDR内容的非线性颜色值转换为所述修改的SDR内容中的光学输出值;
将所述修改的SDR内容发送到编码器,以通过使用8比特编码所述修改的SDR内容来生成编码数据;以及
传输所述编码数据。
9.根据权利要求8所述的方法,其中所述修改的EOTF曲线被约束为100尼特。
10.根据权利要求8所述的方法,其中所述修改的EOTF曲线防止所述SDR内容中的条带。
11.根据权利要求8所述的方法,其中在以8比特编码所述修改的SDR内容的同时,所述修改的EOTF曲线提高所述SDR内容的图像质量。
12.根据权利要求8所述的方法,其中所述修改的EOTF曲线增加了在所述SDR内容的较暗部分中的粒度的级别。
13.根据权利要求8所述的方法,其中传输所述编码数据还包括:
经由网络将所述编码数据流式传输到客户端设备。
14.根据权利要求13所述的方法,还包括:
通过访问与所述编码数据相关联的元数据来标识所述编码数据使用了所述修改的EOTF曲线;
将所述编码数据解码为所述修改的SDR内容;
将所述修改的SDR内容转换为标准格式的SDR内容,其中所述标准格式与所述显示器的指定观看环境对应;以及
传输所述标准格式的所述SDR内容以用于在显示器上呈现。
15.一种计算机可读介质,所述计算机可读介质存储由计算机设备可执行的指令,所述指令包括:
至少一个指令,用于使所述计算机设备接收标准动态范围(SDR)内容;
至少一个指令,用于使所述计算机设备使用修改的电光传递函数(EOTF)曲线将所述SDR内容转换为修改的SDR内容,以将所述SDR内容的非线性颜色值转换为所述修改的SDR内容中的光学输出值;
至少一个指令,用于使所述计算机设备将所述修改的SDR内容发送到编码器,以通过使用8比特编码所述修改的SDR内容来生成编码数据;以及
至少一个指令,用于使所述计算机设备传输所述编码数据。
CN202180064102.8A 2020-09-22 2021-06-07 针对标准动态范围(sdr)内容的有效电光传递函数(eotf)曲线 Pending CN116195252A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/028,439 US11412174B2 (en) 2020-09-22 2020-09-22 Efficient electro-optical transfer function (EOTF) curve for standard dynamic range (SDR) content
US17/028,439 2020-09-22
PCT/US2021/036067 WO2022066242A1 (en) 2020-09-22 2021-06-07 Efficient electro-optical transfer function (eotf) curve for standard dynamic range (sdr) content

Publications (1)

Publication Number Publication Date
CN116195252A true CN116195252A (zh) 2023-05-30

Family

ID=76731008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180064102.8A Pending CN116195252A (zh) 2020-09-22 2021-06-07 针对标准动态范围(sdr)内容的有效电光传递函数(eotf)曲线

Country Status (4)

Country Link
US (3) US11412174B2 (zh)
EP (1) EP4218242A1 (zh)
CN (1) CN116195252A (zh)
WO (1) WO2022066242A1 (zh)

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106416216B (zh) * 2014-05-16 2019-07-12 松下知识产权经营株式会社 变换方法及变换装置
MX363812B (es) * 2014-06-10 2019-04-04 Panasonic Ip Man Co Ltd Método de conversión y aparato de conversión.
MX357793B (es) * 2014-06-23 2018-07-25 Panasonic Ip Man Co Ltd Metodo de conversion y aparato de conversion.
WO2016069459A1 (en) 2014-10-27 2016-05-06 Dolby Laboratories Licensing Corporation Content mapping using extended color range
JP6834939B2 (ja) * 2015-02-17 2021-02-24 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2016140293A1 (ja) * 2015-03-05 2016-09-09 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
KR102322709B1 (ko) 2015-04-29 2021-11-08 엘지디스플레이 주식회사 영상 처리 방법 및 영상 처리 회로와 그를 이용한 표시 장치
JP6731722B2 (ja) 2015-05-12 2020-07-29 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 表示方法および表示装置
JP6663214B2 (ja) * 2015-05-26 2020-03-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 表示方法および表示装置
JP6320440B2 (ja) 2015-08-04 2018-05-09 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイダイナミックレンジ信号のための信号再構成
US9984446B2 (en) 2015-12-26 2018-05-29 Intel Corporation Video tone mapping for converting high dynamic range (HDR) content to standard dynamic range (SDR) content
WO2017135673A1 (ko) * 2016-02-01 2017-08-10 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
GB2549521A (en) * 2016-04-21 2017-10-25 British Broadcasting Corp Method and apparatus for conversion of dynamic range of video signals
CN109155060A (zh) * 2016-05-25 2019-01-04 索尼公司 图像处理装置、图像处理方法及程序
US10917583B2 (en) * 2018-04-27 2021-02-09 Apple Inc. Standard and high dynamic range display systems and methods for high dynamic range displays
US10951888B2 (en) * 2018-06-04 2021-03-16 Contrast, Inc. Compressed high dynamic range video
US10957024B2 (en) 2018-10-30 2021-03-23 Microsoft Technology Licensing, Llc Real time tone mapping of high dynamic range image data at time of playback on a lower dynamic range display

Also Published As

Publication number Publication date
US11412174B2 (en) 2022-08-09
US20220094877A1 (en) 2022-03-24
EP4218242A1 (en) 2023-08-02
WO2022066242A1 (en) 2022-03-31
US20240031525A1 (en) 2024-01-25
US11792359B2 (en) 2023-10-17
US20230007214A1 (en) 2023-01-05

Similar Documents

Publication Publication Date Title
JP6934908B2 (ja) ビデオコンテンツ配信方法およびビデオ処理装置
JP6297601B2 (ja) フレームバッファ圧縮のための混合モード
AU2020201708B2 (en) Techniques for encoding, decoding and representing high dynamic range images
JP2018528666A (ja) 高ダイナミックレンジおよび広色域シーケンスのコーディングにおけるカラーボリューム変換
CN102349290A (zh) 扩展动态范围和扩展维数图像信号转换
WO2021004176A1 (zh) 一种图像处理的方法及装置
CN108460732B (zh) 用于处理图像的方法和计算设备
WO2021057097A1 (zh) 图像渲染和编码方法及相关装置
WO2021073304A1 (zh) 一种图像处理的方法及装置
CN103841389A (zh) 一种视频播放方法及播放器
US20170085887A1 (en) Method, apparatus and system for displaying video data
US20200374532A1 (en) Switchable chroma sampling for wireless display
CN108737877B (zh) 图像处理的方法、装置和终端设备
JP2018509835A (ja) 適応的カラーグレード補間方法及びデバイス
WO2023193524A1 (zh) 直播视频处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品
US11412174B2 (en) Efficient electro-optical transfer function (EOTF) curve for standard dynamic range (SDR) content
WO2021109846A1 (zh) 码流数据的处理方法和装置
US11659223B2 (en) System, device and method for displaying display-dependent media files
KR20210068593A (ko) 하드웨어 인코더 및 디코더에 대한 hdr 하드웨어 프로세서 인라인을 위한 방법 및 장치
US11218743B1 (en) Linear light scaling service for non-linear light pixel values
TW202324292A (zh) 用於顏色空間轉換的非線性濾波
CN118101853A (zh) 图像处理方法、装置和系统
KR20170022599A (ko) 클라우드 스트리밍 서비스 시스템, 컬러 비트 감소를 이용한 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
CN117979017A (zh) 视频处理方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination