CN113228694A - 处理音频和/或视频内容及相应信号的方法、设备、电子组件、系统、计算机可读程序产品和计算机可读存储介质 - Google Patents
处理音频和/或视频内容及相应信号的方法、设备、电子组件、系统、计算机可读程序产品和计算机可读存储介质 Download PDFInfo
- Publication number
- CN113228694A CN113228694A CN201980085060.9A CN201980085060A CN113228694A CN 113228694 A CN113228694 A CN 113228694A CN 201980085060 A CN201980085060 A CN 201980085060A CN 113228694 A CN113228694 A CN 113228694A
- Authority
- CN
- China
- Prior art keywords
- format
- content
- range
- modification
- format modification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 135
- 238000003860 storage Methods 0.000 title claims abstract description 35
- 238000012545 processing Methods 0.000 title claims description 98
- 230000004048 modification Effects 0.000 claims abstract description 362
- 238000012986 modification Methods 0.000 claims abstract description 362
- 238000006243 chemical reaction Methods 0.000 claims description 108
- 238000013507 mapping Methods 0.000 claims description 68
- 238000004891 communication Methods 0.000 claims description 37
- 230000009466 transformation Effects 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 5
- 239000003086 colorant Substances 0.000 description 14
- 238000004519 manufacturing process Methods 0.000 description 13
- 230000015654 memory Effects 0.000 description 12
- 238000009826 distribution Methods 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 5
- 230000015556 catabolic process Effects 0.000 description 5
- 238000006731 degradation reaction Methods 0.000 description 5
- 230000011664 signaling Effects 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000000670 limiting effect Effects 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000004737 colorimetric analysis Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000002427 irreversible effect Effects 0.000 description 3
- 238000002715 modification method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/654—Transmission by server directed to the client
- H04N21/6547—Transmission by server directed to the client comprising parameters, e.g. for client setup
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本公开涉及一种方法,该方法包括将第一格式修改应用于第一格式的音频和视频输入内容以输出符合第二格式的内容,关于第一格式修改的信息与所述输出内容相关联。本公开还涉及一种方法,该方法包括获得符合输入格式的音频和视频输入内容以及关于应用于所述输入内容的第一格式修改的信息,以及通过考虑第一格式修改来确定应用于所述输入内容的第二格式修改。本公开还涉及相应的信号、设备、电子组件、系统、计算机可读程序产品和存储介质。
Description
1.技术领域
本公开涉及音频和/或视频内容的处理技术领域,并且涉及这种内容在不同质量的格式之间的变换。
描述了用于处理音频和/或视频流和相应信号的方法、设备、电子组件、系统、计算机可读程序产品和计算机可读存储介质。
2.背景技术
在视听制作和分发中,定义了在信号表示的质量方面显著不同的各种格式。信号表示的质量通常由与该信号表示相关联的动态范围(DR)(或多于一维的动态范围)来评估,或者换句话说,由使用该信号表示的信号的最大可能值和最小可能值之间的比率来评估。
实际上,值的更大范围允许表示信号的更多波动,并且因此增加了所述信号的质量。
例如,在示例性视频处理领域中,取决于与信号表示相关联的动态范围,所述信号表示可以允许更大或更低的亮度变化,或者更窄或更大的颜色范围,从而为所得到的信号提供更多或更少的灵活性、精度和/或包含的细节。
然而,信号表示的动态范围(一个或多个)越大,信号的编码成本越高,因此在存储和/或传输带宽方面的需要越高。这个问题对于像音频和/或视频内容这样的表示大量数据的内容来说更重要。因此,由电子设备,特别是处理音频和/或视频内容的电子设备接受的格式或信号表示非常依赖于其存储和/或能力。在音频和/或视频内容的制作和/或分发技术领域中,考虑到音频和/或视频信号或内容被用户消费,许多电子设备可以参与音频和/或视频信号或内容的处理:整个处理可以涉及例如一个或若干个音频和/或视频获取设备(如相机和/或麦克风)、存储设备、编码设备、发送设备、接收设备、解码设备和输出设备(如显示器或扬声器)。由于这些设备可以是不同类型的,可以具有不同的存储和/或处理能力,并且可以是或新或旧的(因此符合或新或旧的标准格式),因此它们可能需要不同的信号表示格式。另外,信号表示的这种不同格式可以对应于不同的下限值和/或上限值。因此,在被用户消费之前,内容的格式可以被连续修改几次,以便适应于连续的处理设备。然而,不同格式的内容的连续变换可能导致在用户的角度上可能明显的一些伪像。
因此,需要一种增强用户消费音频和/或视频内容的用户体验的解决方案。
3.发明内容
本原理通过提出一种方法,使得能够解决上述缺点中的至少一个,该方法包括:
–获得符合第一格式的音频和/或视频输入内容,所述第一格式提供在第一范围的可能值内的数据的表示;
–将第一格式修改应用于输入内容,第一格式修改适于提供符合第二格式的输出内容,所述第二格式提供在第二范围的可能值内的数据的表示;
–将包括对所述第一格式修改的指定的辅助信息(side information)与所述输出内容相关联,其中所述第一格式修改至少包括上转换、下转换、映射、限幅或其组合,所述辅助信息包括表示由所述第一格式修改在所述第一范围和所述第二范围的值之间执行的范围操作的数据。
该方法可以特别地在电子设备中实现。
在至少一些实施例中,本公开还涉及一种包括至少一个处理器的电子设备,所述至少一个处理器适于:
–获得符合第一格式的音频和/或视频输入内容,所述第一格式提供在第一范围的值内的数据的表示;
–将第一格式修改应用于输入内容,所述第一格式修改适于提供符合第二格式的输出内容,所述第二格式提供第二范围的值内的数据的表示;
–将包括对所述第一格式修改的指定的辅助信息与所述输出内容相关联,其中所述第一格式修改至少包括上转换、下转换、映射、限幅(clip)或其组合,所述第一格式修改表示由所述第一格式修改在所述第一和第二范围的值之间执行的范围操作。
根据另一方面,本公开还涉及一种方法,包括:
–获得音频和/或视频输入内容,所述音频和/或视频输入内容符合输入格式,所述输入格式提供在输入范围的值中的数据的表示,
–获得与所述输入内容相关联并且包括对至少一个第一格式修改的指定的辅助信息,所述第一格式修改至少包括上转换、下转换、映射、限幅或其组合,所述辅助信息适于表示由所述第一格式修改在第一范围的值与第二范围的值之间执行的范围操作;
–通过考虑所述相关联的辅助信息的所述第一格式修改来确定要应用于所述输入内容的第二格式修改。
该方法可以特别地在电子设备中实现。
本公开还涉及一种包括至少一个处理器的电子设备,所述至少一个处理器适于:
–获得音频和/或视频输入内容,所述音频和/或视频输入内容符合输入格式,所述输入格式提供在输入范围的值内的数据的表示,
–获得与所述输入内容相关联的辅助信息,该辅助信息包括对至少一个第一格式修改的指定,该第一格式修改至少包括上转换、下转换、映射、限幅或其组合,该辅助信息适于表示由所述第一格式修改在第一范围的值和第二范围的值之间执行的范围操作;
–通过考虑所述相关联的辅助信息的所述第一格式修改来确定要应用于所述输入内容的第二格式修改。
4.附图列表
在阅读以下描述时,可以更好地理解本公开,并且可以显现其它具体特征和优点,该描述参考附图,其中:
–图1示出了根据本公开的示例性实施例的分发系统的示例;
–图2A到2D示出了由格式修改执行的不同种类的范围操作;
–图3A到3D示出了在与图1的分发系统兼容的处理工作流期间用于内容的格式的示例性波动;
–图4示出了适于对应于图1的至少一些设备的电子设备的示例性功能结构;
–图5示出了适于对应于图1的至少一些设备的另一电子设备的示例性功能结构;
–图6示出了例如在图1和/或图4的电子设备中执行的本公开的方法之一的实施例;
–图7示出了例如在图1和/或图5的电子设备中执行的本公开的方法之一的实施例。
–图8示出了本公开的至少一个实施例中的辅助信息的示例性结构。
应注意,附图示出了示例性实施例,并且本公开的实施例不限于所示的实施例。值得注意的是,如本领域技术人员显而易见的,图1至7所示的不同实施例也可在包括更多设备的更复杂的分发系统中实现,或者在产生或分发侧或者在消费侧中实现。
5.实施例的详细描述
本公开涉及适于处理音频和/或视频信号的设备的技术领域,尤其是考虑到音频和/或视频信号的分发和/或消费。术语“处理”在这里将被理解为其更大的范围,并且包含一个或多个不同的操作,例如获取、产生、存储、编码、发送、接收、解码、呈现音频和/或视频内容的至少一部分,和/或控制这种操作的至少一部分。音频和/或视频内容的呈现可以根据音频和/或视频内容的性质而不同,并且可以包括即时显示内容的视频部分或播放内容的音频部分。内容的处理可以涉及内容格式的修改。
根据本公开,当所述处理包括格式修改时,表示所执行的格式修改的辅助信息可以与内容相关联并且与内容一起保持(例如,存储和/或发送)和/或与内容链接。该辅助信息可以包括表示原始格式的信息、表示所获得的格式的信息、和/或表示用于执行所述格式修改的至少一种方法的信息。当已经以第一格式获取或生成的内容被修改以便以更高或更低质量的第二格式表示时,情况尤其如此(例如在发射机侧)。例如,所述辅助信息可以允许在稍后阶段(例如在接收器侧)确定已经对内容执行的格式修改的类型,并且因此相应地选择处理(特别是格式修改方法)。例如,当以具有比内容的原始格式(在其获取或生成时)更低质量的格式接收内容时,虽然必须再次将内容转换成更高质量的格式,但是可以选择要用于内容的格式修改的方法,以便与已经执行的前一格式修改一致,从而获得具有例如与内容的原始颜色和/或亮度最相似的颜色和/或亮度的内容。
内容的格式可以是不同的,这取决于所表示的数据的种类。
此外,格式可以是与至少一种标准格式兼容的格式(其将更适于在异构设备之间交换内容)或者可以是特定格式(如“专有”格式),例如在存储或处理成本方面提供一些优点的格式。
格式可以对应于多种表示,其涉及变化的编码成本,并且因此对应于涉及在用于内容传输的带宽方面的变化的要求。例如,与使用第二格式表示的相同音频内容相比,使用第一格式表示的音频内容可以具有较低的编码成本(并且因此需要较低的带宽)。
颜色格式可以基于例如亮度(如对应于1D范围的颜色格式)和/或色度(如对应于例如2D或3D色域的颜色格式)。基于亮度的公知视频标准的例子包括国际电信联盟-无线电通信部门(ITU-R)BT.2100标准(广播服务(电视)系列-“Image parameter values forhigh dynamic range television for use in production and internationalprogramme exchange(用于产品和国际节目交换的高动态范围电视的图像参数值)”,2018年7月),其特别表示亮度高达10000cd/m2的视频信号,通常称为高动态范围(HDR);以及电影和电视工程师协会(SMPTE)的标准动态范围(SDR)HDTV(高清晰度电视),其表示亮度为100cd/m2的视频信号。
一些基于色度学的公知视频标准包括色度学标准ITU-R BT.2020(广播服务(电视)系列-“Parameter values for ultra-high definition television systems forproduction and international programme exchange(用于产生和国际节目交换的超高清电视系统的参数值)”–2015年10月)和色度学标准ITU-R BT.709(广播服务(电视)系列-“Parameter values for the HDTV standards for production and internationalprogramme exchange(用于产生和国际节目交换的HDTV标准的参数值)”–2015年6月),所述ITU-R BT.2020色度学标准允许获得具有比根据ITU-R BT.709色度学的视频信号更饱和和更多彩的颜色的视频信号。
可以使用各种方法来修改内容的格式。例如,视频内容的颜色表示的修改可以基于两种不同颜色格式之间的颜色变换。
特别地,可以根据格式修改在由其输入和输出格式表示的范围之间的范围操作方面的影响,对该格式修改进行分类。图2A到2D示出了这样的范围操作,并且在下面用于帮助定义在使用输入格式并属于输入范围200的表示和使用输出格式并属于输出范围210的表示之间的一些范围操作。
本公开使用术语“内容的转换”或“转换内容”来指定变换对具有输入格式的输入内容的应用,该变换的应用导致具有输出格式的输出内容,该输出格式对应于与输入格式不同的动态范围(并且因此导致不同的质量),并且所述变换是可逆的(或者换言之可逆的)(例如对于变换是单调增加或单调减少的,给定的输入值总是被变换为相同的输出值,而与上下文无关)和双射的(非侵入性的),使用输入格式的两个不同的值总是被转换为使用输出格式的两个不同的值,并且导致内容的至少一个表示的改变。可逆性和双射性被理解为由量化误差决定,该量化误差可能由在不同标准中使用的编码值的不同比特深度引起。量化破坏了信号中的部分信息,并且不能被恢复。在这种意义上,内容转换是可逆的,这取决于量化误差,该量化误差可能是通过使用信号值的量化表示来以一信号格式表示信号而被引入。图2A和2B示出了转换的示例。
如图2A所示,当通过转换输出的内容的输出格式对应于输出范围210(该输出范围210大于由输入到转换的内容的输入格式表示的输入范围200)中的表示时,该转换被称为“上转换”。在视频处理技术领域中,上转换的示例包括被称为“逆色调映射”(ITM)的技术,其将较低的亮度变换成较高的亮度,从而改进内容的可见性,并且因此改进由观看内容的用户评估的其质量。实际上,SDR内容一旦被上转换(因此变成HDR内容)就可以以比原始SDR内容更高的亮度出现。亮度值被扩展以使用更多的可用HDR亮度范围,并且由此利用显示能力。上转换的另一个例子是色域扩展,例如Lihao等人提出的(Color gamut mappingbetween small and large color gamuts:part II.gamut extension(小和大色域之间的色域映射:部分II色域扩展),LIHAO XU,BAIYUE ZHAO,M.R.LUO,Optics Express(光学快报),第26卷,第13号,2018年6月25日)。
如图2B所示,当通过转换输出的内容的输出格式对应于输出范围210(其比由输入到转换的内容的输入格式所表示的输入范围200窄)中的表示时,该转换被称为”下转换“。下转换的示例包括被称为”色调映射“(TM)的技术,其将较高的亮度变换成较低的亮度,使得HDR内容一旦被下转换(因此变成SDR内容)就以比原始HDR内容低的亮度出现。压缩亮度值的HDR范围以适合可用的SDR亮度范围,从而一旦被下转换,HDR内容可以在传统SDR显示器上示出。下转换的另一个例子是色域压缩。作为非限制性示例,在标准BT.2407的附录1或附录5(报告ITU-R BT.2407-0,“Colour gamut conversion from Recommendation ITU-RBT.2020to Recommendation ITU-R BT.709(从ITU-R BT.2020推荐到ITU-R BT.709推荐的色域转换)”,2017年10月)中描述的至少一些技术可以用于下转换。
一些其它类型的变换可以是非双射的或不可逆的,或者可以仅修改输入范围的仅一部分的表示。这种变换的例子包括在视频处理技术领域中的被称为映射和限幅的操作,其分别由图2C和图2D示出。
图2C示出了映射(在其它术语中为“直接映射”或“容器容器”)。输出范围210大于输入范围200。由输入范围200表示的值被重新编码(或映射)为输出范围210中表示的值。然而,与在上转换中执行的范围操作不同,由于在输出范围中仅使用具有与输入范围相同大小的子范围212,因此不利用由较大输出范围提供的较高质量的潜力。
例如,SDR视频信号可以被映射到HDR视频信号。这种映射可以允许以具有较大比特深度的另一格式(如较宽色域或较高动态范围)来表示由SDR信号原始传送的视频内容的颜色。在所述映射期间,根据另一格式将通过使用第一视频标准编码的颜色重新编码为颜色。如果在HDR显示器上显示,则所映射的内容将以与原始SDR内容相同的色调、相同的饱和度和相同的亮度出现。在这种情况下,SDR内容被简单地放入HDR容器中,而不改变动态范围(使用ITU-R词汇表)。例如,ITU-RBT.2020标准规定的色域比ITU-RBT.709标准规定的色域大得多。‘709’图像可被映射到‘2020’颜色空间中,在该颜色空间中它将仅使用可用色域的(小)部分。所得到的图像通常被称为‘BT 2020容器中的BT 709图像’。
这意味着例如RGB编码的值可以通过映射来改变,但是实际颜色(或者换句话说,原始和改变的RGB值的意义)是相同的。更简单地说,即使编码被改变,用户所看到的视频内容的相应像素的色调、饱和度和亮度也通过映射而保持不变(或几乎不变)。这种映射的使用可以在SDR内容在HDR显示器上显示时,保持SDR内容的“外观”。使用ITU-R词汇,映射可以主要被看作容器的变化(而上转换是进一步对容器的变化的内容修改)。由于所得到的内容中的颜色范围不大,所以从消费者的角度来看,输出内容的质量没有得到改善。SDR到HDR的映射可以根据实施例以不同方式实现。例如,作为非限制性示例,映射可以基于BT.2087标准文献(ITU-R BT.2087-0建议,“Colour conversion from Recommendation ITU-RBT.709to Recommendation ITU-R BT.2020(从ITU-R BT.709到ITU-R BT.2020建议的颜色转换)”,2015年10月)中描述的技术,或者ITU-R BT.2408-0(“Operational practices inHDR television production(HDR电视产生中的操作实践)”,2018年4月)中讨论的技术。值得注意的是,可以使用显示器相关(display-referred)映射。这种技术的一个优点可以是,当在BT.2100HDR显示器上显示内容时,可能以略高的峰值亮度来帮助保持在SDR BT.709或BT.2020显示器上看到的颜色和相对色调,以提供与原生HDR内容的亮度更一致的漫射白色和肤色色调值。其示例是在HDR节目内包括SDR分级的内容。
SDR到HDR的映射也可以通过使用场景相关(scene-referred)映射来实现,其中源是直接SDR相机输出。因此,这种技术有助于匹配BT.2100HDR相机的颜色和低光和中间色调。其中的一个例子是在直播电视制作中的SDR相机和HDR相机的互混。
图2D示出了限幅。输出范围210比输入范围200窄。由输入范围200表示的值被变换成在输出范围210中表示的值。与下转换的差异之处在于,输入范围的具有与输出范围210相同大小的子范围202之外的值全部被变换成输出范围的极值。更准确地说,可以通过以下来执行限幅:在输入范围中定义一个或多个阈值(这些阈值例如在颜色的情况下对应于输出范围的极值的色彩)并且向输入范围的在该阈值之外的值指派所述阈值。限幅之后(或之前)可以是:通过使用输出格式的表示,对由所述阈值限制的输入范围的子范围的值进行重新编码。
显然,所述输入范围的许多不同表示在输出范围中被给予相同的表示,因此降低了内容的表示的质量。作为非限制性示例,可以将HDR视频的颜色限幅到最大给定亮度,以便成为SDR视频。如果HDR视频的颜色在RGB空间中被表示为3D点(其通过属于范围[0;max]的值R、G、B按照线性浮点格式而被表示,例如max=200),则大于1的所有相应R、G、B值可以被设置(或者换句话说,被限幅)为属于范围[0;1]的相应“限幅”值R’、G’、B’。
通常,在线性HDR内容中,小于1的RGB值对应于具有所谓漫反射的场景中的表面,并且构成图像的大部分。R、G、B值大于1的像素对应于光泽或金属表面上的镜面反射性或对应于可见光源,且通常覆盖所述图像的极小部分。
根据第一示例,捕获具有非常亮和非常暗的部分的高对比度场景的相机可以将该场景的太亮的部分限幅到其最大输出水平。根据第二示例,基于亮度,可以限幅在SDR色域之外的HDR内容的颜色,以便将该内容的颜色变换成SDR格式。根据第三示例,可以对宽色域内容的在窄色域格式的色域之外的颜色进行限幅,以便将所述宽色域内容的颜色变换成窄色域的内容。
作为非限制性示例,对于限幅,可以使用BT.2407的第2节或附录2(报告ITU-RBT.2407-0,“Colour gamut conversion from Recommendation ITU-R BT.2020toRecommendation ITU-R BT.709(从ITU-RBT.2020建议到ITU-RBT.709建议的色域转换)”,2017年10月)中描述的技术。该技术首先对BT.2020的所有颜色重新编码到BT.709。然后,限幅具有无效R、G、B坐标的颜色。这些颜色在BT.709色域之外,并且在重新编码成BT.709之后具有负的或大于允许的R、G、B坐标。这些坐标分别被限幅为零或允许的最大值。
图8呈现了根据本公开的至少一些实施例的可以与内容相关联的辅助信息的示例性结构。
如图所示,辅助信息可以包括:
–指示,其用信号通知辅助信息,其适于表示至少一个格式修改(该指示例如可以用作报头);
–指示,其用信号通知应用于所述内容的格式修改的种类。该指示可以是在至少2比特上编码的整数值。在所示实施例中,关于格式修改的种类的指示可以允许在上转换、下转换、直接映射和限幅之间进行区分。
–关于已经在其上应用了所述格式修改的元素的性质的指示(例如关于视频色域、视频亮度范围和/或音频的指示),
–用于所述格式的方法
–关于用于所述格式修改的至少一种方法的给定细节的指示
–关于输入到所述格式修改方法的数据的格式的指示
–关于由所述格式修改方法输出的数据的格式的指示
可选地,所述辅助信息还可以包括关于应用于内容的格式修改(一个或多个)的数量的指示。
下面给出了方法和相应的输入/输出格式的示例:
–在第一示例中,在对色域应用上转换的情况下,所述方法可以是色域扩展(转换到更宽的色域)或逆色域映射,所述方法在原始颜色空间(如根据ITU标准BT709的颜色空间)与获得的颜色空间(如根据ITU标准BT2020的颜色空间)之间执行。
–在第二示例中,在对视频亮度范围应用上转换的情况下,该方法可以是逆色调映射(向更高动态范围的变换),该方法在原始亮度范围(如0-100尼特)与获得的亮度范围(如。0-1000尼特)之间执行
–在第三示例中,在对色域应用下转换的情况下,所述方法可以是色域压缩(转换到较窄色域)或前向色域映射,所述方法在原始颜色空间(如根据ITU标准BT2020的颜色空间)与获得的颜色空间(如根据ITU标准BT709的颜色空间)之间执行。
–在第四示例中,在对视频亮度范围应用下转换的情况下,该方法可以是逆色调映射(转换到更高动态范围),该方法在原始亮度范围(如0-1000尼特)与获得的亮度范围(如0-100尼特)之间执行
–在第五示例中,在对色域应用映射的情况下,所述方法可以是到更宽色域的映射或逆色域映射,所述方法在原始颜色空间(如根据ITU标准BT709的颜色空间)与获得的颜色空间(如根据ITU标准BT2020的颜色空间)之间执行。
–在第六示例中,在对视频亮度范围应用映射的情况下,该方法可以是逆色调映射(转换到更高动态范围),该方法在原始亮度范围(如0-100尼特)与获得的亮度范围(如0-1000尼特)之间执行
–在第七示例中,在对色域应用限幅的情况下,所述方法可以是色域压缩(转换到较窄色域)或前向色域映射,所述方法在原始颜色空间(如根据ITU标准BT2020的颜色空间)与获得的颜色空间(如根据ITU标准BT709的颜色空间)之间执行。
–在第八示例中,在对视频亮度范围应用限幅的情况下,该方法可以是逆色调映射(转换到更高动态范围),该方法在原始亮度范围(如0-1000尼特)和获得的亮度范围(如0-100尼特)之间执行
在上述示例中,该方法例如可以是由诸如ITU标准的通信标准所提出的方法。
在音频的情况下,该方法的示例包括诸如采样率转换器、动态压缩器和/或电平扩展器之类的方法,输入/输出格式例如是至少一个音频频率、音频动态和/或音频电平。
根据至少一些实施例,可以使用至少一个语法元素来执行所述信令,该至少一个语法元素是画面参数集(PPS)、序列参数集(SPS)、补充增强信息(SEI)消息、视频可用性信息(VUI)(例如在诸如AVC或HEVC的视频压缩标准中定义的信息)、消费电子协会(CEA)消息和报头中的至少一个。
图1示出了适于实现本公开的至少一个实施例的分发系统100。在所示的实施例中,所述分发系统100包括可以在一个或多个通信网络内部交换数据的通信设备110、112、114、120、130、160、170、180。例如,一些通信设备110、112、114、120、130可以经由与内容提供商处理环境相关联的局域网(LAN)140交换数据。一些通信设备160、170、180可以经由与内容消费处理环境相关联的LAN 190交换数据,由于有线通信接口(如以太网接口或基于电力线通信(PLC)技术的接口)和/或无线通信接口(如接口)而可以执行LAN内的交换。LAN140、190的一些通信设备130、160可通过广域网150(如广播网络或宽带网络)交换数据。
所述内容提供商处理环境可以包括一个或若干个音频和/或视频获取设备110(如相机和/或麦克风)、和/或一个或若干个用于生成音频和/或视频内容(尤其是表示虚拟现实场景或增强现实场景的内容)的内容产生设备114、和/或一个或若干个存储设备112、和/或一个或若干个编码设备120、和/或一个或若干个发送设备130。在一些实施例中,这些设备中的一些可以是可选的。
内容消费处理环境可包括一个或若干接收设备160、一个或多个解码设备170以及一个或多个呈现设备(如显示器或扬声器)180。在一些实施例中,这些设备中的一些可以是可选的。
这些设备中的至少一个或多个(可选地,全部)可能需要关于其输入内容的某些特定输入格式,和/或可以输出具有特定输出格式(如可在若干给定输出格式之间选择的输出格式)的内容。
图4描述了包括格式修改能力的内容处理设备400的示例性功能结构。图4的处理设备可以在图1的内容提供商处理环境140中实现,例如在图1的编码设备120中实现。内容处理设备400特别适于实现本公开的方法600,这将在后面描述。应当指出,图4所示的功能结构的元件或模块或块可以借助于内容处理设备400的软件组件和/或借助于内容处理设备400的硬件组件来实现。图4所示的至少一些元件可以包括输入设备的至少一个软件组件和至少一个硬件组件。
在图4的示例性实施例中,内容处理设备400可以包括经由通信总线48(例如控制、数据和地址总线)(其还可以携带定时器信号)链接在一起的不同设备(或模块)。例如,其可以包括一个或若干个微处理器41(或中央处理单元(CPU))、ROM(或《只读存储器》)45、RAM(或《随机存取存储器》)46和有线和/或无线通信接口(一个或多个)472、474。值得注意的是,内容处理设备400的通信接口472、474中的至少一个可以适于接收一个或多个音频和/或视频内容或流。
在所示实施例中,内容处理设备400还可以包括提供对网络150的接入的至少一个通信接口472、474。
在图4的示例性实施例中,内容处理设备400还可以包括适于修改输入内容的格式的至少一个格式修改单元43和适于对内容进行重新编码(作为替代,在格式修改单元对其进行处理之前或之后)的编码单元40。
在图4的示例性实施例中,内容处理设备400还可以包括至少一个输入/输出模块44(如触觉显示器、开关、LED、按钮等)。值得注意的是,内容处理设备可以包括输入接口,其适于使用户能够请求特定种类的格式修改和/或输入适于定制所述格式修改的一些参数以由格式修改单元43执行,在一些实施例中,这些参数可以特别地在格式修改时被获得。
每个所述存储器可以包括至少一个寄存器,也就是说,低容量(几个二进制数据)或高容量(具有存储整个程序或表示要计算或显示的数据的全部或部分数据的能力)的存储区。
当内容处理设备400通过电源模块49(例如连接到电力线网络的电源模块)而被通电时,至少一个微处理器41将程序指令460(特别是执行下文描述的方法600的至少一个实施例所需的处理)加载到RAM 46的寄存器中,并执行所述程序指令。
在本公开的任何实施例中,所述系统的内容处理设备400可以适于实现本公开的方法600。
例如,在图4所示的示例性实施例中,微处理器41可以被配置用于:
–获得符合第一格式的音频和/或视频输入内容,所述第一格式提供在第一范围的值内的数据的表示;
–将第一格式修改应用于输入内容,所述第一格式修改适于提供符合第二格式的输出内容,所述第二格式提供第二范围的值内的数据的表示;
–将包括对几种格式修改中的第一种格式修改的指定的辅助信息与输出内容相关联,所述第一种格式修改代表由所述第一格式修改在所述第一和第二范围的值之间执行的范围操作。
例如,在图4所示的示例性实施例中,微处理器41还可以被配置用于:
–获得符合第一格式的音频和/或视频输入内容,所述第一格式提供在第一范围的值内的数据的表示;
–将第一格式修改应用于所述输入内容,所述第一格式修改适于提供符合第二格式的输出内容,所述第二格式提供第二范围的值内的数据的表示;
–-将包括对所述第一格式修改的指定的辅助信息与输出内容相关联,其中所述第一格式修改至少包括上转换、下转换、映射、限幅或其组合,所述第一格式修改表示由所述第一格式修改在所述第一和第二范围的值之间执行的范围操作。
与图4相关联地描述的结构仅具有示例性目的。应当指出,内容处理设备400还可以包括如图1中的单独的设备(如设备110、112、114、130、150、160、170和/或180)所提供的所图示的附加能力,此外,本公开的至少一些实施例可以至少部分地在外耦合到另一设备的至少一个内容处理设备中实现。
图5描述了包括格式修改能力的另一内容处理设备500的示例性功能结构。图5的处理设备可以在图1的内容消费处理环境190中(例如在图1的解码设备170中)实现,或者(如稍后将结合往返的示例性使用情况解释的)在图1的内容提供商处理环境140中实现,例如在图1的编码设备120中或者在图1的内容提供商处理环境140的另一编码设备(出于简化目的而未示出)中实现,或者在不同于图1的内容提供商处理环境140的另一内容提供商处理环境(出于简化目的而未示出)中实现。所述内容处理设备500特别适于实现稍后描述的本公开的方法700。应当指出,图5所示的功能结构的元件或模块或块可以借助于内容处理设备500的软件组件和/或借助于内容处理设备500的硬件组件来实现。图5所示的至少一些元件可以包括输入设备的至少一个软件组件和至少一个硬件组件。
在图5的示例性实施例中,内容处理设备500可以包括经由通信总线58(例如控制、数据和地址总线)(其还可以携带定时器信号)链接在一起的不同设备(或模块)。例如,其可以包括一个或若干微处理器51(或中央处理单元(CPU))、ROM(或《只读存储器》)55、RAM(或《随机存取存储器》)56和有线和/或无线通信接口(一个或多个)572、574。值得注意的是,内容处理设备500的通信接口572、574中的至少一个可以适于接收一个或多个音频和/或视频内容或流。
在所示实施例中,所述内容处理设备500还可以包括提供对网络150的接入的至少一个通信接口572、574。
在图5的示例性实施例中,所述内容处理设备500还可以包括至少一个适于修改输入内容的的格式的格式修改单元53和适于对所述内容进行重新编码(替代地,在格式修改单元对其进行处理之前或之后)的重新编码单元50。
在图5的示例性实施例中,所述内容处理设备500还可以包括至少一个输入/输出模块(或I/O模块)54(如触觉显示器、开关、LED、按钮等)。值得注意的是,所述内容处理设备可以包括输入接口,其适于使用户能够请求特定种类的格式修改和/或输入适于定制所述格式修改的一些参数以由格式修改单元53执行,在一些实施例中,这些参数可以特别地在所述格式修改时被获得。该接口是可选的,实际上,由内容处理设备执行的格式修改的定制可以是自动的。值得注意的是,在格式修改时,可以在没有任何用户输入的情况下确定要由内容处理设备执行的格式修改的类型的选择。在所示实施例中,内容处理设备可以包括内容呈现单元52,其适于以一种或多种格式呈现所述内容。所述呈现单元可以包括显示器和/或扬声器。在一些实施例中,该内容呈现单元是可选的。
每个所述存储器可以包括至少一个寄存器,也就是说,低容量(几个二进制数据)或高容量(具有存储整个程序或表示要计算或显示的数据的全部或部分数据的能力)的存储区。
当所述内容处理设备500经由电源模块59(例如连接到电力线网络的电源模块)而被通电时,至少一个微处理器51将程序指令560(特别是执行下文描述的方法600的至少一个实施例所需的处理)加载到RAM 56的寄存器中,并执行程序指令。
在本公开的任何实施例中,所述系统的内容处理设备500可以适于实现本公开的方法700。
在图5所示的示例性实施例中,所述微处理器51可以被配置用于:
–获得音频和/或视频输入内容,所述音频和/或视频输入内容符合输入格式,所述输入格式提供在值的输入范围中的数据的表示,
–获得与所述输入内容相关联的辅助信息,并且该辅助信息包括对多种格式修改中的至少一种第一种格式修改的指定,所述第一种格式修改适于表示通过第一格式修改在第一范围的值与第二范围的值之间执行的范围操作;
–通过考虑所述相关联的辅助信息的所述第一种格式修改,确定是否将第二格式修改应用于所述输入内容,以及当需要对所述输入内容进行第二格式修改时,通过考虑所述相关联的辅助信息的所述第一种格式修改,确定所述第二格式修改的种类。
例如,在图5所示的示例性实施例中,所述微处理器51还可以被配置用于:获得音频和/或视频输入内容,所述音频和/或视频输入内容符合输入格式,所述输入格式提供在值的输入范围中的数据的表示,
–获得与所述输入内容相关联的辅助信息,该辅助信息包括对至少一个第一格式修改的指定,该第一格式修改至少包括上转换、下转换、映射、限幅或其组合,该辅助信息适于表示由第一格式修改在第一范围的值和第二范围的值之间执行的范围操作;
–通过考虑所述相关联的辅助信息的所述第一格式修改来确定要应用于所述输入内容的第二格式修改。
与图5相关联地描述的结构仅具有示例性目的。要指出的是,内容处理设备500还可以包括如图1中的单独的设备(如设备110、112、114、130、150、160、170和/或180)所提供的所示的附加能力,此外,本公开的至少一些实施例可以至少部分地实现在外耦合到另一设备的至少一个内容处理设备中。
当若干设备连续负责处理音频和/或视频内容时,例如在音频和/或视频内容从内容提供商到消费环境的分发的情况下(如图1所示),所述内容的格式可能波动。当在不考虑或不知道先前应用于内容的一种格式修改的情况下应用格式修改时,这可能导致伪像。
例如,以HDR格式获取的内容可以在低动态范围(LDR)或SDR格式下发送,以便直接显示在传统LDR显示器上,或者在被格式化为HDR格式之后显示在HDR显示器上。整个处理还可以使用多于两种格式。然而,将连续的格式修改应用于内容可能导致强伪像。例如,对从输入内容的先前映射(图2C所示)得到的内容应用下转换(图2B所示)可能导致输出内容在输出内容内部的值的范围非常窄,并且因此导致从用户的角度看的低质量的输出内容。
实际上,应当应用于内容的格式修改应当不仅根据内容的当前格式和期望的结果格式来选择,而且还根据已经被带到该内容的格式修改来选择。因此,需要与内容相关联地提供至少部分地表示该内容的格式修改历史的信息。例如,在上述使用情况下,在选择要应用于从HDR内容生成的LDR内容的格式修改时,知道所述LDR内容是通过限幅生成还是通过下转换生成,可能是非常有用的。在之前是下转换的情况下,采用上转换将比映射更好。相反,在限幅的情况下,采用映射将比上转换更好。
在往返(round-tripping)的情况下,可能面临关于格式的另一个问题。往返表示在两种不同质量的格式之间对内容进行多次转换的情况。例如,在一些电视“组合”内容的制作期间,可能发生往返,其中第一内容的部分被插入到另一内容中,因此必须被格式化。在产生工作流程期间,可以多次进行这样的插入,导致对可能被多次转换和/或被多次限幅和映射的那些内容部分进行往返。然而,由于可以在不同的地方或不同的时间进行连续的格式修改,因此在下一往返阶段期间,可能丢失对已经对内容执行的格式修改的种类的了解。例如,可以在第一内容产生处理环境中对内容执行第一下转换或限幅,以便适合具有较低质量的内容格式,在第二内容产生处理环境中可能需要进一步的格式修改,以便将内容适合具有较高质量的格式。在第二环境中对来自第一环境的限幅内容进行上转换的第一潜在情况或在第二环境中对来自第一环境的映射内容进行下转换的第二潜在情况都将导致内容的不可接受的劣化。
为了帮助避免内容质量的这种劣化,本公开的至少一些实施例提出通过考虑已经执行的格式修改的种类来选择要在稍后阶段应用的格式修改。例如,在至少一些实施例中,必须注意,下转换是(至少在一定程度上)已经对内容执行的上转换的逆,使得连续的转换不会使内容劣化或至少不会使内容劣化太多。
此外,在至少一些实施例中,对于为了得到较低质量格式而修改内容的格式,限幅可优选于下转换,而对于为了得到较好质量格式而修改内容的格式,映射可优选于上转换。实际上,要指出的是,一旦第一限幅已经被应用于内容,使用映射和限幅的更多往返不会使内容进一步劣化。因此,在连续的往返之间可以保持内容的质量。
图6示出了例如在图4的设备400中实现的本公开的方法600的示例性实施例。在所示的实施例中,该方法包括获得610符合第一格式的音频和/或视频输入内容,所述第一格式提供在第一可能值范围内的数据的表示。所述第一格式可以是例如颜色格式(如色度或亮度)或音频格式。根据实施例,所述音频和/或视频内容可以存储在实现该方法的电子设备的存储器中,或者可以从设备的通信接口接收。
该方法还可以包括通过对所获得的内容应用格式修改来修改620内容的格式。所述格式修改导致具有第二格式的内容。可以根据所获得的内容的第一格式并且还考虑到内容的进一步处理来选择所述格式修改。例如,即将到来的处理可能需要第二格式,因此格式修改应当输出第二格式的数据。在图6的示例性实施例中,该方法可以包括关联630关于已经对内容执行的格式修改的指示。值得注意的是,该指示可以包括对一种类型的格式修改的指定。该格式修改的种类可以表示在可由格式修改的输入和输出格式表示的值的范围之间执行的范围操作。
根据实施例,该指示可以作为辅助信息与内容相关联(例如,它可以与所述内容混合,作为信令信息),或者可以是与所述内容相关的元数据的一部分,或者可以存储在链接到所述内容的辅助文件中。
在图6的详细实施例中,该方法可以包括输出640所述内容以及相关联的辅助信息。例如,所述内容及其相关辅助信息可以经由通信接口输出到另一个设备,特别是输出到发送设备,以便发送到如图1所示的内容消费者处理环境,或者输出到存储设备,以便稍后处理,例如,以便即将来临的由产生设备与另一个内容进行组合(如在往返情况下)。要指出的是,即使这里没有描述,该方法也可以包括在输出640内容之前,对所述内容进行编码。
上面已经描述了在内容处理设备中实现的方法的实施例,该内容处理设备适于将第一格式修改操作应用于内容,类似于图4的设备400。下面结合图7描述在相同或另一内容处理设备中显著实现的对应方法700的实施例。
图7示出了在类似于图5的解码设备500的内容处理设备中实现的本公开的方法700的示例性实施例。
根据图7,方法700包括获得710音频和/或视频输入内容。所述输入内容的格式(在下文中称为“输入”格式)是提供在一范围的可能值(在下文中称为“输入”范围)内的数据的表示的格式。当所述内容是视频内容或视听内容时,输入格式可以是例如颜色格式(如色度或亮度),或者当内容是音频内容或视听内容时,所述输入格式可以是音频格式。取决于实施例,所述音频和/或视频内容可以存储在其中实现方法700的电子设备的存储器中,或者可以从该设备的通信接口接收。值得注意的是,参考图1,它可以经由接收设备160从网络150接收。
在图7所示的实施例中,该方法可包括获得720与音频和/或视频输入内容相关联的辅助信息,该辅助信息与应用于所述内容的至少一个格式修改的历史有关。在所示的实施例中,所述辅助信息与所述输入内容一起被接收。根据实施例,所述辅助信息可以与所述内容混合,例如作为信令信息,或者以元数据的形式,或者可以例如被保持在辅助文件中。根据本公开,所述辅助信息可以包括关于先前应用于输入内容的至少一个第一格式修改的种类的指示。该指示可以表示在可由所述至少一个第一格式修改的输入和输出格式表示的值的范围之间执行的范围操作。在一些实施例中,该指示可以例如表示列举分别对应于上转换、下转换、映射、限幅的元素的组中的元素。在其他实施例中,该指示可以例如表示列举分别对应于以下各项的元素的第一组的元素:上转换和映射,或表示列举分别对应于以下各项的元素的第二组的元素:下转换和限幅。
要指出的是,取决于实施例,所述指示可以与应用于内容的一个或若干格式修改有关。在一些实施例中,在所述辅助信息中可以仅存在与应用于内容的最后格式修改有关的一些信息(如最后格式修改的类型)。在其他实施例中,所述辅助信息可以包括与应用于内容的若干格式修改有关的历史,该历史包括与若干先前应用的格式修改有关的信息(例如与应用于内容的最后n个格式修改有关的信息,特别地包括应用于内容的最后n个格式修改的种类(其中n是严格大于1的整数))。
根据图7,该方法还可以包括确定730要应用于所获得的内容的第二格式修改。例如,即将到来的处理可能需要给定格式,该即将到来的处理可以是例如通过特定显示器或扬声器呈现内容,或者在具有不同格式的另一内容中插入所述内容。根据本公开,第二格式修改的确定730可以特别地考虑(除了输入格式和需要由第二格式修改输出的格式之外)先前应用于内容的第一格式修改的种类。所述第二格式修改(下一个将被应用于内容的格式修改)的种类可以特别地在导致所需输出格式的可能种类的格式修改中被选择,以便帮助避免所述输出内容中的伪像。
根据实施例,并且根据所获得的辅助信息,可以根据不同的规则来选择第二格式修改。值得注意的是,一些规则仅可以考虑关于已经应用于内容的最近格式修改的辅助信息,而一些其他规则可以考虑与已经应用于内容的若干格式修改有关的辅助信息(如与已经应用于内容的格式修改有关的所有辅助信息或与已经应用于内容的n个最近格式修改有关的辅助信息);规则还可以考虑辅助信息中给定类型的格式修改的存在(例如,历史中至少一个不可逆格式修改的存在,例如映射或限幅)。例如,规则可以考虑到标志的存在,该标志用信号通知所述内容上不可逆格式修改的发生。
所述方法700还可以包括应用740所确定的第二格式修改。
在图7的详细实施例中,所述方法还可以包括更新750与所述内容相关联的辅助信息,以便在所述辅助信息中并入与所应用的第二格式修改有关的一些信息,例如关于已经应用于内容的第二格式修改的种类的指示。这种更新可以允许在稍后阶段帮助选择要应用于内容的另一(第三)格式修改。所述内容可以经由通信接口输出760到另一个设备,特别是输出到发送设备以便发送到如图1所示的内容消费者处理环境,或者输出到存储设备以便稍后处理,例如用于即将来临的由产生设备与另一个内容的组合(如在往返情况下)。
需要指出的是,如下面结合图3B所说明的,对于相同的输入和输出格式,第二格式修改的应用或不应用可以取决于第一格式修改(例如,其可以取决于第一格式修改的种类)。
图3A至3D示出了本公开的实施例的不同使用情况,其中示出了在以下情况下的在内容的处理期间内容的格式波动,例如当内容经由网络被分发到内容消费环境时,如图1所示,或者当内容经由网络或经由例如便携式存储设备从第一内容提供商处理环境被提供到第二内容提供环境时。
在图3A的示例性使用情况下,从视频源(例如图1的存储设备112、获取设备110和/或产生设备114中的至少一个)获得低质量的视频(例如,以BT.709SDR格式)。由于视频将由需要高质量格式(例如,如果参考BT.2100标准,则称为感知量化(PQ)类型的HDR格式)的第一处理设备(如图1的发送设备140)处理,所以需要将第一格式修改应用于视频内容以便以HDR格式输出第一视频。如上所述,该第一格式修改可以是例如上转换或映射。在图3A的使用情况下,所述第一格式修改是上转换。通过执行图6的方法600对与内容相关联的辅助信息的指示包括对上转换的指示。
所述第一视频内容稍后需要被再次处理(例如在被图1的接收设备160接收之后),但是这次是由需要SDR视频作为输入的第二处理设备(例如SDR显示器)处理。因此,需要对第一视频执行第二格式修改,以便提供SDR视频作为第二处理设备的输入。在所示的示例性实施例中,第二处理设备适于执行第二格式修改,该第二格式修改可以包括下转换或限幅。在图3A的使用情况下,通过执行图7的方法700,所获得的关于已经应用的第一格式修改的指示对应于一种格式修改,该格式修改是上转换,因此要应用的第二格式修改被确定为是包括下转换(理想地恢复原始源视频)而不是限幅的格式修改。
图3B示出了结合图3A描述的用例的变型,其中如图3A中那样,第一格式修改是将SDR内容上转换为HDR格式,并且其中第二处理设备需要HDR内容。由于第一格式修改是“上转换”,所以由第一修改输出的HDR内容已经利用了整个HDR范围,在由第二处理设备处理之前,不进行进一步的格式修改。
图3C示出了图3A的使用情况的另一变型,其中第一格式修改是SDR内容到HDR格式的映射,而第二处理设备需要HDR内容。与图3B所示的使用情况相反,即使包含在HDR范围中,由第一格式修改提供的HDR内容的值的范围也被包括在由SDR格式表示的子范围中。因此,在由第二处理设备处理之前,对HDR视频应用作为上转换的第二格式修改,导致最终的HDR视频更好地利用HDR格式的整个范围。
本公开的这种实施例因此可以帮助增强输出到处理设备的内容的质量,并且因此最终在图1的示例性实施例中,帮助改进用户消费内容时的用户体验。
图3D示出了结合图3A描述的使用情况的另一变型,其中从视频源获得的视频是高质量内容(如BT.2020宽色域(WCG)源视频),将第一格式修改(是下转换(例如色调映射)或限幅)应用于视频内容以便输出LDR或SDR格式的第一视频(如具有根据BT.709的标准色域的视频)。这种格式可以允许第一视频直接显示在LDR显示器上。然而,对于要在HDR显示器上显示的第一视频,对第一视频执行第二格式修改,以便提供HDR视频,该第二格式修改可以是上转换(如逆色调映射)或映射。在图3D的使用情况下,通过执行方法700或图7,所获得的关于已经应用的第一格式修改的指示对应于一种格式修改,该格式修改是下转换,因此,要应用的第二格式修改被确定为上转换,以便获得类似于视频源的视频。
相反,在通过执行方法700或图7的一些其它使用情况(未示出)中,所获得的关于已经应用的第一格式修改的指示可以对应于一种格式修改,该格式修改是限幅。在第二格式修改期间,第一视频不应被上转换(反色调映射),以避免产生伪像。因此,由于所获得的指示,第二格式修改的确定将导致映射类型的第二格式修改,第一视频的数据仅以HDR格式被重新编码,但是HDR值具有与第一格式的SDR值相同大小的范围。
如上所述,已经对内容执行的格式修改的种类的知识可以帮助改进或者至少避免在内容的第二格式修改期间过度降低内容的质量。例如,首先被格式化为较高范围内容的较低范围内容然后可以在第二格式修改期间被重构为较低范围内容,而没有或几乎没有其质量的劣化。例如,本公开的至少一些实施例可以帮助从先前被格式化为HDR信号的信号SDR(或者换言之,被放置在HDR容器中的SDR信号)重建SDR信号而没有劣化。根据另一示例,本公开的至少一些实施例可以通过考虑已经应用于内容的格式修改的种类,在第二格式修改时使用与内容相关联的辅助信息来帮助提高内容的质量。值得注意的是,如上所述,使用更扩展范围的HDR值的HDR内容可以从以HDR格式映射的SDR内容(或者换句话说,放置在HDR容器中)生成。可以找到关于往返的另一示例,其中在至少一些实施例中,方法700可以在表示先前映射的辅助信息的情况下,允许在不损失质量的情况下在低质量表示和高质量表示之间进行往返。
已经关于协议和/或标准,描述了本公开。当然,如本领域技术人员可理解的,本公开也可应用于使用其他通信协议的分发或通信系统,特别是与无线标准无关的通信协议,或与除了WIFI标准之外的其他标准,或与除了本公开中引用的那些格式之外的适于音频和/或视频内容的其他格式。
此外,与内容相关联并且包括关于已经应用于内容的至少一种格式修改的至少一个指示的辅助信息还可以包括其他信息项,并且可以在处理设备或系统中用于除了确定对内容的进一步格式修改之外的其他目的。
如本领域技术人员可以理解的,本原理的各方面可以被实现为系统、设备、方法、信号或计算机可读产品或介质。
值得注意的是,本公开涉及一种在电子设备中实现的方法,该方法包括:
–获得符合第一格式的音频和/或视频输入内容,所述第一格式提供在第一范围的可能值内的数据的表示;
–将第一格式修改应用于输入内容,所述第一格式修改适于提供符合第二格式的输出内容,所述第二格式提供在第二范围的可能值内的数据的表示;
–将包括对于几种格式修改中的第一种格式修改的指定的辅助信息与所述输出内容相关联,所述第一种格式修改代表由所述第一格式修改在所述第一和第二范围的值之间执行的范围操作。
根据本公开的至少一个实施例,若干种格式修改属于包括代表以下各项的元素的组:
–上转换;
–下转换;
–映射;
–限幅。
根据本公开的至少一个实施例,所述第一范围的值大于所述第二范围的值。
根据本公开的至少一个实施例,所述第一格式和所述第二格式是颜色格式。
根据另一方面,本公开涉及一种电子设备,包括至少一个处理器,所述至少一个处理器适于:
–获得符合第一格式的音频和/或视频输入内容,所述第一格式提供在第一范围的值内的数据的表示;
–将第一格式修改应用于所述输入内容,所述第一格式修改适于提供符合第二格式的输出内容,所述第二格式提供第二范围的值内的数据的表示;
–将包括对于在几种格式修改中的第一种格式修改的指定的辅助信息与所述输出内容相关联,所述第一种格式修改代表由所述第一格式修改在所述第一和第二范围的值之间执行的范围操作。
根据另一方面,本公开涉及一种包括至少一个处理电路的电子设备,所述至少一个处理电路适于:
–获得符合第一格式的音频和/或视频输入内容,所述第一格式提供在第一范围的值内的数据的表示;
–将第一格式修改应用于所述输入内容,所述第一格式修改适于提供符合第二格式的输出内容,所述第二格式提供第二范围的值内的数据的表示;
–将包括对于在几种格式修改中的第一种格式修改的指定的辅助信息与所述输出内容相关联,所述第一种格式修改代表由所述第一格式修改在第一和第二范围的值之间执行的范围操作。
虽然未明确描述,但本公开的以上电子设备可适于执行本公开在其实施例中的任意者中的以上方法。
根据另一方面,本公开涉及一种在电子设备中实现的方法,该方法包括:
–获得音频和/或视频输入内容,所述音频和/或视频输入内容符合输入格式,所述输入格式提供在值的输入范围中的数据的表示,
–获得与所述输入内容相关联的辅助信息,并且该辅助信息包括对多种格式修改中的至少一种第一种格式修改的指定,该第一种格式修改适于表示通过第一格式修改在第一范围的值与第二范围的值之间执行的范围操作;
–通过考虑所述相关联的辅助信息的所述第一种格式修改,确定是否将第二格式修改应用于所述输入内容,以及当需要对所述输入内容进行第二格式修改时,通过考虑所述相关联的辅助信息的所述第一种格式修改,确定所述第二格式修改的类型。
根据本公开的至少一个实施例,所述方法包括:根据所应用的第二格式变换,更新所述辅助信息。
根据本公开的至少一个实施例,所述第二范围是所述输入范围。
根据本公开的至少一个实施例,该方法包括:在用户界面上输出所述输出内容。
根据另一方面,本公开涉及一种包括至少一个处理器的电子设备,所述至少一个处理器适于:
–获得音频和/或视频输入内容,所述音频和/或视频输入内容符合输入格式,所述输入格式提供在值的输入范围中的数据的表示,
–获得与所述输入内容相关联的辅助信息,并且该辅助信息包括对多种格式修改中的至少一种第一种格式修改的指定,所述第一种格式修改适于表示通过第一格式修改在第一范围的值与第二范围的值之间执行的范围操作;
–通过考虑所述相关联的辅助信息的所述第一种格式修改,确定是否将第二格式修改应用于所述输入内容,以及当需要对所述输入内容进行第二格式修改时,通过考虑所述相关联的辅助信息的所述第一种格式修改,确定所述第二格式修改的类型。
根据本公开的至少一个实施例,所述至少一个处理器适于在用户界面上输出所述输出内容。
根据本公开的至少一个实施例,所述至少一个处理器适于根据所应用的第二格式变换,更新所述辅助信息。
根据另一方面,本公开涉及一种包括至少一个处理电路的电子设备,所述至少一个处理电路适于
–获得音频和/或视频输入内容,所述音频和/或视频输入内容符合输入格式,所述输入格式提供在值的输入范围中的数据的表示,
–获得与所述输入内容相关联的辅助信息,并且该辅助信息包括对多种格式修改中的至少一种第一种格式修改的指定,所述第一种格式修改适于表示通过第一格式修改在第一范围的值与第二范围的值之间执行的范围操作;
–通过考虑所述相关联的辅助信息的所述第一种格式修改,确定是否将第二格式修改应用于所述输入内容,以及当需要对所述输入内容进行第二格式修改时,通过考虑所述相关联的辅助信息的所述第一种格式修改,确定所述第二格式修改的类型。
虽然未明确描述,但本公开的以上电子设备可适于执行本公开的在其实施例中的任意者中的以上方法。
根据另一方面,本公开涉及一种包括一个或多个电子设备的通信系统,所述一个或多个电子设备中的第一电子设备包括至少一个处理器,所述至少一个处理器适于:
–获得符合第一格式的音频和/或视频输入内容,所述第一格式提供在第一范围的值内的数据的表示;
–将第一格式修改应用于所述输入内容,该格式修改适于提供符合第二格式的输出内容,所述第二格式提供第二范围的值内的数据的表示;
–将包括对若干种格式修改中的第一种格式修改的指定的辅助信息关联到所述输出内容,所述第一种格式修改代表由所述第一格式修改在第一和第二范围的值之间执行的范围操作;
所述一个或多个电子设备中的第二电子设备,包括至少一个处理器,所述至少一个处理器适于:
-获得所述音频和/或视频输出内容,
-获得与所述输出内容相关联的所述辅助信息
-通过考虑所述相关联的辅助信息的所述第一种格式修改,确定是否将第二格式修改应用于所述输出内容,以及当需要对所述输出内容进行第二格式修改时,通过考虑所述相关联的辅助信息的所述第一种格式修改,确定所述第二格式修改的类型。
虽然没有明确地描述,但是可以以任何组合或子组合来采用与方法或与对应的电子设备或通信系统有关的本实施例。
根据另一方面,本公开涉及一种非暂时性计算机可读程序产品,其包括程序代码指令,所述程序代码指令用于当所述非暂时性软件程序由计算机执行时,执行本公开在其任何实施例中的方法中的至少一种方法。
值得注意的是,本公开的至少一个实施例涉及一种非暂时性计算机可读程序产品,其包括程序代码指令,所述程序代码指令用于在所述非暂时性软件程序由计算机执行时,执行在电子设备中实现的方法,所述方法包括:
-获得符合第一格式的音频和/或视频输入内容,所述第一格式提供在第一范围的可能值内的数据的表示;
-将第一格式修改应用于所述输入内容,所述第一格式修改适于提供符合第二格式的输出内容,所述第二格式提供在第二范围的可能值内的数据的表示;
-将包括对于在几种格式修改中的第一种格式修改的指定的辅助信息与所述输出内容相关联,所述第一种格式修改代表由所述第一格式修改在所述第一和第二范围的值之间执行的范围操作。
此外,本公开的至少一个实施例涉及一种非暂时性计算机可读程序产品,所述非暂时性计算机可读程序产品包括程序代码指令,所述程序代码指令用于当所述非暂时性软件程序由计算机执行时,执行在电子设备中实现的方法,所述方法包括:
-获得音频和/或视频输入内容,所述音频和/或视频输入内容符合输入格式,所述输入格式提供在值的输入范围中的数据的表示,
-获得与所述输入内容相关联的辅助信息,并且该辅助信息包括对多种格式修改中的至少一种第一种格式修改的指定,该第一种格式修改适于表示通过第一格式修改在第一范围的值与第二范围的值之间执行的范围操作;
-通过考虑所述相关联的辅助信息的所述第一种格式修改,确定是否将第二格式修改应用于所述输入内容,以及当需要对所述输入内容进行第二格式修改时,通过考虑所述相关联的辅助信息的所述第一种格式修改,确定所述第二格式修改的类型。
根据另一方面,本公开涉及一种承载软件程序的计算机可读存储介质,所述软件程序包括程序代码指令,所述程序代码指令用于在计算机执行所述非暂时性软件程序时,执行本公开在其实施例的任意者中的方法中的至少一个。
根据本公开的实施例,所述计算机可读存储介质有形地体现可由计算机执行的指令的程序,用于当所述非暂时性软件程序由计算机执行时,执行在电子设备中实现的方法,该方法包括:
-获得符合第一格式的音频和/或视频输入内容,所述第一格式提供在第一范围的可能值内的数据的表示;
-将第一格式修改应用于所述输入内容,所述第一格式修改适于提供符合第二格式的输出内容,所述第二格式提供在第二范围的可能值内的数据的表示;
-将包括对于在几种格式修改中的第一种格式修改的指定的辅助信息与所述输出内容相关联,所述第一种格式修改代表由所述第一格式修改在第一和第二范围的值之间执行的范围操作。
根据本公开的实施例,所述计算机可读存储介质承载包括程序代码指令的软件程序,当所述非暂时性软件程序由计算机执行时,执行一种在电子设备中实现的方法,该方法包括:
-获得符合第一格式的音频和/或视频输入内容,所述第一格式提供在第一范围的可能值内的数据的表示;
-将第一格式修改应用于所述输入内容,所述第一格式修改适于提供符合第二格式的输出内容,所述第二格式提供在第二范围的可能值内的数据的表示;
-将包括对于在几种格式修改中的第一种格式修改的指定的辅助信息与所述输出内容相关联,所述第一种格式修改代表由所述第一格式修改在所述第一和第二范围的值之间执行的范围操作。
根据本公开的实施例,所述计算机可读存储介质有形地体现可由计算机执行的指令的程序,用于当所述非暂时性软件程序由计算机执行时,执行在电子设备中实现的方法,该方法包括:
-获得音频和/或视频输入内容,所述音频和/或视频输入内容符合输入格式,所述输入格式提供在值的输入范围中的数据的表示,
-获得与所述输入内容相关联的辅助信息,并且该辅助信息包括对多种格式修改中的至少一种第一种格式修改的指定,该第一种格式修改适于表示通过第一格式修改在第一范围的值与第二范围的值之间执行的范围操作;
-通过考虑所述相关联的辅助信息的所述第一种格式修改,确定是否将第二格式修改应用于所述输入内容,以及当需要对所述输入内容进行第二格式修改时,通过考虑所述相关联的辅助信息的所述第一种格式修改,确定所述第二格式修改的类型。
根据本公开的实施例,所述计算机可读存储介质承载包括程序代码指令的软件程序,当所述非暂时性软件程序由计算机执行时,执行一种在电子设备中实现的方法,该方法包括:
-获得音频和/或视频输入内容,所述音频和/或视频输入内容符合输入格式,所述输入格式提供在值的输入范围中的数据的表示,
-获得与所述输入内容相关联的辅助信息,并且该辅助信息包括对多种格式修改中的至少一种第一种格式修改的指定,该第一种格式修改适于表示通过第一格式修改在第一范围的值与第二范围的值之间执行的范围操作;
-通过考虑所述相关联的辅助信息的所述第一种格式修改,确定是否将第二格式修改应用于所述输入内容,以及当需要对所述输入内容进行第二格式修改时,通过考虑所述相关联的辅助信息的所述第一种格式修改,确定所述第二格式修改的类型。
根据另一方面,本公开涉及一种适于经由通信网络传输的通信信号,该通信信号包括音频和/或视频内容,该音频和/或视频内容符合输入格式,该输入格式提供数据在可能值的输入范围中的表示,该输入内容与包括在若干种格式修改之中的第一种格式修改的指定的辅助信息相关联,该第一种格式修改表示在第一范围的值和输入范围的值之间通过第一格式修改执行的范围操作。
在至少一些实施例中,本公开还涉及一种包括至少一个处理器的电子设备,所述至少一个处理器适于:
-获得符合第一格式的音频和/或视频输入内容,所述第一格式提供在第一范围的值内的数据的表示;
-将第一格式修改应用于所述输入内容,所述第一格式修改适于提供符合第二格式的输出内容,所述第二格式提供第二范围的值内的数据的表示;
-将包括对所述第一格式修改的指定的辅助信息与所述输出内容相关联,其中所述第一格式修改至少包括上转换、下转换、映射、限幅或其组合,所述第一格式修改表示由所述第一格式修改在所述第一和第二范围的值之间执行的范围操作。
在至少一些实施例中,本公开还涉及一种在电子设备中实现的方法,该方法包括:
-获得符合第一格式的音频和/或视频输入内容,所述第一格式提供在第一范围的可能值内的数据的表示;
-将第一格式修改应用于所述输入内容,所述第一格式修改适于提供符合第二格式的输出内容,所述第二格式提供在第二范围的可能值内的数据的表示;
-将包括对所述第一格式修改的指定的辅助信息与所述输出内容相关联,其中所述第一格式修改至少包括上转换、下转换、映射、限幅或其组合,所述辅助信息包括表示由所述第一格式修改在所述第一范围和所述第二范围的值之间执行的范围操作的数据。
根据至少一个实施例,所述第一范围的值大于所述第二范围的值。
根据至少一个实施例,所述第一格式和第二格式是颜色格式。
根据另一方面,本公开涉及一种包括至少一个处理器的电子设备,所述至少一个处理器适于:
-获得音频和/或视频输入内容,所述音频和/或视频输入内容符合输入格式,所述输入格式提供在值的输入范围中的数据的表示,
-获得与所述输入内容相关联的辅助信息,该辅助信息包括对至少一个第一格式修改的指定,该第一格式修改至少包括上转换、下转换、映射、限幅或其组合,该辅助信息适于表示由所述第一格式修改在第一范围的值和第二范围的值之间执行的范围操作;
-通过考虑所述相关联的辅助信息的所述第一格式修改,确定要应用于所述输入内容的第二格式修改。
根据至少一个实施例,本公开还涉及一种在电子设备中实现的方法,该方法包括:
-获得音频和/或视频输入内容,所述音频和/或视频输入内容符合输入格式,所述输入格式提供在值的输入范围中的数据的表示,
-获得与所述输入内容相关联并且包括对至少一个第一格式修改的指定的辅助信息,所述第一格式修改至少包括上转换、下转换、映射、限幅或其组合,所述辅助信息适于表示由所述第一格式修改在第一范围的值与第二范围的值之间执行的范围操作;
-通过考虑所述相关联的辅助信息的所述第一格式修改,确定要应用于所述输入内容的第二格式修改。
根据至少一个实施例,通过考虑所述第一格式修改来有条件地执行所述确定。
根据至少一个实施例,所述至少一个处理器适于或所述方法包括在用户界面上输出所述输出内容。
根据至少一个实施例,所述至少一个处理器适于或所述方法包括根据所应用的第二格式变换,更新所述辅助信息。
根据至少一个实施例,所述第二范围是所述输入范围。
根据至少一个实施例,所述确定所述第二格式修改还考虑用于所述音频和/或输入内容的即将到来的处理的值的输出范围。
根据至少一个实施例,所述即将到来的处理包括由第一音频和/或视频呈现设备输出所述音频和/或输入内容的至少一部分。
根据至少一个实施例,所述即将到来的处理包括将所述音频和/或输入内容的至少一部分插入到使用所述输出范围的值的另一音频和/或视频内容中。
根据另一方面,本公开涉及一种包括一个或多个电子设备的系统,所述一个或多个电子设备中的第一电子设备包括至少一个处理器,所述至少一个处理器适于:
-获得符合第一格式的音频和/或视频输入内容,所述第一格式提供在第一范围的值内的数据的表示;
-将第一格式修改应用于所述输入内容,所述第一格式修改适于提供符合第二格式的输出内容,所述第二格式提供第二范围的值内的数据的表示;
-将包括对所述第一格式修改的指定的辅助信息与所述输出内容相关联,其中所述第一格式修改至少包括上转换、下转换、映射、限幅或其组合,所述辅助信息包括表示由所述第一格式修改在所述第一范围和所述第二范围的值之间执行的范围操作的数据。
所述一个或多个电子设备中的第二电子设备,包括至少一个处理器,所述至少一个处理器适于:
-获得所述音频和/或视频输出内容,
-获得与所述输出内容相关联的所述辅助信息
-通过考虑所述相关联的辅助信息的所述第一格式修改来确定要应用于所述输出内容的第二格式修改。
根据另一方面,本公开涉及一种非暂时性计算机可读程序产品,其包括程序代码指令,所述程序代码指令用于在由计算机执行所述非暂时性可读程序产品时,执行本公开的方法中的至少一种的至少一些实施例。
例如,本公开涉及一种非暂时性计算机可读程序产品,其包括程序代码指令,用于当所述非暂时性可读程序产品由计算机执行时,执行在电子设备中实现的方法,所述方法包括:
-获得符合第一格式的音频和/或视频输入内容,所述第一格式提供在第一范围的可能值内的数据的表示;
-将第一格式修改应用于所述输入内容,所述第一格式修改适于提供符合第二格式的输出内容,所述第二格式提供在第二范围的可能值内的数据的表示;
-将包括对所述第一格式修改的指定的辅助信息与所述输出内容相关联,其中所述第一格式修改至少包括上转换、下转换、映射、限幅或其组合,所述辅助信息包括表示由所述第一格式修改在所述第一范围和所述第二范围的值之间执行的范围操作的数据。
本公开还涉及一种非暂时性计算机可读程序产品,其包括程序代码指令,所述程序代码指令用于在由计算机执行所述非暂时性可读程序产品时,执行一种方法,所述方法包括:
-获得音频和/或视频输入内容,所述音频和/或视频输入内容符合输入格式,所述输入格式提供在值的输入范围中的数据的表示,
-获得与所述输入内容相关联的辅助信息,该辅助信息包括对至少一个第一格式修改的指定,该第一格式修改至少包括上转换、下转换、映射、限幅或其组合,该辅助信息适于表示由所述第一格式修改在第一范围的值和第二范围的值之间执行的范围操作;
-通过考虑所述相关联的辅助信息的所述第一格式修改,确定要应用于所述输入内容的第二格式修改。
根据另一方面,本公开涉及一种承载软件程序的计算机可读存储介质,所述软件程序包括程序代码指令,所述程序代码指令用于在计算机执行非暂时性软件程序时,执行本公开在其实施例的任意者中的方法中的至少一个。
根据本公开的实施例,所述计算机可读存储介质有形地体现可由计算机执行的指令的程序,用于当所述非暂时性软件程序由计算机执行时,执行在电子设备中实现的方法,该方法包括:
-获得符合第一格式的音频和/或视频输入内容,所述第一格式提供在第一范围的可能值内的数据的表示;
-将第一格式修改应用于所述输入内容,所述第一格式修改适于提供符合第二格式的输出内容,所述第二格式提供在第二范围的可能值内的数据的表示;
-将包括对所述第一格式修改的指定的辅助信息与所述输出内容相关联,其中所述第一格式修改至少包括上转换、下转换、映射、限幅或其组合,所述辅助信息包括表示由所述第一格式修改在所述第一范围和所述第二范围的值之间执行的范围操作的数据。
根据本公开的实施例,所述计算机可读存储介质承载包括程序代码指令的软件程序,当所述非暂时性软件程序由计算机执行时,执行一种在电子设备中实现的方法,该方法包括:
-获得符合第一格式的音频和/或视频输入内容,所述第一格式提供在第一范围的可能值内的数据的表示;
-将第一格式修改应用于所述输入内容,所述第一格式修改适于提供符合第二格式的输出内容,所述第二格式提供在第二范围的可能值内的数据的表示;
-将包括对所述第一格式修改的指定的辅助信息与所述输出内容相关联,其中所述第一格式修改至少包括上转换、下转换、映射、限幅或其组合,所述辅助信息包括表示由所述第一格式修改在所述第一范围和所述第二范围的值之间执行的范围操作的数据。
根据本公开的实施例,所述计算机可读存储介质有形地体现可由计算机执行的指令的程序,用于当非暂时性软件程序由计算机执行时,执行在电子设备中实现的方法,该方法包括:
-获得音频和/或视频输入内容,所述音频和/或视频输入内容符合输入格式,所述输入格式提供在值的输入范围中的数据的表示,
-获得与所述输入内容相关联的辅助信息,该辅助信息包括对至少一个第一格式修改的指定,该第一格式修改至少包括上转换、下转换、映射、限幅或其组合,该辅助信息适于表示由所述第一格式修改在第一范围的值和第二范围的值之间执行的范围操作;
-通过考虑所述相关联的辅助信息的所述第一格式修改,确定要应用于所述输入内容的第二格式修改。
根据本公开的实施例,所述计算机可读存储介质承载包括程序代码指令的软件程序,当所述非暂时性软件程序由计算机执行时,执行一种在电子设备中实现的方法,该方法包括:
-获得音频和/或视频输入内容,所述音频和/或视频输入内容符合输入格式,所述输入格式提供在值的输入范围中的数据的表示,
-获得与所述输入内容相关联的辅助信息,该辅助信息包括对至少一个第一格式修改的指定,该第一格式修改至少包括上转换、下转换、映射、限幅或其组合,该辅助信息适于表示由所述第一格式修改在第一范围的值和第二范围的值之间执行的范围操作;
-通过考虑所述相关联的辅助信息的所述第一格式修改,确定要应用于所述输入内容的第二格式修改。
根据另一方面,本公开涉及一种适于经由通信网络传输的通信信号,该通信信号包括音频和/或视频内容,该音频和/或视频内容符合输入格式,该输入格式提供在可能值的输入范围中的数据的表示,该输入内容与包括对第一格式修改的指定的辅助信息相关联,其中该第一格式修改至少包括上转换、下转换、映射、限幅或其组合,该第一格式修改表示在第一范围的值和该输入范围的值之间执行的范围操作。
如本领域技术人员可以理解的,本原理的各方面可以被实现为系统、方法或计算机可读介质。因此,本公开的方面可以采取硬件实施例、软件实施例(包括固件、驻留软件、微代码等)或组合软件和硬件方面的实施例的形式,其在这里可以被统称为“电路”、“模块”或“系统”。此外,本原理的各方面可以采用计算机可读存储介质的形式。可以利用一个或多个计算机可读存储介质的任何组合。
计算机可读存储介质可以采取计算机可读程序产品的形式,该计算机可读程序产品包含在一个或多个计算机可读介质中并且具有包含在其上的计算机可读程序代码,该计算机可读程序代码可由计算机执行。如本文所使用的计算机可读存储介质被认为是非暂时性存储介质,其被赋予在其中存储信息的固有能力以及提供从其检索信息的固有能力。计算机可读存储介质可以是,例如但不限于,电、磁、光、电磁、红外或半导体系统、装置或设备,或前述的任何合适的组合。
应当理解,如本领域普通技术人员容易理解的,以下内容虽然提供了可以应用本公开原理的计算机可读存储介质的更具体的示例,但是仅是说明性的而非穷举性的列举:便携式计算机磁盘、硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、便携式光盘只读存储器(CD-ROM)、光存储设备、磁存储设备、或前述的任何合适的组合。
因此,例如,本领域技术人员可以理解,这里呈现的框图表示本原理的一些实施例的说明性系统组件和/或电路的概念视图。类似地,可以理解,任何流程图、程序框图、状态转移图、伪代码等表示可基本上在计算机可读存储介质中表示并由计算机或处理器执行的各种过程,无论这样的计算机或处理器是否被明确示出。
还应指出,即使上面没有明确公开,至少一些实施例可以组合在一起。
Claims (15)
1.一种包括至少一个处理器的电子设备,所述至少一个处理器适于:
–获得符合第一格式的音频和/或视频输入内容,所述第一格式提供在第一范围的值内的数据的表示;
–将第一格式修改应用于所述输入内容,所述第一格式修改适于提供符合第二格式的输出内容,所述第二格式提供第二范围的值内的数据的表示;
–将包括对所述第一格式修改的指定的辅助信息与所述输出内容相关联,其中所述第一格式修改至少包括上转换、下转换、映射、限幅或其组合,所述辅助信息包括表示由所述第一格式修改在所述第一范围和所述第二范围的值之间执行的范围操作的数据。
2.一种在电子设备中实现的方法,所述方法包括:
–获得符合第一格式的音频和/或视频输入内容,所述第一格式提供在第一范围的可能值内的数据的表示;
–将第一格式修改应用于所述输入内容,所述第一格式修改适于提供符合第二格式的输出内容,所述第二格式提供在第二范围的可能值内的数据的表示;
–将包括对所述第一格式修改的指定的辅助信息与所述输出内容相关联,其中第一格式修改至少包括上转换、下转换、映射、限幅或其组合,所述辅助信息包括表示由所述第一格式修改在所述第一和第二范围的值之间执行的范围操作的数据。
3.根据权利要求1至2中任意项所述的电子设备或方法,其中所述第一范围的值大于所述第二范围的值。
4.一种包括至少一个处理器的电子设备,所述至少一个处理器适于:
–获得音频和/或视频输入内容,所述音频和/或视频输入内容符合输入格式,所述输入格式提供在输入范围的值内的数据的表示,
–获得与所述输入内容相关联的辅助信息,所述辅助信息包括对至少一个第一格式修改的指定,所述第一格式修改至少包括上转换、下转换、映射、限幅或其组合,所述辅助信息适于表示由所述第一格式修改在第一范围的值与第二范围的值之间执行的范围操作;
–通过考虑所述相关联的辅助信息的所述第一格式修改,确定要应用于所述输入内容的第二格式修改。
5.一种在电子设备中实现的方法,所述方法包括:
–获得音频和/或视频输入内容,所述音频和/或视频输入内容符合输入格式,所述输入格式提供在输入范围的值内的数据的表示,
–获得与所述输入内容相关联的辅助信息,所述辅助信息包括对至少一个第一格式修改的指定,所述第一格式修改至少包括上转换、下转换、映射、限幅或其组合,所述辅助信息适于表示由所述第一格式修改在第一范围的值与第二范围的值之间执行的范围操作;
–通过考虑所述相关联的辅助信息的所述第一格式修改,确定要应用于所述输入内容的第二格式修改。
6.根据权利要求4所述的电子设备或根据权利要求5所述的方法,其中,所述确定通过考虑所述第一格式修改而被有条件地执行。
7.根据权利要求4或6所述的电子设备,所述至少一个处理器适于在用户界面上输出所述输出内容,或者根据权利要求5或6所述的方法包括在用户界面上输出所述输出内容。
8.根据权利要求4、6或7中任意项所述的电子设备,所述至少一个处理器适于根据所应用的第二格式变换来更新所述辅助信息,或者根据权利要求5至7中任意项所述的方法包括根据所应用的第二格式变换来更新所述辅助信息。
9.根据权利要求4至8中任意项所述的电子设备或方法,其中所述第二范围是所述输入范围。
10.根据权利要求4至9中任意项所述的电子设备或方法,其中确定所述第二格式修改还考虑用于所述音频和/或输入内容的即将到来的处理的值的输出范围。
11.根据权利要求10所述的电子设备或方法,其中所述即将到来的处理包括由第一音频和/或视频呈现设备输出所述音频和/或输入内容的至少一部分。
12.根据权利要求10或11所述的电子设备或方法,其中所述即将到来的处理包括:使用所述输出范围的值,将所述音频和/或输入内容的至少一部分插入到另一音频和/或视频内容中。
13.一种系统,包括一个或多个电子设备,所述一个或多个电子设备中的第一电子设备包括至少一个处理器,所述至少一个处理器适于:
–获得符合第一格式的音频和/或视频输入内容,所述第一格式提供在第一范围的值内的数据的表示;
–将第一格式修改应用于所述输入内容,所述第一格式修改适于提供符合第二格式的输出内容,所述第二格式提供在第二范围的值内的数据的表示;
–将包括对所述第一格式修改的指定的辅助信息与所述输出内容相关联,其中所述第一格式修改至少包括上转换、下转换、映射、限幅或其组合,所述辅助信息包括表示由所述第一格式修改在所述第一范围和所述第二范围的值之间执行的范围操作的数据;
所述一个或多个电子设备中的第二电子设备,包括至少一个处理器,所述至少一个处理器适于:
–获得所述音频和/或视频输出内容,
–获得与所述输出内容相关联的所述辅助信息
–通过考虑所述相关联的辅助信息的所述第一格式修改,确定要应用于所述输出内容的第二格式修改。
14.一种承载软件程序的非暂时性计算机可读存储介质,所述软件程序包括可由计算机执行的程序代码指令,所述程序代码指令用于当所述软件程序由计算机执行时执行根据权利要求2或3或5至12中任意项所述的至少一种方法。
15.一种适于经由通信网络发送的通信信号,所述通信信号包括音频和/或视频内容,所述音频和/或视频内容符合输入格式,所述输入格式提供在可能值的输入范围中的数据的表示,所述输入内容与包括第一格式修改的指定的辅助信息相关联,其中所述第一格式修改至少包括上转换、下转换、映射、限幅或其组合,所述辅助信息包括表示在第一范围的值和所述输入范围的值之间执行的范围操作的数据。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18306754.5A EP3672267A1 (en) | 2018-12-20 | 2018-12-20 | Methods for processing audio and/or video contents and corresponding signal, devices, electronic assembly, system, computer readable program products and computer readable storage media |
EP18306754.5 | 2018-12-20 | ||
PCT/US2019/066861 WO2020131877A1 (en) | 2018-12-20 | 2019-12-17 | Methods for processing audio and/or video contents and corresponding signal, devices, electronic assembly, system, computer readable program products and computer readable storage media |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113228694A true CN113228694A (zh) | 2021-08-06 |
CN113228694B CN113228694B (zh) | 2024-06-25 |
Family
ID=65228301
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980085060.9A Active CN113228694B (zh) | 2018-12-20 | 2019-12-17 | 处理音频和/或视频内容及相应信号的方法、设备、电子组件、系统、计算机可读程序产品和计算机可读存储介质 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11678025B2 (zh) |
EP (2) | EP3672267A1 (zh) |
CN (1) | CN113228694B (zh) |
WO (1) | WO2020131877A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102019206581A1 (de) * | 2019-05-08 | 2020-11-12 | Conti Temic Microelectronic Gmbh | Verfahren zur Erzeugung eines Bildes einer Fahrzeugumgebung und Vorrichtung zur Erzeugung eines Bildes einer Fahrzeugumgebung |
CN118451447A (zh) * | 2021-10-27 | 2024-08-06 | 交互数字Ce专利控股有限公司 | 耦合的逆色调映射和色调映射 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102483925A (zh) * | 2009-07-07 | 2012-05-30 | 意法爱立信有限公司 | 数字音频信号处理系统 |
US20130162762A1 (en) * | 2011-12-22 | 2013-06-27 | 2Dinto3D LLC | Generating a supplemental video stream from a source video stream in a first output type format used to produce an output video stream in a second output type format |
US20160163356A1 (en) * | 2013-07-19 | 2016-06-09 | Koninklijke Philips N.V. | Hdr metadata transport |
CN106031172A (zh) * | 2014-02-25 | 2016-10-12 | 苹果公司 | 用于视频编码和解码的自适应传递函数 |
CN106791865A (zh) * | 2017-01-20 | 2017-05-31 | 杭州当虹科技有限公司 | 基于高动态范围视频的自适应格式转换的方法 |
US20170263211A1 (en) * | 2011-12-06 | 2017-09-14 | Dolby Laboratories Licensing Corporation | Perceptual luminance nonlinearity-based image data exchange across different display capabilities |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015102449A1 (ko) | 2014-01-06 | 2015-07-09 | 엘지전자 주식회사 | 컬러 개멋 리샘플링을 기반으로 하는 방송 신호 송수신 방법 및 장치 |
JP6358718B2 (ja) * | 2014-05-28 | 2018-07-18 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | Hdr画像をエンコードするための方法及び装置、並びに、斯様なエンコードされた画像の使用のための方法及び装置 |
US9860504B2 (en) | 2015-01-09 | 2018-01-02 | Vixs Systems, Inc. | Color gamut mapper for dynamic range conversion and methods for use therewith |
WO2016178549A1 (ko) | 2015-05-07 | 2016-11-10 | 엘지전자 주식회사 | 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법 |
US10536695B2 (en) | 2015-09-09 | 2020-01-14 | Qualcomm Incorporated | Colour remapping information supplemental enhancement information message processing |
US9984446B2 (en) | 2015-12-26 | 2018-05-29 | Intel Corporation | Video tone mapping for converting high dynamic range (HDR) content to standard dynamic range (SDR) content |
JP6590955B2 (ja) | 2016-02-15 | 2019-10-16 | 株式会社日立国際電気 | 撮像装置及び色補正方法 |
EP3383017A1 (en) * | 2017-03-31 | 2018-10-03 | Thomson Licensing | Method and device for color gamut mapping |
-
2018
- 2018-12-20 EP EP18306754.5A patent/EP3672267A1/en not_active Withdrawn
-
2019
- 2019-12-17 EP EP19839223.5A patent/EP3900378A1/en active Pending
- 2019-12-17 CN CN201980085060.9A patent/CN113228694B/zh active Active
- 2019-12-17 US US17/415,830 patent/US11678025B2/en active Active
- 2019-12-17 WO PCT/US2019/066861 patent/WO2020131877A1/en unknown
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102483925A (zh) * | 2009-07-07 | 2012-05-30 | 意法爱立信有限公司 | 数字音频信号处理系统 |
US20170263211A1 (en) * | 2011-12-06 | 2017-09-14 | Dolby Laboratories Licensing Corporation | Perceptual luminance nonlinearity-based image data exchange across different display capabilities |
US20130162762A1 (en) * | 2011-12-22 | 2013-06-27 | 2Dinto3D LLC | Generating a supplemental video stream from a source video stream in a first output type format used to produce an output video stream in a second output type format |
US20160163356A1 (en) * | 2013-07-19 | 2016-06-09 | Koninklijke Philips N.V. | Hdr metadata transport |
CN106031172A (zh) * | 2014-02-25 | 2016-10-12 | 苹果公司 | 用于视频编码和解码的自适应传递函数 |
CN106030503A (zh) * | 2014-02-25 | 2016-10-12 | 苹果公司 | 自适应视频处理 |
CN106791865A (zh) * | 2017-01-20 | 2017-05-31 | 杭州当虹科技有限公司 | 基于高动态范围视频的自适应格式转换的方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2020131877A1 (en) | 2020-06-25 |
EP3672267A1 (en) | 2020-06-24 |
US11678025B2 (en) | 2023-06-13 |
CN113228694B (zh) | 2024-06-25 |
US20220060799A1 (en) | 2022-02-24 |
EP3900378A1 (en) | 2021-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3308547B1 (en) | Metadata describing nominal lighting conditions of a reference viewing environment for video playback | |
KR102129541B1 (ko) | 높은 동적 범위 및 넓은 컬러 영역 시퀀스들의 코딩에서의 컬러 볼륨 변환들 | |
JP6754821B2 (ja) | 色変換を符号化する方法及び復号する方法並びに対応機器 | |
JP5992997B2 (ja) | 映像符号化信号を発生する方法及び装置 | |
EP3022902B1 (en) | Method and apparatus to create an eotf function for a universal code mapping for an hdr image | |
KR102529013B1 (ko) | 컬러 픽처를 인코딩 및 디코딩하는 방법 및 장치 | |
KR102061349B1 (ko) | 높은 다이내믹 레인지 이미지 신호의 생성 및 처리 | |
RU2710291C2 (ru) | Способы и устройства для кодирования и декодирования цветного изображения hdr | |
KR102367205B1 (ko) | 컬러 맵핑 함수들을 이용하여 hdr 픽처 및 상기 hdr 픽처로부터 획득된 sdr 픽처의 양자를 인코딩하기 위한 방법 및 디바이스 | |
KR102358368B1 (ko) | 하이 다이나믹 레인지 픽처를 인코딩하기 위한 방법 및 디바이스, 대응하는 디코딩 방법 및 디코딩 디바이스 | |
KR20180056705A (ko) | 높은 동적 범위 비디오 데이터의 재형성 및 적응을 위한 시스템 및 방법 | |
CN110830804B (zh) | 用于用信号通知画面/视频格式的方法和设备 | |
EP3603046A1 (en) | Method and device for color gamut mapping | |
CN113228694B (zh) | 处理音频和/或视频内容及相应信号的方法、设备、电子组件、系统、计算机可读程序产品和计算机可读存储介质 | |
US10423587B2 (en) | Systems and methods for rendering graphical assets | |
CA3235637A1 (en) | Coupled inverse tone mapping and tone mapping | |
KR20160058153A (ko) | 압축된 및 압축해제된 디지털 이미지들 및 비디오의 디스플레이에서 가시적 결함들을 감소시키기 위한 시스템 및 방법 | |
EP3528201A1 (en) | Method and device for controlling saturation in a hdr image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |