CN112136330A - 视频解码器芯片组 - Google Patents

视频解码器芯片组 Download PDF

Info

Publication number
CN112136330A
CN112136330A CN201980028795.8A CN201980028795A CN112136330A CN 112136330 A CN112136330 A CN 112136330A CN 201980028795 A CN201980028795 A CN 201980028795A CN 112136330 A CN112136330 A CN 112136330A
Authority
CN
China
Prior art keywords
video
data
video data
function
residual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980028795.8A
Other languages
English (en)
Other versions
CN112136330B (zh
Inventor
理查德·克鲁卡斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
V-Nova Ltd
Original Assignee
V-Nova Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by V-Nova Ltd filed Critical V-Nova Ltd
Priority to CN202310843700.6A priority Critical patent/CN116781924A/zh
Publication of CN112136330A publication Critical patent/CN112136330A/zh
Application granted granted Critical
Publication of CN112136330B publication Critical patent/CN112136330B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F5/00—Methods or arrangements for data conversion without changing the order or content of the data handled
    • G06F5/01—Methods or arrangements for data conversion without changing the order or content of the data handled for shifting, e.g. justifying, scaling, normalising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/22—Arrangements for sorting or merging computer data on continuous record carriers, e.g. tape, drum, disc
    • G06F7/32—Merging, i.e. combining data contained in ordered sequence on at least two record carriers to produce a single carrier or set of carriers having all the original data in the ordered sequence merging methods in general
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

视频解码器芯片组(200、300、400、500)包括视频解码器功能(210)、升频器功能(230)和组合器功能(240)。所述视频解码器功能(210)被配置成(i)对编码视频数据进行解码，以生成第一质量水平的解码视频数据，所述编码视频数据已由编码器使用第二更高质量水平的第一视频数据导出，以及(ii)输出所述解码视频数据以存储在存储器(220)中。所述升频器功能(230)被配置成(i)从所述存储器(220)获得所述解码视频数据，以及(ii)将所述所获得的解码视频数据升频，以生成所述第二质量水平的第二视频数据。所述组合器功能(240)被配置成(i)获得残余数据，所述残余数据已由所述编码器基于所述第一视频数据和所述第二视频数据导出，(ii)将所述第二视频数据与所述残余数据组合以生成增强的视频数据，以及(iii)输出所述增强的视频数据。

Description

视频解码器芯片组
技术领域
本发明涉及一种视频解码器芯片组。
背景技术
在一些情况下，期望以相对较高的质量水平，例如以相对较高的分辨率向观看者显示视频。在显示视频的屏幕非常靠近观看者的情况下，例如在沉浸式视频(例如，虚拟现实(VR)和增强现实(AR))应用中，可能期望这样。否则，观看者可能会注意到较低质量视频中的缺陷。这些缺陷可能会降低观看者对视频的欣赏和参与。
可例如通过对视频进行编码以压缩形式存储和/或传输视频。然而，为了以足够高的质量水平向观看者显示这些视频，可例如通过对视频进行解码来解压缩视频。对高质量视频进行解码可能会导致存储和/或处理和/或传输相对大量的数据，尤其是当更高质量、更高清晰度视频的使用越来越普遍时。在具有有限内存量的系统中，存储解码的高质量视频可能是一个特殊的考虑因素。与高质量视频的解码相关的其它考虑因素包括处理能力、时延、解码组件的能力、成本和复杂性。
发明内容
根据本发明的第一方面，提供一种视频解码器芯片组，所述视频解码器芯片组包括：
视频解码器功能，所述视频解码器功能被配置成：
对编码视频数据进行解码以生成第一质量水平的解码视频数据，所述编码视频数据已由编码器使用第二更高质量水平的第一视频数据导出；以及
输出解码视频数据以存储在存储器中；
升频器功能，所述升频器功能被配置成：
从存储器获得解码视频数据；以及
将所获得的解码视频数据升频以生成第二质量水平的第二视频数据；以及
组合器功能，所述组合器功能被配置成：
获得残余数据，所述残余数据已由编码器基于第一视频数据和第二视频数据导出；
将第二视频数据与残余数据组合以生成增强的视频数据；以及
输出增强的视频数据。
根据本发明的第二方面，提供一种在视频解码器芯片组中处理视频数据的方法，所述视频解码器芯片组包括视频解码器功能、升频器功能和组合器功能，所述方法包括：
通过视频解码器功能对编码视频数据进行解码以生成第一质量水平的解码视频数据，所述编码视频数据已由编码器使用第二更高质量水平的第一视频数据导出；
通过视频解码器功能输出解码视频数据以存储在存储器中；
通过升频器功能从存储器获得解码视频数据；
通过升频器功能将所获得的解码视频数据升频，以生成第二质量水平的第二视频数据；
通过组合器功能接收残余数据，所述残余数据已由编码器基于第一视频数据和第二视频数据导出；
通过组合器功能将第二视频数据与残余数据组合以生成增强的视频数据；以及
通过组合器功能输出增强的视频数据。
根据本发明的第三方面，提供一种计算机程序，所述计算机程序包括指令，所述指令在被执行时使视频解码器芯片组执行根据第二方面的方法。
根据本发明的第四方面，提供一种计算机可读介质，所述计算机可读介质包括根据第三方面的计算机程序。
根据本发明的第五方面，提供一种视频解码器芯片组，所述视频解码器芯片组包括：
4K视频解码器功能，所述4K视频解码器功能被配置成：
接收编码的4K视频数据，所述编码的4K视频数据已由编码器装置使用第一8K视频数据导出；
对所接收的编码的4K视频数据进行解码以生成解码的4K视频数据；以及
输出解码的4K视频数据；
4K至8K升频器功能，所述4K至8K升频器功能被配置成：
获得解码的4K视频数据；以及
将所获得的4K解码视频数据升频，以生成第二8K视频数据；以及
组合器功能，所述组合器功能被配置成：
获得残余数据，所述残余数据已由编码器装置基于第一8K视频数据和对应于第二8K视频数据的视频数据导出；
将第二8K视频数据与残余数据组合以生成第三8K视频数据；以及
输出第三8K视频数据。
其它特征和优点将从参考附图进行的仅通过实例提供的优选实施方案的以下描述中显而易见。
附图说明
图1示出视频解码器芯片组的实例的示意性框图；
图2示出根据本发明的实施方案的视频解码器芯片组的实例的示意性框图；
图3示出根据本发明的实施方案的视频解码器芯片组的另一实例的示意性框图；
图4示出根据本发明的实施方案的视频解码器芯片组的另一实例的示意性框图；以及
图5示出根据本发明的实施方案的视频解码器芯片组的另一实例的示意性框图。
具体实施方式
参考图1，示出视频解码器芯片组100的实例。视频解码器芯片组是集成电路。视频解码器芯片组100包括布置成作为单个单元操作的多个电气组件。视频解码器芯片组100是专用集成电路(ASIC)，即，布置成具有特定应用或执行一个或多个特定任务的集成电路，所述特定任务在此情况下包括对视频数据进行解码。如下文将更详细地说明，除了对视频数据进行解码之外，视频解码器芯片组还可执行其它功能。
视频解码器芯片组100可包括在计算装置(未示出)中。计算装置的类型的实例包括但不限于移动计算装置、电视机、机顶盒和个人计算机。移动计算装置的实例包括但不限于移动(或“蜂窝”)电话(例如，智能电话)、便携式计算机(例如，笔记本电脑和平板装置)，以及可穿戴装置(例如，耳机和手表)。视频解码器芯片组100可布置在计算装置的母板或扩展卡上或可以另一方式提供。视频解码器芯片组100在使用时通信地耦合至计算装置的一个或多个其它组件。例如，视频解码器芯片组100可通信地耦合至计算装置的中央处理单元(CPU)、计算装置的存储器，和/或计算装置的一个或多个外围设备。外围设备的实例是显示装置。
在一些实例中，计算装置包括VR装置，所述VR装置被配置成处理VR视频数据。VR装置的实例包括但不限于VR耳机和VR护目镜。
视频解码器芯片组100包括视频解码器功能110。
本文使用术语“功能”来表示服务于给定目的的实体(在此实例中为视频解码器芯片组100)的组件。此种组件可用多种不同方式体现。例如，组件可体现在硬件和/或软件中。组件可包括处理器、芯片、集成电路或逻辑块。因此，功能可包括电子组件。
视频解码器功能110被配置成对编码视频数据114进行解码。从一个或多个其它实体接收编码视频数据114。可经由数据通信网络接收编码视频数据114。数据通信网络的实例包括但不限于因特网和局域网(LAN)。在一些实例中，编码视频数据114包括经由数据流接收到的流式视频数据。编码视频数据114可为广播视频数据。
在一些实例中，编码视频数据114包括VR视频数据。与其它类型的视频数据相比，VR视频数据可更靠近观看者显示。因此，VR视频数据的显示分辨率可相对较高，以免降低用户体验。例如，此VR视频数据的显示分辨率可为8K。8K分辨率是指约8,000像素的水平分辨率。在一个特定实例中，具有8K分辨率的视频数据具有7680×4320像素的分辨率。与其它类型的视频数据相比，VR视频数据可具有相对高的帧速率。例如，与一些电视广播的每秒50或60帧相比，VR视频数据的帧速度可为每秒120帧。由于VR视频数据的高分辨率和/或高帧速率，因此在处理VR视频数据时可接收、存储和/或处理相对较大的数据量。
编码视频数据114处于给定质量水平。给定质量水平可对应于给定分辨率。在此实例中，编码视频数据114是8K视频数据。在由视频解码器芯片组100接收之前，编码视频数据114由编码器(未示出)导出。例如，编码器可对原始视频数据进行编码以导出编码视频数据114。
视频解码器功能110被配置成对编码视频数据114进行解码以生成解码视频数据116。视频解码器功能110被配置成输出解码视频数据116。在此实例中，解码视频数据116与编码视频数据114处于相同质量水平。在此实例中，由于编码视频数据114是8K视频数据，因此解码视频数据116也是8K视频数据。
在一些实例中，视频解码器功能110被配置成对流式视频数据进行解码。在其它实例中，视频解码器功能110被配置成对编码视频文件进行解码。可从视频解码器芯片组100外部的计算装置的存储器接收编码视频文件。流式视频数据或编码视频文件具有给定帧速率。视频解码器功能110能够以给定速度或速率对流式视频数据或编码视频文件进行解码。解码的速度或速率可取决于视频解码器功能110的处理能力。如果与视频数据的帧速率相比，视频解码器功能110无法足够快地对视频数据进行解码，则观看者可能会注意到视频质量的下降。
解码视频数据116存储在存储器120中。在此实例中，存储器120包括在视频解码器芯片组100中。在其它实例中，存储器120在视频解码器芯片组100外部。例如，存储器120可为视频解码器芯片组100所处的计算装置的中央存储器。存储器120可被布置成存储一个或多个解码图像，每个图像对应于解码视频数据116中的不同帧。在此实例中，每个所存储图像与解码视频数据116处于相同的质量水平。在此实例中，由于解码视频数据116是8K视频数据，因此每个所存储图像是8K图像。所存储图像可为解码视频数据116中的连续图像。
视频解码器芯片组100包括视频移位器130。视频移位器是一种类型的视频显示控制器。视频移位器130可被配置成从存储器120获得解码视频数据116。在一些实例中，视频移位器130经由处理单元从存储器120获得解码视频数据116。处理单元可布置在存储器120与视频移位器130之间。处理单元可被布置成从存储器120接收解码视频数据116并且将解码视频数据116发送至视频移位器130。在一些实例中，视频移位器130经由一个或多个总线从存储器120获得解码视频数据116。视频移位器130可被配置成处理解码视频数据116以生成串行位流。串行位流是表示解码视频数据116的位序列。所生成的串行位流随后可用于输出视频信号。在一些实例中，视频移位器130负责视频定时信号。视频定时信号可用于使分量视频数据同步。分量视频数据是被分成两个或更多个分量通道的视频数据。例如，视频数据可被分成单独的颜色通道。
虽然上文参考图1描述的实例视频解码器芯片组100可用于获得相对较高分辨率的8K视频输出，但视频解码器芯片组100依赖于接收编码的8K视频数据114并且用8K视频解码器功能110对编码的8K视频数据114进行解码。然而，与4K视频解码器功能(其可对编码的4K视频数据进行解码，但可能无法对编码的8K视频数据进行解码)相比，8K视频解码器功能可能会使用更多功率和/或逻辑，和/或实施起来可能更加复杂和/或昂贵。4K分辨率是指约4,000像素的水平分辨率。在一个实例中，具有4K分辨率的视频数据具有4096×2160像素的分辨率。在另一实例中，具有4K分辨率的视频数据具有3840×2160像素的分辨率。即使对于能够对8K视频数据进行解码的4K视频解码器功能，对8K视频数据进行解码也可能比对4K视频数据进行解码花费更长的时间。
此外，视频解码器芯片组100将解码的8K视频数据116存储在存储器120中。与对应于相同原始视频数据的解码的4K视频数据相比，解码的8K视频数据更大且因此使用更多存储空间。解码的8K视频数据可具有约为解码的4K视频数据四倍的像素，因此存储解码的8K视频数据的存储空间可能比存储解码的4K视频数据的存储空间大四倍。因此，即使将具有4K视频解码器功能的视频解码器芯片组修改为具有8K解码器功能，使得所述视频解码器芯片组可对8K视频数据进行解码，这种芯片组上的存储器也可能没有足够的存储空间来存储解码的8K视频数据。当这种存储器包括在视频解码器芯片组中时，有限的存储空间可能特别重要。与使用中的视频解码器芯片组所处的计算装置的形状因子相比，视频解码器芯片组的相对较小的形状因子可限制存储器的物理大小。可将最初具有4K视频解码器功能的此种视频解码器芯片组修改为具有8K解码器功能和更大存储器，但这可能涉及对视频解码器芯片组的重大修改。
此外，与比较的解码的4K视频数据相比，解码的8K视频数据使用更多的存储器带宽。存储器带宽与例如视频移位器的组件从存储器获取解码的视频数据所采用的连接有关。一些4K视频解码器芯片组的存储器带宽可能不足以实时地处理解码的8K视频数据。如果将4K视频解码器芯片组修改为具有某些8K功能，则视频移位器与存储器之间的有限带宽可能会因此导致瓶颈，从而可能影响图像处理的速度和效率以及所生成的图像的视觉质量。
相比而言，本文描述的实例使得例如8K视频的具有相对较高质量水平的视频能够由视频解码器芯片组使用不会对高质量水平的视频数据进行解码的视频解码功能来重构。例如，视频解码器芯片组可使用4K视频解码器功能。与视频解码器功能是8K视频解码器功能的情况相比，通过使用4K视频解码器功能，可减少功率量、逻辑、复杂性和/或成本。
此外，本文所述的实例使得例如8K视频的具有相对较高质量水平的视频能够由视频解码器芯片组重构，同时相比使用以与输出视频数据相同质量水平解码的视频解码器功能的视频解码器芯片组，减少所述视频解码器芯片组所使用的存储器的存储容量、带宽和/或时钟频率。
参考图2，示意性地示出视频解码器芯片组200的实例。
视频解码器芯片组200接收可呈编码视频流形式的编码视频数据214。
视频解码器芯片组200包括视频解码器功能210。视频解码器功能210被配置成对编码视频数据214进行解码以生成解码视频数据216。解码视频数据216处于第一质量水平。在此实例中，第一质量水平对应于4K的分辨率。在其它实例中，第一质量水平对应于除4K之外的分辨率。
已由编码器使用处于第二较高质量水平的第一视频数据导出编码视频数据214。在此实例中，第二质量水平对应于8K的分辨率。在其它实例中，第二质量水平对应于除8K之外的分辨率。编码器可被配置成通过将第一视频数据降频(或“下采样”)来导出编码视频数据214。可通过将第一视频数据中的相邻像素值平均化来执行降频。在其它实例中，降频可涉及其它功能或计算。
视频解码器功能210被配置成输出解码视频数据216以存储在存储器220中。在此实例中，存储器220是视频解码器芯片组200的存储器。在其它实例中，存储器220在视频解码器芯片组200的外部。
视频解码器芯片组200包括升频器(或‘上采样器’)功能230。升频器功能230可包括在视频解码器芯片组200的视频移位器中。例如，升频器功能230可体现为视频解码器芯片组200的视频移位器中的逻辑块。升频器功能230被配置成从存储器220获得解码视频数据216。升频器功能230进一步被配置成将解码视频数据216升频，以生成第二质量水平的第二视频数据218。第二视频数据218是升频视频数据。升频可涉及对解码视频数据216进行上采样。上采样操作的实例是最邻近插值。将解码视频数据216升频涉及增加解码视频数据216的分辨率。在此实例中，第二视频数据218的分辨率是8K。因此，第二视频数据218的分辨率(即8K)可为解码视频数据216的分辨率(即4K)的两倍。在此实例中，将解码视频数据216的分辨率加倍涉及在水平方向和垂直方向两者上将像素数加倍(或近似加倍)，使得像素的总数是解码视频数据216中的像素数的四倍(或近似四倍)。在一些实例中，在一个方向上的像素数被加倍(或近似加倍)，而在另一个方向上的像素数被保持在解码视频数据216与第二视频数据218之间。
在一些实例中，升频器功能230将第二视频数据218输出至存储器。存储器可在视频解码器芯片组200的外部。存储器可与存储器220相同或不同。在一些实例中，升频器功能230将第二视频数据218输出至帧缓冲器。帧缓冲器是存储器中含有驱动视频显示器的位图的一部分。在一些实例中，升频器功能230将第二视频数据218的一部分输出至存储器或帧缓冲器。例如，可在逐瓦片的基础上生成和/或输出第二视频数据218，其中瓦片对应于图像内的一组像素。
视频解码器芯片组200进一步包括组合器功能240。在一些实例中，组合器功能240包括在视频解码器芯片组200的视频移位器中。例如，组合器功能240可体现为视频移位器的逻辑组件。在其它实例中，组合器功能240与视频移位器分开。组合器功能240可体现为硬件和/或软件。
组合器功能240被配置成接收第二视频数据218。在一些实例中，组合器功能240被配置成从升频器功能230接收第二视频数据218。在一些实例中，例如在组合器功能240与视频移位器分开的情况下，组合器功能240被配置成从视频移位器接收第二视频数据218。
组合器功能240被配置成获得残余数据224。如将在下文更详细地说明，组合器功能240使用残余数据224和第二视频数据218来重构第一视频数据。在一些实例中，组合器功能240被配置成以编码形式接收残余数据224。组合器功能240可包括被布置成对编码残余数据进行解码的残余解码器功能。在一些实例中，组合器功能240被布置成以未编码或解码形式接收残余数据224。残余数据224可由视频解码器芯片组200经由数据流接收。基于第一视频数据和第二视频数据218导出残余数据224。残余数据224可指示第一视频数据与第二视频数据218之间的差。换句话说，残余数据224可指示由于将第一视频数据降频，然后将解码视频数据216升频而丢失的信息。残余数据224可由编码器导出。编码器可被配置成通过将第一视频数据降频以获得降频视频数据，然后将降频视频数据升频以获得第一视频数据的初步表示来导出残余数据224。可通过确定第一视频数据与初步表示之间的差来获得残余数据224。由于第一视频数据和初步表示均处于第二质量水平，因此残余数据224也处于第二质量水平。在此实例中，残余数据224是8K残余数据。
读者参考第PCT/EP2013/059847号国际专利申请，所述专利申请涉及导出如上所述的残余数据。第PCT/EP2013/059847号国际专利申请的全部内容以引用方式并入本文中。
组合器功能240被配置成将第二视频数据218与残余数据224组合以生成增强的视频数据226。组合器功能240被配置成输出增强的视频数据226。可输出增强的视频数据226以供视频显示功能(未示出)处理。视频显示功能可包括在另一实体中。例如，视频显示功能可包括在显示装置中。
增强的视频数据226是第一视频数据的重构。在一些实例中，增强的视频数据226是第一视频数据的精确重构。在一些实例中，增强的视频数据226不是第一视频数据的精确重构。由于例如残余数据224的量化，增强的视频数据226可能不是第一视频数据的精确重构。增强的视频数据226具有与第一视频数据相同的质量水平(在此实例中为8K)，并且通过使用残余数据224来补偿由于降频和升频引起的损失。与上文参考图1描述的不与残余数据224组合的升频视频数据118相比，增强的视频数据226因此可被认为是第一视频数据的更准确表示。使用4K视频解码器功能而不是8K视频解码器功能来获得增强的视频数据226。此外，存储在存储器220中并从存储器220获得的解码视频数据216是4K视频数据而不是8K视频数据，因此与存储8K视频数据的情况相比，减少了所需的存储和/或存储器带宽。存储器220可能没有足够的存储容量来存储增强的视频数据226，但是视频解码器芯片组200仍然允许获得8K视频数据。
可改进4K视频解码器芯片组(具有被配置成处理4K视频数据的视频解码器功能和存储器)，以便生成增强的8K输出。例如，可升级或修改4K视频解码器芯片组以获得此增强功能。此种4K视频解码器芯片组的升级可包括为视频解码器芯片组提供组合器功能240和用于残余数据224的路径。与用8K视频解码器功能和较大存储器替换4K视频解码器芯片组的4K视频解码器功能210和存储器220，使得4K视频解码器芯片组可处理8K视频数据相比，这种升级可能更简单和/或更具成本效益。通过重新使用4K视频解码器芯片组的4K视频解码器功能210和存储器220，而不是分别用8K视频解码器功能和较大存储器代替它们，可减少电气浪费。
在一些实例中，组合器功能240被配置成接收和使用同步数据。同步数据可用于使第二视频数据218与残余数据224同步。在一些实例中，第二视频数据218包括图像集合，并且残余数据224包括对于每个图像的相应残余集合。使用同步数据将残余集合与其相应图像对准，使得使用正确残余数据增强正确图像。
参考图3，示意性地示出视频解码器芯片组300的另一实例。
视频解码器芯片组300包括视频解码器功能210、升频器功能230和组合器功能240。视频解码器芯片组300进一步包括残余解码器功能350。
残余解码器功能350被配置成对编码残余数据324进行解码。可经由数据流接收编码残余数据324。在此实例中，经由单独的数据流接收编码残余数据324和编码视频数据214。换句话说，视频解码器芯片组300经由第一数据流接收编码视频数据214，并且视频解码器芯片组300经由第二不同的数据流接收编码残余数据324。可从不同的装置接收和/或可在不同的时间接收第一数据流和第二数据流。在其它实例中，视频解码器芯片组300经由单个数据流接收编码视频数据214和编码残余数据324。例如，可将编码视频数据214和编码残余数据324多路复用到相同数据流上。与使用多个数据流相比，使用单个数据流可使用更少的传输资源。然而，将编码视频数据214和编码残余数据324多路复用成单个数据流可涉及：视频解码器芯片组300具有解复用功能以对编码视频数据214和编码残余数据324进行解复用。在此实例中，在残余解码器功能350是视频解码器芯片组300的单独逻辑和/或物理组件的意义上，残余解码器功能350与视频解码器功能210分开。
因此，可与由残余解码器功能350对编码残余数据324的解码并行地执行由视频解码器功能210对编码视频数据214的解码。换句话说，可同时执行对编码视频数据214的解码和对编码残余数据324的解码。通过使用与视频解码器功能210分开的残余解码器功能350，可使用能够对4K视频数据进行解码但是不能够对残余数据进行解码的现有4K解码器功能对编码视频数据214进行解码，并且使用在此实例中为残余解码器功能350的单独组件对编码残余数据324进行解码。
对编码残余数据324进行解码会生成残余数据224，所述残差数据224由组合器功能240使用。残余解码器功能350被配置成将残余数据224输出至组合器功能240。将残余数据224输出至组合器功能240使组合器功能240能够将残余数据224与第二视频数据218组合，以生成增强的视频数据226。
在一些实例中，残余解码器功能350包括在视频解码器芯片组300的视频移位器中。例如，视频移位器可包括升频器功能230、组合器功能240和残余解码器功能350中的一个或多个。在其它实例中，残余解码器功能350与视频解码器芯片组300的视频移位器分开。
参考图4，示意性地示出视频解码器芯片组400的另一实例。
视频解码器芯片组400包括视频解码器功能210、升频器功能230、组合器功能240以及残余解码器功能350。
在此实例中，残余解码器功能350被配置成对编码残余数据324进行解码并输出解码残余数据224以存储在存储器220中。这不同于上文参考图3描述的其中残余解码器功能350将残余数据224直接提供给组合器功能240的实例视频解码器芯片组300。存储在存储器220中的每个解码图像可具有对应的残余数据集合，所述残余数据集合也存储在存储器220中。例如，对应于给定解码图像的残余数据可与所述给定解码图像一起存储。组合器功能240可被布置成同时从存储器220接收给定解码图像以及其对应的残余数据集合，从而有助于生成对应的增强图像。如上所述，存储器220可包括在视频解码器芯片组400中或者可与视频解码器芯片组400分开。因此，存储器220可被配置成存储解码视频数据216和解码残余数据224两者。
在此实例中，组合器功能240被配置成通过从存储器220接收残余数据224来获得残余数据224。
用于存储解码视频数据216(处于第一较低质量水平)和解码残余数据224两者的存储空间小于将用于存储第二视频数据218(处于第二较高质量水平)的存储空间。因此，与通过8K视频解码器功能对8K视频数据进行解码并将其存储在存储器中的情况相比，即使在残余数据224存储在存储器220中的情况下，也可减少存储器需求。
参考图5，示意性地示出视频解码器芯片组500的另一实例。
视频解码器芯片组500包括视频解码器功能210、升频器功能230、组合器功能240以及残余解码器功能350。
在此实例中，残余解码器功能350包括在视频解码器功能210中。残余解码器功能350可体现为视频解码器功能210的逻辑组件。在此实例中，视频解码器功能210因此可被视为组合视频和残余解码器功能。因此，例如与上文参考图4描述的实例视频解码器芯片组400相比，在视频解码器芯片组500中可使用更少的个别组件。
在此实例中，视频解码器芯片组500被配置成经由相同的数据流接收编码视频数据214和编码残余数据324。例如，可将编码视频数据214和编码残余数据324多路复用到单个数据流上。
在一些实例中，通过将升频视频数据与残余数据组合来生成增强的视频数据。残余数据是重构数据的实例。重构数据的另一实例是运动补偿数据。运动补偿数据是利用视频中不同图像(例如，帧)之间的时间相关性的数据。运动补偿数据可补偿视频中不同帧上的一项或多项的运动。在一些实例中，视频解码器芯片组接收运动补偿数据。视频解码器芯片组的组合器功能可被布置成将运动补偿数据与视频的第一帧组合以获得视频的第二帧。第一帧可为视频中相对于第二帧的前一帧。组合器功能可从存储器接收第一帧。视频解码器芯片组可以编码形式接收运动补偿数据，并且可包括运动补偿数据解码器功能以对编码的运动补偿数据进行解码。运动补偿数据解码器功能可为视频解码器芯片组的视频解码器功能、残余解码器功能和视频移位器中的一个或多个的一部分或与其分开。
在一些实例中，视频解码器芯片组接收校正数据。校正数据可用于校正对视频数据进行编码和解码时的错误。校正数据可由编码器导出，例如通过对第一视频数据进行编码，对编码视频数据进行解码，以及将解码视频数据与第一视频数据进行比较来导出。可由视频解码器芯片组以编码形式接收校正数据。因此，视频解码器芯片组可包括校正数据解码器功能，所述校正数据解码器功能被布置成对编码的校正数据进行解码。校正数据解码器功能可为视频解码器芯片组的残余解码器功能、视频解码器功能和视频移位器中的一个或多个的一部分或与其分开。视频解码器芯片组的校正数据组合器功能可被布置成将校正数据与解码视频数据组合以获得校正的视频数据。在与残余数据组合以获得增强的视频数据之前，可通过视频解码器芯片组的升频器功能将校正的视频数据升频。
在上述实例中，视频解码器芯片组对4K视频数据进行解码并且输出增强的8K视频数据。在其它实例中，代替4K和8K，使用其它分辨率。
以上实施方案应被理解为说明性实例。设想其它实施方案。
在上述实例中，视频解码器芯片组包括各个组件。在一些实例中，组件中的一个或多个布置在视频解码器芯片组的外部。
提供各种措施(例如，视频解码器芯片组、方法和计算机程序)，其中视频解码器芯片组包括视频解码器功能，所述视频解码器功能被配置成对编码视频数据进行解码以生成第一质量水平的解码视频数据，所述编码视频数据已由编码器使用第二较高质量水平的第一视频数据导出。视频解码器功能被配置成输出解码视频数据以存储在存储器中。视频解码器芯片组包括升频器功能，所述升频器功能被配置成从存储器获得解码视频数据。升频器功能被配置成将所获得的解码视频数据升频，以生成第二质量水平的第二视频数据。视频解码器芯片组包括组合器功能，所述组合器功能被配置成获得残余数据，所述残余数据已由编码器基于第一视频数据和第二视频数据导出。组合器功能被配置成将第二视频数据与残余数据组合以生成增强的视频数据。组合器功能被配置成输出增强的视频数据。
在一些实例中，视频解码器芯片组包括残余解码器功能。残余解码器功能被配置成接收编码残余数据并且对所接收的编码残余数据进行解码以生成残余数据。与使用未编码残余数据的情况相比，使用编码残余数据会减少传输至视频解码器芯片组并且由视频解码器芯片组接收的数据的量。
在一些实例中，视频解码器芯片组被配置成经由第一数据流接收编码视频数据，并且被配置成经由第二不同的数据流接收编码残余数据。经由单独的数据流接收编码视频数据和编码残余数据使得能够在不同时间和/或从不同装置接收编码视频数据和编码残余数据，并且不会涉及具有解复用功能的视频解码器芯片组。
在一些实例中，视频解码器芯片组被配置成经由相同的数据流接收编码视频数据和编码残余数据。与经由单独的数据流接收编码视频数据和编码视频数据的情况相比，经由相同的数据流接收编码视频数据和编码残余数据会减少所使用的传输资源的量。
在一些实例中，残余解码器功能与视频解码器功能分开。残余解码器功能与视频解码器功能分开使得能够重新使用现有的视频解码器功能，而不是用具有残余解码器功能的视频解码器功能代替现有的视频解码器功能，由此与残余解码器功能包括在视频解码器功能中的情况相比，减少电气浪费。
在一些实例中，残余解码器功能包括在视频解码器功能中。与残余解码器功能与视频解码器功能分开的情况相比，残余解码器功能包括在视频解码器功能中会减少视频解码器芯片组的组件的量，因此减少视频解码器芯片组的复杂性。
在一些实例中，残余解码器功能被配置成将残余数据输出至组合器功能。在一些实例中，组合器功能被配置成从残余解码器功能接收残余数据。将残余解码器功能配置成将残余数据输出至组合器功能有助于通过组合器功能增强视频数据。
在一些实例中，残余解码器功能被配置成输出残余数据以存储在存储器中。在一些实例中，组合器功能被配置成通过从存储器接收残余数据来接收残余数据。将残余数据存储在存储器中使残余数据的特定集合能够与解码视频数据的对应帧匹配，由此有助于增强视频数据。
在一些实例中，视频解码器芯片组包括视频移位器。视频移位器使视频解码器芯片组能够输出视频信号以供显示。
在一些实例中，残余解码器功能包括在视频移位器中。与残余解码器功能与视频移位器分开的情况相比，残余解码器功能包括在视频移位器中会减少视频解码器芯片组的组件的量，因此减少视频解码器芯片组的复杂性。
在一些实例中，升频器功能包括在视频移位器中。与升频器功能与视频移位器分开的情况相比，升频器功能包括在视频移位器中会减少视频解码器芯片组的组件的量，因此减少视频解码器芯片组的复杂性。
在一些实例中，组合器功能与视频移位器分开。组合器功能与视频移位器分开使得能够重新使用现有视频移位器，而不是代替现有视频移位器，由此与使用代替视频移位器的情况相比减少电气浪费。
在一些实例中，组合器功能被配置成从视频移位器接收第二视频数据。将组合器功能配置成从视频移位器接收第二视频数据有助于通过组合器功能生成增强的视频数据。
在一些实例中，组合器功能包括在视频移位器中。与组合器功能与视频移位器分开的情况相比，组合器功能包括在视频移位器中会减少视频解码器芯片组的组件的量，因此减少视频解码器芯片组的复杂性。
在一些实例中，组合器功能被配置成接收可用于使第二视频数据与残余数据同步的同步数据。组合器功能被配置成使用同步数据以使第二视频数据与残余数据同步。使用同步数据使第二视频数据与残余数据同步有助于第二视频数据与残余数据的组合，由此有助于生成增强的视频数据。同步数据使给定图像能够通过其对应的残余数据增强。
在一些实例中，残余数据指示第一视频数据与第二视频数据之间的差，残余数据可用于使用第二视频数据重构第一视频数据。因此，与不使用残余数据并且第二视频数据本身是输出的情况相比，将残余数据与第二视频数据组合使得能够通过视频解码器芯片组获得第一视频数据的更准确表示。
在一些实例中，第二视频数据的分辨率是解码视频数据的分辨率的两倍。因此，在视频数据的解码之后，可由视频解码器芯片组增加视频数据的分辨率，由此与较高分辨率的视频数据本身进行解码的情况相比，减少处理功率的量、逻辑、所使用的存储空间、复杂性和/或成本。
在一些实例中，解码视频数据的分辨率是4K。因此，视频解码器芯片组可使用4K视频解码器功能。与能够对较高质量的视频数据进行解码的视频解码器功能相比，4K视频解码器功能可使用更少的功率和/或逻辑和/或成本较低。
在一些实例中，第二视频数据的分辨率是8K。因此，可由视频解码器芯片组输出增强的8K视频，由此即使在观看者附近显示此视频时，也可提供高水平的视觉质量和清晰度。
在一些实例中，存储器没有足够的存储空间来存储增强的视频数据。通过对第一较低质量水平的视频数据进行解码并且在增强解码视频数据之前将解码视频数据存储在存储器中，与对第二较高质量水平的视频数据进行解码并存储在存储器中的情况相比，减少了用于存储解码视频数据的存储空间的量。因此，当存储器中的存储容量有限时，可由视频解码器芯片组输出第二质量水平的增强的视频数据。
在一些实例中，组合器功能被配置成输出增强的视频数据以由视频显示功能处理。将组合器功能配置成输出增强的视频数据以由视频显示功能处理使得即使在观看者附近显示此视频时，视频显示功能也能够以高水平的视觉质量和清晰度显示视频。
在一些实例中，编码视频数据是虚拟现实视频数据。与一些其它类型的视频数据相比，虚拟现实视频数据具有相对高的分辨率和/或帧速率。因此，与虚拟现实视频数据以其全分辨率进行解码和存储的情况相比，增强的虚拟现实视频数据可由视频解码器芯片组使用更少的处理功率、逻辑、存储、处理时间和/或成本来输出。
提供各种措施(例如，视频解码器芯片组、方法和计算机程序)，其中视频解码器芯片组包括4K视频解码器功能，所述4K视频解码器功能被配置成接收编码的4K视频数据，所述编码的4K视频数据已由编码器装置使用第一8K视频数据导出。4K视频解码器功能被配置成对所接收的编码的4K视频数据进行解码，以生成解码的4K视频数据。4K视频解码器功能被配置成输出解码的4K视频数据。视频解码器芯片组进一步包括4K至8K升频器功能。4K至8K升频器功能被配置成获得解码的4K视频数据并且将所获得的4K解码视频数据升频以生成第二8K视频数据。视频解码器芯片组进一步包括组合器功能。组合器功能被配置成获得残余数据，所述残余数据已由编码器装置基于第一8K视频数据和对应于第二8K视频数据的视频数据导出。组合器功能被配置成将第二8K视频数据与残余数据组合以生成第三8K视频数据。组合器功能被配置成输出第三8K视频数据。
在一些实例中，修改视频解码器芯片组。视频解码器芯片组包括视频解码器功能和升频器功能。视频解码器功能被配置成对编码视频数据进行解码，以生成第一质量水平的解码视频数据，所述编码视频数据已由编码器使用第二更高质量水平的第一视频数据导出。视频解码器功能被配置成输出解码视频数据以存储在存储器中。升频器功能被配置成从存储器获得解码视频数据。升频器功能进一步被配置成将解码视频数据升频，以生成第二质量水平的第二视频数据。修改视频解码器芯片组包括向视频解码器芯片组提供组合器功能。组合器功能被配置成获得基于第一视频数据和第二视频数据导出的残余数据。组合器功能进一步被配置成将第二视频数据与残余数据组合，以生成增强的视频数据。组合器功能进一步被配置成输出增强的视频数据。在一些实例中，修改视频解码器芯片组包括向视频解码器芯片组提供存储器以存储残余数据。在一些实例中，组合器功能被配置成接收可用于使第二视频数据与残余数据同步的同步数据。组合器功能可使用同步数据使第二视频数据与残余数据同步。本文描述的技术可用软件和/或硬件实施。所述技术可包括配置视频解码器芯片组以执行和/或支持本文描述的任一种或全部技术。
应理解，关于任何一个实施方案描述的任何特征可单独使用或者与所描述的其它特征结合使用，并且还可与任何其它实施方案的一个或多个特征结合使用或者以任何其它实施方案的任何组合使用。此外，在不脱离在所附权利要求书中定义的本发明的范围的情况下，也可采用上文未描述的等效物和修改。

Claims (25)

1.一种视频解码器芯片组，其包括：
视频解码器功能，所述视频解码器功能被配置成：
对编码视频数据进行解码以生成第一质量水平的解码视频数据，所述编码视频数据已由编码器使用第二更高质量水平的第一视频数据导出；以及
输出所述解码视频数据以存储在存储器中；
升频器功能，所述升频器功能被配置成：
从所述存储器获得所述解码视频数据；以及
将所述所获得的解码视频数据升频，以生成所述第二质量水平的第二视频数据；以及
组合器功能，所述组合器功能被配置成：
获得残余数据，所述残余数据已由所述编码器基于所述第一视频数据和所述第二视频数据导出；
将所述第二视频数据与所述残余数据组合以生成增强的视频数据；以及
输出所述增强的视频数据。
2.根据权利要求1所述的视频解码器芯片组，其包括残余解码器功能，所述残余解码器功能被配置成：
接收编码残余数据；以及
对所述所接收的编码残余数据进行解码以生成所述残余数据。
3.根据权利要求2所述的视频解码器芯片组，其中所述视频解码器芯片组被配置成经由第一数据流接收所述编码视频数据，并且被配置成经由第二不同的数据流接收所述编码残余数据。
4.根据权利要求2所述的视频解码器芯片组，其中所述视频解码器芯片组被配置成经由同一数据流接收所述编码视频数据和所述编码残余数据。
5.根据权利要求2至4中任一项所述的视频解码器芯片组，其中所述残余解码器功能与所述视频解码器功能分开。
6.根据权利要求2至4中任一项所述的视频解码器芯片组，其中所述残余解码器功能包括在所述视频解码器功能中。
7.根据权利要求2至6中任一项所述的视频解码器芯片组，其中所述残余解码器功能被配置成将所述残余数据输出至所述组合器功能。
8.根据权利要求2至7中任一项所述的视频解码器芯片组，其中所述组合器功能被配置成从所述残余解码器功能接收所述残余数据。
9.根据权利要求2至6中任一项所述的视频解码器芯片组，其中所述残余解码器功能被配置成输出所述残余数据以存储在所述存储器中。
10.根据权利要求1至6中任一项或权利要求9所述的视频解码器芯片组，其中所述组合器功能被配置成通过从所述存储器接收所述残余数据来接收所述残余数据。
11.根据权利要求2至10中任一项所述的视频解码器芯片组，其包括视频移位器。
12.根据权利要求11所述的视频解码器芯片组，其中所述残余解码器功能包括在所述视频移位器中。
13.根据权利要求11或权利要求12所述的视频解码器芯片组，其中所述升频器功能包括在所述视频移位器中。
14.根据权利要求11至13中任一项所述的视频解码器芯片组，其中所述组合器功能与所述视频移位器分开。
15.根据权利要求11至14中任一项所述的视频解码器芯片组，其中所述组合器功能被配置成从所述视频移位器接收所述第二视频数据。
16.根据权利要求11至13中任一项所述的视频解码器芯片组，其中所述组合器功能包括在所述视频移位器中。
17.根据权利要求1至16中任一项所述的视频解码器芯片组，其中所述组合器功能被配置成：
接收可用于使所述第二视频数据与所述残余数据同步的同步数据；以及
使用所述同步数据以使所述第二视频数据与所述残余数据同步。
18.根据权利要求1至17中任一项所述的视频解码器芯片组，其中所述残余数据指示所述第一视频数据与所述第二视频数据之间的差，所述残余数据可用于使用所述第二视频数据重构所述第一视频数据。
19.根据权利要求1至18中任一项所述的视频解码器芯片组，其中所述存储器没有足够的存储空间来存储所述增强的视频数据。
20.根据权利要求1至19中任一项所述的视频解码器芯片组，其中所述组合器功能被配置成输出所述增强的视频数据以由视频显示功能处理。
21.根据权利要求1至20中任一项所述的视频解码器芯片组，其中所述编码视频数据是虚拟现实视频数据。
22.一种在视频解码器芯片组中处理视频数据的方法，所述视频解码器芯片组包括视频解码器功能、升频器功能和组合器功能，所述方法包括：
通过所述视频解码器功能对编码视频数据进行解码以生成第一质量水平的解码视频数据，所述编码视频数据已由编码器使用第二更高质量水平的第一视频数据导出；
通过所述视频解码器功能输出所述解码视频数据以存储在存储器中；
通过所述升频器功能从所述存储器获得所述解码视频数据；
通过所述升频器功能将所述所获得的解码视频数据升频，以生成所述第二质量水平的第二视频数据；
通过所述组合器功能接收残余数据，所述残余数据已由所述编码器基于所述第一视频数据和所述第二视频数据导出；
通过所述组合器功能将所述第二视频数据与所述残余数据组合以生成增强的视频数据；以及
通过所述组合器功能输出所述增强的视频数据。
23.一种计算机程序，其包括指令，所述指令在被执行时使视频解码器芯片组执行根据权利要求22所述的方法。
24.一种计算机可读介质，其包括根据权利要求23所述的计算机程序。
25.一种视频解码器芯片组，其包括：
4K视频解码器功能，所述4K视频解码器功能被配置成：
接收编码的4K视频数据，所述编码的4K视频数据已由编码器装置使用第一8K视频数据导出；
对所述所接收的编码的4K视频数据进行解码以生成解码的4K视频数据；以及
输出所述解码的4K视频数据；
4K至8K升频器功能，所述4K至8K升频器功能被配置成：
获得所述解码的4K视频数据；以及
将所述所获得的4K解码视频数据升频，以生成第二8K视频数据；以及
组合器功能，所述组合器功能被配置成：
获得残余数据，所述残余数据已由所述编码器装置基于所述第一8K视频数据和对应于所述第二8K视频数据的视频数据导出；
将所述第二8K视频数据与所述残余数据组合以生成第三8K视频数据；以及
输出所述第三8K视频数据。
CN201980028795.8A 2018-04-27 2019-04-18 视频解码器芯片组 Active CN112136330B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310843700.6A CN116781924A (zh) 2018-04-27 2019-04-18 视频解码器芯片组

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1806926.0A GB2574575A (en) 2018-04-27 2018-04-27 Video decoder chipset
GB1806926.0 2018-04-27
PCT/GB2019/051104 WO2019207286A1 (en) 2018-04-27 2019-04-18 Video decoder chipset

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310843700.6A Division CN116781924A (zh) 2018-04-27 2019-04-18 视频解码器芯片组

Publications (2)

Publication Number Publication Date
CN112136330A true CN112136330A (zh) 2020-12-25
CN112136330B CN112136330B (zh) 2023-07-28

Family

ID=62495154

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980028795.8A Active CN112136330B (zh) 2018-04-27 2019-04-18 视频解码器芯片组
CN202310843700.6A Pending CN116781924A (zh) 2018-04-27 2019-04-18 视频解码器芯片组

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202310843700.6A Pending CN116781924A (zh) 2018-04-27 2019-04-18 视频解码器芯片组

Country Status (5)

Country Link
US (2) US11259036B2 (zh)
EP (1) EP3785445B1 (zh)
CN (2) CN112136330B (zh)
GB (1) GB2574575A (zh)
WO (1) WO2019207286A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2598701B (en) 2020-05-25 2023-01-25 V Nova Int Ltd Wireless data communication system and method
US12032159B2 (en) * 2021-04-21 2024-07-09 NewSight Reality, Inc. Optical module having active array of elements capable of synchronizing with see-through display
GB2607123B (en) * 2021-10-25 2023-10-11 V Nova Int Ltd Enhancement decoding implementation and method

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007042063A1 (en) * 2005-10-12 2007-04-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Video codec supporting quality-scalability
CN101040533A (zh) * 2004-10-13 2007-09-19 汤姆逊许可公司 复杂性可伸缩的视频编码和解码方法和设备
CN101931812A (zh) * 2004-10-15 2010-12-29 弗劳恩霍夫应用研究促进协会 用中间层残留值预测产生并解码视频序列的设备和方法
CA2918762A1 (en) * 2013-08-27 2015-03-05 Qualcomm Incorporated Residual prediction for intra block copying
JP2016034069A (ja) * 2014-07-31 2016-03-10 船井電機株式会社 映像処理装置
US20170223368A1 (en) * 2016-01-29 2017-08-03 Gopro, Inc. Apparatus and methods for video compression using multi-resolution scalable coding

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1636394A (zh) * 2000-10-11 2005-07-06 皇家菲利浦电子有限公司 细粒视频编码的空间可缩放性
US20060045381A1 (en) 2004-08-31 2006-03-02 Sanyo Electric Co., Ltd. Image processing apparatus, shooting apparatus and image display apparatus
US8106917B2 (en) * 2006-06-29 2012-01-31 Broadcom Corporation Method and system for mosaic mode display of video
US8155454B2 (en) * 2006-07-20 2012-04-10 Qualcomm Incorporated Method and apparatus for encoder assisted post-processing
JP4620695B2 (ja) * 2007-02-21 2011-01-26 日本電信電話株式会社 スケーラブル動画像符号化方法，装置，そのプログラムおよびその記録媒体
US9648325B2 (en) 2007-06-30 2017-05-09 Microsoft Technology Licensing, Llc Video decoding implementations for a graphics processing unit
US8948248B2 (en) * 2011-07-21 2015-02-03 Luca Rossato Tiered signal decoding and signal reconstruction
KR20130011994A (ko) * 2011-07-22 2013-01-30 삼성전자주식회사 송신 장치, 수신 장치 및 그 송수신 방법
SG10201710075SA (en) * 2012-05-14 2018-01-30 Luca Rossato Decomposition of residual data during signal encoding, decoding and reconstruction in a tiered hierarchy
JP6003992B2 (ja) * 2012-08-27 2016-10-05 ソニー株式会社 受信装置および受信方法
JP6137817B2 (ja) * 2012-11-30 2017-05-31 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム
SG11201508427YA (en) * 2013-04-15 2015-11-27 Luca Rossato Hybrid backward-compatible signal encoding and decoding
WO2014203726A1 (ja) * 2013-06-18 2014-12-24 シャープ株式会社 照度補償装置、ｌｍ予測装置、画像復号装置、画像符号化装置
US9386308B2 (en) * 2013-07-16 2016-07-05 Cisco Technology, Inc. Quality optimization with buffer and horizon constraints in adaptive streaming
TW201517633A (zh) * 2013-10-15 2015-05-01 Thomson Licensing 可標度位元流內視訊資料之編碼方法和裝置及其內所寫碼視訊資料之解碼方法和裝置，以及電腦程式製品和處理器可讀式媒體
US10469853B2 (en) * 2014-01-09 2019-11-05 Samsung Electronics Co., Ltd. Scalable video encoding/decoding method and apparatus
BR112016029843A8 (pt) * 2014-06-19 2021-07-06 Vid Scale Inc método para decodificar parâmetros de tabela de consulta tridimensional para uso na decodificação de vídeo e unidade de transmissão / recepção sem fio
JP6409516B2 (ja) * 2014-11-13 2018-10-24 富士通株式会社 ピクチャ符号化プログラム、ピクチャ符号化方法及びピクチャ符号化装置
GB201603144D0 (en) * 2016-02-23 2016-04-06 Magic Pony Technology Ltd Training end-to-end video processes
US20170026659A1 (en) * 2015-10-13 2017-01-26 Mediatek Inc. Partial Decoding For Arbitrary View Angle And Line Buffer Reduction For Virtual Reality Video
US10694210B2 (en) 2016-05-28 2020-06-23 Microsoft Technology Licensing, Llc Scalable point cloud compression with transform, and corresponding decompression
US10616583B2 (en) * 2016-06-30 2020-04-07 Sony Interactive Entertainment Inc. Encoding/decoding digital frames by down-sampling/up-sampling with enhancement information
US11593632B2 (en) * 2016-12-15 2023-02-28 WaveOne Inc. Deep learning based on image encoding and decoding
US10986356B2 (en) * 2017-07-06 2021-04-20 Samsung Electronics Co., Ltd. Method for encoding/decoding image and device therefor
GB2568460B (en) * 2017-10-16 2022-11-16 Displaylink Uk Ltd Encoding and transmission of display data

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101040533A (zh) * 2004-10-13 2007-09-19 汤姆逊许可公司 复杂性可伸缩的视频编码和解码方法和设备
CN101931812A (zh) * 2004-10-15 2010-12-29 弗劳恩霍夫应用研究促进协会 用中间层残留值预测产生并解码视频序列的设备和方法
WO2007042063A1 (en) * 2005-10-12 2007-04-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Video codec supporting quality-scalability
CA2918762A1 (en) * 2013-08-27 2015-03-05 Qualcomm Incorporated Residual prediction for intra block copying
JP2016034069A (ja) * 2014-07-31 2016-03-10 船井電機株式会社 映像処理装置
US20170223368A1 (en) * 2016-01-29 2017-08-03 Gopro, Inc. Apparatus and methods for video compression using multi-resolution scalable coding

Also Published As

Publication number Publication date
US12113994B2 (en) 2024-10-08
US11259036B2 (en) 2022-02-22
GB2574575A (en) 2019-12-18
EP3785445A1 (en) 2021-03-03
US20220264129A1 (en) 2022-08-18
EP3785445B1 (en) 2024-08-14
WO2019207286A1 (en) 2019-10-31
GB201806926D0 (en) 2018-06-13
CN116781924A (zh) 2023-09-19
CN112136330B (zh) 2023-07-28
US20210120258A1 (en) 2021-04-22

Similar Documents

Publication Publication Date Title
US12113994B2 (en) Video decoder chipset
EP3232669B1 (en) Video frame processing method, video processing chip, motion estimation and motion compensation chip
CN108833975B (zh) 视频播放的处理方法及装置
US8111932B2 (en) Digital image decoder with integrated concurrent image prescaler
US9749636B2 (en) Dynamic on screen display using a compressed video stream
KR20150140842A (ko) 하이브리드 백워드-호환가능 신호 인코딩 및 디코딩
US10080019B2 (en) Parallel encoding for wireless displays
US10284810B1 (en) Using low-resolution frames to increase frame rate of high-resolution frames
JP2014146924A (ja) ソース機器、シンク機器、通信システムおよび画像送信方法
US20190141332A1 (en) Use of synthetic frames in video coding
CN105472442A (zh) 一种用于超高清帧率上变换的片外缓存压缩系统
US20170359588A1 (en) Switchable chroma sampling for wireless display
GB2607123A (en) Enhancement decoding implementation and method
US10230982B2 (en) Image encoding apparatus and method, and image decoding apparatus and method
KR20160008011A (ko) 초고해상도 영상 처리를 위한 장치
CN114866779A (zh) 一种图像编码、重构方法及装置、电子设备和存储介质
US10484714B2 (en) Codec for multi-camera compression
US10034007B2 (en) Non-subsampled encoding techniques
KR20210130148A (ko) 몰입형 비디오 코딩을 위한 고 수준 구문
US7233366B2 (en) Method and apparatus for sending and receiving and for encoding and decoding a telop image
US20240048734A1 (en) Image processing method and image processing device for enhancing image processing efficiency
US20240048740A1 (en) Image processing method and image processing device for enhancing image processing efficiency
US20190075312A1 (en) Method and apparatus for decoding multi-level video bitstream
KR20160144061A (ko) 초고선명 텔레비전용 보급형 메인보드

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant