CN109952763B - 利用高水平和低水平之间的差异的视频压缩 - Google Patents

利用高水平和低水平之间的差异的视频压缩 Download PDF

Info

Publication number
CN109952763B
CN109952763B CN201780069197.6A CN201780069197A CN109952763B CN 109952763 B CN109952763 B CN 109952763B CN 201780069197 A CN201780069197 A CN 201780069197A CN 109952763 B CN109952763 B CN 109952763B
Authority
CN
China
Prior art keywords
elements
data
frame
quality level
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780069197.6A
Other languages
English (en)
Other versions
CN109952763A (zh
Inventor
D·汉德福德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
V-Nova Ltd
Original Assignee
V-Nova Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by V-Nova Ltd filed Critical V-Nova Ltd
Priority to CN202311503020.6A priority Critical patent/CN117880528A/zh
Publication of CN109952763A publication Critical patent/CN109952763A/zh
Application granted granted Critical
Publication of CN109952763B publication Critical patent/CN109952763B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

获得可用于重建信号的第一时间样本的表达(306)的残差元素集合(316)。生成与第一时间样本相关的时空关联元素集合(326)。时空关联元素集合指示多个残差元素之间的空间关联程度以及基于该表达的第一参考数据与基于信号的第二时间样本的表达的第二参考数据之间的时间关联程度。时空关联元素集合用于生成输出数据。

Description

利用高水平和低水平之间的差异的视频压缩
技术领域
本发明涉及数据处理设备、方法、计算机程序和计算机可读介质。
背景技术
信号的压缩和解压缩是很多已知系统中的考虑因素。很多类型的信号(例如视频、音频或体积信号)可以被压缩和编码，用于例如通过数据通信网络传输。信号也可通过压缩形式来存储，例如存储在像数字通用盘(DVD)这样的存储介质上。在解码这样的信号时，希望提高信号的质量水平和/或尽可能多地恢复原始信号中包含的信息。
一些已知系统利用可伸缩编码技术。可伸缩编码涉及将信号连同信息一起编码，以允许在一个或多个不同的质量水平重建信号，例如根据解码器的能力和可用带宽的不同。但是，仍然可以存储和/或传输较大量的信息，特别是随着更高质量、更高清晰度视频的使用变得更加普遍。
发明内容
根据本发明的第一方案，提供一种设备，被配置为：
获得残差元素集合，所述残差元素集合能够用于使用处于具有多个质量水平的分层结构中较高质量水平的信号的第一时间样本的第二表达来重建所述较高质量水平的信号的第一时间样本的第一表达，所述第二表达基于处于所述分层结构中较低质量水平的所述信号的第一时间样本的表达；
生成与所述信号的第一时间样本相关的时空关联元素集合，所述时空关联元素集合指示所述残差元素集合中的多个残差元素之间的空间关联程度以及基于所述第一表达的第一参考数据与基于所述信号的第二时间样本的表达的第二参考数据之间的时间关联程度；
使用所述时空关联元素集合来生成第一输出数据；以及
使用所述较低质量水平的表达来生成第二输出数据。
据本发明的第二方案，提供一种设备，被配置为：
接收包括第一输入数据和第二输入数据的输入数据，所述第一输入数据基于时空关联元素集合，所述第二输入数据基于处于具有多个质量水平的分层结构中较低质量水平的信号的第一时间样本的表达；
使用所述时空关联元素集合获得残差元素集合，所述残差元素集合能够用于使用处于所述分层结构中较高质量水平的信号的第一时间样本的第二表达重建所述较高质量水平的信号的第一时间样本的第一表达，所述第二表达基于所述较低质量水平的表达；以及
使用所述第二表达和所述残差元素集合重建所述较高质量水平的第一表达，
其中，所述时空关联元素集合指示所述残差元素集合中的多个残差元素之间的空间关联程度以及基于所述第一表达的第一参考数据与基于所述信号的第二时间样本的表达的第二参考数据之间的时间关联程度。
根据本发明的第三方案，提供一种方法，包括：
获得残差元素集合，所述残差元素集合能够用于使用处于具有多个质量水平的分层结构中较高质量水平的信号的第一时间样本的第二表达来重建所述较高质量水平的信号的第一时间样本的第一表达，所述第二表达基于处于所述分层结构中较低质量水平的所述信号的第一时间样本的表达；
生成与所述信号的第一时间样本相关的时空关联元素集合，所述时空关联元素集合指示所述残差元素集合中的多个残差元素之间的空间关联程度以及基于所述第一表达的第一参考数据与基于所述信号的第二时间样本的表达的第二参考数据之间的时间关联程度；
使用所述时空关联元素集合来生成第一输出数据；以及
使用所述较低质量水平的表达来生成第二输出数据。
根据本发明的第四方案，提供一种包括指令的计算机程序，所述指令在被执行时使得设备进行以下方法，包括：
获得残差元素集合，所述残差元素集合能够用于使用处于具有多个质量水平的分层结构中较高质量水平的信号的第一时间样本的第二表达来重建所述较高质量水平的信号的第一时间样本的第一表达，所述第二表达基于处于所述分层结构中较低质量水平的所述信号的第一时间样本的表达；
生成与所述信号的第一时间样本相关的时空关联元素集合，所述时空关联元素集合指示所述残差元素集合中的多个残差元素之间的空间关联程度以及基于所述第一表达的第一参考数据与基于所述信号的第二时间样本的表达的第二参考数据之间的时间关联程度；
使用所述时空关联元素集合来生成第一输出数据；以及
使用所述较低质量水平的表达来生成第二输出数据。
根据本发明的第五方案，提供一种包括计算机程序的计算机可读介质，所述计算机程序包括指令，所述指令在被执行时使得设备进行以下方法，包括：
获得残差元素集合，所述残差元素集合能够用于使用处于具有多个质量水平的分层结构中较高质量水平的信号的第一时间样本的第二表达来重建所述较高质量水平的信号的第一时间样本的第一表达，所述第二表达基于处于所述分层结构中较低质量水平的所述信号的第一时间样本的表达；
生成与所述信号的第一时间样本相关的时空关联元素集合，所述时空关联元素集合指示所述残差元素集合中的多个残差元素之间的空间关联程度以及基于所述第一表达的第一参考数据与基于所述信号的第二时间样本的表达的第二参考数据之间的时间关联程度；
使用所述时空关联元素集合来生成第一输出数据；以及
使用所述较低质量水平的表达来生成第二输出数据。
根据本发明的第六方案，提供一种方法，包括：
接收包括第一输入数据和第二输入数据的输入数据，所述第一输入数据基于时空关联元素集合，所述第二输入数据基于处于具有多个质量水平的分层结构中较低质量水平的信号的第一时间样本的表达；
使用所述时空关联元素集合获得残差元素集合，所述残差元素集合能够用于使用处于所述分层结构中较高质量水平的信号的第一时间样本的第二表达重建所述较高质量水平的信号的第一时间样本的第一表达，所述第二表达基于所述较低质量水平的表达；以及
使用所述第二表达和所述残差元素集合重建所述较高质量水平的第一表达，
其中，所述时空关联元素集合指示所述残差元素集合中的多个残差元素之间的空间关联程度以及基于所述第一表达的第一参考数据与基于所述信号的第二时间样本的表达的第二参考数据之间的时间关联程度。
根据本发明的第七方案，提供一种包括指令的计算机程序，所述指令在被执行时使得设备进行以下方法，包括：
接收包括第一输入数据和第二输入数据的输入数据，所述第一输入数据基于时空关联元素集合，所述第二输入数据基于处于具有多个质量水平的分层结构中较低质量水平的信号的第一时间样本的表达；
使用所述时空关联元素集合获得残差元素集合，所述残差元素集合能够用于使用处于所述分层结构中较高质量水平的信号的第一时间样本的第二表达重建所述较高质量水平的信号的第一时间样本的第一表达，所述第二表达基于所述较低质量水平的表达；以及
使用所述第二表达和所述残差元素集合重建所述较高质量水平的第一表达，
其中，所述时空关联元素集合指示所述残差元素集合中的多个残差元素之间的空间关联程度以及基于所述第一表达的第一参考数据与基于所述信号的第二时间样本的表达的第二参考数据之间的时间关联程度。
根据本发明的第八方案，提供一种包括计算机程序的计算机可读介质，所述计算机程序包括指令，所述指令在被执行时使得设备进行以下方法，包括：
接收包括第一输入数据和第二输入数据的输入数据，所述第一输入数据基于时空关联元素集合，所述第二输入数据基于处于具有多个质量水平的分层结构中较低质量水平的信号的第一时间样本的表达；
使用所述时空关联元素集合获得残差元素集合，所述残差元素集合能够用于使用处于所述分层结构中较高质量水平的信号的第一时间样本的第二表达重建所述较高质量水平的信号的第一时间样本的第一表达，所述第二表达基于所述较低质量水平的表达；以及
使用所述第二表达和所述残差元素集合重建所述较高质量水平的第一表达，
其中，所述时空关联元素集合指示所述残差元素集合中的多个残差元素之间的空间关联程度以及基于所述第一表达的第一参考数据与基于所述信号的第二时间样本的表达的第二参考数据之间的时间关联程度。
根据本发明的第九方案，提供一种设备，被配置为：
接收包括第一输入数据和第二输入数据的输入数据，所述第一输入数据基于关联元素集合，所述第二输入数据基于处于具有多个质量水平的分层结构中较低质量水平的信号的第一时间样本的表达；
使用所述关联元素集合获得残差元素集合，所述残差元素集合能够用于使用处于所述分层结构中较高质量水平的信号的第一时间样本的第二表达重建所述较高质量水平的信号的第一时间样本的第一表达，所述第二表达基于所述较低质量水平的表达；以及
使用所述第二表达和所述残差元素集合重建所述较高质量水平的第一表达，
其中，所述关联元素集合至少指示所述残差元素集合中的多个残差元素之间的空间关联程度，以及
其中，所述输入数据包括用于识别所述关联元素集合是否指示所述空间关联程度或者用于识别所述关联元素集合是否还指示基于所述第一表达的第一参考数据与基于所述信号的第二时间样本的表达的第二参考数据之间的时间关联程度的数据。
根据本发明的第十方案，提供一种方法，包括：
接收包括第一输入数据和第二输入数据的输入数据，所述第一输入数据基于关联元素集合，所述第二输入数据基于处于具有多个质量水平的分层结构中较低质量水平的信号的第一时间样本的表达；
使用所述关联元素集合获得残差元素集合，所述残差元素集合能够用于使用处于所述分层结构中较高质量水平的信号的第一时间样本的第二表达重建所述较高质量水平的信号的第一时间样本的第一表达，所述第二表达基于所述较低质量水平的表达；以及
使用所述第二表达和所述残差元素集合重建所述较高质量水平的第一表达，
其中，所述关联元素集合至少指示所述残差元素集合中的多个残差元素之间的空间关联程度，以及
其中，所述输入数据包括用于识别所述关联元素集合是否指示所述空间关联程度或者用于识别所述关联元素集合是否还指示基于所述第一表达的第一参考数据与基于所述信号的第二时间样本的表达的第二参考数据之间的时间关联程度的数据。
根据本发明的第十一方案，提供一种包括指令的计算机程序，所述指令在被执行时使得设备进行以下方法，包括：
接收包括第一输入数据和第二输入数据的输入数据，所述第一输入数据基于关联元素集合，所述第二输入数据基于处于具有多个质量水平的分层结构中较低质量水平的信号的第一时间样本的表达；
使用所述关联元素集合获得残差元素集合，所述残差元素集合能够用于使用处于所述分层结构中较高质量水平的信号的第一时间样本的第二表达重建所述较高质量水平的信号的第一时间样本的第一表达，所述第二表达基于所述较低质量水平的表达；以及
使用所述第二表达和所述残差元素集合重建所述较高质量水平的第一表达，
其中，所述关联元素集合至少指示所述残差元素集合中的多个残差元素之间的空间关联程度，以及
其中，所述输入数据包括用于识别所述关联元素集合是否指示所述空间关联程度或者用于识别所述关联元素集合是否还指示基于所述第一表达的第一参考数据与基于所述信号的第二时间样本的表达的第二参考数据之间的时间关联程度的数据。
根据本发明的第十二方案，提供一种包括计算机程序的计算机可读介质，所述计算机程序包括指令，所述指令在被执行时使得设备进行以下方法，包括：
接收包括第一输入数据和第二输入数据的输入数据，所述第一输入数据基于关联元素集合，所述第二输入数据基于处于具有多个质量水平的分层结构中较低质量水平的信号的第一时间样本的表达；
使用所述关联元素集合获得残差元素集合，所述残差元素集合能够用于使用处于所述分层结构中较高质量水平的信号的第一时间样本的第二表达重建所述较高质量水平的信号的第一时间样本的第一表达，所述第二表达基于所述较低质量水平的表达；以及
使用所述第二表达和所述残差元素集合重建所述较高质量水平的第一表达，
其中，所述关联元素集合至少指示所述残差元素集合中的多个残差元素之间的空间关联程度，以及
其中，所述输入数据包括用于识别所述关联元素集合是否指示所述空间关联程度或者用于识别所述关联元素集合是否还指示基于所述第一表达的第一参考数据与基于所述信号的第二时间样本的表达的第二参考数据之间的时间关联程度的数据。
根据仅作为示例给出的以下参考附图的描述，其他特征和优点将变得显而易见。
附图说明
图1示出根据本发明实施例的信号处理系统的示例的示意性方框图；
图2A和图2B示出根据本发明实施例的信号处理系统的另一示例的示意性方框图；
图3A和图3B示出根据本发明实施例的信号处理系统的另一示例的示意性方框图；
图4A和图4B示出根据本发明实施例的信号处理系统的另一示例的示意性方框图；
图5A和图5B示出根据本发明实施例的信号处理系统的另一示例的示意性方框图；
图6示出根据本发明实施例的方法的示例的流程图；
图7示出根据本发明实施例的方法的另一示例的流程图；
图8示出根据本发明实施例的设备的示例的示意性方框图。
具体实施方式
参考图1，示出了信号处理系统100的示例。信号处理系统100用于处理信号。信号类型的示例包括但不限于视频信号、图像信号、音频信号、体积信号(例如在医学、科学或全息成像中使用的体积信号)、或其他多维信号。
信号处理系统100包括第一设备102和第二设备104。第一设备102和第二设备104可以具有客户端-服务器关系，第一设备102执行服务器装置的功能，第二设备104执行客户端装置的功能。信号处理系统100可包括至少一个附加设备(未示出)。第一设备102和/或第二设备104可包括一个或多个组件。组件可以用硬件和/或软件实现。一个或多个组件可以在信号处理系统100中共置，也可以相互远离。设备类型的示例包括但不限于计算机化装置、路由器、工作站、手持式或膝上型计算机、平板电脑、移动装置、游戏机、智能电视、机顶盒、增强和/或虚拟现实耳机等。
第一设备102经由数据通信网络106可通信地耦接到第二设备104。数据通信网络106的示例包括但不限于互联网、局域网(LAN)和广域网(WAN)。第一和/或第二设备102、104可以具有到数据通信网络106的有线和/或无线连接。
第一设备102包括编码器装置108。编码器装置108被配置为对信号中包括的数据(下面称为“信号数据”)进行编码。除了编码信号数据之外，编码器装置108还可以执行一个或多个其他功能。编码器装置108可通过各种不同的方式实现。例如，编码器装置108可以具体实施为硬件和/或软件。
第二设备104包括解码器装置110。解码器装置110被配置为对信号数据进行解码。除了对信号数据进行解码之外，解码器装置110还可以执行一个或多个其他功能。解码器装置110可通过各种不同的方式实现。例如，解码器装置110可以具体实施为硬件和/或软件。
编码器装置108对信号数据进行编码，并经由数据通信网络106将编码信号数据传输到解码器装置110。解码器装置110对所接收的编码信号数据进行解码并生成解码信号数据。解码器装置110可以输出解码信号数据或者由解码信号数据导出的数据。例如，解码器装置110可以输出这样的数据用于在与第二设备104相关的一个或多个显示装置上显示。
在本文所述的一些示例中，编码器装置108向解码器装置110传输给定质量水平的信号的表达以及解码器装置110可用于重建处于一个或多个较高质量水平的信号的表达的信息。给定质量水平的信号的表达可以视为给定质量水平的信号中包括的数据的表示、版本或描画。
与一些已知技术相比，本文所述示例允许较少量的信息用于这种重建。这可以减少经由数据通信网络106传输的数据量。在信号数据对应于高质量视频数据、在已知系统中传输的信息量可能特别大的情况下节省可能特别有意义。
参考图2A和图2B，示意性示出信号处理系统200的示例。信号处理系统200包括第一设备202和第二设备204，第一设备202包括编码器装置，第二设备204包括解码器装置。在第一设备202和第二设备204的每一个中，在两个逻辑层次上示出项目。这两个层次由虚线分隔。第一最高层次的项目涉及较高质量水平的数据。第二最低层次的项目涉及较低质量水平的数据。较高质量水平和较低质量水平涉及具有多个质量水平的分层结构。在一些示例中，分层结构包括多于两个的质量水平。在这样的示例中，第一设备202和第二设备204可包括多于两个的不同水平。在图2A和图2B所示水平之上和/或之下可以有一个或多个其他水平。
首先参考图2A，第一设备202获得较高质量水平的信号206的第一时间样本t1的表达。信号的给定时间样本的表达是在给定时间点信号中包括的数据的表示。较高质量水平的信号206的第一时间样本t1的表达在下面被称为“输入数据”，在该示例中，它是作为输入提供给第一设备202中的编码器装置的数据。第一设备202可以接收输入数据206。例如，第一设备202可以从至少一个其他设备接收输入数据206。
当信号是视频信号时，信号的第一时间样本可以是来自构成视频信号的图像序列或帧序列的全部或部分图像或帧。可将输入数据206布置为信号元素Iij的阵列，其包括一个或多个行和列的信号元素，其中i表示与信号元素相关的行号，j表示与信号元素相关的列号。在该示例中，将输入数据206布置为包括第一行信号元素和第二行信号元素的阵列。第一行包括信号元素I11和I12，第二行包括信号元素I21和I22。在该示例中，输入数据206涉及图像的一部分。图像的一部分可以称为瓦片。整个图像可包括很多这样的瓦片，并且因此可包括四个以上的信号元素。但是，为了方便和简洁，在该示例中输入数据包括仅四个信号元素。
第一设备202基于输入数据206导出数据212。在该示例中，基于输入数据206的数据212是较低质量的信号的第一时间样本t1的初级表示212。在该示例中，通过对输入数据206进行下采样操作来导出数据212，并因此在下面将其称为“下采样数据”。在其他示例中，通过对输入数据206进行除下采样操作之外的操作来导出数据212。
在该示例中，处理下采样数据212以生成较低质量水平的经过处理的数据213。在其他示例中，不在较低质量水平下处理下采样数据212。这样，第一设备202可以生成较低质量水平的数据，其中较低质量水平的数据包括下采样数据212或经过处理的数据213。
在一些示例中，生成经处理的数据213涉及对下采样数据212进行编码。对下采样数据212进行编码产生较低质量水平的编码信号。第一设备202可以输出编码信号，例如用于传输到第二设备204。编码信号可以由与第一设备202分开的编码装置产生，而不是在第一设备202中产生。编码信号可以是H.264编码信号。H.264编码可以涉及将图像序列布置成图片组(GOP)。GOP中的每个图像代表信号的不同时间样本。可以使用与来自相同GOP的较早和/或后来时间样本相关的一个或多个参考图像，在称为“帧间预测”的处理中对GOP中的给定图像进行编码。
生成较低质量水平的经过处理的数据213还可以涉及以较低质量水平的编码信号解码。可以进行解码操作以模拟在第二设备204处的解码操作，如下面将变得显而易见的。将编码信号解码产生较低质量水平的解码信号。在一些示例中，第一设备202将较低质量水平的编码信号解码，以产生较低质量水平的解码信号。在其他示例中，第一设备202从例如与第一设备202分开的编码和/或解码装置处接收较低质量水平的解码信号。可以使用H.264解码器将编码信号解码。H.264解码产生较低质量水平的图像序列(即，信号的时间样本序列)。在完成H.264解码处理之后，各个图像中没有一个指示序列中的不同图像之间的时间关联。因此，在H.264解码期间去除对H.264编码所采用的连续图像之间的时间关联的任何利用，因为连续图像相互分离。因此，随后的处理(第一设备202处理视频信号数据)在逐个图像的基础上进行。
在示例中，生成较低质量水平的经过处理的数据213还涉及基于下采样数据212与第一设备202所获得的解码信号之间的比较来获得校正数据，例如基于下采样数据212与解码信号之间的差异。校正数据可用于校正在对下采样数据212进行编码和解码时引入的误差。在一些示例中，第一设备202输出校正数据(例如用于传输到第二设备204)以及编码信号。这允许接收者校正对下采样数据212进行编码和解码时引入的误差。
在一些示例中，生成较低质量水平的经过处理的数据213还涉及使用校正数据来校正解码信号。在其他示例中，不是使用校正数据来校正解码信号，而是第一设备202使用下采样数据212。
在一些示例中，生成经过处理的数据213涉及进行除了上述编码、解码、获得和校正动作之外的一个或多个操作。
第一设备202基于较低质量水平的数据获得数据214。如上所述，较低质量水平的数据可包括经过处理的数据213，或者下采样数据212，其中下采样数据212不在较低水平下被处理。在该示例中，数据214是较高质量水平的信号的第一时间样本的第二表达，而较高质量水平的信号的第一时间样本的第一表达是输入数据206。较高质量水平的第二表达可以视为较高质量水平的信号的第一时间样本的初级或预测表达。在该示例中，第一设备202通过对较低质量水平的数据进行上采样操作来导出数据214。数据214在下面被称为“上采样数据”。但是在其他示例中，可以使用一个或多个其他操作来导出数据214，例如其中并非通过对输入数据206进行下采样来导出数据212。
类似于输入数据206，可将上采样数据214布置为信号元素Uij的阵列，其包括一个或多个行和列的信号元素，其中i表示与信号元素相关的行号，j表示与信号元素相关的列号。
输入数据206和上采样数据214用于获得残差数据216。残差数据216与信号的第一时间样本t1相关。残差数据216可以是残差元素集合的形式。在该示例中，将残差元素集合216布置为包括第一行残差元素和第二行残差元素的残差元素阵列。第一行包括残差元素r11和r12，第二行包括残差元素r21和r22。残差元素集合216中的残差元素与输入数据206中的各个信号元素相关。例如，残差数据216中的残差元素r12与输入数据206中的相应信号元素I12相关。
在该示例中，通过从输入数据206中的信号元素的值中减去上采样数据214中的对应信号元素的值来获得给定残差元素。因此，rij＝Iij―Uij，其中i指示a与元素相关的行号，j表示与元素相关的列号。因为Iij＝Uij+rij，所以残差元素集合216可用于与上采样数据214结合以重建输入数据206。残差数据216也可称为“重建数据”或“增强数据”。
使用残差元素集合216生成空间关联元素集合218。这里用术语“空间关联元素”来指示这样的元素，其指示残差元素集合216中多个残差元素之间的空间关联的程度或度量。空间关联元素集合218中的关联元素也可以称为“系数”、“空间系数”或“经过变换的元素”。空间关联元素集合218与信号的第一时间样本t1相关。在该示例中，将空间关联元素集合218布置为包括第一行信号元素和第二行信号元素的数据元素阵列。在该示例中，将空间关联元素集合218布置为关联元素A、H、V、D的2×2阵列。可将空间关联元素集合218中的元素按照不同于2×2阵列的形式布置，例如4x1或1x4阵列。
在该示例中，通过将残差元素集合216与变换矩阵(或“核”)K预乘来导出空间关联元素集合218。在该示例中，变换矩阵是4×4矩阵：
在该示例中，基于以下等式导出空间关联元素集合218，其中空间关联元素集合218和残差元素集合216均被示为4×1阵列：
这样，且/>
A表示残差元素集合216中残差元素的平均值。H表示残差元素集合216中残差元素之间的水平关联和/或“倾斜”。V表示残差元素集合216中残差元素之间的垂直关联和/或“倾斜”。D表示残差元素216中残差元素之间的对角关联和/或“倾斜”。这里所述的关联元素因此利用并且指示相邻残差元素之间的方向和/或空间关联。
空间关联元素集合218可包括delta平均值ΔA而不是平均值A。在一些示例中，将ΔA定义为输入数据206中的信号元素的平均值与较低质量水平的数据(例如下采样数据212或经过处理的数据213)中的对应信号元素的平均值之间的差异。在一些示例中，基于以下导出ΔA：残差元素集合216中的值的平均值、较低质量水平的数据中信号元素的平均值、以及上采样数据214中信号元素的平均值。ΔA可以小于A和/或相比A更可能是零。这可能有助于空间关联元素集合218的有效编码，以及与使用平均值A相比在第一设备202与第二设备204之间更少的数据传输量。可将delta平均值ΔA提供给第二设备202，使其能够计算平均值A。
替代第一设备202将残差元素集合216传输到第二设备204，在一些示例中，第一设备202传输空间关联元素集合218。因为空间关联元素集合218利用多个残差元素之间的空间冗余，所以空间关联元素集合218可能小于残差元素集合216，例如当在较高的残差水平下残差元素集合216中的残差元素之间存在较强的空间关联程度时。空间关联元素集合218可包括在某些情况下具有零值的空间关联元素，其对编码可能特别有效。因此，相比于残差元素集合216，例如当残差元素集合216中的残差元素之间存在较强的空间关联程度时，可以使用较少的数据来传输空间关联元素集合218。例如在残差水平存在较弱的空间关联量时，传输空间关联元素集合218所需的数据量可能大于传输残差元素集合216所需的数据量，或者与其相同。
在该示例中，第一设备202传输基于下采样数据212的输出数据，并且还将空间关联元素集合218传输到第二设备204。
下面参考图2B，第二设备204接收基于下采样数据212的数据220，并且还接收空间关联元素集合218。基于下采样数据212的数据220可以是下采样数据212本身、经过处理的数据213、或者由下采样数据212或经过处理的数据213导出的数据。
在一些示例中，所接收的数据220包括经过处理的数据213，其可包括较低质量水平的编码信号和/或校正数据。在一些示例中，例如，在第一设备202已经处理了下采样数据212以生成经过处理的数据213的情况下，第二设备204处理所接收的数据220以生成经过处理的数据222。第二设备204的这种处理可包括将编码信号解码，以产生较低质量水平的解码信号。在一些示例中，第二设备204的处理包括使用所获得的校正数据来校正解码信号。在一些示例中，通过与第二设备204分开的解码装置将较低质量水平的编码信号解码。可以使用H.264解码器将较低质量水平的编码信号解码。
在其他示例中，所接收的数据220包括下采样数据212而不包括经过处理的数据213。在一些这样的示例中，第二设备204不处理所接收的数据220以生成经经过处理的数据222。
第二设备204使用较低质量水平的数据来导出上采样数据214。如上所述，较低质量水平的数据可包括经过处理的数据222或所接收的数据220，其中第二设备204不处理较低质量水平的所接收的数据220。上采样数据214是较高质量水平的信号的第一时间样本t1的初级表达。可通过对较低质量水平的数据进行上采样操作来导出上采样数据214。
第二设备204至少部分地基于从第一设备202接收的空间关联元素集合218来获得残差元素集合216。残差元素集合216可用于与上采样数据214一起重建输入数据206。残差元素集合216指示输入数据206与上采样数据214之间的比较结果。
第二设备204可以检索第一设备202使用的变换矩阵的逆矩阵，以生成空间关联元素集合218，并基于空间关联元素集合218与变换矩阵的逆矩阵的预乘来导出残差元素集合216。
空间关联元素集合218利用残差元素之间的空间关联。但是，因为残差元素集合216并且因此空间关联元素集合218仅指示信号的单个时间样本，所以空间关联元素集合218没有利用时间关联。例如，当信号是视频信号的情况下，在逐个图像的基础上获得残差元素集合216，并且不利用视频信号的分量图像之间的时间关联。
参考图3A和图3B，示意性示出信号处理系统300的示例。图3A和图3B所示的一些项目类似于图2A和图2B所示的项目。因此，将对应的附图标记数增加100用于类似的项目。
首先参考图3A，第一设备302获得较高质量水平的输入数据306。输入数据306包括较高质量水平的信号的第一时间样本t1的第一表达。第一设备302使用输入数据306导出较低质量水平的下采样数据312，例如通过对输入数据306进行下采样操作。其中在较低质量水平下处理下采样数据312，这种处理生成较低质量水平的经过处理的数据313。但是，如上所述，在一些示例中，对下采样数据312不进行处理。较低质量水平的数据用于导出较高质量水平的上采样数据314，例如通过对较低质量水平的数据进行上采样操作。上采样数据314包括较高质量水平的信号的第一时间样本的第二表达。第一设备302使用上采样数据314获得可用于重建输入数据306的残差元素集合316。残差元素集合316与信号的第一时间样本t1相关。通过将输入数据306与上采样数据314进行比较来获得残差元素集合316。
在该示例中，第一设备302生成时空关联元素集合326。这里使用术语“时空关联元素”来表示这样的关联元素，它除了指示残差元素之间的空间关联程度之外，还指示时间关联程度。在该示例中，时空关联元素集合326与信号的第一时间样本t1和信号的第二时间样本t0两者相关。这与上述空间关联元素集合218中的空间关联元素形成对比，空间关联元素218仅与信号的第一时间样本t1相关。在本文所述示例中，第二时间样本t0是相对于第一时间样本的较早时间样本。但是在其他示例中，第二时间样本t0是相对于第一时间样本t1的后来时间样本。在一些示例中，在输入数据306包括时间样本序列的情况下，较早时间样本表示输入数据中在第一时间样本t1之前的时间样本。在第一时间样本t1和较早时间样本按呈现顺序布置的情况下，较早时间样本在第一时间样本t1之前。
第二时间样本t0可以是紧接在第一时间样本t1之前的时间样本。在一些示例中，第二时间样本t0是相对于第一时间样本t1的先前时间样本，而不是紧接在第一时间样本t1之前的时间样本。
在该示例中，时空关联元素集合326指示残差元素集合316中的多个残差元素之间的空间关联程度。时空关联元素集合326还指示基于输入数据306的第一参考数据与基于例如较高质量水平的信号的第二时间样本t0的表达的第二参考数据之间的时间关联程度。因此，第一参考数据与信号的第一时间样本t1相关，而第二参考数据与信号的第二时间样本t0相关。第一参考数据和第二参考数据用作用于确定与信号的第一时间样本t1和信号的第二时间样本t2相关的时间关联程度的参考或比较因子。第一参考数据和/或第二参考数据可以处于较高质量水平。
在一些示例中，第一参考数据和第二参考数据分别包括第一空间关联元素集合和第二空间关联元素集合，第一空间关联元素集合与信号的第一时间样本t1相关，第二空间关联元素集合与信号的第二时间样本t0相关。
在其他示例中，第一参考数据和第二参考数据分别包括信号的第一表达和第二表达，第一表达与信号的第一时间样本t1相关，第二表达与信号的第二时间样本t0相关。
时空关联元素集合326在下面称为“Δt关联元素”，因为除了利用残差元素之间的空间关联之外，还通过使用来自不同时间样本的数据来利用时间关联，以生成Δt关联元素326。
在该示例中，作为第一设备302将空间关联元素集合218传输到第二设备304的替代，第一设备302传输Δt关联元素集合326。因为Δt关联元素集合326利用较高残差水平的时间冗余，所以例如在存在强时间关联的情况下，Δt关联元素集合326可能小于空间关联元素集合218，并且Δt关联元素集合326在一些情况下可包括更多具有零值的关联元素。因此，相比于空间关联元素集合218，可以使用更少的数据来传输Δt关联元素集合326。
下面参考图3B，第二设备304基于下采样数据312接收数据320，并接收Δt关联元素集合326。
在第一设备302已经处理了下采样数据312以生成经过处理的数据313的情况下，第二设备304处理所接收的数据320以生成经过处理的数据322。处理可包括将编码信号解码以产生较低质量水平的解码信号。如上所述，在一些示例中，第二设备304不对所接收的数据320进行这样的处理。将较低质量水平的数据、例如所接收的数据320或经过处理的数据322用于导出上采样数据314。可通过对较低质量水平的数据进行上采样操作来导出上采样数据314。
第二设备304至少部分地基于Δt关联元素集合326来获得残差元素集合316。残差元素集合316可用于使用上采样数据314来重建输入数据306。
参考图4A和图4B，示意性示出信号处理系统400的示例。图4A和图4B所示的一些项目类似于图2A和图2B所示的项目。因此，将对应的附图标记数增加200用于类似的项目。
首先参考图4A，第一设备402获得输入数据406。输入数据406包括较高质量水平的信号的第一时间样本t1的第一表达。第一设备402使用输入数据406来导出下采样数据412。下采样数据412包括较低质量水平的信号的第一时间样本t1的表达。在一些示例中，处理下采样数据412以生成经过处理的数据413。在其他示例中，不对下采样数据412进行处理。较低质量水平的数据(例如下采样数据412或经过处理的数据413)用于导出上采样数据414。上采样数据414包括较高质量水平的信号的第一时间样本t1的第二表达。第一设备402通过将输入数据406与上采样数据414进行比较来获得残差元素集合416。
在该示例中，第一设备402使用残差元素集合416生成第一空间关联元素集合418。第一空间关联元素集合418与信号的第一时间样本t1相关。第一空间关联元素集合418中的至少一个关联元素指示残差元素集合416中多个残差元素之间的空间关联程度。第一空间关联元素集合418中的至少一个关联元素可以例如指示残差元素集合416中相邻残差元素之间的水平、垂直和/或对角相似性和/或“倾斜”。在更高的残差水平下，第一空间关联元素集合418利用空间关联而不是时间关联。
在该示例中，第一设备402获得第二空间关联元素集合424。在该示例中，第二空间关联元素集合424与信号的第二较早时间样本t0相关。例如，第一设备402可以从本地缓冲器获得第二空间关联元素集合424。第二空间关联元素集合424是基于信号的第二较早时间样本t0的表达的第二参考数据的示例，并且与其相关的Δt关联元素可以指示时间关联。第二空间关联元素集合424中的至少一个关联元素指示另外的残差元素集合中多个残差元素之间的空间关联程度，所述另外的残差元素集合与信号的第二较早时间样本t0相关。另外的残差元素集合可用于使用基于较低质量水平的信号的第二较早时间样本t0的表达的数据来重建较高质量水平的信号的第二较早时间样本t0的表达。
在该示例中，第一设备402基于第一空间关联元素集合418并基于第二空间关联元素集合424来生成Δt关联元素集合426。例如可以基于第一空间关联元素集合418与第二空间关联元素集合424之间的比较结果(例如差异)来生成Δt关联元素集合426。因此，Δt关联元素集合426与信号的第一时间样本t1相关，并且与信号的第二较早时间样本t0相关。Δt关联元素集合426指示残差元素集合416中的多个残差元素之间的空间关联程度，还指示第一参考数据(以第一空间关联元素集合418的形式)与第二参考数据(以第二空间关联元素集合424的形式)之间的时间关联程度。
在该示例中，第一设备402使用Δt关联元素集合426来生成第一输出数据，并使用下采样数据412来生成第二输出数据。在一些示例中，第二输出数据包括下采样数据412。在第一设备402处理下采样数据412以生成编码信号的情况下，第二输出数据包括编码信号。可以输出第一和第二输出数据，例如用于传输到第二设备404。
参考图4B，第二设备404接收基于下采样数据412的数据420并接收Δt关联元素集合426。
在第一设备402已经处理了下采样数据412以生成经过处理的数据413的情况下，由第二设备404处理所接收的数据420以生成较低质量水平的经过处理的数据422。在一些示例中，不在较低质量水平下对于所接收的数据420进行处理。较低质量水平的数据(例如所接收的数据420或经过处理的数据422)用于导出上采样数据414。
在该示例中，第二设备404获得第二空间关联元素集合424。可以从第二设备404中的缓冲器检索第二空间关联元素集合424。例如，第二设备404先前已经从第一设备402接收到第二空间关联元素集合424，也可以根据从第一设备402接收到的数据导出第二空间关联元素集合424。
第二设备404基于所接收的Δt关联元素集合426和所获得的第二空间关联元素集合424来获得第一空间关联元素集合418。可通过将第二空间关联元素集合424与Δt关联元素集合426组合来导出第一空间关联元素集合418。
第二设备404使用第一空间关联元素集合418导出残差元素集合416。第二设备404使用残差元素集合416和上采样数据414来重建输入数据406。
参考图5A和图5B，示意性示出信号处理系统500的示例。图5A和图5B所示的一些项目类似于图2A和图2B所示的项目。因此，将对应的附图标记数增加300用于类似的项目。
首先参考图5A，第一设备502获得输入数据506。输入数据506包括较高质量水平的信号的第一时间样本t1的第一表达。
在该示例中，第一设备502获得较高质量水平的信号的第二较早时间样本t0的表达508。例如，第一设备502可以从本地缓冲器检索较高质量水平的信号的第二较早时间样本t0的表达508。在该示例中，信号的第二较早时间样本t0的表达508是较高质量水平的信号的第二较早时间样本t0的重建表达，在下面将其称为“重建数据”。例如，可通过以与上述类似的方式对信号的第二较早时间样本t0的表达进行下采样和上采样来获得重建数据。重建数据508是基于信号的第二较早时间样本t0的表达的第二参考数据的另一示例。
第一设备502基于第一参考数据(以输入数据506的形式)和第二参考数据(以重建数据508的形式)导出较高质量水平的信号的差分表达510。可以基于输入数据506与重建数据508之间的比较结果(例如差异)来导出差分表达510。差分表达510在下面被称为“Δt输入数据”并与信号的第一时间样本t1以及信号的第二较早时间样本t0两者相关。Δt输入数据510指示输入数据506与重建数据508之间的时间关联程度。
在该示例中，第一设备502基于Δt输入数据510导出较低质量水平的信号的差分表达512。较低质量水平的差分表达512在本文中称为“Δt下采样数据”。在一些示例中，处理Δt下采样数据512以生成Δt经过处理的数据513。在其他示例中，不在较低质量水平下对Δt下采样数据512进行处理。较低质量水平的数据(例如Δt下采样数据512或Δt经过处理的数据513)用于导出较高质量水平的信号的初级差分表达514。初级差分表达514在下面称为“Δt上采样数据514”。
在该示例中，第一设备502通过将Δt输入数据510与Δt上采样数据514进行比较来获得Δt残差元素集合516。Δt残差元素集合516与信号的第一时间样本t1以及信号的第二较早时间样本t0两者相关。
在该示例中，第一设备502使用Δt残差元素集合516生成Δt关联元素集合526。Δt关联元素集合526与信号的第一时间样本t1以及信号的第二较早时间样本t0相关。Δt关联元素集合526指示Δt残差元素集合516中的多个Δt残差元素之间的空间关联程度以及第一参考数据(以输入数据506的形式)与第二参考数据(以重建数据508的形式)之间的时间关联程度。
在该示例中，第一设备502使用Δt关联元素集合526生成第一输出数据，并使用Δt下采样数据512生成第二输出数据。可以输出第一输出数据和第二输出数据，例如用于传输到第二设备504。
参考图5B，第二设备504接收基于Δt下采样数据512的Δt数据520并接收Δt关联元素集合526。
在第一设备502已经处理较低质量水平的Δt下采样数据512以生成Δt经过处理的数据513的情况下，第二设备504处理较低质量水平的所接收的Δt数据520以生成Δt处理的数据522。较低质量水平的数据(例如所接收的Δt数据520或Δt经过处理的数据522)用于导出Δt上采样数据514。
第二设备504至少部分地基于Δt关联元素集合526来获得Δt残差元素集合516。可通过将Δt关联元素集合526与逆变换矩阵预乘来导出Δt残差元素集合516。
在该示例中，第二设备502基于Δt残差元素集合516和Δt上采样数据514来重建Δt输入数据510。可通过将Δt残差元素集合516与Δt上采样数据514组合来导出Δt输入数据510
在该示例中，第二设备504获得重建数据508。例如，可以从第二设备504处的缓冲器检索重建数据508。第二设备504先前可以已经导出了重建数据508。
第二设备504基于Δt输入数据510和重建数据508重建输入数据506。输入数据506包括较高质量水平的信号的第一时间样本t1的表达。
参考图6，示出处理数据的方法600的示例。方法600可以由包括编码器装置的设备来进行，例如上述第一设备102、202、302、402、502的任何一个。
在步骤610，导出与第一时间样本以及Δt关联元素集合相关的空间关联元素集合。可将空间关联元素集合和Δt关联元素集合两者都导出，从而可以对它们进行分析以确定空间关联元素集合或Δt关联元素集合的使用是否是优选的。这可以基于用来传输空间关联元素集合或Δt关联元素集合的数据量。
在步骤620，导出的空间关联元素集合和导出的Δt关联元素集合用于进行两者之间的比较。该比较例如可包括关于空间关联元素集合和Δt关联元素集合进行的比率-失真分析。在这种比率-失真分析中，“比率”可以指示每个要存储和/或传输的数据符号下计算的比特数，“失真”可以指示估计的误差，例如由接收者重建数据所致的均方误差。可以对空间关联元素集合与导出的Δt关联元素集合进行比较，以便在不超过预定失真量的同时减少要传输的比特数。在该示例中，比较包括确定Δt关联元素集合的绝对值之和是否小于空间关联元素集合的绝对值之和。
在一些示例中，比较包括生成第一重建数据和第二重建数据。使用Δt关联元素集合生成第一重建数据。使用空间关联元素集合生成第二重建数据。可将第一重建数据和第二重建数据分别与输入数据进行比较。例如，可以在第一重建数据与输入数据之间确定绝对差的第一和，并且可以在第二重建数据与输入数据之间确定绝对差的第二和。可以确定绝对差的第一和以及绝对差的第二和中的最小值。在这样的示例中，该比较导致确定Δt关联元素集合和空间关联元素集合中的哪一个产生更好的重建，也就是，作为输入数据的更接近表示的重建，这是由于它相比另一个具有更小的绝对差的和。
可以在比较之前对空间关联元素集合和所导出的Δt关联元素集合进行量化。在比较之前进行量化可以允许量化误差在比较期间成为已知和/或纳入考虑。
在步骤630，如果在步骤620确定Δt关联元素集合的绝对值之和小于空间关联元素集合的绝对值之和，则选择Δt关联元素集合包括在第一输出数据中。在这样的示例中，第一输出数据包括Δt关联元素集合。可将这种情况称为“帧内和帧间”代码化，因为第一输出数据指示空间关联(“帧内”)和时间关联(“帧间”)两者。
在步骤640，如果在步骤620确定Δt关联元素集合的绝对值之和不小于空间关联元素集合的绝对值之和，则选择空间关联元素集合包括在输出数据中。在这样的示例中，第一输出数据包括空间关联元素集合。可将这种情况称为“仅帧内”代码化，因为第一输出数据表示空间关联(“帧内”)而非时间关联(“帧间”)。
在一些示例中，可将设备配置为使得，如果在步骤620确定Δt关联元素的绝对值之和等于或可忽略地不同于空间关联元素的绝对值之和，选择空间关联元素集合包括在第一输出数据中。在其他示例中，可将设备配置为使得，如果在步骤620确定Δt关联元素的绝对值之和等于或可忽略地不同于空间关联元素的绝对值之和，选择Δt关联元素集合包括在第一输出数据中。
因此，导出的Δt关联元素集合用于生成第一输出数据。在一些示例中，使用导出的Δt关联元素集合来生成第一输出数据包括：选择导出的Δt关联元素集合或导出的关联元素集合包括在第一输出数据中。因此，即使导出的Δt关联元素集合本身不包括在第一输出数据中，也可以使用导出的Δt关联元素集合来生成第一输出数据。
可以输出第一输出数据用于传输到至少一个其他设备。第一输出数据可包括值序列，例如比特序列。在一些示例中，第一输出数据包括Δt关联元素集合和空间关联元素集合中被选择包括在第一输出数据中的一个的量化版本。在一些示例中，通过对Δt关联元素集合中和空间关联元素集合中被选择包括在第一输出数据中的一个进行编码操作来生成第一输出数据。
在一些示例中，设备所输出的数据包括指示选择结果的数据。在一些示例中，指示选择结果的数据在第一输出数据中。在一些示例中，指示选择结果的数据是指示符标记，以指示是选择了空间关联元素集合还是选择了Δt关联元素集合用于输出数据。在一些示例中，指示符标记是比特序列中的单个比特。这种标志的存在使得至少一个其他设备(例如解码器装置)能够确定其接收的数据如何被导出和/或如何被使用。
在一些示例中，指示符标记包括在与输出数据中的给定数据元素相关的比特序列中。给定数据元素相比于其他数据元素可以经历更多量化，以便容纳指示符标记而不增加比特序列的总体大小。给定数据元素可以与来自空间关联元素集合的H关联元素或来自Δt关联元素集合的ΔH关联元素相关。换言之，给定数据元素可以指示多个残差元素之间的水平关联或“倾斜”程度。可以基于其相关的比特序列具有至少一个非零值的可能性来选择给定数据元素，以包含指示符标记。例如，相比于其他空间关联元素，H空间关联元素在其相关的比特序列中更有可能具有非零值。相比于具有至少一个非零值的可能性较低的比特序列，具有至少一个非零值的可能性较高的比特序列可能受包括指示符标记的影响更小。可以基于给定数据元素的附加量化的确定效果来选择给定数据元素,以包含指示符标记。例如，相比于其他空间关联元素的附加量化，H空间关联元素的附加量化在视觉质量方面可能不太有害。
可以针对信号的整个时间样本或针对信号的一部分时间样本进行方法600。可以针对具有不同结果的信号的相同时间样本的不同部分进行方法600。例如，信号的第一时间样本的第一部分可以具有值为r1,11(t1)＝4，r1,12(t1)＝-2，r1,21(t1)＝12和r1,22(t1)＝4的残差元素。参考以上等式1，可计根据如下计算信号的第一时间样本的第一部分的空间关联元素集合[A1(t1),H1(t1),V1(t1),D1(t1)]：A1(t1)＝(4-2+12+4)/4＝4.5、H1(t1)＝(4-(-2)+12-4)/4＝3.5、V1(t1)＝(4-2-12-4)/4＝-3.5；D1(t1)＝(4-(-2)-12+4)/4＝-0.5。信号的第一时间样本的第一部分的空间关联元素集合的绝对值之和为4.5+3.5+3.5+0.5＝12。
与较早时间样本相关的信号的第一部分的第二空间关联元素集合可以具有值[A1(t0),H1(t0),V1(t0),D1(t0)]＝[3.5,3.5,-1,0]。因此，信号的第一部分的导出的Δt关联元素集合可以具有值[ΔA1(t1-t0),ΔH1(t1-t0),ΔV1(t1-t0),ΔD1(t1-t0)]＝[4.5-3.5,3.5-3.5,-3.5-(-1),-0.5-0]＝[1,0,-2.5,-0.5]。信号的第一部分的Δt关联元素集合的绝对值之和为1+0+2.5+0.5＝4。因此，对于信号的第一部分，Δt关联元素集合的绝对值之和小于空间关联元素集合的绝对值之和。因此，可以选择Δt关联元素集合包括在用于信号的第一部分的第一输出数据中，而不是使用空间关联元素集合。
例如，信号的第一时间样本的第二部分可以具有值为r2,11(t1)＝2,r2,12(t1)＝6,r2,21(t1)＝-1和r2,22(t1)＝0的残差元素。因此可根据如下计算信号的给定时间样本的第二部分的空间关联元素集合[A2(t1),H2(t1),V2(t1),D2(t1)]：A2(t1)＝(2+6-1+0)/4＝1.75、H2(t1)＝(2-6+(-1)-0)/4＝-1.25、V2(t1)＝(2+6-(-1)-0)/4＝2.25、D2(t1)＝(2-6-(-1)+0)/4＝-0.75。信号的第一时间样本的第二部分的空间关联元素集合的绝对值之和为1.75+1.25+2.25+0.75＝6。
与较早时间样本相关的信号的第二部分的第二空间关联元素集合可具有值[A2(t0),H2(t0),V2(t0),D2(t0)]＝[-2.5,2,0,1.5]。因此，信号的第二部分的导出的Δt关联元素集合可以具有值[ΔA2(t1-t0),ΔH2(t1-t0),ΔV2(t1-t0),ΔD2(t1-t0)]＝[1.75-(-2.5),-1.25-2,2.25-0,-0.75-1.5]＝[4.25,-3.25,2.25,-2.25]。信号的第二部分的Δt关联元素集合的绝对值之和为4.25+3.25+2.25+2.25＝12.因此，对于信号的第二部分，Δt关联元素集合的绝对值之和不小于空间关联元素集合的绝对值之和。因此，可以选择空间关联元素集合包括在用于信号的第二部分的第一输出数据中，而不是使用Δt关联元素集合。
指示符标记可以用于信号的时间样本的每个部分，以指示是将Δt关联元素集合还是将空间关联元素集合用于该信号部分。
对于信号的给定部分或区域、在输出空间关联元素集合或Δt关联元素集合之间进行选择提供了在残差水平上利用空间和时间冗余的灵活机制。对于在残差水平上表现出较强时间关联程度的信号部分，Δt关联元素可能小于空间关联元素并且可包括更多零值。因此，可以使用更少的数据来传输Δt关联元素集合。另一方面，对于在残差水平上表现出较弱时间关联程度的信号部分，空间关联元素可以小于Δt关联元素并且可包括更多零值。因此，可以使用更少的数据来传输空间关联元素集合。但是，与空间关联元素相比，Δt关联元素可能对于例如通过解码器的处理在计算上更复杂。可以针对数据业务量的减少来权衡复杂性的增加，以便智能地确定对于信号的给定部分是使用空间关联元素或还是使用Δt关联元素。因此，提供了一种灵活和适应性的数据处理技术。例如，可以基于在残差水平上的空间和时间关联的强度来调整数据处理技术。
参考图7，示出处理数据的方法700的示例。方法700可以由包括编码器装置的设备来进行，例如上述第一设备102、202、302、402、502的任何一个。
在步骤710，从缓冲器检索第一缓冲数据。第一缓冲数据可包括基于信号的较早时间样本t0的表达的数据。基于信号的较早时间样本t0的表达的数据例如可以是重建数据或与信号的较早时间样本t0相关的空间关联元素集合。在一些示例中，基于第一缓冲数据获得第二参考数据，与其相关的Δt关联元素集合指示时间关联。第一缓冲数据可包括和/或可用于导出例如与信号的较早时间样本t0相关的空间关联元素集合。
在步骤720，生成与信号的当前时间样本t1相关的空间关联元素集合，以及与信号的较早时间样本和当前时间样本两者相关的Δt关联元素集合。
在步骤730，确定是否选择Δt关联元素集合、而不是与信号的当前时间样本t1相关的导出的空间关联元素集合，以包括在第一输出数据中，。
使用Δt关联元素集合和/或与信号的当前时间样本相关的特殊关联元素集合来生成第二缓冲数据。第二缓冲数据用于覆写第一缓冲数据，从而更新缓冲器。
如果选择Δt关联元素集合以包括在第一输出数据中，则在步骤740使用该Δt关联元素集合生成第二缓冲数据。然后可以更新缓冲器。更新缓冲器包括用第二缓冲器数据覆写第一缓冲数据。在该示例中，通过将Δt关联元素集合与第一缓冲数据组合来生成第二缓冲数据。换言之，将Δt关联元素集合加入到先前的缓冲器内容以生成新的缓冲器内容。
如果选择与信号的当前时间样本相关的空间关联元素集合以包括在第一输出数据中，则在步骤750使用与信号的当前时间样本相关的空间关联元素集合来生成第二缓冲数据。然后，可通过用第二缓冲数据覆写第一缓冲数据来更新缓冲器。在该示例中，并非基于第一缓冲数据导出第二缓冲数据。换言之，空间关联元素集合替换先前的缓冲器内容而不是加入到其中。
通过将Δt关联元素集合加入到先前缓冲器内容来更新缓冲器可能随着时间的推移而导致误差(例如与量化相关的误差所致的误差)的传播。在一些示例中，通过用包括至少一个零值的第二缓冲数据覆写第一缓冲数据来更新缓冲器。这可以对应于全部或部分缓冲器的“重置”。因此，对于信号的后来时间样本t2，从缓冲器检索的第一缓冲数据为零。因为Δt关联元素集合是由与信号的后来时间样本t2相关的关联元素集合和所检索的第一缓冲数据之间的差异产生的，所以Δt关联元素集合和与信号的后来时间样本t2相关的空间关联元素集合将是相同的。这允许用与信号的后来时间样本t2相关的关联元素集合(即空间关联元素)来覆写缓冲器，而不管是选择了Δt关联元素集合还是空间关联元素集合包括在第一输出数据中。因此，可以减少可能从先前时间样本累积的误差的传播。在一个示例中，缓冲器以这种方式间断性地(例如周期性地)重置。在另一示例中，当确定与第一缓冲数据相关的误差达到或超过给定阈值时，重置缓冲器。
参考图8，示出示例性设备800的示意性方框图。
在示例中，设备800包括编码器装置。在另一示例中，设备800包括解码器装置。
设备800的其他示例包括但不限于移动计算机、个人计算机系统、无线装置、基站、电话装置、台式计算机、膝上型计算机、笔记本、上网本计算机、大型计算机系统、手持计算机、工作站、网络计算机、应用服务器、存储装置、如照相机、便携式摄像机、移动装置、视频游戏机、手持视频游戏机这样的消费电子设备，如交换机、调制解调器、路由器这样的外设，或者一般而言任何类型的计算或电子装置。
在该示例中，设备800包括被配置为处理信息和/或指令的一个或多个处理器801。一个或多个处理器801可包括中央处理单元(CPU)。一个或多个处理器801与总线802耦接。一个或多个处理器801进行的操作可通过硬件和/或软件执行。一个或多个处理器801可包括多个共置处理器或多个分离放置的处理器。
在该示例中，设备800包括计算机可用的易失性存储器803，其被配置为存储用于一个或多个处理器801的信息和/或指令。计算机可用的易失性存储器803与总线802耦接。计算机可用的易失性存储器803可包括随机存取存储器(RAM)。
在该示例中，设备800包括计算机可用的非易失性存储器804，其被配置为存储用于一个或多个处理器801的信息和/或指令。计算机可用的非易失性存储器804与总线802耦接。计算机可用的非易失性存储器804可包括只读存储器(ROM)。
在该示例中，设备800包括被配置为存储信息和/或指令的一个或多个数据存储单元805。一个或多个数据存储单元805与总线802耦接。一个或多个数据存储单元805例如可包括磁盘或光盘和磁盘驱动器或固态驱动器(SSD)。
在该示例中，设备800包括一个或多个输入/输出(I/O)装置806，其被配置为与一个或多个处理器801之间传递信息。一个或多个I/O装置806与总线802耦接。一个或多个I/O装置806可包括至少一个网络接口。至少一个网络接口可以使得设备800能够经由一个或多个数据通信网络进行通信。数据通信网络的示例包括但不限于互联网和局域网(LAN)。一个或多个I/O装置806可以使得用户能够经由一个或多个输入装置(未示出)向设备800提供输入。一个或多个输入装置例如可包括遥控器、一个或多个物理按钮等。一个或多个I/O装置806可以使得信息能够经由一个或多个输出装置(未示出)提供给用户。一个或多个输出装置例如可包括显示屏。
针对设备800描述了各种其他实体。例如，如果有的话，将操作系统808、信号处理模块808、一个或多个其他模块809、以及数据810示出为驻留在计算机可用的易失性存储器803、计算机可用的非易失性存储器804和一个或多个数据存储单元805其中之一中或它们的组合中。信号处理模块808可通过存储在计算机可用的非易失性存储器804、计算机可读存储介质和/或其他有形计算机可读存储介质内的存储位置中的计算机程序代码来实现。有形计算机可读存储介质的示例包括但不限于光学介质(例如，CD-ROM、DVD-ROM或蓝光盘)、闪存卡、软盘或硬盘或能够存储计算机可读指令的任何其他介质，例如至少一个ROM或RAM或可编程ROM(PROM)芯片中的固件或微代码，或作为专用集成电路(ASIC)。
因此，设备800可包括信号处理模块808，其可通过一个或多个处理器801执行。可将信号处理模块808配置为包括用于实现本文所述的至少一部分操作的指令。在操作期间，一个或多个处理器801启动、运行、执行、解释、或以其他方式进行数据处理模块808中的指令。
虽然这里参考附图所述示例的至少一部分方案包括在处理系统或处理器中进行的计算机过程，但是本文所述的示例还扩展到计算机程序，例如适合于将示例纳入实践的载体上或载体中的计算机程序。载体可以是能够承载程序的任何实体或装置。
应当理解，设备800可包括与图8所示组件相比更多、更少和/或不同的组件。
设备800可以处在单个位置，也可以分布在多个位置。这些位置可以在本地，也可以是远程的。
本文所述技术可以用软件或硬件实现，也可以使用软件和硬件的组合来实现。它们可包括配置设备以进行和/或支持本文所述的任何或所有技术。
以上实施例应当理解为说明性示例。构思了进一步的实施例。
在上述示例中，第一时间样本t1和第二时间样本t0都是相同信号的时间样本。在其他示例中，第一时间样本t1和第二时间样本t0是不同信号的时间样本。例如，如果信号是视频信号，则第二时间样本t0可以对应于第一视频的最后一帧，而第一时间样本t1可以对应于后续视频的第一帧。这样，时空关联元素集合可以指示基于信号的第一时间样本的第一表达的第一参考数据与基于该信号或另一个信号的第二时间样本的表达的第二参考数据之间的时间关联程度。
在上述示例中，第二时间样本t0是比第一时间样本t1更早的时间样本。在其他示例中，第二时间样本t0是比第一时间样本t1更晚的时间样本。
在一些示例中，解码器装置110接收包括第一输入数据和第二输入数据的输入数据，第一输入数据基于关联元素集合，第二输入数据基于在具有多个质量水平的分层结构中较低质量水平的信号的第一时间样本的表达。解码器装置110使用关联元素集合获得残差元素集合，残差元素集合可用于使用具有多个质量水平的分层结构中较高质量水平的信号的第一时间样本的第二表达来重建较高质量水平的信号的第一时间样本的第一表达。第二表达基于较低质量水平的表达。解码器装置110使用第二表达和残差元素集合重建较高质量水平的第一表达。关联元素集合至少指示残差元素集合中的多个残差元素之间的空间关联程度。输入数据包括用于识别关联元素集合是否指示空间关联程度、或者识别关联元素集合是否还指示基于第一表达的第一数据与基于信号的第二较早时间样本的表达的第二数据之间的时间关联程度的数据。换言之，在输入数据中包括标识符，解码器装置110使用标识符来识别关联元素集合是指示在残差水平上的空间和时间关联，还是仅指示在残差水平上的空间关联(而不指示时间关联)。
在上述示例中，在比较两个集合之前，对空间关联元素集合和Δt关联元素集合进行量化。在其他示例中，在比较之后进行量化。换言之，可通过对导出的空间关联元素集合或导出的Δt关联元素集合进行量化操作来生成输出数据。与比较之前进行量化的情况相比，在将空间关联元素集合与导出的Δt关联元素集合进行比较之后再进行量化可能有助于减少误差和/或丢失信息。
在上述示例中，获得残差元素集合，残差元素集合可用于使用具有多个质量水平的分层结构中较高质量水平信号的第一时间样本的第二表达来重建较高质量水平的信号的第一时间样本的第一表达，第二表达基于分层结构中较低质量水平的信号的第一时间样本的表达。在其他示例中，获得残差元素集合，残差元素集合可用于例如使用信号的第二(例如较早)时间样本的表达来重建信号的第一时间样本的表达。在这样的示例中，不通过对信号的第一时间样本的表达进行下采样或上采样来获得残差元素集合。
在上述示例中，数据处理装置402获得指示与信号的第一时间样本相关的第一残差元素集合之间的空间关联程度的第一空间关联元素集合，获得指示与信号的第二时间样本相关的第二残差元素集合之间的空间关联程度的第二空间关联元素集合，并生成指示第一空间关联元素集合与第二空间关联元素集合之间的时间关联程度的时空关联元素集合。这样，空间关联的确定先于时间关联的确定。在其他示例中，数据处理装置402获得与信号的第一时间样本相关的第一残差元素集合以及与信号的第二时间样本相关的第二残差元素集合，生成指示第一残差元素集合与第二残差元素集合之间的时间关联程度的时间关联元素集合，并生成指示时间关联元素集合中的关联元素之间的空间关联程度的时空关联元素集合。在这样的示例中，在确定空间关联之前确定时间关联。
提供其中获得残差元素集合的各种措施(例如设备、方法和计算机程序)。残差元素集合可用于使用信号的第一时间样本的第二表达重建信号的第一时间样本的第一表达。第一表达在具有多个质量水平的分层结构中处于较高质量水平。第二表达处于较高质量水平。第二表达基于在分层结构中处于较低质量水平的信号的第一时间样本的表达。生成时空关联元素集合。时空关联元素集合与信号的第一时间样本相关。时空关联元素集合指示残差元素集合中的多个残差元素之间的空间关联程度。时空关联元素集合指示基于第一表达的第一参考数据与基于信号的第二时间样本的表达的第二参考数据之间的时间关联程度。时空关联元素集合用于生成第一输出数据。较低质量水平的表达用于生成第二输出数据。
在上述示例中，第一参考数据处于较高质量水平。
在上述示例中，第二参考数据处于较高质量水平。
在上述示例中，信号的第二时间样本是相对于信号的第一时间样本的、信号的较早时间样本。
在上述示例中，生成第一空间关联元素集合。第一空间关联元素集合与信号的第一时间样本相关。第一空间关联元素集合指示残差元素集合中的多个残差元素之间的空间关联程度。
在上述示例中，时空关联元素集合用于选择时空关联元素集合或第一空间关联元素集合包括在第一输出数据中。
在上述示例中，第一参考数据包括第一空间关联元素集合。
在上述示例中，第二参考数据包括与信号的第二时间样本相关的第二空间关联元素集合。第二空间关联元素集合可以指示与第二时间样本相关的另外的残差元素集合中的多个残差元素之间的空间关联程度。另外的残差元素集合可用于使用基于较低质量水平的信号的第二时间样本的表达的数据来重建较高质量水平的信号的第二时间样本的表达。
在上述示例中，第一参考数据包括信号的第一时间样本的第一表达。
在上述示例中，第二参考数据包括较高质量水平的信号的第二时间样本的的重建表达。
在上述示例中，通过将时空关联元素集合与第一空间关联元素集合进行比较来进行选择。
在上述示例中，基于关于时空关联元素集合和第一空间关联元素集合实施的比率-失真分析来进行选择。
在上述示例中，第一输出数据包括指示选择结果的数据。
在上述示例中，指示选择结果的数据包括在与第一输出数据中的给定数据元素相关的比特序列中。给定数据元素可以指示残差元素集合中的多个残差元素之间的水平关联程度。
在上述示例中，将时空关联元素集合和第一空间关联元素集合量化。
在上述示例中，从缓冲器中检索第一缓冲数据。基于第一缓冲数据获得第二参考数据。
在上述示例中，使用时空关联元素集合生成第二缓冲数据。通过用第二缓冲数据覆写第一缓冲数据来更新缓冲器。
在上述示例中，通过将时空关联元素集合与第一缓冲数据组合来生成第二缓冲数据。
在上述示例中，通过用包括至少一个零值的第二缓冲数据覆写第一缓冲数据来更新缓冲器。
在上述示例中，通过对较低质量水平的表达进行上采样操作来导出第二表达。
在上述示例中，通过对第一表达进行下采样操作来导出较低质量水平的信号的第一时间样本的表达。
在上述示例中，信号是视频信号。
在上述示例中，输出第一输出数据和第二输出数据，以经由一个或多个数据通信网络传输到至少一个其他设备。
提供其中接收输入数据(包括第一输入数据和第二输入数据)的各种措施(例如设备、方法和计算机程序)。第一输入数据基于关联元素集合。第二输入数据基于处于具有多个质量水平的分层结构中较低质量水平的信号的第一时间样本的表达。使用关联元素集合获得残差元素集合。残差元素集合可用于使用分层结构中较高质量水平的信号的第一时间样本的第二表达来重建较高质量水平的信号的第一时间样本的第一表达。第二表达是基于较低质量水平的表达。使用第二表达和残差元素集合来重建较高质量水平的第一表达。关联元素集合至少指示残差元素集合中的多个残差元素之间的空间关联程度。输入数据包括识别关联元素集合是否指示空间关联程度或者识别关联元素集合是否还指示基于第一表达的第一参考数据与基于信号的第二时间样本的表达的第二参考数据之间的时间关联程度的数据。
应当理解，关于任何一个实施例所述的任何特征可以单独使用，也可以与所述的其他特征组合使用，并且还可以与任何其他实施例或任何其他实施例的任何组合的一个或多个特征组合使用。此外，在不脱离所附权利要求限定的本发明的范围的情况下，也可以采用上面未描述的等同物和修改。

Claims (17)

1.一种编码器设备，包括：
输入，用于获得输入数据，所述输入数据包括视频信号，所述视频信号包括帧序列，所述输入数据包括处于具有多个质量水平的分层结构中第一质量水平的所述视频信号的第一帧的第一表达；
下采样器，用于对所述输入数据执行下采样操作来生成处于所述分层结构中第二质量水平的下采样数据；所述第二质量水平低于所述第一质量水平；
上采样器，用于对所述下采样数据的处理版本执行上采样操作，以生成处于所述第一质量水平的所述视频信号的所述第一帧的第二表达；以及
第一比较器，用于比较所述第一帧的所述第一表达以及所述第一帧的所述第二表达以获得第一残差元素集合，其中，
所述编码器设备还包括：
变换器，用于对所述第一残差元素集合执行变换操作以生成第一变换元素集合，所述第一变换元素集合中的变换元素指示所述第一残差元素集合中的多个残差元素之间的空间关联程度，其中，所述变换操作包括将所述残差元素排列成阵列并对所述阵列执行矩阵预乘操作；
缓冲器，用于存储第二变换元素集合，所述第二变换元素集合与所述视频信号的第二帧相关联，所述第二帧出现在所述第一帧之前；以及
第二比较器，用于比较所述第一变换元素集合和所述第二变换元素集合以生成第一输出数据，所述第二比较器被配置为确定基于所述第一表达的第一参考数据与基于所述缓冲器中的内容的第二参考数据之间的时间关联程度；其中，
输出处于所述第一质量水平的所述第一输出数据和从所述第二质量水平的所述下采样数据导出的第二输出数据，用于与解码器设备通信，以重建所述视频信号；
其中，所述第二变换元素集合指示与所述视频信号的所述第二帧相关的另外的残差元素集合中多个残差元素之间的空间关联程度，所述另外的残差元素集合能够用于使用基于处于所述第二质量水平的所述视频信号的所述第二帧的表达的数据来重建处于所述第一质量水平的所述视频信号的所述第二帧的表达。
2.根据权利要求1所述的编码器设备，其中，所述第一变换元素集合与所述视频信号的所述第一帧中的信号元素阵列相关，以及其中，所述第二变换元素集合与所述视频信号的所述第二帧中的相同信号元素阵列相关。
3.根据权利要求1或2所述的编码器设备，其中，所述第一输出数据包括由所述第二比较器执行的比较结果的量化版本。
4.根据权利要求1所述的编码器设备，其中，所述编码器设备被配置为：
使用所述第一变换元素集合生成第二缓冲数据；以及
通过用所述第二缓冲数据覆写所述第二变换元素集合来更新所述缓冲器。
5.根据权利要求4所述的编码器设备，其中，所述编码器设备被配置为通过用包括至少一个零值的第二缓冲数据覆写所述第二变换元素集合来更新所述缓冲器。
6.一种解码器设备，包括：
输入，用于接收包括第一输入数据和第二输入数据的输入数据，其中：
所述第一输入数据指示第一变换元素集合和第二变换元素集合之间的时间关联程度；所述第一变换元素集合指示第一残差元素集合中多个残差元素之间的空间关联的程度；所述第一残差元素集合基于处于具有多个质量水平的分层结构中第一质量水平的视频信号的第一帧的第一表达和处于所述第一质量水平的所述第一帧的第二表达的比较得到；所述第二变换元素集合与所述视频信号的第二帧相关联，所述第二帧出现在所述第一帧之前；
所述第二输入数据(420)处于所述分层结构中的第二质量水平，所述第二质量水平低于所述第一质量水平；
缓冲器，用于存储所述第二变换元素集合；
第一比较器，用于将所述第一输入数据与所述缓冲器的内容进行比较以生成所述第一变换元素集合；
变换器，用于对所述第一变换元素集合中的变换元素执行变换操作以生成所述第一残差元素集合，其中，所述变换操作包括将所述变换元素排列成阵列并对所述阵列执行矩阵预乘操作；
上采样器，用于对所述第二输入数据的处理版本执行上采样操作，以生成处于所述第一质量水平的所述视频信号的所述第一帧的第二表达；以及
第二比较器，用于比较所述视频信号的所述第一帧的所述第二表达和所述第一残差元素集合，以重建所述视频信号的所述第一帧；
其中，所述第二变换元素集合指示与所述视频信号的所述第二帧相关的另外的残差元素集合中多个残差元素之间的空间关联程度，所述另外的残差元素集合能够用于使用基于处于所述第二质量水平的所述视频信号的所述第二帧的表达的数据来重建处于所述第一质量水平的所述视频信号的所述第二帧的表达。
7.根据权利要求6所述的解码器设备，其中，所述第一变换元素集合与所述视频信号的所述第一帧中的信号元素阵列相关，以及其中，所述第二变换元素集合与所述视频信号的所述第二帧中的相同信号元素阵列相关。
8.根据权利要求6或7所述的解码器设备，其中，所述第一输入数据包括所述第一变换元素集合和所述第二变换元素集合的比较结果的量化版本。
9.根据权利要求6所述的解码器设备，其中，所述解码器设备被配置为：
使用所述第一变换元素集合生成第二缓冲数据；以及
通过用所述第二缓冲数据覆写所述第二变换元素集合来更新所述缓冲器。
10.根据权利要求9所述的解码器设备，其中，所述解码器设备被配置为通过用包括至少一个零值的第二缓冲数据覆写所述第二变换元素集合来更新所述缓冲器。
11.根据权利要求6所述的解码器设备，其中，所述解码器设备被配置为经由一个或多个数据通信网络从至少一个其他设备接收所述输入数据。
12.一种方法，包括：
获得输入数据，所述输入数据包括视频信号，所述视频信号包括帧序列，所述输入数据包括处于具有多个质量水平的分层结构中第一质量水平的所述视频信号的第一帧的第一表达；
对所述输入数据执行下采样操作来生成处于所述分层结构中第二质量水平的下采样数据；所述第二质量水平低于所述第一质量水平；
对所述下采样数据的处理版本执行上采样操作，以生成处于所述第一质量水平的所述视频信号的所述第一帧的第二表达；以及
比较所述第一帧的所述第一表达以及所述第一帧的所述第二表达以获得第一残差元素集合，其中，
所述方法还包括：
对所述第一残差元素集合执行变换操作以生成第一变换元素集合，所述第一变换元素集合中的变换元素指示所述第一残差元素集合中的多个残差元素之间的空间关联程度，其中，所述变换操作包括将所述残差元素排列成阵列并对所述阵列执行矩阵预乘操作；
存储第二变换元素集合至缓冲器中，所述第二变换元素集合与所述视频信号的第二帧相关联，所述第二帧出现在所述第一帧之前；
其中，所述第二变换元素集合指示与所述视频信号的所述第二帧相关的另外的残差元素集合中多个残差元素之间的空间关联程度，所述另外的残差元素集合能够用于使用基于处于所述第二质量水平的所述视频信号的所述第二帧的表达的数据来重建处于所述第一质量水平的所述视频信号的所述第二帧的表达；
比较所述第一变换元素集合和所述第二变换元素集合以生成第一输出数据，所述比较包括确定基于所述第一表达的第一参考数据与基于所述缓冲器中的内容的第二参考数据之间的时间关联程度；以及
输出处于所述第一质量水平的所述第一输出数据和从所述第二质量水平的所述下采样数据导出的第二输出数据，用于与解码器设备通信，以重建所述视频信号。
13.根据权利要求12所述的方法，还包括：
使用所述第一变换元素集合生成第二缓冲数据；以及
通过用所述第二缓冲数据覆写所述第二变换元素集合来更新所述缓冲器。
14.根据权利要求13所述的方法，其中，所述更新所述缓冲器包括：
通过用包括至少一个零值的第二缓冲数据覆写所述第二变换元素集合来更新所述缓冲器。
15.一种方法，包括：
接收包括第一输入数据和第二输入数据的输入数据，其中：
所述第一输入数据指示第一变换元素集合和第二变换元素集合之间的时间关联程度，所述第一变换元素集合指示第一残差元素集合中的多个残差元素之间的空间关联程度；所述第一残差元素集合是基于处于具有多个质量水平的分层结构中的第一质量水平的视频信号的第一帧的第一表达与处于所述第一质量水平的所述第一帧的第二表达的比较得到的；所述第二变换元素集合与所述视频信号的第二帧相关，所述第二帧出现在所述第一帧之前；
其中，所述第二变换元素集合指示与所述视频信号的所述第二帧相关的另外的残差元素集合中多个残差元素之间的空间关联程度，所述另外的残差元素集合能够用于使用基于处于第二质量水平的所述视频信号的所述第二帧的表达的数据来重建处于所述第一质量水平的所述视频信号的所述第二帧的表达；
所述第二输入数据处于所述分层结构中的第二质量水平，所述第二质量水平低于所述第一质量水平；
存储所述第二变换元素集合至缓冲器中；
将所述第一输入数据与所述缓冲器的内容进行比较以生成所述第一变换元素集合；
对所述第一变换元素集合中的变换元素执行变换操作以生成所述第一残差元素集合，其中，所述变换操作包括将所述变换元素排列成阵列并对所述阵列执行矩阵预乘操作；
对所述第二输入数据的处理版本执行上采样操作，以生成处于所述第一质量水平的所述视频信号的所述第一帧的第二表达；以及
比较所述视频信号的所述第一帧的所述第二表达和所述第一残差元素集合，以重建所述视频信号的所述第一帧。
16.根据权利要求15所述的方法，所述方法包括：
使用所述第一变换元素集合生成第二缓冲数据；以及
通过用所述第二缓冲数据覆写所述第二变换元素集合来更新所述缓冲器。
17.根据权利要求16所述的方法，所述更新所述缓冲器包括：
通过用包括至少一个零值的第二缓冲数据覆写所述第二变换元素集合来更新所述缓冲器。
CN201780069197.6A 2016-09-08 2017-09-08 利用高水平和低水平之间的差异的视频压缩 Active CN109952763B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311503020.6A CN117880528A (zh) 2016-09-08 2017-09-08 利用高水平和低水平之间的差异的视频压缩

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1615265.4 2016-09-08
GB1615265.4A GB2553556B (en) 2016-09-08 2016-09-08 Data processing apparatuses, methods, computer programs and computer-readable media
PCT/GB2017/052631 WO2018046940A1 (en) 2016-09-08 2017-09-08 Video compression using differences between a higher and a lower layer

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311503020.6A Division CN117880528A (zh) 2016-09-08 2017-09-08 利用高水平和低水平之间的差异的视频压缩

Publications (2)

Publication Number Publication Date
CN109952763A CN109952763A (zh) 2019-06-28
CN109952763B true CN109952763B (zh) 2023-12-01

Family

ID=57234705

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202311503020.6A Pending CN117880528A (zh) 2016-09-08 2017-09-08 利用高水平和低水平之间的差异的视频压缩
CN201780069197.6A Active CN109952763B (zh) 2016-09-08 2017-09-08 利用高水平和低水平之间的差异的视频压缩

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202311503020.6A Pending CN117880528A (zh) 2016-09-08 2017-09-08 利用高水平和低水平之间的差异的视频压缩

Country Status (6)

Country Link
US (2) US10992943B2 (zh)
EP (1) EP3510778A1 (zh)
KR (3) KR102492838B1 (zh)
CN (2) CN117880528A (zh)
GB (1) GB2553556B (zh)
WO (1) WO2018046940A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3821601A1 (en) 2018-07-15 2021-05-19 V-Nova International Limited Low complexity enhancement video coding
CA3108402A1 (en) * 2018-08-03 2020-02-06 V-Nova International Ltd Entropy coding for signal enhancement coding
GB201817784D0 (en) * 2018-10-31 2018-12-19 V Nova Int Ltd Methods,apparatuses, computer programs and computer-readable media
GB201817783D0 (en) * 2018-10-31 2018-12-19 V Nova Int Ltd Methods,apparatuses, computer programs and computer-readable media for processing configuration data
GB201817780D0 (en) * 2018-10-31 2018-12-19 V Nova Int Ltd Methods,apparatuses, computer programs and computer-readable media for processing configuration data
WO2020188237A1 (en) 2019-03-20 2020-09-24 V-Nova International Ltd Residual filtering in signal enhancement coding
MX2021011338A (es) 2019-03-20 2021-12-10 V Nova Int Ltd Procesamiento de residuos en codificacion de video.
GB2618718B (en) * 2019-03-20 2024-03-13 V Nova Int Ltd Low complexity enhancement video coding
GB201905400D0 (en) 2019-04-16 2019-05-29 V Nova Int Ltd Video coding technology
GB2619640A (en) 2019-07-05 2023-12-13 V Nova Int Ltd Quantization of residuals in video coding
GB2598701B (en) 2020-05-25 2023-01-25 V Nova Int Ltd Wireless data communication system and method
GB2599341A (en) 2020-07-28 2022-04-06 V Nova Int Ltd Management system for multilayer encoders and decoders and method thereof
GB202103498D0 (en) 2021-03-12 2021-04-28 V Nova Int Ltd Processing of residuals in video coding
GB202107036D0 (en) 2021-05-17 2021-06-30 V Nova Int Ltd Secure decoder and secure decoding methods
GB2607123B (en) 2021-10-25 2023-10-11 V Nova Int Ltd Enhancement decoding implementation and method
WO2023135410A1 (en) 2022-01-11 2023-07-20 V-Nova International Ltd Integrating a decoder for hierarchical video coding
WO2023135420A1 (en) 2022-01-12 2023-07-20 V-Nova International Ltd Secure enhancement decoding implementation
GB2611129B (en) 2022-03-31 2024-03-27 V Nova Int Ltd Signal processing with overlay regions
GB2611836B (en) 2022-03-31 2024-05-29 V Nova Int Ltd Frame buffer usage during a decoding process
GB202205618D0 (en) 2022-04-14 2022-06-01 V Nova Int Ltd Extended reality encoding
GB202205928D0 (en) 2022-04-22 2022-06-08 V Nova Int Ltd Methods, bitstreams, apparatuses, computer programs and computer-readable media
WO2024003577A1 (en) 2022-07-01 2024-01-04 V-Nova International Ltd Applications of layered encoding in split computing
US20240098285A1 (en) 2022-09-20 2024-03-21 V-Nova International Limited Method for decoding a video stream

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008049446A1 (en) * 2006-10-25 2008-05-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Quality scalable coding
WO2013011493A2 (en) * 2011-07-21 2013-01-24 Luca Rossato Signal processing and tiered signal encoding
WO2013011496A1 (en) * 2011-07-21 2013-01-24 Luca Rossato Transmission of reconstruction data in a tiered signal quality hierarchy
WO2013011495A2 (en) * 2011-07-21 2013-01-24 Luca Rossato Signal processing and inheritance in a tiered signal quality hierarchy
CN103931181A (zh) * 2011-07-21 2014-07-16 卢卡·罗萨托 用于空间可扩展视频编码的自适应上采样
WO2015142712A1 (en) * 2014-03-18 2015-09-24 Qualcomm Incorporated Derivation of sps temporal id nesting information for multi-layer bitstreams

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050075578A (ko) 2004-01-16 2005-07-21 삼성전자주식회사 폐루프 최적화를 지원하는 스케일러블 비디오 엔코딩 방법및 장치
KR101425602B1 (ko) * 2008-03-12 2014-07-31 삼성전자주식회사 영상 부호화/복호화 장치 및 그 방법
WO2009130540A1 (en) 2008-04-23 2009-10-29 Maxtu S.A. Method for high definition video encoding/decoding suitable for real-time video streaming
ES2907510T3 (es) * 2012-05-14 2022-04-25 V Nova Int Ltd Descomposición de datos residuales durante la codificación, decodificación y reconstrucción de señales en una jerarquía escalonada
CN104685877B (zh) 2012-09-28 2019-03-29 Vid拓展公司 用于多层视频编码的自适应上采样
JP2017501599A (ja) * 2013-10-07 2017-01-12 ヴィド スケール インコーポレイテッド マルチレイヤビデオコーディングのコンバインドスケーラビリティ処理

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008049446A1 (en) * 2006-10-25 2008-05-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Quality scalable coding
WO2013011493A2 (en) * 2011-07-21 2013-01-24 Luca Rossato Signal processing and tiered signal encoding
WO2013011496A1 (en) * 2011-07-21 2013-01-24 Luca Rossato Transmission of reconstruction data in a tiered signal quality hierarchy
WO2013011495A2 (en) * 2011-07-21 2013-01-24 Luca Rossato Signal processing and inheritance in a tiered signal quality hierarchy
CN103858427A (zh) * 2011-07-21 2014-06-11 卢卡·罗萨托 用于空间可伸缩视频编码的自适应插值
CN103931181A (zh) * 2011-07-21 2014-07-16 卢卡·罗萨托 用于空间可扩展视频编码的自适应上采样
WO2015142712A1 (en) * 2014-03-18 2015-09-24 Qualcomm Incorporated Derivation of sps temporal id nesting information for multi-layer bitstreams

Also Published As

Publication number Publication date
CN109952763A (zh) 2019-06-28
EP3510778A1 (en) 2019-07-17
KR20230019264A (ko) 2023-02-07
WO2018046940A1 (en) 2018-03-15
CN117880528A (zh) 2024-04-12
GB2553556B (en) 2022-06-29
GB2553556A (en) 2018-03-14
US20190313109A1 (en) 2019-10-10
US10992943B2 (en) 2021-04-27
KR20230113665A (ko) 2023-07-31
US20210314580A1 (en) 2021-10-07
KR102492838B1 (ko) 2023-01-30
GB201615265D0 (en) 2016-10-26
KR20190086433A (ko) 2019-07-22

Similar Documents

Publication Publication Date Title
CN109952763B (zh) 利用高水平和低水平之间的差异的视频压缩
US11232598B2 (en) Distinct encoding and decoding of stable information and transient/stochastic information
US10992959B2 (en) Data processing apparatuses, methods, computer programs and computer-readable media
US10735024B2 (en) Data processing apparatuses, methods, computer programs and computer-readable media
US11856210B2 (en) Apparatuses, methods, computer programs and computer-readable media
JP7405989B2 (ja) マシン向け映像符号化における方法及び装置
US20240048738A1 (en) Methods, apparatuses, computer programs and computer-readable media for processing configuration data
CN111108747B (zh) 获得信号的时间样本的目标表示
GB2605512A (en) Data processing apparatuses, methods, computer programs and computer-readable media

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant