CN105723708B - 对媒体信号进行编码和解码的方法及使用该方法的设备 - Google Patents

对媒体信号进行编码和解码的方法及使用该方法的设备 Download PDF

Info

Publication number
CN105723708B
CN105723708B CN201480055265.XA CN201480055265A CN105723708B CN 105723708 B CN105723708 B CN 105723708B CN 201480055265 A CN201480055265 A CN 201480055265A CN 105723708 B CN105723708 B CN 105723708B
Authority
CN
China
Prior art keywords
signal
compiling
reconstruction
optimization
transformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480055265.XA
Other languages
English (en)
Other versions
CN105723708A (zh
Inventor
奥努尔·格嫩·居莱尔于兹
阿米尔·赛义德
芮世薰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN105723708A publication Critical patent/CN105723708A/zh
Application granted granted Critical
Publication of CN105723708B publication Critical patent/CN105723708B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/62—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding by frequency transforming in three dimensions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94—Vector quantisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本文公开了一种对视频信号进行编码的方法，该方法包括：接收原始视频信号；将原始视频信号与可用重建信号进行比较；基于比较的结果来确定校正信号；以及生成变换编译的校正信号以被发送用于信号重建。

Description

对媒体信号进行编码和解码的方法及使用该方法的设备
技术领域
本发明涉及对媒体信号进行编码和解码的方法及使用该方法的设备，并且更具体地，涉及一种使用非线性变换的预测技术。
背景技术
压缩编译意指用于通过通信线路来发送数字化信息或者以适合于存储介质的形式存储数字化信息的一组信号处理技术。媒体(诸如视频、图像和语音)可以是压缩编译的主体。特别地，用于对视频执行压缩编译的技术被称作视频压缩。
许多媒体压缩技术基于被称作预测编译和变换编译的两种类型的方法。特别地，混合编译技术对于视频编译采用组合预测编译和变换编译两者的优点的方法，但是这些编译技术中的每一种具有以下缺点。
在预测编译的情况下，可能在获得预测误差样本时未使用任何统计依赖性。也就是说，预测编译基于使用相同信号的已经编译的部分来预测信号分量并且对预测值与实际值之间的数值差进行编译的方法。更具体地，预测编译遵循能够更高效地对预测信号进行压缩的信息理论，并且可以通过增加预测的一致性和准确性来获得更好的压缩效果。预测编译在处理不平滑或不稳定信号时是有利的，因为它基于因果统计关系，但是不利的原因在于它在大规模处理信号时效率低。此外，预测编译不利的原因在于它可能不使用人类视觉和听觉系统的局限性，因为量化被应用于原始视频信号。
此外，可以在变换编译中使用正交变换，诸如离散余弦变换或离散小波变换。变换编译是用于将信号解压缩成一组分量以便标识最重要的数据的技术。大多数的变换系数在量化之后为0。
然而，变换编译不利的原因在于它在获得样本的预测值时必须依赖首先可用的数据。这使得预测信号难以具有高质量。
发明内容
技术问题
本发明旨在提出能够基于现有技术中未使用的预测/变换编译方法的结合使用预测/变换编译方法的所有优点的方法。
本发明旨在用非线性变换块代替与变换编译块组合的线性/非线性预测编译块。
本发明旨在用集成非线性变换块代替与变换编译块组合的混合编译块。
本发明旨在提出更高效地对包括不平滑或不稳定信号的高图片质量的视频进行编译的方法。
本发明旨在提出通过同时对单一维度应用预测和变换来执行编译的方法。
本发明旨在提出使用非线性变换和向量量化来执行编译的方法。
技术方案
根据本发明，编码器能够通过将原始视频信号与可用重建信号进行比较来确定校正信号，并且能够生成变换编译的校正信号以被发送用于信号重建。
此外，根据本发明，可以通过对变换编译的校正信号执行逆变换来获得校正信号，并且可以使用组合所获得的校正信号和上下文信号的重建函数来获得重建信号。这里，可以基于所有先前重建的样本来获得上下文信号。
此外，根据本发明，能够生成优化预测信号，因为当执行预测过程时考虑已经被重建的所有信号。
此外，根据本发明，能够将非线性预测函数选择为用于生成预测信号的预测函数。
此外，根据本发明，能够选择用于生成优化预测信号的优化非线性预测函数，并且能够从存储在存储空间中的侯选函数中选择优化非线性预测函数。
此外，根据本发明，已经被重建的所有信号和上下文信号能够被用来选择优化预测函数。
此外，根据本发明，为了获得优化变换系数，能够搜索用于使失真测量值和速率测量值的和最小化的侯选函数。
此外，根据本发明，能够通过获得用于使失真测量值和速率测量值的和最小化的优化变换系数并更新所获得的变换系数来生成预测信号。
有益效果
根据本发明，能够通过融合预测编译方法和变换编译方法来利用预测编译方法和变换编译方法中的每一个的优点。也就是说，能够使用已经被重建的所有信号来执行更精确且先进的预测，并且能够使用预测误差样本的统计依赖性。
此外，能够更高效地对包括不平滑或不稳定信号的高图片质量的视频进行编译，因为编译是通过同时对单一维度应用预测和变换来执行的。
此外，能够控制包括在预测误差向量中的预测误差，因为解码变换系数中的每一个影响整个重建过程。也就是说，能够解决量化误差传播问题，因为量化误差被完全地考虑并控制。
根据本发明，能够在无需补充信息的情况下执行信号适应性解码。此外，与现有的混合编译器相比，高图片质量预测是可能的并且还能够减小预测误差。
此外，根据本发明，能够对具有大运动依赖性或显著空间边界特性的视频执行高效的编译，因为使用了更先进的空时视频压缩方法。
附图说明
图1和图2图示执行媒体编译的编码器和解码器的示意框图；
图3和图4是可以适用本发明的实施例并且是图示可以适用先进编译方法的编码器和解码器的示意框图；
图5是可以适用本发明的实施例并且是图示先进视频编译方法的示意流程图；
图6是可以适用本发明的实施例并且是图示用于生成优化预测信号的先进视频编译方法的流程图；
图7是可以适用本发明的实施例并且是图示生成优化预测信号的过程的流程图；
图8是可以适用本发明的实施例并且是图示获得优化变换系数的方法的流程图；
图9是可以适用本发明的实施例并且是图示可以适用先进编译方法的解码器的操作的示意流程图；
图10是可以适用本发明的实施例并且图示空间域中的已知变换方法；
图11是可以适用本发明的实施例并且图示对GOP应用空时变换的方法；
图12是可以适用本发明的实施例并且是图示先进视频编译方法的示意流程图；以及
图13至图17是可以适用本发明的实施例。
具体实施方式
本发明的实施例提供对视频信号进行编码的方法，该方法包括：接收原始视频信号；将原始视频信号与可用重建信号进行比较；基于比较的结果来确定校正信号；以及生成变换编译的校正信号以被发送用于信号重建。
在本发明的一个方面中，该方法包括：确定待用于信号重建的重建函数，其中，该重建函数包括线性分量和非线性分量中的至少一个。
在本发明的一个方面中，重建函数是基于所有先前重建的样本和校正信号来确定的。
在本发明的一个方面中，校正信号被确定来使失真分量和速率分量的和最小化，失真分量指示原始视频信号与校正信号之间的总失真，并且速率分量指示发送变换编译的校正信号所需的比特的数目。
在本发明的一个方面中，其中，变换编译的校正信号乘以解量化矩阵和逆变换矩阵，并且其中，解量化矩阵被选择用于控制比特率和量化误差。
在本发明的一个方面中，变换编译的校正信号对应于一组图片的校正信号，并且空时变换编译已被应用于校正信号。
本发明的实施例提供对视频信号进行解码的方法，该方法包括：接收变换编译的校正信号；通过对变换编译的校正信号执行逆变换来获得校正信号；以及使用组合所获得的校正信号和上下文信号的重建函数来获得重建信号，其中，上下文信号是基于所有先前重建的样本来获得的。
在本发明的一个方面中，该方法包括：确定待用于信号重建的重建函数，其中，该重建函数包括线性分量和非线性分量中的至少一个。
在本发明的一个方面中，重建函数是基于所有先前重建的样本和校正信号来确定的。
在本发明的一个方面中，变换编译的校正信号乘以解量化矩阵和逆变换矩阵。
在本发明的一个方面中，变换编译的校正信号对应于一组图片的校正信号，并且空时变换编译已被应用于校正信号。
本发明的实施例提供对视频信号进行编码的设备，该设备包括：接收单元，该接收单元被配置成接收原始视频信号；优化单元，该优化单元被配置成将原始视频信号与可用重建信号进行比较，并且基于比较的结果来确定校正信号，并且生成变换编译的校正信号以被发送用于信号重建。
在本发明的一个方面中，量化单元还被配置成确定待用于信号重建的重建函数，其中，该重建函数包括线性分量和非线性分量中的至少一个。
在本发明的一个方面中，重建函数是基于所有先前重建的样本和校正信号来确定的。
在本发明的一个方面中，校正信号被确定来使失真分量和速率分量的和最小化，失真分量指示原始视频信号与校正信号之间的总失真，并且速率分量指示发送变换编译的校正信号所需的比特的数目。
在本发明的一个方面中，变换编译的校正信号对应于一组图片的校正信号，并且空时变换编译已被应用于校正信号。
本发明的实施例提供对视频信号进行解码的设备，该设备包括：接收单元，该接收单元被配置成接收变换编译的校正信号；逆变换单元，该逆变换单元被配置成通过对变换编译的校正信号执行逆变换来获得校正信号；以及重建单元，该重建单元被配置成使用组合所获得的校正信号和上下文信号的重建函数来获得重建信号，其中，上下文信号是基于所有先前重建的样本来获得的。
在本发明的一个方面中，重建单元还被配置成确定待用于信号重建的重建函数，其中，该重建函数包括线性分量和非线性分量中的至少一个。
在本发明的一个方面中，重建函数是基于所有先前重建的样本和校正信号来确定的。
在本发明的一个方面中，变换编译的校正信号对应于一组图片的校正信号，并且空时变换编译已被应用于校正信号。
本发明的实施例提供对视频信号进行编码的方法，该方法包括：接收原始视频信号；基于所有先前重建的样本和第一变换编译的系数来生成预测信号；通过将原始视频信号减去预测信号来生成预测误差信号；以及通过对预测误差信号进行变换来获得第二变换编译的系数。
在本发明的一个方面中，该方法包括：确定用于生成预测信号的预测函数，其中，基于所确定的预测函数来生成预测信号，并且所确定的预测函数包括非线性预测函数。
在本发明的一个方面中，预测函数被确定为使失真分量和速率分量的和最小化的函数，其中，失真分量指示原始视频信号与重建信号之间的总失真，并且速率分量指示发送变换系数所需的比特的数目。
在本发明的一个方面中，基于所有先前重建的样本和上下文信号来确定预测函数。
在本发明的一个方面中，确定步骤包括：选择使失真分量和速率分量的和最小化的量化矩阵，并且该量化矩阵被用于量化控制。
在本发明的一个方面中，预测误差信号被以向量形式表示。
本发明的实施例提供对视频信号进行解码的方法，该方法包括：接收第一变换编译的系数；通过对第一变换编译的系数执行逆变换来获得预测误差信号；以及使用预测误差信号和预测信号来获得重建信号，其中，基于所有先前重建的样本和第二变换编译的系数获得预测信号。
在本发明的一个方面中，第二变换编译的系数指示基于使失真分量和速率分量的和最小化的预测函数而获得的值，其中，失真分量指示原始视频信号与重建信号之间的总失真，并且速率分量指示发送变换系数所需的比特的数目。
在本发明的一个方面中，基于所有先前重建的样本和上下文信号来确定预测函数，并且预测函数是非线性预测函数。
在本发明的一个方面中，通过将量化矩阵用于控制量化误差来确定预测函数。
在本发明的一个方面中，第一变换编译的系数对应于一组图片的预测误差向量，并且时分变换编译已被应用于预测误差向量。
[发明的模式]
在下文中，参考附图描述根据本发明的实施例的示例性元素和操作。参考附图所描述的本发明的元素和操作仅图示不限制本发明的技术精神及其核心构造和操作的实施例。
此外，本说明书中使用的术语是现在广泛使用的常见术语，但在特殊情况下，使用由本申请人任意地选择的术语。在这种情况下，在对应部分的详细描述中清楚地描述对应术语的含义。因此，应当注意，本发明不应该被解释为基于本说明书的对应描述中使用的术语的名称，而是应该通过检查对应术语的含义来解释。
此外，本说明书中使用的术语是被选择来描述本发明的常见术语，但是如果存在具有类似含义的其它意话，则可以用其它术语代替以用于更适当的分析。例如，可以在每个编译过程中适当地代替并解释信号、数据、样本、图片、帧和块。
图1和图2图示执行媒体编译的编码器和解码器的示意框图。
图1的编码器100包括变换单元110、量化单元120、解量化单元130、逆变换单元140、延迟单元150、预测单元160和熵编码单元170。图2的解码器200包括熵解码单元210、解量化单元220、逆变换单元230、延迟单元240和预测单元250。
编码器100接收原始视频信号并且通过将该原始视频信号减去由预测单元160所输出的预测信号来生成预测误差。所生成的预测误差被发送到变换单元110。变换单元110通过对预测误差应用变换方案来生成变换系数。
变换方案可以包括例如基于块的变换方法和基于图像的变换方法。基于块的变换方法可以包括例如离散余弦变换(DCT)和Karhuhen-Loeve变换。DCT意指空间域上的信号被分解成二维频率分量。形成了具有朝向块内的左上角的较低频率分量以及朝向块内的右下角的较高频率分量的图案。例如，64个二维频率分量中被放置在最左上角的仅一个可以是直流(DC)分量并且可以具有频率0。剩余的频率分量可以是交流(AC)分量并且可以包括从最低频率分量到较高频率分量的63个频率分量。执行DCT包括计算包括在原始视频信号的块中的基分量(例如，64个基本图案分量)中的每一个的大小，基分量的大小是离散余弦变换系数。
此外，DCT是用于原始视频信号分量的简单表达的变换。原始视频信号在逆变换时从频率分量完全重建。也就是说，仅改变表示视频的方法，并且除冗余信息之外还包括包括在原始视频中的所有条信息。如果对原始视频信号执行DCT，则与在原始视频信号的幅度分布中不同，DCT系数聚集在接近于0的值。因此，能够使用DCT系数来获得高压缩效果。
量化单元120对所生成的变换系数进行量化并且将经量化的系数发送到熵编码单元170。熵编码单元170对经量化的信号执行熵编译并输出熵编译的信号。
由量化单元120所输出的经量化的信号可以被用来生成预测信号。例如，在编码器100的环路内的解量化单元130和逆变换单元140可以对经量化的信号执行解量化和逆变换，使得经量化的信号被重建成预测误差。可以通过将重建预测误差加到由预测单元160所输出的预测信号来生成重建信号。
延迟单元150存储重建信号以用于预测单元160的将来参考。预测单元160使用存储在延迟单元150中的先前重建的信号来生成预测信号。
图2的解码器200接收由图1的编码器100所输出的信号。熵解码单元210对所接收的信号执行熵解码。解量化单元220基于关于量化步长的信息从经熵解码的信号获得变换系数。逆变换单元230通过对变换系数执行逆变换来获得预测误差。通过将所获得的预测误差加到由预测单元250所输出的预测信号来生成重建信号。
延迟单元240存储重建信号以用于预测单元250的将来参考。预测单元250使用存储在延迟单元240中的先前重建的信号来生成预测信号。
预测编译、变换编译和混合编译可以被应用于图1的编码器100和图2的解码器200。预测编译和变换编译的所有优点的组合被称作混合编译。
当在混合编译中使用这样的方法时的问题是需要在变换之前对预测残差进行分组。在这种情况下，因为可能未精确地重建信号，所以循环结构的预测可能导致累积误差的增加。
在现有的帧间混合编译中，在两个正交维度上使预测和变换分离。例如，在视频编译的情况中，在时域中采用预测而在空间域中采用变换。此外，在现有的混合编译中，根据仅先前编译的块内的数据执行预测。因此，本发明的实施例旨在通过去除可以在预测过程中使用的关于数据的约束并且使得能实现集成了预测编译和变换编译的优点的新混合编译形式来解决这样的问题。
图3和图4是可以适用本发明的实施例并且是图示可以适用先进编译方法的编码器和解码器的示意框图。
图3的编码器300包括优化器310、量化单元320和熵编码单元330。图4的解码器400包括熵解码单元410、解量化单元420、逆变换单元430和重建单元440。
参考图3的编码器300，优化器310获得优化的变换编译的校正信号。优化器310可以使用以下实施例，以便获得经优化的变换编译的校正信号。
为了图示可以适用本发明的实施例，首先，可以定义用于重建信号的重建函数如下。
[等式1]
在等式1中，表示重建信号，c表示解码变换编译的校正信号，并且y表示上下文信号。R(c,y)表示使用c和y以便生成重建信号的重建函数。
在本实施例中，可以将重建函数定义为先前重建的值与变换编译的校正信号之间的关系。因此，经解码的校正信号不仅影响重建值，而且影响整个重建过程以及重建函数的选择。
例如，可以将校正信号定义如下。
[等式2]
e＝Tc
在等式2中，e表示校正信号，c表示变换编译的校正信号，并且T表示变换矩阵。并且，在一些情况下，校正信号可以意指误差信号或预测误差信号。
在这种情况下，可以将重建信号定义如下。
[等式3]
在等式3中，表示重建信号的第n个分量，e表示校正信号，并且y表示上下文信号。Rn表示使用e、y和以便生成重建信号的重建函数。
在一个实施例中，可以将重建函数Rn定义如下。
[等式4]
在等式4中，Pn表示由参数形成以便生成预测信号的一种预测函数。
预测函数可以是例如中值函数、级系滤波器(rank order filter)和非线性函数的组合或线性函数的组合。此外，非线性预测函数Pn()中的每一个可以是不同的非线性函数。
在本发明的另一实施例中，量化单元320可以被包括在优化器310中，或者优化器310可以包括变换单元。
在本发明的另一实施例中，编码器300和解码器400可以包括用于选择非线性预测函数的侯选函数的存储单元。
在这种情况下，可以从存储在存储单元中的侯选函数中选择优化非线性预测函数。参考图7和8对此进行更详细的描述。
当像上面所描述的那样选择优化非线性预测函数时，优化器310可以使用该优化非线性预测函数来生成优化预测信号。并且，优化器310可以基于优化预测信号来生成优化预测误差信号，并且可以对优化预测误差信号执行变换编译。优化器310可以输出通过变换编译的变换编译的系数。在这种情况下，变换编译的系数可以意指优化变换系数。
所输出的变换系数被发送到量化单元320。量化单元320对变换系数进行量化并且将经量化的变换系数发送到熵编码单元330。
熵编码单元330可以对经量化的变换系数执行熵编码并输出压缩比特流。
图4的解码器400可以从图3的编码器接收压缩比特流，可以通过熵解码单元410来执行熵解码，并且可以通过解量化单元420来执行解量化。在这种情况下，由解量化单元420输出的信号可以意指优化变换系数。
逆变换单元430接收优化变换系数，执行逆变换过程，并且可以通过该逆变换过程来获得预测误差信号。
重建单元440可以通过将预测误差信号和预测信号加在一起来获得重建信号。在这种情况下，参考图3所描述的各种实施例可以被应用于预测信号。
图5是可以适用本发明的实施例并且是图示先进视频编译方法的示意流程图。
首先，当接收到原始视频信号时，在步骤S510处编码器可以搜索优化预测误差向量。为了搜索优化预测误差向量，编码器可以执行解码模拟。
例如，编码器可以获得优化预测信号以便搜索优化预测误差向量。为了获得优化预测信号，编码器可以使用已经被重建的所有样本。
在这种情况下，为了获得优化预测信号，可以使用非线性预测函数。可以对预测信号中的每一个适应性地应用不同的非线性预测函数。可以从存储有侯选预测函数的存储单元中选择非线性预测函数。为了选择非线性预测函数，可以使用先前重建的信号和/或上下文信号。在这种情况下，上下文信号可以是先前重建的信号、先前重建的内编译的信号、当前视频帧的已经被重建的部分，或编码器已发送到解码器的与待重建的信号的解码相关的任何其它信息。
在本发明的实施例中，编码器可以通过搜索使原始视频信号与重建信号之间的失真测量值和/或用于发送编译信号的速率测量值最小化的变换系数来选择非线性预测函数，并且可以通过选择非线性预测函数来获得优化预测信号。
结果，编码器可以通过将原始视频信号减去所获得的优化预测信号来获得优化预测误差向量。
可以将通过这样的实施例所获得的优化预测误差向量发送到变换单元以便生成变换系数。在步骤S520处，变换单元可以通过对优化预测误差向量执行变换过程来生成变换系数。在这种情况下，获得预测误差向量并对预测误差向量进行变换可以在一个步骤中完成。
所生成的变换系数可以通过量化和熵编译过程被压缩并且在步骤S530处发送到解码器。
解码器接收已像上面所描述的那样被压缩和编译的信号，并且通过熵解码、解量化和逆变换过程来获得预测误差向量。解码器的预测单元使用已经被重建的所有可用样本来生成预测信号。关于编码器所描述的实施例可以被应用于生成预测信号的过程。
图6是可以适用本发明的实施例并且是图示用于生成优化预测信号的先进视频编译方法的流程图。
在本实施例中，首先，在步骤S610处可以使用上下文信号以及先前重建的信号来生成优化预测信号。例如，先前重建的信号可以意指等式3中所定义的此外，非线性预测函数可以被用来生成优化预测信号，并且可以对预测信号中的每一个适应性地应用不同的非线性预测函数。
在步骤S620处所生成的预测信号被加到接收的预测误差信号e(i)，从而在步骤S630处生成重建信号。步骤S620可以由加法器(未图示)来执行。
在步骤S640处，可以存储所生成的重建信号用于将来参考。所存储的信号可以被用来生成下一个预测信号。
如上所述通过去除对可以生成预测信号的过程中使用的数据的约束，即，通过使用已经被重建的所有信号来生成优化预测信号，能够提供更先进的压缩效率。
在下面更详细地描述在步骤S610处生成优化预测信号的过程。
图7是可以适用本发明的实施例并且是图示生成优化预测信号的过程的流程图。
如参考图6上面所描述的，根据本发明的实施例，在步骤S710处，可以使用上下文信号以及先前重建的信号来生成优化预测信号p(i)。在这种情况下，为了生成优化预测信号，可能需要选择优化预测函数f(k)。
在步骤S720处，可以使用预测信号来生成重建信号在步骤S730处，可以存储所生成的重建信号以用于将来参考。
因此，为了选择优化预测函数，可以使用上下文信号以及已经被重建的所有信号例如，根据本发明的实施例，可以搜索使失真分量与速率分量的和最小化的侯选函数，并且可以在步骤S740处获得优化预测函数。
在这种情况下，失真分量包括原始视频信号与重建信号之间的失真的测量值。速率分量包括发送或者存储变换系数所需的速率的测量值。
更具体地，根据本发明的实施例，可以通过选择使以下等式5最小化的侯选函数来获得优化预测函数。
[等式5]
在等式5中，c*表示使等式5最小化的“c”值，即，解码变换系数。此外，表示原始视频信号及其重建信号之间的失真的测量值，并且R(c)表示发送或者存储变换系数“c”所需的速率的测量值。
例如，可以是(q＝0、0.1、1、1.2、2、2.74、7等)。R(c)可以指示被用来存储使用诸如哈夫曼编译器或算术编译器的熵编译器的变换系数“c”的比特的数目。另选地，R(c)可以指示根据诸如拉普拉斯或高斯概率模型的分析速率模型来预测的比特的数目，(τ＝0、0.4、1、2、2.2等)。
此外，λ表示用于编码器的量化的拉格朗日乘子。例如，λ可以指示保持失真的测量值与速率的测量值之间的平衡的实数。
图8是可以适用本发明的实施例并且是图示获得优化变换系数的方法的流程图。
本发明可以通过获得使失真测量值和速率测量值的和最小化的优化变换系数并且更新所获得的变换系数来提供更先进的编译方法。
首先，在步骤S810处编码器可以获得使失真分量和速率分量的和最小化的变换系数。例如，可以对失真测量值和速率测量值的和应用等式5。在这种情况下，可以将原始视频信号x、先前重建的信号以及拉格朗日乘子λ用作输入参数。在这种情况下，可能已基于先前重建的变换系数获得了先前重建的信号。
当变换系数通过这样的过程来获得时，在步骤S820处先前的变换系数用重新获得的变换系数c*更新。
在步骤S840处，通过经由在步骤S830处的逆变换过程对更新的变换系数“c”执行逆变换来获得预测误差信号。
在步骤S850处，编码器使用所获得的预测误差信号来生成重建信号在这种情况下，上下文信号可以被用来生成重建信号
重建信号可以被再次用来获得使失真分量和速率分量的和最小化的优化变换系数。
此外，经更新的变换系数可以被再次用来通过重建过程来获得新优化的变换系数。
这样的过程可以由编码器300的优化器310来执行。优化器310输出新获得的变换系数，并且所输出的变换系数通过量化和熵编码过程被压缩并发送到解码器。
本发明的实施例涉及生成新预测信号的方法。可以将预测信号定义为先前重建的信号与变换编译的系数之间的关系。在这种情况下，经变换编译的系数可以由等式2来描述。如在等式2和等式3中那样，每个变换编译的系数可能影响整个重建过程，并且允许封装在预测误差向量中的预测误差的长范围控制。
在本发明的实施例中，重建过程可以被约束为线性的。在这种情况下，可以将重建信号定义如下。
[等式6]
在等式6中，表示重建信号，c表示解码变换系数，并且y表示上下文信号。此外，F、T、H表示n×n矩阵。
在本发明的实施例中，n×n矩阵S可以被用来控制包括在变换系数中的量化误差。在这种情况下，可以将重建信号定义如下。
[等式7]
可以使用等式8的最小化过程来获得用于控制量化误差的矩阵S。
[等式8]
在等式8中，T表示训练信号，并且变换系数“c”在n维向量中对齐。变换系数分量满足Ci∈Ωi。在这种情况下，Ωi指示一组离散值。一般而言，Ωi是通过已应用了整数值的解量化过程来确定的。例如，Ωi可以是{-3Δi,-2Δi,-1Δi,0Δi,Δi,2Δi,3Δi,..}。在这种情况下，Δi指示均匀量化步长。此外，变换系数中的每一个都可以具有不同的量化步长。
在本发明的实施例中，可以相对于训练信号共同使等式7中的n×n矩阵F、S、H优化。可以通过使等式9最小化来执行常见优化方法。
[等式9]
在等式9中，Λ＝{λ1,λ2,...,λL}表示约束乘子的目标集，并且L是整数。此外，可以形成λ中的重建函数如下。
[等式10]
图9是可以适用本发明的实施例并且是图示可以适用先进编译方法的解码器的操作的示意流程图。
解码器可以接收包括根据本发明所获得的变换系数的比特流，可以通过熵解码单元来执行熵解码，并且可以通过解量化单元来执行解量化。在这种情况下，由解量化单元所输出的信号可以意指由编码器获得的优化变换系数。本说明书中所描述的各种实施例可以被应用于优化变换系数。
解码器可以在步骤S910处通过逆变换单元对所接收的优化变换系数执行逆变换过程，并且可以在步骤S920处通过逆变换过程来获得预测误差信号。
通过经由重建单元在步骤S930处合计预测误差信号和预测信号，解码器在步骤S940处生成重建信号。在这种情况下，本说明书中所描述的各种实施例也可以被应用于预测信号。
在步骤S950处，重建信号可以被加到可用样本列表并存储以用于将来参考。
解码器可以通过预测单元使用包括在可用样本列表中的重建信号(或样本)来生成预测信号。此外，在步骤S930处所生成的预测信号被加到预测误差信号，从而生成重建信号。
图10和图11是可以适用本发明的实施例并且是图示对图片组GOP应用空时变换的方法的概念图。
根据本发明的实施例，可以对包括V个帧的GOP应用空时变换。在这种情况下，可以将预测误差信号和重建信号定义如下。
[等式11]
e＝Tstc
[等式12]
在等式11中，Tst表示空时变换矩阵，并且c包括所有GOP的解码变换系数。
在等式12中，ei表示由与帧对应的误差值形成的误差向量。例如，在包括V个帧的GOP的误差的情况下，可以定义在这种情况下，误差向量e可以包括包含V个帧的所有GOP的所有误差值。
此外，表示第n个重建信号，并且y表示上下文信号。Rn表示使用en和y以便生成重建信号的非线性重建函数，并且Pn表示用于生成预测信号的非线性预测函数。
图10是图示空间域中的已知变换方法的图，并且图11是图示对GOP应用空时变换的方法的图。
根据图10，可以看到在现有的编译方法中，已经相对于I帧和P帧的误差值中的每一个独立地生成了空间域中的变换编译。
相比之下，在可以适用本发明的图11的情况下，还能够通过对I帧和P帧的误差值应用联合空时变换来改进编译效率。也就是说，如可以从等式12所看到的，能够更高效地对包括不平滑或不稳定信号的高质量的视频进行编译，因为联合空时变换的误差向量在重建信号时被用作循环结构。
图12是可以适用本发明的实施例并且是图示先进视频编译方法的示意流程图。
首先，当在步骤S1210处接收到原始视频信号时，在步骤S1220处编码器可以将原始视频信号与可用重建信号进行比较。并且，在步骤S1230处编码器可以基于比较的结果来确定校正信号。
在这种情况下，校正信号可以被确定来使失真分量和速率分量的和最小化。失真分量指示原始视频信号与校正信号之间的总失真，并且速率分量指示发送经变换编译的校正信号所需的比特数。为了确定校正信号，编码器可以执行解码模拟。
本发明还可以包括确定待用于信号重建的重建函数，并且重建函数包括线性分量和非线性分量中的至少一个。
并且，可以基于所有先前重建的样本和校正信号来确定重建函数。
然后，在步骤S1240处编码器可以生成待发送以用于信号重建的变换编译的校正信号。这里，经变换编译的校正信号可以乘以解量化矩阵和逆变换矩阵，并且其中，可以选择解量化矩阵以用于控制比特率和量化误差。
此外，经变换编译的校正信号可以对应于一组图片的校正信号，并且空时变换编译可能已被应用于校正信号。
根据本发明的实施例，解码器可以接收包括根据本发明所获得的变换编译的校正信号的比特流，可以通过熵解码单元来执行熵解码，可以通过解量化单元来执行解量化，并且可以通过逆变换单元来执行逆变换。解码器可以通过对经变换编译的校正信号执行逆变换来获得校正信号。
然后，解码器可以使用组合所获得的校正信号和上下文信号的重建函数来获得重建信号。这里，可以基于所有先前重建的样本来获得上下文信号。
此外，解码器可以确定待用于信号重建的重建函数，并且该重建函数可以包括线性分量和非线性分量中的至少一个。这里，可以基于所有先前重建的样本和校正信号来确定重建函数。
变换的编译的校正信号可以乘以解量化矩阵和逆变换矩阵。并且，变换的编译的校正信号可以对应于一组图片的校正信号，并且空时变换编译已被应用于校正信号。
图13至图17是可以适用本发明的实施例。
本发明定义了对用于媒体信号，比如音频、图像和视频的压缩的技术的改进。大多数的媒体压缩技术基于被称作预测编译和变换编译的两种方法，并且最多采用的，尤其用于视频编译的，是两者的特定组合，被称作混合编译，混合编译组合两者的一些优点而非全部优点，同时对它们的组合添加一些强的约束。
本发明基于预测编译和变换编译的新颖且先前未用的融合，这在更一般性技术中能够更好地集成它们的特性，并且允许更好地利用每种方法的优点。
图13示出包括预测编译、变换编译以及混合编译所需的所有组件的一般形式的媒体编译的图。
预测编译(或DPCM)是用于信号压缩的最基本工具中的一种，并且如果我们假定线性变换是恒等变换则对应于图0的图。它是基于利用相同信号的已经被编译的部分来预测信号分量，并且对预测值与实际值之间的数值差进行编译。它遵循能够更高效地对更准确预测的信号(或信号分量)进行压缩(即，用更少数目的比特表示)的信息理论。更好压缩是通过增加预测的一致性和准确性来获得的。
预测编译的主要特性是
·因为它基于因果统计关系，所以它能够利用短范围推断，并因此更适合处理不平滑且不稳定的信号；
·它能够被容易地扩展到先进的适应性形式，包括非线性预测，专门利用特定信号特性，比如图像边缘和视频运动。
·它在大规模处理信号特征时不是高效的。
·因为它对原始信号直接应用量化，所以它不能够完全地利用人类视觉和听觉系统的局限性。
在图12中，变换编译对应于预测恒等零的情况，并且线性变换与恒等式不同。通常，它是像离散余弦变换(DCT)或离散小波变换(DWT)这样的正交变换。变换编译按一组分量对信号进行分解，使得有可能标识哪些是最重要的。实际上，在量化之后，大多数的变换系数为零。
在变换编译的特性当中我们有：
·它需要在变换和编译之前按特定大小的块聚合信号样本。
·它能够利用大规模媒体特征，范围从平滑变化到音调分量和预测图像图案。
·当信号被分解到频带时，能够说明人类视觉和听觉系统在那些频率下的相对灵敏度。
·在变换域中应用量化使得更易于使其效应不太可感知，但是还能够在块边界中产生伪影。
如图12中的图中所示，组合预测编译和变换编译在概念上直截了当，目的旨在组合两者的优点，并且这样的组合被称作混合编译。
然而，有必要在将两种编译技术放在一起时小心。能够在各时间对单独的样本应用预测编译。实际上，用于预测的最强大方法具有递归结构，从而利用能够使用“最近”意义上的值来最好地预测信号值的事实。这意味着在预测值被编译之后，最好是它被立即用于预测其它值。
在混合编译中使用这种方法的问题是必须在应用变换之前对预测残差进行分组。因为未确切地恢复信号，所以递归预测能够产生误差的不断累积。
两个解决方案当前被用来解决这个问题。第一解决方案在两个正交(或独立)维度上使预测和变换分离。例如，在视频中常见的是沿着时间维度应用预测，而后是空间维度上的变换。第二解决方案是将预测仅基于已经被编译的块中的数据。这消除了误差传播的问题，但是迫使预测采用与块内的数据样本中的一些具有较小统计相关性的数据，从而使性能劣化。
本发明解决这个问题，从而消除对能够被用于进行预测的数据的约束，并且使得能实现真正地集成预测编译和变换编译的优点的一种混合编译形式。
：重建信号。重建信号被按字典序排序成n维向量。
y：最初可被编码器和解码器两者利用的上下文信号。上下文信号被按字典序排序成k维向量。
c：经解码的系数。经解码的系数被字典序排序成n维向量。c的分量(即，系数ci,i＝1,...,k)满足ci∈Ωi，其中Ωi表示一组离散值。Ωi通常通过适用于整数值的解量化过程来确定，例如，如在Ωi＝{…,-3Δi,-2Δi,-Δi,0,Δi,2Δi,3Δi,…}中的均匀量化重建值。这里，Δi是均匀量化器步长并对应于实数(例如，3.2675、7.001、0.0013等)。注意，每个系数能够具有指派给它的不同步长。向量υ的第i个分量由υi来表示。
给定经解码的系数c和上下文信号y，能够将最一般的重建信号形成为
[等式13]
其中R(c,y)，表示使用y和c来重建的非线性重建函数。
本发明公开了特定格式重建函数，其具有与当前解码器类似的复杂性但是允许给出基本上改进的压缩结果的先进重建实现。为了更好地理解以下细节，让我们首先考虑常规线性重建。
在线性情况下重建信号被形成为
[等式14]
其中F(n×n)、T(n×n)和H(n×n)是矩阵。
能够标识以下重要的专门化。
在传统DPCM中，
[等式15]
H是任意n×k矩阵，使得Hy是使用上下文信号的线性预测，并且T＝1(即，单位矩阵)，因为DPCM在无需应用变换的情况下对预测误差进行量化和编译。因此，在传统DPCM中重建采用以下形式：
[等式16]
另一方面在传统变换编译中，F＝1，H＝0，这导致
[等式17]
通常使用正交变换，使得T局限于正交的。
在传统变换编译(有时被称为混合编译)的变化中，来自上下文信号的预测被利用，使得
[等式18]
DPCM的优点是一个人能够(通过精心设计的F矩阵)利用非常先进的预测器，并且能够更容易地使DPCM一般化为强大的非线性预测器。其缺点是它不利用大规模依赖性，因为每个样本的预测误差被独立地编码。变换/混合编译另一方面能够利用大规模依赖性但是限于能够在线性的通常正交的变换情况下利用的仅那些依赖性。可利用的依赖性因此通常限于平滑且稳定信号。像我们将在下面看到那样，与现有工作不同，本发明提供用于在先进非线性预测器的帮助下适应于涉及不平滑且不稳定信号的大规模依赖性的技术。
集中于重建被形成的方式，这个工作能够被视为计算，
[等式19]
其中Ri是所指示的变量(图13)的非线性重建函数。
Ri例如可以是，
[等式20]
其中Pi是所指示的变量(图14)的非线性预测函数。
Pi例如可以是median函数(例如，)可以是多项式函数(例如，)，可以是级系滤波器(例如，)等。Pi还能够合并样本非线性的线性组合以及非线性组合。
观察到每个Pi可以是不同的非线性函数。在一个实施例中，一个人具有针对每个Pi的侯选函数的字典，并且先前重建的值和上下文信号被用来从这个字典中选择函数(图15)。这种选择例如能够通过选择遍及先前重建的值使[等式21]最小化的字典函数来完成。
在本发明中通过解决最小式来查找c(图16)
[等式21]
其中是原始信号及与其重建之间的失真的量度(例如，其中q＝0、0.1、1、1.2、2、2.74、7等)，并且R(c)是用来传送或者存储c的速率的量度(例如，用于使用诸如哈夫曼编译器或算术编译器的熵编译器来存储c的比特的数目、由诸如拉普拉斯或广义高斯概率模型的分析速率模型所预测的比特的数目其中r＝0、0.4、1、2、2.2等)。在[等式21]中，λ是权衡失真与速率的相对重要性的实数。λ能够被视为实施在经历速率约束下实现失真最小化的约束优化。它因此能够通过优化的公知技术来设置。[等式21]中的优化(实际上图16中的更新步骤)能够通过如所公开的技术在D(.,.)和R(.)的形式上通过非线性优化技术、通过基于梯度下降的优化技术并且在特定数学条件下来解决。
重要的是注意，预测器按先前重建的值来定义，并且c，即，驱动重建的主输入，如[等式19]中所示的那样被变换编译。因此，显然每个解码的系数ci影响整个重建，并且如[等式20]中所示，允许封装在向量e中的预测误差的长范围控制。应该了解的是，这与DPCM、变换编译、混合编译以及现有技术中的其它形式的技术很不同。特别地，[等式21]中的优化与现有技术相比基本上更精细。
在一个实施例中，不是重建而是本发明重建向量)，即与有关的一对一。这里g(.)表示一对一或可逆函数。这个一对一函数可以是的分量的简单再排序(例如，)，可能涉及可逆矩阵，使得重建最初在一些其它线性变换域中完成(例如，其中AA-1＝1)，或者可以是更一般的可逆非线性映射。一旦被重建，就通过来形成
在一个实施例中，重建被约束为线性的。本发明然后形成重建，
[等式22]
在一个实施方式中，矩阵S(n×n)被利用来决定c中具体化的量化误差，使得形成如下重建：
[等式23]
假定T表示信号的训练集。在一个实施例中使用以下最小化等式来选择S：
[等式24]
其中是如在(10)中那样获得的。在另一实施例中，遍及训练集联合优化F、S和H。令Λ＝{λ1,λ2,...,λL}表示给定整数L(例如，L＝1,2,13,174等)的约束乘子的目标集。联合优化通过利用在经由等式26形成的λ下的重建使等式25最小化而完成：
[等式25]
[等式26]
在图5中图示了编码器框图并且在图3中图示了解码器框图。
在本发明被遍及一组V个视频帧(或图片组，GOP)应用于视频信号的一个实施例中，V例如可以是1、2、10、15、30、1219等。
[等式27]
其中Tst对应于压缩中使用的空时变换，c包含用于整个GOP的经解码的变换系数，ei是通过对应于帧i的误差值所形成的向量，是包含整个GOP的误差值的向量，是第i个重建的视频帧，并且Pi封装针对帧i的运动补偿预测。与应用之后是独立空间变换的时间预测的传统混合视频压缩相比，这种技术能够被视为生成联合空时变换编译(图11与图12)
与DPCM这样的技术不同，对预测误差样本的统计依赖性被完全地利用，因为每个发送/解码的系数影响预测误差向量的全体。
与传统技术不同，本发明能够容易地利用非线性依赖性。
由于条件/形势预测而能够适应数个信号类别。
在无需边信息的情况下允许信号适应性解码器行为实现。
组合DPCP和变换编译的优点。
代替与利用统一非线性变换块的变换编译联接的线性和非线性预测编译。
用利用统一非线性变换块的变换编译代替混合编译(而后是变换编译的DPCM)。
与混合编译器相比导致较高质量预测和较小预测误差。
不经历量化误差传播问题，因为量化误差被完全地考虑并控制。
不经历将在一些开环DPCM/变换组合中遇到的编码器-解码器不对称。
在后验预测中允许量化误差的效果的更好控制实现。
允许先进空时视频压缩实现。
不妨碍例如先前的3D变换方法，因为经设计的空时变换编译在它本身内自动地具体化帧间和空间预测等。
视频数据的特性，诸如运动依赖性，空间边缘等，需要利用遍及运动轨迹和边缘的统计依赖性的复杂空时变换。这些变换非常难以设计。通过使DPCM与变换编译结合，CNT绕过这些问题并且实际上通过使用简单变换和预测器来设计这样的变换。
如上所述，可以适用本发明的解码器和编码器可以被包括在多媒体广播发送器/接收器中并且可以被用来对视频信号和数据信号进行解码。此外，多媒体广播发送器/接收器可以包括移动通信终端。
此外，可以适用本发明的解码/编码方法可以被以将由计算机执行的程序的形式产生并且可以被存储在计算机可读记录介质中。具有根据本发明的数据结构的多媒体数据还可以被存储在计算机可读记录媒体中。计算机可读记录媒体包括存储有可由计算机系统读取的数据的所有类型的存储装置。例如，计算机可读记录媒体可以包括BD、USB、ROM、RAM、CD-ROM、磁带、软盘以及光学数据存储装置。此外，计算机可读记录媒体包括以载波(例如，通过互联网的传输)的形式实现的媒体。此外，通过编码方法所生成的比特流可以被存储在计算机可读记录介质中或者可以通过有线/无线通信网络来发送。
工业适用性
已经出于说明性目的公开了本发明的示例性实施例，并且在所附权利要求中所公开的本发明的技术精神和范围内，本领域的技术人员可以改进、改变、代替或者添加各种其它实施例。

Claims (13)

1.一种对视频信号进行编码的方法，所述方法包括：
接收视频信号；
生成用于所述视频信号的第n个重建信号
其中，基于先前的重建信号和变换编译的校正信号通过等式来生成所述第n个重建信号其中e表示所述变换编译的校正信号，y表示上下文信号，并且Rn表示重建函数，其中所述上下文信号包括先前重建的像素或者先前重建的内编译像素中的至少一个，以及
其中，所述先前的重建信号指示通过基于每个像素中的先前重建的信号递归地执行重建过程而累积的信号；以及
基于所述第n个重建信号来确定优化变换系数，
其中，所述优化变换系数被确定来使失真分量和速率分量的和最小化，
其中，所述失真分量指示当前块与所述第n个重建信号之间的总失真，并且所述速率分量指示发送所述优化变换系数所需的比特的数目。
2.根据权利要求1所述的方法，进一步包括：
生成用于所述视频信号的预测矢量信号，
其中，基于所述上下文信号生成所述预测矢量信号。
3.根据权利要求2所述的方法，
其中，所述预测矢量信号是基于优化预测函数来确定的，
其中，所述优化预测函数是基于所述上下文信号从预定的候选预测函数中选择的。
4.根据权利要求3所述的方法，
其中，所述优化预测函数是非线性函数并且对所述预测矢量信号的每一个被不同地应用。
5.根据权利要求1所述的方法，
其中，所述优化变换系数对应于一组图片的残差矢量信号，并且空时变换编译已被应用于所述残差矢量信号。
6.一种对视频信号进行解码的方法，所述方法包括：
接收优化变换系数；
通过对所述变换编译的校正信号执行逆变换来获得残差矢量信号；以及
通过将所述残差矢量信号相加到预测矢量信号来重建所述视频信号，
其中，上下文信号包括先前重建的信号或者先前重建的内编译像素中的至少一个，并且
其中，所述先前的重建信号指示通过基于每个像素中的先前重建的信号递归地执行重建过程而累积的信号，
其中，所述优化变换系数被确定来使失真分量和速率分量的和最小化，
其中，所述失真分量指示当前块与重建的块之间的总失真，并且所述速率分量指示发送所述优化变换系数所需的比特的数目。
7.根据权利要求6所述的方法，
其中，所述预测矢量信号是基于优化预测函数来确定的，
其中，所述优化预测函数是基于所述上下文信号从预定的候选预测函数中选择的。
8.根据权利要求6所述的方法，
其中，所述优化变换系数对应于一组图片的所述残差矢量信号，并且空时变换编译已被应用于所述残差矢量信号。
9.一种对视频信号进行编码的设备，所述设备包括：
接收单元，所述接收单元被配置成接收视频信号；
优化单元，所述优化单元被配置成生成用于所述视频信号的第n个重建信号并且基于所述第n个重建信号来确定优化变换系数，
其中，基于先前的重建信号和变换编译的校正信号通过等式来生成所述第n个重建信号其中e表示所述变换编译的校正信号，y表示上下文信号，并且Rn表示重建函数，其中所述上下文信号包括先前重建的像素或者先前重建的内编译像素中的至少一个，
其中，所述先前的重建信号指示通过基于每个像素中的先前重建的信号递归地执行重建过程而累积的信号，
其中，所述优化变换系数被确定来使失真分量和速率分量的和最小化，并且
其中，所述失真分量指示当前块与所述第n个重建信号之间的总失真，并且所述速率分量指示发送所述优化变换系数所需的比特的数目。
10.根据权利要求9所述的设备，其中，所述优化单元进一步被配置成生成用于所述视频信号的预测矢量信号，
其中，基于所述上下文信号生成所述预测矢量信号。
11.根据权利要求9所述的设备，
其中，所述优化变换系数对应于一组图片的残差矢量信号，并且空时变换编译已被应用于所述残差矢量信号。
12.一种对视频信号进行解码的设备，所述设备包括：
接收单元，所述接收单元被配置成接收优化变换系数；
逆变换单元，所述逆变换单元被配置成通过对所述优化变换系数执行逆变换来获得残差矢量信号；以及
重建单元，所述重建单元被配置成通过将所述残差矢量信号相加到预测矢量信号来重建所述视频信号，
其中，基于上下文信号生成所述预测矢量信号，
其中，所述上下文信号包括先前重建的信号或者先前重建的内编译像素中的至少一个，以及
其中，所述先前的重建信号指示通过基于每个像素中的先前重建的信号递归地执行重建过程而累积的信号，
其中，所述优化变换系数被确定来使失真分量和速率分量的和最小化，
其中，所述失真分量指示当前块与重建的块之间的总失真，并且所述速率分量指示发送所述优化变换系数所需的比特的数目。
13.根据权利要求12所述的设备，
其中，所述优化变换系数对应于一组图片的所述残差矢量信号，并且空时变换编译已被应用于所述残差矢量信号。
CN201480055265.XA 2013-10-07 2014-10-07 对媒体信号进行编码和解码的方法及使用该方法的设备 Active CN105723708B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361887960P 2013-10-07 2013-10-07
US61/887,960 2013-10-07
PCT/IB2014/003150 WO2015068051A2 (en) 2013-10-07 2014-10-07 Method for encoding and decoding a media signal and apparatus using the same

Publications (2)

Publication Number Publication Date
CN105723708A CN105723708A (zh) 2016-06-29
CN105723708B true CN105723708B (zh) 2019-07-16

Family

ID=53042271

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480055265.XA Active CN105723708B (zh) 2013-10-07 2014-10-07 对媒体信号进行编码和解码的方法及使用该方法的设备

Country Status (6)

Country Link
US (1) US10469874B2 (zh)
EP (1) EP3056002A4 (zh)
JP (1) JP2016536859A (zh)
KR (1) KR20160065860A (zh)
CN (1) CN105723708B (zh)
WO (1) WO2015068051A2 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180054693A (ko) * 2015-10-13 2018-05-24 엘지전자 주식회사 비디오 신호의 인코딩, 디코딩 방법 및 그 장치
EP3364658A4 (en) * 2015-10-15 2019-07-03 LG Electronics Inc. METHOD AND DEVICE FOR CODING AND DECODING A VIDEO SIGNAL
CN107979378B (zh) * 2017-12-14 2022-09-02 深圳Tcl新技术有限公司 惯性数据压缩方法、服务器及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100542287C (zh) * 2003-06-27 2009-09-16 Nxp股份有限公司 用于手持设备的编码的方法
CN101790848A (zh) * 2007-06-29 2010-07-28 法国电信 分配给解码器的解码函数的选择
CN102595130A (zh) * 2011-01-06 2012-07-18 Kddi株式会社 图像编码装置和图像解码装置
CN103081463A (zh) * 2010-05-07 2013-05-01 韩国电子通信研究院 通过跳过编码来对图像进行编码和解码的设备及其方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10164594A (ja) * 1996-11-29 1998-06-19 Hitachi Ltd 動画像の圧縮符号化方法およびその装置
JP3395892B2 (ja) * 1999-05-06 2003-04-14 日本電気株式会社 動画像符号化装置
US7288529B2 (en) * 2003-04-24 2007-10-30 New York University ALK protein tyrosine kinase, cells and methods embodying and using same
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US20100019574A1 (en) * 2008-07-24 2010-01-28 John Baldassarre Energy management system for auxiliary power source
US8718135B2 (en) * 2008-09-19 2014-05-06 The Hong Kong University Of Science And Technology Method and system for transcoding based robust streaming of compressed video
JP5585982B2 (ja) * 2010-03-11 2014-09-10 中部電力株式会社 絶縁性高分子材料組成物
US20120017729A1 (en) * 2010-07-21 2012-01-26 Chih-Min Chang Wrench with ergonomic twisted handle
JP5781313B2 (ja) 2011-01-12 2015-09-16 株式会社Ｎｔｔドコモ 画像予測符号化方法、画像予測符号化装置、画像予測符号化プログラム、画像予測復号方法、画像予測復号装置及び画像予測復号プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100542287C (zh) * 2003-06-27 2009-09-16 Nxp股份有限公司 用于手持设备的编码的方法
CN101790848A (zh) * 2007-06-29 2010-07-28 法国电信 分配给解码器的解码函数的选择
CN103081463A (zh) * 2010-05-07 2013-05-01 韩国电子通信研究院 通过跳过编码来对图像进行编码和解码的设备及其方法
CN102595130A (zh) * 2011-01-06 2012-07-18 Kddi株式会社 图像编码装置和图像解码装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《Adaptive Linear Prediction for Block-based Lossy Image Coding》;Jianle Chen et al;《ICIP》;20091231;第2833-2836页

Also Published As

Publication number Publication date
KR20160065860A (ko) 2016-06-09
WO2015068051A3 (en) 2015-09-17
EP3056002A4 (en) 2017-03-22
WO2015068051A2 (en) 2015-05-14
JP2016536859A (ja) 2016-11-24
EP3056002A2 (en) 2016-08-17
CN105723708A (zh) 2016-06-29
US10469874B2 (en) 2019-11-05
US20160249067A1 (en) 2016-08-25

Similar Documents

Publication Publication Date Title
CN105325004B (zh) 基于用信号传输样点自适应偏移参数的视频编码方法和设备以及视频解码方法和设备
CN105532001B (zh) 用于使用基于深度的视差矢量对视频进行层间编码方法以及解码方法和设备
CN104854866B (zh) 下一代视频的内容自适应、特性补偿预测
CN104902272A (zh) 视频解码设备
CN104641640A (zh) 用于用信号传输sao参数的视频编码方法和视频编码设备以及视频解码方法和视频解码设备
CN105308966A (zh) 视频编码方法及其设备以及视频解码方法及其设备
CN104396252A (zh) 使用用于多视点视频预测的参考画面集的多视点视频编码方法及其装置、使用用于多视点视频预测的参考画面集的多视点视频解码方法及其装置
CN104012095A (zh) 使用根据按最大编码单元的像素分类的偏移调整的视频编码方法及其设备，和视频解码方法及其设备
CN105144713A (zh) 用于解码器设置的对视频进行编码的方法及其装置以及基于解码器设置对视频进行解码的方法及其装置
CN104365101A (zh) 用于确定用于帧间预测的参考图像的方法及设备
CN104813665A (zh) 用于对层间预测误差进行编码的sao补偿的方法和设备
CN105357539A (zh) 视频解码方法和视频解码设备
CN102939753A (zh) 用于通过根据像素组补偿像素值来对视频进行编码的方法和设备以及用于通过根据像素组补偿像素值来对视频进行解码的方法和设备
CN104604237A (zh) 依据块尺寸来确定帧间预测参考画面列表的用于对视频进行编码的方法和设备以及用于对视频进行解码的方法和设备
CN104365104A (zh) 用于基于树结构编码单元进行多视点视频编码的方法和设备以及用于基于树结构编码单元进行多视点视频解码的方法和设备
CN105684443B (zh) 屏幕图像编码方法及其装置和屏幕图像解码方法及其装置
CN105264894A (zh) 针对层间解码和编码方法以及设备的确定帧间预测候选的方法
CN104541510A (zh) 参考画面列表能够被改变的帧间预测方法及其设备
CN104396251A (zh) 使用用于多视点视频预测的参考列表对多视点视频进行编码的方法及其装置以及使用用于多视点视频预测的参考列表对多视点视频进行解码的方法及其装置
CN105340274A (zh) 深度图编码方法及其设备以及深度图解码方法及其设备
CN105325002A (zh) 使用视点合成预测的多视点视频编码方法及其设备以及多视点视频解码方法及其设备
CN105165011A (zh) 用于考虑存储器带宽和计算量的可伸缩视频编码的装置和方法以及用于可伸缩视频解码的装置和方法
CN107005710A (zh) 多视点图像编码/解码方法和装置
CN105723708B (zh) 对媒体信号进行编码和解码的方法及使用该方法的设备
CN105308970A (zh) 针对整数像素的位置对视频进行编码和解码的方法和设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant