CN1694389A - 用于多描述编码的可变支持健壮变换 - Google Patents

用于多描述编码的可变支持健壮变换 Download PDF

Info

Publication number
CN1694389A
CN1694389A CNA2005100686888A CN200510068688A CN1694389A CN 1694389 A CN1694389 A CN 1694389A CN A2005100686888 A CNA2005100686888 A CN A2005100686888A CN 200510068688 A CN200510068688 A CN 200510068688A CN 1694389 A CN1694389 A CN 1694389A
Authority
CN
China
Prior art keywords
description
data
rank
primary
transformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005100686888A
Other languages
English (en)
Other versions
CN1694391B (zh
Inventor
M·帕尼科尼
J·J·小卡里
Z·苗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Electronics Inc
Original Assignee
Sony Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Electronics Inc filed Critical Sony Electronics Inc
Publication of CN1694389A publication Critical patent/CN1694389A/zh
Application granted granted Critical
Publication of CN1694391B publication Critical patent/CN1694391B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/66Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving data partitioning, i.e. separation of data into packets or partitions according to importance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41Bandwidth or redundancy reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164Feedback from the receiver or from the transmission channel
    • H04N19/166Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/635Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by filter definition or implementation details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

多级变换在每个级别上使用描述生成操作和用于压紧的可变支持滤波器来生成包含表示源数据的压缩数据的描述。初始级别滤波源数据,并且随后的级别对前一个级别滤波的数据进行操作。在每个级别上的描述分配和滤波可以变化,以创建不同的用于多级变换的操作点。每个操作点可具有对应的误差恢复过程。在一个方面,误差恢复过程对与无错误描述数据组合的附加描述进行编码,以在丢失或损坏的描述中提供数据的误差恢复。在另一个方面,通过在不同级别上组合描述生成和可变支持滤波器来创建多级变换。

Description

用于多描述编码的可变支持健壮变换
发明领域
本发明一般地涉及时间相干数据的编码和解码,以及更具体地涉及用于该编码和解码的变换。
版权提示/许可
本专利文献的公开部分组化含受到版权保护的材料。版权所有人不反对复制再现该专利文献或专利公开的任何之一的如它显示于专利和商标局的专利文件或记录中的内容,但是保留其他所有的权利。下面的提示适用于以下描述并出现于附图中的软件和数据:CopyRight 2003,Sony Electronics,Inc,A11 Rights Reserved。
发明背景
沿通信链路传输大量的诸如图像或视频的时间相干数据通常要求编码源数据。编码通常使用变换来压缩源数据,变换诸如是小波变换或重叠的DCT(离散余弦变换)并产生表示源数据的系数。另外,编码对源数据进行子采样以创建多个也称为通道的流。每个流包含一组描述或分组,并且以较低的保真度表示整个原始源数据。源数据可在生成描述之前压缩,或者这些描述可在生成之后压缩。将一个或多个描述流通过链路传输到对应的解码器。生成描述的过程有时被称为描述生成或“分组化”。不应当将这里描述的分组/描述与根据诸如TCP/IP的特定网络传输协议准备的分组混淆。
因为通信链路不可靠,通常采用一些错误恢复技术来处理传输过程中的描述损失或破坏,由此提供稳定的传输。普通的恢复技术包括重新传输协议,纠错或通道编码以及插值恢复。重新传输引入延迟,因此不适合于实时应用。对于大量突发错误,纠错/通道编码不能以较低的位开销提供足够的保护能力。插值恢复技术根据邻近的可用数据恢复丢失的数据,但是当邻近的数据也错误时将受到限制。
多分辨率/分层传输方法发送的描述包含重要信息(即低通或定位(anchor)数据),其优先级别高于那些包含较少重要信息的描述。但是,因为描述/分组是随机损失的,并且网络不查看分组的内部来区别重要和不重要的分组,因此这种方式提供了有限的健壮性。
在更健壮的编码方法(MD)中,多个描述具有同等重要性。每个描述被独立地编码并且承载一些关于源数据的新信息。原则上,这些描述应当互补,使得所接收的任何数量的描述/分组可用于提供对源一定程度的重建。另外,MD方式支持更宽范围的应用,诸如没有优先权支持的网络。
传统上,描述生成和压缩过程被认为是分离的操作。操作的顺序及其每个的细节要求在编码数据的压缩与健壮性之间作出权衡。图1A和1B示出了压缩-健壮特性空间中的两个极点。
图1A的系统A100首先将源数据103分组化成描述105并接着将描述105变换成压缩的描述109。因此,系统A在描述边界内操作。因为系统A100涉及在时域中的描述生成(子采样),因此描述内的相关性较弱,即描述中相邻的象素对应于在原始域中远离的象素,导致较差的无误差压缩(31.34dB的无误差信噪比)。然而,错误模式是个别象素损失(参看模式109,反映了25%的描述损失),因而可采用时域插值恢复方法,比如分等级的LS(最小二乘)滤波器。因此,系统A100提供较差的无误差压缩,但误差传播在分组/描述损失中所占比例很小。
图1B的系统B120首先将源数据102变换成压缩形式的数据121并且将压缩的数据121分组化成压缩的描述129。因此,系统B操作穿过描述边界。因为系统B从整体上变换/滤波源数据,并且生成变换域中的描述,因而它提供高的无误差压缩(SNR 36.13),即因为高的象素相关性,变换/滤波是有效的。但是,处理错误模式是十分困难的(参看模式131)。存在强的局部误差孔(由于基本的定位变换数据的损失)和来自变换滤波器所支持的误差越过描述的扩散。根据描述损失进行误差恢复强依赖于通道编码。如果变换是重叠的块变换,则可以试图进行一些与变换重叠有关的恢复(在变换域中)。因此,系统B提供较好的无误差压缩,但误差传播在分组/描述损失中所占比例较大。
发明内容
多级变换在每个级别上使用描述生成操作和用于紧缩的可变支持滤波器来生成包含表示源数据的压缩数据的描述。初始级别滤波源数据,并且随后的级别对前一个级别滤波的数据进行操作。在每个级别上的描述分配和滤波可以变化,以创建不同的用于多级变换的操作点。每个操作点可具有对应的误差恢复过程。在一个方面,误差恢复过程对与无错误描述数据组合的附加描述进行编码,以在丢失或损坏的描述中提供数据的误差恢复。在另一个方面,通过在不同级别上组合描述生成和可变支持滤波器来创建多级变换。
本发明的描述与范围变化的系统、客户机、服务器、方法和机器可读媒体联系在一起。除了在发明内容部分中描述的本发明的这些方面,通过参考附图和阅读下面的详细描述,本发明的其他方面将变得很清楚。
附图简介
图1A和1B说明了现有技术的编码系统和所得的错误模式;
图1C说明了一种编码系统和由根据本发明的变换的一个实施例产生的所得的错误模式;
图2A是说明编码的数据传输的系统级概观的图示;
图2B是说明在图2A中所示的编码器的一个实施例的流程图;
图2C是说明在图2A中所示的解码器的一个实施例的流程图;
图2D是说明由图2B的编码器任选执行的恢复编码的一个实施例的流程图;
图2E是说明由图2C的解码器任选执行的误差恢复的一个实施例的流程图;
图3A-G是说明变换的可替换实施例的处理的流程图;
图4是说明在描述本发明的实施例中使用的符号的图示;
图5A-C是说明变换的进一步可替换实施例的处理的流程图;
图6A是适合于实施本发明的操作环境的一个实施例的图示;
图6B是适用于图6A的操作环境的计算机系统的一个实施例的图示。
本发明的详细描述
在下面对本发明的实施例的详细描述中,参考了附图,其中类似的附图标记指示类似的元素,并且其中通过说明在本发明中实施的特定实施例的方式来进行图示。对这些实施例作了充分的描述,以使得本发明的技术人员可以实施本发明,并且可以理解,可以利用其他的实施例,以及可以作出逻辑的、数学的、电子的、功能的和其他方式的改变而不偏离本发明的范围。因此,以下的详细描述不具有限定的意义,并且本发明的范围只由所附的权利要求限定。
图1C说明了一种多级可变支持健壮(VSR)变换,它将压缩和描述生成操作合并到单个变换中以产生落在压缩-健壮特性空间中的系统A和系统B编码数据之间的编码数据。压缩源数据的滤波器在变换的每个级别上具有在描述边界内或穿过描述边界的可变支持,并且在变换的不同级别上可以不同。在每个级别上的滤波器(可以是去相关或相关特性)的特征在于它们的可变象素支持(即滤波器可选择作用的象素/数据)并且因而链接到描述生成。在每个级别上的滤波与描述生成的链接使得能够创建更宽等级的中间系统,它产生的数据体现了压缩性和健壮性之间不同的权衡,在这里也称为VSR变换的“操作点”。每个中间系统与专门用于压缩和错误模式的特性恢复方法耦合。例如,用于VSR变换141的操作点的一个实施例提供相当好的无误差压缩(SNR 34.93)和类似于系统A的错误模式(参看模式145)。变换141在所有级别上使用多级提升滤波器,并且在每个级别将可变支持滤波(用于压缩)和描述生成链接到一起。对于来自描述损失的恢复,使用在多个中间逆变换级别之后的自适应时域插值与通道编码形式的组合。
图2A说明根据本发明的一个实施例的使用编码和解码的传输系统200。编码器203编码源数据201,并且通过以网络205所示的通信链路传输源数据201。结合图2B更详细地描述编码器203。解码器207将接收的编码数据解码成输出数据209。结合图2C更详细地描述解码器207。在传输期间的描述损失产生了输出数据209中的误差。因此,编码器203和解码器207可以包含结合图2D和2E作进一步描述的误差恢复技术。编码器203和/或解码器207可在如下结合图6B作进一步描述的通用计算机系统或特别被配置成执行这里所描述的功能的设备中实现。通信链路可以是公共或专用连接,并且连接可以是如下进一步结合图6A描述的客户机-服务器的或对等的架构。
如图2B中说明的,编码器203包含了多级VSR编码变换220和可选的恢复编码229的实施例。在编码级别1221,滤波源数据201以将其压缩。滤波还产生分组化成一组中间描述的预测值数据。压缩的数据从级别1221传递到级别2223,在这里它被滤波并且对应的预测值数据被分组化成另一组中间描述。过程遍历预定数量的N个级别,使级别N225输出一组包含压紧的数据和来自级别N225的预测值数据的最终描述,以及来自前面级别的中间描述。作为标准的实施方式,在传输之前最终描述被速率编码227到编码描述231。
图2C中所示的解码器207包含了对应于编码器203的编码级别的解码级别,以产生输出数据209。解码器接收编码描述231,将其组合成图像,并且每个解码级别N235、级别2239和级别1241将VSR编码变换的对应级别的反演(inverse)应用到传递给它的分组中的数据。
现在转到图2D,如果编码器203包括可选的恢复编码229,则速率编码227以初级速率编码最终描述,产生“初级”描述250。对于每个初级描述250,恢复编码229假设描述的损失(方框251),并且当初级描述在变换220的N个级别中的M个之后出现时,在其中构建数据的自适应插值(方框252)。例如,如果变换220包含了5个级别,N=5,那么恢复编码229可以构建前两个级别(M=2)之后的初级描述的自适应插值。恢复编码229生成用于插值估计的误差信号(方框225),它以次级速率编码该误差信号(方框257),以产生“次级”描述252。每个次级描述252对应于一个特定的初级描述220。另外在方框255,可以使用对应于初级的预测值数据来降低插值误差幅度,从而减少次级编码。交织过程259将初级和次级描述组合成交织描述254。每个交织描述包含一个初级描述和对应于不同初级描述的一个次级描述。在图2D所示的一个实施例中,交织描述254包含对应于下一个初级描述的次级描述,并且最后的交织描述包含对应于第一个(0)初级描述的次级描述。可以考虑其他交织方案并且这都是在本发明的范围之内。接着所得的交织描述254作为数据流传输。下面进一步详细描述用于特定操作点的恢复。
为了从交织描述254传输的误差中恢复,在图2C中方框223处,解码器207从交织描述提取初级描述220并且将它们组合成图像。通过N-M个解码级别来处理数据,并且将其发送到误差恢复过程237。如图2E所示,误差恢复过程237在M个逆变换级别之后接收描述数据(方框260),将接收到的基于对应于损失/错误的初级描述的预测值数据应用到幅度插值估计(方框261)和将自适应插值滤波器(方框263)应用到接收的初级描述数据,以根据损失/错误的初级描述构建对数据的估计。对应于错误的初级描述符的次级描述符数据265与方框263的输出组合,以产生恢复的描述数据262。恢复的描述数据262被发送到下一个解码级别。可以理解,M的值与图2B的恢复编码229使用的对应值相同。图2C如上述例子中那样说明当M=2时的过程。
实际上,图2B-E中说明的过程可构成一个或多个由机器可执行指令组成的程序。参考图2B-E描述的过程使本领域的技术人员开发出这样的程序,该程序包括这样的指令,使得在合适配置的机器(执行来自机器可读媒体的指令的处理器)上执行由逻辑框表示的操作(动作)。机器可执行指令可以用程序设计语言写成或可以在固件逻辑中或在硬件电路中实现。如果用符合公认标准的程序设计语言写成,这样的指令可以在各种硬件平台上执行并且可以用于各种操作系统的接口。另外,没有参考特定程序设计语言来描述本发明。可以理解,各种程序设计语言可用于实现如这里所述的本发明的教导。另外,在本领域中谈及的各种形式(例如,程序、过程、进程、应用、模块、逻辑...)比如作出动作或产生结果的软件都是常识。这样的表述仅仅是叙述由机器执行软件而引起机器的处理器执行动作或产生结果的简写方式。可以进一步理解,更多或更少的过程可以被合并到如图2B-E说明的过程,而不偏离本发明的范围,并且在这里所示和所述的逻辑框的排列并不暗指任何的顺序。
可变支持健壮变换组合了描述生成和压缩操作,并且因而能够生成新的中间系统,其在无误差压缩和对分组损失的恢复之间作出更好的折衷。相对于VSR变换,还可以为新的中间系统开发对应的新的恢复。一般而言,对应的恢复组合了如上所述的自适应插值和次级描述编码。下面描述由VSR变换和对应的恢复算法的实施例生成的特定的系统。
参考如示例的源数据那样的图像象素,图3A-G说明VSR变换的一般结构和处理。在图3A-B中所示的变换具有三个级别,并在每个级别上应用低通和高通滤波。首先执行低通,以及基于低通数据生成高通,就如提升方案中的标准那样,即预测在后的标准更新。在每个级别,对来自前一个级别的低通数据重复滤波操作,以形成传统的小波分解。这种类型的低通和高通滤波是周知的,并且仅仅是用于说明而非限制本发明的。每个输出描述包括在VSR变换的最后级别上的低通数据和在每个级别上的对应的高通数据。为了简化说明,在图3B、3D和3F中,只显示一些例子的数据支持(连接数据的线条/箭头),并且只示出四个由操作点生成的描述。用实线显示低通支持,用虚线显示高通支持。用实心的圆圈说明得到的低通数据,并用空心圆圈说明高通数据。
为了简洁,首先参考图3A描述三级变换的一个实施例的每个级别上的滤波,并将其与图3B中描述生成的实施例组合以产生操作点,该操作点从滤波支持和描述生成的观点来看与图1B的系统B类似。图3C说明因损失由图3B生成的描述而得到的错误模型。图3D说明VSR变换的实施例的操作点的处理,该VSR变换产生类似于图1A的系统A的输出;图3E说明由描述损失而得到的错误模型。可以理解,在图3B和3D中说明的操作点只是VSR变换的实施例的两个特定例子。图3F说明VSR变换的又另一个实施例的操作点的处理,该VSR变换以压缩-健壮方式产生到图3B和3D的操作点的输出中间体;图3G说明对应的错误模式。
从图3A开始,在级别1的第一个低通数据点使用来自先前级别的两个数据点(数据0和1)(注意到对于级别1,前一个级别是原始的或者源数据象素)。这种类型的低通操作涉及来自先前级别的两个数据点,假设它们有相等的权重(即1/2,1/2的平均值)。类似地,在给定级别的高通数据涉及预测值滤波器,其由来自相同级别的低通数据支持。高通数据是来自前一个级别的数据点和该数据点的预测之间的差值。该差值通常是小信号(即残余值)。预测值滤波器越好,高通数据越小。例如,在级别1处的第一高通滤波器是数据点1(来自前一个级别的象素)和预测值滤波器之间的差值。在本例中,预测值使用相邻的两个低通数据点。对所有的象素重复这种类型的过程。在级别1之后,对来自前一个级别的低通滤波器重复相同的过程。
在图3B所示的VSR变换的实施例中,就象系统B在变换之后生成描述一样,低通和高通滤波操作不考虑描述边界。因此,相邻的象素数据总是用于滤波(这对于压缩十分有利),并且用于高通数据的描述生成在每个级别上是简单排序的。低通总是使用来自前一个级别的两个相邻的数据,并且高通(用虚线示出的一个例子)使用三个相邻的用于预测值的低通数据点。因为是使用相邻的象素数据完成滤波,而不考虑任何描述边界,所以对于单个描述损失,存在强的误差传播。
图3C显示因损失描述0而引起的错误模式。加黑的交叉/星型符号指明来自描述0的直接损失。注意到,该直接损失是位于描述0内所有的高通数据,以及位于描述0的低通(处于最后的级别)数据。当反演变换(变换的反演从最后的级别开始并上行到级别1,抵消了高通或低通操作)时,直接损失向上传播到原始的时域。用加亮的符号(空心星型)表示的传播损失来自低通数据的支持;还存在更小的来自高通数据的“软”损失(未示出)。在原始域中占优势的错误模式来自该传播的低通损失。在图3C中说明了在时域中的损失涉及8个连续损坏的象素(对于通常的五级变换是32个)。使用时域中的插值方法很难恢复这种类型的错误模式。
现在考虑生成时域中的描述的图3D的VSR变换的实施例,并且如系统那样,变换中的滤波器仅在每个描述中操作。再次,假设有4个描述,首先将原始数据中的每第四个象素(沿着行的方向)分配给其中之一的描述(分组化),并且对每个描述执行滤波。因此,低通和高通滤波涉及被4个象素分离的数据点,这导致较差的压缩性。但是,如图3E所示,例如由于损失描述0所得的误差损失模式是时域中的子采样的损失模式,例如每第四个象素被损坏。因为低通滤波器跳过三个数据点,传播的损失将总具有在损坏的数据之间可用的(无错误的)数据。因此使用基于可用相邻数据的方法(诸如时域中的插值)使这个操作点具有非常好的恢复潜力。
图3B和3D的操作点可以在变换的所有级别上被看作具有特定的和固定的滤波支持以及描述分配。然而,每个级别上的低通和高通阶段的滤波器支持以及描述分配可以变化,以生成具有不同误差损失模式和无误差压缩的系统。在图3F中说明的VSR变换的实施例涉及跳过一个象素(或描述)的滤波。并且,由实线显示低通滤波器支持,并且用虚线显示预测值(高通)滤波器支持,并且两者都跳过一个数据点。图3G显示从VSR变换的该特定实施例得到(占优势)的误差损失模型。因为低通跳过一个数据点,传播的低通损失导致在时域中的错误模式,该模式没有系统A那么有利,但是比系统B要有利得多。类似地,因为滤波只跳过一个象素,压缩性能要比系统B差一些,但是比系统A好得多。
因此,VSR变换使与描述边界有关的滤波器支持变化,并且为高通数据在每个级别包含描述分配。虽然已经使用如源数据那样的图像在图3A-G描述了VSR变换,本领域的技术人员将容易地理解,本发明可应用于其他类型的时间相干数据。
现在描述VSR变换的数学细节。假设一个VSR变换具有两个输出的实施例;一个输出是由于更新或低通阶段,而另一个输出是由于预测值或高通阶段。两个输出滤波器还可是相关变换的类型,在这种情况下,更新和预测值可以不对应于低通和高通数据。滤波过程的两个输出还可被称为输出1和2,并且还可分别被称为更新(低通)和预测值(高通)。只描述了VSR变换的单个级别。对于多级的情况,相同的过程被应用于来自第一级别的低通数据。原始数据可被表示为xi、变换的输出1表示为yi,以及输出2表示为zi。2个输出的变换的形式为:
输出1(即是,更新) y i = Σ j L ij x j - - - ( 1 )
其中Lij是低通模型/滤波器参数。
输出2(即是,预测值) z ^ i = Σ j f j y j - - - ( 2 )
其中fi是预测值模型/滤波器系数。在输出是高通数据的情况下,由多项式插值确定滤波器系数;那么 是zi的估计。那么根据差值: 形成高通数据。
用于给定级别的VSR变换的符号和结构按如下所示。定义
t i = Σ j A ij x j - - - ( 3 )
以将输入数据分离成两个数据集合:第一集合是输出yi以及第二集合是估计的数据(用于预测值级别)zi。上述变换处于提升变换的分离和更新阶段。A滤波器的输出具有ti-even=yi,ti-odd=zi。Aij的偶数行是参数Lij奇数行只指示用于第二输出(高通)的数据集合。滤波器矩阵A通常被定义用于整个系统的大小,并且在端部具有合适的边界限制。也就是,一般也作为重叠滤波器的更新滤波器,即并不局限于像普通(1/2,1/2)更新的块类型。将每个级别的变换的描述分配映射定义为
pn=PM(ti)
pn∈0,1,2...描述的编号    (4)
其中PM将数据点ti映射到描述编号(例如对于沿着行具有4个描述的行变换为0到3)。在变换只对更新数据进行迭代的情况下,描述指数确定对变换的每个级别上的高通数据的描述分配。在该情况下,除了在最后的级别,用于更新数据的描述分配映射是多余的。
现在考虑用多项式插值生成预测的数据的情况。对于残余量生成,采用该结构十分自然,其经由多项式的阶数灵活地将非线性和自适应融合在一起。对于多项式插值,使用
x i = Σ k n ik a k - - - ( 5 )
其中ak是多项式系数,以及nik=|i|k(将基准作为原点,i=0)。根据多项式插值确定滤波器参数{fj},所根据的等式如下:
t ^ i = Σ j f j y 2 j - - - ( 6 )
其中
Figure A20051006868800203
是t的估计,并且高通数据变为 这个等式变成(使用等式3,和如图4所示的符号)
Σ k A ik | k | j = Σ j f j Σ k A 2 jk | k | j - - - ( 7 )
给出矩阵A,解上面的等式求出滤波器系数{fj}。这是等式的nxn系统:l=0,1...n-1,其中(例如5阶多项式的)指数j的范围是:
j = - n - 1 2 , - n - 3 2 , . . . , 0 , . . . , n - 3 2 , n - 1 2 其中n是多项式的阶数。指数j遍历低通数据点y2j,并且以上的固定(奇数)指数i指的是预测点(即zi)的指数。指数j是低通数据上的滤波器的作用点,其相对中心点(预测在这里发生)而言。低通数据是偶数编号的指数。图4说明了在坐标原点作预测的5阶多项式的符号。{jc}指的是指数特定的排序/操作。这定义了预测值的支持。例如,下列三个实施例是可能的。注意到,对于单级VSN变换,跳过一个象素就像跳过一个描述。
穿过所有描述的预测:假设5阶多项式,指数j具有范围jc1=-2,-1,0,1,2。这类似于系统B。
描述内的预测:对于四个描述(沿每个方向两个),指数j将具有范围jc2=-4,-2,0,2,4(即,沿着每个方向跳过一个描述)。对于16个描述,指数j将具有范围jc3=-8,-4,0,4,8(即,沿着每个方向跳过3个象素/描述)。这类似于系统A。
●与 描述分配有关的选择性预测:具有例如16个描述的中间状态,指数j具有范围jc3=-4,-2,0,2,4。在该情况下,为预测跳过每隔一个的象素/描述。
对上述变换系数(即A矩阵)的限制是A是可逆的。矩阵A对于下列特定的情况总是可逆的:
●对于奇数行i:除了一列之外,Aik是0(以指明高通数据的位置);和
●对于偶数行i:除了所考虑的更新象素的一些指数以及i为奇数时Ai,k取值非零的其它列k(即,高通数据)之外,Aik是0。因为上面的多项式预测值仅是更新数据的函数,因此上面的矩阵A的条件简而言之就是在提升变换中通常的更新步骤所需的情形。
还期望具有线性相位限制。上面的等式7可以被写成:
X l = Σ { j c } f j c Y 2 j c l - - - ( 8 )
其中 Y 2 jl = Σ k A 2 jk | k | l X l = Σ k A lk | k | l . 对k的求和是对上面图4所示的原始数据指数点进行的。线性相位限制的条件为:
Σ l , k A lk ( Y 2 jl - + Y - 2 jl - ) | k | l = 0 - - j = 0,1 , . . n - 1 2 - - - ( 9 )
对于根据上面的变换(等式8)生成的任何状态,该条件不总是满足。在通常当对于奇数i,Aik=δik的情况下(即,其中预测点正好是来自原始数据的子抽样点),那么限制变为 Σ l ( Y 2 jt - + Y - 2 jt - ) = 0 . 先前描述的具有多项式预测的相邻(1/2,1/2)更新满足该线性相位限制。
综上所述,VSR变换具有下列特征。对于固定的描述编号,变换的特征在于:
●包含在A中的低通滤波器参数(偶数行是更新/低通阶段)。这些参数确定占优势(低通)误差损失的扩展,并且确定该误差是否包含在描述内或穿过描述。
●描述分配发生在变换的每个级别上。
●集合{jc}规定了与描述分配相关的预测值的范围或支持。这控制了(软)误差是否在描述边界内或穿过描述边界扩展。
●多项式滤波器的阶数。这可以很容易地在局部变化,以提高预测值(即压紧),或控制误差传播(即,非常短的滤波器具有较小的误差扩展,较长的滤波器具有更好的预测,但如果损失了描述,则具有更大的误差扩展)。
上面示出的数学分析是针对单个级别的。多级变换对低通数据重复该过程。在每个级别上,可变支持变换的所有特性(即,描述分配、平均化和高通滤波器的支持、插值器的阶数)可以变化。还可以合并这些参数的自适应性,例如在一些无误差压缩性和健壮性联合测量中使参数自适应到描述/分组损失的情况。可以自动地生成和测试参数的各种组合,以产生满足所定义的联合测量的操作点。虽然没有在这里说明在处理器上执行自动生成和测试的方法,但这可以容易地被本领域的技术人员理解和重现。
现在根据单级VSR变换,描述用于16个描述情况的示例系统。该过程的特征在于预测值支持{jc}和矩阵A(包含低通滤波器的支持和为高通阶段估计的数据)。随后,描述通过组合以下的示例情况为5个级别的VSR变换而创建的不同系统。注意到,如上所解释的那样,对于单级变换,跳过低通(更新)或高通(预测值)滤波器支持中的一个象素与跳过一个描述相同。
情况1涉及跳过三个描述的预测点,即jc=...-8,-4,0,4,8...。更新涉及隔开4个象素/描述的点的平均值。表1说明了滤波器矩阵A。因为滤波器的支持完全包含在单个描述之内,该系统展示了良好的健壮性,但压缩性较差。该情况被称为系统A。
     k=-8    -7    -6      -5        -4      -3   -2      -1      0       1       2       3      4        5      6      7
0.5 0.5
1
0.5 0.5
1
0.5 0.5
1
0.5 0.5
1
-4-3-2-1i=0123
表1
情况2是在相邻数据上完成的更新和预测值,即jc=...-2,-1,0,1,2...(预测涉及每个点),并且矩阵A具有如表2所示的形式。该系统涉及穿过描述边界的扩展的预测和更新滤波器,并因而具有良好的压缩性,但误差传播较强。该情况被称为系统B。
     k=-8   -7      -6       -5    -4      -3     -2      -1       0      1       2       3        4      5        6      7
0.5 0.5
1
0.5 0.5
1
0.5 0.5
1
0.5 0.5
1
-4-3-2-1i=0123
表2
在称为系统C的情况3中,jc=0...-4,-2,0,2,4...,因此使用每个其它描述(即,跳过一个描述)来完成预测,并且更新/低通穿过具有相等权重的描述扩展(但跳过一个描述)。矩阵A具有如表3所示的形式。在压缩-健壮特性空间中,这是落在系统A和B之间的中间系统。
     k=-8    -7    -6       -5     -4      -3      -2     -1       0      1       2       3         4       5      6       7
0.5 0.5
1
0.5 0.5
1
0.5 0.5
1
0.5 0.5
1
-4-3-2-1i=0123
表3
也称为系统D的情况4具有jc=...-2,-1,0,1,2...,使得穿过描述(包括的每个描述)完成预测,并且更新穿过描述扩展(但跳过一个描述)。矩阵A具有如表4所示的形式。对于中间系统,预测和更新需要更小心地相互调整。在本例中,不相等的权重0.75/0.25被用于更均匀地扩展低通数据点,并且产生更对称的预测滤波器(但不是线性相位)。
     k=-8    -7      -6     -5     -4      -3      -2      -1      0       1      2       3         4      5       6      7
.75 .25
1
.25 .75
1
.75 .25
1
.25 .75
1
-4-3-2-1i=0123
表4
也称为系统E的情况5具有jc=...-4,-2,0,2,4...,使得预测跳过1个描述,并且更新穿过描述。矩阵A具有如表5所示的形式。通过使预测跳过每个其它的描述,或多或少地包含了误差扩展,以便允许能够更好地恢复。
     k=-8    -7     -6      -5     -4      -3      -2      -1      0      1       2       3        4      5       6       7
0.5 0.5
1
0.5 0.5
1
0.5 0.5
1
0.5 0.5
1
-4-3-2-1i=0123
表5
也称为系统F的情况6使用jc=...-4,-2,0,2,4...,使得使用每个其它描述(跳过一个描述)完成预测,并且更新是穿过具有相等权重的描述而扩展的重叠滤波器。在表6中说明矩阵A。在该情况下,无误差压缩性要差于使用(0.5,0.5)更新的情形(如情况2),但是更新的重叠性质可以改善丢失的低通数据的插值。
     k=-8    -7     -6      -5      -4     -3      -2      -1      0      1        2       3        4      5       6      7
.25 0.5 .25
1
.25 0.5 .25
1
.25 0.5 .25
1
.25 .5 .25
1
-4-3-2-1i=0123
表6
将上述系统标记为A,B,C,D突出了更新(低通)滤波器的支持和预测值(用于高通)滤波器的支持的特性。通过在VSR变换的每个级别上使滤波器的支持变化(此外描述分配和多项式阶数也可以变化),可以生成更好地权衡了压缩性和健壮性的不同的中间系统。可以通过改变多级VSR变换的各个级别上的处理来组合上述的单级A,B,C,D和E系统,以形成各种系统。5个使用5级VSR变换的示例系统的无误差SNR(信噪比)在下表中示出,并且与只合并了系统A和系统B类型的级别的5级VSR变换的无误差SNR比较。该SNR结果基于为16个描述-以0.5bpp(位/象素)的编码速率变换如图1A-C所示的图片。
 1   B
 2   B
 3   C
 4   A
 5   A
  1   B
  2   B
  3   A
  4   A
  5   A
  1   B
  2   E
  3   A
  4   A
  5   A
  1   D
  2   D
  3   C
  4   C
  5   C
  1   E
  2   E
  3   A
  4   A
  5   A
  1   D
  2   D
  3   A
  4   A
  5   A
     34.92            34.39              33.36             32.50           32.19           31.39
  1   A
  2   A
3 A
  4   A
  5   A
  1   B
  2   B
  3   B
  4   B
  5   B
  26.46             35.80
  系统A             系统B
以上显示的第一张表表示的操作点BBCCAA提供良好的压缩性和错误模式(恢复潜力)。现借助图5A-C描述5级BBCAA操作点的对应恢复编码,其具有良好的无误差压缩性(34.92)和恢复描述损失的潜力。BBCAA参考点的特征在于:
1.在变换的前两个级别,滤波(低通和高通)穿过描述边界进行操作(如系统B)。
2.在之后的变换级别中,滤波器的支持跳过象素位置/描述,以包含误差扩展并只用描述进行操作。
3.在级别3,使用了更新(低通),就某种意义而言,由于更新/低通阶段和预测值跳过单个描述,即以上的系统C,因此是中间的更新。
4.在变换的高级别上,多项式滤波器的阶数较小(1或3),因此预测值基本上都包含在描述边界内。在变换的前两个级别,滤波器更长(7个抽头)并且穿过描述扩展。
5.在级别2,赋予高通数据的描述分配偏移低通数据的描述分配。
首先参考图5A,其示出了BBCAA系统,该系统在水平方向上有4个描述/分组。在如图3A-F中的每个级别上,连接数据点的线条指明低通滤波。为了简明,没有示出用于高通滤波器的滤波支持。注意到,前两个级别使用基于相邻数据的更新/低通,即更新不跳过任何描述。这是系统B的图3B所示的处理。在第三级别上,更新跳过一个低通数据点,实际上如先前系统C描述并在图3E中说明的那样跳过一个描述。在最后两个级别,更新跳过低通数据点,即所有的滤波都在系统A(图3D)那样的描述内完成。注意到,在图5A中仅部分地说明第五级别。
在图5B中示出了对应的占优势的误差损失模式。考虑单个描述损失(描述0)。对于BBCAA操作点的变换就是在中间级别(在级别2上的低通数据)的变换,损失模式是基于象素的,从而对于每个损坏的低通数据,总存在一些可用的无误差相邻数据。相邻数据是无误差的原因有(1)对于级别4和5,所有滤波在描述之内(因此,当在解码期间使级别4和5反演时,绝对没有穿过描述的误差的扩展),和(2)对于级别3,如系统C中那样,低通跳过一个描述。另外,级别3的预测值是非常短的,因此当使级别3和2反演时,不存在从级别3到2的误差扩展。当反演变换时,从级别2到1出现强误差扩展,并且再次从级别1扩展到原始域。这是因为在变换的前两个级别中,所有滤波是如系统B那样穿过描述边界进行操作的。图5B顶上一行示出在时域中最后的占优势的损失模式。
在BBCAA变换的误差传播的特性给定后,良好恢复的关键在于在级别2,即是在解码期间变换的三个反演级别之后恢复低通数据。如上所述,在级别2的误差损失模式是基于象素的,即相邻象素数据是可用的,因而一些插值恢复方法是适合的。如果可精确地对该数据插值,那么在原始域中误差的残留影响仅仅是在级别1和2上的高通损失,这是十分小的影响。并且注意到如图5C所示,级别2的高通数据的描述分配相对级别 1偏移。该偏移允许使用高通信息,其对应于在恢复其本身中损失的低通数据。假设单个描述/分组损失,偏移的高通损失将不那么容易察觉,因为对应的低通数据属于另一个描述。
用于BBCAA变换的特定的恢复算法使用将中间级别的低通数据(在图5A中级别2的低通数据)插值的自适应插值。即是,在变换的三个反演之后,对上述基于象素的丢失数据插值。插值使用用于恢复的三个种类的其中一个。三个种类是U、H、V(均匀的、水平的和垂直的)。换句话说,插值使用最近相邻的可用无误差数据,例如:U=(1/4,1/4,1/4,1/4),H=(1/2,1/2)和V=(1/2,1/2)。这将在下面作进一步的解释。可使用更复杂的分类。在解码期间的BBCAA变换的三个反演之后,该自适应插值生成用于丢失的低通数据的插值误差。
以更小的速率编码插值误差估计,即是在真实数据和插值的数据之间的差值。用相邻的初级描述封装这个次级类型编码(次级描述),因此该次级类型编码可为假设非连续描述/分组损失的解码器所用。这是一种通道编码。
如上所述,参考图5A,偏移级别2上的高通的描述分配,使得对应于丢失的低通数据的高通数据可用。其可用于估计插值的误差幅度。滤波器以对应于图5C所示的丢失的低通数据的高通数据为中心。滤波器可以是LS(最小二乘)滤波器,其以插值误差的真实幅度为样本进行训练;LS滤波器还可以使用一些类型。自然而然会预见到插值误差与高通数据的某些相关性,因为这些系数自身是从基于低通数据的线性估计量/插值量而形成的。假设可使用可用的高通数据来降低插值误差的幅度,那么次级编码将实质上仅涉及插值误差的符号,导致较小的编码信息量。
再次参考图2B-E,描述用于从BBCAA系统恢复损失的描述的经过编码器和解码器的数据流。从图2B和2D开始,编码器接收输入图像,并且应用VSR变换220来生成操作点BBCAA。以某个初级速率编码描述(方框227)。对于每个描述,假设编码器在传输方框251中有损失,并且对于损失的描述,它执行恢复方法,该方法将逆变换的最后三个级别应用到编码数据,并采用自适应插值,从而在级别2恢复丢失的定位(低通)数据(方框253)。在方框255处构建对应于损失的描述的定位数据的插值误差信号。插值误差信号是实际(无误差)数据减去插值的数据。通过将滤波器作用于最近的可用高通数据上可进一步减少误差信号的幅度。在方框257,以某个更小速率编码最后的误差信号(更小的信息的描述/分组),以产生次级描述。在方框259,对于向解码器的传输,利用初级描述相邻的描述对用于给定描述的次级描述进行分组。因此,对于给定的单个描述损失的条件,用于该损失的误差信号对于解码器可用。
转到图2C和2E,解码器接收分组流,即多个描述231,并将初级描述组合成完整大小的图像(方框233)。为三个级别应用反演变换,即是将5反演到4、4到3以及3到2。在方框237,解码器执行对丢失的定位数据的估计。随后是与编码器相同的过程。在方框261估计幅度,并且在方框263应用基于相同的量化数据和种类的自适应插值。对丢失数据的估计与接收的次级编码265组合267,次级编码包含误差信号的编码。应用剩余的两个反演的变换级别(方框291和方框241)。
上述的恢复过程的特定实施例被配置成优化利用自适应插值与某些形式通道编码的组合(误差信号的次级编码),以综合两种恢复的最优特征。
如周知的,用于低通(定位)数据的自适应插值要求选择种类信息。丢失的数据的插值发生在逆变换的中间级别(在三个反演级别之后)。选择BBC从变换,使得单个象素误差损失只出现在中间级别。使用一阶或二阶多项式插值对丢失的数据插值:阶数1是简单的(1/2,1/2)。基于如下的解码的/量化的数据来选择三个种类U,H,V。注意到,H是指沿着i的方向,V是指沿着j的方向。另 表示量化的信号,并且yij表示在象素位置(i,j)处的插值的值。那么种类选择被如下确定为:如果 | x ^ i , j + 1 - x ^ i , j - 1 | > | x ^ i + 1 , j - x ^ i - 1 , j | + T 1 , 种类H被选择为: y i , . j = x ^ i + 1 , j + x ^ i - 1 , j 2
否则如果 | x ^ i + 1 , j - x ^ i - 1 , j | > | x ^ i , j + 1 - x ^ i , j - 1 | + T 2 , 种类V被选择为: y i , j = x ^ i , j + 1 + x ^ i , j - 1 2
否则选择类型U: y i , j = x ^ i , j + 1 + x ^ i , j - 1 + x ^ i + 1 , j + x ^ i - 1 , j 4 - - - ( 10 )
通过最小化插值误差(这是发送到解码器的辅助信息(side info))来选择两个阈值(T1,T2)。上面的种类选择试图沿着边界(如果存在的话)估计/插值,否则选择均匀的平均值。
如上所述,恢复过程使用自适应插值来恢复解码中间级别处的丢失的定位数据。以(较小的)次级速率编码插值的信号减去无误差(真实)信号所得的误差信号。结果显示用于无误差情况的SNR(无描述损失),以及16个描述其中之一损失(1/16或25%的损失)的恢复情况下的SNR。表7表示初级和次级编码的各种组合的结果:
初级速率次级速率总速率(bpp)SNR(无误差)SNR(25%的损失)
0.5     0.0      0.5    34.92    33.40
0.48    0.02     0.5    34.74    33.60
0.47    0.03     0.5    34.65    33.68
0.45    0.05     0.5    34.20    33.57
                    表7
只有初级编码(0.5,0.0)的情况是恢复方法只依赖于变换的中间级别处的自适应插值。结果显示了参数可以被调整,即调整自适应插值与次级/通道编码的组合,以获得更优化的系统。例如,在(0.47,0.03)中,其中无误差和1/16的损失恢复之间的差值最小,通常调整组合的标准是可视质量。对于现有技术系统A和B的结果是
●系统A:SNR(无误差)=26.5,具有良好的恢复,
●系统B:SNR(无误差)=35.8,具非常强的误差传播方法(具有较差的恢复潜力)
因此,比较起来,BBCAA系统的表现非常好,特别是考虑到其尚未扩展自适应插值的种类或优化误差信号的次级编码的情况下,而这两项选择也属于本发明的范围。
下面图6A-B的描述试图提供适合于执行上述本发明的过程的计算机硬件和其他操作组件的概括,但不试图限制可应用的环境。本领域的技术人员将马上理解本发明可以用其他计算机系统配置来实现,包括手持设备、多处理器系统、基于微处理器或可编程的消费者电子设备、网络PC、小型计算机、大型计算机等等。本发明还可以在分布计算机环境中实现,其中通过经由通信网络链接的远程处理设备来执行任务,通信网络诸如对等网络构架。
图6A显示若干个通过诸如互联网的网络3耦合在一起的计算机系统1。在这里使用的术语“互联网”是指网络的网络,其使用特定协议,诸如TCP/IP协议,和可能的其他协议,诸如用于组成万维网的超文本标记语言(HTML)文档的超文本传输协议(HTTP)。互联网的物理连接以及互联网的协议和通信过程对于本领域的技术人员是已知的。通常由互联网服务提供商(ISP)提供对互联网3的访问,比如ISP5和7。在客户机系统的用户,诸如客户机计算机系统21、25、35和37通过诸如ISP5和7的互联网服务提供商获得对互联网的访问。对互联网的访问允许客户机计算机系统的用户交换信息、接收和发送电子邮件,和查看文档,诸如用HTML格式制作的文档。这些文档通常由web服务器提供,诸如被认为是“位于”互联网上的web服务器9。虽然计算机系统可以被设置并无需象本领域内公知的那样通过ISP系统连接到互联网,但是通常这些web服务器通常由诸如ISP5的ISP提供。
Web服务器9通常至少是一个作为服务器计算机系统运行的计算机系统,以及被配置成用万维网的协议进行操作并被耦合到互联网。可选地,web服务器9可以是为客户机提供对互联网的访问的ISP的一部分。Web服务器9显示为与本身就耦合到web内容10的服务器计算机系统11耦合,可以将web内容10看作为媒体服务器的形式。可以理解,虽然在图6A中示出的是两个计算机系统9和11,但web服务器系统9和服务器计算机系统11可以是具有不同软件组件的一个计算机系统,不同的软件组件提供web服务器功能和由服务器计算机系统11提供的功能,这将在下面进行描述。
客户计算机系统21、25、35和37的每个借助适合的web浏览软件来观看由web服务器9提供的HTML页面。ISP5通过调制解调器接口23提供到客户计算机系统21的互联网连接,调制解调器接口23可以被看作是客户机系统21的一部分。客户机计算机系统可以是个人计算机系统、网络计算机、Web TV系统、手持设备、或其他的计算机系统。类似地,ISP7为客户机系统25、35和37提供互联网连接,尽管对于这三个系统这些连接与如图6A中显示的不同。客户机计算机系统25通过调制解调器接口27耦合,而客户机计算机系统35和37是LAN的一部分。虽然图6A将接口23和27一般地显示为“调制解调器”,可以理解,这些接口的每一个可以是模拟调制解调器、ISDN调制解调器、电缆调制解调器、卫星传输接口,或其他用于耦合计算机系统到其他计算机系统的接口。客户机计算机系统35和37通过网络接口39和41耦合到LAN33,网络接口39和41可以是以太网或其他网络接口。LAN33还耦合到网关计算机系统31,其可以提供防火墙和其他用于局域网的互联网相关服务。这个网关计算机系统31耦合到ISP7,以提供到客户机计算机系统35和37的互联网连接。网关计算机系统31可以是普通的服务器计算机系统。web服务器9也可以是普通的服务器计算机系统。
可替换地,如已知的那样,服务器计算机系统43可以通过网络接口45直接耦合到LAN33,以将文件47和其他服务提供给客户机35、37,而不需要通过网关系统31连接到互联网。另外,客户机系统21、25、35、37的组合可以通过将LAN33、互联网3或其组合用作为连接媒体的对等系统而连接在一起。通常,对等系统将数据分布在多个用于存储和检索的机器的网络,而不使用中央服务器或服务器组。因此,每个对等端可以如下所述那样合并客户机和服务器两者的功能。
图6B显示一个可以被用作客户机计算机系统或者服务器计算机系统或用作为web服务器系统的普通计算机系统的例子。还可以理解,这样的计算机系统可用于执行诸如ISP5的互联网服务提供商的许多功能。计算机系统51通过调制解调器或网络接口53接口连接到外部系统。可以理解,调制解调器或网络接口53可以被看作是计算机系统51的一部分。接口53可以是模拟调制解调器、ISDN调制解调器、电缆调制解调器、卫星传输接口,或其他用于耦合计算机系统到其他计算机系统的接口。计算机系统51包括处理单元55,可以是普通的微处理器,诸如Intel奔腾微处理器或Motorola Power PC微处理器。存储器59通过总线57耦合到处理器55。存储器59可以是动态随机访问存储器(DRAM),并还可以包括静态RAM(SRAM)。总线57将处理器55耦合到存储器59,并且还耦合到非易失性存储器65、显示控制器61以及输入/输出(I/O)控制器67。显示控制器61以普通的方式控制显示设备63的显示,显示设备63可以是阴极射线管(CRT)或液晶显示器(LCD)。输入/输出设备69可以包括键盘、磁盘驱动器、打印机、扫描仪或其他输入和输出设备,包括鼠标和其他指示设备。可以用普通的已知技术实现显示控制器61和I/O控制器67。数字图像输入设备71可以是耦合到I/O控制器67的数码相机,以便允许来自数码相机的图像输入到计算机系统51中。非易失性存储器65通常是磁性硬盘、光盘或其他形式的用以大量数据的存储器。在计算机系统中执行软件期间通过直接存储器访问过程,将这些数据的一些写到存储器59中。本领域的技术人员将立刻认识到术语“计算机可读介质”和“计算机可读媒体”包括任何类型的可以由处理器55访问的存储设备,并涵盖编码数据信号的载波。
可以理解,计算机系统51是多个可能的具有不同体系结构的计算机的其中一个例子。例如,基于Intel微处理器的个人计算机通常具有多个总线,其中一条总线可以是用于外部设备的输入/输出(I/O)总线,并且也可以是直接连接处理器55和存储器59的总线(通常称为存储器总线)。总线通过任何因不同的总线协议而需要执行翻译的桥接部件连接在一起。
网络计算机可以是另一类型的和本发明一起使用的计算机系统。网络计算机通常不包括硬盘或其他海量存储器,并且将可执行程序从网络连接加载到存储器59,以便由处理器55执行。现有技术中已知的Web TV系统可以被看作是根据本发明的计算机系统,但是它缺乏图6B中所示的特征,比如特定的输入或输出设备。典型的计算机系统将通常包括至少一个处理器、存储器和将存储器耦合到处理器的总线。
可以理解,通过包括作为操作系统软件一部分的文件管理系统的操作系统软件来控制计算机系统51,文件管理系统诸如是磁盘操作系统。具有其关联的文件管理系统软件的操作系统软件的一个例子是熟知的Windows操作系统系列,其来自Washington州Redmond的微软公司,及其关联的文件管理系统。通常在非易失性存储器65中存储文件管理系统,并使得处理器55执行操作系统要求的各种动作,从而输入和输出数据并将数据存储在存储器中,各种动作包括将文件存储在非易失性存储器65上。
描述了一种用于多描述编码的可变支持健壮变换,其将压缩和描述生成操作合并到具有操作点的单个变换,展示出各种压缩性-健壮性的特性。尽管已经在这里说明并描述了特定的实施例,但是本领域的技术人员可以理解为实现相同目而设计的任何方案可以替换特定的所示实施例。本申请试图涵盖本发明的任何改动和变化。
例如,本领域的技术人员将可以理解,本发明适用于任何类型的时间相干数据,并且图像可以容易地用于描述而不限制本发明的范围。另外,本领域的普通技术人员可以理解,本发明的编码器和解码器之间的通信链路可基于任何传输介质,包括机器可读介质上的数据的物理传输。因此,清楚地示出了本发明只受到以下的权利要求以及等价物的限定。

Claims (92)

1.一种用计算机实现的方法,包括:
应用多级变换来生成包含表示源数据的压缩数据的描述,其中多级变换的每个级别包括描述生成操作和用于压紧的可变支持滤波器。
2.如权利要求1所述的方法,其中用于初始级别的输入数据是源数据,并且用于每个后续级别的输入数据是由前一个级别滤波的数据。
3.如权利要求1所述的方法,还包括:
通过通信链路传输由最后的级别生成的描述。
4.如权利要求1所述的方法,还包括:
以特定的速率编码由最后的级别生成的描述。
5.如权利要求1所述的方法,其中,一个级别通过穿过描述边界进行滤波来压紧输入数据。
6.如权利要求1所述的方法,其中,一个级别根据输入数据生成描述,并且通过在所得的描述内滤波来压紧输入数据。
7.如权利要求6所述的方法,其中,所述级别在压紧输入数据时跳过至少一个描述边界。
8.如权利要求1所述的方法,还包括:
生成对应于初级描述的次级描述,初级描述包括从变换的最后的级别输出的数据,以及次级描述包括与初级描述关联的误差信号。
9.如权利要求8所述的方法,还包括:
在预定数量的逆变换级别之后,基于初级描述的插值估计来计算误差信号。
10.如权利要求9所述的方法,还包括:
在所述预定数量的逆变换级别之后,通过应用自适应插值滤波器来计算插值估计。
11.如权利要求9所述的方法,还包括:
在所述预定数量的逆变换级别之后,通过应用基于预测数据的幅度插值估计来计算插值估计。
12.如权利要求8所述的方法,其中,以初级速率编码初级描述,并且生成次级描述包括以次级速率编码误差信号。
13.如权利要求8所述的方法,还包括:
将所述次级描述与一个不同的初级描述交织。
14.一种用计算机实现的方法,包括:
生成对应于初级描述的次级描述,初级描述包括从多级变换的最后的级别输出的数据,变换的每个级别包括描述生成操作和用于压紧的可变支持滤波器,并且次级描述包括与初级描述关联的误差信号。
15.如权利要求14所述的方法,还包括:
在预定数量的逆变换级别之后,基于在初级描述中的数据的插值估计来计算误差信号。
16.如权利要求14所述的方法,其中,以初级速率编码初级描述,并且生成次级描述包括以次级速率编码误差信号。
17.如权利要求14所述的方法,还包括:
将所述次级描述与一个不同的初级描述交织。
18.如权利要求14所述的方法,还包括:
估计在错误的初级描述中的数据;和
组合对应的次级描述中的误差信号与估计,以恢复错误的初级描述中的数据。
19.如权利要求18所述的方法,其中,估计数据包括:
预定数量的将逆变换级别应用到一个初级描述集合,错误的初级描述是该集合中的成员。
20.如权利要求19所述的方法,其中,估计数据还包括:
在应用预定数量的逆变换级别之后应用自适应插值滤波器。
21.如权利要求19所述的方法,其中,估计数据还包括:
在应用预定数量的逆变换级别之后应用幅度插值估计,该幅度插值估计基于预测值数据。
22.一种用计算机实现的方法,包括:
创建多级变换,多级变换的每个级别包括描述生成操作和可变支持滤波器,以压紧由前一个级别滤波的数据,其中,初始级别滤波源数据并且最后的级别生成包含表示源数据的压缩数据的描述。
23.如权利要求22所述的方法,其中,一个级别被配置成通过穿过描述边界进行滤波来压紧输入数据。
24.如权利要求22所述的方法,其中,一个级别被配置成根据输入数据生成描述,并且通过在所得的描述内滤波来压紧输入数据。
25.如权利要求24所述的方法,其中,所述级别被进一步配置成在压紧输入数据时跳过至少一个描述边界。
26.如权利要求22所述的方法,还包括:
配置多级变换以产生具有压缩性和健壮性特性的预定义组合的输出。
27.如权利要求22所述的方法,还包括:
确定多级变换的级别数量。
28.如权利要求22所述的方法,还包括:
确定在每个级别上执行的可变支持滤波;
确定在每个级别上执行的描述分配;和
确定组合可变支持滤波和描述分配的方案。
29.一种具有使处理器实现一种方法的可执行指令的机器可读介质,该方法包括:
应用多级变换来生成包含表示源数据的压缩数据的描述,其中多级变换的每个级别包括描述生成操作和用于压紧的可变支持滤波器。
30.如权利要求29所述的机器可读介质,其中,用于初始级别的输入数据是源数据,并且用于每个后续级别的输入数据是由前一个级别滤波的数据。
31.如权利要求29所述的机器可读介质,其中,所述方法还包括:
通过通信链路传输由最后的级别生成的描述。
32.如权利要求29所述的机器可读介质,其中,所述方法还包括:
以特定的速率编码由最后的级别生成的描述。
33.如权利要求29所述的机器可读介质,其中,一个级别通过穿过描述边界进行滤波来压紧输入数据。
34.如权利要求29所述的机器可读介质,其中,一个级别根据输入数据生成描述,并且通过在所得的描述内滤波来压紧输入数据。
35.如权利要求34所述的机器可读介质,其中,所述级别在压紧输入数据时跳过至少一个描述边界。
36.如权利要求29所述的机器可读介质,其中,所述方法还包括:
生成对应于初级描述的次级描述,初级描述包括从变换的最后的级别输出的数据以及次级描述包括与初级描述关联的误差信号。
37.如权利要求36所述的机器可读介质,其中,所述方法还包括:
在预定数量的逆变换级别之后,基于初级描述的插值估计来计算误差信号。
38.如权利要求37所述的机器可读介质,其中,所述方法还包括:
在所述预定数量的逆变换级别之后,通过应用自适应插值滤波器来计算插值估计。
39.如权利要求37所述的机器可读介质,其中,所述方法还包括:
在所述预定数量的逆变换级别之后,通过应用基于预测数据的幅度插值估计来计算插值估计。
40.如权利要求36所述的机器可读介质,其中,以初级速率编码初级描述,并且生成次级描述包括以次级速率编码误差信号。
41.如权利要求36所述的机器可读介质,其中,所述方法还包括:
将次级描述与一个不同的初级描述交织。
42.一种具有使处理器实现一种方法的可执行指令的机器可读介质,该方法包括:
生成对应于初级描述的次级描述,初级描述包括从多级变换的最后的级别输出的数据,变换的每个级别包括描述生成操作和用于压紧的可变支持滤波器,并且次级描述包括与初级描述关联的误差信号。
43.如权利要求42所述的机器可读介质,其中,所述方法还包括:
在预定数量的逆变换级别之后,基于在初级描述中的数据的插值估计来计算误差信号。
44.如权利要求42所述的机器可读介质,其中,以初级速率编码初级描述,并且生成次级描述包括以次级速率编码误差信号。
45.如权利要求42所述的机器可读介质,其中,所述方法还包括:
将所述次级描述与一个不同的初级描述交织。
46.如权利要求42所述的机器可读介质,其中,所述方法还包括:
估计在错误的初级描述中的数据;和
组合对应的次级描述中的误差信号与估计,以恢复错误的初级描述中的数据。
47.如权利要求46所述的机器可读介质,其中,估计数据包括:
将预定数量的逆变换级别应用到一个初级描述集合,错误的初级描述是该集合中的成员。
48.如权利要求47所述的机器可读介质,其中,估计数据进一步包括:
在应用预定数量的逆变换级别之后应用自适应插值滤波器。
49.如权利要求47所述的机器可读介质,其中,估计数据进一步包括:
在应用预定数量的逆变换级别之后应用幅度插值估计,幅度插值估计基于预测值数据。
50.一种具有使处理器执行一种方法的可执行指令的机器可读介质,该方法包括:
创建多级变换,多级变换的每个级别包括描述生成操作和可变支持滤波器,以压紧由前一个级别滤波的数据,其中,初始级别滤波源数据并且最后的级别生成包含表示源数据的压缩数据的描述。
51.如权利要求50所述的机器可读介质,其中,一个级别被配置成通过穿过描述边界进行滤波来压紧输入数据。
52.如权利要求50所述的机器可读介质,其中,一个级别被配置成根据输入数据生成描述,并且通过在所得的描述内滤波来压紧输入数据。
53.如权利要求52所述的机器可读介质,其中,所述级别被进一步配置成在压紧输入数据时跳过至少一个描述边界。
54.如权利要求50所述的机器可读介质,其中所述方法还包括:
配置多级变换以产生具有压缩性和健壮性特性的预定义组合的输出。
55.如权利要求50所述的机器可读介质,还包括:
确定多级变换的级别数量。
56.如权利要求50所述的机器可读介质,还包括:
确定在每个级别上执行的可变支持滤波;
确定在每个级别上执行的描述分配;和
确定组合可变支持滤波和描述分配的方案。
57.一种系统,包括:
经由总线连接到存储器的处理器;和
由处理器从存储器执行的编码过程,使得处理器应用多级变换来生成包含表示源数据的压缩数据的描述,其中,多级变换的每个级别包括描述生成操作和用于压紧的可变支持滤波器。
58.如权利要求57所述的系统,其中,用于初始级别的输入数据是源数据,并且用于每个后续级别的输入数据是由前一个级别滤波的数据。
59.如权利要求58所述的系统,还包括:
通过总线耦合到处理器的通信链路,其中,编码过程还使得处理器通过通信链路传输由最后的级别生成的描述。
60.如权利要求57所述的系统,其中,编码过程还使得处理器以特定的速率编码由最后的级别生成的描述。
61.如权利要求57所述的系统,其中,一个级别通过穿过描述边界进行滤波来压紧输入数据。
62.如权利要求57所述的系统,其中,一个级别根据输入数据生成描述,并且通过在所得的描述内滤波来压紧输入数据。
63.如权利要求62所述的系统,其中,所述级别在压紧输入数据时跳过至少一个描述边界。
64.权利要求61所述的系统,其中,编码过程还使得处理器生成对应于初级描述的次级描述,初级描述包括从变换的最后的级别输出的数据以及次级描述包括与初级描述关联的误差信号。
65.如权利要求61所述的系统,其中,编码过程还使得处理器在预定数量的逆变换级别之后,基于初级描述的插值估计来计算误差信号。
66.如权利要求61所述的系统,其中,编码过程还使得处理器在预定数量的逆变换级别之后,通过应用自适应插值滤波器来计算插值估计。
67.如权利要求61所述的系统,其中,编码过程还使得处理器在预定数量的逆变换级别之后,通过应用基于预测数据的幅度插值估计来计算插值估计。
68.如权利要求64所述的系统,其中,以初级速率编码初级描述,并且编码过程还使得处理器在生成次级描述时以次级速率编码误差信号。
69.如权利要求64所述的系统,其中,编码过程还使得处理器将次级描述用一个不同的初级描述交织。
70.一种系统,包括:
经由总线连接到存储器的处理器;和
由处理器从存储器执行的恢复过程,使得处理器生成对应于初级描述的次级描述,初级描述包括从多级变换的最后的级别输出的数据,变换的每个级别包括描述生成操作和用于压紧的可变支持滤波器,并且次级描述包括与初级描述关联的误差信号。
71.如权利要求42所述的系统,其中,恢复过程还使得处理器在预定数量的逆变换级别之后,基于在初级描述中的数据的插值估计来计算误差信号。
72.如权利要求42所述的系统,其中,以初级速率编码初级描述,并且恢复过程还使得处理器在生成次级描述时以次级速率编码误差信号。
73.如权利要求42所述的系统,其中,恢复过程还使得处理器将次级描述与一个不同的初级描述交织。
74.如权利要求42所述的系统,其中,恢复过程还使得处理器估计在错误的初级描述中的数据,并且组合对应的次级描述中的误差信号与估计,以恢复错误的初级描述中的数据。
75.如权利要求74所述的系统,其中,恢复过程还使得处理器在估计数据时,将预定数量的逆变换级别应用到一个初级描述集合,错误的初级描述是该集合中的成员。
76.如权利要求75所述的系统,其中,恢复过程还使得处理器在估计数据时,在应用预定数量的逆变换级别之后应用自适应插值滤波器。
77.如权利要求75所述的系统,其中,恢复过程还使得处理器在估计数据时,在应用预定数量的逆变换级别之后应用幅度插值估计,幅度插值估计基于预测值数据。
78.一种系统,包括:
经由总线连接到存储器的处理器;和
由处理器从存储器执行的配置过程,使得处理器创建多级变换,多级变换的每个级别包括描述生成操作和可变支持滤波器,以压紧由前一个级别滤波的数据,其中初始级别滤波源数据并且最后的级别生成包含表示源数据的压缩数据的描述。
79.如权利要求78所述的系统,其中,配置过程还使得处理器将一个级别配置成通过穿过描述边界进行滤波来压紧输入数据。
80.如权利要求78所述的系统,其中,配置过程还使得处理器将一个级别配置成根据输入数据生成描述,并且通过在所得的描述内滤波来压紧输入数据。
81.如权利要求80所述的系统,其中,配置过程还使得处理器将所述级别进一步配置成在压紧输入数据时跳过至少一个描述边界。
82.如权利要求78所述的系统,其中,配置过程还使得处理器配置多级变换以产生具有压缩性和健壮性特性的预定义组合的输出。
83.如权利要求78所述的系统,其中,配置过程还使得处理器确定多级变换的级别数量。
84.如权利要求78所述的系统,其中,配置过程还使得处理器确定在每个级别上执行的可变支持滤波,确定在每个级别上执行的描述分配,和确定组合可变支持滤波和描述分配的方案。
85.一种设备,包括:
用于接收源数据的装置,和
用于应用多级变换来生成包含表示源数据的压缩数据的描述的装置,其中,多级变换的每个级别包括描述生成操作和用于压紧的可变支持滤波器。
86.如权利要求85所述的设备,其中,用于初始级别的输入数据是源数据,并且用于每个后续级别的输入数据是由前一个级别滤波的数据。
87.如权利要求85所述的设备,还包括:
用于生成对应于初级描述的次级描述的装置,初级描述包括从变换的最后的级别输出的数据以及次级描述包括与初级描述关联的误差信号。
88.如权利要求85所述的设备,还包括:
用于将次级描述与一个不同的初级描述交织的装置。
89.一种设备,包括:
用于接收初级描述的装置,初级描述包括从多级变换的最后的级别输出的数据,变换的每个级别包括描述生成操作和用于压紧的可变支持滤波器;并且
生成对应于初级描述的次级描述,次级描述包括与初级描述关联的误差信号。
90.如权利要求89所述的设备,还包括:
用于将次级描述与一个不同的初级描述交织的装置。
91.如权利要求89所述的设备,还包括:
用于估计在错误的初级描述中的数据的装置;和
用于组合对应的次级描述中的误差信号与估计,以恢复错误的初级描述中的数据的装置。
92.一种设备,还包括:
用于确定在每个级别上执行的可变支持滤波的装置;
用于确定在每个级别上执行的描述分配的装置;和
用于确定组合可变支持滤波和描述分配的方案的装置,其中,初始级别滤波源数据并且最后的级别生成包含表示源数据的压缩数据的描述。
CN2005100686888A 2004-05-07 2005-05-08 可变支持健壮变换的计算机实现方法及其装置 Expired - Fee Related CN1694391B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/840,881 US7817869B2 (en) 2004-05-07 2004-05-07 Variable support robust transform for multiple description coding
US10/840881 2004-05-07

Publications (2)

Publication Number Publication Date
CN1694389A true CN1694389A (zh) 2005-11-09
CN1694391B CN1694391B (zh) 2013-02-13

Family

ID=34940957

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005100686888A Expired - Fee Related CN1694391B (zh) 2004-05-07 2005-05-08 可变支持健壮变换的计算机实现方法及其装置

Country Status (5)

Country Link
US (1) US7817869B2 (zh)
EP (1) EP1596606B1 (zh)
JP (1) JP4716777B2 (zh)
KR (1) KR101177934B1 (zh)
CN (1) CN1694391B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107533460A (zh) * 2015-05-05 2018-01-02 英特尔公司 紧缩有限冲激响应(fir)滤波处理器、方法、系统和指令

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7817869B2 (en) 2004-05-07 2010-10-19 Sony Corporation Variable support robust transform for multiple description coding
ITTO20040781A1 (it) * 2004-11-09 2005-02-09 St Microelectronics Srl Procedimento per adattare in modo dinamico il bit-rate di un segnale digitale alla larghezza di banda disponibile, relativi dispositivi e prodotto informatico corrispondente
ITTO20040780A1 (it) * 2004-11-09 2005-02-09 St Microelectronics Srl Procedimento e sistema per il trattamento di segnali a descrizioni multiple, relativo prodotto informatico
US7577307B2 (en) * 2005-04-12 2009-08-18 The Aerospace Corporation Fast adaptive lifting lossless wavelet transform
US7574064B2 (en) * 2005-04-12 2009-08-11 The Aerospace Corporation Fast lifting lossless wavelet transform
TW200727598A (en) * 2005-11-18 2007-07-16 Sony Corp Encoding/decoding device/method and the transmission system
CN107920248B (zh) * 2016-10-11 2020-10-30 京东方科技集团股份有限公司 图像编解码装置、图像处理系统、训练方法和显示装置
CN107566831B (zh) * 2017-09-18 2020-11-20 山东师范大学 基于随机偏移量化多描述编码的自适应编解码方法及系统
US11032061B2 (en) * 2018-04-27 2021-06-08 Microsoft Technology Licensing, Llc Enabling constant plaintext space in bootstrapping in fully homomorphic encryption
KR102496584B1 (ko) * 2020-09-14 2023-02-03 주식회사 셰어킴 데이터 마이닝과 기계학습 방법을 이용한 고객의 요구와 그 제한조건에 따른 부동산 투자 분석 및 추천 시스템

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3679426B2 (ja) 1993-03-15 2005-08-03 マサチューセッツ・インスティチュート・オブ・テクノロジー 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム
KR100461210B1 (ko) 1995-10-25 2005-06-17 코닌클리케 필립스 일렉트로닉스 엔.브이. 세그먼트된화상코딩방법과시스템및대응하는디코딩방법과시스템,및코딩된신호를포함하는기록/판독가능매체와코딩된신호를저장하는컴퓨터판독가능저장매체
US6272253B1 (en) * 1995-10-27 2001-08-07 Texas Instruments Incorporated Content-based video compression
US5959676A (en) 1995-12-27 1999-09-28 Sony Corporation Video signal encoding method, video signal encoding apparatus, video signal transmitting method, and recording medium
JP3877087B2 (ja) * 1995-12-27 2007-02-07 ソニー株式会社 画像信号符号化方法、画像信号符号化装置及び画像信号伝送方法
ES2182972T3 (es) 1996-04-19 2003-03-16 Nokia Corp Codificador y descodificador de video utilizando procedimientos de segmentacion y fusion de movimiento.
US6233017B1 (en) * 1996-09-16 2001-05-15 Microsoft Corporation Multimedia compression system with adaptive block sizes
US6311297B1 (en) * 1997-10-23 2001-10-30 Sony Corporation Apparatus and method for mapping an image to blocks to provide for robust error recovery in a lossy transmission environment
EP1025647B1 (en) * 1997-10-23 2012-06-27 Sony Electronics, Inc. Apparatus and method for recovery of lost/damaged data in a bitstream of data based on compatibility
JP4558192B2 (ja) * 1997-10-23 2010-10-06 ソニー エレクトロニクス インク 復号方法及び装置並びに記録媒体
ID26623A (id) * 1997-10-23 2001-01-25 Sony Electronics Inc Aparatus dan metode bufering parsial data terkirim untuk menyediakan penemuan kembali eror yang kuat di suatu lingkungan pengiriman yang hilang
WO1999021369A1 (en) * 1997-10-23 1999-04-29 Sony Electronics, Inc. Apparatus and method for mapping and image to blocks to provide for robust error recovery in a lossy transmission environment
JP4558191B2 (ja) * 1997-10-23 2010-10-06 ソニー エレクトロニクス インク 破損データ回復方法及び装置、デジタル演算処理装置並びに記録媒体
EP1027651B1 (en) * 1997-10-23 2013-08-07 Sony Electronics, Inc. Apparatus and method for providing robust error recovery for errors that occur in a lossy transmission environment
JP4558194B2 (ja) * 1997-10-23 2010-10-06 ソニー エレクトロニクス インク 原始コーディング方法、デジタル信号処理装置及び分散装置並びに記録媒体
US6141453A (en) * 1998-02-11 2000-10-31 Motorola, Inc. Method, device and digital camera for error control and region of interest localization of a wavelet based image compression system
US6351494B1 (en) 1999-09-24 2002-02-26 Sony Corporation Classified adaptive error recovery method and apparatus
US6553141B1 (en) * 2000-01-21 2003-04-22 Stentor, Inc. Methods and apparatus for compression of transform data
US7120308B2 (en) 2001-11-26 2006-10-10 Seiko Epson Corporation Iterated de-noising for image recovery
US7092550B2 (en) 2001-12-12 2006-08-15 Sony Corporation Implementation of hough transform and its application in video motion analysis
BR0304545A (pt) 2002-01-14 2004-11-03 Nokia Corp Método de codificação das imagens em uma sequência de vìdeo digital para fornecer os dados de vìdeo codificados, codificador de vìdeo, método de decodificação dos dados indicativos de uma sequência de vìdeo digital, decodificador de vìdeo, e, sistema de decodificação de vìdeo
US6646578B1 (en) 2002-11-22 2003-11-11 Ub Video Inc. Context adaptive variable length decoding system and method
US7502505B2 (en) * 2004-03-15 2009-03-10 Microsoft Corporation High-quality gradient-corrected linear interpolation for demosaicing of color images
US7817869B2 (en) 2004-05-07 2010-10-19 Sony Corporation Variable support robust transform for multiple description coding
US7673248B2 (en) 2006-11-06 2010-03-02 International Business Machines Corporation Combining calendar entries with map views
US9175964B2 (en) 2007-06-28 2015-11-03 Apple Inc. Integrated calendar and map applications in a mobile device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107533460A (zh) * 2015-05-05 2018-01-02 英特尔公司 紧缩有限冲激响应(fir)滤波处理器、方法、系统和指令
CN107533460B (zh) * 2015-05-05 2022-05-10 英特尔公司 紧缩有限冲激响应(fir)滤波处理器、方法、系统和指令

Also Published As

Publication number Publication date
EP1596606A2 (en) 2005-11-16
EP1596606A3 (en) 2009-11-18
EP1596606B1 (en) 2013-02-27
KR101177934B1 (ko) 2012-09-07
US20050249425A1 (en) 2005-11-10
JP4716777B2 (ja) 2011-07-06
CN1694391B (zh) 2013-02-13
US7817869B2 (en) 2010-10-19
JP2006014283A (ja) 2006-01-12
KR20060045933A (ko) 2006-05-17

Similar Documents

Publication Publication Date Title
CN1694389A (zh) 用于多描述编码的可变支持健壮变换
CN1170438C (zh) 数字视频信号下变换系统的运动补偿处理器及上升抽样方法
CN1112045C (zh) 用反复误差数据编码方法进行视频压缩
CN101578869B (zh) 用于自动视觉伪影分析和伪影减轻的方法和装置
US8531321B1 (en) Signal processing and inheritance in a tiered signal quality hierarchy
US20230239505A1 (en) Upsampling for signal enhancement coding
US20220217372A1 (en) Modified upsampling for video coding technology
JP2008500775A (ja) 符号化方法、符号化装置、フィルタ生成方法及びフィルタ生成装置
US11856210B2 (en) Apparatuses, methods, computer programs and computer-readable media
CN1122247C (zh) 运动补偿预测方法及使用该方法的编码器和解码器
CN108111856A (zh) 图像的压缩
US7755701B2 (en) Image processing apparatus, image processing method, and program
JP3830549B2 (ja) ディジタル画像信号の階層符号化装置および方法
JP2018107692A (ja) 動画像復号装置、動画像復号方法、動画像符号化装置、動画像符号化方法及びコンピュータ可読記録媒体
US8705613B2 (en) Adaptive joint source channel coding
US7570818B2 (en) Method for deblocking and transcoding a media stream
JP2008118519A (ja) 画像変換装置及び画像変換方法、学習装置及び学習方法、並びにプログラム
WO2024078920A1 (en) Latent coding for end-to-end image/video compression
WO2023146634A1 (en) Block-based compression and latent space intra prediction
US8363718B2 (en) Method for correcting a quantized data value and associated device
CN1754390A (zh) 采用对过完全小波展开进行运动补偿时域滤波的三维小波视频编码

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130213

Termination date: 20140508