CN1969564A - 用于表示一组相关图像的方法与系统 - Google Patents

用于表示一组相关图像的方法与系统 Download PDF

Info

Publication number
CN1969564A
CN1969564A CN200580020308.1A CN200580020308A CN1969564A CN 1969564 A CN1969564 A CN 1969564A CN 200580020308 A CN200580020308 A CN 200580020308A CN 1969564 A CN1969564 A CN 1969564A
Authority
CN
China
Prior art keywords
image
coarse
syndrome
syndrome bits
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200580020308.1A
Other languages
English (en)
Inventor
安东尼·维特罗
乔纳森·S.·耶迪蒂亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN1969564A publication Critical patent/CN1969564A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

一种方法表示一组相关图像。该相关性可以是空间的或时间的。有耗操作被应用于该相关组中的每个图像以生成粗糙图像。该粗糙图像被无耗编码以产生编码后的粗糙图像。每个图像还由校正子比特表示。编码后的粗糙图像与校正子比特的组合表示了该相关图像组。

Description

用于表示一组相关图像的方法与系统
技术领域
本发明一般涉及图像编码，尤其涉及使用校正子比特编码和解码相关图像。
背景技术
诸如根据MPEG和ITU系列视频编码标准的传统图像和视频编码方案，非常适用于其中有大量带有解码器的低复杂度接收器(TV)，但是仅有少量带有编码器的高复杂度发射器的广播视频和存储媒体分布。
利用这种视频分布模型，在编码器中采用了计算上所要求的运动估算技术，以利用视频帧之间的时间相关性。在传输之前利用时间冗余度的处理产生了极好的压缩效率。
图1示出了具有运动估算110的传统编码器100。输入视频101一次被处理一块。运动估算器110确定对于要编码的当前块，在帧存储器111中存储的参考帧的最佳匹配块。这个最佳匹配块充当当前块的预测。对应的运动矢量112经过熵编码150。输入视频的当前块与由运动补偿的预测器130生成的预测块121之间的区别120被获得。该区别信号然后经受变换/量化处理140，以生成一组量化的变换系数141。这些系数被熵编码150以产生压缩比特流109。在量化后的变换系数121上执行反变换/量化160并将这个结果添加170到运动补偿预测121，生成了在帧存储器111中存储并用于预测130输入视频101的相继帧的参考帧。输出比特流109基于运动112与纹理141信息的熵编码150而生成。
图2示出了传统的解码器200。输入比特流201首先受制于不仅生成量化后的变换系数211还生成对应的运动矢量212的熵解码器210。该运动矢量由运动补偿预测器220使用以产生预测信号221。量化后的变换系数211被反变换/量化230并被添加240到预测信号221，以产生重构视频209。用于解码相继帧的重构视频的帧被存储到帧存储器250中。
以上方案获得了极好的压缩效率，但是具有不容忽视的处理及功率损失，这在诸如电影院或播音室这样具有几乎无限资源的大规模商业应用中不成为问题。然而，存在越来越多数量的应用，其中图像及视频的捕获和编码是用具有有限电池和处理功率，以及有限存储及带宽等的设备完成的，例如，蜂窝电话，PDA，环境传感器，以及具有严格受限的处理、存储及功率资源的简单数码相机。通常，这些设备使用简单的微处理器或微控制器以及电池。
从而，存在对能在编码器提供优良压缩效率和高质量图像的低复杂度编码器的需求。R.Puri和K.Ramchandran在“PRISM：A NewRobust Video Coding Architecture Based On DistributedCompression Principles”Proc.40th Allerton Conference onCommunicaion，Control and Computing，October 2002中描述了在视频应用需求中对视频压缩的这种范例转变(shift)。在这个著作中，基于之前由S.S.Pradhan和K.Ramchandran在“Distributed SourceCoding Using Syndromes(DISCUS)：Design and Construction”IEEETransactions on Information Theory，Vol 49，pp.626-643 March 2003中开发的网格编码，他们应用于视频编码校正子编码器和解码器。
图3示出了这样的现有技术低复杂度PRISM编码器300。输入视频301被分类310。分类器对当前帧内的每个块估算时空相关性的程度。基于要编码的块与在前一编码帧中的共址块之间的均方误差差确定一个类。例如，类‘SKIP’表示相关性非常高，并且当前块根本不需要编码，而类‘INTRA’表示相关性非常低，并且当前块最好使用传统的内编码方案编码。对于这两个极端之间的相关性，现有技术描述了基于校正子的编码方案。基于校正子编码的这个观点远在1974年就有，参见A.D.Wyner“Results in the Shannon Theory”IEEETransactions on Information Theory，vol.20，pp.2-10，1974。
在下一步骤中，诸如离散余弦变换(DCT)的块变换320被应用于对数据去相关。变换系数然后经过Z形扫描330以将该系数安排到能量下降的1D矢量中。
对应于低频系数331的系数的一小部分，例如，大约总系数的20％，经过基本量化340。量化后的系数然后被输入到校正子编码器370以产生校正子比特371。在该特定方案中，1/2比率的网格码用于校正子编码。精炼量化360被执行以获得用于已经被校正子编码的系数的目标质量。这项操作只是将基本量化间隔进一步细分为等于目标量化步长大小的大小间隔，其中基本量化间隔内的精炼量化间隔的索引361最终被发送到解码器。
对应于高频系数332的系数的大部分，例如系数的剩余80％，经过传统的内编码，其中系数如上所述经过传统量化350和熵编码380操作。
除以上之外，通过CRC发生器390计算量化码字序列的循环冗余校验(CRC)，以产生也被发送到解码器的CRC比特391。CRC比特391在解码器上使用，以在多种候选预测器中确定最优预测器。CRC比特391与来自块360、370和380的输出组合399，以产生输出比特流309。
图4示出了对应的解码器400。在去交织410输入比特流401之后，解码器执行运动估算405，它从帧存储器406中输出由空间移位像素组成的预测器407。生成了具有不同空间移位的多种预测器。校正子解码器440基于所接收的校正子比特，为每个预测器生成一系列的量化系数。由于校正子编码基于网格码，维特比(Viterbi)处理被用于识别最接近候选预测器的一系列系数。如果借助CRC校验445，解码系数匹配于CRC，则解码被宣布成功。给定解码的(校正子)系数和由编码器发送的精炼量化间隔的索引，可以执行反向基本量化和精炼420以产生重构的一组低频系数。高频系数通过熵解码450和反量化操作460恢复。这两组系数然后都经过反向扫描430和反向块变换470以产生重构视频409。重构帧408也存储到帧存储器406中用于连续帧的解码。
以上方案具有多个缺点。首先，变换系数的大部分，即高频系数，被利用传统量化350和熵编码380技术编码。复杂情形包括大量的高频信息。因此，现有技术方案具有不容忽视的开销量并导致效率的损失。其次，现有技术校正子编码基于相对较小的8×8块，这降低了总压缩率。第三，CRC需要充分“强壮”以可靠地反映这些系数。这不仅仅是对每个块的开销，而且不能确保解码会正确执行。
另外一个编码方案由Aaron等人在“Towards practicalWyner-Ziv coding of video”Proc.IEEE International Conference onImage Processing，September 2003中描述。该方案可以工作于像素或变换域。
如图5的现有技术编码器500中所示，输入视频501使用开关510被分割为两种类型的帧：关键帧511和Wyner-Ziv帧512。关键帧511是有规则间隔的帧。这些帧使用传统帧内编码520来编码，例如DCT，量化和熵编码，并以目标质量等级编码。Wyner-Ziv帧512经过标量量化513和作为校正子编码的一种形式的特播(turbo)编码器530。输出比特流509是对应于编码后的关键帧和Wyner-Ziv帧二者的比特的组合540。应当指出，在该现有技术方案中，校正子比特仅对Wyner-Ziv帧，而不对关键帧生成，而内编码为传统型的，即，低频和高频系数二者都被编码。
图6示出了对应的现有技术解码器600。输入比特流601包括编码后的关键帧和Wyner-Ziv帧。编码关键帧使用帧内解码器610解码，以产生重构关键帧611，而Wyner-Ziv帧首先经过特播解码器620以产生一组校正子系数，随后它经过重构处理630以使用开关660产生最终的重构视频609。重构基于特播解码器输出的系数以及内插640的帧数据。重构的Wyner-Ziv和关键帧被存储到帧存储器650用于相继帧的解码。
该方案的两个主要缺点在于发送高质量关键帧中所引入的开销，以及通过发送解码最近帧所需的未来关键帧而导致的延迟。按照传统的编码方案，关键帧为I帧而Wyner-Ziv帧类似于B帧。正如使用其它的传统编码方案，I帧之间的距离表示延迟的量。假设能够忍受高延迟，分开放置关键帧更远降低了开销量。然而，这样做也降低了内插的质量，由于需要更多的校正子比特以从内插的错误中恢复，这实际上降低了总编码效率。
显然，渴望拥有克服了现有技术的缺点的编码方案，具有低编码复杂度，即类似于仅内编码，但具有高编码效率，即接近最佳帧内编码方案。
发明内容
一种系统与方法表示一组相关图像。相关性可以是空间的或时间的。有耗操作被应用于该相关组内的每个图像以生成粗糙图像。粗糙图像被无耗编码以产生编码后的粗糙图像。每个图像还由校正子比特表示。编码后的粗糙图像与校正子比特的组合表示了所述相关图像组。
在典型应用中，有耗操作是应用于图像的像素值或变换系数的粗糙量化。可选地，该操作可以是子采样或子波变换。
编码后的粗糙图像之后可被解码以获得样本(evidence)。该样本以及校正子比特对于重构所述相关图像组足够了。
附图说明
图1为使用传统运动估算与变换技术的现有技术视频编码器的框图；
图2为对应于图1的编码器的现有技术视频解码器的框图；
图3为使用校正子编码的第一现有技术视频编码器的框图；
图4为对应于图3的编码器的第一现有技术视频解码器的框图；
图5为使用校正子编码的第二现有技术视频编码器的框图；
图6为对应于图5的视频编码器的第二现有技术视频解码器的框图；
图7为使用根据本发明的校正子编码的视频编码器的框图；
图8为对应于图7的编码器的视频解码器的框图；
图9为根据本发明的运动补偿样本增强器的框图；以及
图10为根据本发明的校正子解码器的框图。
具体实施方式
我们的发明提供了一种使用校正子比特表示一组相关图像的系统与方法。该图像可以在空间、时间或二者上相关。一组时间相关图像的实例是视频。一组空间相关图像可以包括立体图像。对于时间相关图像，所关心的是随着时间的过去图像之间的运动。对于空间相关图像，所关心的是空间上的不一致。根据本发明的表示可以由编码器产生。该表示能够被解码以恢复原始的相关图像。
在编码器中，有耗操作被应用于每个图像以对该组的每个相关输入图像生成粗糙图像。有耗操作可以是子采样、低频滤波、分辨率降低、亮度值降低等等。例如，粗糙操作仅考虑每个输入图像的低频分量。粗糙编码后的图像的这种表示可以以多种不同方式产生。例如，它可以通过将粗糙量化比例应用于输入象素或变换系数而产生。量化处理通常移除或抑制图像信号的高频分量。可选地，图像数据可以被子采样以有效移除高频数据。空间分辨率的降低基本上等效于计算通常处于基于子波分解中的低子带数据。然而，任何已知的具有低通频率响应的有限脉冲响应(FIR)滤波器也可以被使用。本发明并不编码输入图像的高频部分。在获得粗糙图像之后，粗糙图像例如可以利用可变长度编码(VLC)被无耗编码。也可为该组内的每个相关输入图像生成校正子比特。
因此，在根据本发明的表示中，相关组内的每个图像通过编码后的粗糙图像和校正子比特表示。此时有可能为后期处理存储编码后图像，或者编码图像能够被发送。
解码器执行编码后的粗糙图像之间的运动估算，以便为校正子解码器提供样本以使用校正子比特产生一组重构图像。
编码器
图7示出了根据本发明的编码器700。编码器对所述相关图像组，例如视频的每个输入图像701应用有耗操作以生成粗糙图像711。例如，帧内编码器710使用粗糙量化Q 712以保持比特率最小或是处于预定的目标比特率。粗糙量化可以从一个图像到另外一个图像变化以保持该比特率恒定，或者它可以对每个图像保持恒定以保持失真恒定。能够产生粗糙编码图像的另外方式包括首先降低图像的空间分辨率，然后量化该空间降低的图像数据。具有内编码能力的标准编码器可以出于这个目的而使用，如JPEG，MPEG或H.26x系列编解码器。
‘粗糙’图像可能意味着编码仅考虑每个图像内的低频分量，而基本上忽略高频分量。例如，考虑具有在范围1-31内的量化比例的编码器。如果没有子采样，粗糙量化比例712处于该范围的上三分之一(20-31)。当应用子采样时，图像的大部分高频分量在这个处理中被类似地丢失。结果，粗糙编码不仅仅由量化比例确定，而且也由已经应用于获得降低了分辨率(粗糙)的图像的滤波器的频率响应(低频特性)决定。因为高频分量通过这个滤波处理得到了抑制，量化比例可以处于通常与粗糙量化比例相关的范围之外。在峰值信噪比方面，粗糙图像711的PSNR通常依赖于图片编码复杂度而处于22-29dB的范围内，而传统编码会导致约为32-34dB的平均图像质量，这对用户视频，例如广播数字电视是常用范围。应当指出，产生较低分辨率图像的另外方式也是已知的。然后使用任何一种已知技术无耗地编码该粗糙图像。
每个输入图像还被分类720。分类器具有以下功能。首先，分类器确定校正子编码器730运行以生成校正子比特731的目标比特率。其次，分类器720确定721输入图像中的某些块的编码是否能被跳过，即，是否当前块基本上类似于前一输入图像中同一位置上的块。仅当这些块基本上不同时该块才编码。编码后的粗糙图像711和校正子比特731被组合740，以形成根据本发明的所述相关图像组的表示的输出比特流709。
如果从解码器到编码器存在一个反馈通道，那么解码器能够提供用以确定校正子比特731的数量的信息。在此情况下，编码器能够发送少量的校正子比特，然后从反馈信息中发现解码是否成功，或是否还需要发送更多的校正子比特。为了使这种策略有效，非常重要的是校正子编码器和校正子解码器工作于递增方式，即，当发送更多的校正子比特时，以前发送的校正子比特中的信息不会被浪费。根据本发明的校正子编码器和解码器具有这种递增特性。
如图8中对根据本发明的解码器800的示意，帧内解码器810对于输入比特流801中的每个编码后的粗糙图像803，重构解码后的粗糙图像811。粗糙质量图像为校正子解码器1000充当样本819。同样，解码后的粗糙图像811对于随后要解码的其他粗糙图像充当在运动补偿样本增强器900中执行运动估算的基础。注意，假如相关性是空间上的，则运动估算由不一致估算代替。即，计算图像在空间上的相对位移，而不是时间上的位移。存在多种已知的用于确定相邻图像如何相互偏移的技术。
因此，粗糙图像811被存储在图像存储器830中。接下来，借助运动补偿(MC)样本增强器900改进样本819。改进后的样本替换掉初始样本。该样本也可以被存储到图像存储器830中。校正子解码器1000基于该样本以及接收的校正子比特802生成该组重构的相关图像。
校正子编码器
校正子编码器730生成校正子比特731。本发明使用源自所谓的“重复累加码”，即“乘积累加码”，以及我们称为“扩展Hamming累加码”的码。我们通常将这些称为级联累加码(SCA)。对于这些类别的码的更多信息，参见J.Li，K.R.Narayanan和C.N.Georghiades的“Product Accumulate Codes：A Class of Codes With Near-CapacityPerformance and Low Decoding Complexity”，IEEE Transactions onInformation Theory，Vol.50，pp.31-46，January 2004；提交给IEEECommunications Letters，2004的M.Isaka和M.Fossorier的“High RateSerially Concatenated Coding with Extended Hamming Codes”；以及D.Divsalar和S.Dolinar的“Concatenation of Hamming Codes andAccumulator Codes with High Order Modulation for High SpeedDecoding”IPN Progress Report 42-156，Jet Propulsion Laboratory，Feb.15，2004。
在此引入作为参考的，由Yedidia等人共同申请的专利申请描述了基于SCA码的校正子编码器的运行。这种编码器具有许多特点。校正子编码器工作于诸如像素的亮度值的整数值输入。校正子编码器能够以非常高的压缩率运行。校正子编码器是速率自适应的，并且能够以递增方式运行，在必要时发送更多的校正子比特而不浪费以前发送的校正子比特中的信息。
非常重要的是，要注意校正子编码器仅仅必须要执行非常简单的操作，即生成校正子比特，因此具有非常低的复杂度。
校正子解码器
如图10中所示，校正子解码器1000将编码后的校正子比特802，以及来自以前解码的图像的样本819作为输入。给定在以前解码图像中的解码亮度值，该样本基于将被解码的当前图像中的可能像素亮度值的概率分布。样本被提供给校正子解码器，或者作为对每个像素的完全概率分布，或者作为由充分分布的统计所表示的样本。在高斯分布的情况下，每个像素的平均值和方差足以描述该分布。
校正子解码器使用多级位平面解码器1010解码每个编码后的粗糙图像。在每个位平面被解码之后，使用样本819确定下一位平面内的比特的先验概率，条件是结果在解码后的位平面内。位平面解码器1010是SCA码的软输入解码器。正如在相关专利申请中更加详细的描述那样，校正子解码器1000能够以可接受的复杂度接近于信息理论极限运行。
基于MC的样本增强器
如图9中所示，基于MC的样本增强器900提高了由校正子解码器1000使用的样本819的质量。由于样本得以改进，需要更少的校正子比特来重构输出图像809。增强器900还为校正子解码器1000提供对于改进后的样本中每个像素亮度值921的置信度，例如方差922的测量。如上所述，这样允许通常实现更高压缩率的软解码在重构处理中应用。
基于MC的样本增强器900的操作如下。运动估算910首先为每个块或像素确定当前编码后的粗糙图像901与来自图像存储器820的可用于解码器的一些以前选择处理的图像之间的对应关系。我们称这个被选择的图像为定锚(anchor)图像。该组以前解码的图像不仅能够包括解码后的粗糙图像931，而且包括完全重构的图像932。对最佳定锚图像的搜寻能够基于块或像素执行。
结果产生的运动矢量911被提供给分配模块920，它为变为样本819用于解码下一图像的当前图像中的每个像素，确定像素强度值921以及对应的方差922。
传统的现有技术编码方案总是在编码器中估算运动矢量并接着发送该运动矢量。相反，我们在解码器中估算运动矢量。从而，不存在由以相对较好的比例估算运动而引起的速率开销。我们注意到，依靠当前图像的质量，最佳对应关系能够在解码后的粗糙图像931或者完全重构的图像932中找到，或者它们能够与另一个相联合地使用。
再次指出，能够为当前图像中的每个块以逐块为基础进行定锚图像的选择。对运动估算910有很多搜索标准可以应用。在基于块的搜索中，典型的措施包括当前块与候选块之间的绝对差(SAD)之和。在基于像素的搜索中，可以应用求解经典光学流量公式的方法。无论如何，运动矢量能够被规则化以便结果估算的运动矢量具有一定程度的光滑度。组合搜索粗糙及完全重构图像的结果的度量也可以被使用。
如上所述，运动估算处理的主要目标是确定在先前解码的图像中的最佳对应关系，使得由当前图像提供的样本819最终得到增强。给定对像素或块的运动矢量，将重构图像中的对应像素值作为当前图像901的像素值分配920，以获得重构图像809。
假如不能找到适合的匹配，可以使用备选策略，例如，可以分配零运动矢量以指示使用了定锚图像的共址块。可选地，内编码图像可以使用诸如锐化边缘的传统图像处理技术得以增强。
所分配的方差922还实现了由校正子解码器1000所做的软解码。分配方差的一种手段是基于在搜索过程中应用的措施，如在基于块的搜索的情况下的SAD条件。例如，大的SAD分配较高的方差，而小的SAD分配较低的方差。
与现有技术的比较
与现有技术系统相反，本发明中所描述的系统具有显著的区别和优点。在图3和图4中所示的Puri和Ramchandran的PRISM系统中，大量的高频分量通过传统的内编码技术来编码，而校正子编码仅作用于数量少得多的低频分量。这浪费了时间、存储器以及带宽。
相反，我们的系统通过仅考虑低频分量来编码图像，并使用输入图像的高频与低频分量的校正子编码，以在解码期间重构高质量图像。
此外，在Puri和Ramchandran的系统中，校正子与CRC比特被用于确定最优候选预测器，即，执行运动估算。以这种方式，校正子解码与运动估算过程被集成。
在我们的系统中，粗糙质量图像之间的对应关系被用于改进用于校正子解码的样本。同样，运动估算与校正子解码在我们当前的系统中是独立的处理。
在如图5和6中所示的Aaron等人的方案中，关键帧以有规律间隔的时间间隔被发送到解码器，而且校正子解码被应用于恢复在这些关键帧之间的帧。我们的系统在每个时刻都发送粗糙质量图像。这克服了定期发送间隔图像过程中导致的延迟和开销。此外，我们的运动估算在建立与先前解码的高质量参考图像之间的对应关系中更加精确，从而改进了预测并降低了校正子比特所需的速率。
应当理解，可以在本发明的精神与范围内做出各种其他的调整和修正。因此，所附权利要求书的目的在于覆盖落入本发明真正精神与范围之内的所有这些变化及修正。

Claims (36)

1.一种用于表示一组相关图像的方法，包括：
对所述相关组中的每个图像应用有耗操作，以生成粗糙图像；
无耗编码所述粗糙图像，以产生编码后的粗糙图像；
将所述相关组中的每个图像表示为校正子比特；以及
组合所述编码后的粗糙图像和所述校正子比特，以表示所述相关图像组。
2.根据权利要求1的方法，其中所述相关性为时间上的。
3.根据权利要求1的方法，其中所述相关性为空间上的。
4.根据权利要求1的方法，其中所述有耗操作为粗糙量化。
5.根据权利要求4的方法，其中所述粗糙量化被应用于所述图像的像素值。
6.根据权利要求4的方法，其中所述粗糙量化被应用于所述图像的变换系数。
7.根据权利要求1的方法，还包括：
对所述图像应用子采样，以生成所述粗糙图像。
8.根据权利要求1的方法，还包括：
对所述图像应用子波变换，以生成所述粗糙图像。
9.根据权利要求1的方法，其中所述相关图像组为视频。
10.根据权利要求1的方法，其中所述相关图像组为立体图像。
11.根据权利要求1的方法，其中所述粗糙图像仅基于所述图像的低频分量，所述校正子比特基于所述图像的低频分量和高频分量。
12.根据权利要求1的方法，还包括：
对所述图像应用具有低通频率响应的有限脉冲响应滤波器，以生成所述粗糙图像。
13.根据权利要求1的方法，还包括：
对所述输入图像应用具有粗糙量化比例的帧内编码器，以生成所述粗糙图像。
14.根据权利要求13的方法，其中所述量化比例大于20。
15.根据权利要求1的方法，其中所述粗糙图像的峰值信噪比小于30dB。
16.根据权利要求1的方法，还包括：
将每个图像归类，以确定校正子编码器运行用以生成所述校正子比特的目标比特率。
17.根据权利要求1的方法，其中所述图像包括多个块，所述方法还包括：
将每个块分类，以确定在所述表示中所述块是否能够被跳过。
18.根据权利要求1的方法，还包括：
从工作于先前解码的粗糙图像以及校正子比特的解码器接收反馈，以确定当前图像要表示的校正子比特的数量。
19.根据权利要求1的方法，还包括：
解码所述编码后的粗糙图像以获得样本；和
根据所述样本，解码所述校正子比特以重构所述相关图像组。
20.根据权利要求19的方法，其中所述图像为时间相关，所述方法还包括：
选择先前解码的图像；和
估算当前编码的粗糙图像与所述选择的先前解码的图像之间的运动，以改进所述样本。
21.根据权利要求20的方法，其中所述选择和估算在每个块的基础上执行。
22.根据权利要求20的方法，其中所述选择和估算在每个像素的基础上执行。
23.根据权利要求20的方法，其中所述先前解码的图像包括重构的图像。
24.根据权利要求20的方法，其中所述估算生成运动矢量。
25.根据权利要求24的方法，其中所述运动矢量被规则化。
26.根据权利要求20的方法，还包括：
确定所述当前编码图像与所述选择的先前解码的图像之间的绝对差之和。
27.根据权利要求20的方法，其中所述选择包括搜索所述选择的先前解码的图像。
28.根据权利要求20的方法，其中所述样本通过图像处理技术来改进。
29.根据权利要求20的方法，其中给定在所述先前解码的图像中的解码亮度值，所述样本基于要解码的所述当前图像中的可能像素亮度值的概率分布。
30.根据权利要求29的方法，其中所述概率分布为高斯分布，包括每个像素的平均值与方差。
31.根据权利要求19的方法，其中所述图像在空间上相关，并且所述方法还包括：
估算当前编码的粗糙图像与所述选择的先前解码的图像之间的不一致，以改进所述样本。
32.根据权利要求1的方法，其中所述校正子比特使用级联累加码生成。
33.根据权利要求19的方法，其中所述校正子比特被位平面解码。
34.根据权利要求20的方法，其中所述先前解码的图像包括解码后的粗糙图像。
35.根据权利要求20的方法，其中所述先前解码的图像包括解码后的粗糙图像和重构图像。
36.一种用于表示一组相关图像的系统，包括：
用于对所述相关组中的每个图像应用有耗操作，以生成粗糙图像的装置；
用于无耗编码所述粗糙图像以产生编码后的粗糙图像，并将所述相关组内的每个图像表示为校正子比特的编码器；和
用于组合所述编码后的粗糙图像和所述校正子比特，以表示所述相关图像组的组合器。
CN200580020308.1A 2004-08-27 2005-08-23 用于表示一组相关图像的方法与系统 Pending CN1969564A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/929,050 US7860158B2 (en) 2004-08-27 2004-08-27 Coding correlated images using syndrome bits
US10/929,050 2004-08-27

Publications (1)

Publication Number Publication Date
CN1969564A true CN1969564A (zh) 2007-05-23

Family

ID=35395409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200580020308.1A Pending CN1969564A (zh) 2004-08-27 2005-08-23 用于表示一组相关图像的方法与系统

Country Status (5)

Country Link
US (1) US7860158B2 (zh)
EP (1) EP1757108A1 (zh)
JP (1) JP2008511185A (zh)
CN (1) CN1969564A (zh)
WO (1) WO2006022400A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070242338A1 (en) * 2006-04-17 2007-10-18 James Roy Bradley System and Method for Vehicular Communications
EP2036360B1 (en) * 2006-06-30 2019-11-13 Telecom Italia S.p.A. Method, apparatus and system for robust video transmission with auxiliary information channel
KR100915097B1 (ko) * 2007-11-02 2009-09-02 성균관대학교산학협력단 오류정정을 이용한 분산비디오부호화 영상의 복호화 장치및 그 방법
JP4819024B2 (ja) * 2007-12-06 2011-11-16 日本電信電話株式会社 画像符号化・復号化方法及びシステム
US8634467B2 (en) * 2008-05-06 2014-01-21 Choy Sai Foundation L.L.C. Flexible Wyner-Ziv video frame coding
JP5004877B2 (ja) * 2008-06-04 2012-08-22 日本電信電話株式会社 画像符号化器及び画像復号化器及び画像符号化方法及び画像復号化方法及びプログラム
AU2008246243B2 (en) * 2008-11-19 2011-12-22 Canon Kabushiki Kaisha DVC as generic file format for plenoptic camera
US20100166057A1 (en) * 2008-12-29 2010-07-01 Gregory Huchet Differential Data Representation for Distributed Video Coding
JP5071413B2 (ja) * 2009-03-02 2012-11-14 沖電気工業株式会社 動画像符号化装置、方法及びプログラム、並びに、動画像符号化システム
US9288484B1 (en) 2012-08-30 2016-03-15 Google Inc. Sparse coding dictionary priming
US9300906B2 (en) * 2013-03-29 2016-03-29 Google Inc. Pull frame interpolation
US9286653B2 (en) 2014-08-06 2016-03-15 Google Inc. System and method for increasing the bit depth of images
US10455250B2 (en) * 2017-05-30 2019-10-22 Mitsubishi Electric Research Laboratories, Inc. Method and system for distributed coding of images
US10841617B2 (en) 2018-11-27 2020-11-17 Semiconductor Components Industries, Llc Methods and apparatus for successive intra block prediction

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4191970A (en) 1978-05-15 1980-03-04 Bell Telephone Laboratories, Incorporated Interframe coder for video signals
JPH07123447A (ja) * 1993-10-22 1995-05-12 Sony Corp 画像信号記録方法および画像信号記録装置、画像信号再生方法および画像信号再生装置、画像信号符号化方法および画像信号符号化装置、画像信号復号化方法および画像信号復号化装置、ならびに画像信号記録媒体
US6160846A (en) * 1995-10-25 2000-12-12 Sarnoff Corporation Apparatus and method for optimizing the rate control in a coding system
JP3492152B2 (ja) 1997-06-06 2004-02-03 キヤノン株式会社 無線送信装置
GB9712651D0 (en) * 1997-06-18 1997-08-20 Nds Ltd Improvements in or relating to encoding digital signals
US6213625B1 (en) * 1999-04-23 2001-04-10 Nsi Enterprises, Inc. Inverted apex prismatic lens
US7400774B2 (en) 2002-09-06 2008-07-15 The Regents Of The University Of California Encoding and decoding of digital data using cues derivable at a decoder
US7643558B2 (en) * 2003-03-24 2010-01-05 Qualcomm Incorporated Method, apparatus, and system for encoding and decoding side information for multimedia transmission
US8331445B2 (en) * 2004-06-01 2012-12-11 Qualcomm Incorporated Method, apparatus, and system for enhancing robustness of predictive video codecs using a side-channel based on distributed source coding techniques

Also Published As

Publication number Publication date
US20060045184A1 (en) 2006-03-02
JP2008511185A (ja) 2008-04-10
EP1757108A1 (en) 2007-02-28
WO2006022400A1 (en) 2006-03-02
US7860158B2 (en) 2010-12-28

Similar Documents

Publication Publication Date Title
CN1969564A (zh) 用于表示一组相关图像的方法与系统
Brites et al. Improving transform domain Wyner-Ziv video coding performance
Ascenso et al. Improving frame interpolation with spatial motion smoothing for pixel domain distributed video coding
Martins et al. Refining side information for improved transform domain Wyner-Ziv video coding
Brites et al. Evaluating a feedback channel based transform domain Wyner–Ziv video codec
Artigas et al. The DISCOVER codec: architecture, techniques and evaluation
CN1200568C (zh) 在图像和视频的编码/解码中的变换系数的最佳扫描方法
US20140334548A1 (en) Method and system for video compression using an iterative encoding algorithm
RU2463728C2 (ru) Усовершенствованное кодирование улучшающего слоя для масштабируемого кодирования видео
CN103718554A (zh) 用于视频译码的变换系数的译码
CN103493488A (zh) 用于视频译码的变换系数的译码
CN1893666A (zh) 视频编码和解码方法及设备
CN101946515A (zh) Cabac译码器的二回合量化
CN1525762A (zh) 一种用于视频编码的编码端/解码端双向预测方法
JP2013507794A (ja) ビットストリームを復号する方法
AU2006230691A1 (en) Video Source Coding with Decoder Side Information
US20100166057A1 (en) Differential Data Representation for Distributed Video Coding
Zhou et al. Distributed video coding using interval overlapped arithmetic coding
WO2005043882A2 (en) Video source coding with side information
Fan et al. Successive refinement based Wyner–Ziv video compression
CN1633814A (zh) 存储器带宽效率高的精细可分级(fgs)编码器
Kodavalla et al. Distributed video coding: codec architecture and implementation
CN105791868A (zh) 视频编码的方法和设备
CN1848960A (zh) 使用非标准化矢量量化编码器的符合视频标准的残差编码
CN2796280Y (zh) Dvd编码器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication