CN101088296A - 图像编码方法以及对应的图像解码方法、编码装置和解码装置 - Google Patents

图像编码方法以及对应的图像解码方法、编码装置和解码装置 Download PDF

Info

Publication number
CN101088296A
CN101088296A CNA2005800445555A CN200580044555A CN101088296A CN 101088296 A CN101088296 A CN 101088296A CN A2005800445555 A CNA2005800445555 A CN A2005800445555A CN 200580044555 A CN200580044555 A CN 200580044555A CN 101088296 A CN101088296 A CN 101088296A
Authority
CN
China
Prior art keywords
image
coding
picture
decoded picture
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005800445555A
Other languages
English (en)
Other versions
CN101088296B (zh
Inventor
P·阿蒙
G·贝斯
A·赫特
J·潘德尔
B·蒂默曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN101088296A publication Critical patent/CN101088296A/zh
Application granted granted Critical
Publication of CN101088296B publication Critical patent/CN101088296B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

在图像编码方法中借助第一编码方法从原始图像序列中产生解码图像序列。此外借助第二编码方法的INTER编码模式从原始图像序列的一个图像组中产生第二图像序列，其中采用至少一张解码图像作为参考图像，其中该参考图像代表与通过待编码的图像区域的所述第二图像所代表的原始图像不同的原始图像。本发明还涉及图像解码方法，可用于对通过该图像编码方法产生的第二图像进行解码。最后编码装置和解码装置都是本发明的组成部分，利用它们可以执行该图像编码方法和图像解码方法。

Description

图像编码方法以及对应的图像解码方法、编码装置和解码装置
技术领域
本发明涉及一种按照权利要求1的前序部分的图像编码方法以及按照权利要求9的前序部分的图像解码方法。此外，本发明还涉及按照权利要求11和13的前序部分的编码装置和解码装置。
背景技术
按照[1]，对图像序列进行高效编码的视频编码方法利用了特殊的信号特性。其中考虑各个图像或这些图像的图像点之间的位置和时间相关性。图像或视频编码方法能够越好地利用各个图像或图像点之间的相关性，一般可以达到的压缩比例就越大。
在当前用于视频编码的技术中，如按照标准ITU-T H.263或ITU-TH.264[2，3]的混合编码方法与所谓的三维频率编码规则是有所区别的。虽然两种方法都试图对由图像序列组成的视频信号进行位置以及时间的编码，但是在混合编码方法中首先在时间方向进行补偿运动的预测，然后例如借助二维离散余项变换(DCT)对产生的差值图像进行二维变换，以由此去掉该差值图像内相邻图像点之间的位置相关性。
而在三维频率编码规则如补偿运动的、在时间上进行滤波的子带编码中，与混合编码方法相反不执行时间预测，而是在时间轴方向进行“真实”的变换，以由此利用连续图像的时间相关性。在这种子带编码中，图像序列在位置的二维去相关之前就被解码成多个“时间上的”频带，如对于两个频带来说被解码成一个高频带和一个低频带分别用于时间上的高频和低频图像分量。在频谱分解时，出现在这些频带中的频率的分布极大地取决于出现在视频信号中的运动大小。只要所考察的视频信号没有运动或变化的元素，则所有高频“时间频谱分量”都等于0，而整个能量集中在低频带。但在正常情况下将会在图像序列中始终观察到时间上的图像变化，如局部的对象移动、对象大小的变化或者场景变换。这导致能量分布在多个频谱系数上，其中还形成高频分量。
为了减少在时间的高频带中的频谱分量并由此将能量集中在时间的低频带上，在对视频信号进行时间上的滤波之前在多个“时间的”频带中对将要在时间上滤波的图像进行位置的运动估计和运动补偿。
根据[4]也可以将补偿运动的、经过时间上的滤波的子带编码用于产生可缩放的视频数据流。由此实现了时间上的、数量上的以及位置上的可缩放性。此外在[4]的3.2.4章中介绍了一种组合的缩放。其中借助混合编码方法达到两种不同的基础质量。为了改善图像质量而添加其它经过缩放的视频数据流。在[4]中，借助补偿运动的、经过时间上的滤波的子带编码来产生该其它经过缩放的视频数据流。由此公知，借助按照补偿运动的、预测性编码的第一编码方法以及按照补偿运动的、时间上进行滤波的子带编码的第二编码方法可以产生可缩放的视频数据流。
官方申请号为102004031407.1的德国申请公开了一种方法，其中为了产生可缩放的视频流采用混合编码方法和三维频率编码方法。
发明内容
本发明要解决的技术问题是提供一种图像编码方法、图像解码方法、编码装置和解码装置，它们可以采用第一和第二编码方法进行高效的图像编码和图像解码。
该技术问题从按照权利要求1的前序部分的图像编码方法出发通过其特征部分的特征以及从按照权利要求9的前序部分的图像解码方法出发通过其特征部分的特征来解决。此外该技术问题还从按照权利要求11和13前序部分的编码装置和解码装置出发通过其特征部分的特征解决。
在图像编码方法、尤其是根据申请号为102004031407.1的德国申请的权利要求1至8中任一项的图像编码方法中，借助第一编码方法从原始图像序列中产生解码图像序列，借助第二编码方法从该原始图像序列的一个图像组中产生第二图像序列，其中借助第二编码方法的INTER编码模式对一张第二图像的至少一个图像区域进行编码，其中通过INTER编码模式采用至少一张解码图像作为参考图像，其中通过用作参考图像的解码图像来代表与通过待编码的图像区域的所述第二图像所代表的原始图像不同的原始图像。
通过本发明的图像编码方法，在产生第二图像时考虑至少一张解码图像。由此可以提高编码效率，因为在根据第二编码方法的INTER编码模式产生时可以改善预测。
优选的，为了对一张第二图像进行编码考虑至少两张解码图像，其中另外引入这样的解码图像作为参考图像，其与待产生的第二图像代表相同的原始图像。由此可以找到很好的代表，从而进一步改善预测或压缩。
优选如果在对一张第二图像的至少一个图像区域进行编码前将具有第一图像大小的解码图像的至少一个子区域放大或缩小到第二图像大小，则当该第二图像的图像大小与该解码图像的图像大小不同时也可以采用本发明的图像编码方法。由此进一步改善预测和压缩。
此外，如果至少一张解码图像是借助第一编码方法用INTRA编码模式和/或INTER编码模式和/或双向预测编码模式产生的，则可以进一步提高产生第二图像时的编码效率。
此外，可以通过第一编码方法产生具有第一图像重复频率的解码图像序列，以及通过第二编码方法产生具有第二图像重复频率的第二图像序列。由此还可以在第二图像和解码图像的图像重复频率不相同时采用本发明的图像编码方法，并由此提高压缩率。
优选的，通过所述第一编码方法产生位于多个第一图像质量级别中的解码图像序列，通过所述第二编码方法产生位于多个第二图像质量级别中的第二图像序列，其中为了产生第二图像序列而考虑尤其是具有最高的第一图像质量级别的解码图像序列。由此本发明的图像编码方法还可以用在支持缩放级别的第一和/或第二编码方法中。这导致压缩率的提高。
此外，优选作为第一编码方法和第二编码方法可以采用相同的编码方法或者两种不同的编码方法，其中尤其是作为第一编码方法采用补偿运动的预测编码，作为第二编码方法采用补偿运动的、时间上经过滤波的子带编码。由此通过本发明的编码方法既可以采用相同的编码方法，又可以采用两种不同的编码方法来对原始图像序列编码。
在本发明方法的另一个替换方式中，在图像编码方法的范围内这样产生位流，即该位流包括至少一个标识，该标志表明在产生至少一张第二图像时采用了至少一张解码图像。从而编码装置可以向解码装置传送按照本发明方法产生的位流，其中该位流详细描述在产生第二图像时对至少一张第一解码图像的依赖性。
本发明还涉及一种图像解码方法、尤其是根据申请号为102004031407.1的德国申请的权利要求8的图像解码方法，其特征在于对至少一张按照所述图像编码方法编码的图像、尤其是第二图像进行解码的步骤，其中借助第二解码方法从第二图像序列中产生再现的原始图像，其中借助第二解码方法的INTER解码模式对一张第二图像的至少一个图像区域进行解码，其中通过INTER解码模式采用至少一张通过第一编码方法产生的解码图像作为参考图像，其中通过用作参考图像的解码图像来代表与通过待解码的图像区域的所述第二图像所代表的原始图像不同的原始图像。借助该图像解码方法可以对用所述图像编码方法产生的解码或第二图像进行解码。在此通过第二解码方法对采用第二编码方法产生的第二图像进行解码，其中所述第二解码方法包括INTER、TNTRA和/或双向预测解码模式的至少一个。
优选的，通过所述图像解码方法在该图像解码方法的范围内对位流进行解码，其中该位流包括至少一个标识，该标识表明在产生至少一张第二图像时使用了至少一张解码图像。由此该解码方法可以接收按照本发明的方法产生的位流并对其进行解码，其中该位流详细描述在产生第二图像时对至少一张第一解码图像的依赖性。
此外，本发明还涉及一种编码装置、尤其是根据申请号为102004031407.1的德国申请的权利要求9的编码装置，包括用于执行图像编码方法的装置，用于借助第一编码方法从原始图像序列中产生解码图像序列的第一装置，用于借助第二编码方法从原始图像序列的一个图像组中产生第二图像序列的第二装置，其中借助第二编码方法的INTER编码模式对一张第二图像的至少一个图像区域进行编码，其中通过INTER编码模式采用至少一张解码图像作为参考图像，其中通过用作参考图像的解码图像来代表与通过待编码的图像区域的所述第二图像所代表的原始图像不同的原始图像。借助本发明的编码装置可以实施本发明的图像编码方法并借助该方法制造。
优选的，所述编码装置包括用于发送位流的发送装置，该位流这样产生，即该位流包括至少一个标识，该标识表明在产生至少一张第二图像时使用了至少一张解码图像。由此可以从编码装置向解码装置发送该位流。
此外，本发明还涉及一种解码装置、尤其是根据申请号为102004031407.1的德国申请的权利要求10的解码装置，包括用于执行图像解码方法的装置，用于借助第二解码方法从第二图像序列中产生再现的原始图像的第三装置，其中借助第二解码方法的INTER解码模式对一张第二图像的至少一个图像区域进行解码，其中通过INTER解码模式采用至少一张通过第一编码方法产生的解码图像作为参考图像，其中通过用作参考图像的解码图像来代表与通过待解码的图像区域的所述第二图像所代表的原始图像不同的原始图像。本发明的解码装置实现了在设备中实施和执行本发明的图像解码方法。编码装置和/解码装置可以在一个无线设备中，尤其是根据UMTS(通用移动电信系统)标准和/或GSM(全球移动通信系统)标准的无线设备，或者在例如与企业内部网和/或互联网连接的固网设备中实施和运行。
优选如果在所述解码装置设置用于接收包括至少一个标识的位流的接收装置，该标识表明在产生至少一张第二图像时使用了至少一张解码图像，则可以由该接收装置接收和处理位流。
附图说明
下面借助图1至图9详细解释本发明的其它细节和优点。具体示出：
图1以示意图示出对原始图像序列的编码，其中采用按照补偿运动的预测编码的第一编码方法产生解码图像，采用按照补偿运动的、经过时间上滤波的子带编码的第二编码方法在考虑第一编码方法的解码图像的情况下对第二图像进行编码；
图2示出在对第二图像编码过程中对解码图像的依赖性；
图3示出在对第二图像编码过程中对解码图像的依赖性，其中每张第二图像都由至少两张解码图像预测出来；
图4示出在对第二图像编码过程中对解码图像的依赖性，其中解码图像通过增大图像大小而从按照第一编码方法的编码图像中产生；
图5以示意图示出对第二图像编码过程中对解码图像的依赖性，其中解码图像序列具有比第二图像序列小的图像重复频率；
图6示出包含用于执行本发明方法的编码装置和解码装置的移动终端设备；
图7示出具有网络单元的网络，该网络单元包括用于执行本发明方法的编码装置和解码装置；
图8示出在对第二图像编码时对解码图像的第一质量级别的依赖性；
图9示出与传输网络连接的、实施本发明方法的编码装置和解码装置。
具体实施方式
在图1至图9中对具有相同功能和作用方式的元件标以相同的附图标记。
在图1中可以看见本发明方法的实施例。在此应当采用第一编码方法CV1和第二编码方法CV2来压缩原始图像序列O1，...，ON。该原始图像O1，...，ON例如由照相机产生并以具有一个亮度分量和两个色度分量的彩色格式按照640×480个图像点的图像大小提供。此外，可以在对原始图像O1，...，ON编码之前对其进行图像预处理，例如进行噪声抑制或边缘锐化。
首先，第一编码方法CV1对原始图像O1，...，ON进行补偿运动的预测编码。[5]公开了这种补偿运动的预测编码方法，如ITU-T H.263标准。利用该方法可以从原始图像O1，...，ON中在采用例如INTRA编码模式和/或INTER编码模式的情况下产生编码图像B1，...，BM。INTRA编码模式对各原始图像O1，...，ON的每个图像块在不考虑其它原始图像O1，...，ON的情况下进行编码。相反，在INTER编码模式中在考虑一张或多张已经编码的图像B1，...，BM或一张或多张解码图像D1，...D4＝参考图像RB的情况下压缩各个原始图像O1，...，ON的每个图像块。另外，在INTER编码模式中优选在编码之前对原始图像O1，...，ON的各个待编码的图像块进行运动估计，然后在运动补偿之后才对该图像块进行编码。用于运动估计和运动补偿的方法由[5]公开。此外，编码图像B1，...，BM的数量M可以不等于原始图像O1，...，ON的数量N，因为例如不是对所有原始图像O1，...，ON都编码。
在下个步骤中，借助第一编码方法CV1从编码图像B1，...，BM中产生解码图像序列D1，...DM。此外，可以为每个解码图像D1，...DM产生自己的解码列表，该列表给出各解码图像D1，...DM的哪些图像块是例如用INTRA编码模式编码，哪些是使用INTER编码模式编码的。解码图像D1，...DM将在后面的处理步骤中由第二编码方法CV2考虑。对于图1的实施例，对使用INTRA编码模式产生所有图像块的解码图像D1，...DM标以“I”，对至少一个图像块是借助INTER编码模式编码的解码图像标以“P”，对借助双向预测编码模式编码的解码图像标以“B”。
在随后的步骤中，借助第二编码方法CV2对各图像组GOP的所有连续的原始图像O1，...ON进行编码。在本实施例中可以看见3个不同的图像组GOP1，GOP2，GOP3。在此，第二图像组GOP2的待编码原始图像的数量选择为4。每个图像组GOP的待编码原始图像的数量可以变化，例如各图像组GOP1，GOP2，GOP3中首先是2，然后是4，最后是8张原始图像被编码。从而例如第二图像组GOP2的第一张待编码原始图像是第三原始图像O3。
解码图像D1，...D4应当理解为对各对应的编码图像B1，...，B4进行完全的解码，或者从各对应编码图像B1，...，B4中提取一个或多个语法元素，如块类型或宏块类型，或运动向量。
在本发明的范围内，补偿运动的、在时间上经过滤波的子带编码应当理解为这样一种编码方法，其中在多个分辨率平面R1、R2中由每至少两张输入图像分别产生至少一张输出图像A1’、A3。另外还可以产生中间图像Z2’，Z1，Z2，Z3。各中间图像代表第一子带的对应输入图像的补偿了运动的分量。各输出图像包括第二子带的对应输入图像的补偿了运动的分量。第一子带例如包括高频分量，第二子带包括低频分量。较高分辨率平面R1的输出图像A1、A2成为各个较低分辨率平面R2中的输入图像E5，E6。
在图1中描绘的第二编码方法CV2在第二图像组GOP2内由两个分辨率平面R1、R2组成。在第一分辨率平面R1中，从每两张输入图像E1和E2，E3和E4以及两张对应的解码图像D4，D6中分别产生一张中间图像Z1，Z2和一张输出图像A1，A2。两张输出图像A1，A2用作第二分辨率平面R2的输入图像E5，E6。在该实施例中对应于较低分辨率平面的第二分辨率平面R2中，从输入图像E5，E6和解码图像D3，D5中产生第三中间图像Z3和第三输出图像A3。在该实施例中，低分辨率平面R2同时代表最低分辨率平面。最低分辨率平面应当理解为在图像组GOP内只产生一张输出图像的分辨率平面。低分辨率平面R2的输出图像A1’，A3以及中间图像Z2’，Z1，Z2，Z3称为第二图像。
借助图2简化地示出如在图1详细解释的第二图像Z1，Z2，Z3，A3与解码图像D3，D4，D5，D6的相关性。通过箭头标记出在对特定的一张第二图像编码时应当考虑的解码图像。从而例如在产生第二图像A3时考察第三解码图像D3。在此可以例如在对第二图像A3进行预测INTRA编码时将第三解码图像D3用作参考图像RB。原始图像O1，...，ON的说明在图2中应当只是表明各解码图像或第二图像在时间上属于哪张原始图像。例如，第二图像Z3和解码图像D5都代表原始图像O5。
在图1或图2中具有第一编码方法CV1的编码模式如INTRA编码模式的解码图像D3在产生第二图像A3时的分配只是一个可能的实施方式。这样，也可以利用采用与INTRA编码模式不同的编码模式如双向预测编码模式编码的解码图像D3来产生第二图像A3。
在图3中可以看见本发明图像编码方法的一个变形。在此可以看出，采用至少一张按照第二编码方法CV2的解码图像来产生各第二图像。其中在产生第二图像Z1时考虑解码图像D5。在此解码图像D1，...，DN称为参考图像RB，因为例如在具有时间预测的INTER编码时将该解码图像用于产生第二图像Z3。原则上用于产生一张第二图像的解码图像的数量不是固定为预定义的值，如1或3。在产生一张第二图像时待考虑的解码图像的数量也可以变化。从而为了产生第二图像A3考虑两张解码图像D1和D4，为了产生第二图像Z3而考虑三张解码图像D4，D5，D6。此外也不需要只将相邻的解码图像用于产生第二图像。例如，考虑将解码图像D1用于产生第二图像A3。按照本发明，在产生一张第二图像时要考虑至少一张解码图像，但是作为参考图像RB应当使用至少一张解码图像D5，该解码图像代表与通过第二图像Z1代表的原始图像O5不同的原始图像O5。
此外，在本发明的范围中在考虑相同参考图像RB的情况下也不需要总是对一整张图像、即一张图像的所有待编码的图像区域进行编码。从而可以借助参考图像RB＝D1产生第二图像Z1的第一图像区域，借助参考图像RB＝D1，D3来产生第二图像区域。一个图像区域包括任意数量的图像点，例如8×8个图像点的图像块，和/或例如16×16个图像点的宏块，和/或被任意形状的图像区域包围的图像点。
此外，在实践中合适的是，在产生一张第二图像时考虑那些与待产生的第二图像代表相同原始图像的解码图像。从而例如在产生第二图像Z3时也考虑解码图像D5。该措施是很合适的，因为在与待产生的第二图像Z3代表相同原始图像O5的解码图像D5中，可以找到用于预测的最佳相关性并由此实现高度压缩。
在本发明视频编码方法的另一变形中，在产生一张第二图像Z1，Z2，Z3，A3之前将具有第一图像大小BG1的解码图像D1，...DM的至少一个子区域放大或缩小到第二图像大小BG2。这种子区域描述了多个图像点，其中该子区域可以是任意形状。在下面的例子中该字区域包括一张完整的解码图像。为了改善该变形的表示，在图4中示出对应于解码图像D1，...DM的编码图像B1，...BM。从而一张编码图像B1，...BM的第一图像大小BG1大约等于100×120个图像点。现在优选的是，为了产生第二图像一张或多张解码图像应当具有第二图像大小BG2。第二图像大小BG2例如等于200×240个图像点。为此首先对编码图像B1，...BM进行解码，然后借助放大工具从第一图像大小放大到第二图像大小BG2。经过放大的解码图像就是解码图像D1，...DM。在另一个实施例中，合适的是在产生一张第二图像之前缩小一张解码图像的至少一个子区域。此外在实践中合适的是，对于编码图像B1，...B4的一个子区域在其解码之后进行缩小，对于其余的编码图像B5，...BM则在其解码之后放大至少一个子区域(未在图中示出)。
在另一个实施方式中，优选借助第一编码方法CV1利用INTRA编码模式或者INTER编码模式和/或双向预测编码模式来产生至少一张解码图像D1，...DM。在该双向预测编码模式中，通过两张或多张解码图像的预测来产生一张解码图像或编码图像。借助该双向预测编码模式可以使解码图像的数量超过原始图像的数量。由此为了产生第二图像还可以考虑借助该双向预测编码模式产生的解码图像。这可以导致压缩率的提高。此外在产生至少一张第二图像时还可以采用分级的B图像。分级的B图像分别是借助两张B图像产生的。
此外在实践中合适的是，通过第一编码方法CV1产生具有第一图像重复频率BWF1的解码图像序列D1，...DM，通过第二编码方法CV2产生具有第二图像重复频率BWF2的第二图像序列Z1，Z2，Z3，A3。将借助图5对其详细解释。在图5中，只是针对每张第二原始图像产生解码图像序列。因此对于原始图像O2，O4，O6没有对应的解码图像。为了产生第二图像只访问存在的解码图像。由此例如为了产生第二图像Z2而考虑解码图像D7，D5。在产生了所有的第二图像之后，按照图5示出第二图像重复频率BWF2是第一图像重复频率BWF1的两倍，因为产生了两倍于解码图像的第二图像。
在按照图8的本发明图像编码方法的另一变形中，可以通过第一编码方法CV1产生处于多个第一图像质量级别Q1，Q2中的解码图像D1_Q1，D1-Q2，...，DM_Q1，DM_Q2，通过第二编码方法CV2产生处于多个第二图像质量等级Q1’，Q2’的第二图像序列Z1，Z2，Z3，A3，其中为了产生第二图像序列Z1，Z2，Z3，A3尤其是考虑具有最高第一图像质量级别Q2的解码图像D1_Q1，D1_Q2，...，DM_Q1，DM_Q2。例如，对于每张解码图像D1，...DM都提供两个不同的第一质量级别，例如D1_Q1，D1_Q2。从而解码图像D1_Q1具有第一质量级别＝基础质量级别，解码图像D1-Q2具有相对于该基础质量级别有所改善的第二质量级别。由此第一图像质量级别的数量等于2。此外，每张解码图像D1_Q1，...，DM_Q2的质量级别的数量都可以不同。在优选的变形中，为了产生第二图像A3，Z1，Z2，Z3而考虑解码图像的对应于最高第一图像质量级别的质量级别，即例如针对最高第一图像质量级别Q2的解码图像D1_Q2。此外，第二图像Z1，Z2，Z3，A3还可以具有多个质量级别，例如具有3个质量级别Q1’，Q2’，Q3’。在此第二图像质量级别的数量等于3。
本发明对于第一和第二编码方法CV1、CV2既可以采用唯一的一种编码方法，也可以采用两种不同的编码方法。此外，本发明不仅限于只采用两种编码方法，即第一和第二编码方法，还可以采用三种和更多的编码方法。例如，用第一和第二编码方法对原始图像编码，第三编码方法采用第一和/或第二编码方法的编码或解码图像来产生第二图像。
图像编码方法可以用编码装置EV来执行。该图像编码方法借助编码装置EV的第一和第二装置M1，M2来实现。此外该编码装置还包括发送装置MS。由此由编码装置EV产生并包括至少一个标识KN、一张解码图像D1和至少一张第二图像Z1的位流BS通过传输网络UE发送给解码装置DV。
本发明还涉及一种图像解码方法，该方法执行用于解码至少一张按照图像编码方法编码的图像，尤其是一张第二图像Z1，Z2，Z3，A3的一个或多个步骤。借助本发明的图像解码方法可以从该第二图像中重新获得一张或多张再现的原始图像K1，...，KN，其中再现的原始图像K1，...，KN代表一张或多张原始图像O1，...，ON。在执行该图像解码方法时考虑那些在产生第二图像时采用的解码图像D1，...，DN作为参考图像RB。该图像解码方法可以用解码装置DV执行。此外，解码单元可以包括用于接收位流BS的接收模块ME，该位流包括至少一个标识KN、一张解码图像D1和至少一张第二图像Z1。图像解码方法可以借助解码装置DV来实现，该解码装置包括用于执行本发明方法的第三装置。
在图6中可以看见移动终端设备MG。编码装置EV和/或解码装置DV可以实施在该终端设备MG中，并实现本发明的图像编码方法和图像解码方法。移动终端设备MG尤其是按照GSM(全球移动通信系统)标准的移动无线设备。
在图7中示出网络NET。该网络NET包括例如实现编码装置EV和/或解码装置DV的网络单元NE。此外还可以在该网络NET内另外设置第一和第二网络元件NW1，NW2，该网络元件例如相互连接和/或与网络单元NE连接。包括编码装置EV和/或解码装置DV的网络单元NE可以借助这些装置执行本发明的图像编码方法和图像解码方法。
在图9中既示出包括第一、第二装置M1、M2和用于产生位流BS的发送装置MS的编码单元EV，该位流包括至少一个标识KN、一张解码图像D1和至少一张第二图像Z1，还示出包括第三装置M3和用于接收位流BS的接收装置ME的解码单元DV。编码装置EV和解码装置DV通过传输网络UE相互连接以交换有效数据和检查数据。传输网络UE例如是按照GSM标准或ISDN(综合服务数字网络)标准建立的。
文献
[1]K.Hanke，RWTH-Aachen，http:/www.ient.rwth-aachen.de/forschung/pdf/3D-videocodierung.pdf
[2]Videocodierstandard ITU-T H.263，“Videocoding for LowBitrate Communication”，02/1998
[3]Videocodierstandard ITU-T H.264，“Advanced Video Codingfor Generic Audio Visual Services”，05/2003
[4]H.Schwarz，D.Marpe和T.Wigand，Fraunhofer Institut fuerTelekommunikation，Heinrich Herz Institut，“ScalableExtension of H.264/AVC”，ISO/IECJTC1/SC29/WG11，MPEG04/M10569/S03，Maerz 2004
[5]S.Jun，S.Huifang，“Image and Video Compression forMultimedia Engineering”，CRC-Press，2000

Claims (14)

1.一种图像编码方法，尤其是根据申请号为102004031407.1的德国申请的权利要求1至8中任一项的图像编码方法，具有以下步骤：
a)借助第一编码方法(CV1)从原始图像序列(01，...，0N)中产生解码图像序列(D1，...，DM)，
b)借助第二编码方法(CV2)从原始图像序列(01，...，0N)的一个图像组(GOP)中产生第二图像序列(Z1，Z2，Z3，A3)，其中
借助第二编码方法(CV2)的INTER编码模式对一张第二图像(Z1)的至少一个图像区域进行编码，
通过INTER编码模式采用至少一张解码图像(D5)作为参考图像(RB)，
通过用作参考图像(RB)的解码图像(D5)来代表与通过待编码的图像区域的所述第二图像(Z1)所代表的原始图像(04)不同的原始图像(05)。
2.根据权利要求1所述的图像编码方法，其特征在于，为了对一张第二图像(Z3)进行编码考虑至少两张解码图像(D4，D5)，其中另外引入这样的解码图像(D5)作为参考图像(RB)，其与待产生的第二图像(Z3)代表相同的原始图像(05)。
3.根据上述权利要求之一所述的图像编码方法，其特征在于，在对一张第二图像(Z1，Z2，Z3，A3)的至少一个图像区域进行编码前将具有第一图像大小(BG1)的解码图像(D1，...，DM)的至少一个子区域放大或缩小到第二图像大小(BG2)。
4.根据上述权利要求之一所述的图像编码方法，其特征在于，至少一张解码图像(D1，...，DM)是借助第一编码方法(CV1)用INTRA编码模式和/或INTER编码模式和/或双向预测编码模式产生的。
5.根据上述权利要求之一所述的图像编码方法，其特征在于，通过第一编码方法(CV1)产生具有第一图像重复频率(BWF1)的解码图像序列(D1，...，DM)，以及通过第二编码方法(CV2)产生具有第二图像重复频率(BWF2)的第二图像序列(Z1，Z2，Z3，A3)。
6.根据上述权利要求之一所述的图像编码方法，其特征在于，通过所述第一编码方法(CV1)产生位于多个第一图像质量级别(Q1，Q2)中的解码图像(D1_Q1，D1_Q2，...，DM_Q1，DM_Q2)，通过所述第二编码方法(CV2)产生位于多个第二图像质量级别中的第二图像序列(Z1，Z2，Z3，A3)，其中为了产生第二图像序列(Z1，Z2，Z3，A3)而考虑尤其是具有最高的第一图像质量级别的解码图像序列(D1_Q1，D1_Q2，...，DM_Q1，DM_Q2)。
7.根据上述权利要求之一所述的图像编码方法，其特征在于，作为第一编码方法(CV1)和第二编码方法(CV2)采用相同的编码方法或者两种不同的编码方法，其中尤其是作为第一编码方法(CV1)采用补偿运动的预测编码，作为第二编码方法(CV2)采用补偿运动的、时间上经过滤波的子带编码。
8.根据上述权利要求之一所述的图像编码方法，其特征在于，在图像编码方法的范围内这样产生位流(BS)，即该位流包括至少一个标识(KN)，该标识表明在产生至少一张第二图像(Z1，A3)时采用了至少一张解码图像(D1，D1_Q1，D1_Q2)。
9.一种图像解码方法，尤其是根据申请号为102004031407.1的德国申请的权利要求8的图像解码方法，其特征在于对至少一张按照上述权利要求之一所述图像编码方法编码的图像、尤其是第二图像(Z1，Z2，Z3，A3)进行解码的步骤，其中借助第二解码方法(DV2)从第二图像序列(Z1，Z2，Z3，A3)中产生再现的原始图像(K1，...，KN)，其中
借助第二解码方法(DV2)的INTER解码模式对一张第二图像(Z1)的至少一个图像区域进行解码，
通过INTER解码模式采用至少一张通过第一编码方法(CV1)产生的解码图像(D5)作为参考图像(RB)，
通过用作参考图像(RB)的解码图像(D5)来代表与通过待解码的图像区域的所述第二图像(Z1)所代表的原始图像(04)不同的原始图像(05)。
10.根据上述权利要求之一所述的图像解码方法，其特征在于，在该图像解码方法的范围内对位流(BS)进行解码，其中该位流包括至少一个标识(KN)，该标识表明在产生至少一张第二图像(Z1，A3)时使用了至少一张解码图像(D1，D1_Q1，D1_Q2)。
11.一种编码装置(EV)，尤其是根据申请号为102004031407.1的德国申请的权利要求9的编码装置，包括用于执行权利要求1至8中任一项所述图像编码方法的装置，还具有
a)借助第一编码方法(CV1)从原始图像序列(01，...，0N)中产生解码图像序列(D1，...，DM)的第一装置(M1)，
b)借助第二编码方法(CV2)从原始图像序列(01，...，0N)的一个图像组(GOP)中产生第二图像序列(Z1，Z2，Z3，A3)的第二装置(M2)，其中
借助第二编码方法(CV2)的INTER编码模式对一张第二图像(Z1)的至少一个图像区域进行编码，
通过INTER编码模式采用至少一张解码图像(D5)作为参考图像(RB)，
通过用作参考图像(RB)的解码图像(D5)来代表与通过待编码的图像区域的所述第二图像(Z1)所代表的原始图像(04)不同的原始图像(05)。
12.根据权利要求10所述的编码装置(EV)，其特征在于，所述编码装置包括用于发送位流(BS)的发送装置(MS)，该位流这样产生，即该位流包括至少一个标识(KN)，该标识表明在产生至少一张第二图像(Z1，A3)时使用了至少一张解码图像(D1，D1_Q1，D1_Q2)。
13.一种解码装置(DV)，尤其是根据申请号为102004031407.1的德国申请的权利要求10的解码装置，包括用于执行根据权利要求9或10所述图像解码方法的装置，用于借助第二解码方法(DV2)从第二图像序列(Z1，Z2，Z3，A3)中产生再现的原始图像(K1，...，KN)的第三装置(M3)，其中
借助第二解码方法(DV2)的INTER解码模式对一张第二图像(Z1)的至少一个图像区域进行解码，
通过INTER解码模式采用至少一张通过第一编码方法(CV1)产生的解码图像(D5)作为参考图像(RB)，
通过用作参考图像(RB)的解码图像(D5)来代表与通过待解码的图像区域的所述第二图像(Z1)所代表的原始图像(04)不同的原始图像(05)。
14.根据权利要求13所述的解码装置(DV)，其特征在于用于接收包括至少一个标识(KN)的位流(BS)的接收装置(ME)，该标识表明在产生至少一张第二图像(Z1，A3)时使用了至少一张解码图像(D1，D1_Q1，D1_Q2)。
CN2005800445555A 2004-12-22 2005-12-09 图像编码方法以及对应的图像解码方法、编码装置和解码装置 Expired - Fee Related CN101088296B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102004061906A DE102004061906A1 (de) 2004-12-22 2004-12-22 Bildencodierverfahren, sowie dazugehöriges Bilddecodierverfahren, Encodiervorrichtung und Decodiervorrichtung
DE102004061906.9 2004-12-22
PCT/EP2005/056626 WO2006067053A1 (de) 2004-12-22 2005-12-09 Bildencodierverfahren, sowie dazugehöriges bilddecodierverfahren, encodiervorrichtung und decodiervorrichtung

Publications (2)

Publication Number Publication Date
CN101088296A true CN101088296A (zh) 2007-12-12
CN101088296B CN101088296B (zh) 2012-03-21

Family

ID=36088352

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005800445555A Expired - Fee Related CN101088296B (zh) 2004-12-22 2005-12-09 图像编码方法以及对应的图像解码方法、编码装置和解码装置

Country Status (8)

Country Link
US (1) US8121422B2 (zh)
EP (1) EP1829378B1 (zh)
JP (1) JP4944792B2 (zh)
KR (1) KR101236405B1 (zh)
CN (1) CN101088296B (zh)
DE (1) DE102004061906A1 (zh)
ES (1) ES2427427T3 (zh)
WO (1) WO2006067053A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107277546A (zh) * 2011-08-17 2017-10-20 佳能株式会社 编码装置和方法、解码装置和方法以及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009039095A1 (de) * 2009-08-27 2011-03-10 Siemens Aktiengesellschaft Verfahren und Vorrichtung zum Erzeugen, Decodieren und Transcodieren eines codierten Videodatenstroms
US20110119240A1 (en) * 2009-11-18 2011-05-19 Dana Shapira Method and system for generating a bidirectional delta file
US8856078B2 (en) * 2012-02-21 2014-10-07 Citrix Systems, Inc. Dynamic time reversal of a tree of images of a virtual hard disk

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2362531A (en) * 2000-05-15 2001-11-21 Nokia Mobile Phones Ltd Indicating the temporal order of reference frames in a video sequence
FI120125B (fi) * 2000-08-21 2009-06-30 Nokia Corp Kuvankoodaus
US20020118742A1 (en) 2001-02-26 2002-08-29 Philips Electronics North America Corporation. Prediction structures for enhancement layer in fine granular scalability video coding
US7266150B2 (en) * 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
US7693220B2 (en) * 2002-01-03 2010-04-06 Nokia Corporation Transmission of video information
FI114527B (fi) * 2002-01-23 2004-10-29 Nokia Corp Kuvakehysten ryhmittely videokoodauksessa
TWI230547B (en) * 2004-02-04 2005-04-01 Ind Tech Res Inst Low-complexity spatial downscaling video transcoder and method thereof
DE102004031407A1 (de) 2004-06-29 2006-01-26 Siemens Ag Verfahren zur Bildencodierung einer Folge von Originalbildern, sowie dazugehöriges Bilddecodierverfahren, Encodiervorrichtung und Decodiervorrichtung

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107277546A (zh) * 2011-08-17 2017-10-20 佳能株式会社 编码装置和方法、解码装置和方法以及存储介质
CN107277545A (zh) * 2011-08-17 2017-10-20 佳能株式会社 编码装置和方法、解码装置和方法以及存储介质
US10771806B2 (en) 2011-08-17 2020-09-08 Canon Kabushiki Kaisha Method and device for encoding a sequence of images and method and device for decoding a sequence of images

Also Published As

Publication number Publication date
EP1829378A1 (de) 2007-09-05
KR101236405B1 (ko) 2013-02-22
US20080144950A1 (en) 2008-06-19
JP2008524949A (ja) 2008-07-10
CN101088296B (zh) 2012-03-21
DE102004061906A1 (de) 2006-07-13
JP4944792B2 (ja) 2012-06-06
EP1829378B1 (de) 2013-08-14
US8121422B2 (en) 2012-02-21
ES2427427T3 (es) 2013-10-30
KR20070093975A (ko) 2007-09-19
WO2006067053A1 (de) 2006-06-29

Similar Documents

Publication Publication Date Title
CN100380980C (zh) 用于在视频编码系统中指示量化器参数的方法与设备
CN101578870B (zh) 对可缩放视频译码(svc)方案的增强层进行译码的方法和装置
CN109644269B (zh) 图像处理设备、图像处理方法和存储介质
CN101627636B (zh) 可缩放视频译码增强层中的精细化和有效系数的组合式游程长度译码的方法和装置
CN101232622B (zh) 用于子像素值内插的方法
CN100592784C (zh) 移动通信系统的数字视频信号处理装置及方法
KR101129972B1 (ko) 비트스트림으로 인코딩된 움직임 벡터를 디코딩하는 방법과 장치, 움직임 벡터를 비트스트림으로 인코딩하는 방법과 장치 및 컴퓨터 판독가능 매체
CN100521550C (zh) 用于数字视频的编码方法、解码方法、编码器和解码器
US20060188165A1 (en) Spatial prediction based intra-coding
CN101637024A (zh) 用于经译码块模式的可变长度译码技术
EP2568708A1 (en) Refinement coefficient coding based on history of corresponding transform coefficient values
CN101601300A (zh) 用自适应增强层预测对位深度可分级视频数据进行编码和/或解码的方法和设备
CN102450015A (zh) 三维转换信息与二维视频序列的编码
CN101578882A (zh) 用于可缩放视频译码的自适应上取样
CN101828399A (zh) 用于可缩放位深度的可缩放视频译码技术
CN101855908B (zh) 用于可缩放视频译码的改进的加强层译码
CN102318346A (zh) 图像处理设备和方法
CN1878304B (zh) 编码和解码图像序列的方法和设备
CN101088296B (zh) 图像编码方法以及对应的图像解码方法、编码装置和解码装置
KR20060123037A (ko) 복수의 계층으로 이루어진 계층적 부호를 사용하는 화상통신 시스템
CN1993991B (zh) 对原始图像序列进行图像编码的可缩放的方法以及与此相关的图像解码方法、编码装置和解码装置
CN101523919B (zh) 基于用于精细化系数译码的视频区块类型的可变长度译码表选择
Khirallah et al. Stereo image transmission over fading channels with multiterminal source coding

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120321

Termination date: 20171209