CN1993991B - 对原始图像序列进行图像编码的可缩放的方法以及与此相关的图像解码方法、编码装置和解码装置 - Google Patents

对原始图像序列进行图像编码的可缩放的方法以及与此相关的图像解码方法、编码装置和解码装置 Download PDF

Info

Publication number
CN1993991B
CN1993991B CN2005800218782A CN200580021878A CN1993991B CN 1993991 B CN1993991 B CN 1993991B CN 2005800218782 A CN2005800218782 A CN 2005800218782A CN 200580021878 A CN200580021878 A CN 200580021878A CN 1993991 B CN1993991 B CN 1993991B
Authority
CN
China
Prior art keywords
image
encoded
encoding
decoded
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2005800218782A
Other languages
English (en)
Other versions
CN1993991A (zh
Inventor
P·阿蒙
G·巴塞
A·胡特
J·庞德尔
B·蒂默曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN1993991A publication Critical patent/CN1993991A/zh
Application granted granted Critical
Publication of CN1993991B publication Critical patent/CN1993991B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

在对原始图像序列进行图像编码的方法中，借助按照运动补偿的、预测编码的第一编码方法从原始图像序列中产生一个已解码的图像序列，在图像编码前通过按照运动补偿的、时间上滤波的分频带编码的第二编码方法，根据一个为产生该要编码的图像组的一个低分辨率级的一个输出图像所使用的、被解码的图像的已确定的分辨率，确定要编码的彼此相继的原始图像的图像组的开始图像，其中，在图像编码时从要编码的图像组的彼此相继的原始图像和从在每一分辨率级内的至少一个已解码的图像产生至少一个输出图像。在用于图像编码原始图像序列的方法中，从原始图像序列借助按照运动补偿的、预测编码的第一编码方法产生一个已解码的图像的序列，在图像编码前通过按照一种运动补偿的、时间上滤波的分频带编码的第二编码方法，根据一个为产生该要编码的图像组的一个低分辨率级的一个输出图像使用的、被解码的图像的一个已确定的分辨率，确定要编码的彼此相继的原始图像的图像组的开始图像，其中，在编码时从要编码的图像组的彼此相继的原始图像和在每一分辨率级内的至少一个已解码的图像产生至少一个输出图像。此外，本发明包括一种图像解码方法，用它可解码通过用于图像编码的方法获得的已编码的图像信息。最后本发明还包括解码装置和解码装置，用于执行图像编码或者图像解码的方法。例如已解码的图像仅包括降低的图像质量，与此相反，重建的图像表示高质量的图像质量。

Description

对原始图像序列进行图像编码的可缩放的方法以及与此相关的图像解码方法、编码装置和解码装置
技术领域
本发明涉及对原始图像的序列进行图像编码的方法和对采用上述方法编码的图像进行解码的图像解码方法。此外本发明还涉及用于编码原始图像的序列的编码装置，以及对采用上述方法编码的图像进行解码的解码装置。
背景技术
按照[1]，高效率编码图像序列的视频编码方法利用特定的信号特性。在此利用单个图像或者该图像的图像点的位置和时间的依赖性。图像或者视频编码方法越能够较好利用单个图像或者图像点之间的该依赖性，那么一般就越能够获得更大的压缩率。
在当前视频编码技术中，基本上分为两种方法：混合编码方法，例如ITU-TH.263或者ITU-T H.264标准[2，3]，和所谓的三维频率编码方法。虽然两种方法都试图无论以位置方式还是时间方式编码由图像序列组成的视频信号，但是人们在混合方法中首先利用在时间方向上的运动补偿的预测和接着例如借助二维离散余弦变换(DCT-离散余弦变换)对于所产生的差分图像进行二维变换，以便由此消除在该差分图像内的相邻图像点之间的位置相关。
在三维频率编码方法，例如运动补偿的、时间上滤波的分频带编码中，与混合编码方法相反，不执行时间预测，而在时间轴的方向上执行“真正的”变换，以便由此利用相继图像的时间相关。在这样的分频带编码中，图像序列在位置的二维去相关之前被分类为多个“时间的”频带，例如在两个频带的场合分类为时间上高频的和低频的图像部分的高频带和低频带。在谱拆分的情况下在这些频带内出现的频率的分配极大地依赖在视频信号中出现的运动的大小。只要所考虑的视频信号不具有运动的或者变化的元素，则所有高频的“时间谱部分”等于零，全部能量集中在低频带上。然而在正常情况下在一个图像序列中总能看到时间上的图像变化，例如局部的物体移动、物体大小的改变或者场景变换。这导致在多个谱系数上的能量分配，在此也出现高频的部分。
为减少在时间的高频带中的谱分量，从而把能量集中在时间的低频带上，在时间上滤波视频信号前在多个“时间的”频带内执行在时间上要被滤波的图像的运动估计和运动补偿。
根据[4]，运动补偿的、时间上滤波的分频带编码也可以用于建立可缩放的视频数据流。例如由此能够获得时间的、定性的、或者还有位置的可缩放性。此外在[4]中第3.2.4章提供一种组合的缩放。在此借助混合编码方法获得两个不同的基本质量(L0，L1)。为获得改善的图像质量，接受附加的被缩放过的视频数据流，例如L2、L3、L4和/或L5。这些附加的经缩放过的视频数据流(L2，…，L5)在[4]中借助一种运动补偿的、时间上滤波的分频带编码产生。从而知道，借助按照一种运动补偿的、预测编码的第一编码方法和按照一种运动补偿的、时间上滤波的分频带编码的第二编码方法可以产生一个可缩放的视频数据流。
发明内容
本发明的技术问题在于：提供一种用于图像编码和图像解码的方法、一种编码以及解码装置，它们能够以简单而有效的方式使用一种运动补偿的、时间上滤波的分频带编码方法并借助一种运动补偿的、预测的编码方法来实现对原始图像序列的图像编码和解码。
该技术问题通过对原始图像的序列进行图像编码图像编码方法以及对采用上述方法编码的图像进行解码图像解码方法而得以解决。此外，该技术问题通过用于编码原始图像的序列的编码装置以及解码装置对采用上述方法编码的图像进行解码而得以解决。
所述对原始图像的序列进行图像编码的方法包括下述步骤：借助按照运动补偿的、预测编码的第一编码方法，从原始图像的序列中产生被解码图像的一个序列；在图像编码前，通过按照运动补偿的、时间上滤波的分频带编码的第二编码方法根据一个编码特性来确定有待编码的彼此相继的原始图像的图像组的开始图像，其中，所述编码特性是为产生有待编码的彼此相继的原始图像的图像组的一个低分辨率级的一个输出图像而使用的被解码图像的一个已确定的编码特性；在图像编码时，从该有待编码的彼此相继的原始图像的图像组的彼此相继的原始图像中和从每一分辨率级的至少一个被解码图像中产生至少一个输出图像。
所述对采用上述方法编码的图像进行解码的图像解码方法具有以下步骤：解码已编码的图像的序列为一个被解码图像的序列；利用中间图像和第三输出图像以及借助运动矢量列表和被解码图像产生原始图像的序列的一个重建的图像的序列。
所述用于编码原始图像的序列编码装置具有：装置，该装置用于借助按照运动补偿的、预测编码的第一编码方法，从原始图像的序列中产生被解码图像的一个序列；装置，该装置用于在图像编码前，通过按照运动补偿的、时间上滤波的分频带编码的第二编码方法根据一个编码特性来确定有待编码的彼此相继的原始图像的图像组的开始图像，其中，该编码特性是为产生有待编码的彼此相继的原始图像的图像组的一个低分辨率级的一个输出图像而使用的被解码图像的一个已确定的编码特性；在图像编码时，从该有待编码的彼此相继的原始图像的图像组的彼此相继的原始图像中和从每一分辨率级的至少一个被解码图像中产生至少一个输出图像。
所述对采用上述方法编码的图像进行解码的解码装置具有：装置，该装置用于解码已编码的图像的序列为一个被解码图像的序列；装置，该装置利用中间图像和第三输出图像以及借助运动矢量列表和被解码图像产生原始图像的序列的一个重建的图像的序列。
在对原始图像序列进行图像编码的方法中，从原始图像序列中借助按照运动补偿的、预测编码的第一编码方法产生被解码图像的一个序列，在图像编码前，通过按照运动补偿的、时间上被滤波的分频带编码的第二编码方法根据为产生该要编码的图像组的一个低分辨率级的一个输出图像而使用的、被解码的图像的已确定的编码特性来确定要编码的彼此相继的原始图像的图像组的开始图像，其中，在图像编码时，从该要编码的图像组的彼此相继的原始图像中和从每一分辨率级的至少一个被解码图像中产生至少一个输出图像。
通过本发明的用于图像编码的方法在通过第二编码方法编码原始图像时考虑由通过第一编码方法产生的被解码图像的已确定的编码特性。由此为第二编码方法改善了压缩特性，例如压缩率或者在保持相同压缩率的图像质量。
此外，通过为通过第二编码方法的图像编码适当选择开始图像，减小通过第二编码方法产生的图像信息的易错性(错误漂移)，由此提高图像质量。
此外本发明的方法能够自由选择对按照第一和/或第二编码方法产生的单个图像的访问。
当编码特性的确定表明：所使用的、被解码图像的至少一个图像块被INTRA编码时，优选根据使用的、被解码图像确定开始图像。因为INTRA编码的图像块经常以较高的图像质量编码，并在INTRA编码的图像块中不出现错误漂移，从而为低分辨率级的输出图像的至少一个图像部分获得减小的信号能量，并由此能够获得改善的压缩特性。不出现错误漂移，因为在INTRA编码时不从先前的图像进行预测，从而不接收任何错误。
作为可选的方案，当编码特性的确定表明：所使用的、被解码图像的规定数目的图像块被INTRA编码时，根据使用的、被解码图像确定开始图像。由此能够提高第二编码方法的压缩效率，因为低分辨率级的输出图像的多个图像部分具有小的信号能量并因此能够高效率地编码。
作为可选的方案，当编码特性的确定表明：所使用的、被解码图像的所有图像块被INTRA编码时，根据使用的、被解码图像确定开始图像。由此能够极大地提高第二编码方法的压缩效率，因为低分辨率级的输出图像的所有图像部分都具有特别小的信号能量并能够非常有效地压缩。
最好，取决于已确定的编码特性建立图像组的多个要编码的、彼此相继的原始图像。由此实现：可以建立图像组的这些彼此相继的原始图像，使得能够为低分辨率级的输出图像建立一个差分图像而分配那些被解码图像，它们获得非常小的要编码的信号能量。
此外如果以每一分辨率级(R1，R2)产生至少一个中间图像(Z1，Z2，Z3)，并压缩该中间图像和低分辨率级的输出图像，那么能够减少该中间图像和低分辨率级的输出图像的数据量。如果附加地，按照基于小波的变换进行压缩，则由此能够特别有效地减少该中间图像和低分辨率级的输出图像的数据量。
本发明还涉及一种解码至少一个通过图像编码方法编码的图像的图像解码方法。由此实现：能够解码无论第一编码方法的已编码图像还是第二编码方法的中间图像和低分辨率级的输出图像，所述图像按照用于图像编码的方法产生。
此外本发明涉及一种编码装置，具有用于对原始图像序列进行图像编码的单元。由此能够在一种设备例如移动电话中实施图像编码方法。
此外本发明还包括一种解码装置，具有用于实施图像解码方法的单元。由此能够在一种设备例如为移动电话实现的设备中实施图像解码方法。
附图说明
本发明的另外的单元以及优点根据图1到图5说明。在各图中：
图1大致示出编码一个原始图像序列，这些原始图像采用按照一种运动补偿的、预测编码的第一编码方法压缩，且它们用按照一种运动补偿的、时间上滤波的分频带编码的第二编码方法通过考虑第一编码方法的被解码图像被编码，
图2详细表示借助第二编码方法准备一个中间图像和一个输出图像，它们在多个处理步骤中在第一分辨率级内从两个输入图像产生，在此在建立时考虑第一编码方法的一个已编码的图像，
图3大致示出在低分辨率级内的处理步骤，在此使用两个输入图像和两个已编码的图像产生一个输出图像，
图4大致示出用于执行本发明的方法的编码装置、解码装置和传输介质，
图5大致示出使用第一和第二编码方法压缩一个原始图像序列，其中通过第二编码方法压缩多个各具有不同数目的要编码的原始图像的图像组。
具体实施方式
具有同样功能和作用方式的单元在图1到图5中附以相同的附图标记。
在图1中可以看到根据本发明的方法的一个实施例。在此采用第一编码方法CV1和第二编码方法CV2压缩原始图像O1、…、ON的序列。这些原始图像O1、…、ON例如由照相机K产生，并以具有亮度分量Y和两个Crominanz分量CR、CB的颜色格式在一个具有640×480个图像点的图像尺寸中提供。此外，原始图像O1、…、ON可以在其编码前可以接受例如噪声抑制或者边缘清晰处理。
首先，第一编码方法CV1执行原始图像O1、…、ON的移动补偿的、预测编码。从[5]知道这种移动补偿的、预测编码方法，例如ITU-T H.263标准。由此可以从原始图像O1、…、ON使用INTRA编码方式和/或INTER编码方式产生已编码的图像B1、…、BM。INTRA编码方式编码各原始图像O1、…、ON的单个的图像块而不考虑其他的原始图像O1、…、ON。与此相反，在INTER编码方式中考虑一个或者多个已经被编码的图像B1、…、BM压缩各原始图像O1、…、ON的单个图像块。另外，在INTER编码方式中在编码前有利地执行原始图像O1、…、ON的各要被编码的图像块的运动估计，然后仅在运动补偿后编码该图像块。运动估计或者运动补偿的方法从[5]得知。此外，已编码图像B1、…、BM的数目M可以与原始图像O1、…、ON的不同，因为例如并非所有的原始图像O1、…、ON都被编码。
在下一步骤中从已编码的图像B1、…、BM借助第一编码方法建立被解码图像D1、…、DM的一个序列。此外，可以为每一被解码图像D1、…、DM准备一个自己的解码列表，它说明各被解码图像D1、…、DM的哪些图像块用INTRA编码方式编码和哪些用INTER编码方式编码。这些被解码图像D1、…、DM在随后的处理步骤中由第二编码方法考虑。对于按照图1所示的实施例，给其所有图像块用IN    编码方式产生的那些被解码图像D1、…、DM用“I”标记，给其至少一个图像块借助INTER编码方式编码的那些用“P”标记。
在下一步骤中借助第二编码方法CV2编码每一个图像组GOP的所有彼此相继的原始图像O1、…、ON。在本实施例中看到3个不同的图像组GOP1、GOP2、GOP3。在此，第二图像组GOP2的要编码的原始图像的数目选择为4。每一图像组GOP的要编码的原始图像的数目可以改变，例如在各图像组GOP1、GOP2、GOP3中先编码2个原始图像，然后是4个，再然后是8个。于是例如第二图像组GOP2的第一个要编码的原始图像是第三原始图像O3。每一图像组GOP的各第一原始图像下面称为开始图像BSP。
在本发明的范围内运动补偿的、时间上滤波的分频带编码是指以下一种编码方法：其中以多个分辨率级从各至少两个输入图像每次至少产生一个输出图像。另外也可以建立中间图像。每一中间图像表示第一分频带的与此相关的输入图像的运动补偿的部分。各输出图像包括第二分频带的与此相关的输入图像的运动补偿的部分。第一分频带例如包括高频部分，第二分频带包括低频部分。在每一较低分辨率级内较高分辨率级的至少两个输出图像与输入图像相对。
在图1中绘制的第二编码方法CV2在第二图像组GOP2中由两个分辨率级R1、R2组成。在第一分辨率级R1内从各两个输入图像E1和E2、E3和E4和两个与此相关的被解码图像D4、D6分别产生一个中间图像Z1、Z2和各一个输出图像A1、A2。两个输出图像A1、A2作为下一分辨率级R2的输入图像E5、E6使用。以在在本实施例中是低分辨率级的第二分辨率级R2，从输入图像E5、E6连同被解码图像D3、D5产生一个第三中间图像Z3和一个第三输出图像A3。在该实施例中低分辨率级R2同时表示最低的分辨率级。最低的分辨率级指在图像组GOP内仅产生一个输出图像的分辨率级。借助图2和图3举例详细说明各分辨率级R1、R2的作用方式。
在图2中可以看到两个输入图像E1、E2，它们相应于原始图像O3或者O4。第二输入图像E2例如细分为多个图像块Q1、…、Q9。这些图像块Q1、…、Q9，它们例如相应于从[5]中知道的宏块，可以包括16×16图像点。首先第二编码方法CV2为第二输入图像E2的至少一个图像块Q1、…、Q9例如为图像块Q5在第一输入图像E1上执行运动估计。为执行运动估计的可能的策略从[5]中获知。如果在第一输入图像E1内找到一个匹配的图像区域，则把该找到的图像区域在运动补偿MC后用第二输入图像E2的图像块Q5在时间上高通滤波，例如通过减去各图像点。找到的运动矢量被汇集到一个第一运动矢量列表ML1中。
如果对于图像块Q1、…、Q9找不到任何好的运动估计，则可以为这些图像块Q1、…、Q9为在时间上低通滤波而从属于第二输入图像E2的被解码图像D4抽出一个相应的图像块R1、…、R9。例如如果对于图像块Q6在第一输入图像E1内找不到任何匹配的图像区域，则第四被解码图像I4的图像块R6用第二输入图像E2的图像块Q6滤波。
由此通过时间上高通滤波产生一个第一中间图像Z1。通过在建立第一中间图像Z1时另外使用第四被解码图像D4做到，该第一中间图像Z1具有较小的信号能量，从而通过一种随后的压缩方法，例如基于小波的变换，能够获得较高的压缩率，或者在保持相同的压缩率的情况下获得较高的图像质量。
在下一步骤中以图像块方式产生第一输出图像A1。为此，借助第一输入图像E1产生的第一中间图像Z1的各图像块，通过使用考虑第一运动矢量列表ML1的逆运动补偿IMC(ML1)，用第一输入图像E1在时间上低通滤波。时间上的低通滤波可以通过把第一中间图像Z1的逆运动补偿后的图像块的各图像点和第一输入图像E1的图像块相加执行。第一输出图像A1包含输入图像E1、E2的“时间的”低通部分。第二输出图像A2以同样的方式从输入图像E3和E4产生。在此产生一个第二运动矢量列表ML2。
在本实施例中根据具有3×3图像块的图像说明了为执行本发明的方法的优选方式。一般，图像块的数目可以是任意的，例如4×4、8×9或者11×9。此外，被解码图像和输入图像的图像块的数目也可以不同。
下面借助图3详细说明相应于低分辨率级的第二分辨率级R2的单个的处理步骤。借助相应于前一分辨率级R1的第一和第二输出A1、A2的第五和第六输入图像E5、E6并通过使用属于第六输入图像E6的被解码图像D5在运动估计和运动补偿MC(ML3)后产生第三中间图像Z3。在此产生一个第三运动矢量列表ML3。此外，在逆运动补偿IMC(ML3)后和考虑第三输入图像E3而建立临时的第三输出图像A3V。第三中间图像Z3包括时间上滤波的输入图像E5、E6的高频部分。此外，临时的第三输出图像A3V包括时间上滤波的输入图像E5、E6的低通部分。如果共同考虑分辨率级R1、R2，则临时的第三输出图像A3V表示彼此相继的原始图像O3、O4、O5、O6的第二图像组GOP2的“时间的”低通部分。在另一个处理步骤中，通过预测，例如图像点方式的差分图像，临时的第三输出图像A3V和与此相关的第三被解码图像D3，产生第三输出图像A3。
该第三输出图像A3和中间图像Z1、Z2、Z3可以在向解码装置DV传输前被压缩，例如借助小波变换。
按照图1的实施例，开始图像BSP的分配为按照第二编码方法CV2的图像编码这样选择，使其相应于第三原始图像O3。因为第二图像组GOP2的要编码的原始图像O3、…、O6的数目在本实施例中选择为4，所以共同编码原始图像O3、O4、O5、O6。在它们被压缩后，可以接着把以第七原始图像O7开始的后4个原始图像按照第二编码方法CV2压缩。这可以在直到要编码的原始图像O1、…、ON的序列的末端之前继续进行。然而第二编码方法CV2也可以在一个图像组GOP中汇集更多或者更少彼此相继的原始图像O1、…、ON编码。
根据本发明的方法，在图像编码前通过按照一种运动补偿的、时间上滤波的分频带编码的第二编码方法CV2，根据一个为产生该要编码的图像组GOP的低分辨率级R2的一个输出图像A3使用的、被解码图像D3的一个已确定的编码特性，确定一个要编码的彼此相继的原始图像O1、…、ON的图像组GOP的开始图像BSP。因为低分辨率级的输出图像，在本实施例中它是第二分辨率级R2的第三输出图像A3，的质量依赖于与此相关的被解码图像，例如第三被解码图像D3，所以与此相关的被解码的图像的图像质量具有极大的意义。与此相关的被解码图像的图像质量主要依赖于该被解码的图像在其由第一编码方法CV1建立时所遵从的编码特性。因此，通过依赖于对于低分辨率级的输出图像使用的、被解码图像的编码特性选择图像组GOP例如第二图像组GOP2的开始图像BSP，能够极大地影响低分辨率级的输出图像的图像质量。在为图像组GOP最优选择开始图像BSP时，例如为第三输出图像A3产生一个具有较低信号能量的图像，其可以被有效地压缩。
编码特性可以通过评估属于各被解码图像的解码列表确定。此外，编码特性也可以通过分析属于要使用的、被解码图像的已编码的图像获得。于是例如可以通过分析第一已编码图像B1确定，在第一被解码图像D1中哪些图像块MBI借助INTRA或者INTER编码方式压缩。
另外，当编码特性确定表明，所使用的、被解码图像例如D3的至少一个图像块MBI被INTRA编码时，根据所使用的、被解码图像D3确定开始图像BSP。图像块MBI例如指由16×16图像点形成的图像区域。因为INTRA编码的图像块MBI例如比该图像块MBI被INTER编码的情况下处于较小的量子化下，所以为所使用的、被解码图像D3的图像块MPI产生比在INTER编码时较高的图像质量。因此能够为第三输出图像A3获得一个具有较小信号能量的差分图像，其例如可以通过一个后接的小波压缩被非常有效地压缩。此外使用INTRA编码的图像块MBI也是有利的，因为例如在已编码的图像B1、…、BM的序列内出现的解码错误不通过被INTRA编码的图像块MBI从一个先前编码的图像B1、…、BM中接收，从而图像错误也不在与此相关的被解码图像D1、…、DM中出现。
此外，当编码特性确定表明，所使用的、被解码的图像D3的规定块数AM的图像块MPI被INTRA编码时，可以根据所使用的、被解码图像D3确定开始图像BSP。如果例如存在多个可能的开始图像可用，则通过本发明方法的该变体为通过第二编码方法CV2编码图像组GOP选择这样的开始图像BSP，通过该开始图像BSP可以找到与此相关的被解码图像D1、…、DM的可预先给定的最小数目AM的被INTRA编码的图像块MBI。这点在下面的例子中说明。应该这样选择开始图像BSP，使得对于第三输出图像A3使用的、被解码图像包括至少20个图像块MBI，它们借助INTRA编码方式被压缩。作为开始图像BSP可以选择第三或者第四原始图像O3、O4。属于第三和第四原始图像O3、O4的被解码图像是第三和第四被解码图像D3、D4。在第三被解码图像D3中存在25个INTRA编码的图像块MBI，在第四被解码图像D4中存在19个INTRA编码的图像块MBI。因此作为为编码原始图像O1、…、ON的序列的第二图像组GOP2的开始图像BSP选择第三原始图像O3。
在本发明的方法的另一个可能的变体中，当编码特性确定表明，所使用的、被解码图像D3的所有图像块MBI被INTRA编码时，根据使用的、被解码图像D3确定开始图像BSP。这是有利的，因为由此能够为整个第三输出图像A3找到一个带有小信号能量的小的差分信号。在此开始点与一个用“I”标记的被解码图像D1、…、DM重合。
此外，可能需要，在确定开始图像BSP时，不仅要考虑编码特性K1，而且要考虑彼此相继的原始图像O1、…、ON的最大数目，在此例如不允许超过该最大数目。例如应该根据编码特性确定这样选择下一要编码的图像组例如GOP2的开始图像BSP，使得一个当前要编码的图像组例如GOP1应该包括十个原始图像。然而每一图像组的最大数目被限制到6个原始图像。因此例如把当前要编码的图像组GOP1分成两个子组，使得在各一个图像组中先编码6个然后是4个原始图像。
在本发明的方法的一个变体中，可以依赖于已确定的编码特性K1建立图像组GOP的一些要编码的彼此相继的原始图像O1、…、ON。这点借助图5详细说明，其中根据已确定的编码特性K1作为开始图像BSP总使用这样的原始图像O1、…、ON，其中与此相关的被解码图像D1、…、DM的所有图像块MPI被INTRA编码。这些被解码图像D1、…、DM用“I”表征。首先作为为编码原始图像O1、…、ON的第一图像组GOP1的开始图像BSP使用第一原始图像O1。在此产生输出图像A11和中间图像Z11。按照第二编码方法CV2的编码已经在第二原始图像O2后被中断。因为与第三原始图像O3一起存在用“I”标记的被解码图像D3可用，因此编码特性K1表明，这里应该为第二图像组GOP2设置一个新的开始图像BSP。在第二图像组GOP2后编码第三图像组GOP3，在此例如建立输出图像A21。因此第一图像组GOP1包括两个、第二图像组GOP2包括4个原始图像，它们通过第二编码方法CV2编码。
在该实施例中专门研究原始图像O3、O4、O5和O6的编码。第一和第二编码方法CV1、CV2在此建立了多个已编码的图像信息。在此已编码的图像信息例如包括中间图像Z1、…、Z3、第三输出图像A3、已编码的图像B3、B4、B5、B6、和运动矢量列表ML1、ML2、ML3。此外，还在编码时产生另外的信息，例如在第一编码方法中的运动矢量。为编码原始图像O1、…、ON的整个序列，按照第一和第二编码方法CV1、CV2产生大量已编码的图像信息，它们以类似方式对本实施例产生。
图4表示编码装置EV、解码装置DV和用于从编码装置EV到解码装置DV传输信息的传输介质UEM。编码装置EV包括第一视频编码模块VE1，借助它把原始图像O1、…、ON的一个序列按照第一编码方法CV1变换为已编码的图像B1、…、BM的一个序列，并从它产生被解码图像D1、…、DM的一个序列。此外，编码装置EV包括第二视频编码模块VE2，用于按照第二编码方法CV2考虑被解码图像D1、…、DM执行原始图像O1、…、ON的编码，变换为中间图像Z1、Z2、Z3、输出图像A1、A2、A3，和产生多个运动矢量列表ML1、ML2、ML3。此外编码设备EV具有第一存储装置S1，它为处理组织存储各种图像，例如原始图像O1、…、ON。另外编码装置EV包括发送单元SE，用于传输已编码的图像信息，例如已编码的图像B1、…、BM。发送单元SE、第一存储装置S1、第一视频编码模块VE1和第二视频编码模块VE2通过第一连接网络VN1为交换数据和控制信息彼此连接。
解码装置DV具有第一视频解码模块VD1，用于解码已编码的图像B1、…、BM，其按照第一编码方法CV1建立。此外解码装置DV具有第二视频解码模块VD2，用于解码通过第二编码方法CV2建立的压缩图像，例如中间图像Z1、Z2、Z3和/或第三输出图像A3。此外，还使用运动矢量列表ML1、…、ML3来重建原始图像O3、O4、O5、O6。此外解码装置DV包括接收单元EE，用它接收已编码的图像信息例如已编码的图像B1、…、BM并在第二存储装置S2中为继续处理存储。最后解码装置DV还包括第二存储模块S2，其内存储各种信息和数据，例如运动矢量列表ML1、…、ML3。接收单元EE、第二存储装置S2、第一视频解码模块VD1和第二视频解码模块VD2通过第二连接网络VN2用于交换数据和控制信息彼此连接。
传输介质UEM用于从编码装置EV向解码装置DV传输已编码的图像信息。
编码装置EV和/或解码装置DV可以安装在按照GSM标准(GSM-GlobalSystem for Mobile Communications)或者UMTS标准(UMTS-Universal MobileTelecommunications Systems)的移动无线电设备内以及可集成到便携设备中的计算机单元内。为在编码装置EV和解码装置DV之间传输已编码的图像信息例如可以使用无线的无线电网络例如按照GSM标准，也可以使用有线连接的传输介质例如基于IP的网络(IP-Internet Protokoll)或者ISDN(ISDN-IntegratedService Digital Network)。
除了能够从编码装置EV向解码装置DV发送已编码的图像信息之外，实际上可以适宜地把已编码的图像信息存储在一种存储介质例如CD(CD-Compact Disk)或者视频服务器内以便以后使用。
此外本发明还包括一种图像解码方法，其中用于图像编码原始图像O1、…、ON的序列的方法可解码。例如首先通过第一视频解码模块VD1解码已编码的图像B1、…、BM的序列为一个被解码图像D1、…、DM的序列。接着第二视频解码模块VD2使用中间图像Z1、Z2、Z3和第三输出图像A3以及借助运动矢量列表ML1、…、ML3和被解码图像D1、…、DM产生原始图像O1、…、ON的序列的一个重建的图像R1、…、RM的序列。
在一个可能的变体中，把通过第二视频解码模块VD2产生的重建的图像R1、…、RN在一个输出介质DD上进行重放，例如监视器。另外可选或者附带地也可以把通过第一视频解码模块VD1产生的被解码图像D1、…、DM在监视器上进行重放。例如被解码图像D1、…、DM仅包括降低的图像质量，与此相反，重建的图像R1、…、RM表示高质量的图像质量。因此例如可以由用户选择应当在输出介质上重放较低图像质量的还是较高图像质量的图像序列。
文献目录
K.Hanke，RWTH-Aachen，http:/www.ient.rwth-aachen.de/forschung/pdf/3D-videocodierung.pdf
Videocodierstandard ITU-T H.263，″Videocoding for LowBitrate Communication″，02/1998
Videocodierstandard ITU-T H.264，″Advanced Video Codingfor Generic Audio Visual Services″，05/2003
H.Schwarz，D.Marpe und T.Wigand，Fraunhofer Institutfür Telekommunikation，Heinrich Herz  Institut，″Sca-lable Extension of H.264/AVC″，ISO/IEC JTC1/SC29/WG11，MPEG04/M10569/S03，
Figure GA20185905200580021878201D00131
2004.
S.Jun，S.Huifang，″Image and Video Compression forMultimedia Engineering″，CRC-Press，2000

Claims (10)

1.对原始图像(O1，…，ON)的序列进行图像编码的方法，该方法包括下述步骤：
a)借助按照运动补偿的、预测编码的第一编码方法(CV1)，从原始图像(O1，…，ON)的序列中产生被解码图像(D1，…，DM)的一个序列；
b)在图像编码前，通过按照运动补偿的、时间上滤波的分频带编码的第二编码方法(CV2)根据一个编码特性(K1)来确定有待编码的彼此相继的原始图像(O3，…，O6)的图像组(GOP)的开始图像(BSP)，其中，所述编码特性(K1)是为产生有待编码的彼此相继的原始图像(O3，…，O6)的图像组(GOP)的一个低分辨率级(R2)的一个输出图像(A3)而使用的被解码图像(D3)的一个已确定的编码特性；在图像编码时，从该有待编码的彼此相继的原始图像(O3，…，O6)的图像组(GOP)的彼此相继的原始图像(O3，…，O6)中和从每一分辨率级(R1，R2)的至少一个被解码图像(D3，…，D6)中产生至少一个输出图像(A1，A2，A3)。
2.根据权利要求1所述的方法，其特征在于，
当编码特性的确定表明：所使用的、被解码图像(D3)的至少一个图像块(MBI)被INTRA编码时，根据所使用的、被解码图像(D3)来确定开始图像(BSP)。
3.根据上述权利要求之一所述的方法，其特征在于，
当编码特性的确定表明：所使用的、被解码图像(D3)的规定块数(AM)的图像块(MBI)被INTRA编码时，根据所使用的、被解码图像(D3)来确定开始图像(BSP)。
4.根据权利要求1-2之一所述的方法，其特征在于，
当编码特性的确定表明：所使用的、被解码图像(D3)的所有图像块(MBI)被INTRA编码时，根据所使用的、被解码图像(D3)来确定开始图像(BSP)。
5.根据权利要求1-2之一所述的方法，其特征在于，
取决于已确定的编码特性(K1)建立图像组(GOP)的多个要编码的、彼此相继的原始图像(O1，…，ON)。
6.根据权利要求1-2之一所述的方法，其特征在于，
以每一分辨率级(R1，R2)产生至少一个中间图像(Z1，Z2，Z3)，
压缩中间图像(Z1，Z2，Z3)和低分辨率级(R2)的输出图像(A3)。
7.根据权利要求6所述的方法，其特征在于，
按照基于小波的变换进行压缩。
8.用于解码按照权利要求1-7之一所述方法编码的图像的图像解码方法，其特征在于，
所述图像解码方法具有以下步骤：
1)解码已编码的图像(B1、…、BM)的序列为一个被解码图像(D1、…、DM)的序列；和
2)利用中间图像(Z1、Z2、Z3)和第三输出图像(A3)以及借助运动矢量列表(ML1、…、ML3)和被解码图像(D1、…、DM)产生原始图像(O1、…、ON)的序列的一个重建的图像(R1、…、RM)的序列。
9.编码装置(EV)，用于编码原始图像(O1，…，ON)的一个序列，
其特征在于，
所述编码装置(EV)具有：
装置，该装置用于借助按照运动补偿的、预测编码的第一编码方法(CV1)，从原始图像(O1，…，ON)的序列中产生被解码图像(D1，…，DM)的一个序列；
装置，该装置用于在图像编码前，通过按照运动补偿的、时间上滤波的分频带编码的第二编码方法(CV2)根据一个编码特性(K1)来确定有待编码的彼此相继的原始图像(O3，…，O6)的图像组(GOP)的开始图像(BSP)，
其中，该编码特性(K1)是为产生有待编码的彼此相继的原始图像(O3，…，O6)的图像组(GOP)的一个低分辨率级(R2)的一个输出图像(A3)而使用的被解码图像(D3)的一个已确定的编码特性；在图像编码时，从该有待编码的彼此相继的原始图像(O3，…，O6)的图像组(GOP)的彼此相继的原始图像(O3，…，O6)中和从每一分辨率级(R1，R2)的至少一个被解码图像(D3，…，D6)中产生至少一个输出图像(A1，A2，A3)。
10.用于解码按照权利要求1-7之一所述方法编码的图像的图像的解码装置(DV)，其特征在于，
所述解码装置(DV)具有：
装置，该装置用于解码已编码的图像(B1、…、BM)的序列为一个被解码图像(D1、…、DM)的序列；
装置，该装置利用中间图像(Z1、Z2、Z3)和第三输出图像(A3)以及借助运动矢量列表(ML1、…、ML3)和被解码图像(D1、…、DM)产生原始图像(O1、…、ON)的序列的一个重建的图像(R1、…、RM)的序列。
CN2005800218782A 2004-06-29 2005-06-13 对原始图像序列进行图像编码的可缩放的方法以及与此相关的图像解码方法、编码装置和解码装置 Active CN1993991B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102004031407A DE102004031407A1 (de) 2004-06-29 2004-06-29 Verfahren zur Bildencodierung einer Folge von Originalbildern, sowie dazugehöriges Bilddecodierverfahren, Encodiervorrichtung und Decodiervorrichtung
DE102004031407.1 2004-06-29
PCT/EP2005/052712 WO2006000533A1 (de) 2004-06-29 2005-06-13 Skalierbares verfahren zur bildencodierung einer folge von originalbildern, sowie dazugehöriges bilddecodierverfahren, encodiervorrichtung und decodiervorrichtung

Publications (2)

Publication Number Publication Date
CN1993991A CN1993991A (zh) 2007-07-04
CN1993991B true CN1993991B (zh) 2010-09-08

Family

ID=34970362

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005800218782A Active CN1993991B (zh) 2004-06-29 2005-06-13 对原始图像序列进行图像编码的可缩放的方法以及与此相关的图像解码方法、编码装置和解码装置

Country Status (5)

Country Link
US (1) US8131088B2 (zh)
EP (1) EP1762100A1 (zh)
CN (1) CN1993991B (zh)
DE (1) DE102004031407A1 (zh)
WO (1) WO2006000533A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004061906A1 (de) 2004-12-22 2006-07-13 Siemens Ag Bildencodierverfahren, sowie dazugehöriges Bilddecodierverfahren, Encodiervorrichtung und Decodiervorrichtung
ATE484155T1 (de) * 2007-06-29 2010-10-15 Fraunhofer Ges Forschung Skalierbare videocodierung, die pixelwert- verfeinerungsskalierbarkeit unterstützt
CN116228897B (zh) * 2023-03-10 2024-04-23 北京百度网讯科技有限公司 图像处理方法、图像处理模型和训练方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1411665A (zh) * 2000-06-30 2003-04-16 皇家菲利浦电子有限公司 用于视频序列压缩的编码方法
CN1451238A (zh) * 2000-11-17 2003-10-22 皇家菲利浦电子有限公司 使用块匹配处理的视频编码方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6167083A (en) * 1997-04-04 2000-12-26 Avid Technology, Inc. Computer system and process for capture editing and playback of motion video compressed using interframe and intraframe techniques
US7876820B2 (en) * 2001-09-04 2011-01-25 Imec Method and system for subband encoding and decoding of an overcomplete representation of the data structure
JP2005516494A (ja) * 2002-01-22 2005-06-02 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ドリフトフリー映像符合化及び復号化方法並びに対応する装置
WO2004025965A1 (en) * 2002-09-11 2004-03-25 Koninklijke Philips Electronics N.V. Video coding method and device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1411665A (zh) * 2000-06-30 2003-04-16 皇家菲利浦电子有限公司 用于视频序列压缩的编码方法
CN1451238A (zh) * 2000-11-17 2003-10-22 皇家菲利浦电子有限公司 使用块匹配处理的视频编码方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Heiko Schwarz等.Scalable Extension of H.264/AVC.ISO/IEC JTC1/SC29/WG11.2004,1-39. *
Heiko Schwarz等.SNR-scalable Extension of H.264/AVC.ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6.2003,1-17. *
Marta Mrak等.An Overview of Basic Techniques Behind Scalable VideoCoding.Proceedings of the 46th International Symposium Electronics in Marine.2004,597-602. *

Also Published As

Publication number Publication date
WO2006000533A1 (de) 2006-01-05
EP1762100A1 (de) 2007-03-14
US20080199087A1 (en) 2008-08-21
DE102004031407A1 (de) 2006-01-26
US8131088B2 (en) 2012-03-06
CN1993991A (zh) 2007-07-04

Similar Documents

Publication Publication Date Title
JP4900720B2 (ja) 符号化装置および方法、並びに、復号装置および方法
CN104255029B (zh) 产生用于不同的颜色取样格式的子像素值
CN102104731B (zh) 相机系统和图像处理方法
CN1274157C (zh) 运动图象解码方法和运动图象解码设备
US8031960B2 (en) Wavelet transformation device and method, wavelet inverse transformation device and method, program, and recording medium
CN101204094A (zh) 可缩放地编码和解码视频信号的方法
CN1878304B (zh) 编码和解码图像序列的方法和设备
CN1993991B (zh) 对原始图像序列进行图像编码的可缩放的方法以及与此相关的图像解码方法、编码装置和解码装置
CN101088296B (zh) 图像编码方法以及对应的图像解码方法、编码装置和解码装置
CN116320465A (zh) 一种视频压缩与传输方法、装置、网关及存储介质
JP4580880B2 (ja) 画像符号化装置、画像復号装置及び画像処理システム
JP2002152733A (ja) 動画像符号化方法、動画像復号化方法、動画像符号化装置、動画像復号化装置、動画像符号化プログラムを記録した記録媒体、動画像復号化プログラムを記録した記録媒体、および動画像符号化データを記録した記録媒体
CN104427323B (zh) 基于深度的三维图像处理方法
KR100791453B1 (ko) 움직임보상 시간축 필터링을 이용한 다시점 비디오 부호화및 복호화 방법 및 장치
CN110971913B (zh) 一种基于填充Y通道的Bayer图像压缩方法
JP4385928B2 (ja) スケーラブル動画像符号化・復号化方法及びシステム
Stepanov Selected topics in learning-based coding for light field imaging
CN116546295A (zh) 一种视频拍摄处理方法以及系统
Nayan et al. Two Novel Wavelet-block based Stereo Image Compression Algorithms
Lian et al. Reversing Demosaicking and Compression in Color Filter Array Images

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant