CN1199308A - 图像预测解码/编码方法及装置以及数据存储媒体 - Google Patents

图像预测解码/编码方法及装置以及数据存储媒体 Download PDF

Info

Publication number
CN1199308A
CN1199308A CN98106370A CN98106370A CN1199308A CN 1199308 A CN1199308 A CN 1199308A CN 98106370 A CN98106370 A CN 98106370A CN 98106370 A CN98106370 A CN 98106370A CN 1199308 A CN1199308 A CN 1199308A
Authority
CN
China
Prior art keywords
mentioned
picture
image
reproduced
view data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN98106370A
Other languages
English (en)
Other versions
CN1134992C (zh
Inventor
文仲丞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Patent Trust Inc
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1199308A publication Critical patent/CN1199308A/zh
Application granted granted Critical
Publication of CN1134992C publication Critical patent/CN1134992C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/553—Motion estimation dealing with occlusions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)

Abstract

在把图像尺寸可变的图像进行编码之际,当参考图像的尺寸是0时通过进行帧内编码,将增加代码量,降低压缩率。本发明提供的解决方法是在输入用预定的方法把图像尺寸可变的图像经压缩编码的图像数据、从比成为解码对象的图像之前被再生了的至少一个参考图像生成预测图像、把成为解码对象的图像进行预测解码的解码方法中,使用尺寸不是0的最近被再生了的至少一个参考图像生成预测图像。

Description

图像预测解码/编码方法 及装置以及数据存储媒体
本发明涉及图像预测解码、编码处理，特别是涉及图像尺寸可变情况下的图像预测解码方法、图像预测解码装置、图像预测编码方法、图像预测编码装置以及数据存储媒体。
为了高效地存储或者传送数字图像，需要进行压缩编码。作为用于把数字图像进行压缩编码的方法，除了以JPEG和MPEG为代表的离散COS变换(DCT)以外，还有子带、维特比(ゥェァブレット)和富拉克(フラクタル)等波形编码方法。另外，为了去除图像间的冗余信号，使用运动补偿进行图像预测，把差分信号进行波形编码。
下面说明基于运动补偿DCT的MPEG方式。首先，把要进行编码的1帧的输入图像分割处理为多个16×16个像素大小的宏块。把1个宏块进而分割为8×8个像素大小的4个子块，对于8×8个像素大小的子块实施DCT，再进行量化。该处理被称为帧内编码。
另一方面，在以宏块为代表的运动检测法中，从在时间上相邻于包含要量化的对象宏块的该帧的其它帧中，检测出对于对象宏块的误差最小的预测宏块，根据被检测出的移位，进行来自过去图像的运动补偿，取得最佳的预测码组。表示向误差最小的预测宏块的移位的信号是运动矢量。以后，把用于生成预测宏块的参考图像称为参考图像。其次，求出成为对象的码组和对应的预测码组的差分，对于该差分实施DCT，把该DCT的变换系数进行量化，和运动信息一起传送或者存储该量化输出。以上处理称为帧间编码。
另外，在该帧间编码中，按照显示的顺序有仅从位于前面的图像进行预测的模式和从位于前面的图像以及位于后面的图像的双方进行预测的模式。把前者称为正向预测，把后者称为双向预测。
在接收一侧，在把被量化了的变换系数复原为原始的差分信号以后，以该差分信号为基础根据运动矢量取得预测码组，把该预测码组和差分信号进行相加，再生图像。另外，在该现有的技术中，以参考图像(用于生成预测图像的参考的图像)和对象图像的尺寸相同为前提。
最近，还把构成图像的物体作为任意形状的图像分别进行压缩编码后传送，使得在提高压缩效率的同时能够进行构成图像的物体单位的再生。在这种任意形状的图像编码、解码中，图像的尺寸经常发生变化。作为其一例，考虑像点渐渐减小消失的例子。另外，根据情况，有时图像(物体)的尺寸成为0。
在通常的情况下，参考图像是位于对象图像紧前面的再生图像。当参考图像的尺寸是0时，由于在参考图像上没有进行任何定义，即由于不存在用于预测编码的有意义的图像数据，因此不能够进行预测编码。如果在这种情况下也要使用现有的技术，则只有仅进行帧内编码的方法。而且，如果进行帧内编码，一般地将增加代码量，降低压缩效率。在运动图像的序列中，在图像频繁地消失(这时，图像尺寸成为0)或频繁地出现的情况下，编码效率将严重恶化。例如，在光点闪烁的图像中，如果光点以图像单位消失或者出现，则要把所有的光点的图像进行帧内编码。
本发明是鉴于以上问题点而产生的，目的在于对于尺寸可变的图像，即使在参考图像的尺寸成为0或者参考图像完全透过的情况下，也能够高效地进行预测编码的图像预测解码方法、图像预测解码装置、图像预测编码方法、图像预测编码装置以及数据存储媒体。
本发明第1方案的图像预测解码方法，是输入用预定的方法把图像尺寸可变的图像进行经压缩编码的图像数据，把以前被再生了的至少一个再生图像从成为解码对象的图像生成预测图像用作为参考图像，把成为上述解码对象的图像进行预测解码。在该方法中，作为上述参考图像，使用存在应该被参考的有意义的图像数据并且被最近再生了的至少一个再生图像生成上述预测图像。
本发明第2方案的图像预测解码方法，是输入用预定的方法把图像尺寸可变的图像进行经压缩编码的图像数据，把以前被再生了的预定再生图像从成为解码对象的图像生成预测图像用作为参考图像，把成为上述解码对象的图像进行预测解码。在该方法中，在生成上述预测图像之际，当在作为参考图像所使用的预定的再生图像中不存在应该被参考的有意义的图像数据时，把使得预定值作为其图像数据的图像作为预测图像。
本发明第3方案的图像预测解码方法是在第1或第2方案中记述的图像预测解码方法中，上述被经压缩编码的各帧的图像数据内具有标志，该标志显示在成为解码处理对象的对象帧的前一个帧中是否存在应该被参考的有意义的图像数据。
本发明第4方案的图像预测解码方法，是输入用预定的方法把图像尺寸可变的图像进行经压缩编码的图像数据，使用参考图像生成预测图像，把成为上述解码对象的图像进行预测解码。在该方法中，作为上述参考图像，使用最近被再生了的两个再生图像中的至少存在应该被参考的有意义的图像数据的再生图像，生成上述预测图像。
本发明第5方案的图像预测解码方法是在第4方案中记述的图像预测解码方法中，上述经压缩编码的各帧的图像数据中具有标志，该标志显示成为解码处理对象的对象帧的前面两个预定的帧中是否存在应该被参考的有意义的图像数据。
本发明第6方案的图像预测解码装置包括输入装置、数据解析器、解码器、预测图像生成器、加法器和帧存储器，在上述输入装置中，输入用预定方法把图像尺寸可变的图像经压缩编码的图像数据；在上述数据解析器中，分析上述图像数据，输出图像尺寸和图像变换系数；在上述解码器中，用预定的方法把上述图像变换系数复原为扩展差分图像；在上述预测图像生成器中，把被存储在上述帧存储器中的再生图像用作为参考图像生成预测图像；在上述加法器中，把上述扩展差分图像和上述预测图像进行相加生成再生图像，同时，把该再生图像存储到上述帧存储器中；其中，上述预测图像生成器检查在上述再生图像中是否存在应该被参考的有意义的图像数据，把存在有意义的图像数据的最近被再生了的至少一个再生图像用作为参考图像，生成上述预测图像。
本发明第7方案的图像预测解码装置包括输入装置、数据解析器、解码器、预测图像生成器、加法器和帧存储器，在上述输入装置中，输入用预定方法把图像尺寸可变的图像经压缩编码的图像数据；在上述数据解析器中，分析上述图像数据，输出图像尺寸和图像变换系数；在上述解码器中，用预定的方法把上述图像变换系数复原为扩展差分图像；在上述预测图像生成器中，把被存储在上述帧存储器中的对应于上述输入图像的再生图像用作为参考图像生成预测图像；在上述加法器中，把上述扩展差分图像和上述预测图像进行相加生成再生图像，同时，把该再生图像存储到上述帧存储器中；其中，上述预测图像生成器检查在上述再生图像中是否存在应该被参考的有意义的图像数据，当在该预定的再生图像中不存在有意义的图像数据时，把使得预定值作为其图像数据的图像作为上述预测图像。
本发明第8方案的图像预测解码装置是在第6或第7方案中记述的图像预测解码装置中，上述经压缩编码的各帧的图像数据具有标志，该标志显示成为解码处理对象的对象帧的前一个帧中是否存在应该被参考的有意义的图像数据。
本发明第9方案的图像预测解码装置包括输入装置、数据解析器、解码器、预测图像生成器、加法器和帧存储器，在上述输入装置中，输入用预定方法把图像尺寸可变的图像经压缩编码的图像数据；在上述数据解析器中，分析上述图像数据，输出图像尺寸和图像变换系数；在上述解码器中，用预定的方法把上述图像变换系数复原为扩展差分图像；在上述预测图像生成器中，把被存储在上述帧存储器中的再生图像用作为参考图像生成预测图像；在上述加法器中，把上述扩展差分图像和上述预测图像进行相加生成再生图像，同时，把该再生图像存储到上述帧存储器中；其中，上述预测图像生成器使用最近被再生的两个再生图像中至少存在应该被参考的有意义的图像数据的再生图像作为上述参考图像，生成上述预测图像。
本发明第10方案的图像预测解码装置是在第9方案中记述的图像预测解码装置中，上述经压缩编码的各帧的图像数据具有标志，该标志显示在成为解码处理对象的对象帧的前两个预定帧中是否存在应该被参考的有意义的图像数据。
本发明第11方案的图像预测编码方法是：输入图像尺寸可变的图像，把以前被再生了的至少一个再生图像用作为参考图像从成为编码对象的图像生成预测图像，从上述预测图像减去上述对象图像，用预定的方法把其差分进行压缩编码。该方法中，当生成上述预测图像时，把存在应该被参考的有意义的图像数据的最近被再生了的至少一个再生图像用作为参考图像生成上述预测图像。
本发明第12方案的图像预测编码方法是：输入图像尺寸可变的图像，把以前被再生了的预定的再生图像作为参考图像从成为编码对象的图像生成预测图像，从上述预测图像减去上述对象图像，用预定的方法把其差分进行压缩编码。该方法中，在生成上述预测图像之际，当在用作为参考图像的预定的再生图像中不存在应该被参考的有意义的图像数据时，把使得预定值作为该图像数据的图像作为上述预测图像。
本发明第13方案的图像预测编码方法是在第11或第12方案中记述的图像预测编码方法中，上述经压缩编码的各帧的图像数据具有标志，该标志显示在成为编码处理对象的对象帧的前一个帧中是否存在应该被参考的有意义的图像数据。
本发明第14方案的图像预测编码方法是：输入图像尺寸可变的图像，使用参考图像生成预测图像，从上述预测图像减去成为上述编码对象的对象图像，用预定的方法把其差分进行压缩编码。在该方法中，作为上述参考图像，使用最近被再在了的两个再生图像中的至少存在应该被参考的有意义的图像数据的再生图像，生成上述预测图像。
本发明第15方案的图像预测编码方法是在第15方案中记述的图像预测编码方法中，上述经压缩编码的各帧的图像数据具有标志，该标志显示在成为编码处理对象的对象帧的前两个预定的帧中是否存在应该被参考的有意义的图像数据。
本发明第16方案的图像预测编码装置包括输入装置、减法器、压缩编码器、可变长编码器、扩展解码器、预测图像生成器、加法器和帧存储器，在上述输入装置中按照每个编码处理的单元区别输入图像尺寸可变的图像数据；在上述减法器中求出成为编码处理对象的对象图像和对应于该对象图像的预测图像的差分图像；在上述压缩编码器中，根据预定的压缩编码处理把上述差分图像变换为压缩数据；在上述可变长编码器中，把上述压缩数据进行可变长编码，输出编码数据；在上述扩展解码器中，根据预定的扩展解码处理把上述压缩数据复原为扩展差分图像；在上述预测图像生成器中，把存储在上述帧存储器中的再生图像用作为参考图像生成预测图像；在上述加法器中，把上述扩展差分图像和上述预测图像进行相加，生成再生图像并进行输出，同时，把该再生图像存储到上述帧存储器中；其中，上述预测图像生成器检查在上述再生图像中是否存在应该被参考的有意义的图像数据，把存在有意义的图像数据的最近被再生了的至少一个再生图像用作为参考图像，生成上述预测图像。
本发明第17方案的图像预测编码装置包括输入装置、减法器、压缩编码器、可变长编码器、扩展解码器、预测图像生成器、加法器和帧存储器，在上述输入装置中，按照每个编码处理的单元区别输入图像尺寸可变的图像数据；在上述减法器中，求出成为编码处理对象的对象图像和对应于该对象图像的预测图像的差分图像；在上述压缩编码器中，根据预定的压缩编码处理把上述差分图像变换为压缩数据；在上述可变长编码器中，把上述压缩数据进行可变长编码，输出编码数据；在上述扩展解码器中，根据预定的扩展解码处理把上述压缩数据复原为扩展差分图像；在上述预测图像生成器中，把存储在上述帧存储器中的对应于上述输入图像的预定的再生图像用作为参考图像生成预测图像；在上述加法器中，把上述扩展差分图像和上述预测图像进行相加，生成再生图像并进行输出，同时，把该再生图像存储到上述帧存储器中；其中，上述预测图像生成器检查在上述预定的再生图像中是否存在应该被参考的有意义的图像数据，当不存在有意义的图像数据时，把使得预定值作为其图像收据的图像作为上述预测图像。
本发明第18方案的图像预测编码装置是在第16或第17方案中记述的图像预测编码装置中，各帧的编码数据具有标志，该标志显示成为编码处理对象的对象帧的前一个帧中是否存在应该被参考的有意义的图像数据。
本发明第19方案的图像预测编码装置包括输入装置、减法器、压缩编码器、可变长编码器、扩展解码器、预测图像生成器、加法器和帧存储器，在上述输入装置中；按照编码处理的各个单位区别输入图像尺寸可变的图像数据，在上述减法器中；求出成为编码处理对象的对象图像和对应于该对象图像的预测图像的差分图像；在上述压缩编码器中，使用预定的压缩编码处理把上述差分图像变换为压缩数据；在上述可变长编码器中，把上述压缩数据进行可变长编码，输出编码数据；在上述扩展解码器中，用预定的扩展解码处理把上述压缩数据复原为扩展差分图像；在上述预测图像生成器中，把被存储在上述帧存储器中的再生图像用作为参考图像生成预测图像；在上述加法器中，把上述扩展差分图像和上述预测图像进行相加，生成并且输出再生图像，同时，把该再生图像存储到上述帧存储器中；其中，上述预测图像生成器使用最近被再生了的两个再生图像中至少存在应该被参考的有意义的图像数据的再生图像作为上述参考图像，生成上述预测图像。
本发明第20方案的图像预测编码装置是在第19方案中记述的图像预测编码装置中，各帧的编码数据具有标志，该标志显示包含成为编码处理对象的图像数据的对象帧的前两个预定帧中是否存在有意义的图像数据。
本发明第21方案的图像预测编码装置包括输入装置、减法器、压缩编码器、可变长编码器、扩展解码器、预测图像生成器、加法器和帧存储器，在上述输入装置中，按照编码处理的各个单位区别输入图像尺寸可变的图像数据；在上述减法器中，求出成为编码处理对象的对象图像和对应于该对象图像的预测图像的差分图像；在上述压缩编码器中，使用预定的压缩编码处理把上述差分图像变换为压缩数据；在上述可变长编码器中，把上述压缩数据进行可变长编码，输出编码数据；在上述扩展解码器中，用预定的扩展解码处理把上述压缩数据复原为扩展差分图像；在上述预测图像生成器中，把被存储在上述帧存储器中的再生图像用作为参考图像生成预测图像；在上述加法器中，把上述扩展差分图像和上述预测图像进行相加，生成并且输出再生图像，同时，把该再生图像存储到上述帧存储器中；另外，还包括根据被包含在上述图像尺寸可变的图像数据中的显示物体形状的形状数据、检测在上述再生图像中是否存在应该被参考的有意义的图像数据的形状检测器，其中，把上述预测图像生成器构成为如下的结构，即根据形状检测器的输出，在上述再生图像不存在有意义的图像数据时，把存在有意义的图像数据的最近被再生了的至少一个再生图像用作为参考图像生成上述预测图像。
本发明第22方案的数据存储媒体是存储了用于使计算机进行图像预测解码处理的程序的数据存储媒体，其中，上述程序被构成为使得由计算机进行权利要求6、7、9的任一项中记述的图像预测解码装置实施的图像预测解码处理。
本发明第23方案的数据存储媒体是存储了用于使计算机进行图像预测编码处理的程序的数据存储媒体，其中，上述程序被构成为使得由计算机进行权利要求16、17、19、21的任一项中记述的图像预测编码装置实施的图像预测编码处理。
本发明第24方案的数据存储媒体是存储了把图像压缩编码后得到的编码数据的数据存储媒体，其中，上述编码数据是通过权利要求16、17、19、21的任一项中记述的图像预测编码装置中的图像预测编码处理所得到的编码数据。
图1是示出本发明实施例1的图像预测解码方法中的预测图像生成方法的流程图。
图2是示出本发明的图像预测解码中的图像预测构造的模式图。
图3是示出本发明实施例1的图像预测解码装置的框图。
图4是示出本发明实施例1的图像预测解码装置中使用的帧存储器的框图。
图5是示出本发明实施例3的图像预测解码方法中的预测图像生成方法的流程图。
图6是示出本发明实施例4的图像预测解码方法中的预测图像生成方法的流程图。
图7示出本发明实施例1的图像数据。
图8是示出本发明实施例2的图像预测解码方法中的预测图像生成方法的流程图。
图9示出本发明实施例2的图像数据。
图10是示出本发明实施例5的图像预测解码方法中的预测图像生成方法的流程图。
图11是示出本发明实施例6的图像预测解码方法中的预测图像生成方法的流程图。
图12是示出本发明实施例7的图像预测编码装置的框图。
图13是示出本发明实施例8的图像预测编码装置的框图。
图14(a)～图14(c)是为说明用于存储了本发明各实施例的编码数据，或者存储为了由计算机实现基于图像预测解码方法，图像预测解码装置，图像预测编码方法或者图像预测编码装置的图像处理的程序的数据存储媒体的说明图。
以下，使用图1～图7说明本发明的实施例。
(实施例1)
图1示出本发明实施例1的图像预测解码方法中的预测图像生成方法的流程图。在说明图1以前，使用图2说明本发明的图像预测解码中的图像预测方法。本实施例1的图像预测解码方法中使用的输入图像的图像尺寸是可变的，根据情况，有时尺寸也可以成为0。
图2(a)示出了按顺序排列的运动图像的各个图像201～210。图像201是初始图像，其次，顺序地显示图像202，……。用#1～#10显示该顺序。图像#1(201)是初始的图像，进行帧内编码。本实施例1中的图像(1帧)分割为多个8×8像素大小的子块，实施各个8×8像素大小的子块的DCT，并且进行量化。把量化了的系数进行可变长编码。在解码的情况下，把根据该可变长编码得到的编码数据进行可变长度解码，在把根据该解码得到的量化系数进行逆量化后再进行逆DCT变换，由此生成图像。其次，参考己经被再生了的图像#1(201)对图像#2(202)进行帧间预测编码。
本实施例1中，在块匹配的运动检测法中，从图像#1(201)中检测出对于对象码组的误差最小的预测码组。根据检测出来的从对象码组向预测码组的移位，从被再生了的图像#1(201)根据对象码组的运动补偿取得最佳的预测码组。其次，求出成为对象的码组和对应的预测码组的差分，对于该差分实施DCT，把该DCT变换系数进行量化，和运动信息一起传送或者存储该量化输出。这里，被再生了的图像#1(201)成为图像#2(202)的参考图像。把以上的处理称为正向预测。在解码之际，在逆量化以及逆DCT了的差分上加上预测码组，再生图像。
同样，从箭头所示的参考图像对图像#3(203)和图像#4(204)进行预测编码。另外，像图像#6(206)、图像#8(208)、图像10(210)那样，能够从其前面两个图像进行预测。还有，像图像#5(205)、图像#7(207)、图像#9(209)那样，除去正向预测以外，也能够参考被显示在该图像后面的图像。这样，把参考被显示在该图像后面的图像进行预测的方法称为反向预测。在同时使用正向预测和后向预测的时候，把该方法称为双向预测。在双向预测中，有正向预测模式、后向预测模式、及把前向后向预测平均化的内插模式。
图2(b)示出在图2(a)中预测了的图像的传送顺序亦即解码顺序。
图像#1(211)被最初解码、再生。参考该图像，对图像#2(212)进行解码。对于像图像#5(216)那样的双向预测图像，需要先把预测所使用的参考图像进行解码、再生。为此，图像#6(215)位于图像#5(216)的前面。同样，图像#8(217)位于图像#7(218)之前，图像#10(219)在图像#9(220)之前被传送、被解码、被再生。
在传送图像尺寸可变的图像的情况下，对于各个图像，必须传送尺寸。在本实施例1中，在图像编码数据的起始记述图像尺寸，分别用20比特表示水平、垂直尺寸Hm、Vm。图7示出本实施例1中的图像编码数据，这里，该编码数据(VD)内，除了表示上述图像尺寸的数据的水平、垂直的尺寸Hm、Vm以外，还包含有运动矢量、量化幅度以及DCT系数等。
接下来，使用图1的流程图，说明本发明实施例1的图像预测解码方法中的预测图像生成方法。
在生成预测图像之际，首先，在步骤102中，输入前一个参考图像的尺寸，在步骤103中，检查参考图像的尺寸是否为0。
这里，参考图像在图2(a)所示的解码顺序中，始终处于成为解码对象(编码时候成为编码对象)的图像之前。该参考图像在本实施例1的图像预测解码方法中，是前一个被再生了的图像。例如，图2(b)的图像#4(214)的参考图像是其前一个图像#3(213)。然而，在双向预测中由于再生图像不被使用在预测中，所以不作为参考图像使用。从而，例如，图像#8(217)的参考图像为图像#6(215)。
上述图1中，在步骤103的判断中，如果参考图像的尺寸不是0，则进入到步骤104，在步骤104中，使用该前一个的参考图像，生成预测图像。另一方面，在上述步骤103的判断中，如果参考图像的尺寸是0，则进入到步骤105中。在该步骤105中，把图像尺寸不是0的最近被再生了的图像用作为参考图像生成预测图像。以下，使用图2(b)说明在这里的图像尺寸不为0的最近被再生了的图像的搜索方法。
在生成图像#4(214)的预测图像的情况下，假设图像#4(214)前面的图像#3(213)的尺寸是0，图像#2(212)的尺寸不是0。这时，参照图像#2(212)生成图像#4(214)的预测图像。同样，在生成图像#6(215)的预测图像的情况下，如果假设图像#3(213)和图像#4(214)的尺寸是0，则参照图像#2(212)生成预测图像。这里，作为预测图像的生成方法，在本实施例1中，和MPEG1相同，使用码组单位的运动补偿方法。
图3是示出本发明实施例1的图像预测解码装置的框图。
本实施例1的图像预测解码装置300构成为接受使用预定的方法把图像尺寸可变的图像进行经压缩编码的图像数据，实施对于该图像数据的预测解码处理。
即，该图像预测解码装置300具有分析上述经压缩编码的图像数据，把量化幅度和DCT系数输出到线312，把运动矢量输出到线318，把图像尺寸输出到线321中的数据解析器302；通过扩展处理把来自该数据解析器302的被压缩了的码组的数据(压缩码组)变换为扩展码组的解码器303；以及把扩展码组和预测码组进行相加生成再生码组的加法器306。
另外，上述图像预测解码装置300还具有存储上述再生码组的帧存储器309；以及根据上述运动矢量产生用于访问帧存储器的地址，从帧存储器的图像作为上述预测码组求出对应于该地址的码组的预测图像生成器310。这里，该预测图像生成器310还进行根据来自数据解析器302的图像尺寸，把存在应该被参考的有意义的图像数据的最近被再生了的一个再生图像确定为参考图像的动作。另外，该参考图像的决定，如图3的虚线所示，也可以构成为根据来自数据解析器302的图像尺寸，设置控制帧存储器309的控制器320，使用该控制器320控制帧存储器309，使得把存在应该被参考的有意义的图像数据的最近被再生了的一个再生图像选择为参考图像。
还有，这里所述的解码器303由对于来自上述数据解析器302的压缩码组实施逆变换处理的逆量化器340、以及对于来自线313的该逆量化器304的输出实施把频域信号变化为空间域信号的处理的逆离散COS变换器(IDCT)305构成。
还有，图中301以及307分别是本图像预测解码装置300的输入端予以及输出端子。
以下，对于像上述那样构成的本实施例1的图像预测解码装置说明其动作。
把图像尺寸可变的图像以预定方法进行经压缩编码的图像数据(编码数据)输入到输入端子301中。本实施例1中，和MPEG1相同，用运动补偿DCT方法进行压缩编码，在上述编码数据中，像上面所述的那样包含运动矢量、量化幅度、DCT系数以及图像尺寸的数据。
其次，在数据解析器302中，分析上述经压缩编码的图像数据，通过线312把量化幅度和DCT系数作为被压缩了的码组的数据输出到解码器303中。另外，把在上述数据解析器302中分析了的运动矢量经由线318传送到预测图像生成器310中，同样，把在上述数据解析器302中分析了的图像尺寸经由线321输出到控制器320中。
在解码器303中，使用逆量化器304和逆离散COS变换器(逆DCT变换器)305，把上述被压缩了的码组的数据即压缩码组进行扩展，复原为扩展码组。在本实施例1中，在逆量化器304内，把上述压缩码组进行逆量化，在逆离散COS变换器(IDCT)305中把频域信号变换为空间域信号，获得扩展码组314。在预测图像生成器310中，以由线318被传送来的运动矢量为根据，生成访问帧存储器309的地址321，并且把该地址输入到帧存储器309中，从被存储在帧存储器309中的图像中生成预测码组317，并且进行输出。该预测码组317即319和上述扩展了的码组314被输入到加法器306中，通过进行相加，生成再生码组315。接着，在使该再生码组315从输出端子307输出的同时，经过线316，存储到帧存储器309中。另外，这里，在进行帧内编码的情况下，预测码组的取样值全部为0。
上述预测图像生成器310的动作与使用图1的流程图所说明的动作相同。即，首先，参照图像的尺寸被输入到预测图像生成器310中，在该预测图像生成器310中，确定参考图像。另外，该参考图像的确定，也能够借助控制器320，根据来自线322的参考图像的尺寸是否为0的信息，通过控制帧存储器进行。
图4是本发明实施例1的图像预测解码装置中的帧存储器的一例。图中示出帧存储器组406的框图。在帧存储器组406内，设置3个帧存储器401～403。被再生了的图像被存储到这些帧存储器401～403中的某一个内。另外，在生成预测图像时，访问这些帧存储器401～403。
本实施例1中具有转换开关404和405。开关405是用于决定把经过线408(相当于图3的线316)输入的被再生了的图像存储到哪一个帧存储器中的开关，由控制器320进行控制，即根据控制信号322，顺序地切换帧存储器401～403。即，在第1个再生图像被存储到帧存储器401以后，把第2个再生图像存储到帧存储器402中。以下同样，在第3个再生图像被存储到帧存储器403中以后，切换到帧存储器401。开关404中经过线407(相当于图3的线317)连接到预测图像生成器310。该开关404也由控制器320即根据控制信号322以预定的顺序进行切换。其中，该切换控制顺序根据参考图像的尺寸被进行变更。例如，即使在按照预定的顺序，连接到帧存储器402上，生成预测图像的情况下，如果帧存储器402的图像尺寸是0，则控制器320也控制开关404使其连接到前一个帧存储器401(这里假设其图像尺寸不是0)。这样，能够从图像尺寸不是0的参考图像生成预测图像。另外，开关404同样地也可以连接到多个帧存储器上。还有，在每次再生一个图像就把帧存储器进行复位的装置中，由控制器320进行管理，使得在被再生的图像的尺寸不是0时不复位帧存储器，由此能够把尺寸不是0的最近被再生了的图像保存在帧存储器中。即，能够不把帧存储器进行更新。
另外，在上述实施例1中，说明了使用块运动补偿离散COS变换方式的情况，然而，本发明也能够适用于除此以外的预测方法(使用了全程运动补偿、任意网格子块运动补偿等的预测方法，)。另外，说明了作为参照图像所使用的再生图像为1个的情况，然而也同样地能够适用于从多个参考图像生成预测图像的情况。
像以上那样，如果根据本实施例1，则检测出被输入的前一个参考图像的尺寸，当该前一个参考图像的尺寸不是0时，使用该前一个参考图像生成预测图像，在该前一个参考图像的尺寸是0时，使用尺寸不是0的最近被再生了的图像，生成预测图像。因此，在为了提高压缩效率、以物体单位分别把构成图像的物体进行压缩编码并传送的情况下，不会在图像的预测解码和预测编码中把图像尺寸发生变化或者图像消失的图像用作为参考图像，具有能够进行可以抑制残差信号(差分信号)的适宜的预测解码以及预测编码的效果。
(实施例2)
另外，在上述实施例1中，叙述了检测参考图像的尺寸是否为0，并且使用该检测了的信息，决定参考图像的情况。然而也能够在用其它的指标(例如1比特的标志F等)显示图像尺寸是0的情况下，使用该指标进行控制，本实施例2就是这样的情况。
即，在本实施例2中，对象图像的编码数据如图9所示那样，在图像数据的前方，即在显示图像尺寸的数据的水平、垂直尺寸Hm、Vm的前方设置表示图象尺寸是0(即对应的参考图像完全透过故图像数据不存在)的1比特的标志F(这里，如果图像尺寸是0，标志F则为“0”)，在这样的情况下，如图8所示，使用该标志F进行控制实施预测图像的生成方法。
其次，使用图8的流程图，说明本发明实施例2的图像预测解码方法中的预测图像生成方法。
在生成预测图像之际，首先，在步骤802中，输入前一个参考图像，在步骤803中，检查该参考图像的标志F是否为“1”。在步骤803的判断中，如果该参考图像的标志F是“1”，则图像尺寸不是0，换言之，参考图像不是完全透过，由于存在编码数据，所以在步骤804中，使用该前一个参考图像，生成预测图像。
如果在图8中的步骤803的判断中，该参考图像的标志F不是“1”，则进入到步骤805中，在该步骤805中，把标志F不是“0”的最近被再生了的图像用作为参考图像，生成预测图像。
如果根据这样的本实施例2，则与上述实施例1相同，在以物体单位把构成图像的物体分别压缩编码并传送的情况下，不会把图像尺寸发生变化或者图像消失的图像用作为参考图像，能够进行可以抑制残差信号(差分信号)的适宜的预测解码以及预测编码。同时，对象图像的编码数据在其前端具有显示前一个再生图像中是否存在着应该被参考的有意义的编码数据的标志，检测该标志决定参考图像，所以具有能够简单地进行决定参考图像的运算的效果。
(实施例3)
图5示出本发明实施例3的图像预测解码装置中的预测图像生成方法的流程图。本实施例3中的预测图像生成方法与图1所示的实施例1基本相同，不同的处理在于使用图5的步骤505代替了图1的步骤105。在步骤505中，当参考图像是0时或者参考图像完成透过时(或者图像的标志F是“0”时)，作为预测图像，生成加入了预定值构成的图像即具有预定值的预测图像。
本实施例3在以上处理中设灰色即辉度信号和色差信号的值都为128。其结果，在本实施例3中，当编码时，从成为编码对象的码组减去灰色的码组，当解码时，在成为解码对象的码组上加入灰色的码组。另外，上述预定的值取为可变的值，从编码器将其传送到解码器，使用这样的方法也能够生成预测图像。
如果依据这样的本实施例3，则在以物体单位把构成图像的物体分别压缩编码并传送的情况下，不会把图像尺寸发生变化或者图像消失的图像用作为参考图像，能够进行可以抑制残差信号(差分信号)的适宜的预测解码以及预测编码，同时，当检测出参考图像的尺寸是0时，即当参考图像完全透过时，作为预测图像，生成具有预定值的预测图像，因此能够得到与上述实践例1相同的效果，进而，具有能够容易地生成预测图像的效果。
(实施例4)
图10示出本发明实施例4中的图像预测解码装置的预测图像生成方法的流程图。本实施例4中的预测图像生成方法与图8所示的实施例2几乎相同，不同的处理在于使用图10的步骤1005代替了图8的步骤805。在步骤1005中，当参考图像的图像标志F是“0”时，作为参考图像，生成代入了预定值的即具有预定值的预测图像。
如果根据本实施例4，则在以物体单位把构成图像的物体分别压缩编码并传送的情况下，不会把图像尺寸发生变化或者图像消失的图像用作为参考图像，能够进行可以抑制残差信号(差分信号)的适宜的预测解码以及预测编码，同时，对象图像的编码数据在其前端具有显示前一个再生图像中是否存在应该被参考的有意义的编码数据的标志，并且在检测出该标志是“0”时，作为预测图像生成具有预定值的预测图像，所以能够得到与上述实施例2相同的效果，进而，可以得到能够容易地生成预测图像的效果。
(实施例5)
图6示出使用了本发明实施例5的双向预测的图像预测解码方法中的预测图像生成方法的流程图。以下，对于作为本实施例5的特征的双向预测的情况，说明参考图像尺寸为0时的情况即参考图像完全透过的情况时的处理。
即，如图6所示，首先，在步骤602中，输入前方、后方的参考图像(双向的参考图像)的尺寸。图2(a)的图像#5(205)是双向预测图像，前方参考图像是图像#4(204)，后方参考图像是图像#6(206)。
接着，根据步骤603和步骤604，当前方以及后方的参考图像的尺寸都是0时，在步骤605中，把代入了预定值的图像即具有预定值的图像作为预测图像。
根据步骤603和步骤604，在前方参考图像的尺寸是0而后方参考图像的尺寸不是0时，在步骤606中，仅使用后方参考图像生成预测图像。
其次，根据步骤603和步骤607，在前方参考图像的尺寸不是0而后方参考图像的尺寸是0时，在步骤608中，仅使用前方参考图像生成预测图像。
根据步骤603和步骤607，在前方后方参考图像的尺寸都不是0时，在步骤609中，使用双方的参考图像生成预测图像。
而且，在步骤610中，输出生成了的预测图像，在编码器中，从对象图像减去该预测图像，在解码器，在对象图像的差分上加上该预测图像。这样，能够抑制残差信号(差分信号)。
如果根据这样的本实施例5，则在以物体单位把构成图像的物体分别压缩编码并传送的情况下，在使用双方参考图像生成预测图像时，不会把图像尺寸发生变化或者图像消失的图像用作为参考图像，能够进行可以抑制残差信号(差分信号)的适宜的预测解码以及预测编码，同时，由于生成为具有预定值的预测图像作为预测图像，所以具有能够容易地生成预测图像的效果。
(实施例6)
图11示出本发明实施例6中使用的双向预测的图像预测解码方法中的预测图像生成方法的流程图。以下，本实施例6与上述实施例2、4的对于上述实施例1、3的关系相同。即，本实施例6把图6所示的实施例5中的图6的步骤603，604，607中“尺寸是0吗”变化为“标志F是0吗”，分别取为图11的步骤1103、1104、1107。
从而，如果根据这样的本实施例6，则在以物体单位把构成图像的物体分别进行压缩编码并传送的情况下，使用双方参考图像生成预测图像时，不会把图像尺寸发生变化或者图像消失的图像用作为参考图像，能够进行可以抑制残差信号(差分信号)的适宜的预测解码以及预测编码，同时，当检测出前方、后方的两个参考图像的标志F都是0时，生成具有预定值的预测图像，因此，能够容易地进行图像尺寸发生变化或者图像消失的图像的检测，进而，具有能够容易地生成预测图像的效果。
以下，作为本发明实施例7，8，说明图像预测编码装置。
(实施例7)
图12示出本发明实施例7的图像预测编码装置的框图。
该图像预测编码装置1000具有对于由辉度信号以及色差信号构成的结构信号进行预测编码的结构编码器1100和对于形状信号进行预测编码的形状编码器1200。
上述结构编码器1100具有：把1帧的结构信号按照作为编码处理单位的每个16×16像素大小的宏块进行分割并且输出的分组器1110；求出成为解码处理对象的对象码组和与其对应的预测码组的差分的减法器1160；把该差分进行压缩编码的压缩编码器1120；把该压缩编码器1120的输出进行扩展解码的局部解码器1130。这里，上述压缩编码器1120由对于上述差分实施DCT的离散COS变换器1121和把DCT变换系数量化的量化器1122构成。另外上述局部解码器1130由把上述量化器1122的输出进行逆量化的逆量化器1131和对于该量化器1131的输出实施把频域信号变换为空间域信号的逆DCT的离散逆COS变换器1132构成。
另外，上述结构编码器1100具有把作为上述逆离散COS变换器1132的输出的扩展码组和上述预测码组进行相加生成再生码组的加法器1170；存储该再生码组的帧存储器(FM1)1140；及根据预定的运动检测法检测出来的运动信息从存储在该帧存储器1140的图像通过运动补偿取得对应于对象码组的预测码组的预测图像生成器1150。
该预测图像生成器1150还进行根据从分组器1110的输出得到的图像尺寸，设定从存储在帧存储器组1140中的再生图像生成预测码组(预测图像)时所参考的参考图像的动作。
另一方面，上述形状编码器1200具有：把1帧的形状信号按照作为编码处理单元的每个16×16像素大小的宏块进行分割并且输出的分组器1210；求出成为编码处理对象的对象码组和与其对应的预测码组的差分的减法器1260；根据预定的编码方法把该差分进行编码的形状编码器1220；及根据与上述预定的编码方法对应的解码方法把形态编码器1220的输出进行解码的形状解码器1230。这里，上述形状编码器1120取为使用四分支和链式编码方法等把上述减法器1260的输出进行编码的结构。
另外，上述形状编码器1200还具有：把作为上述形状解码器1230的输出的解码码组和上述预测码组进行相加生成再生码组的加法器1270；存储从该加法器1270输出的解码码组的帧存储器(FM2)1240；及根据使用预定的运动检测法检测出来的运动信息从被存储在该帧存储器1240中的形状信息通过运动补偿取得对应于对象码组的预测码组的预测图像生成器1250。这里，该预测图像生成器1250根据上述分组器1210的输出得到的图像尺寸，还进行在从存储在帧存储器组1240中的再生图像生成预测码组(预测图像)时所参考的参考图像的动作。
另外，在上述各编码器1100以及1200中的参考图像的决定也可以如图12的虚线所示那样，设置根据上述再生码组进行形状检测的形状检测器1280，通过使用从该形状检测器1280输出的形状检测输出控制上述各帧存储器(FM1、FM2)1140、1240。在这种情况下由形状检测输出进行的对于帧存储器的控制与上述实施例1中的由控制器320进行的对于帧存储器309的控制完全同样地进行。另外，在这种情况下，上述形状检测输出供给可变长编码器1010，成为同时传送结构信号以及形状信号的编码数据。
还有，上述图像预测编码装置1000具有把作为上述结构编码器1100的输出的编码结构信号、作为上述形状编码器1200的输出的编码形状信号以及形状检测输出进行可变长编码、多路化并且进行输出的可变长编码器1010。
另外，图中，1001是结构信号的输入端子，1002是形状信号的输入端子，1003是编码数据的输出端子。
其次说明其动作。
如果在该图像预测解码装置1000中输入了结构信号(亮度、色差信号)以及形状信号，则上述结构信号以及形状信号分别被对应的编码器1100、1200中的分组器1110、1210分割为作为编码处理单位的宏块，在各宏块中进行预测编码处理。
在结构信号编码器1100中，使用减法器1160求出对象码组和预测码组的差分；在DCT1121中，把该差分变换为DCT系数，进而在量化器1122中把该DCT系数变换为量化系数。而且该量化系数被输出到可变长编码器1010中。
上述量化系数在逆量化器1131中被变换为DCT系数，进而，该DCT系数通过把在IDCT1130中的频域的数据变换为空间域的数据的处理，被变换为对应于上述对象码组的扩展码组。进而，由加法器1170把该扩展码组和上述预测码组进行相加生成再生码组。而且该再生码组被存储到帧存储器1140中。这时，在上述预测图像生成器1150中，根据用预定的运动检测法检测出来的运动信息，进行从被存储在该帧存储器1140中的图像应用运动补偿生成对应于对象码组的预测码组的处理。另外，在该预测图像生成器1150中，根据从分组器1110的输出得到的图像尺寸，从被存储在存储器块1140中的再生图像，把存在应该被参考的有意义的图像数据的最近被再生了的一个再生图像决定为参考图像。另外，该参考图像的决定也能够通过在设置着形状检测器1280的情况下，根据作为其输出的形状检测输出即通常应该被参考的再生图像的尺寸是否为0的信息，控制帧存储器1140而进行。
还有，和上述结构编码器1100的处理并行地进行的是，在形状编码器1200中，和上述结构信号的预测编码处理几乎同样地进行对于形状信号的预测编码处理。即，用减法器1260求出对象码组和预测码组的差分，在形状编码器1220中用四分支和链式编码方法等方法把该差分进行编码并且输出到上述可变长编码器1010中。另外，来自上述形状编码器1220的形状编码信号用形状解码器1230复原，用加法器1270把复原码组和预测码组进行相加生成再生码组。
从该加法器1270输出的再生码组被存储在帧存储器1240中，在上述图像预测生成器1250中，根据使用预定的运动检测法检测出来的运动信息，从被存储在该帧存储器1240中的形状信息通过运动补偿生成对应于对象码组的预测码组。另外，在该预测图像生成器1250中，根据从分组器1210的输出得到的图像尺寸，从被存储在帧存储器块1240中的再生图像，把存在应该被参考的有意义的图像数据的最近被再生了的一个再生图像决定为参考图像。
另外，该参考图像的确定在设置着形状检测器1280的情况下，也能够根据作为其输出的形状检测输出即通常应该被参考的再生图像的尺寸是否为0的信息，通过控制帧存储器1240来进行。另外，这种情况下，上述再生码组被输入到形状检测器1280中，在这里被进行形状检测。例如，在形状信号是2值信号的情况下，当作为形状数据的白数据及黑数据中只有黑数据时，再生形状成为什么也没有的状态。这时，对应于该码组的形状信号的结构信号也不存在。在这种情况下，如上述那样，从形状检测器1280，显示不存在编码数据的标志或者图像尺寸为0的数据作为形状检测输出，被输出到上述各帧存储器1140，1240以及上述可变长编码器1010中。在各帧存储器1140，1240中，根据上述形状检测输出，进行与上述实施例1中的由控制器320对帧存储器309进行的控制相同的控制。
这样，在本实施例7中，在各编码器1100以及1200中，根据从分组器1110，1210的输出得到的图像尺寸，从被存储在帧存储器组1140，1240中的再生图像中，把存在应该被参考的有意义的图像数据的最近被再生了的一个再生图像决定为参考图像，因此，在以物体单位把构成图像的物体分别进行压缩编码并传送的情况下，不会把图像尺寸发生变化或者图像消失的图像在图像预测编码中用作为参考图像，具有能够进行适宜的预测编码的效果。另外，被使用该实施例7的图像预测编码装置预测编码了的编码数据，能够使用实施例2的图像预测解码装置正确地进行解码。
另外，在具有形状检测器1280的情况下，通过检测形状信号的再生码组的形状，在形状编码器1200中进行对应于被输入的对象码组的参考图像是否存在的判定，由于当没有再生码组的形状时，在结构编码器以及形状编码器中，代替对应于对象码组的再生码组，使用最近被再生了的具有形状的再生码组生成预测码组，因此，在以物体单位把构成图像的物体分别进行压缩编码并传送的情况下，不会把图像消失的图像在图像的预测编码中用作为参考图像，具有能够可以抑制残差信号(差分信号)的适宜的预测编码的效果。在这种情况下，使用实施例7的图像预测编码装置被编码了编码数据能够用实施例2的图像预测解码装置正确地进行解码。即，在该图像预测解码装置中，数据解析器308根据上述形状检测输出控制帧存储器组309，由此，在把被以物体单位预测编码了的编码数据进行解码之际，不会把图像尺寸发生变化或者图像消失的图像在图像的预测解码处理中用作为参考图像，能够进行适宜的预测解码。
还有，在上述实施例7中，虽然示出了由预测图像生成器1150、1250实施作为参考图像的再生图像的选择，或者基于形状检测输出的帧存储器1140以及1240的控制和上述实施例1中的由预测图像生成器1150，1250进行的作为参考图像的再生图像的选择，或者由控制器320进行的对于帧存储器309的控制完全同样地进行，然而并不限定于此。
例如，当在对象帧的前一个帧中不存在应该被参考的图像数据时，像实施例3那样，作为预测图像也可以生成具有预定值的预测图像，这种情况下，作为对应于图像预测编码装置的图像预测解码装置，能够使用进行上述实施例3的图像预测解码处理的装置。
还有，上述实施例7中的预测处理，像上述实施例5那样也可以是双向预测处理，这种情况下，作为对应于图像预测编码装置的图像预测解码装置，能够使用进行上述实施例5的图像预测解码处理的装置。
(实施例8)
图13示出本发明实施例8的图像预测编码装置的框图。
该图像预测编码装置1000a具有对于由辉度信号以及色差信号构成的结构信号进行预测编码的结构编码器1100a以及对于形状信号进行预测编码的形状编码器1200a。
这里，上述结构编码器1100a除去上述实施例7的结构编码器1100的结构以外，还构成为在分组器1110的前一级具有根据控制信号在分组器1110和接地之间进行切换把结构信号供给其中一方的转换开关1190。
另外，上述形状编码器1200a与上述实施例7的不同之点在于不具有上述实施例7的形状编码器1200中的形状检测器1280，而是具有根据控制信号在分组器1210和接地之间进行切换把形状信号供给其中一方的转换开关1290。
另外，上述图像预测编码装置1000a具有接受形状信号，把其形状检测输出作为上述控制信号输出到各转换开关1190、1290的形状检测器1020。这里，上述各转换开关进行这些信号的切换，使得在形状检测器1020的形状检测的结果为被输入的形状信号不具有形状时，根据其形状检测输出，把被输入的结构信号以及形状信号输入到接地一侧，另一方面在被输入的形状信号具有形状时，把结构信号和形状信号输入到各分组器1110、1210中。另外，上述形状检测输出在可变长编码器1010中，还成为和来自各编码器1100a、1200a的编码数据一起施加可变长编码处理。
其次，简单地说明本实施例8的图像预测编码装置的动作。
在这样构成的本实施例8的图像预测编码装置1000a中，除去由上述形状检测器1020实施的转换开关的控制以外，进行与上述实施例7相同的预测编码动作。
即，在图像预测编码装置1000a中，如果输入了结构信号以及形状信号，则在形状检测器1020中，进行被输入的形状信号是否具有形状的检测。其检测结果，在形状信号不具有形状时，根据上述形状检测器1020的输出控制转换开关1190以及1290，把被输入的结构信号以及形状信号供给到接地一侧。即，此时不进行对于形状信号以及结构信号的预测编码处理，形状检测输出被供给到可变长编码器1010中。
另一方面，在上述的检测结果为被输入的形状信号具有形状时，根据上述形状检测器1020的输出，控制转换开关1190以及1290，把结构信号以及形状信号输入到各分组器1110、1210中，分别实施预测编码处理。而且，和各个编码器1100a以及1200a的输出一起上述形状检测输出被输出到可变长编码器1010中。
这样，在本实施例8中，具备判断被输入了的形状信号是否具有形状的形状检测器1020，在形状信号具有形状的情况下，进行对于结构信号以及形状信号的预测编码，在形状信号不具有形状的情况下，不进行对于结构信号以及形状信号的预测编码，所以，在以物体单位把构成图像的物体分别压缩编码并传送的情况下，不会把图像尺寸发生变化或者图像消失的图像在图像的预测编码中用作为参考图像，能够进行可以抑制残差信号(差分信号)的适宜的预测编码。
还有，由于构成为把上述形状检测器的检测输出进行编码后传送，因此在图像预测解码装置中，把该检测输出用作为同步信号，即，在图像尺寸变小、图像消失期间，停止再生对应于该图像的编码数据，能够适宜地进行对于图像尺寸发生变化或者图像消失的图像的预测解码处理。
进而，通过使得在软盘等数据存储媒体中存储用于实现在上述各实施例中所示的图像预测解码方法或者装置，以及图像预测编码方法或者装置的结构的程序，由此，能够在独立的计算机系统中简单地实施上述各实施例中所示出的处理。
图14是用于说明使用存储了对应于这些信号处理的程序的软盘，通过计算机系统实施上述各实施例中预测解码处理以及预测编码处理情况的说明图。
图14(a)示出从软盘FD的正面观看的外观、截面构造、以及作为存储媒体的软盘本体，图14(b)示出了软盘本体D的物理格式的例子。软盘本体D安装在盒体FC内部，该磁盘本体D的表面上，呈同心圆形从外周向内周形成多个磁道Tr，各个磁道沿角度方向被分隔为十六个扇区Se。从而，在存储了上述程序的软盘本体D中，在上述软盘本体D上被分割的区域内存储着作为上述程序的数据。
还有，图14(c)示出了用于进行上述程序对于软盘FD的存储再生的构成。当把上述程序存储在软盘FD上的情况下，从计算机系统Cs通过软盘驱动器FDD把作为上述程序的数据写入到软盘FD中。另外，在使用软盘FD内的程序，把上述图像传送方法或图像解码装置构筑在计算机系统Cs中的情况下，使用软盘驱动器FDD从软盘FD中读出证据，传送到计算机系统Cs中。
另外，在上述说明中，作为数据存储媒体，举出存储了用于进行上述各实施例中的预测解码处理或者预测编码处理的程序的媒体，而作为数据存储媒体，也可以举出存储了上述各实施例中的图像的编码数据的媒体。
还有，在上述说明中，说明了把软盘用作为数据存储媒体的计算机系统所实施的图像处理，然而该图像处理使用光盘也同样能够进行。另外，存储媒体并不限于此，只要是能够存储程序，例如IC卡、ROM卡等也都同样地能够实施上述图像处理。
综上所述，如果依据本发明的图像预测解码方法、图像预测解码装置、图像预测编码方法以及图像预测编码装置，则在参考图像的尺寸是0或者参考图像完成透过时，或者检测出显示参考图像的尺寸为0的图像数据中的标志时，使用图像尺寸不是0的其它的再生图像进行预测编码，所以在为提高压缩效率，以物体单位把构成图像的物体分别进行压缩编码并传送的情况下，不会把图像尺寸发生变化或者图像消失的图像在图像解码、编码中用作为参考图像，能够进行适宜的解码、编码，从而，可以得到能够抑制代码量，高效率地进行压缩编码这样显著的效果。
如果依据本发明的图像预测解码方法、图像预测解码装置、图像预测编码方法以及图像预测编码装置，则由于构成为通过检测参考图像的尺寸是否为0，即参考图像是否完全透过以及检测显示编码数据是否存在的图像数据中的标志，所以除去上述效果以外，还可以得到能够简单地进行决定参考图像的运算的效果。
如果依据本发明的图像预测解码方法、图像预测解码装置、图像预测编码方法以及图像预测编码装置，则在以物体单位把构成图像的物价分别进行压缩编码并传送的情况下，在使用双向参考图像生成预测图像时，不会把图像尺寸发生变化或者图像消失的图像用作为参考图像，能够进行适宜的解码、编码，同时，由于构成为作为预测图像生成具有预定值的预测图像，所以可以得到能够容易地生成预测图像的效果。
如果依据本发明的图像预测编码装置，则由于具有判定被输入了的形状信号是否具有形状的形状检测器，使得在形状信号具有形状的情况下，进行对于结构信号以及形状信号的预测编码，在形状信号不具有形状的情况下，不进行对于结构信号以及形状信号的预测编码，所以在以物体单位把构成图像的物体分别进行压缩编码并传送的情况下，不会把图像尺寸发生变化或者图像消失的图像在图像的预测编码中用作为参考图像，能够进行适宜的预测编码。
如果依据本发明的数据存储媒体，则由于存储了在参考图像的尺寸为0或者参考图像完全透过，或者检测出显示参考图像的尺寸为0的图像数据中的标志时，使得计算机进行用图像尺寸不为0的其它再生图像进行预测解码处理的程序，所以，能够用软件实现上述那样的可以抑制代码量、高效率地进行压缩编码的预测解码处理或者预测编码处理。
如果依据本发明的数据存储媒体，则由于存储了通过检测参考图像的尺寸是否为0，即参考图像是否完全透过，以及检测出显示编码数据是否存在的图像数据中的标志，使得计算机进行预测解码处理或者预测编码处理的程序，因此除去可以抑制代码量，高效率地进行压缩编码这样的效果以外，还能够用软件实现可以简单地进行决定参考图像运算的预测解码处理或者预测编码处理。
如果依据本发明的数据存储媒体，则在以物体单位把构成图像的物体分别进行压缩编码并传送的情况下，在使用双向参考图像生成预测图像时，不会把图像尺寸发生变化或者图像消失的图像用作为参考图像，能够进行适宜的解码，编码，同时，由于存储了使计算机进行作为预测图像生成具有预定值的预测图像的预测解码处理或者预测编码处理的程序，所以能够使用软件实现可以容易地生成预测图像的预测解码处理或者预测编码处理。
如果依据本发明的数据存储媒体，则由于存储了判断被输入了的形状信号是否具有形状，在形状信号具有形状的情况下，使计算机进行对于结构信号以及形状信号的预测编码，在形状信号不具有形状的情况下，使计算机不进行对于结构信号以及形状信号的预测编码处理的程序，所以在以物体单位把构成图像的物体分别进行编码并传送的情况下，不会把图像尺寸发生变化或者图像消失的图像在图像的预测编码中用作为参考图像，能够用软件实现可以进行适宜的预测编码的图像预测编码装置。

Claims (24)

1.一种图像预测解码方法，该方法输入用预定的方法把图像尺寸可变的图像进行经压缩编码的图像数据，把以前被再生了的至少一个再生图像用作为参考图像从成为解码对象的图像生成预测图像，把成为上述解码对象的图像进行预测解码，其特征在于：
使用存在应该被参考的有意义的图像数据并且被最近再生了的至少一个再生图像作为上述参考图像来生成上述预测图像。
2.一种图像预测解码方法，该方法输入用预定的方法把图像尺寸可变的图像进行经压缩编码的图像数据，把以前被再生了的预定再生图像用作为参考图像从成为解码对象的图像生成预测图像，把成为上述解码对象的图像进行预测解码，其特征在于：
在生成上述预测图像之际，当在作为参考图像所使用的预定的再生图像中不存在应该被参考的有意义的图像数据时，把使得预定值作为其图像数据的图像作为预测图像。
3.如权利要求1或2中记述的图像预测解码方法，其特征在于：
上述被经压缩编码的各帧的图像数据中设有标志，该标志显示在成为解码处理对象的对象帧的前一个帧中是否存在应该被参考的有意义的图像数据。
4.一种图像预测解码方法，该方法输入用预定的方法把图像尺寸可变的图像进行经压缩编码的图像数据，使用参考图像生成预测图像，把成为上述解码对象的图像进行预测解码，其特征在于：
使用最近被再生了的两个再生图像中的至少存在应该被参考的有意义的图像数据的再生图像作为上述参考图像，来生成上述预测图像。
5.如权利要求4中记述的图像预测解码方法，其特征在于：
上述经压缩编码的各帧的图像数据中具有标志，该标志显示成为解码处理对象的对象帧的前面两个预定的帧中是否存在应该被参考的有意义的图像数据。
6.一种图像预测解码装置，包括：输入装置、数据解析器、解码器、预测图像生成器、加法器和帧存储器，其中：
在上述输入装置中，输入用预定方法把图像尺寸可变的图像经压缩编码的图像数据，
在上述数据解析器中，分析上述图像数据，输出图像尺寸和图像变换系数，
在上述解码器中，用预定的方法把上述图像变换系数复原为扩展差分图像，
在上述预测图像生成器中，把被存储在上述帧存储器中的再生图像用作为参考图像生成预测图像，
在上述加法器中，把上述扩展差分图像和上述预测图像进行相加生成再生图像，同时，把该再生图像存储到上述帧存储器中，
该图像预测解码装置的特征在于：
上述预测图像生成器检查在上述再生图像中是否存在应该被参考的有意义的图像数据，把存在有意义的图像数据的最近被再生了的至少一个再生图像用作为参考图像，生成上述预测图像。
7.一种图像预测解码装置，包括：输入装置、数据解析器、解码器、预测图像生成器、加法器和帧存储器，其中：
在上述输入装置中，输入用预定方法把图像尺寸可变的图像经压缩编码的图像数据，
在上述数据解析器中，分析上述图像数据，输出图像尺寸和图像变换系数，
在上述解码器中，用预定的方法把上述图像变换系数复原为扩展差分图像，
在上述预测图像生成器中，把被存储在上述帧存储器中的对应于上述输入图像的再生图像用作为参考图像生成预测图像，
在上述加法器中，把上述扩展差分图像和上述预测图像进行相加生成再生图像，同时，把该再生图像存储到上述帧存储器中，
该图像预测解码装置的特征在于：
上述预测图像生成器检查在上述再生图像中是否存在应该被参考的有意义的图像数据，当在该预定的再生图像中不存在有意义的图像数据时，把使得预定值作为其图像数据的图像作为上述预测图像。
8.如权利要求6或7中记述的图像预测解码装置，其特征在于：
上述经压缩编码的各帧的图像数据具有标志，该标志显示成为解码处理对象的对象帧的前一个帧中是否存在应该被参考的有意义的图像数据。
9.一种图像预测解码装置，包括：输入装置、数据解析器、解码器、预测图像生成器、加法器和帧存储器，其中：
在上述输入装置中，输入用预定方法把图像尺寸可变的图像经压缩编码的图像数据，
在上述数据解析器中，分析上述图像数据，输出图像尺寸和图像变换系数，
在上述解码器中，用预定的方法把上述图像变换系数复原为扩展差分图像，
在上述预测图像生成器中，把被存储在上述帧存储器中的再生图像用作为参考图像生成预测图像，
在上述加法器中，把上述扩展差分图像和上述预测图像进行相加生成再生图像，同时，把该再生图像存储到上述帧存储器中，
该图像预测解码装置的特征在于：
上述预测图像生成器使用最近被再生的两个再生图像中至少存在应该被参考的有意义的图像数据的再生图像作为上述参考图像，来生成上述预测图像。
10.如权利要求9中记述的图像预测解码装置，其特征在于：
上述经压缩编码的各帧的图像数据具有标志，该标志显示在成为解码处理对象的对象帧前面两个预定帧中是否存在应该被参考的有意义的图像数据。
11.一种图像预测编码方法，该方法输入图像尺寸可变的图像，把以前被再生了的至少一个再生图像用作为参考图像从成为编码对象的图像生成预测图像，从上述预测图像减去上述对象图像，用预定的方法把其差分进行压缩编码，其特征在于：
在生成上述预测图像之际，把存在应该被参考的有意义的图像数据的最近被再生了的至少一个再生图像用作为参考图像生成上述预测图像。
12.一种图像预测编码方法，该方法输入图像尺寸尺寸可变的图像，把以前被再生了的预定的再生图像作为参考图像从成为编码对象的图像生成预测图像，从上述预测图像减去上述对象图像，用预定的方法把其差分进行压缩编码，其特征在于：
在生成上述预测图像之际，当在用作为参考图像的预定的再生图像中不存在应该被参考的有意义的图像数据时，把使得预定值作为该图像数据的图像作为上述预测图像。
13.如权利要求11或12中记述的图像预测编码方法，其特征在于：
上述经压缩编码的各帧的图像数据具有标志，该标志显示在成为编码处理对象的对象帧的前一个帧中是否存在应该被参考的有意义的图像数据。
14.一种图像预测编码方法，该方法输入图像尺寸可变的图像，使用参考图像生成预测图像，从上述预测图像减去成为上述编码对象的对象图像，用预定的方法把其差分进行压缩编码，其特征在于：
作为上述参考图像，使用最近被再在了的两个再生图像中的至少存在应该被参考的有意义的图像数据的再生图像，生成上述预测图像。
15.如权利要求14中记述的图像预测编码方法，其特征在于：
上述经压缩编码的各帧的图像数据具有标志，该标志显示在成为编码处理对象的对象帧前面两个预定的帧中是否存在应该被参考的有意义的图像数据。
16.一种图像预测编码装置，包括：输入装置、减法器、压缩编码器、可变长编码器、扩展解码器、预测图像生成器、加法器和帧存储器，其中，
在上述输入装置中，按照每个编码处理的单元区别输入图像尺寸可变的图像数据，
在上述减法器中，求出成为编码处理对象的对象图像和对应于该对象图像的预测图像的差分图像，
在上述压缩编码器中，根据预定的压缩编码处理把上述差分图像变换为压缩数据，
在上述可变长编码器中，把上述压缩数据进行可变长编码，输出编码数据，
在上述扩展解码器中，根据预定的扩展解码处理把上述压缩数据复原为扩展差分图像，
在上述预测图像生成器中，把存储在上述帧存储器中的再生图像用作为参考图像生成预测图像，
在上述加法器中，把上述扩展差分图像和上述预测图像进行相加，生成再生图像并进行输出，同时，把该再生图像存储到上述帧存储器中，
该图像预测编码装置的特征在于：
上述预测图像生成器检查在上述再生图像中是否存在应该被参考的有意义的图像数据，把存在有意义的图像数据的最近被再生了的至少一个再生图像用作为参考图像，生成上述预测图像。
17.一种图像预测编码装置，包括：输入装置、减法器、压缩编码器、可变长编码器、扩展解码器、预测图像生成器、加法器和帧存储器，其中，
在上述输入装置中，按照每个编码处理的单元区别输入图像尺寸可变的图像数据，
在上述减法器中，求出成为编码处理对象的对象图像和对应于该对象图像的预测图像的差分图像，
在上述压缩编码器中，根据预定的压缩编码处理把上述差分图像变换为压缩数据，
在上述可变长编码器中，把上述压缩数据进行可变长编码，输出编码数据，
在上述扩展解码器中，根据预定的扩展解码处理把上述压缩数据复原为扩展差分图像，
在上述预测图像生成器中，把存储在上述帧存储器中的对应于上述输入图像的预定的再生图像用作为参考图像生成预测图像，
在上述加法器中，把上述扩展差分图像和上述预测图像进行相加，生成再生图像并进行输出，同时，把该再生图像存储到上述帧存储器中，
该图像预测编码装置的特征在于：
上述预测图像生成器检查在上述预定的再生图像中是否存在应该被参考的有意义的图像数据，当不存在有意义的图像数据时，把使得预定值作为其图像收据的图像作为上述预测图像。
18.如权利要求16或17中记述的图像预测编码装置，其特征在于：
各帧的编码数据具有标志，该这标志显示成为编码处理对象的对象帧的前一个帧中是否存在应该被参考的有意义的图像数据。
19.一种图像预测编码装置，包括：输入装置、减法器、压缩编码器、可变长编码器、扩展解码器、预测图像生成器、加法器和帧存储器，其中，
在上述输入装置中，按照编码处理的各个单位区别输入图像尺寸可变的图像数据，
在上述减法器中，求出成为编码处理对象的对象图像和对应于该对象图像的预测图像的差分图像，
在上述压缩编码器中，使用预定的压缩编码处理把上述差分图像变换为压缩数据，
在上述可变长编码器中，把上述压缩数据进行可变长编码并且输出编码数据，
在上述扩展解码器中，用预定的扩展解码处理把上述压缩数据复原为扩展差分图像，
在上述预测图像生成器中，把被存储在上述帧存储器中的再生图像用作为参考图像生成预测图像，
在上述加法器中，把上述扩展差分图像和上述预测图像进行相加，生成并且输出再生图像，同时，把该再生图像存储到上述帧存储器中，
该图像预测编码装置的特征在于：
上述预测图像生成器使用最近被再生了的两个再生图像中至少存在应该被参考的有意义的图像数据的再生图像作为上述参考图像，生成上述预测图像。
20.如权利要求19中记述的图像预测编码装置，其特征在于：
各帧的编码数据具有标志，该标志显示包含成为编码处理对象的图像数据的对象帧的前两个预定帧中是否存在有意义的图像数据。
21.一种图像预测编码装置，包括：输入装置、减法器、压缩编码器、可变长编码器、扩展解码器、预测图像生成器、加法器和帧存储器，其中，
在上述输入装置中，按照编码处理的各个单位区别输入图像尺寸可变的图像数据，
在上述减法器中，求出成为编码处理对象的对象图像和对应于该对象图像的预测图像的差分图像，
在上述压缩编码器中，使用预定的压缩编码处理把上述差分图像变换为压缩数据，
在上述可变长编码器中，把上述压缩数据进行可变长编码并且输出编码数据，
在上述扩展解码器中，用预定的扩展解码处理把上述压缩数据复原为扩展差分图像，
在上述预测图像生成器中，把被存储在上述帧存储器中的再生图像用作为参考图像生成预测图像，
在上述加法器中，把上述扩展差分图像和上述预测图像进行相加，生成并且输出再生图像，同时，把该再生图像存储到上述帧存储器中，
该图像预测编码装置的特征在于：
具有根据被包含在上述图像尺寸可变的图像数据中的显示物体形状的形状数据，检测在上述再生图像中是否存在应该被参考的有意义的图像数据的形状检测器，
把上述预测图像生成器构成为如下的结构，即根据形状检测器的输出，在上述再生图像不存在有意义的图像数据时，把存在有意义的图像数据的最近被再生了的至少一个再生图像用作为参考图像生成上述预测图像。
22.一种数据存储媒体，该数据存储媒体存储了用于使计算机进行图像预测解码处理的程序，其特征在于：
上述程序被构成为使得由计算机进行权利要求6、7、9的任一项中记述的图像预测解码装置实施的图像预测解码处理。
23.一种数据存储媒体，该数据存储媒体存储了用于使计算机进行图像预测编码处理的程序，其特征在于
上述程序被构成为使得由计算机进行权利要求16、17、19、21的任一项中记述的图像预测编码装置实施的图像预测编码处理。
24.一种数据存储媒体，该数据存储媒体存储了把图像压缩编码后得到的编码数据，其特征在于
上述编码数据是通过权利要求16、17、19、21的任一项中记述的图像预测编码装置中的图像预测编码处理所得到的编码数据。
CNB981063705A 1997-04-09 1998-04-09 图像预测解码方法 Expired - Lifetime CN1134992C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP090659/97 1997-04-09
JP090659/1997 1997-04-09
JP9065997 1997-04-09

Publications (2)

Publication Number Publication Date
CN1199308A true CN1199308A (zh) 1998-11-18
CN1134992C CN1134992C (zh) 2004-01-14

Family

ID=14004667

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB981063705A Expired - Lifetime CN1134992C (zh) 1997-04-09 1998-04-09 图像预测解码方法

Country Status (12)

Country Link
US (3) US6370276B2 (zh)
EP (4) EP1079634B1 (zh)
KR (2) KR100319248B1 (zh)
CN (1) CN1134992C (zh)
BR (1) BR9801156B1 (zh)
DE (4) DE69815922T2 (zh)
ES (4) ES2203383T3 (zh)
ID (1) ID20775A (zh)
IN (1) IN192209B (zh)
MY (1) MY129665A (zh)
SG (1) SG65064A1 (zh)
TW (1) TW395136B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1312936C (zh) * 2002-04-19 2007-04-25 松下电器产业株式会社 动态图像编码方法及动态图像解码方法
CN101005627B (zh) * 2000-07-25 2010-04-14 松下电器产业株式会社 图像译码方法、图像译码装置
CN101304536B (zh) * 2002-11-20 2011-11-02 松下电器产业株式会社 动态图像编码方法及动态图像编码装置

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998036576A1 (en) * 1997-02-13 1998-08-20 Mitsubishi Denki Kabushiki Kaisha Moving picture prediction system
US6594313B1 (en) * 1998-12-23 2003-07-15 Intel Corporation Increased video playback framerate in low bit-rate video applications
US6499060B1 (en) 1999-03-12 2002-12-24 Microsoft Corporation Media coding for loss recovery with remotely predicted data units
JP4224748B2 (ja) 1999-09-13 2009-02-18 ソニー株式会社 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、記録媒体、並びに画像処理装置
FR2809572B1 (fr) * 2000-05-29 2002-08-16 Cit Alcatel Codage video de source avec prediction du mouvement et filtrage des effets de blocs
US20020122491A1 (en) 2001-01-03 2002-09-05 Marta Karczewicz Video decoder architecture and method for using same
US6765963B2 (en) * 2001-01-03 2004-07-20 Nokia Corporation Video decoder architecture and method for using same
US6907071B2 (en) * 2001-05-24 2005-06-14 Telefonaktiebolaget Lm Ericsson (Publ) Selective prediction for intra-coding video data block
EP1401214A4 (en) * 2001-10-17 2006-08-02 Matsushita Electric Ind Co Ltd METHOD FOR ENCODING AND DECODING IMAGES
US7693220B2 (en) * 2002-01-03 2010-04-06 Nokia Corporation Transmission of video information
JP2004088722A (ja) * 2002-03-04 2004-03-18 Matsushita Electric Ind Co Ltd 動画像符号化方法および動画像復号化方法
KR100931750B1 (ko) 2002-04-19 2009-12-14 파나소닉 주식회사 움직임 벡터 계산방법
US8009731B2 (en) * 2002-11-25 2011-08-30 Panasonic Corporation Motion compensation method, picture coding method and picture decoding method
JP3934568B2 (ja) * 2003-03-04 2007-06-20 松下電器産業株式会社 動画符号化方法および装置
US20040228401A1 (en) * 2003-05-12 2004-11-18 Chen Sherman (Xuemin) Method and system for protecting image data in frame buffers of video compression systems
US8085844B2 (en) * 2003-09-07 2011-12-27 Microsoft Corporation Signaling reference frame distances
US7577198B2 (en) * 2003-09-07 2009-08-18 Microsoft Corporation Number of reference fields for an interlaced forward-predicted field
US7961786B2 (en) * 2003-09-07 2011-06-14 Microsoft Corporation Signaling field type information
US7724827B2 (en) 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US8064520B2 (en) 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US8107531B2 (en) * 2003-09-07 2012-01-31 Microsoft Corporation Signaling and repeat padding for skip frames
US20050120340A1 (en) * 2003-12-01 2005-06-02 Skazinski Joseph G. Apparatus, system, and method for automated generation of embedded systems software
JP2007525907A (ja) * 2004-02-27 2007-09-06 ティディヴィジョン コーポレイション エス．エー． デ シー．ヴィ． 立体３ｄビデオイメージディジタルデコーディングのシステムおよび方法
WO2005083636A1 (es) * 2004-02-27 2005-09-09 Td Vision Corporation, S.A. De C.V. Método y sistema de codificación digital de imágenes de video 3d estereoscópicas
US8634413B2 (en) 2004-12-30 2014-01-21 Microsoft Corporation Use of frame caching to improve packet loss recovery
US7262719B2 (en) * 2006-01-30 2007-08-28 International Business Machines Corporation Fast data stream decoding using apriori information
EP1994756A2 (en) * 2006-03-03 2008-11-26 Koninklijke Philips Electronics N.V. Differential coding with lossy embedded compression
US8668619B2 (en) 2008-10-12 2014-03-11 Christopher C. Sappenfield Rotary units, rotary mechanisms, and related applications
US8774541B2 (en) * 2008-11-05 2014-07-08 Sony Corporation Intra prediction with adaptive interpolation filtering for image compression
US8892853B2 (en) * 2010-06-10 2014-11-18 Mobileye Technologies Limited Hardware to support looping code in an image processing system
EP4171031B1 (en) 2011-09-28 2024-06-12 Sun Patent Trust Image decoding apparatus, image encoding and decoding apparatus and computer-readable medium storing a bitstream
KR101868203B1 (ko) * 2015-01-28 2018-07-20 한국전자통신연구원 스트림 처리 방법 및 장치
WO2019162230A1 (en) * 2018-02-20 2019-08-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Picture/video coding supporting varying resolution and/or efficiently handling region-wise packing
CN113647106B (zh) 2019-03-05 2024-08-13 弗劳恩霍夫应用研究促进协会 混合视频编码工具的用例驱动上下文模型选择
CN114503581A (zh) 2019-08-06 2022-05-13 Op方案有限责任公司 基于块的自适应分辨率管理
KR20220088680A (ko) 2019-08-06 2022-06-28 오피 솔루션즈, 엘엘씨 프레임 타입에 기반한 적응적 해상도 관리의 묵시적 시그널링
EP4011084A4 (en) 2019-08-06 2023-08-09 OP Solutions PRESCALE ADAPTIVE RESOLUTION MANAGEMENT
MX2022005534A (es) * 2019-11-08 2022-08-04 Op Solutions Llc Metodos y sistemas para recorte adaptativo..

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6118280A (ja) 1984-07-04 1986-01-27 Fujitsu Ltd バツフアメモリ制御方式
US5287468A (en) 1987-06-03 1994-02-15 Sony Corporation Method and apparatus for processing information data
FR2657978A1 (fr) 1990-02-02 1991-08-09 Philips Electronique Lab Procede de stockage en memoire pour le traitement d'images, et dispositif pour la mise en óoeuvre du procede.
KR930000994B1 (ko) 1990-08-09 1993-02-12 삼성전자 주식회사 Cd-rom 데이타 버퍼링 및 독출용 어드레스 발생방법 및 회로
JP2962012B2 (ja) 1991-11-08 1999-10-12 日本ビクター株式会社 動画像符号化装置及びその復号装置
US5510840A (en) 1991-12-27 1996-04-23 Sony Corporation Methods and devices for encoding and decoding frame signals and recording medium therefor
JP3374989B2 (ja) * 1993-03-26 2003-02-10 ソニー株式会社 画像信号符号化方法および画像信号符号化装置、ならびに画像信号復号化方法および画像信号復号化装置
JP3163830B2 (ja) * 1993-03-29 2001-05-08 ソニー株式会社 画像信号伝送方法及び装置
TW301098B (zh) * 1993-03-31 1997-03-21 Sony Co Ltd
US5715009A (en) * 1994-03-29 1998-02-03 Sony Corporation Picture signal transmitting method and apparatus
FR2718315B1 (fr) * 1994-03-30 1996-06-21 Sgs Thomson Microelectronics Circuit de compression d'image.
JPH0818979A (ja) * 1994-06-27 1996-01-19 Canon Inc 画像処理装置
KR100287211B1 (ko) 1994-08-30 2001-04-16 윤종용 양방향 움직임 추정방법 및 장치
JPH08154247A (ja) 1994-09-29 1996-06-11 Sanyo Electric Co Ltd 圧縮画像データ処理装置及び方法
JPH08204971A (ja) * 1994-10-31 1996-08-09 Xerox Corp 予測符号化と誤差拡散を用いた画像圧縮方法
JP3038143B2 (ja) 1994-12-29 2000-05-08 現代電子産業株式会社 映像機器の物体別形状情報の減縮装置及びその減縮方法並びに多角近似化方法
KR100215428B1 (ko) * 1995-01-23 1999-08-16 윤종용 B픽처의에러은폐방법
DE69619002T2 (de) * 1995-03-10 2002-11-21 Kabushiki Kaisha Toshiba, Kawasaki Bildkodierungs-/-dekodierungsvorrichtung
JPH08256341A (ja) * 1995-03-17 1996-10-01 Sony Corp 画像信号符号化方法、画像信号符号化装置、画像信号記録媒体、及び画像信号復号化装置
JP3803122B2 (ja) 1995-05-02 2006-08-02 松下電器産業株式会社 画像メモリ装置および動きベクトル検出回路
EP1274254B1 (en) 1995-08-29 2011-07-06 Sharp Kabushiki Kaisha Video coding device and video decoding device with a motion compensated interframe prediction
EP0857392B1 (en) * 1995-10-25 2004-08-11 Sarnoff Corporation Overlapping block zerotree wavelet image coder
KR100211916B1 (ko) * 1995-10-26 1999-08-02 김영환 물체 모양정보 부호화에서의 부호화타입과 모드의 결정방법
JPH09182083A (ja) * 1995-12-27 1997-07-11 Matsushita Electric Ind Co Ltd ビデオ画像符号化方法及び復号化方法とその装置
JP3773585B2 (ja) * 1996-03-29 2006-05-10 富士通株式会社 画像符号化装置
US5991447A (en) * 1997-03-07 1999-11-23 General Instrument Corporation Prediction and coding of bi-directionally predicted video object planes for interlaced digital video
DE19746611A1 (de) 1997-10-22 1999-04-29 Bosch Gmbh Robert Verfahren zur Verbesserung der Konturcodierung von Bildsequenzen sowie Anwendung

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101005627B (zh) * 2000-07-25 2010-04-14 松下电器产业株式会社 图像译码方法、图像译码装置
CN1312936C (zh) * 2002-04-19 2007-04-25 松下电器产业株式会社 动态图像编码方法及动态图像解码方法
CN101035291B (zh) * 2002-04-19 2011-05-04 松下电器产业株式会社 动态图像编码方法及动态图像解码方法
CN101304536B (zh) * 2002-11-20 2011-11-02 松下电器产业株式会社 动态图像编码方法及动态图像编码装置

Also Published As

Publication number Publication date
DE69824896T2 (de) 2005-08-11
EP1322122A1 (en) 2003-06-25
EP1065883A2 (en) 2001-01-03
US6633678B2 (en) 2003-10-14
ES2203383T3 (es) 2004-04-16
ES2221824T3 (es) 2005-01-16
DE69834959D1 (de) 2006-07-27
DE69815922D1 (de) 2003-08-07
EP1065883A3 (en) 2001-01-10
EP1322122B1 (en) 2006-06-14
ES2265531T3 (es) 2007-02-16
CN1134992C (zh) 2004-01-14
EP1079634B1 (en) 2004-06-30
US6459813B1 (en) 2002-10-01
BR9801156B1 (pt) 2012-10-16
IN192209B (zh) 2004-03-13
DE69816342D1 (de) 2003-08-14
US6370276B2 (en) 2002-04-09
EP1079634A1 (en) 2001-02-28
DE69816342T2 (de) 2004-05-27
SG65064A1 (en) 1999-05-25
ES2202678T3 (es) 2004-04-01
KR19980081235A (ko) 1998-11-25
US20020027955A1 (en) 2002-03-07
EP0871336A2 (en) 1998-10-14
EP0871336B1 (en) 2003-07-02
DE69834959T2 (de) 2007-01-25
EP1065883B1 (en) 2003-07-09
TW395136B (en) 2000-06-21
ID20775A (id) 1999-03-04
DE69815922T2 (de) 2004-04-22
EP0871336A3 (en) 2000-07-19
US20010014178A1 (en) 2001-08-16
DE69824896D1 (de) 2004-08-05
BR9801156A (pt) 1999-10-19
KR100451326B1 (ko) 2004-10-06
MY129665A (en) 2007-04-30
KR100319248B1 (ko) 2002-02-19

Similar Documents

Publication Publication Date Title
CN1134992C (zh) 图像预测解码方法
CN1151684C (zh) 活动图象编码译码装置及方法
CN1083213C (zh) 传送图像信号的方法和设备
TWI521949B (zh) Image predictive coding apparatus, method and program, image predictive decoding apparatus, method and program, and coding decoding system and method
US8121191B1 (en) AVC to SVC transcoder
CN1285216C (zh) 图像编码方法和装置、图像译码方法和装置
CN111901596B (zh) 基于深度学习的视频混合编码与解码方法及装置、介质
CN1197251A (zh) 图象信号的填补方法、编码装置及译码装置
CN1130970A (zh) 用反复误差数据编码方法进行视频压缩
CN101031086A (zh) 视频信息编码方法和视频信息解码方法
CN1076934C (zh) 活动图像编码方法、活动图像解码方法、活动图像记录媒体和活动图像编码装置
CN101742301B (zh) 一种块模式编码方法及装置
JP7403245B2 (ja) 画像復号装置、画像復号方法
JP2011518527A (ja) 映像の復号化
CN1266947C (zh) 活动图象压缩编码装置及运动矢量检测方法
JP2024019496A (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法
CN1547857A (zh) 图像解码设备和图像解码方法
CN1204752C (zh) 存储和处理时间上顺序排列图象的图象信息的方法和装置
KR101664202B1 (ko) 동화상 예측 부호화 방법, 동화상 예측 부호화 장치, 동화상 예측 부호화 프로그램, 동화상 예측 복호 방법, 동화상 예측 복호 장치 및 동화상 예측 복호 프로그램
CN1778117A (zh) 使用参变速率失真模型对视频编码进行数率失真优化数据划分的系统和方法
CN1168321C (zh) 变码方法和设备
JP2007336277A (ja) 動画像符号化復号化方法、符号化復号化装置及び動画像符号化復号化プログラム
TWI853577B (zh) 圖像編碼裝置、圖像解碼裝置、圖像編碼方法、圖像解碼方法
CN1898963A (zh) 运动图像再现方法、装置以及程序
US20130215965A1 (en) Video encoding and decoding using an epitome

Legal Events

Date Code Title Description
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C06 Publication
PB01 Publication
C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1041561

Country of ref document: HK

ASS Succession or assignment of patent right

Owner name: MATSUSHITA ELECTRIC (AMERICA) INTELLECTUAL PROPERT

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20140714

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20140714

Address after: California, USA

Patentee after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Osaka

Patentee before: Matsushita Electric Industrial Co.,Ltd.

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20170117

Address after: American New York

Patentee after: Sun patent hosting Co.

Address before: Seaman Avenue Torrance in the United States of California No. 20000 room 200

Patentee before: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

CX01 Expiry of patent term

Granted publication date: 20040114

CX01 Expiry of patent term