CN1284376C - 动态图像译码装置和方法 - Google Patents

动态图像译码装置和方法 Download PDF

Info

Publication number
CN1284376C
CN1284376C CNB2003101245648A CN200310124564A CN1284376C CN 1284376 C CN1284376 C CN 1284376C CN B2003101245648 A CNB2003101245648 A CN B2003101245648A CN 200310124564 A CN200310124564 A CN 200310124564A CN 1284376 C CN1284376 C CN 1284376C
Authority
CN
China
Prior art keywords
memory
image
mentioned
prediction
transform method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CNB2003101245648A
Other languages
English (en)
Other versions
CN1510928A (zh
Inventor
关口俊一
浅井光太郎
村上笃道
西川博文
黑田慎一
井须芳美
长谷川由里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=12260195&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN1284376(C) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN1510928A publication Critical patent/CN1510928A/zh
Application granted granted Critical
Publication of CN1284376C publication Critical patent/CN1284376C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

为了获得一种根据动态图象的场面内容和重要程度、移动的性质等，进行高精度的预测的编码方式，而备有：存储参照的图象数据的多个存储器a、b、c；能与表现被预测图象区的移动的任意的变形参数对应，根据该变形参数，利用上述多个存储器a、b、c中的任意数据生成预测图象的移动补偿部5；以及能在任意时间间隔内更新上述多个存储器a、b、c中1个以上存储器的内容的存储器更新部15。

Description

动态图像译码装置和方法
技术领域
本发明涉及例如在电视电话、电视会议等中用于图象通信的便携式及固定式图象通信机器等中使用的动态图象编码/译码装置，在数字VTR、视频服务器等图象存储、记录装置等中用的动态图象编码/译码装置，在以单独软件或DSP(Digital Signal Processor)固件形式安装的动态图象编码/译码程序等中用的动态图象的预测。
背景技术
作为现有的动态图象编码/译码方式中的预测编码/译码例可以举出ISO/IEC JTC1/SC29/WG11中进行标准化作业的MPEG-4(MovingPicture Experts Group Phase-4)的视频编码/译码参照方式(Verificati on Model，以下称VM)。VM伴随MPEG-4的标准化作业的进行，方式的内容发生变化，但这里设想VM Version5.O，以下只表为VM。
VM是将动态图象顺序取作在时间/空间上取任意形状的图象目标的集合体，以各图象目标为单元进行编码/译码的方式。图29中示出了VM中的视频数据结构。在VM中，将包含时间轴的动态图象目标称为VideoObjedt(VO)，将表示VO在各时刻的状态、成为编码单元的图象数据称为Video Objedt Plane(VOP)。当VO在时间/空间上具有层次性时，在VO和VOP之间特别设有称为Video Objedt Layer(VOL)的单元，表现VO内的层次结构。各VOP被分为形状信息和结构信息。但是，在动态图象顺序中当VO为1个时，各VOP便与帧同义。这时，不存在形状信息，只进行结构信息的编码/译码。
如图30所示，VOP具有由表现形状信息的初始数据和表现结构信息的结构数据构成的结构。各数据被分别定义为由16×16个样本构成的块(初始块、宏块)的集合体。初始块内的各样本用8位表现。宏块伴随16×16个样本的辉度信号，包含与其对应的色差信号。根据动态图象顺序制作VOP数据的处理是在本编码装置以外进行的。
图31表示采用VM编码/译码方式的VOP编码装置的结构。该图中，P1是输入的原VOP数据，P2是表现VOP的形状信息的初始块，P3a是传送输入的原VOP数据的形状信息的有无用的开关，P4是对初始块进行压缩编码的形状编码部，P5是压缩的初始块数据，P6是局部译码初始块，P7是结构数据(宏块)，P8是移动检测部，P9是移动参数，P10是移动补偿部，P11是预测图象候选，P12是预测方式选择部，P13是预测方式，P14是预测图象，P15是预测误差信号，P16是结构编码部，P17是结构编码信息，P18是局部译码预测误差信号，P19是局部译码宏块，P20是子画面存储器更新部，P21是VOP存储器，P22是子画面存储器，P23是长度可变编码·多路复用部，P24是缓冲器，P25是编码位流。
另外，图32示出了简要说明该编码装置的工作的流程。
在图31所示的编码装置中，原VOP数据P1首先被分成初始块P2和宏块P7(步PS2、步PS3)，初始块P2被送到形状编码部P4，宏块P7被送到移动检测部P8。形状编码部P4是进行初始块P2的数据压缩的处理块(步PS4)，本发明不是关于形状信息的压缩方法，所以该处理的详细说明从略。。
形状编码部P4的输出是压缩初始块数据P5和局部译码初始块P6，前者被送给长度可变编码·多路复用部P23，后者被分别送给移动检测部P8、移动补偿部P10、预测方式选择部P12和结构编码部P16。
移动检测部P8(步PS5)接收宏块P7，利用VOP存储器P21中存储的参照图象数据和局部译码初始块P6，检测每个宏块局部的移动矢量。这里，移动矢量是移动参数的一个例子。已经编码的VOP的局部译码图象被存入VOP存储器P21。每次宏块的编码结束后，便依次用该局部译码图象更新VOP存储器P21的内容。另外移动检测部P8还同时具有接收全部原VOP的结构数据，利用子画面存储器P22中存储的参照图象数据和局部译码初始数据，检测全局的弯曲参数的功能。后文将详细说明子画面存储器P22。
移动补偿部P10(步PS6)利用由移动检测部P8检测的移动参数P9和局部译码初始块P6，生成预测图象候选P11。其次，在预测方式选择部P12中，用预测误差信号电力和原信号电力，确定该宏块最后的预测方式P13及预测图象P14(步PS7)。由预测方式选择部P12进行是内部帧编码/中间帧编码两者中的哪一种编码的判断。
在结构编码部P16中，根据预测方式P13，预测DCT(DiscreteCosine Transform)、量子化、得到的量子化DCT系数后，或直接将预测误差信号P15或原宏块本身送给长度可变编码部·多路复用部P23，进行编码(步PS8、步PS9)。长度可变编码·多路复用部P23根据预定的语法和长度可变编码代码，将接收的数据变换成位流，进行多路复用(步PS10)。量子化DCT系数经过逆量子化、逆DCT，变成局部译码预测误差信号P18后，与预测图象P14相加后得到局部译码宏块P19(步PS11)。局部泽码宏块P19被写入VOP存储器P21及子画面存储器P22，用于以后的VOP的预测(步PS12)。
以下，详细说明进行预测的部分、特别是预测方式和移动补偿、子画面存储器P22及VOP存储器P21的更新控制。
(1)VM中的预测方式
如图33所示，在VM中通常有4种VOP编码类型，能对每一宏块选择各类型中用○表示的预测方式。采用I-VOP时完全不进行预测，全部进行内部帧编码。P-VOP能进行从过去的VOP开始的预测。B-VOP在预测中能使用过去及未来的VOP。
以上的预测是全部由移动矢量进行的预测。另一方面，Sprite-VOP是可以使用子画面存储器的预测。所谓子画面是指这样一种图象空间，即在VOP单元中检测下式
x’＝(ax+by+c)/(gx+hy+1)
y’＝(dx+ey+f)/(gx+hy+1)
所示的弯曲参数集
α → = ( a , b , c , d , e , f , g , h )
(→表示矢量。以下同)
以此为根据，通过依次混合VOP而生成的图象空间，并被存入子画面存储器P22。
这里，(x，y)是原VOP在二维坐标上的象素位置，(x’，y’)是根据弯曲参数而与(x，y)对应的子画面存储器中的象素位置。在sprite-VOP的各宏块中，统一地使用该弯曲参数集，确定子画面存储器中的(x’，y’)，能生成预测图象进行预测。严格地说，子画面中预测用的″动态子画面″和用于预测的同时在译码侧以近似地合成VOP为目的用的″静态子画面″是有区别的。但在下述的图34～图37中，按″子画面″的意义使用动态子画面。
用移动检测部P8检测以上用于预测的移动矢量及弯曲参数。将它们统称为移动参数P9。
(2)移动补偿部
移动补偿部P10例如取图34所示的内部结构。在该图中，P26是弯曲参数，P27是移动矢量，P28是全局移动补偿部，P29是局部移动补偿部，P30是由弯曲参数决定的预测图象候选，P31是由移动矢量决定的预测图象候选。将由弯曲参数决定的预测图象候选P30及由移动矢量决定的预测图象候选P31总称为预测图象候选P11。
图35中的步PS14至步PS21简要地示出了移动补偿部P10的工作流程。
在移动补偿部P10中，利用由移动检测部P8对每个宏块P7检测的VOP总体的弯曲参数P26或宏块单元的移动矢量P27，生成预测图象候选P11。在全局移动补偿部P28中进行使用弯曲参数P26的移动补偿，在局部移动补偿部P29中进行使用移动矢量P27的移动补偿。
在I-VOP的情况下，移动补偿部P10不工作(步PS14至步PS21)。在I-VOP以外的情况下，局部移动补偿部P29工作，利用移动矢量P27，从VOP存储器P21内的过去的VOP局部译码图象取出预测图象候选(PR1)(步PS15)。在I-VOP的情况下，只使用该预测图象候选(PR1)。
在步PS16中，在B-VOP的情况下，再在局部移动补偿部P29中，利用移动矢量P27从VOP存储器P21内的未来的VOP局部译码图象取出预测图象候选(PR2)(步PS17)，同时将从过去及未来的VOP局部译码图象得到的预测图象候选相加后取平均，获得预测图象候选(PR3)(步PS18)。
另外，即使是直接预测(根据相当于ITU-T劝告H.263编码方式中的B帧的预测方式的预测。根据成为组的P-VOP的矢量作成B帧用的矢量。在此详细说明从略)，也同样生成预测图象候选(PR4)(步PS19)。在图34中，由移动矢量决定的预测图象候选P31也是从上述预测图象候选PR1至PR4的一部分或全部的总称。
当既不是I-VOP，也不是B-VOP，而是Sprite-VOP时，利用移动矢量从VOP存储器取出预测图象候选(PR1)，同时在步PS20中，在全局移动补偿部P28中用弯曲参数P26，从子画面存储器P22取出预测图象候选P30。
全局移动补偿部P28根据弯曲参数P26，计算子画面存储器P22中的预测图象候选存在的地址，根据该地址从子画面存储器P22中取并输出预测图象候选P30。局部移动补偿部P29根据移动矢量P27，计算VOP存储器P21中的预测图象存在的地址，根据该地址从VOP存储器P21中取出并输出预测图象候选P31。
在预测方式选择部P12中，对这些预测图象候选P11并包括结构数据P7的内部帧编码信号进行评价，选择预测误差信号电力最小的预测图象候选和预测方式。
(3)存储器更新
由存储器更新部P20进行存储器更新控制(步PS12)，进行VOP存储器P21及子画面存储器P22的更新。这些存储器内容的更新与在宏块单元中选择的预测方式P13无关地进行。
存储器更新部P20的内部结构示于图36，表示存储器更新部P20的工作的流程示于图37中的步PS22至步PS28。
在图36中，P32是从外部供给的VOP编码类型，P33表示是否使用子画面进行预测，是从外部供给的子画面预测识别符，P34是使用子画面存储器的预测中用的从外部供给的布莱特系数，P35是开关，P36是开关，P37是子画面合成部，P38是子画面变形处理部，P39是VOP存储器更新信号，P40子画面存储器更新信号。
首先，利用子画面预测识别符P33检查是否指定在该VO或VOL中使用子画面(步PS22)，不使用子画面时，检查B-VOP(步PS27)，如果是B-VOP，完全不进行VOP存储器P21的更新。在I-VOP或P-VOP的情况下，对每一宏块将局部译码宏块P19写入VOP存储器21(步PS28)。
另一方面，在步PS22的检查中，在使用子画面的情况下，首先进行与上述同样的VOP存储器P21的更新后(步PS23，步PS24)，按照以下的顺序进行子画面存储器P22的更新。
a)子画面的弯曲(步PS25)
首先，在子画面变形处理部P38中，利用弯曲参数
α → = ( a , b , c , d , e , f , g , h )
使子画面存储器上的区域(该VOP的时刻为t时，与将于画面存储器上的位置作为原点的VOP面积相同的区域)
M ( R → , t - 1 )
弯曲(变形)。
b)子画面的布莱特系数(步PS26)
利用上述a)的结果得到的弯曲图象，在子画面合成部P37中，根据下式求出新的子画面存储器区：
M → ( R , t ) = ( 1 - α ) · Wb [ M ( R → , t - 1 ) , α → ] + α · VO ( r → , t )
式中
α：布莱特系数P34
Figure C20031012456400092
：上述(α)的结果得到的弯曲图象
Figure C20031012456400093
：局部译码VOP的位置 及时刻t时的象素值。
但在局部译码宏块中不属于VOP的区域看作
VO ( r → , t ) = 0
布莱特系数α是以VOP单元给出的，所以局部译码VOP不管VOP区的内容如何，根据α且按比重，一并在子画面存储器中合成。
在以上这种现有的编码方式中的预测方式中，进行动态图象目标的预测时，由于最大只能一个画面一个画面地使用只进行动矢量检测的存储器和只进行弯曲参数检测的存储器，所以只能以极其有限的方法使用能用于预测的参照图象，不能充分地提高预测效率。
另外，在同时对多个动态图象目标进行编码的系统中，由于在这些存储器中只包含表示预测的动态图象目标本身的历史的参照图象，所以限定了参照图象的变化，同时不能利用动态图象目标之间的相关关系进行预测。
再者，即使进行存储器的更新时，由于与动态图象目标的内部结构、性质及历史等无关地改写存储器的内容，所以不能将对于预测动态图象目标有用的重要知识充分地存入存储器，存在不能谋求提高预测效率的问题。
本发明就是为了解决上述问题而完成的，其目的在于提供这样一种灵活的预测方式，即在对图象数据进行编码/译码的情况下，设置多个存储器，考虑动态图象顺序的内部结构、性质等，将动态图象顺序的历史有效地存入多个存储器中，提高预测及编码/译码的效率，同时能在多个动态图象目标之间进行预测。
发明的公开
本发明是一种预测动态图象的动态图象预测方式，其特征在于备有：存储预测时参照的图象数据、同时分别与个别的变形方法对应的多个存储器；以及输入表示被预测图象区域的移动的参数，利用该被预测图象区域的预测中使用的存储器中存储的图象数据，根据上述参数和与该存储器对应的变形方法，生成预测图象的预测图象生成部，至少用于编码装置及译码装置两者中的一者。
特征在于：上述编码装置生成表示上述预测图象的生成中使用的该存储器的预测存储器指示信息信号，将上述预测存储器指示信息信号和上述参数送给译码侧，以便在译码侧也能使用该存储器中存储的图象数据，根据与该存储器对应的变更方法，生成上述预测图象。
特征在于：上述译码装置从编码侧接收上述参数和表示上述预测图象的生成中使用的存储器的预测存储器指示信息信号，上述预测图象生成部根据上述参数和与该存储器对应的变形方法，利用该存储器中存储的图象数据，生成上述预测图象。
另外，本发明是一种预测动态图象的动态图象预测方式，其特征在于备有：存储预测时参照的图象数据、同时分别与个别的参数有效值区对应分配的多个存储器；以及输入表示被预测图象区域的移动的参数，选择包含该参数值的与上述参数有效值区对应分配的存储器，利用所选择的存储器中存储的图象数据，生成预测图象的预测图象生成部，至少用于编码及译码两者中的一者。
另外，本发明是一种预测动态图象的动态图象预测方式，其特征在于备有：存储预测时参照的图象数据的多个存储器；输入表示被预测图象区域的移动的参数，根据该参数，利用上述多个存储器中存储的图象数据，生成预测图象的移动补偿部，以及预测图象生成部，它有在任意时刻更新上述多个存储器中的至少一个存储器中存储的图象数据的存储器更新部，至少用于编码及译码两者中的一者。
特征在于：上述动态图象预测方式是预测有第一和第二动态图象目标的动态图象顺序上的动态图象，上述多个存储器备有与上述第一和第二动态图象目标对应的第一和第二个别的多个存储器，上述预测图象生成部备有与上述第一和第二动态图象目标对应的第一和第二个别的生成部，上述第一生成部在预测上述第一目标的情况下，至少使用上述第一和第二多个存储器中的某一个存储器中存储的图象数据，生成上述预测图象，同时为了附加在预测图象上而生成表示在第一目标的预测中是否使用第二多个存储器的信息。
特征在于：上述预测图象生成部根据动态图象在各个时刻的变化，通过增减上述多个存储器的个数或尺寸，生成预测图象。
特征在于：上述预测图象生成部根据动态图象在各个时刻的变化，通过限定在预测中使用的存储器，生成预测图象。
特征在于：上述预测图象生成部通过计算利用上述多个存储器中存储的上述图象数据分别生成的多个预测图象，生成预测图象。
特征在于：上述动态图象预测方式备有检测表示被预测图象区的重要程度的特征量参数的重要程度检测部，上述预测图象生成部根据上述特征量参数，通过至少从多个预测方式、多个存储器、多个存储器更新方法这多个选择分支中至少选择一个，生成预测图象。
特征在于：上述动态图象预测方式备有检测至少表示被预测图象区可利用的编码量、在各个时刻该图象区的变化量、以及该图象区的重要程度三者中的某一个的参数的重要程度检测部，上述预测图象生成部根据上述参数，通过至少选择多个预测方式、多个存储器、多个存储器更新方法这多个选择分支中的至少一个，生成预测图象。
特征在于：上述动态图象预测方式按动态图象目标单元预测动态图象，上述动态图象预测方式备有检测至少表示被预测动态图象区可利用的编码量、在各个时刻该动态图象目标的变化量、以及该动态图象目标的重要程度三者中的某一个的参数的重要程度检测部，上述预测图象生成部根据上述参数，通过至少选择多个预测方式、多个存储器、多个存储器更新方法这多个选择分支中的至少一个，生成预测图象。
特征在于：上述动态图象预测方式备有在动态图象编码中对与预测有关的信息进行编码的预测信息编码部，上述预测图象生成部计数预测中使用的存储器的使用频度数，根据所计数的使用频度数，确定上述多个存储器的等级，上述预测信息编码部根据预测中使用的存储器的等级，将码长分配给与预测有关的信息，对与预测有关的信息进行编码。
特征在于：上述多个存储器至少有以帧为单元存储图象数据的帧存储器，以及存储子画面图象的子画面存储器。
特征在于：上述子画面存储器至少有伴随逐次更新的动态子画面存储器和不伴随逐次更新的静态子画面存储器两者中的任意一者。
特征在于：上述多个存储器至少可变更地对应分配到平行移动、仿射变换、远近法变换中的某一种变换方法。
另外，本发明是一种预测动态图象的方法，其特征在于包括以下工序：预测时将参照的图象数据存入多个存储器的工序；将各个个别的变形方法分别对应分配给上述多个存储器的工序；输入表示被预测图象区的移动的参数的工序；以及利用在上述被预测图象区的预测中使用的存储器中存储的图象数据，根据上述参数和与该存储器对应分配的变形方法，生成预测图象的工序，至少用于编码及译码两者中的一者。
特征在于：上述预测动态图象的方法还包括生成表示上述预测图象生成中使用的该存储器的预测存储器指示信息信号的工序；以及将上述预测存储器信息信号和上述参数送给译码侧的工序。
特征在于：上述预测动态图象的方法还包括从编码侧接收表示预测图象生成中使用的存储器的预测存储器指示信息信号和表示被预测图象区的移动的参数的工序，在译码中使用。
另外，本发明是一种预测动态图象的方法，其特征在于包括以下工序：预测时将参照的图象数据存入多个存储器的工序；将各个个别的参数有效值区分别对应分配给上述多个存储器的工序；输入表示被预测图象区的移动的参数的工序；选择包含上述参数值的上述参数有效值区域对应分配的存储器的工序；以及利用所选择的存储器中存储的图象数据生成预测图象的工序，至少用于编码及译码两者中的一者。
另外，本发明是一种预测动态图象的方法，其特征在于包括以下工序：预测时将参照的图象数据存入多个存储器的工序；输入表示被预测图象区的移动的参数的工序；根据上述参数，利用上述多个存储器中存储的图象数据生成预测图象的工序；以及在任意时刻更新上述多个存储器中的至少一个存储器中存储的图象数据的工序，至少用于编码及译码两者中的一者。
附图的简单说明
图1是表示本发明的实施形态中的动态图象编码装置的结构图。
图2是表示本发明的实施形态中的动态图象编码装置的工作流程图。
图3是表示本发明的实施形态中的动态图象编码装置的移动补偿部的结构图。
图4是表示移动补偿部的工作流程图。
图5是表示本发明的实施形态中的动态图象编码装置的存储器更新部的结构图。
图6是表示存储器更新部的工作流程图。
图7是表示本发明的实施形态中的动态图象编码装置的移动补偿部的结构图。
图8是表示图7中的移动补偿部的工作流程图。
图9是表示本发明的实施形态中的动态图象编码装置的移动补偿部的结构图。
图10是表示图9中的移动补偿部的工作流程图。
图11是表示本发明的实施形态中的动态图象编码装置的结构图。
图12是表示本发明的实施形态中的动态图象编码装置的移动补偿部的结构图。
图13是表示图12中的移动补偿部的工作流程图。
图14是表示本发明的实施形态中的动态图象编码装置的存储器更新部的结构图。
图15是表示图14中的存储器更新部的工作流程图。
图16是表示本发明的实施形态中的动态图象编码装置的结构图。
图17是表示本发明的实施形态中的动态图象编码装置的结构图。
图18是表示本发明的实施形态中的动态图象编码装置的结构图。
图19是表示本发明的实施形态中的动态图象编码装置的结构图。
图20是表示本发明的实施形态1的位流21的示意图。
图21是表示本发明的实施形态2的位流21的示意图。
图22是表示本发明的实施形态3的位流21的示意图。
图23是表示本发明的实施形态6的位流21的示意图。
图24是表示本发明的实施形态中的动态图象译码装置的结构图。
图25是表示本发明的实施形态中的动态图象译码装置的移动补偿部的结构图。
图26是表示移动补偿部的工作流程图。
图27是说明内插处理的说明图。
图28是表示本发明的实施形态中的动态图象译码装置的存储器更新部的工作流程图。
图29是表示VM编码方式中的视频数据结构的说明图。
图30是表示VOP数据结构的说明图。
图31是表示VM编码装置的结构的结构图。
图32是表示图31中的编码装置的工作流程图。
图33是表示与VOP编码类型对应的预测种类的说明图。
图34是表示图31所示的编码装置中的移动补偿部的结构图。
图35是表示图34中的移动补偿部的工作流程图。
图36是表示图31所示的编码装置中的存储器更新部的结构图。
图37是表示图36中的存储器更新部的工作流程图。
实施发明用的最佳形态
实施形态1
图1是表示实施形态1的及下述的实施形态中的编码装置的结构框图。该图中，1是输入动态图象信号，2是结构数据，3是移动检测部，4是移动参数，5是移动补偿部，6是预测图象候选，7是预测方式选择部，8是预测方式，9是预测图象，10是预测误差图象，11是结构编码部，12是量子化DCT系数，13是局部译码的预测误差图象，14是局部译码图象，15是存储器更新部，16是存储器a，17是存储器b，18是存储器c，19是长度可变编码·多路复用部，20是发信缓冲器，21是位流，80是场面变换检测部，81是计时器。其中移动补偿部5及存储器更新部15是实现预测方式的预测图象生成部100。另外，存储器a、b、c是存储器区200。图中在本实施形态中未涉及的部分将在以后的实施形态中说明。图2是表示该编码装置的工作流程的流程图。
在该实施形态中，根据以输入动态图象的移动量·色度等图象的特征为依据的重要程度，分别使用多个例如3个存储器，而且设有以任意时间间隔更新任意的存储器(区域)例如存储器a的内容的结构。另外，动态图象顺序是被输入帧单元的顺序。
(1)输入信号
如上所述，上述编码装置将动态图象顺序中表示各时刻的图象的帧输入单元中，帧被分割成被预测图象区之一例的成为编码单元的宏块(步S1)。
(2)分别使用存储器的方法
过去译过码的图象或预先固定给出的图象被存入存储器中，但在该实施形态中，根据帧中的部分区的重要程度，如下分别使用3个存储器。
存储器a：存储重要程度小的图象区(＝静止或均匀移动，而且结构均匀的背景的图象区)。
存储器b：存储重要程度中等的图象区(＝被摄物体移动，移动较小的图象区)。
存储器c：存储重要程度大的图象区(＝被摄物体移动，移动大的图象区)。
存储器a中存储的重要程度小的图象区可以考虑电视会议的场面等中出现的背景图象区。另外，包括伴随某种微小移动的被摄物体，也相当于包括通过操作摄象机使画面整体均匀移动的场面中的背景区。如果代替这些移动，预先从称为宏块的小单元求出帧全体的移动，将其作为宏块的移动，则是有效的。这可以这样做，即求出相当于在现有例中说明过的子画面中的弯曲参数的变形参数，将帧全体的变形参数看作宏块的移动参数。移动参数可以只是平行移动参数(＝与移动矢量同义)，也可以是包含变形的仿射参数、远近法移动参数等。这里，移动矢量是移动参数之一例。
存储器b中存储的重要程度中等的图象区可以考虑例如在电视会议的场面中不发言、只是身体移动的人物图象区，画面中注意程度低的被摄物体区。存储器c中存储的重要程度大的图象区可以考虑例如电视会议的场面中的发言者等注意程度最高的被摄物体区。
存储器b、c中存储的区由于具有被摄物体本身的动作，所以当然要考虑每个宏块中具有不同的移动参数。这时的移动参数可以只是平行移动参数(＝与移动矢量同义)，也可以是包含变形的仿射参数、远近法移动参数等。
(3)移动检测(步S2)
本实施形态中的移动检测部3去掉现有例中的那种移动矢量和弯曲参数的区别，能在宏块单元中检测全部3个存储器的任意的变形参数。另外，移动检测部3备有用存储器a检测帧全体的变形参数的全局移动参数检测功能，以及用存储器a至c检测每个宏块的变形参数的局部移动参数检测功能。
(4)移动补偿(步S3)
本实施形态中的移动补偿部5的内部结构示于图3。在该图中，22是预测图象存储器地址计算部，23是预测图象存储器地址，24是存储器读出部，25是从外部供给的参照存储器指示信号。这里，参照存储器指示信号25用来指示使用存储器a、b、c。记述该移动补偿部5的工作的流程示于图4中的步S11至步S16。
首先，如果是I(内部)-帧，不进行移动补偿(步S11)。如果不是I-帧，则将由移动检测部3检测的全局移动参数和来自各存储器的局部移动参数一起生成预测图象候选(步S12至步S15)。具体地说，预测图象存储器地址计算部22中根据移动参数4，计算由参照存储器指示信号25指示的存储器中的预测图象候选存在的预测图象存储器地址23，根据预测图象存储器地址23，存储器读出部24从对应的存储器取出并输出预测图象候选6。
在该实施形态中，由于全局移动参数或局部移动参数都是基于同一变形方式，所以生成任何预测图象都能共同使用图3中的移动移动补偿部5。另外，用全局移动参数生成预测图象候选6时(步S15)，经常将存储器a作为参照存储器用。
(5)预测方式的选择(步S4)
该实施形态中的预测方式有以下几种：
(a)使用存储器a的方式；
(b)使用存储器b的方式；
(c)使用存储器c的方式；
(d)使用内部帧编码信号的方式。
预测方式选择部7如现有例所示，包括由移动补偿部5生成的全部预测图象候选6和内部帧编码信号，选择预测误差信号的电力(振幅)最小的预测图象候选6作为预测图象9输出。另外，还输出与所选择的预测图象9对应的预测方式8。在该预测方式8的信息中含有表示预测了所选择的预测图象9的存储器的存储器选择信息。预测方式8被送给长度可变编码·多路复用部19，用所分配的码长，在位流21中进行编码，作为预测存储器指示信息800。
(6)存储器的更新
存储器的更新由存储器更新部15进行控制。该实施形态中的存储器更新部15的内部结构示于图5。在该图中，26是存储器a更新时用的活动性(将在后面详细说明)，27是存储器a更新判断部，28是参照存储器选择部，29、30是开关，31是更新存储器a的图象数据，32是更新存储器b的图象数据，33是更新存储器c的图象数据，34是更新存储器a的全局预测图象数据。另外，将存储器更新的工作流程示于图6。
该实施形态中的存储器更新按以下顺序进行。如果存储器更新部15输入了局部译码图象14，则在存储器a更新判断部27中判断更新存储器a对于该局部译码图象14所属的帧的必要性(步S17)，在参照存储器选择部28中根据预测方式8，选择预测中使用的存储器(步S18、S19)，使用更新该局部译码图象14的存储器a的图象数据31、更新存储器b的图象数据32、更新存储器c的图象数据33、更新存储器a的全局预测图象数据34中的一种数据，按照下述的规则更新所选择的存储器内的参照图象。另外，按预测单元(宏块单元)对每一帧进行该存储器更新。
(1)存储器b、c的每一帧更新(步S20、S21)
将局部译码图象14写入该图象的预测中使用的存储器b或存储器c。
(2)存储器a的任意帧更新(步S22、S23)
根据步S17中的存储器a更新判断结果1000，只对任意帧或以任意的时间间隔，将局部译码图象14写入该图象的预测中使用的存储器a。
存储器a的内容可以说是背景图象等的不随时间变化的图象区的历史，除非区域的内容随着场面的变化或画面整体的大的移动等而发生很大的变化，否则存储器的内容就没有必要更新。
如上所述，如果备有对被摄物体等的活动区以帧为单元逐次更新，而存储器a的内容以较长的时间间隔进行更新的结构，则能有效地根据被摄物体的移动，预测影影绰绰的背景图象。
在该实施形态中，根据以上观点，设有以任意的时间间隔进行存储器a的更新的结构。具体地说，例如可以考虑：
a.根据全局移动参数的大小，当移动大时将画面全体内容一起更新，移动小时不更新内容的方法；
b.不受帧之间的时间间隔的限定，每隔某一定的时间一起更新画面全体内容的方法；
c.检测到场面变化时，对场面变化后的帧将画面全体内容一起更新的方法等任意更新判断基准。
在该实施形态中，将成为以上这样的任意更新判断基准的数据统称为存储器a更新用的活动性26。首先，存储器a更新判断部27用活动性26判断是否更新存储器a的内容(步S22)。在上述任意更新判断基准a的情况下，由移动检测部3检测到的全局移动参数值成为活动性，在任意更新判断基准b的情况下，来自计时器81的该帧的计时标记相当于活动性26，在任意更新判断基准c的情况下，从场面变化检测部80输出的通知场面变化检测的标记相当于活动性26。
在断定了要更新存储器a的内容时，局部译码图象14的内容被作为全局预测图象数据34输出，改写存储器a的内容(步S23)。在未断定更新存储器a的内容时，不进行存储器a的更新。
另外，该帧中的存储器a更新判断结果1000能进行与在译码侧同样的任意更新而被多路化在位流21中，送给译码侧。
图20是表示该实施例的位流21的示意图。
在图20中，示意性地示出了帧数据按顺序编码后被输送的情况。将标题信息作为帧单元的附加信息加在各帧数据的开头。另外，在标题信息中，存储器a更新判断结果1000被多路化，并被传送给译码侧。继标题信息之后的是构成该帧的宏块数据。在宏块数据的内部包含表示预测该宏块数据用的存储器的预测存储器指示信息800。在译码装置中，根据各宏块数据的预测存储器指示信息800，特定预测图象的存储器，生成预测图象。
另外，虽然图中未示出，但也可以将存储器b更新信息及/或存储器c更新信息与存储器a更新判断结果1000一起或代替该存储器a更新判断结果1000输送到译码侧。
利用上述编码装置，根据动态图象顺序的内容，供给有效地分别使用多个存储器的结构，能提高预测效率。即，进行动态图象顺序的预测时，根据动态图象顺序的内容或性质，分别使用多个存储器，进行以任意的变形参数为依据的预测，所以即使包括复杂的移动，也能进行与局部图象性质相符的有效的动态图象预测，能提高预测效率，能构成既能保证编码图象的品质，又能减少编码数据的发送量的编码装置。另外，在根据本发明的预测方式对编码后的位流进行译码的译码装置中，也能用同样的预测方式构成。
在该实施形态中，说明了对每个帧进行编码的装置，但即使是对具有任意形状的动态图象目标(VOP)进行编码的装置，也能获得同样的效果。
另外，在该实施形态中，作为被预测图象区的一个例子说明了以宏块为单元的编码装置，但即使是按照由具有任意形状的局部图象等图象单元或多个固定尺寸块的组合构成的形状可变的块等的图象单元对图象进行编码的装置，也能获得同样的效果。
另外，在该实施形态中，使用了利用存储器a的全局移动参数检测，但当然也可以不用它，即使是只使用局部移动检测的结构，也能适用。在不进行全局移动检测时，作为预测方式，不需要传送全局/局部预测的判断信息。
另外，在该实施形态中，设有预先存储根据动态图象顺序的内容生成的参照图象数据、在编码过程中不进行更新的存储器，将其用于预测。
另外，在该实施形态中，说明了在对存储器a、b、c各自的部分区域进行存储后，由存储器更新部15对存储器a、b、c中的任意一个存储器进行更新的情况，但在存储器a、b、c共有图象的一部分或全部而存储图象的情况下，存储器更新部15更新存储器a、b、c中的两个存储器或全部存储器。例如，在存储器a是存储1帧的参照图象数据的帧存储器、存储器b是不伴随逐次更新的静态子画面存储器、存储器c是伴随逐次更新的动态子画面存储器的情况下，由于静态子画面存储器将预先固定的数据作为参照图象数据存储，所以存储器b不会被存储器更新部15更新，但在存储器a和存储器c存储同一区域的参照图象数据的情况下，存储器更新部15同时更新存储器a和存储器c。这样，存储器a、b、c在重复存储参照图象数据的情况下，存储器更新部15分别更新重复的区域。
在以下所述的实施形态中也与以上的情况相同。
另外，在该实施形态中，说明了使用3个存储器a、b、c的情况，但即使使用任意两个存储器时也没关系。
另外，还可以用具有与在该实施形态中说明的移动补偿部5、存储器更新部15完全相同的构件的预测图象生成部100构成译码装置。在用于译码装置的情况下，移动补偿部不需要生成全部3个预测图象候选，只生成与译过码的移动参数有关的预测图象即可。
实施形态2
其次，给出在图1所示构成的编码装置中只使移动补偿部5的结构不同而构成的译码装置的实施形态，并说明实施形态2的移动补偿部5a的结构和工作情况。
将该实施形态的移动补偿部5a的内部结构示于图7。在该图中，35是参照存储器确定部。另外，将记述该移动补偿部5a的详细工作情况的流程示于图8。
首先，如果是I-帧，则不进行移动补偿(步S24)。如果不是I-帧，则参照存储器确定部35根据移动参数4的值，确定参照存储器(步S25)。参照存储器确定部35保持着分配给各存储器a、b、c的有效移动参数值范围(将在后面详细说明)，通过与移动参数4的值进行比较，判断该移动参数4指的是哪个存储器，输出识别存储器a、b、c的参照存储器指示信号25a。
所谓有效移动参数值范围，是指例如在检测移动矢量时，假定其探索范围为±15个象素，则各存储器的有效探索范围为：在±0至3个象素范围中将存储器a用于预测，在±4至8个象素范围中将存储器b用于预测，在±9至15个象素范围中将存储器c用于预测。但是，在用全局移动参数生成预测图象时，参照存储器认定为存储器a，所以在只使用局部移动参数时，才起动参照存储器确定部35。这样，所谓用移动矢量的值特定用于预测的存储器，是指基于背景图象移动小、而注意程度越高的图象移动越大这样的前提进行特定。这样，在用移动矢量的值特定用于预测的存储器时，不需要对预测方式进行编码传送。
其次，随着所选择的参照存储器指示信号25a，生成预测图象候选6(步S26至步S30)。具体地说，在预测图象存储器地址计算部22中根据移动参数4，计算由参照存储器指示信号25a指示的存储器中的预测图象候选6存在的预测图象存储器地址23，存储器读出部24根据预测图象存储器地址23，从对应的存储器取出并输出预测图象候选6。
在该实施形态中，由于全局移动参数或是局部移动参数都是基于同一变形方式，所以生成任何预测图象都能共同使用图7所示的移动补偿部5a。另外，用全局移动参数取出预测图象候选6时(步S31)，经常将存储器a作为参照存储器用。
虽然有效移动参数值区域对每个动态图象顺序来说也可以是一定的数值区域，但例如也可以按各帧进行变更。在按各帧进行变更时，该帧中的各存储器的有效移动参数值区域被多路化在位流中，送给译码侧，能在译码侧进行同样的存储器选择。
图21是表示该实施形态的位流21的示意图。
在该位流的开头有附加在动态图象顺序单元中的标题信息。该标题信息有各存储器的有效移动参数值区域指示信息。这样，通过在动态图象顺序的开头指定有效移动参数值区域指示信息，能在译码装置中对该动态图象顺序执行采用了一定数值区域的有效移动参数值区域的预测方式。
在对每一帧变更有效移动参数值区域的情况下，在附加在帧单元中的标题信息中也可以包含有效移动参数值区域的指示信息。
利用上述的具有移动补偿部5a的结构的编码装置，根据帧的局部移动程度，供给有效地分别使用多个存储器的结构，能提高预测效率。
在该实施形态中，说明了对每个帧进行编码的装置，但即使是对具有任意形状的动态图象目标(VOP)进行编码的装置，也能获得同样的效果。
另外，在该实施形态中，说明了以宏块为单元的编码装置，但即使是按照由具有任意形状的局部图象等的图象单元或多个固定尺寸块的组合构成的形状可变的块等的图象单元对图象进行编码的装置，也能获得同样的效果。
另外，在该实施形态中，使用了利用存储器a的全局移动参数检测，但当然也可以不用它，即使是只使用局部移动检测的结构，也能适用。在不进行全局移动检测时，作为预测方式，不需要传送全局/局部预测的判断信息。
另外，还可以用具有与在该实施形态中说明的移动补偿部5a完全相同的构件的预测图象生成部100构成译码装置。在用于译码装置的情况下，移动补偿部只生成与译过码的移动参数有关的预测图象即可。
实施形态3
其次，给出在图1所示构成的编码装置中只使移动补偿部5的结构不同而构成的译码装置的实施形态，并说明移动补偿部5b的结构和工作情况。该实施形态中的移动检测部3a分别输出平行移动量、仿射参数、远近法参数作为移动参数4a。
另外，假定该实施形态中的存储器a是存储1帧大小的参照图象的帧存储器，存储器b是静态子画面存储器，存储器c是动态子画面存储器。
将该实施形态的移动补偿部5b的内部结构示于图9。在该图中，36是平行移动量(＝移动矢量)，37是仿射参数，38是远近法参数，39是基于平行移动量的预测图象存储器地址计算部，40是基于仿射参数的预测图象存储器地址计算部，41基于远近法参数的预测图象存储器地址计算部。另外，将记述该移动补偿部5b的详细工作情况的流程示于图10。
首先，如果是I-帧，则不进行移动补偿(步S33)。如果不是I-帧时，则预测图象存储器地址计算部39至41根据各移动参数4a的值，计算预测图象存储器地址23(步S34)。
各预测图象存储器地址计算部根据分配给对应的各存储器的图象变形方式进行地址计算。在该实施形态中，将平行移动用于存储器a，将伴随某种程度的旋转或放大、缩小等单纯的变形的仿射参数用于存储器b，将伴随3维复杂的移动的远近法参数用于存储器c。这些变形方式用下列变换式表示。
[平行移动]
平行移动量(a，b)：
x’＝x+a
y’＝y+b
[仿射变换]
仿射参数(a，b，c，θ)：
x’＝a(cosθ)x+a(sinθ)y+b
y’＝a(-sinθ)x+a(cosθ)y+c
[远近法变换]
远近法参数(a，b，c，d，e，f)：
x’＝(ax+by+c)/(gx+hy+1)
y’＝(dx+ey+f)/(gx+hy+1)
式中，二维坐标上的(x，y)是原宏块的象素位置，(x’，y’)是根据各参数而与(x，y)对应的存储器中的象素位置。即，根据这些参数，计算(x’，y’)在存储器上的位置。利用该结构，能从各宏块中移动的性质都适合的存储器进行预测。利用根据各移动参数36、37、38计算的预测图象存储器地址23，存储器读出部24从对应的存储器取出并输出预测图象候选6(步S35至步S39)。
另外，该帧中的各存储器的变形方式的类型作为移动检测方法指示信息被多路化在位流21中，送给译码侧，能在译码侧进行同样的移动补偿。
图22是表示该实施形态的位流21的示意图。
在动态图象顺序的开头附加的标题信息中包含移动检测方法指示信息。在编码装置中，各存储器中使用的变形方式的类型是可以变更的，将表示其对应关系的移动检测方法指示信息作为动态图象顺序的标题信息送给译码装置。这样在译码装置中就能识别各存储器中使用的变形方式的类型。
在译码装置中，该识别的变形方式的类型动态地对应于各存储器。
利用上述具有移动补偿部5b的结构的编码装置，根据帧的局部移动性质，供给有效地分别使用多个存储器的结构，能提高预测效率。
在该实施形态中，说明了对每个帧进行编码的装置，但即使是对具有任意形状的动态图象目标(VOP)进行编码的装置，也能获得同样的效果。
另外，在该实施形态中，说明了以宏块为单元的编码装置，但即使是按照由具有任意形状的局部图象等的图象单元或多个固定尺寸块的组合构成的形状可变的块等的图象单元对图象进行编码的装置，也能获得同样的效果。
另外，在该实施形态中，使用了利用存储器a的全局移动参数检测，但当然也可以不用它，即使是只使用局部移动检测的结构，也能适用。在不进行全局移动参数检测时，作为预测方式，不需要传送全局/局部预测的判断信息。
另外，在该实施形态中，给出了使用存储器a、b、c的情况，但即使是只使用存储器a和b的情况、或只使用存储器a和c的情况、或只使用存储器b和c的情况也没关系。
另外，还可以用具有与在该实施形态中说明的移动补偿部5b完全相同的构件的预测图象生成部100构成译码装置。在用于译码装置的情况下，移动补偿部只生成与译过码的移动参数有关的预测图象即可。
实施形态4
其次，说明以具有形状信息的多个、例如2个不同的动态图象目标混合存在的动态图象顺序为对象，对这些动态图象目标一并进行编码的装置的实施形态。图11示出了该实施形态中的编码装置的结构。
该图中，42是输入图象帧，43是目标分离部，44a、44b是目标数据，45a、45b是形状块，46a、46b是开关，47a、47b是形状编码部，48a、48b是压缩形状块数据，49a、49b是局部译码形状块，50a、50b是结构数据(宏块)，51a、51b是移动检测部，52a、52b是移动参数，53a、53b是移动补偿部，54a、54b是预测图象候选，55a、55b是预测方式选择部，56a、56b是预测方式信息，57a、57b是预测图象，58a、58b是预测误差信号，59a、59b是结构编码部，60a、60b是压缩结构数据，61a、61b是局部译码预测误差信号，62a、62b是局部译码宏块，63是存储器更新部，64是存储器a，65是存储器b，66是存储器c，67是存储器d，68是存储器e，69是存储器f，70a、70b是长度可变编码部，71是多路复用部，72缓冲器，73位流，94是存储部，88a是对A目标编码的A目标编码部，88b是对B目标编码的B目标编码部。目标编码部88a、88b具有由同一种材料构成的同样的内部结构。
该编码装置输入图象帧42，它在目标分离部43中被分成编码单元的目标。目标分离部43的处理可以采用任意的方法。
目标形状信息以形状块45a、45b的形式被送给形状编码部47a、47b进行编码，作为压缩形状块数据48a、48b送给长度可变编码部70a、70b。
移动检测部51a、51b与VM编码方式一样，考虑局部译码形状块49a、49b，进行移动参数的检测。移动参数检测可以用全部存储器a至f，在宏块单元中进行。
但是，作为原则，对于在目标A编码部88a中进行编码的目标A来说，使用存储器a至c，对于在目标B编码部88b中进行编码的目标B来说，使用存储器d至f。
另外，作为移动的种类，去掉移动矢量和弯曲参数的区别，对于存储部94的全部存储器都能在宏块单元中检测任意的变形参数。
在移动补偿部53a、53b中根据各移动参数52a、52b，生成全部预测图象候选54a、54b后，由预测方式选择部55a、55b获得预测图象57a、57b和预测方式信息56a、56b。取原信号或结构数据50a、50b和预测图象57a、57b的差分，获得预测误差信号58a、58b，它在结构编码部59a、59b中编码后，被送给长度可变编码部70a、70b。另外，进行过局部译码的预测误差信号61a、61b与预测图象57a、57b相加，成为局部译码宏块62a、62b，根据存储器更新部的指示，被写入存储器a至f。
在上述A/B目标编码部88a、88b中，被编码的A/B目标数据在多路复用部71中被多路化在1个位流73中，通过缓冲器72进行输送。
以下以进行主要工作的移动补偿部53a、53b为中心，说明该实施形态中的预测。
该实施形态中的移动补偿部53a、53b根据由移动检测部51a、51b检测的移动参数52a、52b，生成预测图象候选。移动补偿部53a的内部结构示于图12。另外，A目标编码部88a中的移动补偿部53a的工作流程示于图13。另外，移动补偿部53b也同样构成、同样工作。
在图12中，74a是B目标参照判断部，75a是B目标参照指示标记。
这里，移动参数52a还包括检测用的存储器信息。与实施形态1一样，根据参数值并利用预测存储器地址计算部22a、存储器读出部24a，生成预测图象候选(步S44至步S49)。另外，B目标参照判断部74a根据移动参数52a中的参照用的存储器信息，判断在该宏块的预测中是否使用目标B用的存储器(步S43)。
B目标参照判断部74a将判断结果作为B目标参照指示标记75a输出，用于判断在译码侧该目标是否能只用本身的存储器a、b、c单独再生，所以被多路化在位流73中，送给译码侧。编码时可以这样控制，即根据从外部供给的信号85a，便能经常在译码侧进行该目标的单独再生，检测移动参数时，可以这样控制，即只使用本身预测用的存储器(只a、b、c)。
利用具有上述移动补偿部53a、53b的结构的编码装置，根据帧的局部移动性质，供给有效地分别使用多个存储器的结构，能提高预测效率。
另外，在该实施形态中，说明了在宏块单元中对目标进行编码的装置，但即使是按照由具有任意形状的局部图象或多个固定尺寸块的组合构成的形状可变的块等单元进行编码的装置，也能获得同样的效果。
另外，还可以使用与在该实施形态中说明的移动补偿部53a、53b完全相同的构件构成译码装置。在用于译码装置的情况下，移动补偿部53只生成与译过码的移动参数有关的预测图象即可。另外，如果这样构成，即根据位流，对相当于另一目标参照指示标记75a、75b的位进行译码，并能识别译码中的目标是否能单独再生，这样就能无误地对目标数据进行译码再生。
实施形态5
其次，说明对应于动态图象目标随时间的变化，能使存储器的数量及容量任意地变化的编码装置的实施形态。在实施形态5中，考虑将图1所示结构的编码装置中的存储器更新部15的结构更换后的编码装置。
图14示出了该实施形态中的存储器更新部15a的内部结构。在该图中，76是存储器展开判断部，77是存储器展开指示信号，78是存储器退缩判断部，79是存储器退缩指示信号。图15示出了存储器更新部15a的工作流程(步S51至步S63)。
当由于场面变化等而出现与存储器中存储的动态图象顺序的历史显著不同的图象时，在场面变化后的预测中，只用原有的存储器中含有的参照图象时预测效率往往下降。在这种情况下，如果能由场面的变化检测部80检测场面的变化，对场面变化后的帧进行内部帧编码等，并将其作为新的参照图象追加存入存储器中，则能提高以后的预测效率。
另外，由于能追加的存储器的容量有物理性的极限，所以具有能使存储器上的参照图象中预测时几乎不使用的部分逐渐退缩的结构。使之具有这样的结构，即根据预测方式8，由存储器更新部15a测量存储器a、b、c的各存储区预测时使用的频度，在存储器更新部中将频度小的存储区域从使用区展开的结构。如果采用该实施形态，例如在用软件构成编码装置时，能有效地利用有限的RAM(随机存取存储器)资源。
根据上述观点，该实施形态中的存储器更新部15a具有根据动态图象顺序随时间变化的状态，或使存储区增加，或使含有预测时不怎么使用的参照图象的存储区退缩的功能。
存储器a与实施形态1相同，在存储器a更新判断部27中确定是否可以更新(步S50)，更新时将局部译码图象14写入存储器a(步S56，步S57)。另外，根据预测方式8，将局部译码图象14写入各存储器(步S51至步S55)。
这些存储器内容的更新是根据存储器展开/退缩的判断进行的。在存储器展开判断部76中，根据存储器a更新时使用的活动性26，判断是否增加存储器a(或存储器b、c)的容量(步S58至步S60)。如果由于场面变化等而断定可以增加，便用存储器展开指示信号77指示存储器展开。另外，在存储器退缩判断部78中，根据预测方式8进行预测中用的存储区的计数，只对规定次数以下的预测中用的存储区，用存储器退缩指示信号79指示存储器的退缩(步S61至步S63)。
利用具有上述存储器更新部15a的结构的编码装置，能随着动态图象顺序随时间变化而有效地进行预测，同时供给将预测时所必要的存储区按时间分配的结构，能提高预测效率，同时能有效地利用存储器资源。
另外，在该实施形态中，说明了对每个帧进行编码的装置，但即使是对具有任意形状的动态图象目标(VOP)进行编码的装置，也能获得同样的效果。
另外，在该实施形态中，说明了在宏块单元中对帧进行编码的装置，但即使是按照由具有任意形状的局部图象等的图象单元或多个固定尺寸块的组合构成的形状可变的块区等图象单元进行编码的装置，也能获得同样的效果。
另外，还可以使用与在该实施形态中说明的存储器更新部15a完全相同的构件构成译码装置。
实施形态6
在上述各实施形态中，说明了变更宏块单位预测中使用的存储器的情况，但也可以采用变更帧或动态图象目标单元预测中使用的存储器，进行预测的结构。因此，不需要对应按帧或动态图象目标单元编码的存储器相关的信息及应按宏块单元编码的存储器选择信息(包括预测方式8)进行编码，能有效地进行编码。
例如在实施形态1的图1所示的编码装置中，由于能切换宏块单元预测中使用的存储器，所以必须传送表示预测中使用了宏块单元的哪个存储器的附加信息。与此不同，在本实施形态中，通过将该使用的存储器的切换单元限制在帧或动态图象目标内进行预测，所以能有效地减少应传送给宏块单元的附加信息。图23示出了图20所示的实施形态1的传送位流21和本实施形态的传送位流21的不同。图23所示的例表示变更帧单元预测中使用的存储器的情况，预测存储器指示信息800包含在帧单元的标题信息中。图23所示的例在例如动态图象顺序的图象性质经常不变、宏块电平的局部变化小的情况下有效。另外，能构成对如上编码后的位流进行译码、使帧或动态图象目标再生的译码装置。
实施形态7
在上述各实施形态中，还能这样构成，即将从多个存储器中的任意的2个存储器(例如存储器a和b)取出的2个预测图象候选相加，并将平均后的图象作为预测图象候选6中的一个或作为预测图象9用。另外，能构成对如上编码后的位流进行译码、使帧或动态图象目标再生的译码装置。
实施形态8
在上述各实施形态所示的编码装置中，还能这样构成，即预先检测规定成为进行预测单元的图象区的空间的复杂性、注视程度等的特征量参数，将它们作为确定预测方式、更新存储器时的判断尺度利用。
例如，想像一种包括复杂的移动、在给定的编码量内进行达到允许品质的编码有困难的动态图象。在这种情况下，确定每个被预测图象区(宏块、任意形状图象区、任意形状块等)的重要程度，对于重要程度低的区可在一定程度上降低品质，减少编码量，将这部分编码量分配给重要程度高的区，能提高总体品质。象本发明这样在任意的时刻切换多个存储器进行预测的装置中，通过检测表示被预测图象区的重要程度的特征量参数，根据该参数动态地确定存储器的使用方法，能进行更适合于图象性质的预测。例如，如图16所示，设置区重要程度检测部95，用来检测每个区的特征量参数，确定重要程度。区重要程度检测部95将区重要程度传送给预测方式选择部7a，同时根据区重要程度，将量化参数传送给结构编码部11a。被重要程度检测部95判断为重要程度高的区，用所准备的多个预测方式中最复杂的方式进行预测。例如，利用来自各存储器a、b、c的参照图象，根据各种复杂的移动模型，求出移动参数和预测图象，在预测方式选择部7a中，包括这些预测图象的任意组合(相加后平均等)在内选择预测效率最高的预测方式。这时，相对在预测中使用的全部存储器更新参照图象。进而在结构编码部11a中，利用量化级差小的量化参数进行编码。另一方面，在重要程度低的区，利用简易的预测方式(只用一个存储器的平行移动量检测)进行预测，利用量化级差大的量化参数进行编码，以便成为与所获得的预测误差信号的振幅无关的小的码量。通过进行以上的控制，重要程度低的区即使在某种程度上降低了品质，但重要程度高的区通过高精度预测，能确保品质，能用给定的码量提高全体品质。
实施形态9
在利用多个存储器，对动态图象顺序进行预测编码的装置中能这样构成，即在动态图象顺序的各时刻，检测可使用的码的数量、或该时刻的场面变化量(场面变化检测等)、实施形态8中所述的被预测图象区的特征量或重要程度等的参数，将这些值用作选择在该时刻的图象预测中能使用的预测方式或参照存储区选择时的判断尺度。例如，如图17所示，可以考虑这样一种装置结构，即设置按帧单元确定重要程度的帧重要程度检测部96，检测该帧相对于前帧的变化量(检测来自场面变化检测部80的场面变化)、新目标的出现·隐蔽的有无等，考虑从发信缓冲器20通知的能在该帧中使用的码量，确定最后的帧重要程度。据此，在重要程度高的帧的情况下，利用所准备的全部预测方式和参照存储区，最大限度地提高预测效率，在重要程度低的帧的情况下，限定使用预测方式或参照存储区，简化编码处理，减少处理量。另外，还可以考虑在场面变化时不进行预测，而全部进行内部帧编码的装置。再者，如果与实施形态8中说明过的区重要程度检测部95一并使用，则能进行相当细的品质控制。通过进行以上的控制，重要程度低的帧即使在某种程度上降低了品质，但重要程度高的帧却由于高精度预测而确保了品质，能用所供给的码量提高全体的品质。
本实施形态的想法也能适用于下述情况：处理程序或可以使用的存储器的数量在由流动式的软件进行编码时，最大限度地应用所能利用的资源，有效地进行编码处理。能减少重要程度低的帧的处理量，能提高总体的处理速度。
实施形态10
可以采用如图11所示的结构，在用多个存储器对由多个动态图象目标构成的动态图象顺序进行预测、编码的装置中，检测能作为顺序使用的总码数量、能在各动态图象目标的各个时刻使用的码的数量、或在该时刻的动态图象目标的变化量(目标的出现、隐蔽等)、各动态图象目标在场面中的重要程度/注视程度的等级、实施形态8或9所述的被预测图象区的特征量或重要程度等参数，将这些值用作选择在该时刻的动态图象目标的预测中能使用的预测方式或参照存储区时的判断尺度。
例如，如图18所示，可以考虑这样一种装置结构，即设置与各目标1～n对应的重要程度检测部97a～97n，检测表示目标在各个时刻的变化量或目标的出现、隐蔽等有无的参数，同时考虑存储全部目标的编码数据的全部缓冲器72x的占有率、以及各目标的虚拟缓冲器72a～72n的占有率，确定目标在各个时刻的重要程度。例如，在目标内作为其它目标的一部分重叠等的结果而出现新型区的情况下，这对以后的预测效率有很大的影响，所以即使在某种程度上目标的虚拟缓冲器内没有余裕的情况下，也要考虑提高重要程度、使编码图象优异等的控制。由重要程度检测部97a～97n检测的重要程度被送给目标1～N编码部98a～98n，在重要程度高的目标的情况下，利用所准备的全部预测方式和参照存储区，最大限度地提高预测效率，在重要程度低的目标的情况下，限定使用预测方式或参照存储区，简化编码处理，减少处理量．另外，在实时地使目标从帧分离后进行编码的装置中，在由于新的目标的出现或现有目标的隐蔽等使得该目标的内容显著变化的情况下，还可以考虑不进行预测，全部进行内部帧编码的装置。再者，在目标1～N编码部98a～98n中如果与实施形态8中说明过的区重要程度检测部95一并使用，则能进行比目标内的各被预测对象区单元更细的品质控制。通过进行以上的控制，重要程度低的目标即使在某种程度上降低了品质，但重要程度高的目标却由于高精度预测而确保了品质，能用所供给的码量提高全体的品质。
实施形态11
另外，如图19所示，有时设置进行有关预测的编码信息(参照存储器编号等)的码分配(编码)的预测信息编码部91。
可以采用这样的结构：在用多个存储器a、b、c对动态图象顺序或动态图象目标进行预测、编码的装置中，根据预测时用的存储器的使用频度，给多个存储器加上等级，而且在编码过程中能动态地变更所加的该等级，根据预测时用的多个存储器的等级，进行上述预测信息编码部91中的有关预测的编码信息(参照存储器编号等)的码分配。
例如在图19所示的编码装置中，在存储器更新部15b中设置分别计数存储器a、b、c在预测时被使用的频度的计数器92，根据其计数值，给存储器a、b、c加上等级，输出等级信息90。该等级的施加可以例如以1帧或动态图象目标在某时刻的图象(VOP)为单元进行，也可以在更细的单元即在每一被预测图象区(宏块、任意形状区、任意形状块等)中进行。
因此，能知道哪个存储器在预测中以怎样的频度被使用。预测中频繁使用的存储器是进行预测时重要程度高的存储器，参照频度越高，等级也越高。
这样一来，在各被预测图象区单元中对预测时使用的存储器的频度信息进行编码时，将码的长度短的码分配给频繁参照的存储器(＝等级高的存储器)，这样能提高编码效率。
另外，如果在各被预测图象区单元中检测的移动参数也能与参照的存储器的等级对应地分配码长，则能将码的长度短的码分配给频繁发生的移动参数值，能有效地进行预测信息的编码。这些结构能这样实现，即长度可变编码·多路复用部19的预测信息编码部91从存储器更新部15b的计数器92接收各存储器的等级，根据其等级信息90，改变码长度，进行预测信息的编码。
实施形态12
图24表示本实施形态中的将压缩编码后的数字图象展开再生的图象译码装置的结构。该图中，21是编过码的位流，119是长度可变译码部，12是量子化DCT系数，12a是量子化正交变换系数，12b是量子化步长，111是结构译码部，111a是逆量子化部，111b是逆正交变换部，190是译码加法部，101是译码图象，191是显示控制部，8是预测方式，1001是存储器b更新信息，1002是存储器c更新信息，4是移动矢量(移动参数)，800是预测存储器指示信息，195是被预测图象区在画面内的位置，105是移动补偿部，116是存储器a，117是存储器b，118是存储器c，115是存储器更新部，106是预测图象。由移动补偿部105和存储器更新部115构成预测图象生成部100a。另外，由存储器a、b、c构成存储区200a。
在该实施形态中，假定存储器a是存储1帧的图象数据的帧存储器，存储器b是静态子画面存储器，存储器c是动态子画面存储器。另外，该实施形态的译码装置假定输入图22所示的位流21。另外，虽然在图22中未示出，但存储器b更新信息1001及存储器c更新信息1002被送到位流中。在存储器b更新信息1001中包含全面更新静态子画面存储器用的更新指示和进行全面更新用的图象数据。同样，在存储器c更新信息1002中包含全面更新动态子画面存储器用的更新指示和进行全面更新用的图象数据。
以下说明如上构成的装置的工作情况。首先，在长度可变译码部119中分析位流21，将其分成各个编码数据。量子化正交变换系数12a被送给逆量子化部111a，用量子化步长12b进行逆量子化。其结果，在逆正交变换部111b中进行逆正交变换，结构被译码，并送给译码加法部190。正交变换采用DCT(离散余弦变换)等与在编码装置一侧所用的相同。
由长度可变译码部119根据位流进行过译码后的移动矢量4、预测存储器指示信息800、以及表示被预测图象区在画面内的位置195的信息被输入移动补偿部105中。移动补偿部105根据这3种信息，从存储在多个存储器a、b、c中的参照图象取出所希望的预测图象。被预测图象区在画面内的位置195不是包含在位流中的信息，而是通过计数宏块数能计算出来。关于预测图象生成的处理方法，将在以下说明移动补偿部105的工作情况的部分加以详细说明。
译码加法部190根据预测方式8的信息，如果是内部帧编码的块，则将逆正交变换部111b的输出直接作为译码图象101输出，如果是中间帧编码的块，便将预测图象106加在逆正交变换部111b的输出中，作为译码图象101输出。译码图象101被送给显示控制部191，并被输出给显示装置，同时在以后的译码处理中作为参照图象用，所以被写入存储器a～c。根据预测方式8，由存储器更新部115控制向存储器的写入。
其次，说明预测图象生成部100a的移动补偿部105中的预测图象生成处理方法。在本实施形态中，图象的预测方式根据预测存储器指示信息800来确定。在本实施形态的译码装置中生成预测图象时，根据移动矢量4和预测存储器指示信息800，通过规定的坐标变换处理及内插处理，从参照图象生成预测图象。坐标变换处理的方法预先就对应地分配给了预测中使用的存储器。例如，可以考虑与在实施形态3中说明过的图象变形方式相同的如下的变形方法例。
(1)预测中使用存储器a的情况(＝预测存储器指示信息800指示使用存储器a的情况)
根据移动矢量，使被预测对象区的各象素的坐标平行移动，将存储器a中对应位置的图象数据作为预测图象取出。
(2)预测中使用存储器b的情况(＝预测存储器指示信息指示使用存储器b的情况)
根据移动矢量，求仿射变换式，根据该变换式使被预测对象区的各象素的坐标位移，将存储器b中对应位置的图象数据作为预测图象取出。
(3)预测中使用存储器c的情况(＝预测存储器指示信息指示使用存储器c的情况)
根据移动矢量，求远近法变换式，根据该变换式使被预测对象区的各象素的坐标位移，将存储器c中对应位置的图象数据作为预测图象取出。
将移动补偿部105的内部结构示于图25。在该图中，161是开关，162是存储器a用对应点确定部，163是存储器b用对应点确定部，164是存储器c用对应点确定部，165是存储器读出地址生成部，166是开关，167是内插处理部。另外，图26是表示其工作状况的流程图。
以下，根据图25及图26说明本实施形态的移动补偿部105的工作情况。
1)对应点的确定
首先，根据预测存储器指示信息800，由开关161选择对应的存储器用的对应点确定部，将移动矢量4输入所选择的对应点确定部。在这里进行与各存储器对应的预测图象位置的计算。以下对应于存储器进行说明。
1-1)预测存储器指示信息800指示使用存储器a的情况(步S100)
根据由移动矢量进行的平行移动，算出预测图象位置(步S101)。具体地说，根据移动矢量(a，b)，由下式确定被预测图象区的位置(x，y)的象素的预测图象位置(x’，y’)。
x’＝x+a
y’＝y+b
将所确定的预测图象位置输出给存储器读出地址生成部165。
1-2)预测存储器指示信息800指示使用存储器b的情况(步S103)
根据移动矢量4确定仿射变换式。具体地说，用包围被预测图象区的矩形区的顶点的移动矢量，确定下式中的仿射参数(a，b，c，θ)。
x’＝a(cosθ)x+a(sinθ)y+b
y’＝a(-sinθ)x+a(cosθ)y+c
据此，求出被预测图象区的位置(x，y)的象素的预测图象位置(x’，y’)，输出给存储器读出地址生成部165(步S104)。
1-3)预测存储器指示信息800指示使用存储器c的情况(步S106)
根据移动矢量确定远近法变换式。具体地说，用包围被预测图象区的矩形区的顶点的移动矢量，确定下式中的远近法参数(a，b，c，d，e，f)。
x’＝(ax+by+c)/(gx+hy+1)
y’＝(dx+ey+f)/(gx+hy+1)
据此，求出被预测图象区的位置(x，y)的象素的预测图象位置(x’，y’)，输出给存储器读出地址生成部(步S107)。
2)预测图象生成用数据的读出
根据从所选择的对应点确定部输出的预测图象位置(x’，y’)，存储器读出地址生成部165生成特定存储器中存储的参照图象中的预测图象生成时所必要的图象数据的位置用的存储器地址，读出预测图象生成用数据(步S102、S105、S108)。
3)预测图象的生成
构成预测图象的象素中如果是整数象素位置的象素，则预测图象生成用数据就直接成为预测图象构成象素。另一方面，在实数精度的象素位置的象素的情况下，通过由内插处理部167进行预测图象生成用数据的内插处理，生成内插象素值(步S109、S110、S111)。内插象素值的生成按照图27进行。在图27中，(ip，jp)表示整数象素位置，(i’，j’)表示实数精度的象素位置，w表示权重。
4)存储器(参照图象)的更新
图28示出了存储器更新部115的控制程序。在存储器更新部115中，根据预测方式8(或预测存储器指示信息800)，按预测图象取出单元(例如宏块单元)控制各存储器的更新。用存储器a进行预测时(步S112)，根据译码图象101逐次更新存储器a及c的内容(步S113)。用存储器b进行预测时(步S114)，由于存储器b是静态子画面存储器，所以存储器b的参照图象不按预测图象取出单元进行更新。可是，根据译码图象101逐次更新存储器a及c的内容(步S115)。另一方面，在收到存储器b更新信息1001的更新指示后，接收存储器b更新信息1001中包含的图象数据，全面更新存储器b的内容(步S116)。另外，在用存储器c进行预测时(步S117)，根据译码图象101逐次更新存储器a及c的内容(步S118)。另外，在由存储器更新信息收到更新指示后，接收存储器c更新信息1002中包含的图象数据，更新存储器c的内容(步S119)。
在该实施形态中，说明了使用3个存储器a、b、c的情况，但即使使用2个存储器也没关系。例如，即使使用存储器a和b、即使用帧存储器和静态子画面存储器时也没关系。或者即使使用存储器a和c、即使用帧存储器和动态子画面存储器时也没关系。
如上所述，如果采用本实施形态的译码装置，则对应于图象的移动，能使用各种类型的移动参数，对有效地进行过预测的已编码的位流21进行译码，同时由于能与在编码侧规定的时刻任意地更新参照图象的内容的结构相对应，所以能进行更适应于图象性质的译码处理。
在本实施形态中，即使是采用正交变换编码以外的其它编码方式对预测误差信号进行编码的位流，通过变更移动补偿部·存储器更新部以外的预测误差信号译码处理用的构件，能获得同样的效果。
另外，本实施形态不仅能适用于以固定尺寸块为单元进行译码处理的以通常的视频信号的帧为单元的译码装置，而且也能适用于不将被预测对象区限定在固定尺寸块、而以任意形状图象目标(例如：在ISO/IEC JTC1/SC29/WG11/N1902中公开的Video Object Plane等)为单元的译码装置。
工业上利用的可能性
如上所述，如果采用本发明，由于具有多个存储参照用图象的存储区，所以能根据动态图象顺序的性质，分配存入存储器，另外，由于能在任意时刻更新多个存储区中的1个以上的存储区的内容，所以背景图象等不随时间变化的图象内容长时间内不进行内容的更新，从而能进行局部变化的图象区频繁地更新存储器内容等的控制，能进行产生动态图象顺序的历史的有效地预测。
另外，由于对多个存储器分别设定使各存储器成为有效区的变形参数值范围，根据被预测图象区的变形参数值，切换并在预测中使用存储区，所以能根据动态图象顺序的局部的/大范围的移动的大小，进行有效的预测。同时应对每个被预测图象区进行编码的移动参数能在参照存储区的有效移动参数值区的范围内有效地进行编码。
另外，由于对多个存储区分别设定使各存储器成为有效的变形方法，根据被预测图象区的变形参数的种类，能切换并预测存储器，所以能根据动态图象顺序的局部的/大范围的移动的复杂性，进行有效的预测。同时与被预测图象区的移动性质一致地适当地选择变形方法，能有效地对移动参数进行编码。

Claims (6)

1.一种动态图像译码装置，其特征在于：具有
存储器区域，存储用于生成预测图像的多个参照图像；
预测图像生成部，输入指示从比特流抽出的多种变换方法中的一种变换方法的指示信息和从上述比特流抽出的动态参数，利用存储在上述存储区域中的上述参照图像和上述动态参数，基于上述指示信息所表示的变换方法生成预测图像；和
译码部，从上述比特流译码纹理，通过对由上述预测图像生成部生成的上述预测图像和上述纹理进行加法运算得到译码图像。
2.根据权利要求1所述的动态图像译码装置，其特征在于：
上述预测图像生成部，根据平行移动变换方法、仿射变换方法、透视变换方法中的任何一种变换方法，生成预测图像。
3.根据权利要求1所述的动态图像译码装置，其特征在于：
上述动态图像译码装置还具有
上述存储器区域内的多个存储器，存储在生成预测图像时参照的图像，并且与上述多种变换方法之中至少一种以上的变换方法对应；
上述预测图像生成部参照在与变换方法对应的存储器中存储的图像，生成预测图像。
4.一种动态图像译码方法，其特征在于：具有
存储工序，将用于生成预测图像的多个参照图像存储在存储器区域中；
预测图像生成工序，输入指示从比特流抽出的多种变换方法中的一种变换方法的指示信息和从上述比特流抽出的动态参数，利用存储在上述存储区域中的上述参照图像和上述动态参数，基于上述指示信息所表示的变换方法生成预测图像；和
译码工序，从上述比特流译码纹理，通过对由上述预测图像生成部生成的上述预测图像和上述纹理进行加法运算得到译码图像。
5.根据权利要求4所述的动态图像译码方法，其特征在于：
上述预测图像生成工序根据平行移动变换方法、仿射变换方法、透视变换方法中的任何一种变换方法，生成预测图像。
6.根据权利要求4所述的动态图像译码方法，其特征在于：
参照在与上述多种变换方法之中至少一种以上的变换方法对应的、在上述存储器区域内的多个存储器中存储的图像，生成预测图像。
CNB2003101245648A 1997-02-13 1998-01-22 动态图像译码装置和方法 Expired - Lifetime CN1284376C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP28862/1997 1997-02-13
JP28862/97 1997-02-13
JP2886297 1997-02-13

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN199898800131A Division CN1217852A (zh) 1997-02-13 1998-01-22 动态图象预测方式

Related Child Applications (3)

Application Number Title Priority Date Filing Date
CN2006101007963A Division CN101005624B (zh) 1997-02-13 1998-01-22 动态图象译码装置和方法
CN200610103004.8A Division CN101026762B (zh) 1997-02-13 1998-01-22 运动图像预测装置和方法
CN2006101018347A Division CN1992900B (zh) 1997-02-13 1998-01-22 动态图象译码装置和方法

Publications (2)

Publication Number Publication Date
CN1510928A CN1510928A (zh) 2004-07-07
CN1284376C true CN1284376C (zh) 2006-11-08

Family

ID=12260195

Family Applications (5)

Application Number Title Priority Date Filing Date
CN199898800131A Pending CN1217852A (zh) 1997-02-13 1998-01-22 动态图象预测方式
CN2006101018347A Expired - Lifetime CN1992900B (zh) 1997-02-13 1998-01-22 动态图象译码装置和方法
CNB2003101245648A Expired - Lifetime CN1284376C (zh) 1997-02-13 1998-01-22 动态图像译码装置和方法
CN200610103004.8A Expired - Lifetime CN101026762B (zh) 1997-02-13 1998-01-22 运动图像预测装置和方法
CN2006101007963A Expired - Lifetime CN101005624B (zh) 1997-02-13 1998-01-22 动态图象译码装置和方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN199898800131A Pending CN1217852A (zh) 1997-02-13 1998-01-22 动态图象预测方式
CN2006101018347A Expired - Lifetime CN1992900B (zh) 1997-02-13 1998-01-22 动态图象译码装置和方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN200610103004.8A Expired - Lifetime CN101026762B (zh) 1997-02-13 1998-01-22 运动图像预测装置和方法
CN2006101007963A Expired - Lifetime CN101005624B (zh) 1997-02-13 1998-01-22 动态图象译码装置和方法

Country Status (8)

Country Link
US (7) US6775326B2 (zh)
EP (12) EP0898427A4 (zh)
JP (10) JP3748895B2 (zh)
KR (1) KR100309086B1 (zh)
CN (5) CN1217852A (zh)
HK (3) HK1109001A1 (zh)
TW (1) TW376650B (zh)
WO (1) WO1998036576A1 (zh)

Families Citing this family (124)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0898427A4 (en) * 1997-02-13 2004-04-28 Mitsubishi Electric Corp ANIMATED IMAGE ESTIMATION SYSTEM
US6499060B1 (en) * 1999-03-12 2002-12-24 Microsoft Corporation Media coding for loss recovery with remotely predicted data units
JP4805518B2 (ja) * 2000-04-14 2011-11-02 シーメンス アクチエンゲゼルシヤフト 時間的に順次連続する画像の画像情報を記憶および処理するための方法並びに装置
EP1156678A3 (en) * 2000-05-15 2007-07-11 Matsushita Electric Industrial Co., Ltd. Video decoding method, video decoding apparatus, and video decoding program storage medium
KR20030042115A (ko) * 2001-11-21 2003-05-28 정한승 다중 레퍼런스 프레임 기반의 동영상 부호화 방법
EP2373035B1 (en) * 2001-11-30 2015-11-25 NTT DoCoMo, Inc. Moving picture encoding device, moving picture decoding device, moving picture encoding method, moving picture decoding method, program, and computer readable recording medium storing program
FI114527B (fi) 2002-01-23 2004-10-29 Nokia Corp Kuvakehysten ryhmittely videokoodauksessa
US7130472B2 (en) * 2002-01-21 2006-10-31 Canon Kabushiki Kaisha Image distribution apparatus, communication terminal apparatus, and control method thereof
EP1479245A1 (en) * 2002-01-23 2004-11-24 Nokia Corporation Grouping of image frames in video coding
KR100508798B1 (ko) * 2002-04-09 2005-08-19 엘지전자 주식회사 쌍방향 예측 블록 예측 방법
KR100491530B1 (ko) * 2002-05-03 2005-05-27 엘지전자 주식회사 모션 벡터 결정 방법
US7119837B2 (en) * 2002-06-28 2006-10-10 Microsoft Corporation Video processing system and method for automatic enhancement of digital video
US7421129B2 (en) * 2002-09-04 2008-09-02 Microsoft Corporation Image compression and synthesis for video effects
JP4007594B2 (ja) * 2002-09-26 2007-11-14 株式会社東芝 動画像符号化装置及び方法、動画像符号化方式変換装置及び方法
US20060251168A1 (en) * 2003-04-04 2006-11-09 Koninklijke Philips Electronics N.V. Video encoding and decoding methods and corresponding devices
DE602004028927D1 (de) * 2003-05-06 2010-10-14 Nxp Bv Videokodierungs- und dekodierungsverfahren und entsprechende kodierungs- und dekodierungsvorrichtungen
US7408986B2 (en) * 2003-06-13 2008-08-05 Microsoft Corporation Increasing motion smoothness using frame interpolation with motion analysis
US7558320B2 (en) * 2003-06-13 2009-07-07 Microsoft Corporation Quality control in frame interpolation with motion analysis
US20050105621A1 (en) * 2003-11-04 2005-05-19 Ju Chi-Cheng Apparatus capable of performing both block-matching motion compensation and global motion compensation and method thereof
US7521174B2 (en) * 2003-12-05 2009-04-21 Albert Einstein College Of Medicine Of Yeshiva University Universal red blood cells, methods of preparing same, and uses thereof
JP4702059B2 (ja) * 2003-12-22 2011-06-15 日本電気株式会社 動画像を符号化する方法及び装置
JP2007524309A (ja) * 2004-02-20 2007-08-23 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ復号の方法
KR100994773B1 (ko) 2004-03-29 2010-11-16 삼성전자주식회사 계층적 움직임 추정에 있어서 움직임 벡터 생성 방법 및장치
JP4414904B2 (ja) * 2004-04-16 2010-02-17 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
US9743078B2 (en) 2004-07-30 2017-08-22 Euclid Discoveries, Llc Standards-compliant model-based video encoding and decoding
US9578345B2 (en) 2005-03-31 2017-02-21 Euclid Discoveries, Llc Model-based video encoding and decoding
US9532069B2 (en) 2004-07-30 2016-12-27 Euclid Discoveries, Llc Video compression repository and model reuse
US8902971B2 (en) * 2004-07-30 2014-12-02 Euclid Discoveries, Llc Video compression repository and model reuse
DE102004049156B4 (de) * 2004-10-08 2006-07-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Codierschema für einen ein zeitlich veränderliches Graphikmodell darstellenden Datenstrom
US8948266B2 (en) * 2004-10-12 2015-02-03 Qualcomm Incorporated Adaptive intra-refresh for digital video encoding
JP4257655B2 (ja) * 2004-11-04 2009-04-22 日本ビクター株式会社 動画像符号化装置
JP4501676B2 (ja) * 2004-12-22 2010-07-14 日本電気株式会社 動画像圧縮符号化方法と動画像圧縮符号化装置並びにプログラム
US8634413B2 (en) 2004-12-30 2014-01-21 Microsoft Corporation Use of frame caching to improve packet loss recovery
JP4480156B2 (ja) * 2005-02-02 2010-06-16 キヤノン株式会社 画像処理装置及び方法
US7822121B2 (en) * 2005-03-17 2010-10-26 Lsi Corporation Method and/or apparatus for implementing global motion compensation in a video system
US20060215036A1 (en) * 2005-03-25 2006-09-28 Multivision Intelligent Surveillance (Hk) Ltd. Method and apparatus for video stabilization
US8908766B2 (en) 2005-03-31 2014-12-09 Euclid Discoveries, Llc Computer method and apparatus for processing image data
US7769274B2 (en) * 2005-05-06 2010-08-03 Mediatek, Inc. Video processing and optical recording using a shared memory
US8509551B2 (en) * 2005-07-22 2013-08-13 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recording with image encoding program and computer readable recording medium recorded with image decoding program
CA2610276C (en) * 2005-07-22 2013-01-29 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US8488889B2 (en) * 2005-07-22 2013-07-16 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
JP4514666B2 (ja) * 2005-07-25 2010-07-28 シャープ株式会社 動画像符号化装置
US7596243B2 (en) 2005-09-16 2009-09-29 Sony Corporation Extracting a moving object boundary
US8165205B2 (en) * 2005-09-16 2012-04-24 Sony Corporation Natural shaped regions for motion compensation
US7894522B2 (en) * 2005-09-16 2011-02-22 Sony Corporation Classified filtering for temporal prediction
US20070064805A1 (en) * 2005-09-16 2007-03-22 Sony Corporation Motion vector selection
US8107748B2 (en) * 2005-09-16 2012-01-31 Sony Corporation Adaptive motion search range
US7894527B2 (en) * 2005-09-16 2011-02-22 Sony Corporation Multi-stage linked process for adaptive motion vector sampling in video compression
US8005308B2 (en) * 2005-09-16 2011-08-23 Sony Corporation Adaptive motion estimation for temporal prediction filter over irregular motion vector samples
US8059719B2 (en) * 2005-09-16 2011-11-15 Sony Corporation Adaptive area of influence filter
US7620108B2 (en) * 2005-09-16 2009-11-17 Sony Corporation Integrated spatial-temporal prediction
US7885335B2 (en) * 2005-09-16 2011-02-08 Sont Corporation Variable shape motion estimation in video sequence
US7957466B2 (en) * 2005-09-16 2011-06-07 Sony Corporation Adaptive area of influence filter for moving object boundaries
US7924914B2 (en) * 2005-09-20 2011-04-12 Intel Corporation Dynamically configuring a video decoder cache for motion compensation
JP4666255B2 (ja) * 2005-12-27 2011-04-06 日本電気株式会社 符号化データ選定、符号化データ設定、再符号化データ生成及び再符号化の方法及び装置
CN101496387B (zh) 2006-03-06 2012-09-05 思科技术公司 用于移动无线网络中的接入认证的系统和方法
BRPI0714119B1 (pt) 2006-07-11 2020-09-15 Interdigital Vc Holdings, Inc Métodos e aparelho que utilizam imagens de referência virtual
US7957601B2 (en) * 2006-08-30 2011-06-07 Siemens Medical Solutions Usa, Inc. Systems and methods of inter-frame compression
KR100678410B1 (ko) * 2006-11-13 2007-02-02 (주)아이팝엔지니어링종합건축사사무소 공동주택용 조립식 계단 설치구조
JP4875007B2 (ja) * 2007-02-09 2012-02-15 パナソニック株式会社 動画像符号化装置、動画像符号化方法、及び、動画像復号化装置
JP5187531B2 (ja) * 2007-02-20 2013-04-24 ソニー株式会社 画像表示装置
US8634462B2 (en) * 2007-03-13 2014-01-21 Matthias Narroschke Quantization for hybrid video coding
US20080225947A1 (en) * 2007-03-13 2008-09-18 Matthias Narroschke Quantization for hybrid video coding
US8422803B2 (en) * 2007-06-28 2013-04-16 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
US8797377B2 (en) 2008-02-14 2014-08-05 Cisco Technology, Inc. Method and system for videoconference configuration
JP5281839B2 (ja) * 2008-07-23 2013-09-04 パナソニック株式会社 画像合成符号化方法、画像合成符号化装置、撮像システム
EP2315447A1 (en) * 2008-08-21 2011-04-27 Panasonic Corporation Motion detection device
US8694658B2 (en) 2008-09-19 2014-04-08 Cisco Technology, Inc. System and method for enabling communication sessions in a network environment
JP5567021B2 (ja) 2008-10-07 2014-08-06 ユークリッド・ディスカバリーズ・エルエルシー 特徴を基礎とするビデオ圧縮
US9253496B2 (en) * 2008-12-12 2016-02-02 Qualcomm Incorporated Intelligent decoded picture buffering
JP2012080151A (ja) * 2009-02-09 2012-04-19 Toshiba Corp 幾何変換動き補償予測を用いる動画像符号化及び動画像復号化の方法と装置
US8659637B2 (en) 2009-03-09 2014-02-25 Cisco Technology, Inc. System and method for providing three dimensional video conferencing in a network environment
US8659639B2 (en) 2009-05-29 2014-02-25 Cisco Technology, Inc. System and method for extending communications between participants in a conferencing environment
CN102474607B (zh) * 2009-07-23 2016-05-11 汤姆森许可贸易公司 用于视频编码和解码的自适应变换选择的方法和设备
US9082297B2 (en) 2009-08-11 2015-07-14 Cisco Technology, Inc. System and method for verifying parameters in an audiovisual environment
WO2011048764A1 (ja) * 2009-10-19 2011-04-28 パナソニック株式会社 復号装置、復号方法、プログラム、及び集積回路
CN101783958B (zh) * 2010-02-10 2011-10-05 中国科学院计算技术研究所 Avs视频标准中时域直接模式运动矢量的计算方法和装置
JP5583439B2 (ja) * 2010-03-17 2014-09-03 パナソニック株式会社 画像符号化装置及びカメラシステム
US9225916B2 (en) 2010-03-18 2015-12-29 Cisco Technology, Inc. System and method for enhancing video images in a conferencing environment
US9313452B2 (en) 2010-05-17 2016-04-12 Cisco Technology, Inc. System and method for providing retracting optics in a video conferencing environment
WO2012002039A1 (ja) * 2010-06-29 2012-01-05 富士フイルム株式会社 代表画像決定装置および画像圧縮装置ならびにそれらの動作制御方法およびそのプログラム
US8896655B2 (en) 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
US8599934B2 (en) * 2010-09-08 2013-12-03 Cisco Technology, Inc. System and method for skip coding during video conferencing in a network environment
US10165276B2 (en) * 2010-09-30 2018-12-25 Texas Instruments Incorporated Method and apparatus for frame coding in vertical raster scan order for HEVC
US9532059B2 (en) 2010-10-05 2016-12-27 Google Technology Holdings LLC Method and apparatus for spatial scalability for video coding
US8599865B2 (en) 2010-10-26 2013-12-03 Cisco Technology, Inc. System and method for provisioning flows in a mobile network environment
US8699457B2 (en) 2010-11-03 2014-04-15 Cisco Technology, Inc. System and method for managing flows in a mobile network environment
US8902244B2 (en) 2010-11-15 2014-12-02 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US9338394B2 (en) 2010-11-15 2016-05-10 Cisco Technology, Inc. System and method for providing enhanced audio in a video environment
US8730297B2 (en) 2010-11-15 2014-05-20 Cisco Technology, Inc. System and method for providing camera functions in a video environment
US9143725B2 (en) 2010-11-15 2015-09-22 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US8723914B2 (en) 2010-11-19 2014-05-13 Cisco Technology, Inc. System and method for providing enhanced video processing in a network environment
US9111138B2 (en) 2010-11-30 2015-08-18 Cisco Technology, Inc. System and method for gesture interface control
US8692862B2 (en) 2011-02-28 2014-04-08 Cisco Technology, Inc. System and method for selection of video data in a video conference environment
US8670019B2 (en) 2011-04-28 2014-03-11 Cisco Technology, Inc. System and method for providing enhanced eye gaze in a video conferencing environment
US8786631B1 (en) 2011-04-30 2014-07-22 Cisco Technology, Inc. System and method for transferring transparency information in a video environment
US8934026B2 (en) 2011-05-12 2015-01-13 Cisco Technology, Inc. System and method for video coding in a dynamic environment
JP2012244437A (ja) * 2011-05-19 2012-12-10 Canon Inc 画像処理装置、画像処理方法
US8989256B2 (en) * 2011-05-25 2015-03-24 Google Inc. Method and apparatus for using segmentation-based coding of prediction information
US9106927B2 (en) 2011-09-23 2015-08-11 Qualcomm Incorporated Video coding with subsets of a reference picture set
JP5729825B2 (ja) * 2011-09-26 2015-06-03 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
JP5898924B2 (ja) * 2011-11-10 2016-04-06 株式会社Ｎｔｔドコモ 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置および動画像予測復号プログラム
US8947493B2 (en) 2011-11-16 2015-02-03 Cisco Technology, Inc. System and method for alerting a participant in a video conference
US9247257B1 (en) 2011-11-30 2016-01-26 Google Inc. Segmentation based entropy encoding and decoding
US8682087B2 (en) 2011-12-19 2014-03-25 Cisco Technology, Inc. System and method for depth-guided image filtering in a video conference environment
US9094681B1 (en) 2012-02-28 2015-07-28 Google Inc. Adaptive segmentation
KR20130108949A (ko) * 2012-03-26 2013-10-07 한국전자통신연구원 영상부호 및 복호화 단계에서의 이중 객체검출 및 이동경로 정보를 이용한 영상 압축 방법
US9332276B1 (en) 2012-08-09 2016-05-03 Google Inc. Variable-sized super block based direct prediction mode
US9380298B1 (en) 2012-08-10 2016-06-28 Google Inc. Object-based intra-prediction
US9681154B2 (en) 2012-12-06 2017-06-13 Patent Capital Group System and method for depth-guided filtering in a video conference environment
KR102121558B1 (ko) * 2013-03-15 2020-06-10 삼성전자주식회사 비디오 이미지의 안정화 방법, 후처리 장치 및 이를 포함하는 비디오 디코더
US9843621B2 (en) 2013-05-17 2017-12-12 Cisco Technology, Inc. Calendaring activities based on communication processing
JP2015002462A (ja) * 2013-06-17 2015-01-05 ソニー株式会社 画像圧縮回路、画像圧縮方法、および伝送システム
JP6614472B2 (ja) * 2013-09-30 2019-12-04 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
WO2015138008A1 (en) 2014-03-10 2015-09-17 Euclid Discoveries, Llc Continuous block tracking for temporal prediction in video encoding
US10097851B2 (en) 2014-03-10 2018-10-09 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
US10091507B2 (en) 2014-03-10 2018-10-02 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
JP2017126896A (ja) * 2016-01-14 2017-07-20 株式会社東芝 監視システム、監視装置、および再生装置
US10448010B2 (en) * 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
US20190045213A1 (en) * 2017-08-03 2019-02-07 Intel Corporation Reference frame reprojection for improved video coding
JP7315821B2 (ja) * 2019-04-01 2023-07-27 日本電信電話株式会社 画像生成装置、画像生成方法、及びプログラム
US11095901B2 (en) * 2019-09-23 2021-08-17 International Business Machines Corporation Object manipulation video conference compression
US20220377356A1 (en) * 2019-11-15 2022-11-24 Nippon Telegraph And Telephone Corporation Video encoding method, video encoding apparatus and computer program
US20240089460A1 (en) * 2022-09-13 2024-03-14 Ati Technologies Ulc Scene-change detection at server for triggering client-side temporal frame buffer reset

Family Cites Families (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5886A (en) * 1848-10-31 Shihgle-machine
US4218704A (en) 1979-03-16 1980-08-19 Bell Telephone Laboratories, Incorporated Method and apparatus for video signal encoding with motion compensation
US4460923A (en) * 1981-06-01 1984-07-17 Nippon Electric Co., Ltd. Predictive coding system for television signals
JPS58127488A (ja) 1982-01-25 1983-07-29 Kokusai Denshin Denwa Co Ltd <Kdd> テレビジヨン信号の適応予測符号化方式
GB8724789D0 (en) 1987-10-19 1987-11-25 British Telecomm Signal coding
JP2810052B2 (ja) * 1987-11-18 1998-10-15 株式会社日立製作所 伝送装置
FR2623955B1 (fr) * 1987-11-27 1990-04-27 Labo Electronique Physique Procede et dispositif d'estimation et de compensation de mouvement dans une sequence d'images et leur application dans un systeme de transmission d'images de television a haute definition
JPH02171093A (ja) 1988-12-23 1990-07-02 Nec Corp 動画像の予測符号化方式
US5151754A (en) * 1989-10-06 1992-09-29 Kabushiki Kaisha Toshiba Method and an apparatus for measuring a displacement between two objects and a method and an apparatus for measuring a gap distance between two objects
JPH04127689A (ja) 1990-09-19 1992-04-28 Hitachi Ltd 動画像予測符号化方式
US5205177A (en) * 1991-01-23 1993-04-27 Research-Cottrell, Inc. Method and apparatus for gas monitoring
US5353062A (en) * 1991-04-25 1994-10-04 Canon Kabushiki Kaisha Method and apparatus for decoding moving images encoded by inter-frame prediction and displaying it
US5185819A (en) * 1991-04-29 1993-02-09 General Electric Company Video signal compression apparatus for independently compressing odd and even fields
US5151784A (en) * 1991-04-30 1992-09-29 At&T Bell Laboratories Multiple frame motion estimation
US5647049A (en) * 1991-05-31 1997-07-08 Kabushiki Kaisha Toshiba Video recording/reproducing apparatus which uses a differential motion vector determined using two other motion vectors
US5428396A (en) 1991-08-03 1995-06-27 Sony Corporation Variable length coding/decoding method for motion vectors
US5231384A (en) * 1991-08-26 1993-07-27 General Electric Company Apparatus for splitting video signal between two channels
US5420635A (en) * 1991-08-30 1995-05-30 Fuji Photo Film Co., Ltd. Video camera, imaging method using video camera, method of operating video camera, image processing apparatus and method, and solid-state electronic imaging device
US5488482A (en) * 1992-01-29 1996-01-30 Mitsubishi Denki Kabushiki Kaisha High-efficiency encoder and video information recording/reproducing apparatus
US5247363A (en) * 1992-03-02 1993-09-21 Rca Thomson Licensing Corporation Error concealment apparatus for hdtv receivers
JP2636622B2 (ja) * 1992-03-13 1997-07-30 松下電器産業株式会社 ビデオ信号の符号化方法及び復号化方法ならびにビデオ信号の符号化装置及び復号化装置
US5420638A (en) * 1992-04-14 1995-05-30 U.S. Philips Corporation Subassembly for coding images with refresh correction of the data to be coded, and subassembly for decording signals representing these images and previously coded by means of a subassembly of the former kind
JPH05344493A (ja) * 1992-06-10 1993-12-24 Victor Co Of Japan Ltd 動画像符号化装置
JP3245977B2 (ja) * 1992-06-30 2002-01-15 ソニー株式会社 ディジタル画像信号の伝送装置
JP3358835B2 (ja) * 1992-12-14 2002-12-24 ソニー株式会社 画像符号化方法及び装置
AU6099594A (en) 1993-02-03 1994-08-29 Qualcomm Incorporated Interframe video encoding and decoding system
TW224553B (en) * 1993-03-01 1994-06-01 Sony Co Ltd Method and apparatus for inverse discrete consine transform and coding/decoding of moving picture
US5592228A (en) * 1993-03-04 1997-01-07 Kabushiki Kaisha Toshiba Video encoder using global motion estimation and polygonal patch motion estimation
US5515388A (en) * 1993-03-19 1996-05-07 Sony Corporation Apparatus and method for preventing repetitive random errors in transform coefficients representing a motion picture signal
US5815646A (en) * 1993-04-13 1998-09-29 C-Cube Microsystems Decompression processor for video applications
BE1007252A3 (nl) * 1993-06-29 1995-05-02 Philips Electronics Nv Bewegingscompensator.
US5329365A (en) * 1993-07-07 1994-07-12 Rca Thomson Licensing Corporation Method and apparatus for providing compressed non-interlaced scanned video signal
DE69428308T2 (de) * 1993-07-12 2002-05-08 Sony Corp., Tokio/Tokyo Verarbeitung von digitalen Bilddaten
DE69430617T2 (de) 1993-07-12 2002-12-05 Sony Corp., Tokio/Tokyo Dekoder und verfahren zur dekodierung
JPH0799658A (ja) * 1993-08-03 1995-04-11 Sony Corp 動きベクトル検出装置
KR0122745B1 (ko) * 1993-10-28 1997-11-17 배순훈 개선된 메모리 구조를 갖는 동영상 복호화장치
US5625656A (en) * 1993-10-29 1997-04-29 General Electric Company Method for monitoring noble metal distribution in reactor circuit during plant application
JP3031152B2 (ja) * 1993-12-24 2000-04-10 日本電気株式会社 動き予測プロセッサ及び動き予測装置
JPH07184206A (ja) 1993-12-24 1995-07-21 Mitsubishi Electric Corp 画像符号化装置
KR950024600A (ko) * 1994-01-31 1995-08-21 김광호 휘도신호적응 움직임 평가방법
JPH07226917A (ja) 1994-02-14 1995-08-22 Toshiba Corp 画像再生方式及び装置
US5576765A (en) * 1994-03-17 1996-11-19 International Business Machines, Corporation Video decoder
JPH07336461A (ja) 1994-06-03 1995-12-22 Canon Inc 画像通信装置
KR0134483B1 (ko) * 1994-06-14 1998-05-15 배순훈 디코더에 있어서 어드레스 보정 회로(address correction circuit of the decoder)
KR0148154B1 (ko) * 1994-06-15 1998-09-15 김광호 움직임크기에 따른 동영상데이타의 부호화방법 및 장치
US5684538A (en) * 1994-08-18 1997-11-04 Hitachi, Ltd. System and method for performing video coding/decoding using motion compensation
DE69533870T2 (de) * 1994-10-19 2005-05-25 Matsushita Electric Industrial Co., Ltd., Kadoma Vorrichtung zur Bilddekodierung
KR100396971B1 (ko) * 1994-11-29 2003-11-03 산요덴키가부시키가이샤 인코드된비디오데이터의에러검출및처리기능을구비한비디오디코더
JP3334384B2 (ja) 1994-12-20 2002-10-15 松下電器産業株式会社 画像予測符号化方法
DE69530908T2 (de) * 1994-12-20 2004-05-19 Matsushita Electric Industrial Co., Ltd., Kadoma Verfahren und Vorrichtung zur Bildkodierung
KR100235343B1 (ko) * 1994-12-29 1999-12-15 전주범 영역분할 기법을 이용한 동영상신호 부호화기의 움직임 벡터 측정장치
EP0721286A3 (en) * 1995-01-09 2000-07-26 Matsushita Electric Industrial Co., Ltd. Video signal decoding apparatus with artifact reduction
JP3694912B2 (ja) * 1995-02-23 2005-09-14 株式会社日立製作所 メモリ制御方法及び画像復号装置
US6064803A (en) * 1995-03-01 2000-05-16 Matsushita Electric Industrial Co., Ltd. Image information decoder with a reduced capacity frame memory
JP3086396B2 (ja) * 1995-03-10 2000-09-11 シャープ株式会社 画像符号化装置及び画像復号装置
KR0171118B1 (ko) * 1995-03-20 1999-03-20 배순훈 비디오신호 부호화 장치
JP4223571B2 (ja) * 1995-05-02 2009-02-12 ソニー株式会社 画像符号化方法及び装置
JP3803122B2 (ja) 1995-05-02 2006-08-02 松下電器産業株式会社 画像メモリ装置および動きベクトル検出回路
JP3824678B2 (ja) * 1995-05-09 2006-09-20 株式会社ルネサステクノロジ 画像復号表示装置
KR100203243B1 (ko) * 1995-07-31 1999-06-15 윤종용 에스디알에이엠에 프레임의 영상신호를 기록하는 방법
JPH0955941A (ja) * 1995-08-16 1997-02-25 Sony Corp 画像符号化方法、画像符号化装置、及び画像符号化データの記録装置
DE69630643T2 (de) * 1995-08-29 2004-10-07 Sharp Kk Videokodierungsvorrichtung
CN1097956C (zh) * 1995-09-06 2003-01-01 皇家菲利浦电子有限公司 分段图象序列编码的方法和系统以及解码的方法和系统
JP3068002B2 (ja) * 1995-09-18 2000-07-24 沖電気工業株式会社 画像符号化装置、画像復号化装置及び画像伝送システム
US5959672A (en) * 1995-09-29 1999-09-28 Nippondenso Co., Ltd. Picture signal encoding system, picture signal decoding system and picture recognition system
JPH0998425A (ja) * 1995-09-29 1997-04-08 Toshiba Corp 画像符号化装置および画像復号化装置
JPH0997425A (ja) * 1995-09-29 1997-04-08 Kao Corp 磁気記録媒体の製造方法
JPH09121358A (ja) * 1995-10-25 1997-05-06 Matsushita Electric Ind Co Ltd 画像符号化及び復号化装置と方法
US6084908A (en) * 1995-10-25 2000-07-04 Sarnoff Corporation Apparatus and method for quadtree based variable block size motion estimation
JP3347954B2 (ja) * 1995-11-02 2002-11-20 三菱電機株式会社 動画像符号化装置及び動画像復号化装置
IL116060A (en) * 1995-11-19 2000-02-17 Israel State Method for compression and decompression of a video signal
US5963673A (en) * 1995-12-20 1999-10-05 Sanyo Electric Co., Ltd. Method and apparatus for adaptively selecting a coding mode for video encoding
US5692063A (en) * 1996-01-19 1997-11-25 Microsoft Corporation Method and system for unrestricted motion estimation for video
AU710565B2 (en) * 1996-01-22 1999-09-23 Matsushita Electric Industrial Co., Ltd. Digital image encoding and decoding method and digital image encoding and decoding device using the same
US5764553A (en) * 1996-02-28 1998-06-09 Lsi Logic Corporation Generalized data processing path for performing transformation and quantization functions for video encoder systems
US5668599A (en) * 1996-03-19 1997-09-16 International Business Machines Corporation Memory management for an MPEG2 compliant decoder
US5719966A (en) * 1996-03-29 1998-02-17 David Sarnoff Research Center, Inc. Apparatus for assessing the visiblity of differences between two image sequences
JP3628810B2 (ja) * 1996-06-28 2005-03-16 三菱電機株式会社 画像符号化装置
US6084912A (en) * 1996-06-28 2000-07-04 Sarnoff Corporation Very low bit rate video coding/decoding method and apparatus
JP3426092B2 (ja) * 1996-09-12 2003-07-14 シャープ株式会社 動画像符号化装置における動き補償フレーム間予測方法
US6205178B1 (en) * 1996-09-20 2001-03-20 Hitachi, Ltd. Method and synthesizing a predicted image, video coding device and video coding method
US5870087A (en) 1996-11-13 1999-02-09 Lsi Logic Corporation MPEG decoder system and method having a unified memory for transport decode and system controller functions
EP0898427A4 (en) * 1997-02-13 2004-04-28 Mitsubishi Electric Corp ANIMATED IMAGE ESTIMATION SYSTEM
US6175592B1 (en) * 1997-03-12 2001-01-16 Matsushita Electric Industrial Co., Ltd. Frequency domain filtering for down conversion of a DCT encoded picture
US6404813B1 (en) * 1997-03-27 2002-06-11 At&T Corp. Bidirectionally predicted pictures or video object planes for efficient and flexible video coding
SG65064A1 (en) * 1997-04-09 1999-05-25 Matsushita Electric Ind Co Ltd Image predictive decoding method image predictive decoding apparatus image predictive coding method image predictive coding apparatus and data storage media
JP3094944B2 (ja) * 1997-04-25 2000-10-03 日本電気株式会社 アービトレーション方法及びその装置
US6249318B1 (en) * 1997-09-12 2001-06-19 8×8, Inc. Video coding/decoding arrangement and method therefor
US5946043A (en) * 1997-12-31 1999-08-31 Microsoft Corporation Video coding using adaptive coding of block parameters for coded/uncoded blocks
US6425056B2 (en) * 1998-10-26 2002-07-23 Micron Technology, Inc. Method for controlling a direct mapped or two way set associative cache memory in a computer system
SG75189A1 (en) * 1998-12-04 2000-09-19 Canon Kk Image processing apparatus method therefor and recording medium storing image processing program

Also Published As

Publication number Publication date
US6775326B2 (en) 2004-08-10
JP2004088801A (ja) 2004-03-18
EP1887806B1 (en) 2014-04-30
EP1887806A3 (en) 2009-04-08
EP2369847B1 (en) 2016-04-20
CN1217852A (zh) 1999-05-26
JP3748895B2 (ja) 2006-02-22
EP2364024A1 (en) 2011-09-07
KR100309086B1 (ko) 2001-12-17
JP3836827B2 (ja) 2006-10-25
CN1992900A (zh) 2007-07-04
HK1109687A1 (zh) 2008-06-13
JP5258991B2 (ja) 2013-08-07
JP4963526B2 (ja) 2012-06-27
US8553772B2 (en) 2013-10-08
EP0898427A1 (en) 1999-02-24
CN101005624B (zh) 2011-11-16
EP1887806A2 (en) 2008-02-13
US20080144719A1 (en) 2008-06-19
JP4755242B2 (ja) 2011-08-24
JP2009071879A (ja) 2009-04-02
CN101026762B (zh) 2015-08-19
EP2320664A1 (en) 2011-05-11
TW376650B (en) 1999-12-11
EP2369847A1 (en) 2011-09-28
JP2006262528A (ja) 2006-09-28
JP2011250470A (ja) 2011-12-08
JP4819865B2 (ja) 2011-11-24
US20020114392A1 (en) 2002-08-22
US20040146107A1 (en) 2004-07-29
EP2352299A1 (en) 2011-08-03
JP4963496B2 (ja) 2012-06-27
US9225945B2 (en) 2015-12-29
WO1998036576A8 (en) 1999-12-16
EP2352297A1 (en) 2011-08-03
EP1511325A3 (en) 2006-07-19
CN101026762A (zh) 2007-08-29
EP2173103A2 (en) 2010-04-07
JP2009071878A (ja) 2009-04-02
US9232198B2 (en) 2016-01-05
CN101005624A (zh) 2007-07-25
CN1510928A (zh) 2004-07-07
JP2012120243A (ja) 2012-06-21
WO1998036576A1 (en) 1998-08-20
JP2012120244A (ja) 2012-06-21
US20080063073A1 (en) 2008-03-13
JP4260786B2 (ja) 2009-04-30
CN1992900B (zh) 2010-06-23
EP2173103A3 (en) 2010-09-08
KR20000064898A (ko) 2000-11-06
US20050100092A1 (en) 2005-05-12
JP2009071877A (ja) 2009-04-02
HK1109278A1 (en) 2008-05-30
EP2357829A1 (en) 2011-08-17
US20080152007A1 (en) 2008-06-26
EP2352297B1 (en) 2016-04-13
EP2352300A1 (en) 2011-08-03
EP1511325A2 (en) 2005-03-02
EP2352298A1 (en) 2011-08-03
JP4963520B2 (ja) 2012-06-27
HK1109001A1 (en) 2008-05-23
JP2006060840A (ja) 2006-03-02
US20080144718A1 (en) 2008-06-19
EP0898427A4 (en) 2004-04-28

Similar Documents

Publication Publication Date Title
CN1284376C (zh) 动态图像译码装置和方法
CN1297148C (zh) 动画图像编码传送系统、动画图像编码传送方法、该系统和方法使用的适合的编码装置、译码装置、编码方法、译码方法以及程序
CN1160967C (zh) 图像编码设备和图像解码设备
CN1171459C (zh) 图像编码装置及图像译码装置
CN1056716C (zh) 动态图象的编码/解码方法、装置及其存储介质
CN1596547A (zh) 移动图像编码设备、移动图像解码设备、移动图像编码方法、移动图像解码方法、程序和存储程序的计算机可读记录媒介
CN1197351C (zh) 图像合成装置
CN1156171C (zh) 提高处理效率的图象声音处理装置
CN1075323C (zh) 运动矢量编码和解码方法及装置,图像信号编码和解码方法及装置
CN1114887C (zh) 图像合成方法和图像合成装置
CN1177485C (zh) 图像解码装置
CN1208970C (zh) 图像处理装置
CN1135850C (zh) 运动图象编码装置及运动图象译码装置
CN1122420C (zh) 图象译码装置
CN1513268A (zh) 编码方法、译码方法、编码装置、译码装置、图象处理系统、编码程序和译码程序
CN1220390C (zh) 图像处理设备和图像处理方法
CN1801945A (zh) 编码视频序列变换装置和编码视频序列变换方法
CN1960496A (zh) 运动矢量检测装置
CN1640148A (zh) 动态图像编码方法及动态图像解码方法
CN1335724A (zh) 编码装置和编码方法
CN1918602A (zh) 多模α图像处理
CN1744720A (zh) 可变长度解码装置
CN1922630A (zh) 图象处理装置、图象处理系统、图象处理方法、图象处理程序及集成电路装置
CN1168322C (zh) 图象编码和解码方法
CN1993993A (zh) 图像处理设备、其程序、及其方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CX01 Expiry of patent term

Granted publication date: 20061108

CX01 Expiry of patent term