CN1116768C - 图像编码装置和方法 - Google Patents

图像编码装置和方法 Download PDF

Info

Publication number
CN1116768C
CN1116768C CN97190337A CN97190337A CN1116768C CN 1116768 C CN1116768 C CN 1116768C CN 97190337 A CN97190337 A CN 97190337A CN 97190337 A CN97190337 A CN 97190337A CN 1116768 C CN1116768 C CN 1116768C
Authority
CN
China
Prior art keywords
coding
image
picture
data
picture frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN97190337A
Other languages
English (en)
Other versions
CN1188582A (zh
Inventor
加藤吾郎
三原宽司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1188582A publication Critical patent/CN1188582A/zh
Application granted granted Critical
Publication of CN1116768C publication Critical patent/CN1116768C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开一种图象编码装置及其方法，当编码生成数据量在图像解码装置中的数据占有量小于对应于第一类型、第二类型、第三类型图像的第一、第二、第三阈值时，正在进行的对第一类型、第二类型、第三类型图像的编码处理将被终止。其特征在于，第一、第二、第三阈值分别设置为对应于第一类型图像即帧内编码、第二类型图像即预测编码、第三类型图像即双向预测编码。

Description

图像编码装置和方法
本发明涉及图像编码方法和装置以及记录图像编码程序的载体，尤其适用于将压缩编码的图像传输到图像解码装置的情况。
在通讯系统中，为了从图像编码装置传输经过编码压缩的图像数据，并在图像解码装置上解码传输过来的图像数据；在图像记录和复制装置中，为了记录经过压缩的图像数据，并在复制时将压缩的图像数据解压缩输出，MPEG(活动图像专家组)标准所采用的双向预测编码系统被用来压缩图像数据。在这种双向预测编码系统中，编码效率由于采用双向预测而得以提高。在双向预测编码系统中，采用三种即帧内编码，帧间单向预测编码和双向预测编码。每一种编码方式相应的图像帧分别称之为I图像帧(帧内编码图像帧)，P图像帧(预测编码图像帧)和B图像帧(双向预测编码图像帧)。
然而，在压缩编码图像数据的图像编码装置中这些装置利用的是MPEG标准所采用的双向预测编码系统，采用一个缓冲来检验在图像编码装置端编码时虚拟地考虑了图像解码装置端的输入缓冲，该缓冲称为VBV(视频缓冲检验器)缓冲。VBV缓冲用来保证在解码压缩的图像数据时，图像解码装置的输入缓冲容量是足够的，而且图像编码装置产生的数据量被控制为，使其不超过或低于VBV缓冲所允许的数据占有量限制(参见“Multimedia，byTelevision Academic Association MPEG”，115页，Ohm-sha出版)。
更明确的说，在编码数据以固定的比特率从图像编码装置输出的情况下，如图1所示，当图像数据的比特流以固定比特率输入VBV缓冲时，VBV缓冲所产生的图像数据使VBV缓冲的数据占有量不会上溢或下溢。
在图像解码装置中，从图像编码装置传输来的比特流通过VBV缓冲的作用，以一帧为一个单位解码为图像数据。因此，即使从图像数据编码装置传来的编码数据的比特率是恒定的，解码所生成的各帧图像也会有不同的数据量。例如，采用帧内编码(即帧内编码I图像帧)，每帧编码后的图像数据量将大于采用前导图像帧和后继图像帧运动补偿法编码后每帧(即P帧和B帧)图像的数据量。但只要解码时VBV缓冲中数据占有量没有上溢或下溢，每帧图像将被正确解码。
在图1中，每一x线段的斜率表示数据流以固定的比特率被传输，每一x线段的x1位置表示VBV缓冲中的数据占有量。同样的，线段y表示一帧数据做为I图像帧、B图像帧、P图像帧从VBV缓冲中读出时的状态，这时VBV缓冲的数据占有量迅速地降低。
然而，如图2所示，如果图像数据量超过VBV缓冲预先设定的数据占有量，VBV缓冲将发生下溢。这意味着由于缺少图像解码所需的数据(图2中位于0以下的部分)，无法解码该图像。这种情况是由于图像的复杂性或快速的运动，即使设置了控制数据率的目标编码生成数据量，仍然会产生过多的图像解码数据。
VBV缓冲的功能在ISO(国际标准化组织)/IEC(国际电气协会)13818-2文档(MPEG2视频部分)的复录C中有描述。但是，对于VBV缓冲发生上溢或下溢时图像解码装置的功能，该文档中并没有说明。
作为防止VBV缓冲出现下溢的一个方法，我们提出可以对VBV缓冲设置一个固定阈值，并且当VBV缓冲的数据占有量小于该阈值时跳过图像帧(即停止对图像的解码处理)。
然而，采用这种方法有可能跳过对任何一种类型图像帧的解码处理。在出现跳过某一帧的情况下，由于I图像帧其中包含解码时有关图像质量的最重要的数据解码时产生的数据量(即数据率)要大于P图像帧和B图像帧解码时产生的数据量，因此出现跳过I图像帧的情况将多于跳过P图像帧和B图像帧的情况。于是在出现跳过I图像帧的情况时，该I图像帧的预测图像帧即P图像帧和B图像帧的图像质量也将受到影响，从而有可能出现整体图像质量的下降。
本发明是鉴于以上问题而设计的，其目的在于提供一种图象编码装置和编码方法，能够在不降低图象质量的情况下防止VBV缓冲出现下溢。
在本发明中，为了解决前面提到的问题，采用了计算压缩图像编码后的编码生成数据量的编码控制部分。根据计算得到的编码生成数据量，编码控制部分控制编码部分，当图像解码装置缓冲中的数据占有量小于第一、第二或第三阈值时，终止相应的第一类型图像帧、第二类型图像帧或第三类型帧图像的解码处理。其中第一、第二和/或第三阈值的设置分别对应于第一类型图像帧即帧内编码、第二类型图像帧即预测编码、和第三类型图像帧即双向预测编码
而且，在第一类型图像帧、第二类型图像帧或第三类型图像帧的解码处理被终止的情况下，图像解码缓冲区中仍保证有足够空间留给后面的图像帧使用。
此外，在解码时根据图像编码类型的重要性来设置第一、第二和/或第三阈值，重要程度更高的图像其缓冲空间在图像解码装置的缓冲区中将优先得到保证。
通过这种方法，图像解码装置和方法可以既不降低图象的质量，又可以防止图像解码装置的缓冲中出现下溢。
更进一步来说，根据图像编码类型，编码部分采用相应的编码方法对图像的每一帧进行压缩和编码。根据图像解码装置的输入缓冲，数据占有量计算部分计算虚拟缓冲中的数据占有量。编码难度计算部分计算已编码图像帧的后继图像帧的编码难度。在一图像帧完成编码后，当数据占有量计算部分计算出的数据占有量小于设定的数据占有量判断阈值时，并且当编码难度计算部分计算出的编码难度与设定的标准一致时，图像跳过控制部分对下一个待编码图像帧进行编码，将其编码成由跳过宏像块组成的图像帧。
通过这种方式，本发明能够避免对应于图像解码装置输入缓冲的虚拟缓冲出现下溢，同时也尽可能减小对图像质量的影响。
图1是表示VBV缓冲中数据占有量变化的概要图；
图2是表示VBV缓冲中出现下溢时的概要图；
图3是表示根据本发明第一实施例的图像编码装置的大致结构的方框图；
图4是当VBV缓冲中的数据占有量低于第一阀值时，表示数据占有量变化的概要图；
图5是当VBV缓冲中的数据占有量低于第二阈值时，表示数据占有量变化的概要图；
图6是当VBV缓冲中的数据占有量低于第三阈值时，表示数据占有量变化的概要图；
图7是表示编码控制电路工作的流程图；
图8是表示根据本发明第二实施例的图像编码装置的大致结构的方框图；
图9是表示图8中图像编码装置的详细结构的方框图；
图10是表示图9的编码控制部分的工作过程流程图。
(1)第一实施例
在图3中，1代表整个图像编码装置。从输入端W1进来的输入图像信号S1被送到图像类型指示电路2。
图像类型指示电路2指定图像信号S1的每一帧将按哪一种图像编码类型被处理即是I图像帧，P图像帧，还是B图像帧。并将结果输出到图像编码次序排序电路3。例如，这一图像编码装置将15帧做为一个图像组(GOP)，一个图像组为一处理单元进行编码处理。
图像编码次序排序电路3将图像编码类型数据S3输出到预测模式决定电路5、运动向量检测电路6、和编码控制电路7。与此同时，编码次序排序电路3根据指定的图像编码类型将每一帧排序，并将结果做为图像信号S2输出到扫描转换器4。此外，为了检测当前被编码帧的运动向量，图像编码次序排序电路3还输出当前图像帧、当前图像帧的前面一帧(以下简称为前导参考图像帧)、和/或当前图像帧的后面一帧(以下简称为后继参考图像帧)，做为信号S4送到运动向量检测电路6。
扫描转换器4将电路3提供的输入帧转换成像块格式信号，以16行为一个单元将一帧划分为N片。每一片又被划分成N个由16×16像素亮度信号组成的宏像块。每个宏像块被赋予一个地址(变长编码，增量值)，用来表示每一宏像块的位置。这样，图像帧中首先被传输的宏像块地址表示该宏像块的序号，而后继宏像块的地址表示本宏像块与前一宏像块绝对地址之差。
根据与图像信号S2每一帧同步的图像编码类型数据S3，运动向量检测电路6对每帧图像数据进行处理，I图像帧采用帧内编码，P图像帧采用帧间预测编码，B图像帧采用双向预测编码。采用这样的方式，在运动向量检测电路6中，I图像帧图像数据存于用来保存前导参考图像帧的前导参考图像帧存储器中(图中未画)，B图像帧图像数据存于用来保存当前图像帧的当前图像帧存储器中(图中未画)，P图像帧图像数据存于用来保存后继参考图像帧的后继参考图像帧存储器中(图中未画)。
然后，当B图像帧或P图像帧图像输入运动向量检测电路6时，后继参考图像帧存储器中的第一个P图像帧被存到前导参考图像帧存储器中。接着，后面的B图像帧图像数据被存于当前图像帧存储器中，P图像帧图像数据被存于后继参考图像帧存储器中。接下来将继续重复执行这些操作。
运动向量检测电路6将前向预测运动向量，和做为运动向量估计冗余的本时刻运动向量数据S5输出到预测模式决定电路5。而且，运动向量检测电路6在B帧图象的情况下，还输出反向预测运动向量，和该时刻做为运动向量估计冗余运动向量数据S5。
预测模式决定电路5决定在帧内模式、前向预测模式、反向预测模式、和双向预测模式中，采用哪一种模式。
这里，帧内模式是指根据只传输要编码的图像数据帧的数据本身；前向预测模式是指传输前导参考图像帧的预测冗余和前向运动向量；而反向预测模式是指传输后继参考图像帧的预测冗余和反向运动向量；双向预测模式中是指传输前导参考图像帧和后继参考图像帧两个图像帧预测冗余的平均值，和前向和反向两个运动向量。在B图像帧情况下，每一宏像块都可以采用四种预测模式中的不同模式。
根据从图像编码次序排序电路3输出的图像编码类型数据S3，预测模式决定电路5在I图像帧情况下选择帧内模式，在P图像帧情况下选择帧内模式或前向预测模式，而在B图像帧情况下选择帧内模式、前向预测模式、反向预测模式和双向预测模式中的一种，并将表示所选定预测模式的预测模式数据S6输出到运算电路8。
根据预测模式数据S6，运算电路8在从扫描转换器4读出的宏像块S7上进行帧内、前向预测、反向预测、或双向预测运算。
当将被处理的一帧图像数据做为I图像帧宏像块S7被输入时，运算电路8对该图像数据进行帧内编码，然后将其输出到DCT(离散余弦变换)电路9。DCT电路9将经过帧内编码的图像数据转换成DCT系数，并将结果输出到量化电路10。
根据编码控制电路7指定的量化步长，量化电路10将每一个DCT系数量化，然后将结果输出到变长编码电路11和逆量化电路12。
变长编码电路11将已量化的图像数据、从预测模式决定电路5输出的预测模式数据S6、运动向量检测电路6输出的运动向量数据S5转换成变长数据码(如哈夫曼码)，然后通过传输通路(图中未画)将结果传输到图像解码装置13，同时将结果输出到编码控制电路。变长编码电路11也计数每一宏像块的增量值。
逆量化电路12根据量化时采用的量化步长，将已量化的图像数据逆量化，然后将结果输出到逆DCT电路14。逆DCT电路14对逆量化电路12的输出进行逆DCT变换处理。逆DCT电路14的输出通过计算器15，被存储在前导参考图像帧存储单元中(图中未画)该存储单元在帧存储器16中保存前导参考图像帧。
然后，扫描转换器4将被做为P图像帧处理的图像数据传送到运算电路8。当预测模式决定电路5输出的预测模式数据S6是帧内模式时，该帧图像数据被帧内编码正如上面描述的I图像帧情况一样，同时通过DCT电路9、量化电路10和变长编码电路11，图像数据还被传输到图像解码装置13和解码控制电路7。随后，通过逆量化电路12、逆DCT电路14和计算器15，该帧图像数据被保存在后继参考图像帧存储单元中(图中未画)，该存储单元在帧存储器16中保存后继参考图像帧。
当预测模式数据S6表示前向预测模式时，保存在帧存储器16的前导参考图像帧存储单元中的图像数据(在本例中即I图像帧图像数据)被读出，并输出到运动补偿电路17。
根据运动向量检测电路6输出的前向运动向量数据S5，运动补偿电路17对图像数据进行补偿。
更为具体一些，在前向预测模情况式下，运动补偿电路17读出帧存储器16的后继参考帧存储单元(该单元中保存的是对应前向运动向量数据S5的图像数据部分)中的数据，这段数据的位置与运动向量检测电路6正在输出的宏像块位置相对应。接着，运动补偿电路17形成预测参考图像帧，并将其输出到运算电路8和计算器15。
运算电路8从扫描转换电路4输出的参考图像帧的宏像块数据S7中减去运动补偿电路17输出的宏像块相对应的预测参考图像帧数据，得到差值数据并将其输出到DCT电路9。通过DCT电路9、量化电路10和变长编码电路11，该差值数据被传输到图像解码装置13和编码控制电路7。而且，这一差值数据被逆量化电路12和逆DCT电路14局部解码，并被输出到计算器15。
计算器15将运动补偿电路17输出的预测参考图像帧数据与逆DCT电路14输出的差值数据相加。至此可得到被局部解码的P图像帧图像数据。该P图像帧图像数据被保存在后继参考图像帧存储单元中，该存储单元在帧存储器16中保存后继参考图像帧。
然后，扫描转换器4将被做为B图像帧处理的图像帧数据输出到运算电路8。当预测模式决定电路5输出的预测模式数据S6是帧内模式或前向预测模式时，该帧图像数据的处理将如同前面所描述的P图像帧情况下一样。另一方面，如果预测模式数据S6被设置为反向预测模式，则保存在帧存储器16中的图像后继参考图像帧存储单元中的图像数据(在本例中即P图像帧数据)被读出，并输出到运动补偿电路17。
根据运动向量检测电路6输出的反向运动向量数据S5，运动补偿电路17对这一图像数据进行运动补偿。
更为具体的例子是，在反向预测模式情况下，运动补偿电路17读出帧存储器16的后继参考帧存储单元(该单元中保存的是对应运动向量数据S5的图像数据部分)中的数据，这段数据的位置与运动向量检测电路6正在输出的宏像块位置相对应。接着，运动补偿电路17形成预测参考图像帧，并将其输出到运算电路8和计算器15。
运算电路8从扫描转换电路4输出的参考图像帧的宏像块数据S7中减去运动补偿电路17输出的宏像块相对应的预测参考图像帧数据，得到做为预测冗余的差值数据。这一差值数据被输出到DCT电路9。
此时，计算器15将运动补偿电路17输出的预测参考图像帧数据与逆DCT电路14输出的差值数据相加。至此可得到被局部解码的B图像帧图像数据。
在双向预测模式情况下，保存在帧存储器16的前导参考图像帧存储单元中的图像数据(即I图像帧图像数据)和保存在后继参考图像帧存储单元的图像数据(即P图像帧图像数据)被读出，并被送到运动补偿电路17。
根据运动向量检测电路6输出的运动向量数据S5包括前向运动向量和反向运动向量，运动补偿电路17对这一图像数据进行运动补偿。
更为具体一些，在双向预测模式情况下，运动补偿电路17读出帧存储器16的前导参考帧存储单元(该单元中保存的是对应前向运动向量数据S5的图像数据部分)和后继参考帧存储单元中(该单元中保存的是对应反向运动向量数据S5的图像数据部分)中的数据，这段数据的位置与运动向量检测电路6正在输出的宏像块位置相对应。接着，运动补偿电路17形成预测参考图像帧，并将其输出到运算电路8和计算器15。
运算电路8从扫描转换电路4输出的参考图像帧的宏像块数据中，减去运动补偿电路17输出宏像块相对应的预测参考图像帧数据的平均值，得到做为预测冗余的差值数据，并将其输出到DCI电路9。
此时，计算器15将运动补偿电路17输出的预测参考图像帧数据与逆DCT电路14输出的差值数据相加。至此可得到被局部解码的B图像帧图像数据。这时由于B图像帧没有被其他图像帧作为预测帧，所以该帧图像数据没有被保存在帧存储器16中。
在解码器缓冲18中，图像解码装置13将从图像编码装置1以固定比特率传输过来的比特流存储，然后以固定的时序从解码器缓冲18中读出一帧帧图像数据，并在解码单元19中相继解码。已解码图像帧的排列次序与原图像的播放次序相同，例如可以在显示器上显示。
这里，解码器缓冲18构成一缓冲，用来保证在图像编码装置1端虚拟地假设解码缓冲(即VBV缓冲)，而且图像编码装置1的设计中，已知解码单元19从解码器缓冲18中读出图像数据的时序。
在本实施例中，编码控制电路7计算变长编码电路11输出的已被编码的图像数据每一宏像块所产生的编码数据量，并对增量值进行计数。编码控制电路7还输出表示目标编码生成数据量的量化步长控制信号S8到量化电路10，并控制每一图像帧的编码生成数据量。
另外，编码控制电路7还保存有第三、第二和第一阈值，这些阈值是做为VBV缓冲18(解码器缓冲)的数据占有量阈值。第三、第二和第一阈值分别对应B图像帧、P图帧和I图像帧。这些阈值按这样的方法设置即随着图像编码类型重要性的降低，其对应的阈值变大：第三阈值＞第二阈值＞第一阈值。采用这种方法，当B图像帧正在被编码时，如果根据变长编码电路11输出的图像编码数据生成量，该图像数据在解码器缓冲18中的数据占有量小于第三阈值，则编码控制电路7输出一跳过执行信号S9，并跳过这一正在被编码的B帧图像数据的一个宏像块。这样，数据占有量的降低被抑制住。
这里，跳过是指停止正在进行的编码处理。
当对图像数据进行如上处理时，由数据缓冲18构成的VBV缓冲18中的数据占有量的变化如图4所示。图4中的粗线部分表示图像数据被跳过。图5和图6中的粗线部分也表示同样的意义。
在本例中，当量化电路10接到跳过信号S9，便接通一个内部的跳过开关，跳过对图像数据的处理。在这种情况下，编码控制电路7将被跳过的宏像块的地址信息输出到变长编码电路11。量化电路10不再生成编码数据(比特)。另外，如果图像数据没有被跳过，量化电路10将断开跳过开关，将图像数据量化。
在此，编码控制电路7获知图像解码装置13的解码单元19从解码器缓冲18中读出数据的时序。而且，由于变长编码电路11输出的编码图像数据量已被计算出来，编码控制电路7能够得知当前保存在解码器缓冲18中的数据量。
在图像数据没有被跳过的情况下，变长编码电路11将带有地址信息的图像数据传输到编码控制电路7和图像解码装置13，并对增量值进行计数。另一方面，如果图像数据被跳过，变长编码电路11对增量值进行计数，但不输出被跳过宏像块的地址信息，按行方向上第一个宏像块的地址(以后简称为首地址)和最后一个宏像块的地址(以后简称为尾地址)进行变长编码处理其中的宏像块按垂直方向和水平方向对齐，并将结果输出到编码控制电路7和图像解码装置13。
编码控制电路7和图像解码装置13能够得知被跳过的图像数据的编码类型。这里，通过输出指示信号S10到变长编码电路11，编码控制电路7将首地址信息和尾地址信息传输到变长编码电路11。
而且，当被编码的图像是P图像帧，并且被生成的图像数据在解码器缓冲18中的数据占有量小于第二阈值时，编码控制电路7输出跳过执行信号S9到量化电路10，以宏像块为单位跳过正在被编码的P图像帧图像数据。
当出现P图像帧被跳过的情况，编码控制电路7也跳过所有以被跳过的P图像帧做为预测帧的B图像帧和P图像帧，即使这些图像帧在解码器缓冲18中的数据占有量大于各自对应的阈值。这是因为P图像帧P3以其前导P图像帧P2做为预测图像帧。更为具体一些，由于P图像帧P2在编码中途被跳过，将造成图像数据不充分，从而降低了利用P图像帧P2解码的P图像帧P3解码后的图像质量。对于B图像帧B5和B图像帧B6也一样。因此，直到下一个I图像帧为止的图像数据将被跳过。
此外，如图5所示，即使B图像帧B3、B图像帧B4、P图像帧P3、B图像帧B5和B图像帧B6分别被跳过，缓冲中的数据量仍然下降。原因是首地址信息和尾地址信息被读出。图6中的情况也一样。
另外，在I图像帧被解码时，根据变长编码电路11输出的图象数据的编码发生量，被生成的图像数据在解码器缓冲18中的数据占有量小于第三阈值时，编码控制电路7输出跳过执行信号S9到量化电路10，然后对I图像帧以后的图像数据进行编码，将其宏像块编码成只包含DC数据。这种情况下，编码控制电路7控制量化电路10跳过后面的B图像帧和P图像帧，直到遇到下一个I图像帧。
以图6中所示的为例，这是由于P图像帧P2将I图像帧I1做为预测图像帧。更为具体一些，由于I图像帧I1中只有DC数据在编码过程中被编码，将造成图像数据不充分，从而降低利用该I图像帧I1解码的P图像帧P2解码后的图像质量。对于利用I图像帧I1解码的P图像帧P2进行解码的B图像帧B3、B4、B5和B6也一样。因此，直到下一个I图像帧为止的图像数据将被跳过。
所以，图4至图6中的粗线表示宏像块被跳过，或帧内编码的宏像块中只有DC数据。
此外，当出现如上所述的图像数据被跳过的情况时，编码控制电路7通过目标编码生成数据量控制信号S8来控制量化电路10，使当图像因编码生成的数据量不足而被跳过时，为后面的图像数据分配更多的目标编码生成数据量。这种情况下，编码控制电路7根据解码时图像的重要程度来分配更多的目标编码生成数据量，例如以I图像帧、P图像帧的次序，给图像数据分配更多的目标码生成数据量。
当图像帧在图像编码装置1被跳过时，图像解码装置13根据传输过来的地址信息，能够判断出哪一个宏像块被跳过。因此当宏像块被跳过时，前导图像帧根据其此时的数据被直接显示出来。
编码控制电路7的功能描述参见图7。
编码控制电路7从步骤SP1开始工作。在步骤SP2，根据图像编码排序电路3送来的图像编码类型S3，编码控制电路7判断将被编码的图像帧(以下称为目标编码图像帧)属于哪一种编码类型，然后继续步骤SP3。
根据已被设置上跳过决定标志的图像帧(以下称为跳过图像帧)的图像编码类型，以及目标编码图像帧的图像编码类型，编码控制电路7判断是否跳过目标编码图像帧。这里，跳过决定标志表示跳过图像帧的标，将在下面描述志。
在步骤SP3判断是否跳过目标编码图像帧，其原因是为了决定该跳过帧是否是目标编码图像帧的预测图像帧。如上所述，再具体一些，当目标编码图像帧的预测图像帧被跳过时，将影响到使用该预测图像帧解码的图像帧的图像质量。因此，当对目标编码图像帧进行编码时，即使解码器缓冲18中的数据占有量并不小于该目标编码图像帧的图像编码类型对应的阈值，也必须跳过该图像帧。例如，假设P图像帧P3(见图5)是目标编码图像帧，该P图像帧P3的预测帧即P图像帧P2被跳过。
在步骤SP3，如果编码控制电路得到的结果为否，则继续步骤SP4，复位跳过决定标志。在此复位跳过决定标志的原因是为了避免不应被跳过的图像帧被跳过。
接着，在步骤SP5计算目标编码生成数据量后，编码控制电路7继续步骤SP6，对目标编码图像帧的每一宏像块编码。然后在步骤SP7，编码控制电路7计算解码器缓冲18中当前的数据占有量，并继续步骤SP8。
在步骤SP8，编码控制电路7判断在步骤SP7中算出的解码器缓冲18的数据占有量是否小于目标编码图像帧对应的阈值，如果结果为否，则编码控制电路7继续步骤SP9。在步骤SP9，编码控制电路7判断目标编码图像帧是否已完成一帧的编码，如果结果为否，则返回步骤SP6，循环执行步骤SP6到SP9。
如果在步骤SP3判断为跳过目标编码图像帧，编码控制电路7将执行步骤SP10，跳过除了首地址信息和尾地址信息的目标编码图像帧，当目标编码图像帧是I图像帧时，将其编码成仅有DC数据的宏像块。另外，在步骤SP8如果解码器缓冲18中的数据占有量低于该目标编码图像帧对应的阈值，编码控制电路7以宏像块为单位跳过目标编码图像帧。
然后，编码控制电路7继续步骤SP11，判断目标编码图像帧一帧的编码是否已完成。
如果在步骤SP11所得的结果为否，编码控制电路7将返回步骤SP10，并循环执行步骤SP10和步骤SP11。如果在步骤SP11所得的结果为是，将执行步骤SP12。在步骤SP12，编码控制电路7对被跳过的图像帧设置对应的跳过决定标志，然后返回步骤SP2重复执行前面的操作，直到图像信号全部被处理完。
根据前述的结构，根据来自图像编码装置1中的变长编码电路11的图像编码生成数据量，B图像帧被编码。如果图像的编码数据在解码器缓冲18中的数据占有量小于第三阈值，正在被编码的B图像帧数据将以宏块为单位被跳过，解码器缓冲18中将保证下一个P图像帧数据的VBV缓冲数据占有量。
此外，在图像编码装置1中，根据来自变长编码电路11的图像编码生成数据量，P图像帧被编码。如果图像的编码数据在解码器缓冲18中的数据占有量小于第二阈值，正在被编码的P图像帧数据将以宏块为单位被跳过，解码器缓冲18中将保证下一个I图像帧数据在VBV缓冲中的数据占有量。
还有，当P图像帧被跳过时，以该P图像帧做为预测图像的P图像帧和B图像帧都将被跳过，从而防止了图像质量的恶化。
另外，在图像编码装置1中，根据来自变长编码电路11的图像编码生成数据量，I图像帧被编码。如果图像的编码数据在解码器缓冲18中的数据占有量小于第一阈值，正在被编码的I图像帧数据将以宏块为单位被跳过，从而解码器缓冲18中将保证下一个I图像帧数据的数据占有量。
还有，当I图像帧被跳过时，直至下一个I图像帧的所有P图像帧和B图像帧都将被跳过，从而防止了图像质量的恶化。
因此，在图像编码装置1中，在解码时具有次等重要性图像编码类型的图像帧被优先跳过，解码器缓冲18中将保证具有更高重要性图像编码类型的图像帧数据在VBV缓冲中的数据占有量。
此外，在图像编码装置1中，在解码时具有次等重要性图像编码类型的图像帧被优先跳过，在解码时具有更高重要性图像编码类型的图像帧将分得被跳过图像帧的目标编码数据量，从而具有更多的目标编码生成数据量，这样可以避免图像质量的恶化。这种方法在图像模式复杂的情况下特别有效。
还有，在图像解码装置13端的图像静止状态可以由图像编码装置1端来控制。
根据上述的结构，第一、第二、和第三阈值的数值按从大到小的顺序排列为：第三、第二、第一阈值，而且第三、第二、第一阈值分别做为B图像帧、P图像帧和I图像帧的VBV缓冲数据占有量的阈值。因此在图像解码时，具有较低重要性图像编码类型的图像帧将被优先跳过。
据此在图像解码时，具有更高重要性图像编码类型的图像帧在VBV缓冲中的数据占有量将优先得到保证。因此我们能够使图像编码装置1既避免VBV缓冲中出现下溢，又没有图像质量的降低。
还有，在前面所说的第一实施例中，提到变长编码电路11中采用哈夫曼编码做为编码系统的例子。但是本发明并不仅限于此，变长编码电路11可以采用不同的编码做为其编码系统。
此外，在前面所说的第一实施例中，提到例如以15帧做为一个图像组，并将其做为一个单元处理。但是本发明并不是仅限于此，组成一个图像组的帧数可以是其他的数值。
还有，在前面所说的第一实施例中，提到对图像的每一帧进行编码。但是本发明并不是仅限于此，也可以对一场图像进行编码，或者对图像场和图像帧的组合进行解码。这样本发明可与逐行扫描系统相兼容。
而且，在前面所说的第一实施例中，提到使用图像编码排序电路3和编码控制电路7来判断将被编码的图像的编码类型。但是本发明并不是仅限于此，而是可以使用其他各种图像编码类型判断方法来判断图像编码类型。
再者，在前面所说的第一实施例中，提到根据图像编码类型判断部分的输出，通过图像编码类型指示电路2、图像编码次序排序电路3、扫描转换器4、预测模式决定电路5、运动向量检测电路6、编码控制电路7、运算电路8、DCT电路9、量化电路10、变长编码电路11、逆量化电路12、逆DCT电路15、帧存储器16和运动补偿电路17，对第一类型、第二类型和第三类型图像帧进行编码。但是本发明并不是仅限于此，编码部分也可以采用其他各种编码方法。
还有，在前面所说的第一实施例中，提到使用编码控制电路7做为编码控制部分，通过计算图像编码后所产生的编码数据量来控制编码部分。根据计算的结果，如果编码数据在图像解码装置的缓冲中的数据占有量小于第一、第二、或第三阈值即对应于正在编码的第一类型、第二类型、和第三类型图像帧，其中数据占有量的第一、第二和第三阈值是根据第一类型、第二类型、和第三类型图像帧分别设置的则停止当前正在进行的对第一类型、第二类型、和第三类型图像帧的编码处理。但是本发明并不是仅限于此，编码控制部分可以采用其他各种不同的编码控制方法。
另外，在前面所说的第一实施例中，提到根据图像的三种编码类型，即I图像帧、P图像帧和B图像帧，对图像数据进行编码。但是本发明并不是仅限于此，对于只采用三种编码方法中的两种编码方法例如I图像帧和P图像帧，I图像帧和B图像帧进行编码的系统，也可以使本发明获得如上述第一
实施例同样的效果。
关于这一点，VBV缓冲中数据占有量的阈值是这样设置的，第一阈值对应于I图像帧，大于第一阈值的数据占有量阈值被设置为第二或第三阈值，分别对应于P图像或B图像帧。因此，在解码图像时重要性低于I图像帧的P图像帧或B图像帧将被优先跳过。
因此在VBV缓冲中，图像解码时图像编码类型较重要的图像帧，其数据占有量将得到保证。因而，图像编码装置的确能够既防止VBV缓冲中出现下溢，又避免图像质量的下降。
(2)第二实施例
在图8中，图像编码装置25执行如下处理，例如在编码器控制单元26对输入的图像信号S25进行压缩编码的预处理，然后在FIFO(先进先出)存储器27中将输出数据延迟某一固定时间。根据图像编码类型采用相应的编码方法，FIFO存储器27的输出数据被压缩编码。编码器28对每一图像帧类型采用一种编码方法，然后输出压缩后的图像数据S26。
基于编码器控制单元26的输出检测到的运动向量，由运动向量检测电路30输出到编码器28，并被编码控制单元31根据如下的信号所控制，这些信号包括编码器13输出的生成比特率数据S27，编码器控制单元26输出的内部AC数据S28，运动向量检测电路30输出的ME冗余数据S29。
图8所示的图像编码装置25是根据预编码图像的特征，采用正反馈类型的数据率控制，来控制编码生成的数据量。
这里，简单说来，ME冗余是采用这种方法得到的，将所有图像帧的运动预测误差的平方或绝对值累加就得到ME冗余，因此通过ME冗余数据S29可以得到ME冗余。
编码控制单元31由一台计算机构成。它包括一个CPU(中央处理单元)33，一个ROM(只读存储器)34和一个RAM(随机访问存储器)35，它们之间通过总线32互相联接。CPU33使用RAM35做为工作空间，执行存储在ROM34中的程序，从而实现编码控制单元31的各项功能。ROM34是一个存储器，其中存放着基于本发明的图像编码控制程序。其他存储器，例如采用磁盘做为记录载体的如硬盘、软盘，采用光盘做为记录载体的如CD-ROM，都可以用来做为这一存储装置。采用其他任何记录载体的存储装置也可以做为ROM34。总之，IC和其他各种各样的记录载体都可以做为本发明中图像编码控制程序的载体。
如图9所示，编码器控制单元26由以下几部分组成：图像排序电路41输入一路输入图像信号S25，并根据编码次序对图像帧(I、P、B帧)进行排序；扫描转换/宏像块生成电路42，接收图像排序电路41的输出数据，判断其组成是图像帧还是图像场，对其进行扫描转换，将其转换成16×16的宏像块；内部AC计算电路43，接收扫描转换/宏像块生成电路42的输出数据，计算I图像帧中的内部AC数据，将内部AC数据S28输出到编码控制单元31，并将扫描转换/宏像块生成电路42的输出数据输出到FIFO存储器27和运动检测电路30。
这里，内部AC定义为8×8像素的DCT(离散余弦变换)像块中每一像素值和该DCT像块像素值的平均值之差的绝对值之和。
解码器28计数FIFO存储器27的输出数据和减法电路44的预测图像数据之差。DCT电路45对减法电路44输出数据的每一个DCT像块进行DCT变换，并输出DCT系数。DCT电路45的输出数据被量化电路46量化，随后在变长编码电路47中做变长编码处理。变长编码电路47的输出在缓冲存储器48中保持片刻，然后缓冲存储器48输出由固定比特率的比特流组成的压缩图像数据S26。
量化电路46的输出数据被逆量化电路49逆量化，逆DCT电路50对逆量化电路49的输出数据进行逆DCT变换。在加法电路51中，逆DCT电路50的输出数据与预测图像数据相加。加法电路51的输出数据保存在运动补偿电路52中，在那里根据运动检测电路14输出的运动向量对其进行运动补偿。预测图像数据被输出到减法电路44和加法电路51。
缓冲存储器48将生成比特率数据S27即表示变长编码电路47生成的比特率输出到编码控制单元31。
运动检测电路30寻找满足下面条件的宏像块，这一宏像块使得将被编码图像帧的目标宏像块的像素值与基于编码器控制单元26输出数据的参考图像帧的目标宏像块的像素值之差的绝对值之和或平方和最小，然后运动检测电路30检测运动向量，并将其输出到运动补偿电路52。此外，在获得运动向量的同时，将两个宏像块像素值之差的绝对值之和或平方和(最小值)做为ME冗余数据S29输出到编码控制单元31。
在ME冗余计算单元61，编码控制单元31将所有图像帧的ME冗余数据S29(来自运动检测电路30)累加，计算出ME冗余。基于ME冗余(由ME冗余计算单元61计算得到)和内部AC数据S28(来自内部AC运算电路43)，编码难度计算单元42计算出表示图像编码困难程度的编码难度。VBV缓冲大小计算单元62根据缓冲存储器48输出的生成比特率数据S27，计算VBV缓冲中的数据占有量。根据第二实施例，VBV缓冲是对应于图像解码装置输入缓冲的虚拟缓冲，在其中对图像编码装置28编码压缩的图像数据进行解码。ME冗余表示图像的运动速度和图像模式的复杂程度。
编码控制单元31还包括一个目标编码数据量决定单元64，该单元决定是否跳过或停止对图像的编码处理，以避免VBV缓冲中出现下溢。同时，根据编码难度计算单元63计算的编码困难程度和VBV缓冲大小计算单元62计算的VBV缓冲大小，目标编码数据量决定单元64决定目标编码数据量。量化指数决定电路65决定对应于量化电路46中量化特征值的量化指数，以使编码器28产生的编码数据量与目标编码数据量决定单元64决定的目标编码数据量一致，然后量化指数决定电路65将量化指数输出到量化电路46。通过这种方法，当跳过控制单元66判断出目标编码数据量决定单元64跳过图像编码时，它也控制量化电路46和变长编码电路47跳过图像编码处理。
下面将对编码难度作出描述。编码难度表示对图像编码的困难程度，或者换一种说法，它相当于为了保持稳定的图像质量所必须的数据量比率。有各种方法可以将图像编码的困难程度转换成对应的数值，但根据第二实施例，I图像帧编码难度可以用内部AC数据表示，P图像帧和B图像帧编码难度可以用ME冗余表示。在前面曾提到，内部AC数据表示图像模式的复杂度，ME冗余表示图像的运动速度和图像模式的复杂度，由于这些数据与编码难度密切相关，编码难度可以从内部AC数据和ME冗余计算得到，方法是编码难度做为内部AC数据和ME冗余的线性函数。
下面将描述一种基于编码难度决定VBV缓冲中出现下溢风险的方法。如前所述，当编码产生的数据量远远超过目标编码数据量时，VBV缓冲中出现下溢。这表示当输入图像的编码难度相对于比特率来说过大时，将出现下溢。因此，采用编码难度和比特率的比值做为判断VB缓冲中出现下溢风险的参数是一种合理的方法。而且，为判断VBV中出现下溢的风险，参考编码难度与几种待编码预测图像帧中的比特率的比值是很重要的。这是由于编码难度随着图像帧类型的不同而不同。如前所述，下面等式中定义的参数x将被用作判断VBV缓冲中出现下溢风险的参数。
x＝∑Dk/G                      ...(1)
这里，Dk表示k图像帧的编码难度，k表示图像帧的编码序号，下一个将被编码的图像帧序号为k＝1，∑表示k＝1至N的累加(N是一个GOP图像组中的图像帧数)。G的定义如下：
G＝([比特率]×N)/[帧频]          ...(2)
在等式(2)中，[比特率]表示每秒的数据率，由通信电路的传输容量或记录载体的记录容量来决定。[帧频]是每秒的帧数(例如，在NTSC制式中是30，在PAL制式中是25)。因此，G表示分配给N个图像帧的数据率(比特率)，x表示N个图像帧编码难度之和与分配给N个图像帧的数据率(比特率)之间的比值。
然而，x不必一定通过N帧图像来得到，也可以由大于或小于N个数目的图像帧计算得出。但是我们必须注意一个事实，那就是当这个数目远大于N时，下溢风险的判断精度将会下降。而当这个数目远小于N时，参数x的变化将会增大。
接下来将根据第二实施例介绍图像编码装置25的操作。输入图像信号S25被输入到编码器控制单元26。在编码器控制单元26中，首先，图像帧被图像排序电路41按I图像帧、P图像帧、B图像帧的次序排序。接着，判断这些图像是帧结构还是场结构，并根据判断结果，由扫描转换/宏像块生成电路42对其进行扫描转换/宏像块生成处理。然后，如果是I图像帧，将由内部AC运算电路43计算内部AC，并输出内部AC数据S28到编码控制单元31。另外，扫描转换/宏像块生成电路42的输出数据通过内部AC运算电路43输出到FIFO存储器27和运动监测电路30。
编码难度计算单元63中的FIFO存储器27对输入图像数据作一定时间的延时，使有足够的时间计算被编码图像帧之后N帧的编码难度，并将结果输出到编码器28。运动监测电路30检测图像中的运动向量，并输出运动向量数据到运动补偿电路52，同时输出ME冗余数据S29到ME冗余计算单元61。
在P图像帧的情况下，在编码器28中，FIFO存储器27的输出直接输出到DCT电路45进行DCT变换，不需要在减法电路44中计算与预测图像数据的差值。DCT系数被量化电路46量化，量化电路46的输出由变长编码电路47进行变长编码，变长编码电路47的输出数据在缓冲存储器48中保持片刻，接着被做为压缩图像数据S26以固定比特率的比特流形式被输出。
此外，量化电路46的输出数据由逆量化电路49进行逆量化，逆量化电路49的输出数据由逆DCI电路50作逆DCT变换，逆DCT电路50的输出图像数据通过加法电路51输出到运动补偿电路52，并将被保存在其中。
在P图像帧的情况下，在编码器28中，根据从图像数据和运动检测电路30输出的运动向量即对应于保存在运动补偿电路52中的前导I图像帧或前导P图像帧而形成预测图像数据，预测图像数据被输出到减法电路44和加法电路51。此外，来自FIFO存储器27的输出数据和来自运动补偿电路52的预测图像数据之差由减法电路44计算出，并由DCT电路45进行DCT变换，DCT系数由量化电路46进行量化处理，量化电路46的输出数据由变长编码电路47进行变长编码处理，变长编码电路47的输出数据被缓冲存储器48保存片刻，然后被做为压缩图像数据S26输出。另外，逆量化电路49对量化电路46的输出数据作逆量化处理，逆DCT电路50对逆量化电路49的输出数据作逆DCT变换，加法电路51将逆DCT电路50的输出数据与预测图像数据相加，将结果输出到运动补偿电路52并保存在其中。
在B图像帧的情况下，在编码器28中，根据两个图像数据即对应于保存在运动补偿电路52中的后继I图像帧或后继P图像帧和两个来自运动检测电路30的运动向量形成预测图像数据，并且预测图像数据被输出到减法电路44和加法电路51。随后，来自FIFO存储器27的输出数据和来自运动补偿电路52的预测图像数据之差由减法电路44计算出，并由DCT电路45作DCT变换，DCT系数由量化电路46进行量化处理，量化电路46的输出数据由变长编码电路47进行变长编码处理，变长编码电路47的输出数据被缓冲存储器48保存片刻，然后被做为压缩图像数据S26输出。B图像帧不会被保存在运动补偿电路52中。
缓冲存储器48输出生成比特率数据S27，该数据表示将由变长编码电路47生成并输出到编码控制单元31的比特率。
下一步将参考图10所示的流程图介绍编码控制单元31的功能。在此，将由编码难度计算单元61根据来自内部AC运算电路43的内部AC数据S28计算出编码难度，并在ME冗余计算单元61中计算出ME冗余，这样可以得到参数x(步骤SP21)。根据待编码预测图像帧之后的N个图像帧的编码难度，可以计算出参数x。
接着，将判断跳过标志是否为“1”(步骤SP22)。当跳过标志为“1”时，表示待编码的预测图像帧将被跳过。当跳过标志为“0”时，表示不跳过待编码的预测图像帧。
在跳过标志为“0”的情况下(即步骤SP22的判断结果为否)，根据由参数x和VBV缓冲大小计算单元62计算得到的VBV缓冲大小，目标编码数据量决定单元64将计算出j图像帧的目标编码数据量(步骤SP23)，并将其输出到量化指数决定单元65。j图像帧表示下一个将被编码的图像帧。
然后，根据量化电路46中的量化特征值，量化指数决单元65决定量化指数，以使编码器28中的编码生成数据量与目标编码数据量决定单元64决定的目标编码数据量一致。接着量化指数决单元65将量化指数输出到量化电路46，并对j图像帧进行编码(步骤SP24)。
另一方面，在跳过标志为“1”的情况下(即步骤SP22的判断结果为是)，目标编码数据量决定单元64指示跳过控制单元66跳过j图像帧，跳过控制单元66将显示前导图像帧(步骤SP25)。更详细一些，跳过控制单元66控制量化电路46跳过宏像块，并将被跳过宏像块的地址信息送到变长编码电路47。变长编码电路47接收到这些信息后，对其进行编码并将结果输出。因此，做为由被跳过的宏像块组成的图像帧，j图像帧被编码。
当步骤SP24或步骤SP25终止时，根据步骤SP24或步骤SP25的生成比特率，VBV缓冲大小计算单元62计算出VBV缓冲大小Bj(步骤SP26)。VBV缓冲大小Bj可以这样计算得出：在j图像帧被编码前，从VBV缓冲大小中减去j图像帧的生成比特率，在I图像帧的情况下，还要加上保存在VBV缓冲中的比特率。然后将判断后面图像帧的类型(步骤P27)。在图像帧类型为B图像帧的情况下，将判断VBV缓冲大小Bj是否小于B图像帧的占用率判断阈值Th(B)(步骤SP28)。在图像帧类型为P图像帧的情况下，将判断VBV缓冲大小Bj是否小于P图像帧的占用率判断阈值Th(P)(步骤SP29)。在图像帧类型为I图像帧的情况下，将判断VBV缓冲大小Bj是否小于I图像帧的占用率判断阈值Th(I)(步骤SP30)。占用率判断阈值被设置为Th(B)＞Th(P)＞Th(I)。
当Bj不小于Th(B)(即步骤SP28的判断结果为否)，Bj不小于Th(P)(即步骤SP29的判断结果为否)，或Bj不小于Th(I)(即步骤SP30的判断结果为否)时，由于不需要跳过下一图像帧，跳过标志被设置为“0”(步骤SP31)。
当Bj小于Th(B)(即步骤SP28的判断结果为是)，Bj小于Th(P)(即步骤SP29的判断结果为是)，或Bj小于Th(I)(即步骤SP30的判断结果为是)，将判断参数x是否超过了设定的编码难度判断阈值Th(x)(步骤SP32)。生成编码数据量超过目标编码数据量越多，通过阈值Th(x)可以判断出图像模式越复杂。当x小于Th(x)时，表示图像模式并不是太复杂，所以不必跳过下一图像帧，跳过标志被设置为“0”(步骤SP31)。相反，当x＞Th(x)时(为是的情况)，意味着持续又复杂的模式，所以这时判断为VBV缓冲下溢的危险较高，因要跳过下帧图象，故将跳过标志设为“1”(步骤SP33)。
当对跳过标志的设置完成后(步骤SP31，步骤SP33)，回到主过程，将j+1做为新的j(步骤SP34)，继续处理下一图像帧(步骤SP35)。
如上所述，根据第二实施例，在图像编码装置25中，由于VBV缓冲大小判断阈值是根据图像帧设置，并根据已编码图像帧后面几个图像帧的编码难度来判断是否按B图像帧、P图像帧、I图像帧的次序跳过编码，在输入图像的图像模式较复杂而且VBV缓冲有可能出现下溢的情况，对图像质量影响较小的B图像帧将被优先跳过。实际上，如果VBV缓冲中出现下溢的可能性不大，则图像帧不会被跳过。通过控制使对图像质量的影响尽可能的小，可以避免VBV缓冲中出现下溢。
此外，本发明并不仅限于上面所介绍的第二实施例的情况。例如，通过总结编码难度是超过还是低于判断标准、以及本实施例中用到的参数x等信息，可以得到编码难度，在此基础上判断是否跳过编码。输入图像的图像模式复杂性的预测精度还可以进一步提高，还可以更加准确地判断是否跳过图像帧的编码。更加具体一些，有些情况下，虽然编码难度目前很大，但编码难度正在不断降低，即使不跳过图像帧的编码，VBV缓冲中也不会出现下溢。因此通过努力在不必要时不执行跳过操作，可以尽可能地减少被跳过的图像帧数。通过最小平方法可以得到编码难度的线性近似函数，从该线性函数的斜率可以得知编码难度的变化趋势信息。例如在本例中，可以通过图9中的编码难度计算单元63得到编码难度的变化趋势信息。
另外，如图8所示，第二实施例中提到这样一种情况，在编码前根据图像数据的特征，采用正反馈数据率控制方法来控制生成编码数据量，除编码器28外没有另外的编码器。但是本发明也可以用于这样一种结构，其中除编码器28外，还提供一个第一编码器，在编码后估计数据率。根据第一编码器编码时估计的数据率，第二编码器28采用正反馈数据率控制方法来控制生成编码数据量。这个例子中，通过第一编码器编码时得到的生成编码数据量，可以得知编码难度。
此外，本发明不仅适用于正反馈类型的数据率控制结构，也适用于负反馈类型的数据率控制结构。负反馈类型的数据率控制结构根据以前编码的生成编码数据量，来控制生成编码数据量。其代表是著名的TM5(测试模型5ISO/IEC JTC/SC29(1993))即根据已编码图像帧的编码难度来预测后面图像帧编码难度的MPEG系统的一种压缩算法。这个例子中，将分析过去已编码图像帧的总体复杂度，并通过线性近似预测后面几个图像帧的编码难度，接着根据预测的编码难度得到本实施例中所用的参数x，最后根据参数x并采用与本实施例同样的方法判断是否跳过编码。
总体复杂度是表示屏幕复杂度的参数，与编码难度相关。更精确一些，可以通过图像编码时的编码生成数据量和图象压缩编码时的平均量化标度(量化特征值)之积得到总体复杂度(参考“MultiMedia，by Television AcademicAssociation MPEG”，111页，Omh-sha出版)。
还有，根据正反馈数据率控制结构，通过线性近似得到编码难度的变化趋势；或是根据负反馈数据率控制结构，通过线性近似预测后面几个图像帧的编码难度。在这两种情况下，当景物变化时，将会丧失编码难度的连续性。因此，在景物发生变化的情况下，如果为得到编码难度变化趋势的处理和预测编码难度的处理能够在景物变化前完成，如果在景物变化后开始新的处理，则处理精度将进一步得到提高。
另外，编码难度并不仅仅只可以由本实施例提到的内部AC和ME冗余表示，也可以由其他参数表示，只要这些参数可以表示图像的编码难度。
还有，上述第2实施例中提到根据图像帧类型，来改变判断VBV缓冲大小的阈值。但是本发明也包括这样的情况：不管图像帧类型是什么，判断VBV缓冲大小的阈值不变。
本发明适用于通讯系统，在发射端对图像数据进行压缩并将其发射出去；也适用于压缩图像记录和复制装置，压缩并记录图像数据，在复制时将压缩数据解压缩并输出。

Claims (12)

1.一种图像编码装置，执行第一类型编码处理，对视频信号中第一图像编码类型所指定的预定图像单元中的第一类型图像进行帧内编码；执行第二类型编码处理，对所述视频信号中第二图像编码类型所指定的预定图像单元中的第二类型图像进行预测编码；执行第三类型编码处理，对视频信号中预定图像单元中第三图像编码类型所指定的第三类型图像进行双向预测编码；上述编码视频信号输出到图像解码装置；其特征在于，上述图像编码装置包括以下组成部分：
图像编码类型判断部分，判断待编码目标图像的图像编码类型；
编码部分，根据图像编码类型判断部分的输出，执行第一类型、第二类型、或第三类型编码处理；
编码控制部分，控制所述编码部分，计算所述编码图像的编码生成数据量，根据计算结果，当编码生成数据量使得对应于图像解码装置的输入缓冲的虚拟缓冲中的数据占有量小于第一、第二或第三阈值时，停止第一、第二、或第三类型编码处理，所述第一、第二或第三阈值分别对应于第一、第二或第三类型图像，并且数据占有量的第一、第二或第三阈值是根据第一、第二、或第三编码类型图像来设置。
2.如权利要求1所述的图像编码装置，其特征在于，按从小到大的次序分别设置第一、第二、或第三阈值的数值。
3.如权利要求1所述的图像编码装置，其特征在于，根据编码部分的输出，如果待编码图像帧的预测图像帧未被编码，所述编码控制部分所述控制编码部分，使其停止所有将使用该预测图像帧进行解码的图像帧的编码处理。
4.一种图像编码方法，执行第一类型编码处理，对视频信号中第一图像编码类型所指定的预定图像单元中的第一类型图像进行帧内编码；执行第二类型编码处理，对所述视频信号中第二图像编码类型所指定的预定图像单元中的第二类型图像进行预测编码；执行第三类型编码处理，对视频信号中预定图像单元中第三图像编码类型所指定的第三类型图像进行双向预测编码；上述编码视频信号输出到图像解码装置；其特征在于，上述图像编码装置包括以下组成部分：
编码生成数据量计算步骤，计算被编码图像编码后生成的数据量；根据编码生成数据量计算步骤的计算结果，当编码生成数据量使得对应于图像解码装置的输入缓冲的虚拟缓冲中的数据占有量小于第一、第二或第三阈值时，停止第一、第二、或第三类型编码处理，所述第一、第二或第三阈值分别对应于第一、第二或第三类型图像，并且数据占有量的第一、第二或第三阈值是根据第一、第二、或第三编码类型图像来设置。
5.如权利要求4所述的图像编码方法，其特征在于，第一、第二、第三阈值按从大到小的次序排列成第一阈值、第二阈值、第三阈值。
6.如权利要求4所述的图像编码方法，其特征在于，如果没有对待编码图像帧的预测图像帧进行编码，则将停止对所有使用该预测图像帧进行解码的图像帧的编码。
7.一种图像编码装置，执行第一类型编码处理，对视频信号中第一图像编码类型所指定的预定图像单元中的第一类型图像进行帧内编码；执行第二类型编码处理，对所述视频信号中第二图像编码类型所指定的预定图像单元中的第二类型图像进行预测编码；执行第三类型编码处理，对视频信号中预定图像单元中第三图像编码类型所指定的第三类型图像进行双向预测编码；上述编码视频信号输出到图像解码装置；其特征在于，上述图像编码装置包括以下组成部分：
图像编码类型判断部分，判断待编码图像的图像编码类型；
编码部分，根据图像编码类型判断部分的输出，执行第一类型、第二类型编码处理；
编码控制部分，控制所述编码部分，计算编码图像的编码生成数据量，根据计算结果，当编码生成数据量使得对应于图像解码装置的输入缓冲的虚拟缓冲中的数据占有量小于第一、第二阈值时，停止第一、第二类型编码处理，所述第一、第二阈值分别对应于第一、第二类型图像，并且数据占有量的第一、第二阈值是根据第一、第二编码类型图像来设置。
8.如权利要求7所述的图像编码装置，其特征在于，第一、第二阈值按从小到大的次序排列成第一阈值、第二阈值。
9.如权利要求7所述的图像编码装置，其特征在于，根据编码部分的输出，如果待编码图像帧的预测图像帧未被编码，编码控制部分将控制编码部分，使其停止所有将使用该预测图像帧进行解码的图像帧的编码处理。
10.一种图像编码方法，执行第一类型编码处理，对视频信号中预定图像单元中第一图像编码类型所指定的第一类型图像进行帧内编码；执行第二类型编码处理，对视频信号中预定图像单元中第二图像编码类型所指定的第二类型图像进行预测编码，或者对视频信号中预定图像单元中第三图像编码类型所指定的第三类型图像进行双向预测编码；将上述编码视频信号输出到图像解码装置；其特征在于，上述图像编码方法包括以下步骤：
编码生成数据量计算步骤，计算被编码图像编码后生成的数据量；根据编码生成数据量计算步骤的计算结果，当编码生成数据量使得对应于图像解码装置的输入缓冲的虚拟缓冲中的数据占有量小于第一、或第二阈值时，停止第一、第二类型编码处理，所述第一、第二阈值分别对应于第一、第二类型图像，并且数据占有量的第一、第二阈值是根据第一、第二编码类型图像来设置。
11.如权利要求10所述的图像编码方法，其特征在于，第一、第二阈值按从小到大的次序排列成第一阈值、第二阈值。
12.如权利要求10所述的图像编码方法，其特征在于，如果没有对待编码图像帧的预测图像帧进行编码，则将停止对所有使用该预测图像帧进行解码的图像帧的编码。
CN97190337A 1996-04-12 1997-04-11 图像编码装置和方法 Expired - Fee Related CN1116768C (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP11570996 1996-04-12
JP115709/96 1996-04-12
JP115709/1996 1996-04-12
JP259729/96 1996-09-30
JP25972996 1996-09-30
JP259729/1996 1996-09-30

Publications (2)

Publication Number Publication Date
CN1188582A CN1188582A (zh) 1998-07-22
CN1116768C true CN1116768C (zh) 2003-07-30

Family

ID=26454175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN97190337A Expired - Fee Related CN1116768C (zh) 1996-04-12 1997-04-11 图像编码装置和方法

Country Status (7)

Country Link
US (2) US6347117B1 (zh)
EP (2) EP1677546B1 (zh)
JP (1) JP3952509B2 (zh)
KR (1) KR100495716B1 (zh)
CN (1) CN1116768C (zh)
DE (1) DE69738878D1 (zh)
WO (1) WO1997039588A1 (zh)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3588970B2 (ja) 1997-04-30 2004-11-17 ソニー株式会社 信号符号化方法、信号符号化装置、信号記録媒体及び信号伝送方法
WO1999038262A1 (en) * 1998-01-21 1999-07-29 Matsushita Electric Industrial Co., Ltd. Variable-length encoder
GB2333657B (en) * 1998-01-22 2002-08-21 Snell & Wilcox Ltd Video signal compression
WO1999066725A1 (en) 1998-06-16 1999-12-23 United Video Properties, Inc. Interactive television program guide with simultaneous watch and record capabilities
US6567117B1 (en) * 1998-09-09 2003-05-20 Nippon Telegraph And Telephone Corporation Method for regulating image quality, picture communication equipment using same and recording medium having recorded therein a program for executing the method
JP4053668B2 (ja) * 1998-09-16 2008-02-27 パイオニア株式会社 情報記録装置及び情報記録方法
GB2346282B (en) 1999-01-28 2003-02-19 Snell & Wilcox Ltd Bit rate control in compression encoding
US6526097B1 (en) * 1999-02-03 2003-02-25 Sarnoff Corporation Frame-level rate control for plug-in video codecs
US6567554B1 (en) 1999-03-12 2003-05-20 Victor Company Of Japan, Limited Data coding method and apparatus therefor
CN1159916C (zh) * 1999-06-22 2004-07-28 日本胜利株式会社 活动图象编码装置及其方法
US6639942B1 (en) * 1999-10-21 2003-10-28 Toshiba America Electronic Components, Inc. Method and apparatus for estimating and controlling the number of bits
JP2001148858A (ja) * 1999-11-18 2001-05-29 Sony Corp 画像情報変換装置及び画像情報変換方法
KR100585647B1 (ko) * 1999-12-30 2006-06-07 엘지전자 주식회사 엠펙 비디오 디코더에서의 매크로 블록 애더 제어 방법
CN1322759C (zh) * 2000-04-27 2007-06-20 三菱电机株式会社 编码装置和编码方法
GB0013273D0 (en) * 2000-06-01 2000-07-26 Philips Electronics Nv Video signal encoding and buffer management
KR100345447B1 (ko) * 2000-09-27 2002-07-26 한국전자통신연구원 스트리밍 서비스를 위한 가변 비트율 처리 방법
US20040105492A1 (en) * 2001-01-22 2004-06-03 Goh Kwong Huang Method and apparatus for video buffer verifier underflow and overflow control
JP3641214B2 (ja) 2001-02-28 2005-04-20 株式会社東芝 動画像符号化装置および動画像符号化方法
US7054362B1 (en) 2001-05-29 2006-05-30 Cisco Technology, Inc. Methods and apparatus for updating a reduction ratio
US7266150B2 (en) * 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
KR100475412B1 (ko) * 2002-03-11 2005-03-10 주식회사 럭스퍼트 상부 펌핑방식의 광소자
US7483488B1 (en) * 2002-05-30 2009-01-27 Intervideo, Inc. Systems and methods for improving bit rate control of video encoding by correcting for the effects of scene changes and bit stuffing in a video buffer verifier (VBV) buffer model
US7418037B1 (en) * 2002-07-15 2008-08-26 Apple Inc. Method of performing rate control for a compression system
US7046729B2 (en) * 2002-08-27 2006-05-16 Ess Technology, Inc. Bit rate control for motion compensated video compression system
US7940843B1 (en) 2002-12-16 2011-05-10 Apple Inc. Method of implementing improved rate control for a multimedia compression and encoding system
US7804897B1 (en) 2002-12-16 2010-09-28 Apple Inc. Method for implementing an improved quantizer in a multimedia compression and encoding system
JP4179917B2 (ja) * 2003-04-22 2008-11-12 株式会社東芝 動画像符号化装置及び方法
US20050013496A1 (en) * 2003-07-16 2005-01-20 Bruls Wilhelmus Hendrikus Alfonsus Video decoder locally uses motion-compensated interpolation to reconstruct macro-block skipped by encoder
JP2005080004A (ja) * 2003-09-01 2005-03-24 Sony Corp 動画像符号化装置
CN1312930C (zh) * 2003-12-03 2007-04-25 明基电通股份有限公司 传输视频的方法及装置
US7818444B2 (en) 2004-04-30 2010-10-19 Move Networks, Inc. Apparatus, system, and method for multi-bitrate content streaming
US8295347B2 (en) 2004-08-25 2012-10-23 Sony Corporation Information processing apparatus and information processing method, recording medium, and program
JP4492484B2 (ja) 2005-08-22 2010-06-30 ソニー株式会社 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
US8842660B2 (en) * 2006-03-31 2014-09-23 Microsoft Corporation VoIP variable metadata
JP5078852B2 (ja) * 2007-12-06 2012-11-21 キヤノン株式会社 動画像符号化装置及び動画像符号化方法
CA2798008C (en) * 2010-05-06 2015-10-20 Nippon Telegraph And Telephone Corporation Method for controlling video encoding if a decoder underflow condition is detected
BR112012028184A2 (pt) 2010-05-07 2016-08-02 Nippon Telegraph & Telephone método de controle de codificação de vídeo, aparelho de codificação de vídeo e programa de codificação de vídeo
JP5879555B2 (ja) * 2010-05-10 2016-03-08 パナソニックＩｐマネジメント株式会社 動画像符号化装置
US9979970B2 (en) * 2014-08-08 2018-05-22 Qualcomm Incorporated System and method for determining buffer fullness for display stream compression
US9942552B2 (en) 2015-06-12 2018-04-10 Intel Corporation Low bitrate video coding
JP2017055275A (ja) 2015-09-10 2017-03-16 株式会社東芝 復号装置、及び映像伝送システム
MX2018010460A (es) * 2016-03-09 2019-01-14 Sony Corp Dispositivo de transmision, metodo de transmision, dispositivo de recepcion y metodo de recepcion.
US11729801B2 (en) * 2019-08-16 2023-08-15 Qualcomm Incorporated Dynamic HARQ-ACK codebook construction for multiple active semi-persistent scheduling configurations

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2617631B2 (ja) * 1991-05-15 1997-06-04 富士通株式会社 画像復号化システム
JP3187097B2 (ja) * 1991-10-17 2001-07-11 株式会社東芝 動画像符号化における符号量配分方法とこれを用いた動画像符号化方法及び装置
US5317397A (en) 1991-05-31 1994-05-31 Kabushiki Kaisha Toshiba Predictive coding using spatial-temporal filtering and plural motion vectors
JPH0514876A (ja) * 1991-07-05 1993-01-22 Hitachi Ltd 動画像符号化方式
US5231484A (en) * 1991-11-08 1993-07-27 International Business Machines Corporation Motion video compression system with adaptive bit allocation and quantization
SE468736B (sv) 1991-11-15 1993-03-08 Televerket Foerfarande och apparat foer bildkodning med oeverhoppning av bilder och/eller komponenter
US5255090A (en) * 1991-11-19 1993-10-19 Scientific-Atlanta, Inc. Progressive transmission of vector quantized data
JP2871316B2 (ja) * 1992-07-10 1999-03-17 日本ビクター株式会社 動画像符号化装置
EP0892562A3 (en) * 1993-04-09 1999-01-27 Sony Corporation Picture encoding method, picture encoding apparatus and picture recording medium
US5592225A (en) * 1993-09-30 1997-01-07 Matsushita Electric Industrial Co., Ltd. Device and method for controlling coding
DE4343450A1 (de) * 1993-12-20 1995-06-22 Philips Patentverwaltung Coder zur segmentweisen Codierung eines Eingangssignals
JPH07226935A (ja) * 1994-02-14 1995-08-22 Mitsubishi Electric Corp 画像情報圧縮装置
US5754241A (en) 1994-11-18 1998-05-19 Sanyo Electric Co., Ltd Video decoder capable of controlling encoded video data
JP3203169B2 (ja) 1994-11-18 2001-08-27 三洋電機株式会社 Ｍｐｅｇビデオデコーダ
JP3203168B2 (ja) * 1994-11-30 2001-08-27 三洋電機株式会社 Ｍｐｅｇビデオデコーダ
US5619341A (en) * 1995-02-23 1997-04-08 Motorola, Inc. Method and apparatus for preventing overflow and underflow of an encoder buffer in a video compression system
JP3182329B2 (ja) * 1995-11-15 2001-07-03 株式会社東芝 符号化データ編集装置とデータ復号装置
EP0784409A3 (en) * 1996-01-11 2001-11-14 Sony Corporation Video coding and multiplexing
US5719632A (en) * 1996-01-25 1998-02-17 Ibm Corporation Motion video compression system with buffer empty/fill look-ahead bit allocation
JPH10164581A (ja) * 1996-12-03 1998-06-19 Sony Corp 画像信号符号化方法及び装置、信号記録媒体
JPH10285548A (ja) * 1997-04-03 1998-10-23 Sony Corp 符号化装置及び方法、復号装置及び方法、編集方法
KR100239422B1 (ko) * 1997-10-28 2000-01-15 김영환 반도체 소자 및 제조 방법

Also Published As

Publication number Publication date
DE69738878D1 (de) 2008-09-11
EP0836329A1 (en) 1998-04-15
US6347117B1 (en) 2002-02-12
EP1677546A1 (en) 2006-07-05
KR100495716B1 (ko) 2005-11-25
KR19990022849A (ko) 1999-03-25
EP1677546B1 (en) 2008-07-30
US6535556B1 (en) 2003-03-18
CN1188582A (zh) 1998-07-22
WO1997039588A1 (en) 1997-10-23
JP3952509B2 (ja) 2007-08-01
EP0836329A4 (en) 2002-09-04

Similar Documents

Publication Publication Date Title
CN1116768C (zh) 图像编码装置和方法
CN1089527C (zh) 图像编码方法、图像编码装置及图像记录载体
CN102685478B (zh) 编码方法以及装置、解码方法以及装置
CN102271257B (zh) 图像处理设备
CN1155259C (zh) 运动图象可变比特率编码装置和编码方法
US8270744B2 (en) Image processing apparatus and image processing method
US20090034612A1 (en) Quantization method and apparatus in encoding/decoding
EP3146719B1 (en) Re-encoding image sets using frequency-domain differences
CN1627824A (zh) 位流控制的后处理过滤
CN1237856A (zh) 运动图象编码串变换装置及其方法
CN101233757A (zh) 用于为能够可变比特速率编码的视频编码器提供速率控制的方法、模块、设备和系统
CN1076934C (zh) 活动图像编码方法、活动图像解码方法、活动图像记录媒体和活动图像编码装置
CN1723709A (zh) 视频编码设备和视频编码控制方法
MX2013004678A (es) Dispositivo de codificacion de imagen de video, metodo de codificacion de imagen de video, dispositivo de decodificacion de imagen de video y metodo de decodificacion de imagen de video.
CN1295933C (zh) 数据处理方法
CN1181693C (zh) 图像编码装置和图像编码方法
CN1650629A (zh) 编码设备和方法、解码设备和方法、编辑设备和方法、记录介质及程序
CN1929609A (zh) 运动图像信号编码装置、运行图像信号编码方法以及计算机可读记录介质
JP2004040811A (ja) 動映像符号化のためのｄｃｔ演算量調節方法及びその装置
CN1878309A (zh) 视频编码装置
CN102685483A (zh) 编码方法以及装置、解码方法以及装置
CN1703911A (zh) 降低已压缩多媒体的比特率
CN1175672C (zh) 运动图像信号的编码装置及编码方法
WO2004112397A1 (ja) 画像処理装置および画像処理方法、情報処理装置および情報処理方法、情報記録装置および情報記録方法、情報再生装置および情報再生方法、記録媒体、並びに、プログラム
CN1131638C (zh) 采用一种自适应量化技术的视频信号编码方法及设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1040754

Country of ref document: HK

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20030730

Termination date: 20150411

EXPY Termination of patent right or utility model