CN1897699A - 视频编码、解码方法和装置 - Google Patents

视频编码、解码方法和装置 Download PDF

Info

Publication number
CN1897699A
CN1897699A CNA2006100957920A CN200610095792A CN1897699A CN 1897699 A CN1897699 A CN 1897699A CN A2006100957920 A CNA2006100957920 A CN A2006100957920A CN 200610095792 A CN200610095792 A CN 200610095792A CN 1897699 A CN1897699 A CN 1897699A
Authority
CN
China
Prior art keywords
image
frame
memory device
image memory
reference frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2006100957920A
Other languages
English (en)
Inventor
安达悟
文仲丞
加藤祯笃
荣藤稔
陈朝庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Publication of CN1897699A publication Critical patent/CN1897699A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Processing Or Creating Images (AREA)

Abstract

视频处理系统(100)安装有视频编码设备(10)和视频解码设备(20)。该视频编码设备10从暂时滞后帧执行后向帧间预测，并且输出表示已选择出取消使用暂时滞后帧已解码图像的选项的信息。视频解码设备(20)以该信息为基础取消使用该帧的已解码图像，并且与用于取消使用暂时滞后帧已解码图像的输入信息相结合。

Description

视频编码、解码方法和装置
本申请是于2003年10月10日提交的题为“视频编码、解码方法、装置和程序”的中国专利申请No.200610009037.6的分案申请。
技术领域
本发明涉及视频编码方法、视频解码方法、视频编码装置、视频解码装置、视频处理系统、视频编码程序和视频解码程序。
背景技术
通常，视频信号编码技术用于传输、存储和再生视频信号。众所周知的技术包括，例如国际标准视频编码方法如ITU-T建议H.263(下文称之为“H.263”)、ISO/IEC国际标准14496-2(MPEG-4图像，下文称之为“MPEG-4”)等等。
另一个已知更新的编码系统是为ITU-T和ISO/IEC的联合国际统一标准而制定的视频编码方法：ITU-T建议H.264和ISO/IEC国际标准14496-10(联合视频规范的联合最终委员会草案，下文称之为“H.26L”)。关于在这些视频编码方法中所使用的常规编码技术，将做一些参考，例如下面给出的非专利文献1。
[非专利文献1]
国际图像编码标准中的基本技术
(Fumitaka Ono与Hiroshi Watanabe合著，CORONA出版有限公司1998年3月20日出版)
运动视频信号由一系列随时间而逐渐变化的图像(帧)构成。出于这个原因，这些视频编码方法中的常规操作是在检索作为编码目标的帧(当前帧)与另一个帧(参考帧)之间执行帧间预测，从而减少视频信号中的暂时冗余。
在此情况中，帧间预测在当前帧和与当前帧差异较小的参考帧之间执行，从而能够进一步减少冗余，因此能够提高编码效率。出于这个原因，参考帧相对于当前帧，可以是暂时超前的帧(temporallyprevious frame)，或者是暂时滞后的帧(temporally subsequentframe)。参考超前帧的预测称为前向预测(forward prediction)，而参考滞后帧的预测称为后向预测(backward prediction)(如图1)。双向预测定义为，从这两种预测方法中任意选择出一种的预测，或者同时使用这两种方法的预测。
大体上，在使用这种双向预测时，用作前向预测参考帧的暂时超前帧和用作后向预测参考帧的暂时滞后帧每一个都在当前帧之前存储在帧缓冲器中。
例如，在解码MPEG-4时，当前帧用双向帧间预测解码，相对于当前帧的暂时超前帧和暂时滞后帧，在解码当前帧之前，或者作为用帧内预测而非用帧间预测解码的帧，或者作为用前向帧间预测解码的帧而首先解码，并且它们都作为参考帧存储在帧缓冲器内。之后，当前帧利用这样存储的两个帧通过双向预测而解码(如图2(a))。
因此在此情况中，暂时滞后参考帧和当前帧的解码时间次序与其各已解码图像的输出时间次序相反。这些帧的每一个都与表示它们输出时间的信息联系在一起，这样帧的暂时次序能够根据这一信息而知道。出于这个原因，已解码图像能够以正确的次序输出(如图2(b))。在MPEG-4中，输出时间用绝对值表示。
最近的一些视频解码方法允许前述的帧间预测用多个参考帧执行，而不是一个参考帧在前向方向上，一个参考帧在后向方向上，这样便能够从一个与当前帧差异较小的帧进行预测(如图3)。
例如，在解码H.26L时，多个参考帧(其范围至多达预先确定的参考帧的最大数目)保留在帧缓冲器内，在执行帧间预测的时候，最优的参考帧从它们之中任意地指定。在此情况中，当前帧作为双向预测帧而解码，参考帧在解码当前帧之前首先解码；相对于当前帧的多个暂时超前帧和多个暂时滞后帧每一个都作为参考帧而进行解码，并且作为参考帧保留在帧缓冲器内。当前帧能够由一个从那些帧中任意指定出的用作预测的帧进行预测(如图4(a))。
因此在此情况中，暂时滞后参考帧和当前帧的解码时间次序与其输出时间次序相反。这些帧的每一个都与表示其输出时间的信息或者表示其输出次序的信息联系在一起，故而帧的暂时次序可以根据这一信息而知道。出于这个原因，已解码图像能够以正确的次序输出(如图4(b))。输出时间通常用绝对值表示。而输出次序则在帧的间隔为常数时使用。
在此情况中，多个参考帧也用在后向预测中，如上所述，这些保留在帧缓冲器内的帧并不总是用在当前帧之后帧的后向预测中。该情况的实例将参考图5所示的预测结构而加以说明。我们假定，当前帧F1从暂时滞后参考帧F2的后向预测而来，F2来自于F3，F3来自于F4，而F4从暂时超前参考帧F0的前向预测而来。这种预测是作为有效的预测操作而执行的，例如在下述情况中，即暂时超前参考帧F0与当前帧F1之间的差异较大，而F1与暂时滞后参考帧F2、F3、F4的差异较小时，F0与F3之间的差异会相对较小。
在此情况中，当前帧F1仅从暂时滞后参考帧F2预测而来，因此在解码当前帧F1时，帧F3和F4并不用于帧间预测。然而，因为F3和F4是当前帧F1之后的暂时滞后帧，所以它们在于其各自的输出时间作为已解码图像输出之前，需要一直加以保留。
当暂时滞后帧为了后向预测而以这种方式保留在帧缓冲器内时，这些帧将划分成两种类型，即在当前帧之后的帧间预测中用作参考帧的帧和不用作参考帧的帧。在下文的说明中，那些不用作参考帧但在其输出时间来临之前存储在帧缓冲器内的帧称为“输出队列帧”。
为了解释这些帧的差异，图6(a)和图6(b)给出了视频解码设备构型的示意性图解。如图6(a)所示，解码设备1安装有用于保留参考帧的帧缓冲器3，且在执行帧间预测时，帧缓冲器3将参考帧输出到解码处理器2中。在此情况中，后向预测如上所述地使用多个参考帧，帧缓冲器同时保留参考帧与输出队列帧，而且从逻辑方面看，如图6(b)所示，存在一个区域，其用来存储作为固定时刻的参考帧而一直保留的、并且会输出到解码处理器2中的帧，还存在一个区域，其用来存储不会输出到解码处理器2的、但在于各帧的输出时刻作为已解码图像而输出之前一直保留的帧。
顺便说明，在使用多个参考帧的情况中，例如，如果在某运动画面中有一帧具有特殊的特征并且其与其它帧的差异很大，那么就不能够做出有效的预测，即使该帧一直作为参考帧而保留着。因此，在某些情况下，帧间预测可以通过终止保留该帧作为参考帧并且允许帧缓冲器将其它的帧保留那么长时间而有效地执行。相反，在如下情况中，即在某运动画面中有一个帧具有特殊的特征但其与其它帧的差异较小，则如果将该帧作为参考帧而长时间地保留在帧缓冲器内，而不考虑与当前帧的暂时距离的话，就能够对许多帧有效地执行帧间预测。
为了实现这种参考帧的选择操作，可以设想通过已编码数据通知参考帧的选择信息。例如，在H.26L中定义了存储管理控制操作(MMCO)命令。MMCO命令包括，例如定义为能够提供取消使用所有保留在帧缓冲器内的参考帧的指令的重置命令，以及其它的命令，并且可能任意地提供指令作为偶然的命令以选择出任何作为参考帧而保留在帧缓冲器内的帧。
对于为了对运动画面执行随机访问而从已编码数据的中间开始的解码，所需要的条件是，起始解码帧是通过使用帧内预测而非使用由另一个帧的帧间预测而编码的帧，且起始帧之后的帧不会使用任何解码开始帧之前的超前帧作为参考帧，也就是说，取消使用所有保留在帧缓冲器内的参考帧的指令需要在解码解码开始帧之前发出。
例如，在H.26L中，定义了瞬时解码器刷新(IDR)画面以清楚地指定这种状态。利用IDR画面，在解码IDR画面之前，能够取消使用所有的超前参考帧，而且对于之后帧的帧间预测不会参考IDR画面之前的帧。这便允许解码从已编码数据的中间开始，类似于随机访问，从而不会遇到解码从IDR画面开始时参考帧存在/不在的问题。
发明内容
如上所述，在后向帧间预测使用多个参考帧的情况中，通过提供用于控制参考帧在帧缓冲器内保留的方法便能够有效地对多个参考帧进行操作。另一方面，该帧缓冲器同时保留用于帧间预测的参考帧和输出时间尚未到来的输出队列帧，但是在传统的用于控制参考帧保留的方法中，不考虑对该输出队列帧的控制。这便产生了一个问题，即尚未确定输出时间的输出队列帧要占据帧缓冲器很长时间。
出于这个原因，如果没有对输出队列帧适当地加以控制，就会产生一个问题，即已解码图像的输出不能够单独地进行操作等。
例如，我们假设，从图7(a)中由已解码数据F00-F04构成的运动画面到图7(b)中由已解码数据F10-F13构成的运动画面的视频转换，在F03时刻实现。这可以在如下情况中发生，例如当为了编辑运动视频而存储的已解码数据在帧单元中进行转换时，或者在广播类型的视频通讯中，某些相应于一个频道的已解码数据会转换成相应于另一个频道的另一个已解码数据。
在此情况中，F10必须是IDR画面，即在解码F10之前，取消使用所有保留在帧缓冲器内的参考帧，并且允许对F10之后帧的解码无任何问题地加以执行。但是，在此情况中取消使用的帧是参考帧，这样如果F03和F04不是参考帧而是输出队列帧的话就不允许进行单独的操作。也就是说，在转换成F10的情况中，并不清楚F03和F04是作为一直保留在帧缓冲器内的并且会输出的帧，还是作为在解码F10之前取消其使用的帧而进行操作的帧。因此，在此情况中不能够单独地确定哪个帧应该作为已解码图像而输出。
因此，本发明的一个目的在于，当后向帧间预测使用多个参考帧时，在使用该多个参考帧时，明确地定义出保留在帧缓冲器内的帧的操作。
本发明提供了一种视频编码设备，包括：输入装置，其用于实现输入作为编码目标的图像；编码装置，其用于对编码图像编码以产生已编码数据；图像存储装置，其用于存储出自于经编码装置编码后再生的(regenerated)图像的参考帧和队列帧，参考帧用于下一个图像的编码，队列帧在其输出时间到来之前保留在图像存储装置中，参考帧和队列帧出自于经编码装置编码后再生的图像；缓冲器管理装置，其用于管理存储在图像存储装置内的参考帧和队列帧；其中，在对未参考任何其它存储在图像存储装置中的任何其它图像而编码的IDR图像编码时，缓冲器管理装置与已编码数据一起输出一个标记，该标记表示存储在图像存储装置中的参考帧被删除或者存储在图像存储装置中的参考帧和队列帧被删除。
根据本发明的上述视频编码设备，其中该编码装置从暂时滞后帧执行后向帧间预测，且其中，在编码IDR图像时，缓冲器管理装置基于所述标记相对于先前存储在图像存储装置中的IDR图像，删除出自于暂时滞后帧、不未用作用于向后预测的参考帧的帧。
本发明提供一种视频解码设备，包括：输入装置，其用于实现输入含有已编码图像的已编码数据的图像数据，和附加于已编码数据上的图像输出指令标记；解码装置，其用于对解码已编码的数据解码以产生再生图像；图像存储装置，其用于存储出自于再生图像的参考帧和队列帧，参考帧用于下一个图像的解码，队列帧在其输出时间到来之前保留在图像存储装置中，参考帧和队列帧出自于再生图像；缓冲器管理装置，其用于管理存储在图像存储装置内的参考帧和队列帧；其中，缓冲器管理装置在对应于没有参考存储在图像存储装置中的任何图像而编码的IDR图像的图像输出指令标记是“1”时，删除存储在图像存储装置中的参考帧和队列帧。
根据本发明的上述视频解码设备，其中当图像输出指令标记为“0”时，缓冲器管理装置删除存储在图像存储装置中的参考帧。
本发明提供一种视频编码方法，包括：输入步骤，其中一个视频编码设备实现输入作为编码目标的图像；编码步骤，其中视频编码设备编码对该图像编码以产生已编码数据；图像存储步骤，其中视频编码设备将出自于经编码步骤编码后再生的图像的参考帧和队列帧存储到图像存储装置中，参考帧用于下一个图像的编码，队列帧在其输出时间到来之前被保留，参考帧和队列帧出自于将经编码步骤编码后再生的图像；缓冲器管理步骤，其中视频编码设备管理存储在图像存储装置中的参考帧和队列帧；其中在缓冲器管理步骤中，在编码对未参考任何其它存储在图像存储装置中的任何其它图像而编码的IDR图像编码时，视频编码设备与已编码数据一起输出一种一个标记，该标记表示存储在图像存储装置中的参考帧被删除或者存储在图像存储装置中的参考帧和队列帧被删除。
本发明提供一种视频解码方法，包括：输入步骤，其中一个视频解码设备实现输入含有已编码图像的已编码数据的图像数据，和附加于已编码数据上的图像输出指令标记；解码步骤，其中视频解码设备解码对已编码数据解码以产生再生图像；图像存储步骤，其中视频解码设备将出自于再生的图像的参考帧和队列帧存储到图像存储装置中，参考帧用于下一个图像的解码，队列帧在其输出时间到来之前被保留，参考帧和队列帧出自于再生的图像；缓冲器管理步骤，其中视频解码设备管理存储在图像存储装置中的参考帧和队列帧；其中在缓冲器管理步骤中，视频解码设备在对应于没有参考存储在图像存储装置中的任何图像而编码的IDR图像的图像输出指令标记是“1”时，删除存储在图像存储装置中的参考帧和队列帧。
本发明提供一种视频编码设备，包括：输入装置，其用于实现输入作为编码目标的图像；编码装置，其用于对图像编码以产生已编码数据；图像存储装置，其用于存储出自于经编码装置编码后再生的图像的参考帧和队列帧，参考帧用于下一个图像的编码，队列帧在其输出时间到来之前保留在图像存储装置中；缓冲器管理装置，其用于管理存储在图像存储装置内的参考帧和队列帧；其中，在对未参考存储在图像存储装置中的任何其它图像而编码的IDR图像编码时，缓冲器管理装置与已编码数据一起输出标记0或标记1，其中标记0表示存储在图像存储装置中的参考帧被删除，标记1表示存储在图像存储装置中的参考帧和队列帧被删除。
根据本发明的视频编码设备，其中该编码装置从暂时滞后帧执行后向帧间预测，且其中，在编码IDR图像时，缓冲器管理装置基于所述标记相对于先前存储在图像存储装置中的IDR图像，删除出自于暂时滞后帧、未用作向后预测的参考帧的帧。
本发明提供一种视频解码设备，包括：输入装置，其用于实现输入含有已编码图像的已编码数据的图像数据，和附加于已编码数据上的图像输出指令标记；解码装置，其用于对已编码的数据解码以产生再生图像；图像存储装置，其用于存储出自于再生图像的参考帧和队列帧，参考帧用于下一个图像的解码，队列帧在其输出时间到来之前保留在图像存储装置中；缓冲器管理装置，其用于管理存储在图像存储装置内的参考帧和队列帧；其中，缓冲器管理装置在对应于没有参考存储在图像存储装置中的任何图像而编码的IDR图像的图像输出指令标记是“1”时，删除存储在图像存储装置中的参考帧和队列帧；在图像输出指令标记是“0”时，缓冲器管理装置删除存储在图像存储装置中的参考帧。
根据本发明的视频解码设备，其中解码设备从暂时滞后帧执行后向帧间预测。
本发明提供一种视频编码方法，包括：输入步骤，其中一个视频编码设备实现输入作为编码目标的图像；编码步骤，其中视频编码设备对该图像编码以产生已编码数据；图像存储步骤，其中视频编码设备将出自于经编码步骤编码后再生的图像的参考帧和队列帧存储到图像存储装置中，参考帧用于下一个图像的编码，队列帧在其输出时间到来之前被保留；缓冲器管理步骤，其中视频编码设备管理存储在图像存储装置中的参考帧和队列帧；其中在缓冲器管理步骤中，在对未参考存储在图像存储装置中的任何其它图像而编码的IDR图像编码时，视频编码设备与已编码数据一起输出0或标记1，其中标记0表示存储在图像存储装置中的参考帧被删除，标记1表示存储在图像存储装置中的参考帧和队列帧被删除。
本发明提供一种视频解码方法，包括：输入步骤，其中一个视频解码设备实现输入含有已编码图像的已编码数据的图像数据，和附加于已编码数据上的图像输出指令标记；解码步骤，其中视频解码设备对已编码数据解码以产生再生图像；图像存储步骤，其中视频解码设备将出自于再生的图像的参考帧和队列帧存储到图像存储装置中，参考帧用于下一个图像的解码，队列帧在其输出时间到来之前被保留；缓冲器管理步骤，其中视频解码设备管理存储在图像存储装置中的参考帧和队列帧；其中在缓冲器管理步骤中，视频解码设备在对应于没有参考存储在图像存储装置中的任何图像而编码的IDR图像的图像输出指令标记是“1”时，删除存储在图像存储装置中的参考帧和队列帧；在图像输出指令标记是“0”时，缓冲器管理装置删除存储在图像存储装置中的参考帧。
为了解决上述问题，根据本发明的视频编码方法是一种用于视频编码装置的视频编码方法，其从暂时滞后帧执行后向帧间预测，该视频编码方法包括：输出表示已选择出取消使用暂时滞后帧已解码图像的选项的信息。
在根据本发明的视频编码方法中，优选地，该信息是关于暂时滞后帧已解码图像的信息，并且提供了取消使用每一个帧的指令。
在根据本发明的视频编码方法中，优选地，该信息是关于暂时滞后帧已解码图像的信息，并且提供了取消使用每一个不用作后向预测参考帧的帧的指令。
在根据本发明的视频编码方法中，优选地，该信息包括关于已取消使用帧已解码图像的、表示输出时间的信息。
根据本发明的视频解码方法是一种用于视频解码装置的视频解码方法，其从暂时滞后帧执行后向帧间预测，该视频解码方法包括：与用于取消使用暂时滞后帧已解码图像的输入信息相结合，并且以该信息为基础避免输出该帧的已解码图像。
在根据本发明的视频解码方法中，优选地，该信息是关于暂时滞后帧已解码图像的信息，并且提供了取消使用每一个帧的指令。
在根据本发明的视频解码方法中，优选地，该信息是关于暂时滞后帧已解码图像的信息，并且提供了取消使用每一个不用作后向预测参考帧的帧的指令。
在根据本发明的视频解码方法中，优选地，该信息包括关于已取消使用帧已解码图像的、表示输出时间的信息。
根据本发明的视频编码装置是一种用于从暂时滞后帧执行后向帧间预测的视频编码装置，该视频编码装置设定为：输出表示已选择出取消使用暂时滞后帧已解码图像的选项的信息。
在根据本发明的视频编码装置中，优选地，该信息是关于暂时滞后帧已解码图像的信息，并且提供了取消使用每一个帧的指令。
在根据本发明的视频编码装置中，优选地，该信息是关于暂时滞后帧已解码图像的信息，并且提供了取消使用每一个不用作后向预测参考帧的帧的指令。
在根据本发明的视频编码装置中，优选地，该信息包括关于已取消使用帧已解码图像的、表示输出时间的信息。
根据本发明的视频解码装置是一种用于从暂时滞后帧执行后向帧间预测的视频解码装置，该视频解码装置设定为：与用于取消使用暂时滞后帧已解码图像的输入信息相结合，并以该信息为基础避免输出该帧的已解码图像。
在根据本发明的视频解码装置中，优选地，该信息是关于暂时滞后帧已解码图像的信息，并且提供了取消使用每一个帧的指令。
在根据本发明的视频解码装置中，优选地，该信息是关于暂时滞后帧已解码图像的信息，并且提供了取消使用每一个不用作后向预测参考帧的帧的指令。
在根据本发明的视频解码装置中，优选地，该信息包括关于已取消使用帧已解码图像的、表示输出时间的信息。
根据本发明的视频编码程序是一种为视频编码装置如计算机执行从暂时滞后帧的后向帧间预测的视频编码程序，该视频编码程序使视频编码装置实现了：输出表示已选择出取消使用暂时滞后帧已解码图像的选项信息的功能。
在根据本发明的视频编码程序中，优选地，该信息是关于暂时滞后帧已解码图像的信息，并且提供了取消使用每一个帧的指令。
在根据本发明的视频解码程序中，优选地，该信息是关于暂时滞后帧已解码图像的信息，并且提供了取消使用每一个不用作后向预测参考帧的帧的指令。
在根据本发明的视频解码程序中，优选地，该信息包括关于已取消使用帧已解码图像的、表示输出时间的信息。
根据本发明的视频解码程序是一种为视频解码装置如计算机执行从暂时滞后帧的后向帧间预测的视频解码程序，该视频解码程序使视频解码装置实现了：与用于取消使用暂时滞后帧已解码图像的输入信息相结合，并以该信息为基础避免输出该帧的已解码图像的功能。
在根据本发明的视频解码程序中，优选地，该信息是关于暂时滞后帧已解码图像的信息，并且提供了取消使用每一个帧的指令。
在根据本发明的视频解码程序中，优选地，该信息是关于暂时滞后帧已解码图像的信息，并且提供了取消使用每一个不用作后向预测参考帧的帧的指令。
在根据本发明的视频解码程序中，优选地，该信息包括关于已取消使用帧已解码图像的、表示输出时间的信息。
根据本发明的这些方案，该编码操作设定为输出提供取消使用待输出输出队列帧作为已解码图像的指令的信息，而解码操作设定为搜索该信息但并不输出这两个输出帧。这便防止了在对经编辑之后的已解码数据的解码过程中、或者在对已解码数据进行随机访问之后的解码过程中，输出不必要的已解码图像，并且反过来也防止了将必需的已解码图像的输出删除掉。结果，便能够获得适当的已解码图像输出。
类似的效果也能够通过建造视频处理系统而实现，该系统包括前述的视频编码装置和前述的视频解码装置，其中该视频解码装置解码由视频编码装置编码的数据。
根据本发明的视频编码装置是如下的一种视频编码装置，其包括：用于输入作为编码目标的图像的输入器；用于编码图像以产生已编码数据的编码器；用于存储用编码器编码之后再生的图像的图像存储器；和用于管理每一个存储在图像存储器内的图像的缓冲器管理器，其中，在编码不参考任何其它图像而编码的图像(IDR图像)时，缓冲器管理器同时输出已编码数据和表示是否取消使用每一个先前存储在图像存储器内的图像的标记(no_output_of_prior_pics_flag)。例如，在取消使用每一个图像的时候，视频编码装置将标记“1”和已编码数据一起输出，而在其它情况下则将标记“0”和已编码数据一起输出。
在根据本发明的视频编码装置中，优选地，该编码器从暂时滞后帧执行后向预测，且在编码不参考其它任何图像而编码的图像(IDR图像)时，缓冲器管理器删除每一个先前存储在图像存储器内的暂时滞后帧的已解码图像。
根据本发明的视频解码装置是如下的一种视频解码装置，其包括：输入器，其用于输入含有已编码图像已编码数据的图像数据和附加于已编码数据上的图像输出指令标记；解码器，其用于解码已编码数据以产生再生图像；图像存储器，其用于存储再生图像；和缓冲器管理器，其用于管理每一个存储在图像存储器内的再生图像，其中，该缓冲器管理器根据相应于不参考任何存储在图像存储器内的图像而编码的图像(IDR图像)的图像输出指令标记，删除每一个存储在图像存储器内的图像。
在根据本发明的视频解码装置中，优选地，当图像输出指令标记为“0”时，取消使用缓冲器内的每一个参考图像，而当标记为“1”时，则删除缓冲器内的每一个参考图像和每一个输出队列图像。
根据本发明的视频编码方法是如下的一种视频编码方法，其包括：输入步骤，其中视频编码装置输入作为编码目标的图像；编码步骤，其中视频编码装置编码图像以产生已编码数据；图像存储步骤，其中视频编码装置将经过编码步骤的编码之后再生的图像存储到图像存储器内；和缓冲器管理步骤，其中视频编码装置管理每一个存储在图像存储器内的图像，在缓冲器管理步骤中，在编码不参考任何其它图像而编码的图像的时候，视频编码装置同时输出已编码数据和表示是否取消使用每一个先前存储在图像存储器内的图像的标记。
在根据本发明的视频编码方法中，优选地，编码步骤设定为，视频编码装置从暂时滞后帧执行后向预测，而缓冲器管理步骤设定为，在编码不参考任何其它图像而编码的图像的时候，视频编码装置删除先前存储在图像存储器内的每一个暂时滞后帧的已解码图像。
根据本发明的视频解码方法是如下的一种视频解码方法，其包括：输入步骤，其中视频解码装置输入含有已解码图像已解码数据的图像数据和附加于已解码数据上的图像输出指令标记；解码步骤，其中视频解码装置解码已编码数据以产生再生图像；图像存储步骤，其中视频解码装置将再生图像存储在图像存储器内；和缓冲器管理步骤，其中视频解码装置管理每一个存储在图像存储器内的再生图像，其中在缓冲器管理步骤中，视频解码装置根据相应于不参考任何存储在图像存储器内的图像而编码的图像的图像输出指令标记，删除每一个存储在图像存储器内的图像。
在根据本发明的视频解码方法中，优选地，当图像输出指令标记为“0”时，视频解码装置取消使用缓冲器内的每一个参考图像，或者当标记为“1”时，删除缓冲器内的每一个参考图像和每一个输出队列图像。
根据本发明的视频编码程序是如下的一种视频编码程序，其使得视频编码装置实现了：输入作为编码目标的图像的功能；编码图像以产生已编码数据的功能；将编码后再生的图像存储到图像存储器内的功能；管理每一个存储在图像存储器内的图像的功能；和在编码不参考任何其它图像而编码的图像时，同时输出已编码数据和表示是否取消使用每一个先前存储在图像存储器内的图像的标记的功能。
在视频编码程序中，优选地，该视频编码装置制造成能够进一步实现如下的功能，即实现从暂时滞后帧执行后向帧间预测的功能，和在编码不参考任何其它图像而编码的图像时，删除每一个先前存储在图像存储器内的暂时滞后帧已解码图像的功能。
根据本发明的视频解码程序是如下的一种视频解码程序，其使得视频解码装置实现了：输入含有已编码图像已编码数据的图像数据和附加于已编码数据上的图像输出指令标记的功能；解码已编码数据从而产生再生图像的功能；将再生图像存储在图像存储器内的功能；管理每一个存储在图像存储器内的再生图像的功能；和根据相应于不参考任何存储在图像存储器内的图像而编码的图像的图像输出指令标记，删除每一个存储在图像存储器内的图像的功能。
在根据本发明的视频解码程序中，优选地，该视频解码装置制造成能够进一步实现如下功能，即当图像输出指令标记为“0”时，取消使用缓冲器内的每一个参考图像，或者当标记为“1”时，删除缓冲器内的每一个参考图像和每一个输出队列图像。
本发明通过下面给出的详细说明和附图将能够得到更加全面的理解，说明和附图只是作为举例说明的方法而给出的，因此不可以认为其对本发明具有限制。
本发明进一步的适用范围从下文给出的详细说明中将变得显而易见。但是应当理解，详细说明和特殊的实例虽然代表了本发明的优选实施例，但它们只是作为举例说明的方法给出的，因为对于熟悉本技术的人而言，对详细说明在本发明的精神和范围内做出各种改变和修改都是显而易见的。
附图说明
图1是用于解释帧间预测中的前向预测和后向预测的简图。
图2(a)是显示当前帧通过使用两个帧的双向预测而编码的实例的简图。图2(b)是显示暂时滞后参考帧和当前帧的解码时间次序与其各自已解码图像的输出时间次序相反的实例的简图。
图3是用于解释使用多个参考帧的前向预测和后向预测的简图。
图4(a)是显示执行使用多个参考帧的帧间预测实例的简图，该多个参考帧的范围至多达预先确定的参考帧的最大数目，图4(b)是显示多个暂时滞后参考帧和当前帧的解码时间次序与其各自已解码图像的输出时间次序相反的实例的简图。
图5是显示某情况预测结构的简图，该情况中保留在帧缓冲器内的多个帧并不用于当前帧之后的后向预测。
图6(a)是概要显示视频解码设备构型的简图。图6(b)是概要显示帧缓冲器构型的简图。
图7(a)是显示运动画面尚未转换为由已编码数据构成的实例的简图。图7(b)是显示运动画面已经转换为由已编码数据构成的简图。
图8是显示根据本发明的视频处理系统功能构型的框图。
图9是显示根据本发明的视频处理程序构型的简图。
图10是显示根据本发明的视频解码设备构型的框图。
图11是解释某处理过程的流程图，其中控制器确定了no_output_of_prior_pics_flag。
图12是显示根据本发明的视频解码设备构型的框图。
具体实施方式
下面将参考附图对本发明的实施例进行详细的说明。
说明将基于如下假设给出，即编码和解码操作都以H.26L为基础进行，且在视频编码操作中未做特殊说明的部分都与H.26L中的操作一致。
首先说明根据本发明的视频处理系统的构型。图8是显示视频处理系统100功能构型的框图。如图8所示，视频处理系统包括视频编码设备10和视频解码设备20。视频编码设备10和视频解码设备20设定为从暂时滞后帧执行后向帧间预测。
详细的处理将在后面加以说明，但是视频编码设备10提供有已选择信息输出部分11，该已选择信息输出部分11将表示已选择取消使用暂时滞后帧已解码图像的选项输出到视频解码设备20上。
视频解码设备20安装有已解码图像使用消除部分21，该已解码图像使用消除部分21设定为与用于取消使用从视频编码设备10发出的暂时滞后帧已解码图像的输入信息相结合，该已解码图像使用消除部分21以该信息为基础避免输出该帧的已解码图像。
上面的信息是，例如为暂时滞后帧的每一个已解码图像提供取消使用每一个帧的指令的信息。例如，该信息是为暂时滞后帧的每一个已解码图像提供取消使用不用作后向预测参考帧的每一个帧的指令的信息。再例如，该信息包括表示关于被取消的使用帧已解码图像的输出时间的信息。
随后说明根据本发明的视频编码方法和视频解码方法。在本实施例中，定义了能够提供取消使用保留在帧缓冲器内的帧的指令的信息，并且对每一个参考帧和输出队列帧都明确地加以定义。
在本实施例中，该信息定义在携带有关于NAL(网络抽象层)信息的NAL单元语法中，用于传输H.26L中的已编码数据的单元。具体地讲，其被定义为一种由包含在NAL单元语法中的NAL单元类型通知的类型。
在本实施例中，首先认为每一个传统的IDR画面都提供有一个仅取消使用每一个保留在帧缓冲器内的参考帧的指令的情况。也就是说，此处的定义是，IDR画面并不取消使用任何保留在帧缓冲器内的输出队列帧。
然后瞬时缓冲器刷新画面(下文称之为“IBR画面”)作为一种与IDR画面不同的新画面而定义。除了定义为提供仅取消使用每一个保留在帧缓冲器内的参考帧的指令的IDR画面之外，IBR画面定义为一种提供取消使用每一个输出队列帧的指令的画面。也就是说，在当前帧被确定为是IBR画面时，在解码当前帧之前，保留在帧缓冲器内的每一个参考帧和每一个输出队列帧将被取消使用。
在编码中，视频编码设备10在如下所述的情况中会提供这种IBR画面指令。例如，在将使用的IDR画面指定为随机访问点的以及在其之前的输出队列帧不希望被保留，而不考虑由后向预测造成的延迟的情况中，相关帧可以指定为IBR画面。
在解码中，当前帧为IBR画面时，在解码当前帧之前，视频解码设备20会取消使用帧缓冲器内的每一个参考帧和每一个输出队列帧，并且考虑到在当前帧之后，它们不会用于帧间预测以及用于输出其已解码的图像。
IBR画面也可以设定为仅消除使用有限的不使用的输出队列帧，而不是取消使用所有的输出队列帧。
然后该设备可以设置为利用附加于IBR画面的已解码图像输出时间来确定是否每一个帧的使用都取消，并设置为仅取消使用其各自的输出时间大于附加的输出时间的输出队列帧。
作为另一个实例，该系统也可以设定为：分别地传送输出时间，仅取消使用输出时间大于已传达输出时间的输出队列帧，和根据与该帧相关的已解码图像输出时间指定每一个不必要的输出队列帧。
在此情况中需要一种语法以传达输出时间，且其可以设定为一种例如仅与在NAL单元语法中表示IBR画面的NAL单元类型一起存在的语法，并且与IBR画面一起传达时间。例如，当NAL单元类型表示IBR画面时，我们能够定义“最近_输出_时间”(latest_output_time)，其随后传达给NAL单元类型。此处，最近_输出_时间所使用的时间单元假定为与其它在H.26L中表示时间的语法所使用的相同，并且用90kHz的时间单元表示最大延迟时间。还要认识到时间单元中所表达的数字是用32位无符号定长码编码的，且已编码的数据随后便传输出去。
在解码中，在接收最近_输出_时间时，对于保留在帧缓冲器内的输出队列帧，视频解码设备20仅取消使用那些已解码图像输出时间大于最近_输出_时间的帧。
在以这种方式使用最近_输出_时间的情况中，系统也可以设定为，能够在最近_输出_时间之前进一步传达一种标记，并且具有最近_输出_时间的语法只有在存在该标记的指示时才使用。在此情况中，可以定义一种选项，从而能够在省略最近输出时间时取消使用所有的输出队列帧。
在本实施例中，IBR画面定义为与IDR画面不同的画面，但是也可以定义一种附加于IDR画面并且表示如何处理输出队列帧的标记(no_output_of_prior_pics_flag)，而不是定义一种新的画面如IBR画面，并且给IDR画面提供与IBR画面相同的定义，因为IDR画面与IBR画面之间的差异就是如何处理保留在帧缓冲器内的输出队列帧的差异。
也就是说，正如前述的定义一样，IDR画面定义为一种提供仅取消使用所有保留在帧缓冲器内的参考帧但并不取消使用输出队列帧的指令的画面。在此情况中，附加于IDR画面的标记分别传达给IDR画面，并且根据该标记的指示(no_output_of_prior_pics_flag＝1)，类似于前述的IBR画面，IDR画面作为一种提供取消使用所有输出队列帧的指令的画面而加以操作，IDR画面也能够取消使用所有保留在帧缓冲器内的参考帧。这一通知使得其也能够提供取消使用输出队列帧的指令，而无须定义任何新的画面。
下面参考图10-12对本实施例进一步加以说明。
图10是显示本实施例中视频编码设备10的构型的框图。视频编码条件通过输入终端47输入。通常，用键盘来选择和输入解码条件。该解码条件是，例如作为解码目标的图像的尺寸、帧速率和位速率。进一步的解码条件包括视频的可预测参考结构和缓冲器44的容量。
视频的可预测参考结构是，例如编码作为IDR图像的输入图像的时序，与可预测编码图像相关的图像、或者类似的图像。缓冲器44的容量是，例如暂时存储作为参考图像的图像数目。这些条件可以设定为随着时间而变化。如此输入的编码条件存储在控制器48内。
开始解码操作时，控制器48将解码条件输出到解码器43中，在该处设定解码条件。另一方面，作为解码目标的图像通过输入终端41而输入，然后通过帧存储器42施加到解码器43上，并在之后进行解码。因为图像的次序在后向预测时发生了转换，所以输入图像暂时存储在帧存储器42内。
解码器43根据H.26L的运算法则而解码图像。已解码的图像发送到复用器45中与其它相关的信息复合，之后复合信息通过输出终端46而输出。用于预测的图像用解码器43再现，然后作为解码下一图像的参考图像存储在缓冲器44中。
图11是用于解释控制器48确定no_output_of_prior_pies_flag的过程的流程图。对每一个构成作为编码目标的视频的图像都执行该处理。第一步S1为作为编码目标的图像输入编码条件(图像是否编码为IDR图像)，并且输入关于是否将先前存储在缓冲器44内的再生图像用作参考图像或用作显示图像的信息。该信息用控制器48分别地加以管理。
S2确定作为编码目标的图像是否是IDR图像。当确定结果是该图像不是IDR图像时(S2；NO)，该处理便终止(S3)。当图像是IDR图像时(S2；YES)，该流程进行到S4。S4确定先前存储在缓冲器44内的图像是否用作参考图像或者用作显示图像。
当上述确定的结果是先前存储在缓冲器44内的图像用作参考图像或者用作显示图像时(S4；YES)，no_output_of_prior_pics_flag便设定为“0”(S5)。另一方面，当其既不用作参考图像也不用作显示图像时(S4；NO)，no_output_of_prior_pics_flag便设定为“1”(S6)。这样设定的no_output_of_prior_pics_flag的标记通过总线L8提供给复用器45，之后附加到相应图像的已编码数据上，且该数据通过输出终端46而发送出去(S7)。当在S6no_output_of_prior_pics_flag设定为“1”时，控制器48通过L7输出删除所有存储在缓冲器44内的图像的命令。
图12是显示本实施例中视频解码设备20的构型的框图。待解码的数据通过输入终端51而输入。该数据是每一个用视频编码设备10编码的帧的图像数据。当该数据是IDR图像时，no_output_of_prior_pics_flag与之多路传输。输入数据存储在输入缓冲器52内。在预先确定的时刻，一个帧的数据根据控制器56发出的指令从输入缓冲器52反馈到解码器53，并且根据H.26L的运算法则而开始对其进行解码。
已解码图像一度存储在输出缓冲器54中。存储在输出缓冲器54中的图像通过总线M5反馈给解码器53，之后用作解码下一图像的参考图像。另一方面，附加在用解码器53解码的IDR图像中的no_output_of_prior_pics_flag的数据反馈给控制器56。
控制器56参考no_output_of_prior_pics_flag的数值(“0”或“1”)，并根据其控制输出缓冲器54。具体地讲，当no_output_of_prior_pics_flag为“1”时，参考图像和显示队列图像都变得不必要，从而控制器56通过总线M8输出删除所有存储在输出缓冲器54内的图像的命令。另一方面，当no_output_of_prior_pics_flag为“0”时，与之相应的图像是IDR图像，从而控制器56取消使用所有用于参考的图像(参考图像)并将其从输出缓冲器54内删除。但是，显示队列图像并不删除。每一个显示队列图像都在其时刻显示在显示设备上。
本实施例说明的实例中，本发明以H.26L为基础而实现，但是能够应用本发明的视频编码方法并不仅限于H.26L，而是包括各种使用后向帧间预测的视频编码方法。
而且本实施例设定为，将用于传达不使用输出队列帧的语法定义为在NAL单元语法中通知的NAL单元类型的附加限定，从而添加用定长码构成的语法以传达输出时间，但是当然，用于传达的定义和语法并不仅限于这些。也可以用变长码代替定长码用于通知输出时间，且输出时间单元可以是除90kHz以外的任何单元；例如，输出时间单元可以以如下的时间单元为基础，即在辅助通知作为H.26L中的视频可用性信息(VUI)的num_units_in_tick和time_scale中定义的时间单元。
它也能够通过如下各种语法中的一种和NAL单元语法而传达，该各种语法能够传达应用于帧单元中的信息。例如，在H.26L中，可以将一种语法添加到补充增强信息消息语法(SupplementalEnhancement Information Message syntax)之中。
作为另一种方法，也可以扩展为了控制H.26L中的参考帧而定义的存储管理控制操作(MMCO)命令。在此情况中，因为定义为MMCO命令的重置命令定义了与前述NAL单元类型中的IDR图像相同的操作，这便可能定义例如输出队列帧重置(重排缓冲器重置)命令，如在NAL单元类型中定义的情况。使用该命令的操作定义可以确定为与用NAL单元类型中的IBR画面执行的操作定义相似。
在应用另一种视频编码方法时，可能使用一种语法来传达在该编码方法中施加到帧单元上的信息。也可以在该视频编码方法中在已编码数据外部加以通知，如在使用H.263通信中用于控制信息的通知的ITU-T建议H.245的情况。
最后，参考图9对根据本发明的视频编码程序和视频解码程序进行说明。
如图9所示，视频处理程序310存储在程序存储区域30a内，该区域在记录介质30内形成。视频处理程序310能够通过如图8所示的视频处理系统100而执行，并且具有用于视频处理的主模块311、后确定(after-stated)视频编码程序312和后确定视频解码程序313。
视频编码程序312具有已选择信息输出模块312a。由已选择信息输出模块312a的操作实现的功能与视频编码设备10的已选择信息输出部分11的功能非常相似。
视频解码程序313具有已解码图像取消使用模块313a。由已解码图像取消使用模块313a的操作实现的功能与视频解码设备20的已解码图像使用消除部分21的功能非常相似。
视频处理程序310可以设定为其一部分或者全部通过传输介质如通讯线而被另一个设备接收并记录下来。相反地，视频处理程序310也可以设定为通过通讯介质而传输，从而安装在另一个设备上。
这样说明了本发明，显然本发明的实施例可以以许多方式加以改变。这种改变不能认为背离了本发明的精神和范围，且所有这样的修改对于熟悉本技术人而言都是很明显的，并且都包含在随后的权利要求的范围内。

Claims (14)

1.一种视频编码设备，包括：
输入装置，其用于实现输入作为编码目标的图像；
编码装置，其用于对图像编码以产生已编码数据；
图像存储装置，其用于存储出自于经编码装置编码后再生的图像的参考帧和队列帧，参考帧用于下一个图像的编码，队列帧在其输出时间到来之前保留在图像存储装置中；
缓冲器管理装置，其用于管理存储在图像存储装置内的参考帧和队列帧；
其中，在对未参考存储在图像存储装置中的任何其它图像而编码的IDR图像编码时，缓冲器管理装置与已编码数据一起输出一个标记，该标记表示存储在图像存储装置中的参考帧被删除或者存储在图像存储装置中的参考帧和队列帧被删除。
2.根据权利要求1的视频编码设备，其中该编码装置从暂时滞后帧执行后向帧间预测，且
其中，在编码IDR图像时，缓冲器管理装置基于所述标记相对于先前存储在图像存储装置中的IDR图像，删除出自于暂时滞后帧、未用作向后预测的参考帧的帧。
3.一种视频解码设备，包括：
输入装置，其用于实现输入含有已编码图像的已编码数据的图像数据，和附加于已编码数据上的图像输出指令标记；
解码装置，其用于对已编码的数据解码以产生再生图像；
图像存储装置，其用于存储出自于再生图像的参考帧和队列帧，参考帧用于下一个图像的解码，队列帧在其输出时间到来之前保留在图像存储装置中；
缓冲器管理装置，其用于管理存储在图像存储装置内的参考帧和队列帧；
其中，缓冲器管理装置在对应于没有参考存储在图像存储装置中的任何图像而编码的IDR图像的图像输出指令标记是“1”时，删除存储在图像存储装置中的参考帧和队列帧。
4.根据权利要求3的视频解码设备，其中当图像输出指令标记为“0”时，缓冲器管理装置删除存储在图像存储装置中的参考帧。
5.一种视频编码方法，包括：
输入步骤，其中一个视频编码设备实现输入作为编码目标的图像；
编码步骤，其中视频编码设备对该图像编码以产生已编码数据；
图像存储步骤，其中视频编码设备将出自于经编码步骤编码后再生的图像的参考帧和队列帧存储到图像存储装置中，参考帧用于下一个图像的编码，队列帧在其输出时间到来之前被保留；
缓冲器管理步骤，其中视频编码设备管理存储在图像存储装置中的参考帧和队列帧；
其中在缓冲器管理步骤中，在对未参考存储在图像存储装置中的任何其它图像而编码的IDR图像编码时，视频编码设备与已编码数据一起输出一个标记，该标记表示存储在图像存储装置中的参考帧被删除或者存储在图像存储装置中的参考帧和队列帧被删除。
6.一种视频解码方法，包括：
输入步骤，其中一个视频解码设备实现输入含有已编码图像的已编码数据的图像数据，和附加于已编码数据上的图像输出指令标记；
解码步骤，其中视频解码设备对已编码数据解码以产生再生图像；
图像存储步骤，其中视频解码设备将出自于再生的图像的参考帧和队列帧存储到图像存储装置中，参考帧用于下一个图像的解码，队列帧在其输出时间到来之前被保留；
缓冲器管理步骤，其中视频解码设备管理存储在图像存储装置中的参考帧和队列帧；
其中在缓冲器管理步骤中，视频解码设备在对应于没有参考存储在图像存储装置中的任何图像而编码的IDR图像的图像输出指令标记是“1”时，删除存储在图像存储装置中的参考帧和队列帧。
7.一种视频编码设备，包括：
输入装置，其用于实现输入作为编码目标的图像；
编码装置，其用于对图像编码以产生已编码数据；
图像存储装置，其用于存储出自于经编码装置编码后再生的图像的参考帧和队列帧，参考帧用于下一个图像的编码，队列帧在其输出时间到来之前保留在图像存储装置中；
缓冲器管理装置，其用于管理存储在图像存储装置内的参考帧和队列帧；
其中，在对未参考存储在图像存储装置中的任何其它图像而编码的IDR图像编码时，缓冲器管理装置与已编码数据一起输出标记0或标记1，其中标记0表示存储在图像存储装置中的参考帧被删除，标记1表示存储在图像存储装置中的参考帧和队列帧被删除。
8.根据权利要求7的视频编码设备，其中该编码装置从暂时滞后帧执行后向帧间预测，且
其中，在编码IDR图像时，缓冲器管理装置基于所述标记相对于先前存储在图像存储装置中的IDR图像，删除出自于暂时滞后帧、未用作向后预测的参考帧的帧。
9.一种视频解码设备，包括：
输入装置，其用于实现输入含有已编码图像的已编码数据的图像数据，和附加于已编码数据上的图像输出指令标记；
解码装置，其用于对已编码的数据解码以产生再生图像；
图像存储装置，其用于存储出自于再生图像的参考帧和队列帧，参考帧用于下一个图像的解码，队列帧在其输出时间到来之前保留在图像存储装置中；
缓冲器管理装置，其用于管理存储在图像存储装置内的参考帧和队列帧；
其中，缓冲器管理装置在对应于没有参考存储在图像存储装置中的任何图像而编码的IDR图像的图像输出指令标记是“1”时，删除存储在图像存储装置中的参考帧和队列帧；
在图像输出指令标记是“0”时，缓冲器管理装置删除存储在图像存储装置中的参考帧。
10.根据权利要求9的视频解码设备，其中解码设备从暂时滞后帧执行后向帧间预测。
11.一种视频编码方法，包括：
输入步骤，其中一个视频编码设备实现输入作为编码目标的图像；
编码步骤，其中视频编码设备对该图像编码以产生已编码数据；
图像存储步骤，其中视频编码设备将出自于经编码步骤编码后再生的图像的参考帧和队列帧存储到图像存储装置中，参考帧用于下一个图像的编码，队列帧在其输出时间到来之前被保留；
缓冲器管理步骤，其中视频编码设备管理存储在图像存储装置中的参考帧和队列帧；
其中在缓冲器管理步骤中，在对未参考存储在图像存储装置中的任何其它图像而编码的IDR图像编码时，视频编码设备与已编码数据一起输出0或标记1，其中标记0表示存储在图像存储装置中的参考帧被删除，标记1表示存储在图像存储装置中的参考帧和队列帧被删除。
12.一种视频解码方法，包括：
输入步骤，其中一个视频解码设备实现输入含有已编码图像的已编码数据的图像数据，和附加于已编码数据上的图像输出指令标记；
解码步骤，其中视频解码设备对已编码数据解码以产生再生图像；
图像存储步骤，其中视频解码设备将出自于再生的图像的参考帧和队列帧存储到图像存储装置中，参考帧用于下一个图像的解码，队列帧在其输出时间到来之前被保留；
缓冲器管理步骤，其中视频解码设备管理存储在图像存储装置中的参考帧和队列帧；
其中在缓冲器管理步骤中，视频解码设备在对应于没有参考存储在图像存储装置中的任何图像而编码的IDR图像的图像输出指令标记是“1”时，删除存储在图像存储装置中的参考帧和队列帧；
在图像输出指令标记是“0”时，缓冲器管理装置删除存储在图像存储装置中的参考帧。
13.一种计算机可读介质，其中存储有用于使视频编码设备实现下述功能的视频编码程序：
实现输入作为编码目标的图像的功能；
对该图像编码以产生已编码数据的功能；
将出自于经编码后再生的图像的参考帧和队列帧存储到图像存储装置中的功能，参考帧用于下一个图像的编码，队列帧在其输出时间到来之前被保留；
管理存储在图像存储装置中的参考帧和队列帧的功能；
在对未参考存储在图像存储装置中的任何其它图像而编码的IDR图像编码时，与已编码数据一起输出0或标记1的功能，其中标记0表示存储在图像存储装置中的参考帧被删除，标记1表示存储在图像存储装置中的参考帧和队列帧被删除。
14.一种计算机可读介质，其中存储有用于使视频编码设备实现下述功能的视频编码程序：
实现输入含有已编码图像的已编码数据的图像数据，和附加于已编码数据上的图像输出指令标记的功能；
对已编码数据解码以产生再生图像的功能；
将出自于再生的图像的参考帧和队列帧存储到图像存储装置中的功能，参考帧用于下一个图像的解码，队列帧在其输出时间到来之前被保留；
管理存储在图像存储装置中的参考帧和队列帧的功能；
在对应于没有参考存储在图像存储装置中的任何图像而编码的IDR图像的图像输出指令标记是“1”时，删除存储在图像存储装置中的参考帧和队列帧的功能；
在图像输出指令标记是“0”时，删除存储在图像存储装置中的参考帧的功能。
CNA2006100957920A 2002-10-11 2003-10-10 视频编码、解码方法和装置 Pending CN1897699A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2002299512 2002-10-11
JP299512/2002 2002-10-11
JP2003190567A JP3513148B1 (ja) 2002-10-11 2003-07-02 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム
JP190567/2003 2003-07-02

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CNA2006100090376A Division CN1819656A (zh) 2002-10-11 2003-10-10 视频编码、解码方法和装置

Publications (1)

Publication Number Publication Date
CN1897699A true CN1897699A (zh) 2007-01-17

Family

ID=32032966

Family Applications (3)

Application Number Title Priority Date Filing Date
CNB2003101006609A Expired - Lifetime CN1250011C (zh) 2002-10-11 2003-10-10 视频编码、解码方法和装置
CNA2006100090376A Pending CN1819656A (zh) 2002-10-11 2003-10-10 视频编码、解码方法和装置
CNA2006100957920A Pending CN1897699A (zh) 2002-10-11 2003-10-10 视频编码、解码方法和装置

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CNB2003101006609A Expired - Lifetime CN1250011C (zh) 2002-10-11 2003-10-10 视频编码、解码方法和装置
CNA2006100090376A Pending CN1819656A (zh) 2002-10-11 2003-10-10 视频编码、解码方法和装置

Country Status (10)

Country Link
US (4) US7346216B2 (zh)
EP (4) EP2268037B1 (zh)
JP (1) JP3513148B1 (zh)
KR (1) KR100583552B1 (zh)
CN (3) CN1250011C (zh)
DK (1) DK2271114T3 (zh)
ES (3) ES2599322T3 (zh)
PT (3) PT2268037T (zh)
TR (1) TR201808745T4 (zh)
TW (1) TWI244856B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102088609A (zh) * 2007-02-28 2011-06-08 索尼株式会社 图像信息编码设备

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100505878C (zh) 2001-11-06 2009-06-24 松下电器产业株式会社 运动画面编码方法及运动画面解码方法
JP3513148B1 (ja) 2002-10-11 2004-03-31 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム
WO2005018119A1 (en) * 2003-07-14 2005-02-24 Thomson Licensing Technique for video broadcasting in a wireless lan
US20080002947A1 (en) * 2004-02-06 2008-01-03 Wataru Ikeda Recording medium, reproduction device, program and reproduction method
US8391672B2 (en) * 2004-02-06 2013-03-05 Panasonic Corporation Recording medium, reproduction device, program, and reproduction method
US8000392B1 (en) 2004-02-27 2011-08-16 Vbrick Systems, Inc. Phase correlation based motion estimation in hybrid video compression
EP1746825B1 (en) * 2004-04-16 2011-06-08 Panasonic Corporation Recording medium, reproduction device, program
JP4249224B2 (ja) * 2004-04-16 2009-04-02 パナソニック株式会社 再生装置、及び記録方法
DE602005017824D1 (de) * 2004-06-02 2009-12-31 Panasonic Corp Aufzeichnugsmedium, Wiedergabegerät, Programm und Verfahren zur Wiedergabe
EP2892226B1 (en) 2004-07-01 2017-01-11 Mitsubishi Electric Corporation Randomly accessible visual information recording medium and recording method, and reproducing device and reproducing method
US7925955B2 (en) * 2005-03-10 2011-04-12 Qualcomm Incorporated Transmit driver in communication system
EP2019554A3 (en) * 2005-03-10 2009-03-11 Qualcomm Incorporated A decoder architecture for optimized error management in streaming multimedia
US8693540B2 (en) * 2005-03-10 2014-04-08 Qualcomm Incorporated Method and apparatus of temporal error concealment for P-frame
US8155185B2 (en) * 2005-12-05 2012-04-10 Canon Kabushiki Kaisha Image coding apparatus and method
CA2633819C (en) 2005-12-08 2016-12-06 Vidyo, Inc. Systems and methods for error resilience and random access in video communication systems
US8265145B1 (en) * 2006-01-13 2012-09-11 Vbrick Systems, Inc. Management and selection of reference frames for long term prediction in motion estimation
US8107537B2 (en) * 2006-02-02 2012-01-31 Sharp Laboratories Of America, Inc. Picture layer rate control for video encoding
US8693538B2 (en) * 2006-03-03 2014-04-08 Vidyo, Inc. System and method for providing error resilience, random access and rate control in scalable video communications
US8279928B2 (en) * 2006-05-09 2012-10-02 Canon Kabushiki Kaisha Image encoding apparatus and encoding method, image decoding apparatus and decoding method
CA2660278C (en) * 2006-08-17 2016-03-29 Telefonaktiebolaget L M Ericsson (Publ) Error recovery for rich media
WO2008048605A2 (en) * 2006-10-16 2008-04-24 Thomson Licensing Method for using a network abstract layer unit to signal an instantaneous decoding refresh during a video operation
US8155207B2 (en) 2008-01-09 2012-04-10 Cisco Technology, Inc. Processing and managing pictures at the concatenation of two video streams
JP4227643B2 (ja) * 2006-12-20 2009-02-18 パナソニック株式会社 動画像符号化装置およびその方法
AU2008204833A1 (en) 2007-01-09 2008-07-17 Vidyo, Inc. Improved systems and methods for error resilience in video communication systems
CN101257624B (zh) * 2007-02-27 2011-08-24 华为技术有限公司 实现随机访问的方法及解码器
WO2008104127A1 (en) * 2007-02-27 2008-09-04 Huawei Technologies Co., Ltd. Method for realizing random access in compressed code stream using multi-reference images and decoder
WO2008151137A2 (en) * 2007-06-01 2008-12-11 The Trustees Of Columbia University In The City Of New York Real-time time encoding and decoding machines
CN101321284B (zh) * 2007-06-10 2012-01-04 华为技术有限公司 一种编解码方法、设备及系统
US8477852B2 (en) * 2007-06-20 2013-07-02 Nvidia Corporation Uniform video decoding and display
WO2009006405A1 (en) 2007-06-28 2009-01-08 The Trustees Of Columbia University In The City Of New York Multi-input multi-output time encoding and decoding machines
US8958486B2 (en) * 2007-07-31 2015-02-17 Cisco Technology, Inc. Simultaneous processing of media and redundancy streams for mitigating impairments
EP2213097A2 (en) * 2007-10-16 2010-08-04 Cisco Technology, Inc. Conveyance of concatenation properties and picture orderness in a video stream
US8718388B2 (en) 2007-12-11 2014-05-06 Cisco Technology, Inc. Video processing with tiered interdependencies of pictures
CN101287114B (zh) * 2008-05-27 2010-12-08 中兴通讯股份有限公司 一种动态切入视频码流的方法
WO2009152450A1 (en) 2008-06-12 2009-12-17 Cisco Technology, Inc. Picture interdependencies signals in context of mmco to assist stream manipulation
US8971402B2 (en) 2008-06-17 2015-03-03 Cisco Technology, Inc. Processing of impaired and incomplete multi-latticed video streams
US8699578B2 (en) 2008-06-17 2014-04-15 Cisco Technology, Inc. Methods and systems for processing multi-latticed video streams
WO2010124133A1 (en) 2009-04-24 2010-10-28 Delta Vidyo, Inc. Systems, methods and computer readable media for instant multi-channel video content browsing in digital video distribution systems
JP2010258738A (ja) * 2009-04-24 2010-11-11 Sony Corp 画像処理装置および方法、並びにプログラム
US8949883B2 (en) 2009-05-12 2015-02-03 Cisco Technology, Inc. Signalling buffer characteristics for splicing operations of video streams
US8279926B2 (en) 2009-06-18 2012-10-02 Cisco Technology, Inc. Dynamic streaming with latticed representations of video
CN102461165A (zh) * 2009-06-24 2012-05-16 德耳塔维德约股份有限公司 用于动态视频电子节目指南的系统和方法
US20110173300A1 (en) * 2009-11-25 2011-07-14 Isaac Levy IPTV Presence And Interaction Protocol
US8934530B2 (en) 2011-02-01 2015-01-13 Vidyo, Inc. Spatial scalability using redundant pictures and slice groups
WO2012109407A1 (en) 2011-02-09 2012-08-16 The Trustees Of Columbia University In The City Of New York Encoding and decoding machine with recurrent neural networks
US9706227B2 (en) 2011-03-10 2017-07-11 Qualcomm Incorporated Video coding techniques for coding dependent pictures after random access
PT3091744T (pt) 2011-06-30 2017-08-31 ERICSSON TELEFON AB L M (publ) Sinalização de imagem de referência
US9420307B2 (en) 2011-09-23 2016-08-16 Qualcomm Incorporated Coding reference pictures for a reference picture set
JP5698644B2 (ja) * 2011-10-18 2015-04-08 株式会社Ｎｔｔドコモ 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム
JP5727398B2 (ja) * 2012-01-26 2015-06-03 日本電信電話株式会社 動画像符号化方法，動画像符号化装置および動画像符号化プログラム
US9532055B2 (en) 2012-04-16 2016-12-27 Microsoft Technology Licensing, Llc Constraints and unit types to simplify video random access
US9979959B2 (en) 2012-04-20 2018-05-22 Qualcomm Incorporated Video coding with enhanced support for stream adaptation and splicing
US9992490B2 (en) * 2012-09-26 2018-06-05 Sony Corporation Video parameter set (VPS) syntax re-ordering for easy access of extension parameters
JP2014150384A (ja) * 2013-01-31 2014-08-21 Toshiba Corp 動画像符号化装置及び動画像符号化方法
CN103345371B (zh) * 2013-05-31 2016-06-01 沈阳东软熙康医疗系统有限公司 一种通过显示屏平滑显示大数据量的方法
WO2015056179A1 (en) 2013-10-15 2015-04-23 Nokia Technologies Oy Video encoding and decoding using syntax element
US10057590B2 (en) * 2014-01-13 2018-08-21 Mediatek Inc. Method and apparatus using software engine and hardware engine collaborated with each other to achieve hybrid video encoding
US10623755B2 (en) * 2016-05-23 2020-04-14 Qualcomm Incorporated End of sequence and end of bitstream NAL units in separate file tracks
CN107623849B (zh) * 2016-07-13 2019-06-18 北京大学 视频解码方法和装置
KR101852859B1 (ko) * 2016-11-07 2018-04-27 이노뎁 주식회사 랜덤액세서블 p-프레임에 기초한 동영상 랜덤액세스 처리 방법
US10805615B2 (en) * 2016-12-14 2020-10-13 LogMeln, Inc. Synchronizing video signals using cached key frames
CN111972037A (zh) 2018-04-05 2020-11-20 瑞典爱立信有限公司 多级副链路控制信息

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4190594B2 (ja) 1995-12-28 2008-12-03 ソニー株式会社 電子機器及び信号処理方法
US5899578A (en) * 1995-12-25 1999-05-04 Sony Corporation Digital signal processor, processing method, digital signal recording/playback device and digital signal playback method
JP3073948B2 (ja) 1996-10-31 2000-08-07 松下電器産業株式会社 ディジタル動画像復号化装置、及びディジタル動画像復号化方法
TW361046B (en) * 1996-10-31 1999-06-11 Matsushita Electric Ind Co Ltd Dynamic picture image decoding apparatus and method of decoding dynamic picture image
JPH10191356A (ja) * 1996-12-27 1998-07-21 Oki Electric Ind Co Ltd 画像符号化装置
GB2328099B (en) * 1997-08-08 2002-07-03 British Broadcasting Corp Processing coded video
US6104441A (en) * 1998-04-29 2000-08-15 Hewlett Packard Company System for editing compressed image sequences
US8050329B2 (en) * 1998-06-26 2011-11-01 Mediatek Inc. Method and apparatus for generic scalable shape coding
US6570926B1 (en) * 1999-02-25 2003-05-27 Telcordia Technologies, Inc. Active techniques for video transmission and playback
US6993251B1 (en) * 2000-03-31 2006-01-31 Matsushita Electric Industrial Co., Ltd. Method and apparatus for concealing disk soft errors in recorded digital television signals
US20020122656A1 (en) * 2001-03-05 2002-09-05 Gates Matthijs A. Method and apparatus for recording broadcast data
JP4355156B2 (ja) * 2002-04-16 2009-10-28 パナソニック株式会社 画像復号化方法及び画像復号化装置
SI1742479T1 (sl) * 2002-07-11 2009-12-31 Panasonic Corp Virtualni multi-hipotezni B-slikovni prikazovalni pomnilnik z ugrabljenim prostorom v H.264 post dekodnem pomnilniku
JP3513148B1 (ja) 2002-10-11 2004-03-31 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102088609A (zh) * 2007-02-28 2011-06-08 索尼株式会社 图像信息编码设备
CN101637028B (zh) * 2007-02-28 2012-09-05 索尼株式会社 图像信息编码设备和编码方法
CN102088609B (zh) * 2007-02-28 2013-03-13 索尼株式会社 图像信息编码设备

Also Published As

Publication number Publication date
EP3355583A1 (en) 2018-08-01
EP1408698B1 (en) 2016-08-24
EP2268037A2 (en) 2010-12-29
US20080112485A1 (en) 2008-05-15
EP2268037B1 (en) 2018-05-23
ES2674902T3 (es) 2018-07-04
TR201808745T4 (tr) 2018-07-23
KR100583552B1 (ko) 2006-05-26
TW200406115A (en) 2004-04-16
JP2004187264A (ja) 2004-07-02
ES2621175T3 (es) 2017-07-03
EP1408698A3 (en) 2004-12-15
EP2271114A2 (en) 2011-01-05
PT2268037T (pt) 2018-06-28
US7346216B2 (en) 2008-03-18
US20170251223A1 (en) 2017-08-31
TWI244856B (en) 2005-12-01
US20040071354A1 (en) 2004-04-15
ES2599322T3 (es) 2017-02-01
EP2271114A3 (en) 2012-07-18
KR20040033275A (ko) 2004-04-21
JP3513148B1 (ja) 2004-03-31
US9686563B2 (en) 2017-06-20
EP2268037A3 (en) 2012-07-18
PT2271114T (pt) 2017-03-23
PT1408698T (pt) 2016-11-02
DK2271114T3 (en) 2017-03-20
US10009627B2 (en) 2018-06-26
CN1512753A (zh) 2004-07-14
CN1819656A (zh) 2006-08-16
CN1250011C (zh) 2006-04-05
EP1408698A2 (en) 2004-04-14
US20100098174A1 (en) 2010-04-22
EP2271114B1 (en) 2017-01-25

Similar Documents

Publication Publication Date Title
CN1250011C (zh) 视频编码、解码方法和装置
CN1264333C (zh) 视频编码方法及设备、视频译码方法及设备
CN1254980C (zh) 冗余图像编解码的方法与装置
CN1134992C (zh) 图像预测解码方法
CN1659580A (zh) 基于空间预测的帧内编码
CN1692653A (zh) 活动图像编码/解码方法和设备
CN1357200A (zh) 使用多个可编程处理器的多信道mpeg视频代码转换器
CN101032172A (zh) 用于可分级视频比特流的熵编码和解码的方法和系统
CN1568013A (zh) 图像编码装置和图像解码装置
CN104412588A (zh) 用于在参数集中发信号通知长期参考图片的设备
CN1893652A (zh) 视频编码方法和装置,以及视频解码方法和装置
CN1617593A (zh) 发信号通知视频流中的有效入口点
CN101056401A (zh) 信息传送设备和信息传送方法
CN1550097A (zh) 数字广播发送装置及其方法、数字广播接收装置及其方法
CN1708120A (zh) 动画编辑系统
CN1848940A (zh) 信息记录/再现系统、设备和方法
CN1106082C (zh) 译码方法及其装置
CN101065780A (zh) 视频编码中的参考图像管理
CN1333631A (zh) 多数据译码的译码装置及译码方法
CN1328317A (zh) 数字图像输出装置、数字图像解码装置和数字图像编码装置
CN1148976C (zh) 图象传送方法和图象译码装置
CN1205783C (zh) 用于在网络中发送音频/视频数据的设备和方法
JP3939273B2 (ja) 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム
JP2007068218A (ja) 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication