JP2004187264A - 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム - Google Patents

Abstract

【課題】逆方向フレーム間予測において、参照フレームのみならず出力待ちフレームをも適切に制御することである。
【解決手段】動画像処理システム１００は、動画像符号化装置１０と動画像復号装置２０とを備える。動画像符号化装置１０は、時間的に後のフレームからの逆方向フレーム間予測を行い、この時間的に後のフレームの復号画像を不要とすることが選択された旨を示す情報を出力する。動画像復号装置２０は、上記時間的に後のフレームの復号画像を不要とするための情報が入力されたことに伴い、この情報に基づいてフレームの復号画像を不要とする。
【選択図】 図８

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像処理システム、動画像符号化プログラム、及び動画像復号プログラムに関する。
【０００２】
【従来の技術】
従来、動画像信号の伝送や蓄積再生を行うために、動画像信号の符号化技術が用いられる。かかる技術としては、例えば、ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６３（以下「Ｈ．２６３」と記す。）やＩＳＯ／ＩＥＣ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄ １４４９６−２（ＭＰＥＧ−４Ｖｉｓｕａｌ、以下「ＭＰＥＧ−４」と記す。）などの国際標準化動画像符号化方式が知られている。
【０００３】
また、より新しい符号化方式としては、ＩＴＵ−ＴとＩＳＯ／ＩＥＣとの合同国際標準化が予定されている動画像符号化方式、ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６４、ＩＳＯ／ＩＥＣ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄ １４４９６−１０（Ｊｏｉｎｔ Ｆｉｎａｌ Ｃｏｍｍｉｔｔｅｅ Ｄｒａｆｔ ｏｆ Ｊｏｉｎｔ Ｖｉｄｅｏ Ｓｐｅｃｉｆｉｃａｔｉｏｎ、以下「Ｈ．２６Ｌ」と記す。）が知られている。これらの動画像符号化方式に用いられている一般的な符号化技術については、例えば、以下に示す非特許文献１を参照されたい。
【０００４】
【非特許文献１】
国際標準動画像符号化の基礎技術
（小野 文孝、渡辺 裕共著、コロナ社、１９９８年３月２０日発行）
【０００５】
動画像信号は時間的に少しずつ変化する一枚ずつの画像（フレーム）が連続して構成されたものである。このため、一般的に、これらの動画像符号化方式においては、符号化対象として入力されたフレーム（現フレーム）に対して、他のフレーム（参照フレーム）との間でフレーム間予測を行って動画像信号における時間的な冗長度を削減する。
【０００６】
この場合、フレーム間予測は、現フレームとの変化がより小さい参照フレームとの間で行われることによって、より大きく冗長度を削減し符号化効率を高めることできる。このため、参照フレームとしては現フレームより時間的に前のフレームだけでなく、時間的に後のフレームを用いる場合もある。前のフレームを用いる場合を順方向予測、後のフレームを用いる場合を逆方向予測と記す（図１参照）。また、このとき両方の予測が任意に選択される場合、若しくは同時に用いられる場合を双方向予測と記す。
【０００７】
一般的に、この様な双方向予測が用いられる場合には、時間的に前のフレームの１つが順方向予測の参照フレームとして、また時間的に後のフレームの１つが逆方向予測の参照フレームとして、現フレームに先んじて予めそれぞれフレームバッファに保持される。
【０００８】
例えば、ＭＰＥＧ−４の復号においては、現フレームを双方向フレーム間予測により復号する場合には、まず現フレームの復号化に先んじて、現フレームより時間的に前のフレームの１つ、及び時間的に後のフレームの１つが、フレーム間予測を用いないフレーム内予測により復号されたフレーム、若しくは順方向フレーム間予測により復号されたフレームとして復号され、それらが参照フレームとしてフレームバッファに保持される。その後、現フレームが、保持されたこれら２つのフレームを用いて双方向予測により復号される（図２（ａ）参照）。
【０００９】
したがって、この場合、時間的に後の参照フレームと現フレームとの復号時間の順序は、それぞれの復号画像の出力時間の順序と逆転することとなる。なお、これらのフレームにはそれぞれ出力時間を示す情報が関連付けられており、この情報に従って各フレームの時間的な前後関係を知ることができる。このため、それぞれの復号画像は正しい順序で出力される（図２（ｂ）参照）。ＭＰＥＧ−４では、出力時間は絶対値として記述されている。
【００１０】
近年の動画像符号化方式では、上述したフレーム間予測において、より現フレームとの変化の小さいフレームからの予測が可能となる様に、順方向、逆方向それぞれの参照フレームを１つだけではなく、複数用いることのできるものがある（図３参照）。
【００１１】
例えば、Ｈ．２６Ｌの復号においては、予め定められた参照フレーム数上限までの範囲で複数の参照フレームを、フレームバッファに保持しておき、フレーム間予測を行う場合には、それらの中から最適なものが任意に指示されて用いられる。この場合、現フレームを双方向予測フレームとして復号する場合には、まず現フレームの復号に先んじて参照フレームが復号されるが、この参照フレームとして現フレームより時間的に前のフレームが複数、また時間的に後のフレームが複数、それぞれ復号され、参照フレームとしてフレームバッファに保持される。現フレームは、それらのフレームの中から予測に用いるフレームが任意に指示されて予測を行うことができる（図４（ａ）参照）。
【００１２】
したがって、この場合、時間的に後の複数の参照フレームと現フレームとの復号時間の順序が、出力時間の順序と逆転することとなる。なお、これらのフレームはそれぞれ出力時間を示す情報若しくは出力順序を示す情報が関連付けられており、この情報に従って各フレームの時間的な前後関係を知ることができる。このため、それぞれの復号画像は正しい順序で出力される（図４（ｂ）参照）。出力時間は、絶対値として記述されることが多い。また、出力順序は、フレーム間隔が一定の場合に用いられる。
【００１３】
上述した様に、逆方向予測においても、複数の参照フレームが用いられる場合には、フレームバッファに保持されるフレームは必ずしも現フレーム以降での逆方向予測に用いられるとは限らない。この例として、図５に示す予測構造を参照して説明する。現フレームＦ１が時間的に後の参照フレームＦ２から逆方向予測され、またＦ２はＦ３から、Ｆ３はＦ４から逆方向予測され、更にＦ４は時間的に前の参照フレームＦ０から順方向予測されているものとする。このような予測は、例えば、時間的に前の参照フレームＦ０と現フレームＦ１との間の変化が大きい一方でＦ１と時間的に後の参照フレームＦ２、Ｆ３、Ｆ４との間の変化が小さく、かつ、Ｆ０とＦ３との間では比較的に変化が小さくなるような場合に行われて、効率的な予測を行うことができる。
【００１４】
このとき、現フレームＦ１は時間的に後の参照フレームＦ２からのみ予測されることから、Ｆ３、Ｆ４は現フレームＦ１を復号する時点にて、フレーム間予測には用いることのないフレームとなる。しかしながら、Ｆ３、Ｆ４は現フレームＦ１よりも時間的に後のフレームであることから、それぞれの出力時間に復号画像として出力されるまで、保持され続ける必要がある。
【００１５】
このように、逆方向予測のために時間的に後のフレームをフレームバッファに保持する場合、かかるフレームとしては、現フレーム以降のフレーム間予測において参照フレームとして用いられるものと、参照フレームとしては用いられないものの２種類が存在することになる。以下、このように参照フレームとして用いられないものの、出力時間に達していないことからフレームバッファに保持されているフレームを、「出力待ちフレーム」と記す。
【００１６】
このフレームの違いを説明するために、動画像復号装置の構成の概略図を図６（ａ）及び図６（ｂ）に示す。図６（ａ）に示す様に、復号装置１には参照フレームを保持するフレームバッファ３が存在し、フレーム間予測を行う際に参照フレームを復号処理部２に出力する。このとき、上述のように逆方向予測において複数の参照フレームが用いられる場合は、フレームバッファには、参照フレームだけでなく出力待ちフレームも保持されることとなり、論理的には図６（ｂ）に示す様に、参照フレームとして一定の時間保持され続けて復号処理部２へも出力されるフレームを格納する領域と、出力待ちフレームとして、復号処理部２へ出力されることはなく、そのフレームに関する出力時間に復号画像として出力されるまでの間だけ保持され続けるフレームを格納する領域が存在することになる。
【００１７】
ところで、複数の参照フレームが用いられる場合に、例えばある動画像の中で特異な特徴を有し、他のフレームからの変化の大きいフレームがあった場合に、これを参照フレームとして保持していても効率的な予測は期待できない。したがって、かかるフレームを参照フレームとして保持せずに、その分のフレームバッファにて他のフレームを保持できる様にした方がフレーム間予測を効率的に行える場合がある。あるいは逆に、ある動画像の中で代表的な特徴を有し、他のフレームからの変化が小さいフレームは、現フレームとの時間的距離に関わらず参照フレームとして長くフレームバッファに保持しておくことにより、多くフレームにおいてフレーム間予測を効率的に行えることが期待できる。
【００１８】
このような参照フレームの取捨選択動作を実現するために、符号化データにて参照フレームの取捨選択情報を通知することが考えられる。例えばＨ．２６Ｌでは、メモリ管理制御（ＭＭＣＯ：Ｍｅｍｏｒｙ Ｍａｎａｇｅｍｅｎｔ Ｃｏｎｔｒｏｌ Ｏｐｅｒａｔｉｏｎ）コマンドが定義されている。ＭＭＣＯコマンドでは、例えば、フレームバッファに保持されている全ての参照フレームを不要として指示することのできるＲｅｓｅｔコマンドなどが定義されており、必要に応じて任意に、フレームバッファにおいて参照フレームとして保持するフレームの取捨選択を指示することができる。
【００１９】
また、動画像上でのランダムアクセスを行うために、符号化データの途中から復号を開始しようとした場合には、復号を開始するフレームは、他のフレームからのフレーム間予測を用いないフレーム内予測により符号化されたフレームであり、またそのフレーム以降のフレームも、復号を開始するフレームより以前のフレームを参照フレームとしないこと、すなわち復号を開始するフレームの復号に先んじて、フレームバッファに保持されている全ての参照フレームが不要として指示されている必要がある。
【００２０】
例えば、Ｈ．２６Ｌでは、このような状態を明示するために、瞬時復号器更新（ＩＤＲ：Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈ）ピクチャが定義されている。ＩＤＲピクチャにおいては、ＩＤＲピクチャが復号される以前の参照フレームはすべて不要とされ、以降のフレームにおけるフレーム間予測が、ＩＤＲピクチャより以前のフレームからのフレーム間予測が行われないこととされる。これにより、ランダムアクセスなど、符号化データの中途からの復号を行う場合には、ＩＤＲピクチャからであればフレーム間予測における参照フレームの有無の問題が生じることなく、復号を行うことができる。
【００２１】
【発明が解決しようとする課題】
上述のように、逆方向予測フレーム間予測において複数の参照フレームを用いる場合、フレームバッファでの参照フレームの保持を制御する手段を設けることにより、複数の参照フレームを効率的に扱うことができる。他方で、このようなフレームバッファにはフレーム間予測に用いられる参照フレームだけでなく、出力時間までの間に保持される出力待ちフレームも存在するが、参照フレームの保持を制御する従来の手段においては、このような出力待ちフレームの制御が考慮されていなかった。そのために、出力される予定のない出力待ちフレームが、フレームバッファを長時間占領する課題がある。
【００２２】
このため、出力待ちフレームの制御が適切に行うことができない場合、復号画像の出力を一意に扱うことができない等の問題が生じてしまうことがある。
例えば、図７（ａ）の符号化データＦ００〜Ｆ０４からなる動画像から、図７（ｂ）の符号化データＦ１０〜Ｆ１３からなる動画像へ、Ｆ０３の時点で切り替えを行うものとする。これは、動画像の編集を行うために蓄積された符号化データをフレーム単位で切り替えた場合、あるいは放送型の動画像通信において、１つのチャネルに相当する任意の符号化データから、別のチャネルに相当する他の符号化データに切り替えた場合、などに生じ得る。
【００２３】
この場合、Ｆ１０はＩＤＲピクチャである必要があり、これによりＦ１０の復号に先んじてフレームバッファに保持されている参照フレームは全て不要とされ、Ｆ１０以降のフレームの復号は問題なく行うことができる。しかしながら、この場合に不要とされるのは参照フレームであることから、Ｆ０３、Ｆ０４が参照フレームではなく出力待ちフレームであった場合には、扱いが一意とはならない。すなわち、Ｆ１０への切り替えが行われた場合に、Ｆ０３、Ｆ０４はフレームバッファに引き続き保持されて出力されるべきフレームであるのか、あるいはＦ１０の復号に先んじて不要として扱われるべきフレームであるのかが明確ではない。したがって、この場合の復号画像としてどのフレームが出力されるのか、一意ではない。
【００２４】
そこで、本発明の課題は、逆方向フレーム間予測において複数の参照フレームを用いる際に、フレームバッファに保持されるフレームの扱いを明確に定義し、参照フレームのみならず出力待ちフレームをも適切に制御することである。
【００２５】
【課題を解決するための手段】
上記課題を解決するために、本発明に係る動画像符号化方法は、動画像符号化装置が、時間的に後のフレームからの逆方向フレーム間予測を行う動画像符号化方法であって、前記時間的に後のフレームの復号画像を不要とすることが選択された旨を示す情報を出力する。
【００２６】
本発明に係る動画像符号化方法において好ましくは、前記情報は、前記時間的に後のフレームの復号画像に関して、全てのフレームを不要とする指示を行う情報である。
本発明に係る動画像符号化方法において好ましくは、前記情報は、前記時間的に後のフレームの復号画像に関して、逆方向予測の参照フレームとして用いられることのないフレームの全てを不要とする指示を行う情報である。
本発明に係る動画像符号化方法において好ましくは、前記情報は、不要とされるフレームの復号画像に関する出力時間を示す情報を含む。
【００２７】
本発明に係る動画像復号方法は、動画像復号装置が、時間的に後のフレームからの逆方向フレーム間予測を行う動画像復号方法であって、前記時間的に後のフレームの復号画像を不要とするための情報が入力されたことに伴い、この情報に基づいて前記フレームの復号画像を出力しない。
【００２８】
本発明に係る動画像復号方法において好ましくは、前記情報は、前記時間的に後のフレームの復号画像に関して、全てのフレームを不要とする指示を行う情報である。
本発明に係る動画像復号方法において好ましくは、前記情報は、前記時間的に後のフレームの復号画像に関して、逆方向予測の参照フレームとして用いられることのないフレームの全てを不要とする指示を行う情報である。
本発明に係る動画像復号方法において好ましくは、前記情報は、不要とされるフレームの復号画像に関する出力時間を示す情報を含む。
【００２９】
本発明に係る動画像符号化装置は、時間的に後のフレームからの逆方向フレーム間予測を行う動画像符号化装置であって、前記時間的に後のフレームの復号画像を不要とすることが選択された旨を示す情報を出力する。
【００３０】
本発明に係る動画像符号化装置において好ましくは、前記情報は、前記時間的に後のフレームの復号画像に関して、全てのフレームを不要とする指示を行う情報である。
本発明に係る動画像符号化装置において好ましくは、前記情報は、前記時間的に後のフレームの復号画像に関して、逆方向予測の参照フレームとして用いられることのないフレームの全てを不要とする指示を行う情報である。
本発明に係る動画像符号化装置において好ましくは、前記情報は、不要とされるフレームの復号画像に関する出力時間を示す情報を含む。
【００３１】
本発明に係る動画像復号装置は、時間的に後のフレームからの逆方向フレーム間予測を行う動画像復号装置であって、前記時間的に後のフレームの復号画像を不要とするための情報が入力されたことに伴い、この情報に基づいて前記フレームの復号画像を出力しない。
【００３２】
本発明に係る動画像復号装置において好ましくは、前記情報は、前記時間的に後のフレームの復号画像に関して、全てのフレームを不要とする指示を行う情報である。
本発明に係る動画像復号装置において好ましくは、前記情報は、前記時間的に後のフレームの復号画像に関して、逆方向予測の参照フレームとして用いられることのないフレームの全てを不要とする指示を行う情報である。
本発明に係る動画像復号装置において好ましくは、前記情報は、不要とされるフレームの復号画像に関する出力時間を示す情報を含む。
【００３３】
本発明に係る動画像符号化プログラムは、時間的に後のフレームからの逆方向フレーム間予測を行うコンピュータとしての動画像符号化装置に、前記時間的に後のフレームの復号画像を不要とすることが選択された旨を示す情報を出力する機能を実現させる。
【００３４】
本発明に係る動画像符号化プログラムにおいて好ましくは、前記情報は、前記時間的に後のフレームの復号画像に関して、全てのフレームを不要とする指示を行う情報である。
本発明に係る動画像符号化プログラムにおいて好ましくは、前記情報は、前記時間的に後のフレームの復号画像に関して、逆方向予測の参照フレームとして用いられることのないフレームの全てを不要とする指示を行う情報である。
本発明に係る動画像符号化プログラムにおいて好ましくは、前記情報は、不要とされるフレームの復号画像に関する出力時間を示す情報を含む。
【００３５】
本発明に係る動画像復号プログラムは、時間的に後のフレームからの逆方向フレーム間予測を行うコンピュータとしての動画像復号装置に、前記時間的に後のフレームの復号画像を不要とするための情報が入力されたことに伴い、この情報に基づいて前記フレームの復号画像を出力しない機能を実現させる。
【００３６】
本発明に係る動画像復号プログラムにおいて好ましくは、前記情報は、前記時間的に後のフレームの復号画像に関して、全てのフレームを不要とする指示を行う情報である。
本発明に係る動画像復号プログラムにおいて好ましくは、前記情報は、前記時間的に後のフレームの復号画像に関して、逆方向予測の参照フレームとして用いられることのないフレームの全てを不要とする指示を行う情報である。
本発明に係る動画像復号プログラムにおいて好ましくは、前記情報は、不要とされるフレームの復号画像に関する出力時間を示す情報を含む。
【００３７】
これらの発明によれば、符号化において、復号画像出力待ちであるフレームを不要とすることを指示する情報を出力すると共に、復号において、この情報を入力し、全ての出力待ちフレームを出力しない。これにより、編集後の符号化データの復号や、符号化データ上でのランダムアクセス後の復号において、不必要な復号画像出力が生じたり、逆に必要な復号画像出力が削除されたりしてしまうことを防ぐ。その結果、適切な復号画像出力を得ることができる。
【００３８】
また、上述した動画像符号化装置と、上述した動画像復号装置とを備え、前記動画像復号装置は、前記動画像符号化装置により符号化されたデータを復号する動画像処理システムを構築しても、同様の効果が得られる。
【００３９】
本発明に係る動画像符号化装置は、符号化の対象となる画像を入力する入力手段と、前記画像を符号化し、符号化データを生成する符号化手段と、前記符号化手段により符号化され、再生された画像を格納する画像格納手段と、前記画像格納手段に格納されている画像を管理するバッファ管理手段とを備え、前記バッファ管理手段は、他の画像を参照せずに符号化される画像（ＩＤＲ画像）を符号化する際に、前記画像格納手段に既に格納されている全ての画像が不要となるか否かを示すフラグ（ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇ）を前記符号化データと共に出力する。例えば、動画像符号化装置は、全ての画像が不要となる場合には“１”のフラグを、そうでない場合には“０”のフラグを、前記符号化データと共に出力する。
【００４０】
本発明に係る動画像符号化装置において好ましくは、前記符号化手段は、時間的に後のフレームからの逆方向フレーム間予測を行い、前記バッファ管理手段は、他の画像を参照せずに符号化される画像（ＩＤＲ画像）を符号化する際に、前記画像格納手段に既に格納されている前記時間的に後のフレームの復号画像を消去する。
【００４１】
本発明に係る動画像復号装置は、符号化された画像の符号化データと、当該符号化データに付加された画像出力指示フラグとを含む画像データを入力する入力手段と、前記符号化データを復号し、再生画像を生成する復号手段と、前記再生画像を格納する画像格納手段と、前記画像格納手段に格納されている再生画像を管理するバッファ管理手段とを備え、前記バッファ管理手段は、前記画像格納手段に格納されている画像を参照せずに符号化される画像（ＩＤＲ画像）に対応する前記画像出力指示フラグに従って、前記画像格納手段に格納されている全ての画像を消去する。
【００４２】
本発明に係る動画像符号化装置において好ましくは、前記画像出力指示フラグが“０”の場合には、バッファ内の全ての参照画像を不要とし、“１”の場合には、バッファ内の全ての参照画像及び出力待ち画像を消去する。
【００４３】
本発明に係る動画像符号化方法は、動画像符号化装置が、符号化の対象となる画像を入力する入力ステップと、前記動画像符号化装置が、前記画像を符号化し、符号化データを生成する符号化ステップと、前記動画像符号化装置が、前記符号化ステップにて符号化され、再生された画像を画像格納手段に格納する画像格納ステップと、前記動画像符号化装置が、前記画像格納手段に格納されている画像を管理するバッファ管理ステップとを含み、前記バッファ管理ステップでは、前記動画像符号化装置は、他の画像を参照せずに符号化される画像を符号化する際に、前記画像格納手段に既に格納されている全ての画像が不要となるか否かを示すフラグを前記符号化データと共に出力する。
【００４４】
本発明に係る動画像符号化方法において好ましくは、前記符号化ステップでは、前記動画像符号化装置は、時間的に後のフレームからの逆方向フレーム間予測を行い、前記バッファ管理ステップでは、前記動画像符号化装置は、他の画像を参照せずに符号化される画像を符号化する際に、前記画像格納手段に既に格納されている時間的に後のフレームの復号画像を消去する。
【００４５】
本発明に係る動画像復号方法は、動画像復号装置が、符号化された画像の符号化データと、当該符号化データに付加された画像出力指示フラグとを含む画像データを入力する入力ステップと、前記動画像復号装置が、前記符号化データを復号し、再生画像を生成する復号ステップと、前記動画像復号装置が、前記再生画像を画像格納手段に格納する画像格納ステップと、前記動画像復号装置が、前記画像格納手段に格納されている再生画像を管理するバッファ管理ステップとを含み、前記バッファ管理ステップでは、前記動画像復号装置は、前記画像格納手段に格納されている画像を参照せずに符号化される画像に対応する前記画像出力指示フラグに従って、前記画像格納手段に格納されている全ての画像を消去する。
【００４６】
本発明に係る動画像復号方法において好ましくは、前記動画像復号装置が、前記画像出力指示フラグが“０”の場合には、バッファ内の全ての参照画像を不要とし、“１”の場合には、バッファ内の全ての参照画像及び出力待ち画像を消去する。
【００４７】
本発明に係る動画像符号化プログラムは、符号化の対象となる画像を入力する機能と、前記画像を符号化し、符号化データを生成する機能と、符号化され、再生された画像を画像格納手段に格納する機能と、前記画像格納手段に格納されている画像を管理する機能と、他の画像を参照せずに符号化される画像を符号化する際に、前記画像格納手段に既に格納されている全ての画像が不要となるか否かを示すフラグを前記符号化データと共に出力する機能とを動画像符号化装置に実現させる。
【００４８】
動画像符号化プログラムにおいて好ましくは、時間的に後のフレームからの逆方向フレーム間予測を行う機能と、他の画像を参照せずに符号化される画像を符号化する際に、前記画像格納手段に既に格納されている時間的に後のフレームの復号画像を消去する機能とを更に実現させる。
【００４９】
本発明に係る動画像復号プログラムは、符号化された画像の符号化データと、当該符号化データに付加された画像出力指示フラグとを含む画像データを入力する機能と、前記符号化データを復号し、再生画像を生成する機能と、前記再生画像を画像格納手段に格納する機能と、前記画像格納手段に格納されている再生画像を管理する機能と、前記画像格納手段に格納されている画像を参照せずに符号化される画像に対応する前記画像出力指示フラグに従って、前記画像格納手段に格納されている全ての画像を消去する機能とを動画像復号装置に実現させる。
【００５０】
本発明に係る動画像復号プログラムにおいて好ましくは、前記画像出力指示フラグが“０”の場合には、バッファ内の全ての参照画像を不要とし、“１”の場合には、バッファ内の全ての参照画像及び出力待ち画像を消去する機能を更に実現させる。
【００５１】
【発明の実施の形態】
以下、本発明の実施形態について、図面を参照して詳細に説明する。
説明の前提として、符号化及び復号に関しては、Ｈ．２６Ｌを基に実現されるものとすると共に、動画像符号化における動作について特に言及しない部分については、Ｈ．２６Ｌの動作に準じるものとする。
【００５２】
まず、本発明に係る動画像処理システムの構成を説明する。図８は、動画像処理システム１００の機能的構成を示すブロック図である。図８に示す様に、動画像処理システム１００は、動画像符号化装置１０と動画像復号装置２０とを備えて構成される。動画像符号化装置１０及び動画像復号装置２０は、時間的に後のフレームからの逆方向フレーム間予測を行う。
【００５３】
詳細な処理内容に関しては後述するが、動画像符号化装置１０は選択情報出力部１１を備え、選択情報出力部１１は、時間的に後のフレームの復号画像を不要とすることが選択された旨を示す情報を動画像復号装置２０に出力する。
動画像復号装置２０は復号画像不要化部２１を備え、復号画像不要化部２１は、時間的に後のフレームの復号画像を不要とするための情報が動画像符号化装置１０から入力されたことに伴い、この情報に基づいて前記フレームの復号画像を出力しない。
【００５４】
上記情報は例えば、時間的に後のフレームの復号画像に関して、全てのフレームを不要とする指示を行う情報である。また例えば、この情報は、時間的に後のフレームの復号画像に関して、逆方向予測の参照フレームとして用いられることのないフレームの全てを不要とする指示を行う情報である。更に例えば、この情報は、不要とされるフレームの復号画像に関する出力時間を示す情報を含む。
【００５５】
続いて、本発明に係る動画像符号化方法、及び動画像復号方法について説明する。本実施の形態では、フレームバッファの保持されるフレームについて不要とすることを指示することのできる情報を定義するが、このとき参照フレーム、出力待ちフレームのそれぞれについて明確に定義を行う。
【００５６】
ここでは、Ｈ．２６Ｌにおいて符号化データを伝送する単位であるＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ） についての情報を通知するＮＡＬ ｕｎｉｔ ｓｙｎｔａｘにおいて定義するものとする。具体的には、その中に含まれるＮＡＬ ｕｎｉｔ ｔｙｐｅにて通知される種別として定義する。
【００５７】
ここでは、まず従来のＩＤＲピクチャについて、フレームバッファに保持されている全ての参照フレームのみを不要とすることを指示するものとする。すなわち、フレームバッファに保持されている出力待ちフレームは、ＩＤＲピクチャによっては不要とはされないものとして定義する。
【００５８】
次に、ＩＤＲピクチャとは異なる新たなピクチャとして、Ｉｎｓｔａｎｔ Ｂｕｆｆｅｒ Ｒｅｆｒｅｓｈピクチャ（以下、「ＩＢＲピクチャ」と記す。）を定義する。ＩＢＲピクチャは、フレームバッファに保持されている全ての参照フレームのみを不要とすることを指示するＩＤＲピクチャの定義に加えて、全ての出力待ちフレームも不要とすることを指示するものとして定義される。すなわち、現フレームがＩＢＲピクチャであるとされた場合には、現フレームの復号に先んじて、フレームバッファに保持されている全ての参照フレーム、及び全ての出力待ちフレームを不要とするものとする。
【００５９】
符号化では、動画像符号化装置１０は、このようなＩＢＲピクチャを以下の様な場合に指示する。例えば、ランダムアクセスポイントとしてＩＤＲピクチャを指示しようとする場合に、逆方向予測による遅延のいかんに関わらず、それ以前の出力待ちフレームが保持されないようにする場合に、当該フレームをＩＢＲピクチャと指示することができる。
【００６０】
復号においては、動画像復号装置２０は、現フレームがＩＢＲピクチャであった場合には、現フレームの復号に先んじてフレームバッファに含まれる全ての参照フレーム、出力待ちフレームを不要とし、現フレーム以後のフレーム間予測ならびに復号画像出力に用いられることがないものとする。
【００６１】
ＩＢＲピクチャにおいては、全ての出力待ちフレームを不要とするのではなく、不要となる出力待ちフレームを限定して不要とするものとしてもよい。
そこで、ＩＢＲピクチャに関連付けられた復号画像出力時間を用いて不要の判断を行うこととし、この出力時間よりも大きな出力時間を持つ、出力待ちフレームのみを不要とすることとしてもよい。
【００６２】
あるいはまた、別途出力時間を通知することとして、通知された時間より大きな出力時間を持つ出力待ちフレームのみを不要とすることとし、不要となる出力待ちフレームを、そのフレームに関連付けられた復号画像出力時間によって指定することととしてもよい。
【００６３】
この場合には出力時間を通知するためのシンタックスが必要となるが、それは例えばＮＡＬ ｕｎｉｔ ｓｙｎｔａｘの中で、ＮＡＬ ｕｎｉｔ ｔｙｐｅがＩＢＲピクチャを指示した場合にだけ存在するシンタックスとすることとして、ＩＢＲピクチャとともに時間を通知するシンタックスとしてもよい。例えば、ＮＡＬ ｕｎｉｔ ｔｙｐｅがＩＢＲピクチャを指示した場合にＮＡＬ ｕｎｉｔ ｔｙｐｅに引き続いて通知される“ｌａｔｅｓｔ＿ｏｕｔｐｕｔ＿ｔｉｍｅ”を定義する。ここでは、ｌａｔｅｓｔ＿ｏｕｔｐｕｔ＿ｔｉｍｅは、Ｈ．２６Ｌにおいて時間を示す他のシンタックスに用いられる時間単位と同じものを使うこととして、９０ｋＨｚの時間単位にて最大遅延時間を示すものとする。またその時間単位にて表される数値を、３２ビットの符号無し固定長符号にて符号化して伝送するものとする。
【００６４】
復号においては、動画像復号装置２０は、ｌａｔｅｓｔ＿ｏｕｔｐｕｔ＿ｔｉｍｅが通知された場合、フレームバッファに保持されている出力待ちフレームの内、その復号画像出力時間がｌａｔｅｓｔ＿ｏｕｔｐｕｔ＿ｔｉｍｅよりも大きなフレームのみを不要とする。
【００６５】
また、このようにｌａｔｅｓｔ＿ｏｕｔｐｕｔ＿ｔｉｍｅを用いる場合には、その前に更にフラグが通知されるものとし、フラグによる指示があった場合のみｌａｔｅｓｔ＿ｏｕｔｐｕｔ＿ｔｉｍｅが存在するシンタックスを用いるものとしてもよい。かかる場合において、ｌａｔｅｓｔ＿ｏｕｔｐｕｔ＿ｔｉｍｅが省略される場合には、全ての出力待ちフレームを不要とすることとして定義することができる。
【００６６】
本実施の形態では、ＩＤＲピクチャとは異なるピクチャとしてＩＢＲピクチャを定義することとしたが、両者の違いはフレームバッファに保持された出力待ちフレームの扱いの違いであることから、ＩＢＲピクチャの様に新しいピクチャを定義するのではなく、ＩＤＲピクチャに付随する、出力待ちフレームの扱いを指示するフラグ（ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇ）を定義することとして、ＩＢＲピクチャと同じ定義をＩＤＲピクチャに与えることとしてもよい。
【００６７】
すなわち、上述した定義の様に、ＩＤＲピクチャでは、フレームバッファに保持されている全ての参照フレームのみを不要とすることを指示し、出力待ちフレームは不要とはされないものとして定義する。このとき、このＩＤＲピクチャについて、関連付けられたフラグが別途通知されることとし、フラグによる指示があった場合には（ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇ＝１）、当該ＩＤＲピクチャにおいては上述のＩＢＲピクチャと同じ様に、フレームバッファに保持されている全ての参照フレームに加えて、全ての出力待ちフレームも不要とすることを指示するものとする。この様な通知により、新たなピクチャを定義することなく、出力待ちフレームを不要とする指示を与えることも可能である。
【００６８】
本実施の形態について、図１０〜図１２を参照して、更に説明する。
図１０は、本実施の形態における動画像符号化装置１０の構成を示すブロック図である。入力端子４７より、映像を符号化するための条件が入力される。一般的にはキーボードにより、符号化条件が選択若しくは入力される。符号化条件としては、例えば、符号化の対象となる画像の大きさ、フレームレート、ビットレートが挙げられる。更に、映像の予測参照構造やバッファ４４の容量が挙げられる。
【００６９】
映像の予測参照構造は、例えば、入力画像をＩＤＲ画像として符号化するタイミング、予測符号化画像が参照する画像などである。バッファ４４の容量は、例えば、一時的に格納され参照画像として用いられる画像の枚数である。これらの条件は、時間と共に変化するような設定をしてもよい。入力された符号化条件は、制御器４８に格納される。
【００７０】
符号化処理が開始すると、制御器４８は、符号化条件をエンコーダ４３に出力し、符号化条件がセットされる。一方、入力端子４１より、符号化の対象となる画像が入力されると、フレームメモリ４２を経由して、エンコーダ４３に出力された後、符号化される。逆方向予測を行う際に画像の順番が入れ替わるため、フレームメモリ４２内には、入力画像が一時的に格納される。
【００７１】
エンコーダ４３は、Ｈ．２６Ｌのアルゴリズムに基づいて画像を符号化する。符号化された画像は、多重化器４５を経由して、他の関連情報と多重化された後、出力端子４６より出力される。また、予測に用いられる画像は、エンコーダ４３にて再生された後、次の画像を符号化するための参照画像として、バッファ４４に格納される。
【００７２】
図１１は、制御器４８が、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇを決定する処理を説明するためのフローチャートである。この処理は、符号化の対象となる映像を構成する各画像に対して実行される。まずＳ１では、符号化の対象となる画像の符号化条件（ＩＤＲ画像として符号化すべきか否か）、及びバッファ４４に既に格納されている再生画像が参照画像若しくは表示画像として用いられるか否かに関する情報が入力される。かかる情報は、制御器４８が別途管理している。
【００７３】
Ｓ２では、符号化の対象となる画像がＩＤＲ画像であるか否かが判定される。判定の結果、ＩＤＲ画像ではない場合には（Ｓ２；ＮＯ）、この処理は終了する（Ｓ３）。ＩＤＲ画像である場合には（Ｓ２；ＹＥＳ）、Ｓ４に移行する。Ｓ４では、バッファ４４に既に格納されている画像が、参照画像又は表示画像として用いられるか否かの判定が行われる。
【００７４】
上記判定の結果、参照画像又は表示画像として用いられる場合には（Ｓ４；ＹＥＳ）、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇは“０”にセットされる（Ｓ５）。一方、参照画像又は表示画像として用いられない場合には（Ｓ４；ＮＯ）、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇは“１”にセットされる（Ｓ６）。このようにセットされたｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇは、バスＬ８を経由して多重化器４５に出力された後、対応する画像の符号化データに付加され、出力端子４６から送出される（Ｓ７）。また、Ｓ６において、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇが“１”にセットされた場合、制御器４８は、Ｌ７経由で、バッファ４４に格納されている画像を全て消去するコマンドを出力する。
【００７５】
図１２は、本実施の形態における動画像復号装置２０の構成を示すブロック図である。入力端子５１より、復号されるデータが入力される。このデータは、動画像符号化装置１０により符号化された各フレームの画像データである。このデータがＩＤＲ画像である場合には、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇが多重化されている。入力されたデータは、入力バッファ５２に格納される。所定の時刻になると、制御器５６からの指示により、一フレーム分のデータが入力バッファ５２からデコーダ５３に入力され、Ｈ．２６Ｌのアルゴリズムに従った復号化が開始される。
【００７６】
復号された画像は、出力バッファ５４に一旦格納される。出力バッファ５４に格納された画像は、バスＭ５を経由して、デコーダ５３にフィードバックされた後、次の画像を復号するための参照画像として用いられる。一方、デコーダ５３により復号化されたＩＤＲ画像に付加されているｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇのデータは、制御器５６に入力される。
【００７７】
制御器５６は、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇの値（“０”又は“１”）を参照して、出力バッファ５４を制御する。すなわち、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇが“１”である場合には、参照画像と表示待ち画像とが共に不要となるので、制御器５６は、バスＭ８を経由して、出力バッファ５４に格納されている全ての画像を消去するコマンドを出力する。これに対して、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇが“０”である場合には、その画像はＩＤＲ画像であるので、制御器５６は、参照に用いられる画像（参照画像）を全て不要とし、出力バッファ５４から消去する。しかし、表示待ち画像は消去しない。表示待ち画像は、その時刻に、ディスプレイに表示される。
【００７８】
また、本実施の形態では、Ｈ．２６Ｌを基にして本発明を実現した例について説明したが、本発明を適用可能な動画像符号化方式としては、Ｈ．２６Ｌに限らず、逆方向フレーム間予測を用いる様々な動画像符号化方式がある。
【００７９】
更に、本実施の形態においては、出力待ちフレームを不要とすることを通知するためのシンタックスとしてＮＡＬ ｕｎｉｔ ｓｙｎｔａｘの中で通知されるＮＡＬ ｕｎｉｔ ｔｙｐｅにおいて定義を追加するものとし、また出力時間を通知する場合には固定長符号によるシンタックスを追加するものとしたが、むろんこれを通知するための定義やシンタックスはこれらに限られるものではない。出力時間を通知するための固定長符号に代わり可変長符号を用いることとしても良いし、出力時間の単位も９０ｋＨｚではなく、例えばＨ．２６Ｌにおいて、補助的に映像利便性情報（Ｖｉｄｅｏ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ、ＶＵＩ）として通知される、ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｔｉｃｋ、ｔｉｍｅ＿ｓｃａｌｅにて定義される時間単位に基づくものとしてもよい。
【００８０】
また、ＮＡＬ ｕｎｉｔ ｓｙｎｔａｘ以外にも、フレーム単位で適用されるための情報を通知することのできる様々なシンタックスによって通知するものとすることができる。例えばＨ．２６Ｌにおいては、補助拡張情報メッセージ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｅｓｓａｇｅ）の中にシンタックスを追加するものとしても良い。
【００８１】
あるいはまた、Ｈ．２６Ｌにおいて参照フレームの制御のために定義される、メモリ管理制御処理（ＭＭＣＯ）コマンドを拡張することとしてもよい。この場合、ＭＭＣＯコマンドとして定義されているリセット（Ｒｅｓｅｔ）コマンドが上述のＮＡＬ ｕｎｉｔ ｔｙｐｅにおけるＩＤＲピクチャと同じ動作を定義していることから、ＮＡＬ ｕｎｉｔ ｔｙｐｅにおける定義の場合と同様に、例えば出力待ちフレームリセット（Ｒｅｏｒｄｅｒｉｎｇ Ｂｕｆｆｅｒ Ｒｅｓｅｔ）コマンドを定義することができる。このコマンドによる動作の定義は、ＮＡＬ ｕｎｉｔ ｔｙｐｅにおけるＩＢＲピクチャにおける動作の定義と同様とすればよい。
【００８２】
他の動画像符号化方式を用いる場合には、当該符号化方式においてフレーム単位に適用される情報を通知するためのシンタックスを用いることができる。また、Ｈ．２６３を用いた通信において制御情報の通知のために利用されるＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２４５のように、動画像符号化方式による符号化データの外部において通知することとしても良い。
【００８３】
最後に、図９を参照して、本発明に係る動画像符号化プログラム、及び動画像復号プログラムについて説明する。
図９に示す様に、動画像処理プログラム３１０は、記録媒体３０内に形成されたプログラム格納領域３０ａに格納されている。動画像処理プログラム３１０は、図８に示した動画像処理システム１００により実行可能であり、動画像処理を統括するメインモジュール３１１と、後述の動画像符号化プログラム３１２と、後述の動画像復号プログラム３１３とを有する。
【００８４】
動画像符号化プログラム３１２は、選択情報出力モジュール３１２ａを備えて構成される。選択情報出力モジュール３１２ａを動作させることによって実現する機能は、動画像符号化装置１０の選択情報出力部１１の有する機能と同様である。
【００８５】
動画像復号プログラム３１３は、復号画像不要化モジュール３１３ａを備えて構成される。復号画像不要化モジュール３１３ａを動作させることによって実現する機能は、動画像復号装置２０の復号画像不要化部２１の有する機能とそれぞれ同様である。
【００８６】
また、動画像処理プログラム３１０は、その一部若しくは全部が通信回線等の伝送媒体を介して他の機器により受信され、記録される構成としてもよい。反対に、動画像処理プログラム３１０を、伝送媒体を介して伝送し、他の機器にインストールする構成としてもよい。
【００８７】
【発明の効果】
本発明によれば、逆方向フレーム間予測において複数の参照フレームを用いる際に、フレームバッファに保持されるフレームの扱いを明確に定義し、参照フレームのみならず出力待ちフレームをも適切に制御することができる。更に、出力されていない出力待ちフレームがフレームバッファから削除されるため、フレームバッファを無駄なく利用することができる。
【図面の簡単な説明】
【図１】フレーム間予測における順方向予測と逆方向予測を説明するための図である。
【図２】図２（ａ）は、現フレームが２つのフレームを用いて双方向予測により復号される例を示す図である。図２（ｂ）は、時間的に後の参照フレームと現フレームとの復号時間の順序が、各復号画像の出力時間の順序と逆転した例を示す図である。
【図３】参照フレームが複数用いられる場合の順方向予測と逆方向予測とを説明するための図である。
【図４】図４（ａ）は、所定の参照フレーム数上限までの範囲で複数の参照フレームのフレーム間予測を行う例を示す図である。図４（ｂ）は、時間的に後の複数の参照フレームと現フレームとの復号時間の順序が、各復号画像の出力時間の順序と逆転した例を示す図である。
【図５】フレームバッファに保持されるフレームが現フレーム以降での逆方向予測に用いられない場合における予測構造を示す図である。
【図６】図６（ａ）は、動画像復号装置の構成を概略的に示す図である。図６（ｂ）は、フレームバッファの構成を概略的に示す図である。
【図７】図７（ａ）は、符号化データから成る切替え前の動画像の一例を示す図である。図７（ｂ）は、符号化データから成る切替え後の動画像を示す図である。
【図８】本発明に係る動画像処理システムの機能的構成を示すブロック図である。
【図９】本発明に係る動画像処理プログラムの構成を示す図である。
【図１０】本発明に係る動画像符号化装置の構成を示すブロック図である。
【図１１】制御器がｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇを決定する処理を説明するためのフローチャートである。
【図１２】本発明に係る動画像復号装置の構成を示すブロック図である。
【符号の説明】
１０…動画像符号化装置、１１…選択情報出力部、２０…動画像復号装置、２１…復号画像不要化部、３１０…動画像処理プログラム、３１２…選択情報出力モジュール、３１３…復号画像不要化モジュール、４１，４７…入力端子、４２…フレームメモリ、４３…エンコーダ、４４…バッファ、４５…多重化器、４６…出力端子、４８…制御器、５１…入力端子、５２…入力バッファ、５３…デコーダ、５４…出力バッファ、５５…出力端子、５６…制御器、１００…動画像処理システム

Claims (20)

1. 動画像符号化装置が、時間的に後のフレームからの逆方向フレーム間予測を行う動画像符号化方法であって、
   前記時間的に後のフレームの復号画像を不要とすることが選択された旨を示す情報を出力することを特徴とする動画像符号化方法。
2. 動画像復号装置が、時間的に後のフレームからの逆方向フレーム間予測を行う動画像復号方法であって、
   前記時間的に後のフレームの復号画像を不要とするための情報が入力されたことに伴い、この情報に基づいて前記フレームの復号画像を出力しないことを特徴とする動画像復号方法。
3. 時間的に後のフレームからの逆方向フレーム間予測を行う動画像符号化装置であって、
   前記時間的に後のフレームの復号画像を不要とすることが選択された旨を示す情報を出力することを特徴とする動画像符号化装置。
4. 前記情報は、前記時間的に後のフレームの復号画像に関して、全てのフレームを不要とする指示を行う情報であることを特徴とする請求項３に記載の動画像符号化装置。
5. 前記情報は、前記時間的に後のフレームの復号画像に関して、逆方向予測の参照フレームとして用いられることのないフレームの全てを不要とする指示を行う情報であることを特徴とする請求項３に記載の動画像符号化装置。
6. 前記情報は、不要とされるフレームの復号画像に関する出力時間を示す情報を含むことを特徴とする請求項３に記載の動画像符号化装置。
7. 時間的に後のフレームからの逆方向フレーム間予測を行う動画像復号装置であって、
   前記時間的に後のフレームの復号画像を不要とするための情報が入力されたことに伴い、この情報に基づいて前記フレームの復号画像を出力しないことを特徴とする動画像復号装置。
8. 前記情報は、前記時間的に後のフレームの復号画像に関して、全てのフレームを不要とする指示を行う情報であることを特徴とする請求項７に記載の動画像復号装置。
9. 前記情報は、前記時間的に後のフレームの復号画像に関して、逆方向予測の参照フレームとして用いられることのないフレームの全てを不要とする指示を行う情報であることを特徴とする請求項７に記載の動画像復号装置。
10. 前記情報は、不要とされるフレームの復号画像に関する出力時間を示す情報を含むことを特徴とする請求項７に記載の動画像復号装置。
11. 時間的に後のフレームからの逆方向フレーム間予測を行うコンピュータとしての動画像符号化装置に、
    前記時間的に後のフレームの復号画像を不要とすることが選択された旨を示す情報を出力する機能
    を実現させることを特徴とする動画像符号化プログラム。
12. 時間的に後のフレームからの逆方向フレーム間予測を行うコンピュータとしての動画像復号装置に、
    前記時間的に後のフレームの復号画像を不要とするための情報が入力されたことに伴い、この情報に基づいて前記フレームの復号画像を出力しない機能
    を実現させることを特徴とする動画像復号プログラム。
13. 符号化の対象となる画像を入力する入力手段と、
    前記画像を符号化し、符号化データを生成する符号化手段と、
    前記符号化手段により符号化され、再生された画像を格納する画像格納手段と、
    前記画像格納手段に格納されている画像を管理するバッファ管理手段とを備え、
    前記バッファ管理手段は、他の画像を参照せずに符号化される画像を符号化する際に、前記画像格納手段に既に格納されている全ての画像が不要となるか否かを示すフラグを、前記符号化データと共に出力することを特徴とする動画像符号化装置。
14. 前記符号化手段は、時間的に後のフレームからの逆方向フレーム間予測を行い、
    前記バッファ管理手段は、他の画像を参照せずに符号化される画像を符号化する際に、前記画像格納手段に既に格納されている時間的に後のフレームの復号画像を消去することを特徴とする請求項１３に記載の動画像符号化装置。
15. 符号化された画像の符号化データと、当該符号化データに付加された画像出力指示フラグとを含む画像データを入力する入力手段と、
    前記符号化データを復号し、再生画像を生成する復号手段と、
    前記再生画像を格納する画像格納手段と、
    前記画像格納手段に格納されている再生画像を管理するバッファ管理手段とを備え、
    前記バッファ管理手段は、前記画像格納手段に格納されている画像を参照せずに符号化される画像に対応する前記画像出力指示フラグに従って、前記画像格納手段に格納されている全ての画像を消去することを特徴とする動画像復号装置。
16. 前記画像出力指示フラグが“０”の場合には、バッファ内の全ての参照画像を不要とし、“１”の場合には、バッファ内の全ての参照画像及び出力待ち画像を消去することを特徴とする請求項１５に記載の動画像復号装置。
17. 動画像符号化装置が、符号化の対象となる画像を入力する入力ステップと、
    前記動画像符号化装置が、前記画像を符号化し、符号化データを生成する符号化ステップと、
    前記動画像符号化装置が、前記符号化ステップにて符号化され、再生された画像を画像格納手段に格納する画像格納ステップと、
    前記動画像符号化装置が、前記画像格納手段に格納されている画像を管理するバッファ管理ステップとを含み、
    前記バッファ管理ステップでは、前記動画像符号化装置は、他の画像を参照せずに符号化される画像を符号化する際に、前記画像格納手段に既に格納されている全ての画像が不要となるか否かを示すフラグを、前記符号化データと共に出力することを特徴とする動画像符号化方法。
18. 動画像復号装置が、符号化された画像の符号化データと、当該符号化データに付加された画像出力指示フラグとを含む画像データを入力する入力ステップと、前記動画像復号装置が、前記符号化データを復号し、再生画像を生成する復号ステップと、
    前記動画像復号装置が、前記再生画像を画像格納手段に格納する画像格納ステップと、
    前記動画像復号装置が、前記画像格納手段に格納されている再生画像を管理するバッファ管理ステップとを含み、
    前記バッファ管理ステップでは、前記動画像復号装置は、前記画像格納手段に格納されている画像を参照せずに符号化される画像に対応する前記画像出力指示フラグに従って、前記画像格納手段に格納されている全ての画像を消去することを特徴とする動画像復号方法。
19. 符号化の対象となる画像を入力する機能と、
    前記画像を符号化し、符号化データを生成する機能と、
    符号化され、再生された画像を画像格納手段に格納する機能と、
    前記画像格納手段に格納されている画像を管理する機能と、
    他の画像を参照せずに符号化される画像を符号化する際に、前記画像格納手段に既に格納されている全ての画像が不要となるか否かを示すフラグを前記符号化データと共に出力する機能と
    を動画像符号化装置に実現させることを特徴とする動画像符号化プログラム。
20. 符号化された画像の符号化データと、当該符号化データに付加された画像出力指示フラグとを含む画像データを入力する機能と、
    前記符号化データを復号し、再生画像を生成する機能と、
    前記再生画像を画像格納手段に格納する機能と、
    前記画像格納手段に格納されている再生画像を管理する機能と、
    前記画像格納手段に格納されている画像を参照せずに符号化される画像に対応する前記画像出力指示フラグに従って、前記画像格納手段に格納されている全ての画像を消去する機能と
    を動画像復号装置に実現させることを特徴とする動画像復号プログラム。

Images