JP2004180266A - 動画像復号方法、動画像復号装置、及び動画像復号プログラム - Google Patents

Abstract

【課題】逆方向フレーム間予測を用いる際に適切な時間間隔での復号画像出力を得ることが可能な動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム及び動画像復号プログラムを提供する。
【解決手段】動画像処理システムは、動画像符号化装置１と、動画像復号装置２とを備えて構成される。符号化装置１は、動画像データＤ０を符号化した符号化データＤ１に加えて、逆方向予測により生じ得る最大遅延時間を出力する。また、復号装置２は、符号化装置１からの符号化データＤ１に加えて、逆方向予測により生じ得る最大遅延時間を入力する。そして、入力した最大遅延時間を参照しつつ、符号化データＤ１を復号して動画像データＤ２を生成する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像処理システム、動画像符号化プログラム、及び動画像復号プログラムに関するものである。
【０００２】
【従来の技術】
動画像信号の伝送や蓄積、再生を行うために、動画像信号の符号化技術が用いられる。そのような技術として、ITU-T Recommendation H.263（以下H.263と呼ぶ）やISO/IEC International Standard 14496-2（MPEG-4 Visual、以下MPEG-4と呼ぶ）などの国際標準化動画像符号化方式が知られている。また、より新しい符号化方式として、ITU-T とISO/IECとの合同国際標準化が予定されている動画像符号化方式、ITU-T Recommendation H.264、ISO/IEC International Standard14496-10（Joint Final Committee Draft of Joint Video Specification、以下H.26Lと呼ぶ）が知られている。これらの動画像符号化方式に用いられている一般的な符号化技術については、例えば非特許文献１（小野 文孝、渡辺 裕 共著、「国際標準画像符号化の基礎技術」）に記載がある。
【０００３】
動画像信号は時間的に少しずつ変化する一枚づつの画像（フレーム）が連続して構成されたものであることから、一般的にこれらの動画像符号化方式においては、符号化対象として入力されたフレーム（現フレーム）に対して、他のフレーム（参照フレーム）との間でフレーム間予測を行って動画像信号における時間的な冗長度を削減する。この場合フレーム間予測は、現フレームとの変化がより小さい参照フレームとの間で行うことによって、より大きく冗長度を削減し符号化効率を高めることできる。
【０００４】
このため、図６に示すように、現フレームＡ１に対する参照フレームとしては、現フレームＡ１より時間的に前のフレームＡ０だけでなく、時間的に後のフレームＡ２を用いる場合もある。前のフレームを用いる場合を順方向予測、後のフレームを用いる場合を逆方向予測と呼ぶ。またこのとき、両方の予測が任意に選択されるか、もしくは同時に用いられる場合を双方向予測と呼ぶ。
【０００５】
一般的にこのような双方向予測が用いられる場合には、図６に示した例のように、時間的に前のフレームの１つが順方向予測の参照フレームとして、また時間的に後のフレームの１つが逆方向予測の参照フレームとして、現フレームに先んじて予めそれぞれ保持される。
【０００６】
図７は、図６に示した双方向予測を行った場合でのフレームの（ａ）復号、及び（ｂ）出力について示す図である。例えばMPEG-4の復号においては、現フレームＡ１を双方向フレーム間予測により復号する場合には、まず現フレームＡ１の復号化に先んじて、現フレームＡ１より時間的に前のフレームの１つであるフレームＡ０、および時間的に後のフレームの１つであるフレームＡ２が、フレーム間予測を用いないフレーム内予測により復号されたフレーム、もしくは順方向フレーム間予測により復号されたフレームとして復号され、それらが参照フレームとして保持される。その後に現フレームＡ１が、保持されたこれら２つのフレームＡ０、Ａ２を用いて双方向予測により復号される（図７（ａ））。
【０００７】
したがってこの場合、時間的に後の参照フレームＡ２と現フレームＡ１との復号時間の順序は、それぞれの復号画像の出力時間の順序と逆転することとなる。なお、これらのフレームＡ０、Ａ１、Ａ２には、それぞれ出力時間情報０、１、２が関連づけられており、この情報にしたがって各フレームの時間的な前後関係を知ることができる。このため、それぞれの復号画像は正しい順序にて出力される（図７（ｂ））。MPEG-4では、出力時間情報は絶対値として記述されている。
【０００８】
また、近年の動画像符号化方式では、図８に示すように、このようなフレーム間予測において、より現フレームとの変化の小さいフレームからの予測が可能となるように、順方向、逆方向それぞれの参照フレームを１つだけではなく、複数用いることのできるものがある。図８においては、現フレームＢ２に対する参照フレームとして、現フレームＢ２より時間的に前の２つのフレームＢ０、Ｂ１、及び時間的に後の２つのフレームＢ３、Ｂ４を用いる例を示している。
【０００９】
図９は、図８に示した双方向予測を行った場合でのフレームの（ａ）復号、及び（ｂ）出力について示す図である。例えば、H.26Lの復号においては、予め定められた参照フレーム数上限までの範囲で参照フレームを複数保持しておくことができ、フレーム間予測を行う場合には、それらの中から最適なものが任意に指示されて用いられる。この場合、現フレームＢ２を双方向予測フレームとして復号する場合には、まず現フレームＢ２の復号に先んじて参照フレームが復号されるが、この参照フレームとして、現フレームＢ２より時間的に前のフレームが複数（例えば２つのフレームＢ０、Ｂ１）、また時間的に後のフレームが複数（例えば２つのフレームＢ３、Ｂ４）、それぞれ復号されて、参照フレームとして保持される。現フレームＢ２では、それらのフレームＢ０、Ｂ１、Ｂ３、Ｂ４のなかから予測に用いるフレームが任意に指示されて予測を行うことができる（図９（ａ））。
【００１０】
したがってこの場合、時間的に後の複数の参照フレームＢ３、Ｂ４と現フレームＢ２との復号時間の順序が、出力時間の順序と逆転することとなる。なお、これらのフレームＢ０〜Ｂ４はそれぞれ出力時間情報もしくは出力順序情報０〜４が関連づけられており、この情報にしたがって各フレームの時間的な前後関係を知ることができる。このため、それぞれの復号画像は正しい順序にて出力される（図９（ｂ））。出力時間情報は、絶対値として記述されることが多い。また、出力順序は、フレーム間隔が一定の場合に用いられる。
【００１１】
時間的に後のフレームを予測フレームとして用いた逆方向予測による復号を行う場合には、現フレームの復号に先んじて、時間的に後のフレームの復号が完了しており、予測フレームとして用いることができる必要がある。この場合に現フレームには復号画像が得られるまでに、逆方向予測が用いられないフレームの場合と比較して、遅延が生じることとなる。
【００１２】
これについて、図１０を参照しつつ以下に具体的に説明する。尚、図１０は図６及び図７に示した例に対応している。まず、各フレームＡ０〜Ａ２の符号化データがフレーム間予測を行うために必要な順序にて復号され、その間隔はフレームレートに準じた一定の時間間隔であると仮定し、また復号処理に必要となる時間はフレーム間予測が用いられるか否かやフレーム間予測の方向の如何にかかわらず各フレームＡ０〜Ａ２について無視できると仮定する（図１０（ａ））。実際には、各フレームＡ０〜Ａ２の復号間隔は一定である必要はなく、各フレームＡ０〜Ａ２の符号化ビット量変動などの要因により変化し得るが、平均的には一定と見なすことができる。また復号処理に必要となる時間もゼロではないが、各フレームＡ０〜Ａ２の間で大きな差がなければ、以下の説明において大きな問題とはならない。
【００１３】
ここで、逆方向予測を行うことによる遅延や他のフレームとの間で復号時間と出力時間の順序の逆転がないフレームＡ０（以下、逆方向予測未関連フレームと呼ぶ）において復号画像が得られる時間を、その復号画像に関連づけられた出力時間として、復号画像の出力を行うものとする。すると、後に続くフレームが逆方向予測フレームＡ１であった場合に、この復号画像は時間的に後となるフレームＡ２よりも後に復号されることとなるため、復号画像が得られるまでには遅延が生じる。
【００１４】
このため、逆方向予測未関連フレームＡ０において復号画像が得られる時間を出力時間の基準としてしまうと、逆方向予測フレームＡ１における復号画像をそれに関連づけられた出力時間までに得ることができない（図１０（ｂ））。すなわち、逆方向予測未関連フレームＡ０の復号画像と逆方向予測フレームＡ１の復号画像との出力時間間隔が、本来の間隔よりも逆方向予測を行う際に必要な遅延時間だけ開いて空いてしまうこととなり、不自然な動画像出力となってしまう。
【００１５】
したがって、動画像符号化において逆方向フレーム間予測が用いられる場合には、図１０（ｃ）に示すように、逆方向予測未関連フレームＡ０においても予め逆方向予測を行う際に必要となる遅延時間だけ復号画像の出力時間を遅延させておき、逆方向予測フレームＡ１との出力時間間隔を正しく扱うことができるようにする必要がある。
【００１６】
従来では逆方向フレーム間予測は、予測の選択肢が増えることとなるため計算量が増大し簡易な機器では実現が難しいこと、またテレビ会議といった双方向での対話がなされる実時間通信においては遅延時間の増加が望ましくないことから、テレビ放送やその蓄積など、高ビットレートでの符号化がなされ、常にテレビ放送信号と同じ３０フレーム／秒の固定フレームレートが用いられる条件での動画像符号化において用いられてきた。
【００１７】
この場合には、例えばMPEG-4のように時間的に後のフレームの１つを逆方向予測の参照フレームとして用いる符号化において、逆方向予測を行う際に必要となる遅延時間は一定である。例えば、上記のように３０フレーム／秒のフレームレートが用いられる場合、遅延時間は各フレームの時間間隔、すなわち１／３０秒となる。したがって、逆方向予測未関連フレームにおいて復号画像の出力時間を遅延させるべき時間は、一律に１／３０秒とすることができる。
【００１８】
【非特許文献１】
小野 文孝、渡辺 裕 共著、「国際標準画像符号化の基礎技術」、コロナ社、1998年3月20日
【００１９】
【発明が解決しようとする課題】
しかしながら近年では、計算機能力の向上とともに映像サービスの多様化が進んでいることに伴い、インターネットや移動通信における映像配信など、遅延が許容され、かつ低ビットレートでの符号化が求められる動画像符号化が用いられるようになってきている。低ビットレートでの符号化を実現するためには、３０フレーム／秒よりも小さなフレームレートが用いられたり、また符号化ビットレートを制御するためにフレームレートが動的に変更される可変フレームレートが用いられたりする。
【００２０】
このような動画像符号化において、より符号化効率を高めるために上述した逆方向予測を用いた場合、逆方向予測による遅延時間は従来のように１／３０秒とはならない。また、可変フレームレートが用いられる場合には、フレームレートは一定とはならない。例えば、一時的に小さなフレームレートが用いられた場合には、そこでの各フレームの時間間隔は大きくなるため、逆方向予測未関連フレームにおいて復号画像の出力時間を遅延させるべき時間が一意には決まらない。このため、逆方向予測未関連フレームの復号画像と逆方向予測フレームの復号画像との出力時間間隔を正しく扱うことができなくなってしまう。
【００２１】
このとき、予め逆方向予測を行う際に生じ得る遅延時間を大きく見込み、常にこの遅延時間だけ逆方向予測未関連フレームの復号画像の出力時間を遅延させることにより、逆方向予測フレームの復号画像との出力時間間隔を正しく扱うこともできる。しかしながらこの場合、実際の逆方向予測における遅延時間に関わらず、常に復号画像の出力時間に大きな遅延が付加されることとなってしまう。
【００２２】
また、H.26Lのように、逆方向予測において複数の参照フレームが用いられる場合には、現フレームの復号に先んじて、時間的に後のフレームであるそれらの参照フレームすべての復号が完了している必要がある。このため、逆方向予測を行う際に必要となる遅延時間は、さらに増大することになる。
【００２３】
またこの場合、逆方向予測において用いられる参照フレーム数は、現フレームよりも以前に復号された、現フレームよりも時間的に後となるフレームの数として一意に決まるため、予め定められた参照フレーム数上限までの範囲で、参照フレーム数を任意に変化させることができてしまう。
【００２４】
例えば、参照フレーム数上限が４であれば、図８に示したように逆方向予測において用いられる参照フレーム数は２でも良いが、図１１（ａ）に示すように、これを１としても良いし、あるいは図１１（ｂ）に示すように、３としても良い。このように参照フレーム数を変化させることが可能であるため、逆方向予測を行う際に必要な遅延時間は大きく変化し得ることになる。これにより、逆方向予測未関連フレームの復号画像と逆方向予測フレームの復号画像との出力時間間隔を正しく扱うことができなくなってしまう。
【００２５】
このとき、逆方向予測において用いることのできる最大の参照フレーム数は、参照フレーム数上限よりも大きくなることはないことから、この参照フレーム数上限に応じた遅延時間が逆方向予測を行う際に生じ得る最大の遅延時間となる。したがって、常にこの遅延時間だけ逆方向予測未関連フレームの復号画像の出力時間を遅延させることにより、逆方向予測フレームの復号画像との出力時間間隔を正しく扱うこともできる。
【００２６】
しかしながら、この場合、実際に逆方向予測フレームにおいて用いられる参照フレーム数に関わらず、常に復号画像の出力時間に大きな遅延が付加されることとなってしまう。また上述のような可変フレームレートが用いられている場合には、最大の参照フレーム数が一意に決まっても、最大の遅延時間を一意に決めることはできなくなってしまう。
【００２７】
このように従来では、動画像符号化において逆方向予測を用いる場合には、固定フレームレートが用いられることが明らかである場合を除き、逆方向予測を行う際に必要な遅延時間を一意に決めることができない。このため、逆方向予測未関連フレームの復号画像と逆方向予測フレームの復号画像との出力時間間隔を正しく扱うことができなくなり、不自然な動画像出力となってしまうという問題があった。
【００２８】
また、逆方向予測において複数の参照フレームが用いられる場合にも、参照フレーム数が変化し得ることから、遅延時間が変化し得る。したがって、逆方向予測未関連フレームの復号画像と逆方向予測フレームの復号画像との時間間隔を正しく扱うことができなくなってしまうという問題があった。また、これに対処するために常に最大の遅延時間を想定した場合には、常に復号画像の出力時間に大きな遅延が付加されてしまう問題があった。
【００２９】
本発明は、以上の問題点を解決するためになされたものであり、逆方向フレーム間予測を用いる際に適切な時間間隔での復号画像出力を得ることが可能な動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラムを提供することを目的とする。
【００３０】
【課題を解決するための手段】
このような目的を達成するために、本発明に係る動画像符号化方法は、他のフレームとの間でフレーム間予測を行う動画像符号化方法であって、逆方向予測により生じ得る最大遅延時間を出力することを特徴とする。
【００３１】
同様に、本発明に係る動画像符号化装置は、他のフレームとの間でフレーム間予測を行う動画像符号化装置であって、逆方向予測により生じ得る最大遅延時間を出力することを特徴とする。
【００３２】
このように、本発明に係る動画像符号化方法及び装置においては、連続するフレームによって構成された動画像を符号化して出力する際に、符号化データに加えて、逆方向予測に伴う最大遅延時間を出力することとしている。これにより、逆方向フレーム間予測を用いる際に、適切な時間間隔での復号画像出力を得ることが可能となる。
【００３３】
また、本発明に係る動画像符号化プログラムは、他のフレームとの間でフレーム間予測を行う動画像符号化をコンピュータに実行させるための動画像符号化プログラムであって、逆方向予測により生じ得る最大遅延時間を出力する処理をコンピュータに実行させることを特徴とする。
【００３４】
このように、本発明に係る動画像符号化プログラムにおいては、動画像を符号化して出力する際に、符号化データに加えて、最大遅延時間を出力する処理をコンピュータに実行させることとしている。これにより、逆方向フレーム間予測を用いる際に、適切な時間間隔での復号画像出力を得ることが可能となる。
【００３５】
本発明に係る動画像復号方法は、他のフレームとの間でフレーム間予測を行う動画像復号方法であって、逆方向予測により生じ得る最大遅延時間を入力することを特徴とする。
【００３６】
同様に、本発明に係る動画像復号装置は、他のフレームとの間でフレーム間予測を行う動画像復号装置であって、逆方向予測により生じ得る最大遅延時間を入力することを特徴とする。
【００３７】
このように、本発明に係る動画像復号方法及び装置においては、入力された符号化データを復号して動画像を生成する際に、符号化データに加えて、逆方向予測に伴う最大遅延時間を入力することとしている。これにより、逆方向フレーム間予測を用いる際に、適切な時間間隔での復号画像出力を得ることが可能となる。
【００３８】
また、本発明に係る動画像復号プログラムは、他のフレームとの間でフレーム間予測を行う動画像復号をコンピュータに実行させるための動画像復号プログラムであって、逆方向予測により生じ得る最大遅延時間を入力する処理をコンピュータに実行させることを特徴とする。
【００３９】
このように、本発明に係る動画像復号プログラムにおいては、符号化データを復号して動画像を生成する際に、符号化データに加えて、最大遅延時間を入力する処理をコンピュータに実行させることとしている。これにより、逆方向フレーム間予測を用いる際に、適切な時間間隔での復号画像出力を得ることが可能となる。
【００４０】
また、動画像符号化方法は、符号化対象となるフレームを入力する入力ステップと、フレームを所定の方法で符号化する符号化ステップと、フレームの表示時間、符号化時間、及び逆方向予測により生じ得る遅延時間からフレームの最大遅延時間を求める最大遅延時間計算ステップとを備えることを特徴とする。
【００４１】
同様に、動画像符号化装置は、符号化対象となるフレームを入力する入力手段と、フレームを所定の方法で符号化する符号化手段と、フレームの表示時間、符号化時間、及び逆方向予測により生じ得る遅延時間からフレームの最大遅延時間を求める最大遅延時間計算手段とを備えることを特徴とする。
【００４２】
同様に、動画像符号化プログラムは、符号化対象となるフレームを入力する入力処理と、フレームを所定の方法で符号化する符号化処理と、フレームの表示時間、符号化時間、及び逆方向予測により生じ得る遅延時間からフレームの最大遅延時間を求める最大遅延時間計算処理とをコンピュータに実行させることを特徴とする。
【００４３】
このように、本発明に係る動画像符号化方法、装置、及びプログラムにおいては、動画像を符号化する際に、フレームの最大遅延時間を求めている。これにより、逆方向フレーム間予測を用いる際に、適切な時間間隔での復号画像出力を得ることが可能となる。
【００４４】
また、動画像復号方法は、所定の方法で符号化されたフレームの符号化データ、フレームの復号時間、及び最大遅延時間を含む画像データを入力する入力ステップと、符号化データを復号し、再生画像を生成する復号ステップと、復号時間及び最大遅延時間に基づいて、フレームを表示するための出力時間を求める画像出力時間計算ステップとを備えることを特徴とする。
【００４５】
同様に、動画像復号装置は、所定の方法で符号化されたフレームの符号化データ、フレームの復号時間、及び最大遅延時間を含む画像データを入力する入力手段と、符号化データを復号し、再生画像を生成する復号手段と、復号時間及び最大遅延時間に基づいて、フレームを表示するための出力時間を求める画像出力時間計算手段とを備えることを特徴とする。
【００４６】
同様に、動画像復号プログラムは、所定の方法で符号化されたフレームの符号化データ、フレームの復号時間、及び最大遅延時間を含む画像データを入力する入力処理と、符号化データを復号し、再生画像を生成する復号処理と、復号時間及び最大遅延時間に基づいて、フレームを表示するための出力時間を求める画像出力時間計算処理とをコンピュータに実行させることを特徴とする。
【００４７】
このように、本発明に係る動画像復号方法、装置、及びプログラムにおいては、符号化データを復号して動画像を生成する際に、最大遅延時間に基づいてフレームを表示するための出力時間を求めている。これにより、逆方向フレーム間予測を用いる際に、適切な時間間隔での復号画像出力を得ることが可能となる。
【００４８】
動画像符号化方法、符号化装置、及び符号化プログラムにおいて出力される最大遅延時間としては、逆方向フレーム間予測を行うフレームの発生時間から、逆方向予測の参照フレームとして用いることのできる時間的に最も後のフレームの発生時間までの時間差を最大遅延時間とすることが好ましい。
【００４９】
また、最大遅延時間の適用に関しては、最大遅延時間が符号化データ全体に適用される情報として出力されることを特徴としてもよい。あるいは、最大遅延時間が各フレームに適用される情報として出力されることを特徴としてもよい。あるいは、最大遅延時間がこの最大遅延時間が通知されるフレーム及びそのフレームよりも時間的に後の各フレームに適用される情報として任意に出力されることを特徴としてもよい。
【００５０】
また、動画像復号方法、復号装置、及び復号プログラムにおいて入力される最大遅延時間については、逆方向フレーム間予測を行うことによる遅延、及び他のフレームとの間で復号時間と出力時間の順序の逆転がないフレームにおける、復号時間とそのフレームに関連づけられた復号画像出力時間との時間差を最大遅延時間とすることが好ましい。あるいはさらに、その最大遅延時間に基づいて以降の復号画像出力時間の基準を設定することが好ましい。
【００５１】
また、最大遅延時間の適用に関しては、最大遅延時間が符号化データ全体に適用される情報として入力されることを特徴としてもよい。あるいは、最大遅延時間が各フレームに適用される情報として入力されることを特徴としてもよい。あるいは、最大遅延時間がこの最大遅延時間が通知されるフレーム及びそのフレームよりも時間的に後の各フレームに適用される情報として任意に入力されることを特徴としてもよい。
【００５２】
本発明に係る動画像処理システムは、動画像の符号化装置と復号装置とを含んで構成された動画像処理システムであって、符号化装置は、上記した動画像符号化装置からなり、復号装置は、上記した動画像復号装置からなることを特徴とする。
【００５３】
このように、動画像処理システムは、逆方向予測に伴う最大遅延時間をそれぞれ出力及び入力する動画像符号化装置及び動画像復号装置を用いて構成されている。これにより、逆方向フレーム間予測を用いる際に、適切な時間間隔での復号画像出力を得ることが可能な動画像処理システムが実現される。
【００５４】
【発明の実施の形態】
以下、図面とともに本発明による動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラムの好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
【００５５】
まず、本発明における動画像の符号化及び復号の概略について説明する。図１は、本発明による動画像符号化装置、動画像復号装置、及び動画像処理システムの概略構成を示すブロック図である。本動画像処理システムは、動画像符号化装置１と、動画像復号装置２とを備えて構成されている。以下、動画像符号化装置１、動画像復号装置２、及び動画像処理システムについて、それらにおいて実行される動画像符号化方法、及び動画像復号方法とともに説明する。
【００５６】
動画像符号化装置１は、動画像の伝送や蓄積、再生を行うために、画像（フレーム）が連続して構成された動画像データＤ０を符号化して、符号化データＤ１として出力する装置である。また、動画像復号装置２は、入力された符号化データＤ１を復号して、フレームが連続して構成された復号後の動画像データＤ２を生成する装置である。また、動画像符号化装置１と動画像復号装置２との間は、符号化データＤ１等の必要なデータを伝送するため、有線または無線の所定のデータ伝送路によって接続されている。
【００５７】
動画像符号化装置１で行われる動画像の符号化においては、上述したように、符号化対象として入力された動画像データＤ０のフレームに対して、参照フレームとなる他のフレームとの間でフレーム間予測を行って、動画像データにおける冗長度を削減する。図１に示した動画像処理システムにおいては、動画像符号化装置１は、このフレーム間予測について、時間的に後のフレームからの逆方向フレーム間予測を行う。さらに、この動画像符号化装置１は、符号化データＤ１に加えて、逆方向予測により生じ得る最大遅延時間を出力する。
【００５８】
また、このような動画像符号化装置１に対応して、動画像復号装置２は、動画像符号化装置１からの符号化データＤ１に加えて、逆方向予測により生じ得る最大遅延時間を入力する。そして、入力された最大遅延時間を参照しつつ、符号化データＤ１を復号して動画像データＤ２を生成する。
【００５９】
このように、逆方向フレーム間予測に対して、最大遅延時間を出力する動画像符号化装置１及び動画像符号化方法、最大遅延時間を入力する動画像復号装置２及び動画像復号方法、及びそれらの装置１、２を備える動画像処理システムによれば、逆方向フレーム間予測を用いてフレーム間予測を行う場合に、適切な時間間隔での復号画像出力を得ることが可能となる。
【００６０】
ここで、動画像符号化において出力される最大遅延時間については、例えば、逆方向フレーム間予測を行うフレームの発生時間から、逆方向予測の参照フレームとして用いることのできる時間的に最も後のフレームの発生時間までの時間差を最大遅延時間とすることができる。
【００６１】
また、動画像復号において入力される最大遅延時間については、例えば、逆方向フレーム間予測を行うことによる遅延、及び他のフレームとの間で復号時間と出力時間の順序の逆転がないフレームにおける、復号時間（以下、Ｔｒとする）と当該フレームに関連づけられた復号画像出力時間（以下、Ｔｏとする）との時間差を最大遅延時間（以下、dpb＿output＿delayとする）とすることができる。この場合、その最大遅延時間に基づいて以降の復号画像出力時間の基準を設定することが好ましい。
【００６２】
また、最大遅延時間の適用については、符号化データ全体に適用する方法、または各フレームに適用する方法がある。あるいは、最大遅延時間の情報が通知された以降の各フレーム、すなわち、最大遅延時間が通知されるフレーム及びそのフレームよりも時間的に後の各フレームに適用する方法がある。これらの最大遅延時間の出力、入力、及び適用等については具体的には後述する。
【００６３】
上記した動画像符号化装置１において実行される動画像符号化方法に対応する処理は、動画像符号化をコンピュータに実行させるための動画像符号化プログラムによって実現可能である。また、動画像復号装置２において実行される動画像復号方法に対応する処理は、動画像復号をコンピュータに実行させるための動画像復号プログラムによって実現可能である。
【００６４】
例えば、動画像符号化装置１は、動画像符号化の処理動作に必要な各ソフトウェアプログラムなどが記憶されるＲＯＭと、プログラム実行中に一時的にデータが記憶されるＲＡＭとが接続されたＣＰＵによって構成することができる。このような構成において、ＣＰＵによって所定の動画像符号化プログラムを実行することにより、動画像符号化装置１を実現することができる。
【００６５】
同様に、動画像復号装置２は、動画像復号の処理動作に必要な各ソフトウェアプログラムなどが記憶されるＲＯＭと、プログラム実行中に一時的なデータが記憶されるＲＡＭとが接続されたＣＰＵによって構成することができる。このような構成において、ＣＰＵによって所定の動画像復号プログラムを実行することにより、動画像復号装置２を実現することができる。
【００６６】
また、動画像符号化または動画像復号のための各処理をＣＰＵによって実行させるための上記したプログラムは、コンピュータ読取可能な記録媒体に記録して頒布することが可能である。このような記録媒体には、例えば、ハードディスク及びフロッピーディスクなどの磁気媒体、ＣＤ−ＲＯＭ及びＤＶＤ−ＲＯＭなどの光学媒体、フロプティカルディスクなどの磁気光学媒体、あるいは、プログラム命令を実行または格納するように特別に配置された、例えばＲＡＭ、ＲＯＭ、及び半導体不揮発性メモリなどのハードウェアデバイスなどが含まれる。
【００６７】
以下、図１に示した動画像符号化装置、動画像復号装置、それらを備える動画像処理システム、及び対応する動画像符号化方法、動画像復号方法について、具体的な実施形態とともに説明する。以下の説明では、動画像の符号化及び復号について、H.26Lをもとにして実現することとして説明を行い、動画像符号化における動作について特に触れていない部分については、H.26Lの動作に準じるものとする。ただし、本発明は、H.26Lに限られるものではない。
【００６８】
（第１実施形態）
まず、本発明の第１実施形態について説明する。本実施形態では、固定フレームレートによる符号化がなされる場合の実施の形態を示す。本実施形態による符号化においては、逆方向予測に用いる最大参照フレーム数を決定し、この最大参照フレーム数と符号化に用いるフレームレートとにより最大遅延時間を算出し出力する。また本実施形態による復号においては、逆方向予測未関連フレームの復号の際にその復号画像の出力時間を、入力された最大遅延時間だけ遅延させる。またその出力時間への遅延時間を、以降のすべてに一様に適用し、逆方向予測未関連フレームの復号画像と逆方向予測フレームの復号画像との出力時間間隔が、本来の間隔から変化してしまうことを防ぐ。
【００６９】
符号化においては、まず、用いられる参照フレーム数上限が予め定められていることからこれを越えない範囲で、逆方向予測に用いる最大参照フレーム数を決定する。次に、これも予め定められた符号化に用いるフレームレートに基づき、最大遅延時間を、逆方向予測に用いる最大参照フレーム数に応じた１つ又は複数のフレームの時間間隔として算出する。
【００７０】
図２は、双方向予測を行った場合でのフレームの符号化の一例について示す図である。ここで、この図２においては、現フレームＦ２に対する参照フレームとして、現フレームＦ２より時間的に前の２つのフレームＦ０、Ｆ１、及び時間的に後の２つのフレームＦ３、Ｆ４を用いる例を示している。
【００７１】
図２に示すように、逆方向予測に用いる最大参照フレーム数を２、フレームレートを１５フレーム／秒とすれば、１つのフレームの時間間隔は１／１５秒である。したがって、この場合、最大遅延時間は２×（１／１５）＝２／１５秒となる。
【００７２】
符号化においては、以降は最大遅延時間を超える遅延時間が必要となる逆方向予測が行われることのないように、各フレームの符号化を制御する。具体的には、逆方向予測に用いる参照フレーム、すなわち現フレームよりも時間的に後となるフレームが、逆方向予測に用いる最大参照フレーム数を越えて現フレームよりも先に符号化され出力されることがないように、各フレームの符号化の順序を制御する。
【００７３】
図３は、本実施形態において用いられる動画像符号化装置の構成の一例を示すブロック図である。図３に示す動画像符号化装置１は、フレーム（画像）を所定の方法で符号化する符号化器１０と、符号化装置１の各部の動作を制御する制御器（ＣＰＵ）１５と、入力端子１ａ及び符号化器１０の間に設けられたフレームメモリ１１と、出力端子１ｂ及び符号化器１０の間に設けられた多重化器１２とを備える。また、制御器１５は、その機能として、最大遅延時間を求める最大遅延時間計算部１６を有している。また、符号化器１０には、出力バッファ１３が設けられている。
【００７４】
本符号化装置１における動画像符号化では、入力端子１ｃより、映像を符号化するための条件が入力される。この条件の入力では、一般には、キーボードなどの入力装置によって符号化条件が選択または入力される。本実施形態においては具体的には、符号化条件として、符号化対象となるフレームの大きさ、フレームレート、ビットレートに加えて、その映像の予測参照構造（逆方向予測を行うかどうか）、一時的に格納され参照フレームとして用いられるフレームの枚数（出力バッファ１３の容量に対応）、逆方向予測に用いられる参照フレームの枚数が入力される。これらの条件は、時間とともに変化させるように設定しても良い。入力端子１ｃから入力された符号化条件は制御器１５に格納される。
【００７５】
符号化処理が開始されると、制御器１５は符号化条件を符号化器１０に送り、符号化条件がセットされる。一方、入力端子１ａより符号化対象となるフレームが入力され、フレームメモリ１１を経由して符号化器１０に送られて符号化される。フレームメモリ１１内には、逆方向予測を行うにあたってフレームの順番が入れ替わるため、入力フレームが一時的に格納される。例えば、図２に示した例では、フレームＦ２は、フレームＦ３、Ｆ４よりも先に入力端子１ａから入力されるが、フレームＦ３、Ｆ４よりも後に符号化されるため、一時的にフレームメモリ１１に格納される。
【００７６】
符号化器１０は、H.26Lのアルコリズムに基づいてフレームを符号化する。そして、符号化されたデータは、多重化器１２を経由して、他の関連情報と多重化されて出力端子１ｂより出力される。また、予測に用いられるフレームは符号化器１０において再生され、次のフレームを符号化するための参照フレームとしてバッファ１３に格納される。
【００７７】
本実施形態においては、制御器１５の最大遅延時間計算部１６において、入力端子１ｃより入力される逆方向予測に用いる参照フレーム枚数及びフレームレートに基づき、最大遅延時間dpb＿output＿delayを算出する。そして、最大遅延時間は、多重化器１２にて、符号化された画像データに付加される。また、各フレームの符号化データには、それを識別するための表示順番を示す識別子（Ｎ）が合わせて付加される。
【００７８】
なお、当然ながら、逆方向予測を行わない場合、そのために用いられる参照フレーム枚数がゼロとなるので、dpb＿output＿delayの値がゼロとなる。
【００７９】
本実施形態では、この最大遅延時間を符号化において出力し、また復号において入力するために、H.26Lにおける符号化データシンタックスにおいて、最大遅延時間を通知するシンタックスを追加するものとする。ここでは符号化データ全体に適用される情報を通知するシンタックスであるシーケンスパラメータセット（Sequence Parameter Set）の中に、新たなシンタックスを追加する。
【００８０】
この最大遅延時間を通知するシンタックスとして、dpb＿output＿delayを定義する。ここでは、dpb＿output＿delayは、H.26Lにおいて時間を示す他のシンタックスに用いられる時間単位と同じものを使うこととして、９０ｋＨｚの時間単位にて最大遅延時間を示すものとする。また、その時間単位にて表される数値を、３２ビットの符号無し固定長符号にて符号化して伝送するものとする。例えば、上記のように最大遅延時間が２／１５秒である場合には、dpb＿output＿delayは（２／１５）×９００００＝１２０００となる。
【００８１】
復号においては、dpb＿output＿delayにより通知された最大遅延時間を復号し、これを用いて復号画像の出力時間を遅延する。
【００８２】
図４は、本実施形態において用いられる動画像復号装置の構成の一例を示すブロック図である。図４に示す動画像復号装置２は、符号化データを復号し、再生画像を生成する復号器２０と、復号装置２の各部の動作を制御する制御器（ＣＰＵ）２５と、入力端子２ａ及び復号器２０の間に設けられた入力バッファ２１と、出力端子２ｂ及び復号器２０の間に設けられた出力バッファ２２とを備える。また、制御器２５は、その機能として、フレームを表示するための出力時間を求める画像出力時間計算部２６を有している。
【００８３】
本復号装置２における動画像復号では、入力端子２ａより、復号対象となるデータが入力される。このデータには、図３に示した符号化装置１を用いて符号化された各フレームの符号化データや、最大遅延時間dpb＿output＿delay、各フレームの表示順番を示す識別子（Ｎ）が多重化されている。
【００８４】
入力されたデータは、入力バッファ２１に格納される。制御器２５の指示により、復号する時刻になれば、１フレーム分のデータが入力バッファ２１より復号器２０に入力され、H.26Lのアルゴリズムにしたがって復号される。このように再生されたフレームは出力バッファ２２に格納される。出力バッファ２２にあるフレームはライン２３を経由して復号器２０にフィードバックし、次のフレームを復号するための参照フレームとして用いられる。
【００８５】
一方、復号器２０において復号された最大遅延時間dpb＿output＿delay、フレームレート、及び各フレームの識別子（Ｎ）が制御器２５に入力される。そして、制御器２５の画像出力時間計算部２６において、これらのデータより、各フレームの出力時間が、下記の式にしたがって計算される。
Ｔｏ（ｎ）＝dpb＿output＿delay＋Ｎ×フレーム間隔
ここで、フレーム間隔はフレームレートより求められる。
【００８６】
図２に示した例に合わせてdpb＿output＿delayを２／１５秒、フレーム間隔を１／１５秒とすると、上記の式により、
Ｎ＝０、Ｔｏ（０）＝２／１５
Ｎ＝１、Ｔｏ（１）＝３／１５
Ｎ＝２、Ｔｏ（２）＝４／１５
Ｎ＝３、Ｔｏ（３）＝５／１５
となる。このように、制御器２５において求められた出力時間Ｔｏ（ｎ）にしたがい、出力バッファ２２にあるフレームは、図５（ｂ）に示す各フレームＦ０、Ｆ１、Ｆ２、Ｆ３のように、一定間隔で出力端子２ｂに出力される。また、図示していないが、出力端子２ｂはモニタなどの表示装置に接続される。
【００８７】
図５は、図２に示した双方向予測を行った場合でのフレームの（ａ）復号、及び（ｂ）出力について示す図である。復号においては、各フレームの符号化データがフレーム間予測を行うために必要な順序にて復号され、その間隔はフレームレートに準じた一定の時間間隔であると仮定し、また復号処理に必要となる時間はフレーム間予測が用いられるか否かやフレーム間予測の方向の如何にかかわらず各フレームについて無視できると仮定する。この場合に、逆方向予測フレームにおいて逆方向予測を行う際に必要となる最大の遅延時間は、逆方向予測に用いる最大参照フレーム数に応じたフレームの時間間隔に等しい。この時間が、最大遅延時間としてdpb＿output＿delayにより通知されていることになる。したがって復号画像を出力するにあたり、出力時間をこの最大遅延時間だけ遅延させるものとする。
【００８８】
実際には、各フレームの復号間隔は一定とはならず、各フレームの符号化ビット量変動などの要因により変化し得る。また各フレームの復号処理に必要となる時間は、逆方向予測フレームであるか否かの他、各フレームの符号化ビット量などに応じて変化し得る。
【００８９】
したがって、出力時間を遅延させる場合には、図５に示すように、逆方向予測を行うことによる遅延や他のフレームとの間で復号時間と出力時間の順序の逆転がない逆方向予測未関連フレームＦ０において、復号画像が得られる時間を基準とする。すなわち、この復号画像が得られる時間からdpb＿output＿delayにより通知された最大遅延時間だけ遅延させた時間を、この復号画像に関連づけられた出力時間に等しい時間であることとして、復号画像出力における基準時間とする。以降の復号画像Ｆ１〜Ｆ４の出力は、この基準時間が各復号画像に関連づけられた出力時間と同じ時間となったときに出力することとする。
【００９０】
例えば、上記のように最大遅延時間が２／１５秒である場合には、逆方向予測未関連フレームにおいて復号画像が得られる時間から２／１５秒だけ遅延させた時間をこの復号画像に関連づけられた出力時間に等しい時間であることとして、以降の復号画像出力における基準時間とする。
【００９１】
なお、場合によっては符号化あるいは復号の処理を簡略化するために、あえて最大遅延時間を通知しないことも考えられる。このような場合のために、最大遅延時間を通知するためのシンタックスは、それより前にシンタックスの有無を指示するフラグが通知されることとして、省略可能としてもよい。
【００９２】
最大遅延時間の通知が省略される場合には、符号化においては、例えば逆方向予測は用いないこととして予め規定しておくこととしても良いし、あるいはまた参照フレーム数上限を越えない範囲で、逆方向予測に用いる参照フレーム数を任意に変動できることとしても良い。
【００９３】
復号においては、例えば符号化における規定と一致させて逆方向予測は用いない、したがって逆方向予測を行うことにより必要となる遅延は発生しないものとしても良いし、あるいはまた参照フレーム数上限を越えない範囲で、逆方向予測に用いる参照フレーム数は任意に変動し、したがって遅延時間は大きく変動し得るものとしても良い。この場合に復号においては、想定される最大の遅延時間を想定した処理を常に行うこととしても良いし、あるいはまた復号画像の出力時間間隔の変動を許容することとして、各フレームの遅延時間を考慮しない簡略化した処理を行うこととしても良い。
【００９４】
本実施形態の説明はH.26Lをもとにして実現したものとして説明したが、本発明を適用することのできる動画像符号化方式はH.26Lに限定されるものではなく、逆方向フレーム間予測を用いる様々な動画像符号化方式に適用することが可能である。
【００９５】
また、本実施形態においては、最大遅延時間を通知するためのシンタックスとしてシーケンスパラメータセットの中に固定長符号によるシンタックスを追加するものとしたが、むろんこれを通知するための符号やシンタックス、あるいは最大遅延時間を表現するための時間単位はこれらに限られるものではない。固定長符号に代わり可変長符号を用いることとしても良いし、また符号化データ全体に適用されるための情報を通知することのできる様々なシンタックスにおいて通知するものとすることができる。
【００９６】
例えば、H.26Lにおいては、補助拡張情報メッセージ（Supplemental Enhancement Information Message）の中にシンタックスを追加することとしても良い。また他の動画像符号化方式を用いる場合には、当該符号化方式において符号化データ全体に適用されるための情報を通知するためのシンタックスを用いることができ、またH.263を用いた通信において制御情報の通知のために利用されるITU-TRecommendation H.245のように、動画像符号化方式による符号化データの外部において通知することとしても良い。
【００９７】
（第２実施形態）
次に、本発明の第２実施形態について説明する。本実施形態では、可変フレームレートによる符号化がなされる場合の実施の形態を示す。本実施形態による符号化および復号における動作は、基本的に第１実施形態と同様である。本実施形態では可変フレームレートが用いられることから、符号化においては第１実施形態における動作に加えて、フレームレートが低下した場合に、予め算出された最大遅延時間を越える遅延時間が必要となる逆方向予測が行われないように動作し、フレームレートが変化する場合においても、逆方向予測未関連フレームの復号画像と逆方向予測フレームの復号画像との出力時間間隔が、本来の間隔から変化してしまうことを防ぐ。
【００９８】
符号化においては、まず用いられる参照フレーム数上限は予め定められていることからこれを越えない範囲で、逆方向予測に用いる最大参照フレーム数を決定する。次に符号化ビットレートの制御において予め定められる目標フレームレートに基づいた最大フレーム時間間隔を決定し、最大遅延時間を、逆方向予測に用いる最大参照フレーム数と最大フレーム時間間隔に応じた１つ又は複数のフレームの時間間隔として算出する。
【００９９】
符号化においては、以降は最大遅延時間を超える遅延時間が必要となる逆方向予測が行われることのないように、各フレームの符号化を制御する。具体的には、逆方向予測に用いる参照フレーム、すなわち現フレームよりも時間的に後となるフレームが、逆方向予測に用いる最大参照フレーム数を越えて現フレームよりも先に符号化され出力されることがないように、各フレームの符号化の順序を制御する。
【０１００】
またそれとともに、符号化ビットレート制御により符号化フレームレートが一時的に小さくなり、その場合のフレーム時間間隔が最大フレーム時間間隔より大きくなってしまった場合には、そこでのフレームの符号化に逆方向予測を用いないように各フレームの符号化を制御する。
【０１０１】
本実施形態において、この最大遅延時間を符号化において出力し、また復号において入力するために、符号化データシンタックスにおいて、最大遅延時間を通知するシンタックスdpb＿output＿delayを追加すること、ならびにその定義については、第１実施形態におけるものと同じである。
【０１０２】
また、本実施形態において、復号においては、dpb＿output＿delayにより通知された最大遅延時間を復号し、これを用いて復号画像の出力時間を遅延する。この処理についても、第１実施形態におけるものと同じである。
【０１０３】
（第３実施形態）
次に、本発明の第３実施形態について説明する。本実施形態では、最大遅延時間が各フレームについて任意に通知されて柔軟に変更できる場合の実施の形態を示す。本実施形態による符号化および復号における動作は、基本的に第１実施形態もしくは第２実施形態と同様である。
【０１０４】
本実施形態においては、第１実施形態において定義された、最大遅延時間を通知するシンタックスdpb＿output＿delayを、符号化データ全体に適用される情報を通知するシンタックスではなく、各フレームに適用される情報を通知するシンタックスであるピクチャパラメータセット（Picture Parameter Set）の中に追加するものとする。ここでは、dpb＿output＿delayは、第１実施形態における場合と同様に、９０ｋＨｚの時間単位にて最大遅延時間を示すものとし、その時間単位にて表される数値を、３２ビットの符号無し固定長符号にて符号化して伝送するものとする。
【０１０５】
符号化における最大遅延時間の算出、ならびに復号における最大遅延時間を用いた復号画像の出力時間の遅延については、第１実施形態におけるものと同様である。また、本実施形態において用いられる動画像符号化装置、及び動画像復号装置の構成は、第１実施形態に関して図３、図４に示したものと同様である。
【０１０６】
本実施形態における各フレームの最大遅延時間dpb＿output＿delayの求め方について説明する。図３に示す符号化装置１において、制御器１５では、逆方向予測による遅延時間（Ｄ）を、第１実施形態で説明したような方法で求め、各フレームの符号化時間Ｔｒ（ｎ）を決定する。次に、フレームメモリ１１より各フレームの表示時間Ｔｉｎ（ｎ）が入力されると、そのフレームのdpb＿output＿delay（ｎ）は下記のように求められる。
dpb＿output＿delay（ｎ）＝Ｔｉｎ（ｎ）＋Ｄ−Ｔｒ（ｎ）
このdpb＿output＿delayの値は、該当するフレームに関連付けられ、多重化器１２にて多重化される。
【０１０７】
本実施形態では、各フレームを符号化するための時間Ｔｒ（ｎ）も一緒に符号化される。図２を例として考えると、Ｄ＝２／１５秒、Ｔｉｎ（ｎ）＝０、１／１５、２／１５、３／１５、４／１５（ｎ＝０、１、２、３、４）である。符号化の順序が変わるため、Ｔｒ（ｎ）＝０、１／１５、４／１５、２／１５、３／１５（ｎ＝０、１、２、３、４）となる。ここで、各フレームのdpb＿output＿delay（ｎ）は、
ｎ＝０、dpb＿output＿delay（０）
＝０＋２／１５−０＝２／１５
ｎ＝１、dpb＿output＿delay（１）
＝１／１５＋２／１５−１／１５＝２／１５
ｎ＝２、dpb＿output＿delay（２）
＝２／１５＋２／１５−４／１５＝０
ｎ＝３、dpb＿output＿delay（３）
＝３／１５＋２／１５−２／１５＝３／１５
ｎ＝４、dpb＿output＿delay（４）
＝４／１５＋２／１５−３／１５＝３／１５
となる。
【０１０８】
一方、図４に示す復号装置２では、復号器２０より、各フレームのdpb＿output＿delay（ｎ）及びＴｒ（ｎ）が制御器２５に送られ、下記の式に基づいて各フレームの出力時間Ｔｏ（ｎ）が求められる。
Ｔｏ（ｎ）＝Ｔｒ（ｎ）＋dpb＿output＿delay
図２を例として考えると、上記の定義より、各フレームについて、Ｔｒ（ｎ）＝０、１／１５、４／１５、２／１５、３／１５（ｎ＝０、１、２、３、４）、dpb＿output＿delay（ｎ）＝２／１５、２／１５、０、３／１５、３／１５（ｎ＝０、１、２、３、４）であるから、
ｎ＝０、Ｔｏ（０）＝０＋２／１５＝２／１５
ｎ＝１、Ｔｏ（１）＝１／１５＋２／１５＝３／１５
ｎ＝２、Ｔｏ（２）＝４／１５＋０＝４／１５
ｎ＝３、Ｔｏ（３）＝２／１５＋３／１５＝５／１５
ｎ＝４、Ｔｏ（４）＝３／１５＋３／１５＝６／１５
となる。
【０１０９】
すなわち、全ての画像は２／１５秒送れて、一定の間隔を保ちながらモニタに表示される。なお、当然ながら、逆方向予測を行わない場合、そのために用いられる参照フレーム枚数がゼロとなるので、dpb＿output＿delay（ｎ）の値はゼロとなる。
【０１１０】
最大遅延時間は、逆方向予測未関連フレームにおいて復号画像が得られる時間から、復号画像出力における基準時間を定義するものであることから、逆方向予測未関連フレームについてのみ通知されれば良い。したがって例えば、最大遅延時間を通知するためのシンタックスは、それ以前にシンタックスの有無を指示するフラグが通知されることとして、省略可能としてもよい。逆方向予測未関連フレームにおいても任意に省略されることとしても良く、最大遅延時間の通知が省略される場合には、それ以前に通知された最大遅延時間が適用されるものとすれば良い。
【０１１１】
また、本実施形態における各フレームに対するシンタックスは、第１実施形態において定義されたような、符号化データ全体に対するシンタックスと同時に用いられることとしても良い。この場合、各フレームに対するシンタックスは、上述のようにそれ以前にシンタックスの有無を指示するフラグが通知されることとして、省略可能とする。符号化データ全体に対するシンタックスにおいて通知された最大遅延時間は、各フレームに対するシンタックスにおいて最大遅延時間が通知されるまで適用されるものとし、各フレームに対するシンタックスにより更新された後は、これに基づいて遅延させた時間が以降のすべての復号画像出力における基準時間となることとする。
【０１１２】
本実施形態の説明はH.26Lをもとにして実現したものとして説明したが、本発明を適用することのできる動画像符号化方式はH.26Lに限定されるものではなく、逆方向フレーム間予測を用いる様々な動画像符号化方式に適用することが可能である。
【０１１３】
また、本実施形態においては、最大遅延時間を通知するためのシンタックスとしてピクチャパラメータセットの中に固定長符号によるシンタックスを追加するものとしたが、むろんこれを通知するための符号やシンタックス、あるいは最大遅延時間を表現するための時間単位はこれらに限られるものではない。固定長符号に代わり可変長符号を用いることとしても良いし、また各フレームに適用されるための情報を通知することのできる様々なシンタックスにおいて通知するものとすることができる。
【０１１４】
例えば、H.26Lにおいては補助拡張情報メッセージ（Supplemental Enhancement Information Message）の中にシンタックスを追加することとしても良い。また他の動画像符号化方式を用いる場合には、当該符号化方式において各フレームに適用されるための情報を通知するためのシンタックスを用いることができ、またH.263を用いた通信において制御情報の通知のために利用されるITU-T Recommendation H.245のように、動画像符号化方式による符号化データの外部において通知することとしても良い。
【０１１５】
【発明の効果】
本発明による動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像処理システム、動画像符号化プログラム、及び動画像復号プログラムは、以上詳細に説明したように、次のような効果を得る。すなわち、連続するフレームによって構成された動画像に対して、逆方向フレーム間予測を行って符号化して出力する際に、逆方向予測に伴う最大遅延時間を出力する動画像符号化方法、符号化装置、符号化プログラム、最大遅延時間を入力する動画像復号方法、復号装置、復号プログラム、及びそれらを用いた動画像処理システムによれば、逆方向フレーム間予測を用いる際に、適切な時間間隔での復号画像出力を得ることが可能となる。
【０１１６】
特に、従来技術と異なり、出力時間は絶対値ではなくて、復号時間Ｔｒからの相対値を用いるために、フレームレートが可変の場合においても、少ないビット数で正確に最大遅延時間dpb＿output＿delayの値を記述し、伝送することができる効果がある。また、復号時間Ｔｒがずれる場合、もしくは受信されない場合においても、対応する画像が復号完了時点からdpb＿output＿delay分遅延されてから出力されるので、画像は正しい間隔で出力できる利点がある。
【図面の簡単な説明】
【図１】動画像符号化装置、動画像復号装置、及び動画像処理システムの概略構成を示すブロック図である。
【図２】双方向予測を行った場合でのフレームの符号化の一例について示す図である。
【図３】動画像符号化装置の構成の一例を示すブロック図である。
【図４】動画像復号装置の構成の一例を示すブロック図である。
【図５】図２に示した双方向予測を行った場合でのフレームの（ａ）復号、及び（ｂ）出力について示す図である。
【図６】双方向予測を行った場合でのフレームの符号化について示す図である。
【図７】図６に示した双方向予測を行った場合でのフレームの（ａ）復号、及び（ｂ）出力について示す図である。
【図８】双方向予測を行った場合でのフレームの符号化について示す図である。
【図９】図８に示した双方向予測を行った場合でのフレームの（ａ）復号、及び（ｂ）出力について示す図である。
【図１０】双方向予測を行った場合でのフレームの（ａ）復号、（ｂ）出力、及び（ｃ）遅延させた出力について示す図である。
【図１１】双方向予測を行った場合でのフレームの符号化について示す図である。
【符号の説明】
１…動画像符号化装置、１ａ、１ｃ…入力端子、１ｂ…出力端子、１０…符号化器、１１…フレームメモリ、１２…多重化器、１３…バッファ、１５…制御器、１６…最大遅延時間計算部、２…動画像復号装置、２ａ…入力端子、２ｂ…出力端子、２０…復号器、２１…入力バッファ、２２…出力バッファ、２３…ライン、２５…制御器、２６…画像出力時間計算部。
Ｄ０…動画像データ、Ｄ１…符号化データ、Ｄ２…復号後の動画像データ、Ｆ０〜Ｆ４…フレーム。

【００３０】
【課題を解決するための手段】
このような目的を達成するために、本発明に係る動画像符号化方法は、符号化対象となるフレームを入力する入力ステップと、フレームを所定の方法で符号化する符号化ステップと、フレームの表示時間、符号化時間、及び逆方向予測により生じ得る遅延時間からフレームの最大遅延時間を求める最大遅延時間計算ステップとを備えることを特徴とする。

【００３１】
同様に、本発明に係る動画像符号化装置は、符号化対象となるフレームを入力する入力手段と、フレームを所定の方法で符号化する符号化手段と、フレームの表示時間、符号化時間、及び逆方向予測により生じ得る遅延時間からフレームの最大遅延時間を求める最大遅延時間計算手段とを備えることを特徴とする。

【００３２】
このように、本発明に係る動画像符号化方法及び装置においては、連続するフレームによって構成された動画像を符号化する際に、フレームの最大遅延時間を求めている。これにより、逆方向フレーム間予測を用いる際に、適切な時間間隔での復号画像出力を得ることが可能となる。

【００３３】
また、本発明に係る動画像符号化プログラムは、符号化対象となるフレームを入力する入力処理と、フレームを所定の方法で符号化する符号化処理と、フレームの表示時間、符号化時間、及び逆方向予測により生じ得る遅延時間からフレームの最大遅延時間を求める最大遅延時間計算処理とをコンピュータに実行させることを特徴とする。

【００３４】
このように、本発明に係る動画像符号化プログラムにおいては、動画像を符号化する際に、フレームの最大遅延時間を求める処理をコンピュータに実行させることとしている。これにより、逆方向フレーム間予測を用いる際に、適切な時間間隔での復号画像出力を得ることが可能となる。

【００３５】
本発明に係る動画像復号方法は、所定の方法で符号化されたフレームの符号化データ、フレームの復号時間、及び最大遅延時間を含む画像データを入力する入力ステップと、符号化データを復号し、再生画像を生成する復号ステップと、復号時間及び最大遅延時間に基づいて、フレームを表示するための出力時間を求める画像出力時間計算ステップとを備えることを特徴とする。

【００３６】
同様に、本発明に係る動画像復号装置は、所定の方法で符号化されたフレームの符号化データ、フレームの復号時間、及び最大遅延時間を含む画像データを入力する入力手段と、符号化データを復号し、再生画像を生成する復号手段と、復号時間及び最大遅延時間に基づいて、フレームを表示するための出力時間を求める画像出力時間計算手段とを備えることを特徴とする。

【００３７】
このように、本発明に係る動画像復号方法及び装置においては、入力された符号化データを復号して動画像を生成する際に、最大遅延時間に基づいてフレームを表示するための出力時間を求めている。これにより、逆方向フレーム間予測を用いる際に、適切な時間間隔での復号画像出力を得ることが可能となる。

【００３８】
また、本発明に係る動画像復号プログラムは、所定の方法で符号化されたフレームの符号化データ、フレームの復号時間、及び最大遅延時間を含む画像データを入力する入力処理と、符号化データを復号し、再生画像を生成する復号処理と、復号時間及び最大遅延時間に基づいて、フレームを表示するための出力時間を求める画像出力時間計算処理とをコンピュータに実行させることを特徴とする。

【００３９】
このように、本発明に係る動画像復号プログラムにおいては、符号化データを復号して動画像を生成する際に、最大遅延時間に基づいてフレームを表示するための出力時間を求める処理をコンピュータに実行させることとしている。これにより、逆方向フレーム間予測を用いる際に、適切な時間間隔での復号画像出力を得ることが可能となる。

【００４０】
また、動画像符号化方法は、他のフレームとの間でフレーム間予測を行う動画像符号化方法であって、逆方向予測により生じ得る最大遅延時間を出力することを特徴とする。

【００４１】
同様に、動画像符号化装置は、他のフレームとの間でフレーム間予測を行う動画像符号化装置であって、逆方向予測により生じ得る最大遅延時間を出力することを特徴とする。

【００４２】
同様に、動画像符号化プログラムは、他のフレームとの間でフレーム間予測を行う動画像符号化をコンピュータに実行させるための動画像符号化プログラムであって、逆方向予測により生じ得る最大遅延時間を出力する処理をコンピュータに実行させることを特徴とする。

【００４３】
このように、動画像符号化方法、装置、及びプログラムにおいては、動画像を符号化して出力する際に、符号化データに加えて、逆方向予測に伴う最大遅延時間を出力することとしている。これにより、逆方向フレーム間予測を用いる際に、適切な時間間隔での復号画像出力を得ることが可能となる。

【００４４】
また、動画像復号方法は、他のフレームとの間でフレーム間予測を行う動画像復号方法であって、逆方向予測により生じ得る最大遅延時間を入力することを特徴とする。

【００４５】
同様に、動画像復号装置は、他のフレームとの間でフレーム間予測を行う動画像復号装置であって、逆方向予測により生じ得る最大遅延時間を入力することを特徴とする。

【００４６】
同様に、動画像復号プログラムは、他のフレームとの間でフレーム間予測を行う動画像復号をコンピュータに実行させるための動画像復号プログラムであって、逆方向予測により生じ得る最大遅延時間を入力する処理をコンピュータに実行させることを特徴とする。

【００４７】
このように、動画像復号方法、装置、及びプログラムにおいては、入力された符号化データを復号して動画像を生成する際に、符号化データに加えて、逆方向予測に伴う最大遅延時間を入力することとしている。これにより、逆方向フレーム間予測を用いる際に、適切な時間間隔での復号画像出力を得ることが可能となる。

【００５０】
また、動画像復号方法、復号装置、及び復号プログラムにおいて入力される最大遅延時間については、他のフレームとの間で復号時間と出力時間の順序の逆転がないフレームにおける、復号時間とそのフレームに関連づけられた復号画像出力時間との時間差を最大遅延時間とすることが好ましい。あるいはさらに、その最大遅延時間に基づいて以降の復号画像出力時間の基準を設定することが好ましい。

【００３０】
【課題を解決するための手段】
このような目的を達成するために、本発明に係る動画像符号化方法は、符号化対象となるフレームを入力する入力ステップと、フレームを所定の方法で符号化して符号化データを生成する符号化ステップと、復号の際における、復号時間からフレームを表示するための出力時間までの遅延させる時間によって、フレームの最大遅延時間を求める最大遅延時間計算ステップと、符号化データに加えて最大遅延時間を出力する出力ステップとを備えることを特徴とする。

【００３１】
同様に、本発明に係る動画像符号化装置は、符号化対象となるフレームを入力する入力手段と、フレームを所定の方法で符号化して符号化データを生成する符号化手段と、復号の際における、復号時間からフレームを表示するための出力時間までの遅延させる時間によって、フレームの最大遅延時間を求める最大遅延時間計算手段と、符号化データに加えて最大遅延時間を出力する出力手段とを備えることを特徴とする。

【００３３】
また、本発明に係る動画像符号化プログラムは、符号化対象となるフレームを入力する入力処理と、フレームを所定の方法で符号化して符号化データを生成する符号化処理と、復号の際における、復号時間からフレームを表示するための出力時間までの遅延させる時間によって、フレームの最大遅延時間を求める最大遅延時間計算処理と、符号化データに加えて最大遅延時間を出力する出力処理とをコンピュータに実行させることを特徴とする。

【００３５】
本発明に係る動画像復号方法は、所定の方法で符号化されたフレームの符号化データ、フレームの復号時間、及び最大遅延時間を含む画像データを入力する入力ステップと、符号化データを復号し、再生画像を生成する復号ステップと、復号時間から最大遅延時間だけ遅延させた時間によって、フレームを表示するための出力時間を求める画像出力時間計算ステップとを備えることを特徴とする。

【００３６】
同様に、本発明に係る動画像復号装置は、所定の方法で符号化されたフレームの符号化データ、フレームの復号時間、及び最大遅延時間を含む画像データを入力する入力手段と、符号化データを復号し、再生画像を生成する復号手段と、復号時間から最大遅延時間だけ遅延させた時間によって、フレームを表示するための出力時間を求める画像出力時間計算手段とを備えることを特徴とする。

【００３８】
また、本発明に係る動画像復号プログラムは、所定の方法で符号化されたフレームの符号化データ、フレームの復号時間、及び最大遅延時間を含む画像データを入力する入力処理と、符号化データを復号し、再生画像を生成する復号処理と、復号時間から最大遅延時間だけ遅延させた時間によって、フレームを表示するための出力時間を求める画像出力時間計算処理とをコンピュータに実行させることを特徴とする。

【００３５】
本発明に係る動画像復号方法は、所定の方法で符号化されたフレームの符号化データ、フレームの復号時間、及び最大遅延時間を含む画像データを入力する入力ステップと、符号化データを復号し、再生画像を生成する復号ステップと、逆方向予測未関連フレームについては、復号時間から最大遅延時間だけ遅延させた時間を、逆方向予測未関連フレームを表示するための出力時間とする画像出力時間計算ステップとを備えることを特徴とする。

【００３６】
同様に、本発明に係る動画像復号装置は、所定の方法で符号化されたフレームの符号化データ、フレームの復号時間、及び最大遅延時間を含む画像データを入力する入力手段と、符号化データを復号し、再生画像を生成する復号手段と、逆方向予測未関連フレームについては、復号時間から最大遅延時間だけ遅延させた時間を、逆方向予測未関連フレームを表示するための出力時間とする画像出力時間計算手段とを備えることを特徴とする。

【００３８】
また、本発明に係る動画像復号プログラムは、所定の方法で符号化されたフレームの符号化データ、フレームの復号時間、及び最大遅延時間を含む画像データを入力する入力処理と、符号化データを復号し、再生画像を生成する復号処理と、逆方向予測未関連フレームについては、復号時間から最大遅延時間だけ遅延させた時間を、逆方向予測未関連フレームを表示するための出力時間とする画像出力時間計算処理とをコンピュータに実行させることを特徴とする。

Claims (20)

1. 他のフレームとの間でフレーム間予測を行う動画像符号化方法であって、
   逆方向予測により生じ得る最大遅延時間を出力することを特徴とする動画像符号化方法。
2. 符号化対象となるフレームを入力する入力ステップと、
   前記フレームを所定の方法で符号化する符号化ステップと、
   前記フレームの表示時間、符号化時間、及び逆方向予測により生じ得る遅延時間から前記フレームの最大遅延時間を求める最大遅延時間計算ステップと
   を備えることを特徴とする動画像符号化方法。
3. 他のフレームとの間でフレーム間予測を行う動画像復号方法であって、
   逆方向予測により生じ得る最大遅延時間を入力することを特徴とする動画像復号方法。
4. 所定の方法で符号化されたフレームの符号化データ、前記フレームの復号時間、及び最大遅延時間を含む画像データを入力する入力ステップと、
   前記符号化データを復号し、再生画像を生成する復号ステップと、
   前記復号時間及び前記最大遅延時間に基づいて、前記フレームを表示するための出力時間を求める画像出力時間計算ステップと
   を備えることを特徴とする動画像復号方法。
5. 他のフレームとの間でフレーム間予測を行う動画像符号化装置であって、
   逆方向予測により生じ得る最大遅延時間を出力することを特徴とする動画像符号化装置。
6. 符号化対象となるフレームを入力する入力手段と、
   前記フレームを所定の方法で符号化する符号化手段と、
   前記フレームの表示時間、符号化時間、及び逆方向予測により生じ得る遅延時間から前記フレームの最大遅延時間を求める最大遅延時間計算手段と
   を備えることを特徴とする動画像符号化装置。
7. 前記最大遅延時間は、逆方向フレーム間予測を行うフレームの発生時間から、逆方向予測の参照フレームとして用いることのできる時間的に最も後のフレームの発生時間までの時間差とすることを特徴とする請求項５または６記載の動画像符号化装置。
8. 前記最大遅延時間は、符号化データ全体に適用される情報として出力されることを特徴とする請求項５〜７のいずれか一項記載の動画像符号化装置。
9. 前記最大遅延時間は、各フレームに適用される情報として出力されることを特徴とする請求項５〜７のいずれか一項記載の動画像符号化装置。
10. 前記最大遅延時間は、該最大遅延時間が通知されるフレーム及び該フレームよりも時間的に後の各フレームに適用される情報として任意に出力されることを特徴とする請求項５〜７のいずれか一項記載の動画像符号化装置。
11. 他のフレームとの間でフレーム間予測を行う動画像復号装置であって、
    逆方向予測により生じ得る最大遅延時間を入力することを特徴とする動画像復号装置。
12. 所定の方法で符号化されたフレームの符号化データ、前記フレームの復号時間、及び最大遅延時間を含む画像データを入力する入力手段と、
    前記符号化データを復号し、再生画像を生成する復号手段と、
    前記復号時間及び前記最大遅延時間に基づいて、前記フレームを表示するための出力時間を求める画像出力時間計算手段と
    を備えることを特徴とする動画像復号装置。
13. 前記最大遅延時間を、逆方向フレーム間予測を行うことによる遅延、及び他のフレームとの間で復号時間と出力時間の順序の逆転がないフレームにおける、復号時間と当該フレームに関連づけられた復号画像出力時間との時間差とすることを特徴とする請求項１１または１２記載の動画像復号装置。
14. 前記最大遅延時間は、符号化データ全体に適用される情報として入力されることを特徴とする請求項１１〜１３のいずれか一項記載の動画像復号装置。
15. 前記最大遅延時間は、各フレームに適用される情報として入力されることを特徴とする請求項１１〜１３のいずれか一項記載の動画像復号装置。
16. 前記最大遅延時間は、該最大遅延時間が通知されるフレーム及び該フレームよりも時間的に後の各フレームに適用される情報として任意に入力されることを特徴とする請求項１１〜１３のいずれか一項記載の動画像復号装置。
17. 他のフレームとの間でフレーム間予測を行う動画像符号化をコンピュータに実行させるための動画像符号化プログラムであって、
    逆方向予測により生じ得る最大遅延時間を出力する処理をコンピュータに実行させるための動画像符号化プログラム。
18. 符号化対象となるフレームを入力する入力処理と、
    前記フレームを所定の方法で符号化する符号化処理と、
    前記フレームの表示時間、符号化時間、及び逆方向予測により生じ得る遅延時間から前記フレームの最大遅延時間を求める最大遅延時間計算処理と
    をコンピュータに実行させるための動画像符号化プログラム。
19. 他のフレームとの間でフレーム間予測を行う動画像復号をコンピュータに実行させるための動画像復号プログラムであって、
    逆方向予測により生じ得る最大遅延時間を入力する処理をコンピュータに実行させるための動画像復号プログラム。
20. 所定の方法で符号化されたフレームの符号化データ、前記フレームの復号時間、及び最大遅延時間を含む画像データを入力する入力処理と、
    前記符号化データを復号し、再生画像を生成する復号処理と、
    前記復号時間及び前記最大遅延時間に基づいて、前記フレームを表示するための出力時間を求める画像出力時間計算処理と
    をコンピュータに実行させるための動画像復号プログラム。

Images