JP2009273133A - 階層的映像符号化のための参照フレーム管理装置および方法 - Google Patents

Abstract

【課題】 映像を符号化したり復号化したりする装置に関し、より詳細には、符号化対象映像フレームを符号化または復号するための参照フレームを格納して管理する装置および方法に関する。
【解決手段】 本発明は、複数の階層に区分された映像フレームを符号化する多重階層映像符号化装置であって、第１符号化対象フレームの階層を識別する階層識別部と、第１符号化対象フレームと関連した少なくとも１つ以上の格納フレームを格納するフレーム格納部と、格納フレームのうちから識別された階層に基づいて参照フレームを選択する参照フレーム選択部と、選択された参照フレームを参照して符号化対象フレームを符号化するフレーム符号化部とを備え、フレーム格納部は、第１符号化対象フレームを第２符号化対象フレームと関連した格納フレームとして格納することを特徴とする多重階層映像符号化装置を提供する。
【選択図】 図４

Description

本発明は、映像を符号化したり復号化したりする装置に関し、より詳細には、符号化対象映像フレームを符号化または復号するための参照フレームを格納して管理する装置および方法に関する。

現在そして未来の通信環境は、有線と無線の領域区分や地域と国家の区分を超越するほど急激に変化しており、特に、映像と音声は勿論、ユーザが必要とする多様な情報をリアルタイムで総合的に提供する方向に構築される趨勢にある。動画をデジタルデータに加工してリアルタイムで送信し、これを受信して表示するデジタルテレビシステムと、リアルタイムで動画を個人携帯端末機で表示する移動通信網の実現が常用化している。

移動通信網の帯域幅は制限されるため、動画の効率的な符号化技法が求められる。動画を効率的に符号化するために、動画を時間順序に応じて複数の映像フレームに分割し、分割された映像フレームを複数の階層に区分して符号化する階層的予測符号化技法が提示された。

階層的予測符号化技法によれば、特定の階層に含まれた映像フレームを復号するためには、全階層に含まれた映像フレームは必要ではない。すなわち、一部階層の映像フレームのみで特定の階層に含まれた映像を復号することができる。したがって、符号化されたデータのうち一部のみを送信した場合でも、受信側で映像を再生することができる。

階層的予測符号化技法によれば、特定の映像フレームを復号するための参照フレームが互いに異なる階層に含まれる場合がある。この場合に、互いに異なる階層に含まれた参照フレームを管理するために、階層の数だけのバッファが必要となる。複数のバッファを用いるために、極めて複雑なバッファ管理技法が必要となる。

本発明は、上述した問題点を解決するために案出されたものであって、複数の階層に区分された映像を符号化または復号化する過程において、単一バッファのみを用いて参照映像を簡単に管理することを目的とする。

上述した目的を達成し、従来技術の問題点を解決するために、本発明は、複数の階層に区分された映像フレームを符号化する多重階層映像符号化装置であって、第１符号化対象フレームの階層を識別する階層識別部と、前記第１符号化対象フレームと関連した少なくとも１つ以上の格納フレームを格納するフレーム格納部と、前記格納フレームのうちから前記識別された階層に基づいて参照フレームを選択する参照フレーム選択部と、前記選択された参照フレームを参照して前記符号化対象フレームを符号化するフレーム符号化部とを備え、前記フレーム格納部は、前記第１符号化対象フレームを第２符号化対象フレームと関連した格納フレームとして格納することを特徴とする多重階層映像符号化装置を提供する。

本発明の一側によれば、多重階層符号化された映像を復号する復号化装置であって、第１復号化対象フレームの階層を識別する階層識別部と、前記第１復号化対象フレームと関連した少なくとも１つ以上の格納フレームを格納するフレーム格納部と、前記格納フレームのうちから前記識別された階層に基づいて参照フレームを選択する参照フレーム選択部と、前記選択された参照フレームを参照して前記復号化対象フレームを復号するフレーム復号部とを備え、前記フレーム格納部は、前記第１復号化対象フレームを第２復号化対象フレームと関連した格納フレームとして格納することを特徴とする復号化装置が提供される。

本発明のさらに他の一側によれば、多重階層符号化された映像を復号する復号化方法であって、第１復号化対象フレームの階層を識別するステップと、前記第１復号化対象フレームと関連した少なくとも１つ以上の格納フレームを格納して保持するステップと、前記格納フレームのうちから前記識別された階層に基づいて参照フレームを選択するステップと、前記選択された参照フレームを参照して前記復号化対象フレームを復号するステップと、前記第１復号化対象フレームを第２復号化対象フレームと関連した格納フレームとして格納して保持するステップとを含むことを特徴とする復号化方法が提供される。

本発明によれば、複数の階層に区分された映像を符号化または復号化する過程において、単一バッファのみを用いて参照映像を容易に管理することができる。

本発明の一実施形態によって複数の階層に区分された映像フレームを符号化する多重階層映像符号化装置の構造を示す図である。 本発明の一実施形態によって複数の階層に区分された映像フレームを符号化する概念を示す図である。 本発明の一実施形態に係る多重階層映像符号化装置の構造を示すブロック図である。 本発明の一実施形態によって互いに異なる階層の格納フレームを格納するフレーム格納部の動作を示す図である。 本発明の一実施形態によって多重階層符号化された映像フレームを復号する多重階層映像復号化装置の構造を示すブロック図である。 本発明の一実施形態によって多重階層符号化された映像フレームを復号する多重階層映像復号化方法を段階別に示すフローチャートである。 本発明の一実施形態に係る多重階層映像符号化装置の構造を示すブロック図である。 本発明の一実施形態に係る多重階層映像復号化装置の構造を示すブロック図である。

以下、添付の図面を参照しながら、本発明の実施形態について詳しく説明する。

本明細書で用いられる「フレーム」という用語は、動画の特定時点における映像情報を格納するデータを意味する。本発明の一実施形態によれば、「フレーム」は、単一映像の一部に対する情報を含む複数の「フィールド」を含むことができる。例えば、インターレース（ｉｎｔｅｒｌａｃｅ）方式の動画において、１フレームは複数のフィールドで構成される。複数のフィールドが交互になって１フレームの画面を表現する。

図１は、本発明の一実施形態によって複数の階層に区分された映像フレームを符号化する多重階層映像符号化装置の構造を示す図である。以下、図１を参照しながら、本発明に係る多重階層映像符号化装置の動作について詳しく説明する。本発明に係る多重階層映像符号化装置１００は、ＤＣＴ変換部１１０と、量子化部１２０と、エントロピー符号化部１３０と、逆量子化部１４０と、ＩＤＣＴ部１５０と、多重参照バッファ１６０と、動き推定部１７０と、動き補償部１８０とを備える。

動き推定部１７０および動き補償部１８０は、多重参照バッファ１６０に格納された参照フレームに基づいて符号化対象フレームに対する予測映像フレームを生成する。

動き補償部１８０で生成された予測映像フレームと多重階層映像を構成する符号化対象フレームとの差は、ＤＣＴ変換部（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）１１０と量子化部１２０を経てエントロピー符号化１３０される。また、多重階層映像符号化装置１００において、逆量子化部１４０、逆ＤＣＴ変換部（Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）１５０を介して復元された差映像は、予測映像フレームと結合して動き推定の正確性を高めるために用いられる。

図２は、本発明の一実施形態によって複数の階層に区分された映像フレームを符号化する概念を示す図である。以下、図２を参照しながら、本発明によって複数の階層に区分された映像フレームを符号化する概念について詳しく説明する。

図２では、複数の映像フレーム２００が互いに参照して符号化される。複数の映像フレーム２００は、時間的に関連している。すなわち、映像フレーム１（２１１）は、映像フレーム０（２１０）の後に再生されるフレームであり、映像フレーム２（２１２）は、映像フレーム１（２１１）の後に再生されるフレームである。

本発明によれば、複数の映像フレームは、複数の階層に区分することができる。図２の実施形態では、映像フレーム０（２１０）、映像フレーム４（２１４）、映像フレーム８（２１８）、映像フレーム１２（２２２）が階層０（２３０）に含まれる。

また、映像フレーム２（２１２）、映像フレーム６（２１６）、映像フレーム１０（２２０）が階層１（２４０）に含まれる。さらに、映像フレーム１（２１１）、映像フレーム３（２１３）、映像フレーム５（２１５）、映像フレーム７（２１７）、映像フレーム９（２１９）、映像フレーム１１（２２１）が階層２（２５０）に含まれる。

図２では、それぞれの映像フレーム２００が３つの階層に区分された実施形態を示しているが、本発明の他の実施形態によれば、それぞれの映像フレーム２００が２つの階層に区分されても良いし、４つ以上の階層に区分されても良い。

説明の便宜上、階層０（２３０）を最下位階層とし、階層２（２５０）を最上位階層とする。すなわち、階層１（２４０）は階層０（２３０）の上位階層であり、階層２（２５０）は階層１（２４０）および階層０（２３０）の上位階層である。これとは反対に、階層０（２３０）は階層１（２４０）および階層２（２５０）の下位階層であり、階層１（２４０）は階層２（２５０）の下位階層である。

本発明の一実施形態によれば、下位階層に含まれた映像フレームは、上位階層に含まれた映像フレームを参照せずに、同じ階層に含まれた映像フレームのうち、時間的に先行する映像フレームのみを参照して符号化することができる。すなわち、図２に示す実施形態において、映像フレーム８（２１８）は、同じ階層に含まれた映像フレーム０（２１０）および映像フレーム４（２１４）を参照して符号化することができる。

本発明の一実施形態によれば、上位階層に含まれた映像フレームは、下位階層に含まれたすべての映像フレームのうち、先に符号化された映像フレームを参照して符号化することができる。すなわち、階層１（２４０）に含まれた映像フレーム６（２１６）は、下位階層に含まれた映像フレームのうち、映像フレーム６（２１６）よりも時間的に先行する映像フレーム０（２１０）および映像フレーム４（２１４）を参照して符号化することができる。

また、映像フレーム６（２１６）と同じ階層に含まれた映像フレームのうち、映像フレーム６（２１６）よりも先に符号化された映像フレーム２（２１２）を参照して符号化することもできる。また、映像フレーム６（２１６）よりも時間的に後行するが先に符号化された映像フレーム８（２１８）を参照して符号化することができる。

本発明の一実施形態によれば、符号化対象フレームは、符号化対象フレーム以前にすでに符号化された映像フレームのみを参照して符号化することができる。

本発明の一実施形態によれば、映像フレーム０（２１０）が符号化された後に、映像フレーム０（２１０）と同じ階層２３０に含まれた映像フレーム４（２１４）は、映像フレーム０（２１０）を参照して符号化することができる。階層１（２４０）に含まれた映像フレーム２（２１２）は、下位階層２３０に含まれた映像フレーム０（２１０）および映像フレーム４（２１４）を参照して符号化することができる。また、階層２（２５０）に含まれた映像フレーム１（２１１）は、下位階層に含まれた映像フレーム０（２１０）、映像フレーム４（２１４）、および映像フレーム２（２１２）を参照して符号化することができる。階層２に含まれた映像フレーム３は、同じ階層２５０および下位階層２３０、２４０に含まれた映像フレームのうち、映像フレーム３（２１３）よりも先に符号化された映像フレーム０（２１０）、映像フレーム４（２１４）、および映像フレーム２（２１２）を参照して符号化することができる。本発明の一実施形態によれば、映像フレーム３（２１３）は、同じ階層に含まれ、映像フレーム３（２１３）よりも先に符号化された映像フレーム１（２１１）を参照して符号化することもできる。

さらに、階層０（２３０）に含まれた映像フレーム８（２１８）は、同じ階層２３０に含まれた映像フレーム０（２１０）および映像フレーム４（２１４）を参照して符号化することができる。

符号化対象フレームと同じ階層または下位階層に含まれた映像フレームのみを参照して符号化するため、特定の階層に含まれた映像フレームを復号するために上位階層の映像フレームを考慮する必要がない。したがって、復号手順が容易になる。

もし、ユーザがすべての映像フレームを復号したり、偶数番号の映像フレームのみを復号するか否かを選択できたりする場合を仮定しよう。図２に示す実施形態によれば、偶数番号の映像フレームのみを復号する場合には、階層２（２５０）に含まれた奇数番号の映像フレームは復号しない。したがって、多重階層映像復号化装置は、階層０（２３０）、階層１（２４０）に含まれた映像フレームのみを参照して多重階層符号化された映像を復号することができる。

図３は、本発明の一実施形態に係る多重階層映像符号化装置の構造を示すブロック図である。以下、図３を参照しながら、本発明に係る多重階層映像符号化装置の動作について詳しく説明する。本発明に係る多重階層映像符号化装置３００は、階層識別部３１０と、フレーム格納部３２０と、参照フレーム選択部３３０と、格納フレーム整列部３４０と、フレーム符号化部３５０と、格納決定部３６０とを備える。

階層識別部３１０は、第１符号化対象フレームの階層を識別する。本発明の一実施形態によれば、第１符号化対象フレームは、階層を識別するための階層識別情報を含んでおり、階層識別部３１０は、階層識別情報に基づいて第１符号化対象フレームの階層を識別することができる。

フレーム格納部３２０は、第１符号化対象フレームと関連した少なくとも１つ以上の格納フレームを格納する。本発明の一実施形態によれば、フレーム格納部３２０は、第１符号化対象フレームの符号化以前にすでに符号化された映像フレームを格納することができる。

参照フレーム選択部３３０は、フレーム格納部３２０に格納された格納フレームのうちから参照フレームを選択する。本発明の一実施形態によれば、参照フレーム選択部３３０は、第１符号化対象フレームの階層に基づいて参照フレームを選択することができる。本発明の一実施形態によれば、参照フレーム選択部３３０は、第１符号化対象フレームと同じ階層または下位階層に含まれた格納フレームのみを参照フレームとして選択することができる。

本発明の一実施形態によれば、格納フレーム整列部３４０は、フレーム格納部３２０に格納された格納フレームを格納フレームが含まれた階層に応じて整列し、参照フレーム選択部３３０は、格納フレーム整列部３４０が整列した格納フレームに基づいて参照フレームを選択することができる。

本発明の一実施形態によれば、格納フレーム整列部３４０は、フレーム格納部３２０に格納された格納フレームを格納フレームが含まれた階層に応じて昇順に整列することができる。格納フレームが格納フレームが含まれた階層に応じて昇順に整列されれば、下位階層に含まれた格納フレームが前方に位置する。したがって、参照フレーム選択部３３０は、前方に位置した格納フレームを参照フレームとして選択することができる。

フレーム符号化部３５０は、選択された参照フレームを参照して第１符号化対象フレームを符号化する。本発明の一実施形態によれば、フレーム符号化部３５０は、選択された参照フレームに基づいて第１符号化対象フレームに対する予測映像フレームを生成することができる。フレーム符号化部３５０は、第１符号化対象フレームと予測映像フレームとの差を符号化することができる。

フレーム格納部３２０は、符号化が終了した第１符号化対象フレームを第２符号化対象フレームと関連した格納フレームに格納することができる。

本発明の一実施形態によれば、格納決定部３６０は、第１符号化対象フレームが含まれた階層に基づいて、第１符号化対象フレームを格納フレームとしてフレーム格納部３２０に格納するか否かを決定することができる。本発明の一実施形態によれば、フレーム格納部３２０は、格納決定部３６０の決定に応じて、第１符号化対象フレームを第２符号化対象フレームと関連した格納フレームに格納することができる。格納された第１符号化対象フレームは、第２符号化対象フレームに対する参照フレームとして用いることができる。

本発明の一実施形態によれば、費用上の問題または格納空間上の問題により、フレーム格納部３２０が格納できる格納フレームの数が制限される場合がある。本発明の一実施形態によれば、第１符号化対象フレームが第２符号化対象フレームと関連した格納フレームに格納されることによって、従来にフレーム格納部３２０に格納された少なくとも１つ以上の格納フレームのうち、少なくとも１フレーム以上が削除されなければならない。本発明の一実施形態によれば、格納決定部３６０が第１符号化対象フレームを第２符号化対象フレームと関連した格納フレームに格納することと決定した場合に、フレーム格納部３２０は、第１符号化対象フレームと同じ階層に含まれた格納フレームまたは上位階層に含まれた格納フレームのうち、最も早い時点に相応する格納フレームを削除することができる。フレーム格納部３２０は、第２符号化対象フレームと時間的に最も近いフレームのみを格納するため、フレーム格納部３２０に格納された格納フレームは、第２符号化対象フレームと極めて類似する。フレーム格納部３２０に格納された格納フレームのうちから選択された参照フレームも第２符号化対象フレームと類似するため、フレーム符号化部３５０の符号化効率が向上する。

本発明の一実施形態によれば、格納決定部３６０は、第１符号化対象フレームが含まれた階層が最上位階層である場合に、第１符号化対象フレームを格納しないと決定することができる。本発明の一実施形態によれば、フレーム格納部３２０は、最上位階層を除いた階層に含まれた映像フレームのみを格納フレームに格納し、フレーム符号化部は、格納フレームのうちから選択された参照フレームに基づいて第２符号化対象フレームを符号化することができる。最上位階層に含まれた映像フレームが参照フレームとして選択されない実施形態では、第１符号化対象フレームが最上位階層に含まれた場合に、第１符号化対象フレームが第２符号化対象フレームに対する参照フレームとして選択されることはない。したがって、格納決定部３６０は、最上位階層に含まれた第１符号化対象フレームをフレーム格納部３２０に格納しないと決定することができる。

図４は、本発明の一実施形態によって互いに異なる階層の格納フレームを格納するフレーム格納部の動作を示す図である。以下、図４を参照しながら、本発明に係るフレーム格納部の動作について詳しく説明する。

以下、複数の階層に区分された映像フレームが図２に示す実施形態と同じように構成されていると仮定してフレーム格納部の動作を説明する。

図４に示すフレーム格納部は、４つの格納フレームを格納できるように大きさが制限されたものと仮定したが、本発明の他の実施形態によれば、４つ以上の格納フレームを格納することもできる。図４に示す各段階のフレーム格納部４１０、４２０、４３０、４４０、４５０、４６０の上段は映像フレームの番号を示し、下段は相応する映像フレームが含まれた階層を示す。

映像フレーム０（２１０）が符号化されれば、映像フレーム０（２１０）は、以後の映像フレームに対する参照フレームとして用いられるために、フレーム格納部に格納される（４１０）。映像フレーム０（２１０）は最初に符号化される映像フレームであるため、フレーム格納部４１０は、映像フレーム０（２１０）のみを格納フレームに格納する（４１１）。映像フレーム０（２１０）が含まれた階層は階層０である（４１２）。

映像フレーム４（２１４）は、フレーム格納部に格納された格納フレームのうち、同じ階層２３０に含まれた映像フレーム０（２１０）を参照して符号化することができる。映像フレーム４（２１４）も、以後の映像フレームに対する参照フレームとして用いられるために、フレーム格納部に格納される（４２０）。フレーム格納部４２０は、映像フレーム０（２１０）および映像フレーム４（２１４）を格納フレームに格納する（４２１、４２３）。映像フレーム０（２１０）および映像フレーム４（２１４）は、階層０に含まれる（４２２、４２４）。

映像フレーム２（２１２）は、フレーム格納部に格納された格納フレームのうち、下位階層に含まれた映像フレーム０（２１０）および映像フレーム４（２１４）を参照して符号化することができる。映像フレーム２（２１２）も、以後の映像フレームに対する参照フレームとして用いられるために、フレーム格納部に格納される（４３０）。フレーム格納部４３０は、映像フレーム０（２１０）、映像フレーム４（２１４）、および映像フレーム２（２１２）を格納フレームに格納する（４３１、４３３、４３５）。映像フレーム０（２１０）および映像フレーム４（２１４）は階層０に含まれ（４３２、４３４）、映像フレーム２（２１２）は階層１に含まれる（４３６）。

本発明の一実施形態によれば、映像フレーム１（２１１）および映像フレーム３（２１３）のように最上の階層２５０に含まれた映像フレームも、符号化された後には他の映像フレームの符号化に用いることができる。また、この場合には、映像フレーム１（２１１）および映像フレーム３（２１３）もフレーム格納部に格納することができる。しかしながら、図４には、最上位階層２５０に含まれた映像フレームは、他の映像フレームの符号化に用いられない実施形態を示している。したがって、映像フレーム１（２１１）および映像フレーム３（２１３）は、フレーム格納部に格納されない。

映像フレーム８（２１８）は、フレーム格納部に格納された格納フレームのうち、同じ階層２３０に含まれた映像フレーム０（２１０）および映像フレーム４（２１４）を参照して符号化することができる。映像フレーム８（２１８）も、以後の映像フレームに対する参照フレームとして用いるために、フレーム格納部に格納することができる（４４０）。フレーム格納部４４０は、映像フレーム０（２１０）、映像フレーム４（２１４）、映像フレーム２（２１２）、および映像フレーム８（２１８）を格納フレームに格納する。映像フレーム０（２１０）、映像フレーム４（２１４）、および映像フレーム８（２１８）は階層０（２３０）に含まれ、映像フレーム２（２１２）は階層１（２４０）に含まれる。

本発明の一実施形態によれば、格納フレーム整列部は、フレーム格納部に格納された格納フレームをそれぞれの格納フレームが含まれた階層に応じて整列することができる。本発明の一実施形態によれば、格納フレーム整列部は、フレーム格納部に格納された格納フレームをそれぞれの格納フレームが含まれた階層に応じて昇順に整列することができる（４５０）。

昇順に整列された映像フレーム４５１、４５２、４５３、４５４は、整列前の映像フレーム４４１、４４３、４４５、４４７と同じではあるが、その順序が変更されている。映像フレームが含まれた階層に対する情報４５２、４５４、４５６、４５８も、整列後の映像フレーム４５１、４５２、４５３、４５４に相応するように変更された（４５０）。

映像フレーム６（２１６）は、フレーム格納部に格納された格納フレームのうち、同じ階層２４０に含まれた映像フレーム２（２１２）および下位階層２３０に格納された映像フレーム０（２１０）、映像フレーム４（２１４）および映像フレーム８（２１８）を参照して符号化することができる。映像フレーム６（２１６）も、以後の映像フレームに対する参照フレームとして用いるために、フレーム格納部に格納することができる。しかしながら、フレーム格納部には、すでに４つの映像フレームが格納されているため、いずれか１つの映像フレームが削除されることによって映像フレーム６（２１６）を格納することができる。

本発明の一実施形態によれば、映像フレーム６（２１６）と同じ階層２３０に含まれた映像フレーム２（２１２）および上位階層２５０に含まれた映像フレームのうち、最も早い時点に対応する格納フレームを削除することができる。図４に示す実施形態では、同じ階層２３０に含まれた映像フレーム２（２１２）が削除される。

本発明の一実施形態によれば、格納フレーム整列部は、映像フレーム２（２１２）が削除され、映像フレーム６（２１６）が含まれた格納フレームを整列することができる（４６０）。整列されたフレーム４６１、４６３、４６５、４６７は、映像フレーム０（２１０）、映像フレーム４（２１４）、映像フレーム８（２１８）、および映像フレーム６（２１６）を含む。それぞれの映像フレーム４６１、４６３、４６５、４６７に相応する階層情報４６２、４６４、４６６、４６８も、整列されたフレームに応じて変更される。

参照フレーム選択部は、格納フレーム整列部によって整列された格納フレームのうちから前方に位置した格納フレームを選択し、特定の映像フレームよりも下位階層に含まれた格納フレームまたは同じ階層に含まれた格納フレームを容易に選択することができる。

図５は、本発明の一実施形態によって多重階層符号化された映像フレームを復号する復号化装置の構造を示すブロック図である。以下、図５を参照しながら、本発明に係る復号化装置の動作について詳しく説明する。本発明に係る復号化装置５００は、階層識別部５１０と、フレーム格納部５２０と、参照フレーム選択部５３０と、格納フレーム整列部５４０と、フレーム復号部５５０と、格納決定部５６０とを備える。

階層識別部５１０は、第１復号化対象フレームの階層を識別する。本発明の一実施形態によれば、第１復号化対象フレームは、階層を識別するための階層識別情報を含んでおり、階層識別部５１０は、階層識別情報に基づいて第１復号化対象フレームの階層を識別することができる。

フレーム格納部５２０は、第１復号化対象フレームと関連した少なくとも１つ以上の格納フレームを格納する。本発明の一実施形態によれば、フレーム格納部５２０は、第１復号化対象フレームの復号以前にすでに復号された映像フレームを格納することができる。

参照フレーム選択部５３０は、フレーム格納部５２０に格納された格納フレームのうちから参照フレームを選択する。本発明の一実施形態によれば、参照フレーム選択部５３０は、第１復号化対象フレームの階層に基づいて参照フレームを選択することができる。本発明の一実施形態によれば、参照フレーム選択部５３０は、第１復号化対象フレームと同じ階層に含まれた格納フレームのうち、第１復号化対象フレームよりも時間的に先行するフレームを参照フレームとして選択することができる。本発明の他の実施形態によれば、参照フレーム選択部５３０は、第１復号化対象フレームよりも下位階層に含まれた格納フレームおよび同じ階層に含まれた格納フレームを参照フレームとして選択することができる。

映像フレームは、復号化された後に格納フレームに格納される。したがって、第１復号化対象フレームと同じ階層に含まれた参照フレームは、第１復号化対象フレームよりも時間的に先行して先に復号化された映像フレームとすることができる。また、第１復号化対象フレームよりも下位階層に含まれた参照フレームは、第１復号化対象フレームよりも時間的に先行する映像フレーム、および第１復号化対象フレームよりも時間的には後行するが第１復号化対象フレームよりも先に復号化された映像フレームとすることができる。

本発明の一実施形態によれば、格納フレーム整列部５４０は、フレーム格納部５２０に格納された格納フレームを格納フレームが含まれた階層に応じて整列し、参照フレーム選択部５３０は、格納フレーム整列部５４０が整列した格納フレームに基づいて参照フレームを選択することができる。

本発明の一実施形態によれば、格納フレーム整列部５４０は、フレーム格納部５２０に格納された格納フレームを格納フレームが含まれた階層に応じて昇順に整列することができる。格納フレームが格納フレームの含まれた階層に応じて昇順に整列されれば、下位階層に含まれた格納フレームが前方に位置する。復号化対象フレームよりも下位の階層に含まれた格納フレームまたは同じ階層に含まれた格納フレームが参照フレームとして選択されるため、参照フレーム選択部５３０は、前方に位置した格納フレームを復号化対象フレームに対する参照フレームとして選択することができる。

もし、格納フレーム整列部５４０が格納フレームを整列しなければ、各格納フレームが含まれた階層に応じて格納フレームを格納する複数の格納装置が必要となる。しかしながら、格納装置に含まれた格納フレームを整列すれば、１つの格納装置のみを用いても復号化対象フレームに対する参照フレームを容易に選択することができる。

フレーム復号部５５０は、選択された参照フレームを参照して第１復号化対象フレームを符号する。本発明の一実施形態によれば、フレーム復号部５５０は、選択された参照フレームに基づいて第１復号化対象フレームに対する予測映像フレームを生成することができる。フレーム復号部５５０は、第１復号化対象フレームが符号化された符号化データに基づいて予測映像フレームと第１復号化対象フレームとの差に対する情報を生成する。フレーム復号部は５５０は、予測映像フレームと第１復号化対象フレームとの差に対する情報に基づいて第１復号化対象フレームを復号することができる。

フレーム格納部５２０は、復号が終了した第１復号化対象フレームを第２復号化対象フレームと関連した格納フレームに格納することができる。

本発明の一実施形態によれば、格納決定部５６０は、第１復号化対象フレームが含まれた階層に基づいて、第１復号化対象フレームを格納フレームとしてフレーム格納部５２０に格納するか否かを決定することができる。本発明の一実施形態によれば、フレーム格納部５２０は、格納決定部５６０の決定に応じて、第１復号化対象フレームを第２復号化対象フレームと関連した格納フレームに格納することができる。格納された第１復号化対象フレームは、第２復号化対象フレームに対する参照フレームとして用いることができる。

本発明の一実施形態によれば、費用上の問題または格納空間上の問題により、フレーム格納部５２０が格納できる格納フレームの数が制限される場合がある。本発明の一実施形態によれば、第１復号化対象フレームが第２復号化対象フレームと関連した格納フレームに格納されることによって、従来にフレーム格納部５２０に格納された少なくとも１つ以上の格納フレームのうち、少なくとも１フレーム以上が削除されなければならない。本発明の一実施形態によれば、格納決定部５６０が第１復号化対象フレームを第２復号化対象フレームと関連した格納フレームに格納することと決定した場合に、フレーム格納部５２０は、第１復号化対象フレームと同じ階層に含まれた格納フレームまたは上位階層に含まれた格納フレームのうち、最も早い時点に相応する格納フレームを削除することができる。フレーム格納部５２０は、第２復号化対象フレームと時間的に最も近いフレームのみを格納するため、フレーム格納部５２０に格納された格納フレームは、第２復号化対象フレームと極めて類似する。フレーム格納部５２０に格納された格納フレームのうちから選択された参照フレームも第２復号化対象フレームと類似するため、フレーム復号部５５０の復号効率が向上する。

本発明の一実施形態によれば、格納決定部５６０は、第１復号化対象フレームの含まれた階層が最上位階層である場合に、第１復号化対象フレームを第２復号化対象フレームと関連した格納フレームに格納しないと決定することができる。本発明の一実施形態によれば、フレーム格納部５２０は、最上位階層を除いた階層に含まれた映像フレームのみを格納フレームに格納し、フレーム復号部５５０は、格納フレームのうちから選択された参照フレームに基づいて第２復号化対象フレームを復号することができる。最上位階層に含まれた映像フレームが参照フレームとして選択されない実施形態では、第１復号化対象フレームが最上位階層に含まれた場合に、第１復号化対象フレームが第２復号化対象フレームに対する参照フレームとして選択されることはない。したがって、格納決定部５６０は、最上位階層に含まれた第１復号化対象フレームをフレーム格納部５２０に格納しないと決定することができる。

図６は、本発明の一実施形態によって多重階層符号化された映像フレームを復号する多重階層映像復号化方法を段階別に示すフローチャートである。以下、図６を参照しながら、本発明に係る多重階層映像復号化方法について詳しく説明する。

ステップＳ６１０では、第１復号化対象フレームが含まれた階層を識別する。本発明の一実施形態によれば、第１復号化対象フレームを階層を識別するための階層識別情報を含んでおり、ステップＳ６１０では、階層識別情報を用いて第１復号化対象フレームの階層を識別することができる。

ステップＳ６２０では、第１復号化対象フレームと関連した少なくとも１つ以上の格納フレームを格納して保持する。本発明の一実施形態によれば、格納フレームは、第１復号化対象フレーム以前にすでに復号された映像フレームであり得る。

ステップＳ６３０では、格納フレームを格納フレームが含まれた階層に応じて整列する。本発明の一実施形態によれば、ステップＳ６３０では、格納フレームが含まれた階層に応じて格納フレームを昇順に整列することができる。格納フレームが昇順に整列されれば、下位階層に含まれた格納フレームが前方に位置する。

ステップＳ６４０では、格納フレームのうちから参照フレームを選択する。本発明の一実施形態によれば、第１復号化対象フレームが含まれた階層に基づいて参照フレームを選択することができる。本発明の一実施形態によれば、ステップＳ６４０では、第１復号化対象フレームと同じ階層に属した格納フレームまたは第１復号化対象フレームよりも下位階層に属した格納フレームを参照フレームとして選択することができる。

本発明の一実施形態によれば、ステップＳ６４０では、ステップＳ６３０で整列された格納フレームに基づいて参照フレームを選択することができる。格納フレームが昇順に整列されれば、下位階層に属した格納フレームが前方に位置する。したがって、第１復号化対象フレームよりも下位階層に含まれた格納フレームまたは同じ階層に含まれた格納フレームを容易に選択することができる。

ステップＳ６５０では、選択された参照フレームを参照して第１復号化対象フレームを復号する。本発明の一実施形態によれば、ステップＳ６５０では、選択された参照フレームに基づいて第１復号化対象フレームに対する予測映像フレームを生成することができる。本発明の一実施形態によれば、第１復号化対象フレームが符号化された符号化データに基づいて予測映像フレームと第１復号化対象フレームとの差に対する情報を生成する。ステップＳ６４０では、予測映像フレームと第１復号化対象フレームとの差に対する情報に基づいて第１復号化対象フレームを復号することができる。

ステップＳ６６０では、第１復号化対象フレームを第２復号化対象フレームと関連した格納フレームに格納するか否かを決定する。本発明の一実施形態によれば、ステップＳ６６０では、第１復号化対象フレームが最上位階層に含まれた映像フレームであれば、第１復号化対象フレームを第２復号化対象フレームと関連した格納フレームに格納しないことができる。さらに、第１復号化対象フレームが最上位階層ではない他の階層に含まれた映像フレームであれば、第１復号化対象フレームを第２復号化対象フレームと関連した格納フレームを格納すると決定することができる。

もし、ステップＳ６６０で、第１復号化対象フレームを格納すると決定した場合に、ステップＳ６７０では、ステップＳ６６０における決定に応じて、第１復号化対象フレームを第２復号化対象フレームと関連した格納フレームに格納することができる。

ステップＳ６８０では、第１復号化対象フレームに関連した第２復号化対象フレームを受信したか否かを判断する。もし、第２復号化対象フレームを受信した場合には、格納フレームを用いて第２復号化対象フレームを復号するが、第２復号化対象フレームを受信できなかった場合には、復号手順を終了する。

図７は、本発明の一実施形態に係る多重階層映像符号化装置の構造を示すブロック図である。以下、図７を参照しながら、本発明に係る多重階層映像符号化装置の動作について詳細に説明する。本発明に係る多重階層映像符号化装置７００は、階層識別部７１０と、フレーム格納部７２０と、格納フレーム整列部７３０と、参照フレーム選択部７４０と、フレーム符号化部７５０とを備える。

階層識別部７１０は、符号化対象フレームが含まれた階層を識別する。本発明によれば、入力映像は、複数の階層に区分された映像フレームを含む。符号化対象フレームは、複数の映像フレームのうちのいずれか１つのフレームに含まれる。

フレーム格納部７２０は、符号化対象フレームと関連した少なくとも１つ以上の格納フレームを格納する。フレーム格納部７２０に格納された格納フレームは、符号化対象フレームを符号化するための参照フレームとして用いることができる。

格納フレーム整列部７３０は、フレーム格納部７２０に格納された格納フレームを整列する。本発明の一実施形態によれば、格納フレーム整列部７３０は、格納フレームが属する階層に応じて格納フレームを整列することができる。

参照フレーム選択部７４０は、整列された格納フレームのうちから符号化対象フレームが属する階層に基づいて参照フレームを選択する。本発明の一実施形態によれば、参照フレーム選択部７４０は、整列された格納フレームのうち、符号化対象フレームと同じ階層または下位階層に属する格納フレームを参照フレームとして選択することができる。

もし、格納フレーム整列部７３０が格納フレームを格納フレームが属する階層に応じて昇順で整列すれば、低い階層に属する格納フレームはフレーム格納部７２０の前方に位置する。したがって、参照フレーム選択部７４０は、フレーム格納部７２０の前方に位置した格納フレームを参照フレームとして選択することができる。

本発明の他の一実施形態によれば、参照フレーム選択部７４０は、符号化対象フレームと同じ階層に属する格納フレームのうち、符号化対象フレームに先行する格納フレームを参照フレームとして選択することができる。格納フレームが階層に応じて整列された場合に、符号化対象フレームと同じ階層に属する格納フレームは互いに連続的に位置する。参照フレーム選択部７４０は、フレーム格納部７２０に連続的に格納され、符号化対象フレームと同じ階層に属する格納フレームのうち、時間的に符号化対象フレームに先行する格納フレームを参照フレームとして選択することができる。

本発明によれば、互いに異なる階層に属する格納フレームを同じフレーム格納部７２０に格納することができる。格納フレームを格納フレームが属する階層に応じて整列するだけで、複数のフレーム格納部を用いなくても互いに異なる階層に属する格納フレームを明確に区分することができる。

１つのフレーム格納部７２０のみを用いて多重階層映像符号化装置を実現することができるため、実現が容易であり、符号化過程が簡単になる。

フレーム符号化部７５０は、選択された参照フレームを参照して符号化対象フレームを符号化する。

図８は、本発明の一実施形態に係る多重階層映像復号化装置の構造を示すブロック図である。以下、図８を参照しながら、本発明に係る多重階層映像復号化装置の動作について詳細に説明する。本発明に係る多重階層映像復号化装置８００は、階層識別部８１０と、フレーム格納部８２０と、格納フレーム整列部８３０と、参照フレーム選択部８４０と、フレーム復号部８５０とを備える。

階層識別部８１０は、復号化対象フレームが含まれた階層を識別する。本発明によれば、復号映像は、複数の階層に区分された映像フレームを含む。符号化対象フレームは、複数の映像フレームのうちのいずれか１つのフレームに含まれる。

フレーム格納部８２０は、復号化対象フレームと関連した少なくとも１つ以上の格納フレームを格納する。フレーム格納部８２０に格納された格納フレームは、復号化対象フレームを復号するための参照フレームとして用いることができる。

格納フレーム整列部８３０は、フレーム格納部８２０に格納された格納フレームを整列する。本発明の一実施形態によれば、格納フレーム整列部８３０は、格納フレームが属する階層に応じて格納フレームを整列することができる。

参照フレーム選択部８４０は、整列された格納フレームのうち、復号化対象フレームが属する階層に基づいて参照フレームを選択する。本発明の一実施形態によれば、参照フレーム選択部８４０は、整列された格納フレームのうち、復号化対象フレームと同じ階層に含まれた格納フレームまたは復号化対象フレームよりも下位階層に属する格納フレームを参照フレームとして選択することができる。

もし、格納フレーム整列部８３０が格納フレームを格納フレームが属する階層に応じて昇順で整列すれば、低い階層に属する格納フレームはフレーム格納部８２０の前方に位置する。したがって、参照フレーム選択部８４０は、フレーム格納部８２０の前方に位置した格納フレームを参照フレームとして選択することができる。

本発明の他の実施形態によれば、参照フレーム選択部８４０は、復号化対象フレームと同じ階層に属する格納フレームのうち、復号化対象フレームに先行する格納フレームを参照フレームとして選択することができる。格納フレームが階層に応じて整列された場合に、復号化対象フレームと同じ階層に属する格納フレームは互いに連続的に位置する。参照フレーム選択部８４０は、フレーム格納部８２０に連続的に格納され、復号化対象フレームと同じ階層に属する格納フレームのうち、時間的に復号化対象フレームに先行する格納フレームを参照フレームとして選択することができる。

本発明によれば、互いに異なる階層に属する格納フレームを同じフレーム格納部８２０に格納することができる。格納フレームを格納フレームが属する階層に応じて整列するだけで、複数のフレーム格納部を用いなくても互いに異なる階層に属する格納フレームを明確に区分することができる。

１つのフレーム格納部８２０のみを用いて多重階層映像復号化装置を実現することができるため、実現が容易であり、復号化過程が簡単になる。

フレーム復号部８５０は、選択された参照フレームを参照して復号化対象フレームを復号化する。

なお、本発明に係る実施形態は、コンピュータにより実現される多様な動作を実行するためのプログラム命令を含むコンピュータ読取可能な記録媒体を含む。当該記録媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含むこともでき、記録媒体およびプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知であり使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。また、記録媒体は、プログラム命令、データ構造などを保存する信号を送信する搬送波を含む光または金属線、導波管などの送信媒体でもある。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードを含む。本発明で説明された多重階層映像符号化装置または多重階層映像復号化装置のすべてまたは一部がコンピュータプログラムで実現された場合には、コンピュータプログラムを格納したコンピュータ読み取り可能な記録媒体も本発明に含まれる。

上述したように、本発明の好ましい実施形態を参照して説明したが、該当の技術分野において熟練した当業者にとっては、特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で、本発明を多様に修正および変更させることができることを理解することができるであろう。すなわち、本発明の技術的範囲は、特許請求の範囲に基づいて定められ、発明を実施するための最良の形態により制限されるものではない。

１００、３００、７００ 多重階層映像符号化装置
３１０、５１０、７１０、８１０ 階層識別部
３２０、４１０、４２０、４３０、４４０、４５０、４６０、５２０、７２０ フレーム格納部
３３０、５３０、７４０、８４０ 参照フレーム選択部
３４０、５４０、７３０、８３０ 格納フレーム整列部
３５０、７５０ フレーム符号化部
３６０、５６０ 格納決定部
５５０、８５０ フレーム復号部
８００ 多重階層映像復号化装置

Claims (22)

1. 複数の階層に区分された映像フレームを符号化する多重階層映像符号化装置であって、
   第１符号化対象フレームが含まれた階層を識別する階層識別部と、
   前記第１符号化対象フレームと関連した少なくとも１つ以上の格納フレームを格納するフレーム格納部と、
   前記格納フレームのうちから前記識別された階層に基づいて参照フレームを選択する参照フレーム選択部と、
   前記選択された参照フレームを参照して前記第１符号化対象フレームを符号化するフレーム符号化部と、
   を備えることを特徴とする多重階層映像符号化装置。
2. 前記識別された階層に基づいて前記第１符号化対象フレームを格納するか否かを決定する格納決定部、
   をさらに含み、
   前記フレーム格納部は、
   前記決定に応じて前記第１符号化対象フレームを第２符号化対象フレームと関連した格納フレームとして格納することを特徴とする請求項１に記載の多重階層映像符号化装置。
3. 前記第１符号化対象フレームを格納することと前記格納決定部が決定した場合に、
   前記フレーム格納部は、
   前記第１符号化対象フレームと同じ階層または上位階層に含まれた格納フレームのうち、最も早い時点に相応する格納フレームを削除することを特徴とする請求項２に記載の多重階層映像符号化装置。
4. 前記格納決定部は、
   前記識別された階層が最上位階層である場合に、前記第１符号化対象フレームを格納しないと決定することを特徴とする請求項１に記載の多重階層映像符号化装置。
5. 前記参照フレーム選択部は、
   前記第１符号化対象フレームと同じ階層に属した格納フレームまたは前記第１符号化対象フレームよりも下位階層に属した格納フレームを前記参照フレームとして選択することを特徴とする請求項１に記載の多重階層映像符号化装置。
6. 前記格納フレームが含まれた階層に応じて前記格納フレームを整列する格納フレーム整列部、
   をさらに備え、
   前記参照フレーム選択部は、
   前記整列された格納フレームに基づいて前記参照フレームを選択することを特徴とする請求項５に記載の多重階層映像符号化装置。
7. 前記フレーム符号化部は、
   前記参照フレームに基づいて前記第１符号化対象フレームに対する予測映像フレームを生成し、前記予測フレームと前記符号化対象フレームとの差を符号化することを特徴とする請求項１に記載の多重階層映像符号化装置。
8. 多重階層符号化された映像を復号する多重階層映像復号化装置であって、
   第１復号化対象フレームが含まれた階層を識別する階層識別部と、
   前記第１復号化対象フレームと関連した少なくとも１つ以上の格納フレームを格納するフレーム格納部と、
   前記識別された階層に基づいて前記格納フレームのうちから参照フレームを選択する参照フレーム選択部と、
   前記選択された参照フレームを参照して前記第１復号化対象フレームを復号するフレーム復号部と、
   を備えることを特徴とする多重階層映像復号化装置。
9. 前記識別された階層に基づいて前記第１復号化対象フレームを格納するか否かを決定する格納決定部、
   をさらに備え、
   前記フレーム格納部は、
   前記決定に応じて前記第１復号化対象フレームを第２復号化対象フレームと関連した格納フレームとして格納することを特徴とする請求項８に記載の多重階層映像復号化装置。
10. 前記格納決定部は、
    前記識別された階層が最上位階層である場合に、前記第１復号化対象フレームを格納しないと決定することを特徴とする請求項８に記載の多重階層映像復号化装置。
11. 前記参照フレーム選択部は、
    前記第１復号化対象フレームと同じ階層に属した格納フレームまたは前記第１復号化対象フレームよりも下位階層に属した格納フレームを前記参照フレームとして選択することを特徴とする請求項８に記載の多重階層映像復号化装置。
12. 前記格納フレームが含まれた階層に応じて前記格納フレームを整列する格納フレーム整列部、
    をさらに備え、
    前記参照フレーム選択部は、
    前記整列された格納フレームに基づいて前記参照フレームを選択することを特徴とする請求項１１に記載の多重階層映像復号化装置。
13. 多重階層符号化された映像を復号する多重階層映像復号化方法であって、
    第１復号化対象フレームが含まれた階層を識別するステップと、
    前記第１復号化対象フレームと関連した少なくとも１つ以上の格納フレームを格納して保持するステップと、
    前記識別された階層に基づいて前記格納フレームのうちから参照フレームを選択するステップと、
    前記選択された参照フレームを参照して前記第１復号化対象フレームを復号するステップと、
    を含むことを特徴とする多重階層映像復号化方法。
14. 前記識別された階層に基づいて前記第１復号化対象フレームを格納するか否かを決定するステップ、
    をさらに含み、
    前記格納フレームを格納して保持するステップは、
    前記決定に応じて前記第１復号化対象フレームを第２復号化対象フレームと関連した格納フレームとして格納することを特徴とする請求項１３に記載の多重階層映像復号化方法。
15. 前記決定するステップは、
    前記識別された階層が最上位階層である場合に、前記第１復号化対象フレームを格納しないと決定することを特徴とする請求項１３に記載の多重階層映像復号化方法。
16. 前記選択するステップは、
    前記第１復号化対象フレームと同じ階層に属した格納フレームまたは前記第１復号化対象フレームよりも下位階層に属した格納フレームを前記参照フレームとして選択することを特徴とする請求項１３に記載の多重階層映像復号化方法。
17. 前記格納フレームが含まれた階層に応じて前記格納フレームを整列するステップ、
    をさらに含み、
    前記選択するステップは、
    前記整列された格納フレームに基づいて前記参照フレームを選択することを特徴とする請求項１６に記載の多重階層映像復号化方法。
18. 請求項１３〜１７のうちのいずれか一項の方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
19. 複数の階層に区分された映像フレームを符号化する多重階層映像符号化装置であって、
    符号化対象フレームが含まれた階層を識別する階層識別部と、
    前記符号化対象フレームと関連した少なくとも１つ以上の格納フレームを格納するフレーム格納部と、
    前記格納フレームが含まれた階層に応じて前記格納フレームを整列する格納フレーム整列部と、
    前記整列された格納フレームのうちから前記識別された階層に基づいて参照フレームを選択する参照フレーム選択部と、
    前記選択された参照フレームを参照して前記符号化対象フレームを符号化するフレーム符号化部と、
    を備えることを特徴とする多重階層映像符号化装置。
20. 前記参照フレーム選択部は、
    前記符号化対象フレームと同じ階層または前記符号化対象フレームよりも下位階層に属する格納フレームのうちから、前記符号化対象フレームよりも先に符号化されて格納されたフレームを前記参照フレームとして選択することを特徴とする請求項１９に記載の多重階層映像符号化装置。
21. 多重階層符号化された映像を復号する多重階層映像復号化装置であって、
    復号化対象フレームが含まれた階層を識別する階層識別部と、
    前記復号化対象フレームと関連した少なくとも１つ以上の格納フレームを格納するフレーム格納部と、
    前記格納フレームが含まれた階層に応じて前記格納フレームを整列する格納フレーム整列部と、
    前記識別された階層に基づいて前記整列された格納フレームのうちから参照フレームを選択する参照フレーム選択部と、
    前記選択された参照フレームを参照して前記復号化対象フレームを復号するフレーム復号部と、
    を備えることを特徴とする多重階層映像復号化装置。
22. 前記参照フレーム選択部は、
    前記復号化対象フレームと同じ階層または前記復号化対象フレームよりも下位階層に属する格納フレームのうちから、前記復号化対象フレームよりも先に復号化されて格納されたフレームを前記参照フレームとして選択することを特徴とする請求項２１に記載の多重階層映像復号化装置。

Images