JP2007215178A - 多視点動映像符号化装置及び方法 - Google Patents

Abstract

【課題】 多視点動映像符号化装置及び方法を提供する。
【解決手段】 多視点動映像を入力される多視点動映像入力部と、所定の時間に位置する多視点フレームの特性によって多視点動映像符号化の基準となるＩフレームの位置を決定するＩフレーム位置決定部と、決定されたＩフレームの位置に基づいて多視点動映像符号化を行う符号化部とを備える多視点動映像符号化装置である。これにより、多視点動映像の圧縮符号化時に基準となる基準Ｉフレームの位置を固定させず、適応的に決定して予測効率及び圧縮率を改善することが可能である。
【選択図】 図７

Description

本発明は、多視点動映像符号化装置及び方法に係り、さらに詳細には、多視点動映像の圧縮符号化時に基準となる基準視点に対するＩフレームの位置を適応的に選定して、圧縮効率を改善するための多視点動映像符号化装置及び方法に関する。

図１は、多視点動映像入力システムの一例を示す図である。図１に示すように、多視点動映像は、複数のカメラから各視点ごとに入力される複数の動映像をいう。したがって、多視点動映像を符号化するための装置は、複数のカメラから各視点ごとに複数の動映像が入力される。したがって、多視点動映像は、根本的に多大なデータ容量を占め、多視点動映像を利用して効果的な３Ｄサービスのためには、必ず圧縮符号化過程が要求される。このために、国際動映像標準化団体であるＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）では、多視点動映像符号化のために、現在までの動映像符号化器のうち最も性能に優れていると知られたＨ．２６４基盤の技術を議論している。

本発明が解決しようとする技術的課題は、多視点動映像の圧縮符号化時に基準となるＩフレームの位置を適応的に選定して、予測効率及び圧縮率を改善するための多視点動映像符号化装置及び方法を提供するところにある。

前記技術的課題を達成するために、本発明の一特徴による多視点動映像符号化装置は、多視点動映像を入力される多視点動映像入力部と、所定の時間に位置する多視点フレームの特性によって多視点動映像符号化の基準となるＩフレームの位置を決定するＩフレーム位置決定部と、決定されたＩフレームの位置に基づいて多視点動映像符号化を行う符号化部とを備える。

望ましくは、多視点動映像入力部は、所定の時間に位置する多視点フレームをＩフレーム位置決定部に伝達し、各視点別に入力される多視点動映像を符号化部に伝達する。

望ましくは、Ｉフレーム位置決定部は、所定の時間に位置する多視点フレームのうち、一つのフレームをＩフレームとして符号化し、Ｉフレームと同一時間に位置する残りのフレームを、Ｉフレームを参照して基準Ｐフレームとして予測符号化するとき、基準Ｐフレームの予測に最も効率的なＩフレームの位置を決定する。

望ましくは、Ｉフレーム位置決定部は、所定の時間に位置する多視点フレームのうち、一つのフレームをＩフレームとして選択して符号化し、Ｉフレームと同一時間に位置する残りの多視点フレームを、Ｉフレームを参照して基準Ｐフレームとして予測符号化し、Ｉフレーム及び基準Ｐフレームのビット量を合算して計算し、各視点ごとに発生する計算されたビット量を保存して、各視点ごとに発生したビット量のうち最も小さなビット量が発生したＩフレームの位置を決定する。

望ましくは、Ｉフレーム位置決定部は、所定の時間に位置する多視点フレームのうち、一つのフレームをＩフレームとして選択して符号化するとき、所定の時間に位置する多視点フレームのそれぞれを順次にＩフレームとして選択して符号化する。

望ましくは、Ｉフレーム位置決定部は、所定の時間に位置する多視点フレームのうち、決定された基準Ｉフレームの位置の以前視点に存在するフレームに対しては逆方向に基準Ｐフレームとして予測符号化し、決定された基準Ｉフレームの位置の以後視点に存在するフレームに対しては順方向に基準Ｐフレームとして予測符号化する。

望ましくは、符号化部は、決定されたＩフレームと同一時間に位置する決定されたＩフレームの位置の以前または以後に存在する所定の視点のフレームが、予測符号化のために参照しなければならない少なくとも一つのフレームを付加し、それぞれの視点に対する動映像の符号化を行うために必要なビット列を整列する多視点動映像整列部を備える。

望ましくは、符号化部は、整列されるビット列を利用して、Ｈ．２６４符号化を行うＨ．２６４符号化部をさらに備え、Ｈ．２６４符号化部は、それぞれの視点のビット列に対して順次に符号化を行う。

望ましくは、符号化部は、符号化が行われたそれぞれの視点のビット列のうち、付加された少なくとも一つのフレームを除去する多視点動映像ビット列出力部をさらに備える。

前記技術的課題を解決するために、本発明の他の特徴による多視点動映像符号化方法は、多視点動映像を入力される段階と、所定の時間に位置する多視点フレームの特性によって多視点動映像符号化の基準となるＩフレームの位置を決定する段階と、決定されたＩフレームの位置に基づいて多視点動映像符号化を行う段階とを含む。

本発明によれば、多視点動映像の圧縮符号化時に基準となる基準Ｉフレームの位置を固定させずに、適応的に決定して予測効率及び圧縮率を改善するための多視点動映像符号化装置及び方法を提供できる。

以下、添付した図面を参照して本発明の望ましい実施形態について説明する。

まず、図２ないし図４を参照して、Ｈ．２６４符号化期を多視点動映像符号化に適用する３種のモードの方法について説明する。

図２は、（Ｔ−１，Ｓ−１）モードの多視点動映像符号化を説明する図である。図２に示す（Ｔ−１，Ｓ−１）モードは、Ｉフレームから時間と視点方向に基準Ｐフレームすなわち、最左側と最上位の灰色フレームを生成する。その後、以後の各Ｐフレームは、矢印で示される方向に連鎖的に予測符号化を行う。（Ｔ−１，Ｓ−１）モードは、以下で説明する（Ｔ−１，Ｓ）モードと（Ｔ，Ｓ−１）モードとの混合型モードと言える。

図３は、（Ｔ−１，Ｓ）モードの多視点動映像符号化を説明する図である。図３に示す（Ｔ−１，Ｓ）モードにおける各基準Ｐフレームは、最初の時間フレームのうち最初のフレーム、すなわち、Ｉフレームを参照して水平方向に予測符号化して生成される。その後、最初の時間の動映像フレーム、すなわち、図３で最上の灰色フレームを予測符号化のための基準Ｐフレームとして選定し、時間方向、すなわち、垂直方向に以後フレームの予測符号化を行う。基準Ｐフレームを生成した後の符号化過程は、既存のＨ．２６４符号化と同一である。

図４は、（Ｔ，Ｓ−１）モードの多視点動映像符号化を説明する図である。図４に示す（Ｔ，Ｓ−１）モードにおける各基準Ｐフレームは、最初の視点のフレームのうち最初のフレーム、すなわち、Ｉフレームから垂直方向に予測符号化して生成される。その後、最初の視点の動映像フレーム、すなわち、図４で最左列の灰色フレームを予測符号化のための基準Ｐフレームとして選定し、視点方向、すなわち、水平方向に以後フレームの予測符号化を行う。基準Ｐフレームを生成した以後の符号化過程は、既存のＨ．２６４符号化と同一である。

サンプリング周波数が大きいほどフレームの時間的な相関関係が大きいのと同様に、多視点動映像を獲得するためのカメラの間隔が稠密であるほど視点方向へのフレーム間相関関係も大きくなる。一般的には、視点方向より時間方向への変化が少ないので、前記の３つのモードのうち、（Ｔ−１，Ｓ）モードが最も圧縮効率に優れると知られている。図２ないし図４を参照して説明したように、従来の符号化方法は、Ｉフレームを常に所定の位置に置いて符号化を行う。その後、Ｉフレームを基準として各モードによる基準Ｐフレームを予測符号化を行う。以後の過程では視点別に独立的に符号化が行われるが、基準Ｐフレームを参照する以後のＰフレームは、基準Ｐフレームから各モードによる方向にＨ．２６４符号化器に適用されて圧縮符号化が行われる。

しかし、図２ないし図４を参照して説明した符号化方法では、常に最初の視点の最初の時間のフレームをＩフレームとして指定して符号化を行う。かかる方法では、視点の移動によるフレームの変化類型によって最高の圧縮効率が得られず、すなわち、圧縮効率が低下する場合が発生する。

図５は、視点移動によって新たな領域が現れる映像の一例を示す図である。図５に示すように、視点が移動するにつれて隠れていた領域の映像が順次にフレーム内に現れる場合、新たに現れる領域についてはブロック予測に失敗する確率が高いため、圧縮効率も低下する。図５に示す映像では、最初の視点の最右側に位置するフレームを基準Ｉフレームと見なして符号化を行うとき、従来の方法に比べて予測効率が増加し、圧縮率も上昇する。

図６は、視点移動によって新たな領域が現れてから消える映像の一例を示す図である。図６に示すように、視点が移動するにつれて隠れていた領域の映像が順次にフレーム内で現れ、それから消える場合は、図５に示す場合のように、最右側の最初の時間でのフレームを基準Ｉフレームと見なして符号化を行っても、予測に失敗する可能性が高いブロックが依然として存在するため、圧縮効率が低くなる。したがって、視点移動によってフレームで隠れていた領域が現れるフレームは、そのフレームの特性によって新たな位置でＩフレームを選定することが必要である。すなわち、全ての動映像符号化の基準となるＩフレームの位置を、従来の方法のように固定させず、映像の特性によって最も優秀な圧縮効率を表すＩフレームの位置を適応的に決定した後に、符号化を行う必要がある。

図７は、本発明の一実施形態による多視点動映像符号化装置の構成を示す図である。本発明の一実施形態による多視点動映像符号化装置は、多視点動映像入力部７１０、Ｉフレーム位置決定部７２０、及び符号化部７３０を備える。

多視点動映像入力部７１０は、視点数だけの各カメラから独立的に動映像を入力される。一般的に、カメラ間の間隔は同一であり、図１のように、弧状に配置されるカメラを利用して撮影されたフレームが入力される。図７に示すように、多視点動映像入力部７１０は、所定の時間、例えば、最初の時間に位置する多視点フレームＩ０，Ｉ１，Ｉ２，Ｉ３．．．Ｉ７をＩフレーム位置決定部７２０に伝達し、多視点映像の各視点別に入力される多視点動映像Ｉ０，Ｉ１，Ｉ２，Ｉ３．．．Ｉ７及びそれぞれの視点に対するＰフレームと予測される動映像）を多視点符号化部７３０の多視点動映像整列部７３１に伝達する。

Ｉフレーム位置決定部７２０は、所定の時間に位置する多視点フレームの特性によって多視点動映像符号化の基準となるＩフレームの位置を決定する。すなわち、所定の時間に位置する多視点フレームのうち、一つのフレームをＩフレームとして適応的に決定した後に符号化し、Ｉフレームと同一時間に位置する残りのフレームを、Ｉフレームを参照して基準Ｐフレームとして予測符号化を行うとき、基準Ｐフレームの予測に最も効率的なＩフレームの位置を決定する。

このために、Ｉフレーム位置決定部７２０は、所定の時間に位置する多視点フレームのうち、一つのフレームをＩフレームとして選択して符号化し、Ｉフレームと同一時間に位置する残りのフレームを、Ｉフレームを参照して基準Ｐフレームとして予測符号化を行う。その後、Ｉフレーム位置決定部７２０は、符号化されたＩフレーム及び基準Ｐフレームのビット量を合算して計算し、それぞれの視点ごとに発生したビット量を保存して、発生したビット量が最も小さなＩフレームの位置を決定する。

さらに詳細に説明すれば、まず、各視点ごとに所定の時間に位置するフレーム、例えば、最初の時間に位置するフレームをＩフレーム位置決定部７１０に入力する。Ｉフレーム位置決定部７２０は、最初の時間に位置する多視点フレームのうち一つのフレームをＩフレームとして選択して符号化するとき、最初の時間に位置する多視点フレームのそれぞれを順次にＩフレームとして選択して符号化する。この過程は、次の通り行われる。

最初の視点の最初の時間のフレームをＩフレームとして選択して符号化し、以後視点のフレームを基準Ｐフレームとして予測符号化し、符号化されたＩフレームと基準Ｐフレームとのビット量を合算して発生ビット量を計算し、計算されたビット量を保存する。二番目の視点の最初の時間のフレームをＩフレームとして選択して符号化し、以後視点のフレームを基準Ｐフレームとして予測符号化し、符号化されたＩフレームと基準Ｐフレームとのビット量を合算して発生ビット量を計算し、計算されたビット量を保存する。この時、最初の視点の基準Ｐフレームは、二番目の視点のフレームから逆方向に予測符号化される。

すなわち、Ｍ個の視点の多視点動映像符号化を行うとき、Ｎ（≦Ｍ）番目の視点のフレームをＩフレームとして決定したならば、（Ｍ−ｎ）個のＩフレーム以後の視点のフレームは、基準Ｐフレームとして順方向に予測符号化し、Ｎ−１個のＩフレーム以前のフレームは、基準Ｐフレームとして逆方向に予測符号化し、各視点別に発生したビット量を保存する。このような過程をＭ＝Ｎまで行って、各視点別に発生したビット量を保存する。

Ｉフレーム位置決定部７２０は、下記の式によってＩフレームの位置を決定する。すなわち、Ｍ個の発生したビット量を比較し、最も小さなビット量を示す視点にＩフレームを位置させ、Ｉフレームから予測符号化されたＰフレームを各視点の基準Ｐフレームと決定する。ここで、ｂｉｔ＿ａｍｏｕｎｔ（Ｎ）は、Ｎ番目の視点をＩフレームの位置に設定した場合に発生したビット量を意味する。

Ｌｏｃａｔｉｏｎ ｏｆ Ｉ＝ａｒｇ ｍｉｎ ｂｉｔ＿ａｍｏｕｎｔ（Ｎ）
Ｎ∈{０，．．．Ｍ−１} （式１）
図７に示す多視点動映像は、決定されたＩフレームの位置が２である場合を示す。符号化部７３０は、このように決定されたＩフレームを参照して多視点動映像符号化を行う。符号化部７３０は、決定されたＩフレームの位置を基準として、まず基準Ｐフレームを生成する。符号化部７３０は、多視点動映像整列部７３１、Ｈ．２６４符号化部７３３及び多視点動映像ビット列出力部７３５を備える。

多視点動映像整列部７３１は、各視点の動映像の符号化のために必要なフレームを付加する過程を行う。すなわち、多視点動映像整列部７３１は、決定されたＩフレームと同一時間に位置する決定されたＩフレームの位置の以前または以後に存在する所定の視点のフレームが、予測符号化のために参照しなければならないフレームを付加する。図７に示すように、最初の視点の動映像は、Ｉ２とＩ１フレームを開始部分に付加して始めてＨ．２６４符号化部７３３で符号化が進められる。二番目の視点の動映像は、Ｉ２フレームを開始部分に付加して始めてＨ．２６４符号化部７３３で符号化が進められる。その後、多視点動映像整列部７３１は、それぞれの視点の動映像の符号化を行うために必要な各視点ごとにビット列を整列する。すなわち、最初の視点の動映像を符号化するために付加したＩ２及びＩ１フレームと多視点動映像入力部７１０から入力される最初の視点の動映像ビット列とをＨ．２６４符号化部７３３に入力するために整列する。

Ｈ．２６４符号化部７３３は、整列されるビット列を利用してＨ．２６４符号化を行い、Ｈ．２６４符号化は、それぞれの視点に順次に入力されるビット列に対して行われる。基準Ｐフレームを参照して生成されるＰフレームの生成過程は、既存のＨ．２６４符号化方法と同一である。本明細書では、多視点動映像に対してＨ．２６４符号化が行われると説明したが、Ｈ．２６４符号化以外の符号化方法を利用して多視点動映像符号化が行われうるということは言うまでもない。

多視点動映像ビット列出力部７３５は、各視点の動映像ごとに復号化するときに必要なフレームのビット列だけを取るために、多視点動映像整列化部７３１で付加されたフレームを除去する。すなわち、図７の多視点動映像ビット列出力部の下段にある符号化された多視点動映像に対するフレームにおいて点線で表示されたブロック内にあるビット列だけ取るための動作を行う。例えば、図７において、最初の視点の動映像ビット列でＩ２とＩ１フレームを捨て、最後の視点の動映像については、Ｉ２からＩ６までのフレームに対するビット列を除去する。

図８は、本発明の一実施形態による多視点動映像符号化を説明する図である。図８に示すように、本発明の多視点動映像符号化方法は、予測効率と圧縮率を増加させるために、Ｉフレームの位置をフレームの特性によって適応的に決定する。図８には、Ｉフレームの位置がＳ５の視点と決定された場合を示す図である。最初の時間Ｔ０に位置するフレームのうち、Ｓ０ないしＳ４の視点に位置するフレームは、Ｉフレームを参照して水平方向に逆方向予測符号化して生成され、Ｓ６及びＳ７の視点に位置するフレームは、Ｉフレームを参照して水平方向に順方向予測符号化して生成される。最初の時間Ｔ０以後のフレームは、各視点別にＨ．２６４符号化方法を利用して順次に符号化が行われる。

図９は、本発明の一実施形態による多視点動映像符号化方法を示すフローチャートである。

多視点動映像入力部７１０に多視点動映像が入力される（Ｓ９１０）。Ｉフレーム位置決定部７２０は、所定の時間に位置する多視点フレームの特性によって多視点動映像符号化の基準となるＩフレームの位置を決定する（Ｓ９２０）。さらに詳細には、所定の時間に位置する多視点フレームのうち、基準Ｐフレーム予測に最も効率的なＩフレームの位置を決定する。所定の時間に位置する多視点フレームは、時間的に最初に位置する多視点フレームでありうる。決定されたＩフレームの位置に基づいて多視点動映像符号化を行う（Ｓ９３０）。すなわち、決定されたＩフレームを基準として多視点動映像符号化を行う。

以下では、図１０及び図１１を参照して本発明の一実施形態による多視点動映像符号化方法について詳細に説明する。

図１０は、図９に示す多視点動映像符号化方法においてＩフレームの位置を決定する過程をさらに詳細に示すフローチャートである。Ｍは、全体視点（またはカメラ）の数を意味し、ｍは、処理されているフレームの視点についてのインデックスであって、０から（Ｍ−１）までの数である。ｉは、Ｉフレームのインデックスであり、ＬｏＩ（Ｌｏｃａｔｉｏｎ ｏｆ Ｉｆｒａｍｅ）は、決定されたＩフレームの位置のインデックスである。

最初の視点のフレームをＩフレームとして最初の時間に位置するフレームに対する符号化を開始する。すなわち、ｍとｉを０に設定し（Ｓ１００１）、ｍとｉとが同一であるかを決定する（Ｓ１００２）。ｍとｉとが同一であるので、最初の視点のフレームをＩフレームとして符号化し（Ｓ１００３）、ｍを１増加させる（Ｓ１００４）。ｍとＭとを比較し（Ｓ１００５）、ｍがＭより小さいので、段階Ｓ１００２に戻る。ｍが１であり、ｉは０であって、ｍとｉとが同一でなく（Ｓ１００２）、ｍがｉより小さくないので（Ｓ１００６）、視点０のＩフレームを参照して順方向予測符号化を行って、Ｐフレームとして符号化する（Ｓ１００７）。ｍを１増加させ（Ｓ１００４）、ｍがＭより小さいので、段階Ｓ１００２に戻る。このような過程が最後の視点のフレームまで行われる。

最後の視点のフレームに対して符号化が行われ、ｍが１増加すれば（Ｓ１００４）、段階Ｓ１００５から段階Ｓ１００９に進み、最初の視点のフレームをＩフレームとし、最初の時間に位置するフレームを基準Ｐフレームとして予測符号化した時の発生ビット量を保存する（Ｓ１００９）。ｉと（Ｍ−１）とを比較し（Ｓ１０１０）、ｉが（Ｍ−１）より小さいので、ｉが１増加して１となり、ｍは０に設定する（Ｓ１０１１）。このように、最初の視点のフレームをＩフレームとして符号化し、Ｉフレームと同一時間に位置する残りのフレームを、Ｉフレームを参照して基準Ｐフレームとして符号化し、ビット発生量を保存する過程が行われる。

次に、二番目の視点のフレームをＩフレームとして符号化し、Ｉフレームと同一時間に位置する残りのフレームを、Ｉフレームを参照して基準Ｐフレームとして符号化した後、ビット発生量を保存する過程について説明する。ｉ＝１で、ｍ＝０であるので、ｍとｉの値が同一でなく（Ｓ１００２）、ｍがｉより小さいので、視点が０であるフレームを逆方向に基準Ｐフレームとして予測符号化を行う。ｍが１増加し（Ｓ１００４）、段階Ｓ１００５とＳ１００２とを経て段階Ｓ１００３に進む。すなわち、ｍとｉとが同一になるので、視点１のフレームをＩフレームとして符号化する（Ｓ１００３）。その後、段階Ｓ１００４、Ｓ１００５、Ｓ１００２、Ｓ１００６を経て視点２のフレームに対して順方向予測符号化を行って、基準Ｐフレームとして符号化する（Ｓ１００７）。このような過程が最後の視点のフレームまで行われる。

最後の視点のフレームに対して符号化が行われ、ｍが１増加すれば（Ｓ１００４）、段階Ｓ１００５から段階Ｓ１００９に進まれ、二番目の視点のフレームをＩフレームとして二番目の時間に位置するフレームを基準Ｐフレームとして予測符号化した時のビット発生量を保存する（Ｓ１００９）。ｉと（Ｍ−１）とを比較し（Ｓ１０１０）、ｉが（Ｍ−１）より小さいので、ｉを１増加させてｉは２に、ｍは０に設定する（Ｓ１０１１）。

三番目の視点のフレームから最後の視点のフレームに対して前記の過程が行われれば、それぞれの視点のフレームをＩフレームとして符号化し、同一時間に位置する残り視点のフレームを、前記Ｉフレームを参照して基準Ｐフレームとして符号化した時の発生ビット量がそれぞれの視点ごとに得られる。すなわち、最後の視点のフレームをＩフレームとして選択して生成されたビット量を保存する段階（Ｓ１００９）が行われれば、段階Ｓ１０１０でｉが（Ｍ−１）と同一になるので、段階１０１２が行われる。段階Ｓ１０１２において、最初の視点のフレームから最後の視点のフレームまで処理して発生したビット量を比較して、発生したビット量が最も小さい時のＩフレームの位置を、実際に符号化を行う時のＩフレームの位置として決定する。決定されたＩフレームの位置（ＬｏＩ）は、Ａで示したように、多視点動映像符号化のために符号化部７３０に伝えられる。

図１１は、図９に示す多視点動映像符号化方法においてＩフレームの位置を決定した後に、多視点動映像を符号化する過程をさらに詳細に示すフローチャートである。すなわち、図７に示す多視点動映像符号化装置の符号化部７３０に含まれた多視点動映像整列部７３１、Ｈ．２６４符号化部７３３、及び多視点動映像ビット列出力部７３５で行われる多視点動映像符号化過程を示す。

図１１では、図７に示すようにＩフレームの位置（ＬｏＩ）が２と決定されたと仮定して説明する。図１１において、ｍは、処理されているフレームの視点についてのインデックスであり、ｎは、符号化されているフレームの視点についてのインデックスである。ｍとｎは０に設定し（Ｓ１１０１）、ｍはＬｏＩと同一でなく（Ｓ１１０２）、ｍはＬｏＩより小さいので（Ｓ１１０３）、（Ｍ＋１）番目、すなわち、視点が１であるＩフレーム（図７でＩ１）をＨ．２６４符号化を行うためにＨ．２６４符号化部に入力するためのビット列であるＳｅｑ（０）の最初のフレームとして付加する（Ｓ１１０４）。ｍが１増加して１となり（Ｓ１１０５）、ｍとＬｏＩとが同一でないので（Ｓ１１０２）、視点が２であるＩフレーム（図７でＩ２）をＨ．２６４符号化を行うためにＨ．２６４符号化部に入力するためのビット列であるＳｅｑ（０）の最初のフレームとして付加する（Ｓ１１０４）。次に、ｍが１増加して１となり（Ｓ１１０５）、ｍとＬｏＩとが比較される（Ｓ１１０２）。ｍがＬｏＩと同一でなく、ＬｏＩより小さいので（Ｓ１１０３）、（Ｍ＋１）番目の視点のＩフレーム、すなわち、第２視点のフレーム（図７のＩ２）が最初フレームとしてビットストリームＳｅｑ（０）に付加されて、ビットストリームＳｅｑ（０）がＨ．２６４符号化部７３０に入力されて符号化されうる（Ｓ１１０４）。

ｍが１増加して２となれば（Ｓ１１０５）、ｍはＬｏＩと同一となるので（Ｓ１１０２）、Ｈ．２６４符号化段階に進む（Ｓ１１１０）。すなわち、多視点動映像整列部７３１で視点０であるビット列Ｓｅｑ（０）に対してＩ１及びＩ２を付加して、付加されたビット列Ｓｅｑ（０）をＨ．２６４符号化部７３１に入力する。Ｈ．２６４符号化部７３３でＨ．２６４符号化が行われた後、多視点動映像ビット列出力部７３５で行われる多視点動映像ビット列出力段階に進む。多視点動映像出力段階において、ｎをＬｏＩと比較し、ｎがＬｏＩより小さいので（Ｓ１１１１）、Ｓｅｑ（０）で（ＬｏＩ−ｎ）、すなわち、２番目以後のフレームをビット列として出力する（Ｓ１１１２）。Ｈ．２６４符号化のために付加されたフレームを除去するためである。すなわち、付加されたＩ１およびＩ２フレームを除去する。この過程が行われれば、ｎが１増加し（Ｓ１１０８）、ｍをｎと同一に設定し、すなわち、ｍとｎとが１に設定され（Ｓ１１０９）、視点が１である二番目の視点の動映像ビット列に対する多視点動映像整列段階が開始される。

ｍとＬｏＩとが同一でなく（Ｓ１１０２）、ｍがＬｏＩより小さいので（Ｓ１１０３）、２番目の視点のＩフレーム（図７でＩ２）をＳｅｑ（１）の最初のフレームとして追加する（Ｓ１１０４）。ｍが１増加して２となれば（Ｓ１１０５）、ｍはＬｏＩと同一になるので（Ｓ１１０２）、Ｈ．２６４符号化段階に進む（Ｓ１１１０）。Ｈ．２６４符号化が行われた後、多視点動映像ビット列出力段階に進む。多視点動映像出力段階において、ｎをＬｏＩと比較し、ｎがＬｏＩより小さいので（Ｓ１１１１）、Ｓｅｑ（１）で（ＬｏＩ−ｎ）、すなわち、１番目以後のフレームをビット列として出力する（Ｓ１１１２）。Ｈ．２６４符号化のために付加されたＩ２フレームを除去する。この過程が行われれば、ｎが１増加し（Ｓ１１０８）、ｍをｎと同一に設定し、すなわち、ｍとｎとが２に設定され（Ｓ１１０９）、視点が２である三番目の視点のフレームに対する多視点動映像整列段階が開始される。

ｍとｎとが２であるときは、ｍとＬｏＩとが同一であるので、Ｈ．２６４符号化段階に進む（Ｓ１１１０）。Ｈ．２６４符号化が行われた後、多視点動映像ビット列出力段階では、Ｈ．２６４符号化を行うために付加されたフレームがないので、段階Ｓ１１０８に進む。ｎが１増加し（Ｓ１１０８）、ｍをｎと同一に設定し、すなわち、ｍとｎとが３に設定され（Ｓ１１０９）、視点が３である四番目の視点のフレームに対する多視点動映像整列段階が開始される。

ｍとＬｏＩとが同一でなく（Ｓ１１０２）、ｍがＬｏＩより小さくないので（Ｓ１１０３）、（Ｍ−１）番目、すなわち２番目の視点のＩフレーム（図７でＩ２）をＳｅｑ（３）の最初のフレームとして追加する（Ｓ１１０６）。ｍが１減少してｍが２となり（Ｓ１１０７）、ｍがＬｏＩと同一になるので（Ｓ１１０２）、Ｈ．２６４符号化段階に進む（Ｓ１１１０）。Ｈ．２６４符号化が行われた後、多視点動映像ビット列出力段階では、ｎをＬｏＩと比較し、ｎがＬｏＩより小さくないので（Ｓ１１１１）、Ｓｅｑ（３）で（n−ＬｏＩ）、すなわち、１番目以後のフレームをビット列として出力する（Ｓ１１１３）。Ｈ．２６４符号化のために付加されたＩ２フレームを除去するのである。この過程が行われれば、ｎが１増加し（Ｓ１１０８）、ｍをｎと同一に設定し、すなわち、ｍとｎとが４に設定され（Ｓ１１０９）、視点が４である五番目のフレームに対する多視点動映像整列段階が開始される。このように、最後の視点のビット列まで出力されれば、多視点動映像符号化が完了する。

一方、本発明の一実施形態による多視点動映像符号化方法を復号化するためには、まず、基準Ｉフレームを復号化する。その後、各視点ごとの基準Ｐフレームを基準Ｉフレームを利用して復号化する。最後に、各視点ごとの基準Ｐフレームを基準として各視点の以後Ｐフレームを復号化する。このように復号された多視点動映像は、多視点動映像を出力できる立体映像出力装置を介してユーザに提供される。

本発明による多視点動映像符号化方法は、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現されうる。前記プログラムを具現するコード及びコードセグメントは、当該分野のコンピュータプログラマーによって容易に推論されうる。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取られるデータが保存される全ての種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光ディスクなどがあり、またキャリアウェーブ（例えば、インターネットを介した伝送）形態に具現されるものを含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読み取り可能なコードとして保存されかつ実行されうる。

以上の説明は、本発明の一実施形態に過ぎず、当業者は、本発明の本質的特性から外れない範囲で変形された形態で具現できるであろう。従って、本発明の範囲は、前記実施形態に限定されずに、特許請求範囲に記載された内容と同等な範囲内にある多様な実施形態が含まれると解釈されねばならない。

本発明は、多視点動映像符号化関連の技術分野に好適に用いられる。

多視点動映像入力システムの一例を示す図である。 （Ｔ−１，Ｓ−１）モードの多視点動映像符号化を説明する図である。 （Ｔ−１，Ｓ）モードの多視点動映像符号化を説明する図である。 （Ｔ，Ｓ−１）モードの多視点動映像符号化を説明する図である。 視点移動によって新たな領域が現れる映像の一例を示す図である。 視点移動によって新たな領域が現れてから消える映像の一例を示す図である。 本発明の一実施形態による多視点動映像符号化装置の構成を示す図である。 本発明の一実施形態による多視点動映像符号化を説明する図である。 本発明の一実施形態による多視点動映像符号化方法を示すフローチャートである。 本発明の一実施形態によって、図９に示す多視点動映像符号化方法においてＩフレームの位置を決定する過程をさらに詳細に示すフローチャートである。 本発明の一実施形態によって、図９に示す多視点動映像符号化方法においてＩフレームの位置を決定する過程をさらに詳細に示すフローチャートである。

符号の説明

７１０ 多視点動映像入力部
７２０ Ｉフレーム位置決定部
７３０ 符号化部
７３１ 多視点動映像整列部
７３３ Ｈ．２６４符号化部
７３５ 多視点動映像ビット列出力部

Claims (18)

1. 多視点動映像を入力される多視点動映像入力部と、
   所定の時間に位置する多視点フレームの特性によって多視点動映像符号化の基準となるＩフレームの位置を決定するＩフレーム位置決定部と、
   前記決定されたＩフレームの位置に基づいて多視点動映像符号化を行う符号化部と、を備えることを特徴とする多視点動映像符号化装置。
2. 前記多視点動映像入力部は、
   前記所定の時間に位置する多視点フレームを前記Ｉフレーム位置決定部に伝達し、
   各視点別に入力される多視点動映像を前記符号化部に伝達することを特徴とする請求項１に記載の多視点動映像符号化装置。
3. 前記Ｉフレーム位置決定部は、
   前記所定の時間に位置する多視点フレームのうち、一つのフレームをＩフレームとして符号化し、前記Ｉフレームと同一時間に位置する残りのフレームを、前記Ｉフレームを参照して基準Ｐフレームとして予測符号化するとき、前記基準Ｐフレームの予測に最も効率的なＩフレームの位置を決定することを特徴とする請求項１に記載の多視点動映像符号化装置。
4. 前記Ｉフレーム位置決定部は、
   前記所定の時間に位置する多視点フレームのうち、一つのフレームをＩフレームとして選択して符号化し、前記Ｉフレームと同一時間に位置する残りの多視点フレームを、前記Ｉフレームを参照して基準Ｐフレームとして予測符号化し、前記Ｉフレーム及び前記基準Ｐフレームのビット量を合算し、各視点ごとに発生する前記計算されたビット量を保存し、各視点ごとに発生したビット量のうち最も小さなビット量が発生したＩフレームの位置を決定することを特徴とする請求項１に記載の多視点動映像符号化装置。
5. 前記Ｉフレーム位置決定部は、
   前記所定の時間に位置する多視点フレームのうち、一つのフレームをＩフレームとして選択して符号化するとき、前記所定の時間に位置する多視点フレームのそれぞれを順次にＩフレームとして選択して符号化することを特徴とする請求項４に記載の多視点動映像符号化装置。
6. 前記Ｉフレーム位置決定部は、
   前記所定の時間に位置する多視点フレームのうち、前記決定された基準Ｉフレームの位置の以前視点に存在するフレームは、逆方向に基準Ｐフレームとして予測符号化し、前記決定された基準Ｉフレームの位置の以後視点に存在するフレームは、順方向に基準Ｐフレームとして予測符号化することを特徴とする請求項１に記載の多視点動映像符号化装置。
7. 前記符号化部は、
   前記決定されたＩフレームと同一時間に位置する前記決定されたＩフレームの位置の以前または以後に存在する所定の視点のフレームが、予測符号化のために参照しなければならない少なくとも一つのフレームを付加し、それぞれの視点に対する動映像の符号化を行うために必要なビット列を整列する多視点動映像整列部を備えることを特徴とする請求項１に記載の多視点動映像符号化装置。
8. 前記符号化部は、
   前記整列されるビット列を利用してＨ．２６４符号化を行うＨ．２６４符号化部をさらに備え、前記Ｈ．２６４符号化部は、前記それぞれの視点のビット列に対して順次に符号化を行うことを特徴とする請求項７に記載の多視点動映像符号化装置。
9. 前記符号化部は、
   前記符号化が行われたそれぞれの視点のビット列のうち、前記付加された少なくとも一つのフレームを除去する多視点動映像ビット列出力部をさらに備えることを特徴とする請求項８に記載の多視点動映像符号化装置。
10. 多視点動映像を入力される段階と、
    所定の時間に位置する多視点フレームの特性によって多視点動映像符号化の基準となるＩフレームの位置を決定する段階と、
    前記決定されたＩフレームの位置に基づいて多視点動映像符号化を行う段階とを含むことを特徴とする多視点動映像符号化方法。
11. 前記Ｉフレームの位置を決定する段階は、
    前記所定の時間に位置する多視点フレームのうち、一つのフレームをＩフレームとして符号化し、前記Ｉフレームと同一時間に位置する残りのフレームを、前記Ｉフレームを参照して基準Ｐフレームとして予測符号化するとき、前記基準Ｐフレームの予測に最も効率的なＩフレームの位置を決定する段階を含むことを特徴とする請求項１０に記載の多視点動映像符号化方法。
12. 前記基準Ｐフレームとして予測符号化する段階は、
    前記所定の時間に位置する多視点フレームのうち、前記決定された基準Ｉフレームの位置の以前視点に存在するフレームは、逆方向に基準Ｐフレームとして予測符号化し、前記決定された基準Ｉフレームの位置の以後視点に存在するフレームは、順方向に基準Ｐフレームとして予測符号化する段階を含むことを特徴とする請求項１１に記載の多視点動映像符号化方法。
13. 前記Ｉフレームの位置を決定する段階は、
    前記所定の時間に位置する多視点フレームのうち、一つのフレームをＩフレームとして選択して符号化し、前記Ｉフレームと同一時間に位置する残りの多視点フレームを、前記Ｉフレームを参照して基準Ｐフレームとして予測符号化する段階と、
    前記Ｉフレーム及び前記基準Ｐフレームのビット量を合算して計算する段階と、
    各視点ごとに発生した前記計算されたビット量を保存する段階と、
    前記保存されたビット量のうち最も小さなビット量が発生したＩフレームの位置を決定する段階とを含むことを特徴とする請求項１０に記載の多視点動映像符号化方法。
14. 前記所定の時間に位置する多視点フレームのうち、一つのフレームをＩフレームとして選択して符号化する段階は、
    前記所定の時間に位置する多視点フレームのそれぞれを順次にＩフレームとして選択して符号化する段階を含むことを特徴とする請求項１３に記載の多視点動映像符号化方法。
15. 前記決定されたＩフレームの位置に基づいて多視点動映像符号化を行う段階は、
    前記決定されたＩフレームと同一時間に位置する前記決定されたＩフレームの位置の以前または以後に存在する所定の視点のフレームが、予測符号化のために参照しなければならない少なくとも一つのフレームを付加する段階と、
    それぞれの視点ごとに動映像の符号化を行うために必要なビット列を整列する段階とをさらに含むことを特徴とする請求項１０に記載の多視点動映像符号化方法。
16. 前記決定されたＩフレームの位置に基づいて多視点動映像符号化を行う段階は、前記整列されるビット列を利用してＨ．２６４符号化を行う段階をさらに含み、
    前記Ｈ．２６４符号化を行う段階は、前記それぞれの視点のビット列に対して順次に符号化を行うことを特徴とする請求項１５に記載の多視点動映像符号化方法。
17. 前記決定されたＩフレームの位置に基づいて多視点動映像符号化を行う段階は、
    前記符号化が行われたそれぞれの視点のビット列のうち、前記付加された少なくとも一つのフレームを除去する段階をさらに含むことを特徴とする請求項１６に記載の多視点動映像符号化方法。
18. 請求項１０ないし請求項１７のうちいずれか一項に記載の前記各段階を行うコンピュータで実行可能なプログラムを記録した記録媒体。

Images