JP2009502084A - 時間及び視点間参照映像バッファを活用した予測符号化／復号化装置及びその方法 - Google Patents

Abstract

本発明に係る符号化装置は、時空間的ＧＯＰ構造情報に応じて予測符号化のための参照映像を提供する多視点参照映像提供部と、現在符号化する映像が、前記多視点参照映像提供部から受信した参照映像のどの部分から参照するかを予測してベクトルを生成する予測部と、前記予測部から受信した予測信号を現在符号化する映像信号との差分信号を求めてこれを変換し量子化して圧縮するための変換及び量子化部と、前記変換及び量子化部から受信した量子化された信号及び前記予測部から提供されるベクトルを所定の方式に応じて符号化して出力するためのエントロピー符号化部と、を備える。

Description

本発明は、多視点動画の符号化装置及びその方法に関し、さらに詳細には、視点間予測符号化のために、別途の参照フレームバッファを１個又は２個使用して、多視点動画の符号化時に圧縮効率を上げるための予測符号化／復号化装置及び方法に関する。

より現実感のあるサービスを提供するために、多視点動画は、多様な応用分野で使用されつつあるが、従来の方式を活用して圧縮符号化する場合に、視点数の倍数分だけのデータが送信されなければならないので、このような大容量のデータによって、これをサービスするには莫大な帯域幅を必要とするという問題点がある。

このような問題点を解決し、効果的な送信を行うために、隣接したカメラ視点と現在視点との間の剰余情報を活用することによって、圧縮効率を改善することができる。一般に、圧縮効率を上げるためには、相関性の高いデータの集合から剰余情報を除去し、相関性のないデータに変換して、これを符号化して圧縮符号化効率を向上させる。また、既存のＡＶＣ基盤の多視点動画の符号化は、時間軸の参照映像バッファのみを視点間の予測符号化に活用して視点間予測符号化の効率性を制限的に考慮したので、このような制約事項を解決できる方案が切実に要求される。

複数の映像を処理する符号化技術と関連した従来の技術には、２個の視点を考慮する立体（Ｓｔｅｒｅｏｓｃｏｐｉｃ）動画を処理する技術があり、３個の視点以上を考慮する接近方法には、多眼式立体を考慮する多視点動画と立体を考慮せずにカメラの隣接した配列から得た多視点動画を考慮する方法がある。ＭＰＥＧ−２ＭＶＰ（Ｍｕｌｔｉ−ＶｉｅｗＰｒｏｆｉｌｅ）及びＭＰＥＧ−４ ＴＳ（Ｔｅｍｐｏｒａｌ スケーラビリティ）構造を用いて符号化する技術は、立体動画を符号化する時に多く用いられる技術である。

この構造を拡張して多視点動画に適用して符号化する技術には、韓国特許出願１０−２００２−００２１７５７と韓国特許出願１０−２００３−０００２１１６がある。先行技術の論文には、リム・ジョンウン、ソン・クァンフンの「ビュースケーラビリティ（Ｖｉｅｗ Ｓｃａｌａｂｉｌｉｔｙ）を考慮した多視点動画コデック」とキム・ヨンテなどの「境界方向性を考慮したステレオ動画の動き−変移同時推定技法」がある。

前記特許のうち、韓国特許出願１０−２００２−００２１７５７と前記論文「ビュースケーラビリティを考慮した多視点動画コデック」は、全く同様にＧＧＯＰを提案し、これに基づいて前者は、コデックＭＰＥＧ−２を基盤にするコデックを使用する。前者は、圧縮に焦点を合わせ、後者は、前者のようなコデックを用いてビュー単位にスケーラビリティ機能を追加した。

韓国特許出願１０−２００３−０００２１１６は、中央視点のビット列を生成し、この過程で生成された中央視点の参照映像を左／右視点の映像に対するビット列を生成するときに参照する方法である。そして、前記論文「境界方向性を考慮したステレオ動画の動き−変移同時推定技法」は、ステレオ動画において空間的時間的変移を同時推定のエラーを最小化して圧縮効率を上げる方法である。

まず、韓国特許１０−２００３−０００２１１６を除き前記記述されたすべての論文と特許は、ＭＰＥＧ−２との互換性を念頭に置いて、Ｐ−ピクチャを符号化するときに全て１個の動き推定ベクトルを使用する。Ｂ−ピクチャの場合に、全部２個のベクトルのみを使用するので、以前フレームからの動きベクトルと現在時間の隣接視点からの変移ベクトルとを活用する。韓国特許１０−２００３−０００２１１６は、左／右視点のＰ−ピクチャを符号化するときに、中央視点の映像を参照するのに１個の動きベクトルと１個の変移ベクトルとを使用し、Ｂ−ピクチャは、中央視点で従来のＭＰＥＧ−２のように使用され、左／右視点では、時間軸にＢ−ピクチャがない。

以上の先行技術は、全てＭＰＥＧ−２との互換性を考慮した残りの２個以上の動きベクトル又は変移ベクトルを活用できないいから、ＭＰＥＧ−２のＢ−画面を符号化するとき、時間軸上の両方向の予測符号化を行うことができない。また、視点間の距離、ベースラインの大きさに対する配慮は、単にＩ−ピクチャが符号化される視点の数を増やす方式である。これは、適切な変移ベクトルの予測方法ではなく、このためには、隣接視点を現在視点の位置に変換する過程が必要である。

また、変移ベクトルと動きベクトルとは、その大きさが根本的に異なるにもかかわらず、同じ方式で混合されて符号化されて圧縮効率を低下させている。すなわち、一般に変移ベクトルの大きさが動きベクトルよりその大きさが大きく、以前ブロックから動きベクトルが選択され、その次のロックから変移ベクトルが選択された場合に、ベクトルの差分をエントロピー符号化する符号化器の特性を考慮するとき効率的でない。また、ＡＶＣのようにコンテクストを考慮したエントロピー符号化時には、コンテクストを反映した効果をベクトル符号化から得られない。

本発明は、上記のような問題点を解決し、上記のような要求に相応するために提案されたものであって、多視点動画の符号化時に動きベクトルと変移ベクトルとの特性を生かして、予測符号化に活用するために、従来のＨ．２６４で用いられるＬｉｓｔ−０とＬｉｓｔ−１バッファの他に視点間予測符号化のために、別途の参照フレームバッファを活用した予測符号化／復号化装置及びその方法を提供することにその目的がある。

また、本発明は、視点間の剰余情報（Ｒｅｄｕｎｄａｎｃｙ Ｉｎｆｏｒｍａｔｉｏｎ）を効果的に除去して、カメラ台数の倍数で要求される単一視点符号化器のデータ量を減らすことができる多視点動画の符号化方法により、多様な多視点動画サービスを可能にするのにその目的がある。

上記の目的を達成すべく、本発明に係る装置は、時間及び視点間参照映像バッファを活用した予測符号化装置であって、時空間的ＧＯＰ構造情報に応じて予測符号化のための参照映像を提供する多視点参照映像提供部と、現在符号化する映像が、前記多視点参照映像提供部から受信した参照映像のどの部分から参照するかを予測してベクトルを生成する予測部と、前記予測部から受信した予測信号を現在符号化する映像信号との差分信号を求めてこれを変換し量子化して圧縮するための変換及び量子化部と、前記変換及び量子化部から受信した量子化された信号及び前記予測部から提供されるベクトルを所定の方式に応じて符号化して出力するためのエントロピー符号化部と、を備える。

また、本発明に係る復号化装置は、外部から受信した信号をエントロピー復号化、逆再配列、逆量子化及び逆変換処理して復号する復号化部と、前記復号化部で復号された信号から、予測符号化のための映像間の参照関係を時空間的に表現した時空間的ＧＯＰ構成情報を用いて、前記多視点映像を復元するための時空間的ＧＯＰ基盤映像再生部と、前記ＧＯＰ基盤映像再生部で復元された多視点映像を合成して出力するためのシーン合成部と、を備えるものの、エントロピー復号化は、動きベクトルと変移ベクトルとを用いる。

上記のように本発明は、視点間の予測符号化を效率的に行うための装置及びその方法に関し、多視点動画データを獲得、圧縮、送信、復元、ディスプレイする多視点動画サービスを可能にすることによって、立体ディスプレイサービス、オムニビデオサービス、パノラミックビデオサービス、フリービューポイント（Ｆｒｅｅ Ｖｉｅｗｐｏｉｎｔ ＴＶ）サービスに活用されることができ、多視点動画の符号化時に隣接視点の情報を活用することによって、圧縮効率を向上させうるという効果がある。

上述の目的、特徴及び長所は、添付した図面と関連した以下の詳細な説明によりより明確になるはずであり、それにより、本発明の属する技術分野における通常の知識を有した者が本発明の技術的思想を容易に実施できるはずである。また、本発明を説明するにおいて本発明と関連した公知技術に対する具体的な説明が本発明の要旨を不明にすると判断される場合には、その詳細な説明を省略すべきである。以下、添付された図面を参照して、本発明による好ましい一実施の形態を詳細に説明する。

本発明は、多視点動画符号化器に時間軸の参照映像バッファの他に視点間の特性を活用するための視点間参照映像バッファを活用することによって、効率的な予測符号化のための参照映像の活用方法を提案する。

図１は、本発明が適用される多視点動画の符号化／復号化システムの一実施の形態を示す図である。

同図に示すように、多視点動画の符号化／復号化システムは、任意に配列された複数（Ｎ）個のカメラから受信したＮ個の任意配列の視点映像の多視点映像を圧縮符号化してビット列に伝送する多視点動画の符号化装置１００、及び前記ビット列を受信して多視点動画を復号し合成する多視点動画復号化装置２００がネットワークに接続されて構成される。

多視点動画の符号化装置１００は、時空間的ＧＯＰ形成部１１０及び多視点符号化部１２０を備えて構成される。

時空間的ＧＯＰ形成部１１０は、任意に配列された複数（Ｎ）個のカメラ及びユーザから任意に配列されたＮ個の多視点映像とＮ個視点のカメラ特性及びカメラ位置／配列情報が含まれたカメラ情報を受信して、後述する時空間的ＧＯＰ情報を生成して出力する。

多視点符号化部１２０は、前記時空間的ＧＯＰ情報及びカメラ情報を用いて、多視点映像を予測符号化する。

多視点動画復号化装置２００は、多視点復号化部６１０、時空間的ＧＯＰ基盤映像再生部２２０及びシーン合成部２３０を備えて構成され、前記ビット列を受信して多視点復号化部２１０で復号し、時空間的ＧＯＰ基盤映像再生部２２０で時空間的ＧＯＰ構成情報を用いて、これに応じてすべての多視点動画を復元し、シーン合成部２３０で多視点動画の応用によって適切に合成してユーザにサービスする。

多視点動画復号化装置の処理過程をさらに詳細に説明すると、以下のとおりである。

多視点復号化部２１０は、入力されたビットストリームをエントロピー復号化、逆再配列、逆量子化及び逆変換処理し、時空間的ＧＯＰ基盤映像再生部２２０は、前記ビットストリームに含まれた時空間的ＧＯＰ情報を用いて、前記逆変換処理された信号から多視点映像を復元し、シーン合成部２３０は、前記復元された多視点映像を合成する。

また、前記時空間的ＧＯＰ基盤映像再生部２２０は、前記時空間的ＧＯＰ情報に応じて、現在復号化する映像が参照映像と同一視点の映像である場合には、動き補償を行い、現在復号化する映像が参照映像の隣接視点の映像である場合には、変移／動き補償を行う。

図２は、時間的予測符号化のための参照映像バッファと空間的予測符号化のための参照映像バッファとを備えている多視点動画符号化器の構造を示す。

同図に示すように、本発明に係る多視点符号化部は、多視点参照映像提供部３４０、予測部３１０、変換及び量子化部３２０、及びエントロピー符号化部３３０を備える。

前記予測部３１０、変換及び量子化部３２０、及びエントロピー符号化部３３０は、前述した従来のＨ．２６４の予測部、変換及び量子化部及びエントロピーコーディング部と同じ方式で機能する。すなわち、予測部３１０は、インタープリディクション（ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ）とイントラプリディクション（ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）を行う。インタープリディクションは、既にデコードが行われ、非ブロック化フィルタリング（ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒｉｎｇ）が行われて、バッファに格納されている参照映像（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ）を用いて、現在映像のブロック予測を行うことを意味する。すなわち、現在符号化しようとする映像のブロックと最も類似のブロックを参照映像から探すことを意味する。イントラプリディクションは、現在符号化しようとする映像のブロックと最も類似のブロックを既にデコードが行われた同一映像内から探すことを意味する。

変換及び量子化部３２０は、予測部３１０で予測を行って得た予測ブロックを現在符号化しようとするブロックとの差分値信号を変換し（ｔｒａｎｓｆｏｒｍ）量子化（ｑｕａｎｔｉｚａｔｉｏｎ）して圧縮する。エントロピーコーディング部３３０は、量子化されるビデオデータに対して所定の方式に応じて符号化を行うことによって、Ｈ．２６４ビットストリームにする。

ただし、変移／動き推定部３１１及び変移／動き補償部３１３は、入力された参照映像が同じ視点の映像の場合には、動き推定及び動き補償器として動作し、参照映像が異なる視点の映像の場合には、変移推定及び変移補償器として動作する。前記変移／動き推定部３１１は、動きベクトル（ＭＶ）と変移ベクトル（ＤＶ）とをエントロピーコーディング部３３０に伝達して、エントロピーコーディングを行うようにする。

多視点参照映像提供部３４０は、前記変換及び量子化部３２０を介して変換され、量子化された映像信号を予測符号化のために再度逆量子化及び逆変換して、復元された多視点復元映像を受信して格納し、時空間的ＧＯＰ形成部３１０から受信したＧＯＰ構造情報に応じて参照映像を選択して、変移／動き補償部及び変移／動き推定部に提供することによって、前述したＧＯＰ構造情報で表現している多視点映像の参照関係に応じて予測符号化を行うようにする。また、多視点参照映像提供部３４０は、再配列部３３１に時空間的ＧＯＰ構造情報が含まれた付加情報を提供して、現在予測符号化された映像情報と共に、時空間的ＧＯＰ構造情報をエントロピー符号化して送信するようにすることによって、復号過程で時空間的ＧＯＰ構造情報を利用できるようにする。

図３は、図２に示す多視点参照映像提供部の一実施の形態の詳細構成図である。

同図に示すように、多視点参照映像提供部３４０は、復元映像バッファ３４１、第１隣接視点参照映像バッファ３４２、第２隣接視点参照映像バッファ３４３、視点変換部３４５、３４６及び参照映像選択部３４７を備える。

復元映像バッファ３４１は、現在視点の異なる時間の復元映像をフィルタから受信して一時格納し、参照映像選択部３４７に出力する。

第１隣接視点参照映像バッファ３４２（Ｌｉｓｔ−２）は、現在時間の異なる視点で既に符号化後に復元された映像をフィルタから受信して参照映像として一時格納し、視点変換部３４５に出力し、第２隣接視点参照映像バッファ３４３（Ｌｉｓｔ−２）は、未来時間の異なる視点で既に符号化後に復元された映像及び過去時間の異なる視点で既に符号化後に復元された映像をフィルタから受信して参照映像として格納し、視点変換部３４６に出力する。

視点変換部３４５、３４６は、第１隣接視点参照映像バッファ３４２及び第２隣接視点参照映像バッファ３４３から受信した隣接視点の映像をより適した参照映像として活用するために、予め受信したカメラ情報を用いて、現在カメラ視点とのカラー補正（Ｃｏｌｏｒ Ｂａｌａｎｃｅ）、全域動き補償（Ｇｌｏｂａｌ Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）及びレクティフィケーション（Ｒｅｃｔｉｆｉｃａｔｉｏｎ）などの技術を用いて映像を現在視点の映像に変換して、参照映像選択部３４７に出力する。

参照映像選択部３４７は、時空間的ＧＯＰ形成部１１０から受信した時空間的ＧＯＰ構造情報に応じて、受信した参照映像のうち、現在予測符号化に必要な参照映像を選択して、変移／動き推定部３１１及び変移／動き補償部３１３に出力する。また、参照映像選択部３４７は、ＧＯＰ構造情報を含む付加情報を生成して、再配列部３３１に出力する。

前記図３のＬｉｓｔ−０／Ｌｉｓｔ−１（３４１）、Ｌｉｓｔ−２（３４２）、Ｌｉｓｔ−３（３４３)のバッファは、現在符号化される視点ごとに個別的に存在し、視点別に個別管理される。これは、異なる視点からの変移ベクトルを活用するにおいて、同一視点から出力される参照映像から予測される場合に得られる動きベクトルと異なる視点から出力される参照映像から予測される場合に得られる変移ベクトルの大きさと特性が異なるので、このために別途のバッファを介して管理するものである。

また、変移ベクトルを説明するにおいて、同じ時間の異なる視点の映像間の距離はもちろんのことで、互いに異なる時間帯の視点間の映像間距離も意味する。すなわち、現在視点の現在映像と異なる視点の同じ時間の映像間の距離も変移であり、現在視点の映像と異なる視点の映像において時間上先又は後である映像との距離も変移である。このような変移ベクトルを算出するための映像は、全てＬｉｓｔ−２（３４２）とＬｉｓｔ−３（３４３）により管理される。

前述したように、動きベクトルと変移ベクトルの大きさが異なるので、２個のうち１個のみを選択する既存の多視点動画符号化器は、ブロック単位のベクトル符号化時に以前ベクトルとの差分が符号化されて送信されるとき、連続するブロック間のベクトルの特性が異なる場合に、ベクトルを符号化する時にＣＡＢＡＣのようなコンテクスト適応型のエントロピー符号化の長所を失うようになる。

したがって、このような問題を解決するために、異なる視点の映像から得られる変移ベクトルを符号化する方法は、後述するとおりである。

第１は、符号化される各ブロック別に変移ベクトルと動きベクトルとを別に分離して、別途のコンテクスト適応型に符号化する方法であり、第２は、各視点間の全体的な変移を補償して変移ベクトルを動きベクトルと見做し、ブロック別に動きベクトルによって予測符号化される方法である。第３は、Ｌｉｓｔ−０（３４１）とＬｉｓｔ−２（３４２）を一つのバッファに、Ｌｉｓｔ−１（３４１）とＬｉｓｔ−３（３４３）を一つのバッファにした後、そのインデックスにより時間軸バッファなのか視点間バッファなのかを区別して予測符号化する方法である。

第１の方法は、参照映像が基準視点である場合には、既存の単一視点動画の符号化器のように動きベクトルのみを活用し、残りの異なる視点の映像は、動きベクトル又は変移ベクトルのみを使用するか、又は二ベクトルを組み合せる方法である。このとき、ベクトルの活用方法は、各ブロックの形態（ｅｘ ＭＢ ｔｙｐｅ）により決定される。もちろん変移ベクトルのためには、Ｌｉｓｔ−２（３４２）とＬｉｓｔ−３（３４３）バッファが参照映像バッファとして選択され、動きベクトルのためには、Ｌｉｓｔ−０とＬｉｓｔ−１バッファ３４１が参照映像バッファとして選択される。

前記エントロピー符号化部３３０は、変移ベクトルと動きベクトルとを別に分離して符号化するために、変移ベクトルと動きベクトルに対するルックアップテーブルをそれぞれ生成して、変移ベクトルと動きベクトルが別途のコンテクスト適応型に符号化するようになる。このように、変移ベクトルと動きベクトルとを分離して符号化するため、ベクトルのエントロピー符号化時に発生する問題を解決することができ、単一視点ビデオ符号化方式の両方向予測符号化ピクチャー（Ｐｉｃｔｕｒｅ）であるＢ−ピクチャー（Ｂ−Ｐｉｃｔｕｒｅ）のように複数のベクトルを使用して符号化効率を増大させることができる。すなわち、上述した第１の方法は、予測符号化のために、時間軸上において２個の参照映像（Ｌｉｓｔ−０／Ｌｉｓｔ−１）と視点上において２個の参照映像（Ｌｉｓｔ−２、Ｌｉｓｔ−３）を用いて、動きベクトル又は変移ベクトルを求め、求められた動きベクトル又は変移ベクトルのそれぞれに対するルックアップテーブルを生成して、各ブロック別に変移ベクトルと動きベクトルとを別に分離して符号化する方法である。

第２の方法は、参照映像が基準視点である場合は、既存の単一視点動画の符号化器のように動きベクトルのみを活用し、残りの異なる視点の場合には、動きベクトルと変移ベクトルとを同じベクトルと見做して予測符号化する方法である。このとき、前述したエントロピー符号化の問題を解決するために、Ｌｉｓｔ−２（３４２）やＬｉｓｔ−３（３４３）から得られるベクトルは変移ベクトルであるから、ベクトル符号化時に全域変移ベクトルを補償してその差分を符号化する。すなわち、全域変移ベクトルを補償して符号化することによって、動きベクトルと変移ベクトルとの特性差を補償することによって、エントロピー符号化の問題を解決するようになる。

下記の式は、動きベクトルと変移ベクトルとを符号化する方法である。

上の式１において、ＭＶは動きベクトル、ＤＶは変移ベクトル、ＰＭＶは周辺ブロックから得られる動きベクトルの予測値、ＰＤＶは周辺ブロックから得られる変移ベクトルの予測値、ＧＤＶは視点間の距離から発生する全体的な全域変移ベクトルである。ＧＤＶは、全域動きベクトルの推定方法又はカメラパラーメーターなどを用いて求められうる。また、ＶＤは、符号化される差分ベクトルである。

上述した第２の方法により差分ベクトルを符号化する場合に、エントロピー符号化部３３０は、周辺ブロックから得られた予測値がＰＭＶであり、現在のＭＶを符号化する場合には、式１の第１の場合のように、差分ベクトルを符号化し、予測値がＰＤＶで現在のＤＶを符号化する場合には、式１のは、第４の場合のように、差分ベクトルを符号化する。周辺ブロックからの予測値がＰＭＶで現在のＤＶを符号化する場合には、式１の第２の場合のように、現在求められたＤＶからＧＤＶ及びＰＭＶを引いた値を差分ベクトルにして符号化する。最後に、周辺ブロックからＰＤＶを得、現在のＭＶを符号化する場合には、ＭＶにＧＤＶを足した値を、ＰＤＶを用いて差分符号化する。この場合も、最大４個のベクトルが使用されうる。

第３の方法は、現在使用されているＨ．２６４のバッファ管理方式のように、２個のバッファを使用するものの、視点間バッファと時間軸上のバッファとを構成する方法である。この場合に、Ｌｉｓｔ−０／Ｌｉｓｔ−２のバッファとＬｉｓｔ−１／Ｌｉｓｔ−３のバッファから最大２個のベクトルが得られうる。そして、そのバッファのインデックスにより変移ベクトルなのか動きベクトルなのかを区分することができる。このとき、動きベクトル又は変移ベクトルは、周辺のＰＭＶ又はＰＤＶを用いて差分符号化するが、差分ベクトルを求める方式は、第２の方法と同様である。

上述した本発明の好ましい実施の形態は、例示の目的のために開示されたものであり、本発明の属する技術の分野における通常の知識を有する者であれば、本発明の技術的思想を逸脱しない範囲内で、様々な置換、変形、及び変更が可能であり、このような置換、変更などは、特許請求の範囲に属するものである。

本発明が適用される多視点動画の符号化／復号化システムの一実施の形態を示す図である。 時間的予測符号化のための参照映像バッファと空間的予測符号化のための参照映像バッファとを備えている多視点動画符号化器の構造図である。 図２に示す多視点参照映像提供部の一実施の形態の詳細構成図である。

Claims (17)

1. 時間及び視点間参照映像バッファを活用した予測符号化装置であって、
   時空間的ＧＯＰ構造情報に応じて予測符号化のための参照映像を提供する多視点参照映像提供部と、
   現在符号化する映像が、前記多視点参照映像提供部から受信した参照映像のどの部分から参照するかを予測してベクトルを生成する予測部と、
   該予測部から受信した予測信号を現在符号化する映像信号との差分信号を求めてこれを変換し量子化して圧縮するための変換及び量子化部と、
   該変換及び量子化部から受信した量子化された信号及び前記予測部から提供されるベクトルを所定の方式に応じて符号化して出力するためのエントロピー符号化部と
   を備えることを特徴とする予測符号化装置。
2. 前記予測部が、
   入力された参照映像が現在符号化する映像と同じ視点の映像の場合には、動き推定を行って動きベクトルを生成し、参照映像が異なる視点の映像の場合には、変移推定を行って変移ベクトルを生成する変移／動き推定部と、
   入力された参照映像が現在符号化する映像と同じ視点の映像の場合には、動き補償を行い、参照映像が異なる視点の映像の場合には、変移補償を行う変移／動き補償部と
   を備えて構成されることを特徴とする請求項１に記載の予測符号化装置。
3. 前記多視点参照映像提供部が、
   現在視点の異なる時間の復元映像を格納／出力するための復元映像格納部と、
   隣接視点の現在時間の参照映像を格納／出力するための第１隣接視点参照映像格納部と、
   隣接視点の異なる時間の参照映像を格納／出力するための第２隣接視点参照映像格納部と、
   前記第１隣接視点参照映像格納部及び第２隣接視点参照映像格納部から受信した隣接視点の映像を、予め受信したカメラ情報を用いて現在視点の映像に変換して出力するための視点変換部と、
   前記ＧＯＰ情報生成部から受信した時空間的ＧＯＰ構造情報に応じて、前記復元映像格納部及び視点変換部から受信した映像のうち、参照映像を選択して出力するための参照映像選択部と
   を備えて構成されることを特徴とする請求項１に記載の予測符号化装置。
4. 前記エントロピー符号化部が、
   前記予測部から入力される動きベクトルと変移ベクトルとに対するルックアップテーブルをそれぞれ生成して、動きベクトルと変移ベクトルとに対するエントロピー符号化を分離して符号化することを特徴とする請求項１に記載の予測符号化装置。
5. 前記エントロピー符号化部が、
   変移ベクトルに対して全域変移ベクトルを補償した差分ベクトルを符号化して、動きベクトルと変移ベクトルとの特性差を補償することを特徴とする請求項１に記載の予測符号化装置。
6. 前記エントロピー符号化部が、
   周辺ブロックから得られた予測値が動きベクトル予測値ＰＭＶで現在ブロックが動きベクトルである場合には、動きベクトルとＰＭＶの差分ベクトルとを符号化し、
   周辺ブロックから得られた予測値が変移ベクトル予測値ＰＤＶで現在ブロックが変移ベクトルである場合には、変移ベクトルとＰＤＶの差分ベクトルとを符号化し、
   周辺ブロックから得られた予測値がＰＭＶで現在ブロックが変移ベクトルである場合には、変移ベクトルから全域変移ベクトル及びＰＭＶを引いた差分ベクトルを符号化し、
   周辺ブロックから得られた予測値がＰＤＶで現在ブロックが動きベクトルである場合には、動きベクトルとＧＤＶとを足した値からＰＤＶを引いた差分ベクトルを符号化することを特徴とする請求項５に記載の予測符号化装置。
7. 時間及び視点間参照映像バッファを活用した予測符号化方法であって、
   時空間的ＧＯＰ構造情報に応じて予測符号化のための参照映像を提供するための多視点参照映像提供ステップと、
   前記参照映像を用いて参照映像に対するベクトルを生成し、現在符号化する映像の予測を行うための予測ステップと、
   該予測ステップで予測した信号を変換し量子化して圧縮するための変換及び量子化ステップと、
   前記量子化された信号及び前記予測部から提供されるベクトルを所定の方式に応じて符号化して出力するためのエントロピー符号化ステップと
   を含むことを特徴とする予測符号化方法。
8. 前記予測ステップが、
   入力された参照映像が現在符号化する映像と同じ視点の映像の場合には、動き推定を行って動きベクトルを生成し、参照映像が異なる視点の映像の場合には、変移推定を行って変移ベクトルを生成する変移／動き推定ステップと、
   入力された参照映像が現在符号化する映像と同じ視点の映像の場合には、動き補償を行い、参照映像が異なる視点の映像の場合には、変移補償を行う変移／動き補償ステップと
   を含んで構成されることを特徴とする請求項７に記載の予測符号化方法。
9. 前記エントロピー符号化ステップが、
   前記予測ステップを介して入力される動きベクトルと変移ベクトルに対するルックアップテーブルをそれぞれ生成して、動きベクトルと変移ベクトルとに対するエントロピー符号化を分離して符号化することを特徴とする請求項７に記載の予測符号化方法。
10. 前記エントロピー符号化ステップが、
    変移ベクトルに対して全域変移ベクトルを補償した差分ベクトルを符号化して、動きベクトルと変移ベクトルとの特性差を補償することを特徴とする請求項７に記載の予測符号化方法。
11. 前記エントロピー符号化ステップが、
    周辺ブロックから得られた予測値が動きベクトル予測値ＰＭＶで現在ブロックが動きベクトルである場合には、動きベクトルとＰＭＶの差分ベクトルとを符号化し、
    周辺ブロックから得られた予測値が変移ベクトル予測値ＰＤＶで現在ブロックが変移ベクトルである場合には、変移ベクトルとＰＤＶの差分ベクトルとを符号化し、
    周辺ブロックから得られた予測値がＰＭＶで現在ブロックが変移ベクトルである場合には、変移ベクトルから全域変移ベクトル及びＰＭＶを引いた差分ベクトルを符号化し、
    周辺ブロックから得られた予測値がＰＤＶで現在ブロックが動きベクトルである場合には、動きベクトルとＧＤＶとを足した値からＰＤＶを引いた差分ベクトルを符号化することを特徴とする請求項１０に記載の予測符号化方法。
12. 複数のカメラによる多視点映像を符号化した信号を復号化するための装置であって、
    外部から受信した信号をエントロピー復号化、逆再配列、逆量子化及び逆変換処理して復号する復号化部と、
    該復号化部で復号された信号から、予測符号化のための映像間の参照関係を時空間的に表現した時空間的ＧＯＰ構成情報を用いて、前記多視点映像を復元するための時空間的ＧＯＰ基盤映像再生部と、
    該ＧＯＰ基盤映像再生部で復元された多視点映像を合成して出力するためのシーン合成部と
    を備えるものの、エントロピー復号化は、動きベクトルと変移ベクトルとを用いることを特徴とする復号化装置。
13. 前記エントロピー復号が、
    動きベクトルと変移ベクトルに対するルックアップテーブルをそれぞれ生成して、動きベクトルと変移ベクトルとを分離して符号化された入力信号を復号することを特徴とする請求項１２に記載の復号化装置。
14. 前記エントロピー復号が、
    変移ベクトルに対して全域変移ベクトルを補償した差分ベクトルを符号化した入力信号を復号することを特徴とする請求項１２に記載の復号化装置。
15. 外部から受信した信号をエントロピー復号化、逆再配列、逆量子化及び逆変換処理して復号化するステップと、
    前記復号された信号から、予測符号化のための映像間の参照関係を時空間的に表現した時空間的ＧＯＰ構成情報を用いて、前記多視点映像を復元するためのステップと、
    前記ＧＯＰ基盤映像再生部で復元された多視点映像を合成して出力するためのシーン合成ステップと
    を含むものの、エントロピー復号化は、動きベクトルと変移ベクトルとを用いることを特徴とする復号化方法。
16. 前記エントロピー復号が、
    動きベクトルと変移ベクトルとに対するルックアップテーブルをそれぞれ生成して、動きベクトルと変移ベクトルとを分離して符号化された入力信号を復号することを特徴とする請求項１５に記載の復号化方法。
17. 前記エントロピー復号が、
    変移ベクトルに対して全域変移ベクトルを補償した差分ベクトルを符号化した入力信号を復号することを特徴とする請求項１５に記載の復号化方法。

Images