JP2007013828A - 符号化装置、復号化装置、符号化方法及び復号化方法 - Google Patents

Abstract

【課題】任意のカメラ画像へのランダムアクセスが困難である。
【解決手段】複数のカメラの配置情報を示すカメラパラメタに基づいて、前記複数のカメラによる画像の符号化順序を決定するＧＯＰ算出部と、前記ＧＯＰ算出部により決定された符号化順序に基づき符号化データを生成する係数符号化部と、を備える画像符号化装置。
【選択図】図１

Description

本発明は、符号化装置および復号化装置に関する。

近年、テロや犯罪件数の増加に伴い、空港や街頭などで数十台から百台規模の監視カメラを配置し同時に監視する映像監視システムが公共施設等で急速に普及しつつある。

また、ＴＶスタジオやスポーツスタジアムに多数のカメラを配置し、多視点画像を同時に撮像し、三次元画像の再構成、あるいは任意視点からの視聴を可能とする任意視点ＴＶ(ＦＲＥＥ ＶＩＥＷＰＯＩＮＴ ＴＶ)への応用を目的とした研究開発が活発化している。

このような同一時刻に複数のカメラで撮像した複数の画像（以降、多視点画像と定義する）は、カメラ台数に比例して膨大な画像データを扱う必要があり、ネットワークを用いて画像伝送する場合や記憶ディスクへ保存する場合に帯域の大きなネットワークや膨大な記憶ディスクを必要とする。

したがって、多視点画像における第１の課題は、多視点画像データを高効率に符号化することである。

上記課題に対して、ＩＳＯ／ＩＥＣでは、３ＤＡＶ符号化というテーマで多視点画像を圧縮符号化するための符号化方式の標準化検討が進められている（ISO/IEC JTC1/SC29/WG11 MPEG2005/N6910 Draft Call for Proposals on Multi-View Video Coding）。

多視点画像を高効率に符号化するための従来技術として、例えば非特許文献１では、多視点画像間の相関を利用し、フレーム間相関を用いた画像符号化を適用することによって、画像のデータ量を圧縮している。

図11は、非特許文献１に記載されたフレーム間相関による画像符号化方法を示したものである。図11において、1101〜1104は同一時刻ｔに複数のカメラから撮像された画像を示し、1106は次の時刻ｔ＋１における1101のカメラで撮像された画像を示す。

1101に対しては、画像復号化に際して、他フレームの符号化データが不要なフレーム内符号化を施す（Ｉフレームと定義する）。1102に対しては、1101の復号化画像と1102の原画像の相関が高い領域を差分処理してから符号化するフレーム間符号化を施す（Ｐフレームと定義する）。1103に対しても同様に、1102に復号化画像と1103の原画像に対してフレーム間符号化を施す。同一時刻に撮像された複数カメラの画像1101〜1104は相関が高いため、差分処理することにより、画像のデータ量を削減可能である。このように、非特許文献1では、最初のカメラ画像をＩフレームとし、それ以外のカメラ画像はＩフレームから順にＰフレームとして符号化を行なうことにより、多視点画像を高効率に圧縮符号化することが可能である。
ISO/IEC JTC1/SC29/WG11、 "Survey of Algorithms used for Multi-view Video Coding (MVC)"、２００５年１月、MPEG2005/N6909 、[online]、インターネット<URL: http://mpeg.nist.gov/welcome.php >

しかしながら、一般にＰフレームを復号化する際には、符号化時にフレーム相関の対象として用いた画像(参照画像と定義する)を復号化して画像を加算処理する必要がある。

このため非特許文献１において、Ｉフレーム以外のカメラ画像を復号化するためには、Ｉフレームから順に所望のＰフレームまで順に復号化する必要がある。

例えば、あるカメラ画像である1104のＰフレームを復号化するためには、1101->1102->1103->1104の合計４フレームの復号化処理を行う必要があるため、データ量および演算量が増加し、任意のカメラ画像へランダムアクセスすることが困難である。

本発明はかかる点に鑑みてなされたものであり、カメラの相対的な配置を利用して符号化順序を算出し、その後、動き補償フィルタによる符号化処理を行う符号化装置、又は、この符号化データを復号化する復号化装置である。

本発明は上記課題を解決するものであって、複数のカメラの配置情報を示すカメラパラメタに基づいて、前記複数のカメラによる画像の符号化順序を決定するＧＯＰ算出部と、前記ＧＯＰ算出部により決定された符号化順序に基づき符号化データを生成する係数符号化部と、を備える画像符号化装置である。

これにより符号化する情報に偏りを持たせることができる。

また、符号化データから所定のカメラの画像復号化に必要な符号化データを選択する復号化データ選択部と、前記選択された符号化データを復号化して動きベクトルと複数の周波数画像を生成する係数復号化部と、前記周波数画像と前記動きベクトルを用いて逆動き補償フィルタリング処理を行うことで所定のカメラ画像を復号化する逆動き補償フィルタリング部と、を備える画像復号化装置である。

これにより、少ない低周波画像、高周波画像で符号化データの復号化を行うことができる。

本発明によれば、任意のカメラ画像へランダムアクセスすることが容易である。

本発明の多視点画像符号化装置は、ある被写体を複数のカメラにより同時に撮像した複数原画像を符号化する多視点画像符号化装置であって、カメラの配置情報を示すカメラパラメタを使用して複数原画像の符号化順序を決定するGOP算出手段と、GOP算出手段により決定された符号化順序に従い、複数の原画像に対して動き補償フィルタリング処理を行い、複数の周波数画像に分割する動き補償フィルタリング手段と、動き補償フィルタリング画像に対して係数符号化処理を行い符号化データを生成する係数符号化手段を有している。

この構成によれば、複数カメラの画像をカメラ配置情報に応じた符号化順序で符号化するため、符号化効率を向上することが可能である。

また、本発明に係わる多視点画像符号化装置のＧＯＰ算出手段は、前記カメラパラメタを用いて全てのカメラ間の距離を算出し、前記複数原画像に対して、２つのカメラ間距離が同一もしくは分散が小さくなる第1レベルの距離を決定し、第1レベルの距離関係にある２つの原画像をそれぞれ第1レベルの画像ペアとしてグループ化し、第1レベルの画像ペアを順番に並べることにより原画像の符号化順序を決定する特徴を有している。

この構成によれば、カメラ間の距離が一定の画像同士を符号化するため第1レベルにおける動き補償フィルタ後の低周波画像群、高周波画像群をそれぞれ類似な画像とすることが可能である。

また、本発明に係わる多視点画像符号化装置のＧＯＰ算出手段は、前記カメラパラメタを用いて全てのカメラ間の視差を算出し、複数の原画像に対して、２つのカメラ間視差が同一もしくは視差の分散が小さくなる第1レベルの視差を決定し、第1レベルの視差関係にある2つの画像をそれぞれ第1レベルの画像ペアとしてグループ化し、第１の画像ペアを順番に並べることにより原画像の符号化順序を決定する特徴を有している。

この構成によれば、カメラ間の視差が一定の画像同士を符号化するため第1レベルにおける動き補償フィルタ後の低周波画像群、高周波画像群をそれぞれ高相関な画像群とすることが可能である。

また、本発明に係わる多視点画像符号化装置のＧＯＰ算出手段は、前記カメラパラメタを用いて決定した前記符号化順序における奇数番目の原画像に対して、全奇数番目原画像のカメラ間距離を算出し、全奇数番目画像に対して、２つのカメラ間距離が同一もしくは分散が小さくなり、かつ前記第1レベルの距離よりも小さくなる第２レベルの距離を算出し、第２レベルの距離関係にある画像を第２レベルの画像ペアとしてグループ化し、第２レベルの画像ペアを含む第1レベルの画像ペアが連続して配置される様に第1レベルの画像ペアを単位として並べかえて原画像の符号化順序を再決定することを特徴とする。

この構成によれば、レベルが大きくなるにつれカメラ間距離が小さくすることにより、動き補償フィルタ後の高周波画像の情報量を少なくすることが可能である。

また、本発明に係わる多視点画像符号化装置のＧＯＰ算出手段は、前記第Ｎ＋１レベルの画像ペアの奇数番目の画像に対して、全奇数番目画像のカメラ間距離を算出し、全奇数番目画像に対して、２つのカメラ間距離同一もしくは分散が小さくなり、かつ前記第Ｎレベルの距離よりも小さくなる第Ｎ＋１レベルの距離を算出し、第Ｎ＋１レベルの距離関係にある2つの画像を第Ｎ＋１レベルの画像ペアとしてグループ化し、第Ｎ＋１レベルの画像ペアを含む第Ｎレベルの画像ペアが連続して配置される様に第Ｎレベルの画像ペアを単位として並べかえて原画像の符号化順序を再決定する処理を画像ペアが構成できなくなるまで順次繰り返すことを特徴とする。

この構成によれば、レベルが大きくなるにつれ動き補償フィルタの対象画像ペアのカメラ間距離を順次小さくすることにより、レベルが大きくなるにつれ動きベクトルの精度が向上し、動き補償フィルタ後の高周波画像の情報量をさらに少なくすることが可能である。

また、本発明に係わる多視点画像符号化装置の動き補償フィルタリング手段は、前記ＧＯＰ算出手段により決定された符号化順序に従い、前記第１レベルの画像ペア間で動きベクトル算出および動き補償を行った後にウェーブレットフィルタリング処理を行い、低周波画像と高周波画像に分割し、さらに符号化順序が小さい方から複数の各低周波画像を用いて第２レベルの画像ペアを構成し、前記第２レベルの画像ペアに対して動き補償フィルタリング処理を繰り返し、最終的に低周波画像が１つとなるまで処理を行うことを特徴とする。

この構成によれば、多視点画像に対して動き補償フィルタリングを階層的に行なうことにより、符号化効率を向上することが可能である。

また、本発明に係わる多視点画像符号化装置の動き補償フィルタリング手段は、画像ペアの動きベクトル算出に際して、既に算出した前記同一レベルの前記動きベクトルと前記カメラパラメタを用いて動きベクトルを予測する動きベクトル予測部を備えることを特徴とする。

この構成によれば、動きベクトル算出を予測によって高速に行なうため、動き予測に必要な演算量を削減することが可能である。

また、本発明に係わる多視点画像符号化装置の動き補償フィルタリング手段は、第Ｎ＋１レベルの画像ペアの動きベクトル算出に際して、既に算出した第Ｎレベルの画像ペアの動きベクトルと前記カメラパラメタを用いて動きベクトルを予測する動きベクトル予測部を備えることを特徴とする。

この構成によれば、動きベクトル算出を上位レベルの動きベクトルから予測によって高速に行なうため、動き予測に必要な演算量を削減することが可能である。

また、本発明に係わる多視点画像符号化装置の係数符号化部は、前記ＧＯＰ算出手段により決定された符号化順序と前記カメラパラメタの関係を示す画像構成情報を符号化することを特徴とする。

この構成によれば、符号化データとカメラの構成を明確に把握することが可能である。

本発明の多視点画像復号化装置は、多視点画像を符号化した符号化データを復号化する多視点画像復号化装置であって、符号化データから所定のカメラに対応する符号化データを選択するデータ選択手段と、選択された符号化データを係数復号化して動きベクトルと複数の周波数画像を生成する係数復号化手段と、前記周波数画像と前記動きベクトルを用いて逆動き補償フィルタリング処理を行い所定のカメラ画像を復号化する逆動き補償フィルタリング手段とを有する。

この構成によれば、所定カメラに対応する符号化データのみを復号化して所定カメラの画像を高速に復号化することが可能である。

また、本発明に係わる多視点画像復号化装置の復号化データ選択手段は、第Ｎカメラに対応する符号化データを選択する際に、符号化データ内の画像構成情報を用いて、前記符号化データから第１番目の低周波画像の符号化データと第Ｎカメラの位置に存在する高周波画像の符号化データを選択することを特徴とする。

この構成によれば、画像構成情報を用いて所定カメラに対応する符号化データのうち必要最低限の符号化データを選択して復号化することにより、所定カメラの画像をさらに高速に復号化することが可能である。

また、本発明に係わる多視点画像復号化装置の復号化データ選択手段は、第Ｎカメラに対応する符号化データを選択する際に、符号化データ内の画像構成情報を用いて、前記符号化データから第１番目の低周波画像から第Ｎカメラの位置に存在する高周波画像までの動きベクトルを選択し、さらに動きベクトルを累積して算出することを特徴とする。

この構成によれば、動きベクトルを累積算出して動き補償に使用することにより、動き補償ミスの影響を低減しつつ所定カメラの画像をさらに高速に復号化することが可能である。

また、本発明に係わる多視点画像復号化装置の逆動き補償フィルタリング手段は、前記係数復号化手段により復号化された低周波画像と高周波画像に対して、前記動きベクトルを用いて動き補償付きのウェーブレットフィルタ処理を行うことにより、原画像を復号化することを特徴とする。

この構成によれば、所定カメラの画像を高速に復号化することが可能である。

本発明の多視点画像符号化方法は、ある被写体を同時に複数のカメラにより撮像した複数原画像を符号化する多視点画像符号化方法であって、カメラの配置情報を示すカメラパラメタを使用して複数の原画像の符号化順序を決定するGOP算出ステップと、GOP算出手段により決定された符号化順序に従い、複数の原画像に対して動き補償フィルタリング処理を行い、複数の周波数画像に分割する動き補償フィルタリングステップと、動き補償フィルタリング画像に対して係数符号化処理を行い符号化データを生成する係数符号化ステップを有する。

この構成によれば、複数カメラの画像をカメラ配置情報に応じた符号化順序で符号化するため、符号化効率を向上することが可能である。

本発明の多視点画像復号化方法は、多視点画像を符号化した符号化データを復号化する多視点画像復号化方法であって、符号化データから所望のカメラに対応する符号化データを選択する復号化データ選択ステップと、選択された符号化データを係数復号化して動きベクトルと周波数画像を生成する係数復号化ステップと、前記周波数画像と前記動きベクトルを用いて逆動き補償フィルタリング処理を行い所望のカメラ画像を復号化する逆動き補償フィルタリングステップとを有する。

この構成によれば、所定カメラに対応する符号化データのみを復号化して所定カメラの画像を高速に復号化することが可能である。

以下、本発明の実施例について、図面を参照してそれぞれ詳細に説明する。

実施例１では、本発明の符号化装置について、図１から図７を用いて説明する。

実施例２では、本発明の復号化装置について、図８から図１３を用いて説明する。

（実施の形態１）
本発明では、画像復号化において、任意のカメラ画像へのランダムアクセス時の膨大な演算量を抑えるため、複数カメラによる画像符号化に対して、ＭＣＴＦ（Motion Compensated Temporal Filtering、以下同様）を適応することを考える。

例えば、８台のカメラが等間隔に並べられて被写体を撮影しているとき、最も小さいカメラ間の距離差分を時間差分と擬制し、ＭＣＴＦを適用することができる（以下、単純ＭＣＦＴ適用符号化と呼ぶ）。

これにより、従来、時間方向に適用していたＭＣＴＦによる論理遅延を０にすることができる。

本実施例では、さらに、カメラ間画像のランダムアクセス時の膨大な演算量を抑えるために、カメラの配置情報を示すカメラパラメタを使用して複数原画像の符号化順序を決定し、この決定された符号化順序に従い、複数の原画像に対して動き補償フィルタリング処理を行うことによって、複数カメラの画像をカメラ配置情報に応じた符号化順序で符号化することができる符号化装置について説明する。

以下、図１から図７を用いて説明する。

図1は、本発明の実施例１に係る多視点画像符号化装置の構成を示すブロック図である。

図1に示す多視点画像符号化装置101は、複数のカメラと接続しており、カメラ画像入力部102、カメラパラメタ入力部103、ＧＯＰ算出部104、動き探索部105、動きベクトル予測部108、フィルタ部106、係数符号化部107、データ出力部109とを有する。

図1において110は動き補償フィルタ部である。

カメラ画像入力部102は、複数のカメラに接続しており、同一時刻に複数のカメラから入力される複数の原画像（以降、複数原画像と呼ぶ）をすべてＧＯＰ算出部104に出力する。

カメラパラメタ入力部103はすべてのカメラから入力されるカメラの配置情報などを示すカメラパラメタをＧＯＰ算出部104と動きベクトル予測部108に出力する。

ＧＯＰ算出部104は、複数の原画像とカメラパラメタを用いて原画像の符号化順序を決定し、原画像を符号化順序に並べ替えた後、ＧＯＰ（ＧＲＯＵＰ ＯＦ ＰＩＣＴＵＲＥ、以下同様）として動き探索部105に出力する。

動き探索部105はＧＯＰ算出部104より入力された複数の原画像、あるいは動きベクトル予測部から入力された低周波画像に対して、動きベクトル予測部108から入力された動きベクトルを用いて、符号化順序毎に２つの画像間の動きベクトルを順次探索し、動きベクトルと原画像あるいは低周波画像をフィルタ部106に出力する。

フィルタ部106は、動き探索部105から入力された複数の画像と動きベクトルを使用し、複数の原画像に対して動き補償付きフィルタ処理を行い、低周波画像と高周波画像を生成し、高周波画像と動きベクトルを係数符号化部107に出力し、低周波画像と動きベクトルを動きベクトル予測部108に出力する。

なお、本実施例のフィルタ部１０６が行うフィルタリングは、ウェーブレットフィルタリングである。

以下、本実施例を含めた実施例でのフィルタリング、又は、逆フィルタリングは、ウェーブレットフィルタリング、又は、逆ウェーブレットフィルタリングである。

動きベクトル予測部108は、カメラパラメタ入力部103から入力されたカメラパラメタと、フィルタ部から入力された動きベクトルを用いて、動きベクトルを予測し、動きベクトルと低周波画像を動き探索部105に出力する。

動き補償フィルタ部110は、動き探索部105、フィルタ部106と動きベクトル予測部108において、低周波画像が１つになるまで動き補償フィルタ処理を繰り返す。

係数符号化部107は、フィルタ部106から入力された低周波画像、高周波画像、カメラパラメタおよび動きベクトル等を係数符号化しデータ出力部109に出力する。

次いで、上記構成を有する多視点画像符号化装置101の動作について、図2に示すフロー図を用いて説明する。

なお、図2示すフロー図の全体の動作は、多視点画像符号化装置101の図示しない記憶装置（例えばＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、図示しないＣＰＵによって制御される。

本実施例ではカメラ台数が８台である場合を想定し動作説明をする。

但し、本実施例のカメラ台数は例示であり、カメラ台数は８台に限定されるものではない。

ステップ201では、画像入力処理が行われる。

複数のカメラ（本実施例では８台）に接続されているカメラ画像入力部102は、同一時刻に８台のカメラから入力される８つの原画像（以降、複数原画像と呼ぶ）とカメラパラメタを、まとめてＧＯＰ算出部104に出力する。

ステップ202では、ＧＯＰ構成算出処理が行われる。

ＧＯＰ算出部104は、複数の原画像とカメラパラメタを用いて原画像の符号化順序を決定し、原画像を符号化順序に並べ替えた後、ＧＯＰとして動き探索部105に出力する。

図１４は、ＧＯＰ算出部１０４の詳細構成図であり、図４は、上記ＧＯＰ算出処理のフローを示した図である。

以下、ＧＯＰ算出処理（ステップ２０２）について、図４、図１４を用いて説明する。

ステップ４01では、カメラ間距離算出部１０４１によりカメラ間距離算出処理が行われる。

カメラ間距離算出部１０４１は、以下の数式１に示されるカメラ距離算出方法によりカメラパラメタを用いて全カメラ間の距離を算出する。

数式１において、D(i,j)はカメラiとカメラj間のカメラ距離を示し、(x_i, y_i, z_i)はカメラi の三次元空間座標を示す。

ここで、カメラパラメタにカメラ毎の三次元空間座標は含まれているものとする。

なお、カメラ間の距離は数式１に限定されることはなく、カメラiとカメラj間のカメラ距離を算出することができれば、いかなる方法も適用可能である。

本実施例では、数式１に従い、カメラ１〜カメラ８のそれぞれのカメラ間距離D(1,2)〜D(1,8)を算出する。

ステップ４02では、第1レベル画像ペア生成部１０４４により画像ペア算出処理が行われる。

ステップ ４01で算出したカメラ間距離を基に、第1レベル画像ペア生成部１０４４が原画像を２つの原画像から構成される画像ペアに分割する。

本ステップは繰り返し処理されるものであり、繰り返しＮ回目の処理をレベルＮとして表現し、レベルＮにおいて算出した画像ペアを第Ｎレベルの画像ペアと表現する。

カメラ間距離算出部１０４１で算出された全カメラ間の距離の値は、第1レベル距離算出部１０４２に入力される。

第1レベルの画像ペア算出においては、第1レベル距離算出部１０４２は入力された複数の原画像に対して、全てのカメラ間距離が一定もしくは分散が小さくなるカメラ距離を第１レベルの距離として算出する。

この第1レベルの距離算出に関しては、以下で詳述する。

第1レベル距離算出部１０４２により算出された距離の値は、第1レベル距離判定部１０４３に入力される。

この第１レベル距離算出部１０４２により算出された距離の値を基に、あるカメラ間の距離が、第１レベルの距離にあると第1レベル距離判定部１０４３により判定されたとき、第1レベル画像ペア生成部１０４４は、カメラに対応する原画像２つを画像ペアとする。

例えば、全カメラ間の距離で一番大きい距離のものと、第1レベル距離を設定すると、図３における８台のカメラでは、カメラ１とカメラ８とに当たる。

しかし、これでは同一のものが存在しないため、第1レベル距離としては、認定されない。

つまり、すべてのカメラがペアとなる組み合わせの中で、最もカメラ間の距離が大きいものという風に第１レベル距離算出部１０４２では、第1レベル距離を算出する。

本実施例に示す第1レベル距離算出部１０４２等のＧＯＰ算出部１０４の構成要素は、例示であり、複数のカメラ間の距離に拘束されることはない。

たとえば、視差が一定、視差の分散が小さい等を算出、判定する構成であっても良い。

なお視差の算出はステレオ画像処理における物体マッチングにより算出した視差の最大値を用いるなど、さまざまな方法が利用可能である。

図3は、上記ＧＯＰ算出の概念図を示した図であり、これを用いて画像ペア生成の詳細を説明する。

図3において、319は撮像対象物体、320〜327は８台のカメラ１〜カメラ８を示す（図中の番号はカメラ番号を表すものとする）。

また、311〜318はそれぞれ８台のカメラにより撮像された原画像１〜原画像８を示す（矩形中の番号はカメラ番号と一致する原画像番号を表すものとする）。

また、301,302,303および304で括られた２つの原画像はそれぞれ第１レベルの画像ペアを示し、305および306で括られた２つの原画像は第２レベルの画像ペアを示し、307で括られた２つの原画像は第3レベルの画像ペアを示す。

また、308はカメラ１とカメラ２の距離を示し、309はカメラ１とカメラ３の距離を示し、310はカメラ１とカメラ５の距離を示す。

例えば、図3において、310 であるD(1,5) は第１レベルの距離であり、第１レベルの距離関係にある301（カメラ１とカメラ５）、302(カメラ３とカメラ７)、303（カメラ２とカメラ６）、304(カメラ４とカメラ８)がそれぞれ第１レベルの画像ペアとなる。

第1レベル画像ペアとなるか否かの判断は、上記第1レベル距離判断部１０４３で行われ、その判断基準は、例えば、カメラ間の距離が一定距離、カメラ間の距離の分散が小さいというようなものである。

具体的に説明すると、すべてのカメラがペアとなる組み合わせの中で、最もカメラ間の距離が大きいものを、第１レベル距離算出部１０４２で第1レベル距離として算出する。

例えば、８台のカメラが等間隔に設置されている場合を考える。

すべてのカメラがペアとなる組み合わせの中で、最もカメラ間の距離が大きいものが６mである場合、カメラ間隔が6mとなるペアを選ぶ。

また、カメラの設置場所等により、カメラが等間隔に置かれていない場合もありうるため、ペア間の距離の平均値を算出し、分散が最も小さいときのペアの組み合わせを第1レベル距離として算出する。

第Ｎレベルの画像ペア算出においては、ＧＯＰ算出部104は、第Ｎレベルの原画像に対して、第Ｎ−１レベルの距離以下、かつカメラ間距離が一定もしくは分散が小さくなるカメラ距離を第Ｎレベルの距離として算出し、第Ｎレベルの距離関係にあるカメラに対応する原画像２つを第Ｎレベルの画像ペアとする。

例えば、図3において、309はカメラ１とカメラ３の距離を示し、309で示される距離は、310で示される距離より小さいという条件を満たすと第1レベル距離算出部１０４２から入力された第1レベル画像ペアの距離の値を基に、第2レベル距離判定部１０４７により判定されるため、第２レベルの距離となる。

そのため、第2レベル画像ペア生成部１０４７により、305(カメラ１とカメラ３)、306(カメラ２とカメラ４)は第２レベルの画像ペアとされる。

ステップ４03では、符号化順序決定部１０５１により符号化順序決定処理が行われる。

符号化順序決定部１０５１は、ステップ４02で算出した各レベルにおける画像ペアが連続して配置されるように、原画像に符号化順序を表す符号化番号を付与する。

例えば、図3において、311(原画像１)＝１番、315(原画像５)＝２番、317(原画像７)＝３番、、、318(原画像8)＝8番という様に符号化番号を付与する。

ステップ４04では、最終レベル判定処理が行われる。

繰り返し処理が最終レベルか否かが判定される。

ここでは、第Ｎレベルの画像ペアが１つとなった場合、処理を終了し、そうで無い場合は、ステップ４05へと処理を移動する。

本実施例では図示はしていないが、上記繰り返し処理が最終レベルか否かの判定は、最終レベル判定部を備えることで行うことができる。

なお、本実施例では、８台のカメラによる画像符号化を考えているため、図１４に示すＧＯＰ算出部１０４は、第1レベルに関する構成から第3レベルに関する構成までしか備えてない。

しかし、本実施例は、例示であり、この構成に拘束されることはない。

つまり、カメラ台数が増えれば、ＧＯＰ算出部１０４についての各レベルの構成を追加することも考え得る。

ステップ４05では、レベル更新部（図示なし）によりレベル更新処理が行われる。

第Ｎレベルの画像ペアにおいて、それぞれ奇数符号化番号を持つ原画像のみを選択し、第Ｎ＋１レベルの原画像とし、ステップ４02へ処理を移動する。

例えば、図3において、レベル２における原画像は第１レベルの画像ペアの奇数符号化番号である311（原画像１）, 313（原画像３）、312（原画像２）,314（原画像４）となる。

以上のように、複数の原画像における符号化番号を決定し符号化番号順に原画像を並べ替え、並べ替え後の原画像をＧＯＰ（ＧＲＯＵＰ ＯＦ ＰＩＣＴＵＲＥ）と呼び、ＧＯＰを動き探索部105に出力する。

本実施例では、奇数符号番号としたが、これは、偶数符号化番号でも良い。

つまり、以下に説明する図６のフィルタリング処理において、第Ｎレベルの画像ペアが低周波画像となるように決定されれば良い。

ステップ２０２でのＧＯＰ構成算出処理が行われた後、ステップ203では、動き予測処理が行われる。

動き予測処理では、動き探索部105は、ＧＯＰ算出部104から入力されたＧＯＰ、あるいは動きベクトル予測部108から入力されたＧＯＰに対して、符号化番号順に連続する２つの画像において、例えば１６×１６画素のブロック毎に相関が高い領域を探索し、画像間のベクトル値である動きベクトルを算出する。

さらに、動き探索部105は、算出した動きベクトルと入力されたＧＯＰをフィルタ部106に出力する。

また、動きベクトル予測部108から動きベクトルが入力された場合には、入力された動きベクトルをフィルタ部106に出力し、動き探索処理は行わないものとする。

ステップ204では、フィルタ処理が行われる。

フィルタ部106は、入力された２つの画像と動きベクトルを用いて、連続する２つの画像に対して順次動き補償付きフィルタ処理を行い、低周波画像と高周波画像に分割する。

図5は上記フィルタ処理の概念図を示したものである。

図5において、501、502は符号化番号2k-1、2kの原画像を示し（本実施例においてはk=1,2,3,4）、503,506は加算器であり、504はＰＲＥＤＩＣＴ処理部、505はＵＰＤＡＴＥ処理部、507は高周波画像h[k]、508は低周波画像l[k]を示す。

数式2は図5に図示したフィルタ処理を数式化した数式である（以下）。

数式2において、h[k]は高周波画像、l[k]は低周波画像、s[2k]は符号化番号2kの原画像、P(s[2k])は原画像sに対するPREDICT処理、U(h[k])は高周波画像h[k]に対するUPDATE処理である。mvは動きベクトルを示すベクトル値、xは２次元空間座標を示すベクトル値である。

図5と数式2に従い、高周波画像h[k]の生成は、２つの原画像間で動き補償を用いた残余画像を生成することにより行なう。

逆に低周波画像l[k]の生成は、奇数番目の原画像に高周波画像の一部を加算することにより行なう。

一般に動きベクトルの精度が高いほど、高周波画像のデータ量は小さくなり、符号化効率が高くなる。

数式2において、高周波画像、低周波画像の生成方法は一例であり、高周波画像と低周波画像とを生成できれば、他の算出式を用いても良い。

なお、本実施例では２つの画像を用いて片方向の動き予測を行なっているが、３つの画像を用いて２つの動きベクトルを算出する両方向の動き予測を適用することも可能である。

この場合の動作については、本実施例の２つの画像を用いて片方の動き予測を行う実施例から想定できるため、ここでは省略する。

図6は上記フィルタ処理により原画像から低周波画像と高周波画像を生成する際の概念図である。

図6において図3と同じブロックに対しては、図3と同一の番号を付与し説明は省略する。

601、602はそれぞれ原画像311と315のフィルタ処理により生成した低周波画像と高周波画像であり、第1レベルのフィルタ処理に相当する。

604と605はそれぞれ低周波画像601と603のフィルタ処理により生成した低周波画像と高周波画像を示し、第２レベルのフィルタ処理に相当する。

607と608はそれぞれ低周波画像604と606のフィルタ処理により生成した低周波画像と高周波画像と示し、第3レベルのフィルタ処理に相当する。

同様に609,610,611は第1レベルの高周波画像、612は第２レベルの高周波画像である。

上記フィルタ処理は、最終レベルのフィルタ処理になるまで行われる。

ここで、最終レベルのフィルタ処理とは、あるレベルのフィルタ処理を行った後に生成される低周波画像が１つとなった場合のフィルタ処理のことである。

ステップ205では、最終レベル判定処理が行われる。

フィルタ処理最終レベル判定部（図示なし）は、フィルタ処理が最終レベルか判定を行なう。

フィルタ部106は処理後に生成される低周波画像が１つとなった場合最終レベルとして判定し、最終レベルの場合には、低周波画像を動きベクトル予測部108に出力し、高周波画像を係数符号化部109に出力し、処理をステップ207に移動する。

最終レベルで無い場合には、処理をステップ207に移動する。

このように、カメラ間の距離の差分が大きいカメラペアを先に動き予測することにより、最終レベルに行くほど差分情報が小さくなる。

これは、最終レベルに行くほど、カメラペア間の距離が小さくなるためである。

そのため、例えば、図６のカメラ８の画像を復号化する場合、画像６０８、画像６１２は、情報量が少ないため、復号化は不要となる。

よって、差分情報の最も多い画像６１１と、画像６０７とを用いれば、画像カメラ８の画像を復号化することが可能になる。

ステップ206では、低周波画像選択処理が行われる。

第Ｎレベルのフィルタ処理によって生成された低周波画像のみ選択し、第Ｎ＋１レベルのＧＯＰとして再構成し、再構成したＧＯＰと動きベクトルを動きベクトル予測部108に出力する。

動きベクトル予測部108は、第Ｎレベルの動きベクトルとカメラパラメタを用いて第Ｎ＋１レベルの動きベクトルを予測し、動きベクトルを動き探索部105に出力する。

動きベクトルの予測方法として、例えば、カメラ間の距離に比例して動きベクトルを線形補完処理する方法など、さまざまな方法が利用可能である。

ステップ207では、係数符号化処理が行われる。

係数符号化部107は、入力された低周波画像、高周波画像、動きベクトル、カメラパラメタ、さらに、符号化順序とカメラ番号を対応付けた画像構成情報に対して係数符号化処理を行い符号化データの生成を行う。

この符号化データ構造は、図７により示される。

図７において、７０１は動きベクトルの符号化データ、７０２はカメラパラメタおよび画像構成情報の符号化データ、７０３と７０４は第3レベルの低周波画像607および高周波画像608の符号化データ、７05と７06は第２レベルの高周波画像605と612の符号化データ、７０７,７０８,７０９、７１０は第1レベルの高周波画像609、610、611の符号化データを示す。なお、符号化データ構造は一例である。

以上のように、本実施例に記載の符号化装置では、カメラの配置情報を示すカメラパラメタを使用して複数原画像の符号化順序を決定し、この決定された符号化順序に従い、複数の原画像に対して動き補償フィルタリング処理を行うことによって、複数カメラの画像をカメラ配置情報に応じた符号化順序で符号化することができる。

本実施例に記載の符号化装置によれば、上記構成をとることにより、カメラ間の距離の差分が小さいカメラペアを先に動き予測することができ、単純ＭＣＦＴ適用符号化に比べて、先に符号化したものに情報量を偏らせることができる。

これにより、単純ＭＣＦＴ適用符号化よりも、さらに符号化効率を向上させることが可能である。

なお、本実施例における係数符号化処理は、係数の発生確率を利用した可変長符号化処理を行うものとする。係数符号化部107は、係数符号化後の符号化データをデータ出力部109に出力する。なお、係数符号化処理は、可変長符号化処理に限らず、ＤＣＴやＤＷＴなどの直交変換後に算術符号化するなど、符号化データ生成に係わる方法であればいかなる方法も利用可能である。

なお、上記単純ＭＣＴＦ適用符号化装置に関しても、上記図１のＧＯＰ算出部において、最も小さいカメラ間の距離差分に応じて符号化順番を決定することで（例えば、図３においては、画像３１１と画像３１２、画像３１３と画像３１４等のペアで並べていく）、実現可能である。

その他の構成の詳細に関しては、上記実施例１記載の発明と同様であるため、ここでは省略する。

なお、本実施例では、符号化装置について説明したが、各構成要素により行われる処理手順に従って上記符号化装置と同様の作用効果を奏する符号化方法についても考え得る。

また、上記符号化装置と同様の作用効果を得るために、各構成要素を有機的に動作させ、この符号化方法を実行させるためのプログラムも考え得る。

また、上記符号化装置と同様の作用効果を得るために、各構成要素を有機的に動作させ、この符号化方法を実行させる集積回路についても同様である。

（実施の形態２）
本実施例では、符号化データから所定のカメラに対応する符号化データを選択し、選択された符号化データから動きベクトルと低周波画像および高周波画像を復号化し、この周波数画像と前記動きベクトルを用いて逆動き補償フィルタ処理により、所定のカメラ画像を復号化することで、所定カメラに対応する符号化データのみを復号化して所定カメラの画像を高速に復号化する復号化装置について説明する。

図8は多視点画像復号化装置の構成を示した図である。

以下、本実施例の復号化装置について詳述する。

図8において、データ選択部804と係数復号化部805と逆動き補償フィルタ部８０９とで構成される多視点画像復号化装置801は、データ入力部802とカメラ番号入力部803とデータ出力部808とに接続された形態をとる。

ここで、上記逆動き補償フィルタ部８０９は、動きベクトル算出部806とフィルタ部807とにより構成される。

図8において、データ入力部802は符号化データをデータ選択部804に出力する。

カメラ番号入力部803は、ユーザが選択したカメラ番号を復号化データ選択部804に出力する。

データ選択部804はデータ入力部802から入力された符号化データとカメラ番号入力部803から入力されたカメラ番号を用いて、入力カメラ番号に対応する画像の復号化に必要な符号化データを選択し係数復号化部805に出力する。

係数復号化部805は、データ選択部804より入力された符号化データから、低周波画像、高周波画像、カメラパラメタおよび全動きベクトルを復号化し、動きベクトル算出部806に出力する。

動きベクトル算出部806は動きベクトルとカメラパラメタを用いて、入力カメラ番号に対応する画像復号化に必要な動きベクトルを算出し、低周波画像、高周波画像、カメラパラメタおよび動きベクトルをフィルタ部807に出力する。

フィルタ部807は、低周波画像、高周波画像および動きベクトルを用いて画像を復号化し、データ出力部808に出力する。

次いで、上記構成を有する多視点画像復号化装置801の動作について、図9に示すフロー図を用いて説明する。

なお、図9示すフロー図の動作は、多視点画像復号化装置801の図示しない記憶装置（例えばＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、図示しないＣＰＵによって制御される。

ステップ901では、データ入力処理が行われる。

まず、データ入力部802は符号化データを復号化データ選択部804に出力する。

さらにカメラ番号入力部803は、ユーザが選択したカメラ番号を復号化データ選択部804に出力する。

ステップ902では、データ選択処理が行われる。

データ選択部804はデータ入力部802から入力された符号化データとカメラ番号入力部803から入力されたカメラ番号を用いて、入力カメラ番号に対応する画像の復号化に必要な符号化データを選択し係数復号化部805に出力する。

カメラ番号Ｎに対応する画像の復号化に必要な符号化データは、１．動きベクトル、２．カメラパラメタ、３．第Ｌレベルでの低周波画像（カメラ数ＮとするとN=2のL乗）、４．カメラ番号に対応する位置の高周波画像である。

例えば本実施例では、カメラ番号8が入力されたものとする。

この場合、画像構成情報を用いて、カメラ番号８の復号化に必要な符号化データである、動きベクトル701、カメラパラメタ702、第3レベルの低周波画像703および第1レベルの高周波画像710を選択し、係数復号化部805に上記符号化データを出力する。

ステップ903では、係数復号化処理が行われる。

係数復号化部805は、データ選択部804から入力された低周波画像、高周波画像、動きベクトル、カメラパラメタの符号化データを復号化し、復号化後の低周波画像、高周波画像、動きベクトル、カメラパラメタを動きベクトル算出部806に出力する。

ステップ904では、仮想動きベクトル算出処理が行われる。

動きベクトル算出部806は、係数復号化部805から入力された動きベクトルとカメラパラメタを用いて、低周波画像から特定カメラ番号までの仮想動きベクトルを算出し、仮想動きベクトルを逆フィルタ部807に出力する。

仮想動きベクトルの算出方法を数式３に示す（以下）。

数式３において、MV(x)は２次元空間座標ｘにおける仮想動きベクトル、mv_i(x)は第iレベルにおける特定画像に関連する２次元空間座標xにおける動きベクトル、Ｎはフィルタ処理のレベル数である。

数式３のように、特定カメラ番号に対応する高周波画像から動きベクトルを累積加算していくことにより、最大レベルの高周波画像までの仮想動きベクトルを算出する。

なお、仮想動きベクトルの算出は数式３以外の方法でも良く、例えば第1レベルの動きベクトルのみを用いることも可能である。

ステップ905では、フィルタ処理が行われる。

逆フィルタ部807では、動きベクトル算出部806から入力された低周波画像、高周波画像、仮想動きベクトルを用いて逆フィルタ処理を行うことにより、特定カメラの画像を復号化する。

図10は逆フィルタ処理を図示した模式図である。

図10において、1007は高周波画像、1008は低周波画像、1005はＵＰＤＡＴＥ処理部、1004はＰＲＥＤＩＣＴ処理部、1003および1006は加算部、1001は高周波画像の位置に対応する復号化画像、1002は低周波画像の位置に対応する復号化画像である。ＵＰＤＡＴＥ，ＰＲＥＤＩＣＴ処理に関しては、数式2と同様の処理を行う。

図１２は、逆フィルタ前の画像の概念図である。

ここで、図１２における第Ｎレベル画像ペアには、便宜上、図６における第Ｎレベル画像ペアと同じ番号を付してある。

例えば、特定カメラ８番の復号化画像を得る場合には、図１２においてカメラ8番に対応するのは高周波画像1211であるため、復号化画像は1001となる。逆に特定カメラが1番の場合は、図12においてカメラ1番に対応するのは低周波画像1207であるため、復号化画像は1002となる。

本実施例のポイントとなる画像の復号化について図１２を用いて、以下、詳述する。

図１３は、上記実施例１における単純ＭＣＦＴ適用符号化により符号化された画像を復号化する復号化装置（以下、単純ＭＣＦＴ適用復号化装置）の逆フィルタ前の画像の概念図である。

図１３中の第１レベル画像ペアに付された番号（例えば、画像１３１１の番号１）は、図３に示すカメラ番号である。

つまり、画像１３１１は、カメラ１により撮影された画像である。

この単純ＭＣＦＴ適用復号化装置において、例えば、カメラ８により撮影された画像にアクセスすることを考える。

単純ＭＣＦＴ適用符号化では、図１３の第１レベル画像ペアに示すように、圧縮率を高めるため、カメラ間の距離の差分が小さい画像ペアを符号化する。

これにより、復号化する場合、画像１３２７、１３２８、１３３２、１３３１の４フレームの復号が必要となる。

本実施例１記載の符号化によれば、このように、カメラ間の距離の差分が大きいカメラペアを先に動き予測することにより、最終レベルに行くほど差分情報が小さくなる。

これは、最終レベルに行くほど、カメラペア間の距離が小さくなるためである。

そのため、例えば、図１２のカメラ８の画像を復号する場合、画像６０８、画像６１２は、情報量が少ないため、復号化は不要となる。

よって、差分情報の最も多い画像６１１と、画像６０７とを用いれば、画像カメラ８の画像を復号化することができ、単純ＭＣＦＴ適用復号化装置よりもさらに復号化を高速に行うことができる。

以上のように、本実施例の復号化装置では、符号化データから所定のカメラに対応する符号化データを選択し、選択された符号化データから動きベクトルと低周波画像および高周波画像を復号化し、この周波数画像と前記動きベクトルを用いて逆動き補償フィルタ処理により、所定のカメラ画像を復号化することで、所定カメラに対応する符号化データのみを復号化して所定カメラの画像を高速に復号化することができる。

これにより、例えば、多視点画像復号化装置において、あるカメラの画像へのランダムアクセスを可能にすることができる。

なお、本実施例では、復号化装置について説明したが、各構成要素により行われる処理手順に従って上記復号化装置と同様な作用効果を奏する復号化方法についても考え得る。

また、上記復号化装置と同様の作用効果を得るために、各構成要素を有機的に動作させ、この復号化方法を実行させるためのプログラムも考え得る。

また、上記復号化装置と同様の作用効果を得るために、各構成要素を有機的に動作させ、この復号化方法を実行させる集積回路についても同様である。

本発明によって、任意のカメラ画像へランダムアクセスを容易にする符号化装置、復号化装置を提供することができる。

実施例１に係る多視点画像符号化装置の構成を示す図 実施例１に係る多視点画像符号化処理のフローを示す図 実施例１に係るGOP算出処理の概念図 実施例１に係るＧＯＰ算出処理のフローを示す図 実施例１に係るフィルタ処理の概念図 実施例１に係るフィルタ処理後の画像の概念図 実施例１に係る符号化データのデータ構造を示す図 実施例２に係る多視点画像復号化装置の構成を示す図 実施例２に係る多視点画像復号化処理のフローを示す図 実施例２に係る逆フィルタ処理の概念図 従来文献１のフレーム構成を示す図 実施例２に係る逆フィルタ処理前の画像の概念図 単純ＭＣＴＦ適用復号装置の逆フィルタ処理前の画像の概念図 ＧＯＰ算出部の詳細図

符号の説明

１０１ 多視点画像符号化装置
１０２ カメラ画像入力部
１０３ カメラパラメタ入力部
１０４ ＧＯＰ算出部
１０５ 動き探索部
１０６ フィルタ部
１０７ 係数符号化部
１０８ 動きベクトル予測部
１０９ データ出力部
１１０ 動き補償フィルタ部
３０１，３０２，３０３，３０４ 第１レベル画像ペア
３０５，３０６ 第２レベル画像ペア
３０７ 第３レベル画像ペア
３０８ 第３レベルカメラ距離
３０９ 第２レベルカメラ距離
３１０ 第１レベルカメラ距離
３１１ 原画像１
３１２ 原画像２
３１３ 原画像３
３１４ 原画像４
３１５ 原画像５
３１６ 原画像６
３１７ 原画像７
３１８ 原画像８
３１９ 撮像対象物体
３２０ カメラ１
３２１ カメラ２
３２２ カメラ３
３２３ カメラ４
３２４ カメラ５
３２５ カメラ６
３２６ カメラ７
３２７ カメラ８
５０１，５０２ 原画像
５０３，５０６ 加算部
５０４ ＰＲＥＤＩＣＴ処理部
５０５ ＵＰＤＡＴＥ処理部
５０７ 高周波画像
５０８ 低周波画像
６０１，６０３ 第１レベル低周波画像
６０２，６０９，６１０，６１１ 第１レベル高周波画像
６０４，６０６ 第２レベル低周波画像
６０５，６１２ 第２レベル低周波画像
６０７ 第３レベル低周波画像
６０８ 第３レベル高周波画像
７０１ 動きベクトル符号化データ
７０２ カメラパラメタ，画像構成情報符号化データ
７０３ 第３レベル低周波画像符号化データ
７０４ 第３レベル高周波画像符号化データ
７０５，７０６ 第２レベル高周波画像符号化データ
７０７，７０８，７０９，７１０ 第１レベル高周波画像符号化データ
８０１ 多視点画像復号化装置
８０２ データ入力部
８０３ カメラ番号入力部
８０４ データ選択部
８０５ 係数符号化部
８０６ 動きベクトル算出部
８０７ フィルタ部
８０８ データ出力部
８０９ 逆動き補償フィルタ部
１００１，１００２ 復号化画像
１００３，１００６ 加算部
１００４ ＰＲＥＤＩＣＴ処理部
１００５ ＵＰＤＡＴＥ処理部
１００７ 高周波画像
１００８ 低周波画像

Claims (20)

1. 複数のカメラの配置情報を示すカメラパラメタに基づいて、前記複数のカメラによる画像の符号化順序を決定するＧＯＰ算出部と、
   前記ＧＯＰ算出部により決定された符号化順序に基づき符号化データを生成する係数符号化部と、
   を備える画像符号化装置。
2. 前記ＧＯＰ算出部により符号化順序が決定される画像は、前記複数のカメラそれぞれにおいて撮影される画像である、請求項１記載の画像符号化装置。
3. さらに、前記ＧＯＰ算出部は、前記カメラパラメタを用いてカメラ間の距離を算出するカメラ距離算出部と、
   前記カメラ間の距離が第1の条件を満たす距離である第1レベル距離であるか否かを判定する第1レベル距離判定部と、
   前記第１レベル距離にあると前記第1レベル距離判定部により判定される画像を第1レベル画像ペアとする第1レベル画像ペア生成部と、
   前記第１レベル画像ペアを並べることにより前記画像の符号化順序を決定する符号化順序決定部と、
   を備える請求項１又は請求項２記載の画像符号化装置。
4. 前記第1の条件は、前記複数のカメラがペアとなる組み合わせの中で、前記ペア間の距離が一定という条件である、請求項３記載の画像符号化装置。
5. 前記第１の条件は、前記複数のカメラがペアとなる組み合わせの中で、前記ペア間の距離の分散が最も小さいという条件である、請求項３記載の画像符号化装置。
6. さらに、前記ＧＯＰ算出部は、前記カメラパラメタを用いてカメラ間の視差を算出する視差算出部と、
   前記カメラ間の視差が第2の条件を満たす視差である第1レベルの視差であるか否かを判定する第1レベル視差判定部と、
   前記第１レベル視差にあると前記１レベル視差判定部により判定される画像を第1レベルの画像ペアとする第１レベル画像ペア生成部と、
   前記第１画像ペアを順番に並べることにより前記画像の符号化順序を決定する符号化順序決定部と、
   を備える請求項１又は請求項２記載の画像符号化装置。
7. 前記第２の条件は、前記複数のカメラがペアとなる組み合わせの中で、前記ペア間の視差が一定という条件である、請求項６記載の画像符号化装置。
8. 前記第２の条件は、前記複数のカメラがペアとなる組み合わせの中で、前記ペア間の視差の分散が最も小さい条件である、請求項６記載の画像符号化装置。
9. さらに、前記ＧＯＰ算出部は、前記符号化順序における所定画像のカメラ間の距離が第３の条件を満たす第２レベル距離であるか否かを判定する第2レベル距離判定部と、
   前記第２レベル距離にあると前記第2レベル判定部により判定される画像を第２レベル画像ペアとする第2レベル画像ペア生成部と、を備え、
   前記符号化順序決定部は、前記第２レベル画像ペアを含む前記第1レベルの画像ペアが連続して並ぶように、前記第1レベルの画像ペアを単位として画像の符号化順序を決定する、請求項３から請求項８いずれかに記載の画像符号化装置。
10. 前記第3の条件は、前記複数のカメラがペアとなる組み合わせの中で、前記ペア間の距離が一定、かつ、前記ペア間の距離が前記第1レベルの距離よりも小さいという条件である、請求項９記載の画像符号化装置。
11. 前記第３の条件は、前記複数のカメラがペアとなる組み合わせの中で、前記ペア間の距離の分散が最も小さい、かつ、前記ペア間の距離が前記第1レベルの距離よりも小さいという条件である、請求項９記載の画像符号化装置。
12. さらに、前記ＧＯＰ算出部において決定された符号化順序に基づき符号化される画像に対し、ウェーブレットフィルタリング処理を行うことにより低周波画像と高周波画像に分割する動き補償フィルタリング部を備える請求項１から請求項１１までのいずれかに記載の画像符号化装置。
13. 前記動き補償フィルタリング部は、フィルタリングにより得られる画像が１つの低周波画像になるまでフィルタリング処理を行う請求項１２記載の画像符号化装置。
14. 前記動き補償フィルタリング部は、前記カメラパラメタと他の前記第1レベルの画像ペアの動きベクトルとを用いて前記第1のレベルの画像ペアの動きベクトルを予測する動きベクトル予測部を備える請求項１３記載の画像符号化装置。
15. 前記係数符号化部は、前記ＧＯＰ算出部により決定された符号化順序と前記カメラの配置の関係を示す画像構成情報を符号化する請求項１から請求項１４までのいずれかに記載の画像符号化装置。
16. 符号化データから所定のカメラの画像復号化に必要な符号化データを選択する復号化データ選択部と、
    前記選択された符号化データを復号化して動きベクトルと複数の周波数画像を生成する係数復号化部と、
    前記周波数画像と前記動きベクトルを用いて逆動き補償フィルタリング処理を行うことで所定のカメラ画像を復号化する逆動き補償フィルタリング部と、
    を備える画像復号化装置。
17. さらに、所定の符号化順序と前記画像それぞれを撮影したカメラ番号とを対応付けた画像構成情報と、前記所定の符号化順序に並べられた複数の画像に対して低周波画像が１つになるまで行われるフィルタリング処理により得られる前記低周波数画像と前記カメラ番号に関連する高周波数画像と、が入力される入力部を備え、
    前記データ選択部は、前記低周波画像と前記高周波画像とを選択し、
    前記逆動き補償フィルタリング部は、前記データ選択部により選択される画像を用いて、前記高周波画像に関連するカメラ番号の画像を復号化する請求項１６に記載の画像復号化装置。
18. 前記逆動き補償フィルタリング部は、前記係数復号化部により復号化された低周波画像と高周波画像に対して、前記動きベクトルを用いて動き補償付きのウェーブレットフィルタ処理を行う請求項１６又は請求項１７記載の画像復号化装置。
19. 複数のカメラの配置情報を示すカメラパラメタに基づいて、前記複数のカメラによる画像の符号化順序を決定するＧＯＰ算出ステップと、
    前記ＧＯＰ算出ステップにより決定された符号化順序に基づき符号化データを生成する係数符号化ステップと、
    からなる画像符号化方法。
20. 符号化データから所定のカメラの画像復号化に必要な符号化データを選択するステップと、
    前記選択された符号化データを復号化して動きベクトルと複数の周波数画像を生成するステップと、
    前記周波数画像と前記動きベクトルを用いて逆動き補償フィルタリング処理を行うことで所定のカメラ画像を復号化するステップと、
    からなる画像復号化方法。

Images