JP2006309802A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】円筒状又は球面状の全方位画像についての圧縮・蓄積・再生などの処理を好適に行なう。
【解決手段】球面又は円筒面などの３次元座標系上にマッピングされた画像を、全方位の画素情報を少ない誤差で、情報量をなるべく等しく保ちつつ、冗長性が低くなるように２次元画像にマッピングする。全方位映像再生側の性能を考慮した形式で２次元画像に変換することが好ましい。元の全方位画像の３次元座標系とマッピングされた２次元画像座標系との対応関係を記述したマッピング情報を生成して、任意の視点方向からの全方位映像を合成する際に利用する。
【選択図】 図５

Description

本発明は、カメラにより撮影された映像データに対して圧縮、蓄積、再生などの処理を行なう画像処理装置及び画像処理方法に係り、特に、複数のカメラにより撮影された映像データを貼り合せて構成される画像に対して圧縮、蓄積、再生などの処理を行なう画像処理装置及び画像処理方法に関する。

さらに詳しくは、本発明は、複数のカメラにより撮影された映像データを貼り合せて非平面状に構成される画像に対して圧縮、蓄積、再生などの処理を行なう画像処理装置及び画像処理方法に係り、特に、空間中のある１つの点が視点として周囲の画像を撮影するように複数台のカメラが設置して構成される全方位カメラ又は全天球型カメラによる円筒状又は球面状の画像の処理を行なう画像処理装置及び画像処理方法に関する。

ユーザの周囲の風景画像を提供する装置として全方位カメラが知られている。この種の全方位映像システムは、例えば、空間中のある１つの点が視点として周囲の画像を撮影するように複数台のカメラが設置して構成される。複数のカメラからなる全方位映像システムは、隣り合うカメラの撮像画像の境界同士をうまく接続することによって、個々のカメラの視野よりもはるかに広い領域の画像を、あたかも単一の広角度カメラで撮像したかのような画像を生成する画像処理を行う。

視野角の広いレンズを用いればカメラは広範囲を撮像することができるが、その分だけ解像度が低下して細部が見えづらくなる。これに対し、全方位映像システムによれば、広範囲の撮像画像を高解像度のまま提供することができる。

このような全方位型の映像を用いることにより、視点自由形の映像を視聴することができる。例えば、キャラクタ（登場人物）が空間を自由に動き回るようなテレビ・ゲームにおいて、任意の視点からの背景画面を表示させることができるので、より現実的な映像を介してゲームを楽しむことができ、エンターティンメント性が高まる。

また、全方位映像は、通常の映像に比し大容量であるが、インタラクティブ性に優れていることから、ブロードバンド・ネットワーク時代の新しいコンテンツとして有望である。

全方位映像システムに関しては既に幾つかの提案がなされている。例えば、ユーザの指定に応じて視点、視線方向を連続的に変化させたパノラマ映像を表示することができるパノラマ映像編集装置について開示されている（例えば、特許文献１を参照のこと）。このパノラマ映像編集装置は、空間内を任意の軌跡を描いて移動する点を視点としてその周囲を撮影した画像の画像データを基に各視点毎のパノラマ画像を合成して、各パノラマ画像に連続した視点位置情報を設定する。再生時には、表示画像の視点位置や視線方向の情報と、ユーザが入力する視点と視線の移動方向の情報から、表示画像の空間内における位置を計算して、表示画像を合成するようになっている。

しかしながら、従来、表示装置としてテレビなどの高画質なものや任意視点映像の合成に関してリアルタイム性が要求されるような状況を特に想定していなかった。また、画像の表示・再生側の性能や条件を考慮して全方位映像を蓄積する方法に関しては何ら言及されていない。また、内側から任意視点方向を見るだけでなく、外側からの利用を考慮した画像蓄積方法に関して考慮されていない。

特開平９−６２８６１号公報

本発明の目的は、複数のカメラにより撮影された映像データを貼り合せて非平面状に構成される画像に対して圧縮、蓄積、再生などの処理を好適に行なうことができる、優れた画像処理装置及び画像処理方法を提供することにある。

本発明のさらなる目的は、空間中のある１つの点が視点として周囲の画像を撮影するように複数台のカメラが設置して構成される全方位カメラ又は全天球型カメラによる円筒状又は球面状の画像の処理を好適に行なうことがで切る、優れた画像処理装置及び画像処理方法を提供することにある。

本発明のさらなる目的は、全方位映像のような非平面画像を、表示・再生側の性能を考慮して蓄積処理することができる、優れた画像処理装置及び画像処理方法を提供することにある。

本発明は、上記課題を参酌してなされたものであり、その第１の側面は、３次元座標系で表される非平面画像を処理する画像処理装置又は画像処理方法であって、
３次元座標系で表される非平面画像を２次元平面にマッピングする２次元平面画像マッピング手段又はステップと、
元の非平面画像を表す３次元座標系とマッピングされた２次元画像座標系との対応関係を記述したマッピング情報を生成するマッピング情報生成手段又はステップと、
を具備することを特徴とする非平面画像の画像処理装置又は画像処理方法である。

ここで、３次元座標系で表される非平面画像とは、例えば球面状の全方位画像のことである。このような場合、前記２次元平面画像マッピング手段は、全方位の画素情報を少ない誤差で、情報量をなるべく等しく保ちつつ、冗長性が低い２次元画像に変換することが好ましい。また、全方位映像を読み込むシステム側の性能を考慮した形式で２次元画像に変換することが好ましい。

また、２次元画像マッピング情報は、元の全方位画像の３次元座標系（Θ，Φ，ｒ）と、マッピングされた２次元画像座標系（ＴＸ，ＴＹ）との対応関係を記述した情報のことであり、任意の視点方向からの全方位映像を合成する際に必要となる。２次元画像マッピング情報は、全方位映像を外側から見るときに、任意の形状で再生するために必要な情報である。

前記２次元平面画像マッピング手段又はステップは、２次元平面の横方向に球面の水平方向の角度を、縦方向に球面の垂直方法の角度を、それぞれ等間隔で割り当てるようにしてもよい。この場合、前記マッピング情報生成手段は、２次元平面画像の各行及び列に割り当てた球面上の水平方向及び垂直方向の角度で記述されたマッピング情報を生成するようにしてもよい。

このようなマッピング方法による場合、空間的又は時間的相関が高く、また、球面から２次元平面への変換式すなわち２次元マッピング情報が簡単であるという利点がある。また、マッピングされた２次元平面画像から元の全方位画像の全体像を人間が把握し易い。但し、マッピングされた２次元平面の上下部（地図で言えば極部）では歪みが大きくなり（密度が赤道付近に比べて低くなり）、すべての方向について各画素に含まれる情報が等しく保つことはできない。

あるいは、前記２次元平面画像マッピング手段は、球面の水平方向及び／又は垂直方向の角度を、２次元平面の横方向及び／又は縦方向に任意の間隔で割り当てるようにしてもよい。例えば、横方向及び縦方向がある角度範囲で区切られた領域の密度すなわち情報量を高めるなどの柔軟性を持たせることができる。このときの２次元画像マッピング情報は、各行と列に割り当てた角度となる。

また、３次元座標系で表される非平面画像は球面状の全方位画像であるとき、前記２次元平面画像マッピング手段又はステップは、面積比率が正しくなるように球面を円筒に投影して、該円筒を平面に展開して２次元平面画像にマッピングするようにしてもよい。

このようなマッピング方法によれば、正積ゆえ各画素に含まれる情報量が等しくなる、空間的又は時間的相関関係が高い、球面から２次元平面への変換式すなわち２次元画像マッピング情報が簡単であるという利点がある。

また、前記２次元平面画像マッピング手段又はステップは、３次元座標系で表される非平面画像をすべての方向について各画素に含まれる情報量が等しく保たれるように２次元平面画像にマッピングするようにしてもよい。

例えば、３次元座標系で表される非平面画像が球面状の全方位画像である場合に、前記２次元平面画像マッピング手段は、球のｚ軸を等間隔に平行な平面で切ったときに隣接する平面で挟まれる球面上の面積は一定となるという定理を利用して、３次元極座標系でＺ軸方向に等間隔な範囲で区切られる球面上の領域を、２次元直交座標系で等間隔な範囲で区切られる帯状の平面領域にランダムにマッピングするようにすることで、球面から均一に画素をサンプリングすることができるということを挙げることができる。

但し、このようなマッピング方法では、計算処理が多少かかる、２次元平面へのマッピング画像からは元の全方位画像の全体像を把握しにくいなどの欠点を伴う。また、２次元画像マッピング情報は画素単位で記述されるので、全方位映像の表示・再生を領域毎に行なう方式では使えない。また、ランダムな場所の画素にマッピングされているので、２次元画像から全方位映像の表示・再生する際に、点（Θ，Φ）の画素値を補間するためには、隣接画素を効率的に探索しなければならない。

また、前記２次元平面画像マッピング手段又はステップは、１行がｗ画素からなる２次元平面画像のｉ行ｊ列目に、Ｈａｍｍｅｒｓｌｅｙ Ｓｅｑｕｅｎｃｅを用いてｉｗ＋ｊ番目に全方位画像から抽出した点をマッピングすることによって、３次元座標系で表される非平面画像をすべての方向について各画素に含まれる情報量がより等しく保たれるように２次元平面画像にマッピングするようにすることができる。

但し、このようなマッピング方法では、計算処理が多少かかる、２次元平面へのマッピング画像からは元の全方位画像の全体像を把握しにくいなどの欠点を伴う。また、２次元画像マッピング情報は画素単位で記述されるので、全方位映像の表示・再生を領域毎に行なう方式では使えない。また、隣接画素は必ずしも隣接してマッピングされないので、２次元画像から全方位映像の表示・再生する際に、点（Θ，Φ）の画素値を補間するためには、隣接画素を効率的に探索しなければならない。

また、３次元座標系で表される非平面画像が円筒状の全方位画像である場合には、前記２次元平面画像マッピング手段又はステップは、該円筒を縦に切って長方形に展開し、さらに該長方形画像を等分割して分割された各断片を上から順に配置して、規定のフォーマット・サイズに適合させるようにしてもよい。

また、本発明の第１の側面に係る非平面画像の画像処理装置又は画像処理方法は、マッピングされた２次元平面画像情報を所定の圧縮フォーマットで圧縮する画像圧縮手段又はステップをさらに備えていてもよい。

動画に対しては、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３、Ｈ．２６１、ＡＶＩ、Ｍｏｔｉｏｎ ＪＰＥＧなど、また、静止画に対しては、ＪＰＥＧ、ＧＩＦ、ＰＮＧ、ＢＭＰ、ＴＩＦＦなどの圧縮フォーマットを採用することができる。

例えば、面積比率が正しくなるように球面状の全方位映像を円筒に投影して、該円筒を平面に展開して２次元平面画像にマッピングする場合には、２次元平面画像情報に画素がマッピングされていない未使用領域ができてしまう。このような未使用領域に対して同じ画素値を割り当てることにより、空間的、時間的な相関関係が高まるので、圧縮率を高めることができる。

既に述べたように、マッピング情報は、任意の視点方向から全方位映像を合成するために必要なデータである。そこで、本発明の第１の側面に係る非平面画像の画像処理装置又は画像処理方法は、前記２次元平面画像マッピング手段又はステップによりマッピングされた２次元平面画像あるいは圧縮画像と、前記マッピング情報生成手段又はステップにより生成されたマッピング情報とを１組としたデータ・フォーマットに変換するデータ・フォーマット変換手段又はステップをさらに備えていてもよい。

また、このデータ・フォーマット変換手段又はステップは、映像情報と同期がとれるような形式で音声情報をインターリーブして挿入するようにしてもよい。

また、データ・フォーマット変換手段又はステップは、前記２次元平面画像マッピング手段又はステップが採用するマッピング方法が切り換わる度に、フレームの先頭にマッピング情報を挿入するようにしてもよい。

また、本発明の第２の側面は、２次元平面画像にマッピングされた３次元座標系の非平面画像を映像表示する画像処理装置又は画像処理方法であって、
視点方向及び／又はズーム値を指定する指示手段又はステップと、
２次元平面画像にマッピングしたときのマッピング情報を用いて該指定された視点方向及び／又はズーム値に従った任意視点方向の３次元形状映像を生成する映像生成手段又はステップと、
を具備することを特徴とする非平面画像の画像処理装置又は画像処理方法である。

ここで、前記映像生成手段又はステップは、２次元平面にマッピングされている非平面画像から、所定の映像表示装置が持つ２次元表示画面への再マッピングを行なう。

前記映像生成手段又はステップは、視点方向映像の各画素について視点方向及び／又はズーム値から極座標を計算する手段又はステップと、２次元画像マッピング情報を参照して極座標を全方位画像座標に変換する手段又はステップとを備え、任意視点方向の全方位映像を画素単位で合成処理するようにしてもよい。

あるいは、前記映像生成手段又はステップは、２次元画像マッピング情報を用いて全方位映像に含まれるプリミティブの各頂点について全方位画像座標を極座標に変換する手段又はステップと、視点方向及び／又はズーム値から極座標を視点方向画像座標に変換する手段又はステップと、全方位映像をテクスチャとしてプリミティブ単位で視点方向画像を生成する手段又はステップとを備え、任意視点方向の全方位映像を領域単位で合成処理するようにしてもよい。

また、前記映像生成手段又はステップは、全方位画像の隣接画素を基に画素を補間する手段又はステップをさらに備えていてもよい。また、画素補正に際し、全方位画像の左右両端付近に、他端から所定幅だけ複製した画素領域を配設することで、画素補正されない途切れの出現を防止することができる。

また、前記映像生成手段又はステップは、２次元マッピングされた全方位画像の各画素について隣接画素を検索するためのルックアップ・テーブルを作成する手段又はステップと、視点方向映像の各画素について視点方向及びズーム値から極座標を計算する手段又はステップと、前記ルックアップ・テーブルを参照して視点方向映像の画素に対応する極座標に隣接する画素を探索する手段又はステップと、隣接画素を用いて極座標を画素補間する手段又はステップと、２次元画像マッピング情報を参照して、極座標を全方位画像座標に変換する手段又はステップを備えていてもよい。

このような前記映像生成手段又はステップは、球のｚ軸を等間隔に平行な平面で切ったときに隣接する平面で挟まれる球面上の面積は一定となるという定理を利用して、３次元極座標系でＺ軸方向に等間隔な範囲で区切られる球面上の領域を、２次元直交座標系で等間隔な範囲で区切られる帯状の平面領域にランダムにマッピングされた２次元平面画像や、Ｈａｍｍｅｒｓｌｅｙ Ｓｅｑｕｅｎｃｅを用いてｉｗ＋ｊ番目に全方位画像から抽出した点をマッピングすることによって、３次元座標系で表される非平面画像をすべての方向について各画素に含まれる情報量がより等しく保たれるようにマッピングされた２次元平面画像から、任意視点方向の全方位映像を合成することができる。

また、前記映像生成手段は、任意視点方向映像合成時に視点が内側にあるときに各種レンズのカメラで撮影した映像を擬似的に実現することができる。例えば、元はピンホール・カメラで撮影した映像で構成される全方位映像を基に、魚眼レンズで撮影したような視点画像を合成することができる。

また、前記映像生成手段は、任意視点方向映像合成時に視点が外側にあるときに任意の３次元形状の全方位映像を生成するようにしてもよい。例えば、多面体などの外側に視点を指定することで、多面体の表面に全方位映像を貼り付けることができる。これによって、従来にないＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）や利用が可能になると期待される。

また、本発明の第３の側面は、３次元座標系で表される非平面画像の処理をコンピュータ・システム上で実行するように記述されたコンピュータ・ソフトウェアをコンピュータ可読形式で物理的に格納した記憶媒体であって、前記コンピュータ・ソフトウェアは、
３次元座標系で表される非平面画像を２次元平面にマッピングする２次元平面画像マッピング・ステップと、
元の非平面画像を表す３次元座標系とマッピングされた２次元画像座標系との対応関係を記述したマッピング情報を生成するマッピング情報生成ステップと、
を具備することを特徴とする記憶媒体である。

また、本発明の第４の側面は、２次元平面画像にマッピングされた３次元座標系の非平面画像を映像表示するための処理をコンピュータ・システム上で実行するように記述されたコンピュータ・ソフトウェアをコンピュータ可読形式で物理的に格納した記憶媒体であって、前記コンピュータ・ソフトウェアは、
視点方向及び／又はズーム値を指定する指示ステップと、
２次元平面画像にマッピングしたときのマッピング情報を用いて該指定された視点方向及び／又はズーム値に従った任意視点方向の３次元形状映像を生成する映像生成ステップと、
を具備することを特徴とする記憶媒体である。

本発明の第３及び第４の各側面に係る記憶媒体は、例えば、さまざまなプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ・ソフトウェアをコンピュータ可読な形式で提供する媒体である。このような媒体は、例えば、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）やＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＦＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ）、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｃ）などの着脱自在で可搬性の記憶媒体である。あるいは、ネットワーク（ネットワークは無線、有線の区別を問わない）などの伝送媒体などを経由してコンピュータ・ソフトウェアを特定のコンピュータ・システムに提供することも技術的に可能である。

このような記憶媒体は、コンピュータ・システム上で所定のコンピュータ・ソフトウェアの機能を実現するための、コンピュータ・ソフトウェアと記憶媒体との構造上又は機能上の協働的関係を定義したものである。換言すれば、本発明の第３及び第４の各側面に係る記憶媒体を介して所定のコンピュータ・ソフトウェアをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１及び第２の各側面に係る非平面画像の画像処理装置又は画像処理方法と同様の作用効果を得ることができる。

また、本発明の第５の側面は、３次元座標系で表される非平面画像の処理をコンピュータ・システム上で実行するように記述されたコンピュータ・プログラムであって、
３次元座標系で表される非平面画像を２次元平面にマッピングする２次元平面画像マッピング・ステップと、
元の非平面画像を表す３次元座標系とマッピングされた２次元画像座標系との対応関係を記述したマッピング情報を生成するマッピング情報生成ステップと、
を具備することを特徴とするコンピュータ・プログラムである。

また、本発明の第６の側面は、２次元平面画像にマッピングされた３次元座標系の非平面画像を映像表示するための処理をコンピュータ・システム上で実行するように記述されたコンピュータ・プログラムであって、
視点方向及び／又はズーム値を指定する指示ステップと、
２次元平面画像にマッピングしたときのマッピング情報を用いて該指定された視点方向及び／又はズーム値に従った任意視点方向の３次元形状映像を生成する映像生成ステップと、
を具備することを特徴とするコンピュータ・プログラムである。

本発明の第５及び第６の各側面に係るコンピュータ・プログラムは、コンピュータ・システム上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第５及び第６の各側面に係るコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１及び第２の各側面に係る非平面画像の画像処理装置又は画像処理方法と同様の作用効果を得ることができる。

本発明によれば、複数のカメラにより撮影された映像データを貼り合せて非平面状に構成される画像に対して圧縮、蓄積、再生などの処理を好適に行うことができる、優れた画像処理装置及び画像処理方法を提供することができる。

また、本発明によれば、空間中のある１つの点が視点として周囲の画像を撮影するように複数台のカメラが設置して構成される全方位カメラ又は全天球型カメラによる円筒状又は球面状の画像の処理を好適に行うことができる、優れた画像処理装置及び画像処理方法を提供することができる。

また、本発明によれば、全方位映像のような非平面画像を、表示・再生側の性能を考慮して蓄積処理することができる、優れた画像処理装置及び画像処理方法を提供することができる。

本発明によれば、圧縮フォーマット及び表示装置の性能に応じて全方位映像を編集することによって、表示・再生装置側で画質やリアルタイム性を高めることが可能である。

一般に、ネットワーク経由で送信する場合だけでなく、ＤＶＤなどの記録メディアから読み込む場合にも、ビットレートに制限が課されていることが多い。本発明により全方位映像のような非平面画像を圧縮・蓄積処理すれば、このような限られたビットレートの中に最大限の情報を詰め込むことが可能である。

また、本発明によれば、全方位映像から任意支店方向映像を合成するときに、各種レンズのカメラで撮影した映像を擬似的に再生することによって、さまざまな特殊効果に利用することができる。

また、本発明によれば、全方位映像を内側からだけでなく、外側から任意の形状で再生する機能を適用することによって、新しいＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）環境を提供することができる。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

以下、図面を参照しながら本発明の実施形態について詳解する。

Ａ．全方位映像生成システム
図１には、本発明の実施に供される全方位映像生成システム１０の構成を模式的に示している。同図に示すように、全方位映像生成システム１０は、全方位撮影装置１１と、全方位映像合成装置１２と、全方位映像蓄積装置１３で構成される。

全方位撮影装置１１は、Ｎ台のカメラが空間中のある１つの視点を中心にしてすべての方向の映像を撮影できるように配置して構成される。各カメラの配置構成例として、以下のものを挙げることができる。

（１）Ｎ台のカメラを放射状に配置した構成。例えば、正十二面体のような多面体の構成面の各々にピンホール・カメラを設置した構成。
（２）反射鏡を介して水平方向に分割撮影できるようにＮ台のカメラを配置した構成。
（３）魚眼レンズを用いて１台のカメラで半球を撮影する構成。
（４）魚眼レンズを用いたカメラを２台組み合わせて全方位（全天球）映像を撮影する構成。
（５）１台のカメラをその視点を中心に回転させて、全方位を撮影する構成。

Ａ−１．全方位撮影装置
図２には、上述した（１）を採用した全方位撮影装置１１の構成例を示している。この全方位撮影装置１１−１は、１２個の略正５角形の構成面からなる略正十二面体（Ｄｏｄｅｃａｈｅｄｒｏｎ）形状のフレームと、該フレームの各面上に１台ずつ配備された１１台のカメラ…で構成される。各カメラは、周囲の風景のうち、それぞれが担当する領域を撮像して周囲画像の一部として供給することができる。各カメラは、投影中心を持つピンホール・タイプのカメラであり、例えば、素子表面にマイクロレンズを組み込んだＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ：電荷結合素子）カメラでよい。フレームの底面に相当する構成面は台座として使用されている。台座の一側面からは、各カメラによる撮像画像データを外部出力するためのケーブル類が接続されている。各カメラの映像を貼り合わせることにより、球面状の全方位画像が得られる。

また、図３には、上述した（２）を採用した全方位撮影装置１１の構成例を示している。この全方位撮影装置１１−２は、所定の円周方向に略等間隔に配列された８台のカメラと、カメラ毎にその視線方向に配設された８枚の平面鏡が８角錐上に配設された反射部とで構成される。ここで、各カメラの投影中心が全方撮影装置１１−２の中央付近で一致するように、且つ、各カメラの視線方向が１つの水平面上で所定角度間隔を置くように、各カメラが配設されている。各平面鏡で反射された周囲の情景を、反射方向に向けられたカメラで撮影することにより、全方位撮影装置１１−２全体としては、水平方向３６０度の映像の鏡像を撮影することができる。各カメラの映像を反転、貼り合わせなどの処理を行なうことにより、円筒状の全方位画像が得られる。

図４に示すように、各カメラにそれぞれＶＴＲを接続することにより、合計８本の映像（及び音声）ストリームを記録することができる。これら記録された映像ストリームを、切り換え器を介してビデオ・キャプチャリングして、コンピュータ・データ（ビットマップ・ファイル）として、後段の全方位映像合成装置１２に取り込んで、球面や円筒への３次元画像マッピングなど各種のデータ加工を行なうことができる。

Ａ−２．全方位映像合成装置
図５には、全方位映像合成装置１２における機能構成を模式的に示している。同図に示すように、全方位映像合成装置１２は、レンズ歪・輝度・コントラスト・パースペクティブ補正部２１と、３次元座標系へのマッピング部２２と、２次元画像へのマッピング部２３と、動画・静止画圧縮部２４と、マッピング情報生成部２５と、全方位映像データ・フォーマット変換部２６とで構成される。

レンズ歪・輝度・コントラスト・パースペクティブ補正部２１は、全方位撮影装置１１によって撮影されたＮ台のカメラの映像データ（動画又は静止画）を入力して、各カメラのカメラ・パラメータを基に、レンズ歪補正、色補正、輝度補正、コントラスト補正、パースペクティブ補正などの処理を、フレーム単位で行なう。

３次元座標系へのマッピング部２２は、補正部２１によって補正されたＮ個の映像から同期のとれた静止画を１枚ずつ選択して、このＮ枚の画像と撮影に使われた対応するカメラのカメラ・パラメータを用いて、各画像を１つの３次元座標系（極座標系）において、球面又は円筒面上にマッピングする。

２次元画像へのマッピング部２３は、球面又は円筒面などの３次元座標系上にマッピングされた画像を２次元平面画像にマッピングする。全方位の画素情報を少ない誤差で、情報量をなるべく等しく保ちつつ、冗長性が低い２次元画像に変換することが好ましい。また、全方位映像を読み込むシステム（後述）側の性能を考慮した形式で２次元画像に変換することが好ましい。

なお、球面や円筒面などの３次元座標系にマッピングされた非平面画像を２次元画像にマッピングする方法に関しては幾つか挙げることができるが、その詳細については後述に譲る。

マッピング情報生成部２５は、２次元画像へのマッピング部２３において適用されたマッピングした方法に応じて、全方位映像表示システム（後述）において画像の表示・再生に必要な２次元画像マッピング情報を作成する。ここで言う２次元画像マッピング情報は、元の全方位画像の３次元座標系（Θ，Φ，ｒ）と、マッピングされた２次元画像座標系（ＴＸ，ＴＹ）との対応関係を記述した情報のことである。２次元画像マッピング情報は、全方位映像を外側から見るときに、任意の形状で再生するために必要な情報である（後述）。

２次元画像へのマッピング部２３は、全フレームについてマッピング処理を行なう。マッピング方法はフレーム単位で切り換えることが可能であるが、この場合、マッピング情報生成部２５は、その都度マッピング情報を生成する。

動画・静止画圧縮部２４は、２次元画像へのマッピング部２３により生成された２次元の静止画あるいは動画を圧縮する。圧縮フォーマットとしては、動画に対しては、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３、Ｈ．２６１、ＡＶＩ、Ｍｏｔｉｏｎ ＪＰＥＧなど、また、静止画に対しては、ＪＰＥＧ、ＧＩＦ、ＰＮＧ、ＢＭＰ、ＴＩＦＦなど、２次元画像を扱うことができる既存のフォーマットを使用することができる。

全方位映像データ・フォーマット変換部２６は、マッピング情報生成部２５により生成された２次元画像マッピング情報と、動画・静止画圧縮部２４により生成された圧縮映像を１組としたデータ・フォーマットに変換する。図６には、このデータ・フォーマットの構造を模式的に示している。

図示のデータ・フォーマットには、映像情報と音声情報の同期がとれるような形式でインターリーブして挿入することも可能である。２次元画像マッピング情報は、映像情報に対して適用される２次元画像マッピング方法から切り換わる度に、そのフレームの先頭に挿入する。つまり、すべてのフレームに関して同じ２次元画像マッピング方法を使用する場合には、先頭に１つだけ２次元画像マッピング情報を含んでいればよい。また、表示・再生側（全方位映像表示システム）で必要な２次元マッピング情報を備えている場合には、データ・フォーマットから２次元マッピング情報を省略することができる。

例えば、表示・再生側で、画素単位で２次元画像を再生しようとする場合、各画素毎にマッピング情報を持たなければならず、マッピング情報だけでデータが肥大化してしまい、映像や音声に割り当てるデータが減ってしまうので、マッピング情報を省略できることが好ましい。また、画素ではなく、所定の面積を持つ領域単位で２次元画像を再生しようとする場合であっても、３次元座標系へ再マッピングするときに、２次元画像マッピング情報を逐次使用するよりも変換式で計算した方が高速である場合には、マッピング情報の分だけデータを削減することが好ましい。

Ａ−３．全方位映像蓄積装置
全方位映像蓄積装置１３は、ハード・ディスクやＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）のような、一般的なコンピュータ・システムの外部記憶装置を用いて構成することができる。

また、全方位映像合成装置１２及び全方位映像蓄積装置１３を、単一又は複数台のコンピュータ・システム上で所定の画像処理・蓄積アプリケーションを起動するという形態で実現することも可能である。

図７には、全方位映像合成装置１２及び全方位映像蓄積装置１３として適用されるコンピュータ・システム１００の構成を模式的に示している。以下、この図を参照しながら、コンピュータ・システム１００について説明する。

システム１００のメイン・コントローラであるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１は、オペレーティング・システム（ＯＳ）の制御下で、各種のアプリケーションを実行する。ＣＰＵ１０１は、例えば、球面や円筒面上に描かれた３次元画像を２次元平面画像に変換したり、変換後の２次元平面画像を圧縮・蓄積処理するための非平面画像処理アプリケーションを実行したりすることができる。図示の通り、ＣＰＵ１０１は、バス１０８によって他の機器類（後述）と相互接続されている。

メモリ１０２は、ＣＰＵ１０１において実行されるプログラム・コードを格納したり、実行中の作業データを一時保管するために使用される記憶装置である。同図に示すメモリ１０２は、ＲＯＭなどの不揮発性メモリ及びＤＲＡＭなどの揮発性メモリの双方を含むものと理解されたい。

ディスプレイ・コントローラ１０３は、ＣＰＵ１０１が発行する描画命令を実際に処理するための専用コントローラである。ディスプレイ・コントローラ１０３において処理された描画データは、例えばフレーム・バッファ（図示しない）に一旦書き込まれた後、ディスプレイ１１１によって画面出力される。

入力機器インターフェース１０４は、キーボード１１２やマウス１１３などのユーザ入力機器を計算機システム１００に接続するための装置である。

ネットワーク・インターフェース１０５は、Ｅｔｈｅｒｎｅｔ（登録商標）などの所定の通信プロトコルに従って、システム１００をＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの局所的ネットワーク、さらにはインターネットのような広域ネットワークに接続することができる。

ネットワーク上では、複数のホスト端末（図示しない）がトランスペアレントな状態で接続され、分散コンピューティング環境が構築されている。ネットワーク上では、ソフトウェア・プログラムやデータ・コンテンツなどの配信が行うことができる。例えば、球面や円筒面上に描かれた３次元画像を２次元平面画像に変換したり、変換後の２次元平面画像を圧縮・蓄積処理するための非平面画像処理アプリケーションをネットワーク経由でダウンロードしたりすることができる。また、この非平面画像処理アプリケーションによって圧縮された画像データをネットワーク経由で配信することもできる。

外部機器インターフェース１０７は、ハード・ディスク・ドライブ（ＨＤＤ）１１４やメディア・ドライブ１１５などの外部装置をシステム１００に接続するための装置である。

ＨＤＤ１１４は、記憶担体としての磁気ディスクを固定的に搭載した外部記憶装置であり（周知）、記憶容量やデータ転送速度などの点で他の外部記憶装置よりも優れている。ソフトウェア・プログラムを実行可能な状態でＨＤＤ１１４上に置くことをプログラムのシステムへの「インストール」と呼ぶ。通常、ＨＤＤ１１４には、ＣＰＵ１０１が実行すべきオペレーティング・システムのプログラム・コードや、アプリケーション・プログラム、デバイス・ドライバなどが不揮発的に格納されている。

例えば、球面や円筒面上に描かれた３次元画像を２次元平面画像に変換したり、変換後の２次元平面画像を圧縮・蓄積処理したりするための非平面画像処理アプリケーションを、ＨＤＤ１１４上にインストールすることができる。また、この非平面画像処理アプリケーションの処理対象となる３次元非平面画像や、２次元平面に変換された画像やその圧縮画像データなどをＨＤＤ１１４上に保存することもできる。

メディア・ドライブ１１５は、ＣＤやＭＯ、ＤＶＤなどの可搬型メディアを装填して、そのデータ記録面にアクセスするための装置である。

可搬型メディアは、主として、ソフトウェア・プログラムやデータ・ファイルなどをコンピュータ可読形式のデータとしてバックアップすることや、これらをシステム間で移動（すなわち販売・流通・配布を含む）する目的で使用される。例えば、球面や円筒面上に描かれた３次元画像を２次元平面画像に変換したり、変換後の２次元平面画像を圧縮・蓄積処理したりするための非平面画像処理アプリケーションを、これら可搬型メディアを利用して複数の機器間で物理的に流通・配布することができる。また、この非平面画像処理アプリケーションの処理対象となる３次元非平面画像や、２次元平面に変換された画像やその圧縮画像データなどを、これら可搬型メディアを利用して複数の機器間で物理的に流通・配布することができる。

ビデオ・キャプチャ・カード１０９は、全方位撮影装置１１からの入力信号、すなわち切り換え器を介して接続される各ＶＴＲから再生されるビデオ信号をコンピュータ・データ（ビットマップ・ファイル）としてコンピュータ内に取り込むための装置である。

なお、図７に示すようなコンピュータ１００の一例は、米ＩＢＭ社のパーソナル・コンピュータ“ＰＣ／ＡＴ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ／Ａｄｖａｎｃｅｄ Ｔｅｃｈｎｏｌｏｇｙ）”の互換機又は後継機である。勿論、他のアーキテクチャを備えたコンピュータを、本実施形態に係るコンピュータ１００として適用することも可能である。

Ａ−４．３次元座標系の画像の２次元平面へのマッピング
既に説明したように、本実施形態に係る全方位映像合成システム１０は、例えば図２に示すような全方位撮影装置１１によって撮影された全方位映像を取り扱うシステムである。この種の全方位映像は、本来、極座標系において球面あるいは円筒にマッピングされた非平面状の３次元画像であり、２次元画像を取り扱うことを前提とした既存の圧縮フォーマットで取り扱うには適していない。言い換えれば、データの圧縮、蓄積、転送などの処理を行なうためには、球面や円筒面などの３次元座標系の非平面上で表現された全方位画像を、２次元平面画像にマッピングする必要がある。

３次元座標系の画像を２次元平面画像にマッピングする方法には幾つか挙げられるが、以下に示す条件に応じて最適なマッピング方法を選択することが好ましい。

（１）球面を平面に展開するには、球面の表面のどこかを伸ばすか、又は、ある箇所に断裂を入れなければ、平面にすることはできない。つまり、球面形状をそのまま平面に展開することは不可能であり、必ず誤差が生ずる。できるだけ誤差を少なくしながら球面から平面に投影する方法が望ましい。球面を平面にマッピングする際に、すべての方向について各画素に含まれる情報量が等しく保たれていること、つまり、すべての方向に対して画素が等面積に扱われることが望ましい。

（２）全方位映像を表示・再生する全方位映像表示システム（後述）において、全方位映像蓄積装置と任意視点方向映像合成装置の間がネットワークで結ばれている場合、あるいは、全方位映像蓄積装置がＤＶＤなどの記録メディアであるとしても、転送レートには制限がある。転送レートが限られているとき、圧縮レートもそれに応じて制限されるので、冗長性が低いことが望ましい。また、標準的な圧縮方法（例えば、ＭＰＥＧ−２）で圧縮し易い（例えば、空間・時間相関関係が高い）ことが望まれる。

（３）全方位映像表示システムにおいてリアルタイム処理が必要で、且つその処理性能や資源に制限がある可能性があることを考慮すると、球面から平面への変換のための演算処理が簡単であることが望ましい。

（４）ＭＰＥＧ−２などの圧縮フォーマットによっては、解像度に制限があるものがある。また、全方位映像表示システムにおいて、領域単位で任意視点方向映像が合成される場合（後述）には、映像表示装置に転送する映像を一時的に保持するテクスチャ・バッファに任意視点方向映像ではなく全方位映像が転送されることがあるが、このテクスチャ・バッファに制限があるものがある。このように解像度に制限があるときには、それを満たすように２次元画像に変換しなければならない。

ここで、球面や円筒などの３次元座標系の画像を２次元平面画像にマッピングする方法の具体例について説明する。

Ａ−４−１．球型の全方位映像の２次元平面へのマッピング方法
球面を平面にマッピングする方法としては、地球を平面上の世界地図に投影する地図投影法がよく知られている。一般的な地図投影法を用いて球状の全方位映像を平面に展開した場合、球面上の描画内容に類似する模様が平面上に投影されるので、マッピング後の２次元平面画像から元の全方位画像の全体像を人間が把握し易いという利点がある。

例えば、図８に示すように、球面を円筒に投影して、この円筒を平面に展開する方法が挙げられる。同図に示す例では、２次元平面の横方向に球面の水平方向の角度を、縦方向に球面の垂直方法の角度を、それぞれ等間隔で割り当てている。このときの２次元画像マッピング情報は、各行と列に割り当てた角度のデータとなる。

図９には、屋外のある場所で撮影された全方位画像を、図８に示したような円筒投影法で２次元平面にマッピングした画像の例を示している。

このようなマッピング方法では、マッピングされた２次元平面の上下部（地図で言えば極部）では歪みが大きくなる（密度が赤道付近に比べて低くなる）ので、すべての方向について各画素に含まれる情報が等しく保たれるという上述した第１の条件を満たすことができない。但し、このマッピング方法によれば、空間的・時間的相関が高く、また、球面から２次元平面への変換式すなわち２次元マッピング情報が簡単であるという利点がある。また、図９からも推測されるように、マッピングされた２次元平面画像から元の全方位画像の全体像を人間が把握し易い。

あるいは、図１０に示すように、球面を円筒に投影して平面に展開した後、横方向及び縦方向の角度を球面上の水平方向及び垂直方向の角度に等間隔に割り当てるのではなく、マッピングされた角度の間隔を自由に変更してもよい。例えば、横方向及び縦方向がある角度範囲で区切られた領域の密度すなわち情報量を高めるなどの柔軟性を持たせることができる。例えば、全方位画像のうち詳細な情報を残したい画像領域により大きな角度範囲を割り当てることができる。このときの２次元画像マッピング情報は、上述と同様に、各行と列に割り当てた角度となる。

また、球面を円筒に投影して平面に展開する地図投影法の中には、地球上のどの部分についても、その面積比率が地図上に正しく表現される、すなわち正積図法としての性質を持つ「サンソン（Ｓａｎｓｏｎ）図法」を挙げることができる。緯線は水平線で正しい間隔、正しい長さで表される。また、経線は曲線であるが等間隔となる。赤道付近と中央経線付近でのひずみは小さくなる。

サンソン図法を適用した２次元画像マッピング方法によれば、正積ゆえ各画素に含まれる情報量が等しくなる、空間的・時間的相関関係が高い、球面から２次元平面への変換式すなわち２次元画像マッピング情報が簡単であるという利点がある。この場合の２次元画像マッピング情報は、以下のような３次元座標系−２次元座標系の変換式で構成される。（但し、２次元平面画像サイズがＷ×Ｈとする。）

サンソン図法（あるいはモルワイデ図法）のような正積・円筒図法を用いた場合、図１１に示すような画像の未使用領域が生成されてしまう。このような未使用領域には、図１２に示すように同じ背景色（画素値）を割り当てることにより、空間的・時間的相関関係を高めて圧縮率が高くなるので、表示・再生時の画質が向上する。

上述したような伝統的な地図投影方法を用いて球型の全方位映像を２次元平面にマッピングした場合、元の３次元画像とマッピング後の２次元平面画像との相関関係が視覚的に判るので、２次元平面画像から全方位画像の全体像を人間が把握し易いという利点がある。しかしながら、本実施形態に係る全方位映像合成システム１０において、２次元平面画像にマッピングする主な理由は、画像圧縮などにおいて規定のデータ・フォーマットを利用して全方位映像を取り扱うことを可能にすることにある。言い換えるならば、２次元平面画像は、人間が見て理解できるか否かは二の次であり、球面を平面にマッピングする際に、すべての方向について各画素に含まれる情報量が等しく保たれていること、つまり、すべての方向に対して画素が等面積に扱われることの方が、画質の向上や映像表示システム側でのデータの取り扱いという観点からはより望ましい。

本発明者らは、すべての方向について各画素に含まれる情報量が等しく保たれるように球面を２次元平面にマッピングするために、数学的な手法に基づいて球面上から均一にサンプリング点を抽出して、これを２次元平面画像にマッピングしていくという手法を以下に提案する。このような場合、球面上からサンプリングされた点の３次元座標とマッピング先の２次元画像との対応関係が２次元画像マッピング情報となる。

例えば、「球のｚ軸を等間隔に平行な平面で切ったとき、隣接する平面で挟まれる球面上の面積は一定である」という幾何学上の定理がある。例えば、半径ｒの球をＺ軸に直交する平行な平面で等間隔ｈ毎に輪切りにしていった場合、分割された各球面上の面積は２πｈと一定になる（詳細は、Ｊｏｓｅｐｈ Ｏ'Ｒｏｕｒｋｅ著の論文“Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｇｅｏｍｅｔｒｙ Ｃｏｌｕｍｎ ３１”を参照されたい）。

Ｚ軸が［−１．．１］で２次元平面画像サイズがＷ×Ｈのとき、ｈを［０．．Ｈ］とすると、Ｚ軸方向の高さｈに相当する角度（緯度）Φ_hは、下式で表される。

ここで、Φが［Φ_h-1．．Φ_h］、Θが［０．．２π］の範囲に収まるような均一な乱数を用いて（Φ、Θ）のペアを決めていく。この内容を２次元画像マッピング情報に格納するとともに、２次元画像を生成する。すなわち、３次元極座標系でＺ軸方向に等間隔すなわち等面積な範囲［Φ_h-1．．Φ_h］で区切られる球面上の領域を、２次元座標系で［Φ_h-1．．Φ_h］の範囲内で等間隔すなわち等面積で区切られる帯状の平面領域にランダムに展開していく（図１３を参照のこと）。本発明者らは、この２次元画像マッピング方法のことを“Ｓｔｒａｔｉｆｉｅｄ Ｒａｎｄｏｍ”と呼ぶことにする。

図１４に示すように、例えば、２次元平面上の点（ｉ，ｊ）において、Φ_i-1＜Φ_i,j＜Φ_i+1となるΦ_i,jをランダムに決定する。次いで、Θ値をソートして、球面上でランダムに抽出された点（Θ_i,j，Φ_i,j）の点を２次元平面上の点（ｉ，ｊ）に描画する。但し、Θ_i,jは［０．．２π］の範囲内で、Φ_i,jは［Φ_i-1．．Φ_i+1］の範囲内で、それぞれランダムに決定される。そして、２次元平面の各行ｉについて、すべての（Θ_i,j，Φ_i,j）を辞書式にソートし、これがこの場合の２次元画像マッピング情報となる。

図１５には、屋外のある場所で撮影された全方位画像を、Ｓｔｒａｔｉｆｉｅｄ Ｒａｎｄｏｍに基づくマッピング方法により２次元平面にマッピングした画像の例を示している。同図の基となる全方位画像は、図９で使用したものと同じである。同図からも判るように、Ｓｔｒａｔｉｆｉｅｄ Ｒａｎｄｏｍに基づくマッピング方法はＺ軸方向に等間隔で分割された球面上の領域を２次元平面上の該当する領域内にランダムにマッピングするので、図９に比べて目視では全体像を把握しづらい。

Ｓｔｒａｔｉｆｉｅｄ Ｒａｎｄｏｍによる２次元画像マッピング方法の利点として、球面から均一に画素をサンプリングすることができるということを挙げることができる。

一方、Ｓｔｒａｔｉｆｉｅｄ Ｒａｎｄｏｍによる２次元画像マッピング方法の欠点は、計算処理が多少かかるということと、２次元平面へのマッピング画像からは元の全方位画像の全体像を把握しにくい（図１５を参照のこと）ということである。また、２次元画像マッピング情報は画素単位で記述されるので、全方位映像の表示・再生を領域毎に行なう方式では使えない。また、ランダムな場所の画素にマッピングされているので、２次元画像から全方位映像の表示・再生する際に、点（Θ，Φ）の画素値を補間するためには、隣接画素を効率的に探索しなければならない。

上述したＳｔｒａｔｉｆｉｅｄ Ｒａｎｄｏｍによる２次元平面へのマッピング法は、乱数を用いることにより、３次元座標系で表される非平面画像をすべての方向について各画素に含まれる情報量が等しく保たれる、すなわちすべての方向に対して画素が等面積に扱われるように２次元平面画像にマッピングするようにしている。この場合、各画素の情報量の均一性は、生成する乱数の均一性が保証されていることを前提とする。しかしながら、均一な乱数を生成することは、技術的に困難である。

他方、数学の分野では、密度の均一性を保ちながら正方形や球の表面から多数の点を抽出することを可能とする、“Ｈａｍｍｅｒｓｌｅｙ”と呼ばれる定理が知られている。Ｈａｍｍｅｒｓｌｅｙの定理を応用したＨａｍｍｅｒｓｌｅｙ Ｓｅｑｕｅｎｃｅによれば、密度の均一性を保ちながら、球面上からサンプリング点を順次抽出していくことができる（例えば、Ｔｉｅｎ−Ｔｓｉｎ Ｗｏｎｇ，Ｗａｉ−Ｓｈｉｎｇ Ｌｕｋ，Ｐｈｅｎｇ−Ａｎｎ Ｈｅｎｇ共著の論文“Ｓａｍｐｌｉｎｇ ｗｉｔｈ Ｈａｍｍｅｒｓｌｅｙ ａｎｄ Ｈａｌｔｏｎ Ｐｏｉｎｔｓ”を参照されたい）。

図１６及び図１７には、Ｈａｍｍｅｒｓｌｅｙ Ｓｅｑｕｅｎｃｅにより球面上から１０００個及び１００００個のサンプリング点を抽出した様子を示している。また、これとの対比で、図１８及び図１９には、一般的な乱数計算で得られる乱数により球面上から１０００個及び１００００個のサンプリング点を抽出した様子を示している。各図を比較しても判るように、乱数を用いた場合よりも、Ｈａｍｍｅｒｓｌｅｙ Ｓｅｑｕｅｎｃｅを用いてサンプリング点を抽出した場合の方が、密度の均一性を保ちながら球面から点を抽出しており、したがって、３次元座標系で表される非平面画像をすべての方向について各画素に含まれる情報量が等しく保たれることが理解できるであろう。

そこで、本発明者らは、数学的な手法に基づいて球面上から均一にサンプリング点を抽出して、これを２次元平面画像にマッピングしていく他の例として、Ｈａｍｍｅｒｓｌｅｙ Ｓｅｑｕｅｎｃｅを用いたマッピング方法を以下に提案する。

この方法は、マッピング先となる２次元平面画像のｉ行ｊ列目にマッピングすべき球面上のサンプリング点を、Ｈａｍｍｅｒｓｌｅｙ Ｓｅｑｕｅｎｃｅを用いて抽出するというものである。例えば、２次元平面画像の１行がｗ画素からなるとして、元の球面上におけるｉｗ＋ｊ番目のサンプリング点をＨａｍｍｅｒｓｌｅｙ Ｓｅｑｕｅｎｃｅにより抽出して、これを２次元平面上の（Θ_i,j，Φ_i,j）にマッピングしていく（図２０を参照のこと）。

ここで、Ｈａｍｍｅｒｓｌｅｙ Ｓｅｑｕｅｎｃｅにより球面上からｉｗ＋ｊ番目のサンプリング点を抽出するための手順について説明する。

まず、ｋ＝ｉｗ＋ｊとおき、このｋを基底ｐを用いて以下の漸化式で表す。

また、このｋを変数とする関数Ψ_p（ｋ）を以下のように定義する。

ここで、（ｋ／ｍ，Ψ_p（ｋ））＝（ψ，ｔ）と置き換えて、変数ψ及びｔで表される下記の座標値（Ｘ，Ｙ，Ｚ）がＨａｍｍｅｒｓｌｅｙ Ｓｅｑｕｅｎｃｅにより求まるサンプリング点である。

この場合、元の球面上の３次元極座標系（Θ，Φ）との対応関係すなわちマッピング情報は下式のように記述される。

図２１には、屋外のある場所で撮影された全方位画像を、Ｈａｍｍｅｒｓｌｅｙ Ｓｅｑｕｅｎｃｅに基づくマッピング方法により２次元平面にマッピングした画像の例を示している。同図の基となる全方位画像は、図９で使用したものと同じであるが、Ｈａｍｍｅｒｓｌｅｙ Ｓｅｑｕｅｎｃｅに基づくマッピング方法は、Ｈａｍｍｅｒｓｌｅｙ Ｓｅｑｕｅｎｃｅによって順次算出される球面上のサンプリング点を２次元平面上の該当する領域内にランダムにマッピングするので、図９に比べて目視では全方位画像の全体像を把握することは難しい。

Ｈａｍｍｅｒｓｌｅｙ Ｓｅｑｕｅｎｃｅによる２次元画像マッピング方法の利点として、球面から均一に画素をサンプリングすることができるということを挙げることができる。

一方、Ｈａｍｍｅｒｓｌｅｙ Ｓｅｑｕｅｎｃｅによる２次元画像マッピング方法の欠点は、計算処理が多少かかるということと、２次元平面へのマッピング画像からは元の全方位画像の全体像を把握しにくい（図２１を参照のこと）ということである。また、２次元画像マッピング情報は画素単位で記述されるので、全方位映像の表示・再生を領域毎に行なう方式では使えない。また、隣接画素はＨａｍｍｅｒｓｌｅｙ Ｓｅｑｕｅｎｃｅにより必ずしも隣接してマッピングされないので、２次元画像から全方位映像の表示・再生する際に、点（Θ，Φ）の画素値を補間するためには、隣接画素を効率的に探索しなければならない。

Ａ−４−２．円筒型の全方位映像の２次元平面へのマッピング方法
全方位映像が円筒型の場合には、図２２に示すように、円筒を縦に切って開けばそのまま長方形になる。図２２に示す例では、縦軸に上下に±４５°を割り当てているが、この値は任意である。また、図１０を参照しながら説明した場合と同様に、特定の領域の密度を集中的に高めて高画質化するということも可能である。

但し、円筒型では、長方形に展開したときの縦横比が極端に異なる、すなわち、横方向の大きさが縦方向に比べて大きくなってしまうことがある。このような画像は、ＭＰＥＧなどの規定の圧縮フォーマットのサイズに適合しないので、例えば長方形画像を等分割して分割された各断片を上から順に配置して、規定のフォーマット・サイズに適合させるようにする。図２３に示す例では、円筒型から展開された長方形画像を２分割して、その右半分を左半分の下に貼り付けることで、縦横比を調整している。

Ａ−５．２次元画像マッピング情報
既に述べたように、マッピング情報生成部２５は、平面画像の座標（ＴＸ，ＴＹ）と３次元極座標（Θ，Φ，ｒ）との対応関係を２次元マッピング情報として生成する。また、全方位映像データ・フォーマット変換部は、この２次元マッピング情報必要に応じて映像情報に付加する。但し、画素単位ではなく領域単位でマッピングする方式では、プリミティブの各頂点座標のみ２次元マッピング情報を有すればよい。

２次元マッピング情報を映像情報に付加することにより、（ＴＸ，ＴＹ）→（Θ，Φ）への変換が必要なくなるので、全方位映像表示システム（後述）における負荷が軽くなる。また、３次元画像から２次元画像へのマッピングの自由度も高まる。例えば、図８に示したような単純なフォーマットでも、極部における密度を高めたり、特定の場所の密度を高めたりするといったことが可能になる。

また、マッピング情報を利用することにより、全方位映像表示装置において全方位映像の３次元物体あるいは空間としての利用に関して自由度が上がる。例えば、マッピング情報に含まれる距離情報を使って任意の３次元形状を全方位映像表示装置の任意視点方向映像合成装置において再現することが可能になる。例えば、すべての画素に距離１を付加すれば半径１の球になるが、任意のｒを割り当てることによって任意の形状が再現可能になる。これによって、従来にない３次元ＧＵＩの生成やその利用が可能になる。全方位映像表示装置の詳細に関しては、後述に譲る。

２次元マッピング情報は、マッピング部２３において採用される２次元平面へのマッピング方法に応じて異なる。各マッピング方法におけるマッピング情報は既に述べた通りである。

Ｂ．全方位映像表示システム
次いで、前項Ａで説明したような処理に従って２次元平面画像にマッピングされた３次元座標系の非平面画像を映像表示する全方位映像表示システムについて説明する。
Ｂ−１．システム構成
図２４には、本発明の実施に供される全方位映像表示システム５０の構成を模式的に示している。同図に示すように、全方位映像表示システム５０は、全方位映像蓄積装置５１と、視点指定装置５２と、任意視点方向映像合成装置５３と、映像表示装置５４とで構成される。全方位映像表示システム５０は、専用のハードウェア装置としてデザインすることも可能であるが、例えば図７に示したような一般的なコンピュータ・システム１００上で所定の画像処理アプリケーションを起動するという形態で実現することも可能である。

全方位映像蓄積装置５１は、ハード・ディスクやＤＶＤのような、一般的なコンピュータ・システムの外部記憶装置を用いて構成することができる。

視点指定装置５２は、全方位映像において、ユーザが視聴を所望する角度方向、ズーム、並行移動などの情報をユーザから入力として受け付ける装置であり、例えばマウスやキーボード、ゲーム・コントローラなどの一般的なユーザ入力装置で構成される。視点指定装置５２を介した入力データは、任意視点方向映像合成装置５３に供給される。

任意視点方向映像合成装置５３は、ユーザの所望する映像を生成する装置であり、少なくともＣＰＵ（中央演算処理装置）とＧＰＵ（グラフィック処理装置）から構成される。任意視点方向映像合成装置５３で生成される映像は、３次元物体（球あるいは円筒など）の内側から外方向を見たときの視点方向映像、あるいは３次元物体を外側から見たときの３次元形状映像である。

映像表示装置５４は、テレビやＰＣモニタなどの一般的な表示装置で構成され、任意視点方向映像合成装置５３から転送される映像を表示出力する。

図２５には、任意視点方向映像合成装置５３の機能構成を模式的に示している。同図に示すように、任意視点方向映像合成装置５３は、全方位映像データ・フォーマットの読み込み及び分離部６１と、全方位映像復号部６２と、視点方向映像・３次元形状映像生成部６３とで構成される。

全方位映像データ・フォーマットの読み込み及び分離部６１は、図６に示したようなデータ・フォーマットを持つ全方位映像データを全方位映像蓄積装置５１から読み込んで、全方位映像情報と、２次元画像マッピング情報とに分離する。

全方位映像復号部６２は、例えばＭＰＥＧフォーマットなどで符号化されている全方位映像情報を復号化処理する。

視点方向映像・３次元形状映像生成部６３は、視点指定装置５２を介してユーザから指定された視点方向及びズーム値に従った３次元形状映像を、復号化された全方位映像と２次元画像マッピング情報を用いて生成する。生成された３次元形状映像は、映像表示装置５４に転送され、表示出力される。

Ｂ−２．視点方向に従った全方位映像の再生
ここでは、２次元平面画像にマッピングされている全方位映像から任意の視点方向の３次元形状映像を再生するための処理について説明する。

球型又は円筒型の全方位映像を２次元平面画像にマッピングする方式は、画素単位でマッピングする「画素方式」と、領域単位でマッピングする「領域方式」に大別される。どちらの方式であっても、２次元平面にマッピングされている全方位映像から、映像表示装置５４が持つ２次元表示画面への再マッピングを行なうことになる。

Ｂ−２−１．画素方式
図２６には、全方位映像の２次元平面へのマッピングに画素方式を採用した場合の、任意の視点方向の３次元形状映像を再生するためのデータの流れを模式的に示している。この場合、視点方向映像の各画素を、視点指定装置５２からの入力（視点方向及びズームの指定値）と、全方位映像に付加されている２次元画像マッピング情報を用いて、全方位映像から計算して求める。

まず、視点方向映像の各画素（ｘ，ｙ）について、視点指定装置５２から渡された視点方向（θ_v，Φ_v）及びズーム値ｚから、下式を用いて極座標（Θ、Φ）を計算して求める。

ここで、Ｒは回転行列であり、下式に示すように視点方向（θ_v，Φ_v）から求まる。

また、Ｋは透視変換のための行列であり、下式に示すような３×３行列で表される。

但し、点（ｐｘ，ｐｙ）は画像の中心の点であり、また、ｆｘ及びｆｙはそれぞれｘ及びｙ方向の焦点距離である。ズームは、ｆｘ及びｆｙにｚをかけることにより実現される。

次いで、２次元画像マッピング情報を参照して、極座標（Θ、Φ）を全方位画像座標（ＴＸf, ＴＹf）に変換する。このとき、全方位映像生成システム１０（前述及び図１を参照のこと）の全方位映像合成装置１２において３次元座標から２次元画像に変換する際に用いられた式を映像表示システム５０側でも判っている場合には、全方位映像データ・フォーマットに付加されているマッピング情報ではなく、その式を用いても構わない。各画素についてマッピング情報を持つのは冗長であることがあるため、このような方法を使う有用性は大きい。

このようにして求まった全方位画像座標は浮動小数点であることが多い。このため、整数の座標系である全方位画像から補間して求めた方がよい場合がある。補間方法としては、最近傍補間、線形補間、キュービック補間、ｓｉｎｃ補間、スプライン補間などを用いることができる。

以上の変換をすべての視点方向画像（ｘ，ｙ）について計算し、全方位画像座標（ＴＸ，ＴＹ）から視点方向画像を作成して、それを映像表示装置５４に転送する。

Ｂ−２−２．領域方式
任意視点方向映像合成装置５３のＣＰＵの性能によっては、上述した画素方式ではリアルタイム処理が間に合わないことがある。そこで、ＧＰＵが標準的に装備するテクスチャを画面上に貼り付けるテクスチャ・マッピング機能を用いた領域方式を用いることによって、計算量の大幅な削減を図ることができる。

図２７には、全方位映像の２次元平面へのマッピングに領域方式を採用した場合の、任意の視点方向の３次元形状映像を再生するためのデータの流れを模式的に示している。また、図２８には、領域方式を採用した場合の任意視点方向映像を合成する概念図を示している。

まず、付加情報として含まれるマッピング情報を用いて、全方位映像を「プリミティブ」という単位で、プリミティブの各頂点について全方位画像座標（ＴＸ，ＴＹ）を極座標（Θ，Φ）に変換する。ここで、プリミティブとは、三角形あるいは四角形からなる基本描画要素であり、ＧＰＵは一般にこのプリミティブ単位で描画を行う。

次いで、視点指定装置５２から渡された視点方向（θ_v,Φ_v）及びズーム値ｚから、極座標（Θ，Φ）を視点方向画像座標（ｙf，ｙf）に変換する。変換式は以下のようになる。

ここで、Ｒは回転行列であり、Ｋは透視変換のための３×３行列である。上記の［数９］及び［数１０］を参照されたい

上記の式では、（Ｘ，Ｙ，Ｚ）並びに（−Ｘ，−Ｙ，−Ｚ）という２つの点（つまり点対称な点の対）で同じ座標値（ｘｆ，ｙｆ）を持つ視点方向画像座標が求まってしまう。そこで、求まった視点方向画像座標（ｘｆ，ｙｆ）がどちらの点から求まったものなのかを調べるために、求まった（ｘｆ，ｙｆ）をマッピング情報によって３次元座標系（Ｘ'，Ｙ'，Ｚ'）に変換し、この（Ｘ'，Ｙ'，Ｚ'）と（Ｘ，Ｙ，Ｚ）が一致するか否かで判断することができる。あるいは、ｗの値が正であれば、その（Ｘ，Ｙ，Ｚ）で求まった値が有効であると解釈しても構わない。

次いで、全方位映像をテクスチャとして、ＧＰＵ（又は、ＧＰＵに用意されたＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）内のテクスチャ・バッファ）に転送する。そして、各プリミティブの頂点について全方位画像座標（ＴＸ，ＴＹ）のテクスチャ・バッファ上で対応する座標値（ｔｘ，ｔｙ）と視点方向画像座標（ｘｆ，ｙｆ）の対をＧＰＵに転送して、プリミティブ単位で視点方向画像を生成するように命令する。このときＧＰＵに備わっている補間技術を使用することができる。補間方法としては、最近傍補間、線形補間、キュービック補間、ｓｉｎｃ補間、スプライン補間などを用いることができる。

ここで、補間処理が実行されたとき、ＧＰＵによっては画像に不都合が生じることがある。例えば、テクスチャ・バッファの横幅が最大１０２４画素までと制限されているようなシステムにおいては、図２３を参照しながら既に説明したように、円筒形の全方位映像を等分割して分割された各断片を上から順に配置して、規定のフォーマット・サイズに適合させる必要がある（図２３に示す例では、円筒型から展開された長方形画像を２分割して、その右半分を左半分の下に貼り付けることで、縦横比を調整している）。例えば、ソニー・コンピュータ・エンターテインメント社のゲーム機Ｐｌａｙｓｔａｔｉｏｎ２（ＰＳ２）に搭載されているＧＰＵ“Ｇｒａｐｈｉｃ Ｓｙｎｔｈｅｓｉｚｅｒ”のように、線形補間機能が備わっているＧＰＵを使用する場合、分割された端縁部分では線形補間機能がうまく機能しないことがある。

例えば、切断又は展開された長方形画像の端縁付近に画素補間処理が差し掛かったとき、図２９や図３０に示すように、補間に使用すべき画素は折り返した場所にある。しかしながら、このような長方形画像の端縁付近は、本来は連続している隣接画素又はマクロ・ブロックの画素データを持たないので、画素値の補間を行うことができない。このような箇所は、線形補間が施されない結果として、余計な線として映像表示装置５４の画面上に現れてしまうことがある（図３１を参照のこと）。

そこで、本発明者等は、図３２及び図３３に示すように、等分割された各断片の両端に任意の幅の糊代部分を付加するようにした。例えば、両端で連結する部分のマクロ・ブロック（ここでは、全方位映像がＭＰＥＧ−２方式で符号化されているものとする）を付加する（図中の数値は各マクロ・ブロックの通し番号に相当すると理解されたい）。この糊代のような付加画素ブロックを利用することにより、折り返し点においても正確な補間処理が行なわれ、図３１に示すような余計な線が現れない正常な画像が生成される。

なお、ＧＰＵは、一般に“ＣＬＡＭＰ”という機能を備えており、テクスチャを繰り返して配置することができる。しかしながら、図２３に示すように長方形画像を２つ折りにしている場合には、左端と右端が一致していないため、ＣＬＡＭＰ機能を使っても適切な画像は生成されない。

以上の座標変換処理をすべてのプリミティブの頂点（ＴＸ，ＴＹ）について計算し、プリミティブの頂点のテクスチャ・バッファ上での座標（ｔｘ，ｔｙ）と視点方向画像座標（ｘｆ，ｙｆ）の対、及び、糊代を付加した全方位映像をＧＰＵに転送する。そして、ＧＰＵは、視点方向画像を作成して、これを映像表示装置５４に転送する。

Ｂ−２−３．数学的な手法に基づいてマッピングされた２次元画像の映像再生
Ｓｔｒａｔｉｆｉｅｄ ＲａｎｄｏｍやＨａｍｍｅｒｓｌｅｙ Ｓｅｑｕｅｎｃｅ数学的な手法に基づいて球面上から均一にサンプリング点を抽出して、これを２次元平面画像にマッピングしていくことによって、すべての方向について各画素に含まれる情報量が等しく保たれるように非平面画像を２次元平面にマッピングすることができる、ということは既に述べた通りである。

ここでは、このような数学的な手法に基づいてマッピングされた２次元画像を用いて任意の視点方向の３次元形状映像を再生するための処理手順について説明する。図３４には、数学的な手法に基づいてマッピングされた２次元画像から任意の視点方向の３次元形状映像を再生するためのデータの流れを模式的に示している。

Ｓｔｒａｔｉｆｉｅｄ ＲａｎｄｏｍやＨａｍｍｅｒｓｌｅｙ Ｓｅｑｕｅｎｃｅによる２次元画像マッピング方法によれば、球面から均一に画素をサンプリングすることができるが、隣接画素はＳｔｒａｔｉｆｉｅｄ ＲａｎｄｏｍやＨａｍｍｅｒｓｌｅｙ Ｓｅｑｕｅｎｃｅにより隣接してマッピングされないので、２次元画像から全方位映像の表示・再生する際に、点（Θ，Φ）の画素値を補間するためには、隣接画素を効率的に探索しなければならない。

そこで、本実施形態では、３次元形状映像を合成するための前処理として、マッピング情報を利用して、極座標系上の各サンプリング点（Θ_i，Φ_j）について、これと隣接する４個（又は複数個）の隣接画素（Θ_i ⁽¹⁾，Φ_j ⁽¹⁾），（Θ_i ⁽²⁾，Φ_j ⁽²⁾），（Θ_i ⁽³⁾，Φ_j ⁽³⁾），（Θ_i ⁽⁴⁾，Φ_j ⁽⁴⁾）を計算して、２次元マッピングされた全方位画像の画素サイズＷ×Ｈについて、隣接画素を検索するためのルックアップ・テーブルＴ（Θ，Φ）を作成する。

このような前処理の後、まず、視点方向映像の各画素（ｘ，ｙ）について、視点指定装置５２から渡された視点方向（θ_v，Φ_v）及びズーム値ｚから極座標（Θ、Φ）を計算して求める。

次いで、ルックアップ・テーブルＴ（Θ，Φ）を参照して、視点方向映像の画素（ｘ，ｙ）に対応する極座標（Θ，Φ）に隣接する画素を探索する。

そして、これら隣接画素を用いて、極座標（Θ，Φ）を画素補間する。補間方法としては、最近傍補間、線形補間、キュービック補間、ｓｉｎｃ補間、スプライン補間などを用いることができる。

次いで、２次元画像マッピング情報を参照して、極座標（Θ、Φ）を全方位画像座標（ＴＸf, ＴＹf）に変換する。

以上の変換をすべての視点方向画像（ｘ，ｙ）について計算し、全方位画像座標（ＴＸ，ＴＹ）から視点方向画像を作成して、それを映像表示装置５４に転送する。

Ｂ−３．レンズ効果
画素方式並びに領域方式の双方において、極座標系と２次元画像座標系の間での変換を行う際に、各種レンズ効果を入れることが可能である。それぞれの方式で示した変換式は理想的なピンホール・カメラの場合である。

魚眼レンズで撮影した映像として全方位映像を表示させる場合の変換式は以下のようになる。魚眼レンズを用いた際に生成される視点画像を図３５に示しておく。

Ｂ−４．任意３次元形状の合成
視点方向映像・３次元形状映像生成部６３は、２次元画像マッピング情報を用いることによって、視点指定装置５２を介してユーザから指定された視点方向及びズーム値に従った３次元形状映像を生成することができる。より具体的には、任意視点方向映像合成装置５３を構成するＧＰＵが備える３次元形状にテクスチャを貼り付ける機能を使って、２次元画像マッピング情報の距離情報を参照して全方位映像を３次元形状に貼り付ける。これによって、全方位画像を外側から見るときに任意の形状で再生することができる。

以下では、２次元平面にマッピングされた全方位映像を、外側の任意の３次元形状で映像合成するための処理について説明する。図３６には、２次元平面にマッピングされた全方位映像から任意３次元形状の映像を合成するためのデータの流れを模式的に示している。

まず、２次元画像マッピング情報を参照して、全方位映像をプリミティブという単位でプリミティブの各頂点について全方位画像座標（ＴＸ，ＴＹ）を極座標（Θ、Φ、ｒ）に変換する。プリミティブとは三角形あるいは四角形で構成される描画単位であり、ＧＰＵは一般にこのプリミティブ単位で描画を行なう。

次いで、極座標（Θ、Φ、ｒ）および視点指定装置５２から渡された視点方向（θ_v,Φ_v）及び平行移動量（Ｘ_v，Ｙ_v，Ｚ_v）から３次元座標（Ｘ，Ｙ，Ｚ）に変換する。変換式は以下の通りである。

そして、全方位映像をテクスチャとして、ＧＰＵ（又は、ＧＰＵに用意されたＶＲＡＭ内のテクスチャ・バッファ）に転送する。そして、各プリミティブの頂点について全方位画像座標（ＴＸ，ＴＹ）と３次元座標（Ｘ，Ｙ，Ｚ）の対をＧＰＵに転送して、プリミティブ単位で３次元形状映像を生成するように命令する。このときＧＰＵに備わっている補間技術を使用することができる。補間方法としては、最近傍補間、線形補間、キュービック補間、ｓｉｎｃ補間、スプライン補間などを用いることができる。

図３７〜図４０には、２次元平面にマッピングされた全方位映像から任意３次元形状の映像を合成した例を示している。図３７には、立方体の外側に全方位映像を貼り付けた様子を示している。同様に、図３８、図３９、図４０にはそれぞれ、正２０面体、正１２面体、ドーナツ（円環）の外側に全方位映像を貼り付けた様子を示している。

例えば、すべての画素に距離１を付加すれば半径１の球になるが、任意のｒを割り当てることによって任意の形状が再現可能になる。これによって、従来にない３次元ＧＵＩを生成したり利用したりすることが可能になる。

以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。

図１は、本発明の実施に供される全方位映像生成システム１０の構成を模式的に示した図である。 図２は、全方位撮影装置１０の構成例を示した図である。 図３は、全方位撮影装置１０の他の構成例を示した図である。 図４は、全方位撮影装置１０の構成例を示した図である。 図５は、全方位映像合成装置１２における機能構成を模式的に示した図である。 図６は、全方位映像データ・フォーマット変換部２６により変換された、２次元画像マッピング情報と映像データを１組としたデータ・フォーマットの構成例を示した図である。 図７は、全方位映像合成装置１２及び全方位映像蓄積装置１３として適用されるコンピュータ・システム１００の構成を模式的に示した図である。 図８は、３次元座標系の画像を２次元平面画像にマッピングする方法の一例を示した図であり、より具体的には、球面を円筒に投影して平面に展開する方法を示した図である。 図９は、屋外のある場所で撮影された全方位画像を、図８に示したような円筒投影法で２次元平面にマッピングした画像の例を示した図である。 図１０は、３次元座標系の画像を２次元平面画像にマッピングする方法の一例を示した図であり、より具体的には、図８に示した方法を変形した例を示した図である。 図１１は、球面を円筒に投影して平面に展開することにより３次元座標系の画像を２次元平面画像にマッピングする方法の他の例を示した図であり、より具体的には、サンソン図法によりマッピングされた例を示した図である。 図１２は、図１１に示した２次元マッピング画像の未使用領域に同じ背景色を割り当てた様子を示した図である。 図１３は、Ｓｔｒａｔｉｆｉｅｄ Ｒａｎｄｏｍ法の概念図を示した図である。 図１４は、Ｓｔｒａｔｉｆｉｅｄ Ｒａｎｄｏｍ法の処理手順を説明するための図である。 図１５は、屋外のある場所で撮影された全方位画像を、Ｓｔｒａｔｉｆｉｅｄ Ｒａｎｄｏｍに基づくマッピング方法により２次元平面にマッピングした画像の例を示している。 図１６は、Ｈａｍｍｅｒｓｌｅｙ Ｓｅｑｕｅｎｃｅにより球面上から１０００個のサンプリング点を抽出した様子を示した図である。 図１７は、Ｈａｍｍｅｒｓｌｅｙ Ｓｅｑｕｅｎｃｅにより球面上から１００００個のサンプリング点を抽出した様子を示した図である。 図１８は、乱数により球面上から１０００個のサンプリング点を抽出した様子を示した図である。 図１９は、乱数により球面上から１００００個のサンプリング点を抽出した様子を示した図である。 図２０は、Ｈａｍｍｅｒｓｌｅｙ Ｓｅｑｕｅｎｃｅを用いて全方位画像を２次元平面画像にマッピングする様子を示した図である。 図２１は、屋外のある場所で撮影された全方位画像を、Ｈａｍｍｅｒｓｌｅｙ Ｓｅｑｕｅｎｃｅに基づくマッピング方法により２次元平面にマッピングした画像の例を示している。 図２２は、円筒型の全方位映像を２次元平面にマッピングするための方法を説明するための図である。 図２３は、円筒型から展開された長方形画像を２分割して、その右半分を左半分の下に貼り付けることで、縦横比を調整している様子を示した図である。 図２４は、本発明の実施に供される全方位映像表示システム５０の構成を模式的に示した図である。 図２５は、任意視点方向映像合成装置５３における機能構成を模式的に示した図である。 図２６は、全方位映像の２次元平面へのマッピングに画素方式を採用した場合の任意の視点方向の３次元形状映像を再生するためのデータの流れを模式的に示した図である。 図２７は、全方位映像の２次元平面へのマッピングに領域方式を採用した場合の任意の視点方向の３次元形状映像を再生するためのデータの流れを模式的に示した図である。 図２８は、領域方式を採用した場合の任意視点方向映像を合成する概念図である。 図２９は、球状又は円筒状の全方位画像を２次元平面にマッピングした２次元全方位画像（但し、長方形画像を等分割して貼り合せていない場合）を示した図である。 図３０は、球状又は円筒状の全方位画像を２次元平面にマッピングした２次元全方位画像（但し、長方形画像を等分割して貼り合せている場合）を示した図である。 図３１は、線形補間が施されない箇所が余計な線として映像表示装置５４の画面上に現れている様子を示した図である。 図３２は、等分割された各断片の両端に連結する部分のマクロ・ブロックを糊代として付加した様子を示した図（但し、長方形画像を等分割して貼り合せていない場合）である。 図３３は、等分割された各断片の両端に連結する部分のマクロ・ブロックを糊代として付加した様子を示した図（但し、長方形画像を等分割して貼り合せている場合）である。 図３４は、数学的な手法に基づいてマッピングされた２次元画像から任意の視点方向の３次元形状映像を再生するためのデータの流れを模式的に示した図である。 図３５は、魚眼レンズを用いた際に生成される視点画像を示した図である。 図３６は、２次元平面にマッピングされた全方位映像から任意３次元形状の映像を合成するためのデータの流れを模式的に示した図である。 図３７は、２次元平面にマッピングされた全方位映像から任意３次元形状の映像を合成した例を示した図であり、より具体的には、立方体の外側に全方位映像を貼り付けた様子を示した図である。 図３８は、２次元平面にマッピングされた全方位映像から任意３次元形状の映像を合成した例を示した図であり、より具体的には、正２０体の外側に全方位映像を貼り付けた様子を示した図である。 図３９は、２次元平面にマッピングされた全方位映像から任意３次元形状の映像を合成した例を示した図であり、より具体的には、正１２面体の外側に全方位映像を貼り付けた様子を示した図である。 図４０は、２次元平面にマッピングされた全方位映像から任意３次元形状の映像を合成した例を示した図であり、より具体的には、ドーナツ形状体の外側に全方位映像を貼り付けた様子を示した図である。

符号の説明

１０…全方位映像生成システム
１１…全方位撮影装置
１２…全方位映像合成装置
１３…全方位映像蓄積装置
２１…レンズ歪・輝度・コントラスト・パースペクティブ補正部
２２…３次元座標系へのマッピング部
２３…２次元画像へのマッピング部
２４…動画・静止画圧縮部
２５…マッピング情報生成部
２６…全方位映像データ・フォーマット変換部
５０…全方位映像表示システム
５１…全方位映像蓄積装置
５２…視点指定装置
５３…任意視点方向映像合成装置
５４…映像表示装置
６１…全方位映像データ・フォーマットの読み込み及び分離部
６２…全方位映像復号部
６３…視点方向映像・３次元形状映像生成部
１００…コンピュータ
１０１…ＣＰＵ，１０２…メモリ
１０３…ディスプレイ・コントローラ
１０４…入力機器インターフェース
１０５…ネットワーク・インターフェース
１０７…外部機器インターフェース，１０８…バス
１０９…ビデオ・キャプチャ・カード
１１１…ディスプレイ，１１２…キーボード，１１３…マウス
１１４…ハード・ディスク装置
１１５…メディア・ドライブ

Claims (26)

1. Ｎ台のカメラが空間中のある１つの視点を中心にしてすべての方向の映像を撮影できるように配置して構成される全方位撮影手段と、
   前記全方位撮影手段によって撮影されたＮ台のカメラの映像データを入力して、各カメラのカメラ・パラメータを基に、前記映像データの補正を行なう映像データ補正手段と、
   前記映像データ補正手段によって補正されたＮ個の映像から同期のとれた静止画を選択して、Ｎ枚の画像と撮影に使われた対応するカメラのカメラ・パラメータを用いて、各画像を１つの３次元座標系において、球面又は円筒面上にマッピングされた３次元座標系で表される非平面画像を、２次元平面にマッピングする２次元平面画像マッピング手段と、
   元の非平面画像を表す３次元座標系とマッピングされた２次元画像座標系との対応関係を記述したマッピング情報を生成するマッピング情報生成手段と、
   を具備することを特徴とする非平面画像の画像処理装置。
2. ３次元座標系で表される非平面画像は球面状の全方位画像であり、
   前記２次元平面画像マッピング手段は、面積比率が正しくなるように球面を円筒に投影して、該円筒を平面に展開して２次元平面画像にマッピングする、
   ことを特徴とする請求項１に記載の非平面画像の画像処理装置。
3. 前記マッピング情報生成手段は、元の全方位画像の３次元座標系（Θ，Φ，ｒ）と、マッピングされた２次元画像座標系（ＴＸ，ＴＹ）との対応関係を下式で表したマッピング情報を生成する、
   ことを特徴とする請求項２に記載の非平面画像の画像処理装置。
4. 前記２次元平面画像マッピング手段は、３次元座標系で表される非平面画像をすべての方向について各画素に含まれる情報量が等しく保たれるように２次元平面画像にマッピングする、
   ことを特徴とする請求項１に記載の非平面画像の画像処理装置。
5. ３次元座標系で表される非平面画像は球面状の全方位画像であり、
   前記２次元平面画像マッピング手段は、球のｚ軸を等間隔に平行な平面で切ったときに隣接する平面で挟まれる球面上の面積は一定となるという定理を利用して、３次元極座標系でＺ軸方向に等間隔な範囲で区切られる球面上の領域を、２次元直交座標系で等間隔な範囲で区切られる帯状の平面領域にランダムにマッピングする、
   ことを特徴とする請求項１に記載の非平面画像の画像処理装置。
6. ３次元座標系で表される非平面画像は球面状の全方位画像であり、
   前記２次元平面画像マッピング手段は、１行がｗ画素からなる２次元平面画像のｉ行ｊ列目に、Ｈａｍｍｅｒｓｌｅｙ Ｓｅｑｕｅｎｃｅを用いてｉｗ＋ｊ番目に全方位画像から抽出した点をマッピングする、
   ことを特徴とする請求項１に記載の非平面画像の画像処理装置。
7. ３次元座標系で表される非平面画像は円筒状の全方位画像であり、
   前記２次元平面画像マッピング手段は、該円筒を縦に切って長方形に展開し、さらに該長方形画像を等分割して分割された各断片を上から順に配置して、規定のフォーマット・サイズに適合させるようにする、
   ことを特徴とする請求項１に記載の非平面画像の画像処理装置。
8. マッピングされた２次元平面画像情報を所定の圧縮フォーマットで圧縮する画像圧縮手段をさらに備える、
   ことを特徴とする請求項１に記載の非平面画像の画像処理装置。
9. 前記画像圧縮手段は、動画に対しては、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３、Ｈ．２６１、ＡＶＩ、Ｍｏｔｉｏｎ ＪＰＥＧなど、また、静止画に対しては、ＪＰＥＧ、ＧＩＦ、ＰＮＧ、ＢＭＰ、ＴＩＦＦなどの圧縮フォーマットを採用する、
   ことを特徴とする請求項８に記載の非平面画像の画像処理装置。
10. 前記画像圧縮手段は、２次元平面画像情報に画素がマッピングされていない未使用領域が含まれる場合には、該未使用領域に同じ画素値を割り当てる、
    ことを特徴とする請求項８に記載の非平面画像の画像処理装置。
11. 前記２次元平面画像マッピング手段によりマッピングされた２次元平面画像又はその圧縮画像と前記マッピング情報生成手段により生成されたマッピング情報を１組としたデータ・フォーマットに変換するデータ・フォーマット変換手段をさらに備える、
    ことを特徴とする請求項１に記載の非平面画像の画像処理装置。
12. 前記データ・フォーマット変換手段は、映像情報と同期がとれるような形式で音声情報をインターリーブして挿入する、
    ことを特徴とする請求項１１に記載の非平面画像の画像処理装置。
13. 前記データ・フォーマット変換手段は、前記２次元平面画像マッピング手段が採用するマッピング方法が切り換わる度に、フレームの先頭にマッピング情報を挿入する、
    ことを特徴とする請求項１１に記載の非平面画像の画像処理装置。
14. ３次元座標系で表される非平面画像を処理する画像処理方法であって、
    空間中のある１つの視点を中心にしてすべての方向の映像を撮影できるように配置して構成されるＮ台のカメラを用いて全方位を撮影する全方位撮影ステップと、
    前記全方位撮影ステップにおいて撮影されたＮ台のカメラの映像データを入力して、各カメラのカメラ・パラメータを基に、前記映像データの補正を行なう映像データ補正ステップと、
    前記映像データ補正ステップにおいて補正されたＮ個の映像から同期のとれた静止画を選択して、Ｎ枚の画像と撮影に使われた対応するカメラのカメラ・パラメータを用いて、各画像を１つの３次元座標系において、球面又は円筒面上にマッピングされた３次元座標系で表される非平面画像を、２次元平面にマッピングする２次元平面画像マッピング・ステップと、
    元の非平面画像を表す３次元座標系とマッピングされた２次元画像座標系との対応関係を記述したマッピング情報を生成するマッピング情報生成ステップと、
    を具備することを特徴とする非平面画像の画像処理方法。
15. ３次元座標系で表される非平面画像は球面状の全方位画像であり、
    前記２次元平面画像マッピング・ステップでは、面積比率が正しくなるように球面を円筒に投影して、該円筒を平面に展開して２次元平面画像にマッピングする、
    ことを特徴とする請求項１４に記載の非平面画像の画像処理方法。
16. 前記マッピング情報生成ステップでは、元の全方位画像の３次元座標系（Θ，Φ，ｒ）と、マッピングされた２次元画像座標系（ＴＸ，ＴＹ）との対応関係を下式で表したマッピング情報を生成する、
    ことを特徴とする請求項１５に記載の非平面画像の画像処理方法。
17. 前記２次元平面画像マッピング・ステップでは、３次元座標系で表される非平面画像をすべての方向について各画素に含まれる情報量が等しく保たれるように２次元平面画像にマッピングする、
    ことを特徴とする請求項１４に記載の非平面画像の画像処理方法。
18. ３次元座標系で表される非平面画像は球面状の全方位画像であり、
    前記２次元平面画像マッピング・ステップでは、球のｚ軸を等間隔に平行な平面で切ったときに隣接する平面で挟まれる球面上の面積は一定となるという定理を利用して、３次元極座標系でＺ軸方向に等間隔な範囲で区切られる球面上の領域を、２次元直交座標系で等間隔な範囲で区切られる帯状の平面領域にランダムにマッピングする、
    ことを特徴とする請求項１４に記載の非平面画像の画像処理方法。
19. ３次元座標系で表される非平面画像は球面状の全方位画像であり、
    前記２次元平面画像マッピング・ステップでは、１行がｗ画素からなる２次元平面画像のｉ行ｊ列目に、Ｈａｍｍｅｒｓｌｅｙ Ｓｅｑｕｅｎｃｅを用いてｉｗ＋ｊ番目に全方位画像から抽出した点をマッピングする、
    ことを特徴とする請求項１４に記載の非平面画像の画像処理方法。
20. ３次元座標系で表される非平面画像は円筒状の全方位画像であり、
    前記２次元平面画像マッピング・ステップでは、該円筒を縦に切って長方形に展開し、さらに該長方形画像を等分割して分割された各断片を上から順に配置して、規定のフォーマット・サイズに適合させるようにする、
    ことを特徴とする請求項１４に記載の非平面画像の画像処理方法。
21. マッピングされた２次元平面画像情報を所定の圧縮フォーマットで圧縮する画像圧縮ステップをさらに備える、
    ことを特徴とする請求項１４に記載の非平面画像の画像処理方法。
22. 前記画像圧縮ステップでは、動画に対しては、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３、Ｈ．２６１、ＡＶＩ、Ｍｏｔｉｏｎ ＪＰＥＧなど、また、静止画に対しては、ＪＰＥＧ、ＧＩＦ、ＰＮＧ、ＢＭＰ、ＴＩＦＦなどの圧縮フォーマットを採用する
    ことを特徴とする請求項２１に記載の非平面画像の画像処理方法。
23. 前記画像圧縮ステップは、２次元平面画像情報に画素がマッピングされていない未使用領域が含まれる場合には、該未使用領域に同じ画素値を割り当てる、
    ことを特徴とする請求項１４に記載の非平面画像の画像処理方法。
24. 前記２次元平面画像マッピング・ステップによりマッピングされた２次元平面画像又はその圧縮画像と前記マッピング情報生成ステップにより生成されたマッピング情報を１組としたデータ・フォーマットに変換するデータ・フォーマット変換ステップをさらに備える、
    ことを特徴とする請求項１４に記載の非平面画像の画像処理方法。
25. 前記データ・フォーマット変換ステップでは、映像情報と同期がとれるような形式で音声情報をインターリーブして挿入する、
    ことを特徴とする請求項２４に記載の非平面画像の画像処理方法。
26. 前記データ・フォーマット変換ステップでは、前記２次元平面画像マッピング手段が採用するマッピング方法が切り換わる度に、フレームの先頭にマッピング情報を挿入する、
    ことを特徴とする請求項１４に記載の非平面画像の画像処理方法。