JP2004187298A - パノラマ画像および全方位画像の描画および符号化 - Google Patents

Abstract

【課題】 全方位画像を取得したシステムに依存しない、全方位画像の表示および符号化の方法を提供する。
【解決手段】 本発明は、全方位画像を取得し、全方位画像を取得可能なすべての画像取得システムに共通に適用可能な描画フォーマットを決定することにより全方位画像を描画する方法を提供する。取得された全方位画像は、共通の描画フォーマットにマッピングされる。また、本発明は、全方位画像から画像取得システムのパラメータを計算する方法を提供する。
【選択図】 図１３

Description

本発明は、画像処理に関する。特に、パノラマ画像および全方位画像の画像処理に関する。

パノラマ画像あるいは全方位画像等の画像を生成する方法として、種々の方法が知られている。これらの画像は例えば、空間内のある位置に固定された１台のカメラを回転し、撮影された画像をつなぎ合わせることにより生成することができる。あるいは、周知のレンズ／ミラー系を装備した反射屈折式のカメラを使用してこれらの画像を生成することもできる。いずれの場合も、得られた画像のフォーマットおよび編成は、画像の取得に使用したシステムに依存したものとなる。したがって、画像の取得に使用したシステムに依存した画像／動画エンコーダに加えて、各種の画像に対してそれぞれ別個のデコーダを使用する必要がある。さらに、エンコーダが画像取得システムが取得した画像をそのまま直接エンコードした場合、あるいは、何らかの修正を施されたが特定の画像取得システムに依存する画像をエンコードした場合のいずれも、デコードされた全方位画像から投射図を生成し描画するのに必要な逆マッピングを計算する際の負荷は、デコーダにかかることとなる。

エンコーダの性能の種々の画像フォーマットに対する依存性、デコーダの性能の画像取得システム（およびエンコードのフォーマット）に対する依存性、およびデコーダにおけるこれらに関連する計算の負荷は、従来の全方位画像の描画とコーディングの方法（例えば、Remote Reality, Inc.社製のＰａｒａＭａｘ３６０システムを用いた方法）における主な欠点である。また、従来技術におけるパノラマ画像／全方位画像のデータが生成されるフォーマットは、輪郭、光学的な流れ、および画像の歪などの全方位画像の特徴が反映された結果、標準的な画像／動画ＣＯＤＥＣ（ＣＯｄｅｒ ＤＥＣｏｄｅｒ）を用いるエンコードに適したものではなかった。

パノラマ画像および全方位画像を記録し、処理し、送信し、そして表示する必要から、それらの描画、エンコード、送信、レンダリング、および表示の点で新たな要求が起こっている。静止画像および動画の取得処理における最近の進歩を反映した映像および音声処理装置を有するマルチメディアシステムを実現するために、新たなアプローチが要求されている。

本発明の第１の態様は、画像取得システムを介して全方位画像を生成し、かつ全方位画像の幾何学的特徴に基づいて画像取得システムのパラメータを直接計算することにより、全方位画像から画像取得システムのパラメータを計算する方法に関する。

本発明の第２の態様は、全方位画像の複数のフレームから画像取得システムを動的に校正する方法に関する。その方法は、画像取得システムを介して第１の全方位画像を生成する過程と、第１の全方位画像に基づいてその画像取得システムを考慮して第１の校正情報を生成する過程とを含む。また、その画像取得システムにより生成された第２の全方位画像を考慮して情報が生成される。ここで、その情報は、第１の校正情報に基づいている。

本発明の第２の態様の変形として、第２の全方位画像に関連する校正情報は、この画像の画像データと先の全方位画像に基づいて計算される校正情報とを利用することにより生成されてもよい。その過程は、その後取得される全方位画像に対して繰り返されてもよい。ここで、過去における１つ以上の画像の校正情報は、現在の画像に対する校正情報を計算するために用いられてもよい。

本発明の第３の態様は、全方位画像を取得し、全方位画像を取得可能なすべての画像取得システムに共通に適用可能な描画フォーマットを決定することにより全方位画像を描画する方法に関する。取得された全方位画像は、決定された描画フォーマット上にマッピングされる。

本発明の第３の態様の変形として、描画フォーマットに変換された全方位画像は、画像あるいは動画エンコーダを使用してエンコードされる。この方法でエンコードされる全方位画像は、通常の画像／動画デコーダを用いてデコードし、表示することができる。

上記の本発明の態様は、画像の生成を行ったシステムに依存しない、パノラマ画像／全方位画像の描画に対する共通のモードを提供するという利益をもたらす。共通の画像フォーマットは、長方形の形状、画像の連続性などの多くの望ましい特性を有している。また、共通フォーマットで描画される全方位画像は、標準的な画像／動画エンコーダを使用して、エンコード、送受信、デコード、および表示を効率的に行うことができるという利点も有している。さらに、本発明によれば、特定の画像取得システムで取得された画像に対して特定の画像／動画デコーダを使用するのではなく、単一の共通なデコーダを用いて全方位画像をデコードし表示することができる。同様に、本発明では共通フォーマットからデコードおよびレンダリングをするので、処理の負荷は、エンコーダ側にかかるようになる。したがって、対応する画像／動画デコーダは、よりシンプルで、より効率的な動作が可能になる。

本発明の一般的な原理は、まず、球面全体の画像を取得可能な画像取得システムの仮想的な、単一の中心点を考慮することにより最もよく理解される。その中心点において、視野の完全な球面を取得（キャプチャ）することができる。図１に示されるように、視野の仮想球面Ｓは、そのような画像取得システムに関連付けられており、また、実空間内の点Ｔをその球面上に投射することができるという幾何学的な要素である。すなわち、実空間内の点Ｔは、実空間内の点Ｔと座標系の原点Ｏ（すなわち、球面Ｓの中心点）とを通る直線によりＳの表面上に投射されるということである。

現実には、実空間内の点Ｔは、画像取得システムの光学系を介して画像センサ（画像形成装置）のセンサ面（画像形成面）に投射され、画像形成面で取得される。本発明においては、図１に示される仮想球面Ｓのような共通の中間投射要素が導入される。このモデルでは、まず、実空間内の点Ｔは、点Ｔと原点Ｏとを通る直線によって仮想球面Ｓ上に投射される。実空間内の点Ｔが仮想球面Ｓ上に投射された後、別の投射が計算される。この投射は、球面Ｓ上の点Ｐを、画像形成面上にマッピングするものである。その結果、実空間内の点Ｔを実空間内で処理した場合と同一の結果（画像）が得られる（すなわち、等価投射モデル）。したがって、画像形成装置の画像形成面において実空間内の処理により取得される実空間内の点の画像は、（前述のマッピングを用いて）仮想球面Ｓの表面に逆投射することができる。続いて、仮想球面Ｓ上の視覚的情報の処理は、仮想球面Ｓ上に投射された画像のデータの生成に用いられた画像取得システムの形式にとらわれず統一された方法を用いて行うことができる。したがって、取得した全方位画像をそのままのフォーマットで使用する代わりに、本発明では、対応する情報を仮想球面Ｓから他の望ましい（有利な）フォーマットに投射する。この投射モデルでは、仮想球面Ｓは、画像取得システムの特定の特性と、取得された画像に対する共通の描画フォーマットとの間の「ゲートウェイ」に相当するといえる。

好適な画像形成装置は出力用の平面画像を生成するので、点Ｐからなる仮想球面Ｓ上の点の集合は、所望のフォーマットで平面上にさらに投射されることが望ましい。周知のように、球面から平面へマッピングする際には、歪およびサンプリングに関連する問題を避けて通ることができない。これらの問題は、地図作成法の分野で広く扱われているのでよく知られている。地図作成法の分野では、多くのマッピングが、種々の要求を満足するように計算されるが、（歪、輪郭、および面積の保護等の）各特徴の間にはトレードオフがある。なお、球面上の点を平面にマッピングすることに加え、本発明では、マッピング（あるいは変換）された画像に対する共通フォーマットが長方形である（したがって、標準的な画像あるは動画エンコーダでエンコードするのに好適である）ように、また、可能な限り仮想球面の連続性を保護するように、投射上の制約を付加してもよい。

前述の画像形成処理は、数学的に記述することができる。例えば、取得された全方位画像Ｅを長方形フォーマットを有する画像Ｉに関連付けるマッピングτが計算される（数１）。ここで、画像Ｉのすべての画素は、取得された全方位画像Ｅに含まれる視覚的情報の描画に使用される。このように、全体のマッピングτは、取得された画像Ｅの画素の値に基づいて、共通のフォーマットの画像Ｉにおける画素の値を計算するものである。

視野の仮想球面Ｓ（画像取得システムの如何なる単一の中心点とも関連することができる）により、全体のマッピングτは２つの主な段階に分けられる。すなわち、第１段階は、取得された全方位画像Ｅのデータを対応する仮想球面Ｓに関連付けるマッピングであり、画像取得システムに依存するものである。第２段階は、共通のマッピングであり、特定の画像取得システムには依存せず、視覚的情報を仮想球面Ｓから平面状の長方形の共通フォーマットを有する画像Ｉに変換するものである。

全体のマッピングτの計算をするために計算する必要があるマッピングは、概ね次の通りである。すなわち、まず、実空間内の点Ｔは、原点Ｏを中心点とする仮想球面Ｓの表面上に投射される。仮想球面Ｓから、カメラ等の画像形成装置の画像形成面に平行な球面Ｓの赤道面への直接のマッピングは、この投射の結果が実空間内の物理的処理により得られる実空間内の点Ｔの集合と同一となるように計算される。つまり、このマッピングは、（等価モデルを介して）画像取得システムがパノラマ画像／全方位画像を取得する処理に対応している。したがってこの処理は、パノラマ画像／全方位画像を取得した特定の画像取得システムに依存している。以上で述べたマッピングは、取得されたパノラマ画像／全方位画像Ｅのデータの仮想球面Ｓへの投射を計算するものである。これは、τ_dで表される（数２）。

さらに、（マッピングτ_dを介して）仮想球面Ｓに投射された視覚的情報を、平面状の長方形の画像Ｉに投射するために、マッピングτ₁およびτ₂を計算する必要がある。ここで、τ₁は、原点Ｏを中心点とする仮想球面Ｓから、原点Ｏを中心点とし、平面状の表面を複数有する立体（多面体Ｘ）の表面へのマッピングを表すものである。また、τ₂は、多面体Ｘの平面状の表面を、仮想球体Ｓの赤道面（画像取得装置の画像形成面に平行である）に正投射するマッピングを表すものである。τ₁およびτ₂は以下のように表される。

これらの計算されたマッピングは、続いて、取得されたパノラマ画像／全方位画像Ｅから、共通フォーマットを有する画像Ｉへの全体のマッピングτの計算に使用される（数５）。ここで、τでは、取得された全方位画像Ｅにおける画素の値の補完が、最終的な長方形画像Ｉの画素の値の計算のために使用される。

このように、実用的な観点から、画像Ｉの画素の連続的なスキャンに対して、各画素の値は、取得された全方位画像Ｅの画素の値からマッピングτにより（より正確に言うと、τの逆マッピングにより）計算される。取得された画像Ｅの形成は画像取得システムに依存するが、球面Ｓに関連した視覚的情報が変換される最終的な画像のフォーマットは画像取得システムには依存しないものである。これにより、標準的な画像あるいは動画コーデックを用いたエンコード／デコードに好適な長方形画像のフォーマットが形成されるという利点がもたらされる。さらに、全方位画像のデコードおよびレンダリングに関連する利点、およびエンコーダとデコーダの間の処理負荷の分配に関する利点がもたらされる。また、共通の画像描画フォーマットを使用した直接の結果として、単一のデコーダを用いて、異なる画像取得システムで取得された画像をデコードすることができるという利点がある。

取得された全方位画像Ｅの画像データを仮想球面Ｓ上に投射するマッピングτ_dが一旦計算されると、取得された全方位画像を、画像取得システムに依存しない、種々の特徴を有する共通のフォーマットに描画するために、規格化された単位球面Ｓから共通フォーマットを有する画像Ｉへのマッピングを計算する必要がある（これは、先に導入された複合マッピングτ₂？τ₁に対応する）。この場合、仮想球面Ｓの表面上の点を平面に投射する方法は、数多く存在する。そのような球面から平面への投射に共通の特徴は、選択された特定の投射方法の特性（例えば、歪、面積、あるいは球面サンプリングの均一性など）の間でトレードオフがあるということである。地図作成技術の分野において、球体である地球表面（球面）を平面に投射する技術が知られているが、地図作成技術による平面への投射は、標準的なエンコード技術を用いた画像／動画のエンコードには適用できない。他の知られた投射方法としては、球面Ｓから、球面Ｓに内接する中間立体（例えば、直方体や正二十面体）への投射を使用するものがある。ここで、直方体や正二十面体の面は、当然１つの平面に含まれるものではない。そのため、サンプリングの不均一性（例えば、直方体の角と他の領域との間の不均一性）のほかに、これらの多面体が平面に含まれないことにより、標準的な画像エンコーダを用いたエンコードに好適な、長方形の画像を直接得ることができないという問題がある。そして、平面に含まれない面の間の不連続性がさらに増加するという問題が引き起こされる。これは、画像／動画エンコーダの性能に影響する可能性がある。あるいはさらに別の方法として、球面を、メッシュ（例えば、３角形の形状を有するメッシュ）を用いて近似し、その複数のメッシュを１つの画像にまとめる（パックする）方法もある。しかしながら、表面要素を長方形画像へパックする方法は、単純なものではなく、各メッシュ（例えば三角形のメッシュ）の端部における連続性が欠如するという問題が起こる。すなわち、パックされた要素の間に空間ができ、長方形フォーマットにおけるパックが不完全なものになるということが起こる。

本発明で採用される球面Ｓから共通の画像フォーマットを有する画像Ｉへの投射は、２つの段階に分けられる。第１の段階は、前述のマッピングτ₁に対応するものである。マッピングτ₁では、球面Ｓ上の点は、中間体（多面体）Ｘに投射される。この段階の後、中間体Ｘの表面上の点は、マッピングτ₂によって、長方形フォーマット等の最終的な画像フォーマットを有する画像Ｉ上に投射される。長方形の画像Ｉを得るために、中間多面体としては、中心点が原点Ｏである正八面体が選択される。図４に示されるように、正八面体Ｘは、すべての頂点が球面Ｓの表面に含まれるように、球面Ｓに内接している。本発明の実施形態では、正八面対Ｘの面は、球面Ｓの赤道面に投射される。その結果、球面Ｓの２つの半球に対応して、画像Ｉ’_n（ｎ＝１、２）が生成される。

図４に示されるように、球面Ｓ上の点Ｐは、実空間内の点Ｔに対応している。点Ｐは、正八面体の対応する面Ｘ_k上の点Ｒに投射される。そして、点Ｒは、球面Ｓの赤道面上の点Ｈに正投射される。この処理は、球面Ｓ上の点Ｐの各々について繰り返される。この処理は球面Ｓの２つの半球の各々に適用されるので、正八面体Ｘに対する幾何学的処理により、２つの長方形の画像Ｉ’_n（ｎ＝１，２）が得られる。

結果として得られた２つの長方形の画像Ｉ’_nを処理する方法は色々ある。第１に、２つの画像を別々に処理することができる。第２に、球面Ｓで存在した連続性を可能な限り残したまま、２つの画像を１つの長方形の画像Ｉにまとめる（パックする）こともできる。図５に、画像を１つにまとめる方法の一例を示す。図５に示す方法では、画像Ｉ’_nの各部が再配置され、長方形の画像Ｉが生成されている。ここで、画像Ｉは長方形であるため、標準的な画像／動画エンコーダを用いたエンコードに適している。また、図６は、画像を１つにまとめる別の方法の一例を示している。この第２の方法は、取得された画像Ｅの使用不可能な部分（例えば、カメラ自身の像の部分）を、画像Ｉ中で同一のグループとして扱うことで、エンコードの際に有利である。

画像Ｉは、例えばＪＰＥＧ（Joint Photographic Experts Group）のような標準的な画像エンコーダ１１２（図２）を用いてエンコードされる。同様に、一連の共通フォーマットの画像の集合｛Ｉ_k｝は、例えばＭＰＥＧ（Moving Picture Experts Group）のような動画エンコーダ１１２を用いてエンコードされる。したがって、別々の画像取得システムで取得された共通の画像フォーマットを有する全方位画像を、共通のデコーダ１１４を用いてデコードすることができる。デコーダ１１４は、デコードされた画像Ｉを描画に使用された多面体Ｘにテクスチャマッピングするだけでよい。この処理は、レンダリングエンジンを用いれば非常に効率的に計算することができる。さらに、処理の負荷は、共通フォーマットで画像を生成するエンコーダ１１２側に偏っている。これは、デコーダの動作上の実行速度に制限がある場合に好適である。

全方位画像／パノラマ画像を取得するためのシステムの一例である画像取得システム１００（図２）は、例えば、Remote Reality, Inc.社製のＰａｒａＭａｘ３６０等のモジュールを含む。このモジュールは、パラボラ型ミラー１０２と、視野のほぼ半球に対応する視覚的情報を取得するための例えばＳＯＮＹ社製ＤＶ−２０００等のビデオカメラ１０６と、ビデオカメラ１０６に取り付けられたテレセントリック系レンズ１０４とを有する。ＰａｒａＭａｘ３６０の場合、図３に模式的に示すように、ビデオカメラ１０６により生成された画像は、標準的な画像／動画エンコーダ１１２を用いて直接エンコードされる。ミラー１０２上の点は、カメラ１０６の画像形成面に正投射され、画像Ｅを形成する。

本発明の実施形態では、Remote Reality, Inc.社製のＰａｒａＭａｘ３６０というレンズ／ミラー系のパッケージが使用される。ここで、ＰａｒａＭａｘ３６０は、生の全方位画像を取得するためにＳＯＮＹ社製ＤＶ−２０００ビデオカメラに接続されている。ここで、生の全方位画像とは、ＰａｒａＭａｘ３６０システムで利用可能なソフトウェア、アルゴリズム等を介してエンコードあるいは処理されていない画像のことである。その代わり、取得された画像は、本発明に係る方法を用いてさらに処理される。ここで、パラボラ型ミラー１０２とテレセントリック系レンズ１０４の組み合わせは、単一の投射点を確実にすることに注意すべきである。さらに、パラボラ型ミラー１０２は、直交する画像処理装置の軸と一致する対称軸と、焦点距離ｆとを有している。パラボラ型ミラー１０２では、ミラーの形状（放物面）が有限であるために、垂直視野角には、放物面の端部に対応する限界角αがある。また、放物面の表面から画像形成面への正投射は、放物面から画像形成面の距離には依存しない。さらに、画像形成面は、放物面の対称軸に垂直であり、かつ放物面の焦点を通過する平面である。なお、アスペクト比は１で、歪が無いことが望ましい。

取得された画像データの最終的な描画が、視覚的情報を取得した特定の画像取得システムに依存しないことを確実にするため、特定の画像取得システムを共通の幾何学的モデルに関連付けるマッピングを計算する必要がある。共通の幾何学的モデルにより、視覚的情報を最終的なフォーマットへさらに投射するための統一された方法を採用することができるようになる。先に説明したように、本発明では、規格化された視野の球面Ｓが採用される。ここで、球面Ｓの中心点は、中間幾何構成体であるパラボラ型ミラーの焦点と同一である。パラボラ型ミラーの表面上には、画像取得システム１００の幾何学的条件に特有の方法で視覚的情報が投射される。焦点距離ｆを有するパラボラ型ミラー１０２を使用した場合、対応する規格化されていない仮想球面Ｓは、半径ｒ＝２×ｆを有する。取得された全方位画像Ｅに含まれる視覚的情報を仮想球面Ｓに投射した後、球面Ｓの表面上の視覚的情報は、さらに、画像取得システムに依存しない方法で、かつ球面Ｓが選択されたフォーマットに投射される方法のみに依存した方法（例えば、内接する中間体を介して）で最終の画像フォーマットを有する画像Ｉに投射される。要求は、フォーマットに課される。

図２に示される画像取得システム１００に対して、マッピングの計算に必要な画像処理装置のパラメータ（例えば、ミラーの焦点距離ｆや、円形の画像Ｅの中心点の座標）は、図７に模式的に示される自動校正処理２００により計算される。校正処理２００は、必要なパラメータ値を推定するために、取得された画像を使用するものであって、特別な校正パターンを使用するものではない。すなわち、図２に示される画像取得システム１００に対して、校正処理は、取得したパノラマ画像Ｅを使用するものであって、パラメータを計算するのに、（例えば、直線の画像のような）特定の特徴を有する画像は使用しない。その代わりに、校正処理は、取得されたパノラマ画像の必要な幾何学的特徴（例えば、図１４に例示されるように、取得された円形画像の中心点、半径）を直接検出する。この校正処理は、円形のパノラマ画像の、長方形画像の使用されない部分（図１４の「黒い」画素）の残りの部分の分離の「良質性」に依存している。

校正処理には、ステップ２０２により画像Ｅが画像取得システム１００により取得された後に、２つの主な段階が存在する。すなわち、第１段階では、円形のパノラマ画像と使用されていない画素領域とを区分するエッジ（あるいはそのエッジの一部）が検出される（ステップ２０４）。このためにエッジ検出処理（例えば、いわゆるＳｏｂｅｌ処理）が用いられ、その結果は例えばバイナリ画像Ｗとして出力される。バイナリ画像Ｗには、値が「１」の画素（円形のパノラマ画像のエッジの領域に対応する雑音のある画素を表す）が含まれている。なお、明らかにパノラマ画像のエッジより外側にあると分かっている領域をあらかじめ処理の対象から除く処理、すなわち画像Ｗのプレフィルタ処理を行ってもよい（これにより、値が「１」の画素の候補を減らすことができる）が、これは必須の要素ではない。

校正処理の第２段階では、雑音として検出された画素（画像Ｗ中で値「１」を有する画素、すなわちエッジとして検出された画素）は、半径ｒ、中心点（ｕ₀，ｖ₀）を有する円でフィッティングされる（ステップ２０６）。ここで、ｕ’とｖ’は、画像Ｗにおける直交座標系を表す。元の画素空間に対し非ロバストな最小二乗法を用いる代わりに、以下で述べるようなパラメトリック空間処理および多数決技術（majority voting）に基づいたロバストな技術が使用される。すなわち、極座標系における円の式から、ｕ’とｖ’は、次式のように表される。

ここで、ｕ’₀、ｖ’₀は円の中心点の座標を、ｒは円の半径を表す。

数６、数７から次式が導かれる。

ここで、パラメータｕ’₀、ｖ’₀は、円の中心点の座標を表しており、多数決技術を用いて計算することができる。このようにして、２次元アレイ（アキュムレータ）Ｃ（ｕ’₀，ｖ’₀）が設定される。ここで、アレイＣの初期値はすべて０（ゼロ）に設定される。エッジ検出処理を画像Ｅに適用することにより、入力画像Ｗにおいてエッジとして検出されたすべての画素（ｕ’，ｖ’）に対し角θ（ｕ’，ｖ’）を求めることができる。アレイＣ（ｕ’₀，ｖ’₀）は、画像Ｗ中の各画素に対して、その画素を通過する式８で定義される直線の数をカウントするものである。画像Ｗ中のすべての画素について処理が終わった後で最高値を有するアレイＣに対応する座標は、円の中心点（ｕ’₀，ｖ’₀）を表す。続いて、決定された円の中心点を用いて円の半径ｒが求められる。この場合、パラメータの値は、パラメータ空間のアレイＣ（ｕ’₀，ｖ’₀）を近似的に構築し（定量し）、かつ式８を用いることにより、サブ画素の精度で求められる（ステップ２０８）。

図８は、画像Ｗ中のすべての画素に対し処理を行った後で得られる、式８で与えられるパラメータ線を含むパラメータアレイＣの画像の例である。円の中心は、画像中央の線の交点において求められる。ここで、アキュムレータＣの値は最大値をとる。この場合生成されたパラメータ線は、エッジ検出処理で検出された画像Ｗ中の外側の円のエッジ部分のみに対応する。

一旦校正処理が行われると、点Ｊ（スケールと共に、図３の取得された画像Ｅから得られる）と、共通フォーマットの画像Ｉの画素との間で全体のマッピングτを計算することが可能である。全体のマッピングは、取得した画像Ｅから画像Ｉの画素の値を計算するための画素値を決定する。

図２に示される画像取得システム１００を有する本発明の実施形態に対して、全体のマッピングτが、例えば、図９（ａ）に示されるように原点Ｏとｘ軸、ｙ軸、ｚ軸を有する実空間の座標系を考慮して計算される。さらに、規格化が行われる。規格化された場合、焦点距離ｆ＝ｒ／２＝１／２の放物面Ｍを有するミラーに対応する単位仮想球面Ｓが用いられる（すなわち、ｒ＝１）。実空間内の点Ｔ（ｘ，ｙ，ｚ）は、原点Ｏと点Ｔを通る直線に沿って、放物面Ｍの表面上に点Ｐ’（ｘ，ｙ，ｚ）として投射される（図３および図９（ｂ））。同じ直線に沿って、点Ｐ’は、球面Ｓ上の点Ｐ（ｘ，ｙ，ｚ）として投射される（図９（ｂ））。先に述べたように、実空間内の点の画像を、全方位画像Ｅの中で取得されたものとして、球面Ｓ上の点Ｐに変換するマッピングτ_dが計算されなければならない。次に、球面Ｓ上の点は、取得された全方位画像データに対して、共通の描画フォーマット上に投射される（画像Ｉ）。投射に際し球面Ｓに内接する正八面対Ｘを使用した場合、球面Ｓ上の点Ｐを、点Ｐと原点Ｏを通過する直線により、正八面体Ｘの対応する平面への投射することができる。この投射された点は、点Ｒ（ｘ，ｙ，ｚ）で表される。この投射は、先に述べたマッピングτ₁に対応するものである。点Ｒは、次に、球面Ｓの赤道面に正投射される。この投射された点を点Ｈ（点Ｈの集合が長方形の画像Ｉ’_n（ｎ＝１，２）を形成する）とする。同様に、この投射は、先に述べたマッピングτ₂に対応するものである。したがって、球面Ｓから共通フォーマットを有する画像Ｉへの投射は、マッピングτ₁○τ₂に対応している。

取得された全方位画像Ｅから共通フォーマットを有する画像Ｉへの全体のマッピングτの計算は、図２に示される本発明の一実施形態である画像取得システム１００について説明される。

次に、球面Ｓの赤道面上で、｛ｘ，ｙ｝軸と同一の座標軸を有し、原点Ｏを原点とする座標系｛ｕ’，ｖ’｝が導入される（図９（ａ））。点Ｐ’は、球面Ｓの赤道面上の点Ｊ（ｕ’，ｖ’）に正投射される。図９（ｂ）に示されるように、点Ｊ（ｕ’，ｖ’）は、点Ｐに対し、Ｖ（球面の北極）から球面Ｓの赤道面へステレオ投射を行った結果と等しい。前述の投射により、球面Ｓ上の点Ｐは、図２に示される特定の反射屈折系を用いて取得された画像Ｅの画素に対応付けられる。そして、前述の投射は、画像取得システムに依存したマッピングτ_dに対応するものである。

同次座標を用いると、Ｊ（ｕ’，ｖ’）とＰ（ｘ，ｙ，ｚ）の座標の間の関係は、次式により表される。

前述のようなパラボラ型ミラーと画像形成面への正投射を用いた場合、前述の関係は次のように定義される。すなわち、｛ｘ，ｙ，ｚ｝の座標系において、北極Ｖ（座標（０，０，１））と、座標（ｘ，ｙ，ｚ）の点Ｐと、座標（ｕ’，ｖ’，０）の点Ｊと通る直線を用いるステレオ投射に対して、次式が成立する。

上式は、以下のように書くこともできる。

数１２から、次式が導かれる。

数１２〜１４から、次式が導かれる。

次に、半径ｒの球面Ｓに対応する投射された点Ｊの座標（ｕ’，ｖ’）を決定するために、単位球面（ｒ＝１）を使用するために、上で計算された点Ｊ（ｕ’，ｖ’）の座標（ｕ’，ｖ’）をスケーリングするためのスケール因子が使用される。前述のように、パラボラ型ミラーには、垂直視野角の限界角αが存在する。図１０に示されるように、必要なスケール因子は、座標（０，ｒ）の点Ｖと、座標（ｒｃｏｓα，ｒｓｉｎα）の点Ｐと、角αに対応する極大の投射点（ｕ’_s，０）を次式により相関させることにより決定される。

したがって、

これにより次式が導かれる。

Ｅで取得された全方位画像が円形であると仮定するとｖ’軸に対して同一のスケール因子を適用することができる。したがって、点Ｊ（ｕ’，ｖ’）の座標は、半径ｒ、角αを有する球面に対応するために、因子ｒ×Ａによりスケーリングされなければならない。

さらに、スケーリングされた点Ｊ（その座標は、因子ｕ’_s＝ｖ’_s＝ｒ×Ａによりスケーリングされる）は、取得された画像Ｅの上左部に原点を有する新しい座標系｛ｕ，ｖ｝で表現される（図１１（ａ））。この座標系において、｛ｕ’，ｖ’｝軸の原点は、座標（ｕ’₀，ｖ’₀）にある。これは、先に説明された校正段階の間に決定される。したがって、新しい座標系｛ｕ，ｖ｝におけるスケーリングされた点Ｊの座標は、以下のように与えられる。

最後に、共通フォーマットの画像Ｉは、図１１に示される画像Ｉにおける各画素値の決定に使用される座標系と共に図５に示される構造を有している。画像Ｉのパーティションは、球面Ｓの、正八面体Ｘを介した上半球および下半球の投射に対応するようにラベル付けされている。

画像Ｉにおける各画素の計算は、取得された画像Ｅからの画素の値の補完により得ることができる。画素Ｉ（ｉ，ｊ）の値は、以下に示す式を使用し、既知の画像サイズを与えられ、球面Ｓの半球と正八面体Ｘの面に対応する投射されたパーティションの画像Ｉにおける整列により決定される。以下の式において、座標ｘ＝ｘ（ｉ）とｙ＝ｙ（ｊ）の間の知られた関係が用いられる（図１１参照）

したがって、画像Ｉにおける座標（ｉ，ｊ）の画素に対して、その画素の値は、画像Ｅの画素の値からの補完により決定される。ここで、画像Ｅの画素の座標（ｕ，ｖ）は、前述の式で特定されるように決定される。したがって、

ここで、ｇは補完処理を表す。

前述のように共通フォーマットを有する画像Ｉにマッピングされたエンコード済み全方位画像は、ＪＰＥＧあるいはＭＰＥＧのような標準的なデコーダを用いてデコードされる。一旦画像Ｉがデコードされると、図１２に示されるように、それはＶＲＭＬ（Virtual Reality Modeling Language）命令を用いて正八面体Ｘの面に直接テクスチャマッピングされる。取得されたシーンのインタラクティブな鑑賞（例えば、パン）は、利用可能なナビゲーションコントロールを用いて可能である。この視覚的アプローチは、取得された全方位動画情報を含む一連の画像Ｉに直接的に拡張することができる。前述のように、この場合のデコーダの処理は、画像Ｉをデコードし、デコードされた画像を正八面体上にテクスチャマッピングしさえすればいいので、より効率的である。この処理は、ハードウェアの加速に適している。以下は、共通フォーマットに変換された全方位画像に含まれるパノラマ画像情報の視覚化に使用できるＶＲＭＬコードの一例である。

#VRML V2.0 utf8
Viewpoint {
description "origin"
position 0.0 0.0 0.0
}
Shape {
appearance Appearance {
material Material {
ambientlntensity 1
emissiveColor 1 1 1
}
texture ImageTexture {
uril"image_I.jpg"
}
}
geometry IndexedFaceSet {
creaseAngle {}
ccw TRUE
coord Coordinate {
point {
0 0 10,
10 0 0,
0 0 -10,
-10 0 0,
0 -10 0,
0 10 0
}
}
texCoord TextureCoordinate {
point {
0 0.5,
0.5 1,
1 0.5,
0.5 0
0.5 0.5,
1 0,
1 1,
0 1,
0 0
{
}
coordlndex {
0, 1, 4, -1,
1, 2, 4, -1,
2, 3, 4, -1,
3, 0, 4, -1,
0, 3, 5, -1,
3, 2, 5, -1,
2, 1, 5, -1
}
texCoordIndex {
0, 1, 4, -1,
1, 2, 4, -1,
2, 3, 4, -1,
3, 0, 4, -1,
0, 3, 8, -1,
3, 2, 5, -1,
2, 1, 6, -1,
1, 0, 7, -1
}
}
}

以上で述べた画像処理は、図１３のフローチャートにまとめらていれる。画像取得システム１００の画像処理３００では、まず、カメラ１０６によるパノラマ画像／全方位画像Ｅの取得が行われる（ステップ３０２）。続いて、画像Ｅのパラメータは、図７に示される自動校正処理２００を介して自動校正装置１０８により計算される。校正処理が完了した後、図２に示されるマッピング処理部１１０によりマッピングが行われる。

マッピングは、図１３に示されるステップ３０４、３０６、３０８、３１０を含む。まず、画像Ｅにおいて取得された実空間内の点Ｔの像は、前述の方法で球面Ｓに投射される（ステップ３０４）。続いて、球面Ｓを、立体（正八面体）の表面に関連付けるマッピングが、前述の方法により計算される（ステップ３０６）。続いて、前述の方法により、正八面体Ｘの面を球面Ｓの対応する赤道面の正投射に関連付けるマッピングが計算される（ステップ３０８）。ステップ３０８により形成された画像は、続いて、前述の方法により１つの画像にまとめられる（パックされる）（ステップ３１０）。

ステップ３１０により形成されたパックされた画像は、続いて、前述の方法によりエンコードおよびデコードされる（ステップ３１２およびステップ３１４）。デコードされた画像は、続いて、周知の方法により表示される（ステップ３１６）。

図１７は、図２に示される画像取得システムを用いて、以上で述べたマッピングおよびエンコーディングが実行されたときに生成された投射図の例を示す。この処理の最初に、図１４に示されるようなパノラマ画像が取得される（ステップ３０２）。続いて、取得された画像は、前述の方法により共通フォーマットを有する画像Ｉにマッピングされる。図１５は、図１４に示されるサンプル画像を共通の描画フォーマットに変換した結果（画像Ｉ）を示す。なお、同図において、投射に使用された正八面体に対応する投射パーティションの境界を定める線も示されているる。

共通の表示フォーマットにおける画像Ｉは、標準的な動画ＣＯＤＥＣを用いてエンコードおよびデコードされることができる。対応する再構築された画像Ｉ＾は、デコーダによりレンダリングされ、視覚的情報がインタラクティブに表示される。再構築された画像Ｉ＾を正八面体Ｘにテクスチャマッピングする処理の例が、図１６に示されている。

したがって、情景の投射図は、画像処理装置で取得されたパノラマ画像／全方位画像の視覚的情報に対応する画像データから、デコーダによりインタラクティブに生成することができる（ここで、画像データは、共通の描画フォーマットから変換された画像データである）。これが意味するところは、写された情景の投射図を、生成し、表示することができるということである。ここで、視点（あるいは原点Ｏ）からの視野の方向は、ユーザによりインタラクティブに変化させることができる（例えば、パノラマ画像をスルーするようにパンすることができる）。この処理は、パノラマ動画データからの投射図のデコードおよび表示の間に同時に実行することができる。図１７は、画像Ｉ＾からインタラクティブに生成することができる投射図の例を示している。

以上で説明した実施形態は、発明を説明するためのものであり、発明を限定するものではない。したがって、本発明の技術的範囲から逸脱しない範囲で、様々な追加、置換、その他の改変を行うことができる。例えば、画像取得システム、表示および／あるいは画像処理技術、校正技術の変形は、発明の精神から逸脱しない範囲で可能である。

画像取得システムの変形について考えると、本発明の主たる目的の１つは、パノラマ画像／全方位画像を、使用した画像取得システムに依存しないフォーマットに変換することである。したがって、前述の描画および画像処理のプロセスは、全方位画像のデータを生成するために使用される、ある軸を回転軸として回転し、複数の静止画像を生成する回転カメラにも同様に適用可能である。本発明は、静止画像から取得された画像データを球面Ｓに投射することを可能にする。したがって、前述のその他の処理は実行される。

さらに、描画処理の変形も可能である。例えば、描画処理を、動画に適用してもよい。ここで、動画の各フレームは、前述の方法により描画処理される。

校正処理の変形に関して、前述の例は、単一の画像の校正および処理を一般的に記述するものである。本質的に、校正及び画像処理プロセスは、動画にも適用することができる。この場合、動画の各フレームは、静止画と同様の方法で処理される。

前述の校正技術の他に、動画のフレームの校正を動的に行うことも考えられる。そのような校正処理は、まず、図２に示される画像投射システムと同様のシステムを介して、全方位動画情報の複数のフレームの取得を行う。そして、各フレームに対して、校正情報が生成される。続いて、各フレームに対して、前のフレームに対する校正情報に基づいて分離情報が生成される。そのような分離情報は、以下のために使用されてもよい。
（１）後者のパラメータを予測する。（２）後者のフレームの校正が失敗したかかどうか予測する。（３）要求される画像処理装置のパラメータの計算精度を増加させる。

球面状の画像を取得する画像取得システムに関連する画像の仮想球面を示す模式図である。 本発明に係る画像取得システムの例を示す模式図である。 図２に示される画像取得システムのミラー上の点を、画像取得システムのカメラの画像形成面上に正投射する様子を示す模式図である。 図１に示す仮想球面上の画像の点を、中間面上に投射する様子を示す模式図である。 図４に示す２つの画像を１つの画像にまとめる（パックする）態様を示す模式図である。 図４に示す２つの画像を１つの画像にまとめる（パックする）第２の態様を示す模式図である。 本発明に係る校正処理の実施形態を示すフローチャートである。 本発明に係る校正処理で使用される、パラメータ線を含むパラメータアレイの画像の例である。 （ａ）は本発明に係る画像のマッピングに使用される座標系を仮想球面と共に示す模式図である。（ｂ）は点Ｐ’を図９（ａ）に示す球面上の点Ｐ（ｘ，ｙ，ｚ）に投射する様子を示す模式図である。 本発明に係るスケール因子の計算の様子を示す模式図である。 （ａ）は本発明に係る取得された画像の座標系を示す模式図である。（ｂ）は本発明に係る画像の描画の座標系を示す模式図である。 デコードされた画像を、正八面体の面上に直接テクスチャマッピングする様子を示す模式図である。 本発明に係る画像形成過程の実施形態を示すフローチャートである。 本発明に係る取得されたパノラマ画像の例を示す図である。 図１４に示す図を、本発明に係る共通の描画フォーマットに変換した例を示す図である。 図１５に示す画像を、正八面体にテクスチャマッピングした例を示す図である。 図１４に示す画像から生成された投射図の例を示す図である。

符号の説明

１００……画像取得システム、１０２……パラボラ型ミラー、１０４……テレセントリック系レンズ、１０６……カメラ、１０８……自動校正装置、１１０……マッピング処理部、１１２……エンコーダ、１１４……デコーダ、１１６……表示部

Claims (6)

1. 画像取得システムを介して全方位画像を生成するステップと、
   前記全方位画像の幾何学的特性に基づいて、前記画像取得システムのパラメータを直接的に計算するステップと
   を有する、全方位画像から画像取得システムのパラメータを計算する方法。
2. 画像取得システムを介して第１の全方位画像を生成するステップと、
   前記第１の全方位画像に基づいて、前記画像取得システムに関する第１の校正情報を生成するステップと、
   前記第１の校正情報に基づいて、前記画像取得システムにより生成される第２の全方位画像に関する情報を生成するステップと
   を有する、複数の全方位画像から画像取得システムを校正する方法。
3. 全方位画像を取得するステップと、
   前記全方位画像を取得するためのいかなる画像取得システムに対しても共通に適用可能な描画フォーマットを決定するステップと、
   前記取得された全方位画像を、前記決定されたフォーマットにマッピングするステップと、
   を有する全方位画像の表示方法。
4. 画像取得システムが取得した全方位画像を受信する全方位画像受信手段と、
   前記全方位画像の幾何学的特性に基づいて、前記画像取得システムのパラメータを計算するパラメータ計算手段と
   を有する画像処理装置。
5. 画像取得システムが取得した第１の全方位画像および第２の全方位画像を受信する全方位画像受信手段と、
   前記第１の全方位画像に基づいて、前記画像取得システムに関する第１の校正情報を生成する校正情報生成手段と、
   前記第１の校正情報に基づいて、前記画像取得システムにより生成される第２の全方位画像に関する情報を生成する情報生成手段と
   を有する画像処理装置。
6. 画像取得システムが取得した全方位画像を受信する全方位画像受信手段と、
   前記全方位画像のフォーマットを、前記画像取得システムに依存しない別のフォーマットに変換する変換手段と
   を有する画像処理装置。

Images