JP2016511968A - 全周囲立体イメージング - Google Patents

Abstract

超広角レンズを有するカメラを少なくとも３つ用いて全周囲立体イメージをキャプチャするためのカメラセットアップを説明する。立体的に包括される視野はドームとすることができる。カメラのペア間の基線はエピポールを規定し、視差による水平方向のずれを伴わないスティッチングにこれを活用することができる。【選択図】図１

Description

本願発明は、奥行き知覚を伴う３６０度の視野をもたらす没入型イメージングに関する。

関連出願への相互参照
本願は、西暦２０１３年２月４日に出願された米国仮出願第61/760,383号の優先権を主張する。

伝統的な立体イメージング（stereo imaging）では、基線に沿っての方向において分離された２つのカメラを使用して同じ方向に向く２つの若干異なる視点を捉える。そして、立体イメージペアを立体ディスプレイに投射して人間の脳内にて融合してシーン奥行きについて強いキュー（手掛かり）を得ることができる。

全周囲立体イメージング（omnistereo imaging）の目的は、最高で観察者の周りの３６０度に立体的なキュー（stereo cue）を提供することである。全周囲立体イメージは、仮想環境内での頭部方向性を追跡しないで行うナビゲーションに使用することができる。

全周囲立体イメージのキャプチャにおける困難性は、サイドバイサイドに配置した２つのカメラを用いただけではキャプチャを行うことができないという点にある。このようなキャプチャでは、（基線と直交な）正中線上で最大の立体情報（stereo information）がもたらされるであろうが、基線に沿っては立体情報がもたらされない。

立体（全周囲立体）没入型キャプチャのためのカメラセットアップ（camera setup）を説明する。全周囲立体イメージペアは、中心的観察者の周りについて３６０度まで立体情報を与える。オムニポーラ（omnipolar）カメラセットアップは、超広角レンズを有するカメラを少なくとも３つ用いる。配置位置を取り囲む全ての視認可能な点は、およそ１８０度の視野内にて、少なくとも２つのカメラによって立体的にキャプチャされることができ、カメラセットアップの方向性によっておよそカメラ設置高さから上方若しくはカメラ設置高さから下方に向かってキャプチャが行われる。

スティッチング法は、カメラセットアップからのイメージを取得して、視差による水平方向のずれを伴わない全周囲立体イメージペアを発生させる。スティッチングは、隣接するカメライメージ内のエピポールを通る垂直平面にて行われる。カメラの移動中において、制約を受けない動的シーンをキャプチャすることができる。キャプチャされたビデオは、全周囲立体ドームに表示されるようにフォーマットされる。エピポーラスティッチング法は、標準レンズを用いる高解像度単眼カメラセットアップを設計するのにも用いることができる。このセットアップは、伝統的なシステムにおいて通常見受けられる視差によるずれを低減させる。

本願発明の１つのおおまかな側面によれば、オムニポーライメージング装置であって、基線の高さにおいて円周上に実質的に等間隔に配置された少なくとも３つのカメラであって、少なくとも３つのカメラの各々は同じ方向に向けられて実質的に３６０度の視野の一部分についてイメージをキャプチャするように構成された広角レンズを有する、少なくとも３つのカメラと、少なくとも３つのカメラを固定位置に維持するマウンティング器具とを備える、オムニポーライメージング装置が提供される。

一部の実施形態においては、装置は、少なくとも３つのカメラからキャプチャイメージを受信して、少なくとも３つのカメラの各々からのキャプチャイメージの部分についてスティッチングを行って実質的に３６０度の視野についての左眼ビューと右眼ビューとを生成する処理装置を、さらに備える。

一部の実施形態では、少なくとも３つのカメラの各々は動的イメージであるイメージをキャプチャするように構成されている。

一部の実施形態では、スティッチングのために選択された少なくとも３つのカメラの各々からのキャプチャイメージの部分は、３６０度／Ｎの視野に各々対応するのであり、ここでＮは少なくとも３つのカメラの個数である。

一部の実施形態では、処理装置は、スティッチングのために選択された少なくとも３つのカメラのうちの所与のカメラによってキャプチャされたイメージの各部分について第１の境界と第２の境界とを規定する処理装置であり、第１の境界は所与のカメラの中心点と所与のカメラの近隣の少なくとも３つのカメラのうちの第１のカメラの中心点とを連絡する第１の線に少なくとも部分的に対応し、第２の境界は所与のカメラの中心点と所与のカメラの近隣の少なくとも３つのカメラのうちの第２のカメラの中心点とを連絡する第２の線に少なくとも部分的に対応する。

一部の実施形態では、処理装置は、スティッチングのために選択されたキャプチャイメージの各部分について、イメージの周縁に達するまで第１の境界を第１の線に対応させ、また、第２の境界を第２の線に対応させるように規定する。

一部の実施形態では、処理装置はキャプチャイメージを受信する処理装置であり、該処理装置は、第１の近隣のカメラの第１の複製と第２の近隣のカメラの第２の複製とを含むイメージとスティッチングのために選択されたイメージの第１の部分とイメージの第２の部分とを所与のカメラから受信する。

一部の実施形態では、処理装置はイメージの第１及び第２の部分の各々について第１の境界及び第２の境界を規定する処理装置であり、各境界は第１のセクションと第２のセクションとを備え、イメージの第１の部分については、第１の境界の第１のセクションは第１の線に対応し、第２の境界の第１のセクションは第２の線に対応し、第１の境界の第２のセクションはイメージの第１の部分から第１の複製を除去するための第１の線から遠ざかるように延び、第２の境界の第２のセクションは第２の線から遠ざかるように伸びておりかつ第１の境界の第２のセクションと同じ形状を有しており、イメージの第２の部分については、第１の境界の第１のセクションは第２の線に対応し、第２の境界の第１のセクションは第１の線に対応し、第１の境界の第２のセクションはイメージの第２の部分から第２の複製を除去するための第２の線から遠ざかるように延び、第２の境界の第２のセクションは第１の線から遠ざかるように伸びておりかつ第１の境界の第２のセクションと同じ形状を有する。

一部の実施形態では、イメージの第１の部分の第１の境界は第１の複製に達するまで第１の線に対応するように規定され、イメージの第２の部分の第１の境界は第２の複製に達するまで第２の線に対応するように規定され、イメージの第１及び第２の部分のどれかの第１の境界及び第２の境界は同じ長さを有する。

一部の実施形態では、処理装置は、スティッチングのために選択された少なくとも３つのカメラの各々からのキャプチャイメージの部分を左右の境界に沿ってスティッチングすることによって左眼ビューと右眼ビューとを生成する。

一部の実施形態では、処理装置は、キャプチャイメージの第１の複数の部分をスティッチングすることによって左眼ビューを生成し、キャプチャイメージの第２の複数の部分をスティッチングすることによって右眼ビューを生成する処理装置であり、キャプチャイメージの第２の複数の部分はキャプチャイメージの第１の複数の部分を１８０度回転したものに対応する。

一部の実施形態では、処理装置は、キャプチャイメージの部分の第１の群であって少なくとも３つのカメラのうちの円周の中心と第１の複数の点の１つとの間での第１の見通し線の反時計回り側に配置された第１のカメラから各々眺められた第１の複数の点を備える第１の群を、キャプチャイメージの第１の複数の部分として選択し、また、キャプチャイメージの部分の第２の群であって少なくとも３つのカメラのうちの円周の中心と第２の複数の点の１つとの間での第２の見通し線の時計回り側に配置された第２のカメラから各々眺められた第２の複数の点を備える第２の群を、キャプチャイメージの第２の複数の部分として選択する。

一部の実施形態では、少なくとも３つのカメラの各々は広角レンズであって、上方に向けられておよそ基線の高さ以上のイメージをキャプチャするように方向付けられているか下方に向けられておよそ基線の高さ以下のイメージをキャプチャするように方向付けられている広角レンズを有する。

一部の実施形態では、少なくとも３つのカメラの各々は単一ビューポイント魚眼レンズを有する。

一部の実施形態では、少なくとも３つのカメラの各々は規則的な間隔毎にイメージをキャプチャするように構成されており、少なくとも３つのカメラは所与のどの時刻においても少なくとも３つのカメラが同時的にイメージをキャプチャできるように同期されている。

一部の実施形態では、処理装置は球面ビューに表示するために左眼ビュー及び右眼ビューをフォーマッティングする。

一部の実施形態では、処理装置は直線ビューに表示するために左眼ビュー及び右眼ビューをフォーマッティングする。

一部の実施形態では、処理装置は円筒ビューに表示するために左眼ビュー及び右眼ビューをフォーマッティングする。

一部の実施形態では、処理装置は左眼ビュー及び右眼ビューをアナグリフとしてエンコーディングする。

一部の実施形態では、処理装置はヘッドマウントディスプレイに表示するために左眼ビュー及び右眼ビューをフォーマッティングする。

本願発明の別のおおまかな側面によれば、隔たって配置された複数のカメラによって取得されたイメージから実質的に３６０度の視野を生成する方法であって、基線の高さにおいて円周上に実質的に等間隔に固定された複数のカメラからの前記イメージをキャプチャするステップと、前記複数のカメラの近隣のカメラの中心点を連絡する線に少なくとも部分的に対応する第１及び第２の境界に沿って、前記複数のカメラの各々からの前記イメージの部分をスティッチングするステップとを備える、方法が提供される。

一部の実施形態では該方法は、実質的に３６０度の視野についての左眼ビューと右眼ビューとを生成するステップと、左眼ビューと右眼ビューとを一緒に投射して奥行き知覚をもたらすステップとをさらに備える。

一部の実施形態では、イメージをキャプチャするステップは、動的イメージをキャプチャすることを伴う。

一部の実施形態では、複数のカメラからのイメージをキャプチャするステップは、同じ方向に向けられて実質的に３６０度の視野の一部分についてイメージをキャプチャするように構成された広角レンズを各々有する少なくとも３つのカメラからのイメージをキャプチャすることを伴う。

一部の実施形態では、イメージをキャプチャするステップは、複数のカメラからのイメージを任意のどの時刻においても同時的にキャプチャすることを伴う。

一部の実施形態では、イメージの部分をスティッチングするステップは、３６０度／Ｎの視野に各々対応する部分をスティッチングすることを伴い、ここでＮは複数のカメラの個数である。

一部の実施形態では、イメージをキャプチャするステップは、カメラの近隣にある複数のカメラのうちの第１のカメラの第１の複製とカメラの近隣にある複数のカメラのうちの第２のカメラの第２の複製とを含むイメージとスティッチングのために選択されたイメージの第１の部分とイメージの第２の部分とを複数のカメラのうちの任意のカメラからキャプチャすることを伴う。

一部の実施形態では、イメージの第１及び第２の部分の各々についての第１の境界及び第２の境界の各々は、第１のセクションと第２のセクションとを備え、イメージの第１の部分については、第１の境界の第１のセクションはカメラの中心点と第１の近隣のカメラの中心点とを連絡する第１の線に対応し、第２の境界の第１のセクションはカメラの中心点と第２の近隣のカメラの中心点とを連絡する第２の線に対応し、第１の境界の第２のセクションはイメージの第１の部分から第１の複製を除去するための第１の線から遠ざかるように延び、第２の境界の第２のセクションは第２の線から遠ざかるように伸びておりかつ第１の境界の第２のセクションと同じ形状を有しており、イメージの第２の部分については、第１の境界の第１のセクションは第２の線に対応し、第２の境界の第１のセクションは第１の線に対応し、第１の境界の第２のセクションはイメージの第２の部分から第２の複製を除去するための第２の線から遠ざかるように延び、第２の境界の第２のセクションは第１の線から遠ざかるように伸びておりかつ第１の境界の第２のセクションと同じ形状を有する。

一部の実施形態では、スティッチングするステップは各イメージについて第１及び第２の境界に沿ってスティッチングすることを伴い、イメージの第１の部分の第１の境界は第１の複製に達するまで第１の線に対応するように規定され、イメージの第２の部分の第１の境界は第２の複製に達するまで第２の線に対応するように規定され、イメージの第１及び第２の部分のどれかの第１の境界及び第２の境界は同じ長さを有する。

一部の実施形態では、スティッチングするステップはスティッチングのために選択されたキャプチャイメージの各部分について第１及び第２の境界に沿ってスティッチングすることを伴い、イメージの周縁に達するまで第１の境界は第１の線に対応するように規定されて第２の境界は第２の線に対応するように規定される。

一部の実施形態では、左眼ビューを生成するステップはイメージの第１の部分をスティッチングすることを伴い、右眼ビューを生成するステップはイメージの第２の部分をスティッチングすることを伴い、イメージの第２の部分はイメージの第１の部分を１８０度回転したものに対応する。

一部の実施形態では該方法は、部分の第１の群であって複数のカメラのうちの円周の中心と第１の複数の点の１つとの間での第１の見通し線の反時計回り側に配置された第１のカメラから各々眺められた第１の複数の点を備える第１の群を、イメージの第１の部分として選択するステップと、部分の第２の群であって複数のカメラのうちの円周の中心と第２の複数の点の１つとの間での第２の見通し線の時計回り側に配置された第２のカメラから各々眺められた第２の複数の点を備える第２の群を、イメージの第２の部分として選択するステップとをさらに備える。

一部の実施形態では該方法は、球面ビューに表示するために左眼ビュー及び右眼ビューをフォーマッティングするステップをさらに備える。

一部の実施形態では該方法は、直線ビューに表示するために左眼ビュー及び右眼ビューをフォーマッティングするステップをさらに備える。

一部の実施形態では該方法は、円筒ビューに表示するために左眼ビュー及び右眼ビューをフォーマッティングするステップをさらに備える。

一部の実施形態ではフォーマッティングするステップは、左眼ビュー及び右眼ビューをアナグリフとしてエンコーディングすることを伴う。

一部の実施形態では該方法は、ヘッドマウントディスプレイに表示するために左眼ビュー及び右眼ビューをフォーマッティングするステップをさらに備える。

本願発明の別のおおまかな側面によれば、隔たって配置された複数のカメラによって取得されたイメージから実質的に３６０度の視野を生成するためのプロセッサにより実行可能なプログラムコードが格納されたコンピュータ可読媒体であって、前記プログラムコードは、基線の高さにおいて円周上に実質的に等間隔に固定された複数のカメラからの前記イメージをキャプチャするステップと、前記複数のカメラの近隣のカメラの中心点を連絡する線に少なくとも部分的に対応する第１及び第２の境界に沿って、前記複数のカメラの各々からの前記イメージの部分をスティッチングするステップとの実行を可能とするプログラムコードである、コンピュータ可読媒体が提供される。

添付の図面と共に後述の詳細な説明を参照することにより本願発明の更なる特徴及び利点が明らかとなる。

添付の図面では同様の要素は同様の参照符号によって特定されていることに留意されたい。

オムニポーライメージング装置についての例示的な実施形態を示す概略図である。 オムニポーライメージング装置によってキャプチャされたイメージを処理するための例示的なコンピューティング装置のブロック図である。 ３つのカメラを用いる場合において、基線に基づいてどのようにして左／右の全周囲立体ビューをアセンブルするかを示す図である。 ３つのカメラを用いる場合において、基線に基づいてどのようにして左／右の全周囲立体ビューをアセンブルするかを示す図である。 ４つのカメラを用いる場合において、基線に基づいてどのようにして左／右の全周囲立体ビューをアセンブルするかを示す図である。 ４つのカメラを用いる場合において、基線に基づいてどのようにして左／右の全周囲立体ビューをアセンブルするかを示す図である。 ３つのカメラで構成されるオムニポーラセットアップにおける各カメラについての入力イメージを示す図である。 図４Ａの入力イメージに対応する左右の出力イメージを示す図である。 図４Ａの入力イメージの形状における偏差を示す図である。 図５Ａの入力イメージに対応する左右の出力イメージを示す図である。 ドーム表示装置又は円柱スクリーン（６Ａ）に全周囲立体イメージをレンダリングするためのプロセス及びスクリーン上のレンダリング位置において発生し得る歪曲を示す図である。 ドーム表示装置又は円柱スクリーン（６Ａ）に全周囲立体イメージをレンダリングするためのプロセス及びスクリーン上のレンダリング位置において発生し得る歪曲を示す図である。 各魚眼レンズについてのレンズオクルージョンによる実際の垂直視野を示す図である。 ドーム及び垂直壁上の点についての仰角に関しての垂直視差の例示的なグラフ表示である。 ３つのカメラを用いた際のｘ−ｚ平面内でのアイレベルにおける知覚上の深度歪曲点を示す図である。 ３つのカメラを用いた際のｘ−ｚ平面内でのアイレベルにおける知覚上の深度歪曲点を示す図である。 ４つのカメラを用いた際のｘ−ｚ平面内でのアイレベルにおける知覚上の深度歪曲点を示す図である。 ４つのカメラを用いた際のｘ−ｚ平面内でのアイレベルにおける知覚上の深度歪曲点を示す図である。 ５つのカメラを用いた際のｘ−ｚ平面内でのアイレベルにおける知覚上の深度歪曲点を示す図である。 ５つのカメラを用いた際のｘ−ｚ平面内でのアイレベルにおける知覚上の深度歪曲点を示す図である。 ８つのカメラを用いて行う単眼キャプチャのための例示的なオムニポーラセットアップを示す図である。

図１は、オムニポーライメージング装置１０についての例示的なセットアップを示す。魚眼レンズ等の３つの超広角レンズ１が３つのカメラ２にマウントする。カメラは、静的なイメージ及び／又はビデオ（即ち、動的な）イメージをキャプチャするための超広角レンズを用意できる任意のタイプのものであることができる。例えばカメラは、Fujinon（登録商標）Ｃ−マウント魚眼レンズを備える１３６０×１０２４ピクセルの解像度のProsilica（登録商標）1380カメラであることができ、又は、Opteka Vortex（登録商標）魚眼レンズを備える１９２０×１０９０ピクセルの解像度のCanon（登録商標）HFS11カメラであることができる。カメラ２は、支持部３上に設置された円柱状アタッチメント４に強固に固定されている。各カメラ２の相対的位置が既知のかつ固定されたものとなることを確実にするために、円柱状アタッチメント４及び支持部３は様々な形状とすることができる。例えば３カメラ用三脚等の単一の手段を用いることができる。オムニポーライメージング装置１０は、図示のように上向きに配置されてレンズ１の高さから上方のイメージをキャプチャする、又は、レンズ１を下向きにして配置されておよそレンズ１の高さから下方のイメージをキャプチャすることができる。カメラ２は垂直方向に（即ち、ｚ軸方向に沿って）配置されているものとして図示されているが、カメラ２が水平方向に（即ち、ｘ軸方向に沿って）配置されるようにしてオムニポーライメージング装置１０を配置することができることに留意されたい。他の構成も適用され得る。また、後述するが、３つ以上のカメラを用いることもできる。

カメラ２によってキャプチャされたイメージは、接続手段５を介してコンピューティング装置６へと送信される。コンピューティング装置６で受信されると、キャプチャイメージは例示的に処理（以下、態様について詳述する）されて表示装置（不図示）にてレンダリングするための出力イメージが生成される。オムニポーライメージング装置１０によって取得されたイメージの処理は、シーンの深度を推定することを伴うことができる。本願明細書にて後述するように、コンピューティング装置６を用いてイメージスティッチングを行うこともできる。１つの実施形態においては、コンピューティング装置６と共に提供された適切な入力手段（例えば、マウスやキーボード等）を介して（例えば、ユーザ等から）受信した１以上の入力命令に応答して、コンピューティング装置６にてキャプチャイメージの処理を行うことができる。送信はリアルタイム、即ちキャプチャ時において、又は、キャプチャイメージをメモリ装置（不図示）に保存した上で後の時点で、行われることができる。接続手段５は、図示のように有線のものとされるか又は無線のものとされることができる。各カメラは、規則的な間隔毎でのイメージの取得を可能とする内部クロックを有することができる（例えば、毎秒のイメージ数にして２４、３０、６０等）。全てのカメラの内部クロックを互いに同期しておくことによって、任意の時刻において全てのカメラで同時的なイメージのキャプチャを可能とすることができる。用いられるカメラの種類に応じて、同期は様々な手法を用いて行うことができる。例えば、Prosilica 1380カメラを用いる場合、カメラをコンピューティング装置（例えば、コンピューティング装置６）に接続するネットワーク接続を介して同期が行われることができる。Canon HFS11カメラを用いる場合、例えばLANC Shepherd^TM（登録商標）等の立体ビデオ及び立体写真用の有線リモコンを用いることができる。他のカメラ同期手法についても、当業者は容易にそれらを理解するであろう。

コンピューティング装置６は、１以上のリモートサーバであって、インターネット、公衆電話交換網（PSTN、Public Switch Telephone Network）、セルラーネットワーク又は当業者によって知られている他のネットワーク等の任意の種類のネットワークを介してアクセス可能なサーバ、に対応することができる。コンピュータネットワーク内の装置による情報交換を可能とする任意で既知の通信プロトコルを用いることができる。プロトコルの例には次のものが含まれる：ＩＰ（インターネットプロトコル）、ＵＤＰ（User Datagram Protocol）、ＴＣＰ（通信制御プロトコル）、ＤＨＣＰ（動的ホスト構成プロトコル）、ＨＴＴＰ（ハイパーテキスト転送プロトコル）、ＦＴＰ（ファイル転送プロトコル）、ＴＥＬＮＥＴ（Telnet Remote Protocol）、ＳＳＨ（Secure Shell Remote Protocol）、ＰＯＰ３（Post Office Protocol 3）、ＳＭＴＰ（Simple Mail Transfer Protocol）、ＩＭＡＰ（Internet Message Access Protocol）、ＳＯＡＰ（Simple Object Access Protocol）、ＰＰＰ（Point-to-Point Protocol）、ＲＦＢ（Remote Frame buffer）。

図２に示すように、他のものに加えてではあるが、コンピューティング装置６においては複数のアプリケーション２４ａ．．．２４ｎがプロセッサ２２上にて実行されており、プロセッサはメモリ２０と接続されている。前述のアプリケーション２４ａ．．．２４ｎは別々の客体として例示及び説明されているが、これらは様々な態様で組み合わされたり分離されたりすることができることに留意されたい。

プロセッサ２２によってアクセスされることができるメモリ２０は、データを受信及び格納する。メモリ２０は、高速ランダムアクセスメモリ（ＲＡＭ）等のメインメモリ又はハードディスク、フラッシュメモリ若しくは磁気テープドライブ等の補助記憶装置であることができる。メモリは他の任意の種類のメモリであることができ、例えば読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、若しくはビデオディスクやコンパクトディスク等の光学式記憶媒体等であることができる。

プロセッサ２２は、メモリ２０にアクセスしてデータを読み出すことができる。プロセッサ２２は、データに対して演算を行うことのできる任意の装置であることができる。この例としては、中央演算処理装置（ＣＰＵ）、フロントエンドプロセッサ、マイクロプロセッサ、グラフィックス処理装置（ＧＰＵ／ＶＰＵ）、物理処理装置（ＰＰＵ）、デジタル信号処理装置、ネットワークプロセッサ等がある。アプリケーション２４ａ．．．２４ｎはプロセッサ２２に関連づけられており、以下において詳述するがカメラ２から受信した入力イメージを処理して出力イメージを生成する等の様々なタスクを行うように構成されている。出力は、例えば表示装置等の任意の装置へと送信されることができる。

カメラ２は円周上において等間隔に配置されている。カメラ２は単一ビューポイントレンズ１を用いており全てのカメラ２は同じ方向に向いているとの仮定の下で、ワールド内の点が如何にしてカメラピクセルにマッピングされるかを規定する投射モデルを決定する。ここで、(o_x , o_y )を主点（カメラ２のイメージセンター）とする。各ピクセルp = (x, y)は、イメージセンターの回りの角度φ及びレンズ画角に関連する角度θを用いて単位球上へとマッピングされる：

角度θ_ｄは、ピクセルが角度に正比例する正距図法モデルにおける角度θの歪曲値を表す。角度θはθ_ｄの関数としてモデリングされ、係数ｋ_１，ｋ_２は多項式関数でモデリングされる：

したがって、ピクセル値は次のようにしてカメラ空間内の射線にマッピングされることができる：

ここで、Ω_ｙ及びΩ_ｚはそれぞれｙ軸とｚ軸についての回転行列である。さらに、ｘ−ｚ平面内の単位円上に乗るようにカメラ位置はモデリングされ、各カメラの上方向ベクトルは該円に対して直交するものとされる。したがって、カメラ空間内の単位射線は次の関係を用いてワールドポイントへとマッピングされる：

ここで、Ｒ_ｙは円周上の位置を規定するｙ軸との関係での回転行列であり、Ｔ_ｚはｚ軸に沿った単位並進であり、Ｒ_ｘｚはそれぞれｘ軸及びｚ軸との関係での回転２つの組合せである。Ｚパラメータはピクセル(x, y)にて観測された深度であり、先天的に不明である。

Ｎ＝３のカメラを調整するには、i ∈1, 2, . . . , Nについて、カメラｉのイメージサークルの中心(o_xi , o_yi )をまず手動で特定する。その後も幾つかのパラメータを調整する必要があり、具体的には全レンズについて同じ値に固定される内部パラメータであるｆ，ｋ_１及びｋ_２、並びに、回転角度ｒ_ｘｉ，ｒ_ｙｉ及びｒ_ｚｉがこれにあたり、ｒ_ｙ１は除かれて０にフォーシングされる。これらのパラメータは、およそＭ＝２０要素とされ、j ∈1, 2, ... , Mとされる過拘束システムp_i ^j = (x_i ^j, y_i ^j)を用いるバンドル最小化によって推定される。これらの要素は、全てのカメラに関して手動で特定される。ｆパラメータはピクセル換算したイメージサークル半径をπで割った比として初期化され回転角度ｒ_ｙ２，ｒ_ｙ３は(2 π (i - 1)) / Nとして初期化される。他のパラメータは０として初期化される。ｆ推定の安定性を向上させるため、各イメージについて１つのエピポールｅ_ｉ ^ｋが特定され、これらのワールド内ｘ−ｚ平面への投射の距離が最小化される。したがって、Levenberg-Marquardt法を用いて次の和を最小化する：

ここで、ｆ_ｉ（）はワールド内の点をイメージｉ内のピクセル位置へとマッピングする関数であり、ｇ（）はピクセルを与えられてこれをＺ＝１としたワールドへマッピングする関数である。式４及び式５を参照されたい。バンドル調整の各反復回では、ワールドｐ^ｊ _ｗ内の要素の位置は、更新されたカメラパラメータを用いた三角測量法によってユークリッド空間内で推定される：

ここで、Ｉは３×３の恒等行列であり、ｐ^ｊ _ｃｉはカメラｉへとマッピングされた点ｐ^ｊ _ｉであり、ｃ_ｉはカメラｉの位置である。

図３Ａ乃至３Ｄは、オムニポーライメージング装置１０において、基線に基づいてどのようにして左右の全周囲立体ビューがアセンブルされるかを示す。図３Ａは３カメラシステムの左眼ビューを表し、図３Ｂは３カメラシステムの右眼ビューを表す。図３Ｃは４カメラシステムの左眼ビューを表し、図３Ｄは４カメラシステムの右眼ビューを表す。

図３Ａを参照するに、カメラＣ１、Ｃ２及びＣ３からの３つの別個の視野域をそれぞれ用いて３６０度の視野を得るためのイメージスティッチングが行われる。領域３４はカメラＣ１からの１２０度の視野に対応し、領域３０はカメラＣ２からの１２０度の視野に対応し、領域３２はカメラＣ３からの１２０度の視野に対応する。視野は、３本の線３６、３８、４０に沿って区切られる。線３６はカメラＣ１及びＣ２のそれぞれの中心点と交差し、線３８はカメラＣ１及びＣ３のそれぞれの中心点と交差し、線４０はカメラＣ２及びＣ３のそれぞれの中心点と交差する。したがって、これらの線３６、３８、４０は各カメラＣ１、Ｃ２及びＣ３のエピポーラ点を通過するのであり、各カメラペアについての最小視差点をこれらが表すが故に各々１２０度の視野３つのスティッチング箇所として選択される。

本願明細書との関係では、「エピポール」及び「エピポーラ」との用語は、キャプチャイメージと２つのカメラ位置を連絡する基線との間の交差点を意味する。使用されるカメラの個数にかかわらず、各カメラと円周上のそれの隣にある２つのカメラとを通過する２つの線が規定される。したがって、カメラを通過する２つの線は、該カメラの３６０度の視野を４つの部分に分割する。３つのカメラを用いる場合、２つの部分は１２０度の視野となり、２つの部分は６０度の視野となる。１２０度の部分のみが例示的に利用されるのであり、一方が左ビューを作るのに用いられ、他方が右ビューを作るのに用いられる。使用される部分は、正式には後述の式（９）で定義される。

図３Ｂでは、各カメラのために用いられる視野は、図３Ａにて用いられる視野を１８０度回転させたものに対応する。領域３１はカメラＣ１からの１２０度の視野に対応し、領域３３はカメラＣ２からの１２０度の視野に対応し、領域３５はカメラＣ３からの１２０度の視野に対応する。これらのビューは依然３つの線３６、３８、４０によって区切られているが、３６０度の視野を作成するためのスティッチングのために選択されたカメラＣ１、Ｃ２及びＣ３の各々の視野は、図３Ａに示されている左眼用のそれとは異なる。

イメージがカメラ（例えば、Ｃ１、Ｃ２、Ｃ３）によってキャプチャされたらば、又は、二つのイメージが図３Ａ及び図３Ｂ等の部分からアセンブルされたらば、次のようにしてどちらが左眼用でありどちらが右眼用であるかを決定することができる。地点Ｘ（スクリーンの中心にいる理想的な観察者の位置を例示的に表す地点）から観察されたシーン上の任意の点は、２つのカメラによって眺められ得る。シーンを眺めるカメラが（Ｘからシーンポイントへの）見通し線の反時計回り側に配置されている場合、イメージは左眼用となる。カメラが時計回り側にある場合、イメージは右眼用となる。したがって、図３Ａ及び図３Ｂはそれぞれ左眼用と右眼用である。

図３Ｃを参照するに、３６０度の視野を得るためのイメージについてのスティッチングは、カメラＣ１、Ｃ２、Ｃ３、Ｃ４からの４つの別個の視野領域をそれぞれ用いて行う。領域４２はカメラＣ１からの９０度の視野に対応し、領域４４はカメラＣ２からの９０度の視野に対応し、領域４６はカメラＣ３からの９０度の視野に対応し、領域４８はカメラＣ４からの９０度の視野に対応する。ビューは、４つの線５０、５２、５４、５６に沿って区切られている。線５０はカメラＣ１及びＣ２のそれぞれの中心点と交差し、線５２はカメラＣ２及びＣ３のそれぞれの中心点と交差し、線５４はカメラＣ１及びＣ３のそれぞれの中心点と交差し、線５６はカメラＣ３及びＣ４のそれぞれの中心点と交差する。したがって、これらの線５０、５２、５４、５６はカメラＣ１、Ｃ２、Ｃ３、Ｃ４のそれぞれのエピポーラ点を通過するのであり、各カメラペアについての最小視差点をこれらが表すが故に各々９０度の視野４つのスティッチング箇所として選択される。

図３Ｄを参照するに、各カメラに用いられる視野は、図３Ｃで用いられた１８０度回転した視野に対応する。領域４３はカメラＣ１からの９０度の視野に対応し、領域４５はカメラＣ２からの９０度の視野に対応し、領域４７はカメラＣ３からの９０度の視野に対応し、領域４９はカメラＣ４からの９０度の視野に対応する。これらのビューは依然４つの線５０、５２、５４、５６によって区切られているが、３６０度の視野を作成するためのスティッチングのために選択されたカメラＣ１、Ｃ２、Ｃ３及びＣ４の各々の視野は、図３Ｄに示されている左眼用のそれとは異なる。３カメラセットアップ及び４カメラセットアップに関してのスティッチングパターンが例示されているが、同じ原理に従って４つ以上のカメラにも該概念を拡張することができることに留意されたい。

図４Ａは、図３Ａ及び図３Ｂのオムニポーラセットアップの３つのカメラによってそれぞれキャプチャされた入力イメージ１０２ａ、１０２ｂ及び１０２ｃを示す。各入力イメージ１０２ａ、１０２ｂ又は１０２ｃについて、イメージ領域１０４ａ、１０４ｂ、１０４ｃ及び１０６ａ、１０６ｂ、１０６ｃが選択されて全周囲立体イメージペアが作成されるのであり、各領域１０４ａ、１０４ｂ、１０４ｃ、１０６ａ、１０６ｂ、１０６ｃはおよそ１２０度にわたる。図３Ａ及び図３Ｂとの関係で説明したように、領域１０４ａ、１０４ｂ、１０４ｃは左眼用のイメージを作成するのに用いられ、領域１０６ａ、１０６ｂ、１０６ｃは右眼用のイメージを作成するのに用いられる。もっとも、カメラＣ１、Ｃ２、Ｃ３は広い垂直画角を有するため、所与のカメラＣ１、Ｃ２又はＣ３を用いてキャプチャした１０２ａ、１０２ｂ、１０２ｃのようなイメージそれぞれについて、残りの２つのカメラ（特に、それらのレンズ）がキャプチャイメージに写っている場合があり得る。キャプチャイメージにおいてカメラが写っていない場合、各イメージ領域はイメージをキャプチャしたカメラの中心点と近隣のカメラの中心点とを連絡する線に（例えば、沿う等して）対応する境界を有することができる。特に、境界は、線に対応し、かつ、イメージをキャプチャしたカメラの中心点からイメージの周縁（不図示）に達するまで延びることができる。

他の場合、写り得るカメラのイメージが最終的な全周囲立体イメージペアに含まれないことを確実にするため、所与のカメラＣ１、Ｃ２又はＣ３によってキャプチャされた各領域１０４ａ、１０４ｂ、１０４ｃ、１０６ａ、１０６ｂ、１０６ｃを、残り２つの写り得るカメラに達する前に遮断することができる。例えば、カメラＣ１によってキャプチャされた入力イメージ１０２ａについては、領域１０４ａをキャプチャイメージ１０２ａの中心１０６からキャプチャイメージ１０２ａの境界（不図示）へ延ばすが、カメラＣ１によってキャプチャされたカメラＣ２の複製１０８に達する前に遮断される。同様にして、カメラＣ１によってキャプチャされたカメラＣ３の複製１１０に達する前に領域１０６ａは遮断される。したがって、領域１０４ａ及び１０６ａは、キャプチャイメージ１０２ａの周縁には到達しないようにして中心１０６から離れるようにして延びている。このようにして、自己遮蔽、即ち一方のカメラが別のカメラを遮蔽してしまう事象、が回避される。図４Ｂは左側の出力イメージ１０９ａ及び右側の出力イメージ１０９ｂを示し、これらは図４Ａの入力イメージに対応する。特に、左側の出力イメージ１０９ａはスティッチングされたイメージ領域１０４ａ、１０４ｂ、１０４ｃを含み、右側の出力イメージ１０９ｂはスティッチングされたイメージ領域１０６ａ、１０６ｂ、１０６ｃを含む。

キャプチャイメージ内の写り得るカメラに達する前に（即ち、イメージの周縁に達する前に）イメージ領域を長さ方向において遮断することによって、出力視野（例えば、左右の出力イメージ１０８ａ、１０８ｂの合計面積）が減じられてしまう。写り得るカメラが視認される入力イメージ１０２ａ、１０２ｂ、１０２ｃの視野の部分は、結果としてもたらされる左右の出力イメージ１０９ａ、１０９ｂから実際に除去される。出力視野を増大させるために、図５Ａに示すように、各入力イメージ１０２ａ、１０２ｂ又は１０２ｃの領域１０４ａ、１０４ｂ、１０４ｃ、１０６ａ、１０６ｂ、１０６ｃを代わりに調整して、新たな領域１１２ａ、１１２ｂ、１１２ｃ及び１１４ａ、１１４ｂ、１１４ｃを得ることができる。特に、この実施形態では、領域の境界は線によって部分的にしか区切られておらず、これら線は近隣のカメラペアの中心点と交差する。この実施形態において実際には、カメラが写り得るようになる点を始点にして、イメージ領域は線から若干ずれるように構成される。したがって、イメージ領域の境界（不図示）は、もはや上述の線に厳密に沿うものではなく、１０２ａ等の入力イメージ内において１０８又は１１０等のカメラの複製が現れる所まで部分的に線に沿うものに過ぎない。したがって、各境界は、（カメラの複製に達するまでは、）線に対応する（即ち、線に沿って配置された）第１のセクション（不図示）と、写り得るカメラの複製１０８、１１０に対応する形状をイメージ領域から除去することができるようにするために（イメージの周縁に達するまでの）線からずれる第２のセクションとを備えることができる。該ずれはカメラセットアップに依存するものであるため、前処理段階においてずらし処理を一回定義することができる。

ずらしは、写り得るカメラを回避するために行われるということに留意されたい。したがって、ずらしの形状は、除去すべき写り得るカメラの形状に依存することができる。特に、ずらしの形状は、写り得るカメラの形状に基づくことができる。代替的には、イメージ領域の境界が既定の角度や高さに従って上述の線からずれるようにずらしを行うことができる。例えば、領域１１２ａの第１の又は左側の境界（不図示）は、線１１６（イメージ１０２ａをキャプチャしたカメラＣ１の中心点とカメラＣ２の中心点とを連絡する線）からずれることによって領域１１２ａにはカメラＣ２の複製１０８が含まれないようになり、複製１０８の形状が領域１１２ａから除去される。同様にして、領域１１４ａの第１の又は左側の境界（不図示）は、線１１８（カメラＣ１の中心点とカメラＣ３の中心点とを連絡する線）からずれることによって領域１１４ａにはカメラＣ３の複製１１０が含まれないようになり、複製１１０の形状が領域１１４ａから除去される。そして、線１１６と−カメラＣ１の中心点とイメージ領域１１２ａのずらされた第１の境界がイメージ１０２ａの周縁に達する点（不図示）とを連絡する線１１７と−の間で所定の角度（例えば２０度、不図示）が形成され得る。もっとも、所定の線１１６、１１８からのずらし量（例えば、角度）は、最小化されることが望ましい点に留意すべきである。

写り得るカメラの複製の除去、即ち領域の所定の境界（例えば、左側の境界）においての線（例えば、線１１６、１１８）からのずらし、について埋め合わせるため、領域の他方の境界（例えば、右側の境界）においてもずらしを行ってイメージ部分から除去された写り得るカメラの形状に対応するイメージ部分を問題の領域に追加する。具体的には、領域１１２ａの第２又は右側の境界（不図示）が線１１８からずらされ、領域１１４ａの第２又は右側の境界（不図示）が線１１６からずらされる。１１２ａや１１４ａ等の任意のイメージ領域においては、第１の境界にて行われたずらしの形状（例えば、湾曲又は他のジオメトリ）は、第２の境界にて行われたずらしの形状と同じであり、例示的には第１及び第２の境界は同じ長さとされることに留意されたい。また、イメージ領域１１２ａの第１及び第２の境界は共に対応する線１１６、１１８から同じ角度（例えば、２０度）をもって例示的にずらされる。結果としてもたらされる左右の出力イメージ１２０ａ、１２０ｂは図５Ｂに示され、左側の出力イメージ１２０ａはスティッチングされたイメージ領域１１２ａ、１１２ｂ、１１２ｃを含み、右側の出力イメージ１２０ｂはスティッチングされたイメージ領域１１４ａ、１１４ｂ、１１４ｃを含む。

ドーム若しくはプラネタリウムディスプレイ（球面ビュー）用の又は円筒型スクリーン（円筒ビュー）用の全周囲立体イメージのレンダリングに関しては、点Ｘにおいてセンタリングがなされ、図３Ａ及び図３Ｂの３カメラセットアップが用いられ、２つの隣接する基線間の角度α_１，α_２，α_３は次のように定められる。この出力イメージの外部行列（回転及び並進行列）は、恒等行列とされる。出力歪曲係数ｋ_１及びｋ_２も０として設定される。

まず、全周囲立体ドームにおける左眼用のイメージについて検討する。固定シーン深度Ｚ_ｓを仮定するに、図６Ａに示すように、各ピクセルｊを半径Ｚ_ｓの球に投射して推定ワールドポイント位置
を取得する。この投射はＺ_ｓ、つまりスクリーン半径、及び眼間隔ｂに依存し、眼間隔は平均的な人間の眼間隔たる６．５ｃｍに固定される。

次式で与えられる、カメラｉ（又はｃ_ｉ）における点
の水平角度位置たる
を検討する：

が区間[γ_i-1 , γ_i ]内にある場合のみにおいて、カメラｉに再投射されたピクセルサンプル点たる
が使用されるのであり、角度γ_iは次のように定義される：

ここで、γ₀ = 0がカメラｃ_１とｃ_Ｎとを連絡する線の方向に対応する。

右眼のイメージをレンダリングするためには同じインターバルを用いることができるが、
の値にオフセット量πを加算する。これにより、水平方向において完全に３６０度の視野を包括する全周囲立体イメージペアが作り出される。

自己遮蔽を伴わない垂直視野はほぼ１８０度である。図７に示すように、遮蔽の量は基線長とレンズ曲率に依存する。極度に強いカーブが施されたレンズに関しては、基線長を若干増大させて自己遮蔽を伴わないより広い垂直視野を得ることができる。奇数個のカメラを用いる場合、左右の全周囲立体イメージ内の同一のイメージ領域にカメラが配置されないが故に、遮蔽箇所が非隣接単眼領域をもたらすという点に留意されたい。

全周囲立体ペアのそれぞれのイメージは、カメラ個数に対応する幾つかの単眼性の帯状領域（monocular seams）を有する。エピポールを通過する（カメラセットアップの３次元幾何学空間内の）垂直スティッチング平面を用いることによって、視差によって誘発されるシームにおける水平方向のずれは、シーン深度にかかわらず、ないことになる。しかし、ｘ−ｚ平面外の点に関しては垂直方向のずれが生じる。これらシームにおける垂直方向のずれの大きさは、深度の範囲及びｘ−ｚ平面との関係での仰角に依存する。

垂直視差が生じない単一の深度を選択することができ、即ち深度Ｚ_ｓにある点が対象となる。したがって、Ｚ_ｓを慎重に選択するのが肝要である。例えば、カメラの上方の天井の距離をＺ_ｓとして設定することができる。なぜならば、同箇所で垂直視差が最も悪化するからである。

垂直視差は、Z_s = ∞を様々な仰角βについて検討することによって数量化できる。具体的には、例えばドーム上のシーンポイント２組について検討する：

壁上のポイントは次の通りである：

ここで、３０°はカメラｃ_１とカメラｃ_２との間シームの向きに対応し、Ｚ_ｒはドームの半径又は壁の距離にあたる。ドームの半径及び壁の距離は双方ともに２．３ｍに固定された。なぜならば、この値が円筒スクリーンの半径に実質的に対応するからである。なお、望ましくは、ウィンドウ違反を回避するためにどのシーンポイントもこれより近いものであってはならない。そして、次式を用いて、垂直視差を計算するのであり、この際２０４８×２０４８ピクセルの解像度を有するドームへの投射に関してのカメラｃ１及びｃ２間の差分を取得する：

図８は、ピクセル換算の垂直視差を示す。ｘ−ｚ平面内の点に関してこれは０であり、ドームの頂点においては２０ピクセルに増加し（曲線５２）、垂直壁上の点については仰角４５度にて９ピクセルに増加する（曲線５４）。したがって、垂直視差は論点ではあるが、この値は通常は小さく、観察されるシーンに応じて変化することがこの実験により示される。

知覚される立体歪曲は、ｘ−ｚ平面上の点に関して視覚システムの中心にて計算されることができる。任意のシーンポイントｐ^ｊ _ｗについては、ドームディスプレイ又は円筒スクリーンの中心に配置された観察者がこれらに正対していると仮定する。そして、次のようにしてこの点がどこにおいて知覚されるかを測定することができる。眼の位置はR_y(α)( ±b/2, 0, 0 )^Tとして与えられ、ここでαは眼の基線の向きであり、α = arctan(p^j _w[x], p^j _w[z])として与えられる。ここでもｂに与えられる値は６．５ｃｍである。なぜならば、これが平均的な人間の眼間隔であるからである。そして、複数のシーンポイントp^j _wのレンダリング位置が２つのＺ_ｓ値、具体的には∞及び４ｍ、について計算され、また、両眼をつなぐ射線とレンダリング位置が三角測量法によって求められる。スクリーン上の左右レンダリング位置は、
における真の位置の代わりに、深度Ｚｓにおける
を検討することによって計算することができる（図６Ａ及び図６Ｂを参照）。スクリーン上の左右レンダリング位置は、ｉと対応する左右のカメラ位置とをつなぐ線に半径Ｚ_ｓの円を交差させて、これらの交差点をスクリーン半径に合わせて正規化することによって計算することができる。

具体的には、そして図６Ａに示されるように、スクリーン１２１に全周囲立体ペアの左イメージをレンダリングするに際しては、ピクセルｊは深度Ｚ_ｓへ投射されて
が得られてこれはピクセル
において選択されたカメラＣ３によって観察される。したがって、
におけるイメージ色はピクセルｊにてスクリーン上にコピーされる。図６Ｂでみられるように、ワールドポイント
が深度Ｚ_ｓに位置していない場合、歪曲が生じる。なぜならば、スクリーン１２１上でのレンダリング位置１２２が、スクリーン１２１の中心１２６に配置された観察者がスクリーン１２１と正対している場合に本来みるべき位置１２４に対応していないからである。

図９Ａ〜９Ｆは、異なる深度においてどのように各点が歪曲されているかを示す（点の真正な位置が実線で示され、歪曲された位置が破線で示され、スクリーン半径が点線で示されるのであり具体的には１００ｃｍ、２００ｃｍ、４００ｃｍ及び８００ｃｍの場合が示されている）。図９Ａ、９Ｃ及び９Ｅはそれぞれカメラを３つ、４つ、５つ用いた場合において、Z_s = ∞とした際の歪曲を示す。図９Ｂ、９Ｄ及び９Ｆはそれぞれカメラを３つ、４つ、５つ用いた場合において、Z_s = 400cmとした際の歪曲を示す。奇数個のカメラを用いた場合には点で構成される円が２Ｎ個の直線又は円弧に歪曲される一方で、偶数個のカメラを用いた場合にはＮ個の直線又は円弧をもたらす歪曲に至るということがここで指摘される。

このことは図３Ａ〜３Ｄを参照することによって説明することができる。スクリーンの中心に位置する観察者がカメラＣ４の方向に向いていると仮定する。立体ビューはカメラＣ１及びＣ３によってキャプチャされる。なぜならば、これらカメラは両眼の位置に正確に一致するからである。実際には、（Ｃ１，Ｃ３）及び（Ｃ２，Ｃ４）のカメラペアはそれぞれ２つの立体ビューを提供し、合計で４つの立体ビューを提供する。これらの立体ビューの中心においては、立体的な歪曲はない。奇数個のカメラを用いる場合、両眼の位置に正確に一致するカメラペアは絶対存在することはない。歪曲はないが、Ｚ_ｓの後方にある点は深度において若干近づいたようにみえ、Ｚ_ｓの前方にある点は深度において遠のいたようにみえる。しかし、円周をより良く近似するために、直線又は円弧の個数を増やす。５つのカメラを用いる場合において全体的な立体的歪曲が大幅に削減される。

また、ｙ軸上のシーンポイントに関しては知覚的単一性がある。なぜならば、任意の方向に眼が向けられていても観察者が直接的に上方を眺めることができるからである。ドームに関しては、観察者は自身の回り全部を見渡すことができるものと仮定されるが、自身の頭部については最大でも９０度まで仰角をとることができるとされる。したがって、ドームの頂点においては１つだけのシーン深度がとられるべきであり、スクリーン深度はスクリーンへの距離とする（即ち、差異をゼロとする）必要がある。ここではドームへの言及（即ち左右のイメージを球面ビューに表示することへの言及）がなされているが、キャプチャされたイメージは例えばモニター表示装置等の直線ビューのためにフォーマッティングされたり、円筒スクリーン等の円筒ビューのためにフォーマッティングされたり、OculusRift（登録商標）ビュー等のヘッドマウントディスプレイでのビデオプロジェクションのためにフォーマッティングされたり、当業者に知られている他の適切なフォーマットのためにフォーマッティングされることができるという点に留意されたい。したがって、様々なスクリーン（例えば、図６Ａの１２１のそれ等）又はディスプレイが適用されることができる。立体イメージは、（例えば、ドーム又はモニター表示装置等を用いる場合には）赤／シアンアナグリフ等のアナグリフとしてエンコーディングすることができ、又は、（例えば、ヘッドマウントディスプレイを用いる場合には）左右のイメージをサイドバイサイドに配置することができる。ユーザは、自身の頭部を回転させることによって又はソフトウェア制御によって視線の方向を選択することができる。

近隣のカメラのエピポールを用いる上述したスティッチング方法は、視差によるシームでのずれを減少させるために単眼カメラシステムとの関係においても使用することができる。例えば、球面イメージングシステムたるLadybug^TM（登録商標）等のカメラシステムは、典型的には小数のカメラを用いて高解像度で完全な３６０度のビューを包括する。もっとも、全てのカメラを完全に同じ位置に配置することはできない。したがって、１つのイメージとその隣のイメージとの間では視差が存在する。これによってシームにおけるずれがもたらされる。このようなずれはGoogle Street View^TM（登録商標）等のシステムでみられる。

図１０は単眼イメージングシステムのための８カメラセットアップの例示的な実施形態である（各カメラは該カメラの投射の中心を表す小さな円盤で表され、ｃ_ｉと称される三角形がある）。８つのカメラＣ１〜Ｃ８を図示のように向けることによって水平方向については視差を解消することができる。各カメラは、３６０度を用いられるカメラの個数で割った値以上の水平方向の視野（fov、field of view）を有するべきある。例えば、図１０においては８つのカメラがあり、それぞれが少なくとも４５度のfovを有している。カメラＣ１〜Ｃ８は単一の水平平面上に配置されており（即ち基線の高さに配置されており）、円周上で等間隔に配置されており（直径は重要ではない）、各カメラの視野の水平方向の限界が当該カメラの中心と近隣のカメラの中心とを通過する線と一致するように各カメラは向きを決められている。

３６０度の視野を得るためのイメージについてのスティッチングは、カメラＣ１〜Ｃ８からの８つの別個の視野領域をそれぞれ用いて行う。領域７１はカメラＣ１からの４５度の視野に対応し、領域７２はカメラＣ２からの４５度の視野に対応し、領域７３はカメラＣ３からの４５度の視野に対応し、領域７４はカメラＣ４からの４５度の視野に対応し、領域７５はカメラＣ５からの４５度の視野に対応し、領域７６はカメラＣ６からの４５度の視野に対応し、領域７７はカメラＣ７からの４５度の視野に対応し、領域７８はカメラＣ８からの４５度の視野に対応する。ビューは、８つの線８０、８１、８２、８３、８４、８５、８６、８７に沿って区切られている。線８０はカメラＣ２及びＣ１のそれぞれの中心点と交差し、線８１はカメラＣ１及びＣ８のそれぞれの中心点と交差し、線８２はカメラＣ８及びＣ７のそれぞれの中心点と交差し、線８３はカメラＣ７及びＣ６のそれぞれの中心点と交差し、線８４はカメラＣ６及びＣ５のそれぞれの中心点と交差し、線８５はカメラＣ５及びＣ４のそれぞれの中心点と交差し、線８６はカメラＣ４及びＣ３のそれぞれの中心点と交差し、線８７はカメラＣ３及びＣ２のそれぞれの中心点と交差する。したがって、これらの線８０、８１、８２、８３、８４、８５、８６、８７はカメラＣ１〜Ｃ８のそれぞれのエピポーラ点を通過するのであり、各カメラペアについての最小視差点をこれらが表すが故に各々４５度の視野８つのスティッチング箇所として選択される。

８つ以上の又は８つ以下のカメラを用いることができるのであり、図１０のセットアップは性質からして例示的であることに留意されたい。各カメラの視野は３６０度／Ｎに対応し、ここでＮは用いられるカメラの個数を表す。カメラが配置される円周の半径には何らの制約が課されていないことにも留意されたい。これにより、大型のカメラ機材の使用が現実的となる。

本願明細書にて説明したシステムは「ラボ」及び「ドライブウエイ」と題した２つのシーンにおいて試行された。両シーンは、直径およそ１２ｃｍの円周上に配置された魚眼レンズを有するカメラ３つを用いるオムニポーラセットアップを用いてキャプチャされた。両シーンでは、カメラセットアップは床におかれたレール上に固定されて人間が辺りを歩いている間におよそ１．５ｍの変位がもたらされた。

ラボのシーンに関しては、フジノンＣ−マウント魚眼レンズを各々有する解像度１３６０×１０２４ピクセルのProsilica 1380カメラ３つを有するカメラセットアップの試験が行われた。レンズ中心間の距離は様々な値として、およそ７．５ｃｍから１０．５ｃｍとした。カメラレンズが見えないようにするために、全周囲立体イメージの視野を減じた。より短い基線長を用いると、より長い基線長を用いた場合に比して視野が減じられることが観察された。カメラ上方の天井が正しく整列されるように垂直視差を調整した、即ちＺ_ｓを距離およそ２．４ｍとした。

ドライブウエイのシーンは、１９２０×１０９０ピクセル解像度のCanon HFS11カメラを３つ用いて撮影されたのであり、各々のカメラにはOpteka Vortexの魚眼レンズが装着されている。カメラのクロックは、ロジックアプリケーション制御バスシステム（ＬＡＮＣ）プロトコルを用いて同期した。レンズ中心間の距離はおよそ１０．５ｃｍである。カメラ上方の配線を整列させるために垂直視差を調整した（Ｚ_ｓ＝６ｍ）。レンズの強いカーブのせいで、視野を大きく減じない限り、もたらされた全周囲立体イメージには大きな遮蔽がみられることになる。奇数個のカメラを用いたがために、これらの遮蔽が左右のイメージにおいて異なる箇所に単眼性の領域をもたらすということが観察された。

本願明細書にて説明したシステムの応用は、全周囲立体シネマやGoogle Street View等のシステムのための立体イマージョン環境の提供にさえおよぶ。本願発明は、方法として実行したり、システム又は不揮発性コンピュータ可読媒体として実装したりすることができることに留意されたい。上述した本願発明の実施形態は例示的なものであるとして意図されているにすぎない。したがって、本願発明の範疇は添付の請求の範囲のみによって画定されることが意図されている。

Claims (38)

1. オムニポーライメージング装置であって、
   基線の高さにおいて円周上に実質的に等間隔に配置された少なくとも３つのカメラであって、前記少なくとも３つのカメラの各々は同じ方向に向けられて実質的に３６０度の視野の一部分についてイメージをキャプチャするように構成された広角レンズを有する、少なくとも３つのカメラと、
   前記少なくとも３つのカメラを固定位置に保持するマウンティング器具
   とを備える、オムニポーライメージング装置。
2. 前記少なくとも３つのカメラからキャプチャイメージを受信して、前記少なくとも３つのカメラの各々からのキャプチャイメージの部分についてスティッチングを行って前記実質的に３６０度の視野についての左眼ビューと右眼ビューとを生成する処理装置をさらに備える、請求項１に記載の装置。
3. 前記少なくとも３つのカメラの各々は動的イメージをキャプチャするように構成されている、請求項１又は２に記載の装置。
4. スティッチングのために選択された前記少なくとも３つのカメラの各々からの前記キャプチャイメージの部分は、３６０度／Ｎの視野に各々対応し、前記Ｎは前記少なくとも３つのカメラの個数である、請求項１〜３のいずれか１つに記載の装置。
5. 前記処理装置は、スティッチングのために選択された前記少なくとも３つのカメラのうちの所与のカメラによってキャプチャされた前記イメージの各部分について第１の境界と第２の境界とを規定する処理装置であり、前記第１の境界は前記所与のカメラの中心点と前記所与のカメラの近隣の前記少なくとも３つのカメラのうちの第１のカメラの中心点とを連絡する第１の線に少なくとも部分的に対応し、前記第２の境界は前記所与のカメラの中心点と前記所与のカメラの近隣の前記少なくとも３つのカメラのうちの第２のカメラの中心点とを連絡する第２の線に少なくとも部分的に対応する、請求項２〜４のいずれか１つに記載の装置。
6. 前記処理装置は、スティッチングのために選択されたキャプチャイメージの各部分について、前記イメージの周縁に達するまで前記第１の境界を前記第１の線に対応させ、また、前記第２の境界を前記第２の線に対応させるように規定する、請求項５に記載の装置。
7. 前記処理装置は前記キャプチャイメージを受信する処理装置であり、該処理装置は、前記第１の近隣のカメラの第１の複製と前記第２の近隣のカメラの第２の複製とを含むイメージとスティッチングのために選択された前記イメージの第１の部分と前記イメージの第２の部分とを前記所与のカメラから受信する、請求項５に記載の装置。
8. 前記処理装置は前記イメージの前記第１及び第２の部分の各々について前記第１の境界及び第２の境界を規定する処理装置であり、各境界は第１のセクションと第２のセクションとを備え、
   前記イメージの前記第１の部分については、前記第１の境界の前記第１のセクションは前記第１の線に対応し、前記第２の境界の前記第１のセクションは前記第２の線に対応し、前記第１の境界の前記第２のセクションは前記イメージの前記第１の部分から前記第１の複製を除去するための前記第１の線から遠ざかるように延び、前記第２の境界の前記第２のセクションは前記第２の線から遠ざかるように伸びておりかつ前記第１の境界の前記第２のセクションと同じ形状を有しており、
   前記イメージの前記第２の部分については、前記第１の境界の前記第１のセクションは前記第２の線に対応し、前記第２の境界の前記第１のセクションは前記第１の線に対応し、前記第１の境界の前記第２のセクションは前記イメージの前記第２の部分から前記第２の複製を除去するための前記第２の線から遠ざかるように延び、前記第２の境界の前記第２のセクションは前記第１の線から遠ざかるように伸びておりかつ前記第１の境界の前記第２のセクションと同じ形状を有する
   請求項７に記載の装置。
9. 前記イメージの前記第１の部分の前記第１の境界は前記第１の複製に達するまで前記第１の線に対応するように規定され、前記イメージの前記第２の部分の前記第１の境界は前記第２の複製に達するまで前記第２の線に対応するように規定され、前記イメージの前記第１及び第２の部分のどれかの前記第１の境界及び前記第２の境界は同じ長さを有する、請求項８に記載の装置。
10. 前記処理装置は、スティッチングのために選択された前記少なくとも３つのカメラの各々からの前記キャプチャイメージの部分を左右の境界に沿ってスティッチングすることによって前記左眼ビューと前記右眼ビューとを生成する、請求項５〜９のいずれか１つに記載の装置。
11. 前記処理装置は、前記キャプチャイメージの第１の複数の部分をスティッチングすることによって左眼ビューを生成し、前記キャプチャイメージの第２の複数の部分をスティッチングすることによって右眼ビューを生成する処理装置であり、前記キャプチャイメージの前記第２の複数の部分は前記キャプチャイメージの前記第１の複数の部分を１８０度回転したものに対応する、請求項２〜１０のいずれか１つに記載の装置。
12. 前記処理装置は、前記キャプチャイメージの前記部分の第１の群であって前記少なくとも３つのカメラのうちの前記円周の中心と第１の複数の点の１つとの間での第１の見通し線の反時計回り側に配置された第１のカメラから各々眺められた前記第１の複数の点を備える第１の群を、前記キャプチャイメージの前記第１の複数の部分として選択し、また、前記キャプチャイメージの前記部分の第２の群であって前記少なくとも３つのカメラのうちの前記円周の前記中心と第２の複数の点の１つとの間での第２の見通し線の時計回り側に配置された第２のカメラから各々眺められた前記第２の複数の点を備える第２の群を、前記キャプチャイメージの前記第２の複数の部分として選択する、請求項１１に記載の装置。
13. 前記少なくとも３つのカメラの各々は広角レンズであって、上方に向けられておよそ基線の高さ以上のイメージをキャプチャするように方向付けられているか下方に向けられておよそ基線の高さ以下のイメージをキャプチャするように方向付けられている広角レンズを有する、請求項１〜１２のいずれか１つに記載の装置。
14. 前記少なくとも３つのカメラの各々は単一ビューポイント魚眼レンズを有する、請求項１〜１３のいずれか１つに記載の装置。
15. 前記少なくとも３つのカメラの各々は規則的な間隔毎に前記イメージをキャプチャするように構成されており、前記少なくとも３つのカメラは所与のどの時刻においても前記少なくとも３つのカメラが同時的に前記イメージをキャプチャできるように同期されている、請求項１〜１４のいずれか１つに記載の装置。
16. 前記処理装置は球面ビューに表示するために前記左眼ビュー及び前記右眼ビューをフォーマッティングする、請求項２〜１５のいずれか１つに記載の装置。
17. 前記処理装置は直線ビューに表示するために前記左眼ビュー及び前記右眼ビューをフォーマッティングする、請求項２〜１５のいずれか１つに記載の装置。
18. 前記処理装置は円筒ビューに表示するために前記左眼ビュー及び前記右眼ビューをフォーマッティングする、請求項２〜１５のいずれか１つに記載の装置。
19. 前記処理装置は前記左眼ビュー及び前記右眼ビューをアナグリフとしてエンコーディングする、請求項１６〜１８のいずれか１つに記載の装置。
20. 前記処理装置はヘッドマウントディスプレイに表示するために前記左眼ビュー及び前記右眼ビューをフォーマッティングする、請求項２〜１５のいずれか１つに記載の装置。
21. 隔たって配置された複数のカメラによって取得されたイメージから実質的に３６０度の視野を生成する方法であって、
    基線の高さにおいて円周上に実質的に等間隔に固定された複数のカメラからの前記イメージをキャプチャするステップと、
    前記複数のカメラの近隣のカメラの中心点を連絡する線に少なくとも部分的に対応する第１及び第２の境界に沿って、前記複数のカメラの各々からの前記イメージの部分をスティッチングするステップ
    とを備える、方法。
22. 前記実質的に３６０度の視野についての左眼ビューと右眼ビューとを生成するステップと、前記左眼ビューと前記右眼ビューとを一緒に投射して奥行き知覚をもたらすステップとをさらに備える、請求項２１に記載の方法。
23. 前記イメージをキャプチャするステップは、動的イメージをキャプチャすることを伴う、請求項２１又は２２に記載の方法。
24. 前記複数のカメラからの前記イメージをキャプチャするステップは、同じ方向に向けられて実質的に３６０度の視野の一部分についてイメージをキャプチャするように構成された広角レンズを各々有する少なくとも３つのカメラからのイメージをキャプチャすることを伴う、請求項２１〜２３のいずれか１つに記載の方法。
25. 前記イメージをキャプチャするステップは、前記複数のカメラからの前記イメージを任意のどの時刻においても同時的にキャプチャすることを伴う、請求項２１〜２４のいずれか１つに記載の方法。
26. 前記イメージの部分をスティッチングするステップは、３６０度／Ｎの視野に各々対応する前記部分をスティッチングすることを伴い、前記Ｎは前記複数のカメラの個数である、請求項２１〜２５のいずれか１つに記載の方法。
27. 前記イメージをキャプチャするステップは、前記カメラの近隣にある前記複数のカメラのうちの第１のカメラの第１の複製と前記カメラの近隣にある前記複数のカメラのうちの第２のカメラの第２の複製とを含むイメージとスティッチングのために選択された前記イメージの第１の部分と前記イメージの第２の部分とを前記複数のカメラのうちの任意のカメラからキャプチャすることを伴う、請求項２６に記載の方法。
28. 前記イメージの前記第１及び第２の部分の各々についての第１の境界及び第２の境界の各々は、第１のセクションと第２のセクションとを備え、
    前記イメージの前記第１の部分については、前記第１の境界の前記第１のセクションは前記カメラの中心点と前記第１の近隣のカメラの中心点とを連絡する第１の線に対応し、前記第２の境界の前記第１のセクションは前記カメラの中心点と前記第２の近隣のカメラの中心点とを連絡する第２の線に対応し、前記第１の境界の前記第２のセクションは前記イメージの前記第１の部分から前記第１の複製を除去するための前記第１の線から遠ざかるように延び、前記第２の境界の前記第２のセクションは前記第２の線から遠ざかるように伸びておりかつ前記第１の境界の前記第２のセクションと同じ形状を有しており、
    前記イメージの前記第２の部分については、前記第１の境界の前記第１のセクションは前記第２の線に対応し、前記第２の境界の前記第１のセクションは前記第１の線に対応し、前記第１の境界の前記第２のセクションは前記イメージの前記第２の部分から前記第２の複製を除去するための前記第２の線から遠ざかるように延び、前記第２の境界の前記第２のセクションは前記第１の線から遠ざかるように伸びておりかつ前記第１の境界の前記第２のセクションと同じ形状を有する
    請求項２７に記載の方法。
29. 前記スティッチングするステップは各イメージについて前記第１及び第２の境界に沿ってスティッチングすることを伴い、前記イメージの前記第１の部分の前記第１の境界は前記第１の複製に達するまで前記第１の線に対応するように規定され、前記イメージの前記第２の部分の前記第１の境界は前記第２の複製に達するまで前記第２の線に対応するように規定され、前記イメージの前記第１及び第２の部分のどれかの前記第１の境界及び前記第２の境界は同じ長さを有する、請求項２８に記載の方法。
30. 前記スティッチングするステップはスティッチングのために選択されたキャプチャイメージの各部分について前記第１及び第２の境界に沿ってスティッチングすることを伴い、前記イメージの周縁に達するまで前記第１の境界は前記第１の線に対応するように規定されて前記第２の境界は前記第２の線に対応するように規定される、請求項２８に記載の方法。
31. 前記左眼ビューを生成するステップは前記イメージの第１の部分をスティッチングすることを伴い、前記右眼ビューを生成するステップは前記イメージの第２の部分をスティッチングすることを伴い、前記イメージの前記第２の部分は前記イメージの前記第１の部分を１８０度回転したものに対応する、請求項２１〜３０のいずれか１つに記載の方法。
32. 前記部分の第１の群であって前記複数のカメラのうちの前記円周の中心と第１の複数の点の１つとの間での第１の見通し線の反時計回り側に配置された第１のカメラから各々眺められた前記第１の複数の点を備える第１の群を、前記イメージの前記第１の部分として選択するステップと、前記部分の第２の群であって前記複数のカメラのうちの前記円周の前記中心と第２の複数の点の１つとの間での第２の見通し線の時計回り側に配置された第２のカメラから各々眺められた前記第２の複数の点を備える第２の群を、前記イメージの前記第２の部分として選択するステップとをさらに備える、請求項３１に記載の方法。
33. 球面ビューに表示するために前記左眼ビュー及び前記右眼ビューをフォーマッティングするステップをさらに備える、請求項２２〜３２のいずれか１つに記載の方法。
34. 直線ビューに表示するために前記左眼ビュー及び前記右眼ビューをフォーマッティングするステップをさらに備える、請求項２２〜３２のいずれか１つに記載の方法。
35. 円筒ビューに表示するために前記左眼ビュー及び前記右眼ビューをフォーマッティングするステップをさらに備える、請求項２２〜３２のいずれか１つに記載の方法。
36. 前記フォーマッティングするステップは前記左眼ビュー及び前記右眼ビューをアナグリフとしてエンコーディングすることを伴う、請求項３３〜３５のいずれか１つに記載の方法。
37. ヘッドマウントディスプレイに表示するために前記左眼ビュー及び前記右眼ビューをフォーマッティングするステップをさらに備える、請求項２２〜３２のいずれか１つに記載の方法。
38. 隔たって配置された複数のカメラによって取得されたイメージから実質的に３６０度の視野を生成するためのプロセッサにより実行可能なプログラムコードが格納されたコンピュータ可読媒体であって、前記プログラムコードは、
    基線の高さにおいて円周上に実質的に等間隔に固定された複数のカメラからの前記イメージをキャプチャするステップ及び
    前記複数のカメラの近隣のカメラの中心点を連絡する線に少なくとも部分的に対応する第１及び第２の境界に沿って、前記複数のカメラの各々からの前記イメージの部分をスティッチングするステップ
    の実行を可能とするプログラムコードである、コンピュータ可読媒体。