JP2000510307A - 全方向性撮像装置 - Google Patents

Abstract

(57)【要約】 単一視点からほぼ半球のシーンの像を感知する全方向撮像装置（１３０）は、ほぼ半球のシーンの像を垂直に反射するように配置した、先が切られた凸のほぼ放物面形状の反射器（１３５）と、垂直に反射した像を受けるように配置したイメージセンサ（１１０）とを有する。単一視点からみてほぼ半球のシーンの像を投影する全方向性投影装置は、像を調整した視準光ビームを投影する手段と、半球の像を投影するために像を調整した視準光ビームを垂直に反射するように配置した、先が切られた凸のほぼ放物面形状の反射器とを有する。

Description

【発明の詳細な説明】 全方向性撮像装置政府の権利の通知 米国政府は、Ｎｕｃｌｅａｒ Ｒｅｓｅｒｃｈ ＭＵＲＩ Ｇｒａｎｔ Ｎｏ ．０００１４−９５−１−０６０１のＮａｔｉｏｎａｌ Ｓｃｉｅｎｃｅ Ｆｏ ｕｎｄａｔｉｏｎ Ｙｏｕｎｇ Ｉｎｖｅｓｔｉｇａｔｏｒ Ａｗａｒd及びＤ ｅｐａｒｔｍｅｎｔ ｏｆ Ｄｅｆｅｎｃｅ／Ｏｆｆｅｎｃｅの条項に従う本発 明の所定の権利を有する。発明の背景 １．発明の分野 本発明は、単一視点に関する全方向性の像の感知及び投影に関するものであり 、より詳しくは、先端が切られた凸のほぼ放物面形状の反射器を用いた像の感知 及び投影に関するものである。 ２．従来技術の説明 監視、テレコン、遠隔感知、写真測量、型取り出し、仮想現実学、コンピュー タグラフィック、マシンビジョン、ロボット光学のような多数の用途に対して、 撮像装置が広大な視野を有して周りの世界についての情報をできるだけ多く取り 出すことができるようにするのが望ましい。 従来の撮像装置は、像の透視投影を行うレンズを有するカメラを有する。しか しながら、非常に広い角度のレンズを有するカメラでさえも視野が制限される（ すなわち、半球全体よりも狭くカバーする。）。このような視野の制限は、投影 中心の周りの全撮像装置のチルト及びパンによって大きくなるおそれがある。こ のような装置の一つは、１９９５年８月に刊行されたＳ．Ｅ．ＣｈｅｎによるＰ ｒｏｃ．ｏｆ ＳＩＧＧＲＡＰＨ ９５，（８）の“Ｑｕｉｃｋｔｉｍｅ ＶＲ − Ａｎ Ｉｍａｇｅ−Ｂａｓｅｄ Ａｐｐｒｏａｃｈ ｔｏ Ｖｉｒｔｕａ ｌ Ｅｎｖｉｒｏｎｍｅｎｔ Ｎａｖｉｇａｔｉｏｎ”に記載されている。１９ ９５年８月にＣｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ：Ｐｒｏｃ．ｏｆ ＳＩＧ ＧＲＡＰＨのＭｃＭＩｌｌａｎ及びＧ．Ｂｉｓｈｏｐによる論文“Ｐｌｅｎｏｐ ｔｉｃ Ｍｏｄｅｌｉｎｇ：Ａｎ Ｉｍａｇｅ−Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎ ｇ Ｓｙｓｔｅｍ”も、通常のパン−チルト装置を記載している。しかしながら 、このタイプの装置は二つの欠点を有し、そのうちの一つは、重大な移動部を有 する装置に関連した明瞭な欠点であり、もう一つは、周りの世界を観察するよう に全回転を行うために要求される時間が著しく長いということである。このよう な時間的な制限によって、このような装置はリアルタイム用途に適切でなくなる 。 撮像装置の視野を増大させる他のアプローチは、１９８６年にＥ．Ｌ．Ｈａｌ ｌ等によるＳＰＩＥ Ｖｏｌ．７２８ Ｏｐｔｉｃｓ，Ｉｌｌｕｍｉｎａｔｉｏ ｎ，ａｎｄ Ｉｍａｇｅ Ｓｅｎｓｉｎｇ ｆｏｒ Ｍａｃｈｉｎｅ Ｖｉｓｉ ｏｎの“Ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ Ｖｉｅｗｉｎｇ Ｕｓｉｎｇ ａ Ｆｉｓｈ Ｅｙｅ Ｌｅｎｓ”に記載されたようないわゆる「魚眼レンズ」を用 いることである。魚眼レンズは非常に短い焦点距離を有し、視野は半球程度に大 きくなる。しかしながら、撮像装置のこのようなレンズの使用は、レンズが著し く大きくなるとともに通常のレンズに比べて複雑になるという問題を抱える。さ らに、関連のシーンの全ての点に対して固定された視点を有する魚眼レンズを開 発することは困難である。Ｚｉｍｍｅｒｍａｎによる米国特許出願明細書第５， １８７，６６７号及びＫｕｂａｎ等による米国特許出願明細書第５，３５９９， ３６３号も、通常のパンチルト機構の代わりに魚眼レンズを用いるようにしてお り、したがって、同一の不都合を被る。 他の従来の装置は、反射面を用いて視野を増大させている。このような従来の 装置の一つは、１９９６年１月にＡＴＴ Ｂｅｌｌ Ｌａｂｏｒａｔｏｒｉｅｓ Ｔｅｃｈｎｉｃａｌ Ｍｅｍｏｒａｎｄｕｍ，ＢＬ０１１５５００−９６０１ ５５−０１のＶ．Ｓ．Ｎａｌｗａによる“Ａ Ｔｒｕｅ Ｏｍｎｉ−Ｄｉｒｅｃ ｔｉｏｎａｌ Ｖｉｅｗｅｒ”に記載されている。Ｎａｌｗａは、５０°のバン ドの半球のシーンの３６０°の全景を得るために複数の電荷結合装置（“ＣＣＤ ”）と協同して複数の平坦な反射面を開示する。特に、Ｎａｌｗａでは、四つの 平坦なミラーがピラミッド形態で配置され、一つのカメラを四つの平坦な反射 側の各々の上に配置し、各カメラは、５０°の半球シーンによって９０°よりわ ずかに多くを観察する。この装置は、半球の像を取り出すために多数のセンサを 必要とするという重大な欠点を被る。それに加えて、この装置は、個別の像を結 合して完全な３６０°の観察を行う際に「継ぎ目」の歪みに関連する固有の問題 を被る。 湾曲した反射面もイメージセンサとともに用いられている。しかしながら、透 視投影に当たり、単一視点から見えるような世界の像を発生させる反射面のみが 、レンズと視点との間の線分の中点を通過する平面となり、線分の方向に法線を 有することは従来既知である。したがって、透視投影に当たり、任意の湾曲した 面は必然的に複数の視点を有する。 １９９５年６月に刊行されたＹａｇｉ等によるＩＥＥＥ Ｉｎｔｅｒｎａｔｉ ｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏ ｍａｔｉｏｎの“Ｅｖａｌｕａｔｉｎｇ Ｅｆｆｅｃｔｉｖｉｔｙ ｏｆ Ｍａ ｐ Ｇｅｎｅｒａｔｉｏｎ ｂｙ Ｔｒａｃｋｉｎｇ Ｖｅｒｔｉｃａｌ Ｅｄ ｇｅｓ ｉｎ Ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ Ｉｍａｇｅ Ｓｅｑｕｅｎｃ ｅ”及び１９９５年１０月に刊行されたＹａｇｉ等によるＩＥＥＥ Ｔｒａｎｓ ａｃｔｉｏｎｓ ｏｎ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ，Ｖ ｏｌ．ＩＩ，Ｎｏ．５の“Ｍａｐ−Ｂａｓｅｄ Ｎａｖｉｇａｔｉｏｎ ｆｏｒ ａ Ｍｏｂｉｌｅ Ｒｏｂｏｔ Ｗｉｔｈ Ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ Ｉｍａｇｅ Ｓｅｎｓｏｒ ＣＯＰＩＳ”は共に、周囲の環境から像を集める 円錐形状の反射面を用いる円錐図法イメージセンサ（ＣＯＰＩＳ）と、移動ロボ ットのナビゲーションを行う情報の処理とを開示している。ＣＯＰＩＳは３６０ °の観察を行うことができるが、真の全方向性イメージセンサではない。その理 由は、視野が円錐身等の頂角及びカメラレンズの視野角によって制限されるから である。さらに、既に説明したように、円錐に対する視点の位置が円になるので 、湾曲した面の完全な反射によって多数の視点が必要となる。複数の視点によっ て、著しい歪みが生じ、単一視点から見られるようなシーンを再構成するために 複雑な処理及び像の変換が必要となる。 １９９５年１０月にＹａｍａｚａｗａ等によるＩＥＥＥ Ｉｎｔｅｒｎａｔｉ ｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏ ｍａｔｉｏｎの１０６２ページの“Ｏｂｓｔａｃｌｅ Ｄｅｔｅｃｔｉｏｎ Ｗ ｉｔｈ Ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ Ｉｍａｇｅ Ｓｅｎｓｏｒ Ｈｙｐ ｅｒＯｍｎｉ Ｖｉｓｉｏｎ”は、円錐面の位置に双曲面の反射面を必然的に用 いるＣＯＰＩＳ装置の意図的な向上を開示している。ここで説明されているよう に、原点の位置に関係なく双曲面で完全に反射された光は、単一点で全て収束さ れて透視観察を可能にする。双曲面のミラーを使用することによって完全な透視 像を感知することができるが、反射した像を構成する光が反射器の焦点に収束す るので、反射面に対するセンサの配置が重要になり、任意の妨害が画像品質を損 なう。さらに、透視投影モデルを使用すると、必然的に、センサとミラーとの間 の距離が増大するに従ってミラーの断面を増大させる必要がある。したがって、 実際の考察では、ミラーを理想的なサイズに保持するために、ミラーをセンサに 近接して配置する必要がある。このために、イメージセンサ光学の設計が複雑な ものとなる。さらに、座標を用いることができるマッピング感知された像は、像 の収束の性質のために複雑な測定が必要となる。 上記従来の装置は、単一視点からほぼ半球のシーンを感知することができる真 の全方向性撮像装置を提供することができない。これら装置は、フレーム再構成 及び複雑なフレーム変換を必要とすることなくほぼ半球のシーンの任意の選択し た位置を観察することができる、すなわち、シーンをパンすることができる撮像 装置を達成することもできない。発明の要約 既に説明したような従来の欠点は、本発明によってほとんど改善され、その一 態様は、焦点が単一視点に一致する場合にほぼ半球のシーンの像を垂直に反射す るように配置した、先端が切られたほぼ放物面形状の反射器を有する全方向撮像 装置である。イメージセンサを、像の垂直の反射を受けるように配置する。 本発明の一例において、反射面は、円柱座標で表現した式 に従い、この場合、ｒを半径座標とし、ｚを回転軸とし、ｈを定数とする。式が 対称な回転面を表すので、面形状は角座標φの関数ではない。反射器は、ｚ軸に ほぼ垂直であるとともに放物面形状の反射器の焦点を有する平面で先端が切られ たものである。イメージセンサを、好適には反射器のｚ軸に一致する光軸に沿っ て配置する。 装置の一例において、イメージセンサを電子的なものとし、それは、垂直に反 射した像を表す画像信号を発生させる。この画像信号をデジタル化するとともに 画像処理装置に転送する。画像処理装置を、好適には、半球シーンの任意の位置 の観察、シーンの一部の拡大及び予め決定された視点からシーンをパンすること ができるように適合させる。 本発明の他の例は、単一視点から追加の半球のシーンの像を垂直に反射するよ うに配置した、追加の先端が切られた凸のほぼ放物面形状の反射器を有する。半 球のシーン及び追加の半球のシーンは、その結合が半球のシーンとなるように互 いに相補的なものとなる。追加のイメージセンサを、追加の反射器から垂直に反 射した像を受けるように配置する。 本例では、反射器及び追加の反射器を背中合わせに配置し、これらが、光軸に 整列した共通のｚ軸と、共通の焦点とを有する。各々は、共通のｚ軸にほぼ垂直 であるとともに共通の焦点を有する平面で先端が切られる。 本発明の他の態様は、単一視点から見てほぼ半球のシーンを表す像を投影する 全方向性投影装置である。全方向性投影装置は、像を（空間的及び可能な場合に は時間的に）調整した視準光ビームを投影するように半球のシーンの像を有する 透明媒体の背後の視準光源と、像を調整した視準光ビームを垂直に反射するよう に配置してほぼ半球のシーンを投影する、先端が切られた凸のほぼ放物面形状の 反射器とを有する。 全方向性投影装置の他の例は、追加の光源と、単一視点から見てほぼ半球の追 加のシーンを表す他の像を調整した他の視準光ビームを投影するように画像を発 生させる透明媒体とを有する。半球シーン及び追加の半球シーンは、その結合が ほぼ半球のシーンとなるように互いに相補的なものとなる。先端が切られた凸の ほぼ放物面形状の追加の反射器を、追加の半球のシーンを投影するように追加の 視準光ビームを垂直に反射するように配置する。反射器及び追加の反射器を背中 合わせに配置し、これらは共通の光軸及び共通の焦点を有する。各々は、光軸に ほぼ垂直であるとともに焦点を有する平面で先端が切られている。 本発明は、単一視点からほぼ半球のシーンの像を感知する方法も提供し、その 一例は、（ａ）単一視点がほぼ放物面形状の反射面の焦点に一致するように前記 反射面でほぼ半球のシーンの像を垂直に反射するステップと、垂直に反射した像 を感知するステップとを具える。ステップ（ｂ）は、反射器の光軸に沿った位置 からほぼ垂直に反射した像の感知を有する。 撮像方法の一例において、垂直に反射した像を表す画像信号を発生させるステ ップと、画像信号を画像データに変換するステップと、画像データをカルテシア ン座標系に写像するステップと、画像データを補間するステップと、写像された 画像データ及び補間された画像データからデジタル画像を形成するステップとを 有する。所望の場合には、観察距離、焦点距離及び画像サイズを指定した後、こ のように選択した画像の部分を、補間ステップを実行する前にズームインする。 最後に、撮像方法の他の例において、追加のシーンの単一観察点が追加のほぼ 放物面形状の反射面の焦点に一致するように前記反射面上でほぼ半球のシーンの 追加の像を垂直に反射するステップと、追加の垂直に反射した像を感知するステ ップとを更に有する。 本発明は、単一視点から見てほぼ半球のシーンを表す像を投影する方法も提供 し、この一例は、（ａ）像を（空間的及び可能な場合には時間的に）調整したほ ぼ放物面形状の反射面上に視準光ビームを投影するステップと、（ｂ）ほぼ放物 面形状の反射面で、像を調整した視準光ビームを垂直に反射して、像の単一視点 をその垂直な反射面の焦点に一致させるステップとを更に有する。 投影方法の他の例は、単一視点から見てほぼ半球の追加のシーンを表す追加の 像を調整する追加の視準光ビームを投影するステップと、追加の像を調整する追 加の視準光ビームを垂直に反射して、他の半球のシーンと相補的な追加の半球シ ーンを投影するステップとを有する。図面の簡単な説明 本発明の実施の形態を、添付図面を参照して詳細に説明する。 図１ａは、全方向撮像装置の一実施の形態の側面図である。 図１ｂは、放物面形状の反射器を透明サポートによってイメージセンサにも接 続した他の例の側面図である。 図２は、基板上に載せ置いた放物面形状の反射器の等角投影図である。 図３は、円柱座標系に写像した放物面形状の反射器の部分的な等角投影図であ る。 図４は、湾曲した反射面からの垂直の反射を幾何学的に表す。 図５は、ほぼ放物面形状の反射器からイメージセンサへの垂直の反射を表す。 図６は、半球のシーンのき任意の選択した部分を単一視点から観察することが できる方法を示す。 図７は、二つの背中合わせのほぼ放物面形状の反射器及び二つのイメージセン サを有する全方向撮像装置の側面図である。 図８は、共通の回転軸及び共通の焦点を有する背中合わせに配置した二つのほ ぼ放物面形状の反射器の断面図である。 図９ａは、全方向性投影装置の一実施の形態の側面図である。 図９ｂは、像を調整した視準光ビームを投影する装置の一例を示す。 図１０は、二つの背中合わせのほぼ放物面形状の反射器と、対応する反射器方 向の二つのほぼ半球のシーンの各像を調整した二つの視準光ビームを投影する二 つの像発生媒体とを有する全方向性投影装置の側面図である。 図１１は、円柱座標系に写像した全方向性投影装置の放物面形状の反射器の部 分的な等角投影図である。 図１２は、単一視点からほぼ半球のシーンの像を感知し及び処理する方法の一 実施の形態のフローチャートである。 図１３は、単一視点から観察してほぼ半球のシーンを表す像を投影する方法の フローチャートである。詳細な説明 図１ａは、本発明の実施の形態による全方向撮像装置を示す。基板１４０上に 載せ置かれた凸の放物面形状の反射器１３５を、ほぼ半球のシーン１３０の像を 垂直に反射するように配置する。拡大レンズ１１２及びテレセントリックレンズ 又はテレセントリックアパーチュア１１３を有する市販のソニー社の３ＣＣＤカ ラービデオカメラ装置１１１のようなイメージセンサ１１０を、像の垂直的な反 射を受けるように配置する。テレセントリックレンズ１１３は、レンズの面に垂 直でない光の全て、すなわち、半球のシーンの垂直の反射の一部を形成しない背 景光を除去するように作用する。 ここでの記載は可視光に関するものであるが、本発明は、紫外光や赤外光のよ うな他の形態の電磁放射にも適用される。 図１ｂに示した本発明による撮像装置１００の他の例のおいて、放物面形状の 反射器を、所定の長さの透明管のような透明サポート１３６によってイメージセ ンサに結合する。 再び図１ａを参照すると、ビデオカメラ１１０は、ケーブル１５０を通じて送 り出される垂直に反射した像を表すアナログビデオ信号を発生させる。ビデオ信 号はデジタイザ１２０によってデジタル信号に変換され、このデジタイザを、市 販されているＮＴＳＣビデオ信号アナログーデジタルコンバータとする。 その後、デジタル信号は、ケーブル１５５を通じてＤＥＣ社のＡｌｐｈａ３０ ００／６００ワークステーションのような一般的な目的のコンピュータ１２５に 送信される。詳細に説明するように、コンピュータ１２５は、ユーザが半球のシ ーンの任意の所望の部分を観察し、シーンの選択した部分をズームインし、又は 所望のやり方でシーンをパンするようにプログラムされている。 イメージセンサ１１０を、通常の写真フィルムを用いる静止画像又は動画の写 真カメラとする。イメージセンサを、デジタルビデオ信号を出力するカムコーダ 又はビデオカメラ１１６とすることができ、これを、アナログ−デジタルコンバ ータ１２０を必要とすることなくコンピュータ１２５に直接設けることができる 。 図２は、放射面形状の反射器の等角投影図を示し、これは、これが形成される 基板１４０から延在する。反射器１３５を含む基板１４０の全面に、銀のような 反射の強い金属の薄膜１４５を被覆する。 図３は、放射面形状の反射器１３５の好適な配置と、ほぼ半球のシーン１３０ の像をイメージセンサ１１０への垂直な反射を示す。図３の反射器１３５を、式にほぼ従うように円筒座標ｒ，φ及びｚによって規定される。この場合、ｚを回 転軸とし、ｒを半径座標とし、ｈを定数とする。ｚ軸は撮像装置の光軸に一致し 、式（１）によって規定される放物面の焦点３１５は、座標系の原点に一致する 。図３の反射器１３５は、ｚ軸３１０にほぼ直交するとともに放物面の焦点３１ ５を含む平面ｐで先端を切られたものである。 焦点３１５を通過する以外の全ての入射光３０５は、反射放物面によってイメ ージセンサ１１０方向に対して垂直に反射される。したがって、焦点３１５は、 ほぼ半球のシーン１３０を観察する単一視点に一致する。イメージセンサ１１０ を、撮像装置の光軸３１０に沿って配置するとともに、その光電性の表面を光軸 に垂直に配置する。 透視投影を行う曲面からの反射によって多数の視点を必要とすることは従来既 知であるので、単一視点からほぼ放物面のシーンを見ることができるように直角 の反射を利用することは、本発明の有利な特徴である。 直角の反射によって単一視点からの観察ができることを、図４を参照して説明 する。図４において、ｚ及びｒを、所定の値の角度座標φに対して直交する円筒 １５によって出射光４１０として直角に反射させる。 単一視点４２０を有するために、任意の入射光は、 ｔａｎ（θ）＝ｚ／ｒ （３） を満足する必要があり、直角の反射に対して、全ての光を角度 α＝π／２ （４） で反射させる必要がある。ここでαを、出射光４１０と軸との間の角度とする。 満足すべきこれら二つの制約及び反射角に等しい傾斜角に対して、反射光４１０ を満足する必要があり、次のように表現することもできる。 （６）及び（４）を（５）に置換すると となる。式（７）の２次表現を、ｄｚ／ｄｒに対する二つの解を得るが反射面に よる自己接眼（ｓｅｌｆ ｏｃｃｕｌａｔｉｏｎ）を回避するように解くことが でき、直角の象限角の曲線の勾配は負となる（すなわち、表面は凸面となる。） 。その結果、 となる。ａ＝ｚ／ｒの場合、上記表現は、 となる。この場合、ｈを積分の定数とする。ｚ＝ｒａを式（９）に置換すると（ １）となる。 の反射を許容する表面を発生させる曲線が存在する。この曲線は、式（１）によ って規定された放物線であり、これは、放物線の焦点４２０に一致する単一視点 を有する。 単一視点からのほぼ半球のシーンの観察を行うのに加えて、本発明による全方 向撮像装置によって、単一視点に対する全てについて及び像を再構成したり複雑 なフレーム変換をする必要なく、シーンの任意の部分を観察することができ、選 択した部分をズームインすることができ、任意のやり方でシーンをパンすること ができる。 図５は、ほぼ半球のシーンの一部を単一視点からイメージセンサによって観察 する方法を示す。先端が切られた凸のほぼ放物面形状の反射器１３５を、デカル ト座標系に写像する。撮像装置の光軸５０２はｚ軸に一致し、ほぼ放物面形状の 反射器１３５の焦点５０１を原点に配置する。観察されるシーン３００の一部か らの入射光５０５，５１０は、ｘ座標及びｙ座標によって規定することができる 点５１５及び５２０で反射面に交差する。点５１５及び５２０はそれぞれ、シー ンの観察点すなわち放射面形状の反射器の焦点５０１から生じる仮想放射状線５ １６及び５２１沿いにある。これらの光は、ｚ軸に垂直な平面の光感知面を有す るイメージセンサ１１０に向かって垂直に反射されるので、投射された光はそれ ぞれ、同一のｘ座標及びｙ座標で光感知面に交差する。ｚ座標のみ変化する。し たがって、直角に投影された光の反射器１３５に対する交差点のｘ−ｙ座標と、 垂直に投影した光がイメージセンサ１１０の平坦な光感知面に交差する点のｘ− ｙ座標との間に１対１の対応がある。 好適な配置では、イメージセンサ１１０は、光感知素子のアレイを有する平坦 な電荷結合装置（“ＣＣＤ”）のイメージセンサを有する。各セルは、アレイの 特定の位置の光強度を感知する。したがって、１対１対応を用いて、格子のｘ− ｙ座標の特定の範囲をカバーするＣＣＤセルによって生じた画像信号は、ｘ−ｙ 座標の同一範囲内の点で反射面１３５からから垂直に反射した光を表す。その結 果、像の写像は当業者にとって容易な作業である。 図６は、既に説明した１対１対応を用いて、ほぼ半球のシーンの任意の選択し た部分をズームインする技術を示す。反射器１３５を、図５と同様に互いに直交 するｘ軸、ｙ軸及びｚ軸に対して配置する。点５５０を中心とするシーンの選択 した位置の焦点距離ｆでズームインするために、特定のサイズを用いて、シーン の選択した部分を投影する反射面の領域としてｘ−ｙ座標の同一範囲に配置した ＣＣＤセルの画像信号のみを、倍率及び観察のために選択する。より詳しくは、 シーンの選択した部分の点５７０に対する適切な光強度を決定するために、５８ ０に位置するＣＣＤセルによって発生した光強度信号を選択する。図６に示すよ うに、点５７０と焦点５５１との間を結ぶ線分は、点５５２で反射器１３５に交 差する。点５７０の光強度を、点５５２のｘ−ｙ座標に最も近接する格子上のｘ −ｙ座標に配置した５８０のＣＣＤセルによって発生した画像信号によって生じ たものに等しくする。同様なことを、シーンの選択した部分を投影する反射面の 領域としてｘ−ｙ座標の同一範囲内の各ＣＣＤセルに対して繰り返す。直角の反 射及び既に説明したような１対１対応の結果、像の再構成及び複雑なフレーム変 換は必要とされない。 一般的な目的のコンピュータ１２５を、単一視点からの半球のシーンの任意の 位置を観察することができるとともにその位置の拡大された像を提供するために 任意の特定の位置のズームインを可能にする上記ステップを実行するように、当 業者によって容易にプログラムすることができる。さらに、反射器に沿って連続 的な点を示すことによって、半球のシーンを、単一視点からシーンを観察するか のようにパンすることができる。 上記実施の形態において、シーンの小部分をズームインすると、コンピュータ １２５に情報を提供するＣＣＤセルの数を減少させることができ、したがって、 観察される像の粒度を増大させることは容易にわかる。好適な実施の形態におい て、ＣＣＤセルに正確に対応しないシーンの点についての情報を、補間によって 更に近似させることができる。コンピュータ１２５上で実行することができる適 切な補間プログラムを、本明細書の補遺Ｉに含める。補遺Ｉとして添付したプロ グラムは、感知した全方向性の像を、コンピュータ１２５上に表示するのに適切 な通常のパースペクティブ像にマッピングする。プログラムは、ユーザに対して 、変換すべき全方向性の像の名称、中心位置及び半径を入力することを要求する 。プログラムは、ユーザに対して、発生したパースペクティブ像の名称とともに パースペクティブ像に対する焦点距離及びサイズを入力することも要求する。 したがって、ＣＣＤセルに正確に対応しない像の位置を表すために最も近接す るＣＣＤセルによって発生した画像信号を単に選択する代わりに、このようなシ ーンの部分に対する像を、シーンの隣接する部分に対応するＣＣＤセルによって 生じた画像信号の適切な平均に基づいて、添付したプログラムによって評価する 。多項式又は時間的な整合に基づくような当業者には既知の更に複雑な補間プロ グラムを、ここに記載した請求の範囲によって規定した本発明の範囲から逸脱す ることなく用いることができる。 本発明の更に別の例において、全方向撮像装置は、図７に示すような追加のほ ぼ放物面形状の反射器７３５を有する。追加の反射器を、半球のシーン１３０を 補足する追加の半球のシーン７３０の像を直角に投影するように配置して、協同 して半球のシーンを構成する。追加のイメージセンサ７１０を、追加の反射器７ ３５によって垂直に投影された像を受信するように配置する。 追加の反射器７３５の垂直の反射を表す画像信号を、既に説明したようにして コンバータ７２０によってデジタル信号に変換し、ライン７２５を通じて同一の 一般目的のコンピュータ１２５に送信する。 図８に示すように、反射器１３５及び７３５を背中合わせに配置し、これらは 、撮像装置の光軸でもある共通の回転軸８１０と共通の焦点８０５とを共有し、 これらの各々は、焦点８０５を含む回転軸８１０にほぼ垂直な平面ｐによって先 端が切られている。 図９ａは、単一視点から見えるようなほぼ半球のシーンを表す像を投影する本 発明による全方向撮像装置の一例を示す。全方向撮像装置は、視準光源９１０と 、ほぼ半球のシーンの像を発生させる透明媒体９２０とを有する。透明な像発生 媒体を、上記全方向撮像装置によって発生した写真的な透明画、又はほぼ半球の シーンの静止画像又は動画を発生させる透明な液晶表示装置（ＬＣＤ）とする。 光源９１０は、透明な画像発生媒体９２０を通じて視準光を投影して、透明媒 体９２０上の像によって空間的に（及び可能な場合には時間的に）変調した視準 光ビーム９４０を発生させる。本実施の形態では図２及び３を参照して説明した ミラーとするほぼ放物面形状の反射器９３０を、視準像の変調されたビーム９４ ０を垂直に反射するように配置して、ほぼ半球のシーンを投影する。 図９ｂに示した本発明による投影装置の他の例において、視準光源及び透明な 画像発生媒体を、一般的な目的のコンピュータ９７０によって制御されるビデオ 投影装置９６０に置き換える。ビデオ投影装置９６０は、所望の画像情報によっ て変調した視準光ビーム９４０を発生させる。このために、コンピュータ９７０ は、投影装置９６０から出射した光９４０の強度分布を制御する。 図１０に示すような本発明による全方向撮像装置の他の例は、追加のほぼ半球 のシーンを表す追加の像を保持する追加の透明な像発生媒体１０２０と、追加の 視準光源１０１０と、ほぼ放物面形状の反射器１０３０とを有する。ほぼ半球の シーン及び追加のほぼ半球のシーンは、二つの結合が球面のシーンとなるように 互いに相補のものとなる。 追加のほぼ放物面形状の反射器１０３０を、追加の視準光ビーム１０４０を垂 直に反射するように配置して、追加の半球のシーンを投影する。 図８に示すように、二つの反射器を背中合わせに配置し、これらは共通の回転 軸及び共通の焦点を共有する。各々は、共通の回転軸にほぼ垂直であるとともに 共通の焦点を有する平面で先端を切られている。 図１２を参照すると、本発明の実施の形態によって単一視点からのほぼ半球状 又は球状のシーンの像の感知する方法を示すフローチャート１２００を示す。フ ローチャート１２００は、単一視点から半球シーンを感知するのに必要なステッ プを示す。この方法は、ほぼ半球のシーンの垂直の反射１２１０と、垂直に反射 した像の感知１２２０とを必要とする。 この方法は、画像信号を画像信号データに変換するステップ１２３０と、画像 データをカルテシアン座標系に写像するステップ１２４０と、画像データを補間 して、消失した画像データに対する平均値を取り出すステップ１２６０と、写像 された画像データ及び補間された画像データからデジタル画像を形成するステッ プ１２７０とをも有する。好適には、観察距離、焦点距離及び画像サイズを指定 するステップ１２４５と、画像データのこのように選択した部分をズームインす るステップ１２５０とを、補間ステップの前に実行する。 最後に、図１３は、本発明の実施の形態による単一視点から観察したようなほ ぼ半球のシーンを表す画像を投影する方法に対するフローチャート１３００を示 す。この方法は、像を調整した視準光ビームを投影するステップ１３１０と、像 の単一視点が反射面の焦点に一致するようにほぼ放物面形状の反射面上で視準光 ビーム１３２０を垂直に反射するステップとを有する。 この方法は、単一視点から観察したような追加のほぼ半球のシーンを表す追加 の像を、追加の視準光ビームとして投影するステップ１３３０と、追加のほぼ半 球のシーンを再構成するために追加の視準光ビームを垂直に反射するステップ１ ３４０とをも有する。 したがって、本発明は、任意の移動部を有しない単一視点からほぼ半球のシー ンの像を感知する全方向撮像装置を提供する。本発明の装置は、垂直の反射を用 いて、向上した画像品質を提供するとともに、複雑な画像再構成又は複雑なフレ ーム変換を用いることなくシーンの任意の部分のズームイン及びシーンのパンを 可能にする。 本発明は、単一視点から観察したようなほぼ半球のシーンを表す像を投影する ことができる全方向撮像装置も提供する。 上記説明は、本発明に含まれる原理を示しただけである。本発明の他の変形は 当業者には明らかであり、添付した請求の範囲で説明したように本発明の範囲を 制限するものではない。 補遺Ｉ

Claims (1)

1. 【特許請求の範囲】 １．（ａ）ほぼ半球のシーンの像を垂直に反射するように配置され、単一視点に 一致する焦点を有する、先端を切った凸のほぼ放物面形状の反射器と、 （ｂ）前記像の前記垂直の反射を受けるように配置したイメージセンサとを 具える、単一視点からほぼ半球のシーンの像を感知する全方向撮像装置 。 ２．前記イメージセンサが、電荷結合装置のイメージセンサを有することを特徴 とする請求の範囲１記載の全方向撮像装置。 ３．前記イメージセンサが写真フィルムを具えることを特徴とする請求の範囲１ 記載の全方向撮像装置。 ４．前記イメージセンサがビデオカメラを具えることを特徴とする請求の範囲１ 記載の全方向撮像装置。 を有するほぼ放物面のミラーを具え、ｚを前記面の回転軸とし、ｒを半径座標 とし、ｈを定数としたことを特徴とする請求の範囲１記載の全方向撮像装置。 ６．前記反射器が、回転軸と、この回転軸にほぼ垂直であるとともに前記反射器 の焦点を有する面で先端を切ったミラーとを有することを特徴とする請求の範 囲１記載の全方向撮像装置。 ７．前記イメージセンサを前記反射器の回転軸に沿って配置したことを特徴とす る請求の範囲１記載の全方向撮像装置。 ８．相対的な位置を維持するように前記反射器と前記イメージセンサとを結合す る透明サポートを更に具えることを特徴とする請求の範囲１記載の全方向撮像 装置。 ９．前記イメージセンサが、前記垂直に反射した像を表す画像信号を発生させ、 その画像信号を画像信号データに変換するとともにその画像信号データをカル テシアン座標系に写像するように前記イメージセンサに結合した画像信号処理 装置を更に具えることを特徴とする請求の範囲１記載の全方向撮像装置。 １０．前記画像信号処理装置が、前記デジタル画像を形成するために、補間され た画像データを発生させてその補間されたデータ及び前記画像信号データを結 合する補間手段を更に有することを特徴とする請求の範囲９記載の全方向撮像 装置。 １１．前記画像処理装置が、前記デジタル画像の選択された部分をズームインし て、予め選択された焦点距離から予め選択された部分の拡大画像を発生させる 手段を更に具えることを特徴とする請求の範囲１０記載の全方向撮像装置。 １２．前記イメージセンサと反射器とを光学的に結合し、前記イメージセンサと 反射器との間に配置された少なくとも一つのレンズを更に具えることを特徴と する請求の範囲１記載の全方向撮像装置。 １３．前記少なくとも一つのレンズの一つをテレセントリックレンズとしたこと を特徴とする請求の範囲１２記載の全方向撮像装置。 １４．前記イメージセンサと反射器とを光学的に結合し、前記イメージセンサと 反射器との間に配置したテレセントリックアパーチュアを更に具えることを特 徴とする請求の範囲１２記載の全方向撮像装置。 １５．前記単一視点から追加の半球のシーンの像を垂直に反射するように配置し た追加の先端を切った凸のほぼ放物面形状の反射器を更に具え、前記半球のシ ーン及び追加の半球のシーンの結合がほぼ半球のシーンとなるようにこれらを 互いに相補的なものにし、前記追加の半球のシーンの像の垂直の反射を受け取 るように配置した追加のイメージセンサを更に具えることを特徴とする請求の 範囲１記載の全方向撮像装置。 １６．前記反射器及び追加の反射器を背中合わせに配置し、これらが共通の光軸 及び共通の焦点を有し、前記反射器の各々が、前記光軸にほぼ垂直であるとと もに前記共通の焦点を有する平面で先端を切られたミラーを具えることを特徴 とする請求の範囲１５記載の全方向撮像装置。 １７．（ａ）像を調整した視準光ビームとして像を投影する手段と、 （ｂ）前記像を調整した視準ビームを垂直に反射してほぼ半球のシーンを投影 するように配置した、先端を切った凸のほぼ放物面形状の反射器とを具え る、単一観察点から観察してほぼ半球のシーンを表す像を投影する全方向 性投影装置。 １８．前記像を投影する手段が、ほぼ半球のシーンの像を発生させる透明媒体と 、視準光源とを具え、前記媒体を、前記視準光源と前記反射器との間に配置し たことを特徴とする請求の範囲１７記載の全方向性投影装置。 １９．前記透明媒体を写真の透明画としたことを特徴とする請求の範囲１８記載 の全方向性投影装置。 ２０．前記透明媒体を液晶表示装置としたことを特徴とする請求の範囲１８記載 の全方向性投影装置。 ２１．前記像を投影する手段が、コンピュータ及びビデオ投影器を具えることを 特徴とする請求の範囲１７記載の全方向性投影装置。 面を有するほぼ放物面のミラーを具え、ｚを前記面の回転軸とし、ｒを半径座 標とし、ｈを定数としたことを特徴とする請求の範囲１７記載の全方向性投影 装置。 ２３．前記反射器が、回転軸と、この回転軸にほぼ垂直であるとともに前記反射 器の焦点を有する面で先端を切ったミラーとを有することを特徴とする請求の 範囲１７記載の全方向性投影装置。 ２４．前記追加の像を調整した追加の視準光ビームとして追加の像を投影する手 段を更に具え、前記追加の像が、単一視点から見て追加のほぼ半球のシーンを 表し、前記半球のシーン及び前記追加の半球のシーンの結合がほぼ半球のシー ンとなるようにこれらを互いに相補的なものとし、前記追加の像を調整して追 加の視準光ビームを垂直に反射するようにして、前記追加のほぼ半球のシーン を投影するように配置した、追加の先端を切った凸のほぼ放物面形状の反射器 を更に具えることを特徴とする請求の範囲１７記載の全方向性撮影装置。 ２５．前記反射器及び追加の反射器を背中合わせに配置し、これらが共通の光軸 及び共通の焦点を有し、前記反射器の各々が、前記光軸にほぼ垂直であるとと もに前記共通の焦点を有する平面で先端を切られたミラーを具えることを特徴 とする請求の範囲２４記載の全方向性投影装置。 ２６．（ａ）ほぼ半球のシーンの単一観察点がほぼ放物面形状の反射面の焦点に 一致するように前記ほぼ半球のシーンの像を前記反射面で垂直に反射 するステップと、 （ｂ）前記垂直に反射した像を感知するステップとを具える、単一観点からほ ぼ半球のシーンの像を感知する全方向性撮像方法。 ２７．前記ステップ（ｂ）が、前記反射器の回転軸に沿った位置からのほぼ直角 に反射した像の感知を具えることを特徴とする請求の範囲２６記載の全方向性 撮像方法。 ２８．前記垂直に反射した像を表す画像信号を発生させるステップと、その画像 信号を画像信号データに変換するステップと、前記画像信号データをカルテシ アン座標系に写像するステップとを更に具えることを特徴とする請求の範囲２ ７記載の全方向性撮像方法。 ２９．前記画像信号データを補間して、消失した画像データの平均値を規定する ステップと、前記写像した画像データ及び前記補間した画像データからデジタ ル画像を形成するステップとを更に具えることを特徴とする請求の範囲２８記 載の全方向性撮像方法。 ３０．前記デジタル画像の選択した部分をズームインして、予め設定した焦点距 離からその選択した部分の拡大画像をズームインするステップと、前記画像デ ータを補間して、消失した画像データの平均値を規定するステップと、前記写 像した画像データ及び前記補間した画像データからデジタル画像を形成するス テップとを更に具えることを特徴とする請求の範囲２９記載の全方向性撮像方 法。 ３１．追加のほぼ半球のシーンの追加の像を垂直に反射するステップと、前記 追加の垂直に反射した像を感知するステップとを更に具えることを特徴とする 請求の範囲２７記載の全方向性撮像方法。 ３２．（ａ）前記像を調整した視準光ビームとして像を投影するステップと、 （ｂ）前記像の単一観点がほぼ放物面上の反射面の焦点に一致するように前記 視準光ビームを前記反射面上で垂直に反射させるステップとを具える、単 一視点から観察してほぼ半球のシーンを表す像を投影する投影方法。 ３３．単一観点から見てほぼ半球の追加のシーンを表す追加の像を、追加 の視準光ビームとして投影するステップと、前記追加の視準光ビームを垂 直に反射して、前記ほぼ半球の追加のシーンを再構成するステップとを更 に具えることを特徴とする請求の範囲３２記載の投影方法。 ３４．前記投影するステップが、前記像を発生させる一つの写真の透明画を通じ た前記像を調整した視準光ビームの投影を具えることを特徴とする請求の範囲 ３２記載の投影方法。 ３５．前記投影するステップが、液晶表示装置を通じた視準光ビームの投影を 具えることを特徴とする請求の範囲３２記載の投影方法。