JP2008537157A - 光学機器に用いるパノラマ式三次元アダプタおよびパノラマ式三次元アダプタと光学機器との組み合わせ - Google Patents

光学機器に用いるパノラマ式三次元アダプタおよびパノラマ式三次元アダプタと光学機器との組み合わせ Download PDF

Info

Publication number
JP2008537157A
JP2008537157A JP2007549030A JP2007549030A JP2008537157A JP 2008537157 A JP2008537157 A JP 2008537157A JP 2007549030 A JP2007549030 A JP 2007549030A JP 2007549030 A JP2007549030 A JP 2007549030A JP 2008537157 A JP2008537157 A JP 2008537157A
Authority
JP
Japan
Prior art keywords
panoramic
mirror
dimensional
axis
adapter according
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007549030A
Other languages
English (en)
Other versions
JP4620131B2 (ja
Inventor
ジェームス モンゴメリー デビッド
ロジャー ジョーンズ グラハム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JP2008537157A publication Critical patent/JP2008537157A/ja
Application granted granted Critical
Publication of JP4620131B2 publication Critical patent/JP4620131B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • G03B35/10Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/363Image reproducers using image projection screens

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)
  • Lenses (AREA)

Abstract

アダプタは、カメラ3またはプロジェクタのように、パノラマ式三次元画像を撮影または表示するために光学機器を適応させるために設けられる。アダプタは、複数のミラー1a,1b,1cを含んでおり、これらは、対称軸15a,15b,15cについて回転する非環状に湾曲した円錐部の形状をなす反射面を有する。反射面は、アダプタの長軸から垂直に間隔をおき、かつ当該長軸の周りに角度をもって間隔をおいた第1の焦点を有する。例えば、円錐部は、長軸と等距離の間隔をおき、かつ長軸の周りに等角度の間隔をおいた第1の焦点を有する双曲線状であってもよい。ミラー1a,1b,1cの対称軸15a,15b,15cは、例えば、カメラレンズ12の前側主点と一致する点で長軸と交わるように収束する。したがって、パノラマ式三次元画像の全てのデータのシングルショットの撮影が可能になる。

Description

本発明は、光学機器に用いるパノラマ式三次元(3D)アダプタおよびパノラマ式三次元アダプタと光学機器との組み合わせに関するものである。例えば、光学機器は、当該アダプタを有するか、または当該アダプタにマウントされた状態で立体パノラマカメラとして使用されるカメラを含む。あるいは、光学機器は、前記アダプタにマウントされるか、または前記アダプタを有した状態でパノラマ式立体投射型ディスプレイとして使用されるプロジェクタを含む。
広視野型またはパノラマ立体式のカメラには幾つかのタイプが知られている。最初に示すタイプは、複数のカメラ、通常は6の倍数のカメラを用い、それらが環状または球面状に構成されている。このような構成は、良好な画質の画像が得られるものの、セットアップが複雑で、かつ費用がかかっていた。また、複数のカメラを使って画像を撮影するため、個々に撮影された画像からパノラマ立体画像を構成するときに、輝度や合成ミスが生じる。このような問題は、2Dであれ、3Dであれ、マルチカメラシステムにおいて、合成画像を得るために異なるカメラによって撮影された画像を合成するときに生じる典型的な問題である。
周知の回転ヘッドカメラを用いてパノラマ立体画像を生成することも可能である。この装置によって良好な結果を得ることができるものの、立体画像を得るためには撮像画像の膨大なコンピュータ処理が必要となる。また、回転ヘッドカメラの特性として、縦方向に区分けされた別々の画像は、それぞれ異なる時間帯において撮像されているため、画像が撮像されたときの背景や被写体に大きな動きがあると、相当な撮影ミスとなる。
他の公知の立体カメラ装置のタイプとして、「魚眼」レンズのような広角レンズを用いるものがある。しかし、このような装置で完全なパノラマ画像を得るためには、通常複数台のカメラが必要であり、一般的に撮像画像の解像度は比較的低い。
「反射屈折」型の公知の2Dシステムは、円錐ミラーを用いており、通常、カメラの上部に取り付けられ、“エマルジョン型”、あるいは“光電型”であり、静止画または動画を撮影する。米国特許第3505465号は、完全360°パノラマ2D画像を実現するこのタイプの装置を開示しており、例えばタンクコマンダーに使われる。図1に示すように、円錐ミラー1の反射面2は、垂直軸に対して軸対称であり、双曲線を回転したときの表面の形をしている。ミラー1はビデオカメラ3の上部に取り付けられることで、ミラー1の対称軸とカメラ3の光学軸とは一致している。
カメラ3による撮像画像が、例えば、後述するように座標変換による処理を施されることで、例えばタンク廻りの360°2Dパノラマ画像を得ている。しかしながら、そのような装置では2D画像しか得ることができない。
「Applied Optics, Vol 36, No 31, 1 November 1997, pages 8275-8285, J.S. Chahl et al, “Reflective Surfaces for Panoramic Imaging(パノラマ・イメージングの反射面)”」は、ミラーがカメラの上部に取り付けられた他の2D装置を開示している。このミラーは垂直軸に対して環状対称であり、該垂直軸上に窪みを有している。これにより、ミラー下部の視野が不明瞭になるというカメラに起因する影響が軽減される。
欧州特許公開公報第0989436号は、他の複数のカメラと協同する、切子面ミラーを含むパノラマ3Dカメラを開示している。図2に示すように、切子面ミラー1はピラミッドの形状をしており、その基礎部は、所望の側面数を有する左右対称な多角形である。カメラ群3は、各切子面に対して、カメラ群3のうちの少なくとも二つが一つの方向から同一の画像を撮像しており、その方向は協同する切子面の向きによって定まる。そして、完全パノラマ3D画像は、個々の画像を合成することにより成形される。しかしながら、カメラ群3を備えた前記装置は、上述のように、整合、同期化および配列について、困難であり、かつ問題を有する。また、比較的大型で非対称のミラー1は、大きく、かつ比較的高価である。
特開平11−095344号公報は、欧州特許公開公報第0989436号に類似した装置を開示しているが、その装置は以下の点で異なっている。つまり、1台のカメラがそれぞれの切子面を向いており、協同するカメラが切子面によって定まる方向から若干異なる画像を撮像できるように、各切子面は分割され角度付けされている。
また、特開平11−095344号公報は、図3(a)および図3(b)に示す装置を開示している。この装置は1台のカメラ3を備え、そのカメラ3はミラーの対称軸に沿って上方を向いている。そのミラーは、二つの異なる円錐部3a,3bを有する。当該円錐部は同一のタイプであり、例えば双曲線状であるが、サイズと形状が異なるとともに、垂直方向に間隔をおいており、光学機構を有さない部材4によって連結している。そのようにして、カメラ3は、円錐部3a,3bから映された画像を二つの環状領域として合成画像を撮像する。
二つの円錐部ミラー3a,3bの焦点は間隔をおいて離れている。これにより、3Dパノラマ画像を展開する立体基準線がもたらされる。しかしながら、上記ミラーは水平方向ではなく垂直方向に離れているため、分かれた画像の視差は垂直方向に生じ、直接的に水平方向の立体的画像をもたらす水平基準線を得ることができない。この問題点を修正し、かつ水平視差を伴う立体画像を得るためには、特徴の整合を含む付加的な処理をしなければならない。そういった処理は信頼性が乏しく、最終画像において、画像データが存在しない暗部領域を残すことになる。また、撮像画像のサイズと解像度がそれぞれ異なっていることから、解像度または画質の低下を伴うことなく同時に処理するのは困難である。
国際特許公開公報W03/054625は、図4(a)ないし図4(c)に示す3Dカメラ装置を開示する。この装置は、図6に示す型式の3台の反射屈折式カメラ3a・3b・3cを用いる。当該カメラは、正三角形の頂部にそれぞれ配設され、カメラの位置によって限定される5a,5b,5cで示される画像撮影のための有効視野を有する。この型式のシステムは、Barton et al, Proc SPIE vol.3835, “Three-dimensional imaging, optical metrology, and inspection(三次元イメージング、光学測定、および検査) V”, 1999, p.84-92においても開示されている。しかしながら、この装置には3台のカメラが必要であり、前述のように、光学システムの整合、同期化、および配列に問題があり、また、セットアップが難しい。
Peleg et al, IEEE Transactions on Patent Analysis and Machine Intelligence, vol.23 no.3, March 2001, p.279-90 ISSN: 0162-8828では、図5に示すように、パノラマ立体画像を撮像する別の技術を開示している。この論文は、主として回転パノラマカメラとそのシミュレーションを用いることに関するものである。開示技術の一つは、右目の環状射影P1を捉えるらせん状ミラー1aと、左目の環状射影P2を捉えるらせん状ミラー1bとを用い、1台のカメラによって広視野の立体合成画像を撮像している。しかしながら、そのようなミラー装置は製造が困難であり、シングルショットで完全360°パノラマ画像を得ることは不可能である。
本発明の第1の見地は、単一の光学機器用のパノラマ式三次元アダプタであって、非環状の曲面を有する円錐形状部を対称軸について回転することにより形成された形状の少なくとも一部である形状を有する反射面をそれぞれ備えるとともに、前記パノラマ式三次元アダプタの長軸と垂直方向に間隔おき、当該長軸の回りに角度をもって間隔をおいた第1の焦点をそれぞれ有する複数のミラーを含んでいるパノラマ式三次元アダプタを規定している。
また、発明の第2の見地は、単一の光学機器用のパノラマ式三次元アダプタであって、非環状の曲面を有する円錐形状部を対称軸について回転することにより形成された形状の少なくとも一部である形状を有する反射面をそれぞれ備えるとともに、前記パノラマ式三次元アダプタの長軸と垂直方向に間隔おき、当該長軸の周りに角度をもって間隔をおいた第1の焦点をそれぞれ有する複数のミラーを含んでおり、当該ミラーの対称軸が非同軸であるパノラマ式三次元アダプタを規定している。
また、発明の第3の見地は、単一の光学機器用のパノラマ式三次元アダプタであって、前記パノラマ式三次元アダプタは、前記光学機器とともに用いられる状態で当該光学機器の光学長軸と同軸の長軸を有する一方、非環状の曲面を有する円錐形状部を対称軸について回転することにより形成された形状の少なくとも一部である形状を有する反射面をそれぞれ備えるとともに、アダプタの長軸と垂直方向に間隔おき、当該長軸の周りに角度をもって間隔をおいた第1の焦点をそれぞれ有する複数のミラーを含んでおり、前記各ミラーが、前記光学機器とともに用いられるときに当該光学機器の視界にあり、かつ非ゼロ体積の三次元領域にある各点から伸び、前記第1の焦点のそれぞれを通過するとともに、前記第1の焦点に対応する前記ミラーの反射面のそれぞれ最初に交わる少なくとも2つの直線が存在するパノラマ式三次元アダプタを規定している。
前記反射面はほぼ同じ形状を有していてもよい。
前記反射面はほぼ同じサイズを有していてもよい。
前記第1の焦点は、前記長軸に対して垂直に伸びた共通の平面に配置されていてもよい。
前記第1の焦点は、前記長軸からほぼ同距離をおいて配置されていてもよい。
前記第1の焦点は、前記長軸の回りにほぼ等しい角度をもって間隔をおいていてもよい。
前記対称軸は、前記長軸に向かって対称に収束してもよい。前記対称軸は、共通点でほぼ前記長軸と交わっていてもよい。前記共通点は、パノラマ式三次元アダプタが前記光学機器に搭載された状態で、前記光学機器のレンズの前側主点とほぼ一致するように設けられていてもよい。あるいは、前記各ミラーは、凸状のほぼ双曲線形状の反射面を有していてもよい。前記反射面は、前記共通点にほぼ第2焦点を有していてもよい。前記各ミラーは、凸状のほぼ楕円形状の反射面を有していてもよい。前記反射面は、前記共通点にほぼ第2の焦点を有していてもよい。
前記対称軸は、前記長軸とほぼ平行であってもよい。前記各ミラーは、凸状のほぼ放物線状の反射面を有していてもよい。
前記ミラーの背後に実質的な非反射シールドを含んでいてもよい。
前記各ミラーはエッジを有しており、当該エッジは、当該エッジにおける前記長軸から最も離れた一点の前記反射面の頂点から、当該エッジにおける少なくとも他の一点よりもさらに伸びていてもよい。各ミラーの前記エッジは、前記対称軸に対して非垂直である平面内にあってもよい。
前記各ミラーは、1つのミラーとまたは他のミラーのそれぞれと間隔をおいていてもよい。前記各ミラーは、そのエッジにおけるミラー半径にほぼ等しい距離だけ1つのミラーとまたはそれぞれ隣接するミラーと間隔をおいていてもよい。
前記パノラマ式三次元アダプタは3つのミラーを含んでいてもよい。
前記パノラマ式三次元アダプタは4つのミラーを含んでいてもよい。
前記パノラマ式三次元アダプタは、当該アダプタを前記光学機器に搭載し、前記長軸に沿って伸びるロッドによって前記ミラーに接続されるマウントを含んでいてもよい。前記マウントは、前記ロッドの端から放射する複数のスポークを含んでいてもよい。前記スポークの総数は前記ミラーの総数に等しくてもよい。第1の焦点および前記長軸を含む各平面が前記スポークの隣接する対の間の角度をほぼ二等分してもよい。
前記パノラマ式三次元アダプタは、当該アダプタを前記光学機器に搭載し、前記ミラーを収容するほぼ透明のシリンダによって前記ミラーに接続されるマウントを含んでいてもよい。当該アダプタは、各ミラーから前記対称軸に沿って伸びるほぼ非反射のスポークを含んでいてもよい。
各反射面の使用しない部分はほぼ非反射であってもよい。
本発明の第4の見地は、本発明の前記第1ないし第3ののけ見地のいずれかにしたがったパノラマ式三次元アダプタと単一の光学機器との組み合わせを規定する。
前記パノラマ式三次元アダプタは前記光学機器の一部を形成してもよい。
前記光学機器がカメラを含んでいてもよい。前記カメラが単レンズシステムを含んでいてもよい。前記カメラが単一の感光面を含んでいてもよい。
前記組み合わせは、前記感光面における画像の座標変換を前記対称軸と一致しない三次元の座標フレームに対して行うプロセッサを含んでいてもよい。前記組み合わせは、前記座標フレームは球形の座標フレームであってもよい。前記座標フレームは前記対称軸の平均であってもよい。
前記光学機器はプロジェクタを含んでいてもよい。
前記プロジェクタは左右の画像のアナグリフエンコードを行うように構成されていてもよい。
これにより、パノラマ立体画像または連続画像を撮影または投影することができる装置を提供することができる。多くの実施例では、完全360°水平パノラマが撮影または投影される。そのような構成は、「シングルショット」式のものであり、光学的整合または感応的整合を必要としないように、単一のレンズまたは光学システムとシングルセンサ、エマルジョンフィルムフレーム、または画像生成システムのみを必要とする。例えば、背景が動く静止画像が画質の低下なく撮影されるように、完全360°パノラマで同時に対応する画像が撮影される。カメラが有するこの特徴は、静止画の記録およびビデオの記録に適している。
実質的に同じサイズおよび解像度の対応する画像が撮影される。システムが水平パノラマ画像を撮影するために用いられる場面では、当該システムは、潜在的に不確実な特徴の整合または類似する処理を必要とすることのないように、水平の視差のみが存在するようなものである。その代わりに、グローバル「アンラッピング方程式」が用いられ、これらは、より簡単な「ハードワイアード」であり、かつより「ビデオシーン」に適用できる。グローバルアンラッピング方程式は、映像における距離または被写体のサイズに依存せず、また、円錐ミラーを用いた結果である単一の視点の状態のために用いてもよい。したがって、被写体の認識が必要とならないように、アンラッピングに依存しない被写体を必要としない。
例えば、高解像度デジタルカメラまたはカムコーダーのような感光剤フィルムまたは光電センサーを用いて静止画像または動画像をキャプチャするための標準的なカメラとともに用いられるような比較的単純なアダプタを提供することができる。また、類似するかまたは同じアダプタがパノラマ式ディスプレイを提供するために立体画像を投影するプロジェクタとともに用いられてもよい。しかしながら、「アダプタ」は、パノラマ3D立体画像をキャプチャまたは表示するための特にカメラまたはプロジェクタに不可欠な部分を形成する。例えば、回転する機械上で容易に作製できるように、上記の全てのミラーが全く同じであり、かつ環状に対称であるので、ミラーを比較的容易に製造できる。
図6は、シンプルで周知の反射屈折式カメラにおけるアンラッピング方程式の導出方法を示している。前記カメラは凸状の双曲ミラー1を備え、従来の標準的なカメラ3を含む2Dパノラマカメラに供される。そのような装置は、例えば、“Panoramic Vision, Sensors, Theory and Applications”, Ed. Benosman and Kang, Springer, 2001に開示されている。
上記装置は、軸9に対して軸対称な凸状の双曲ミラー1を備える。双曲ミラー1は、第1の焦点が10の位置にある。双曲ミラー1は、レンズ口径12と電荷結合素子(CCD)センサ13とを備えるカメラ3の上部に設けられている。双曲ミラー1の第2の焦点は、レンズ口径12の主点11に位置する。このようにして、カメラ3は、カメラ軸の周囲360°に広がる双曲ミラー1の鏡映を「視る」ことになる。そして、そのカメラ軸は対称軸9と一致し、双曲ミラー1の設計に依存する垂直領域を有している。
一方の焦点に入射した光線は他の焦点に反射されるという特性から、ミラーは二つの焦点を有する円錐状でなくてはならない(うち一つの焦点は放物面に対して無限遠に位置する)。双曲状の場合、遠焦点はレンズの前方結節点(主点)11と一致する。こうして、カメラセンサ13に映る画像は、ある一つの点、すなわち双曲ミラー1の第1の焦点10から取ってきたように現れる。この場合、画像内には立体基準線がないので、映像に関係なく単に幾何変換が施される。これにより、最終的なパノラマ画像において、カメラから異なる距離にある全ての被写体に対して、幾何画像が正確に再合成される。これは、単一視点調節として知られている。
このシステムでは、非環状の曲面を有するあらゆる円錐ミラーを用いることができる。凸状の双曲ミラーも使用できるが、この場合は主点が無限遠であるテレセントリックレンズが必要となる。また、凹状の楕円ミラーを用いることもできるが、当該楕円ミラーは垂直領域に限界があるため、下方投射の用途がより適している。しかしながら、環状のミラーは適切ではない。
レンズの焦点と双曲ミラーの遠焦点11とが原点において一致し、Z軸がシステムの対称軸となる座標系において、双曲ミラーは以下の表面方程式を満たす。
(C/2−Z)/a−R/b=1 式(1)
ここで、Cは焦点間の距離を表し、Rは動径座標を表し、aとbは以下の式によって与えられる。
=C(K−2)/4K , b=C/2K 式(2)
ここで、Kは修正円錐係数であり、双曲体の形状を規定する(K>2)。
したがって、CCDセンサ上の軸からある点までの距離は、tan(φ)に比例し、かつ現実の被写体の仰角θに関係する、というようにアンラッピング方程式を単純に表現できる。
tan(φ)=(K-1-sec(θ)√(K(K -2)))/(cos(θ)−K (K−2)tan(θ)) 式(3)
この式から正確な2Dパノラマが成形される。
図7(a)および図7(b)は、3Dパノラマ画像を撮像する装置を示しており、1台のカメラ3を用いて完全360°立体画像を実現している。この装置は、専用3Dパノラマカメラ、あるいは従来のカメラが3Dパノラマ画像を撮像できるようになるアダプタを有する。この装置が3台の双曲ミラー1a,1b,1cをカメラ3の垂直上方に配置した様子が図示されている。しかしながら、双曲ミラー1a,1b,1cを所望の他の方向に配置することもできる。例えば、カメラ3を双曲ミラー1a,1b,1cの上方に配置し、あるいは、この装置を光学軸が水平方向であるカメラとともに配置することもできる。
双曲ミラー1a,1b,1cはそれぞれ対称軸15a,15b,15cに対して軸対称であり、それらの軸は同軸ではない。その双曲体の軸はカメラ3のレンズ12の一点に集まる。双曲ミラー1a,1b,1cは同一の形状およびサイズであり、16で示すように、互いに接触するように配置されている。このように、ミラーは、それぞれ正三角形の頂部に効果的に配置されている。第1の焦点は、アダプタの長軸17から等角に同一の距離を保って位置している。軸17は、カメラ3のレンズ12の光学軸と一致または同軸である。対称軸15a,15b,15cはカメラレンズ12の一点に向かって集まり、カメラレンズ12の主点において、アダプタの長軸17と交差する。双曲ミラー1a,1b,1cの第1の焦点は、長軸17に対して垂直な平面内に位置している。
カメラ3はどのような型式のものでもよく、例えば、単一画像、静止画像、または連続する動画やビデオ画像を撮像するものである。図6ではCCDセンサ13を用いて説明しているが、それぞれの画像を撮像できるものであればどのような感光素子でもよい。例えば、従来の感光性乳化フィルムまたは他の種類のセンサを使ってもよい。カメラ3は、例えばデジタルカメラ、カムコーダ、あるいは従来のタイプでよく、双曲ミラー1a,1b,1cを有するアダプタが、それぞれの画像、または撮像した連続画像の各画像における「シングルショット」から立体3Dパノラマ画像を撮像できるものであればよい。このように、カメラ3は一つのレンズ(または他の光学装置)と一つの感光面とを有し、3Dパノラマ用のすべての画像データがこのようなカメラシステムによって同時に撮像される。
双曲ミラー1a,1b,1cはそれぞれ単一視点調節されており、カメラセンサが撮像した三つの画像は、三つの差と視点から撮像されたものである。各ミラーは240°の角度領域18を有し、その中には他のミラーの鏡映は含まれない。従って、三つの画像はカットされ、二つ(2×360°=3×240°)の相同する3D360°画像となる。これは、撮影ポイントは離れているものの、ミラーの焦点距離によって定まる基準線が一つであることによる。この結果、同時に見える水平視差のみを含んだ3D画像を得ることができる。
双曲ミラー1a,1b,1cは、カメラ3に対してそれぞれ異なる角度で傾いており、各ミラーの鏡映は別々に処理しなければならない。したがって、軸対称座標系が異なる場合の座標変換には球面三角法が必要となる。変換計算は良く知られており、すべての鏡映に対して共通しており、非現実的な整合に依拠することはない。
図8は、変換計算に係る幾何学的配置を示す。線分の定義は以下の通りである。
線分WCは、最終画像が生成される軸であり、センサに対して垂直である。
線分W’C’は線分WCと平行であり、ミラーの第1の焦点を通る。
点Mは、ある被写体からの任意の光線とミラーとの交点であり、その光線の延長線はミラーの第1の焦点を通る。
点Fは、双曲ミラーの焦点である。
点Oは、ゼロ方位角を定義する任意の方向である。
点Pは、光線とセンサとの交点である。
点Iは、センサに映るミラー画像の中心点である。
点Eは、ミラー画像の頂部である。
点Aおよび点Bは、それぞれ線分FIおよび線分MP上の任意の点であり、線分ABは線分FIに対して垂直である。
線分MPは、センサに対する光線の方向を示す。
線分FIはミラーの対称軸であり、画像環の中心である。
点Lはレンズの主点であり、かつ線分WC、線分FI、および線分MP上にある。
点O’は準任意点であり、点A、点Fおよび点Oと同一平面上にある。
線分ABおよび線分O’Aは、両者ともに線分FIに対して垂直である。
点M’からの方向付けは、線分M’Fが線分W’C’に対して垂直であり、点M’は点W’,点C’および点Mと同一平面状にある。
線分MFと線分FOは、両者ともに線分W’C’に対して垂直である。
記号の定義は以下の通りである。
角WLF、角LFC’、および角ILCは、取付角δである。
角OFMはθ’である。
角LFMはθである。
角C’FMは外部θ’である。
角BAO’はφである。
角MLFと角ILPはφである。
角CLPはχである。
IP間の距離は長さΗである。
IE間の距離は長さΗである。
角CIPはχAである。
仮に、点Mがミラーの端部にあり、かつ点Oと同一平面状にある場合、点Pは点Eと同一であり、角MLFは最大角φとなる。
写真を撮影すると、画像中のある特定の被写体のピクセル位置を、現実の座標系に適合している画像へと変換する必要がある。換言すると、半径Η、方位角χAによって定義される撮像画像の環領域内におけるある点の画像座標と、球面垂直角θ’と方位角θA’とによって定義される現実の座標とを関係付けしようとしている。
上記の関係付けは、出力画像を現実の座標(θ’,θA’)で定義し、そして画像環内のピクセルをピクセル座標(R,χA)に対応するように、後戻りして計算することによって行われる。
この関係付けは、式(3)と式(4)とによって算出される。
cos(θ)= cos(θ’) cos(δ)-sin(θ’)sin(δ)con(θA’)
cos(φA)=(cos(θ’)- cos(θ) cos(δ))/(sin(θ)sin(δ))
cos(χ)= cos(φ) cos(δ)-sin(φ)sin(δ)con(φA) 式(4)
Η=√(1+( cos(δ)sec(χ))2-2 cos(δ)sec(χ)cos(φ))
Η= cos(δ)tan(δ+Φ)-sin(δ)
R=RΗ/Η
cos(χA)=(Η2+sin2(δ)-cos2(δ)tan2(χ))/2Ηsin(δ)
ここで、Rはピクセル内の画像円周の半径を表す。これが、240°のセグメントにわたって、三つの画像円周に対してそれぞれ行われる。
3D画像を作成するために、図9に示すように、アンラップされた240°セグメントはそれぞれ縦方向に「切断」される。残りの左側120°画像が組み合わされ、一つの360°相同画像が合成される。同様に、三つの右側120°画像が組み合わされ、一つの360立体パノラマ画像が合成される。三つの「左側」画像セグメントが360°左側画像を作成するために結合される。三つの「右側」画像セグメントが360°左側画像を作成するために結合される。
図7(a)および図7(b)に示す実施の形態において、概して、長軸の一方の側の垂直面において135°まで角度領域を確保できる。図7(a)に示す方向において、実質的に真下から水平平面の45°上側まで角度領域を拡張することができる。
暗部または実質的な非反射遮蔽部20が双曲ミラー1a,1b,1cの背後に取り付けられており、背景光がカメラレンズ3に入射するのを防いでいる。遮蔽部20によって、ミラーの後ろ側からの光が自動露出装置を備えたカメラの露出設定が不正確になるのを防ぐ。例えば、図7(a)に示すように向けられたカメラは、遮蔽部20が天井や壁の上の方の建物の照明を遮蔽し、カメラの露出設定が望ましくない影響が受けるのを回避する。
図10(a)に示すように、カメラセンサ上の環状画像から現実のパノラマへの数学的マッピングは正確には整合しない。矩形状の画像に開くのに理想的なミラー映像は21によって示される。ミラー状の通常のデータは22によって示される。この不一致は、長軸17に対して対称軸15a,15b,15cが傾いていることに起因する。これは「アーチファクト・リーク量(artefact leakage)」23として参照されており、各画像セグメントのコーナー付近に暗部領域が生じる結果をもたらす。
図10(b)に示すように、投射された立体基準線は、方位角が異なるとその長さが変化する。極端な例を25で説明すると、その基準線はミラー半径の2倍あり、26で示す方向においては、基準線はミラー半径と同一になるまで縮小している。このように、最大基準線長さの50%の変位が起こる。
用途によっては、これらの影響はさして重要ではなく、容認できない視覚上の結果は発生しない。しかしながら、これらの影響を抑制することにより、得られる画質が実際に改善される。そして、上記の両方、あるいは一方の影響を以下のように軽減することができる。
図10(a)のアーチファクト・リーク量を軽減または削減する方法として、実際の角度範囲を制限するか、またはミラーの断面像を変えることにより、センサ上のミラーの画像が、矩形の実際の角度範囲からのマッピングに一致する。後述する技術(オリジナルのミラー像)が図11(a)に示されており、前述のように、図11(a)の左側図面の状態が図11(a)の右側図に示すように変化している。特に、1aなどで示される各ミラーの反射面が修正されており、それにより、ミラーは、ミラー1aの対称軸と垂直に交差しない平面によって規定される端部30において末端となる。これにより、点31は、対称軸の方向にミラー頂部32から、例えば点33,34よりさらに遠くに伸びる。最終的なデータは、図11(a)の21に示されるように、より現実のデータに合致する。ミラーの端部30は、アーチファクト・リーク量による影響を軽減するために、さらに変更することができる。
図11(b)は、新しいデザインのミラー1a,1b,1cが非接触で分離することによる効果を表す図である。これによって視野が拡大する。ここで例示された図においては、近接するミラー間は、実質的にミラー半径と同じ距離だけ離れており、各カメラからの現実の視野は261°となる。だが、実際に必要な角は240°である。このように配置することで、アーチファクト・リーク量を軽減することができる。
図12(a)および図12(b)は、アダプタと四つのミラー1a〜1dを有するカメラが正方形の形状に配置された状態を示す。この並べ方において、それぞれのミラーは210°の視野をもたらすが、必要であるのは180°である。したがって180°以上のアーチファクト・リーク量の重なり合った領域では同リーク量は発生しない。要求される視野角のそれぞれの縁は、ミラーの中心間を結ぶ線分に対して45°の位置にあり、三台のミラーを用いた図11(b)の30°に対をなす。ミラー中心間の立体基準線はミラー半径の2倍である。視野領域の縁部における立体基準線は半径の√2倍である。このように、立体基準線の変位は50%から最大29%にまで減少している。アーチファクト・リーク量および立体基準線の変化の両方の削減が達成できる。
四台以上のカメラを用いることもできるが、所定の空間分解能のカメラに対してミラーの数を増やすと、各画像の空間分解能は低下する。
三台またはそれ以上のミラーを用いることにより、完全360°立体パノラマ映像を撮像することができる。しかしながら、水平面上においてより狭い視野角でも十分な場合、図13に示すように二台のカメラが使われる。このように並べることで、前後方120°の範囲で完全な立体映像を撮影することができる。そして、この範囲において3D映像を合成することができる。側面の60°角範囲においては2D映像を撮像することができ、水平平面において、完全な360°角範囲において2D画像を視ることができる。3D画像に制限が加わってもよい用途においては、安価なカメラを利用することができる。例えば、警備向けに用いる場合、二台のミラーによって撮像されるパノラマ画像のみを必要とする前後方の3D角範囲のものを、壁のコーナーから、あるいは廊下に沿って画像を対象範囲とすればよい。
図14(a)〜図14(d)は、カメラレンズ3の上部にミラー1a,1b,1cをマウントする構成を示す。これらの構成においては、それぞれマウント40を利用している。マウント40は、アダプタがカメラ3のレンズの上の正しい位置・向きに取り付けられるのであれば、どのようなタイプでもよい。
図14(a)に示す構成において、マウント40は図14(d)の41などのスポークに固定または一体化される。このスポーク41は、放射状に伸びており、中央支柱またはロッド42の端部に固定または一体化されている。ロッド42は、アダプタの長軸に沿って、ミラー1a,1b,1cの間を通って伸びており、もう一方の端部はミラーマウント部43に固定されるかまたは一体化されている。
一般的に、スポーク41およびミラー1a,1bの数は同一であり、各ミラーの第1の焦点を含む平面と長軸は、隣接するスポーク間の角度を二等分する。
図14(b)は他のマウント構成を示すが、マウント40が、実質的に透明なシリンダ45によってミラーマウント部43に固定されている。このような構成によって、ミラー表面が保護される。しかしながら、シリンダ45からの内部反射によって、撮像画像にゴーストが現れる。その様子が入射光路46によって示され、かつH Ishiguro, “Development of low-costs compact omnidirectional vision sensors”, complied in “Panoramic Vision”, Springer Verlag, 2001, ISBN 0387951113に開示されている。そのようなゴーストは、図14(c)に示す黒色の、あるいは非反射性のスパイク状部46a,46b,46cによって低減または除去することができる。これらのスパイス状部は、ミラーの対称軸に沿って伸びており、レンズ3の主点に向かって一点に集まっていくが、主点まで延びる必要はない。
好ましくない反射の影響を抑えるため、画像を合成するために有効に利用されていないミラーの一部が非反射性であってよく、例えば光沢がない黒色に着色してもよい。例えば、図15は、図7(a)および図7(b)で示す実施の形態に係る三つのミラーにおいて、適切な領域50a,50b,50cを黒くした例である。このケースにおいては、アダプタの長軸に面するミラーの120°領域は実質的に非反射性になっている。これにより、処理ソフトウェアが撮像画像を処理するうえで、点O,点Rを認識することによりセンサ上に形成された「環状」画像の中心点、旋回半径をより容易に割り出すことができ、それにより画像処理が円滑に進む。
図16(a)および図16(b)は、ミラー1a,1b,1cが凹状楕円体の反射表面を有する点で図7(a)および図7(b)と相違するアダプタとカメラの図である。楕円体の軸15a,15b,15cはカメラ3のレンズ12の一点に集まってくる。
この場合の式は以下のように表される。
(C/2-Z)/u+R/v=1
u=C(2K’+1)/4 v=CK’/2
tan(φ)=K’/((K’+1)cot(θ)+ cosec(θ)√(2K’+1))
ここで、K’は異なる修正円錐係数であり、楕円体の形状を規定する(K’>0)。式(4)は、傾斜角の関係を規定する。
図17(a)および図17(b)は、凸状放物ミラーが用いられる他の実施の形態を示す。これらのミラーには第1の焦点があるものの、第2の焦点は無限遠に存在する。この場合、ミラーの対称軸は、互いに(ただし同軸ではない)、かつアダプタの長軸17に対して平行である。この場合、カメラ3にテレセントリックレンズの使用が必要である。それは、図17(a)に12aで示すような大型のテレセントリックレンズか、または図17(b)に12bで示すような特注のテレセントリックレンズにより三つの放物ミラーを一体化したものとなる。
上述のアダプタとプロジェクタとを用いることにより、図18に示す例のように、3Dパノラマ投射システムを実現できる。このシステムは、正確に修正画像を投射する従来タイプのプロジェクタ55を備える。例えば、上記プロジェクタは部屋の床の内部、あるいは床下に、垂直上向きに設置されている。プロジェクタとして好適な例は、カラーホイールを備えたDMD(digital micromirror device)を有するタイプである。
上記プロジェクタは投射レンズ56を有し、投射レンズ56は光を上方に向け、例えば部屋の天井に配設された双曲ミラー57に投射する。双曲ミラー57は、部屋にいる観察者が視ることができるように、光を360°スクリーンまたは壁58に反射する。このシステムにより、スクリーンや壁58に立体パノラマ映像を映し、適切なタイプのメガネなどの視聴補助を用いて観察者が視ることができる。正確な映像を視聴するために、プロジェクタ55内部のDMD、あるいは他の特別な光変調機等に提供される画像が、上述したカメラやアダプタによって記録されたのと同様な成形を受ける。
投射画像が立体的に視えるように、右側および左側画像はエンコードされ、視聴者が用いる視聴補助が画像を正しくデコードし、右目および左目画像が、各視聴者のそれぞれ右目・左目にだけ視えるようになる。例えば、図19(a)に示すように、右側・左側画像は、アナグリフプロジェクタにのみ供される赤・シアン要素を含む。視聴補助は、視聴者の右目には赤色光のみ、左目にはシアン光のみを透過する色フィルタを備えたメガネを含む。
右側および左側画像のエンコードは偏光によるものでもよく、右側および左側画像が直交偏光され、視聴補助は偏光検出子を有する。投射スクリーン58は偏光保護型にする必要がある。図19(b)はその装置であり、必要であれば偏光板60(あるいは色感応性偏光板)と、投射レンズ56に付随するパターンリターダ61とを有する。パターンリターダ61は、画像の偏光されていない箇所をすべて透過し、他の画像の偏光した箇所を直交偏光に変換する。
好適な同期シャッターガラスとともに右側および左側画像を符号化する時系列エンコーダが使用される。その一例が液晶技術によって具体化される。この技術と偏光エンコーダを組み合わせた装置が図19(c)に示される。右側および左側画像が時系列に投射され、切替可能リターダ65が直交偏光により右側および左側画像をエンコードするのと同期して切り替えられる。
図20は、ミラーを具象化した最初の方法を模式的に表している。この方法では、ミラー1a,1b,1cは互いに離れて製造または形成されており、図示しない好適な台に固定されている。ミラー1a,1b,1cは、ミラーの対称軸15a,15b,15cが一点に集まるような方向を向いており、その点はカメラレンズ12の主点と合致する。
図21は、ミラーの他の構造を示す。この取付方法では、ミラー1a,1b,1cは一つの材料から切り取られており、ミラーは土台1dと一体化している。ミラーは、アダプタがカメラの上にマウントされている場合、ミラーの対称軸がカメラレンズ12の主点と交差するように形成されている。
上述した実施の形態において、それぞれの実施の形態におけるミラーは同一の形状とサイズであった。しかしながら、アダプタが三つ以上のミラーを備える場合、それは必須の条件ではない。例えば、図22は、ミラー1a,1bはサイズは大きいが、互いに形状とサイズが同一であり、ミラー1cは、ミラー1a,1bと形状は同じだが小さいサイズの場合を表す。この装置は、ある方向における画像の解像度が優れ、他の方向における画像の解像度が低くなるような場合に使われる。二つの大きなミラー1a,1bと、一つの小さなミラー1cを備えた図22に示す実施の形態において、視野角70における画像の空間分解能は、同じサイズの三つのミラーを備えたアダプタに比べて高くなる。視野角70の外側の領域においては、空間分解能は同じサイズの三つのミラーを備えたアダプタに比べて低くなる。この装置は、例えば、特定の方向・角度を監視しつつ、他の方向の監視も行うような場合に使われる。
パノラマ3次元アダプタとして性能を発揮するためには、そのようなアダプタは構造面において様々な仕様を満足しなければならない。その仕様は種々に規定されるが、図23は一つの規定を示すものである。アダプタは長軸17を有する。長軸17は、アダプタが本装置とともに用いられたならば、装置の光軸と一致する。例示した図面において、本装置は光学画像機構3を有しており、図23はアダプタが本装置に搭載された状態を表すが、このときアダプタの長軸17と光学画像機構3の長軸とは一致する。
図23には二つのミラー1a,1bが示されているが、さらに別のミラーが存在することもある。ミラーは装置の視野領域に取り付けられている。ミラーは、第1の焦点71a,71bを有し、それらは長軸17の回りに位置しており、通常は長軸17に対して垂直な平面72に位置している。ミラー1a,1bはそのように配置しているため、3D空間内の三次元領域73は、3D領域において連続点を有しているので、点74のような点が領域73に存在する。点74から焦点71a,71bを通る少なくとも二つの直線75,76があり、直線75,76は点77,78において初めてミラー表面と交差する。そして、点77,78は、直線75,76が通過する焦点と連関している。図23に示すように、ミラー1a,1bは凸状であり、最初の交点である点77,78は点74と焦点71a,71bの間に位置する。凸状ミラーのケースでは、例えば図16(a)および図16(b)に示すように、焦点は、領域73における点とミラー表面の最初の交点の間に位置する。
これらの条件を充足した場合に、アダプタは三次元パノラマアダプタとして機能する。必ずしも領域73は長軸17の周囲至る所にある必要はない。例えば、図13で示した二つのミラーによる実施の形態において、被写体のパノラマ三次元映像が得られる二つの有効な領域があるはずである。上述した他の実施の形態において、領域73は、長軸17の周囲を360°展開している。すべての実施の形態において、上記領域、あるいは上記複数の領域は、確たる角領域によって規定され、従って無限の広がりを有する。しかしながら、広がりを持たないたった一つの領域だけでも十分であり、その領域内に存在する被写体は三次元的に視られる。
本発明の光学機器用パノラマ式三次元アダプタは、立体パノラマ式カメラまたはパノラマ式立体プロジェクションディスプレイに含まれるかまたはマウントされるかによって用いられる。
例えば、そのような構成の応用例としては、
ビデオ会議/講義(ビデオがある応用)、3D表示の応用に供するための支援(デスクトップへの3D画像取得/大画面表示、家庭におけるIMAXスタイル3Dシネマ、3D−CADの取得)、
ウェブサイト、動画ビデオなど、不動産業者、小売商のためのVRML室内/ビルの再生−博物館、店舗、市街地/ビルの写真家のシングル2D/3D「ウォークスルー」写真、
仮想環境の画像取得−VR、ゲームおよび、軍隊や民間の航空写真調査、トレーニングシミュレータのための実世界のデータ、3Dモデル復元、
自動車のアクティブ走行/パーキングコントロール、
万能3Dホームセキュリティおよび監視カメラを含む。
周知の2Dパノラマカメラの断面図である。 周知の3Dパノラマカメラの側面図である。 周知の3Dパノラマカメラの斜視図である。 図3(a)の断面図である。 他の周知の3Dパノラマカメラの平面図である。 他の周知の3Dパノラマカメラの平面図である。 他の周知の3Dパノラマカメラの平面図である。 さらに他の周知の3Dパノラマカメラの平面図である。 アンラッピング方程式の導出を示すための双曲ミラーを有する2Dパノラマカメラの公知のタイプを示す断面図である。 本発明の一実施例を構成するアダプタおよびカメラの側面図である。 上記アダプタのミラーを見下ろした状態をの図である。 図7(a)および図7(b)に示す上記カメラのアンラッピング方程式の導出を示す図である。 図7(a)および図7(b)に示す上記カメラのセンサ上の左右の画像の配置関係を示す図である。 ミラーのうちの1つのカメラセンサ上の有用データおよび漏れの領域を示す図である。 異なる方向への立体的基準線における変化を示す図である。 図10(a)に示す効果のために少なくとも部分的に補正する技術を示す図である。 非接触ミラーの他の構成を示す図である。 本発明の他の実施例を構成する他のアダプタおよびカメラの図7(a)に類似する図である。 図12(a)の上記アダプタのミラーを見下ろした状態の図である。 本発明の別の実施例を構成するアダプタのミラー構成を示す図である。 アダプタをカメラに搭載したマウント構成を示す側面図である。 アダプタをカメラに搭載した他のマウント構成を示す側面図である。 アダプタをカメラに搭載したさらに他のマウント構成を示す側面図である。 図14(a)のマウント構成を見下ろした状態を示す図である。 図7(a)および図7(b)に示すミラーの変形例を示す図である。 本発明の他の実施例を構成するアダプタおよびカメラの側面図である。 アンラッピング方程式の導出を示す図である。 本発明のさらなる実施例を構成するアダプタおよびカメラの側面図である。 本発明のさらに他の実施例を構成するアダプタおよびカメラの側面図である。 本発明のまた別の実施例を構成するアダプタおよびプロジェクタを示す図である。 図18に示すタイプの構成によるプロジェクションのための左右画像をエンコードする技術を示す図である。 上記構成によるプロジェクションのための左右画像をエンコードする他の技術を示す図である。 上記構成によるプロジェクションのための左右画像をエンコードするさらに他の技術を示す図である。 本発明のまた別の実施例を構成するアダプタにおけるミラーの可能な構成を示す図である。 本発明のさらに別の実施例を構成するアダプタにおけるミラーの構成の他の可能な構成を示す図である。 本発明のさらにまた別の実施例を構成するアダプタにおけるミラーの配列を示す図である。 本発明の可能な定義を意味する図である。

Claims (41)

  1. 単一の光学機器用のパノラマ式三次元アダプタであって、
    非環状の曲面を有する円錐形状部を対称軸について回転することにより形成された形状の少なくとも一部である形状を有する反射面をそれぞれ備えるとともに、前記パノラマ式三次元アダプタの長軸と垂直方向に間隔おき、当該長軸の回りに角度をもって間隔をおいた第1の焦点をそれぞれ有する複数のミラーを含んでいるパノラマ式三次元アダプタ。
  2. 単一の光学機器用のパノラマ式三次元アダプタであって、
    非環状の曲面を有する円錐形状部を対称軸について回転することにより形成された形状の少なくとも一部である形状を有する反射面をそれぞれ備えるとともに、前記パノラマ式三次元アダプタの長軸と垂直方向に間隔おき、当該長軸の周りに角度をもって間隔をおいた第1の焦点をそれぞれ有する複数のミラーを含んでおり、当該ミラーの対称軸が非同軸であるパノラマ式三次元アダプタ。
  3. 単一の光学機器用のパノラマ式三次元アダプタであって、
    前記パノラマ式三次元アダプタは、
    前記光学機器とともに用いられる状態で当該光学機器の光学長軸と同軸の長軸を有する一方、
    非環状の曲面を有する円錐形状部を対称軸について回転することにより形成された形状の少なくとも一部である形状を有する反射面をそれぞれ備えるとともに、アダプタの長軸と垂直方向に間隔おき、当該長軸の周りに角度をもって間隔をおいた第1の焦点をそれぞれ有する複数のミラーを含んでおり、前記各ミラーが、前記光学機器とともに用いられるときに当該光学機器の視界にあり、かつ非ゼロ体積の三次元領域にある各点から伸び、前記第1の焦点のそれぞれを通過するとともに、前記第1の焦点に対応する前記ミラーの反射面のそれぞれ最初に交わる少なくとも2つの直線が存在するパノラマ式三次元アダプタ。
  4. 前記反射面はほぼ同じ形状を有している請求項1、2または3に記載のパノラマ式三次元アダプタ。
  5. 前記反射面はほぼ同じサイズを有している請求項1に記載のパノラマ式三次元アダプタ。
  6. 前記第1の焦点は、前記長軸に対して垂直に伸びた共通の平面に配置されている請求項1、2または3に記載のパノラマ式三次元アダプタ。
  7. 前記第1の焦点は、前記長軸からほぼ同距離をおいて配置されている請求項1、2または3に記載のパノラマ式三次元アダプタ。
  8. 前記第1の焦点は、前記長軸の回りにほぼ等しい角度をもって間隔をおいている請求項1、2または3に記載のパノラマ式三次元アダプタ。
  9. 前記対称軸は、前記長軸に向かって対称に収束する請求項1、2または3に記載のパノラマ式三次元アダプタ。
  10. 前記対称軸は、共通点でほぼ前記長軸と交わっている請求項9に記載のパノラマ式三次元アダプタ。
  11. 前記共通点は、パノラマ式三次元アダプタが前記光学機器に搭載された状態で、前記光学機器のレンズの前側主点とほぼ一致するように設けられている請求項10に記載のパノラマ式三次元アダプタ。
  12. 前記各ミラーは、凸状のほぼ双曲線形状の反射面を有している請求項10に記載のパノラマ式三次元アダプタ。
  13. 前記反射面は、前記共通点にほぼ第2焦点を有している請求項12に記載のパノラマ式三次元アダプタ。
  14. 前記各ミラーは、凸状のほぼ楕円形状の反射面を有している請求項10に記載のパノラマ式三次元アダプタ。
  15. 前記反射面は、前記共通点にほぼ第2の焦点を有している請求項14に記載のパノラマ式三次元アダプタ。
  16. 前記対称軸は、前記長軸とほぼ平行である請求項1、2または3に記載のパノラマ式三次元アダプタ。
  17. 前記各ミラーは、凸状のほぼ放物線状の反射面を有している請求項16に記載のパノラマ式三次元アダプタ。
  18. 前記ミラーの背後に実質的な非反射シールドを含んでいる請求項1、2または3に記載のパノラマ式三次元アダプタ。
  19. 前記各ミラーはエッジを有しており、当該エッジは、当該エッジにおける前記長軸から最も離れた一点の前記反射面の頂点から、当該エッジにおける少なくとも他の一点よりもさらに伸びている請求項1、2または3に記載のパノラマ式三次元アダプタ。
  20. 各ミラーの前記エッジは、前記対称軸に対して非垂直である平面内にある請求項19に記載のパノラマ式三次元アダプタ。
  21. 前記各ミラーは、1つのミラーとまたは他のミラーのそれぞれと間隔をおいている請求項1、2または3に記載のパノラマ式三次元アダプタ。
  22. 前記各ミラーは、そのエッジにおけるミラー半径にほぼ等しい距離だけ1つのミラーとまたはそれぞれ隣接するミラーと間隔をおいている請求項21に記載のパノラマ式三次元アダプタ。
  23. 3つのミラーを含んでいる請求項1、2または3に記載のパノラマ式三次元アダプタ。
  24. 4つのミラーを含んでいる請求項1、2または3に記載のパノラマ式三次元アダプタ。
  25. 前記パノラマ式三次元アダプタを前記光学機器に搭載し、前記長軸に沿って伸びるロッドによって前記ミラーに接続されるマウントを含んでいる請求項1、2または3に記載のパノラマ式三次元アダプタ。
  26. 前記マウントは、前記ロッドの端から放射する複数のスポークを含んでいる請求項25に記載のパノラマ式三次元アダプタ。
  27. 前記スポークの総数は前記ミラーの総数に等しい請求項26に記載のパノラマ式三次元アダプタ。
  28. 第1の焦点および前記長軸を含む各平面が前記スポークの隣接する対の間の角度をほぼ二等分する請求項27に記載のパノラマ式三次元アダプタ。
  29. 前記パノラマ式三次元アダプタを前記光学機器に搭載し、前記ミラーを収容するほぼ透明のシリンダによって前記ミラーに接続されるマウントを含んでいる請求項1、2または3に記載のパノラマ式三次元アダプタ。
  30. 各ミラーから前記対称軸に沿って伸びるほぼ非反射のスパイク状部を含んでいる請求項29に記載のパノラマ式三次元アダプタ。
  31. 各反射面の使用しない部分はほぼ非反射である請求項1、2または3に記載のパノラマ式三次元アダプタ。
  32. 請求項1、2または3に記載のパノラマ式三次元アダプタと単一の光学機器との組み合わせ。
  33. 前記パノラマ式三次元アダプタは前記光学機器の一部を形成する請求項32に記載の組み合わせ。
  34. 前記光学機器がカメラを含んでいる請求項32に記載の組み合わせ。
  35. 前記カメラが単レンズシステムを含んでいる請求項34に記載の組み合わせ。
  36. 前記カメラが単一の感光面を含んでいる請求項34に記載の組み合わせ。
  37. 前記感光面における画像の座標変換を前記対称軸と一致しない三次元の座標フレームに対して行うプロセッサを含んでいる請求項36に記載の組み合わせ。
  38. 前記座標フレームは球形の座標フレームである請求項37に記載の組み合わせ。
  39. 前記座標フレームは前記対称軸の平均である請求項37に記載の組み合わせ。
  40. 前記光学機器はプロジェクタを含んでいる請求項32に記載の組み合わせ。
  41. 前記プロジェクタは左右の画像のアナグリフエンコードを行うように構成されている請求項40に記載の組み合わせ。
JP2007549030A 2005-04-18 2006-04-18 光学機器に用いるパノラマ式三次元アダプタおよびパノラマ式三次元アダプタと光学機器との組み合わせ Expired - Fee Related JP4620131B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB0507783A GB2425363A (en) 2005-04-18 2005-04-18 Panoramic adapter with mirrors formed by rotating conic section
PCT/JP2006/308505 WO2006112536A1 (en) 2005-04-18 2006-04-18 Panoramic three-dimensional adapter for an optical instrument and a combination of such an adapter and such an optical instrument

Publications (2)

Publication Number Publication Date
JP2008537157A true JP2008537157A (ja) 2008-09-11
JP4620131B2 JP4620131B2 (ja) 2011-01-26

Family

ID=34630843

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007549030A Expired - Fee Related JP4620131B2 (ja) 2005-04-18 2006-04-18 光学機器に用いるパノラマ式三次元アダプタおよびパノラマ式三次元アダプタと光学機器との組み合わせ

Country Status (4)

Country Link
US (1) US7837330B2 (ja)
JP (1) JP4620131B2 (ja)
GB (1) GB2425363A (ja)
WO (1) WO2006112536A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007218945A (ja) * 2006-02-14 2007-08-30 Seiko Epson Corp プロジェクションシステム
JP2010536061A (ja) * 2007-08-09 2010-11-25 ユニヴェルシテ クレルモン 1 パノラマ投影デバイス及び前記デバイスによって実施される方法
WO2011086890A1 (ja) * 2010-01-14 2011-07-21 パナソニック株式会社 鏡筒アダプタ、レンズ鏡筒および撮像装置
WO2011161973A1 (ja) * 2010-06-24 2011-12-29 パナソニック株式会社 全方位撮影システム
JP2013038775A (ja) * 2011-08-10 2013-02-21 Seiko Epson Corp 高速反射屈折式ライトフィールドレンダリングのための光線画像モデル化
US8503109B2 (en) 2009-04-06 2013-08-06 Panasonic Corporation Optical system and imaging device
KR20160046415A (ko) * 2014-10-20 2016-04-29 현대자동차주식회사 조합형 반사체
JP5951793B2 (ja) * 2012-11-07 2016-07-13 シャープ株式会社 撮像素子位置検出装置
KR20190019059A (ko) * 2016-06-20 2019-02-26 인터내셔널 인스티튜트 오브 인포메이션 테크놀로지, 하이데라바드 수평 시차 스테레오 파노라마를 캡쳐하는 시스템 및 방법
JP2021012075A (ja) * 2019-07-05 2021-02-04 株式会社日立製作所 ステレオカメラ

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4969474B2 (ja) * 2007-02-09 2012-07-04 オリンパスイメージング株式会社 復号方法、復号装置、及び復号プログラム
US8339418B1 (en) * 2007-06-25 2012-12-25 Pacific Arts Corporation Embedding a real time video into a virtual environment
US9092951B2 (en) * 2008-10-01 2015-07-28 Ncr Corporation Surveillance camera assembly for a checkout system
WO2010096729A1 (en) * 2009-02-19 2010-08-26 Reald Inc. Stereoscopic systems for anaglyph images
MY169586A (en) * 2010-01-15 2019-04-22 Mimos Berhad Vehicle parking and obstacle avoidance system using a single panoramic camera
US8743199B2 (en) * 2010-03-09 2014-06-03 Physical Optics Corporation Omnidirectional imaging optics with 360°-seamless telescopic resolution
WO2012036019A1 (ja) * 2010-09-13 2012-03-22 富士フイルム株式会社 単眼立体撮像装置、単眼立体撮像装置用シェーディング補正方法及び単眼立体撮像装置用プログラム
EP2548368B1 (en) 2010-11-29 2013-09-18 DigitalOptics Corporation Europe Limited Portrait image synthesis from multiple images captured on a handheld device
US20120154519A1 (en) * 2010-12-17 2012-06-21 Microsoft Corporation Chassis assembly for 360-degree stereoscopic video capture
US8548269B2 (en) 2010-12-17 2013-10-01 Microsoft Corporation Seamless left/right views for 360-degree stereoscopic video
US20120154518A1 (en) * 2010-12-17 2012-06-21 Microsoft Corporation System for capturing panoramic stereoscopic video
US9930225B2 (en) * 2011-02-10 2018-03-27 Villmer Llc Omni-directional camera and related viewing software
CN102243432A (zh) * 2011-06-28 2011-11-16 浙江工业大学 全景立体摄像装置
CN102289145A (zh) * 2011-06-30 2011-12-21 浙江工业大学 基于3d全景视觉的智能三维立体摄像设备
CN103108111A (zh) * 2011-11-09 2013-05-15 北京今日赛博艺术科技有限公司 快装板式全景图像、视频拍摄设备
US9250510B2 (en) * 2012-02-15 2016-02-02 City University Of Hong Kong Panoramic stereo catadioptric imaging
US20130250040A1 (en) * 2012-03-23 2013-09-26 Broadcom Corporation Capturing and Displaying Stereoscopic Panoramic Images
TW201351959A (zh) * 2012-06-13 2013-12-16 Wistron Corp 立體全景影像合成方法及其相關之立體攝影機
US9154763B2 (en) * 2012-10-11 2015-10-06 Sony Corporation System and method for reducing artifacts caused by view-dependent lighting components
CN104885440B (zh) * 2013-01-04 2017-12-08 富士胶片株式会社 图像处理装置、摄像装置及图像处理方法
US9503638B1 (en) * 2013-02-04 2016-11-22 UtopiaCompression Corporation High-resolution single-viewpoint panoramic camera and method of obtaining high-resolution panoramic images with a single viewpoint
US9986154B2 (en) * 2014-05-21 2018-05-29 Here Global B.V. Developing a panoramic image
US9888228B1 (en) * 2014-07-15 2018-02-06 Robotic Research, Llc Omni-directional stereo system
US10547825B2 (en) * 2014-09-22 2020-01-28 Samsung Electronics Company, Ltd. Transmission of three-dimensional video
US11205305B2 (en) 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
US10983312B2 (en) * 2015-03-01 2021-04-20 Arkive Corporation Panoramic stereoscopic imaging systems
US9992412B1 (en) * 2015-04-15 2018-06-05 Amazon Technologies, Inc. Camera device with verged cameras
US10023341B1 (en) * 2015-05-29 2018-07-17 Express Scripts Strategic Development, Inc. Systems and methods for spill detection
GB2544970B (en) 2015-11-27 2018-01-24 Sony Interactive Entertainment Inc Image capture apparatus
US10455214B2 (en) * 2016-03-03 2019-10-22 Disney Enterprises, Inc. Converting a monocular camera into a binocular stereo camera
WO2017219021A1 (en) * 2016-06-17 2017-12-21 Schroeder James E Apparatus and method for imaging and modeling the surface of a three-dimensional (3-d) object
CN106131534A (zh) * 2016-07-21 2016-11-16 深圳市华芯技研科技有限公司 全方位立体摄像装置及其系统和方法
CN106254738A (zh) * 2016-08-24 2016-12-21 深圳奥比中光科技有限公司 双图像采集系统及图像采集方法
CN106547165A (zh) * 2017-01-13 2017-03-29 北京全视凌云科技有限公司 一种用于全景成像的光学系统
US11049218B2 (en) 2017-08-11 2021-06-29 Samsung Electronics Company, Ltd. Seamless image stitching

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11174603A (ja) * 1997-12-13 1999-07-02 Akouru:Kk 全方位撮影装置
WO2001071423A1 (fr) * 2000-03-22 2001-09-27 Egg Solution_Optronics Sa Dispositif d'acquisition d'image panoramique
JP2001333303A (ja) * 2000-05-23 2001-11-30 Sharp Corp 全方位視覚システム
US6347010B1 (en) * 2000-10-10 2002-02-12 Chung-Shan Institute Of Science And Technology Periscope using common optical path to have stabilized panoramic view
JP2003121745A (ja) * 2001-10-19 2003-04-23 Vstone Kk 撮像装置及び凸面鏡の反射面設計方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3505465A (en) 1967-04-21 1970-04-07 Us Army Panoramic television viewing system
JP3752063B2 (ja) 1997-09-18 2006-03-08 松下電器産業株式会社 全方位ステレオ画像撮影装置
US6141145A (en) 1998-08-28 2000-10-31 Lucent Technologies Stereo panoramic viewing system
JP2002271661A (ja) * 2001-03-13 2002-09-20 Sony Corp 撮像装置
WO2003054625A1 (en) 2001-12-20 2003-07-03 Wave Group Ltd. A panoramic stereoscopic imaging method and apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11174603A (ja) * 1997-12-13 1999-07-02 Akouru:Kk 全方位撮影装置
WO2001071423A1 (fr) * 2000-03-22 2001-09-27 Egg Solution_Optronics Sa Dispositif d'acquisition d'image panoramique
JP2001333303A (ja) * 2000-05-23 2001-11-30 Sharp Corp 全方位視覚システム
US6347010B1 (en) * 2000-10-10 2002-02-12 Chung-Shan Institute Of Science And Technology Periscope using common optical path to have stabilized panoramic view
JP2003121745A (ja) * 2001-10-19 2003-04-23 Vstone Kk 撮像装置及び凸面鏡の反射面設計方法

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007218945A (ja) * 2006-02-14 2007-08-30 Seiko Epson Corp プロジェクションシステム
JP2010536061A (ja) * 2007-08-09 2010-11-25 ユニヴェルシテ クレルモン 1 パノラマ投影デバイス及び前記デバイスによって実施される方法
JP2013210663A (ja) * 2007-08-09 2013-10-10 Universite Clermont 1 パノラマ投影デバイス及び前記デバイスによって実施される方法
US8503109B2 (en) 2009-04-06 2013-08-06 Panasonic Corporation Optical system and imaging device
WO2011086890A1 (ja) * 2010-01-14 2011-07-21 パナソニック株式会社 鏡筒アダプタ、レンズ鏡筒および撮像装置
US9244258B2 (en) 2010-06-24 2016-01-26 Panasonic Corporation Omnidirectional imaging system
WO2011161973A1 (ja) * 2010-06-24 2011-12-29 パナソニック株式会社 全方位撮影システム
JPWO2011161973A1 (ja) * 2010-06-24 2013-08-19 パナソニック株式会社 全方位撮影システム
JP5728393B2 (ja) * 2010-06-24 2015-06-03 パナソニック株式会社 全方位撮影システム
JP2013038775A (ja) * 2011-08-10 2013-02-21 Seiko Epson Corp 高速反射屈折式ライトフィールドレンダリングのための光線画像モデル化
JP5951793B2 (ja) * 2012-11-07 2016-07-13 シャープ株式会社 撮像素子位置検出装置
KR20160046415A (ko) * 2014-10-20 2016-04-29 현대자동차주식회사 조합형 반사체
KR102098345B1 (ko) * 2014-10-20 2020-04-08 현대자동차주식회사 조합형 반사체
KR20190019059A (ko) * 2016-06-20 2019-02-26 인터내셔널 인스티튜트 오브 인포메이션 테크놀로지, 하이데라바드 수평 시차 스테레오 파노라마를 캡쳐하는 시스템 및 방법
JP2019525509A (ja) * 2016-06-20 2019-09-05 インターナショナル インスティテュート オブ インフォメーション テクノロジー ハイデラバード 水平視差ステレオパノラマ取込方法
KR102176963B1 (ko) * 2016-06-20 2020-11-10 인터내셔널 인스티튜트 오브 인포메이션 테크놀로지, 하이데라바드 수평 시차 스테레오 파노라마를 캡쳐하는 시스템 및 방법
JP7295641B2 (ja) 2016-06-20 2023-06-21 インターナショナル インスティテュート オブ インフォメーション テクノロジー ハイデラバード 水平視差ステレオパノラマ取込方法
JP2021012075A (ja) * 2019-07-05 2021-02-04 株式会社日立製作所 ステレオカメラ
JP7134925B2 (ja) 2019-07-05 2022-09-12 株式会社日立製作所 ステレオカメラ

Also Published As

Publication number Publication date
GB2425363A (en) 2006-10-25
GB0507783D0 (en) 2005-05-25
JP4620131B2 (ja) 2011-01-26
US20090034086A1 (en) 2009-02-05
US7837330B2 (en) 2010-11-23
WO2006112536A1 (en) 2006-10-26

Similar Documents

Publication Publication Date Title
JP4620131B2 (ja) 光学機器に用いるパノラマ式三次元アダプタおよびパノラマ式三次元アダプタと光学機器との組み合わせ
US6304285B1 (en) Method and apparatus for omnidirectional imaging
US7079173B2 (en) Displaying a wide field of view video image
Nayar Omnidirectional video camera
US20030081952A1 (en) Method and apparatus for omnidirectional three dimensional imaging
US7667730B2 (en) Composite surveillance camera system
WO2018137721A1 (zh) 一种获取全景图像的装置及其组装方法
KR20150068299A (ko) 다면 영상 생성 방법 및 시스템
US9503638B1 (en) High-resolution single-viewpoint panoramic camera and method of obtaining high-resolution panoramic images with a single viewpoint
KR102126159B1 (ko) 주사형 전방위 카메라 및 주사형 입체 전방위 카메라
WO2011134215A1 (zh) 一种立体摄像装置
ES2884323T3 (es) Sistema y método para capturar estereopanorámica de disparidad horizontal
JP2010181826A (ja) 立体画像形成装置
KR101255803B1 (ko) 단안식 입체 영상 카메라
US20230090281A1 (en) Panoramic camera system for enhanced sensing
US11137582B2 (en) Omnidirectional catadioptric lens with odd aspheric contour or multi-lens
US10887566B2 (en) Image display system
TWI679451B (zh) 反射式環繞顯示系統
CN102323713A (zh) 便携式360°环幕立体影院系统
JP6367803B2 (ja) オブジェクト空間のオブジェクト点の記述のための方法およびその実施のための結合体
Lin et al. Single-view-point omnidirectional catadioptric cone mirror imager
KR101889225B1 (ko) 입체 전방위 영상 획득 방법과 재생 방법 및 입체 전방위 카메라
JP4781537B2 (ja) カメラ・システムおよびディスプレイ装置
JP3528392B2 (ja) 擬似立体画像表示装置
JP2001320736A (ja) 全周立体カメラ

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101026

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101027

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131105

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4620131

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees