JP2022540558A - ファセット付きドームを備えたマルチカメラパノラマ画像捕捉装置 - Google Patents

ファセット付きドームを備えたマルチカメラパノラマ画像捕捉装置 Download PDF

Info

Publication number
JP2022540558A
JP2022540558A JP2021577338A JP2021577338A JP2022540558A JP 2022540558 A JP2022540558 A JP 2022540558A JP 2021577338 A JP2021577338 A JP 2021577338A JP 2021577338 A JP2021577338 A JP 2021577338A JP 2022540558 A JP2022540558 A JP 2022540558A
Authority
JP
Japan
Prior art keywords
lens
camera
image
imaging
lens element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021577338A
Other languages
English (en)
Inventor
カーツ,アンドリュー,エフ.
シスト,ユージーン
ニアジ,ザカリヤ
バウロン,ジョン
ビドウェル,トーマス
Original Assignee
サークル オプティクス,インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by サークル オプティクス,インコーポレイテッド filed Critical サークル オプティクス,インコーポレイテッド
Publication of JP2022540558A publication Critical patent/JP2022540558A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/06Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/18Optical objectives specially designed for the purposes specified below with lenses having one or more non-spherical faces, e.g. for reducing geometrical aberration
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00Systems with reflecting surfaces, with or without refracting elements
    • G02B17/08Catadioptric systems
    • G02B17/0856Catadioptric systems comprising a refractive element with a reflective surface, the reflection taking place inside the element, e.g. Mangin mirrors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/021Mountings, adjusting means, or light-tight connections, for optical elements for lenses for more than one lens
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • G03B17/12Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/282Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/51Housings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)
  • Lenses (AREA)
  • Optical Elements Other Than Lenses (AREA)

Abstract

低視差撮像装置は、複数の結像レンズ素子が配置される内部容積を画定するドームを含む。ドームは、結像レンズ素子の第1と関連付けられた第1の外側光学素子および結像レンズ素子の第2と関連付けられた第2の外側光学素子を含む。ファセットは、ドーム内の継ぎ目において第1の外側光学素子と第2の外側光学素子との間に提供される。【選択図】図8A

Description

関連出願の相互参照
本開示は、2019年6月24日に出願された、「Opto-Mechanics of Panoramic Capture Devices with Abutting Cameras」というタイトルの米国仮特許出願第62/865,741号、2019年12月23日に出願された「Opto-Mechanics of Panoramic Capture Devices with Abutting Cameras」というタイトルの米国仮特許出願第62/952,973号、2019年12月23日に出願された「Multi-camera Panoramic Image Capture Devices with a Faceted Dome」というタイトルの米国仮特許出願第62/952,983号、および2020年2月10日に出願された「Integrated Depth Sensing and Panoramic Camera System」というタイトルの米国仮特許出願第62/972,532号の優先権の利益を主張し、それら各々の全体は参照により本明細書に組み込まれる。
本開示は、複数の隣接及び当接した多角形カメラを有するパノラマ低視差マルチカメラ捕捉装置に関する。本開示は、隣接したカメラに対する最も外側のレンズ素子として機能する隣接したファセット付きレンズ素子を含む外側ドームまたはシェルを備えた装置にも関し、カメラは多角形状の視野からの入射光を捕捉して多角形状画像を形成する。
パノラマカメラは、広角画像を同時に捕捉するそれらの能力のために実質的な価値を有する。最古のかかる例は魚眼レンズであり、それは、広いパノラマ画像または半球画像を捕捉しながら、強い視覚的歪みを生み出す超広角レンズである。魚眼レンズの視野(FOV)は通常100~180度の間であるが、本アプローチは、Y.Shimizuにより米国特許3,524,697において提供されるような、220~270°の範囲を含む、さらに広い角度まで拡張されている。代替として、P.Gregussにより米国特許4,930,864において提案されたシステムなどの、環状パノラマ画像を捕捉するミラーまたは反射ベースカメラがある。これらの技術は進化し続けているが、それらが完全半球または球面画像を、最新のアプリケーションが現在探し求めている解像度および画像品質で提供することは困難である。
別の代替として、複数のカメラが球体の周囲または球体の円周に配置された、パノラママルチカメラ装置が徐々に普及している。しかし、共にJaunt Inc.のA.Van Hoffらに対する米国特許9,451,162および米国特許9,911,454に記載されているものを含む、これらのシステムのほとんどでは、複数のカメラが装置の外表面にまばらに存在している。隣接する個々のカメラ間の間隙または継ぎ目を含めて、完全な360度パノラマ画像を捕捉するために、カメラはその結果、相互にオーバーラップする拡大FOVを有する。いくつかの事例では、カメラのFOVまたは解像度の50%もがカメラ間のオーバーラップのために使用され得、それは捕捉された画像間の実質的な視差差も生み出す。視差は、物体の位置または方向が、異なる方向から見た場合に異なるように見える視覚的認知である。次いで後続の画像処理において、余分の画像オーバーラップおよび視差差は両方とも、隣接したカメラによって捕捉された画像から受け入れ可能な画像を、適切に結合、タイリング(tile)または繋ぎ合わせて、合成するための努力を複雑にして著しく遅らせる。
隣接したカメラが隣接した縁の一部または全体に沿って接するように、複数のカメラが球体の周囲または球体の円周に配置されているパノラママルチカメラ装置もある。一例として、K.Yoshikawaによる米国特許7,515,177は、多数の隣接した画像ピックアップユニット(カメラ)を備えた撮像装置を記述する。画像は、機械的誤差を補正するために、オーバーラップする視野を有するカメラから収集される。
しかし、かかるマルチカメラパノラマ装置は多目的な画像捕捉を提供し得るが、かかる装置は環境汚染または外部損傷に対して脆弱でもあり得る。これらのマルチカメラパノラマ装置は、ブラインド領域または画像オーバーラップを低減するために、隣接したカメラ間の間隙幅または継ぎ目を縮小することによっても改善できる。従って、かかる装置の性能を一般に維持または改善しながら、かかる装置を保護することは有益であり得る。
マルチカメラ装置捕捉装置の一部、および具体的には、その2つの隣接したカメラの3Dビューを示す。 レンズ素子および光線経路を含む、カメラレンズ組立体の部分を断面で示す。 レンズ素子および光線経路を含む、カメラレンズ組立体の部分を断面で示す。 マルチカメラ捕捉装置の一部の断面図を示しており、FOVのオーバーラップ、視野、オーバーラップ、継ぎ目、およびブラインド領域を示す。 マルチカメラ捕捉装置がそれに対して設計されて製造できる、正十二面体および切頂二十面体の、2つの多面体形状を示す。 切頂二十面体の幾何形状を有する装置で生じ得るような、隣接した六角形および五角形のレンズに対する視野に対する光学的幾何形状を示す。図5Bは、図5Aの拡大領域をさらに詳細に示す。 切頂二十面体の幾何形状を有する装置で生じ得るような、隣接した六角形および五角形のレンズに対する視野に対する光学的幾何形状を示す。図5Bは、図5Aの拡大領域をさらに詳細に示す。 図5Cは、近軸NP点または入射瞳および装置中心の両方の近くに配置された低視差(LP)量の例を示す。 2つの隣接したカメラに対する視差差を、遠近法の中心に対して示す。 外側コンプレッサーレンズ素子の縁におけるフロントカラーを示す。 部分視野(fractional field)に対する歪みの割合を示すグラフ上にプロットされた歪み補正曲線を示す。 コアおよび拡張視野(FOV)の両方を含む、隣接したカメラに対する視野を示しており、その両方は最適化されたパノラママルチカメラ捕捉装置の設計に対して有用であり得る。 外側シェルまたはドームを備えた改善されたパノラママルチカメラ捕捉装置の部分の断面図を示す。 改善されたパノラママルチカメラ捕捉装置との使用のための外側シェルまたはドームの部分の断面図を示す。 改善されたパノラママルチカメラ捕捉装置との使用のための外側シェルまたはドームの部分として提供できる位置合わせノッチ部またはファセットを示す。 マルチコンプレッサーレンズグループを示して、FRU概念をサポートし得る、改善されたレンズ設計を有する、低視差パノラママルチカメラ捕捉装置に対するカメラレンズの代替光学設計を各々示す。 マルチコンプレッサーレンズグループを示して、FRU概念をサポートし得る、改善されたレンズ設計を有する、低視差パノラママルチカメラ捕捉装置に対するカメラレンズの代替光学設計を各々示す。 別の改善されたレンズ設計を、オフセット装置中心に関して示す。 低視差カメラレンズに対する別の代替光学設計を示す。 改善されたパノラママルチカメラ捕捉装置との使用のための外側シェルまたはドームの一部の継ぎ目領域を通る光伝搬の態様を示す。 外側シェルまたはドームの一部の継ぎ目領域を通る光伝搬の拡大図を示す。 図10B-図10E。代替オプトメカニカル構成を有する外側シェルまたはドームの継ぎ目領域を通る光伝搬をそれぞれ示す。 図10Eに示されるタイプの継ぎ目領域オプトメカニカル構成を有するカメラシステムと関連付けられた捕捉されたFOVを示す。 ドーム位置合わせ構造を備えたカメラ取付け構造の接合部分を示す。 取付け台および調整特徴を含む、カメラチャネルのセンサー領域を示す。 マスキングおよび光学的基準を含む、カメラチャネルのセンサー領域を示す。 カメラチャネルを中央支持に取り付けるためのアプローチの図を示す。 コンプレッサーグループ内にバッフルを追加することによって改善されたカメラレンズ光学系を示す。 改善されたパノラママルチカメラ捕捉装置との使用のための電子システム図を示す。
光学系の分野において一般に理解されるように、レンズまたはレンズ組立体は典型的には、レンズ筒またはハウジング内に取り付けられていて、光学像を生成するために一緒に働く、複数のレンズ素子を有するシステムまたは装置を含む。結像レンズは、レンズ系から少し離れた距離(複数可)の物体空間内に存在する1つの物体または複数の物体から来る光の一部を捕捉する。結像レンズは次いで、これらの物体の像を出力「面」に形成でき、像は、結像レンズの焦点距離ならびに、その焦点距離に対する、物体(複数可)および結像面までの共役距離によって決定されるとおり、倍率によって決まる有限サイズを有する。物体から像へ、レンズを通過する画像光の量は大部分、結像レンズの開口絞りのサイズによって決まり、それは典型的には、開口数(NA)またはF値(F♯またはF/♯)に対する1つ以上の値によって数値化される。
結像レンズによって提供される画像品質は、設計で使用された光学材料の選択、レンズ素子のサイズ、形状(または曲率)および厚さ、レンズ素子の相互の相対間隔、スペクトルバンド幅、偏光、通過光の光負荷(パワーまたは束)、光回折もしくは散乱、ならびに/またはレンズ製造公差もしくは誤差を含む、レンズ設計の多数の特性によって決まる。画像品質は典型的には、レンズ収差(例えば、球面、コマ、または歪み)、またはレンズによって提供される解像点の相対サイズの観点から記述または数値化され、多くの場合、変調伝達関数(MTF)によっても数値化される。
典型的な電子またはデジタルカメラでは、画像センサーが名目上、結像面に配置される。この画像センサーは典型的には、CCDまたはCMOSデバイスであり、それは、ヒートシンクまたは他の熱除去手段に物理的に取り付けられており、センサーに電力を供給する電子機器、および画像データをデータ記憶または画像処理電子機器に提供する読出しおよび通信回路も含む。画像センサーは典型的には、デバイス内のべイヤーフィルタなどの、カラーフィルタ配列(CFA)を有しており、カラーフィルタ画素を画像画素との位置決めに配置してRGB(レッド、グリーン、ブルー)画素の配列を提供する。CYGMフィルタ(シアン、イエロー、グリーン、マゼンタ)またはRGBWフィルタ配列(W=ホワイト)を含む、代替フィルタ配列パターンが代わりに使用できる。
典型的な使用法では、多くのデジタルカメラが、任意の他のカメラ装置といかなる依存関係またはやり取りなしで、場面の画像または写真を捕捉するために、相対的に分離して人々または遠隔システムによって使用される。監視またはセキュリティなどの、いくつかの事例では、カメラの操作は、オーバーラップする、隣接または近接した画像内容を既に捕捉している別のカメラから見た画像内容に基づき、人々またはアルゴリズムによって指示され得る。別の例では、人々は、風景場面などの、場面のパノラマ画像を、隣接した画像を組み立てるために手動で、または自動的に移動もしくは旋回させながら、一連の隣接した画像を連続して捕捉することにより、拡張または広角FOVで捕捉する。その後、PhotoshopまたはLightroomなどの、画像処理ソフトウェアが使用されて、隣接した画像を一緒に繋ぎ合わせ、モザイキング、またはタイリングしてより大きな拡張場面を表現できる。画像の繋ぎ合わせまたは写真の繋ぎ合わせは、オーバーラップする視野をもつ複数の写真画像を結合してセグメント化されたパノラマまたは高解像度画像を生成するプロセスである。露光または色補正を含む、画像品質改善も、リアルタイムで、または後処理もしくは画像レンダリングフェーズで、またはそれらの組合わせのいずれかで、適用できる。
場面内の物体が指向的に照射されず、かつ/または指向性光応答(例えば、反射などで)を有しない限り、利用可能な光はプレノプティックであり、所与の空間または環境内で、あらゆる方向に進むか、または略そのような、光(λ)があることを意味する。カメラはその結果、この光のサブセットを画像光としてサンプリングでき、それを用いて、場面内の異なる物体の1つ以上の時点における所与のビューまたは遠近法を示す生成された画像を提供する。その同じ場面の部分の別の画像を捕捉するためにカメラを異なる近くの位置に移動させて使用する場合、物体の見掛けの遠近法および相対位置の両方が変化する。後者の場合、1つの物体が今、別の物体を部分的に塞ぎ得、他方、以前に隠されていた物体が少なくとも部分的に見えるようになる。物体の見掛けの位置または方向におけるこれらの差は視差として知られている。具体的には、視差は、2つの異なる視線に沿って見た物体の見掛けの位置における変位または差であり、これら2本の線の間の傾角の角度または半角によって測定される。
立体画像捕捉または投影システムでは、デュアルビュー視差は、奥行き感を提供できる、影付け、遮蔽(occlusion)、および遠近法と共に手掛かり(cue)である。例えば、立体(3D)投影システムでは、偏光またはスペクトル的に符号化された画像対が画面上に重ねて投影されて、適切な眼鏡を装着した視聴者メンバーによって見ることができる。視差の量は最適な範囲を有し得、その外側では、結果として生じる奥行き感が小さすぎて視聴者メンバーによって実際には気付かれないか、または大きすぎて人間の視覚系によって適切に融合できない。
一方、パノラマ画像捕捉用途では、視差差は、画像の繋ぎ合わせおよび見掛けの両方を複雑にし得る誤差と見なされ得る。一連のパノラマ風景画像を個々に手動で捕捉する例では、場面内の物体が十分に遠く離れている(例えば、光学的に無限遠)場合、画像にわたる遠近法または視差における視覚的差は小さすぎて気付かない可能性がある。回転カメラまたはマルチカメラと統合されたパノラマ捕捉装置は、手動による捕捉の不確実性に依存することなく、リアルタイム画像データを高解像度で連続して捕捉する潜在力を有する。しかし、かかる装置はそれ自身の両眼視差、画像アーチファクト、または、視差、遠近法、および露光のそれを含む、誤差も取り込み得る。結果として生じる画像は多くの場合、画像処理アルゴリズムを用いてうまく繋ぎ合わせることができるが、入力画像誤差は画像処理を複雑にして処理時間を長びかせ、同時に時々、視覚的に明らかな残存誤差を残す。
「ファセット」という用語は、本出願ではいくつかの意味を有することに留意されたい。3D多角形構造(図4)は多数の側面または面を有する。ファセット付きシェルまたはドーム(図8Bおよび図10A~E)は、レンズファセットまたはコンプレッサーレンズ素子550として機能するために屈折力を有し得るファセットまたはシェル部545を有する。ファセット付きシェルまたはドームは、隣接したレンズファセット550間の継ぎ目570内に名目上配置される、溝、または合成面取りもしくはファセット付きノッチ部580も有する。ファセット付きドーム510は、通過する画像光を偏向または方向転換させるために、光学ファセット625も継ぎ目またはその近くに(図10E)に有し得る。名目上、レンズファセット500の多角形状および構成は、個々におよびまとめての両方で、所望の多角形構造全体の多角形面とも一致する。
文脈を与えるために、図1は、低減された視差画像捕捉のために設計された、ハウジング130内に2つの隣接したカメラ120を有する、統合パノラママルチカメラ捕捉装置100を示す。これらのカメラは代替として、画像ピックアップユニット、またはカメラチャネル、または対物レンズ系と呼ばれる。カメラ120は各々、レンズ筒またはハウジング130内に取り付けられている複数のレンズ素子(図2を参照)を有する。隣接した外側レンズ素子137は隣接した勾配付き縁132を有しており、1つのカメラチャネルを別のカメラチャネルに、近接して配置されているが、それは接触していない可能性があり、従って、有限幅の間隙または継ぎ目160によって分離されている。場面または物体空間105からの、利用可能な光(λ)、または光線110の一部分がカメラ120に入って、制約されたFOV内で捕捉されて結像面に向けられる画像光となり、他方、他の光線は全くカメラに届かない。一部の光線110は、カメラ内に伝搬し、視野縁主光線170、または周辺光線として構成するレンズ素子を通過し、他方、他の光線は潜在的にレンズ素子を通って伝搬して迷光またはゴースト光および誤った輝点または画像を生じ得る。一例として、外側レンズ素子137の外表面に大角度で入射する一部の光線(167)は、カメラのレンズ素子を通って複雑な経路を通過でき、結像面150で検出可能なゴースト像を生じ得る。
より詳細に、図2Aは、統合パノラママルチカメラ捕捉装置100の一部内のハウジング(130、図示せず)内に取り付けられたレンズ素子135のセットを有するカメラ120の部分の断面を示す。物体空間105からの光線110のファンは、軸上から軸外全視野の主光線の範囲にわたって広がり、外側レンズ素子137に入射し、屈折されて内側に透過される。屈折され、さらなる内側レンズ素子140を通り、開口絞り145を通って透過される、この画像光115は、結像面150またはその近くで焦点画像に収束し、そこに画像センサー(図示せず)が典型的には配置される。図2Aのレンズ系120は、外側レンズ素子137またはコンプレッサーレンズ素子、および内側レンズ素子140から成るレンズ形式を有するとしても定義でき、その後者は、絞りの前(pre-stop)の広角レンズグループ、および絞りの後ろ(post-stop)の接眼様レンズグループから構成されるとしても定義できる。このコンプレッサーレンズ素子(137)は画像光115を鋭く内側に向けて、光を圧縮して、レンズ組立体全体が短い焦点距離を提供するのを可能にし、同時に、カメラレンズハウジングまたは筒が、レンズ素子を保持するか、もしくは取り付けるため、および隣接したカメラの筒またはハウジングと適切に相互作用するための両方に必要な機械的特徴を提供するために必要な余地も可能にするのに役立つ。カメラレンズ組立体を外側レンズ素子137から結像面150まで通過した画像光は、画像解像度、画像コントラスト、焦点深度、および他の属性によって数値化できる、画像品質を有する画像を提供し、それらの品質は、カメラ120内のレンズ素子(137、140)の各々において通過光が遭遇する、光学収差(例えば、非点収差、歪み、または球面)および色収差またはスペクトル収差によって定義された。図2Bは、図2Aに示されているカメラ光学系(120)の外側レンズ素子137の勾配付き縁132に沿って、またはその近くで入射する、主光線170、または周辺光線のファンを示す。図2Bは、光軸185から縁光線と一致する線まで広がる、捕捉された、多角形状または非対称のFOV125の一部も示す。
図2Aに示されているカメラレンズ設計では、外側レンズ素子137は通過画像光115を第2のレンズ素子142に向かって方向転換させるコンプレッサーレンズ素子として機能し、第2のレンズ素子142は内側レンズ素子140のグループの第1のレンズ素子である。この設計では、第2のレンズ素子142は、魚眼タイプの結像レンズで使用される外側レンズ素子によく似た、まさに凹形状を有する。このコンプレッサーレンズ素子は、画像光115を鋭く内側に向かせるか、または光線を曲げて、レンズ組立体全体が短い焦点距離を提供するのを可能にし、同時に、カメラレンズハウジング130または筒が、レンズ素子135を保持するか、もしくは取り付けるため、および隣接したカメラの筒またはハウジングと適切に相互作用するための両方に必要な機械的特徴を提供するために必要な余地も可能にするのに役立つ。しかし、良好なレンズおよびオプトメカニカル設計、ならびに適切なセンサー選択を用いて、カメラ120は、用途および装置構成に応じて、20~30画素/度、110画素/度以上もの画像解像度をサポートするレンズ組立体で設計できる。
これらのカメラから結果として得られる画像品質は、表面で、またはレンズ素子内で散乱する光、および各レンズ表面で反射または透過される光によっても決まる。表面透過率およびカメラレンズ系効率は反射防止(AR)コーティングの使用によって改善できる。画像品質は非画像光の結果によっても決まり得る。図1を再度検討すると、利用可能な光の他の部分は主に、外側レンズ素子137で反射され得る。カメラ120に入るさらに他の光は、開口絞りまたはその近くで提供される黒化領域(図示せず)、内側レンズ筒表面、レンズ素子の縁、内側バッフルもしくは光トラッピング特徴、視野絞り、または他の表面の何らかの組合わせによって阻止または吸収できる。カメラに入るさらに他の光は、同様に結像面で潜在的に見える迷光またはゴースト光になり得る。
改善された統合パノラママルチカメラ捕捉装置100(例えば、図1)内の複数の隣接したカメラ120によって得られる総画像品質は、焦点距離および/またはトラック長におけるカメラ間の変動、ならびに個々のカメラによって提供される倍率を含む、様々な他の要因によっても決まり得る。これらのパラメータは、ガラス屈折率の変動、レンズ素子の厚さおよび曲率における変動、ならびにレンズ素子取り付けにおける変動を含む要因に応じて変わり得る。一例として、複数の隣接したカメラから一緒にタイリングまたはモザイキングされる画像は典型的には、カメラ倍率差(例えば、±2%)に起因する画像サイズ変化を補正するために、次から次へ、修正される必要がある。
統合パノラママルチカメラ捕捉装置100内の複数のカメラによって生成される画像は、画像品質および画像のモザイキングまたはタイリングをもたらす他の点においても変わり得る。具体的には、任意の所与のカメラ120の画像センサーまでレンズ素子を通る画像光の指向性ポインティングまたは収集は、カメラが、角度的に歪んでいるか、もしくは非対称の

Figure 2022540558000002
または誤ったサイズのFOV(FOV±)を捕捉するように、変わり得る。レンズポインティング変動は、カメラ(例えば、レンズ素子、センサー、およびハウジング)の製造中または複数のカメラの統合パノラママルチカメラ捕捉装置100への一体化組立て中に生じ得、そのため個々のカメラの位置合わせがずれまたは取付け応力によって歪められる。これらのカメラポインティング誤差が、カメラ120間の継ぎ目160の存在と組み合わさる場合、捕捉され得る利用可能なランドスケープまたはパノラマFOVの部分に対する画像は代わりに、逃されるか、または不適切に捕捉され得る。カメラポインティングの変動性、および継ぎ目は、熱もしくは光(例えば、画像内容)などの、内部または外部環境要因、およびその特にその非対称荷重によって引き起こされる機械的シフトおよび歪みによって悪化し得る。
図1のシステムと比較して、典型的な市販のパノラマカメラでは、カメラ間の継ぎ目は30~50mm幅、またはそれ以上であり得る、完全な間隙である。具体的には、図3に示すように、パノラママルチカメラ捕捉装置101は、大きな間隙もしくは継ぎ目160で分離された隣接したカメラ120またはカメラチャネルを有し得、それらの間には、どのカメラも画像を捕捉できない盲点もしくはブラインド領域165がある。隣接したカメラチャネルまたは外側レンズ素子137(図1および図3)の間の実際の物理的な継ぎ目160は、隣接したレンズ素子もしくはレンズハウジング間の実際の物理的な距離として、失われたFOVの角度範囲として、または「失われた」画素数として、様々な方法で測定できる。しかし、光学的継ぎ目は、1つのカメラの外側主光線と別のとの間の距離として、ビネッティングまたはコーティング制限によって引き起こされた光受容における任意の間隙に起因して、さらに大きい可能性がある。例えば、反射防止(AR)コーティングは典型的には、光学系の縁には付着されず、オフセットマージンが提供されて、コーティングされた開口部(CA)を提供する。
カメラのずれおよび大きな継ぎ目160の両方を補正するため、およびブラインド領域165のサイズを縮小するために、典型的なパノラママルチカメラ捕捉装置101(図3)は、個々のカメラ120の各々に、オーバーラップ127を提供する広いFOV125から画像光115を捕捉させ、それによりブラインド領域165を減少させて、失われる潜在的に捕捉可能な画像内容を小さくする。別の例として、市販のマルチカメラ捕捉装置101のほとんどでは、間隙は25~50+mm幅であり、カメラ間の補正FOVオーバーラップは同様に大きく、例えば、オーバーラップしていて、2つの隣接したカメラ120によって捕捉されるFOV125の部分は、カメラのFOVの10~50%であり得る。共有FOV125からのかかる大きな画像オーバーラップの存在は、潜在的な画像解像度を無駄にして、画像処理および画像繋ぎ合わせ時間を増大させ、同時に、著しい画像視差および遠近法誤差を取り込む。これらの誤差は、繋ぎ合わせ処理中に補正または平均化する必要があるので、画像繋ぎ合わせを複雑にする。かかるシステムでは、視差は物体距離の関数として変わるので、予測可能ではない。物体距離が分かっている場合、視差は所与の視野およびカメラ間の間隔に対して予測できる。しかし、物体距離は典型的には分かっていないので、視差誤差はその結果、画像繋ぎ合わせを複雑にする。オプティカルフローおよび一般的な繋ぎ合わせアルゴリズムは、物体深度を決定して、画像繋ぎ合わせを可能にするが、処理能力および時間的負担を伴う。
同様に、密接に統合されたカメラを備えた、図1のタイプの、パノラママルチカメラ捕捉装置100では、継ぎ目160における幅および構造は、装置全体の動作において重要な要素であり得る。しかし、継ぎ目は、光学的および機械的寄与の両方によって決定された2つの隣接したカメラのFOV縁間の実効光学的継ぎ目を用いて、図3におけるよりも小さくできる。例えば、ハウジング内でレンズ組立体を構築するために標準的な光工学手法を使用することにより、隣接したカメラの外側レンズ素子137間の継ぎ目160の機械的な幅は4~6mmに縮小され得る。例えば、レンズ素子を、具体的には、一番外側のレンズ素子の近くで、1~1.5mmの最小の半径方向幅を有するレンズ筒またはハウジング内に取り付けることは標準的な手法である。次いで、標準的なコーティングされた開口部またはコーティングマージンを考えること、および考えられるビネッティング、入射瞳の収差、フロントカラー、チップエッジを考えること、および隣接したレンズ組立体またはハウジングを標準的な技術によって近接して取り付けようとすること。従って、光学系および機構の両方を考える場合、隣接したレンズ間の光学的継ぎ目幅は優に8~12mm以上であり得る。
しかし、遥かに小さい継ぎ目を可能にする光学およびオプトメカニカル設計で、さらに改善された視差性能を有する、図1のタイプのパノラママルチカメラ捕捉装置(300)の改善されたバージョンが可能である。第1の例として、改善された多角形状カメラに対する本技術に関して、外側レンズ素子137の製造の初期段階中、これらのレンズは円形状を有し得、それらの物理的な縁またはその近くにおけるまでARコーティングできる。これらのレンズがその後処理されて勾配付き縁132(例えば、図2B)を画定する多角形状を加える場合、ARコーティングが勾配付きレンズ縁まで本質的に広がる結果となり得る。効果的な光学的またはコーティングされた開口部が次いで、機械的取付けまたは、エッジチッピングを回避するために光学系製造において使用される標準的なエッジ研磨に対する任意の許容差によって画定できる。このアプローチ、および以降で説明される他の技術の組合わせで、光学的継ぎ目は1~5mm幅まで減少できる。
本発明の主要目的は、高品質低視差パノラマ画像を、改善されたマルチカメラパノラマ捕捉装置(300または500)から生成することである。この広範な目標は、光学およびオプトメカニカルレンズ設計努力、ならびにオプトメカニカル装置設計および製造努力の両方に情報を与えるための体系範囲の設計戦略、ならびに改善された画像捕捉および処理のための戦略を開発することによって可能にできる。この目標は、初期および進行中のカメラおよび装置較正の両方を提供することによっても可能にできる。大まかには、画像処理または画像のレンダリングは、カメラ内因性(焦点距離および歪みなどの幾何学的要因)、カメラ外因性(物体空間に対するカメラの配向などの幾何学的要因)、ビネッティングおよび透過率などの他のカメラパラメータ、ならびに色および指向性などの照明パラメータによって決まる生の捕捉された画像データから品質画像を生成するための方法である。改善されたマルチカメラパノラマ捕捉装置300に関して、中心画素または画像重心の判断および追跡における基準の使用、露光補正、ならびに装置内の任意の所与のカメラ320に対するカメラ内因性の知識は全て、複数の隣接したカメラから取得された画像の信頼できて反復可能なタイリングの完了に向けての支援である。従って、以降の説明は、所望の画像品質を可能にできる光学(カメラまたは対物レンズ)設計の提供、ならびにカメラおよび装置組立てアプローチ、鍵となる公差の管理、カメラ較正、カメラ内因性および外因性の知識、ならびに結果として得られる装置性能に同様に影響を及ぼし得る他の要因に広く焦点を合わせている。本発明の改善されたパノラママルチカメラ捕捉装置は、映画の画像捕捉、拡張現実または仮想現実(VR)画像捕捉、監視またはセキュリティ撮像、スポーツまたはイベント撮像、マッピングまたは写真測量法、車両ナビゲーション、およびロボット工学を含む、多種多様な用途またはマーケットをサポートするために使用できる。
改善されたパノラママルチカメラ捕捉装置(300または500)を可能にするためのオプトメカニカル手段を調査する前に、これらのシステムにおける使用のために改善されているカメラ120を提供するための手段が開発される。それに応じて、目標は、低減された視差誤差および画像オーバーラップの両方を有する改善されたカメラ(320)を提供することを含む。本アプローチの一態様として、目標は、隣接ペアの各カメラによって個々に収集された縁主光線に対する残存視差誤差を低減することである。視差誤差は物体距離に関して視差における変化(例えば、装置からより近い距離(例えば、3フィート)に関して主光線軌道は、遠距離(例えば、1マイル)と対比して、わずかに異なるということ)として定義される。例えば、低減された視差に対する1つの目標または標的として、または効果的に視差誤差をなくすこと、または「視差なし」にすることは、隣接したカメラの主光線は相互に平行から≦0.5~2.0度だけ、および好ましくは≦0.01~0.1度だけ逸脱すべきであるということである。代替として、または同等に、視差誤差は、結像面上の位置に関して遠近法誤差として評価されるので、≦2画素まで、および好ましくは≦0.5画素まで低減すべきである。本アプローチの別の態様として、それら自身のレンズハウジング内に組み立てられた隣接したカメラ(例えば、120、320)間の継ぎ目160の幅が縮小されるべきである。目標は、それらの絶対物理幅、およびそれらの光学幅または有効幅の両方に関して、継ぎ目の幅を減少させることである。例えば、目標は、隣接した外側レンズ素子137間の継ぎ目160を、約0.5~3.0mmだけの範囲内の最大間隙または実際の物理継ぎ目を有するまで減らし、次いで最大光学継ぎ目幅を約1~6mmだけの範囲まで減らすことである。一例として、これらの縮小された継ぎ目幅は、0.25~1.0°だけの失われたFOVの縮小された角度範囲、または2~20画素だけの「失われた」画素数に変換できる。例えば、360度パノラマ等矩形(equirectangular)画像の周囲に8k画素を提供する装置に関して、残存画像アーチファクトは気付くのが困難であり得るので、継ぎ目における2~4画素だけの損失は容認可能であり得る。実質的視差誤差なし、または最大光学継ぎ目幅の実際の詳細または数値目標は、改善されたカメラ(320)および装置(300)全体の詳細なオプトメカニカル設計、公差の管理、中心オフセット距離または拡張FOV(215)の量に対する可能な許容差およびその低視差に対する目標、ならびに装置全体の仕様(例えば、直径、結像FOVまたはコアFOV205(図7)内で使用されたセンサー解像度またはセンサー画素)を含め、多くの要因によって決まる。前述の改善の何らかの組合わせによって可能にされた、さらなる目標は、各カメラが、トリミングされてコアFOV画像を提供する、埋め込まれたセンサーパッケージから確実かつ迅速に出力画像を提供し、次いで各トリミングされた画像が、隣接したカメラによって提供されるトリミングされた画像と容易に繋ぎ合わされるか、またはタイリングできて、改善されたマルチカメラ捕捉装置(300)からパノラマ出力画像をリアルタイムで容易に提供できることである。
図13および図15のような、改善されたパノラママルチカメラ捕捉装置300は、360度の環状FOVを捕捉するために球体周囲の周辺に配置された複数のカメラを有し得る。代替として、パノラママルチカメラ捕捉装置は球形または多面体形状の周囲に配置された複数のカメラを有し得る。多面体は、縁で隣接した多角形の集合から成る3次元立体である。図4に示されるような、1つの多面体形状は、十二面体50のそれであり、十二面体50は、各々正五角形55として成形された、12の側面または面、および20の頂点または角(例えば、頂点60)を有する。十二面体形状に形成されたパノラママルチカメラ捕捉装置は、名目上69.1°のフル広角で撮像する五角形状の外側レンズ素子を備えたカメラを有する。別の形状は、同様に図4に示されている、サッカーボールのような、切頂二十面体のそれであり、12の正五角形の側面または面、20の正六角形の側面または面、60の頂点、および90の縁の組合わせを有する。正多面体、ゴールドバーグ多面体、もしくは八角形の側面を有する形状などの、もっと多くの側面をもつさらに複雑な形状、または何らかの不規則な多面体形状でさえも有用であり得る。例えば、ゴールドバーグ面取り十二面体は、切頂二十面体に似ており、五角形および六角形の両方のファセットの、合計で42の側面をもつ。しかし、一般的に、現在の目的に対して好ましい多面体は、六角形または五角形の側面または面を有しており、それらは概ね丸みのある形状で勾配付き縁132が鈍角で交わる。八面体または正二十面体などの、他の多面体形状は、三角形ファセットを有しているが、使用できる。正方形または三角形ファセットなどの、もっと急な、または鋭い角をもつ多面体ファセットは、捕捉される多角形FOVを定義するために、多角形の縁を最も外側のレンズ素子上に提供するためにカットする縁が少ないので、五角形もつファセットおよびまたは六角形のファセットと比べて、製造するのが容易であり得る。しかし、それらの鋭い角のために、光学系のカット、面取り、および処理の際に一層の注意がその結果、必要であり得る。追加として、大きなFOVおよび鋭いファセット角をもつレンズファセットに関して、カメラレンズおよびカメラレンズハウジングを光学およびオプトメカニカル性能のために設計することはさらに困難であり得る。典型的には、360°の多面体カメラは、1つのファセットの少なくとも一部が、取り付け支柱によってなど、支持特徴ならびに電力および通信ケーブル配線を可能にするために犠牲にされるので、完全球面FOVを捕捉しない。しかし、装置が無線で通信し、また細径ケーブルによって頂点に吊るされてもいる場合、かかる物理的接続で失われるFOVを削減できる。
図1および図2Bに示されるように、カメラチャネル120は円錐台、またはその一部に似ており、円錐台は、それを横切る1つまたは2つの平行面の間に存在する幾何立体(通常は円錐またはピラミッド)である。その文脈では、多角形の縁に対応する主光線170のファンは、外側コンプレッサーレンズ素子137によって屈折されて多面体幾何形状の円錐台の縁と名目上一致する。
カメラ幾何形状に関連していくつかの問題を図解するのを支援するために、図5Aは、切頂二十面体、またはサッカーボール型パノラママルチカメラ捕捉装置(例えば、100、300)で生じ得るような、その外側レンズ素子が五角形および六角形形状を有する一対の隣接したカメラを表す、五角形FOV177を捕捉する五角形レンズ175および六角形FOV182を捕捉する六角形レンズ180の断面を示す。論理上の六角形FOV182は、頂点近くのFOVはさらに大きいが、側面に沿って20.9°のハーフFOV、または41.8°のフルFOV(θ)に及ぶ。五角形FOV177は円形領域内の36.55°FOV(θ)をサポートし、角または頂点に近いFOVはさら大きい。とりわけ、この断面では、五角形FOV177は非対称で、光軸185の一方の側で20度のFOVをサポートし、光軸の他方の側では16.5度のFOVだけをサポートする。
光学レンズは典型的には、ZEMAXまたはCode Vなどのプログラムを使用して設計される。設計の成功は典型的には、メリット関数で使用するために、オペランドとして識別される、最良または最も適切なレンズパラメータの選択に、一部、依存する。これは、改善された低視差マルチカメラパノラマ捕捉装置用にレンズ系を設計する場合にも当てはまり、それに対して、性能(特に視差を含む)に影響を及ぼすいくつかの要因および、それを制御するために、個々に、または全体として最適化できるいくつかのパラメータがある。1つのアプローチは、「NP」点またはより意義深いことには、その変形、の最適化を目標にする。
背景として、光学系の分野では、入射瞳の概念があり、それは、物体空間から見た開口絞りの投影画像、または物体空間からの結像光線が第1のレンズ素子による任意の屈折の前にそれに向かって伝搬するように見える仮想開口部である。標準的な技法により、入射瞳の位置は、開口絞りの中心を通って通過する、物体空間105からの近軸主光線を識別し、その物体空間を、それが光軸185に当たる位置に向かう方向に投影または拡張することによって見つけることができる。光学系では、入射ガウスまたは近軸光線は光軸から10°以下の角度範囲内に存在すると理解されており、開口絞りの中心に向けられる光線に対応し、それは入射瞳位置も定義する。レンズ特性に応じて、入射瞳は開口絞りよりも大きいか、または小さくて、開口絞りの前、または後ろに位置し得る。
これに対して、低視差カメラの分野では、視差なし(NP)点、または視点中心の概念がある。概念上、「NP点」は、一番外側のレンズ素子の外側縁またはその近くに入射する高FOV主光線(chief ray)または主要光線(principal ray)と関連付けられており、その物体空間を、それが光軸185に当たる位置に向かう方向に投影または拡張する。例えば、設計に応じて、パノラママルチカメラ捕捉装置内のカメラチャネルはハーフFOVを非近軸主光線で、十二面体タイプのシステム(図4)に対しては>31°、または切頂二十面体タイプのシステム(図4および図5Aを参照)に対しては>20°の角度でサポートできる。NP点投影のこの概念は、隣接した光学系(カメラ)に対する主光線伝搬および視差制御への期待に関連して、パノラママルチカメラ捕捉装置の設計に適用されている。カメラがNP点の周りを旋回するか、または複数のカメラが共通のNP点の周りを回転するように見える場合、視差誤差は低減されて、画像は、視差誤差または遠近法差が略または全くなしで位置合わせできることも言える。しかし、低視差カメラの分野では、NP点は入射瞳とも同一視されており、入射瞳の軸方向位は、第1のレンズ素子(図2A、2Bを参照)における近軸視野角の投影と入射光線の高さとの間の一次光学系正接関係(tangent relationship)を使用して推定される。
従って、紛らわしいことに、低視差カメラの設計の分野では、NP点は以前は、FOV主光線の縁の投影およびガウスまたは近軸領域内にある主光線の投影の両方とも関連付けられていた。お分かりのように、実際には、それらは両方とも価値を有する。具体的には、近軸入射瞳と関連付けられたNP点は、レンズを設計するため、およびレンズを記述するために、初期の仕様を開発する際に有用であり得る。非近軸縁視野主光線と関連付けられたNP点は、視差性能を標的にして理解する際、およびレンズ組立体がその中に存在できる円錐容積または円錐台を画定する際に有用であり得る。
これらの非近軸主光線の投影は、レンズ収差およびこれらのレンズ系と関連付けられた実用的幾何形状関連要因の両方のために、近軸主光線で画定された入射瞳を逃し得る。前者に関連して、うまく設計されたレンズでは、結像面における画像品質は典型的には、解像度、テレセントリック性、または他の属性に関する収差の影響を限定することによって優先される。レンズ系内で、開口絞りを含め、中間表面(interim surface)における収差は、結像面での正味合計に重きが置かれているので、幅広く変わり得る。開口絞りでの収差は多くの場合、ビネッティングを回避するように幾分、制御されるが、非近軸主光線は、開口絞りまたは投影近軸方向に配置された入射瞳の中心を通過する必要がない。
これらの概念をさらに詳しく説明するため、および改善された低視差レンズ系の設計を可能にするために、図2Aのカメラレンズ系120は、物体空間105からの近軸主光線のベクトル投影によって画定される入射瞳に対応する、第1のNP点190A、および物体空間からの非近軸主光線のベクトル投影に対応する、オフセットされた第2のNP点190Bの両方を示していることに留意されたい。これらの光線投影の両方は、レンズ系および結像面150の両方の後ろの位置で光軸185を交差する。後で説明されるように、投影点190Aと190Bとの間および近接した領域内での光線挙動は複雑であり得、投影位置または投影点のいずれも決定的な値およびサイズを有していない。主光線の投影は光軸をある点で交差するが、主光線のグループの投影は光軸に向かって収束して異なる位置で交差し、それはしっかりと(例えば、数ミクロンまたは数十ミクロン内に)まとめられ得、その場合その「点」の範囲またはサイズは、分析で使用された近接した主光線の集合によって決まり得る。一方、大きなFOVを結像する低視差結像レンズを設計する場合、投影された近軸および非近軸主光線によって提供されるNP点190Aと190Bとの間の軸方向距離または差は著しく大きい(例えば、ミリメートル)可能性がある。従って、同様に後に説明されるように、軸方向の差は、現在のパノラマ捕捉装置および用途のために設計されたレンズ系の視差最適化(例えば、低視差量188)の有用な手段を表す。同様に分かるように、改善された装置(300)の設計は、装置の幾何学的中心、または装置中心196を、この低視差量188の、外側であるが、近接して、または代替として、その中に、および好ましくは非近軸主光線NP点に近接して、位置付けるように最適化できる。
一態様として、図5Aは、共通の点(190)に向かう線を提供するために、2つの隣接したカメラの外側レンズ素子(レンズ175および180)を過ぎた、視野の理論的縁(FOV縁155)の投影を示す。これらの線は、複雑な「円錐形」のオプトメカニカルレンズ組立体の理論的限界を表しており、それらは典型的には、量を制限する五角形円錐または六角形円錐である。再度、理想的には、視差なしマルチカメラシステムでは、2つの隣接したカメラの入射瞳またはNP点は同一場所に配置される。しかし、機械的衝突を回避するために、センサーパッケージを含む、所与のレンズ組立体の機構は一般に、カメラシステムの円錐台の外側に突き出て、隣接したレンズ組立体の円錐空間に入るべきではない。しかし、マルチカメラパノラマ捕捉装置内の実際のレンズ組立体は継ぎ目160によっても分離される。従って、機械的継ぎ目および取り付けられた外側レンズ素子(レンズ175および180)の物理幅または開口部の両方の内側にある、レンズ縁で受け入れられる実際の主光線170は、概ね近軸NP点190に向かって投影される場合、代わりに、オフセットされたNP点192に到着して、NP点オフセット距離194だけ分離され得る。
これは、図5Bに詳細に示されているように、名目または理想的な点NP190に近接した拡大領域A-Aを検討することによってさらに良く理解できる。六角形FOV182内で、ガウスまたは近軸領域内を伝搬して、開口絞りの名目上の中心を通過する、光線(例えば、近軸光線173)は、名目NP点190(入射瞳に対応する)に投影され得るか、またはオフセットNP点190Aに、名目NP点190からわずかなNP点差またはオフセット193で投影され得る。一方、六角形内の最大内接円と関連付けられた実際の六角形レンズ縁主光線170は、さらに大きなオフセット距離(194A)であり得る共通のオフセットNP点192Aに達するように投影できる。図5A、5Bの2つの隣接したカメラも、同じ場所にあるNP点(例えば、190)を共有することもあれば、共有しないこともあり得る。距離オフセットは、カメラ間の幾何学的考慮事項(隣接した六角形および五角形カメラ)、カメラ内の幾何学的非対称(例えば、五角形カメラに対して)を含む、様々な理由に起因して、または継ぎ目160の実用的な幅からの制約から、または逸脱した光線間の指向性差のために、生じ得る。
今述べたように、入射主光線の単純化した名目「NP点」(190)へ向かっての投影において潜在的な幾何形状差もある。第1に、六角形または五角形レンズの角または頂点または中間縁(中間弦(mid-chord))近くからの入射結像光路は、名目近軸NP点190とオフセットNP点192Bとの間の説明された範囲内の共通のNP点に投影することもあれば、投影しないこともある。また、図5Bに示されるように、五角形レンズの幾何学的非対称からだけ、実際に受け入れられたFOVに対して縁主光線170および171の関連付けられたペアは、オフセット距離194Bによって近軸NP点(190)から、およびオフセット距離194Cによって相互の両方から、分離できる異なる名目NP点192Bに投影できる。
別の問題として、レンズ設計中、最高の性能は典型的には、軸上、または軸上近く(例えば、≦0.3視野(正規化))、光軸185近くで生じる。多くのレンズでは、良好な結像性能は、設計により、多くの場合、視野縁またはその近くで生じ、その場合、最適化重み付けは多くの場合、順守を強制するために使用される。最悪の結像性能はその結果、中間視野(例えば、正規化された結像野の高さの0.7~0.8)で生じ得る。再度図5A、5Bを検討すると、近軸領域外であるが、縁主光線(10°<θ<20.9°)ほど極端ではなく、中間野(θ)からの、中間軸外光線は、名目NP点190とオフセットNP点192Bとの間の中間NP点に向かって投影できる。しかし他の、もっと極端な、具体的には、収差によってより影響を受ける、0.7~0.8中間野からの、軸外光線は、視野縁のオフセットNP点192Bよりも、名目NP点190から多かれ少なかれオフセットされている位置でNP点に投影できる。レンズ設計における差異を吸収するために、非近軸オフセット「NP」点は、図5Bで提案されているように近軸NP点(入射瞳)の前(レンズにより近く)、またはその後(図2Aに示されているとおり)のいずれかに落とすことができる。
これは、図5Cにさらに詳細に示されており、図5Cは本質的に、図5Bのさらにズームインされた領域A-Aを図解しているが、本アプローチの方法を使用して設計および最適化された結像レンズ系に対して、近軸入射瞳(190)で、またはその近くで収束する、逸脱した結像光線と関連付けられたベクトル投影光線経路からの影響を図解する。図5Cでは、カメラレンズ系からの複数の視野においてグリーンの逸脱した結像光線の投影された光線経路は、1つ以上の「NP」点近くの低視差量188内で収束する。光線ファンの同様の図解がレッドまたはブルーの光に対しても生成できる。近軸光線173の投影は、名目近軸NP点190、または結像面150の後方に距離Zで名目光軸185上に配置された、入射瞳もしくはその近くで収束できる。主光線171を含む、視野縁光線172の投影は、光軸185に沿ってオフセットNP点192Bまたはその近くで収束する。NP点192Bは、例えば、多量の全視野縁光線172の中心として、定量的に定義できる。「最小錯乱円」に対応する、代替のオフセットNP点192Aが識別でき、そこで近軸、縁、および中間または中間野光線が最小スポットに集約する。これらの異なる「NP」点は、近軸NP点からオフセット距離194Aおよび194Bだけ、および相互にオフセット距離194Cだけ、離れる。従って、より大きな近軸FOV、または非対称FOVをサポートする任意の所与の実際の結像レンズ組立体またはカメラレンズに対する集約「NP点」は典型的には、点ではなく、代わりに、オフセット低視差(LP)スマッジ(smudge)または量188であり得ることが理解できる。
スマッジまたは低視差量188内で、様々な考えられる最適または好ましいNP点が識別できる。例えば、視野縁光線172に対応するオフセットNP点は、改善された画像タイリングを提供するのを支援するために、強調できる。代替の中間視野(例えば、0.6~0.8)NP点(図示せず)も追跡して最適化できる。また、「LP」スマッジもしくは量188全体のサイズおよび位置、またはその中の好ましいNP点(例えば、192B)は、レンズ設計最適化に応じて変更できる。かかるパラメータは、レンズ組立体間の製造差に起因して、所与の設計の製造されたレンズ系に対して、レンズ間でも変わり得る。図5Cは、非近軸光線に対するこれらの代替オフセット「NP点」192A、Bは近軸NP点190の後、またはレンズおよび結像面からさらに離れて配置されているとして示しているが、本アプローチの方法を使用して最適化された、このタイプの他のレンズは、低視差量188で配置される同様の非近軸NP点192Aが、結像面と近軸NP点との間で生じ得る場合に提供できる。
図5Cは、低視差マルチカメラパノラマ捕捉装置の中心、装置中心196に対する位置も示す。光学的考察に基づき、改善されたパノラママルチカメラ捕捉装置300は好ましくは、装置中心196を低視差量188内に名目上位置付けるように最適化できる。その中に最適化された位置は、視野縁主光線に対する視差制御を優先するために、オフセットNP点192Aもしくは192Bのいずれかもしくは近接して、またはそれらの間のオフセット距離194B内に配置されることを含み得る。実際の位置はそこで視差最適化によって決まり、それは、入射瞳の球面収差に対するレンズ最適化、直接の主光線制約、もしくは歪み、またはそれらの組合わせによって決定できる。定義により、瞳収差は、物体が光学系の絞り位置または入射(射出)瞳に置かれる場合に、射出(または入射)瞳で観察され得る収差である。例えば、球面収差が過度に補正されるか、または不十分に補正されるように最適化されるかどうか、およびメリット関数で視野オペランドにどのような重み付けが使用されるかは、周辺視野または中間視野に対する非近軸「NP」点の位置決めに影響を及ぼし得る。「NP」点位置決めもレンズ系製造における製造公差および残存差異の管理によって決まり得る。装置中心196も、低視差量188に近接してであるが、中心オフセット距離198だけ、低視差量188からオフセットして配置できる。このアプローチは、公差管理も支援して、装置中心196近くに、ケーブル、回路、冷却ハードウェア、および関連構造のためにさらに空間を提供できる。かかる事例では、隣接したカメラ120はその結果、同じ場所にあるもの(図5A、5B)の代わりに、「NP」点のオフセットされた低視差量188(図5D)を有し得る。この例では、装置中心196が代わりに、近軸入射瞳、NP点190に、またはそれに近接して配置される場合、実質的にカメラ120の外側レンズ素子137の1つ以上は普通より小さく、所望のフルFOVは達成可能ではない。図9Cは、類似のレンズ系920の可能な位置決めをオフセット装置中心910に関して示す。
従って、視差無し(NP)点は、取り組むのに有用な概念であり、パノラマ画像捕捉およびシステム設計に有用に情報を与えて、低視差誤差レンズの設計を支援でき、それは理想的であり、その制約も理解される必要がある。NP点(複数可)およびLPスマッジのこの説明を考慮すると、改善された低視差マルチカメラパノラマ捕捉装置(従うべきレンズ設計例;図9Bの装置300)を可能にする際に、この領域における光線挙動を理解して、最適化すべき適切なパラメータまたはオペランド、および目指すべき性能の適切な目標レベルを定義することが重要である。後者の場合、例えば、65~70mmのトラック長をもつ低視差レンズは、LPスマッジが10mmもの幅である(例えば、オフセット距離194A)場合に対して設計できる。しかし、このパラメータがさらに改善される、代替レンズ設計は、長手方向のLPスマッジ幅または数ミリメートル以下の光軸(オフセット194A)に沿った幅の低視差量188を有し得る。
低視差量188の幅および位置、ならびに様々な主光線の投影のベクトル方向、ならびに低視差量内のそれらのNP点位置は、主光線170のファン(例えば、図2A、2B)と関連付けられたオペランドを使用する方法によるレンズ最適化中に制御できる。しかし、図5CのLPスマッジまたはLP量188は、入射瞳の球面収差の横成分の可視化であるとも理解でき、このパラメータは、主光線ファンの使用に対する、代替であるが、同等の、設計最適化方法で使用できる。具体的には、レンズ最適化中、例えば、Code Vを使用して、レンズ設計者は、入射瞳の球面収差の横成分(例えば、光線の高さ)に対する特別なユーザー定義関数またはオペランドを作成でき、それはその後、様々な方法で使用できる。例えば、オペランド値は、視野オペランドに対する均一または不均一な重み付けのいずれかを使用して、FOV全体または局所的視野にわたる値の残差平方和(RSS)として計算できる。局所的視野選好の後者の事例では、値は、近軸、中間、もしくは周辺視野に対する選好に応じて、入射瞳もしくはその近くの位置、または低視差量188内のどこかに対して計算できる。同等のオペランドは、図5Cに示されるように、オフセットNP点192Aの平面またはオフセットNP192Bの平面などの、平面における最小錯乱円の幅であり得る。最適化オペランドはまた、非均一に視野にわたる視差誤差を低減または制限するための重み付けで、中間視野よりも周辺または縁視野を優遇する不均衡な重み付けでも計算できる。代替として、最適化オペランドは、全視野にわたり(図7におけるように、コアFOV205内またはコアFOV205にわたって)名目上均一な方法で名目上低視差誤差を提供するために重み付けを用いて計算できる。そのタイプの最適化はマッピング用途に対してとりわけ有用であり得る。
低視差レンズ設計および最適化方法が主光線または入射瞳の球面収差に基づきオペランドを使用するかどうかにかかわらず、結果として生じるデータは結像遠近法(imaging perspective)における変化に関連して分析することもできる。具体的には、視野および色に対する視差誤差も、遠近法の中心(COP)の計算を使用して分析でき、COPは低視差量である可視の画像アーチファクトにさらに直接に関連付けられるパラメータであり、カメラシステムからの2つの異なる距離で物体を結像するための画像画素誤差または差で評価できる。遠近法の中心誤差は本質的に、複数の物体距離-近距離(3ft)における物体、対「無限遠」における別の物体など、を所与として主光線軌道における変化である。
図およびアーキテクチャにおいて、遠近法は、それらの高さ、幅、奥行き、および特定の点から見た場合の相互との関連での位置の正しい印象を与えるために、固体物体を2次元表面上に描く技術である。例えば、線または点遠近法を用いた図に対して、物体は、観察者からのそれらの距離が増すにつれて、小さく見える。かかる例示された物体は短縮遠近法にもさらされ、視線に沿った物体の寸法は、視線を横切るその寸法よりも短く見えることを意味する。遠近法は、場面から、視聴者の目まで、仮想的な矩形(図の平面として実現される)を通る光を、あたかも視聴者が窓を通して見ていて、見ているものを窓ガラスに直接描いているかのように、表すことによって機能する。
遠近法は、視差および立体認識の両方に関連する。一対の隣接した光学系を用いた、立体画像捕捉または投影では、遠近法は、奥行き感を提供できる、デュアルビュー視差、影付け、および遮蔽(occlusion)と共に、視覚的手掛かりである。すでに述べたように、視差は物体の位置または方向が、異なる位置から見た場合に違って見える視覚的認識である。少なくとも部分的にオーバーラップした視野をもつ一対の隣接したカメラによる画像捕捉の事例では、視差画像差は立体画像認識に対する手掛かりであるか、またはパノラマ撮像組立体に対する誤差である。
カメラまたは人間の目であろうと、光学系を用いて画像を捕捉するために、光学系の幾何形状および性能は、低視差(パノラマ)または高視差(立体)認識に関して結果として生じる画像の有用性に影響を及ぼす。具体的には、理想的なレンズに対して、物体空間からの全ての主光線は正確に入射瞳の中心の方を指し、入射瞳は、結果として生じる画像に関する遠近法の中心(COP)または視点の中心と一致する。かかる理想的なレンズに関して遠近法または視差における誤差はない。
しかし実際のレンズに関しては、物理的および画像品質制約の両方を有しているので、残存視差誤差が存在し得る。前述のとおり、実際のレンズに関して、第1のレンズ素子からの近軸主光線の投影は、共通の点、入射瞳の方を向き、その位置は、その第1の素子の前面からの軸方向の距離として判断できる。一方、非近軸主光線を含むように十分に大きいFOVを捕捉する実際のレンズに関して、物体空間内の主光線は、共通位置または近くの量の方を指し得るが、典型的には、入射瞳の中心からオフセットされた位置の方を指し得る。これらの主光線は本質的に単一点で一致しないが、それらは、適切なレンズ最適化により小さい低視差量188(例えば、LP「スマッジ」)を通って向けられ得る。LPスマッジ内の光線の縦方向または軸方向変動は、光軸を横切る主光線の位置から判断できる。光線誤差も、LPスマッジ内の主光線の横方向幅または軸方向位置として測定できる。
視差補正の概念は、遠近法の中心に関して、図5Dで図解されている。第1のカメラレンズ120Aは、その主光線投影が低視差量188Aに向かって収束する、2つの外側光線ファン179Aおよび179Bからの光を含む、物体空間105から光を収集して、少なくとも1つのコアFOVに結像する。これらの光線ファンは、図2Bまたは図5Cに示されるように、視野縁近くまたは視野縁光線のグループ172に対応し得る。図5Cに示したとおり、LP量188内で、概ね画像空間に向いた、物体空間からのかかる光線のベクトル投影は、視野縁光線を好むので、選択されるか選好され得る代替NP点192Bまたはその近くで、結像面を越えて光軸185を横切ることができる。しかし、同様に図5Cに示されるように、かかる視野縁光線172は正確に同じ点で光軸185を交差する必要はない。これらの差は、物体空間105に変換して戻される場合、カメラレンズの結像FOV(例えば、図7におけるように、コアFOV205)内または結像FOVにわたる結像光線束もしくはファンに対する視差または遠近法における小さな差に変換される。
図5Dに示される、第2の隣接したカメラレンズ120Bは、同様の性能を提供して、光線ファン179Cを含む、対応する低視差量188B内で収束するこれらの主光線のベクトル投影をもつコアFOV205内からの、主光線170のファンを結像できる。LP量188Aおよび188Bは、カメラ幾何形状および隣接したカメラ間の継ぎ目、またはレンズ系製造公差およびコンペンセータを含む要因、または装置中心196がLP量188からオフセットされているかどうかに応じて、オーバーラップするか、もしくは一致するか、またはオフセットされ得る。これらのLP量188がもっとオーバーラップするか、または一致すれば、2つのレンズ系の遠近法の中心はそれだけさらにオーバーラップする。カメラレンズ120Aの光線ファン179Bおよびカメラレンズ120Bの光線ファン179Cも名目上、相互に平行であり、例えば、それらの間に視差誤差はない。しかし、たとえレンズ設計でFOV縁における極めて少ない残存視差誤差しか認められていなくても、レンズ系間の製造差異でその差が増大し得る。
分析的には、実際のレンズからの主光線データは、色誤差を含む、遠近法誤差の観点から、視野角の関数としても表現できる。遠近法誤差はその結果、異なる距離または方向に配置された2つの物体間の像における位置誤差として分析できる。遠近法誤差は、COP位置の選択、結像FOV内の角度、および色誤差によって決まり得る。例えば、グリーンの遠近法誤差を最小限にするために、COPを優先させることは有用であり得る。遠近法差または視差誤差は、結像FOV内の1つ以上の視野角に対する遠近法の中心に関連したLP量188内の色の軸方向位置(Δz)または幅を最適化することによって低減できる。遠近法の中心はグラフ化もされて、Z(軸方向)のインターセプト位置(mm単位での距離)対視野角の、色ごとの、曲線族として分析できる。代替として、捕捉された画像がどのように見えるかのより良いアイディアを得るために、COPは、グラフ化され、視野と対比して、色ごとの、画像画素における視差誤差として、カメラシステムに対する曲線族として分析できる。
カメラレンズ系の設計中、目標は、コアFOV205(図7)内の結像に対して、視差誤差を数画素以下に制限することであり得る。代替として、例えば、コアFOVの外側縁に対して、および拡張FOV領域(提供される場合)に対して、とりわけ周辺視野において視差誤差を制限することは好ましくあり得る。カメラに対する残存視差誤差が従って十分に小さい場合、それらの共有継ぎ目160近く、または結像がオーバーラップする拡張FOVの継ぎ目関連領域内の、2つの隣接したカメラ間の遠近法誤差として見られる視差差が、同様に数画素以下(例えば、≦3~4画素)に制限され得る。レンズ設計、装置設計、および用途に応じて、レンズ系に対する視差誤差を、遠近法誤差によって測定されるとおり、コアFOV全体、周辺視野、またはその両方に対して≦0.5画素まで、さらに低減することは可能で好ましくあり得る。2つの隣接したカメラの各々に対するこれらの残存視差誤差が十分に小さい場合、任意の残存継ぎ目160またはブラインド領域165からの画像アーチファクトを補正または隠しながら、画像を、取得、トリミング、および容易にタイリングできる。
図1のそのタイプのパノラマカメラの設計を続けるが、複数の隣接したカメラを有する、改善された低視差マルチカメラパノラマ捕捉装置(300)を可能にするために、レンズ最適化方法およびパラメータの選択が重要であり得る。図2Aのそれのような、カメラレンズ120、またはレンズ素子135のシステムが、出発点として使用できる。カメラレンズはコンプレッサーレンズ素子(複数可)、および内側レンズ素子140を有しており、その後者は、絞りの前の広角レンズグループ、および絞りの後ろの接眼様レンズグループから構成されるとしても定義できる。視差誤差を低減するためのかかるレンズの設計において、近軸から非近軸への主光線のファン125(図2Aを参照)、または縁主光線のファン170(図2Bを参照)、または視野縁光線の局所的な集合172(図5Cを参照)もしくは179A、B(図5Dを参照)がカメラレンズ組立体によってどのように結像されるかを考慮することは有用であり得る。主光線の集合またはセット(例えば、31の画定された光線)に対してメリット関数オペランドのセットを使用することによりレンズ設計を最適化することは可能であるが、最適化プロセスはその結果、煩雑になり得る。代替として、改善された低視差マルチカメラパノラマ捕捉装置(300)の設計の追跡において、改善された性能は、入射瞳または、レンズ系の後ろのLPスマッジ量188内の同様の選択された表面もしくは位置(例えば、オフセットNP点192Aまたは192B)における球面収差の横成分を強調する光線パラメータまたはオペランドの低減されたセットを使用することによっても得られることが確認された。代替非近軸入射瞳における球面収差の横成分に対する最適化は、非近軸主光線を強調するメリット関数重み付けを使用して達成できる。
別の態様として、低視差マルチカメラパノラマ捕捉装置では、カメラ120の外側レンズ素子の勾配付き縁またはその近くに入射する主光線のファン170(図2Bを参照)は、隣接したカメラの外側レンズ素子の勾配付き面の縁132またはその近くに入射する主光線のファン170(図1を参照)と平行であるべきである。外側レンズ素子137またはコンプレッサーレンズの「縁」は3次元構造(図2Bを参照)であり、それはガラスの厚さを横切る平坦な縁を有し得、そのレンズ素子、レンズ組立体全体、およびハウジング130、ならびに隣接した継ぎ目160およびその構造の製造公差にさらされることに留意されたい。勾配付き縁が外側レンズ素子にカットされる場所の位置定義は、材料特性、フロントカラー、歪み、視差補正、公差、および任意の余分な拡張FOV215の範囲を含む要因によって決まる。外側レンズ素子137は、勾配付き縁132がレンズにカットされる場合ファセット付き外側レンズ素子となり、名目上、多角形パターン(例えば、五角形または六角形)に従う多角形状の縁のセットを作る。
多角形状視野からの入射光を捕捉する多角形状を備えた外側レンズ素子を有するカメラシステム120はその結果、結像面150で多角形状画像を形成し、捕捉された多角形視野の形状は名目上、多角形外側レンズ素子の形状と一致する。所与の一対の隣接したカメラに対するこれらの勾配付き縁のカットは介在する継ぎ目160またはその近くでの結像およびオプトメカニカル構造の両方に影響を及ぼすことができる。
別の態様として、図5Eは「フロントカラー」を示しており、それは軸外または縁視野点に向けられた、色対視野による名目光線経路における差である。典型的には、所与の視野点に対して、青の光線が最も遠くにオフセットされる。図5Eに示されるように、第1のレンズ素子137上で受け入れられた青の光線157は、同じ結像野点に向けられた受け入れられた赤の光線158よりも約1mmさらに外側のΔXである。レンズ素子137が十分に大きくない場合、この青い光は切り取られるかまたはぼかされ得、色むらアーチファクトが結像野の縁またはその近くで生じ得る。フロントカラーは、光学系に対する視野絞りとして機能する外側コンプレッサーレンズ素子437の多角形FOVまたは多角形縁の虹のような輪郭として捕捉された画像内容内に出現し得る。画像縁近くでフロントカラー関連の色むらアーチファクトを生じ得る局所的色伝達差は、外側コンプレッサーレンズ素子137の勾配付き縁における差分ビネッティングによって、またはコンプレッサーレンズ素子340(図9B)における縁切断(edge truncation)から、または開口絞り145を通って生じ得る。改善されたカメラレンズ(320)を提供するためのレンズ設計最適化中、フロントカラーは、コンプレッサーレンズグループまたはレンズ設計全体内でのガラス選択によることを含む、レンズ設計の色彩補正の一部として、または横方向色の補正におけるトレードオフとして、低減できる(例えば、ΔX≦0.5mm幅まで)。改善されたカメラレンズ(320)が拡張FOV215(図7)を有するように、オプトメカニクスが真っ直ぐなカットもしくは勾配付きレンズ縁132を拡張FOV215の縁で、もしくはそれを越えて押し、そのため残存フロントカラーがコアFOV220の外側で生じるように設計することによっても、捕捉された画像上のフロントカラーの影響もオプトメカニクス的に低減できる。フロントカラーアーチファクトはその結果、画像処理中の画像トリミングステップ中に取り除くことができる。フロントカラーまたは横方向色の影響も、画像処理中の空間的に異なる色補正によって低減できる。別の選択肢として、改善されたカメラレンズ(320)は、開口絞りまたはその近くに、例えば、赤または緑の光に対してよりも青い光に対してより大きな透過開口部(直径)を提供できる、色依存性開口部を持つことができる。
継ぎ目またはその近くにおける光学性能は、歪み(図6)および定義された視野のセット(図7)に関連して、一部、理解できる。具体的には、図7は、潜在的な画像光が2つの隣接したカメラによって収集できる視野の潜在的なセットを示す。一例として、十二面体もしくは切頂二十面体または他の多角形レンズカメラ組立体と関連付けられているかにかかわらず、それを隣接したレンズまたはカメラチャネルから離している継ぎ目160をもつ、五角形状の外側レンズ素子を備えたカメラは、レンズがその中に存在する円錐台もしくは円錐容積の頂点(60)または多角形縁まで広がる理想的なFOV200を撮像できる。しかし、レンズハウジングの有限厚、勾配付きレンズ素子縁の物理的態様、機械式楔、および公差を含む、継ぎ目で生じ得る様々な物理的制約のために、通過画像光のより小さいコアFOV205が実際に撮像できる。外側レンズ素子137に対するコーティングされた開口部は、少なくともコアFOV205を幾分かの余裕(例えば、0.5~1.0mm)をもって取り囲むべきである。レンズは斜角を付ける前にARコーティングで製造できるので、コーティングは継ぎ目まで延在できる。コアFOV205は、所与の実際のカメラ120が撮像できる最大の低視差視野として定義できる。同等に、コアFOV205は、その境界がその多角形円錐(図5Aおよび5Bを参照)の境界と名目上、平行であるカメラチャネルのサブFOVとして定義できる。理想的には、小さい継ぎ目160、ならびにFOVポインティングの適切な制御および較正を用いて、名目上のコアFOV205は、サイズにおいて理想的なFOV200に近づくか、または一致する。
カメラ位置合わせおよび較正プロセス中、画像処理および画像タイリングまたはモザイキングを支援するために一連の画像基準210がコアFOV205の縁の1つ以上に沿って確立できる。第1のカメラによってサポートされるコアFOV205と、隣接したカメラによってサポートされるそれとの間の結果として生じる間隙は、ブラインド領域165(図5A、5B)をもたらし得る。ブラインド領域165、および場面からの画像内容の関連した損失を補正するために、カメラは拡張FOV215をサポートするように設計でき、それは十分な余分のFOVを提供して、継ぎ目幅および公差、またはオフセット装置中心196を吸収できる。図7に示されるように、拡張FOV215は隣接したカメラのコアFOV205の縁とのオーバーラップ127を提供するために十分に拡張され得るが、とはいえ拡張FOV215はさらにもっと大きくできる。この制限された画像オーバーラップは、図3に関して前述したように画像処理におけるわずかな量の画像解像度の損失、視差誤差、および幾分かの複雑化をもたらし得るが、継ぎ目の見掛け幅およびブラインド領域を減少させるのにも役立ち得る。しかし、本アプローチによって提供されるように、余分のオーバーラップFOVが適度(例えば、≦5%)であってその中の残存視差誤差が十分に小さい(例えば、≦0.75画素の遠近法誤差)場合、画像処理負担は非常にわずかであり得る。拡張FOV215までの画像捕捉は、改善されたパノラママルチカメラ捕捉装置300の動作中にカメラ較正および画像補正をサポートする中間捕捉ステップを可能にするためにも使用できる。図7は、コアFOV205のサブセットに対応する、FOVセットの1つ内の内接円を示しており、それはそのカメラからの全ての方向で捕捉できる共通コアFOV220である。共通コアFOV220の角度幅は、カメラの画像容量に対するクイック参照として有用であり得る。コアFOV205全体を含めるために、より大きな共通コアFOV220の代替定義も有用であり得る。共通コアFOV220またはコアFOV205から、理想的なFOV200を越えて、拡張FOV215を名目上含めるように、延出している破線(225)は、低視差誤差撮像および隣接したカメラによって捕捉された画像の容易なタイリングを可能にするために、レンズ設計で主光線もしくは主要光線の注意深いマッピングまたは入射瞳の球面収差の制御をサポートできる領域を表す。
2つの隣接したカメラ間の2つの隣接した使用可能な開口部間の距離に広がる継ぎ目160にわたり、視差を低減して画像タイリングを改善するために、画像光が有限距離に関して実質的に真っ直ぐで、平行、かつ共通の間隔で捕捉される場合、好都合であり得る。拡張FOVを提供してブラインド領域を制限するために必要なFOVオーバーラップの量は、入射瞳(近軸NP点)の相対近接または装置中心196(例えば、十二面体形状の中心)に対する低視差量188内の代替優先面(alternate preferred plane)(例えば、周辺光線を強調するため)を制御することによって判断できる。拡張FOV215の量は好ましくは5%以下(例えば、37.5°の名目上のコアFOVに対して1.8°以上の追加視野)であり、それによりカメラの周辺視野はその結果、例えば、約0.85~1.05である。装置中心における間隔制約、および製造公差がうまく管理される場合、拡張FOV215は1%以下の追加視野まで低減できる。拡張FOV215内で、視差は名目上のシステムレベルに制限されるべきであるが、他方、画像解像度および相対照度の両方は申し分ないままである。視差誤差を低減するための視差最適化は、主光線または瞳収差制約のいずれかを使用でき、高FOV領域(例えば、0.85~1.0視野)に対する最適化を目標とするか、またはそれを越えて拡張FOV215(例えば、図7、約0.85~1.05の部分視野範囲)によって提供された余分のカメラオーバーラップ領域を含む。
加えて、制限された視差誤差および改善された画像タイリングを備えた、改善された低視差マルチカメラパノラマ捕捉装置(300)を可能にする際に、外側レンズ素子のFOVの縁、例えば、周辺視野で、またはその近くで通過する画像光に対する画像歪みを制御することは重要であり得る。幾何光学では、歪みは、場面内の直線が画像内で真っ直ぐなままである好ましい状態(例えば、直線投影)からの逸脱である。それは光学収差の1つの形であり、場面からの光線が結像面にどのようにマッピングされるかを記述する。一般に、画像捕捉のため、人が見るために使用されるレンズ組立体では、画像歪みを最大+/-2%に制限することが好都合である。現在の用途では、隣接したカメラによって捕捉された画像からパノラマ画像をタイリングまたは組み合わせるために、2%以下の適度の歪みを有することも有用であり得る。参照として、筒歪みにおいて、画像倍率は、光軸からの距離に伴って減少し、明白な影響は、球面(または筒)周囲にマッピングされている画像のそれである。半球状またはパノラマビューを捉えるためにしばしば使用される、魚眼レンズは典型的には、無限に広い物体平面を有限の画像領域にマッピングする方法として、このタイプの歪みを有する。魚眼レンズ歪み(251)は、f-θ歪みからの逸脱として、大きい可能性がある(例えば、全視野で15%または90°半幅(HW))が、小さい視野(例えば、≦30°HW)に対しては数パーセントだけである。別の例として、レーザー印刷またはスキャンシステムでは、f-θ結像レンズは多くの場合、最小限のバンディングアーチファクトおよび画素配置に対する画像処理補正で画像を印刷するために使用される。具体的には、F-θレンズは、略一定のスポットまたは画素サイズ、および視野角θ(h=f*θ)をもつ線形である画素位置決めをもたらす筒歪みを用いて設計される。
従って、35~40°以下のハーフFOVを捕捉する改善された低視差カメラ320は、歪みが十分に低い可能性があるので、魚眼歪み251を有し得る。しかし、歪みは、改善された低視差マルチカメラパノラマ捕捉装置(300)での使用のための改善されたカメラレンズ組立体の設計に対してより好都合に最適化できる。第1の例として、図6に示されるように、結像野の縁またはその近くで局所的な名目上のf-θ歪み250Aをもつカメラレンズ組立体を提供することは好都合であり得る。一例では、画像歪み250は、約0.75視野において約1%でピークに達し、レンズ設計は、約0.85視野を下回るf-θ歪み250を提供するように最適化されない。しかし、レンズ設計プロセス中、メリット関数は、約0.9~1.0の部分視野範囲に広がる周辺視野に対してなど、視野縁またはその近くで結像された光線に対して、名目上のf-θのような歪み250Aまたは略平坦な歪み250Bを提供するように制約できる。f-θタイプまたは平坦な歪み補正をもつ高視野のこの範囲は、六角形または五角形の外側レンズ素子137を備えたレンズ組立体のものなど、角または頂点60を通って結像された光線を含む、図2Bの主光線のファン170または周辺光線を含む。追加として、レンズ素子135およびハウジング130の両方を含む、カメラ120、ならびにパノラママルチカメラ捕捉装置内のカメラ120の集合に適用できる製造公差および動的影響(例えば、温度変化)のために、周辺視野内の名目上のf-θまたは平坦化歪みの領域を名目上のフル視野(例えば、0.85~1.05)を越えるまで拡張することは好都合であり得る。これは図6に示されており、その図では低減または平坦化された歪みの領域はフル視野を越えて約1.05視野まで拡張する。かかる周辺視野範囲では、総歪み変化を0.5%以下に制限することは好都合であり得る。周辺視野歪みを制御して、画像「縁」を隣接した五角形状領域内で真っ直ぐに保つ。これは、画像をタイリングする際に、画素のもっと効率的な使用、従って、より高速な画像処理を可能にし得る。
前述の説明は、歪みを、結像面における像収差として、古典的な意味で論じる。しかし、低視差カメラでは、この残存歪みは典型的には、コンプレッサーレンズ素子(137、または図9Bの340および345B、C)からの寄与の、集合的内側レンズ素子(350図9B)のそれに対する、トレードオフまたは名目上の取消しである。重要なことには、外側コンプレッサーレンズ素子の歪み寄与によって生じた光線の方向転換も、結像光線経路および低視差量に向かう投影主光線経路の両方に影響する。これはその結果として、少なくとも一部の低視差レンズの設計に対して、歪み最適化は、視差または視野縁NP点または遠近法の中心最適化に影響を及ぼし得ることを意味する。
画像タイリングを支援するために、視差、歪み、相対照度、解像度、および他の性能要因が注意深く最適化される周辺視野または部分視野範囲(例えば、約0.85~1.05、または5%以下の追加視野を含む)の定義は、装置およびカメラ幾何形状によって決まり得る。一例として、六角形状レンズおよび視野に対して、周辺視野の下限は約0.83として、五角形レンズに対しては約0.8として定義できる。図7は、2つの隣接した五角形状外側レンズ素子およびFOVセットをもつ事例を図解したが、オーバーラップする画像捕捉の小さい領域をサポートするために周辺視野および拡張FOVを定義するアプローチは、隣接した五角形および六角形カメラをもつマルチカメラ捕捉装置設計、あるいは隣接した五角形カメラ、あるいは他の多角形状または任意の形状もしくは輪郭一般の隣接した縁をもつカメラに適用できる。
拡張FOV215を機能的に有用にするために、コアFOV205に対応する画像センサー上に形成された名目上の画像は、画像センサーの使用された画像領域を、少なくとも、拡張FOV215も結像されるのを可能にするために十分なだけ、アンダーフィル(underfill)にする必要がある。これは、製造されたレンズ組立体の理想的なものからの実際の差異、またはオフセット装置中心196を有する設計、および改善された低視差マルチカメラパノラマ捕捉装置(300)における製造差異を吸収するのを支援するために行われ得る。しかし、後で説明するように、レンズ組立体の賢明な機械的設計は、所与のカメラの結像野およびカメラ間の継ぎ目の両方に影響を及ぼして、機械的変位または楔を制限して、視差誤差およびFOVのオーバーラップまたはアンダーラップを低減するのに役立ち得る。同様に、画像FOV(コアFOV205)サイズおよび位置のコンペンセータまたは基準での調整ならびに画像重心追跡および形状追跡が役立ち得る。拡張周辺視野に関する歪みの最適化および低またはゼロ視差撮像、構成要素および組立体差異を制限して補正するための注意深い機械的設計、ならびに補正基準またはコンペンセータの使用、を何らかの組合わせに一緒にすると、優れた総合的なシステムソリューションを提供できる。結果として、カメラから捕捉された画像は、名目コアFOV205に対して予期される名目サイズおよび形状まで容易にトリミングでき、複数カメラからの画像は次いで、一緒にモザイキングまたはタイリングされたパノラマ画像を、画像事後処理の低減された負担で形成できる。しかし、拡張FOV215は、必要に応じて、十分な追加の角度幅(例えば、θ≦FOVの5%)を提供して、継ぎ目で生じ得る、予期される楔または傾斜角θと一致するか、または上回るべきである(θ≧θ)。
低視差パノラママルチカメラ捕捉装置(100または300)において使用できるタイプの改善された結像レンズの設計において、いくつかの一次パラメータが設計努力に情報を与えるために計算できる。主要なパラメータは、選択された多角形構成(レンズサイズ(FOV)およびレンズ形状(例えば、五角形))およびセンサーパッケージサイズに基づく、円錐台または円錐容積の目標サイズである。推定できる他の主要なパラメータは、近軸入射瞳の名目位置、コンプレッサーレンズグループおよび広角レンズグループの焦点距離、ならびに広角グループによって見えるFOVを含む。
しかし、改善された低視差パノラママルチカメラ捕捉装置(300)での使用のための改善されたカメラレンズ(320)に対する設計最適化は、多数の他のレンズ属性および性能測定基準がどのように優先順位付けされているかによっても決まる。具体的には、関連するシステムパラメータは、主光線のファンまたは入射瞳の球面収差を使用して最適化されるので、結像野の縁もしくは内側野位置または両方における視差または遠近法の中心(COP)誤差の制御を含み得る。これらのパラメータは、「LPスマッジ」または量188の幅および位置、入射瞳またはLPスマッジと装置中心196との間の任意の中心オフセット距離のサイズ、間隙または継ぎ目の目標幅、ブラインド領域165の範囲、ならびにオーバーラップを提供するための任意の周辺または拡張FOVのサイズを含む他の重要なパラメータと密接に関連している。関連する性能測定基準は、画像解像度またはMTF、歪み(特に、周辺視野における、およびコンプレッサーレンズグループの第1のコンプレッサーレンズ素子の歪み)、横方向色、相対照度、フロントカラー、およびカラービネッティング、テレセントリック性、ならびにゴースト発生を含み得る。他の関連する設計変数は、コンプレッサーレンズ素子の数、コンプレッサーレンズグループ、広角レンズグループおよび魚眼レンズグループの構成、ガラス選択、第1のコンプレッサーまたは外側レンズ素子の許容される最大サイズ、センサーパッケージサイズ、トラック長、結像面から最も近い前のレンズ素子までの名目距離(例えば、作動距離)、結像面から入射瞳までの名目距離、結像面または入射瞳から多角形中心または装置中心までの名目距離、製造公差および制限、ならびにコンペンセータの使用などの、機械的および材料パラメータを含み得る。しかし、図1のタイプのタイプの、しかし、もっと小さい継ぎ目570、および改善された視差性能を提供できる、外側ファセット付きドーム510を使用する、パノラママルチカメラ捕捉装置(500)の改善されたバージョンも可能である。
図8は、6つのカメラ520の部分が外側ドームまたはシェル510内に見える、パノラママルチカメラ捕捉装置に対する代替の改善されたオプトメカニカル設計の断面図を示す。これらのカメラ520の各々は、少なくとも1つのコンプレッサーレンズ素子550、内側レンズ素子540、およびセンサー基板525から構成されており、それらはハウジング530内に取り付けられている。これらのカメラ520は、大抵単純に名目同心外側および内側表面515および517を有していて、2つの部品から組み立てられて、マルチカメラ装置を最小直接接触で取り囲んで保護する、透明な外側ドームまたはシェル510の内部容積内に存在する。代替として、シェルまたはドームは、カメラ組立体を取り付けるか、または位置合わせする内部特徴も有し得る。例えば、カメラハウジング530は、レンズ系間の、継ぎ目570で、もしくは継ぎ目570内、または頂点に配置された機械的特徴と相互作用するか、または接触し得る拡張部分560を有し得る。例えば、これらの機械的特徴は、ドーム510の内側表面517に鋳造または機械加工される合成面取りもしくはファセット580を含み得る。代替として、これらの機械的特徴は、シェルまたはドーム510から突き出るように、鋳造または接着される。または突起および差込みの組合わせ。これらの拡張部分560は、パノラママルチカメラ捕捉装置500がドームまたはシェル510の内部容積内で名目上中心に置かれるのを支援し得、それにより各カメラ520に対する捕捉されたコアFOV205がドームに対して最小限に傾斜またはオフセットされ、各カメラによって見られる通過画像光は、そのコアFOV205の範囲にわたって名目上一定のシェル厚さを経験する。
図8Bは、代替の改善されたファセット付きドームまたはシェル510の断面図を提供し、内部表面517上の合成面取りまたはファセット580を含む、局所的な機械的特徴が、ドームまたはシェルの幾何形状部の縁または継ぎ目に沿って溝575を提供するように延在し得ることを図解する。溝575は、外側レンズ素子(550)の境界に位置合わせし、部分的にその境界を画定する。この事例では、各幾何形状部は、所与のカメラ520と関連付けられている同心シェル部545に対応し得、それに関連付けられた拡張部分560は機械的位置決めおよび位置合わせを支援するために相互作用し得る。
代替として、図8Bに示されている透明なファセット付きドーム510のこれらのシェル部545は、非同心の内側および外側表面を有し得、それによりそれらの各々は、レンズ素子として機能して、関連付けられたカメラ520に対して、屈折力を提供し得る。この事例では、シェル部545は、カメラ520の光学設計において、外側レンズ素子、またはコンプレッサーレンズ素子550として機能し得る。シェル部545または外側コンプレッサーレンズ素子550の内側表面517および外側表面515に対する名目半径は、カメラ520の名目光学設計、およびファセット付きシェルまたはドーム510の材料および製造限界によって決まる。カメラからの機械的位置決め特徴または拡張部分560が次いで位置決めまたは相互作用し得る、合成面取りまたはファセット580(図8C)を含む、機械的取付け特徴の提供は同様に、2つの隣接したシェル部545または外側コンプレッサーレンズ素子550の曲率が相互にどの程度合致するかによって決まり得る。要約すれば、ファセット付きドームまたはシェル510は、レンズファセットまたはレンズ素子550であるシェル部545を有し得、それは、成形されたか、もしくはファセット付きノッチ部または合成面取り580によって相互に分離され得る。
レンズおよびハウジングを含む、カメラが、局所的な屈折力を提供する透明なドームまたはシェルとどのように光学的および機械的に相互作用し得るかをより良く理解するために、潜在的な設計ソリューションの範囲がまず、調査され得る。第1の図解例として、図2A、Bに示されるカメラ120は、単一のコンプレッサーレンズ素子、外側レンズ素子137を有しており、メニスカス形状をもつOhara SLAH53ガラスを使用し、31.8mmの曲率半径の外側表面138、および81.5mmの曲率半径の内側表面139をもつ。前述のマルチカメラ捕捉装置100(図1)は、外側レンズ素子の頂点から名目LP量位置まで測定して、約67mmの半径を有する。この例では、画像光115になる物体空間105からの入射光110は、外側表面138に遭遇するときに著しく内側に(光軸185に向かって)屈折される。
第2の図解例として、図9Aは、パノラママルチカメラ捕捉装置用のカメラレンズに対して、図2Aのそれに対して変更されたレンズ形式を備えた代替の改善された光学設計の断面図を提供する。このカメラ光学系は、外部からアクセス可能な離散外側レンズ素子をもつ、図1のタイプの改善されたパノラママルチカメラ捕捉装置で使用され得る。それは、図8A~Bおよび図10A~Cおよび図10Eのタイプの改善されたパノラママルチカメラ捕捉装置(500)でも使用され得、その場合、外側レンズ素子、または第1のコンプレッサーレンズ素子はシェルまたはドームの部分である。図9Aでは、カメラ320のレンズ系は光線310を物体空間305から収集して、視野325内からの画像光315を提供し、それらを、外側レンズ素子340および内側レンズ素子350から構成される、レンズ素子335を通るように向けて、結像面360において像を提供する。このレンズ系は、改善された画像品質、テレセントリック性、および視差制御を提供するが、これらの改善は図9Aでは明らかではない。この例では、外側レンズ素子は3つのコンプレッサーレンズ素子345a、345b、および345cのグループを含み、屈折力、または光曲げ負担(light bending burden)が複数の外側レンズ素子間で共有される。この設計例では、内側コンプレッサー素子345bおよび345cは、接着(cemented)またはエアスペースダブレットとして完全には結合されていない。複数のコンプレッサーレンズ素子を備えた設計構成は、ガラスタイプがクラウンガラスおよびフリントタイプガラスの両方を好都合に使用するように変更できるので、色補正に対しても有用であり得る。この例では、外側レンズ素子340、または第1のコンプレッサーレンズは、SLAH53ガラスのメニスカス形状レンズ素子であり、約55.8mmの曲率半径の外側表面338、および約74.6mmの曲率半径の内側表面339をもつ。最適化された改善されたマルチカメラ捕捉装置500全体は、外側レンズ素子の頂点から名目NP点位置まで約65mmの名目半径を有し得る。この例では、画像光315になる物体空間305からの入射光310は、外側表面338に遭遇するときに著しく内側に(光軸185に向かって)屈折されるが、図2Aレンズの第1の表面によって提供されるものほど劇的には屈折されない。
図9Bは、改善されたパノラママルチカメラ捕捉装置300で使用できる改善されたカメラ320に対する代替および改善されたオプトメカニカル設計の断面図を提供する。この例示的な設計では、カメラレンズ320は、コンプレッサーレンズ素子が、接合されたダブレットとして提供された第1のコンプレッサーレンズ素子340ならびに第2および第3のコンプレッサーレンズ素子(345Bおよび345C)を含む、コンプレッサーレンズグループに分けられているレンズ形式を有する。内側レンズ素子350は、開口絞り355の前に配置された広角レンズグループを含み、それは第4のレンズ素子342、および絞りの後ろの接眼レンズグループを含む。前述のとおり、レンズ系は、低視差量388内に位置する非近軸主光線NP点392からオフセットされている近軸NP点390を提供する。この量のサイズまたは幅、およびその中の潜在的関心のNP点の位置(例えば、近軸、中間視野、周辺視野、最小錯乱円ベースの)は、設計優先度および視差最適化(例えば、入射瞳の球面収差、主光線ファン、歪み)によって決まる。図2A、図9A、および図9Bのカメラレンズ系設計例のレンズ形式は類似しているが、レンズは、詳細および性能において、それらの異なるコンプレッサーレンズ構成に伴ってを含み、変わる。仕様および最適化法および優先度における差異のため、こられのレンズは、費用、性能、および製造可能性においても異なる。
図9Cは、前部レンズ中心と結像面950との間にトラック長980を有する、改善されたカメラ320の別の図解を提供し、それは、結像面950から低視差量992までのオフセット距離925に位置付けられ得る。装置中心混雑を改善するための1つのアプローチとして、カメラ920、そのハウジング(図示せず)、および改善された装置300全体は、図5Cに関して前述したのと同様に、軸中心オフセット距離915を低視差量992と装置中心910との間の光軸985に沿って提供するように設計できる。オフセット距離915(例えば、1~4mm)内に設計することは、電力、通信、もしくは冷却接続、ケーブルのため、およびセンサーパッケージ952のための機械的支持のため、または他の構造部材のための余分な空間を提供できる。図9Cに示されるカメラシステム320の例では、改善された低視差マルチカメラパノラマ捕捉装置(500)は十二面体形状を有し得、その結果、装置中心910は名目十二面体多角形構造の中心である。このオフセット距離は、FOVの縁近くのレンズの最適化と相互作用するので、カメラ320および装置500全体の設計プロセス中に決定される必要がある。従って、この最適化は、継ぎ目幅、歪み補正、フロントカラーの制御、周辺光線(縁光線972)もしくは結像光線975一般に対して低減された視差、もしくはLP量992の範囲および下部構造に対する最適化、レンズ素子のサイジング(特にコンプレッサーレンズグループ955に対する)、または拡張FOV215に対する許容差によって決まり得るか、またはそれらと相互作用し得る。理解されるように、ファセット付きドームを用いた本アプローチは、縮小された継ぎ目幅の改善された低視差マルチカメラパノラマ捕捉装置500を可能にし得、それはその結果、装置中心オフセット距離915の大きさまたは拡張FOV205の大きさを低減するのを支援し得る。
別の例として、図9Dは、パノラママルチカメラ捕捉装置での考えられる使用のためのカメラレンズに関して、図2Aのそれに対して、変更されたレンズ形式を備えた、代替の改善された光学設計の断面図を示す。この事例では、カメラ320の外側レンズ素子340は、外側レンズ素子340によって表される、単一のコンプレッサーレンズ素子を有する。この外側レンズ素子340はOhara S-LAH63ガラスを使用するが、95.3mmの曲率半径の外側表面338、および-293.5mmの底面曲率半径の内側表面339を有しており、他方、マルチカメラ捕捉装置500全体は、95mmの名目半径を有する。図9Dによって示唆されるように、内側表面339は実際には、複数の高次項で修正される底面曲率をもつ、複雑な非球面形状を有する。レンズ形状は、軸上で両凸で、中視野に対しては略平凸、広視野に対してはメニスカス形状である、基本的に平凸な空間的に平均化されたレンズ素子形状をもつ。この例では、画像光315になる物体空間305からの入射光310は、光が外側表面に遭遇するときには名目上屈折されないが、その後、第2または内側表面において、光軸および内側レンズ素子に向かって、図2Aまたは図9Aレンズ系のいずれかにおける第1または外側レンズ素子の第2の表面によって提供されるよりも、さらにもっと劇的に屈折される。
確かに、図2Aおよび図9A~Dの、それらの異なるコンプレッサーレンズ構成を備えた、カメラレンズ系設計例は、形および性能において、ならびに費用および製造可能性において異なる。優先度に応じて、これらの設計形式はさらに最適化でき、異なる形状は、異なるマーケットまたは用途に対して、個々により良く適し得る。前述の例では、最も外側のレンズ素子、または第1のコンプレッサーレンズ素子は、Ohara SLAH52、SLAH53、およびSLAH63ガラス(またはSchott Glassからの同等のガラス(例えば、N-LAF36およびN-LASF43))を使用しており、それらは、可視スペクトル屈折率n約1.80およびアッベ数V約41.5をもつハイインデックス、低分散フリントガラスである。コンプレッサーレンズ素子を含む、カメラレンズ組立体520一般におけるレンズ素子に対して他の光学材料が使用できることが理解されるべきである。例えば、Ohara SLAL-18のようなハイインデックス、低分散、mid-crownガラスの使用は色補正に対して有用であり得る。別の例として、レンズ素子はAlon(n約1.79、V約57~72)またはスピネルなどの、光学セラミックスからも作ることができ、それらは、サファイアに似た、極めて耐久性のある材料であるが、優れた光透過性、低分散、および制御可能な変更可能等方性結晶構造を備えている。本アプローチのカメラレンズは、屈折性、勾配率、ガラスもしくは光学ポリマー、反射性、非球面もしくは自由形式、キノフォーム、フレネル、回折もしくはホログラフィック、サブ波長もしくはメタサーフェス、光学特性から構成されるか、または含む光学素子でも設計できることも理解されるべきである。これらのレンズ系は、無彩色もしくはアポクロマティック色補正、または熱デフォーカス感度抑圧(thermal defocus desensitization)を用いても設計できる。
これに対して、光学ドームまたはシェル510は、溶融シリカ(n約1.46、V約67.8)、n-BK7ガラス(n約1.52、V約64.2)などの、低可視屈折率および低分散をもつ光学クラウンタイプ材料で、またはアクリル(PMMA)(n約1.49、V約58.5)などの光学ポリマーもしくはプラスチックから作られる傾向がある。特に赤外線撮像用途のための、光学ドームは、硫化亜鉛(ZnS)およびサファイアなどのあまり一般的に使用されない光学材料からも作られる。赤外線撮像ドームで使用される赤外線撮像材料であり、少なくともいくつかの可視撮像用途に対しても有用であり得る、マルチスペクトルZnS(n約2.35、V約11)、およびスピネルまたはAlonなどの、これらの材料のバージョンがある。一般に、外側シェルまたはドームを構成する光学材料(複数可)は、任意の所与の動作波長において名目上空間的等方性屈折率を有すると仮定される。しかし、代替として、勾配屈折率材料(例えば、Alon)が、半径方向に、または光学的厚さに対してのいずれかで、空間プロファイルを提供するために使用され得る。屈折率勾配材料の使用は、外側レンズ素子の成形、画像光収束の変更もしくは向上、または位置合わせノッチ部もしくはファセットのための空間の提供において、より大きな設計の自由を提供できる。
組み合わせて考えると、第1のコンプレッサーレンズ素子を提供するための非同心内側および外側表面を備えた外側光学ドームまたはシェル510を有する、パノラママルチカメラ捕捉装置500のためのカメラレンズ520の光学設計は、様々な形を取り得ることは明らかである。カメラレンズの設計は従って、シェルまたはドーム光学材料の選択、局所的な屈折力を有するシェル部545を含み、その中の他の光学材料の選択を含む、コンプレッサーレンズ素子の光学設計、およびそれらの組合わせによって決まり得る。
同様に、各カメラレンズに対してコンプレッサーレンズ素子として機能するレンズファセットの提供におけるファセット付きシェルまたはドームのオプトメカニカル設計は、光学素子および機械構成部品の両方として、カメラがそれについて何を必要とするかによって決まる。図10Aは、外側シェルまたはドーム510の部分、特に、外側レンズ素子550またはコンプレッサーレンズ素子として機能する2つの隣接したシェル部545に対する部分の、拡大断面図を示す、第1の事例を示す。この例では、図2Aの外側レンズ素子137と同様に、メニスカス形状の外側レンズ素子(545)は、画像光615を提供するのを支援するために、関連付けられたカメラレンズのそれぞれの光軸に向かって光線610を屈折させ得る外側表面515を有する。この事例では、画像光は、2つの外側レンズ素子が接触する継ぎ目570から離れて屈折され得、従って、画像光によって通過される光路の外側であり得るノッチ部もしくはファセット580または他の機械的取付け特徴を提供するためにスペースが利用可能であり得る。この図では溝は示されていない。
図10Bは、外側シェルまたはドーム510の部分、特に、2つの隣接した外側レンズ素子またはコンプレッサーレンズ素子550に対するシェル部545を拡大して示す、第2の事例を示す。この例では、2つの外側レンズ素子は、パノラママルチカメラ捕捉装置500の半径と名目上一致する曲率半径をもつ外側表面515を有する。シェルまたはドーム510は、それが連続した球状表面を有する場合、製造、コーティング、および洗浄するのが容易であり得る。また、ゴースト光の画像センサーへの通過は、外側表面が突き出ていない場合(図2Aおよび図10Aのレンズとは異なり)、低減され得る。図のように、各外側レンズ素子(545)は、平面に近い内側表面に対して長半径をもつメニスカス形状タイプのレンズ素子(例えば、図9Dの外側レンズ素子340に類似した)である。この事例では、入射光610は、外側表面に入るときにあまり屈折せず、内側表面517において適度にだけ内側に屈折し得る。2つの隣接したカメラシステム(520)に対するドームまたはシェル510の継ぎ目570の周囲に入射する画像光は、空間的に相互からあまり離れず、それは後続のコンプレッサーレンズ素子をカメラレンズの光路内に取り付けるのを困難にし得る。同様に、継ぎ目における機械的位置合わせ特徴(例えば、ファセット580)のための空間を提供すること、またはそれらの位置合わせ特徴と接合するためのカメラ組立体支持または拡張部分を提供することはその結果、困難であり得る。図9Dおよび図10Bの構成は、ドーム材料が熟慮した勾配光学指数(gradient optical index)を少なくとも継ぎ目(570)の近くで含む場合、さらに実行可能になるであろう。
図10Cは、外側シェルまたはドーム510の部分、および特に、メニスカス形状の外側レンズ素子またはコンプレッサーレンズ素子550である2つの隣接したシェル部545に対する部分を拡大して示す、第3の事例を示す。この例は、内側表面はより短い半径を有して、より大きな屈折、すなわちそれぞれのカメラレンズ組立体(520)の光軸に向かって曲がる光線を提供することを除いて、図10Bのそれに類似している。この事例では、各カメラチャネルにおける通過画像光615は物理的にさらに分離され、それは、図10Bと比較して、各カメラチャネルに対して追加のコンプレッサーレンズまたはカメラハウジングを提供するのをさらに容易にし得る。同様に、カメラレンズ支持または拡張部分、および接合する支持のための継ぎ目におけるノッチ部またはファセット580などの機械的特徴の両方を提供することはさらに容易であり得る。しかし、これらのもっと極端な内側表面をもつドーム510を製造することはさらに困難であり得る。
図10A~Cの例は、継ぎ目近くで収集された画像光を含め、物体空間からの画像光をわずかまたは低減された視差誤差で収集および提供するという本発明の目的を達成し得る。図10Cの外側レンズ素子または第1のコンプレッサーレンズ545は、決定的にメニスカス形状であり、他方、図10A~Bのレンズ545は平メニスカス(plano-meniscus)素子に近いメニスカス素子である。両凸形状のものなど、他のレンズ素子は、パノラママルチカメラ捕捉装置内のカメラのための第1のコンプレッサーレンズ素子としてうまく使用できる。しかし、ファセット付きノッチ部または溝などの、光学シェルの付随するオプトメカニカル位置合わせ特徴の相対サイズおよび形状は、一部、内側および外側レンズ表面の形状によって決まる。一般に、接合するカメラハウジング取付け特徴のための余地を提供するために、これらの特徴の動作部分を幅にわたって2~6mmにすることは好ましい。
図10Dは、シェルまたはドーム510のシェル部545もしくは外側レンズ素子の外側表面515が平面(平坦)または略そのように(光学的に)なっていて、他方、内側表面517が光を、それぞれのカメラレンズ系(520)の光軸に向かって著しく屈折させるために十分に小さい半径を有する、別の事例を示す。この例では、同様に、継ぎ目の内側表面においてノッチ部またはファセットを提供するために継ぎ目近くでの画像光経路の十分な機械的除去または分離があり得る。しかし、個々のカメラによって収集される画像光615は、撮像されるFOVの縁近くで撮像する際に、隣接したカメラ間の視差誤差を低減するという目標をもはや満足しない。追加として、隣接したカメラは実際には、画像アンダーラップ問題を有しており、カメラFOV間の継ぎ目570またはその近くで失われる、拡張された捕捉されない、またはブラインド領域620がある。従って、この構成は現在の目標を満足しない。コンプレッサーレンズ素子550として動作するこれらのシェル部545が屈折率勾配を用いて製造された場合、この問題は緩和され得る。ドーム510の設計および製造における勾配光学材料(gradient optical material)の使用も、外側表面515の略平坦性にもかかわらず、継ぎ目570近くで低視差撮像を提供するために十分に入射光を曲げるか、または方向転換させることにより、図10Dの構成を実行可能にし得る。
前述のとおり、本アプローチの目的は、内部容積内の内側カメラ(520)を保護できる外側シェルまたはドーム510を提供することである。機械的継ぎ目160を持つが、それに対する継ぎ目の厚さが低減されていて、継ぎ目は、フィン、コンプライアントポリマー、または他の構造もしくは材料を使用して機械的に堅牢に作られている、図1のタイプの改善されたパノラママルチカメラ捕捉装置では、オプトメカニカル継ぎ目160は、依然として汚染または損傷リスクを提示し得る。これに対して、図8A、Bのタイプの改善されたパノラママルチカメラ捕捉装置500では、それぞれの外側レンズ素子間の継ぎ目570は単一の連続した光学材料で機械的に一体化され得、従って、継ぎ目570における環境曝露からの損傷のリスクはさらに低減され得る。
図1で示唆されるように、継ぎ目160は、外側レンズ素子の外側表面上のオプトメカニカル特徴、外側レンズ素子間の横幅、外側レンズ素子の内側と外側表面の間の厚さ、およびその厚さ内、または外側レンズ素子の内側表面上のさらなるオプトメカニカル特徴を有し得る。同様に、図8A、Bのタイプの改善されたパノラママルチカメラ捕捉装置500に関して、機械的に一体化された単一の連続した光学材料のそれぞれの外側レンズ素子間の継ぎ目570は、横幅、厚さ、ならびに内側および外側表面の1つまたは両方上のオプトメカニカル特徴を有し得る。これらの特徴は、下部のカメラレンズ素子およびハウジングに対する機械的位置決めおよび位置合わせを支援するために使用できる前述したノッチ部またはファセット(図8Cを参照)を含み得る。
継ぎ目570の物理幅、または隣接した外側レンズ素子間の移行幅(transition width)は、型成形もしくは鋳造、機械加工、研磨、溶融、または3D印刷、またはそれらの組合わせを含むプロセスによるかにかかわらず、ドームまたはシェル510を製造するために使用される手段によって異なり得る。継ぎ目570の物理幅は、表面曲率間の変化の急激さ、従って曲率の大きさ(複数可)によっても決まり得る。同様に、外側レンズ素子の継ぎ目幅は、側面または面に沿って、頂点からの距離に対して、およびレンズ素子が五角形もしくは六角形または他の形状を有するかどうかによって、変わり得る。
前述のとおり、図10Aの例では、入射画像光は、前部または外側レンズ表面で屈折して、継ぎ目領域から離れる方に向かわされ、従って、ノッチ部またはファセットのような位置合わせ構造のための余地を提供する。しかし、この例では、ドーム510の外側レンズ素子領域または外側表面515は、隣接したレンズが継ぎ目で接触して曲率における急激な反転を小さい領域内で提供するように、突き出る。図10A2にさらに詳細に示されるように、継ぎ目570およびその周囲の隣接領域は、反対符号の局所的曲率半径、または局所的平坦領域、またはそれらの組合わせを有し得る。かかる例に関して、継ぎ目領域に入射する一部の光線610は、屈折、回折、または散乱し、従って、それに続く結像面360においてセンサーに入射し得る迷光またはゴースト光を直接的または間接的に生み出し得る。継ぎ目領域に入射する一部の光線610はまた、ノッチ部またはファセット580(図8C)のような後続の位置合わせ構造でも屈折、回折、または散乱し得る。
図2Aのそれのようなレンズ設計例、または外側レンズ素子が突き出た外側表面515を有する、図10Aのそれのような同等のドーム例では、関連する幾何形状考慮事項、および使用した製造方法に基づき、外側表面515における継ぎ目570の幅は0.5~1.0mm範囲内であり得る。一方、図9Aのそれのようなレンズ設計例、または、それに対する外側レンズ素子が、装置全体を囲む球形ドームもしくはシェルの半径に対して、より少なく突き出る前部表面曲率338を有する、同等のドームでは、より薄い幅の継ぎ目570(例えば、0.1~0.2mm)を外側表面515で提供することはより容易であり得る。しかし、その結果、画像光経路の外側領域内にノッチ部またはファセット580のような位置合わせ構造を提供するための余地が少ない可能性もある。
これに対して、図10Bおよび図10Cの例では、外側レンズ素子表面(515)は、装置中心がドームの曲率中心と名目上一致して、外側シェルまたはドーム510の球状表面と名目上一致する。かかる事例では、継ぎ目は、外側表面上に略または全く物理的出現を有していない可能性があり、画像光はその結果、内側表面517において、これらの表面の相対曲率に応じて、より少ない(図10B)か、またはより大きい(図10C)程度で屈折する。しかし、かかる事例では、継ぎ目570またはその近くで外側表面に入射する光線は、ノッチ部またはファセット580のような後続の位置合わせ構造ともっと直接的に相互作用し得、それらから屈折、回折、または散乱し得る。しかし、光吸収材料、または光トラッピング特徴も、かかる影響を低減するために継ぎ目またはその近くに提供され得る。
従って、継ぎ目570の幅は、ファセット付きドームまたはシェル510の外側および内側表面の両方における光学設計、ドーム510の厚さ、ならびに位置合わせおよび光トラッピング特徴の両方の設計によって決まり得る。外側シェルまたはドーム510の使用も継ぎ目570の実際および有効光学幅の両方を減少させ得るが、これらの継ぎ目幅は必ずしもゼロではない。しかし、目標は再度、継ぎ目570における間隙を≦0.5mmまで、または≦0.5°だけの失われたFOVの低減された角度範囲まで、または≦5~20画素の「失われた」画素数まで、減少させることであり得る。値は、全体サイズ、カメラFOV、カメラもしくはセンサー解像度、または同等にカメラによってサポートされる画像解像度(例えば、20~120画素/度)を含む、カメラおよび装置設計によって決まるので、目標値の範囲が与えられる。
代替として、隣接した外側レンズ素子間に継ぎ目570を有する、外側シェルまたはドーム510は追加として、継ぎ目570の実際および有効光学幅の両方を減少させるのを支援するために光ステアリング(light steering)特徴を有し得る。図10Eの例は、入射光線を偏向または方向転換させるために、光学ファセットが継ぎ目またはその近くで拡張V字形溝として提供される代替の改善されたマルチカメラ捕捉装置500の断面図を示す。この例では、継ぎ目570における入射光線610は外側表面515を通してシェルまたはドーム510に入り、シェルまたはドーム510を通って距離Zを進み、次いで光学ファセット625に遭遇し、それは、全内反射(TIR)によって、一部の光を一方の側(例えば、左側)へ、一部の光を他方の側(右側)へ偏向させて、局所的なビームスプリッタのように有効に動作する。従って、この光学ファセット625の狭い先端または鋭い部分は、光学的に狭い継ぎ目570を提供して、1つのカメラのFOVの縁において偏向された画像光617、および隣接したカメラのFOVに対して偏向された画像光617を提供し得る。
図10E例に示されるように、隣接したカメラの第1のコンプレッサーレンズ素子に対応する外側表面515は、図9Aのレンズ設計例で示唆されるものと同じだけ、適度に突き出ている。内側コンプレッサーレンズ表面(515)は恐らく、外側表面よりも少ない曲率を有する。従って、継ぎ目から離れた、近くの入射光610は外側表面において、カメラの他のレンズ素子を通って通過できる光路へ屈折されて、直接画像光615としてセンサー面に入射され得る。一方、継ぎ目570またはその近くで入射して、光学ファセット625に遭遇する、他の光線610は、センサー上にゴースト光を生じ得る角度で偏向され得る。これを補正するために、追加の補正光学構造が提供され得る。例えば、図10Eでは、偏向された光は次いで、ドームまたはシェル510の内部表面上の略垂直入射面630を通って透過され、その後、元の潜在的な光路と略平行であるが、空間的にオフセットされている、光路で終わるように、ミラー面640に反射し得る。隣接したTIR表面(625)およびミラー反射面(640)は両方、光学ファセットであり、それらは名目上相互に平行である。これらの偏向された他の光線610は次いで、内部コンプレッサーレンズ素子および内側レンズ素子を通過し、その後偏向された画像光617として同様に結像面に提供され得る。
2つの反射に遭遇している、この偏向された画像光617は恐らく、直接外側レンズ素子を通ってカメラに入った画像光615よりも長い光路を通過していることに留意されたい。従って、一次撮像経路に沿った直接画像光615に対する光路長を、偏向された撮像経路に沿った画像光617に対して等しくするのを支援するために、光路差(OPD)コンペンセータ(図示せず)が必要とされ得、それにより両方とも結像面および画像センサーにおいて名目上同時に焦点を合わせるようになる。一例として、外側レンズ素子または第1のコンプレッサーレンズ素子の厚さが、光路長補正を提供するために変更できる。代替として、窓などの、追加の要素が、光路コンペンセータとして使用できる。
この光偏向構造(625および640の組合わせ)は、迷光またはゴースト光を生じるリスクを低減するために、一部の入射光を吸収するための局所的な特徴またはコーティングも有し得る。黒い吸収材料の細い線などの、局所的光吸収表面が、角645内、またはミラー面640に沿って、シェルまたはドーム510のミラー層と基材(例えば、PMMA)との間に印刷できる。
前のように、一次光路を通過した直接画像光615は、コアFOV205内に照射または結像できる。一方、偏向された光路を通過した偏向された画像光617は、コアFOV205の縁すれすれに落ちる画像光を提供し、恐らくより大きな拡張FOV215に対して一部利用可能な画像光も提供し得る。これは図11に示されている。黒化または光吸収領域のために、所与のカメラによって捕捉される完全なFOVは、一次光路を通過した画像光、および偏向された光路を通過した画像光だけでなく、前述の黒化または光吸収領域に対応するそれらの間の1つ以上の細い黒化領域230も含み得る。継ぎ目の有効光学幅を狭くするために光偏向構造の使用を正当化するのを支援するために、これらの黒化または光吸収領域に失われるFOVは継ぎ目およびその近くで得られるFOVよりも少なくすべきである。しかし、偏向された画像光617に対する画像品質は、一次光路を通過した最も近い直接画像光615のそれと同じくらい良好ではない可能性があるので、それらの間の薄い画像継ぎ目の存在は、有用であれば、1つの領域の他の領域に対する、差分画像補正を提供するのをもっと容易にすることにより、画像繋ぎ合わせおよび処理に役立ち得る。この構成では、結果として生じる理想的なFOV(200)は、ちょうど継ぎ目まで延在する拡張FOV215に相当し得る。
前述のとおり、図10Eの例は、外側レンズ表面515が、マルチカメラ捕捉装置500の半径よりも適度に大きい半径を有する、図9Aレンズ設計のそれと類似した光学構成を有する。しかし、このアプローチは、外側レンズ表面515が、マルチカメラ捕捉装置500(例えば、図9D、10B、および10C)の半径と名目上一致する半径を有するものなど、他の構成に拡張可能である。
位置合わせノッチ部またはファセットの簡略化バージョンが、それらの特徴内および周囲に散乱する迷光のリスクの図解の一部として、図10A2に示された。合成面取りまたはファセット付きノッチ部(580)をもつ考えられるファセット位置合わせ構造のより詳細な例が図8Cに示されている。図12は次いで、光学シェルのオプトメカニカル位置合わせ特徴(例えば、溝575およびノッチ部またはファセット580)と接触および連結する取付け特徴を使用して、カメラチャネル(520)をドーム510のシェル部545に取り付ける例の内部斜視図および平面図を示す。
図12に示されるように、カメラ取付け構造のドーム位置合わせ構造との接合において、カメラハウジング530(コンプレッサーまたは内側レンズ素子なしで示されている)は、ノッチ部580および溝575に対して拡張部分560および取付け支柱565を用いて位置決めされ得る。3つの取付け支柱565はレンズハウジング530の周囲に名目上120°離して配置されて内側溝575に対して位置合わせおよび取付けを提供し得る。これらの取付け支柱は、ねじまたはねじ付き支柱、ナット、ワッシャ、およびコンプライアントスペーサ(詳細には図示せず)から構成され得る。隣接したカメラチャネル(520)の取付け支柱565は、空間または位置決め衝突を回避するために相互にオフセットまたはずれされ得る。組立て中、カメラ520は、チャネルをシェル部545に対して所定の位置に位置決めするのを支援する治具(図示せず)によって所定の位置に保持され得る。カメラ性能は、カメラチャネルのレンズおよびセンサーによって撮像されるテスト対象の画像から監視され得、取付け支柱位置決めは先端および傾斜を制御するように調整され得る。濃いコンプライアント接着剤が各取付け支柱に塗布されて、チャネルが位置合わせされた後に硬化され得る。1つ以上のチャネルを支持し得る、位置合わせ治具は次いで、一旦、チャネル(複数可)が位置合わせされて接着剤が硬化すると、取り外され得る。
カメラ組立体(500)が名目上半球状である場合、取り囲んでいるドームまたはシェル510も同様であり得る。図4の十二面体および二十面体形状によって示唆されるように、外側五角形または六角形面をもつ「半球状」物体またはカメラは、五角形または六角形面に切り込むことなく単純に半球に二等分できない。「半球状」外側ドームまたはシェル510を備えた改善されたパノラママルチカメラ捕捉装置500を製造する目的で、カメラチャネルの連続性が維持されて、シェルは、面の縁に従うかのように「ジグザグ」になった「底面」縁を有し得る。同様に、改善されたパノラママルチカメラ捕捉装置500が二十面体底面形状を有して、名目上270度のFOVを捕捉するように設計された場合、ドームまたはシェルは適合するように作られて、マルチカメラ装置の事前組立て部分の全部または大部分を覆って下げられ得る。しかし、改善されたパノラママルチカメラ捕捉装置500が、360球体、またはその大部分(例えば、機械的支持のために失われた空間を除く(図8Aおよび図17を参照))を覆う内容を同時に捕捉するように設計された場合、外側ドームまたはシェルは2つ以上の部分で製造されて、カメラ組立体の周囲に組み立てられ得る。
位置合わせファセットまたはノッチ部を含むファセット付きシェルまたはドーム510の製造はドームまたはシェル構造の機械的完全性を低減し得ることも認識される。ノッチ部で生じ得る高まった脆性のリスクはその結果、ドームもしくはシェルを厚くすること、ドームもしくはシェルを、標準的な光学ガラスよりももっと頑丈な材料で製造することを含む様々な方法によって、またはファセット領域を構造用もしくは強化接着剤で機械的に強化することによって、低減できる。改善された頑丈さをもつドームまたはシェルに対する候補基質材料は、PMMAなどのプラスチックもしくはポリマー、光学ガラスセラミック(例えば、Alon、スピネル、またはクリアセラム)、または化学強化ガラス(例えば、Corning Inc.からのGorillaガラス)を含む。
一旦、ドームまたはシェル510が製造されると、外側レンズ素子550は、チャネル間で異なる固定焦点距離および曲率オフセットおよび傾斜誤差を有し得、焦点誤差、ならびに視差誤差またはブラインド領域を生じ得るFOVサイズおよびFOVポインティング誤差
Figure 2022540558000003
を引き起こす。これらの外側レンズ素子550に対する製造誤差は、内部レンズ素子(例えば、図9A-第2のコンプレッサーレンズ素子345Bおよび内側レンズ素子350)に影響を及ぼすものよりも大きい可能性がある。
そこで、最小限の視差誤差、継ぎ目幅、および隣接したカメラ間のFOVオーバーラップでの画像捕捉を提供する、改善されたパノラママルチカメラ捕捉装置500に対する広範な目標を満足するために、カメラ520に対するオプトメカニカル設計はFOV補正を含み得る。一例として、ドーム510の外側レンズ素子が、カメラ520に組み立てられる際に、FOVサイズ誤差(FOV±)となり得る屈折力(焦点距離)誤差を伴って製造される場合、カメラは補正特徴または方法を使用して組み立てられ得る。かかる製造誤差は、ドーム510が誤った全体半径を有する場合、または外側レンズ素子550を構成する局所的シェル部545が誤った局所的表面半径を有する場合に生じ得る。補正手段は、FOV±幅誤差に対する補正を提供するために、レンズ素子(例えば、第2のコンプレッサー素子)を「Z方向」(例えば、光軸に沿って)に移動させるか、または縦方向に調整することによって提供され得る。別の例として、外側レンズ素子550に対する製造誤差が十分に大きいと予期される場合、別のレンズ素子(例えば、第2のコンプレッサーレンズ素子)が製造されて、屈折力の考慮した範囲の変動をもつレンズを提供するように測定され得る。一旦、ドーム510の外側レンズ素子550が特性を決定されると、適切な補正、または部分的な補正、屈折力を伴う第2のコンプレッサーレンズ素子が、所与のカメラ520内での使用のために選択され得る。これら2つの補正方法は組合わせても使用され得る。言うまでもなく、レンズ素子屈折力におけるかかる誤差および差は、組み立てられたカメラに対してピンぼけまたは倍率もしくは画像サイズ誤差を引き起こす焦点距離変動となり得る。ピンぼけまたは倍率誤差を引き起こす焦点位置決め誤差は、カメラ位置合わせ中に画像センサーまたは1つのレンズもしくはレンズグループの位置を調整することにより補正できる。これらの補正調整は、カメラおよび装置製造中に一度、または継続的に、モーターまたは非熱的もしくは形状記憶合金調節器を使用して、提供され得る。カメラは、焦点距離(および倍率)が変わると焦点位置決めが変わる可変焦点距離を有するように、可変焦点となるようにも設計できる。
個々のカメラも撮像される
Figure 2022540558000004
ポインティングベクトルまたは横方向位置決め誤差を引き起こすレンズ製造誤差を補正するようにオプトメカニカルに設計され得る。具体的には、ドーム510の部分としての外側レンズ素子550の製造における誤差は、カメラ520の内部レンズ素子に影響を及ぼす同様の製造誤差よりも大きいか、または出現頻度が高い可能性がある。かかる誤差の補正のための1つのアプローチとして、有効画像重心または中心画素の横方向位置決めが光学的または電子的のいずれかで決定され得る(図14)。別の補正アプローチとして、レンズハウジング(130)が、1つ以上の内部レンズ素子に対して補正横方向調整を提供するように設計され得る。例えば、中間内側レンズ素子の位置決めまたは傾斜を調整する手段が、絞りと画像センサーとの間に配置されたレンズ素子に対してなど、提供され得る。
カメラレンズ組立体(520)によって提供される結像面150に対する、画像センサーの軸方向位置合わせまたは焦点位置は、適切な機構によって改善され得る。例えば、図13に示されるように、画像センサー270は、プレート290、円周フランジ、いくつかの調整ねじ280、およびばね285を含むマウント275を含むセンサーパッケージ265に組み立てられ得る。例えば、3本の調整ねじは、Z軸回転と連動したX軸または横方向平行移動を制御するために使用でき、3本のねじの別のセットはX-Y軸回転と連動したZ軸平行移動または焦点位置決めを制御するために使用でき、追加のねじはY軸平行移動を制御するために使用される。一対のばねは、ジンバルプレート290を保持するために使用され、同時にそれぞれ、XおよびZ軸平行移動も可能にする。他の調整設計が、カメラ520およびパノラママルチカメラ捕捉装置500全体が可能にする狭い空間制約内で使用できる。
図13および図14は、センサー270、カバーガラス272、および付随のセンサーパッケージ265(電子機器、冷却および取付け台を含み得る)の領域における有益なハードウェア構成を示す。カバーガラス272は、センサーを環境から密閉または保護できる。カバーガラス272は、薄膜界面または二色性コーティングの手段によって、UVもしくはIRカットフィルタリングを提供できるか、またはその機能は、別の窓、外付けフィルタ295上に提供できる。UVまたはIRカットフィルタは、画像光415に付随している、センサー270に入射する非可視光のレベルを低減する。代替として、または追加として、UVおよびIRカットフィルタリングは、外側レンズ素子437(図9)の外表面を含む、レンズ素子に塗布されたコーティングで提供できる。カバーガラスまたはフィルタ295は、UV光吸収ガラスでもあり得、吸収およびコーティング反射率の組合わせによってUVフィルタリングを提供できる。
図13のオプトメカニクスは、センサー270、カメラハウジング130、および1つ以上のカメラ520に対する位置合わせ誤差を低減できるが、これらの設計改善、および他の同等なものは、改善されたマルチカメラ画像捕捉装置500の全ての構成または用途に対して十分な精度または操作柔軟性を提供しない可能性がある。別の、または補完的アプローチとして、光学的基準システムが提供できる。具体的には、図14に示されるように、光源410は、光412を、光学的基準のために窓またはフィルタ295内に向けることができる。窓またはフィルタ295は、センサーを環境から密閉または保護するカバーガラスであり得るか、または画像光315に付随している、センサー270に入射する非可視光のレベルを低減するUVもしくはIRカットフィルタなどの、外付けフィルタにできる。一例として、UVおよびIRカットフィルタリングは、フィルタ295の外側表面上に製造された二色性コーティングによって提供できる。光学的基準光412は、フィルタ295の縁に結合されて、全内反射(TIR)によって出力カプラー415まで伝搬し得、出力カプラー415によりそれはセンサー270の方に向けられ、そこで、光学的基準425として機能する1つ以上の照射されたスポットまたは領域を提供する。光学的基準光412は、785または835nmなどの、低出力赤外線(IR)光であり得、出力カプラー415は1つ以上の小型レンズ、プリズム特徴、または回折格子であり得る。光学的基準425として機能する照射領域は、ほんの数センサー画素幅の焦点スポットであり得る。光学的基準光412は好ましくは、画像センサー270に対して機械的に安定した位置に取り付けられている光源410によって提供される。フィルタ295の光学基板内に留まり、反対側の縁に向かって誘導される光である基準光412は、例えば、黒塗料コーティングで提供できる、吸収剤420によって吸収できる。
図14は、カメラ520に対するFOV調整を可能にし、従って改善されたパノラママルチカメラ捕捉装置500内の隣接したカメラに対する視差誤差および画像オーバーラップまたはアンダーラップの範囲の制御を制限するのを支援する、光学的基準425を提供するための1つの好都合なアプローチを示す。しかし、一般に、光学的基準はセンサーに近接して配置された光源によって提供できる。別の例として、光源はセンサー面上またはその近くに取り付けられて、光をカバーガラスに向かって外側に、またはカバーガラスを通って向かわせ、そのため光が光学素子に反射して、画像センサーの方に戻るようにする。光源は、反射コーティングのように、センサーの使用作用領域の外側に位置付けられ得る。反射コーティングは、通過する画像光によって使用される開口部の外側に位置付けられた局所的な金属または誘電体コーティングであり得る。前のとおり、光源は好ましくは次いで、画像光によって使用作用領域の外側であるが、それに近接して配置されたアクティブなセンサー画素上に少なくとも1つの光の照射スポットを提供し、それにより光学的基準425を提供する。この概念も拡張でき、光学的基準は、レンズ素子またはレンズハウジング構造を含む、システム内の他の構成要素に取り付けるか、またはそれと相互作用できる。そのため、特定のレンズ素子またはそのサブグループの相対的な動きが、画像追跡、トリミング、または補正努力に情報を与えるために監視され得る。追加として、1つ以上のレンズのサブグループまたはコンペンセータが、モーターを用いてなど、能動的に駆動できる場合、結果として生じるデータはこれらの補正に情報を与えるために有用であり得る。
一旦、外側レンズ素子550、およびファセット付きノッチ部580を備えたドームまたはシェル510が製造されると、カメラ520をドーム内に組み立てるためのプロセスが開始できる。初期ステップとして、ファセット/ノッチ部580における事前に製造された位置合わせまたは取付け構造の位置または寸法も特性を決定できる。ファセットまたはノッチ部580は次いで、有用または必要であれば、カメラ520のドームに対する位置合わせまたは取付けを容易にするようにも変更できる。別の初期ステップとして、付随する外側レンズ素子550の屈折力およびセントレーションおよびサイズが決定され得る。次いで前述のとおり、所与のカメラ520の事前組立体(preassembly)は、かかる変動を補正するための内部レンズ素子の横方向または縦方向調整およびセンサー位置決めを含み得る。
その後、一次(例えば、上部または中央)チャネルまたはカメラ520がドーム510内に位置合わせされて取り付けられ得る。カメラ520は、較正された対象を使用して撮像しながら、その場で6つの自由度(DOF)に対して位置合わせでき、その位置決めは、FOVセントレーションおよび改善されたパノラママルチカメラ捕捉装置500全体の中心に対する位置合わせの両方を最適化するように調整される。例えば、図12に示唆されるように、カメラ520は、位置合わせ治具によって底面から(例えば、センサー近く)支持されながら、拡張部分560を、未硬化コンプライアント接着剤(例えば、RTV)を添付して、ノッチ部またはファセット580に接触させることによって緩く位置合わせできる。拡張部分560は、チャネルの周囲に間隔を置いて配置されて、それらのうちの名目上3つだけが、それらそれぞれのファセット580に対して位置合わせ接触を提供できるように、設計され得る。同様に、過剰制約を回避するのを支援するために、3つの取付け支柱565が名目上120°離して配置されて、それぞれ大きすぎる逃げ穴(clearance hole)を通して取り付けられて、それを通るねじが決して当たらないことを確実にし、従って回転および平行移動の過剰制約を防ぐ。コンプライアントグロメットが組立体をZに(光軸に沿って)固定するが、チャネル(520)のポインティングが調整できるように3つのナットの各々の調整を可能にする。
一旦、一次チャネルなどの、チャネルが、拡張部分560およびファセット580、ならびに取付け支柱565および溝575に対して名目上位置合わせされると、内部レンズまたはセンサー位置合わせに対するさらなる補正も、必要であれば、完了され得る。次いで、一次カメラは、UV硬化性コンプライアント接着剤などの、以前に塗布された接着剤を硬化させることによって、拡張部分をノッチ部に取り付けることにより、ドーム510の内部に取り付けられるか、または付着され得る。取付け支柱565における接着剤は同様に、次いで硬化できる。一旦、一次チャネルが位置合わせされて付着されると、下部の支持または治具(図示せず)を取り外すことができる。
同様の組立てプロセスは次いで、追加または「二次」カメラチャネル520に対して使用できるが、それらを、一次チャネルに対して直接または間接的に参照または位置決めして組み立てる。例えば、一次チャネルに直接隣接している第1のカメラは、ドーム、一次チャネルの両方、ならびに改善されたパノラママルチカメラ捕捉装置500全体の中心に位置合わせされて取り付けられ得る。再度、ノッチ部および拡張部分の接合部分において硬化型コンプライアント接着剤(例えば、RTV)を使用することは有用であり得る。一旦、第1の二次カメラチャネルが位置合わせされて取り付けられると、このプロセス中に使用された一時的下方支持または治具(図示せず)は取り外すことができ、次いで第2の二次カメラチャネルの位置合わせおよび取付けが開始できる、など同様に続く。代替組立てプロセスでは、一次カメラチャネルに隣接している二次カメラチャネル(520)の第1のリング全体が、一時的な下部支持構造または治具(図示せず)によって支持されながら、ドーム510、一次チャネル、および装置中心に位置合わせでき、次いで以前に塗布された接着剤が硬化でき、この二次チャンネルはその後、支持構造からグループとして解放できる。別の代替として、第1の二次チャンネルが個別に位置合わせされて取り付けられ得、次いで残りの二次チャンネルがグループとしてドーム、一次チャネル、および第1の二次チャンネルに位置合わせされて取り付けられ得る。同様の位置合わせおよび取付けプロセスが次いで、二次カメラチャネル(520)の第2のリングに対して使用できる。
別の選択肢として、一次チャネルおよび二次チャンネルは、内部フレームに緩く取り付けられ得、シェルまたはドーム510がその後、それらの周囲に位置付けられる。一次チャネルは次いで、二次チャンネルが取り付けられる前に、ドームおよび内部フレームに位置合わせされて取り付けられ得る。図15は、中空中心をもつ十二面体パターンに配置された多数の五角形面810を備えた、かかる内部フレーム800の例を提供する。内部フレーム800は、支持支柱を12番目の位置に取り付けている(図17と同様)、11個のカメラシステムに対して設計できる。多角形内部フレーム、またはハーフもしくは部分内部フレームは、部分または半球システムでも使用でき、その場合、画像センサーを含む、カメラ組立体がフレームに取り付けられる。代替として、内部フレーム800をもつ半球システムは、中央中空空間(例えば、連結)を使用して画像光が、介在する中継レンズ系(図示せず)を通過によることを含め、横切って、向こう側上の画像センサーに到達するのを可能にする。図15に示されるように、1つの五角形面(810A)は、名目上120°離れて配向された、ねじまたはフレキシャのセットなどの、3つの調節器820を有し得、それはカメラハウジング上の特徴と相互作用し、従って、所与のカメラチャネルの位置合わせをするのを支援するために使用できる。前のとおり、二次チャンネのための取付けおよび調整は、一次チャネルに対するものとは異なる設計または構成を有し得る。別の代替手段(図示せず)として、1つ以上の五角形面810A、810B、または810Cは、それぞれカメラチャネルを精密v字形溝構造(同様に図示せず)に対して軽く押すために使用できる1つ以上の調節器を備え得る。これらのv字形溝構造は、五角形面の五角形の頂点60の内側縁内に作られるか、または内側縁から突き出し得る。
十二面体パターンで構築された改善されたマルチカメラパノラマ画像捕捉装置500に対して、内部フレーム800も五角形面を有する十二面体であり得、外部五角形幾何形状と名目上位置合わせされた内部五角形面と向きを合わされ得る。内部フレーム800は別々に機械加工されて、2つ以上の部品から組み立てられ得るか、または鋳造もしくは3D印刷によって一体成形構造として作られ得る。一体成形フレームの製造はより複雑であるが、生成された構造はより剛性かつ頑丈で、より厳しい機械公差をサポートできる。例えば、中空中心をもつ十二面体フレームがステンレス鋼で鋳造され、次いで精密データム特徴を提供するために選択的に鋳造後機械加工できる。この内部フレームはその後、五角形面の全部または大部分の上にフレキシャまたは調節器が提供されて運動学的もしくは擬似運動学的調整を提供して、装置組み立ておよび使用中に過剰制約を低減または回避し得る。前述同様、これらの内側面上で利用可能な調節器は、一次チャネルと比べて、二次チャンネルに対して異なり得る。代替として、内部フレームは少なくとも一部、真鍮またはインバーなどの、よりコンプライアントな材料で作られ得る。この内部フレームの中心容積は少なくとも部分的に中空であり得るので、空間はその結果、電気ケーブル配線、熱管理ハードウェア、および他の支持構造に対して提供できる。内部フレームアプローチは、二十面体に対するものなど、他の多面体装置構造と共に使用できる。
内部フレーム800を使用した装置組立体に対する1つのアプローチとして、フレームは少なくとも2つの部分で構築され得、第1の構造支持は一次カメラチャネルを支持するための五角形面810aを有し、五角形面810の周囲のリングは二次カメラチャネルの第1のリングを支持し、次いで五角形面810の第2の構造またはリングは二次チャネルの第2のリングを支持する。装置組立て中、第1の構造は、一次チャネル、および二次チャンネルの第1のリングを装着され得る。一次チャネルは次いで、シェルまたはドーム510に事前に位置合わせされて取り付けられ得、その後に二次チャネルの第1のリングの事前位置合わせが続く。一次チャネルの最終位置合わせおよび取付け後、第1のリング内の二次チャンネルの位置合わせが見直され得る。二次チャネルの第2のリングを装着された、五角形面810の第2の構造またはリングが次いで、追加され、位置合わせされて、取り付けられ得る。位置合わせおよび取付けステップは、内部フレーム構造(複数可)およびカメラチャネルと組み合わせて、調節器、フレキシャ、シム、締め具、接着剤、またはそれらの組合わせを使用し得る。
代替として、または追加として、レンズハウジング530は、名目円錐空間または容積から外へレンズハウジングから突き出て、隣接したレンズハウジングの類似の突出構造と相互作用できるか、または代替として隣接したレンズハウジングのへこんだ構造と相互作用できる1つ以上のタブまたは支柱状構造(図示せず)を備え得る。例えば、これらの突出構造はセンサー270およびセンサーパッケージ265に概ね近接して提供でき、長さ数ミリメートルで、装置中心からの半径方向位置、または1つのカメラチャネルの隣接したカメラチャネルへの傾斜もしくは回転などの、DOFを運動学的に制御するのを支援するためのデータム特徴を有する。カメラ組立体は、レンズハウジングの周囲に対称的または非対称に配置されて、相互に直交に配向された、2つのかかる突起構造を有して、異なる自由度を制御できる。代替として、または追加として、カメラチャネルは、継ぎ目530内に配置された1つ以上の突起タブ、または支柱構造を含むレンズハウジング530を有し得る。例えば、かかるデータム構造(図示せず)は、継ぎ目内に、カメラチャネルの多角形外表面において、頂点60において、提供でき、名目円錐空間または容積の外へ突き出て、2つの隣接したチャネル間の継ぎ目570に入り得る。装置設計および意図する用途に応じて、突起タブまたは構造は、外側継ぎ目570内に配置されるか、または、画像センサー近くなど、もっと深く埋め込まれるかにかかわらず、コンプライアントもしくは硬い材料、またはそれらの組合わせのいずれかから製造できる。別の代替手段として、所与のレンズハウジング530の1つ以上のタブは、名目円錐容積または円錐台の外側に突出する必要はないが、1つのタブから隣接したレンズハウジングのタブへ橋渡しをするクランプが、接合部分または制御を提供して自由度を制限できる。
カメラレンズ系の光学設計を改善することは、改善された低視差パノラママルチカメラ捕捉装置(500)を可能にするために重要であるが、オプトメカニカル設計を改善することも同等に重要であり得る。前に示唆したように、カメラ520の実際の性能は、個々のレンズ素子およびハウジングおよびその構成部品の間での材料および製造差異、ならびにそれらの相互作用に起因して、設計された性能と異なり得る。かかる差異の結果として、画像品質(例えば、歪みを含む、収差)、焦点距離(EFL)および倍率、作動距離またはトラック長、ビーム照準または結像位置、ならびにカメラ520の他の属性が変わり得る。これらの差異は、所与のカメラの組立体および性能は、名目上、同一のオプトメカニカル設計をもつ別のカメラのそれとは異なることも意味し得る。例えば、名目上同一のカメラのセットの焦点距離は、±2%だけ変動し得、それはその結果として、レンズ倍率およびFOVにおける同様の変動を引き起こす。この変動は、改善されたカメラレンズを、その軸方向位置が調整できるレンズ素子を用いてなど、焦点距離コンペンセータを含むように可変焦点型に設計することによって低減または排除できる。代替として、カメラ520は、名目カメラからの名目画像が画像センサーをアンダーフィルするように設計でき、そのため大きな(例えば、+2%)焦点距離レンズをもつカメラからの画像も、少ない余裕しかないにもかかわらず、十分にセンサーをアンダーフィルする。FOVを決定するための較正中に、レンズのEFLまたは倍率が測定でき、センサーもそのレンズに対して焦点が合うように位置合わせできる。画像処理ソフトウェアが次いで、レンズ間の倍率および歪み変動に対する画像サイズの補正を含め、レンズ差異に関して画像を補正するために使用できる。現在の状況では、カメラチャネルは、一旦外側ドーム510、およびそのレンズファセット550への取付けが生じて、光学的にだけ完成しており、その後最終位置合わせ、コンペンセータの使用、および較正が、その後にだけ生じ得る。このプロセスは、図14の光学的基準などの、何らかの補正機構を設計内に含めることによって支援できる。
図16に示されるように、改善されたパノラママルチカメラ画像捕捉装置のカメラ520は、マスクまたは内部バッフル450も備えている可能性があり、好ましくは外側レンズ素子340、またはコンプレッサーレンズと、その後ろの内側レンズ素子350との間に配置できる。バッフルは、第1のコンプレッサーレンズ素子の後、または後続のコンプレッサーレンズ素子の後に配置できる。図16で示される、バッフル40は、外側レンズ素子340およびコアFOV205の形状に従う鋭い多角形縁開口部(例えば、五角形または六角形)、ならびに意図したFOVの外側の光を阻止および吸収するための黒化表面も提供できる。バッフル開口部は円形状、または多角形と円形の間の中間縁形状も有し得る。光吸収バッフル450は、内部レンズ素子表面上に印刷またはコーティングできる。従って、バッフル450またはマスクは、通過する画像光の縁も画定し、従って縁の影を画像センサー270上にキャストすることができる(図14を参照)。
光学的基準光412およびバッフル450によってキャストされる影460は、個々に、および組合わせての両方で使用されて、カメラ間の低減された視差誤差および低減された画像オーバーラップまたはアンダーラップをもつ、改善されたマルチカメラ捕捉500をもたらし得る。図14に示されるように、作用領域長および幅を有する画像センサーに入射する、入射画像光315は、照射画像領域400を提供できる。例えば、名目上五角形状のコアFOV205内の均一な画像光を収集するカメラ520はその結果、センサー270上に五角形状の照射領域400を提供できる。この画像または照射領域400は、照射領域およびセンサーの形状に応じて、大なり小なり、センサー270の幅をアンダーフィルし得る。有用なデータムとするために、縁影460の全部またはほとんどは、アンダーフィルされたセンサー領域内のアクティブな画素の照射領域の境界を画定できる。好ましくは縁影460は作用領域幅のほとんど(例えば、≧97%)を満たす。バッフル455は視野絞りのように動作する。バッフルのないカメラ520では、外側レンズ素子が視野絞りのように動作して、五角形のFOVを画定できる。
縁影460に対応する照射領域内に、コアFOV205に対応するもっと小さい照射領域400があり、それらの間に、中間拡張FOV215があり得る。好ましくは、拡張FOV215は、縁影460のサイズと略一致するほど十分に大きい。差は、レンズ組立体およびバッフル450の位置決めに対して予期される機械的位置合わせ公差、ならびに投影された影の光学的鮮明度または遷移幅(transition width)に応じて最適化できる。センサー作用領域幅のアンダーフィルは、コアFOV205、画像重心、拡張FOV215、および縁影460が、切り取られることなく、センサー上で位置をシフトするのを可能にする。較正プロセス中に、その後、時間および露光条件に対して追跡できる、画像重心430を確立することは有益であり得る。具体的には、初期距離またはオフセット435は、較正プロセス中に決定されて、画素カウントとして格納できる。その結果、カメラ520の改善されたパノラママルチカメラ捕捉装置500内への組み立て中または組み立て後に、機械的または熱的理由によるかどうかにかかわらず、照射画像領域400がシフトする場合、画像重心430の新しい位置ならびに、FOV205の形状、サイズ、および位置が決定されて、以前に保存された較正データと比較できる。
しかし、このプロセスの完了時に、所望の画像データに対応する照射領域400の境界が決定される必要がある。図14で示唆されるように、バッフル450によってキャストされる縁影460は次いで、コアFOV205(図7を参照)に近接して、しかしそれよりもわずかに大きい、有用な一連の基準縁または点210を提供できる。バッフル450によってキャストされる影または遮蔽の形状および位置は、そのカメラ520の所与のマルチカメラ捕捉装置500への組み立て前に、所与のカメラ520のベンチテスト中に決定できる。同様の較正データがその組み立て後に取得でき、次いで同様にカメラおよび装置が使用されるに際に経時的に、レンズ素子(例えば、340、350)もしくはバッフル450の内部取付けまたは位置決めにおいて環境的または機械的に始まった変化に起因して生じ得る影の位置決めにおける変化を追跡できる。
より詳細には、バッフル450を画定するFOV縁および光学的基準425は組み合わせて使用されて、画像重心430および画像領域縁の位置を監視または縦方向に追跡して、画像の繋ぎ合わせまたはタイリングを支援できる。具体的には、カメラレンズ520を画像センサー270に関して、中心および回転の両方に対して位置合わせする目的で、画像センサー270上に、光学的基準を投影するか、または光学的遮蔽をキャストする方法が、個々に、または組合わせてのいずれかで使用できる。
本質的に、バッフル450は複数の縁のある影をセンサー270にキャストし、バッフルの形状は、センサー270によりソフトウェアまたはハードウェアで捕捉された投影画像または照射領域400の周辺の周りからサンプリングされる。影の縁は比較的鋭いが、それでも勾配減少(gradient fall off)を作り出し得、潜在的に、照射領域400と投影された影の暗い周囲との間に、少なくともいくつかの画素が広がる。遮蔽領域および影勾配の縁の周囲からサンプリングされた縁または基準に対するデータは次いで、レンズ投影の画像重心430を導出するために使用できる。バッフル450または遮蔽する影460は、必要に応じて、回転を示して導出するための追加特徴も有し得る。較正ステップは、影460のレンズ中心および回転との関係を導出するために最初に使用できる。追加として、マスクの寸法および形状は、設置前に正確に測定されて、投影された影460のサイズおよび形状と比較できる。投影された影460のサイズ、形状、および重心の導出された関係は、バッフルの形状およびサイズと比較した、縁の影460の形状およびサイズにおいて予期されるか、または測定された差を吸収できる。マスクの傾斜、コアFOV205および拡張FOV215の外側部分に対応する部分視野部分(例えば、0.85~1.01)におけるレンズ歪みの影響などの、縁影460に影響を及ぼし得る他の要因も吸収できる。
追加として、前述のとおり、光学的基準425は、IRまたは可視光を使用して、センサー270の未使用部分上に投影できる。基準によって形成されるパターンは次いで、基準の位置を導出して、画像重心430、ならびにレンズ中心および回転に較正するために使用できる。較正ステップは最初は、光学的基準425のレンズ中心および回転に対する関係を導出するために使用されて、較正プロセスで計算された歪み特性に関連付けられる。追加として、バッフル450によって提供される基準の影460の一連の較正画像を使用して、より遠くの特徴(例えば、角)を見つけ、従って、センサー機械的位置合わせに対するレンズの平面性を確認または判断できる。センサー位置合わせまたは平面性は、図8で前述した調整を使用して修正できる。光学的基準425および投影された基準の影460の両方を使用する、組み合わされた基準法は、遮蔽キャスト法の縁が一貫性がないか、または検出が困難であり得る、多様な照明条件においてよりロバストであるという利点を有する。
光学的基準(または電子的基準で)および影遮蔽で較正するための方法は、所与のカメラに対して較正ステップから導出されたモデル化レンズ歪みを較正されたコアFOV205に正確に位置合わせするために使用できる。生成された補正データは、各カメラおよびセンサーに対して、センサーパッケージの一部であるローカル基板上のオンボードルックアップテーブル(LUT)内に行列または他の形式で格納できる。画像が捕捉される場合、この補正データは、初期または中間の捕捉ステップ中に、拡張FOV215に対応する、大きな画像を、実際の現在のコアFOV205に対応する画像にまで、トリミングするために使用できる。同様に、ローカルに格納できる、露光および色補正用などの、他の利用可能なデータも、トリミングされた、コアFOVサイズの画像が、組み立てられたパノラマ画像への画像の繋ぎ合わせまたはタイリングを含む、さらなる画像処理のためにシステムコンピュータに送信される前に、それにリアルタイムで適用できる。
さらに広く見れば、一般に、改善されたマルチカメラパノラマ捕捉装置500の1つ以上のカメラ520によって捕捉された画像データを修正するリアルタイムまたは後処理ステップのいずれかの間、光学的基準および影遮蔽を較正するための方法は、所与のカメラに対して、較正ステップから導出されたモデル化レンズ歪みを捕捉された画像に正確に位置合わせするために使用できる。その結果画像は必要に応じて正確に歪みが取り除かれて、他のカメラ内因性(例えば、レンズ焦点距離、またはセンサーパラメータ)を吸収するために補正もされ得る。この方法は、複数の画像を一緒に正確に繋ぎ合わせまたはタイリングするのを可能にするために、マルチカメラ捕捉装置500の複数のカメラ520に対して反復できる。カメラ内因性の知識を捕捉された画像に正確に適合させることにより、隣接したカメラによって捕捉された画像間の境界または継ぎ目にわたる繋ぎ合わせの品質は結合された画像品質を向上させて、最初に計算された較正された内因性に対して正しく位置合わせされていない画像から誤差を減少させる。そのため、位置合わせにおける不一致、歪み、およびレンズ内因性を補正するために計算集約型(例えば、オプティカルフロー)画像特徴ベースの方法にほとんど、または全く時間が費やされる可能性がないので、繋ぎ合わせまたはタイリングの速度が上昇する。
図17は、改善されたマルチカメラ捕捉装置500の一部に対する電子システム図を示す。この例では、十二面体タイプの装置が11個のカメラ520、および、支持支柱を含む、電子機械的接合部分を12番目のカメラ位置に有する。画像データは11個のカメラの各々から収集されて、インタフェース入力-出力モジュールを通り、ケーブルまたはケーブル束を通って、ライブ画像トリミングおよび繋ぎ合わせまたはタイリング、ならびにカメラおよび装置制御を含む、画像処理を提供できる携帯型コンピュータに向けられ得る。出力画像データは、画像ディスプレイ、VRヘッドセット、またはローカルもしくはリモートに配置された、さらに遠くのコンピュータに向けられる。電気出力および冷却も必要に応じて提供され得る。
また、前に示唆したように、マルチカメラ捕捉装置の性能は、オプトメカニクスおよび画像品質の両方に関連して、内部および外部環境要因の両方によって影響され得る。画像センサー270の各々、およびセンサーパッケージ全体は、データインタフェースおよび電力サポート電子機器と共に、局所的な熱源であり得る。カメラレンズ、およびそれらが提供する画像に対する熱インパクトを低減するために、機械設計は好ましくは、センサー270をレンズオプトメカニクスから熱的に分離する。センサーおよびそれらの電子機器と、光学系との間の熱勾配を低減するのをさらに支援するために、マイクロヒートパイプが、センサーを冷却して熱の方向を変えるために使用できる。熱は好ましくは、図17に示される、12番目のカメラ位置の電子機械的接合部分を通して提供された能動的または受動的冷却のいずれかによって装置全体から除去される。この冷却は、対流もしくは伝導(液体冷却を含む)またはそれらの組合わせによって提供できる。
同様に前に示唆したように、外部周囲または環境要因も改善されたマルチカメラ捕捉装置500の性能に影響を及ぼし得る。これらの要因は照射周囲光の影響、または環境における熱極値(thermal extreme)もしくは変化を含み得る。例えば、太陽光は典型的には高度に指向性があるので、屋外画像捕捉のあるシナリオは、装置の一側面上のカメラ520は明るく照射される結果となり得るが、一方、他のカメラは場面からのプレノプティック照明を見ているか、または陰にさえなっている。かかる場合、捕捉された画像は動的な露光変化を示し得、それはその後、好ましくは局所的に提供される(図14を参照)、露光補正によって修正され得る。改善されたマルチカメラ捕捉装置500では、光学的基準425からの光も捕捉された画像の露光補正のために使用できる。コアFOV205の縁と拡張FOV215との間の、周辺画像領域からの光または画素信号も、画像がコアFOV205のサイズまでトリミングされる前に、露光補正のために使用できる。追加として、露光補正は、継ぎ目160内、または頂点、外側レンズ素子340間に光検出器を埋め込むことによっても可能にされ得る。これらの急激な露光差は、改善されたマルチカメラ捕捉装置500内で、他と比較して、いくつかの画像センサー270の熱負荷における空間的および時間的差を引き起こし得る。前述のセンサー冷却は、ヒートパイプ、ヒートシンク、液体冷却、または他の手段によって可能にされるかにかかわらず、かかる差を吸収するように設計され得る。性能は、有限要素解析(FEA)によって検証され得る。
総合すれば、図8A、B、および関連考察は、外側レンズ素子の統合されたセットを提供する外側シェルまたはドーム510を有する改善されたパノラママルチカメラ捕捉装置500に対するアプローチを提示する。一方、図10A、図10A2、図10B~Cおよび図10Eは、一連の外側コンプレッサーレンズ素子(550)を外側シェルの一部として提供するための好都合な幾何形状を示す。図8A、図8Cおよび図12ならびに関連考察は、カメラ520およびカメラハウジング(530)を光学ドーム510と、ならびに相互に統合するための構成に関する詳細を提供する。図13~16、および関連考察は、所与のカメラに対する撮像場所において撮像されたFIOVを決定または変更するための構成に関する詳細を提供する。組み合わせて、本アプローチの目標は、容易なタイリングを可能にする、複数の低視差の隣接したカメラおよび隣接したカメラ間の縮小された継ぎ目幅をもつ、改善されたパノラママルチカメラ捕捉装置500を提供することである。さらなる目標は、環境損害または汚染に対して低下した感度を有する改善された装置(550)を提供することである。追加として、カメラは、ドーム内にモジュール式構造を有して、工場もしくはサービスセンター内での容易な交換、または潜在的に現場交換を(例えば、フィールド交換可能ユニット(FRU)を用いて)可能にすることを意図する。また、ドームは、1つ以上の内部レンズ素子があり得るように、プラスチックまたはポリマー材料で製造できるので、組み立てられた装置の単位原価を削減するのを支援するために、全部プラスチックまたはハイブリッドのプラスチックおよびガラス光学設計が提供され得る。
前述のとおり、図4に関して、改善されたマルチカメラ捕捉装置500に対する好ましい構成は、十二面体または切頂二十面体配置に分散された複数のカメラレンズ520を有する、概ね球形システムを設計および製造することである。しかし、いくつかの用途に対して、概ね半球構成は好ましくあり得る。外側レンズ素子およびカメラは典型的には多角形状なので、半球状装置はギザギザまたは不規則な外周を有し得る。かかるシステムでは、カメラは不規則な半球容積内に含まれるように設計できるか、またはカメラの1つ以上は、光路が不規則な周辺面を通って延在するように、折れ曲がり(fold)を用いて(例えば、ミラーまたはプリズムの使用)設計できる。この構造は、スワップインおよびアウトできるモジュール式センサーユニットの使用のためのさらなる余地を提供できる。
同様に前に示唆したように、外部周囲または環境要因もマルチカメラ捕捉装置の性能に影響を及ぼし得る。これらの要因は照射周囲光の影響、または環境における熱極値もしくは変化を含み得る。例えば、太陽光は典型的には高度に指向性があるので、屋外画像捕捉のあるシナリオは、装置の一側面上のカメラは明るく照射されるが、他のカメラは場面からのプレノプティック照明を見ているか、または陰にさえなっている結果となり得る。かかる場合、捕捉された画像は動的な露光変化を示し得、それは次いで、局所的に提供され得る(図17を参照)、露光補正によって修正され得る。改善されたマルチカメラ捕捉装置500では、光学的基準475からの光も捕捉された画像の露光補正のために使用できる。コアFOV205の縁と拡張FOV215との間の、周辺画像領域の一部からの光または画素信号も、画像が、実際の現在のコアFOV205のサイズまでトリミングされる前に、露光補正のために使用できる。第1のカメラの拡張FOV215は隣接したカメラの拡張FOV215と少なくとも一部、オーバーラップし得るので、その光レベルおよび色比較は、両方のカメラによって同時に捕捉されている内容または信号に対して行われ得ることにも留意されたい。これらのオーバーラップしている領域からの信号または画素データは、共通の参照点(例えば、一致した特徴点-SIFT、SURFまたはオーバーラップ領域内で共通の特徴点を見つけるための類似のアルゴリズムを使用)を有することにより、2つのカメラ間の露光変化を判断するために使用できる。
周辺画像または露光データも後に、または画像後処理での使用のために保持され得ることに留意されたい。追加として、露光補正は、継ぎ目400内、または頂点、外側レンズ素子437間に光検出器を埋め込むことによっても可能にされ得る。これらの急激な露光差は、マルチカメラ捕捉装置300内で、他と比較して、いくつかの画像センサー270の熱負荷における空間的および時間的差を引き起こし得る。前述のセンサー冷却は、ヒートパイプ、ヒートシンク、液体冷却、または他の手段によって可能にされるかにかかわらず、かかる差を吸収するように設計され得る。性能は、有限要素解析(FEA)によって検証され得る。
代替として、1つ以上のカメラシステムは、その外側レンズ素子の、継ぎ目から継ぎ目へ、および頂点から頂点へ、多角形状を覆うためのシールドまたはマスクの取付けによって保護できる。かかるシールドは、単一のカメラレンズ系、または複数のレンズ系を覆うために提供できる。これらのシールドは、外側レンズ素子の外側表面形状に概ね適合するように成形され得、それらは、明るい指向性光(例えば、太陽光)からの飽和露光もしくは過剰露光を防ぐため、または局所的な指向性環境要因からの汚染を防ぐために使用され得る。これらのキャップは、いくつかのユーザー用途に対して、名目上取り外し可能であるが、それらは長期間にわたって使用し続けられ得る。太陽または他の光源からの過度に明るい露光も、内側レンズ素子540のグループ化内などで、例えば、カメラ520内に設計され得る、電子シャッターもしくはドレイン、もしくは物理的シャッターまたは電気光学的減光フィルタ、フォトクロミックもしくはエレクトロクロミックフィルタを有する画像センサーで制御され得る。電子または二次シャッターを開始または制御するための信号は、画像センサーから、または他の内部もしくは外部光検出器から取得され得る。別のロバスト性改善として、1つ以上のカメラチャネルは、標準的な染料ベースのCFAの代わりに画像センサーパッケージに統合された二色性カラーフィルタアレイを使用できる。
環境の影響もマルチカメラ捕捉装置を非対称的に加熱または冷却し得る。改善されたマルチカメラ捕捉装置500に対する隣接したカメラハウジング530(図8および図15を参照)の前述の運動学的取付けまたは連結は、機械的応力を偏向または平均化して機械的移動を制限しようと試みることによって、このインパクトを低減するのを支援できる。しかし、非対称の熱負荷を、カメラ520とそれらのハウジング530との間で、またはカメラ520とそれらのハウジング530によって、より均等に共有されるように伝達またはシフトするためのチャネルまたは材料を提供することは、さらに有益であり得る。図8Aに関して、これは、レンズハウジング530および内部フレーム800周辺の空間は、少なくとも一部、コンプライアントであるが高熱的接触、熱伝導材料(例えば、Sil-Pad(Henkel Corporationから)またはCoolTherm(Lord Corporation、米国ノースカロライナ州ケーリー)で充填されて、非対称な熱負荷または差を空間的に平均化するのを支援し得ることを意味する。代替として、または追加として、3M(米国ミネソタ州セントポール)からの88xxシリーズの粘着テープなどの、熱伝導性ストラップまたはテープが使用できる。しかし、同時に、熱変化の影響の一部は、カメラレンズ520の画像性能に関して、光学ガラスの賢明な選択およびレンズハウジング530内での光学素子の非熱的取付けの両方によって軽減できる。組み合わせて、効果的な設計アプローチは、環境の影響に対するレンズ520とそれらのハウジング530との間の熱伝達またはクロストークを可能にすることであるが、同時にレンズおよびハウジングをセンサー270およびそれらの電子機器から分離することであり得る。
改善されたマルチカメラ画像捕捉装置500内での使用のための改善されたカメラ520は、調節可能なレンズ素子も使用して熱的または機械的に引き起こされた焦点変化(例えば、焦点ぼけ)を補正し得る。この調節可能なレンズは優先的に内側レンズ素子540の間に配置でき、Optotune(Dietikon、SW)からの電気的に作動される焦点調整可能レンズなどの、液晶または弾性ポリマー型デバイスであり得る。
本アプローチの重点は、視差誤差が少なくともコアFOV205内で低減され得る改善されたカメラレンズ系320の開発に置かれてきたが、適度な拡張FOV215(例えば、≦5%の余分)および隣接したカメラとの画像捕捉オーバーラップも提供され得る。同様に、本アプローチは、隣接したカメラ間での画像捕捉のさらに大きいオーバーラップFOV(例えば、37.45°の名目コアFOVを備えた十二面体システムに対する10~25%の余分、または約4~10°の余分のFOV)を有する、考えられる用途をサポートするために拡張でき、少なくともコアFOV205内での同時の視差誤差または遠近法誤差制御が優先事項であることに留意されたい。カメラ設計は、さらに大きいオーバーラップFOV(例えば、10~20°の余分)を提供するために、さらにもっと拡張され得るが、設計されたコアFOVを遥かに超えた角度に対する低減された視差の恩恵はない。
結論として、本発明の目的は、光線の半分が1つのチャネルによってピックアップされ、光線の半分が隣接したチャネルによってピックアップされるように、縁光を隣接したカメラチャネル間で50/50に分割することである。視差誤差およびフロントカラーがうまく補正される場合、光線は幾何形状の縁境界と略完全に一致して、これらの隣接したレンズチャネルに50/50で分割され得る。そうでない場合、これらの光線は完全には分割されない可能性があるが、代わりに何らかの間隙によって分離され得る。いずれの場合にも、介在する機械的継ぎ目は、実際の幅を有しており、光線分割またはブラインド領域の範囲および失われる画素数または拡張FOVを有する価値に影響を及ぼし得る。ファセット付きドーム510を用いた、本アプローチは、一部、機械的継ぎ目の幅を減らすための手段および構造を提供し、同時に、その改善を利用できる低視差カメラを光学的に設計する。
主光線を多角形面の縁に押すために、入射瞳の収差、ならびに特に瞳の球面収差および軸方向色収差は、最適化または低減されるべきである。文脈に関して、それぞれ、物体空間および画像空間内の開口絞りの投影画像である、入射瞳および射出瞳は通常、学究的好奇心であり、人がレンズを覗き込んだときに見ることができる開口絞りの仮想画像を表す。
典型的な光学系では、良好な画像品質を提供するために、正味少しの個々の表面寄与することを典型的な目的として、たとえ個々の内部表面における値が、正または負にかかわらず、より大きな規模であっても、収差は結像面において重要である。一方、開口絞りにおける収差は、多くの場合、光線束の視野に対するクリッピングまたはビネッティングを最小限にしながら、絞りを正しく位置付けてレンズ系F値を定義する以外、あまり問題ではない。物体が開口絞りに配置された場合、瞳収差は、これらの瞳収差が必ずしも結像面における画像品質を表していないが、入射または射出瞳を見ている人によって見られるように、その物体の画像の見掛けの画像品質に影響を及ぼし得ることに留意されたい。
低視差レンズでは、他方、瞳収差、および特に入射瞳収差は重要である。第1に、視差を制御するために適切にレンズを設計し始めるため、入射瞳は結像面の後ろに位置付ける必要がある。第2に、周辺主光線を外側コンプレッサーレンズ素子から、低視差量の方に向けることは、制御される必要がある。前述のとおり、入射瞳の球面収差の最適化は視差誤差を制限するための効果的な方法であり得る。その文脈では、入射瞳の球面収差の、わずかな適度に補正されたか、または不十分に補正された最適化が起こり得、非近軸主光線NP点はそれぞれ、近軸NP点に至るか、または従い得ることを意味する。追加として、入射瞳の軸方向色収差は、入射瞳の球面収差の最適化に影響を及ぼし得る色差を引き起こす。この軸方向色収差のアーチファクトと見なされ得る、フロントカラー、および軸方向色収差自体は、レンズ設計内での高および低分散光学材料の賢明な選択および使用によって低減できる。入射瞳または主光線ポインティングの球面収差の最適化は、非近軸主光線NP点ポインティングおよび視差低減に対する微調整を提供するが、コンプレッサーレンズグループからの歪みも、増大する視野に対して、レンズの後ろの位置に向かい、低視差量に向かう、投影された主光線ポインティングに増大する影響を与える。外側コンプレッサーレンズ素子の外側表面上の主光線高も定義する、歪みの大きさおよび特性は、コンプレッサーレンズグループ内での非球面の使用によって有意に決定され得る。
この説明は、高帯域可視光、または人が感知できる用途での使用のための改善されたマルチカメラ画像捕捉装置500の設計を強調してきたが、これらの装置は狭帯域可視用途(スペクトルフィルタ、紫外線(UV)、または赤外線(IR)光学撮像アプリケーションを使用して修正される)に対しても設計できる。偏光子または偏光子アレイも使用され得る。追加として、改善された撮像カメラ520および装置500は全て屈折設計を使用するとして説明されているが、光学設計は反射屈折でもあり、屈折および反射光学素子の組合わせを使用できる。

Claims (20)

  1. 内部容積の少なくとも一部を画定するドームであって、
    第1のレンズ素子と、
    前記第1のレンズ素子に隣接した第2のレンズ素子と、
    前記第1のレンズ素子と前記第2のレンズ素子との間の継ぎ目に沿って延在する溝と
    を含む、ドームと、
    第1の複数の光学素子を含む第1の結像レンズと、
    前記第1の結像レンズに連結されて、第1の取付け特徴を含む、第1のハウジングと、
    第2の複数の光学素子を含む第2の結像レンズと、
    前記第2の結像レンズに連結されて、第2の取付け特徴を含む、第2のハウジングと
    を備え、
    前記第1の取付け特徴は前記溝と協働して前記第1の結像レンズを前記内部容積内に保持して前記第1のレンズ素子を通過する画像光を第1の結像面に向かわせるか、または
    前記第2の取付け特徴は前記溝と協働して前記第2の結像レンズを前記内部容積内に保持して前記第2のレンズ素子を通過する画像光を第2の結像面に向かわせるか
    のうちの1つである、
    撮像装置。
  2. 前記第1のレンズ素子は、複数の第1の側面を含む多角形外周を有し、
    前記第2のレンズ素子は、複数の第2の側面を含む多角形外周を有し、かつ
    前記継ぎ目は、前記複数の第1の側面のうちの1つの第1の側面と、前記複数の第2の側面のうちの1つの第2の側面との間の間隙を含む、
    請求項1に記載の撮像装置。
  3. 前記ドームは、前記溝内に配置されたノッチ部を含み、かつ
    前記第1の取付け突起部または前記第2の取付け突起部の1つが前記ノッチ部で受け入れられる、
    請求項1に記載の撮像装置。
  4. 前記第1の取付け突起部または前記第2の取付け突起部の少なくとも1つは、前記溝内で受け入れられるように構成された1つ以上の取付け支柱を含む、請求項1に記載の撮像装置。
  5. 前記内部容積内に配置されたフレームをさらに備え、前記第1のレンズハウジングおよび前記第2のレンズハウジングは前記フレームに連結されている、請求項1に記載の撮像装置。
  6. 前記フレームは、前記撮像装置の多角形状と名目上一致する多角形状を有する、請求項11に記載の撮像装置。
  7. 前記溝は、前記継ぎ目において前記ドームの内部表面に近接して形成される、請求項1に記載の撮像装置。
  8. 前記溝は、第1のファセットおよび第2のファセットを含み、前記第1のファセットは、前記継ぎ目において前記ドームに入る入射光の第1の部分を前記第1の結像レンズに向かわせ、前記第2のファセットは、前記継ぎ目において前記ドームに入る前記入射光の第2の部分を前記第2の結像レンズに向かわせる、請求項1に記載の撮像装置。
  9. 前記第1のファセットは、前記継ぎ目から離れて前記第1の外側レンズ素子に向かって延出する第1の角度の付いた表面を含み、前記第2のファセットは、前記継ぎ目から離れて前記第2の外側レンズ素子に向かって延出する第2の角度の付いた表面を含む、請求項8に記載の撮像装置。
  10. 前記ドームは、
    前記第1の角度の付いた表面によって向けられた画像光を反射するように構成された第1のミラー面であって、画像光を前記第1の結像レンズの方に反射する、第1のミラー面と、
    前記第2の角度の付いた表面によって向けられた画像光を反射するように構成された第2のミラー面であって、光を前記第2の結像レンズの方に反射する、第2のミラー面と
    をさらに含む、請求項9に記載の撮像装置。
  11. 前記第1のファセットまたは前記第2のファセットの少なくとも1つは全内反射によって光を向かわせる、請求項8に記載の撮像装置。
  12. 前記第1のファセットまたは前記第2のファセットの少なくとも1つによって向けられた光に対する光路長を等しくするコンペンセータをさらに備える、請求項1に記載の撮像装置。
  13. 前記第1の結像レンズは、第1の名目視野および前記第1の名目視野よりも大きい第1の拡張視野を含む第1の視野を提供し、
    前記第2の結像レンズは、第2の名目視野および前記第2の名目視野よりも大きい第2の拡張視野を含む第2の視野を提供し、
    前記第1の拡張視野および前記第2の拡張視野は前記継ぎ目においてオーバーラップし、
    前記第1のハウジングおよび前記第2のハウジングは、前記オーバーラップを2画素以下に減少させるように前記第1の結像レンズおよび前記第2の結像レンズを構成する、
    請求項1に記載の撮像装置。
  14. 前記第1のレンズ素子に入る前記入射光内に含まれる近軸主光線の第1の投影は前記第1の結像面の後ろに置かれた入射瞳に収束し、
    前記第1のレンズ素子に入る前記入射光内に含まれる非近軸主光線の第2の投影は低視差点に収束し、
    第1のハウジングは前記ドームに連結されて、前記入射瞳と前記低視差点との間の距離を減少させる、
    請求項1に記載の撮像装置。
  15. 前記第1の結像レンズおよび前記第2の結像レンズは前記ドームに連結されて、前記第1の縁および前記第2の縁の近くで前記非近軸主光線に対する視差誤差を低減させ、前記第1の結像レンズまたは前記第2の結像レンズの少なくとも1つと関連付けられた視野の少なくとも一部内で遠近法の中心誤差を減少させる、請求項1に記載の撮像装置。
  16. 前記第1の結像レンズおよび前記第2の結像レンズは、前記入射瞳またはその近くの平面において球面収差の横成分を制限することによるか、または前記低視差量の縦幅を制限することによるか、または前記入射瞳またはその近くで遠近法の中心の軸方向位置を制御することによって、視差誤差もしくは遠近法誤差を低減する、請求項15に記載の撮像装置。
  17. 前記第1の結像レンズおよび前記第2の結像レンズは、前記継ぎ目またはその近くからの前記撮像された非近軸主光線によって経験される低減されたフロントカラーを提供する、請求項1に記載の撮像装置。
  18. 内部容積の少なくとも一部を画定するドームであって、
    第1のレンズ素子と、
    前記第1のレンズ素子に隣接した第2のレンズ素子と、
    前記第1のレンズ素子と前記第2のレンズ素子との間の継ぎ目に形成された1つ以上のファセットと
    を含む、ドーム
    を備える、撮像装置。
  19. 前記内部容積内に配置されて、前記第1のレンズ素子を通過する光を第1の結像面に向かわせるように構成された第1の結像レンズと、
    前記内部容積内に配置されて、前記第2のレンズ素子を通過する光を第2の結像面に向かわせるように構成された第2の結像レンズと
    をさらに備え、
    前記1つ以上のファセットは、前記継ぎ目において光線の第1の部分を前記第1の結像レンズに向かわせ、前記継ぎ目において光線の第2の部分を前記第2の結像レンズに向かわせる、
    請求項18に記載の撮像装置。
  20. 前記1つ以上のファセットは、前記継ぎ目に沿って延在する溝を画定し、前記溝は、前記第1のレンズ素子または前記第2のレンズ素子のハウジング上の取付け特徴を受け入れるように構成されている、請求項18に記載の撮像装置。
JP2021577338A 2019-06-24 2020-06-23 ファセット付きドームを備えたマルチカメラパノラマ画像捕捉装置 Pending JP2022540558A (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201962865741P 2019-06-24 2019-06-24
US62/865,741 2019-06-24
US201962952973P 2019-12-23 2019-12-23
US201962952983P 2019-12-23 2019-12-23
US62/952,973 2019-12-23
US62/952,983 2019-12-23
US202062972532P 2020-02-10 2020-02-10
US62/972,532 2020-02-10
PCT/US2020/039200 WO2020263867A1 (en) 2019-06-24 2020-06-23 Multi-camera panoramic image capture devices with a faceted dome

Publications (1)

Publication Number Publication Date
JP2022540558A true JP2022540558A (ja) 2022-09-16

Family

ID=74060373

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2021577338A Pending JP2022540558A (ja) 2019-06-24 2020-06-23 ファセット付きドームを備えたマルチカメラパノラマ画像捕捉装置
JP2021577347A Pending JP2022539553A (ja) 2019-06-24 2020-06-23 低視差パノラマカメラシステムのためのレンズ設計
JP2021577377A Pending JP2022540351A (ja) 2019-06-24 2020-06-23 隣接したカメラを備えたパノラマ捕捉装置のオプトメカニクス

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2021577347A Pending JP2022539553A (ja) 2019-06-24 2020-06-23 低視差パノラマカメラシステムのためのレンズ設計
JP2021577377A Pending JP2022540351A (ja) 2019-06-24 2020-06-23 隣接したカメラを備えたパノラマ捕捉装置のオプトメカニクス

Country Status (5)

Country Link
US (3) US20220357646A1 (ja)
EP (2) EP3987334A4 (ja)
JP (3) JP2022540558A (ja)
KR (1) KR20220045143A (ja)
WO (3) WO2020263867A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3987334A4 (en) 2019-06-24 2023-09-06 Circle Optics, Inc. MULTI CAMERA PANORAMIC PHOTOGRAPHY DEVICES WITH FACETED DOME
WO2021262768A1 (en) * 2020-06-23 2021-12-30 Circle Optics, Inc. Low parallax imaging system with an internal space frame
US12092948B2 (en) 2019-06-24 2024-09-17 Circle Optics, Inc. Low parallax imaging system with an internal space frame
US20210157109A1 (en) * 2019-11-22 2021-05-27 Foshan Limited Equirectangular lens for virtual reality video
US20230152672A1 (en) * 2019-12-23 2023-05-18 Circle Optics, Inc. Mounting systems for multi-camera imagers
KR102522892B1 (ko) * 2020-03-12 2023-04-18 한국전자통신연구원 가상 시점 영상을 합성하기 위한 입력 영상을 제공하는 카메라 선별 방법 및 장치
EP4233037A1 (en) * 2020-10-21 2023-08-30 H2VR HoldCo, Inc. Off-axis color correction in dynamic image capture of video wall displays
EP4291934A1 (en) * 2021-02-09 2023-12-20 Circle Optics, Inc. Low parallax lens design with improved performance
WO2023049305A1 (en) * 2021-09-24 2023-03-30 Chinook Labs Llc Object localization and information encoding system
WO2023248190A1 (en) * 2022-06-22 2023-12-28 National Research Council Of Canada Neuromorphic camera in a laser warning systems (lws)
US20240114223A1 (en) * 2022-09-29 2024-04-04 Meta Platforms Technologies, Llc Dual optical magnification camera
KR102568503B1 (ko) * 2022-10-31 2023-08-22 대한민국 일사 관측 센서의 유리돔에 대한 오염감지기
KR102585261B1 (ko) * 2023-04-26 2023-10-06 주식회사 케이유전자 3차원 보정객체의 단일 영상을 활용하여 적응형 영상 증강 방법 기반의 최적화된 다중 카메라 보정 시스템
CN116740162B (zh) * 2023-08-14 2023-11-14 东莞市爱培科技术有限公司 一种基于多尺度代价卷的立体匹配方法及计算机存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004184862A (ja) * 2002-12-05 2004-07-02 Sony Corp 撮像装置
WO2017126455A1 (ja) * 2016-01-19 2017-07-27 日本精機株式会社 ヘッドアップディスプレイ装置とレンズユニット
WO2018193713A1 (ja) * 2017-04-21 2018-10-25 ソニー株式会社 撮像装置

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3524697A (en) 1967-04-27 1970-08-18 Nippon Kogaku Kk Achromatic super wide-angle lens
US4930864A (en) 1988-08-02 1990-06-05 Eltec Instruments, Inc. Domed segmented lens systems
US5023725A (en) 1989-10-23 1991-06-11 Mccutchen David Method and apparatus for dodecahedral imaging system
KR100322184B1 (ko) 1994-07-21 2002-06-22 이중구 변배파인더
US6141034A (en) 1995-12-15 2000-10-31 Immersive Media Co. Immersive imaging method and apparatus
JPH10111465A (ja) 1996-10-04 1998-04-28 Nikon Corp 高変倍率ファインダー
EP1231780A3 (en) 2001-02-07 2004-01-14 Sony Corporation Image pickup apparatus
JP4211319B2 (ja) 2001-08-17 2009-01-21 ソニー株式会社 撮像装置
US6678098B2 (en) * 2002-06-18 2004-01-13 The Boeing Company Multiple lens support
KR100541028B1 (ko) 2003-07-21 2006-01-11 주식회사 옵토메카 이미지 센서 및 그 제조 방법
JP2005128286A (ja) 2003-10-24 2005-05-19 Olympus Corp 超広角レンズ光学系及びそれを備えた撮像装置と表示装置
JP2006030664A (ja) 2004-07-16 2006-02-02 Sony Corp 撮像装置
JP2006033570A (ja) * 2004-07-20 2006-02-02 Olympus Corp 画像生成装置
JP4386021B2 (ja) 2005-10-11 2009-12-16 ソニー株式会社 撮像装置
JP2008294819A (ja) * 2007-05-25 2008-12-04 Sony Corp 撮像装置
US9001187B2 (en) 2009-05-11 2015-04-07 CapsoVision, Inc. Capsule imaging system having a folded optical axis
JP5243161B2 (ja) * 2008-09-18 2013-07-24 日本板硝子株式会社 画像読取装置
US8830377B2 (en) 2010-01-04 2014-09-09 Duke University Monocentric lens-based multi-scale optical systems and methods of use
US8654215B2 (en) 2009-02-23 2014-02-18 Gary Edwin Sutton Mobile communicator with curved sensor camera
US9237317B2 (en) * 2009-05-02 2016-01-12 Steven J. Hollinger Throwable camera and network for operating the same
US9339194B2 (en) * 2010-03-08 2016-05-17 Cernoval, Inc. System, method and article for normalization and enhancement of tissue images
WO2012037343A1 (en) 2010-09-15 2012-03-22 Ascentia Imaging, Inc. Imaging, fabrication, and measurement systems and methods
EP2695385B8 (en) 2011-04-08 2016-03-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Capturing panoramic or semi-panoramic 3d scenes
US9152019B2 (en) 2012-11-05 2015-10-06 360 Heros, Inc. 360 degree camera mount and related photographic and video system
US8902322B2 (en) * 2012-11-09 2014-12-02 Bubl Technology Inc. Systems and methods for generating spherical images
JP6118100B2 (ja) 2012-12-19 2017-04-19 日本電産サンキョー株式会社 接合レンズおよびレンズユニット
US9503638B1 (en) * 2013-02-04 2016-11-22 UtopiaCompression Corporation High-resolution single-viewpoint panoramic camera and method of obtaining high-resolution panoramic images with a single viewpoint
WO2014152855A2 (en) * 2013-03-14 2014-09-25 Geerds Joergen Camera system
US9451162B2 (en) 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
EP3140689B1 (en) 2014-05-06 2021-12-22 Niazi, Zakariya Method for forming a panoramic image
US9911454B2 (en) 2014-05-29 2018-03-06 Jaunt Inc. Camera array including camera modules
EP3207695A1 (en) * 2014-10-17 2017-08-23 Panono GmbH Camera system for capturing images and methods thereof
US10085005B2 (en) 2015-04-15 2018-09-25 Lytro, Inc. Capturing light-field volume image and video data using tiled light-field cameras
JP2016208294A (ja) 2015-04-23 2016-12-08 株式会社日立製作所 マルチ画像撮影システム、撮影装置、および画像処理装置
CN107637060B (zh) 2015-05-27 2020-09-29 谷歌有限责任公司 相机装备和立体图像捕获
US9575394B1 (en) 2015-06-10 2017-02-21 Otoy, Inc. Adaptable camera array structures
JP6750223B2 (ja) 2015-12-28 2020-09-02 大日本印刷株式会社 レンズシートユニット、撮像モジュール、撮像装置
EP3264740B1 (en) 2016-06-30 2019-08-28 Nokia Technologies Oy Modular camera blocks for virtual reality capture
US20190235214A1 (en) * 2016-07-05 2019-08-01 Zero Parallax Technologies Ab Spherical camera lens system, camera system and lens assembly
DE102017118714A1 (de) 2016-08-17 2018-02-22 Google Inc. Mehrstufiges Kameraträgersystem für die stereoskope Bildaufnahme
KR102386492B1 (ko) * 2017-03-21 2022-04-15 삼성전자주식회사 렌즈 어셈블리 및 그를 포함하는 광학 장치
US10291828B1 (en) * 2017-04-13 2019-05-14 Facebook, Inc. Scalable three-dimensional, 360-degree virtual reality camera system
US10440349B2 (en) 2017-09-27 2019-10-08 Facebook Technologies, Llc 3-D 360 degrees depth projector
DE102017011352B4 (de) 2017-12-07 2020-01-30 Friedrich Grimm Kameramoduleinheit für Digitalaufnahmen
KR102350916B1 (ko) * 2017-12-19 2022-01-13 한화테크윈 주식회사 감시 카메라 어셈블리 및 감시 카메라 어셈블리 설치 방법
SG11202009434XA (en) * 2018-03-29 2020-10-29 Skydome Ab Camera system for enabling spherical imaging
US12092948B2 (en) 2019-06-24 2024-09-17 Circle Optics, Inc. Low parallax imaging system with an internal space frame
EP3987334A4 (en) 2019-06-24 2023-09-06 Circle Optics, Inc. MULTI CAMERA PANORAMIC PHOTOGRAPHY DEVICES WITH FACETED DOME
US20230152672A1 (en) 2019-12-23 2023-05-18 Circle Optics, Inc. Mounting systems for multi-camera imagers
JP2023513107A (ja) 2020-02-10 2023-03-30 サークル オプティクス,インコーポレイテッド 強化された検知のためのパノラマカメラシステム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004184862A (ja) * 2002-12-05 2004-07-02 Sony Corp 撮像装置
WO2017126455A1 (ja) * 2016-01-19 2017-07-27 日本精機株式会社 ヘッドアップディスプレイ装置とレンズユニット
WO2018193713A1 (ja) * 2017-04-21 2018-10-25 ソニー株式会社 撮像装置

Also Published As

Publication number Publication date
US20220252848A1 (en) 2022-08-11
WO2020263865A1 (en) 2020-12-30
WO2020263868A1 (en) 2020-12-30
JP2022540351A (ja) 2022-09-15
US12092800B2 (en) 2024-09-17
WO2020263867A1 (en) 2020-12-30
EP3987334A4 (en) 2023-09-06
EP3987344A4 (en) 2023-08-09
JP2022539553A (ja) 2022-09-12
EP3987344A1 (en) 2022-04-27
US20220357646A1 (en) 2022-11-10
US20220357645A1 (en) 2022-11-10
KR20220045143A (ko) 2022-04-12
EP3987334A1 (en) 2022-04-27

Similar Documents

Publication Publication Date Title
JP2022540558A (ja) ファセット付きドームを備えたマルチカメラパノラマ画像捕捉装置
US20230152672A1 (en) Mounting systems for multi-camera imagers
JP3208259U (ja) 近赤外撮像レンズ
CN109633896A (zh) 具有制作误差的容差的透镜设计
US20230090281A1 (en) Panoramic camera system for enhanced sensing
KR20110068994A (ko) 3-미러 파노라마 카메라
KR20130025137A (ko) 파노라마 촬상 렌즈 및 이를 이용한 파노라마 촬상 시스템
CN105917254A (zh) 双焦镜头和包括双焦镜头的成像装置
TWI490537B (zh) 變焦鏡頭及變焦鏡頭模組
JPWO2007088917A1 (ja) 広角レンズおよびこれを用いた光学装置並びに広角レンズの製造方法
US8031254B2 (en) Optical device, imaging device, control method for optical device, and program
CN107450145A (zh) 透镜装置和包括透镜装置的图像拾取装置
JP4683212B2 (ja) 魚眼レンズ及び撮像装置
US12092948B2 (en) Low parallax imaging system with an internal space frame
WO2017217925A1 (en) Image capturing apparatus for capturing an omnidirectional view
Jo et al. Design of omnidirectional camera lens system with catadioptic system
US20020001146A1 (en) Image pickup optical system
JP2001264854A (ja) ファインダー装置及びそれを用いた光学機器
JP2009008968A (ja) 焦点検出光学系及びそれを用いた撮像装置
JP2023531965A (ja) 内部空間フレームを備えた低視差画像システム
JP2024522792A (ja) 性能が改善された低視差レンズ設計
US6798586B1 (en) Corrector optic compensating spherical and coma aberrations generated by a prism
JP2007025261A (ja) 撮像レンズ
JP2024501506A (ja) 3つのミラーを含む結像光学系

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220907

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230529

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240625

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240920