JP2017525206A - 完全に球形の画像を取り込むことができる視差を有しないマルチカメラシステム - Google Patents

Abstract

球形視野画像を生成するための方法およびシステム。いくつかの実施形態では、撮像システムは、第1の方向における第1の視野(FOV)と第1のFOVを通って延びる光軸とを有する前方カメラと、第1のFOVを通って延びる光軸を有する後方カメラと、前方カメラと後方カメラとの間に配設された複数の側方カメラと、後方カメラと複数の側方カメラとの間に配設され、さらに後方カメラの光軸に垂直に配設された後方光方向転換反射鏡構成要素と、複数の側方カメラの各々が、複数の光方向転換反射鏡構成要素のうちの1つによって方向を変えられ反射された光を受け取るように位置付けられた、複数の側方光方向転換反射鏡構成要素とを含む。

Description

本開示は、マルチカメラシステムを含む撮像システムおよび方法に関する。特に、本開示は、球形に近いかまたは完全に球形の画像を取り込むためのシステムおよび方法に関する。

多くの撮像システムは、静止画像および/またはビデオ画像を取り込むためにユーザによって操作される場合があるカメラを含む。撮像システムは一般に、高品質画像を取り込むように設計されるので、カメラまたは撮像システムが視差を有しないかまたは視差を実質的に有しないように設計することが重要である場合がある。さらに、撮像システムが、取り込まれた画像が視差を有しないかまたは視差を実質的に有しないグローバルシーンの画像を取り込むことが望ましい場合がある。撮像システムは、中心点の近くの複数の位置からグローバルシーンの様々な視野を取り込むために使用される場合がある。しかし、これらの設計の多くは、視野が中心点ではなく様々な位置から生じるので大量の視差を含む画像を伴う。これを解決するには、視差を有しないかまたは視差を実質的に有しないグローバルシーンの画像を取り込むことが好ましい。

米国出願公開第2014/0111650号

集合的に球形の画像を示す複数の画像を取り込むための撮像システムは、前方カメラと、後方カメラと、第1のカメラのセットと、第2のカメラのセットと、第3のカメラのセットとを含む。前方カメラは、前方カメラの投影光軸の周りの第1の視野(FOV)における画像を取り込むように位置付けられる。前方カメラの投影光軸は第1の方向に位置付けられる。後方カメラは、前方カメラと後方カメラとの間に配設された後方方向転換反射鏡構成要素によって方向を変えられた光を受け取るように位置付けられる。後方カメラは、後方カメラの投影光軸の周りの第2のFOVにおける画像を取り込むように位置付けられる。後方カメラの投影光軸は第1の方向に位置付けられる。第1のカメラのセットは、前方カメラと後方カメラとの間に多角形構成に配設される。第1のカメラは、第3のFOVにおける画像を取り込むように集合的に構成される。FOVは、円形であり、第1のカメラから外側に離れる方向に投影される。第3のFOVの少なくとも一部は、第1のFOVと第2のFOVとの間に位置付けられる。第2のカメラのセットは、第1のカメラと後方カメラとの間に多角形構成に配設される。第2のカメラは、第4のFOVにおける画像を取り込むように集合的に構成される。第4のFOVは、円形であり、第2のカメラから外側に離れる方向に投影される。第4のFOVの少なくとも一部は、第3のFOVと第2のFOVとの間に位置付けられる。第3のカメラのセットは、第2のカメラと後方カメラとの間に多角形構成に配設される。第3のカメラのセットは、第5のFOVにおける画像を取り込むように集合的に構成される。第5のFOVは、円形であり、第3のカメラから外側に離れる方向に投影される。第5のFOVの少なくとも一部は、第4のFOVと第2のFOVとの間に位置付けられる。前方カメラ、後方カメラ、第1のカメラ、第2のカメラ、および第3のカメラは、第1のFOV、第2のFOV、第3のFOV、第4のFOV、および第5のFOVにおいて取り込まれた画像が、撮像システムの視点から見たときに球形の画像を集合的に表すように構成される。

撮像システムは、前方カメラと、後方カメラと、複数の側方カメラと、後方光方向転換反射鏡構成要素と、複数の側方光方向転換反射鏡構成要素とを含む。前方カメラは、第1の方向における第1の視野(FOV)と、第1のFOVを通過して延びる光軸とを有する。後方カメラは光軸を有する。後方カメラは、後方カメラの光軸が第1のFOVを通過して延びる方向に揃えられるように位置付けられる。複数の側方カメラは、前方カメラと後方カメラとの間に配設される。後方光方向転換反射鏡構成要素は、後方カメラと複数の側方カメラとの間に配設される。後方カメラおよび後方光方向転換反射鏡構成要素は、後方カメラが、後方光方向転換反射鏡構成要素によって後方カメラの光軸に沿って方向を変えられた光を受け取るように、後方カメラの光軸が後方光方向転換反射鏡構成要素に向けられるように位置付けられる。複数の側方カメラの各々は、複数の光方向転換鏡構成要素のうちの1つによって方向を変えられた光を受け取るように位置付けられる。

球形の視野(FOV)を示す画像を生成する方法は、前方画像を生成するステップと、後方画像を生成するステップと、第1の画像を生成するステップと、第2の画像を生成するステップと、第3の画像を生成するステップと、前方画像、後方画像、第1の画像、第2の画像、および第3の画像を受け取るステップとを含む。前方画像は、前方カメラの投影光軸の周りの第1の視野(FOV)における画像を取り込むように位置付けられた前方カメラにおいて生成される。前方カメラの投影光軸は第1の方向に位置付けられる。後方画像は、前方カメラと後方カメラとの間に配設された後方方向転換反射鏡構成要素によって方向を変えられた光を受け取るように位置付けられた後方カメラにおいて生成される。後方カメラは、第2のFOVにおける画像を取り込むように位置付けられる。第1の画像は、前方カメラと後方カメラとの間に多角形構成に配設された第1のカメラのセットにおいて生成される。第1のカメラは、第3のFOVにおける画像を取り込むように集合的に構成される。FOVは、円形であり、第1のカメラから外側に離れる方向に投影される。第3のFOVの少なくとも一部は、第1のFOVと第2のFOVとの間に位置付けられる。第2の画像は、前方カメラと後方カメラとの間に多角形構成に配設された第2のカメラのセットにおいて生成される。第2のカメラは、第4のFOVにおける画像を取り込むように集合的に構成される。第4のFOVは、円形であり、第2のカメラから外側に離れる方向に投影される。第4のFOVの少なくとも一部は、第3のFOVと第2のFOVとの間に位置付けられる。第3の画像は、前方カメラと後方カメラとの間に多角形構成に配設された第3のカメラのセットにおいて生成される。第3のカメラは、第5のFOVにおける画像を取り込むように集合的に構成される。第5のFOVは、円形であり、第3のカメラから外側に離れる方向に投影される。第5のFOVの少なくとも一部は、第4のFOVと第2のFOVとの間に位置付けられる。前方画像、後方画像、第1の画像、第2の画像、および第3の画像は、少なくとも1つのプロセッサにおいて受け取られる。前方画像、後方画像、第1の画像、第2の画像、および第3の画像の少なくとも一部を含むモザイク処理された画像が、少なくとも1つのプロセッサによって生成される。

撮像デバイスは、前方画像を生成するための手段と、後方画像を生成するための手段と、第1の画像を生成するための手段と、第2の画像を生成するための手段と、第3の画像を生成するための手段と、前方画像、後方画像、第1の画像、第2の画像、および第3の画像を受け取るための手段とを含む。前方カメラにおいて前方画像を生成するための手段は、前方カメラの投影光軸の周りの第1の視野(FOV)における画像を取り込むように位置付けられる。前方カメラの投影光軸は第1の方向に位置付けられる。後方カメラにおいて後方画像を生成するための手段は、前方カメラと後方カメラとの間に配設された後方方向転換反射鏡構成要素によって方向を変えられた光を受け取るように位置付けられる。後方カメラは、第2のFOVにおける画像を取り込むように位置付けられる。第1のカメラのセットにおいて第1の画像を生成するための手段は、前方カメラと後方カメラとの間に多角形構成に配設される。第1のカメラは、第3のFOVにおける画像を取り込むように集合的に構成される。第3のFOVは、円形であり、第1のカメラから外側に離れる方向に投影される。第3のFOVの少なくとも一部は、第1のFOVと第2のFOVとの間に位置付けられる。第2のカメラのセットにおいて第2の画像を生成するための手段は、第1のカメラと後方カメラとの間に多角形構成に配設される。第2のカメラは、第4のFOVにおける画像を取り込むように集合的に構成される。第4のFOVは、円形であり、第2のカメラから外側に離れる方向に投影される。第4のFOVの少なくとも一部は、第3のFOVと第2のFOVとの間に位置付けられる。第3のカメラのセットにおいて第3の画像を生成するための手段は、第2のカメラと後方カメラとの間に多角形構成に配設され、第5のFOVにおける画像を取り込むように集合的に構成される。第5のFOVは、円形であり、第3のカメラから外側に離れる方向に投影される。第5のFOVの少なくとも一部は、第4のFOVと第2のFOVとの間に位置付けられる。前方画像、後方画像、第1の画像、第2の画像、および第3の画像の少なくとも一部を含むモザイク処理された画像が生成される。

開示される態様は、以下で、開示される態様を限定するのではなく例示するために提供される添付図面および付録に関連して説明され、添付図面では、同様の符号が、同様の要素を表す。

中央カメラと、第1のカメラと、第2のカメラと、第3のカメラと、後方カメラとを含むグローバルカメラ構成の一部の一実施形態の側面図である。 中央カメラと第1のカメラとを含むグローバルカメラ構成の一部の一実施形態の側面図である。 中央カメラと、第1のカメラと、第2のカメラとを含むグローバルカメラ構成の一部の一実施形態の側面図である。 中央カメラと、第1のカメラと、第2のカメラと、第3のカメラとを含むグローバルカメラ構成の一部の一実施形態の側面図である。 図1A〜図1Dおよび図2A〜図2Cに示すカメラの一実施形態ならびに図1A〜図1Dに関する角度の正の表示および負の表示を示す図である。 中央カメラと、カメラの第1の同心リングと、カメラの第2の同心リングと、カメラの第3同心リングと、後方カメラ(図示せず)とを含むグローバルカメラ構成の一部の一実施形態の正面図である。 中央カメラと、カメラの第1の同心リングと、カメラの第2の同心リングと、カメラの第3同心リングと、後方カメラとを含むグローバルカメラ構成の一部の一実施形態の側面図である。 中央カメラと、カメラの第1の同心リングと、カメラの第2の同心リングと、カメラの第3同心リングと、後方カメラとを含むグローバルカメラ構成の一部の一実施形態の側面図である。 屈曲光学マルチセンサーアセンブリの一実施形態の側断面図である。 撮像デバイスの一実施形態のブロック図である。 ターゲット画像を取り込む方法の一例のブロックを示す図である。

本明細書で開示する実装形態は、完全に球形の画像を取り込むことができる複数のカメラの構成を使用して視差およびチルトアーティファクトを有しないかまたは実質的に有しない画像を生成するためのシステム、方法、および装置を実現する。様々な実施形態の態様は、取り込まれた画像内に視差アーティファクトをほとんどまたはまったく有しない複数のカメラ(たとえば、マルチカメラシステム)の構成に関する。複数のカメラの構成は、完全に球形の画像を取り込み、それによって、取り込み中のターゲットシーンが複数の領域に区分される。画像は、複数のカメラを同じ仮想共通入射瞳を有するように見えるように複数のカメラの構成を設計することによって、視差を有しないかまたは視差を実質的に有しないように取り込まれる。いくつかの設計に関する問題は、それらの設計が、同じ仮想共通入射瞳を有せず、したがって、視差を有しないとは限らず、言い換えれば、視差アーティファクトを有しないとは限らない。

複数のカメラの構成における各センサーは、対応する光方向転換光反射鏡構成要素(本明細書では「鏡」または「鏡構成要素」と呼ばれることもある)、または鏡反射面と同等の表面を使用して画像シーンの一部から光を受け取る。したがって、各個々の鏡構成要素とセンサーの対は、マルチカメラシステム全体の一部のみを表す。完全なマルチカメラシステムは、すべての個々の開口光線の和に基づいて生成される合成開口を有する。実装形態のいずれでも、カメラのすべてが、自動的に合焦するように構成されてもよく、この自動フォーカスが、自動フォーカス機能に関する命令を実行するプロセッサによって制御されてもよい。

いくつかの実施形態では、マルチカメラシステムは26個のカメラを有し、各カメラが、画像の26個の部分が取り込むことができるようにターゲットシーンの一部を取り込む。システムは、画像の26個の部分のすべてまたは一部を組み合わせることによってシーンの画像を生成するように構成されたプロセッサを含む。26個のカメラは、各々が8個のカメラからなる3個の同心リング、前方カメラおよび後方カメラとして構成することが可能である。入射光の一部の方向を変えてこの光を中央カメラを除く26個のカメラの各々に向けるように複数の光方向転換反射鏡構成要素が構成される。ターゲットシーンからの入射光の一部を複数の光方向転換反射鏡構成要素によってマルチカメラシステムを囲む領域から受け取ることが可能である。いくつかの実施形態では、光方向転換反射鏡構成要素は、各々が少なくとも1つの光方向転換反射鏡構成要素を有する複数の個々の構成要素を備えてもよい。光方向転換反射鏡構成要素の複数の構成要素は、互いに結合されてもよく、互いに対する位置を設定するように別の構造に結合されてもよく、または互いに結合されるとともに別の構造に結合されてもよい。

パノラマ画像を取り込む当業者には、視差を有しない画像(または視差を事実上有しない画像)または視差アーティファクトを有しない画像(または視差アーティファクトを事実上有しない画像)という用語の意味が認識されよう。カメラシステムは、視差を有しないかまたは視差アーティファクトを有しない特性を有する。

一例として、2つの並んだカメラを使用して立体画像を取り込むように設計されたカメラシステムが、視差を有しないとは限らないカメラシステムの例である。立体画像を生成する1つの方法は、2つの異なるバンテージポイントから画像を取り込むことである。当業者には、シーンによっては、一部のシーンコンテンツを重複することもなく、または最終的なステッチされた画像において一部のシーンコンテンツがなくなることもなしに、両方の立体画像をステッチして1つの画像を得ることが困難であるかまたは不可能である場合があることが認識されよう。そのようなアーティファクトは視差アーティファクトの例と呼ばれることがある。さらに、当業者には、2つの立体カメラのバンテージポイントを、両方のカメラが一方のバンテージポイントからシーンを見るように互いに移動させた場合、視差アーティファクトを観測できないように画像をステッチすることが可能であるはずであることが認識されよう。

本明細書では、視差を有しない画像の場合、2つ以上の画像をステッチするときに、画像にコンテンツを追加するかまたは画像もしくは最終的なステッチされた画像からコンテンツを削除することによって画像を修正するうえで画像処理が使用されることはない。

当業者には、単体レンズカメラを使用して、入射瞳の最も中央寄りの点に位置する定常点の周りを回転させ、すべての方向における画像を取り込むことができることが認識されよう。これらの画像を使用することによって、球または球体の中心から外側に任意の方向を見た場合と同様に入射瞳の最も中央寄りの点を囲むすべてのシーンコンテンツを示す球形の画像を作成することが可能になる場合がある。これらの画像は、視差を有しない、および/または視差アーティファクトを有しない追加の特性を有する場合がある。すなわち、たとえば、最終的なステッチされた画像においてシーンコンテンツが重複することもなく、かつ/または最終的なステッチされた画像からシーンコンテンツがなくなることもなく、かつ/もしくはシーンコンテンツが当業者に視差アーティファクトと見なされる場合がある他のアーティファクトを有することもないように、画像をステッチすることが可能である。

すべての仮想カメラの仮想入射瞳の最も中央よりの同じ点を共有する仮想カメラのシステムを構成することが可能である。仮想という用語は、2つ以上の物理的に現実のカメラを、入射瞳の同じ最も中央寄りの点を共有するように見えるように、光方向転換反射鏡構成要素などの他の構成要素と一緒に見えるように配置することが可能であることを意味する。さらに、すべての仮想カメラを、各仮想カメラの仮想光軸が仮想入射瞳の共有される最も中央寄りの仮想点の近くにおいて互いに交差するかまたは互いに交差するほど近づけるように配置することも可能である。本明細書において提示する方法およびシステムは、同様のシステムを実現するのに使用されてもよい。

物理的には、2つ以上の仮想カメラの仮想光軸が仮想入射瞳の最も中央寄りの位置における1つの共通の点において交差する十分な公差を有するシステムを構築することは非常に困難であるかまたはほぼ不可能である。カメラシステムのピクセル解像度および/またはレンズの解像度を仮定すると、ステッチされた画像において視差アーティファクトがほとんどもしくはまったくなくなるか、または場合によっては、ステッチされた画像が、最終的なステッチされた画像における視差アーティファクトの量を最小量未満にする要件を満たすように、共有される入射瞳の最も中央寄りの点の近くまたは周りにおいて2つ以上のカメラの光軸を互いに交差させるかまたは交差するほど近づけることが可能である場合がある。すなわち、特別なソフトウェアを使用してコンテンツを追加もしくは削除することもなく、または他の画像処理を使用して視差アーティファクトを除去することもなく、このようなカメラによって取り込まれた画像を使用して、視差を有しない球形の画像を生成するかまたは視差アーティファクトを最低レベルに抑える要件を満たすようにこれらの画像をステッチすることが可能である。このコンテキストでは、十分な公差を有するシステム設計に基づいて視差を有しないかまたは視差を事実上有しないという用語を使用する場合がある。

本明細書では、視差を有しない、視差アーティファクトを有しない、視差を事実上有しない、または視差アーティファクトを事実上有しないという用語が使用されるとき、物理的な現実によって、物品を同じ位置に長時間維持するか、または場合によっては公差を使用せずに設計通りの状態を維持する特性を有することが困難であるかまたはほぼ不可能である場合があることを理解されたい。現実的には、物品は形状、サイズ、位置、考えられる他の物体に対する相対位置は、時間とともにおよび/または環境条件に応じて変化する場合がある。したがって、公差要件を仮定することもまたは課すこともなしに物品を理想的なものであるかまたは変化しないと見なすことは困難である。本明細書では、視差を事実上有しないなどの用語は、現実的には、たいていの物品が、物品が理想的なものではなく、かつ時間の経過とともに変化する場合があるにもかかわらず、アセンブリまたは物品の意図される目的が満たされる範囲の公差を必要とすることを意味し、かつ意味すると見なされるものとする。視差を有しない、視差アーティファクトを有しない、視差を事実上有しない、または視差アーティファクトを事実上有しないという用語は、関連する用語の有無にかかわらず、システムまたは物品の意図される要件または目的が満たされるように公差要件を決定できることを示すことが可能であることを意味すると見なされるべきである。

以下の説明では、実施例を完全に理解できるように、具体的に詳細に説明する。しかしながら、実施形態は、これらの具体的な詳細なしに実施されてもよい。

図1Eは、図1A〜1D、図2Bおよび図2Cに示すカメラ20の実施形態ならびに図1A〜図1Dに関する角度の正の表示および負の表示を示す。カメラ20は、光軸19上に位置し、かつ視野(FOV)16の頂点が光軸19と交差する入射瞳14の最も中央寄りの点を含む。カメラ20の実施形態は、図1A〜図1D、図2A、図2B、および図2Cの全体にわたってカメラ112、114e、116e、118e、および120として示されている。カメラ20の前部は、短い棒15として表されている。この平面は、入射瞳を含み、点14は15の前部に位置する。カメラの前部および入射瞳の位置が15によって示されている。

角度の表示はカメラ20の下方に示されている。正の角度は、反時計回り方向に向かう円形の線によって示される。負の角度は、時計回り方向に向かう円形の線によって示される。常に正の角度は、時計回り方向と反時計回り方向の両方を指し示す矢印を有する円形の線によって示される。正の水平方向Xが左から右に向かい、正の垂直方向Yが下から上に向かうデカルト座標が示されている。図1A〜図1Dは、グローバルカメラの一部110a、110b、110c、110dの例示的で概略的な構成を示す。したがって、図1A〜図1Cに示す角度の大きさ、距離、およびカメラの寸法は、一定の縮尺で描かれていない場合があり、グローバルカメラの様々な実装形態において異なる場合がある。

図1Aは、(この図を明確にするために)中央カメラ112と、第1のカメラ114aと、第2のカメラ116eと、第3のカメラ118eと、後方カメラ120とを含むグローバル(たとえば、球形)カメラ構成110aの一部の一実施形態の例の側面図を示す。後述のように、図示の第1のカメラ114e、第2のカメラ116e、および第3のカメラ118eは、第1、第2、および第3のカメラのグループ(または構成)の各一部である。グローバル構成110aは、第1のカメラ114a、第2のカメラ116e、第3のカメラ118e、および後方カメラ120に対応する少なくともいくつかの光方向転換反射鏡構成要素も備える。光方向転換反射鏡構成要素(「鏡」)134は第1のカメラ114aに対応し、鏡136は第2のカメラ116eに対応し、鏡138は第3のカメラ118eに対応し、鏡140は後方カメラ120に対応する。鏡134、136、138、140は、入射光を対応するカメラ114e、116e、118e、120の各々の入射瞳の方へ反射する。この実施形態では、関連する鏡を有しない中央前方カメラ112を除いて、各カメラに対応する鏡がある。中央カメラ112によって受け取られる光、および図2Aおよび図2Bに示すように、グローバルシーンから8つのカメラ214a〜214hの第1のセット、8つのカメラ216a〜216hの第2のセット、8つのカメラ218a〜218hの第3のセット、および後方カメラ120によって受け取られる反射光を使用して、図1〜図5に関して以下により詳しく説明するように画像を取り込む。鏡に関して説明しているが、光方向転換反射鏡構成要素は、カメラに入射光を受け取らせる任意の方法で光を反射させるか、屈折させるかまたは光の方向を変えてもよい。

さらに、グローバルカメラ構成110aは、一部のみが図示の1Aに示されているが、実質的に非反射性の複数の表面170a〜170dを含む。実質的に非反射性の複数の表面は、たとえば、複数の鏡からの反射によって生じる場合がある画像アーティファクトを発生させるほどの量の光を反射しない任意の材料であってもよい。そのような材料の例には、浅黒いプラスチック、木材、金属などがある。別の実施形態では、実質的に非反射性の複数の表面170a〜170dは、わずかにそれぞれのカメラの各々の視野内に位置し、デジタル処理によって実質的に非反射性の複数の表面170a〜170dの取り込まれた部分を削除することができる。別の実施形態では、実質的に非反射性の複数の表面170a〜170dは、わずかにそれぞれのカメラの各々の視野外に位置付けられる。

図1A〜図1Dの撮像システムは複数のカメラを含む。中央カメラ112は、第1の方向に向けられた第1の視野aを有する位置に配置される。第1の視野aは、図1Aに示すように、撮像システムがグローバルシーンを取り込むように構成されるので、中央カメラ112が向けられた任意の方向であってよい第1の方向を向く。中央カメラ112は、第1の視野aを通って延びる光軸113を有する。第1の視野aにおいて中央カメラ112によって取り込まれる画像は、中央カメラ112の投影光軸113の周りに位置し、中央カメラ112の投影光軸113は第1の方向に位置付けられる。

撮像システムは後方カメラ120も含む。後方カメラ120は、中央カメラ112の第1の視野aを通って延びる光軸113を有する。後方カメラ120は、中央カメラ112の光軸113と一致する線に沿って位置付けられる。後方カメラ120は、後方方向転換反射鏡構成要素140によって方向を変えられた入射光を受け取るように位置付けられる。後方方向転換反射鏡構成要素140は、中央カメラ112と後方カメラ120との間に配設される。後方カメラ120は、後方カメラ120の投影光軸113の周りの第2の視野eにおける画像を取り込むように位置付けられる。後方カメラ120の投影光軸113は第1の方向に向けられる。

第1のカメラ114a、第2のカメラ116e、および第3のカメラ118eによって表される図1Aに示すように、撮像システムは、中央カメラ112と後方カメラ120との間に位置する複数の側方カメラ114e、116e、118eをさらに含む。側方カメラ114e、116e、118eは、中央カメラ112、後方カメラ120、および図1A〜図1Dに示されていない他の側方カメラによって取り込まれないグローバルシーンの部分を取り込むように位置付けられる。側方カメラ114e、116e、118eは、中央カメラ112の光軸113からずれている。

図示の側方カメラ114e、116e、118eは、カメラの3つのそれぞれのグループまたは構成(またはリング)の各カメラである。側方カメラの各々の構成は、中央カメラ112の光軸に揃えられた図示の線160aの周りに位置付けられる。複数の側方カメラ114e、116e、118eの各々が、実際のカメラ112の光軸に揃えられた図示の線160aと同心のリングを形成することに応じて、複数の側方カメラ114e、116e、118eの各々をカメラの「同心リング」と呼ぶことがある。説明を明快にするために、リング114e、116e、118eの各々における1つのカメラのみ、中央カメラ112、および後方カメラ120を図1A〜1Dに示す。側方カメラ114eは8つのカメラの第1の同心リングの一部であり、8つのカメラの各々がその隣接するカメラから45°の角度に位置してカメラの360°同心リングを形成する。側方カメラ114a〜114d、114f〜114hは示されていない。同様に、116eおよび118eは、カメラの第1の同心リングの各カメラと同様に位置付けられたカメラの第2および第3の同心リングの一部である。「リング」という用語は、たとえば線160aの周りのカメラの一般的な構成を示すのに使用され、リングという用語が構成を円形に限定することはない。「同心」という用語は、同じ中心または軸を共有する2つ以上のリングを指す。

図1A〜図1Dに示すように、光軸113の周りの各同心リングの半径は異なるように示されており、一方、別の実施形態では、2つ以上の同心リングは光軸113から同じ半径方向距離を有してもよい。カメラ114a〜114h、116a〜116h、118a〜118hの同心リングは多角形構成(たとえば、八角形)である。カメラ114a〜114hの第1の同心リングは、光軸115に沿った方向における第3の視野b内の画像を取り込むように配置され構成される。第3の視野bは、カメラ114a〜114hの第1のセットから外側に離れる方向に投影される。第3の視野bの少なくとも一部は、光軸113に沿った方向における第1の視野aと光軸121に沿った方向における第2の視野eとの間に位置付けられる。カメラ116a〜116hの第2の同心リングは、光軸117に沿った方向における第4の視野c内の画像を取り込むように配置され構成される。第4の視野cは、カメラ116a〜116hの第2のセットから外側に離れる方向に投影される。第4の視野cの少なくとも一部は、光軸115に沿った方向における第3の視野bと光軸121に沿った方向における第2の視野eとの間に位置付けられる。カメラ118a〜118hの第3の同心リングは、光軸119に沿った方向における第5の視野d内の画像を取り込むように配置され構成される。第5の視野dは、カメラ118a〜118hの第3のセットから外側に離れる方向に投影される。第5の視野dの少なくとも一部は、光軸117に沿った方向における第4の視野cと光軸121に沿った方向における第2の視野eとの間に位置付けられる。

別の実施形態では、側方カメラ114e、116e、118eの各々はそれぞれ、アレイカメラの第1、第2、および第3のセットの一部であり、アレイカメラの第1、第2、および第3のセットの各々は集合的に、ターゲットシーンの少なくとも一部を含む視野を有する。各アレイカメラは画像センサーを含む。アレイカメラの第1のセットの画像センサーは、第1の基板上に配設され、アレイカメラの第2のセットの画像センサーは、第2の基板上に配設され、アレイカメラの第3のセットは、第3の基板上に配設される。基板は、たとえば、プラスチック、木材などであってもよい。さらに、第1、第2、および第3の基板は、互いに平行な平面内に配設される。

中央カメラ112、後方カメラ120、第1のカメラ114a〜114h、第2のカメラ116a〜116h、および第3のカメラ118a〜118hは、第1、第2、第3、第4、および第5の視野a、e、b、c、dにおいて取り込まれた画像が、撮像システムの視点から見たときに球形の画像を集合的に表すように構成され配置される。

撮像システムは、後方カメラ120と複数の側方カメラ114e、116e、118eとの間に配設された後方光方向転換反射鏡構成要素140をさらに含む。後方光方向転換反射鏡構成要素140は、上述の複数の光方向転換反射鏡構成要素のうちの光方向転換反射鏡構成要素の一種類である。後方光方向転換反射鏡構成要素140はさらに、後方カメラ120の光軸に垂直に配設される。

撮像システムは、複数の側方光反射鏡方向転換構成要素134、136、138をさらに含む。複数の側方カメラ114e、116e、118eの各々は、複数の光方向転換反射鏡構成要素134、136、138のうちの1つによって方向を変えられた光を受け取るように位置付けられる。

上記の光方向転換反射鏡構成要素134、136、136、138、140の各々において、光方向転換反射鏡構成要素134、136、138、140は複数の反射器を含む。

次に説明するように、グローバルカメラ構成110aは、グローバルカメラ構成110aが視差を有しないかまたは視差を事実上有せず、共通の視点からの単一の仮想視野を有するのを可能にする様々な角度および距離を含む。グローバルカメラ構成110aは、単一の仮想視野を有するので、視差を有しないかまたは視差を事実上有しない。

いくつかの実施形態では、単一の仮想視野は、カメラ112、114a〜114h(114eが示されている)、116a〜116h(116eが示されている)、118a〜118h(118eが示されている)、および120の各々の仮想視野基準点が、カメラ112の入射瞳の最も中央寄りの点である単一の原点145を有する場合と同様にグローバルシーンを集合的に見る複数の視野を含む。ただし、カメラのいくつかは、単一の原点145から離れた様々な点に位置する。図を明快にするためにカメラ112、114e、116e、118eおよび120のみが示されている。たとえば、中央カメラ112は、光軸113に沿った方向における、角度aに応じたシーンの部分、単一の原点145からの中央カメラ112の実際の視野を取り込む。第1のカメラ114eは、光軸115に沿った方向における、角度bに応じたシーンの部分、単一の原点145からの第1のカメラ114eの仮想視野を取り込む。第2のカメラ116eは、光軸117に沿った方向における、角度cに応じたシーンの部分、単一の原点145からの第2のカメラ116eの仮想視野を取り込む。第3のカメラ118eは、光軸119に沿った方向における、角度dに応じたシーンの部分、単一の原点145からの第3のカメラ118eの仮想視野を取り込む。後方カメラ120は、光軸121に沿った方向における、角度eに応じたシーンの部分、単一の原点145からの後方カメラ120の仮想視野を取り込む。第1のカメラ114e、第2のカメラ116e、および第3のカメラ118eは、カメラの同心リングの一部であるので、集合的な仮想視野は、仮想視野の少なくとも様々な角度a、b、c、d、およびeを含むグローバルシーンを取り込む。完全なグローバルシーン画像を取り込むには、カメラ112、114a〜114h、116a〜116h、118a〜118h、120のすべてが個々に、すべての実際の視野および/または仮想視野が実際の隣接する視野および/または隣接する仮想視野と重なり合うほど広い視野を有する必要がある。

単一の仮想視野は、カメラの実際の物理的な位置が単一の原点145から離れた様々な点に位置するにもかかわらず、カメラの各々が単一の原点145からシーンを取り込む場合と同様に見える。この実施形態では、単一の原点145は、中央カメラ112の入射瞳の所に位置する。したがって、第1のカメラ114eの仮想視野は、第1のカメラ114eが中央カメラ112の入射瞳から視野bのシーンを取り込む場合と同様な視野である。第2のカメラ116eの仮想視野は、第2のカメラ116eが中央カメラ112の入射瞳から視野cのシーンを取り込む場合と同様な視野である。第3のカメラ118eの仮想視野は、第3のカメラ118eが中央カメラ112の入射瞳から視野dのシーンを取り込む場合と同様な視野である。後方カメラ120の仮想視野は、後方カメラ120が中央カメラ112の入射瞳から視野eのシーンを取り込む場合と同様な視野である。したがって、中央カメラ112、第1のカメラ114e、第2のカメラ116e、第3のカメラ118e、および後方カメラ120の各々は、グローバルシーンを取り込むように様々な方向に向けられる中央カメラ112の入射瞳に位置する単一の原点145に単一の仮想視野基準点を有する。

他の実施形態では、様々な視野がカメラに使用されてもよい。たとえば、中央カメラ112は広い視野を有してもよく、第1のカメラ114eは狭い視野を有してもよく、第2のカメラ116eは広い視野を有してもよく、第3のカメラ118eは狭い視野を有してもよく、後方カメラ120は広い視野を有してもよい。したがって、視差を有しないかまたは視差を事実上有しない画像を取り込むのにカメラの各々の視野が同じである必要はない。しかし、以下に一実施形態の一例において図および表を参照して説明するように、カメラは実際の視野が60度であり、仮想視野が45度である。後述の実施形態では、視野同士が重なり合う。しかし、この撮像システムでは、視差を有しないかまたは視差を事実上有しない画像を取り込むのに重なり合いは必要ではない。

視差を有しないかまたは視差を事実上有しない撮像システムおよび仮想視野の上述の実施形態は、以下の角度、距離、および数式の表に記載された様々な入力および出力によって可能になる。

視差アーティファクトを有しないかまたは視差アーティファクトを事実上有しない複数の画像を得る概念では、カメラの光軸をピボット運動させることによってオブジェクト空間におけるシーンの画像を取り込み、この場合、カメラの入射瞳の最も中央寄りの点は、画像が取り込まれるたびに同じ位置に留まる。視差アーティファクトがまったくないかまたは事実上最低限であるパノラマ写真を取り込む当業者は、そのような方法を認識している場合がある。このプロセスを実行するには、カメラ112の光軸を図1Bに示すようにマルチカメラシステムの光軸113に揃えて、カメラ112の入射瞳の最も中央寄りの点を点145を含むように配置してもよい。この位置において画像を取り込むことができる。次のステップでは、点145をカメラ112の入射瞳の最も中央寄りの点に維持し、かつカメラ112の光軸を図1Bに示すページの平面内に維持しつつカメラ112の光軸を時計回りに45度回転させ、次いで第2の画像を取り込んでもよい。さらに、カメラ112の視野が実際には角度f₂の2倍よりも大きいと仮定する。これらの画像はどちらも、2つの画像の視野が重なり合ったシーンの同様のオブジェクト空間画像コンテンツを示すはずである。画像がこのように取り込まれるとき、この2つの画像をマージして視差アーティファクトを有しないかまたは視差アーティファクトを事実上有しない画像を形成することが可能であるはずである。2つ以上の画像をマージする当業者には、視差アーティファクトがどのように見える場合があるかが理解され、視差を有しないかまたは視差アーティファクトを事実上有しない画像を取り込む目的が諒解されよう。

カメラの光軸をカメラの入射瞳位置の周りでピボット運動させることによって視差を有しないかまたは視差を事実上有しない画像を取り込むことが望ましくない場合がある。互いに対して所定の位置に固定された2つのカメラを使用することが好ましい場合がある。この状況では、入射瞳が同じ物理的位置を占有する2つのカメラを作るのが可能ではない場合がある。代替として、光方向転換反射鏡面を使用して、入射瞳中心点が112などの別のカメラの入射瞳中心点を含むかまたはほぼ含む仮想カメラを作成してもよい。このことは、表面134などの光方向転換反射鏡面および114eなどの第2のカメラを適切に位置付けることによって行われる。図1Bは、光方向転換反射鏡面134を使用してカメラ114eの仮想カメラが作成され、仮想カメラ入射瞳の中心が点145を含むそのようなシステムの図面である。この考えでは、カメラ114eが、光方向転換反射鏡面が存在しない場合にカメラ114eの仮想カメラが観測するのと同じシーンを光方向転換反射鏡反射面134から離れた位置で観測するように、光方向転換反射鏡面を位置付け、かつカメラ114eの入射瞳を配置する。カメラ114eが、光方向転換反射鏡面のサイズおよび形状に応じて仮想カメラが観測するシーンの一部のみを観測する場合があることに注目することが重要である。光方向転換反射鏡面134がカメラ114eの視野の一部のみを占有する場合、カメラ114eはその仮想カメラが見るシーンの一部のみを見る。

図1Bに示すように長さ152_bならびに角度f₂、h₂、およびk₂の値を選択した後、Table 2(表2)の数式を使用してカメラ114eの入射瞳中心点の位置および線111に対するカメラ114eの光軸の角度を算出することができる。カメラ114eの入射瞳中心点は、マルチカメラシステム光軸113から距離154_bに位置し、かつ線113に垂直な線111から長さ156_bに位置する。図1Eは、角度の符号に応じた角回転方向および長さの符号に応じた線111と113の交差点からの長さに関する方向を示す凡例を提示している。

次に、Table 1(表1)における上記の距離、角度、および数式について図1Aを参照して説明する。図1A〜図1Eを参照する。仮想入射瞳の平面111は、仮想入射瞳点145を含み、光軸113に垂直である。仮想入射瞳145の最も中央寄りの点は、理想的には平面111と光軸113の交差点に位置し、この場合、平面111は図を示すページに垂直である。理想的には、仮想入射瞳145および中央カメラ112の入射瞳は互いに一致する。実際の製造では、構成要素および配置にばらつきがあると、入射瞳145の中心点が光軸113と平面111の交差点に位置しない場合があり、同様に、カメラ112の入射瞳の実際の位置および配列が仮想入射瞳145と厳密に一致しない場合があり、これらの場合、システムまたは物品に関する所望の要件および/または目的が満たされるように公差要件を決定できることを示すことが可能である場合、理想的なケースと前述の公差内の両方において、システムおよび/または物品が所望の要件および/または目的を満たすことに関して同等であると見なしてもよいことを、「事実上の」または「事実上」としての同等の用語の概念を使用して意味することができる。したがって、公差内では、仮想入射瞳145は事実上、カメラ112の入射瞳と一致し、仮想入射瞳の最も中央寄りの点および中央カメラ112の入射瞳は事実上、光軸113と平面111の交差点に位置する。

さらに図1A〜図1Eを参照する。平面192は、光方向転換反射鏡面140と光軸113との間の交差平面を表し、光軸113に垂直である。

グローバルカメラ構成110aに示すようなカメラ120の配置に関するTable 1(表1)における入力は、距離152_a、角度f₁、角度h₁、および角度k₁である。距離152_aは、仮想入射瞳111の平面と平面192との間の距離である。ここで、光方向転換反射鏡構成要素140の外縁は、光方向転換反射鏡構成要素140が仮想入射瞳111の平面に平行であるので、光方向転換反射鏡構成要素140に沿った任意の点であってもよい。

角度f₁は、光軸113とカメラ120の半角視野h1との間の半角視野を表す。後方カメラ120は、図1A〜図1Dに示す実施形態に関するTable 1(表1)に関係するので現在のカメラと呼ばれる。現在のカメラの意味はTable 1(表1)、Table 2(表2)、Table 3(表3)、およびTable 4(表4)の各々で異なる。Table 1(表1)、Table 2(表2)、Table 3(表3)、およびTable 4(表4)では、h1の半角視野を有するカメラを現在のカメラと呼ぶ。Table 1(表1)に関係する現在のカメラはカメラ120である。さらに、現在のカメラの半角視野h1と半角視野f1との和が図1Aに示すグローバルカメラに関する180度の半角視野に等しいことに留意されたい。

現在のカメラおよび実施形態に使用されるすべてのカメラの各々が、複数のカメラを含むカメラシステムであってもよく、または従来の単一のバレルレンズカメラとは異なる場合がある別のタイプのカメラであってもよい。いくつかの実施形態では、使用される各カメラシステムは、カメラのアレイまたはカメラの屈曲光学アレイによって構成されてもよい。

角度h₁は、現在のカメラの実際の視野の2分の1を表す。ここで、現在のカメラは後方カメラ120である。現在のカメラの全体的な実際の視野は、45度である角度h₁の2倍である。

図1Aに示す角度k₁は、光軸113と、構成要素140の光反射平面と図および光軸113を含むページの平面とによって形成される線との間の角度を表す。

Table 1(表1)には示されているが図1Aには示されていない角度u1、u2、およびj₁は、主としてTable 1(表1)の数式に関する中間値として使用される。

Table 1(表1)には示されているが図1Aには示されていない距離158_aは、主としてTable 1(表1)の数式に関する中間値として使用される。

距離150aは、光方向転換反射鏡構成要素140と図1Aを含むページによって表される平面とによって形成される線の長さの2分の1である。図1Aに示す140の長さは、150aの2倍であり、140の中心を表す点は光軸113と交差する。

距離160_aは、現在のカメラの入射瞳と原点145に位置する仮想入射瞳との間の距離の2分の1を表す。ここで、現在のカメラは後方カメラ120である。

引き続き図1を参照する。距離長156_aは、仮想入射瞳平面111から仮想入射瞳平面111に平行な現在のカメラの入射瞳の平面までの座標位置を表す。ここで、現在のカメラは後方カメラ120である。座標系に関する凡例を図1Eに示す。

距離長154_aは、光軸113からカメラ120の入射瞳までの座標位置を表す。

角度m₁およびn₁は、図1Aには示されていない。角度m₁およびn₁は、Table 1(表1)に示す数式に使用される中間値である。

角度p₁は、現在のカメラに対応する光方向転換反射鏡構成要素の前側から現在のカメラに関する実際の視野の光軸までの角度を表す。ここで、現在のカメラは後方カメラ120であり、対応する光方向転換反射鏡構成要素は光方向転換反射鏡構成要素140である。光方向転換反射鏡構成要素の前側は、光の方向を変える側である。

角度q₁は、図1Aを示すページの平面および仮想入射瞳面111によって形成される線から現在のカメラに関する実際の視野の光軸までの角度を表す。ここで、現在のカメラは後方カメラ120である。実際の視野は、実際の現実のカメラの入射瞳から発する視野を意味する。この場合、q1に関する実際の現実のカメラはカメラ120である。

図1Bは、中央カメラ112と第1のカメラ114eとを含むグローバルカメラ構成110bの一部の一実施形態の一例の側面図を示す。この実施形態では、第1のカメラ114eが現在のカメラである。図1Bは、視差を有しないかまたは視差を事実上有しない多数の異なるマルチカメラ実施形態を、構想し、設計し、かつ/または本明細書において提示する方法を使用して実現することができるモデルも表す。Table 2(表2)は、長さ152_bならびに角度f₂、h₂、およびk₂に基づいて図1Bに示す距離および角度を判定するために使用される数式を提示している。

上記の距離、角度、および数式は、図1Aに関して上記において説明したのと同様の関係を有する。Table 2(表2)の入力のいくつかはTable 1(表1)の入力とは異なる。上記の距離、角度、および数式間の主な違いは、図1Aから識別される。図1AおよびTable 1(表1)では、距離のいくつかは下付き文字「a」を有し、角度のいくつかは下付き文字「1」を有する。Table 1(表1)における下付き文字付きの付いたこれらの距離および角度は、図1BおよびTable 2(表2)における下付き文字の付いた距離および角度と同様の関係を有する。図1BおよびTable 2(表2)では、距離のいくつかは下付き文字「b」を有し、角度のいくつかは下付き文字「2」を有する。したがって、図1AおよびTable 1(表1)に関して上記において説明した距離および角度の関係を同様に使用して図1BおよびTable 2(表2)の距離および角度を算出することができる。

図1Bには、Table 2(表2)の角度および距離が示されている。中央カメラ112および第1のカメラ114aが示されている。第1のカメラ114eの入射瞳は、距離154_bおよび距離156_bに応じて仮想入射瞳145からずれている。距離長154_bは、光軸113から第1のカメラ114eの入射瞳中心点までの座標位置を表し、距離154bは光軸113に垂直に測定される。ここで、現在のカメラは第1のカメラ114eである。

距離長156_bは、平面111から、第1のカメラ114eの入射瞳中心点を含み、平面111に平行な平面までの座標位置を表す。ここで、現在のカメラは第1のカメラ114eである。

引き続き図1Bを参照する。システム110bに関する図1Bに示す点137は、図1Bを示すページの平面上に位置し、光軸113からの距離150bおよび平面111と図1Bに関するページの平面との交差点によって形成される線からの距離152bである。説明を容易にするために、平面111および図、たとえば、図1A〜図1Dのうちの1つを示すページの平面によって形成される線として理解すべき線111を参照することもある。

平面状光方向転換反射鏡面134は、平面134と図1Bを示すページの平面との交差点によって形成される線によって示される。図1Bならびに図1A、図1C、および図1Dについて説明するために、平面134がページの平面に垂直であると仮定する。しかし、平面134がページの平面に垂直である必要がないことに注目することが重要である。

線134を参照するときには、平面134とページの平面との交差点によって形成される線を参照していることを理解されたい。

Table 2(表2)は、光軸113に平行であり点137も含む線から線134までの時計回りの回転角である角度k₂を提示している。カメラ112の視野縁は、170aおよび170bと示された2本の交差線によって示されており、この2本の線は、カメラ112の入射瞳の中心点において交差する。カメラ112の半角視野は、マルチカメラ光軸113と視野縁170aおよび170bとの間のf₂である。

図1Bに示すように、カメラ112は、その光軸が線113に一致する。カメラ114eの半角視野は、カメラ114aの光軸115に対するh₂である。カメラ114eの仮想カメラの光軸は、光方向転換反射鏡面134によって方向を変えられるように示されている。光方向転換反射鏡面134が完全に平坦であり、図1Bが示されているページの平面に垂直な平面であると仮定する。さらに、光方向転換反射鏡面134がカメラ114eの視野を完全に覆うと仮定する。図1Bに示すように、光軸115は、平面状光方向転換反射鏡面134上の点において交差する。反時計回り角度p₂は、光方向転換反射鏡面134からカメラ114eの光軸115までの角度として示されている。鏡または同等の光反射鏡面からの光反射の特性および図1Bに示す各線が図1Bの平面に含まれるという仮定に基づいて、反時計回り角m2およびn2がp₂に等しいことが判明した。光線は、図1Bを示すページの平面内において光軸115に沿ってカメラ114eに向かい、光方向転換反射鏡同等面134からカメラ114eの入射瞳の方へ反射される場合があり、鏡同等面からの光反射の特性に基づいて角度n₂および角度p₂は同等でなければならない。光軸115は、光反射面134を通過して仮想入射瞳中心点145の方へ延びるように示されている。反時計回り角度m₂は、三角法に基づいてn₂と等しいことを示すことができる。

このことから、平面状光方向転換反射鏡面134が、カメラ112の入射瞳中心点からカメラ114eの入射瞳中心点までの線に垂直に交差することを示すことができる。したがって、2つの線長160bを等しい距離と示すことができる。

平面状光方向転換反射鏡面134がカメラ114eの視野の一部のみを覆うことが可能である。この場合、図1Bに示すように、オブジェクト空間から、中心に点145を含む仮想カメラ入射瞳に向かうすべての光線が、カメラ114eの視野を部分的に覆う光方向転換反射鏡面134の平面部分から反射されるとは限らない。この観点から、カメラ114eが、長さ154bおよび156bならびに図1Eに示す凡例によって説明したように、半角視野h₂によって画定される視野、光軸115、および入射瞳の位置を有することに留意することが重要である。この視野内において、およびビューの入力値152b、f2、h2、およびk2に従って光方向転換反射鏡面134の光反射平面部分などの表面は部分的にカメラ114eの視野内に位置する場合がある。オブジェクト空間からカメラ114eの仮想カメラの入射瞳の方へ向かい、光方向転換反射鏡面134の平面部分から反射された光線は、光方向転換反射鏡面134ならびにカメラ112および114eが、図1Bに示すように、かつ図1Eに示す凡例、Table 2(表2)の数式に従って、かつ入力値152b、f₂、h₂、およびk₂に従って位置付けられている場合、カメラ114eの入射瞳上に達する。

図1Cは、中央カメラ112と、第1のカメラ114eと、第2のカメラ116eとを含むグローバルカメラ構成110cの一部の一実施形態の一例の側面図を示す。この実施形態では、第2のカメラ116eが現在のカメラである。

上記の距離、角度、および数式は、図1Aおよび図1Bに関して上記において説明したのと同様の関係を有する。Table 3(表3)の入力のいくつかはTable 1(表1)およびTable 2(表2)の入力とは異なる。上記の距離、角度、および数式間の主な違いは、図1Aから識別される。図1AおよびTable 1(表1)では、距離のいくつかは下付き文字「a」を有し、角度のいくつかは下付き文字「1」を有する。Table 1(表1)における下付き文字付きの付いたこれらの距離および角度は、図1CおよびTable 3(表3)における下付き文字の付いた距離および角度と同様の関係を有する。図1CおよびTable 3(表3)では、距離のいくつかは下付き文字「c」を有し、角度のいくつかは下付き文字「3」を有する。したがって、図1AおよびTable 1(表1)に関して上記において説明した距離および角度の関係を同様に使用して図1CおよびTable 3(表3)の距離および角度を算出することができる。

図1Cには、Table 3(表3)の角度および距離が示されている。中央カメラ112、第1のカメラ114a、および第2のカメラ116eが示されている。第2のカメラ116eの入射瞳は、距離154_cおよび距離156_cに応じて仮想入射瞳145からずれている。距離154_cは、光軸113から第2のカメラ116eの入射瞳中心点までの座標位置を表し、座標系の方向および向きは図1Eに示されている。ここで、現在のカメラは第2のカメラ116eである。

距離長156_cは、平面111から、第2のカメラ116eの入射瞳中心点を含み、平面111に平行な平面までの座標位置を表す。ここで、現在のカメラは第2のカメラ116eである。

残りの距離および角度は、Table 3(表3)に記載され、図1Cに示されている。Table 3(表3)に記載され図1Cに示されている距離および角度の関係は、Table 1(表1)に記載され図1Aに示されている距離および角度、ならびにTable 2(表2)に記載され図1Bに示されている距離および角度と相関付けることが可能である。

図1Dは、中央カメラ112と、第1のカメラ114eと、第2のカメラ116eと、第3のカメラ118eとを含むグローバルカメラ構成110dの一部の一実施形態の側面図を示す。この実施形態では、第3のカメラ118eが現在のカメラである。

上記の距離、角度、および数式は、図1A〜図1Cに関して上記において説明した同様の関係を有する。Table 4(表4)の入力のいくつかはTable 1(表1)〜Table 3(表3)の入力とは異なる。上記の距離、角度、および数式間の主な違いは、図1Aから識別される。図1AおよびTable 1(表1)では、距離のいくつかは下付き文字「a」を有し、角度のいくつかは下付き文字「1」を有する。Table 1(表1)における下付き文字付きの付いたこれらの距離および角度は、図1DおよびTable 4(表4)における下付き文字の付いた距離および角度と同様の関係を有する。図1DおよびTable 4(表4)では、距離のいくつかは下付き文字「d」を有し、角度のいくつかは下付き文字「4」を有する。したがって、図1AおよびTable 1(表1)に関して上記において説明した距離および角度の関係を同様に使用して図1DおよびTable 4(表4)の距離および角度を算出することができる。

図1Dには、Table 4(表4)の角度および距離が示されている。中央カメラ112、第1のカメラ114a、第2のカメラ116e、および第3のカメラ118eが示されている。第3のカメラ118eの入射瞳は、距離154_dおよび距離156_dに応じて仮想入射瞳145からずれている。距離長154_dは、光軸113から第3のカメラ118eの入射瞳中心点までの座標位置を表し、距離154_dは、光軸113に垂直に測定される。ここで、現在のカメラは第3のカメラ118eである。

距離長156_dは、平面111から、第3のカメラ118eの入射瞳中心点を含み、平面111に平行な平面までの座標位置を表す。ここで、現在のカメラは第3のカメラ118eである。

残りの距離および角度は、Table 4(表4)に記載され、図1Dに示されている。Table 4(表4)に記載され図1Dに示されている距離および角度の関係は、Table 1(表1)に記載され図1A示されている距離および角度、Table 2(表2)に記載され図1Bに示されている距離および角度、ならびにTable 3(表3)に示され図1Cに示されている距離および角度と相関付けることが可能である。

次に、マルチカメラシステムを設計するための一方法について説明する。一手法では、図1Bに示すモデル、図1Eに示す凡例、およびTable 2(表2)に示す数式を使用してマルチカメラシステムを開発する。第1の決定のうちの1つでは、中央カメラ112を使用するかどうかを決定する。中央カメラ112を使用しない場合、半角視野f₂を零に設定すべきである。次に、そのようなシステムを設計する人が留意する場合がある他の要件に基づいて半角視野h₂が選択されてもよい。長さ152bは、マルチカメラシステムのサイズをスケーリングする。設計を開発する際の1つの目的は、使用される場合があるかまたは使用されるカメラのサイズを設計の最終構造に適合させることである。長さ152bは、マルチカメラシステムに使用される場合があるカメラおよびその他の構成要素を収容する適切な長さを見つけるための設計段階の間に変更することが可能である。152bの適切な値を選択する際に考慮すべき他の要件があってもよい。光方向転換反射鏡平面の角度k₂は、長さ154bおよび156bならびに図1Eに示す凡例ならびにカメラ114eの光軸角度q₂を使用してカメラ114eの入射瞳の位置を見つける目的に応じて変更することが可能である。システム内の各カメラからのすべての画像をマージすることによって取得することができる場合がある最も広いマルチカメラ画像が望まれる場合がある。そのような場合、各カメラをすべてのカメラの視野から外すことが望ましい。所望の合成画像視野が実現されるまで、他のカメラの画像をこの合成視野に入れないようにしつつ、152b、f₂、h₂、およびk₂に関するそれぞれに異なる入力を試行することが必要になる場合がある。

Table 2(表2)および図1Bおよび図1Eに従って入力152b、f₂、h₂、およびk₂によってマルチカメラシステムが指定された後、このマルチカメラシステムを第1カメラ段階と示すことができる。図1Bに示すモデルを再び使用することができるが、この場合、中央カメラ112に第1のカメラ段階が使用される。

次に、図1Bを再び使用し、第1のカメラ段階を中央カメラ112として使用することによって第2のカメラ段階を設計する。第2のカメラ段階用に選択される半角f2とともに作用する高さ152_bを選択する必要がある。

この場合、第2の段階用に選択される半角視野f₂は、第1のカメラ段階によって観測される実際の画像よりも程度が低くなる場合がある。f₂にどんな値を選択するかは設計者の目的および目標に依存する。

f₂の値が選択されていると仮定し、問題は、第2のカメラ段階の中央カメラとして第1のカメラ段階を含む第2のカメラ段階を構成する周囲のカメラのh₂にどんな半角視野を選択すべきかである。すべてのカメラが互いに異なる半角視野を有することができるが、第2のカメラ段階のすべての周囲のカメラ114eが同じ半角視野h₂を有すると仮定する。第2のカメラ段階の152bとして、第1のカメラ段階に適合する長さを選択し、カメラのすべてを互いの視野に入らないようにし、かつ各カメラを実現可能な構造内に配置するのを物理的に可能にする角度h₂およびk₂を選択することが望ましい。図1Aは、これらの目的について説明するのを助ける。Table 1(表1)〜Table 4(表4)の入力値152、f、h、およびkは、光方向転換反射鏡面136と後方非反射鏡面または後方最低反射面170cとの間の既知のサイズを有するカメラ114eに対して選択され、たとえば、カメラ114eは、設計の目的に基づいて表面170cと136との間に収まる必要がある場合がある。表面170cは、図1Aに示すように、カメラ114eによって観測される視野を制限する場合がある。カメラ114eの視野は、カメラ114eの視野の一部のみを占有する場合がある光方向転換反射鏡面134によってさらに制限されることがあり、たとえば、光方向転換反射鏡面134は、カメラ114eの視野の一部のみを覆う場合があるカメラ114eの視野内の物体と見なされることがある。第2のカメラ段階のカメラ116eは、その視野が非反射面または最低反射面170dおよび光方向転換反射鏡面136によって制限される場合がある。光方向転換反射鏡面は、追加の機能を果たし、光方向転換反射鏡面136の長さは、カメラ114eがカメラ1156eによって観測されない場合があるように延ばされてもよい。114eの画像を切り取ることができるのでカメラ114eが116eの画像に入るのを妨げる必要がない場合がある。カメラ114eの画像がカメラ116eの視野内に現れるのを妨げるのが望ましくなる場合がある他の要因が存在することがある。

第1のカメラ段階を含む第2のカメラ段階に関する設計が完了した後、図1BおよびTable 2(表2)を再び使用して第3のカメラ段階を設計することができ、その場合、第2のカメラ段階を図1Bに示すカメラ112の中央カメラとして使用し、第2のカメラ段階を設計するのに使用された手法を同様に繰り返す。

図1Aに示す実施形態では、光軸がマルチカメラシステム光軸113と一致し、前述の位置に光方向転換反射鏡面140が配置された第4のカメラ段階に関して単一のカメラ120が示されている。光方向転換反射鏡面140の位置および向きについてTable 1(表1)ならびに図1Bおよび図1Eに示すモデルを使用して説明する。

図1Aに示すカメラ120などの単一のカメラを使用する必要はない。カメラ120は、第1の段階のカメラおよび/または第2の段階、第3の段階、またはそれよりも上の段階などの第1の段階よりも上の段階に関して上記において説明したような多重カメラシステムによって構成されてもよい。

図1Aの代替実施形態において、概して第1のカメラ段階が見ている方向とは逆の方向を向くオブジェクト空間を見る複数のカメラを使用することが可能であってもよい。

カメラ段階は、第1のカメラ段階、第2のカメラ段階、第3のカメラ段階、および/もしくは第4のカメラ段階、ならびに/またはそれよりも上の段階よりも多くてもまたは少なくてもよい。より多いかまたはより少ないカメラ段階を使用することによって、広角カメラ、半球視野カメラ、またはたとえば、カメラ120などの後部カメラを利用しない場合がある半球よりも大きい超広角カメラを考案、設計、または構想することが可能である場合がある。実際の設計は、マルチカメラシステムを開発する間の選択に依存する。前述のように、任意のカメラが他のカメラのうちの任意のカメラと同じ視野を有することは必要とされない。すべての光方向転換反射鏡面が、その光方向転換反射鏡面を見る最も近いカメラに対して同じ形状、サイズ、または向きを有する必要はない。視差を有しないかまたは視差を事実上有しない画像を取り込むことができるシステムとして説明したマルチカメラシステムを有するうえですべてのカメラが隣接する画像の視野と完全に重なり合う必要もない。

モデル図1Bにおいて、光方向転換反射鏡面134と交差する光軸115が示されている。図1Bに示すようなマルチカメラシステムは、上述の交差点を平面状光方向転換反射鏡面134上の任意の位置に移動させた場合でも視差を有しないかまたは視差を事実上有しないことを示すことができる。上述のように、この交差点は、カメラ114eの光軸115がカメラ114eの仮想カメラの光軸と交差する点であり、平面状光方向転換反射鏡面134上に位置する。

視差を有しないかまたは視差を事実上有しないマルチカメラシステムにおいて、使用されるカメラの各々の視野を等しくする必要はない。

図1Bにおける光方向転換反射鏡面134が、平面ではないが全体的なカメラシステムの設計の一部である光を反射または屈折させることができるように、光方向転換反射鏡面が面134によって表される、視差を有しないかまたは視差を事実上有しないマルチカメラシステムを設計することが可能である場合もある。

図2Aは、中央カメラ212と、カメラ214a〜214hの第1の同心リングと、カメラ216a〜216hの第2の同心リングと、カメラ218a〜218hの第3同心リングと、後方カメラ(図示せず)とを含むグローバルカメラ構成210aの一部の一実施形態の正面図である。図を明快にするために、光方向転換反射鏡構成要素および事実上非反射性の表面は図示されていない。

それぞれの同心リング内のカメラの各々は、それぞれの同心リングに対する隣接するカメラの各々から45度の位置に配置される。たとえば、カメラ216aは、bカメラの平面およびaカメラの平面に対してカメラ216bから45度の位置に配置される。カメラ216aはさらに、hカメラの平面およびaカメラの平面に対してカメラ216hから45度の位置に配置される。

それぞれの同心リングに関するカメラの各々は、中央カメラ212から後方カメラまで延びる軸250から等距離である。たとえば、カメラ216a〜216hはすべて軸250から等距離である。

この実施形態では、後方カメラは、前方カメラの後方に位置しているので示されていない。さらに、カメラの位置は、各カメラの相対位置を示す例示的な目的のための位置である。各カメラを、図1A〜図1Dに関して上記において説明した構成に応じて視野を取り込むように傾斜させてもよい。

この図では、第1の同心リング、第2の同心リング、および第3の同心リングの各々は8つのカメラを有するように示されている。取り込まれるグローバル画像の品質を向上させるためにさらなるカメラを追加してもよい。取り込まれるグローバル画像の品質を向上させるためにさらなる同心リングを追加してもよい。

図2Bは、中央カメラ(図示せず)と、カメラ214a〜214h(214b〜214dは示されていない)の第1の同心リングと、カメラ216a〜216h(216b〜216dは示されていない)の第2の同心リングと、カメラ218a〜218h(218b〜218dは示されていない)の第3同心リングと、後方カメラ220とを含むグローバルカメラ構成210bの一部の一実施形態の側面図である。

それぞれの同心リング内のカメラの各々は、それぞれの同心リングに対して同じ平面内に位置する。たとえば、カメラ216a〜216hは平面276に沿って位置する。同様に、カメラ214a〜214hは平面274に沿って位置し、カメラ218a〜218hは平面278に沿って位置する。後方カメラ220は平面280に沿って位置する。この例示的な実施形態では、平面274、276、278、280は互いに平行であるかまたは実質的に平行である。軸250は、中央カメラの光軸と同じ仮想軸である後方カメラ220の光軸を示す。

この実施形態では、カメラの位置は、各カメラの相対位置を示す例示的な目的のための位置である。各カメラを、図1A〜図1Dに関して上記において説明した構成に応じて視野を取り込むように傾斜させてもよい。

この図では、第1の同心リング、第2の同心リング、および第3の同心リングの各々は、8つのカメラを有するように示されている(各同心リングのカメラb〜dは、それぞれの同心リングのカメラの後方に隠れている)。取り込まれるグローバル画像の品質を向上させるためにさらなるカメラを追加してもよい。取り込まれるグローバル画像の品質を向上させるためにさらなる同心リングを追加してもよい。

図2Cは、中央カメラ(図示せず)と、カメラ214a〜214h(214b〜214dは示されていない)の第1の同心リングと、カメラ216a〜216h(216b〜216dは示されていない)の第2の同心リングと、カメラ218a〜218h(218b〜218dは示されていない)の第3同心リングと、後方カメラ220とを含むグローバルカメラ構成210bの一部の一実施形態の側面図である。

図2Cは、図2Cが平面278に沿って配置された同心リングに対して異なる位置に後方カメラ220を示すことを除いて図2Bと同様である。後方カメラ220の位置は、後方カメラ220が平面274、276、278に沿った他の同心リングに対して様々な位置に配置できることを示すのに使用される。しかし、視差を有しないかまたは視差を実質的に有しないグローバルカメラシステムを維持するために、後方カメラ220は、他のカメラと同じ仮想入射瞳位置からの仮想視野を有するべきである。仮想視野は、様々な実装形態によって実現することができる。たとえば、一実装形態は、後方カメラ220を、他のカメラと同じ仮想入射瞳位置からの仮想視野を有するカメラのアレイとすることを含む。このタイプのカメラについて、図3に関してさらに詳細に説明する。

実現される場合がある後方カメラ220の別の例では、図2Bの後方カメラ220を中央カメラの逆方向を向くように回転させる。この実装形態では、後方カメラは、他のカメラと同じ仮想入射瞳位置からの仮想視野を有しない。したがって、この実装形態は、上述の実施形態のように視差を有しないかまたは視差を事実上有しないとは限らない。

この実施形態では、カメラの位置は、各カメラの相対位置を示す例示的な目的のための位置である。各カメラを、図1A〜図1Dに関して上記において説明した構成に応じて視野を取り込むように傾斜させてもよい。

この図では、第1の同心リング、第2の同心リング、および第3の同心リングの各々は、8つのカメラを有するように示されている(各同心リングのカメラb〜dは、それぞれの同心リングのカメラの後方に隠れている)。さらなるカメラを追加してもよく、またはカメラの数を少なくしてもよい。さらなる同心リングを追加してもよく、または同心リングの数を少なくしてもよい。

図3は、屈曲光学マルチセンサーアセンブリ310の一実施形態の側断面図である。屈曲光学マルチセンサーアセンブリ310は、特にオートフォーカスシステムおよび技法とともに使用するのに適している。屈曲光学マルチセンサーアセンブリ310は、すべてが基板336に取り付けられて(または接続されて)もよい画像センサー332、334と反射性2次光屈曲面328、330とレンズアセンブリ324、326と中央反射要素316とを含む。

画像センサー332、334は、いくつかの実施形態では、電荷結合デバイス(CCD)、相補型金属酸化物半導体(CMOS)、または光を受け取って受け取られた画像に応答して画像データを生成する任意の他の画像感知デバイスを含んでもよい。各センサー332、334は、アレイ状に配置された複数のセンサー(またはセンサー要素)を含んでもよい。画像センサー332、334は、スチール写真に関する画像データを生成することができ、取り込まれたビデオストリームに関する画像データを生成することもできる。センサー332および334は、個々のセンサーアレイであってもよく、または各センサーがセンサーアレイのアレイ、たとえば、センサーアレイの3×1アレイに相当してもよい。しかし、当業者には理解されるように、開示される実装形態ではセンサーの任意の適切なアレイが使用されてもよい。

センサー332、334は、図3に示すように基板336上に取り付けられてもよい。いくつかの実施形態では、すべてのセンサーが平坦な基板336に取り付けられることによって1つの平面上に位置してもよい。基板336は、実質的に平坦な任意の適切な材料であってもよい。中央反射要素316およびレンズアセンブリ324、326も基板336上に取り付けられてもよい。センサーアレイ、複数のレンズアセンブリ、および複数の1次および2次反射面または屈折面を取り付けるための複数の構成が可能である。

いくつかの実施形態では、ターゲット画像シーンからの光の方向をセンサー332、334の方へ変えるのに中央反射要素316が使用されてもよい。中央反射要素316は、反射面(たとえば、鏡)であってもまたは複数の反射面(たとえば、鏡)であってもよく、平坦であってもまたは入射光の方向を適切に画像センサー332、334の方へ変える必要に応じた形状であってもよい。たとえば、いくつかの実施形態では、中央反射要素316は入射光線をレンズアセンブリ324、326を通してセンサー332、334に反射するようなサイズおよび形状を有する鏡であってもよい。中央反射要素316は、ターゲット画像を含む光を複数の部分に分割して、各部分を異なるセンサーに向けてもよい。たとえば、中央反射要素316の第1の反射面312(他の実施形態では反射面ではなく屈折プリズムを実装する場合があるので1次光屈折面とも呼ばれる)は、第1の視野320に対応する光の部分を第1の(左側)センサー332の方へ送り、一方、第2の反射面314は、第2の視野322に対応する光の第2の部分を第2の(右側)センサー334の方へ送る。画像センサー332、334の視野320、322が集合的に少なくともターゲット画像を覆うことを諒解されたい。

光を受け取るセンサーの各々が複数のセンサーのアレイであるいくつかの実施形態では、中央反射要素は、ターゲット画像シーンの異なる部分をセンサーの各々の方へ送るために互いに対して傾斜して配置された複数の反射面によって構成されてもよい。アレイ内の各センサーは、実質的に異なる視野を有してもよく、いくつかの実施形態では、視野が重なり合ってもよい。中央反射要素のいくつかの実施形態は、レンズシステムを設計する際に自由度を高めるように複合非平面状表面を有してもよい。さらに、中央要素については反射面として説明したが、他の実施形態では、中央要素は屈折性の要素であってもよい。たとえば、中央要素は、複数のファセットを有するように構成されたプリズムであってもよく、その場合、各ファセットは、シーンを含む光の部分をセンサーのうちの1つの方へ向ける。

入射光の少なくとも一部は、中央反射要素316から反射された後、レンズアセンブリ324、326の各々を通って伝搬してもよい。1つまたは複数のレンズアセンブリ324、326が中央反射要素316とセンサー332、334および反射面328、330との間に設けられてもよい。レンズアセンブリ324、326は、各センサー332、334の方へ向けられるターゲット画像の部分を合焦させるのに使用されてもよい。

いくつかの実施形態では、各レンズアセンブリは、1つまたは複数のレンズと、レンズを複数の異なるレンズ位置の間で移動させるためのアクチュエータとを備えてもよい。アクチュエータは、ボイスコイルモータ(VCM)、微小電子機械システム(MEMS)、または形状記憶合金(SMA)であってもよい。レンズアセンブリは、アクチュエータを制御するためのレンズドライバをさらに備えてもよい。

いくつかの実施形態では、各カメラのレンズ324、326と対応するセンサー332、334との間の焦点距離を変更することによって従来のオートフォーカス技法が実施されてもよい。いくつかの実施形態では、これはレンズバレルを移動させることによって実現されてもよい。他の実施形態では、中央光方向転換反射鏡面を上下に移動させるかまたは光方向転換反射鏡面の角度をレンズアセンブリに対して調整することによって焦点を調整してもよい。いくつかの実施形態では、側方光方向転換反射鏡面を各センサーの上方を移動させることによって焦点を調整してもよい。そのような実施形態は、アセンブリが各センサーの焦点を個別に調整するのを可能にする。さらに、いくつかの実施形態では、たとえば、液体レンズのようなレンズをアセンブリ全体の上方に配置することによってアセンブリ全体の焦点を一度に変更することが可能である。いくつかの実装形態では、コンピュテーショナルフォトグラフィを使用してカメラアレイの焦点を変更してもよい。

視野320、322によって、屈曲光学マルチセンサーアセンブリ310において、仮想軸338、340によって仮想視野が画定される仮想領域342から知覚される仮想視野が形成される。仮想領域342は、センサー332、334がターゲット画像の入射光を知覚しこの入射光に感応する領域である。仮想視野は、実際の視野と対照をなすべきである。実際の視野は、検出器が入射光に感応する角度である。実際の視野は、仮想視野が、入射光が実際に到達することのない知覚される角度であるという点で仮想視野とは異なる。たとえば、図3では、入射光は、反射面312、314から反射されるので仮想領域342に達することがない。

複数の側方反射面、たとえば、反射面328および330を中央反射要素316の周りのセンサーの反対側に設けることができる。側方反射面328、330(他の実施形態では反射面ではなく屈折プリズムを実装する場合があるので2次光屈折面とも呼ばれる)は、レンズアセンブリを通過した後、光を(図3に示す向きでは下向きに)センサー332、334上に反射する。図示のように、センサー332は反射面328の下方に位置付けられてもよく、センサー334は反射面330の下方に位置付けられてもよい。しかし、他の実施形態では、センサーは側方反射面の上方に位置してもよく、側方反射面は光を上向きに反射するように構成されてもよい。各レンズアセンブリからの光の方向がセンサーの方へ変えられる側方反射面およびセンサーの他の適切な構成が可能である。いくつかの実施形態は、側方反射面328、330の移動を可能にして関連するセンサーの焦点または視野を変更してもよい。

各センサーの視野320、322は、そのセンサーに関連する中央反射要素316の表面によってオブジェクト空間内に向けられてもよい。各カメラの視野をオブジェクトフィールド上のそれぞれに異なる位置に向けることができるように鏡を傾けることおよび/またはアレイ内のプリズムを移動させることを行うのに機械的な方法を使用してもよい。このことを使用して、たとえば、ハイダイナミックレンジカメラを実現するか、カメラシステムの解像度を高めるか、またはプレノプティックカメラシステムを実現してもよい。各センサーの(または各3×1アレイの)視野をオブジェクト空間内に投影してもよく、各センサーが、そのセンサーの視野に応じたターゲットシーンの部分を含む部分的画像を取り込んでもよい。図3に示すように、いくつかの実施形態では、互いに向かい合うセンサーアレイ332、334に関する視野320、322がある量318だけ重なり合ってもよい。重なり合い318を低減させ単一の画像を形成するために、後述のようなステッチプロセスを使用して互いに向かい合う2つのセンサーアレイ332、334からの画像を組み合わせてもよい。ステッチプロセスのいくつかの実施形態では、重なり合い318を使用して部分画像同士をステッチする際に共通のフィーチャを識別してもよい。重なり合った画像をステッチした後、ステッチされた画像を所望の縦横比、たとえば4:3または1:1に切り取って最終的な画像を形成してもよい。いくつかの実施形態では、各FOVに関する光学素子の配列が重なり合い318を最低限に抑えるように配置され、それによって、画像を連結する際に必要とされる画像処理が最低限に抑えられるかまたは完全になくなるように複数の画像が単一の画像として形成される。

図3に示すように、屈曲光学マルチセンサーアセンブリ310は総高さ346を有する。いくつかの実施形態では、総高さ346は約4.5mm以下であってもよい。他の実施形態では、総高さ346は約4.0mm以下であってもよい。図示していないが、屈曲光学マルチセンサーアセンブリ310全体が、対応する内部高さが約4.5mm以下または約4.0mm以下のハウジング内に設けられてもよい。

本明細書で使用する「カメラ」という用語は、画像センサー、レンズシステム、およびいくつかの対応する光屈曲面を指す場合があり、たとえば、1次光屈曲面314、レンズアセンブリ326、2次光屈曲面330、およびセンサー334が図3に示されている。屈曲光学マルチセンサーアセンブリは、「アレイ」または「アレイカメラ」と呼ばれ、様々な構成において複数のそのようなカメラを含んでもよい。アレイ構成のいくつかの実施形態が、開示が参照により本明細書に組み込まれる、2013年3月15日に出願され「MULTI-CAMERA SYSTEM USING FOLDED OPTICS」という名称を有する米国出願公開第2014/0111650号に開示されている。本明細書において説明するオートフォーカスシステムおよび技法が有効である他のアレイカメラ構成が考えられる。

図4は、1つまたは複数のカメラ420a〜420nに連結された画像プロセッサ426を含む構成要素のセットを有するデバイス410のハイレベルブロック図を示す。画像プロセッサ426はまた、作業メモリ428、メモリ構成要素412、およびデバイスプロセッサ430と通信し、デバイスプロセッサ430は次いでストレージ434および電子ディスプレイ432と通信する。

デバイス410は、セルフォン、デジタルカメラ、タブレットコンピュータ、携帯情報端末などであってもよい。本明細書において説明するような薄型撮像システムが有効である多数のポータブルコンピューティングデバイスがある。デバイス410は、固定コンピューティングデバイスまたは薄型撮像システムが有効である任意のデバイスであってもよい。デバイス410のユーザには複数のアプリケーションが利用可能であってもよい。これらのアプリケーションは、従来の写真アプリケーションおよびビデオアプリケーション、ハイダイナミックレンジ撮像、パノラマ写真およびビデオ、または3S画像もしくは3Dビデオなどの立体撮像を含んでもよい。

画像取込みデバイス410は、外部画像を取り込むためのカメラ420a〜420nを含む。カメラ420a〜420nの各々は、図3に関して上記において説明したように、センサーと、レンズアセンブリと、ターゲット画像の一部を各センサーに反射するための1次および2次反射鏡面または屈折鏡面とを備えてもよい。一般に、N個のカメラ420a〜420nが使用されてもよく、この場合、N≧2である。したがって、ターゲット画像はN個の部分に分割されてもよく、その場合、N個のカメラの各センサーがそのセンサーの視野に応じてターゲット画像の一部を取り込む。カメラ420a〜420nが、本明細書において説明する屈曲光学撮像デバイスの実装形態に適した任意の数のカメラを備えてもよいことを理解されたい。センサーの数は、システムのz高さを低くするように増やしてもよく、あるいは後処理後に画像の焦点を調整するのを可能にする場合がある、プレノプティックカメラの重なり視野と同様の重なり視野を有することなどの他の目的の要件を満たすように増やしてもよい。他の実施形態は、2つの同時画像を取り込み、次いでそれらの画像をマージすることを可能にするハイダイナミックレンジカメラに適した視野重なり構成を有してもよい。カメラ420a〜420nは、取り込まれた画像を作業メモリ428、デバイスプロセッサ430、電子ディスプレイ432、およびストレージ(メモリ)434に伝達するように画像プロセッサ426に結合されてもよい。

画像プロセッサ426は、以下により詳細に説明するようにステッチされた高品質画像を出力するためにターゲット画像のN個の部分を含む受け取られた画像データに対して様々な処理演算を実行するように構成されてもよい。画像プロセッサ426は、汎用処理ユニットであっても、または撮像アプリケーション向けに特別に設計されたプロセッサであってもよい。画像処理演算の例には、クロッピング、(たとえば、異なる解像度への)スケーリング、画像ステッチング、画像フォーマット変換、色補間、色処理、画像フィルタリング(たとえば、空間画像フィルタリング)、レンズアーティファクトまたは欠陥補正などが含まれる。画像プロセッサ426は、いくつかの実施形態では、複数のプロセッサを備えてもよい。いくつかの実施形態は、各画像センサー専用のプロセッサを有してもよい。画像プロセッサ426は、1つもしくは複数の専用画像信号プロセッサ(ISP)であってもまたはプロセッサのソフトウェア実装形態であってもよい。

図示するように、プロセッサ426は、メモリ412および作業メモリ428に接続される。図示の実施形態では、メモリ412は、画像取込み制御モジュール414、画像ステッチングモジュール416、オペレーティングシステム418、および反射器制御モジュール419を記憶する。これらのモジュールは、様々な画像処理およびデバイス管理タスクを実行するようにデバイスプロセッサ430の画像プロセッサ426を構成する命令を含む。作業メモリ428は、メモリ構成要素412のモジュール内に含まれるプロセッサ命令の作業セットを記憶するために画像プロセッサ426によって使用されてもよい。代替的に、作業メモリ428は、デバイス410の動作中に生成された動的なデータを記憶するために画像プロセッサ426によって使用される場合もある。

上述のように、画像プロセッサ426は、メモリに記憶されたいくつかのモジュールによって構成される。取込み制御モジュール414は、反射器制御モジュール419を呼び出してカメラの拡張可能な反射器を第1または第2の位置に位置付けるように画像プロセッサ426を構成する命令を含んでもよく、カメラ420a〜420nの焦点位置を調整するように画像プロセッサ426を構成する命令を含んでもよい。取込み制御モジュール414は、デバイス410の画像取込み機能全体を制御する命令をさらに含んでもよい。たとえば、取込み制御モジュール414は、カメラ420a〜420nを使用してターゲット画像シーンの生画像データを取り込むように画像プロセッサ426を構成するためのサブルーチンを呼び出す命令を含んでもよい。取込み制御モジュール414は次いで、画像ステッチングモジュール416を呼び出して、カメラ420a〜420nによって取り込まれたN個の部分画像に対してステッチング技法を実行し、ステッチされ切り取られたターゲット画像を画像プロセッサ426に出力してもよい。取込み制御モジュール414は、画像ステッチングモジュール416を呼び出して生画像データに対してステッチング動作を実行し、取り込むべきシーンのプレビュー画像を出力し、プレビュー画像を特定の時間間隔でまたは生画像データ内のシーンが変化したときにプレビュー画像を更新してもよい。

画像ステッチングモジュール416は、取り込まれた画像データに対してステッチング技法およびクロッピング技法を実行するように画像プロセッサ426を構成する命令を含んでもよい。たとえば、N個のセンサー420a〜420nの各々が、各センサーの視野に応じてターゲット画像の一部を含む部分画像を取り込んでもよい。視野は、上記および下記において説明するように重なり合う領域を共有してもよい。画像ステッチングモジュール416は、単一のターゲット画像を出力するために、複数のN個の部分画像を組み合わせて高解像度ターゲット画像を生成するように画像プロセッサ426を構成してもよい。ターゲット画像の生成は、公知の画像ステッチング技法によって行われてもよい。画像ステッチングの例は、参照により本明細書に組み込まれる米国特許出願第11/623050号に記載されている。

たとえば、画像ステッチングモジュール416は、N個の部分画像の互いに対する回転および配列を決定するためにN個の部分画像の縁に沿って重なり領域をフィーチャの一致に関して比較するための命令を含んでもよい。部分画像の回転および/または各センサーの視野の形状に起因して、合成された画像は不規則形状を形成する場合がある。したがって、画像ステッチングモジュール416は、N個の部分画像を位置合わせして合成した後、合成された画像を所望の形状および縦横比、たとえば、4:3の矩形または1:1の方形に切り取るように画像プロセッサ426を構成するサブルーチンを呼び出してもよい。切り取られた画像は、ディスプレイ432上に表示できるようにまたはストレージ434に保存できるようにデバイスプロセッサ430に送られてもよい。

オペレーティングシステムモジュール418は、デバイス410の作業メモリ428および処理リソースを管理するように画像プロセッサ426を構成する。たとえば、オペレーティングシステムモジュール418は、カメラ420a〜420nなどのハードウェアリソースを管理するためのデバイスドライバを含んでもよい。したがって、いくつかの実施形態では、上述の画像処理モジュールに含まれる命令がこれらのハードウェアリソースと直接相互作用せず、その代わり、オペレーティングシステム構成要素418に位置する標準的なサブルーチンまたはAPIを通じて相互作用する場合がある。その場合、オペレーティングシステム418内の命令は、これらのハードウェア構成要素と直接相互作用してもよい。オペレーティングシステムモジュール418は、デバイスプロセッサ430と情報を共有するように画像プロセッサ426をさらに構成してもよい。

画像プロセッサ426は、たとえば、タッチセンシティブディスプレイ432を使用して、デバイス410のユーザが標準的なFOV画像または広角FOV画像のいずれかに対応する画像取込みモードを選択するのを可能にすることによって、ユーザに対する画像取込みモード選択制御を実現することができる。

デバイスプロセッサ430は、取り込まれた画像または取り込まれた画像のプレビューをユーザに対して表示するようにディスプレイ432を制御するように構成されてもよい。ディスプレイ432は、撮像デバイス410の外部に位置しても、または撮像デバイス410の一部であってもよい。ディスプレイ432は、画像を取り込む前に使用できるようにプレビュー画像を表示するビューファインダーを実現するように構成されてもよく、またはメモリに記憶されている取り込まれた画像もしくはユーザによって最近取り込まれた画像を表示するように構成されてもよい。ディスプレイ432は、LCDスクリーンまたはLEDスクリーンを備えてもよく、タッチセンシティブ技法を実施してもよい。

デバイスプロセッサ430は、データ、たとえば、取り込まれた画像を表すデータをストレージモジュール434に書き込んでもよい。ストレージモジュール434は、従来のディスクデバイスとして図示されているが、当業者には、ストレージモジュール434が任意の記憶媒体デバイスとして構成されてもよいことが理解されよう。たとえば、ストレージモジュール434は、フロッピーディスクドライブ、ハードディスクドライブ、光ディスクドライブ、または光磁気ディスクドライブなどのディスクドライブ、またはFLASHメモリ、RAM、ROM、および/またはEEPROMなどの固体メモリを含んでもよい。ストレージモジュール434は、複数のメモリユニットを含んでもよく、メモリユニットのうちの任意の1つは、画像取込みデバイス410内に位置するように構成されてもよく、または画像取込みデバイス410の外部に位置してもよい。たとえば、ストレージモジュール434は、画像取込みデバイス410内に記憶されたシステムプログラム命令を含むROMメモリを含んでもよい。ストレージモジュール434は、カメラから取外し可能であってもよい、取り込まれた画像を記憶するように構成されたメモリカードまたは高速メモリを含んでもよい。

図4は、プロセッサ、撮像デバイス、およびメモリを含むために別個の構成要素を備えるデバイスを示しているが、当業者には、これらの別個の構成要素が、特定の設計目的を達成するように様々な方法で組み合わされてもよいことが認識されよう。たとえば、代替実施形態では、メモリ構成要素は、コストを節約し性能を改善するためにプロセッサ構成要素と組み合わされてもよい。さらに、図4は、いくつかのモジュールを備えるメモリ構成要素412と、作業メモリを備える別個のメモリ428とを含む2つのメモリ構成要素を示しているが、当業者には、異なるメモリアーキテクチャを利用するいくつかの実施形態が認識されよう。たとえば、ある設計は、メモリ構成要素412に含まれるモジュールを実施するプロセッサ命令の記憶のためにROMまたはスタティックRAMメモリを利用してもよい。プロセッサ命令は、画像プロセッサ426による実行を容易にするためにRAMにロードされてもよい。たとえば、作業メモリ428は、命令がプロセッサ426によって実行される前に作業メモリ428にロードされる、RAMメモリを備えてもよい。

図5は、ターゲット画像を取り込む方法500の一例のブロックを示す。球形の視野(FOV)を示す画像を生成する方法500はいくつかのブロックを含む。

ブロック505において、前方カメラの投影光軸の周りの第1のFOVにおける画像を取り込むように位置付けられた前方カメラにおいて前方画像が生成される。前方カメラの投影光軸は第1の方向に位置付けられる。

ブロック510において、前方カメラと後方カメラとの間に配設された後方方向転換反射鏡構成要素によって方向を変えられた光を受け取るように位置付けられた後方カメラにおいて後方画像が生成される。後方カメラは、第2のFOVにおける画像を取り込むように位置付けられる。

ブロック515において、前方カメラと後方カメラとの間に多角形構成に配設された第1のカメラのセットにおいて第1の画像が生成される。第1のカメラは、第3のFOVにおける画像を取り込むように集合的に構成される。第3のFOVは、円形であり、第1のカメラから外側に離れる方向に投影される。第3のFOVの少なくとも一部は、第1のFOVと第2のFOVとの間に位置付けられる。

ブロック520において、第1のカメラと後方カメラとの間に多角形構成に配設された第2のカメラのセットにおいて第2の画像が生成される。第2のカメラは、第4のFOVにおける画像を取り込むように集合的に構成される。第4のFOVは、円形であり、第2のカメラから外側に離れる方向に投影される。第4のFOVの少なくとも一部は、第3のFOVと第2のFOVとの間に位置付けられる。

ブロック525において、第2のカメラと後方カメラとの間に多角形構成に配設され、第5のFOVにおける画像を取り込むように集合的に構成された第3のカメラのセットにおいて第3の画像が生成される。第5のFOVは、円形であり、第3のカメラから外側に離れる方向に投影される。第5のFOVの少なくとも一部は、第4のFOVと第2のFOVとの間に位置付けられる。

ブロック530において、前方画像、後方画像、第1の画像、第2の画像、および第3の画像が、少なくとも1つのプロセッサにおいて受け取られる。前方画像、後方画像、第1の画像、第2の画像、および第3の画像の少なくとも一部を含むモザイク処理された画像が、少なくとも1つのプロセッサによって生成される。モザイク処理された画像は、球形の画像内の視点から見た球形の画像を示すように生成される。モザイク処理された画像を生成することは、前方画像、後方画像、第1の画像、第2の画像、および第3の画像の少なくとも一部をステッチすることを含む。

第1、第2、第3、第4、および第5のFOVは少なくとも部分的に重なり合う。第1のカメラのセット、第2のカメラのセット、および第3のカメラのセットが、3つの同心リングを形成するように配置される。後方カメラは、屈曲光学マルチセンサーアセンブリである。

本明細書において開示する実装形態は、視差およびチルトアーティファクトを有しない多重開口アレイカメラのためのシステム、方法、および装置を提供する。当業者には、これらの実施形態が、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装されてもよいことを諒解されるであろう。

いくつかの実施形態では、上述の回路、プロセス、およびシステムはワイヤレス通信デバイスにおいて利用される。ワイヤレス通信デバイスは、他の電子デバイスとワイヤレスに通信するのに使用される一種の電子デバイスであってもよい。ワイヤレス通信デバイスの例には、セルラー電話、スマートフォン、携帯情報端末(PDA)、電子リーダー、ゲームシステム、音楽プレーヤ、ネットブック、ワイヤレスモデム、ラップトップコンピュータ、タブレットデバイスなどが含まれる。

ワイヤレス通信デバイスは、1つまたは複数の画像センサーと、2つ以上の画像信号プロセッサと、上述のCNRプロセスを実行するための命令またはモジュールを含むメモリとを含んでもよい。このデバイスはまた、データと、メモリから命令および/またはデータをロードするプロセッサと、1つまたは複数の通信インターフェースと、1つまたは複数の入力デバイスと、ディスプレイデバイスなどの1つまたは複数の出力デバイスと、電源/インターフェースとを有してもよい。ワイヤレス通信デバイスは、トランスミッタとレシーバとをさらに含んでもよい。トランスミッタおよびレシーバはまとめて、トランシーバと呼ばれる場合がある。トランシーバは、ワイヤレス信号の送信および/または受信を行う1つまたは複数のアンテナに結合されてもよい。

ワイヤレス通信デバイスは、別の電子デバイス(たとえば、基地局)にワイヤレスに接続されてもよい。ワイヤレス通信デバイスは代替的に、モバイルデバイス、移動局、加入者局、ユーザ機器(UE)、遠隔局、アクセス端末、モバイル端末、端末、ユーザ端末、加入者ユニットなどと呼ばれる場合がある。ワイヤレス通信デバイスの例には、ラップトップコンピュータまたはデスクトップコンピュータ、セルラーフォン、スマートフォン、ワイヤレスモデム、電子リーダー、タブレットデバイス、ゲームシステムなどが含まれる。ワイヤレス通信デバイスは、第3世代パートナーシッププロジェクト(3GPP)などの1つまたは複数の業界規格に従って動作してもよい。したがって、「ワイヤレス通信デバイス」という一般的な用語は、業界規格(たとえば、アクセス端末、ユーザ機器(UE)、遠隔端末など)に従った様々な名称によって示されるワイヤレス通信デバイスを含んでもよい。

本明細書で説明された機能は、プロセッサ可読媒体上またはコンピュータ可読媒体上に1つまたは複数の命令として記憶されてもよい。「コンピュータ可読媒体」という用語は、コンピュータまたはプロセッサによってアクセスされ得る任意の利用可能な媒体を指す。限定ではなく、例として、そのような媒体は、RAM、ROM、EEPROM、フラッシュメモリ、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクストレージデバイスもしくは他の磁気ストレージデバイス、または所望のプログラムコードを命令またはデータ構造の形で記憶するために使用可能であり、かつコンピュータによってアクセス可能な任意の他の媒体を含み得る。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザディスク(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)およびブルーレイ(登録商標)ディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザで光学的に再生する。コンピュータ可読媒体は、有形および非一時的であり得ることに留意されたい。「コンピュータプログラム製品」という用語は、コンピューティングデバイスまたはプロセッサによって実行され、処理され、または計算されてもよい、コードまたは命令(たとえば、「プログラム」)と組み合わされたコンピューティングデバイスまたはプロセッサを指す。本明細書で使用される場合、「コード」という用語は、コンピューティングデバイスまたはプロセッサによって実行可能な、ソフトウェア、命令、コード、またはデータを指すことがある。

本明細書で開示した方法は、説明した方法を達成するための1つまたは複数のステップまたは動作を含む。方法ステップおよび/または動作は、特許請求の範囲を逸脱することなく互いに交換されてもよい。言い換えれば、説明している方法を適切に動作させるうえでステップまたはアクションの特定の順序が必要とされない限り、特定のステップおよび/またはアクションの順序および/または使用は、特許請求の範囲から逸脱することなく修正されてもよい。

「結合」、「結合する」、「結合される」という用語、またはこの語の組の他の変形形態は、本明細書で使用される場合、間接的な接続または直接的な接続を示す場合があることに留意されたい。たとえば、第1の構成要素が第2の構成要素と「結合される」場合、第1の構成要素は、第2の構成要素に間接的に接続されてもよく、または第2の構成要素に直接的に接続されてもよい。本明細書で使用する「複数の」という用語は2つ以上を示す。たとえば、複数の構成要素は2つ以上の構成を示す。

「決定すること」という用語は、幅広い動作を包含し、したがって、「決定すること」は、計算すること、演算すること、処理すること、導出すること、調査すること、探索すること(たとえば、表、データベース、または他のデータ構造の中を探索すること)、確認することなどを含んでもよい。また、「決定すること」は、受信すること(たとえば、情報を受信すること)、アクセスすること(たとえば、メモリ内のデータにアクセスすること)などを含んでもよい。また、「決定/判定すること」は、解決すること、選択すること、選ぶこと、確立することなどを含むことができる。

「〜に基づいて」という句は、別段に明記されていない限り、「〜のみに基づいて」ということを意味しない。言い換えれば、「〜に基づいて」という句は、「〜のみに基づいて」と「少なくとも〜に基づいて」の両方を表す。

以下の説明では、実施例を完全に理解できるように、具体的に詳細に説明する。しかしながら、実施例がこれらの具体的な詳細なしに実施されてもよいことが当業者には理解されよう。たとえば、不必要な詳細で実施例を不明瞭にしないために、電気の構成要素/デバイスがブロック図で示される場合がある。他の事例では、実施例をさらに説明するために、そのような構成要素、他の構造および技法が詳細に示される場合がある。

本明細書では、見出しは、参照のために、および様々なセクションを配置するのを助けるために含まれる。これらの見出しは、それに関して説明した概念の範囲を限定することを意図するものではない。そのような概念は明細書全体を通して適用される場合がある。

実施例については、フローチャート、流れ図、有限状態図、構造図、またはブロック図として示されるプロセスとして説明する場合がある点に留意されたい。フローチャートについては、動作を順次プロセスとして説明する場合があるが、動作の多くは並列、または同時に実行することができ、プロセスを繰り返すことが可能である。また、動作の順序は並べ替えられてもよい。プロセスは、その動作が完了したとき、終了する。プロセスは、方法、関数、プロシージャ、サブルーチン、サブプログラムなどに相当する場合がある。プロセスがソフトウェアの関数に対応する場合、その終了は、呼出し関数またはメイン関数への関数のリターンに対応する。

開示された実装形態の前述の説明は、任意の当業者が本発明を作成または使用することを可能にするために提供される。これらの実装形態への様々な修正が当業者には容易に明らかになり、本明細書に定義する一般原理は、本発明の趣旨または範囲を逸脱することなしに他の実装形態に適用されてもよい。したがって、本発明は、本明細書に示される実装形態に限定されることを意図するものではなく、本明細書に開示される原理および新規な特徴と一致する最も広い範囲を与えられるべきである。

14 入射瞳
15 短い棒
19 光軸
20 カメラ
110a グローバル構成
110b グローバルカメラ構成
110c グローバルカメラ構成
110d グローバルカメラ構成
111 仮想入射瞳
112 中央カメラ
113 マルチカメラシステム光軸
114e 第1のカメラ
115 光軸
116e 第2のカメラ
117 光軸
118e 第3のカメラ
119 光軸
120 後方カメラ
121 光軸
134 光方向転換反射鏡面
136 光方向転換反射鏡面
140 後方方向転換反射鏡構成要素
145 仮想入射瞳
152 入力値
152b 長さ
154b 長さ
160a 線
160b 長さ
170a 線
170d 表面
192 平面
210a グローバルカメラ構成
210b グローバルカメラ構成
212 中央カメラ
216b カメラ
216h カメラ
220 後方カメラ
250 軸
274 平面
278 平面
310 屈曲光学マルチセンサーアセンブリ
312 反射面
314 反射面
316 中央反射要素
318 ある量
320 視野
324 レンズアセンブリ
328 側方反射面
332 センサーアレイ
336 基板
338 仮想軸
342 仮想領域
346 全高さ
410 デバイス
412 メモリ構成要素
414 取込み制御モジュール
416 画像ステッチングモジュール
426 画像プロセッサ
430 デバイスプロセッサ
432 電子ディスプレイ
434 ストレージ

Claims (30)

1. 集合的に球形の画像を示す複数の画像を取り込むための撮像システムであって、
   前方カメラの投影光軸の周りの第1の視野(FOV)における画像を取り込むように位置付けられた前方カメラであって、前記前方カメラの前記投影光軸が第1の方向に位置する前方カメラと、
   前記前方カメラと後方カメラとの間に配設された後方方向転換反射鏡構成要素によって方向を変えられた光を受け取るように位置付けられた後方カメラであって、前記後方カメラの投影光軸の周りの第2のFOVにおける画像を取り込むように位置付けられ、前記後方カメラの前記投影光軸が前記第1の方向に位置する後方カメラと、
   前記前方カメラと前記後方カメラとの間に多角形構成に配設された第1のカメラのセットであって、前記第1のカメラが、第3のFOVにおける画像を取り込むように集合的に構成され、前記FOVが、円形であり、前記第1のカメラから外側に離れる方向に投影され、前記第3のFOVの少なくとも一部が前記第1のFOVと前記第2のFOVとの間に位置する第1のカメラのセットと、
   前記第1のカメラと前記後方カメラとの間に多角形構成に配設された第2のカメラのセットであって、前記第2のカメラが、第4のFOVにおける画像を取り込むように集合的に構成され、前記第4のFOVが、円形であり、前記第2のカメラから外側に離れる方向に投影され、前記第4のFOVの少なくとも一部が前記第3のFOVと前記第2のFOVとの間に位置する第2のカメラのセットと、
   前記第2のカメラと前記後方カメラとの間に多角形構成に配設され、第5のFOVにおける画像を取り込むように集合的に構成された第3のカメラのセットであって、前記第5のFOVが、円形であり、前記第3のカメラから外側に離れる方向に投影され、前記第5のFOVの少なくとも一部が前記第4のFOVと前記第2のFOVとの間に位置する第3のカメラのセットとを備え、
   前記前方カメラ、前記後方カメラ、前記第1のカメラ、前記第2のカメラ、および前記第3のカメラは、前記第1、第2、第3、第4、および第5のFOVが、前記撮像システムの視点から見たときに球形の画像を集合的に表すように構成される撮像システム。
2. メモリ構成要素と、
   前記メモリ構成要素および前記カメラの各々に結合され、前記プロセッサおよび前記メモリ構成要素が、前記カメラの各々からの画像を保存するように集合的に構成され、前記カメラの各々からの前記画像の少なくとも一部を含む球形の画像を生成するようにさらに構成されたプロセッサとをさらに備える、請求項1に記載の撮像システム。
3. 前記後方方向転換反射鏡構成要素は、前記前方カメラの前記投影光軸に垂直に配設された反射器である、請求項1に記載の撮像システム。
4. 複数の光方向転換反射鏡構成要素をさらに備え、前記第1のカメラのセット、前記第2のカメラのセット、および前記第3のカメラのセット内の各カメラは、前記複数の光方向転換反射鏡構成要素のうちの1つによって方向を変えられ反射された光を受け取るように位置付けられる、請求項1に記載の撮像システム。
5. 前記複数の光方向転換反射鏡構成要素は複数の反射器を備える、請求項4に記載の撮像システム。
6. 前記第1のカメラは、前記第2および第3のカメラからずらして配設され、前記第2のカメラは、前記第1および第3のカメラからずらして配設され、前記第3のカメラは、前記第1および第2のカメラからずらして配設される、請求項1に記載の撮像システム。
7. 前記第1のカメラは第1の平面内に配設され、前記第2のカメラは第2の平面内に配設され、前記第3のカメラは第3の平面内に配設される、請求項1に記載の撮像システム。
8. 前記第1、第2、および第3の平面は互いに平行である、請求項7に記載の撮像システム。
9. 前記第1のカメラのセットは8つのカメラを備え、前記第2のカメラのセットは8つのカメラを備え、前記第3のカメラのセットは8つのカメラを備える、請求項1に記載の撮像システム。
10. 前記第1のカメラは、等間隔に離間して配設され、前記第2のカメラは、等間隔に離間して配設され、前記第3のカメラは、等間隔に離間して配設される、請求項1に記載の撮像システム。
11. 前記複数の光方向転換反射鏡構成要素は、前記第1の光軸を含む前記撮像デバイスの長手方向軸の周りに配置され第1の平面内に配置された光方向転換反射鏡構成要素の第1のセットと、前記第1の光軸を含む前記撮像デバイスの前記長手方向軸の周りに配置され第2の平面内に配置された光方向転換反射鏡構成要素の第2のセットと、前記第1の光軸を含む前記撮像デバイスの長手方向軸の周りに配置され第3の平面内に配置された光方向転換反射鏡構成要素の第3のセットとを含み、前記第1、第2、および第3の平面は、前記前方カメラと前記後方カメラとの間に配設される、請求項5に記載の撮像システム。
12. 撮像システムであって、
    第1の方向における第1の視野(FOV)と、前記第1のFOVを通過して延びる光軸とを有する前方カメラと、
    光軸を有する後方カメラであって、前記後方カメラの光軸が前記第1のFOVを通過して延びる方向に揃えられるように位置付けられた後方カメラと、
    前記前方カメラと前記後方カメラとの間に配設された複数の側方カメラと、
    前記後方カメラと複数の側方カメラとの間に配設された後方光方向転換反射鏡構成要素であって、前記後方カメラおよび前記後方光方向転換反射鏡構成要素は、前記後方カメラが、前記後方光方向転換反射鏡構成要素によって前記後方カメラの光軸に沿って方向を変えられ反射された光を受け取るように、前記後方カメラの前記光軸が前記後方光方向転換反射鏡構成要素に向けられるように位置付けられた後方光方向転換反射鏡構成要素と、
    複数の側方光方向転換反射鏡構成要素であって、前記複数の側方カメラの各々が、前記複数の光方向転換反射鏡構成要素のうちの1つによって方向を変えられた光を受け取るように位置付けられた複数の側方光方向転換反射鏡構成要素とを備える撮像システム。
13. 前記後方カメラは、前記前方カメラの前記光軸に垂直に一致する線に沿って位置付けられる、請求項12に記載の撮像システム。
14. 前記複数の側方カメラは、前記前方カメラの前記光軸からずれている、請求項14に記載の撮像システム。
15. 前記複数の側方カメラは、3つの同心リングを形成するように配置される、請求項12に記載の撮像システム。
16. 前記複数の側方カメラは、アレイカメラの第1のセットと、アレイカメラの第2のセットと、アレイカメラの第3のセットとを備え、アレイカメラの前記第1、第2、および第3のセットの各々は、前記ターゲットシーンの少なくとも一部を含むFOVを集合的に有する、請求項12に記載の撮像システム。
17. 各アレイカメラは画像センサーを含み、アレイカメラの前記第1のセットの前記画像センサーは、第1の基板上に配設され、アレイカメラの前記第2のセットの前記画像センサーは、第2の基板上に配設され、アレイカメラの前記第3のセットは、第3の基板上に配設される、請求項16に記載の撮像システム。
18. 前記第1、第2、および第3の基板は、互いに平行な平面内に配設される、請求項17に記載の撮像システム。
19. 球形の視野(FOV)を示す画像を生成する方法であって、
    前方カメラの投影光軸の周りの第1の視野(FOV)における画像を取り込むように位置付けられた前方カメラにおいて前方画像を生成するステップであって、前記前方カメラの前記投影光軸が第1の方向に位置する、ステップと、
    前記前方カメラと後方カメラとの間に配設された後方方向転換反射鏡構成要素によって方向を変えられた光を受け取るように位置付けられた前記後方カメラにおいて後方画像を生成するステップであって、前記後方カメラが、第2のFOVにおける画像を取り込むように位置付けられる、ステップと、
    前記前方カメラと前記後方カメラとの間に多角形構成に配設された第1のカメラのセットにおいて第1の画像を生成するステップであって、前記第1のカメラが、第3のFOVにおける画像を取り込むように集合的に構成され、前記第3のFOVが、円形であり、前記第1のカメラから外側に離れる方向に投影され、前記第3のFOVの少なくとも一部が前記第1のFOVと前記第2のFOVとの間に位置する、ステップと、
    前記第1のカメラと前記後方カメラとの間に多角形構成に配設された第2のカメラのセットにおいて第2の画像を生成するステップであって、前記第2のカメラが、第4のFOVにおける画像を取り込むように集合的に構成され、前記第4のFOVが、円形であり、前記第2のカメラから外側に離れる方向に投影され、前記第4のFOVの少なくとも一部が前記第3のFOVと前記第2のFOVとの間に位置する、ステップと、
    前記第2のカメラと前記後方カメラとの間に多角形構成に配設され、第5のFOVにおける画像を取り込むように集合的に構成された第3のカメラのセットにおいて第3の画像を生成するステップであって、前記第5のFOVが、円形であり、前記第3のカメラから外側に離れる方向に投影され、前記第5のFOVの少なくとも一部が前記第4のFOVと前記第2のFOVとの間に位置する、ステップと、
    前記前方画像、前記後方画像、前記第1の画像、前記第2の画像、および前記第3の画像を少なくとも1つのプロセッサにおいて受け取り、前記前方画像、前記後方画像、前記第1の画像、前記第2の画像、および前記第3の画像の少なくとも一部を含む少なくとも1つのプロセッサによってモザイク処理された画像を生成するステップとを含む方法。
20. 前記モザイク処理された画像は、前記球形の画像内の視点から見た球形の画像を示すように生成される、請求項19に記載の方法。
21. 前記モザイク処理された画像を生成するステップは、前記前方画像、前記後方画像、前記第1の画像、前記第2の画像、および前記第3の画像の少なくとも一部をステッチするステップを含む、請求項19に記載の方法。
22. 前記第1、第2、第3、第4、および第5のFOVは少なくとも部分的に重なり合う、請求項19に記載の方法。
23. 前記第1のカメラのセット、前記第2のカメラのセット、および前記第3のカメラのセットは、3つの同心リングを形成するように配置される、請求項19に記載の方法。
24. 前記後方カメラは、屈曲光学マルチセンサーアセンブリである、請求項19に記載の方法。
25. 撮像デバイスであって、
    前方カメラの投影光軸の周りの第1の視野(FOV)における画像を取り込むように位置付けられた前方カメラにおいて前方画像を生成するための手段であって、前記前方カメラの前記投影光軸が第1の方向に位置する手段と、
    前記前方カメラと後方カメラとの間に配設された後方方向転換反射鏡構成要素によって方向を変えられた光を受け取るように位置付けられた前記後方カメラにおいて後方画像を生成するための手段であって、前記後方カメラが、第2のFOVにおける画像を取り込むように位置付けられる手段と、
    前記前方カメラと前記後方カメラとの間に多角形構成に配設された第1のカメラのセットにおいて第1の画像を生成するための手段であって、前記第1のカメラが、第3のFOVにおける画像を取り込むように集合的に構成され、前記第3のFOVが、円形であり、前記第1のカメラから外側に離れる方向に投影され、前記第3のFOVの少なくとも一部が前記第1のFOVと前記第2のFOVとの間に位置する手段と、
    前記第1のカメラと前記後方カメラとの間に多角形構成に配設された第2のカメラのセットにおいて第2の画像を生成するための手段であって、前記第2のカメラが、第4のFOVにおける画像を取り込むように集合的に構成され、前記第4のFOVが、円形であり、前記第2のカメラから外側に離れる方向に投影され、前記第4のFOVの少なくとも一部が前記第3のFOVと前記第2のFOVとの間に位置する手段と、
    前記第2のカメラと前記後方カメラとの間に多角形構成に配設され、第5のFOVにおける画像を取り込むように集合的に構成された第3のカメラのセットにおいて第3の画像を生成するための手段であって、前記第5のFOVが、円形であり、前記第3のカメラから外側に離れる方向に投影され、前記第5のFOVの少なくとも一部が前記第4のFOVと前記第2のFOVとの間に位置する手段と、
    前記前方画像、前記後方画像、前記第1の画像、前記第2の画像、および前記第3の画像を受け取り、前記前方画像、前記後方画像、前記第1の画像、前記第2の画像、および前記第3の画像の少なくとも一部を含むモザイク処理された画像を生成するための手段とを備える撮像デバイス。
26. 前記モザイク処理された画像は、前記球形の画像内の視点から見た球形の画像を示すように生成される、請求項25に記載の撮像デバイス。
27. 前記モザイク処理された画像を生成することは、前記前方画像、前記後方画像、前記第1の画像、前記第2の画像、および前記第3の画像の少なくとも一部をステッチすることを含む、請求項25に記載の撮像デバイス。
28. 前記第1、第2、第3、第4、および第5のFOVは少なくとも部分的に重なり合う、請求項25に記載の撮像デバイス。
29. 前記第1のカメラのセット、前記第2のカメラのセット、および前記第3のカメラのセットは、3つの同心リングを形成するように配置される、請求項25に記載の撮像デバイス。
30. 前記後方カメラは、屈曲光学マルチセンサーアセンブリである、請求項25に記載の撮像デバイス。