JP2016527827A - 複数カメラと複数ビームスプリッターを含むビデオ撮像システム - Google Patents

Abstract

撮像システムはすべてハウジング内に固定して取り付けられる複数のカメラと複数のビームスプリッターを含む。各カメラは，前記カメラから延び，少なくとも１つのビームスプリッターで透過又は反射し，かつシーンに延びる光軸を有する。カメラからの光軸はシーンの異なる部分からの光を集めるように互いにすべて角度的にずれている。カメラは，光路が展開されたとき横方向と縦方向の双方ですべて一致する節点を有する。カメラにより集められるシーンの部分は互いに直接隣接するか又は少し重なる。撮像システムはシーンの部分を互いにステッチするソフトウェアを含む。撮像システムは単体カメラよりも高い解像度（例えば，画素のより多い）を有するビデオ画像を生成する。

Description

関連出願に対する相互参照
本出願は，２０１３年８月２日付けで出願された米国仮特許出願第６１／８６１，７４８号の利益を主張するものであり，この内容は，引用により，そのすべてが本明細書に包含される。

本発明は，複数カメラと複数ビームスプリッター（ｂｅａｍｓｐｌｉｔｔｅｒ）を含むビデオ撮像システムに関する。

極めて高い解像度（例えば画素数）を有するビデオコンテンツへの要求が増大している。例えば，今日の電子署名での画素数は百万の数十倍又は百万の数百倍にさえなっている。そのような高解像度でのビデオコンテンツの提供は挑戦的である。特に，高解像度ディスプレイの画素数がデジタルカメラの画素数を超えるので，このような高解像度でのライブビデオの生成は難しい。

撮像システムは，すべてがハウジングに固定して取り付けられる第１の複数カメラと第２の複数ビームスプリッターを含む。いくつかの例では，撮像システムは，ハウジング内に取り付けられる３つのカメラと２つのビームスプリッターを含む。いくつかの例では，撮像システムは，ハウジング内に配置される３つを超えるカメラと２つ以上のビームスプリッターを含む。各カメラは，カメラから延び少なくとも１つのビームスプリッターで透過又は反射しシーンに向かって延びる光軸を有する。いくつかの例では，カメラからの光軸はシーンの異なる部分から光を集めることができるように，互いにすべて角度的にずれている。いくつかの例では，カメラは，光路が展開されているとき，横縦両方向にすべて一致する入射瞳を有する。他の例では，カメラは，光路が展開されているとき，横縦両方向にすべて一致する節点を有する。カメラにより集められるシーンの部分は，互いに直接隣接しているか又は少し重なることができる。撮像システムはシーンの部分を同時にステッチ（ｓｔｉｔｃｈ）するソフトウェアを含む。ソフトウェアはいろいろなカメラからの画像キャプチャを同期することができる。例えば，ソフトウェアは複数のカメラからの同期した映像を１つの画像に組み合わせる。ソフトウェアはリアルタイムでのステッチを実行し，切り替えられた画像を含む１つのビデオストリーム（又はファイル）を出力する。システムは個々のカメラよりも高い解像度（例えば，より多くの画素）を有するビデオ画像を生成する。

ビデオ撮像システムの例示の概略側面図である。 図１のビデオ撮像システムの透視図である。 図１と２のビデオ撮像システムの概略側面図である。 一致する入射瞳を有する，図１と２のビデオ撮像システムの２つのカメラの展開された光路の概略図である。 一致する節点を有する，図１と２のビデオ撮像システムの２つのカメラの展開された光路の概略図である。

詳細な説明
図１は，例示するビデオ撮像システム１００の概略側面図である。ビデオ撮像システム１００は比較的に高解像度（例えば，フレーム当たりの高い画素数）を有するハイエンドのビデオキャプチャのために使用される。ビデオ撮像システム１００は互いに又は外部クロック信号に同期する４つのカメラ，１０２，１０４，１０６，１０８を含む。カメラ１０２，１０４，１０６，１０８はハウジング（図示ぜず）に固定して取り付けられる。三脚１１２上に取り付け可能なハウジングは，手持ちであるか又は適切なリグ上に取り付けられる。いくつかの例では，各カメラ１０２，１０４，１０６，１０８は独自レンズ又はレンズの組み合わせを含み，他の例では，カメラ１０２，１０４，１０６，１０８は１つ以上のレンズエレメントをすべて共有することができる。

ビデオ撮像システム１００はシーン１１０からの光を受ける。シーン１１０は任意の適当なシーンが使用されるが図１では人間の外形により概略的に表されている。シーンはビデオ撮像システム１００から一定距離離れているが，一定距離は２，３インチから無限遠まで延伸できる。

図２は図１のビデオ撮像システムの透視図である。ビデオ撮像システム１００の各カメラ１０２，１０４，１０６，１０８は，シーン１１０のそれぞれの部分２０２，２０４，２０６，２０８をキャプチャできる。キャプチャされた部分２０２，２０４，２０６，２０８がシーン１１０の全体画像を形成するため互いにステッチされるように，キャプチャされた部分２０２，２０４，２０６，２０８は互いに直接隣接し又は少し重なり合っている。ビデオ映像が保存された後リアルタイム又はその後になってかのどちらかでステッチはソフトウェアで実行される。

各カメラ１０２，１０４．１０６，１０８はシーン１１０からの光の錐を受け取る。通常，カメラ内のセンサは，錐がセンサの縁によって確定される長方形の縁を持つように，長方形である。光はシーン１１０からビデオ撮像システム１００に伝搬するけれども，ビデオ撮像システム１００からシーン１１０に延びるような錐を想像することは参考となる。図２は，それぞれのカメラ１０２，１０４，１０６，１０８から出現する錐２１２，２１４，２１６，２１８を示す。各錐２１２，２１４，２１６，２１８は，その中心に光軸２２２，２２４，２２６，２２８を有する。錐はそれぞれのカメラの入射瞳からシーン１１０のそれぞれの部分２０２，２０４，２０６，２０８に延びている。

図２の例では，部分２０２，２０４，２０６，２０８はシーン１１０の全体の４つの象限として配置されている。他の例では，直線状，千鳥状，又は不規則に配列される。各々の部分はそれぞれのカメラのセンサの縦横比に対応する縦横比を有する。

図３は，ビデオ撮像システム１００の中心軸２２２，２２４，２２６，２２８を詳しく示したビデオ撮像システム１００のもう１つの側面図である。中心軸はそれぞれのカメラの入射瞳から，ビームスプリッター３０４，３１０，３１８からの様々な透過又は反射を通して，シーン１１０の異なる部分に延びる。適切なビームスプリッターの１つの例は，入射光に対して４５度に配向された部分的に銀メッキされたミラーで，入射光の約５０％を透過し入射ビームの約５０％を反射する。ビームスプリッターは２色ビームスプリッターでなく，だいたい全可視スペクトラムに同じ反射性を有する。ビームスプリッターは，ビームスプリッターを通して透過する経路の１つをブロックする適切な光バッフル３０２，３１２，３２０に取り付けられる。

中心軸２２２はカメラ１０２の入射瞳の中心から出発し，ビームスプリッター３０４に反射し，ビームスプリッター３１０を通して透過し，ハウジング３００から抜け出る。中心軸２２４はカメラ１０４の入射瞳の中心から出発し，ビームスプリッター３０４を通して透過し，ビームスプリッター３１０を通して透過して，ハウジング３００から抜け出る。中心軸２２６はカメラ１０６の入射瞳の中心から出発し，ビームスプリッター３１８に反射し，ビームスプリッター３１０に反射し，ハウジング３００から抜け出る。中心軸２２８はカメラ１０８の入射瞳の中心から出発し，ビームスプリッター３１８を通して透過し，ビームスプリッター３１０に反射し，ハウジング３００から抜け出る。

ハウジング３００から抜け出した後，中心軸２２２，２２４，２２６，２２８は共通のシーン１１０にすべて向かうが，互いに角度的に分かれている。図３では，中心軸２２６と２２８はページ平面の内に延び，中心塾２２２と２２４はページ平面の外に延びる。

中心軸２２２，２２４，２２６，２２８がすべて直交軸３０８，３１４から離れてわずかに傾斜するように，図３でのカメラ１０４，１０６，１０８，１０６は直交する向きから離れてわずかに傾斜している。

いくつかの例では，カメラは対で取り付けられている。例えば，カメラ１０２，１０４はサブハウジング３０２に取り付けられ，カメラ１０６，１０８はサブハウジング３１６に取り付けられ，サブハウジング３０２，３１６は，ハウジング３００の内に取り付けられている。

図４は，光路が展開されているときの，カメラ１０２，１０４とそれぞれの中心軸２２２，２２４を示す。光路が展開されているとき，カメラ１０２，１０４は横縦両方向にそれぞれの入射瞳４０２が一致するように向けられる。カメラ１０２，１０４はそれぞれの中心軸２２２，２２４間の角度分離４０４を有するように向けられる。

別の方法として，図５は，光路が展開されているときの，カメラ１０２，１０４とそれぞれの中心軸２２２，２２４を示す。光路が展開されているとき，カメラ１０２，１０４は横縦両方向にそれぞれの節点５０２が一致するように向けられる。カメラの節点はカメラ前面よりカメラ本体内に通常位置する。いくつかのケースでは節点はカメラの前端からのバック長が約３分の１である。カメラ１０２，１０４はそれぞれの中心軸２２２，２２４間の角度分離４０４を有するように向けられる。

図１と３の例示において，ビームスプリッターは反射ビームが図のページ平面内に通常とどまるように向けられる。例えば，シーン１１０からビームスプリッター３１０に進み図３では右から左に移動する光は図３の下方向に進むビームスプリッター３１０からの５０％の反射を有する。ビームスプリッターに適した他の方向がある。例えば１つ以上のビームスプリッターは図３のページの内に又は外に反射された部分を向けることができる。１つの例として，ビームスプリッター３１０は，シーン１１０からビームスプリッター３１０に進み図３内で右から左に移動する光が，図３において観察者のほうに向かいページの外に進むビームスプリッター３１０からの５０％の反射を有するように，９０度回転できる。ビームスプリッター３０４，３１８も，図３のページの平面の外に反射部分を向ける方向をとることができる。さらなる別方法として，１つ以上のビームスプリッターは直交軸３０８に対して４５度，９０度，１３５度，１８０度，２２５度，２７０度，３１５度を含む任意の適切な方位角で回転できる。

図１〜３の例では，４つのカメラがある。別方法として，３つのカメラ，５つのカメラ，６つのカメラ，７つのカメラ，８つのカメラ，又は８つを超えるカメラでもよい。例えば，４つのカメラと３つのビームスプリッターを有するシステムは２ストップ（ｔｗｏ−ｓｔｏｐ）の光損失で４つの要素により画素解像度を増加できる。もう１つの例として，８つのカメラと７つのビームスプリッターを有するシステムは３ストップの光損失で８つの要素により画素解像度を増加できる。さらに別の例として，１６のカメラと１５のビームスプリッターを有するシステムは４ストップの光損失で１６の要素により画素解像度を増加できる。

これらの設定のそれぞれにおいて，各カメラは入射瞳又は節点を有し，光路が展開されているとき他のカメラのそれらと一致する。同様に別の設定では，各カメラは中心軸を有し，光路が展開されているとき他のカメラのそれらと角度的に離れている。

操作方法の例は以下である。第１に，ユーザーはシステム内の複数各カメラそれぞれを互いに接続する。第２に，システムは，複数のカメラの各カメラからの画像キャプチャを制御するため，複数のカメラそれぞれを共通クロック信号に同期させる。第３に，システムは複数のカメラから同期した画像を受信する。第４に，システムは１つの高解像度画像に複数のカメラから受信した同期した画像をステッチする。第５に，システムは１つの高解像度画像信号を出力又は保存する。システムはカメラのフレームレートで第３，第４，第５の操作を実行する。他の適切な操作方法も使用されうる。

いくつかの例において，カメラは映画のような高精細ビデオ記録のために使用される。これらの例のいくつかにおいて，カメラは立体視ビデオ撮像用カメラを保持するように設計されたリグ上に対で取り付けられる。そのようなリグは市販されており，ビデオ撮像の分野で周知である。リグは，互いに選択可能な姿勢でカメラとビームスプリッターを固定し，さらに三脚又は他の適当な架台上に，選択された姿勢ですべての光学的要素を固定するのに適している。

１つの例として，米国特許第８，４７８，１２２号の図８は既知のリグに取り付けられたような２つのカメラと１つのビームスプリッターの概略図を示している。米国特許第８，４７８，１２２号の図８のカメラとビームスプリッターは立体視又は３次元ディスプレイ用のビデオをキャプチャするために配置されている。本願の装置と米国特許第８，４７８，１２２号の図８の立体的な配列の間には重要な差異がある。

第１の差異として，本願の装置は３つ以上のカメラを使用する。これに対し，１つは左目用に使用されるビデオをキャプチャするカメラで，もう１つは右目用に使用されるビデオをキャプチャするカメラである，２つのカメラだけが立体視ビデオを生成するため使用される。立体視装置に付加的カメラを追加する動機付けはない。そのような付加的カメラはシーンについてのいかなる有用な付加的３次元情報も提供しないからである。

第２の差異として，本願の装置はカメラ入射瞳又は節点を有し，それらはすべて一致する（例えば，カメラ間でゼロの横方向分離）。これに対し，立体視装置内の２つのカメラはカメラの入射瞳又は節点を横方向に６５ミリメートル離して配置される。この距離は通常の人間の両眼の中心間の離間であり，瞳孔距離，瞳孔間距離，又は眼球間距離として等価的に知られている。瞳孔間距離をゼロにするよう立体視装置を修正する動機付けはない。そうするとビデオ信号からいかなる立体視効果も完全に取り除くからである。本質的に，そのような修正は片目だけで立体視画像を見ることを試みることに等しい。瞳孔間距離がゼロになるように修正されると，立体視装置は意図した通りには動作しない。

第３の差異として，本願の装置は，互いに角度的にオフセットされたカメラ中心軸を有する。これらの角度的にオフセットされたカメラ中心軸はカメラが同じシーンの，シーンの高解像度画像信号を形成するためソフトウェア内でステッチされる異なる部分をキャプチャすることを確保する。これに対し，立体視装置内の２つのカメラは平行な中心軸を有するようにすべて向けられる。この並列性は左と右の眼がシーンの同じ部分を観察することを確保するためである。立体視装置の中心軸間に角度オフセットを導入する動機付けはない。そうすると左と右の眼は１つのシーンの，同一の部分でなく異なる部分を見ることを意味するからである。中心軸に角度的にオフセットを持たせるように修正すると，立体視装置は意図した通りには動作しない。

本願の装置の他の応用例は内視鏡のような医療用の撮像である。医療撮像のためのカメラと機械マウントは，組み立てられた装置が映画用ビデオシステムの縮小版となるよう，映画用ビデオシステムと比較して，比較的小さくできる。

いくつかの例において，シーン全体を撮像するのに単一のレンズを使用するよりも，シーンの各部分を撮像するのに複数のレンズを使用することが好ましい。複数のレンズは，シーン全体を撮像する同程度のレンズよりも小さな視野をそれぞれ持つことができ，したがって，同等のレンズよりも小さな視野内でより良い解像度を提供できる。

上述の例では，カメラは，角度的に互いに分離された中心軸を有する。他の例では，中心軸のエリアが全て平行となるようにカメラを位置決めすることが有益となる。例えば，高ダイナミックレンジ又は高フレームレートを必要とする場合において，カメラは，光学系が展開されているとき，それらの節点が整列し，それらの中心軸が平行となるように配置される。これらの例では，各カメラは同じ角度から，シーンの同じ部分をキャプチャする。高ダイナミックレンジのために，カメラは異なるダイナミックレンジを有するように構成することができる。高フレームレートのために，カメラは信号をインターリーブすることができる。他の応用も可能である。

上記記載は例示であり限定的ではないことを意図している。例えば，上記実施例（またはその１つ以上の態様）は互いに組み合わせて使用され得る。他の実施形態は，上記記載を検討することにより当業者等によって使用することができる。要約は，読者が迅速に技術的開示の性質を確認できるように，３７Ｃ．Ｆ．Ｒ．セクション１．７２（ｂ）に準拠して提供される。それは請求項の範囲又は意味を解釈または限定するために使用されないという理解の下で提出される。また，上記の発明の詳細な説明において，様々な特徴は，開示を効率化するために一緒にグループ化できる。これは，未請求の開示された特徴が，任意の請求項に不可欠であることを意図するものと解釈されるべきではない。むしろ，本発明の主題は，特定の開示された実施形態のすべての特徴よりも少ない中に存在する。したがって，以下の特許請求の範囲は，実施例または実施形態として詳細な説明に組み込まれ，別個の実施形態として自立した各請求項を有し，そしてそのような実施形態は，種々の組み合わせ又は順列で互いに組み合わせることができることが意図されている。本発明の範囲は，特許請求の範囲が権利を有する均等物の全範囲と共に，添付の特許請求の範囲を参照して決定されるべきである。

Claims (15)

1. ハウジングと，
   前記ハウジングに固定して取り付けられた少なくとも３つのカメラと，
   前記ハウジングに固定して取り付けられた少なくとも２つのビームスプリッターであって，前記少なくとも３つのカメラとシーンのそれぞれの部分との間に折られた光路を形成するビームスプリッターと，を備え，
   前記カメラは前記光路が展開されたときすべて一致するそれぞれの節点を有し，前記カメラは前記光路が展開されたときすべて異なる方向に延伸するそれぞれの中心軸を有する，ビデオ撮像システム。
2. 前記シーンの前記それぞれの部分は互いに直接隣接する，請求項１のビデオ撮像システム。
3. 前記シーンの前記それぞれの部分は隣接する部分間の境界に沿って部分的に重なる，請求項１のビデオ撮像システム。
4. 前記ビデオ撮像システムは前記シーンの完全なビデオ画像を形成するために前記シーンの前記部分を同時にステッチする，請求項１のビデオ撮像システム。
5. 前記ビデオ撮像システムは前記シーンの完全なビデオ画像を形成するために前記シーンの前記部分をリアルタイムで同時にステッチする，請求項１のビデオ撮像システム。
6. 前記ビデオ撮像システムは前記少なくとも３つのカメラを同期させる，請求項１のビデオ撮像システム。
7. 前記節点は前記光路が展開されたとき横方向と縦方向の双方で一致する，請求項１のビデオ撮像システム。
8. 前記ビームスプリッターは部分的に銀メッキされたミラーである，請求項１のビデオ撮像システム。
9. 前記ビームスプリッターは入射光の約５０％を透過し入射光の約５０％を反射する，請求項１のビデオ撮像システム。
10. 前記ビームスプリッターは波長に無関係である，請求項１のビデオ撮像システム。
11. 前記ビームスプリッターは入射光に対し４５度で配置される，請求項１のビデオ撮像システム。
12. ハウジングと，
    互いに同期し前記ハウジングに固定して取り付けられた少なくとも３つのカメラと，
    前記ハウジングに固定して取り付けられた少なくとも２つのビームスプリッターと，を備え，
    各カメラは，前記カメラから延び，少なくとも１つの前記ビームスプリッターで透過又は反射し，かつシーンに延びる光軸を有し，前記カメラからの前記光軸は前記シーンの異なる部分からの光を集めるように互いにすべて角度的にずれている，ビデオ撮像システム。
13. 前記カメラにより集められる前記シーンの前記部分の少なくともいくつかは互いに直接隣接する，請求項１２のビデオ撮像システム。
14. 前記カメラにより集められる前記シーンの前記部分の少なくともいくつかは部分的に重なる，請求項１２のビデオ撮像システム。
15. 前記ビデオ撮像システムは前記シーンの完全な画像を形成するために前記シーンの前記集められた部分を同時にステッチする，請求項１２のビデオ撮像システム。

Images