JP2019514078A - 時間多重化プログラム可能な視野撮像 - Google Patents

Abstract

本開示は、カメラ視野角度を高速で調整する機械的方法を利用するシステム及び方法に関する。調整は、高速画像捕捉プロセスに同期し得る。したがって、大きな物体移動又は手振れを受けることなく、複数のフレームを捕捉することができる。高速画像捕捉中、カメラの位置及びシーン内の物体の両方が静止しているため、システム及び方法を使用して、動画及び／又は写真のステッチングを捕捉し得る。

Description

関連出願の相互参照
本願は、全体的に参照により本明細書に援用される２０１６年３月１０日に出願された米国仮特許出願第６２／３０６，６１５号への優先権を主張するものである。

画像捕捉プロセス中のシーンの視野（ＦＯＶ）の調整は、様々な方法で実行し得る。

第１に、光学ズームレンズを画像捕捉デバイスとシーンとの間の光路に配置し得る。しかしながら、光学ズームレンズは、必要に応じて視野の形状を変更することができず、多くの場合、固定焦点距離レンズよりも複雑で嵩張る。

第２に、１つのカメラを回転させ、複数の画像を一緒にステッチングすることにより、複数の画像を異なる角度で捕捉し得る。しかしながら、カメラは重いことがあるため、カメラの物理的回転は通常、遅い。したがって、この方法は動的（例えば、高速で変化している）シーン又は動画を捕捉することができないことがある。

第３に、１つのカメラを使用して、大きなＦＯＶを捕捉し得る。例えば、魚眼レンズは１８０度を超えるＦＯＶの写真を捕捉し得、反射屈折レンズ設計によっては、１つのカメラで３６０度ＦＯＶを１つのショット内で捕捉することが可能なものもある。しかしながら、ＦＯＶ内の所与の角度範囲内に含まれるピクセル数が少ないため、これらの大きなＦＯＶ写真は多くの場合、従来のカメラよりも細部がはるかに劣る。また、これらの広域ＦＯＶ設計は多くの場合、強い幾何学的歪みを導入し、画質が低下し得る。

第４に、複数のカメラを使用して、異なる角度の画像を同時に捕捉し得る。次に、異なるカメラからの複数の画像を一緒にステッチングし得る。例えば、２つの魚眼カメラを背中合わせで配置し得、それぞれが１８０度ＦＯＶをカバーする。それらの写真を一緒にステッチングすることにより、３６０度球形写真を取得し得る。しかしながら、複数カメラ系は通常、複雑であり、嵩張り、かつ高価である。

態様において、システムが提供される。本システムは、カメラと、カメラに光学的に結合されるミラーと、ミラーに結合されるモータとを含む。本システムは、メモリ及び少なくとも１つのプロセッサを含むコントローラを更に含む。少なくとも１つのプロセッサは、メモリに記憶される命令を実行して、動作を実行するように構成される。動作は、カメラが第１の視野を有するように第１の位置にモータを調整することを含む。動作は、カメラを介して、第１の視野の画像フレームを捕捉することも含む。動作は、所定の視野を含む複数の画像フレームが捕捉されるまで、各位置及び各視野において調整するステップ及び捕捉するステップを繰り返すことを更に含む。所定の視野は、第１の視野よりも大きい角度を含む。動作は、複数の画像フレームを結合して、出力画像フレームを形成することを更に含む。

態様において、方法が提供される。本方法は、モータを第１の位置に調整することを含む。モータはミラーに結合され、ミラーは、カメラに光学的に結合される。調整することは、カメラが第１の視野を有するように実行される。本方法は、カメラを介して、第１の視野の画像フレームを捕捉することを更に含む。本方法は、所定の視野を含む複数の画像フレームが捕捉されるまで、各位置及び各視野において調整するステップ及び捕捉するステップを繰り返すことも含む。所定の視野は、第１の視野よりも大きい角度を含む。本方法は、複数の画像フレームを結合して、出力画像フレームを形成することを更に含む。

態様において、システムが提供される。本システムは、本明細書に記載されるその他の各態様の動作を実行する様々な手段を含む。

これら及び他の実施形態、態様、利点、及び代替は、適宜、添付図面を参照して以下の詳細な説明を読むことにより当業者に明白になる。さらに、この概要並びに本明細書において提供される他の説明及び図が、単なる例として実施形態を例示することを意図され、したがって、多くの変形が可能なことを理解されたい。例えば、構造的要素及びプロセスステップは、特許請求の範囲に記載される実施形態の範囲内にありながら、再構成、結合、分散、削除、又は他の方法で変更することが可能である。

図１は、実施形態例によるシステムの概略図を示す。 図２は、実施形態例によるシステムを示す。 図３は、実施形態例による中継光学系を有するシステムを示す。 図４は、実施形態例による中継光学系のないシステムを示す。 図５は、実施形態例による方法を示す。 図６は、実施形態例による動作時系列を示す。 図７は、実施形態例による動作時系列を示す。 図８は、実施形態例による動作時系列を示す。 図９は、実施形態例による動作時系列を示す。 図１０は、実施形態例による動作時系列を示す。 図１１は、実施形態例によるモータパターンを示す。

方法、デバイス、及びシステムの例について本明細書において説明する。「例」及び「例示的」という言葉が、本明細書において、「例、事例、又は例示として機能する」ことを意味するために使用されることを理解されたい。「例」又は「例示的」であるものとして本明細書に記載される任意の実施形態又は特徴は、必ずしも他の実施形態又は特徴よりも好ましい又は有利であるものとして解釈すべきわけではない。本明細書に提示される趣旨の範囲から逸脱せずに、他の実施形態を利用することも可能であり、他の変更を行うこともできる。

したがって、本明細書に記載される実施形態例は限定を意味しない。本明細書に一般的に説明され図に示された本開示の態様は、再構成、置換、結合、分離、及び様々な異なる構成で設計することが可能であり、これらは全て本明細書において意図される。

さらに、文脈により別段のことが示唆される場合を除き、各図に示される特徴は互いと組み合わせて使用し得る。したがって、図は、示されている特徴の全てが各実施形態で必要であるわけではないという理解の下、１つ又は複数の全体的な実施形態の構成要素態様として一般的に見られるべきである。

Ｉ．概説
本開示は、カメラ視野角度を高速で調整するように動作可能なシステム及び方法に関する。視野角度調整は、高速画像捕捉プロセスと同期し得る。したがって、短い時間期間内で複数のフレームを捕捉し得、物体の移動及び／又は手に持つことに起因した手振れの影響を回避し得る。本システム及び本方法は、写真ステッチング及び／又は広域ＦＯＶ（例えば、３６０°ＦＯＶ）動画で使用される画像を捕捉し得る。

ＩＩ．システム例
本開示は、時間多重化を利用して、１つのカメラを使用して可変視野（ＶＦＯＶ）の写真又は動画を捕捉する。図１は、実施形態例によるシステム１００の概略図を示す。システム１００は、カメラと、光を様々な方向に導波し、同時に、レンズストップを露出することができる中継光学系とを含む。システム１００は、カメラの視野（例えば、視野角度）を調整する回転ミラーも含む。システム１００は、回転ミラーの状態を読み出し、ミラーの移動を制御するモータコントローラを更に含む。システム１００は、ａ）カメラからデータを読み出し、カメラを制御し、ｂ）モータコントローラからデータを読み出し、モータコントローラを制御するカメラ制御・画像処理システムを更に含む。システム１００は、制御パネル、１つ又は複数のボタン、タッチパッド、又は別のタイプの入力デバイスを含み得る。

システム１００は、画像捕捉プロセスを開始する１つ又は複数の制御入力（例えば、シャッタボタン又は別のタイプのシャッタリリース信号若しくは機構を介して）を受け入れ得る。そのような状況では、本明細書に記載される様々なステップ又はブロックは、制御入力に応答して実行し得る。すなわち、ユーザはシャッタボタンを一回押下し得、システム１００は、１つ又は複数の画像捕捉シーケンスを自動的に実行して、１つ又は複数のＶＦＯＶ出力画像フレームを提供し得る。

なお、このシステムでは、回転ミラーは唯一の可動部品であり、小型軽量に作ることができる。小型の物体を高速で移動させるほうがはるかに容易であり、かかる電力が小さい。小型軽量の回転ミラーにより、このシステムをポータブル消費者デバイスに組み込むことが可能になる。

Ａ．ＶＦＯＶ写真捕捉のための時間多重化
ミラーが回転するにつれて、カメラの視野は３６０度全体を走査する。実施形態例では、ミラーが回転するにつれて、システムは複数の画像を撮影し、複数の画像をステッチングして３６０度画像にする。図２は、実施形態例によるシステム２００を示す。図２に示されるように、ミラーが４５°、１３５°、２２５°、及び３１５°の角度にそれぞれ回転する際、４枚の画像を捕捉し得る。各画像は９０°よりも大きな水平視野（ＦＯＶ）を有する。次に、４枚の写真を一緒にステッチングすることにより、３６０°出力画像を形成し得る。ミラーが２つのみの角度間で回転する場合、〜１８０°ＦＯＶの出力画像をステッチングすることができる。ミラーがいかに回転するか及び画像がいつ捕捉されるかを制御することにより、システムは、様々なＦＯＶを有する画像を出力することができる。画像ステッチングのために、出力画像でのギャップを回避するために、連続画像間に重複があることを確認することが望ましいことがある。したがって、本明細書におけるシステム及び方法は、所定の画像重複に基づいて画像を捕捉し得る。モータ回転の精密な制御により、必要とされる重複を最小にし得、モータ制御誤差又はミラー位置不確実性に基づいて、所定の画像重複を決定し得る。

Ｂ．ＶＦＯＶ動画捕捉のための時間多重化
別の実施形態では、システムは、ミラーが回転するにつれて画像を捕捉することができ、画像は３６０°動画（又は任意の他のより小さな角度量）に変換し得る。図２は、一例として４つの画像捕捉位置を有する回転ミラーを示す。回転ミラーを用いて、システムは、ＦＯＶ１、ＦＯＶ２、ＦＯＶ３、及びＦＯＶ４のフレームをそれぞれ捕捉し、画像処理アルゴリズムが、あらゆる４つの連続フレームを視野の大きな１つのフレームにステッチングし、したがって、高フレームレートであるが、ＦＯＶの狭い動画（図２の中間の図に示される）をフレームレートがより低いが、ＦＯＶの大きな動画（図２の最後の図に示される）に変換する。

Ｃ．中継光学系
システムでの中継光学系の一機能は、カメラの開口絞り露出させることである。開口絞りは通常、光路において最小のビーム直径を画定又は対応するため、反射回転ミラーを開口絞りの位置又はその近傍に配置することにより、反射回転ミラーのサイズを最小に抑えることができる。高速回転速度を達成するためには、回転ミラーのサイズ及び重量を最小に抑えることが重要である。

加えて、中継光学系を用いない場合、回転ミラーはカメラ本体と衝突し得、又は特にカメラＦＯＶが大きい場合又はカメラ本体が大きい場合、反射ＦＯＶは、少なくとも部分的にカメラ本体により遮蔽され得る。図３は、実施形態例による中継光学系を有するシステム３００を示す。システム３００は、スマートフォン、タブレット、ラップトップ、ウェアラブルコンピュータ、又は別のタイプのカメラ等の画像捕捉デバイスを含み得る。すなわち、中継光学系は、射出瞳を画像捕捉デバイスの上部に導波するように機能し得、それにより、回転ミラーが回転する際、カメラの視野は画像捕捉デバイスの本体により遮蔽されない。実施形態例では、中継光学系は、回転ミラーがスマートフォン本体により遮蔽されないように、スマートフォンの射出瞳の位置を変更し得る。

別の実施形態では、中継光学系は、カメラの視野を増大させるように変更することができる。

別の実施形態では、中継光学系をシステムから削除し得る。図４は、実施形態例による中継光学系のないシステム４００を示す。回転ミラーがカメラ本体と衝突せず、反射ＦＯＶがカメラ本体により遮蔽されない実施形態では、図４に示されるように、回転光学系を削除し得る。図４におけるレンズは、外部開口絞りを含み得、それにより、ミラーとカメラとの間の距離を最大化して、ＦＯＶ遮蔽を回避し得る。

Ｄ．回転ミラー
実施形態例では、平面回転ミラーが使用され、したがって、カメラの視野は変更されない（例えば、歪まない）。そのような状況では、ミラーは、光学系の外部絞りの近くに配置される。

別の実施形態では、球形ミラーを使用して、水平視野及び垂直視野の両方を増大させ得る。

別の実施形態では、円筒ミラーを使用して、水平（又は垂直）視野を増大させ、視野の垂直（又は水平）視野を変わらないまま（例えば、第１の軸に沿って歪むが、第２の軸に沿って歪まない）にし得る。

カメラ制御モジュール及びモータ制御モジュールは、有線接続を介して又はWi-Fi若しくはBluetooth（登録商標）により無線で通信し得る。他の無線通信プロトコルも意図される。

ＩＩＩ．方法例
本明細書に記載される回転ミラー及び画像捕捉方法は、異なるカメラシステムに適合し、異なる結果を達成するように様々な方法で実行し得る。以下に列挙するのは、このシステムが動作し得る幾つかの非限定的なモードである。

Ａ．ピンポンシーケンスでのミラーの回転及びフレームの捕捉
ミラーがまだ回転している間に画像を捕捉すると、モーションブラーが生じる恐れがある。モーションブラーを最小に抑えるために、露出中、ミラーの移動を最小に抑える必要がある。図５は実施形態例による方法５００を示す。方法５００に示されるように、システムは、画像フレームが捕捉された後かつ次の画像捕捉が開始される前でのみ、ミラーが動くようにミラーの回転とカメラの露出とを同期させる。

図６は、実施形態例による動作時系列６００を示す。動作時系列６００は、モータの動き及びフレームの捕捉のシーケンス例を示す。３６０°写真を捕捉しステッチングするために、図６に示されるように、ミラーのあらゆる安定位置で少なくとも１つの画像フレームが捕捉される。本明細書の他の箇所に記載されるように、方法は、シャッタボタンを押下することにより開始又は他の方法で制御し得る。本明細書に記載される捕捉モードの開始、停止、選択、及び／又は制御に、他のユーザ対話も可能である。

Ｂ．フレームの露出とミラーの動きとを同期させながらのフレーム連続捕捉
図７は、実施形態例による動作時系列７００を示す。動作時系列７００は、システムがフレームを連続モードで捕捉し、ミラーが停止したときに１つのフレームが露出を開始し、ミラーが再び動き始める前に露出を完了するようにミラーの動きが同期される別の状況を示す。フレームのタイムスタンプとモータのタイムスタンプとを比較することにより、画像ブレなしの捕捉画像フレームを識別し得る。代替的には、画像処理ルーチンを利用して、ブレたフレームを検出し削除することができる。選択されたフレームは、図７においてフレーム１、フレーム２、フレーム３、及びフレーム４として示され、これらをステッチングして３６０°写真にすることができる。カメラが動画モードで機能する場合、モーションブラーがない４つの画像フレームを連続した８つの画像フレームから抽出することができる、これらの４つの画像フレームをステッチングして１つの３６０°画像フレームにする。その結果、実際の画像捕捉レートと比較して低いフレームレートで３６０°動画を出力し得る。

Ｃ．非同期での動画の捕捉及びミラーの回転（グローバルシャッタ画像センサ）
別の実施形態では、フレームの捕捉とミラーの回転との同期は必要ない。図８は、実施形態例による動作時系列８００を示す。そのような状況では、動作時系列８００は、３６０°連続動画をなお生成することができるように、非同期でいかにミラーを回転し、画像フレームを捕捉するかを示す。図８では、青色ブロックは、フレーム露出の開始時及び終了時を示し、オレンジブロックは、モータが移動を開始するとき及び終了するときを示し、ミラーは、モータ移動間、位置０、１、２、及び３において静止する。表記：
Ｔｅは、各フレームの露出時間を示し、
Ｔｓは、モータ移動間の時間を示し、
Ｔｔは、モータが移動中である時間を示す。

図８に示される状況では、画像センサは、画像センサの全てのピクセルに１つのグローバルシャッタを有し得る。したがって、各ピクセルは、同時に露出を開始及び終了し得る。

上述したように、画像フレームの露出中、ミラーが移動している場合、フレームはモーションブラーを受ける恐れがある。完全な３６０度写真又は動画をステッチングするためには、モータ位置ごとに少なくとも１つの写真を捕捉すべきである。そのような３６０度写真又は動画を捕捉するためには、各フレーム（連続して捕捉される）の露出時間（Ｔｅ）は、モータ移動間の時間（Ｔｓ）の半分未満であるべきである。すなわち、Ｔｓ＞＝２×Ｔｅである場合、ミラー位置ごとに、ミラーの移動なしの状態で少なくとも１つのフレームが捕捉される。その結果、モータ移動の速度及び露出時間は、Ｔｓ＞＝２×Ｔｅであるように決定し得、各ミラー位置に少なくとも１つの良好なフレームがあることが保証される。例えば、図８では、フレーム１、４、６、及び７が、ミラー位置１、２、３、及び０のそれぞれで良好なである（ミラーの動きなしで捕捉された）。これらの４つのフレームを一緒にステッチングすることにより、システムは、３６０度動画の１つの３６０度フレームを得る。

実施形態例では、「良好な」フレームは以下のように特定し得る。
グローバルシャッタを用いる任意のフレームについて、
ａ）開始タイムスタンプｔ０を読み出し、ｔ１＝ｔ０＋Ｔｅとしてその終了タイムスタンプを計算する。
ｂ）ｔ０からｔ１までの時間中、ミラーが移動中であるか否かをチェックする。
１．はい：フレームは不良である。
２．その他の場合、フレームは良好である。

良好なフレームを特定する別の方法は、各フレームの鮮鋭度を比較することによる方法である。すなわち、「良好な」フレームは、隣接又は近隣の「不良」フレームよりも高い鮮鋭度を有するべきである。

Ｄ．非同期での動画の捕捉及びミラーの回転（ローリングシャッタ画像センサ）
多くの近代のスマートフォン又は他のカメラにおける画像センサは、グローバルシャッタの代わりにローリングシャッタを有する。図９は、実施形態例による動作時系列９００を示す。ローリングシャッタを有する画像センサの場合、図９に示されるように、各ピクセル行は異なる時点で露出を開始及び終了する。したがって、１つの行が正確に捕捉される（例えば、ミラーが動いていない状態で捕捉される）一方で、同じフレーム内の別の行はミラーの動きにより破損することがある。図１０は、実施形態例による動作時系列１０００を示す。図１０に示されるように、図１０におけるフレーム１内の行０〜３は不良であり（ミラーが動いている間に捕捉されるため）、行４及び５は良好であり、すなわち、ミラーが動いていない状態で捕捉される。良好な行は、図１０において赤色で強調表示されている。

このシステムでは、モータ速度及びフレーム捕捉時間は、Ｔｓ＞＝２×（Ｔｅ＋Ｔｇ）であるように構成し得、式中、Ｔｇは、所与の行が露出を終えた後かつその所与の行が次のフレームでの露出を開始する前の時間である。Ｔｇは、例えば、ピクセル読み出し時間及びピクセルリセット時間を含み得る。そのような状況では、各センサ行及び各ミラー位置で、少なくとも１つの良好な行が捕捉されることが保証される。ミラーの動きがない状態で捕捉された全ての行を一緒にステッチングすることにより、各静的ミラー位置で完全な画像フレームを得る。次に、全てのミラー位置の完全なサイクルで正確に捕捉された全てのフレームを一緒にステッチングすることにより、正確に捕捉された３６０度フレームを得る。したがって、３６０度画像フレーム及び／又は動画を捕捉し得る。

１つの行が正確に捕捉されたか否かを判断する一方法は以下である。
フレームごとに
ａ）行０のタイムスタンプｔ０を読み出す。
ｂ）行ｉごとに
ｉ）開始タイムスタンプＡｉ＝ｔ０＋ｉ×ｓを計算し、式中、ｓは、ローリングシャッタでの連続行間の時間差である。
ｉｉ）終了タイムスタンプＢｉ＝Ａｉ＋Ｔｅを計算し、式中、Ｔｅは露出時間である。
ｉｉｉ）ＡｉからＢｉまでの間、ミラーは動いていたか？
１）はい：行ｉは、ミラー移動中に捕捉される（「不良」）。
２）その他の場合、行ｉは、ミラー移動がない状態で捕捉される（「良好」）。

この例では、各フレームは９０度を超える水平視野をカバーし、各ミラー位置は、隣接するミラー位置から９０度離れる。４つの連続フレームをステッチングすることにより、３６０度ＦＯＶ出力画像フレームが得られる。実施形態例として、提案されるシステムから３６０度動画を生成するプロセスは以下である。
１．ｑ＝−１に設定
２．ｋ＝０に設定
３．ｉ＝０に設定
４．ｉ＜フレーム総数である間
ａ）このフレーム内の良好な全ての行を見つけ、画像Ｈにコピーする
ｂ）ｐ＝０〜３の範囲のミラー位置とする
ｃ）ｐがｑに等しくない場合
ｉ）ｑ＝３である場合
１）Ｆ＿０、Ｆ＿１、Ｆ＿２、Ｆ＿３をステッチングして画像Ｇｋを得る
２）ｋ＝ｋ＋１
ｉｉ）ＨをＦ＿ｐにコピーする
ｄ）ｉ＝ｉ＋１
５．全ての画像Ｇｋをエンコードして動画を提供する

Ｅ．異なる視野角度での様々なフレームレートの動画の捕捉
図１１は、実施形態例によるモータパターン１１００を示す。図１０の例では、ミラーは、モータパターン１として図１１に示されるパターンで回転する。その結果、生の動画が毎秒２４０フレーム（ｆｐｓ）で捕捉される場合、最後の３６０度動画は３０ｆｐｓになり、その理由は、１つの３６０度画像フレームが８つの生のフレームごとに出力されるためである。フレームレートはあらゆる視野角度で均一である。

実施形態例では、モータの動き及びカメラの画像捕捉は、異なる視野角度で異なるフレームレートを捕捉するように調整し得る。一実施形態では、図１１において「モータパターン２」として示されているパターンでミラーを回転させることができる。このパターンを用いて、ＦＯＶ１でより多くのフレームを捕捉し、他の視野でより少数のフレームを捕捉する。連続した１２の生のフレームごとに、ＦＯＶ１で３つの良好フレームを生成し、ＦＯＶ２、ＦＯＶ３、及びＦＯＶ４のそれぞれで１つの良好フレームを生成する。その結果、２４０ｆｐｓにおいて生のフレームを捕捉する場合、ＦＯＶ１（０°〜９０°）では６０ｆｐｓ、ＦＯＶ２、ＦＯＶ３、及びＦＯＶ４（９０°〜３６０°）では２０ｆｐｓを得る。

別の実施形態では、ミラーは、６×ＴｅにわたりＦＯＶ１に留まり得、それにより、ＦＯＶ１で５つの良好フレームを読み出し、次に、ミラーをＦＯＶ２に移動させ、２×Ｔｅにわたりそこに留まり、それにより、ＦＯＶ２で１つの良好フレームを読み出し、次に、図１１：モータパターン３に示されるプロセスを続けることができる。この構成を用いて、１２の生のフレームから、ＦＯＶ１で５つの良好フレームを生成し、ＦＯＶ２、ＦＯＶ３、及びＦＯＶ４のそれぞれで１つの良好フレームを生成することが可能である。その結果、生のフレームを２４０ｆｐｓにおいて捕捉する場合、ＦＯＶ１（０°〜９０°）では１００＝２４０^＊５／１２ｆｐｓを取得し、ＦＯＶ２、ＦＯＶ３、及びＦＯＶ４（９０°〜３６０°）では２０ｆｐｓを取得する。

ミラー回転パターンを別様に構成することにより、異なる視野角度で様々なフレームレートを達成することができる。

なお、上記の大半の例はサイクルごとに４つのミラー位置を仮定するとともに、視野の和が３６０度視野全体をカバーすると仮定するが、システムは、１サイクル当たりより多数又はより少数のミラー位置を有するように構成することもできる。さらに、システムは、例えば、特定の用途のニーズに基づいて、異なる回転角度を含むことができるとともに、１サイクル当たり異なる視野をカバーすることができる。

Ｆ．画像分析又はユーザ入力に従っての回転ミラーの移動
実施形態例では、システムは、均一速度で反射ミラーを回転させて、大きなＦＯＶのシーンを走査する（例えば、大きなＦＯＶの動画を捕捉する）。画像フレームごとに、イベント検出を実行し得る。例えば、連続画像フレーム間の違いを測定することにより、移動検出を実行することができ、又は描く画像フレームを画像データベースと比較することにより、顔検出を各画像フレームで実行することができる。イベント検出は、１つ又は複数の物体を含み得る。イベントが１つの視野角度で検出されると、システムは、イベントが終了するまで、イベントがもはや検出可能ではなくなるまで、又は新しいイベントが検出されるまで、より高いフレームレートでこの視野角度及び／又は物体を追跡し、他の視野角度をより低いフレームレートで捕捉し得る。

方法例は以下である。
１．上記モードＣ又はモードＤとして大きなＦＯＶの動画を捕捉する。
２．画像フレームごとに：
ａ）イベント検出（例えば、移動検出、顔検出、物体検出）を実行する。
ｂ）イベントが検出された視野角度に、イベントが検出されない他の視野角度よりも高いフレームレートが割り当てられるように、検出結果に従って各視野角度を調整する。
ｃ）ミラー移動を調整して、上記モードＥに記載されるような様々なフレームレート捕捉を達成する。
ｄ）ステップ２にループする。

別の実施形態では、ユーザはシステムと対話し得る。例えば、ユーザは、所望の角度範囲及び／又は関心領域を入力し得る。
１．上記モードＣ又はモードＤとして大きなＦＯＶの動画を捕捉する。
２．画像フレームごとに：
ａ）画像フレームを表示する。
ｂ）ユーザは、特定の入力デバイス（例えば、タッチスクリーン、マウス、ジェスチャ等）を介して１つ又は複数の関心領域を示し得る。
ｃ）ユーザ指示の視野角度に、ユーザ指示されない他の視野角度よりも高いフレームレートが割り当てられるように、ユーザ指示に従って各視野角度でのフレームレートを調整する。
ｄ）ミラー移動を調整して、上記モードＥに記載されるような様々なフレームレート捕捉を達成する。
ｅ）ステップ２にループする。

実施形態例では、システムは、広域ＦＯＶ動画を捕捉する必要がない。その代わり、システムは、通常のＦＯＶを有する動画を捕捉し得る。動画はユーザに表示し得、ユーザは、１つ又は複数の指示に従って視野角度を調整し得る。

図に示された特定の構成は、限定として見られるべきではない。他の実施形態が、所与の図に示される各要素のうちのより多数又はより少数の要素を含み得ることを理解されたい。さらに、示される要素の幾つかは、結合又は省略し得る。さらに、例示的な実施形態は、図に示されていない要素を含み得る。

情報の処理を表すステップ又はブロックは、本明細書に記載される方法又は技法の特定の論理機能を実行するように構成することができる回路に対応することができる。代替又は追加として、情報の処理を表すステップ又はブロックは、モジュール、セグメント、又はプログラムコード（関連データを含む）の一部に対応することができる。プログラムコードは、プロセッサにより実行可能であり、方法又は技法における特定の論理機能又は動作を実施する１つ又は複数の命令を含むことができる。プログラムコード及び／又は関連データは、ディスク、ハードドライブ、又は他の記憶媒体を含む記憶装置等の任意のタイプのコンピュータ可読媒体に記憶することができる。

コンピュータ可読媒体は、レジスタメモリ、プロセッサキャッシュ、及びランダムアクセスメモリ（ＲＡＭ）のような短期間にわたりデータを記憶するコンピュータ可読媒体等の非一時的コンピュータ可読媒体を含むこともできる。コンピュータ可読媒体は、より長期間にわたりプログラムコード及び／又はデータを記憶する非一時的コンピュータ可読媒体を含むこともできる。したがって、コンピュータ可読媒体は、例えば、読み取り専用メモリ（ＲＯＭ）、光ディスク、磁気ディスク、コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）のような二次又は永続的な長期記憶装置を含み得る。コンピュータ可読媒体は、任意の他の揮発性又は不揮発性記憶システムであることもできる。コンピュータ可読媒体は、例えば、コンピュータ可読記憶媒体又は有形記憶装置として見なすことができる。

様々な例及び実施形態を開示したが、他の例及び実施形態が当業者に明らかになる。開示される様々な例及び実施形態は、例示を目的とし、限定を意図せず、真の範囲は以下の特許請求の範囲により示される。

Claims (22)

1. カメラと、
   前記カメラに光学的に結合されるミラーと、
   前記ミラーに結合されるモータと、
   メモリ及び少なくとも１つのプロセッサを含むコントローラと
   を備え、
   前記少なくとも１つのプロセッサは、前記メモリに記憶される命令を実行して、動作を実行するように構成され、前記動作は、
   前記カメラが第１の視野を有するように第１の位置に前記モータを調整することと、
   前記カメラを介して、前記第１の視野の画像フレームを捕捉することと、
   所定の視野を含む複数の画像フレームが捕捉されるまで、各位置及び各視野において前記調整するステップ及び前記捕捉するステップを繰り返すことであって、前記所定の視野は、前記第１の視野よりも大きい角度を含む、繰り返すことと、
   前記複数の画像フレームを結合して、出力画像フレームを形成することと
   を含む、システム。
2. 前記カメラはモバイルデバイスに組み込まれ、前記モバイルデバイスはスマートフォンを含む、請求項１に記載のシステム。
3. 中継光学系を更に含み、前記ミラーは前記中継光学系を介して前記カメラに光学的に結合される、請求項１に記載のシステム。
4. 前記ミラーは平面ミラーを含む、請求項１に記載のシステム。
5. 前記ミラーは、円筒ミラー又は球形ミラーを含む、請求項１に記載のシステム。
6. 前記コントローラは、無線通信インターフェースを介して通信可能に結合されるカメラ制御モジュール及びモータ制御モジュールを含む、請求項１に記載のシステム。
7. 前記動作は、前記調整するステップ及び／又は前記捕捉するステップを互いに同期して実行することを含む、請求項１に記載のシステム。
8. 前記動作は、前記調整するステップ及び／又は前記捕捉するステップを互いに非同期で実行することを含む、請求項１に記載のシステム。
9. 前記所定の視野は３６０°に等しい角度を含む、請求項１に記載のシステム。
10. モータを第１の位置に調整することであって、前記モータはミラーに結合され、前記ミラーは、カメラに光学的に結合され、前記調整することは、前記カメラが第１の視野を有するように実行される、調整することと、
    前記カメラを介して、前記第１の視野の画像フレームを捕捉することと、
    所定の視野を含む複数の画像フレームが捕捉されるまで、各位置及び各視野において前記調整するステップ及び前記捕捉するステップを繰り返すことであって、前記所定の視野は、前記第１の視野よりも大きい角度を含む、繰り返すことと、
    前記複数の画像フレームを結合して、出力画像フレームを形成することと
    を含む、方法。
11. 前記動作は、前記調整するステップ及び／又は前記捕捉するステップを互いに同期して実行することを含む、請求項１０に記載の方法。
12. 前記動作は、前記調整するステップ及び／又は前記捕捉するステップを互いに非同期で実行することを含む、請求項１０に記載の方法。
13. 前記カメラはグローバルシャッタを含み、前記モータを各位置に調整することは、移動時間及び静的時間を含み、画像フレームを捕捉することは露出時間を含み、前記静的時間は、前記露出時間の２倍以上である、請求項１２に記載の方法。
14. 前記カメラはローリングシャッタを含み、前記モータを各位置に調整することは、移動時間及び静的時間を含み、画像フレームを捕捉することは、露出時間、ピクセル読み出し時間、及びピクセルリセット時間を含み、前記静的時間は、前記露出時間、前記ピクセル読み出し時間、及び前記リセット時間の和の２倍以上である、請求項１３に記載の方法。
15. 各画像フレームが捕捉されていた間、前記ミラーが移動していたか否かに基づいて、前記各画像フレームのブラー状況を判断することを更に含む、請求項１０に記載の方法。
16. 各画像フレームと少なくとも１つの隣接する画像フレームとの画像比較に基づいて、前記各画像フレームのブラー状況を判断することを更に含み、前記画像比較は前記比較される画像フレームの鮮鋭度に基づく、請求項１０に記載の方法。
17. 前記各画像フレームを捕捉することは、関心領域に従って提供され、前記複数の画像フレームは、他の視野と比較して、前記関心領域に対応する視野からより多くの画像フレームを含む、請求項１０に記載の方法。
18. イベントを特定することを更に含み、前記各画像フレームを捕捉することは、前記特定されたイベントに従って提供され、前記複数の画像フレームは、他の視野と比較して、前記特定されたイベントに対応する視野からより多くの画像フレームを含む、請求項１０に記載の方法。
19. イベントを特定することは、移動検出、画像検出、顔検出、ジェスチャ検出、又は物体検出の１つを含む、請求項１８に記載の方法。
20. イベントを特定することは、ユーザ対話を含む、請求項１８に記載の方法。
21. 前記カメラは９０度よりも大きい視野を有し、前記複数の画像フレームを結合することは、少なくとも４つの画像フレームを結合して、前記出力画像フレームを形成することを含む、請求項１０に記載の方法。
22. 前記所定の視野は３６０°に等しい角度を含む、請求項１０に記載の方法。