JP2016540417A - 画像キャプチャ制御方法および装置 - Google Patents

画像キャプチャ制御方法および装置 Download PDF

Info

Publication number
JP2016540417A
JP2016540417A JP2016524463A JP2016524463A JP2016540417A JP 2016540417 A JP2016540417 A JP 2016540417A JP 2016524463 A JP2016524463 A JP 2016524463A JP 2016524463 A JP2016524463 A JP 2016524463A JP 2016540417 A JP2016540417 A JP 2016540417A
Authority
JP
Japan
Prior art keywords
sensor
image
image sensor
interest
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016524463A
Other languages
English (en)
Inventor
ラロイア、ラジブ
Original Assignee
ザ ライト・コ インコーポレイテッド
ザ ライト・コ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/327,515 external-priority patent/US9563033B2/en
Priority claimed from US14/327,514 external-priority patent/US9578252B2/en
Priority claimed from US14/516,568 external-priority patent/US9374514B2/en
Application filed by ザ ライト・コ インコーポレイテッド, ザ ライト・コ インコーポレイテッド filed Critical ザ ライト・コ インコーポレイテッド
Publication of JP2016540417A publication Critical patent/JP2016540417A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00—Systems with reflecting surfaces, with or without refracting elements
    • G02B17/008—Systems specially adapted to form image relays or chained systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0055—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element
    • G02B13/0065—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element having a beam-folding prism or mirror
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00—Systems with reflecting surfaces, with or without refracting elements
    • G02B17/08—Catadioptric systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/04—Prisms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/28—Mobile studios

Abstract

同じ画像エリアの部分をキャプチャするために使用される異なる光学チェーンに対応するセンサからの画素値の行の読み出しを制御するための方法および装置が説明される。いくつかの実施形態では、読み出しは、ユーザ入力および／またはキャプチャされた画像もしくはキャプチャされた画像の一部分における動きの速度に関する決定に基づいて制御される。低速の動きの場合、より大きい焦点距離を有する１つまたは複数の光学チェーンに対応する１つまたは複数のセンサの画素行読み出し速度は通常の速度で進むことができるが、小さい焦点距離に対応するセンサの読み出し速度は低速化され得る。いくつかの実施形態では、高速の動きの場合、より小さい焦点距離を有する光学チェーンに対応するセンサの読み出し速度は、通常の速度で進むことができる。【選択図】図６８Ａ

Description

本出願は、画像をキャプチャ（capture）および生成する方法および装置に関し、より詳細には、たとえば、画素値が読み出し可能であり、および／または複数の光学チェーン（optical chain）の出力を処理するセンサを各々が有する、複数の光学チェーンを含むカメラデバイスの制御に関する方法および装置に関する。
高品質デジタルカメラは、大部分がフィルムカメラに取って代わっている。しかしながら、フィルムカメラと同様にデジタルカメラでも、カメラ業界によって、カメラ上で使用されるレンズのサイズおよび品質に大きな注目が集められている。品質の良い写真を撮影しようとする人々はさまざまな理由により、大型で嵩高く、多くの場合は高価であるレンズに投資するよう勧められることが多い。大きな絞りのレンズを使用する理由には、より小さな絞りのレンズと比較して大きな絞りのレンズ（aperture lens）が所与の時間期間内で大量の光をキャプチャできるということがある。望遠レンズは、大きな絞りという理由だけでなく、長い焦点距離という理由でも大きくなる傾向がある。一般に、焦点距離が長いほど、レンズも大きい。長い焦点距離は、写真撮影者に、遠く離れたところから写真を撮影する能力を与える。
高品質写真を実現するために、キャプチャ可能な光の量は、多くの場合、最終的な画質にとって重要である。大きな絞りのレンズを有することは、小さいレンズを使用して同じ量の光をキャプチャするために必要とされるであろうよりも短い露光時間の間に大量の光がキャプチャされることを可能にする。短い露光時間の使用は、特に動きのある画像に関して、ぼけを減少させることができる。大量の光をキャプチャできることは、光の少ない状況においてすら品質の良い画像の撮影を容易にすることもできる。さらに、大きな絞りのレンズを使用することは、肖像写真撮影のための小さな被写界深度などの芸術的な効果を有することを可能にする。
大きなレンズは、より小さなレンズと比較して比較的大量の光をキャプチャする能力に関する多数の利点を有し、光学的技法またはデジタル技法を使用して実施され得る大きなズーム範囲をサポートするために使用可能であり、多くの場合、焦点に対する良好な制御を可能にするが、大きなレンズを使用することには、多数の欠点もある。
大きなレンズは重い傾向があり、比較的頑丈で多くの場合に大きな支持構造が、カメラアセンブリのさまざまなレンズをアライメントされた状態に保つことを必要とする。大きなレンズの重い重量により、そのようなレンズを有するカメラの輸送は困難で、嵩張るものになる。そのうえ、大きなレンズを有する途方もないカメラの重量が、人々が短時間保持するのにうんざりするようになり得るということを考えれば、大きなレンズを有するカメラは、多くの場合、延長された時間期間にわたって三脚または他の支持物が使用されることを必要とする。
重量およびサイズの欠点に加えて、大きなレンズは高価であるという欠点も有する。これは、とりわけ、大きな高品質の光学部品を製造することと、カメラレンズを長年使用することがもたらすと予想されることを反映し得る時間期間にわたって適切なアライメントを維持するようにこれらの光学部品を包装することとの難しさによるものである。
デジタルカメラでは、センサとして使用される感光性電子回路たとえば光感知デバイスは、多くの場合、その各々が測定された強度レベルを記録する多数の単一センサ素子を備える、電荷結合素子（ＣＣＤ）画像センサまたは相補型金属酸化膜半導体（ＣＭＯＳ）画像センサのいずれかである。
多くのデジタルカメラでは、センサアレイは、配置内に赤色領域と緑色領域と青色領域とを有するパターン化されたカラーフィルタモザイクで覆われる。ベイヤーフィルタモザイクは、フォトセンサの正方形グリッド上にＲＧＢカラーフィルタを配置するための１つのよく知られているカラーフィルタアレイ（ＣＦＡ）である。カラーフィルタのその特定の配置は、多数のデジタル画像センサにおいて使用される。カラー画像をキャプチャするそのようなフィルタベースの手法では、各センサ素子は、光の単一の原色の強度を記録することができる。カメラは、次いで、デモザイシングと呼ばれることがあるプロセスによって、隣接するセンサ素子の色情報を正常に補間し、最終的な画像を作製する。カラーフィルタを使用するセンサアレイ内のセンサ素子は、センサ素子上で使用されるフィルタにより最終的なカラー画像の１チャネルのみ（赤色のみ、または緑色のみ、または青色のみ）を記録するにもかかわらず、多くの場合「画素」と呼ばれる。
カメラでは、光が通過できる丸いすなわち円形のレンズ（レンズ素子）、たとえば丸い絞りを有するレンズが一般に使用される。これは、光が、垂直方向と水平方向の両方（実際にはあらゆる方向）が等しいレンズを通過することを可能にする。１つまたは複数の丸いレンズが使用される光学チェーン内の素子は、多くの場合、カメラのセンサにおいて鮮明な画像を記録するのに十分な光を通過させるのに十分なサイズである。レンズにとって、光軸は、レンズの中央を通過し、レンズの平面に垂直な線である。レンズアセンブリが複数のレンズ素子から構築されるとき、素子は、一般的に、すべてが、レンズアセンブリの光軸でもある共通光軸を共有するように配置される。一般的な光学チェーン、たとえばカメラモジュールでは、光軸は、センサの中央も通過する。レンズアセンブリまたはカメラモジュールの光軸に沿って伝わる光は、経路に沿ったいかなるレンズによっても曲げられず、引き続き一直線の光軸に沿って伝わる。すべてのレンズ素子が円形の場合、そのようなカメラモジュールは、光軸を中心として円筒状に対称性を有する。ほとんどのカメラでは、カメラの光学素子は直線構成で配置され、光軸は、外側レンズを通って直線でセンサまで到達する。そのような構成は、比較的厚いカメラ、たとえば大きな前面から背面の距離すなわち奥行きを有するカメラをもたらすことができる。大きな光学部品を有するおよび／または機械的ズームをサポートするカメラでは、カメラの厚さは著しくなることがあり、カメラは、多くの場合、奥行きがありすぎてポケット、さらには場合によってはバッグにしまえない、数インチの厚さおよび遠さである。
カメラおよび他の光学系は、多くの場合、焦点距離に関して論じられる。光学系の焦点距離は、その系がどれくらい強く光を収束または発散させるかの尺度である。空気中の光学系において、焦点距離は、最初は平行にされた光線が焦点に導かれる距離である。より短い焦点距離を有する系は、長い焦点距離を有する系よりも大きな屈折力を有する。すなわち、より短い焦点距離を有する系は、光線をより強く曲げ、光線をより短距離で焦点に導く。多くの場合大きなレンズを使用して達成される、焦点距離が長いほど（屈折力が低いほど）、より高い倍率たとえばズームと、より狭い画角（被写界）とをもたらす。したがって、大きな、たとえば長い、焦点距離を有する、光学チェーンたとえばカメラモジュールは、より短い焦点距離を有する同じロケーションにおける光学チェーンよりもシーンエリアの小さい部分に対応する画像をキャプチャする。同じセンササイズの場合、より短い焦点距離またはより高い屈折力を有する光学チェーンは、より長い焦点距離を有する光学チェーンよりも広い画角と関連付けられ、したがって、より大きな焦点距離を有する、同じ位置における光学チェーンよりも、光学チェーンから同じ距離で、シーンエリアのより大きい部分に対応する画像をキャプチャすることを理解されたい。
レンズ素子の焦点距離は、一般に、丸い絞り、たとえば光が通過できる丸いエリアを有するレンズ素子レンズの場合、レンズサイズたとえば直径の関数ではない。デバイスの焦点距離は、デバイスを構成する１つまたは複数の光学素子たとえばレンズと、それらの相互作用に依存するので、光学チェーンまたは他の光学デバイスでは、デバイスの焦点距離は有効焦点距離と呼ばれることもある。良好な品質の鮮明な写真を撮影することは、有効焦点距離が長いとき、より大きい絞りのレンズ素子（より大きい直径のレンズ）を必要とする。
大きい焦点距離のレンズおよび大きい焦点距離を有する光学チェーンの使用は、多くの場合、提供できるズームの量（倍率）のために、望ましい。しかしながら、大きい焦点距離を有する光学チェーンを作り出すために通常使用される光学構成要素の使用は、特に、光軸に沿った光が最も外側のレンズから、レンズを通過する光に基づいて画像をキャプチャするために使用されるセンサまで直線状に通過するように、光学構成要素が配置される場合に、厚いカメラにつながる傾向がある。
上記の説明から、たとえば、カメラデバイスの１つまたは複数の光学チェーンによる画像のキャプチャを容易にするために、カメラデバイスの制御を提供する新しいまたは改善された方法および／または装置が必要とされていることが理解されよう。少なくともいくつかの実施形態では、ユーザ入力および／または動作のモードの自動化された選択は、いつまたはどのようにして画素値が１つまたは複数のセンサから読み取られるかを制御することを決定する、および／またはそのために使用されることが望ましい。
上記から、たとえば同期方式で画像をキャプチャするために１つまたは複数の光学チェーンまたは要素をカメラが使用することを可能にする新しいおよび／または改善された方法および装置が必要とされていることも理解されたい。
同じ画像エリアの部分をキャプチャするために使用される異なる光学チェーンに対応するセンサからの画素値の行の読み出しを制御するための方法および装置が説明される。読み出しは、ユーザ入力および／またはキャプチャされた画像もしくはキャプチャされた画像の一部分における動きの速度に関する決定に基づいて制御され得、いくつかの実施形態では、制御される。いくつかの実施形態では、動きの速度が遅い場合、より大きい焦点距離を有する１つまたは複数の光学チェーンに対応する１つまたは複数のセンサの画素行読み出し速度は通常の速度で進むことができるが、小さい焦点距離に対応するセンサの読み出し速度は低速化される。いくつかの実施形態では、高速の動きが検出される場合、後でキャプチャされる第１の画像と第２の画像との大きな差から決定され得、いくつかの実施形態では、決定されるので、より小さい焦点距離を有し、したがって、より大きい画像エリアをキャプチャする光学チェーンに対応するセンサの読み出し速度は、通常の速度で進むことができる。光学チェーンに対応するセンサが通常の速度で読み出される少なくともいくつかの実施形態では、より大きい焦点距離を有する光学チェーンに対応する１つまたは複数のセンサは、画素値の行の合同読み出しを実行するように制御され、それによって、より大きい焦点距離を有する複数の光学チェーンに対応するセンサの読み出しが、小さい焦点距離を有する光学チェーンに対応するセンサを読み出すために必要とされる時間と同じ時間またはほぼ同じ時間で完了され得る。より大きい焦点距離に対応する光学チェーンは、異なる画像部分に対応し、順次または少なくともセンサの一部分が異なる時刻に読み出される方式で読み出され得、小さい焦点距離の光学チェーンに対応するセンサの読み出しと、そうでなければ異なる光学チェーンによってキャプチャされた画像を結合させることによって生成される合成画像に導入されるであろう時間的歪みを最小限にするまたは減少させる方式での、より大きい焦点距離の光学チェーンに対応するセンサの読み出しとの同期を可能にする。
いくつかの実施形態によれば、第１のセンサを含む第１の光学チェーンと第２のセンサを含む第２の光学チェーンとを少なくとも含むカメラデバイスを使用して画像をキャプチャする例示的な方法であって、前記第１の光学チェーンは前記第２の光学チェーンよりも小さい焦点距離を有し、この方法は、第２の光学チェーンの第２のセンサを、第２のセンサの連続画素要素行に対応する画素要素の合同読み出しを実行するように制御するか、それとも前記第２のセンサの画素要素の連続行の個別読み出しを実行するように制御するかの決定を、ｉ）ユーザ入力、またはｉｉ）動きの決定された速度のうちの少なくとも１つに基づいて行うことと、前記第１のセンサの画素値を読み出すように第１のセンサを制御することと、第２のセンサの連続画素要素行に対応する画素要素の合同読み出しを実行するまたは前記第２のセンサの画素要素の連続行の個別読み出しを実行する前記決定に従って前記第２のセンサの画素要素の画素値を読み出すように第２のセンサを制御することとを備える。
いくつかの実施形態によれば、例示的なカメラデバイスは、第１のセンサを含み第１の焦点距離を有する第１の光学チェーンと、第２のセンサを含み第２の焦点距離を有する第２の光学チェーンと、前記第１の焦点距離は前記第２の焦点距離よりも小さい、第２の光学チェーンの第２のセンサを、第２のセンサの連続画素要素行に対応する画素要素の合同読み出しを実行するように制御するか、それとも前記第２のセンサの画素要素の連続行の個別読み出しを実行するように制御するかの決定を、ｉ）ユーザ入力、またはｉｉ）動きの決定された速度、のうちの少なくとも１つに基づいて行うように構成された読み出し制御決定モジュールと、前記読み出し制御決定に従って、ｉ）前記第１のセンサの画素値を読み出すように第１のセンサを制御し、ｉｉ）前記第２のセンサの画素要素の画素値を読み出すために第２のセンサを制御するように構成されたセンサ読み出し制御モジュールとを含む。
いくつかの実施形態によれば、カメラデバイスは非一時的な機械可読媒体を含み、この非一時的な機械可読媒体は、第１のセンサを含む、第２の光学チェーンよりも小さい焦点距離を有する第１の光学チェーンと、前記第２のセンサを含む第２の光学チェーンとを少なくとも含むカメラデバイスのプロセッサによって実行されたとき、第２の光学チェーンの第２のセンサを、第２のセンサの連続画素要素行に対応する画素要素の合同読み出しを実行するように制御するか、それとも前記第２のセンサの画素要素の連続行の個別読み出しを実行するように制御するかの決定を、ｉ）ユーザ入力、またはｉｉ）動きの決定された速度のうちの少なくとも１つに基づいて行うステップと、前記第１のセンサの画素値を読み出すように第１のセンサを制御するステップと、第２のセンサの連続画素要素行に対応する画素要素の合同読み出しを実行するまたは前記第２のセンサの画素要素の連続行の個別読み出しを実行する前記決定に従って前記第２のセンサの画素要素の画素値を読み出すように第２のセンサを制御するステップとを実行するようにカメラデバイスを制御するプロセッサ実行可能命令を含む。
いくつかの特徴は、説明される、複数の光学チェーンを使用する同期方式でシーンエリアの画像をキャプチャすることに関する方法および装置を対象とする。さまざまな実施形態では、カメラデバイスの複数の光学チェーンに対応する画像センサは、画像センサが、現在のスキャン位置に対応する画素値の行を有するとき、現在のスキャン位置に対応する画素値の行を読み出すためにローリングシャッターモードで動作される。
いくつかの実施形態では、関心シーンエリアは、スキャン、したがって、協調された方式で動作される１つまたは複数のカメラ光学チェーンによる関心シーンエリアの画像キャプチャを始めることによってキャプチャされる。いくつかの実施形態では、センサコントローラは、画素値たとえば画素値の行の読み出しを同期方式で実行するようにカメラデバイスの複数の画像センサの各々を制御し、たとえば、画素値の行は、ローリングシャッター実装形態の動作に従って順次読み出される。いくつかの実施形態では、センサコントローラは、光学チェーンに対応する画像センサが、現在のスキャン位置に対応する画素の読み取られていない行、たとえば、読み出されることになっている画素値の行を有するかどうか決定を行う。たとえば、所与の画像センサが、現在のスキャン位置に対応するエリアの外部にある画像部分に対応するので、この画像センサが、現在のスキャン位置に対応する画素値の読み取られていない行を有さない場合、センサコントローラは、画像センサから画素の行を読み出すことをスキップする。所与の画像センサが、現在のスキャン位置に対応する画素値の読み取られていない行を有する場合、画像センサからの画素の行が読み出される。いくつかの実施形態では、画像センサ読み出しはスキャン位置に基づいて制御され、複数の画像センサのセンサ読み出しは、協調された方式で行われる。
関心シーンエリアの一部分をスキャンするようにカメラデバイスを動作させる例示的な方法は、関心シーンエリアの第１の縁から関心シーンエリアの第２の縁まで関心シーンエリアをスキャンするように複数の画像センサを制御することを備え、関心シーンエリアの第１の（たとえば、上）縁と第２の（たとえば、下）縁が平行であり、スキャンすることが、関心シーンエリアの第１の縁から第２の縁まで（たとえば、均一の速度で）進むスキャン位置に従って画像キャプチャを制御することを含み、この制御することは、第１の画像センサが、現在のスキャン位置に対応する画素値の行を有するとき、現在のスキャン位置に対応する画素値の行を読み出すためにローリングシャッターモードで複数の画像センサのうちの第１の画像センサを動作させることを含み、現在のスキャン位置は経時的に（たとえば、スキャンが第１の縁から第２の縁まで進むにつれて）変化し、制御することは、第２の画像センサが、現在のスキャン位置に対応する画素値の行を有するとき、現在のスキャン位置に対応する画素値の行を読み出すためにローリングシャッターモードで複数の画像センサのうちの第２の画像センサを動作させることをさらに含み、第１の画像センサおよび第２の画像センサは関心シーンエリアの異なる部分の画像をキャプチャする。
例示的なカメラデバイスは、複数の光学チェーンと、関心シーンエリアの第１の縁から関心シーンエリアの第２の縁まで関心シーンエリアをスキャンするように複数の光学チェーンに対応する複数の画像センサを制御するように構成されたセンサコントローラとを備え、関心シーンエリアの第１の縁と第２の縁が平行であり、センサコントローラは、スキャンの一部として、関心シーンエリアの第１の縁から第２の縁まで進むスキャン位置に従って画像キャプチャを制御し、センサコントローラは、第１の画像センサが、現在のスキャン位置に対応する画素値の行を有するとき、現在のスキャン位置に対応する画素値の行を読み出すようにローリングシャッターモードに複数の画像センサのうちの第１の画像センサを制御し、現在のスキャン位置は経時的に変化し、センサコントローラは、第２の画像センサが、現在のスキャン位置に対応する画素値の行を有するとき、現在のスキャン位置に対応する画素値の行を読み出すようにローリングシャッターモードで複数の画像センサのうちの第２の画像センサをさらに制御し、第１の画像センサおよび第２の画像センサは関心シーンエリアの異なる部分の画像をキャプチャする。
いくつかの実施形態では、例示的なカメラデバイスは、コンピュータ実行可能命令を備える非一時的なコンピュータ可読媒体を含み、この非一時的なコンピュータ可読媒体は、プロセッサによって実行されるとき、関心シーンエリアの第１の縁から関心シーンエリアの第２の縁まで関心シーンエリアをスキャンするように複数の画像センサを制御する命令を備え、関心シーンエリアの第１の縁と第２の縁は平行であり、スキャンすることは、関心シーンエリアの第１の縁から第２の縁まで進むスキャン位置に従って画像キャプチャを制御することを含み、命令は、プロセッサに、第１の画像センサが、現在のスキャン位置に対応する画素値の行を有するとき、現在のスキャン位置に対応する画素値の行を読み出すようにローリングシャッターモードで複数の画像センサのうちの第１の画像センサを制御させることを含み、現在のスキャン位置は経時的に変化し、命令は、プロセッサに、第２の画像センサが、現在のスキャン位置に対応する画素値の行を有するとき、現在のスキャン位置に対応する画素値の行を読み出すようにモードローリングシャッターで複数の画像センサのうちの第２の画像センサをさらに制御させ、第１の画像センサおよび第２の画像センサは関心シーンエリアの異なる部分の画像をキャプチャする、一時的なコンピュータ可読媒体。
少なくともいくつかの特徴は、関心シーンエリアをスキャンするように複数の光学チェーンを制御すること、したがって説明される同期方式でシーンエリアの画像をキャプチャすることに関する方法および装置を対象とする。さまざまな実施形態では、カメラデバイスの複数の光学チェーンに対応する画像センサが、同時に、たとえば並行して、関心シーンエリアの一部分に対応する画素値の行を読み出すためにローリングシャッターモードで動作される。したがって、さまざまな実施形態では、対応する２つ以上の光学チェーンに含まれる２つ以上の画像センサの同期されたローリングシャッター読み出しが実施される。複数たとえば２つ以上の光学チェーンは、残りの光学チェーンたとえば関心シーンの異なる部分を対象とする光学チェーンのうちの１つまたは複数を同時に読み出すために動作されるが、他の画像センサが画素値を読み出している間、画素値を読み出さないように制御され得る。
さまざまな実施形態では、それぞれ２つ以上の光学チェーンに対応する２つ以上の画像センサの読み出し速度は、対応する光学チェーンの焦点距離の関数として制御される。第１の光学チェーンの焦点距離（たとえば、ｆ２）が第２の光学チェーンの焦点距離（たとえば、ｆ１）よりも大きいいくつかの実施形態では、センサ読み出しコントローラは、第２の焦点距離（ｆ１）と第１の焦点距離（ｆ２）の比に第２の光学チェーンに対応する第２の画像センサ内の画素の同じ数の行を読み出すために使用される時間の量をかけたものとして算出される時間の期間内に第１の画像センサ内の画素のいくつかの行を読み出すように、対応する第１の画像センサを制御する。
関心シーンエリアに対応する画像をキャプチャする例示的な方法は、関心シーンエリアの一部分に対応する画素値を同時に（たとえば、並行して）読み出すように複数の光学チェーンを制御することを備え、この複数の光学チェーンは、第１の焦点距離を有する第１の光学チェーンと第２の焦点距離を有する第２の光学チェーンとを含み、第２の焦点距離は第１の焦点距離と異なり、関心シーンエリアの異なる部分が異なる時刻に読み出される。いくつかの実施形態では、制御することは、第１の光学チェーンに含まれる第１の画像センサおよび第２の光学チェーンに含まれる第２の画像センサの同期されたローリングシャッター読み出しを実施することを含む。
関心シーンエリアに対応する画像をキャプチャする例示的なカメラデバイスは、複数の光学チェーンと、関心シーンエリアの一部分に対応する画素値を同時に読み出すように複数の光学チェーンを制御するように構成されたコントローラとを備え、複数の光学チェーンは、第１の焦点距離を有する第１の光学チェーンと第２の焦点距離を有する第２の光学チェーンとを含み、第２の焦点距離は第１の焦点距離と異なり、関心シーンエリアの異なる部分は異なる時刻に読み出される。
いくつかの実施形態では、例示的なカメラデバイスは、コンピュータ実行可能命令を備える非一時的なコンピュータ可読媒体を含み、この非一時的なコンピュータ可読媒体は、プロセッサによって実行されたとき、関心シーンエリアの一部分に対応する画素値を同時に読み出すように複数の光学チェーンを制御する命令を備え、この複数の光学チェーンは、第１の焦点距離を有する第１の光学チェーンと第２の焦点距離を有する第２の光学チェーンとを含み、第２の焦点距離は第１の焦点距離と異なり、関心シーンエリアの異なる部分が異なる時刻に読み出される。
多くの実施形態および特徴が上記の概要で説明されたが、本明細書で説明される新規な特徴の多くは、他の新規な特徴とは無関係に使用可能であることを理解されたい。したがって、さまざまな例示的な実施形態が説明されているが、適用例は、特定の例示的な実施形態または特定の例示的な実施形態に説明される特徴の組み合わせに限定されない。
多数のさらなる特徴および実施形態が、以降の詳細な説明で説明される。
本発明の一実施形態により実施される例示的な装置、たとえばカメラデバイスのブロック図。 カメラの正面から見えるレンズを有する、本発明による複数の光学チェーン、たとえばカメラモジュールを組み込んだ、例示的な一実施形態により実施される装置の正面図。 例示的な装置のさらなる詳細をさらに示す、図２の例示的な装置の側面図。 別の実施形態により実施されるカメラデバイスを示す図。 １つの特定の実施形態で実施される、図４Ａに示されるカメラデバイスの光学チェーンをより詳細に示す図。 図１、図８、図１２Ａ、またはさまざまな他の実施形態のカメラデバイスに含まれる光学チェーンの１つとして使用され得る例示的な光学チェーン、たとえばカメラモジュールを示す図。 カメラモジュールが画像をキャプチャすることを可能にするために引っ込められるそのカバーを有する本発明の１つの特徴による複数のカメラモジュールを含む例示的なカメラの投射図。 カバーを閉位置に有し、それによってカメラ前面を覆う、図６のカメラを示す図。 個々のカメラモジュールのレンズの配置がより良く理解できるように、カメラモジュールのより良いビューを有する、図６のものに類似したカメラデバイスの正面図。 図８のカメラデバイスであるが、カメラデバイスの前面上でのレンズの配置のより良い理解を可能にする、カメラケースが示されていない図。 カメラが奥行きＤ１と高さＨとを有することがわかる、図７のカメラデバイスの側面図。 図８および図９に示されるレンズの配置をより詳細に示す図。 図１１に示されるレンズ配置を有する、図６および図８に示されるタイプのカメラデバイスを実施するために一実施形態で使用される光学チェーン、たとえばカメラモジュールの配置を示す図。 カメラデバイス内のさまざまな光学チェーンおよび光学チェーンの要素の配置がより詳細に示される、図８に示されるタイプのカメラデバイスの斜視図。 光学チェーンの一部である光方向変換デバイスの位置、たとえば角度を変えることによって、図１２Ｂに示される光学チェーンの光軸の第１の部分がどのように変更可能であるかを示す図。 光学チェーンの一部である光方向変換デバイスの位置、たとえば角度を変えることによって、図１２Ｂに示される光学チェーンの光軸の第１の部分がどのように変更可能であるかを示す図。 光学チェーンの一部である光方向変換デバイスの位置、たとえば角度を変えることによって、図１２Ｂに示される光学チェーンの光軸の第１の部分がどのように変更可能であるかを示す図。 光学チェーンの一部である光方向変換デバイスの位置、たとえば角度を変えることによって、図１２Ｂに示される光学チェーンの光軸の第１の部分がどのように変更可能であるかを示す図。 図１４〜１７に示されるさまざまなカメラデバイス実施形態で使用可能であり、使用される、非円形の絞りと光方向変換デバイスたとえば鏡とを有するレンズを有するカメラモジュールを示す図。 例示的な一実施形態による、カメラ内の複数の光学チェーン（ＯＣ）の例示的な配置ならびに光学チェーンの各々の要素の構成および配置を示す図。 大きな焦点距離を有する光学チェーンのための非円形レンズとより小さな焦点距離を有する光学チェーンのための円形レンズとを使用する例示的なカメラデバイスを示す図。 カメラケースのない、図１４に示されるカメラデバイスの前面の図。 カメラが奥行きＤ２と高さＨとを有することがわかる、図１４のカメラデバイスの側面図。ここで、Ｄ２は、図６〜９に示されるカメラデバイスの奥行きであるＤ１よりも小さい。 図１５に示されるレンズ配置を有する、図１４に示されるタイプのカメラデバイスを実施するために一実施形態で使用されるカメラモジュールの配置を示す図。 カメラデバイス内のさまざまな光学チェーンおよび光学チェーンの要素の配置がより詳細に示される、図１４に示されるタイプのカメラデバイスの斜視図。 図１２Ａの実施形態で使用され得、および時々使用されるレンズなどの、丸い開口を有する例示的なレンズに対応する丸い絞りを示す図。 周波数情報が両方の次元で同じまたは類似している、図１８に示されるタイプのレンズから予想される周波数特性を示す図。 丸い絞りの場合、光が通過する開口の長さが、レンズ開口が存在する平面の両方の次元でどれくらい同じであるかを示す図。 例示的な丸くない、たとえば卵形の、絞りを示す図。陰影が、キャプチャされる水平方向および垂直方向の各々における周波数情報の相対量を示すために使用され、より多くの周波数情報が、それによってより高い周波数情報がキャプチャされることになる水平方向よりも垂直方向で入手可能であり、絞りの狭い方の次元よりも長い方の次元で入手可能であることが図から明らかである。 垂直（Ｙ）方向および水平（Ｘ）方向における丸くない絞りの長さの比較を示す図。垂直次元は、図２２の例における２つの次元のうち長い方である。 異なる方向に指向された複数の丸くないレンズからの画像情報を結合することによって、丸いレンズから取得されると予想される情報を近似する画像情報がどのように達成可能であるかを示す図。より多くの情報が、合成画像を生成するために図２３の例で結合される複数の個々の画像の重複により、さまざまな縁部ロケーションにおいてよりも、結合された画像の中心に向かって入手可能である。 丸くない絞りを有する、たとえば卵形または長円形の形状の絞りに近似する、レンズを作り出すために、丸い絞りを有するレンズがどのように切断またはマスキング可能であるかを示す図。 図２４に示されるような、丸いレンズ、たとえば丸い絞りを有するレンズを切断またはマスキングすることから生じる絞りを示す図。 丸い絞りを有する外側レンズと組み合わせて光を９０度方向変換するために光方向変換デバイスを使用することが通常、カメラの奥行きたとえば厚さが、丸い絞りを有するレンズの直径に等しいまたはこれよりも大きいことをどのように必要とするかを示す図。 いくつかの実施形態では、光を９０度方向変換する光方向変換デバイスと組み合わせた丸くない、たとえば卵形の、絞りを有するレンズの使用が、カメラの奥行きがあるよりも１つの次元において長いレンズの使用をどのように可能にすることができるかを示す図。 丸くない絞りを含むカメラモジュールの光路の長さが、カメラの奥行きよりもどのように長くなり得るかを示す図。光方向変換デバイスは、カメラデバイスの一端に位置決め可能である。 光がカメラモジュールを通過するときどの方角に方向変換されるかに応じてカメラの背面または前面のいずれかにセンサが位置決めされることを可能にしながら、複数の光方向変換デバイスが、比較的長い光進行経路、したがって焦点距離を可能にするためにカメラモジュールにおいて使用される例を示す図。 合成画像を生成するために画像を結合するとき高周波数情報が複数の方向の各々において入手可能であるように非円形の絞りを有する複数のレンズが、複数の方向における高周波数情報を収集するために単一の例示的なカメラデバイス内でどのように使用可能であるかを示す図。 本発明の１つまたは複数の実施形態により実施されるカメラのカメラモジュールによってキャプチャされたその画像を有し得るシーンエリアを含む例示的なシーンを示す図。 そのうちのいくつかが異なる焦点距離を有する複数のカメラモジュールを含むカメラの異なるカメラモジュールが、関心シーンエリアの異なるサイズの部分をどのようにキャプチャし得るかを示す図。 図３２に示される複数のカメラモジュールを含むカメラの異なるカメラモジュールが、図３１に示される関心シーンエリアの異なる部分をどのようにキャプチャし得るかを示す図。 図３３に示されるサイズのシーンエリアをキャプチャするモジュールを有するカメラによってキャプチャされた異なる画像と、合成画像を生成するために画像の結合を容易にする、互いに対するそれらの関係とを示す図。 異なるセンサによってキャプチャされた画像が容易に結合可能であるように協調された方式における異なる光学チェーンのセンサの読み取りのローリングシャッター制御に関する態様を示す図。 異なるセンサによってキャプチャされた画像が容易に結合可能であるように協調された方式における異なる光学チェーンのセンサの読み取りのローリングシャッター制御に関する態様を示す図。 異なるセンサによってキャプチャされた画像が容易に結合可能であるように協調された方式における異なる光学チェーンのセンサの読み取りのローリングシャッター制御に関する態様を示す図。 異なるセンサによってキャプチャされた画像が容易に結合可能であるように協調された方式における異なる光学チェーンのセンサの読み取りのローリングシャッター制御に関する態様を示す図。 異なるセンサによってキャプチャされた画像が容易に結合可能であるように協調された方式における異なる光学チェーンのセンサの読み取りのローリングシャッター制御に関する態様を示す図。 例示的な一実施形態により複数のカメラモジュールを使用して画像をキャプチャし、画像を結合する例示的な方法を示す図。 図４１Ａと図４１Ｂの組み合わせを備え、関心シーンをスキャンし、それから合成画像を生成するようにカメラデバイスを動作させる例示的な方法のステップを示す流れ図。 図４１Ａと図４１Ｂの組み合わせを備え、関心シーンをスキャンし、それから合成画像を生成するようにカメラデバイスを動作させる例示的な方法のステップを示す流れ図。 複数のカメラモジュールを同期方式で使用して関心シーンをキャプチャする方法のステップを示す図。 別の例示的な実施形態による、複数のカメラモジュールを同期方式で使用して関心シーンをキャプチャする方法のステップを示す図。 例示的な一実施形態による、複数のカメラモジュールを同期方式で使用して画像をキャプチャする方法のステップを示す図。 例示的な一実施形態による、カメラデバイスを使用して画像をキャプチャする方法を示す流れ図。 例示的な一実施形態による、画像をキャプチャする方法を示す流れ図。 例示的な一実施形態による、合成画像を生成する方法の流れ図。 例示的な一実施形態による、移動可能な鏡を含む例示的なカメラデバイスの図。 例示的な一実施形態による、移動可能なプリズムを含む例示的なカメラデバイスの図。 例示的な一実施形態による、例示的なカメラデバイスに含まれ得る例示的なモジュールのアセンブリの図。 例示的な一実施形態による、結合された画像を生成するために使用される例示的なキャプチャされた画像を示すために使用される図。 例示的な一実施形態による、結合された画像を生成するために使用される例示的なキャプチャされた画像を示すために使用される図。 例示的な一実施形態による、少なくとも１つの画像をキャプチャする例示的な方法の流れ図の第１のパート。 例示的な一実施形態による、少なくとも１つの画像をキャプチャする例示的な方法の流れ図の第２のパート。 例示的な一実施形態による、移動可能な鏡を含む例示的なカメラデバイスの図。 例示的な一実施形態による、移動可能なプリズムを含む例示的なカメラデバイスの図。 例示的な一実施形態による、例示的なカメラデバイスに含まれ得る例示的なモジュールのアセンブリの図。 例示的な一実施形態による、例示的な格納されたズーム設定と光方向変換デバイス位置のマッピングテーブルの図。 例示的な一実施形態による、結合された画像が、１Ｘのズーム設定に対応して、複数の光学チェーンからのキャプチャされた画像から生成される例を示す図。 例示的な一実施形態による、結合された画像が、２Ｘのズーム設定に対応して、複数の光学チェーンからのキャプチャされた画像から生成される例を示す図。 例示的な一実施形態による、結合された画像が、３Ｘのズーム設定に対応して、複数の光学チェーンからのキャプチャされた画像から生成される例を示す図。 例示的な一実施形態による、結合された画像が、４Ｘのズーム設定に対応して、複数の光学チェーンからのキャプチャされた画像から生成される例を示す図。 例示的な一実施形態による、画像をキャプチャする例示的な方法の流れ図の第１のパート。 例示的な一実施形態による、画像をキャプチャする例示的な方法の流れ図の第２のパート。 例示的な一実施形態による、画像をキャプチャする例示的な方法の流れ図の第３のパート。 例示的な一実施形態による、画像をキャプチャする例示的な方法の流れ図の第４のパート。 例示的な一実施形態による、移動可能な光方向変換デバイスを有する複数の光学チェーンを含む例示的なカメラデバイスの図。 例示的な一実施形態による、例示的なカメラデバイスに含まれ得る例示的なモジュールのアセンブリの図。 例示的な実施形態による、異なるズーム焦点距離設定に対応する例示的な合成画像を示す図。 例示的な一実施形態による、ユーザが選択した焦点距離設定が最大ズームアウトたとえばズーム焦点距離設定＝ｆ２に設定される一例のために、合成画像を生成するために結合されたキャプチャされた画像を示す図。 例示的な一実施形態による、ユーザが選択した焦点距離設定が最大ズームインたとえばズーム焦点距離設定＝ｆ１に設定される一例のために、そのうちのいくつかは、合成画像を生成するために結合された、キャプチャされた画像とトリミングされたキャプチャされた画像とを示す図。 例示的な一実施形態による、ユーザが選択した焦点距離設定が中間値たとえばｆ２とｆ１との間の値に設定される一例のために、そのうちのいくつかは、合成画像を生成するために結合された、キャプチャされた画像とトリミングされたキャプチャされた画像とを示す図。 例示的な一実施形態による、各々、ユーザが選択したズーム焦点距離設定の関数として位置決めされる、たとえば調整される、移動可能な光方向変換デバイスを含む例示的なユーザ制御されたズームと異なる光学チェーンからのキャプチャされた画像間の例示的な重複とを示す図。 例示的な一実施形態による、カメラデバイスを使用して画像をキャプチャする例示的な方法の流れ図の第１のパート。 例示的な一実施形態による、カメラデバイスを使用して画像をキャプチャする例示的な方法の流れ図の第２のパート。 例示的な一実施形態による、異なる焦点距離を有する少なくとも２つの光学チェーンを含む例示的なカメラデバイスの図。 例示的な一実施形態による、例示的なカメラデバイスに含まれ得るモジュールのアセンブリの図。 例示的な一実施形態による、例示的な関心シーンと、カメラデバイス内の異なる光学チェーンに対応する例示的なキャプチャエリアとを示す図。 高い感知された速度による、ユーザにより入力された高速度の動作の動きモードまたは動作の自動モードに対応する一例のための例示的な読み出し時間を示す図。 低い感知された速度による、ユーザにより入力された高解像度の動作のモードまたは動作の自動モードに対応する一例のための例示的な読み出し時間を示す図。
図１は、本発明の例示的な一実施形態により実施される、デジタルカメラ、カメラ機能を有するノートパッド、またはカメラ機能を有する携帯電話などの例示的なカメラデバイス１００を示す。カメラデバイス１００は、いくつかの実施形態では、ポータブルデバイスである。他の実施形態では、カメラデバイス１００は、壁に取り付けられたカメラなどの固定デバイスである。
図１は、装置１００のさまざまな要素間の接続を示すブロック図形式でカメラデバイス１００を示す。例示的なカメラデバイス１００は、参照番号１００となる線によって接された方形箱によって表されるハウジング内に取り付けられた、ディスプレイデバイス１０２と、発光体モジュール１０４と、入力デバイス１０６と、入力状態検出モジュール１４８と、露光および読み出しコントローラ１５０たとえばローリングシャッターコントローラ１５０と、光制御デバイス１５２と、メモリ１０８と、プロセッサ１１０と、モジュールのハードウェアアセンブリ１８０と、ワイヤレスおよび／または有線インターフェース１１４、たとえば、セルラーインターフェース、ＷＩＦＩインターフェース、および／またはＵＳＢインターフェースと、Ｉ／Ｏインターフェース１１２と、加速度計モジュール１２２と、３軸ジャイロ１９２と、バス１１６とを含む。発光体モジュール１０４は、すべての発光要素が同時にオンになる必要はないように個々に制御可能なＬＥＤ（発光ダイオード）または他のタイプの発光要素であってよい発光要素を含む。いくつかの実施形態では、入力デバイス１０６は、たとえば、キーパッド、タッチスクリーン、または情報、データ、および／もしくは命令を入力するために使用され得る類似のデバイスであってよく、いくつかの実施形態では、キーパッド、タッチスクリーン、または類似のデバイスである。加速度計モジュール１２２は、３軸加速度計モジュールを提供する垂直軸上に配列された、加速度計１ １２４と、加速度計２ １２６と、加速度計３ １２８とを含む。したがって、加速度計モジュール１２２は、３つの独立軸に沿って測定することができる。同様に、１９４と１９６と１９８とを含む３軸ジャイロ１９２は、３つの異なる軸の各々に沿って回転を測定することができる。加速度計モジュール１２２およびジャイロモジュール１９２の出力は、監視可能であり、いくつかの実施形態では監視され、加速度計およびジャイロの出力の変化は、１つまたは複数の方向における動きを示す加速度の変化を検出するために、プロセッサ１１０および／またはズーム制御モジュールたとえばズームコントローラ１４０によって経時的に解釈およびチェックされる。いくつかの実施形態では、入力デバイス１０６は、カメラズーム機能を有効または無効にするために使用可能な少なくとも１つのズーム制御ボタンを含む。いくつかのそのような実施形態では、ズーム制御ボタンが押下された状態であるとき、カメラズーム機能が有効にされ、ボタンが押下されていない状態であるとき、カメラズーム機能が無効にされる。入力状態検出モジュール１４８は、ボタンが押下された状態であるか押下されていない状態であるかを検出するために、入力デバイスたとえばズーム制御ボタンの状態を検出するように構成される。いくつかの実施形態では、状態検出モジュール１４８によって検出されるズーム制御ボタンの状態、たとえば、ズーム制御ボタンが、ズームが有効にされていることを示す押下された状態であるか、ズームが無効にされていることを示す押下されていない状態であるか、を示すビットを含むステータスレジスタがカメラデバイス１００内に存在する。
ディスプレイデバイス１０２は、画像、ビデオ、カメラデバイスの構成に関する情報、および／またはカメラデバイス上で実行されているデータ処理のステータスを表示するために使用されるタッチスクリーンであってよく、いくつかの実施形態では、タッチスクリーンである。ディスプレイデバイス１０２がタッチスクリーンである場合、ディスプレイデバイス１０２は、追加入力デバイスとして、および／または別個の入力デバイスたとえばボタン１０６の代替として働く。いくつかの実施形態で説明されるように、ズーミング動作は、ズーム制御センサたとえばタッチセンサを押すことによって制御可能である。いくつかの実施形態では、カメラユーザがズーム制御センサに触れると、ズーム機能が有効にされる。たとえば、タッチセンサ上の指は、ズーム機能を作動させる／有効にする。Ｉ／Ｏインターフェース１１２は、ディスプレイ１０２と入力デバイス１０６とをバス１１６に結合させ、ディスプレイ１０２と、入力デバイス１０６と、バス１１６を介して通信および相互作用可能なカメラの他の要素とをインターフェース接続する。
Ｉ／Ｏインターフェース１１２に結合されることに加えて、バス１１６は、メモリ１０８、プロセッサ１１０、任意選択のオートフォーカスコントローラ１３２、ワイヤレスおよび／または有線インターフェース１１４、ズーム制御モジュール１４０、ならびに複数の光学チェーン１３０、たとえば、本明細書ではカメラモジュールとも呼ばれるＸ個の光学チェーンに結合される。いくつかの実施形態では、Ｘは２よりも大きい整数、たとえば、３、４、７、または特定の実施形態によっては、これらよりも大きい値である。複数のカメラモジュール１３０は、さまざまなカメラモジュールセットおよび／または本出願で説明される配置のいずれかを使用して実施され得る。たとえば、いくつかの実施形態では、カメラデバイス１００は、図１２Ａに示されるカメラモジュールのセットを使用して実施されるが、他の実施形態では、カメラデバイス１００は、図１３Ｂまたは図１７Ａまたは本出願に含まれる他の図のいずれか１つに示されるモジュール配置を使用して実施される。複数の光学チェーン１３０内の個々の光学チェーンによってキャプチャされた画像は、たとえばデータ／情報１２０の一部として、メモリ１０８に格納可能であり、たとえば、１つまたは複数の合成画像を生成するためにプロセッサ１１０によって処理可能であり、さまざまな実施形態では、格納され、処理される。
Ｘ個のカメラモジュール１３１〜１３３は、異なる焦点距離を有するカメラモジュールを含んでよく、さまざまな実施形態では、これを含む。複数のカメラモジュールは、所与の焦点距離で設けられ得る。たとえば、いくつかの実施形態では、フルフレームＤＳＬＲカメラに対して３５ｍｍ相当の焦点距離を有する複数のカメラモジュール、フルフレームＤＳＬＲカメラに対して７０ｍｍ相当の焦点距離を有する複数のカメラモジュール、およびフルフレームＤＳＬＲカメラに対して１４０ｍｍ相当の焦点距離を有する複数のカメラモジュールが、個々のカメラデバイスに含まれる。さまざまな焦点距離は例示的なものであり、異なる焦点距離を有する多種多様のカメラモジュールが使用されてよい。カメラデバイス１００は、例示的なものと考えられるべきである。他の図のうちのいくつかに関してカメラまたはカメラデバイス他の参照がなされる限り、少なくともいくつかの実施形態では、カメラデバイスまたはカメラは、図１に示される要素が特定の図または実施形態に示されていない場合であっても、その要素を含むことを理解されたい。いくつかの実施形態では、図１に示される要素のすべてがカメラデバイスまたはカメラに含まれるが、他の実施形態では、図１に示される要素のサブセットが含まれ、図１の要素の説明は、すべての実施形態において特定の要素が不可欠または必要であることを暗示することを意図するものではない。
以下で説明されるように、同時にまたは所与の時間期間中にキャプチャされた異なるカメラモジュールからの画像は、合成画像、たとえば、カメラモジュール１３１、１３３のうちの単一のカメラモジュールによってキャプチャされた個々の画像よりも良い解像度、周波数コンテンツ、および／または光範囲を有する画像を生成するために結合可能である。
複数のキャプチャされた画像および／または合成画像は、ビデオたとえばある時間期間に対応する一連の画像を形成するように処理され得、いくつかの実施形態では、そのように処理される。インターフェース１１４は、カメラデバイス１００の内部構成要素を、外部ネットワークたとえばインターネット、および／または１つもしくは複数の他のデバイスたとえばメモリもしくはスタンドアロンコンピュータに結合させる。インターフェース１１４を介して、カメラデバイス１００は、データ、たとえば、キャプチャされた画像、生成された合成画像、および／または生成されたビデオを出力することができ、出力する。出力は、ネットワークに対してであってもよいし、処理、格納のための、および／または共有されることになる、別の外部デバイスに対してであってもよい。キャプチャされた画像データ、生成された合成画像、および／またはビデオは、さらなる処理のために別のデバイスに対する入力データとして提供されてもよいし、および／またはたとえば、外部メモリ、外部デバイスにおける、もしくはネットワークにおける格納のために、送られてもよい。
カメラデバイス１００のインターフェース１１４は、画像データが外部コンピュータ上で処理され得るようにコンピュータに結合され得、いくつかの例では、結合される。いくつかの実施形態では、外部コンピュータは、出力された画像データのより多くの計算的に複雑な画像処理が外部コンピュータ上で発生することを可能にするカメラデバイス１００よりも高い計算処理能力を有する。インターフェース１１４はまた、データ、情報、および命令によって、カメラデバイス１００上での格納および／または処理のために、１つもしくは複数のネットワークおよび／またはコンピュータもしくはメモリなどの他の外部デバイスからカメラデバイス１００に供給されることが可能になる。たとえば、背景画像は、カメラデバイス１００によってキャプチャされた１つまたは複数の画像と、カメラプロセッサ１１０によって結合されるために、カメラデバイスに供給され得る。命令および／またはデータの更新は、インターフェース１１４を介してカメラ上にロードされ、メモリ１０８内に格納可能である。
ライティングモジュール１０４は、いくつかの実施形態では、カメラフラッシュとして働くように制御された方式で照明可能な複数の発光要素たとえばＬＥＤを含み、ＬＥＤは、ローリングシャッターの動作および／または露光時間に基づいて、グループでまたは個々に、たとえば同期方式で、制御される。説明のために、例示的な実施形態では、ＬＥＤは発光デバイスとして使用されるので、モジュール１０４はＬＥＤモジュールと呼ばれるが、上記で説明されたように、本発明はＬＥＤ実施形態に限定されず、他の発光源も使用されてよい。いくつかの実施形態では、ＬＥＤモジュール１０４は、発光要素たとえばＬＥＤのアレイを含む。いくつかの実施形態では、ＬＥＤモジュール１０４内の発光要素は、各個々のＬＥＤおよび／またはＬＥＤのグループがローリングシャッターの動作との同期方式で照明可能であるように配置される。発光要素は、すべてではないが、いくつかの実施形態では、全エリアが画像キャプチャ中に常に照らされる必要がないように、異なる時刻にエリアの異なる部分が照明されるように、順次照明される。すべてのライティング要素は、センサの画素要素のフルセットの読み出しを伴う画像キャプチャ動作の持続時間全体にわたってオンに保たれないが、ローリングシャッターの使用の結果として所与の時刻にその画像をキャプチャしたエリアの部分たとえばスキャンエリアが、ローリングシャッターの動作との発光要素のライティングの同期のために照明される。したがって、さまざまな発光要素は、いくつかの実施形態では、露光時間と、センサのどの部分が所与の時刻に画像の一部分をキャプチャするために使用されるかに基づいて、異なる時刻に明るくなるように制御される。いくつかの実施形態では、ＬＥＤモジュール１０４内の発光要素は、発光要素の複数のセットを含み、発光要素の各セットは、明るくなり、画像センサの異なる部分によってキャプチャされる異なる画像エリアに対応する。レンズは、異なる発光要素からの光を、１つまたは複数のカメラモジュールの使用によってカメラによってキャプチャされる異なるシーンエリアに方向づけるために使用され得、いくつかの実施形態では、使用される。
ローリングシャッターコントローラ１５０は、異なる時刻における１つまたは複数の画像センサの異なる部分の読み出しを制御する電子シャッターである。各画像センサは、一度に１つの行の画素値を読み、さまざまな列が順を追って読まれる。以下で説明されるように、異なるセンサによってキャプチャされた画像の読み出しは、いくつかの実施形態では、センサが、いくつかの実施形態では複数のセンサが同時に同じ画像エリアをキャプチャすることとの同期方式で、関心画像エリアと呼ばれることがある関心シーンエリアをキャプチャするように制御される。
実施形態の大部分で電子ローリングシャッターが使用されるが、いくつかの実施形態では、機械的ローリングシャッターが使用されることがある。
光制御デバイス１５２は、ローリングシャッターコントローラ１５０の動作との同期方式で発光要素（たとえば、ＬＥＤモジュール１０４に含まれる）を制御するように構成される。いくつかの実施形態では、光制御デバイス１５２は、ローリングシャッター１５０のタイミングと同期される方式で異なる時刻に光を発するためにアレイ内の発光要素の異なるセットを制御するように構成される。いくつかの実施形態では、光制御デバイス１５２は、第１の時間期間中に光を出力するように第１の画像エリアに対応する発光要素の第１のセットを制御するように構成され、この第１の時間期間は、ローリングシャッターのタイミングに基づいて決定され、センサの第１の部分が画像キャプチャのために露光される時間期間である。いくつかの実施形態では、光制御デバイス１５２は、第２の時間期間中に光を出力するように第２の画像エリアに対応する発光要素の第２のセットを制御するようにさらに構成され、この第２の時間期間は、ローリングシャッターのタイミングに基づいて決定され、センサの第２の部分が画像キャプチャのために露光される時間期間である。いくつかの実施形態では、第１の時間期間は、第２の時間期間に重複しない時間の少なくとも一部分を含む。
いくつかの実施形態では、光制御デバイス１５２は、第３の時間期間中に光を出力するように第Ｎの画像エリアに対応する発光要素の第Ｎのセットを制御するようにさらに構成され、前記第Ｎの時間期間は、ローリングシャッターのタイミングに基づいて決定され、センサの第Ｎの部分が画像キャプチャのために露光される時間期間であり、Ｎは、総合画像エリアの１回の完全な読み出しを完了するために前記ローリングシャッターによって使用される時間期間の総数に対応する整数値である。
いくつかの実施形態では、光制御デバイス１５２は、時間の前記第２の期間に重複しない第１の時間期間に含まれる時間の前記部分中にオフになるように発光要素の第２のセットを制御するようにさらに構成される。いくつかの実施形態では、光制御デバイスは、露光設定に基づいて、発光要素の第１のセットおよび前記第２のセットがいつオンになり得るかを決定するように構成される。いくつかの実施形態では、光制御デバイスは、前記センサの異なる部分の読み出し間の時間の量に基づいて、発光要素の前記第１のセットおよび前記第２のセットがいつオンになり得るかを決定するように構成される。いくつかの実施形態では、複数の発光要素内の発光要素の異なるセットが、異なるレンズで覆われる。いくつかのそのような実施形態では、光制御デバイス１５２は、カメラデバイスによって使用されている有効焦点距離設定に基づいて、発光要素のどのセットを使用するかを決定するようにさらに構成される。
加速度計モジュール１２２は、加速度計１ １２４と加速度計２ １２６と加速度計３ １２８とを含む複数の加速度計を含む。加速度計の各々は、所与の方向におけるカメラ加速度を検出するように構成される。３つの加速度計１２４、１２６、および１２８は、加速度計モジュール１２２に含まれると示されているが、いくつかの実施形態では、４つ以上の加速度計が使用可能であることを理解されたい。同様に、ジャイロモジュール１９２は、３つのジャイロ、すなわち１９４と、１９６と、１９８とを、カメラデバイスが通常使用される３次元現実世界環境において使用するのに好適な各軸に対して１つ含む。所与の方向における加速度計によって検出されるカメラ加速度が監視される。カメラの動きを示す、加速度および／または加速度の変化、ならびに回転が監視され、動き、たとえば前方へのカメラの動き、後方へのカメラの動きなどの、１つまたは複数の方向を検出するために処理される。以下で説明されるように、カメラの動きを示す加速度／回転は、ズーム動作を制御するために使用可能であり、および／または場合によってはカメラマウントに提供可能であり、これによって、次いで、カメラを安定させる助けとなるようにカメラマウントを回転させるまたはカメラ支持具を回転させるなどの措置を講じることができる。
カメラデバイス１００は、オートフォーカスコントローラ１３２および／またはオートフォーカス駆動部アセンブリ１３４を含み得、いくつかの実施形態では、これらを含む。オートフォーカス駆動部アセンブリ１３４は、いくつかの実施形態では、レンズ駆動部として実施される。オートフォーカスコントローラ１３２は、少なくともいくつかのオートフォーカス実施形態に存在するが、固定フォーカス実施形態では省略され得る。オートフォーカスコントローラ１３２は、所望の、たとえばユーザにより示された、フォーカスを達成するために使用される１つまたは複数の光学チェーンにおける少なくとも１つのレンズ位置の調整を制御する。個々の駆動部アセンブリが各光学チェーンに含まれる場合、オートフォーカスコントローラ１３２は、同じターゲットに焦点を合わせるためにさまざまな光学チェーンのオートフォーカス駆動部を駆動し得る。
ズーム制御モジュール１４０は、ユーザ入力に応答してズーム動作を実行するように構成される。
プロセッサ１１０は、本明細書で説明される方法のステップを実施するようにカメラデバイス１００の要素を制御するようにカメラデバイス１００の動作を制御する。プロセッサは、方法を実施するように事前構成された専用プロセッサであってよい。しかしながら、多くの実施形態では、プロセッサ１１０は、実行されるとき、プロセッサに、本明細書で説明される方法の１つ、より多く、またはすべてを実施するようにカメラデバイス１００を制御させる命令を含む、メモリ１０８内に格納されたソフトウェアモジュールおよび／またはルーチンの指示に従って動作する。メモリ１０８はモジュールのアセンブリ１１８を含み、１つまたは複数のモジュールは、本発明の画像キャプチャおよび／または画像データ処理方法を実施するための１つまたは複数のソフトウェアルーチンたとえば機械実行可能命令を含む。１１８のモジュール内の個々のステップおよび／またはコードの行は、プロセッサ１１０によって実行されるとき、本発明の方法のステップを実行するようにプロセッサ１１０を制御する。プロセッサ１１０によって実行されるとき、データ処理モジュール１１８は、少なくともいくつかのデータを、本発明の方法によりプロセッサ１１０によって処理させる。モジュールのアセンブリ１１８は、たとえばユーザ入力に基づいて、複数のカメラデバイス動作のモードのうちのどれが実施されるべきかを決定するモード制御モジュールを含む。異なる動作のモードでは、異なるカメラモジュール１３１、１３３は、選択された動作のモードに基づいて、異なるように制御され得、多くの場合、制御される。たとえば、動作のモードに応じて、異なるカメラモジュールは異なる露光時間を使用し得る。あるいは、カメラモジュールが方向づけられるシーンエリアと、したがってシーンのどの部分が個々のカメラモジュールによってキャプチャされるかは、以下で図５および図３４に関して説明されるように、異なるカメラモジュールによってキャプチャされる画像が、合成画像を形成するためにどのように使用可能か、たとえば結合可能であるか、および個々のカメラモジュールは、ユーザにより選択されたまたは自動的に選択された動作のモード中により大きなシーンのどの部分をキャプチャするべきかに応じて変更され得る。いくつかの実施形態では、１つまたは複数のモジュールのアセンブリからの命令を実行するときプロセッサによって実行される動作が、代わりに、同じ機能を実行するハードウェアモジュールによって実行され、モジュールのハードウェアアセンブリに含まれる。
結果として生じるデータおよび情報（たとえば、シーンのキャプチャされた画像、シーンの結合された画像など）は、将来の使用、追加処理、および／またはたとえば表示のためのディスプレイデバイス１０２への、もしくは送信、処理、および／もしくは表示のための別のデバイスへの出力のために、データメモリ１２０内に格納される。メモリ１０８は、異なるタイプのメモリ、たとえばモジュールのアセンブリ１１８およびデータ／情報１２０が将来の使用のために格納され得、いくつかの実施形態では格納される、ランダムアクセスメモリ（ＲＡＭ）を含む。モジュールのアセンブリ１１８が電源異常に備えて格納され得る読み出し専用メモリ（ＲＯＭ）。データ、情報、および命令の格納のためのフラッシュメモリなどの不揮発性メモリも、メモリ１０８を実施するために使用され得る。メモリカードは、データ（たとえば、画像およびビデオ）および／またはプログラミングなどの命令を格納するための追加メモリを提供するためにデバイスに追加され得る。したがって、メモリ１０８は、ストレージデバイスとして働く、多種多様の非一時的なコンピュータ可読媒体または機械可読媒体のいずれかを使用して実施され得る。
カメラデバイス１００の一般的な構成要素について、図１を参照しながら説明してきたが、ここで、複数の光学チェーン１３０に関するさまざまな特徴が、それぞれカメラデバイス１００を前面および側面の視点から示す図２と図３とを参照しながら説明される。図２の破線１０１は断面線を示す。
箱１１７は凡例を表し、ＯＣ＝光学チェーンたとえばカメラモジュールを示し、各Ｌ１は、光学チェーン内の最も外側のレンズを表す。箱１１９は凡例を表し、Ｓ＝センサ、Ｆ＝フィルタ、Ｌ＝レンズを示し、Ｌ１は、光学チェーン内の最も外側のレンズを表し、Ｌ２は、光学チェーン内の内側レンズを表す。図３は、光学チェーンの１つの可能な実装形態を示すが、以下で説明されるように、他の実施形態も可能であり、光学チェーンは、図３に示される要素に加えて、１つまたは複数の光方向変換要素を含み得る。異なる光学チェーンのレンズは異なる形状を有してよく、たとえば、いくつかのレンズには、丸い絞りが使用され、他のレンズには、丸くない絞りが使用される。しかしながら、いくつかの実施形態では、丸い絞りを有するレンズが、カメラデバイスの光学チェーンの各々に使用される。
図２は、例示的なカメラデバイス１００の前面を示す。図１に示される、カメラアセンブリの前面に向かう光である光１３１の光線は、カメラハウジングの前面に設置されたレンズに入り得る。カメラデバイス１００の前面から、カメラデバイス１００は、カメラハウジングを表す外側長方形と、複数の光学チェーン１３０が取り付けられた前面カメラ本体の部分を表すカメラの中心に向かう正方形とを有する、比較的平坦なデバイスと見える。図２に示される外側レンズは、同じサイズである円形絞りを有するように示されているが、以下で説明されるように、異なるサイズのレンズが、焦点距離たとえば、に応じて異なる光学チェーンに使用され得、より大きな焦点距離を有する光学チェーンは通常、小さな焦点距離を有する光学チェーンよりも大きい絞りを有する外側レンズを含むことに留意されたい。
カメラデバイス１００の側面視点を示す図３は、光学チェーン１３０のセットのうちの７つの光学チェーンのうちの３つ（ＯＣ１ １２１、ＯＣ７ １４５、ＯＣ４ １３３）と、ディスプレイ１０２と、プロセッサ１１０とを示す。ＯＣ１ １２１は、外側レンズＬ１ １０３と、フィルタ１２３と、内側レンズＬ２ １２５と、センサ１２７とを含む。いくつかの実施形態では、ＯＣ１ １２１は、ズーミング動作および／またはオートフォーカス動作の目的でレンズＬ２ １２５の位置を制御するためのレンズ駆動部（ＬＤ）１２９をさらに含む。露光および読み出しコントローラ１５０は図に示されていないが、同期方式で、たとえばシーンエリアが個々のセンサによってキャプチャされることを考慮に入れて、センサ１２７、１５１、および１３９からの画素値の行の読み出しを制御するために使用される。ＬＤ１２９は、それが接続され、それによって、ＬＤが結合された光学チェーンの他の要素に対して１つまたは複数の要素を移動させることによって光路の改変を可能にする、レンズ、１つまたは複数のレンズを収納するバレルもしくはシリンダ、またはセンサを移動可能な、モータまたは他の駆動機構を含む。ＬＤ１２９は、レンズＬ２ １２５に結合される、たとえば接続されるように示されており、したがって、たとえば、動作ズーミング動作またはオートフォーカスの一部としてレンズＬ２の位置を移動させることができるが、他の実施形態では、ＬＤ１２９は、光学チェーンの一部である円筒状またはバレル形状の構成要素に、またはセンサ１２７に結合される。したがって、レンズ駆動部は、たとえば、ズーミング動作および／またはフォーカス動作の一部としてセンサ１２７とレンズ１２５との間の距離を変更するために、センサ１２７に対するレンズの相対位置を変えることができる。ＯＣ７ １４５は、外側レンズＬ１ １１５と、フィルタ１４７と、内側レンズＬ２ １４９と、センサ１５１とを含む。ＯＣ７ １４５は、レンズＬ２ １４９の位置を制御するためのＬＤ１５３をさらに含む。ＬＤ１５３は、レンズ、バレル、シリンダ、センサ、またはＬＤ１５３が接続された他の光学チェーン要素を移動可能なモータまたは他の駆動機構を含む。
ＯＣ４ １３３は、外側レンズＬ１ １０９と、フィルタ１３５と、内側レンズＬ２ １３７と、センサ１３９とを含む。ＯＣ４ １３３は、レンズＬ２ １３７の位置を制御するためのＬＤ１４１を含む。ＬＤ１４１は、モータまたは他の駆動機構を含み、他の光学チェーンの駆動部と同じまたは類似の方式で動作する。ＯＣのうちの３つのみが図３に示されているが、カメラデバイス１００の他のＯＣは、同じまたは類似の構造を有し得、および／または光方向変換デバイスなどの他の要素を含み得、いくつかの実施形態では、同じまたは類似の構造を有し、および／または他の要素を含むことを理解されたい。したがって、カメラデバイス１００の複数の光学チェーン間の差が可能であり、いくつかの実施形態では、並行して動作可能な複数の光学チェーンの使用によって単一のカメラデバイス内でさまざまな焦点距離がサポートされることを可能にするために存在する。
図３と、その中に示される、カメラモジュールと呼ばれることもある光学チェーン（ＯＣ）は、さまざまな実施形態で使用されるＯＣの一般的な構造を示す。しかしながら、多数の修正形態および特定の構成が可能である。図３の要素がなされ得るが、特定の実施形態におけるＯＣ（カメラモジュール）は特定の実施形態に関して説明されるように構成され、さまざまな異なるカメラモジュールが、多くの場合、単一のカメラデバイス内で使用されることを理解されたい。図５および図１３Ａは、光方向変換デバイスを含む光学チェーンたとえばカメラモジュールを示す。そのようなモジュールは、単独で、または図３および図４Ａまたは本出願の他の図に示されるモジュールなどの他のモジュールと組み合わせて、使用可能である。
フィルタは、特定の色であってよく、またはいくつかの光学チェーンにおいて使用され得るが、フィルタは、すべての光学チェーンにおいて使用される必要はなく、いくつかの実施形態では、使用されないことがある。フィルタが明確に省略されるおよび／または省略されるもしくはすべての光が通過する要素であると説明される実施形態では、図３のＯＣについて参照がなされ得るが、省略される、または実施形態が広帯域フィルタを有することを意図される場合に広いスペクトルの光が通過することを可能にするような性質であることが意図される一実施形態では、フィルタが省略されることを理解されたい。図３のＯＣでは、光方向変換デバイス（Ｒ）たとえば鏡またはプリズムが示されていないが、以下で説明されるように、少なくともいくつかの実施形態では、１つまたは複数の鏡が、たとえば光路の長さを増加させるまたはより好都合な内部構成要素構成に寄与するために光が方向変換されるＯＣに含まれる。図３に示されるＯＣ１２１、１４５、１３３の各々はそれら自体の光軸を有することを理解されたい。例では、各光軸は、光学チェーンの先頭でレンズ１０３、１１５、または１０９の中心を通過し、ＯＣを通過して、対応するセンサ１２７、１５１、１３９に至る。
プロセッサ１１０は、ＬＤおよびセンサ１２７、１５１、１３９に結合されると示されていないが、そのような接続が存在し、例示的なＯＣの構成の例示を容易にするために図３から省略されていることを理解されたい。
理解されるべきであるように、レンズ、フィルタ、および／または鏡の数および配置は特定の実施形態に応じて変化可能であり、図３に示される配置は、例示的なものであり、性質を制限することではなく、さまざまな特徴の理解を容易にすることを意図されている。
複数の光学チェーン１３０の前面は図２で視認可能であり、各光学チェーンの最も外側のレンズは、実線を使用して表される円として現れる（ＯＣ１ Ｌ１ １０３、ＯＣ２ Ｌ１ １０５、ＯＣ３ Ｌ１ １０７、ＯＣ４ Ｌ１ １０９、ＯＣ５ Ｌ１ １１１、ＯＣ６ Ｌ１ １１３、ＯＣ７ Ｌ１ １１５）。図２の例では、複数の光学チェーン１３０は、図２に示される中実の円によって表されるレンズ（ＯＣ１ Ｌ１ １０３、ＯＣ２ Ｌ１ １０５、ＯＣ３ Ｌ１ １０７、ＯＣ４ Ｌ１ １０９、ＯＣ５ Ｌ１ １１１、ＯＣ６ Ｌ１ １１３、ＯＣ７ Ｌ１ １１５）をそれぞれ含む、７つの光学チェーンすなわちＯＣ１ １２１、ＯＣ２ １５７、ＯＣ３ １５９、ＯＣ４ １３３、ＯＣ５ １７１、ＯＣ６ １７３、ＯＣ７ １４５を含む。光学チェーンのレンズは、前面からユニットとして見られたとき図２の例では略円形であるパターンを形成するように配置される。いくつかの実施形態では、円形配置が使用されるが、他の実施形態では、非円形配置が使用され、好ましい。いくつかの実施形態では、全体的なパターンは略円形またはほぼ円形であるが、略円の中心への異なる距離および／または１つのレンズから別のレンズへの異なる距離は、デブスマップの生成を容易にし、繰り返しパターンの縁を識別する必要のない繰り返しパターンなどの周期構造を含み得る画像の処理を阻止するために意図的に使用される。そのような繰り返しパターンは、グリルまたはスクリーンで見つけられ得る。
光学カメラモジュールと呼ばれることもある複数の光学チェーンＯＣ１〜ＯＣ７の複数のレンズに対応する全体的な総合光キャプチャエリアは、結合すると、はるかに大きい開口を有するが、通常であれば図２に示されるレンズが占有するエリアを占有する単一のレンズの湾曲によって必要とされるであろう厚さを有する単一のレンズを必要とすることのないレンズの全体的な総合光キャプチャエリアを近似することができる。
光学チェーンＯＣ１〜ＯＣ７のレンズ開口間の間隙が示されているが、レンズが、互いに密に嵌合し、実線によって形成される円によって表されるレンズ間の間隙を最小限にするように作製され得、いくつかの実施形態では、そのように作製されることを理解されたい。図２には７つの光学チェーンが示されているが、他の数の光学チェーンも可能であることを理解されたい。たとえば、図１２Ａおよび図１７Ａに示されるように、いくつかの実施形態では、１７のカメラモジュールが単一のカメラデバイス内で使用される。一層大きな数の光学チェーンを含むカメラデバイスも可能である。
複数の光学チェーンの使用は、単一の光学チェーンの使用に勝るいくつかの利点を有する。複数の光学チェーンを使用することは、ノイズ平均化を可能にする。たとえば、小さなセンササイズを仮定すれば、１つの光学チェーンが別の光学チェーンと異なる数、たとえば１つまたは複数の、光子を検出し得るランダムな確率が存在する。これは、画像が感知されることにおける実際の人間が知覚可能な変動とは反対のノイズを表し得る。異なる光学チェーンによって感知された画像の一部分に対応する感知された画素値を平均化することによって、不規則ノイズが平均化され、単一の光学チェーンの出力が使用された場合よりも正確で快い画像またはシーンの表現がもたらされ得る。
小さいサイズの光学センサ（たとえば、個々の画素要素）を仮定すれば、光感受性に関するダイナミックレンジは通常、制限され、センサは、明るい条件下で容易に飽和されるようになる。異なる露光時間に対応する複数の光学チェーンを使用することによって、シーンエリアの暗い部分は、より長い露光時間に対応するセンサによって感知可能であるが、シーンエリアの光の部分は、飽和されることのない、より短い露光時間を用いて、光学チェーンによって感知可能である。センサ飽和を示す画素値によって示される、飽和されるようになる光学チェーンの画素センサは無視可能であり、他の、たとえばあまり露光されない、光学チェーンからの画素値は、他の光学チェーンの飽和された画素センサからの寄与なしで使用可能である。いくつかの実施形態では、露光時間の関数としての飽和されていない画素値の重み付けおよび組み合わせが使用される。異なる露光時間を有するセンサの出力を結合することによって、単一のセンサと露光時間とを使用して可能であろうよりも大きなダイナミックレンジがカバーされ得る。
図３は、図１および図２に示されるカメラデバイス１００の断面視点である。図２の破線１０１は、図３の断面図が対応するカメラデバイス内のロケーションを示す。側断面図から、第１の光学チェーン、第７の光学チェーン、および第４の光学チェーンの構成要素が視認可能である。
図３に示されるように、複数の光学チェーンを含むにもかかわらず、カメラデバイス１００は、少なくともいくつかの実施形態において、比較的薄型のデバイス、たとえば、厚さが２、３、または４センチメートルよりも薄いデバイスとして実施可能である。より厚いデバイス、たとえば望遠レンズを有するデバイスも可能であり、本発明の範囲内であるが、より薄いバージョンが携帯電話および／またはタブレット実装形態に特に好適である。以下で説明されるように、光方向変換要素および／または非円形レンズの使用などのさまざまな技法が、比較的大きい焦点距離、たとえば、比較的薄いカメラデバイスフォーマットにおける、フルフレームＤＳＬＲカメラに対して１５０ｍｍ相当の焦点距離、フルフレームＤＳＬＲカメラに対して３００ｍｍ相当の焦点距離、または上記のカメラモジュールをサポートするために、ハンドヘルドカメラで一般に使用されるセンサなどの小さいセンサに関連して、使用可能である。
図３の図に示されるように、ディスプレイデバイス１０２は、複数の光学チェーン１３０の後ろに置かれ得、プロセッサ１１０、メモリ、および他の構成要素は、少なくともいくつかの実施形態では、ディスプレイおよび／または光学チェーン１３０より上方または下方に位置決めされ得る。以下で説明されるように、および図３に示されるように、光学チェーンＯＣ１ １２１、ＯＣ７ １４５、ＯＣ４ １３３の各々は、レンズＬ１とフィルタＦと第２のレンズＬ２とを通過してセンサＳに到達する光をキャプチャしてその強度を測定するセンサＳへ進む、外側レンズＬ１と、任意選択のフィルタＦと、第２の任意選択のレンズＬ２とを含み得、いくつかの実施形態では、これらを含む。フィルタは、カラーフィルタまたはさまざまな他のタイプの光フィルタのうちの１つであってもよいし、特定の光学チェーン実施形態または構成によっては省略されてもよい。
比較的大きい光キャプチャエリアをサポートし、カラーフィルタリングおよび露光時間に関する大きな柔軟性を提供しながら、図３に示されるカメラデバイス１００は比較的薄く、図２で視認可能なカメラデバイスの全体的な横方向の長さもしくはさらには上下方向の長さよりもはるかに薄い、たとえば、５分の１、１０分の１、２０分の１、または一層薄い厚さを有することに留意されたい。
図４Ａは、本発明により実施されるカメラデバイス２００を示す。図４のカメラデバイス２００は、図１〜３のデバイス１００に示される同じ要素のうちの多くまたはすべてを含む。例示的なカメラデバイス２００は、互いに結合された、複数の光学チェーン（ＯＣ１ ２０５、ＯＣ２ ２０７、…、ＯＣ Ｘ ２０９と、プロセッサ２１１と、メモリ２１３と、ディスプレイ２１５とを含む。ＯＣ１ ２０５は、外側レンズＬ１ ２５１と、光方向変換要素Ｒ ２５２と、ヒンジ（または鏡）駆動部ＨＤ２９１と、フィルタ２５３と、内側レンズＬ２ ２５５と、センサ１ ２５７と、ＬＤ２５９とを含む。ＨＤ２９１は、光方向変換デバイス（Ｒ）２５２たとえば鏡が取り付けられるヒンジの位置を移動させ、したがって、レンズ２５１を移動させることなくモジュール２０５が向けられるシーンエリアを変更するために鏡を移動させるために使用可能である。モジュール２０５が向けられるシーンエリアを変更するために鏡２５２を移動させる（たとえば、ヒンジのまわりに回転させる）ことは、いくつかの実施形態と同様に屈折力を持たない、外側レンズ２５１がガラスの平面状断片またはプラスチック断片である一実施形態において、特に有用である。
図４Ａに示される光学チェーンは、カメラ２００内のさまざまな位置に配置可能である。図４Ａに示される要素と同じである図４Ｂ内の要素は、同じ参照番号を使用して識別され、再び説明されない。図４Ｂは、光がカメラ２００の前面または面を介して入り、カメラ２００の外側部分を形成するカメラハウジングの内部上部部分に取り付けられた第１〜第３のカメラモジュールのセンサ２５７、２６９、２８１にそれぞれ方向変換される配置内の光学チェーンの構成を示す。
図４Ｂの実施形態でわかるように、水平次元に入る光は、垂直に上方に方向変換される。たとえば、第１の光学チェーン２０５の外側レンズ２５１を通って入る光は、センサ２５７に向かって進むときフィルタ２５３および内側レンズ２５５を通過するように、鏡２５２によって上方に方向変換される。要素２５２などの光方向変換要素を有する、第１の光学チェーン２０５などの光学チェーンは、説明の目的で、２つのパートすなわちパートＡおよびパートＢに分割可能である。パートＡは、光路内で光方向変換要素２５２の前にある光学チェーン内のすべての要素からなり、パートＢは、光路内で光方向変換要素の後ろにあるすべての光学素子（画像センサを含む）からなる。カメラの外部から見られる光学チェーン２０５の光軸は、パートＡの光軸２９１である。光軸２９１に沿って光学チェーン２０５内へと進む光は、第１の光学チェーンのパートＢの光軸２９３に沿って上方に方向変換される。
光学チェーン２０５の特定の例示的な一実施形態では、パートＡは、いかなる屈折力を有する光学素子を含まず、たとえば、パートＡは、平面状ガラスまたはフィルタを含むが、レンズは含まない。この場合、カメラの外部から見られる光学チェーンの光軸は、単に、光方向変換要素によってパートＢの光軸２９３に沿って方向変換される光路に沿っている。いくつかの実施形態では、１つまたは複数のレンズ２５５が、屈折力を有する光学チェーンのパートＢに含まれる。したがって、少なくともいくつかの実施形態では、外側レンズ２５１は、カメラ２００の表面から突き出さない平坦なまたは比較的平坦なレンズとして実施され得ることを理解されたい。これによって、すり傷のリスクが低減され、レンズがカメラから突き出す場合にそうであろうようにポケットまたはケースから外側レンズを挿入または除去するときに外側レンズが挟まれる可能性も低減される。
第２のカメラモジュールおよび第３のカメラモジュールの光軸は第１の光学モジュール２０５の光軸に類似しており、光学チェーンの構成要素も、２つのパート、すなわち、光学チェーンの鏡へ進む構成部品に対応するパートＡおよび光学チェーンの鏡に続く構成要素に対応するパートＢにグループ化され得ることを理解されたい。光学チェーンの光路の視点から、構成要素のような光路はパートＡおよびパートＢとしてグループ化され得、鏡は、光路のパートＡと光路のパートＢとの間の遷移点を提供する。
すべてではないが、いくつかの実施形態では、図４Ａのカメラデバイス２００のプロセッサ２１１は図１のデバイス１００のプロセッサ１１０と同じであるかまたはこれに類似しており、図４Ａのデバイス２００のメモリ２１３は図１のデバイス１００のメモリ１０８と同じであるかまたはこれに類似しており、デバイス２００のズーム制御モジュール２１４はデバイス１００のズーム制御モジュール１４０と同じであるかまたはこれに類似しており、デバイス２００の加速度計モジュール２１６はデバイス１００の加速度計モジュール１２２と同じであるかまたはこれに類似しており、図４Ａのデバイス２００のディスプレイ２１５は図１のデバイス１００のディスプレイ１０２と同じであるかまたはこれに類似している。
ＯＣ２ ２０７は、外側レンズＬ１ ２６３と、光方向変換デバイス２３１と、ヒンジ駆動部２９３と、フィルタ２６５と、内側レンズＬ２ ２６７と、センサ２ ２６９と、ＬＤ２７１とを含む。ＯＣ Ｎ ２０９は、外側レンズＬ１ ２７５と、光方向変換デバイス２３５と、ヒンジ駆動部２９５と、フィルタ２７７と、内側レンズＬ２ ２７９と、センサＮ ２８１と、ＬＤ２８３とを含む。露光および読み出しコントローラ１５０は、露光時間も制御しながら、たとえば画素値の列を同期方式で読み出すようにセンサを制御する。いくつかの実施形態では、露光および読み出しコントローラ１５０は、露光コントローラ２８７とセンサ読み出しコントローラ２８９とを含むローリングシャッターコントローラである。オートフォーカスコントローラ１５２は、いくつかの実施形態では、レンズ駆動部２５９と２７１と２８３とを制御するために含まれる。
図４Ａの実施形態では、光学チェーン（光学チェーン１ ２０５、光学チェーン２ ２０７、…、光学チェーンＮ ２０９）は独立アセンブリとして示されおり、各モジュールのレンズ駆動部はそれぞれ、別個のＬＤ要素（ＬＤ２５９、ＬＤ２７１、ＬＤ２８３）である。示されるＬＤの各々は、ズーミング動作および／またはフォーカス動作の一部として、接続された対応するレンズの位置を調整する。いくつかの実施形態では、ＬＤは、ＬＤがレンズ支持機構またはレンズとセンサの両方に接続されるレンズおよび／またはセンサの位置を制御する。
図４Ａでは、各光学チェーン内のセンサの前にくる鏡とさまざまなレンズとフィルタとの間の構造上の関係は、他の図のうちのいくつかにおいてよりも、はっきりとわかる。図４Ａでは、４つの要素、たとえば２つのレンズ（それぞれＬ１とＬ２に対応する列２０１と２０３とを参照されたい）、光方向変換デバイスＲ（列２１７を参照されたい）、およびフィルタ（列２０２に対応する）が、各センサの前に示されているが、はるかに大きな組み合わせ（たとえば、数）のレンズ、光方向変換要素、および／またはフィルタが、１つまたは複数の光学チェーンのセンサの前にきてよく、２〜１０の範囲の要素が一般的であり、いくつかの実施形態、たとえば、ハイエンド実施形態ならびに／または多数のフィルタおよび／もしくはレンズの選択肢をサポートする実施形態では、一層大きな数の要素が使用されることを理解されたい。そのうえ、すべての示されている要素がすべての光学チェーンに含まれる必要はないことを理解されたい。たとえば、短い焦点距離を有する光学チェーンは、短い焦点距離を考えると、まっすぐであるが依然として比較的にコンパクトな方式で実施可能であるので、いくつかの実施形態では、比較的短い焦点距離を有する光学チェーンが、たとえば光を９０度方向変換するために、光方向変換要素の使用が使用されることなく実施され得る。
すべてではないが、いくつかの実施形態では、光学チェーンがカメラデバイス内に取り付けられ、場合によっては、たとえば、より短い焦点距離の光学チェーンが、カメラデバイスの前面から背面に向かってまっすぐに延在する。しかしながら、同じカメラ内では、より長い焦点距離のカメラモジュールは、カメラモジュールの光路の少なくとも一部分が横に延在することを可能にし、光軸の長さがカメラの奥行きよりも長いことを可能にする光方向変換デバイスを含み得、場合によっては、これを含む。そのようなモジュールの全長が、より短い焦点距離を有するカメラモジュールの全長よりも長い傾向があることを考えると、光方向変換要素たとえば鏡の使用は、長い焦点距離のカメラモジュールにとって特に有利である。カメラは、多種多様の異なるカメラモジュールを有し得、いくつかのモジュールは光方向変換要素たとえば鏡を持ち、他のモジュールは鏡を持たない。異なる光学チェーンに対応するフィルタおよび／またはレンズは、平面内に配置され得、いくつかの実施形態では配置され、たとえば、最も外側のレンズの絞りは、カメラの面と平行に延在する平面、たとえば、カメラが垂直方向であり、カメラの上部がいずれも上向きであるとき、カメラの前面が垂直と水平の両方に延在する平面内に構成され得る。
図５は、さまざまな例示的な実施形態で使用される光学チェーンたとえばカメラモジュール５００を示す。図５に示されるタイプの複数の光学チェーンは、以下で詳細に説明されるカメラ６００などのカメラデバイスで使用される。カメラモジュール５００は、外側レンズ５１２と、レンズ５１２の後ろに位置決めされた光方向変換デバイスたとえば鏡５１０と、ヒンジ駆動部５１６と、鏡ヒンジ５０８と、第１の円筒状モジュール部分５０６と、第２の円筒状モジュール部分５０４と、センサ５０２と、レンズ駆動部５１４とを含む光学チェーンである。光は、レンズ５１２を介して光学チェーン５００に入り、光学チェーンの背面にあるセンサ５０２に到達するように鏡５１０によって方向変換される。第１の円筒状部分５０４および第２の円筒状部分５０６は、１つまたは複数のレンズまたはフィルタ、ならびに光がセンサ５０２に到達する前に通過し得る他の光学構成要素を収納することができる。鏡５１０は通常、光がカメラの側面に向かって進み、光学チェーン５００が、光学チェーン５００が取り付けられたカメラデバイスの横方向の距離を効果的に使用することを可能にするように、その光軸に沿ってレンズ５１２（カメラの面に位置決めされ得る）を通って入る光が光学チェーン５００のパートＢの光軸に沿って方向変換されるように、光を９０度方向変換するために使用されるが、ヒンジ駆動部５１６は、方向変換の角度が９０度から変化するように方向変換の角度を変えるために、ヒンジ５０８およびしたがって鏡５１０の位置を移動させ得る。したがって、光学チェーン５００が効果的に向く方向は、レンズ５１２を移動させることなくヒンジ５０８および鏡５１０のすべてまたは一部分を移動させることによって変えられ得る。いくつかの実施形態では、ヒンジの軸は、光軸のパートＢに垂直であり、カメラ６００の前面の場所と平行である。いくつかの実施形態では、レンズ５１２は、屈折力を持たない平面状ガラスである。
ヒンジ駆動部は、鏡５１０および／または円筒状部分５０６などのカメラモジュールの他の構成要素に鏡を接続するヒンジ５０８の位置を駆動または変更するために使用可能なモータまたは他の機械的機構を使用して実施され得る。
円筒状部分またはバレル部分５０４、５０６は、互いに対して摺動するように駆動部５１４によって移動され得、たとえば、バレル部分５０４は、バレル部分５０６内外へとまたはそれからさらに移動するように移動され、それによって、フォーカス動作またはズーム動作の一部として、レンズ５１２からセンサ５０２までの距離を変え得る。
光学チェーン５００は、比較的に長い光学チェーンが、光学チェーン５００の全長よりも短い奥行きを有するカメラデバイス内に位置決めされることを可能にすることを理解されたい。カメラモジュール５００は、複数の光学チェーンを含むが、依然として、ポケットまたは他のストレージデバイス内の格納を容易にするために比較的薄いことが意図されたカメラデバイスを実施するのに特に好適である。
図６は、複数の光学チェーンたとえば図５に示されるタイプのカメラモジュールを含むカメラデバイス６００の斜視図である。カメラ６００は、可撓性であり、ハンドグリップを形成し、レンズエリア６０４を露出するために側部に摺動可能なカバー６０２を含む。図６の実施形態では、レンズエリア６０４は、各々が円によって表される複数の外側レンズを含む。より大きい円は、より小さいレンズを有する光学チェーンよりも大きい絞りと焦点距離とを有する光学チェーンに対応する。図６の実施形態は、３つの異なる焦点距離に対応する合計１７の光学チェーンを含む。レンズエリア６０４内の５つの最も小さい円によってわかる５つの小さい焦点距離の光学チェーンと、５つの中間の焦点距離の光学チェーンの外側レンズを表す５つの中間サイズの円によってわかる５つの中間の焦点距離の光学チェーンと、図６のレンズエリア６０４に示される７つのより大きい円によってわかる７つの長い焦点距離の光学チェーンが存在する。最小の光学チェーンと最大の光学チェーンとの間の焦点距離の関係は、一実施形態では、最小焦点距離が最大光学チェーンの焦点距離の４分の１であり、中間の焦点距離の光学チェーンの焦点距離の２分の１であるようなものである。たとえば、小さい焦点距離の光学チェーン、中間焦点距離の光学チェーン、および長い焦点距離の光学チェーンはそれぞれ、３５ｍｍ、７０ｍｍ、および１４０ｍｍの相当するフルフレームＤＳＬＲ焦点距離を有し得、一実施形態では、これを有する。そのような焦点距離の差が、３５ｍｍカメラモジュールは、７０ｍｍカメラモジュールによってキャプチャされるエリアよりも約４倍大きく、１４０ｍｍの焦点距離を有するカメラモジュールによってキャプチャされるシーンエリア１６倍のサイズの、シーンエリアをキャプチャすることをもたらすことを理解されたい。図６には示されていないが、カメラデバイス６００は、図１および図４Ａのカメラデバイス１００およびカメラデバイス２００と同じまたは類似の要素を含み得、いくつかの実施形態では、これを含むことを理解されたい。したがって、カメラデバイス６００は、プロセッサ１１０／２１１、メモリ１０８／２１３、ズームコントローラ１４０／２１４、露光および読み出しコントローラ１５０、加速度計、ジャイロ、オートフォーカスコントローラ１３２などのさまざまな要素、ならびに上記でカメラデバイス１００および２００に関して説明されたさまざまな他の要素を含むことを理解されたい。
関心シーンエリアの部分をキャプチャするために異なる焦点距離を有するカメラモジュールを使用することによって、次いで、さまざまな実施形態で行われるように画像を結合することによって、合成画像は、いかなる個々のセンサよりも高い全体画素カウントを有することができる。したがって、異なる焦点距離を有する異なるカメラモジュールによって使用されるセンサが同じ画素カウントを有するときでも、合成画像の画素の数は、個々のセンサの画素の数よりもはるかに高くなり得る。
いくつかの実施形態では、以下で説明されるように、関心シーンエリアの異なる部分は、最大焦点距離を有するカメラモジュールのうちの異なるものによってキャプチャされる。次いで、より大きい関心シーンエリアが、関心シーンエリア全体に対応し得る場合、たとえば、最小のサポートされる焦点距離を使用するカメラデバイスのカメラモジュールの場合、中間または小さい焦点距離を有するカメラモジュールが、関心シーンエリアのより大きい部分をキャプチャするために使用される。重複する画像は、異なるカメラモジュールの画像センサによってキャプチャされる。カメラデバイス上のカメラモジュールの位置についての既知の空間情報、たとえば、異なるカメラモジュールの外側レンズ間の距離および／または個々のカメラモジュール（結合されることになる画像をキャプチャする）の各々が指す角度に基づいて、奥行き情報が生成される。以下でさらに説明されるように、合成画像を形成するために、異なるカメラモジュールによってキャプチャされた画像が、奥行き情報を使用して結合される。画像は、シーンまたはシーンエリア内の奥行き情報を生成することなく結合可能であり、いくつかの実施形態では、結合されることに留意されたい。いくつかのそのような実施形態では、最初に、関心シーンエリアを覆う画像が基準画像として選定される。次いで、合成画像が、基準画像においてキャプチャされた視点から生成される。そのような一実施形態では、基準画像内の選定された画素の小さいブロックが、他の画像の選定されたサブセットに含まれる各画像内の合致する画素の集合で結合される。組み合わせは、基準画像ブロック内の各画素が、被写体内の画像の各々における合致する画素（または、画像部分が非整数画素シフトと合致する場合、補間された画素）で結合されるように実行される。結合は画素値の重み付け和であってよく、ここで、重みは、画素が属する画像の品質に基づいて割り当てられる。この結合された画素のブロックは、ここで、合成画像の対応するブロックになる。プロセスは、合成画像全体を生成するために基準画像の他のブロックに対して繰り返される。異なる焦点距離を有するカメラモジュールで撮影された画像、次いで、基準画像は、異なる倍率を有することに留意されたい。この場合、これらの画像はまず、上記のプロセスが実行される前に基準画像と同じ倍率を有するように適切に拡大縮小されるべきである。より良いＳＮＲを有する可能性を有するように上記のように複数の画像を結合することによって生成される合成画像、次いで、合成画像を生成するために使用される画像結合に基づいて選択された基準画像。
３つの異なる焦点距離に対応するその１７の異なるカメラモジュールを有する図６のカメラデバイスは、以下で詳細に説明されるように、合成画像を生成するためにキャプチャされた画像を結合するのに特に好適である。
図７は、カメラケースを閉位置に有する、図６のカメラデバイス６００を示す。可撓性ケース６０２は、カメラが使用中でないとき、レンズエリア６０４とその中に含まれるレンズとを保護可能なカバーとして働くことに留意されたい。
図８は、カメラデバイス６００およびカメラデバイスのレンズ配置の正面図であり、１５の外側レンズは、レンズエリア６０４内の円としてはっきりと視認可能である。最小焦点距離を有するカメラモジュールに対応する最小レンズの直径はｄであり、中間の焦点距離のモジュールに対応する外側レンズは直径２ｄを有し、最大焦点距離を有するカメラモジュールは直径４ｄを有することに留意されたい。これは、ｆ１が最大焦点距離（ｆ３）の４分の１であり、中間の焦点距離を有するカメラモジュールの中間の焦点距離ｆ２の焦点距離の２分の１である焦点距離関係ことを仮定すると、同じ「ｆストップ」すなわち「ｆ値」を有するカメラモジュールをもたらす。「ｆ値」は、焦点距離と絞り直径の比であり、カメラモジュールの回折限界を決定する。ｆ値が小さいほど、カメラモジュールの回折限界となる可能性が低くなる。より小さいｆ値は通常、カメラモジュールにおけるより大きな光学的複雑さに対応する。５または６の成形されたプラスチック要素を有する小さいレンズは、最近、約２．４のｆ値に対するコスト効率の高い方式で製造可能である。したがって、いくつかの実施形態では、複数のプラスチック要素で作製されたプラスチックレンズが使用される。
図９は、レンズ構成およびレンズエリアのより良い理解を可能にするためにケース、制御装置、および他の特徴が省略された、カメラデバイス６００の簡略図である。
図１０は、カメラデバイス６００の側面図１０００である。図１０に示されるように、カメラデバイスは、高さＨ（制御ボタンを含まない）と、奥行きＤ１とを有する。Ｄ１は、図６に示される最大レンズの絞りの直径Ｄに等しいかまたはこれよりも大きい。以下に説明されるように、実施形態によっては、丸い絞りを有する外側レンズの直径は、光方向変換要素たとえば鏡が光を方向変換するために使用される場合、カメラの最小奥行きに影響を与えることができる。この場合、カメラの最小奥行きは、この直径よりも大きくなければならない。そうでない場合、実際のモジュール絞りは外側レンズの直径よりも小さく、より小さな外側レンズが使用されてよい。
図１１は、カメラ６００の外側レンズ配置の拡大されたバージョン１１００を示す。図１１では、３つの異なるサイズの外側レンズがはっきりと視認可能であり、最大直径のレンズは、最大焦点距離、およびしたがってズームたとえば倍率、を有するカメラモジュールに対応する。
図１２Ａは、カメラ６００の１７の光学チェーンたとえばカメラモジュールがカメラ６００の本体内にどのように配置可能であるかを示す図１２００である。最大レンズと最大のサポートされる焦点距離とを有する７つの光学チェーン１２０２、１２０６、１２１０、１２１２、１２１６、１２２０、１２２２が、図５に示されるタイプの光学チェーンを使用して実施される。同様に、中間の直径のレンズと中間のサポートされる焦点距離とを有する５つのカメラモジュール１２０４、１２０８、１２１４、１２１８、１２２４も、図５に示されるタイプの光学チェーンを使用して実施される。最小直径の外側レンズと最小焦点距離とを有する５つの光学チェーン１２２６、１２２８、１２３０、１２３２、および１２３４は、鏡を使用せず、カメラの背面に向かってまっすぐに延在する光学チェーンを使用して実施される。図３の実施形態で使用されるタイプの光学チェーンは、光学チェーン１２２６、１２２８、１２３０、１２３２、および１２３４に使用され得る。しかしながら、図５に示されるタイプの光学チェーンは、光学チェーン１２２６、１２２８、１２３０、１２３２、および１２３４として使用され得、いくつかの実施形態では、使用されることを理解されたい。
カメラモジュールを見ることを可能にするためにカメラハウジングの前面が除去された正面図と考えられ得る図１２Ａの例から、単一のカメラを使用したシーンエリアの同じまたは異なる部分の複数の画像の同時および／または同期されたキャプチャを可能にする、より大きな数のカメラモジュールが単一のカメラデバイス６００にどのように組み込み可能であるかがわかる。カメラデバイスは、次いで、カメラ６００のカメラモジュールの単一のモジュールを使用して可能である超える画素の数などの画像属性および／または品質を有する合成画像を生成するために、複数の画像を結合することができる。
図１２Ｂは、カメラデバイス内のさまざまな光学チェーンおよびカメラデバイス内の光学チェーンの要素の配置をより詳細に示す、カメラデバイス６００の斜視図１２５０を示す。したがって、図１２Ｂは、図１２Ａに関して詳細に説明されるようなさまざまな対応する焦点距離を有する複数の光学チェーン（ＯＣ）１２０２、１２０４、１２０６、１２０８、１２１０、１２１２、１２１４、１２１６、１２１８、１２２０、１２２２、１２２４、１２２６、１２２８、１２３０、１２３２、および１２３４のより詳細な図を示す。
図１２Ｂに示されるように、カメラ６００は、カメラの前表面（矢印１２２３によって示される）からカメラの背／後表面（矢印１２２７によって示される）までのカメラ６００の厚さを表す奥行きＤ１を有する。図１２Ｂには示されていないが、いくつかの実施形態では、カメラデバイス６００は、図１および／または図４Ａのカメラデバイスと同じまたは類似の要素を含む。
いくつかの実施形態では、光学チェーン１２０２、１２０６、１２１０、１２１２、１２１６、１２２０、１２２２、１２０４、１２０８、１２１４、１２１８、１２２４に含まれる要素は、上記で図４Ｂおよび図５に関して説明された要素に類似しているが、光学チェーン１２２６、１２２８、１２３０、１２３２、および１２３４に含まれる要素は、上記で図３に関して説明された要素に類似している。図１２Ｂの実施形態では、各ＯＣは、丸い外側レンズを使用する。
ＯＣ１２０２は、外側レンズ１２０３と、レンズ１２０３の後ろに位置決めされた光方向変換デバイス１２０５たとえば鏡と、第１の内側レンズ１２０７と、フィルタ１２１３と、第２の内側レンズ１２１５と、センサ１２１７とを含む。いくつかの実施形態では、ＯＣ１２０２、１２０６、１２１０、１２１２、１２１６、１２２０、１２２２は、同じ焦点距離（図１２の他のＯＣと比較すると最大焦点距離）を有し、鏡、フィルタ、センサなどの類似の要素を使用する。したがって、ＯＣ１２０６、１２１０、１２１２、１２１６、１２２０、１２２２に対応する要素は、ＯＣ１２０２内の類似の要素を識別するために使用される同じ参照番号を使用して識別されているが、これらのＯＣ内の参照番号の後に、プライム符号（’）、ダブルプライム符号（’’）、トリプルプライム符号（’’’）などが続く。たとえば、ＯＣ１２０６は、外側レンズ１２０３’と、レンズ１２０３’の後ろに位置決めされた光方向変換デバイス１２０５’たとえば鏡と、第１の内側レンズ１２０７’と、フィルタ１２１３’と、第２の内側レンズ１２１５’と、センサ１２１７’とを含む。ＯＣ１２１０は、外側レンズ１２０３’’と、光方向変換デバイス１２０５’’と、第１の内側レンズ１２０７’’と、フィルタ１２１３’’と、第２の内側レンズ１２１５’’と、センサ１２１７’’とを含む。ＯＣ１２１２は、外側レンズ１２０３’’’と、光方向変換デバイス１２０５’’’と、第１の内側レンズ１２０７’’’と、フィルタ１２１３’’’と、第２の内側レンズ１２１５’’’と、センサ１２１７’’’とを含む。ＯＣ１２１６は、外側レンズ１２０３’’’’と、光方向変換デバイス１２０５’’’’と、第１の内側レンズ１２０７’’’’と、フィルタ１２１３’’’’と、第２の内側レンズ１２１５’’’’と、センサ１２１７’’’’’とを含む。ＯＣ１２２０は、外側レンズ１２０３’’’’’と、光方向変換デバイス１２０５’’’’’と、第１の内側レンズ１２０７’’’’’と、フィルタ１２１３’’’’’と、第２の内側レンズ１２１５’’’’’と、センサ１２１７’’’’’’とを含む。ＯＣ１２２２は、外側レンズ１２０３’’’’’’と、光方向変換デバイス１２０５’’’’’’と、第１の内側レンズ１２０７’’’’’’と、フィルタ１２１３’’’’’’と、第２の内側レンズ１２１５’’’’’’と、センサ１２１７’’’’’’とを含む。
同様に、同じ焦点距離（中間の）を有するＯＣ１２０４、１２０８、１２１４、１２１８、１２２４に対応する要素が、同じ参照番号を使用して識別される。ＯＣ１２０４は、外側レンズ１２３３と、レンズ１２３３の後ろに位置決めされた光方向変換デバイス１２３５たとえば鏡と、第１の内側レンズ１２３７と、フィルタ１２４３と、第２の内側レンズ１２４５と、センサ１２４７とを含む。光学チェーン１２０８は、外側レンズ１２３３’と、レンズ１２３３’の後ろに位置決めされた光方向変換デバイス１２３５’たとえば鏡と、第１の内側レンズ１２３７’と、フィルタ１２４３’と、第２の内側レンズ１２４５’と、センサ１２４７’とを含む。ＯＣ１２１４は、外側レンズ１２３３’’と、光方向変換デバイス１２３５’’と、第１の内側レンズ１２３７’’と、フィルタ１２４３’’と、第２の内側レンズ１２４５’’と、センサ１２４７’’とを含む。ＯＣ１２１８は、外側レンズ１２３３’’’と、光方向変換デバイス１２３５’’’と、第１の内側レンズ１２３７’’’と、フィルタ１２４３’’’と、第２の内側レンズ１２４５’’’と、センサ１２４７’’’とを含み、ＯＣ１２２４は、外側レンズ１２３３’’’’と、光方向変換デバイス１２３５’’’’と、第１の内側レンズ１２３７’’’’と、フィルタ１２４３’’’’と、第２の内側レンズ１２４５’’’’と、センサ１２４７’’’’とを含む。
図４Ｂに関して説明されたように、要素１２０５などの光方向変換要素を有する、光学チェーン１２０２（またはＯＣ１２０６、１２１０、１２１２、１２１６、１２２０、１２２２、１２０４、１２０８、１２１４、１２１８、１２２４）などの光学チェーンは、説明の目的で、２つのパートに分割可能である。カメラの前面の外部から見られる光学チェーン１２０２の光軸は、第１のパート１２０１の光軸（カメラ６００の前面１２２３から外側レンズ１２０３を介してＯＣに入る）である。光軸に沿って光学チェーン１２０２内へと進む光は、方向変換要素１２０５によって方向変換され、第１の光学チェーンの第２のパート１２０９を横断して、センサ１２１７に到達する。同様に、光学チェーン１２０４の光軸は、第１のパート１２１１と、方向変換要素１２３５による光方向変換の後の第２のパート１２１９とを含み、光学チェーン１２０６の光軸は第１のパート１２２１と第２のパート１２２９とを含み、光学チェーン１２０８の光軸は第１のパート１２３１と第２のパート１２３９とを含み、光学チェーン１２１０の光軸は第１のパート１２４１と第２のパート１２４９とを含み、光学チェーン１２１２の光軸は第１のパート１２５１と第２のパート１２５９とを含み、光学チェーン１２１４の光軸は第１のパート１２６１と第２のパート１２６９とを含み、光学チェーン１２１６の光軸は第１のパート１２７１と第２のパート１２７９とを含み、光学チェーン１２１８の光軸は第１のパート１２７８と第２のパート１２８８とを含み、光学チェーン１２２０の光軸は第１のパート１２８１と第２のパート１２８９とを含み、光学チェーン１２２２の光軸は第１のパート１２９１と第２のパート１２９９とを含み、光学チェーン１２２４の光軸は第１のパート１２９２と第２のパート１２９８とを含む。
図１２Ｂの例では、他の光学チェーンＯＣ１２２６、１２２８、１２３０、１２３２、および１２３４（最小焦点距離ＯＣ）は、各々、光が入る最も外側のレンズ１２５２、１２５３、１２５４、１２５５、および１２５６をそれぞれ有するが、ＯＣ１２２６、１２２８、１２３０、１２３２、および１２３４は、光方向変換要素を持たない。図１２Ｂには示されていないが、ＯＣ１２２６、１２２８、１２３０、１２３２、および１２３４は各々、カメラ６００の前面１２２３に垂直な光軸を有する。
外側レンズおよび内側レンズ、鏡、フィルタ、およびセンサなどのＯＣのさまざまな要素の機能は、先に、たとえば図４Ｂおよび図５の説明において、説明されている。図１２Ｂに示されるＯＣの要素の機能は、図４Ａ〜図４Ｂおよび図５に関して説明された機能と同じまたはこれに類似しているので、説明は繰り返されない。
光は、それぞれの外側レンズを介してＯＣ１２０２、１２０６、１２１０、１２１２、１２１６、１２２０、１２２２、１２０４、１２０８、１２１４、１２１８、１２２４の各々に入り、光学チェーンの各々の背面にあるそれぞれのセンサに到達するように、それぞれの方向変換要素によって方向変換される。多くの場合、光がＯＣに入る外側レンズは、光が入る入射瞳と呼ばれる。たとえば、光学チェーン１２０２の外側レンズ１２０３を通って（たとえば、第１の光軸１２０１によって示されるカメラ６００の前面１２２３から）入る光は、センサ１２１７に向かって進むとき第１の内側レンズ１２０７とフィルタ１２１３と第２の内側レンズ１２１５とを通過するように、鏡１２０５によって方向変換される。これより多いまたは少ない数の要素、たとえばレンズ、フィルタなどは、いくつかの実施形態では、ＯＣの各々に含まれ得る。カメラデバイス６００内の他の光学チェーンと同じ形状および／または解像度のセンサを依然として使用しながら、異なる光学チェーンは、異なるレンズを使用し得る。
ＯＣのレンズの後ろに位置決めされた、たとえばヒンジ結合された鏡などの光方向変換要素またはプリズムなどの他の光方向変換デバイスが移動および／または回転可能であり、それが、対応するＯＣの外側レンズの外部から見られるＯＣの光軸の変化をもたらすことを理解されたい。それは、カメラの外部から見られる光学チェーンの光軸（光軸１２０１、１２１１、１２３１などの第１のパートの光軸として上記で説明された）は、対応するＯＣの光方向変換要素を制御することによって変化可能である。したがって、図１２Ｂの例では、光軸１２０１、１２１１、１２２１、１２３１、…、１２９８、１２９９は平行であるように見えるが、いくつかの実施形態では、対応する光学チェーン内の外側レンズの後ろに置かれた鏡などの光方向変換要素を制御することによって、光軸は、１つまたは複数のＯＣの光軸が互いと平行でないように変化可能であることを理解されたい。鏡の移動を制御することによって光学チェーンの光軸を変化させる機能は、たとえば所与の方向の写真を撮影するために、カメラがその方向に向けられる場合と同じ効果をもたらし、したがって、カメラデバイスを実際に移動させることなく異なる視点から画像をキャプチャする機能を提供する。
異なる位置において光方向変換デバイス１２０５’’を有する光学チェーン１２１０を示す図１２Ｃ〜図１２Ｅは、光方向変換デバイス１２０５’’の位置を変えることによって光路の第１のパート１２４１がどのように変えられ得るかの好例である。ＯＣ１２１０は、外側レンズ１２０３’’と、レンズ１２０３’’の後ろに位置決めされた光方向変換デバイス１２０５’’たとえば鏡と、第１の内側レンズ１２０７’’と、フィルタ１２１３’’と、第２の内側レンズ１２１５’’と、センサ１２１７’’とを含む。
図１２Ｃでは、鏡の角度は上方に傾斜しており、光路の第１の部分１２４１が左に角度づけられることになる。鏡１２０５’’をこの位置に上昇させることによって理解されるべきであるように、光方向変換デバイス１２０５’’が光学チェーンモジュール１２１０の底部に対して４５度傾斜しているときと異なる画像エリアが観察され、センサ１２１７’’によってキャプチャされ、光学チェーンモジュール１２１０の底部は、レンズ１２０３’’がカメラの前面に面していると仮定すると、モジュールが取り付けられるカメラの背面と一致する。
図１２Ｄの構成では、すなわち、平面鏡１２０５’’が４５度の角度であり、センサに向けられる画像がシーンエリアの中心部分に対応するとき、鏡１２０５’’の位置たとえば角度を変更することによって、センサ１２１７’’によってキャプチャされるシーンエリアの部分が変わると仮定する。図１２Ｅは、鏡１２０５’’の角度を減少させることによって第１の部分１２４１がどのように右に向けられ得るかを示すが、図１２Ｆは、鏡１２０５’’の角度をさらにもっと減少させることによってシーンの部分がどのようにキャプチャされ、変更され得るかを示す。
図１２Ｃに示されるように光方向変換デバイスの角度を上昇させることは、いくつかの実施形態でサポートされているが、他の実施形態では、４５度以下の角度がサポートされる。そのような実施形態では、カメラの最大奥行きは、４５度の角度を超えて光方向変換デバイスを上昇させる能力をサポートするために増加される必要はない。
図１２Ｂに示されるモジュールの光方向変換デバイスの位置を変えることによって、光方向変換デバイスを有するモジュールによってキャプチャされる画像エリアは、モジュールそれ自体を移動させることなく変更可能であることを理解されたい。モジュール１２０８、１２１０、１２１２、１２１４、１２１８、１２２０、１２０２、１２０４などのカメラの面上で４５度の角度と平行に配置された光学チェーンモジュールの場合、光方向変換デバイスの角度を変更することによって、画像キャプチャエリアが、たとえばカメラの中心の真正面から効果的に移動され、またはたとえば関心シーンエリアのコーナーの四半分から、シーンエリアの何らかの他の部分をキャプチャする。カメラモジュールが、カメラデバイス１２５０の前面の１つのコーナーからカメラデバイス１２５０の別のコーナーまで延在する４５度の角度に沿ってまたはこれと平行に配置される場合、鏡位置を変更することは、キャプチャされている画像エリアを４５度の対角線に沿って摺動させる効果を有する。したがって、カメラモジュールが、カメラの前面の４５度のバイアスに沿って設置されるとき、画像キャプチャエリアは、カメラの前面に対して４５度の角度に沿って配置されたモジュールの光方向変換デバイスの単純な移動を介して、大きい画像エリアの中心部分ではなく大きい画像エリアの四半分がキャプチャされるように、シフトされ得る。画像キャプチャエリアは、図１２Ｃ〜図１２Ｄに示されるように光方向変換デバイス１２０５’’の角度を変えることによって、中心からコーナーの四半分に、またはその逆に、効果的に摺動され得る。
異なる光学チェーンは、鏡の位置および焦点距離に応じて、関心シーンエリアの異なる部分をキャプチャするために使用可能であり、いくつかの実施形態では、そのために使用される。キャプチャされる画像エリアは重複してよく、多くの場合は重複するが、重複する必要はない。異なるカメラモジュールによってキャプチャされるエリアの重複は、異なるモジュールによってキャプチャされる画像の組み合わせを容易にする。
たとえば、少なくともいくつかの光学チェーンの光軸が平行でない一実施形態に関する以下の説明を考えてみる。説明の目的で、図１２Ｂを参照し、図１２Ｂに示される要素に対応する参照番号を使用しているが、図１２Ｂの例とは異なるこの特定の実施形態の説明のために、２つ以上の光学チェーンの光軸（光学チェーンの最も外側のレンズの外部から見られる）は互いと平行ではなく、カメラの前面に垂直でないことがあることが理解されよう。この実施形態により実施されるカメラデバイスは、第１の光軸と第１の最も外側のレンズとを有するカメラの第１の光学チェーンたとえば第１のＯＣ１２０２と、第１の光軸と平行でない第２の光軸と第１の最も外側のレンズと異なる第２の最も外側のレンズとを有するカメラの第２の光学チェーンたとえば第２のＯＣ１２０８またはＯＣ１２１０とを含む。第１の光学チェーンは、関心シーンエリアの第１の部分の第１の画像をキャプチャするために使用可能であり、いくつかの実施形態では、そのために使用され、第２の光学チェーンは、関心シーンエリアの第２の部分の第２の画像をキャプチャするために使用可能であり、いくつかの実施形態では、そのために使用される。いくつかのそのような実施形態では、第１の光軸および第２の光軸は、たとえばカメラ６００の前（１２２３）面などの、カメラの前面に垂直でない。いくつかの実施形態では、第１の光学チェーンおよび第２の光学チェーンに加えて、例示的なカメラは、第３の光軸と第１の最も外側のレンズおよび第２の最も外側のレンズ（たとえば、１２０３および１２０３’’）とは別個の第３の最も外側のレンズ１２５３とを有する第３の光学チェーンたとえばＯＣ１２２８を含む。いくつかの実施形態では、第３の光学チェーンは、第１の光学チェーンまたは第２の光学チェーンのうちの少なくとも１つの焦点距離よりも小さい焦点距離を有する。いくつかの実施形態では、第３の光学チェーンは、第３の画像をキャプチャするために使用され、この第３の画像は、関心シーンエリアを含み、たとえば、関心シーンエリア全体の画像である。いくつかの実施形態では、第３の光軸はカメラの前面１２２３に垂直である。いくつかの実施形態では、第３の光軸は、第１の光軸または第２の光軸のいずれとも平行でない。いくつかの実施形態では、第２の光学チェーンは第２の焦点距離を有し、第１の光学チェーンは第１の焦点距離を有し、第２の焦点距離は前記第１の焦点距離よりも小さい。いくつかの他の実施形態では、第１の焦点距離と第２の焦点距離は同じである。いくつかの実施形態では、第３の光学チェーンは、第１の焦点距離および第２の焦点距離よりも小さい第３の焦点距離を有する。
いくつかの実施形態では、第１の光学チェーン、第２の光学チェーン、および第３の光学チェーンに加えて、カメラは、前記第１の最も外側のレンズ、前記第２の最も外側のレンズ、および前記第３の最も外側のレンズとは別個の第４の最も外側のレンズたとえばレンズ１２５６を有する、第４の光学チェーンたとえばＯＣ１２３４を含む。いくつかの実施形態では、第４の光学チェーンは、第４の画像をキャプチャするために使用され、この第４の画像は、関心シーンエリア、たとえば関心シーンエリア全体の、第２の画像を含む。いくつかの実施形態では、第４の光学チェーンは第４の光軸を有し、第３の光軸と第４の光軸は互いと平行である。いくつかの実施形態では、第３の光軸および第４の光軸は、第１の光軸または第２の光軸と平行でない。
いくつかの実施形態では、カメラは、第１の光軸および第２の光軸と平行でない第５の光軸を有する第５の光学チェーンたとえばＯＣ１２２０と、第１の光軸、第２の光軸、または第５の光軸と平行でない第６の光軸を有する第６の光学チェーンたとえばＯＣ１２１２とをさらに含む。いくつかの実施形態では、第５の光学チェーンは、第５の画像をキャプチャするために使用され、第６の光学チェーンは、第６の画像をキャプチャするために使用され、第５の画像は関心シーンエリアの第３の部分の画像であり、第６の画像は関心シーンエリアの第４の部分の画像である。いくつかの実施形態では、カメラは、第１の光学チェーンと同じ焦点距離と第７の画像とを有する第７の光学チェーンたとえばＯＣ１２１６をさらに含み、前記第７の光学チェーンは、カメラの面（１２２３）に垂直な光軸を有する。
いくつかの実施形態では、カメラ６００は、少なくとも第１の画像と第２の画像とを結合することによって合成画像を生成するように構成されたプロセッサ（たとえば、プロセッサ１１０、２１１）を含む。いくつかの実施形態では、プロセッサは、第１の画像、第２の画像、第３の画像、第４の画像、第５の画像、および第６の画像から合成画像を生成するように構成される。いくつかの実施形態では、プロセッサは、第１の画像、第２の画像、第３の画像、第４の画像、第５の画像、第６の画像、および第７の画像から合成画像を生成するように構成される。いくつかの実施形態では、プロセッサは、デバイスメモリたとえばメモリ１０８内での生成された合成画像の格納、および／またはディスプレイたとえばディスプレイ１０２上での合成画像の出力、および／またはインターフェース１１４などのインターフェースを介した別のデバイスへのキャプチャされた画像もしくは合成画像の送信を制御するようにさらに構成される。
図１３Ａは、構造に関して図５に示されるカメラモジュール５００に類似しているが、丸くない、たとえば卵形の、外側レンズ１３１２と方形の鏡１３１０とを光方向変換デバイスとして使用する、例示的な光学チェーンたとえばカメラモジュール１３００を示す。光学チェーン１３００は、さまざまな例示的な実施形態において使用される。カメラモジュール１３００は、すべてではないがいくつかの実施形態では屈折力を持たない平面状ガラスである外側レンズ１３１２と、レンズ１３１２の後ろに位置決めされた光方向変換デバイスたとえば鏡１３１０と、ヒンジ駆動部１３１６と、鏡ヒンジ１３０８と、第１の円筒状モジュール部分１３０６と、第２の円筒状モジュール部分１３０４と、センサ１３０２と、レンズ駆動部１３１３とを含む光学チェーンである。いくつかの実施形態では、断面は円形ではなく卵形であることがあるので、いくつかの実施形態では、円筒状モジュール部分は、正確に円筒状でなくてよい。しかしながら、卵形の断面を有している場合ですら、それらの部分は、形状が略円筒状に見え、したがって、円筒状部分と呼ばれる。光は、レンズ１３１２を介してカメラモジュール１３００に入り、光学チェーンの背面にあるセンサ１３０２に到達するように鏡１３１０によって方向変換される。第１の円筒状モジュール部分１３０４および第２の円筒状モジュール部分１３０６は、１つまたは複数のレンズまたはフィルタ、ならびに光がセンサ１３０２に到達する前に通過し得る他の光学構成要素を収納することができる。外側レンズ１３１２は、丸くない絞りを有するが、センサ１３０２は、図５の実施形態で使用されるものと同じ形状および／またはタイプであってよい。したがって、異なる光学チェーンは異なるレンズを使用し得るが、異なる光学チェーンは、カメラデバイス内の他の光学チェーンと同じ形状および／または解像度のセンサを依然として使用し得る。
潜在的なカメラの厚さに関して丸くない絞りを有する光学チェーンを使用する利点は、以降の説明に鑑みて明らかであろう。
図１３Ｂは、カメラハウジング１３２２を含むカメラデバイス１３２０内の複数の光学チェーン（ＯＣ）の例示的な配置を示す。カメラ内部の光学チェーンの配置に加えて、光学チェーンの各々の内部要素の構成および配置も、より詳細に示されている。６つのＯＣを有する１つの例示的な配置が図１３Ｂに示されているが、光学チェーンは、カメラ１３２０内のさまざまな他の位置に配置可能であることを理解されたい。図１３Ｂに示されるように、カメラ１３２０は、カメラの前表面（矢印１３２１によって示される）からカメラの背／後表面（矢印１３２５によって示される）までのカメラ１３２０の厚さを表す奥行きＤを有する。図１３Ｂは、カメラハウジング１３２２、厚さ（Ｄ）１３２３、前表面１３２１、および後表面１３２５などのカメラデバイス１３２０のさまざまな特徴がより良く理解できるように、カメラデバイス１３２０の斜視図を示すことを理解されたい。いくつかの実施形態では、カメラデバイス１３２０は、図１および／または図４Ａのカメラデバイスと同じまたは類似の要素を含む。
図１３Ｂに示される複数の光学チェーンは、ＯＣ１３２４と、ＯＣ１３２６と、ＯＣ１３２８と、ＯＣ１３３０と、ＯＣ１３３２と、ＯＣ１３３３とを含む。示されているさまざまな光学チェーンの各々に含まれる要素は、上記で図４Ａおよび図１３Ａに関して説明された要素に類似している。図１３Ｂの実施形態では、各ＯＣは、丸くない、たとえば卵形の、外側レンズを使用する。
ＯＣ１３２４は、外側レンズ１３３４と、レンズ１３３４の後ろに位置決めされた光方向変換デバイス１３３５たとえば鏡と、第１の内側レンズ１３３６と、フィルタ１３３８と、第２の内側レンズ１３４０と、センサ１３４２とを含む。ＯＣ１３２６は、外側レンズ１３４４と、レンズ１３４４の後ろに位置決めされた光方向変換デバイス１３４５と、第１の内側レンズ１３４６と、フィルタ１３４８と、第２の内側レンズ１３５０と、センサ１３５２とを含む。ＯＣ１３２８は、外側レンズ１３５４と、レンズ１３５４の後ろに位置決めされた光方向変換デバイス１３５５と、第１の内側レンズ１３５６と、フィルタ１３５８と、第２の内側レンズ１３６０と、センサ１３６２とを含む。同様に、ＯＣ１３３０は、外側レンズ１３６４と、レンズ１３６４の後ろに位置決めされた光方向変換デバイス１３６５と、第１の内側レンズ１３６６と、フィルタ１３６８と、第２の内側レンズ１３７０と、センサ１３７２とを含む。ＯＣ１３３２は、外側レンズ１３７４と、レンズ１３７４の後ろに位置決めされた光方向変換デバイス１３７５と、第１の内側レンズ１３７６と、フィルタ１３７８と、第２の内側レンズ１３８０と、センサ１３８２とを含む。ＯＣ１３３３は、外側レンズ１３８４と、レンズ１３８４の後ろに位置決めされた光方向変換デバイス１３８５と、第１の内側レンズ１３８６と、フィルタ１３８８と、第２の内側レンズ１３９０と、センサ１３９２とを含む。
図４Ｂに関して説明されたように、要素１３３５などの光方向変換要素を有する、図１３Ｂに示される光学チェーン１３２４などの光学チェーンは、説明の目的で、２つのパートに分割可能である。カメラの外部から見られる光学チェーン１３２４の光軸は、第１のパート１３３１の光軸（カメラ１３２０の前面から外側レンズ１３３４を介してＯＣに入る）である。光軸に沿って光学チェーン１３２４内へと進む光は、方向変換要素１３３５によって方向変換され、第１の光学チェーンの第２のパート１３３９を横断して、センサ１３４２に到達する。同様に、光学チェーン１３２６の光軸は、第１のパート１３４１と、方向変換要素１３４５による光方向変換の後の第２のパート１３４９とを含み、光学チェーン１３２８の光軸は第１のパート１３５１と第２のパート１３５９とを含み、光学チェーン１３３０の光軸は第１のパート１３６１と第２のパート１３６９とを含み、光学チェーン１３３２の光軸は第１のパート１３７１と第２のパート１３７９とを含み、光学チェーン１３３３の光軸は第１のパート１３８１と第２のパート１３８９とを含む。
いくつかの特定の実施形態では、カメラ１３２０は、非円形の（丸くないとも呼ばれる）絞りを有するレンズを有するＯＣ１３２４〜１３３３などの、複数の光学チェーン／カメラモジュールを有する。そのような一実施形態では、カメラ１３２０は、非円形の絞りがカメラの厚さの方向に沿った第１の方向のＤ（カメラの厚さ）よりも小さいかまたはこれに等しい長さと、カメラの厚さの方向に垂直な第２の方向に沿ったＤよりも大きい長さとを有するレンズ１３３６を使用する、第１の光学チェーンたとえばＯＣ１３２４を含む。さまざまな実施形態では、第１のレンズは、第２の光軸部分上の光方向変換要素に最も近いレンズ、たとえばレンズ１３３６である。いくつかのそのような実施形態では、カメラ１３２０は、非円形の絞りがカメラの厚さの方向に沿った第１の方向のＤよりも小さいかまたはこれに等しい長さと、第１の方向に垂直な第３の方向に沿ったＤよりも大きい長さとを有するレンズ１３４６を使用する、第２の光学チェーンたとえばＯＣ１３２６をさらに含む。いくつかのそのような実施形態では、第２の方向と第３の方向は、互いに対して９０度の角度をなす。いくつかのそのような実施形態では、カメラ１３２０は、非円形の絞りがカメラの厚さの方向に沿った第１の方向のＤ（カメラの厚さ）よりも小さいかまたはこれに等しい長さと、第１の方向に垂直な第４の方向に沿ったＤよりも大きい長さとを有するレンズ１３８６を使用する、第３の光学チェーンたとえばＯＣ１３３３をさらに含み、第１の方向と第２の方向と第３の方向は異なる。いくつかのそのような実施形態では、第２の方向と第３の方向は、互いに対して９０度の角度をなし、第２の方向と第４の方向は、互いに対して３０度から６０度の間の角度（たとえば、４５度）をなす。いくつかの実施形態では、第１の光方向変換デバイスは鏡である。いくつかの実施形態では、第１の光方向変換デバイスはプリズムである。いくつかの実施形態では、第１の光方向変換デバイスは、光を９０度方向変換する、４５度の角度がつけられた平面鏡である。
外側レンズおよび内側レンズ、鏡、フィルタ、およびセンサなどのＯＣのさまざまな要素の機能は、先に、たとえば図４Ａおよび図１３Ａの説明において、説明されている。図１３Ｂに示されるＯＣの要素の機能は同じまたは類似しているので、したがって、説明は詳細に繰り返されない。
光は、それぞれの外側レンズを介してＯＣ１３２４〜１３３３の各々に入り、光学チェーンの各々の背面にあるそれぞれのセンサに到達するように、それぞれの方向変換要素によって方向変換される。多くの場合、光がＯＣに入る外側レンズは、光が入る入射瞳と呼ばれる。たとえば、光学チェーン１３２４の外側レンズ１３３４を通って（たとえば、第１の光軸１３３１によって示されるカメラ１３２０の前面から）入る光は、センサ１３４２に向かって進むとき第１の内側レンズ１３３６とフィルタ１３３８と第２の内側レンズ１３４０とを通過するように、鏡１３３５によって方向変換される。これより多いまたは少ない数の要素、たとえばレンズ、フィルタなどは、いくつかの実施形態では、ＯＣの各々に含まれ得る。カメラデバイス内の他の光学チェーンと同じ形状および／または解像度のセンサを依然として使用しながら、異なる光学チェーンは、異なるレンズを使用し得る。
図１４は、カメラデバイス６００に類似しているが、大きい焦点距離の光学チェーンに丸くない絞りを有するレンズを使用するカメラデバイス１４００を示す。さまざまな実施形態では、丸くない絞りを有するレンズが、カメラハウジング１４０２内のさまざまな光学チェーンの一部として含まれる。丸くない、たとえば卵形の、絞りを有するレンズの使用が、レンズエリア１４０４内で視認可能である。丸くないレンズは、図６で使用される丸いレンズと同じ最大長を１つの次元に有するが、他の方向、たとえば最大絞り長さの方向に垂直な方向では、図６で使用される丸いレンズよりも小さい。丸くない絞りを有するレンズの異なる方位は、さまざまな方向において低周波数情報に加えて高周波数情報のキャプチャを可能にするために意図的に使用される。カメラ１４００は、図１３Ｂに示されるカメラ１３２０に類似しており、しかしながら、図１３Ｂには、丸くない絞りを有する光学チェーン／カメラモジュールの特定の配置が示されているが、図１４では、カメラ１４００は、わかるように、そのうちのいくつかは丸い絞りを有するレンズを使用し、いくつかの他のものは丸くない絞りを有するレンズを使用する、光学チェーンを含む。図１３Ｂに示され、上記で説明された複数のさまざまな光学チェーンは、カメラ１４００において使用可能である。
図１４には示されていないが、カメラデバイス１４００は、図１および図４Ａのカメラデバイス１００およびカメラデバイス２００と同じまたは類似の要素を含み得、場合によっては、これを含むことを理解されたい。したがって、カメラデバイス１４００は、プロセッサ１１０／２１１、メモリ１０８／２１３、ズームコントローラ１４０／２１４、露光および読み出しコントローラ１５０、加速度計、ジャイロ、オートフォーカスコントローラ１５２などのさまざまな要素、ならびに上記でカメラデバイス１００および２００に関して説明されたさまざまな他の要素を含むことを理解されたい。
図１５は、レンズエリア１４０４がはっきりと示された、カメラ１４００の簡略正面図１５００である。図１５では、よりはっきりとわかるように、カメラのレンズエリア１４０４は、そのうちのいくつかは丸いが、さまざまな他のものは丸くない、外側レンズ絞りを示す。上記で説明されたように、そのような組み合わせは、さまざまな方向において低周波数情報に加えて高周波数情報をキャプチャすることを可能にする。
図１６は、カメラデバイス１４００の側面図１６００である。カメラ１４００の側面図１６００では、カメラ１４００の前表面１６０２および後表面１６０４も示されている。カメラの高さＨは、カメラデバイス６００に対応する図１０の例と同じであるが、カメラデバイス１４００は、Ｄ１よりも小さく、いくつかの実施形態では最大長の方向における卵形の絞りの長さよりも小さい奥行きＤ２を用いて、実施されることに留意されたい。図１４の実施形態では、最大焦点距離を有するカメラモジュールに卵形の絞りを有するレンズを使用することによって、カメラの奥行きは、最大絞り寸法の最大寸法によって制限されず、絞りの最大長よりも小さくてよい。
カメラ１４００などのカメラに含まれる大きい絞りのレンズまたは最大絞りレンズは、大きなレンズまたはそれに関連付けられたまたは光方向変換デバイスの物理的サイズによりカメラの最小厚さに影響を与え得るが、多くの場合、より大きい絞りに丸くないレンズを使用しながら、丸いレンズを使用して、より小さい絞りをサポートすることが可能である。これは、より小さい丸いレンズに対応する光方向変換デバイスが、そうでなければカメラの本体内のより大きい丸い絞りの光を９０度方向変換することが必要とされる鏡ほど大きさも奥行きもないことがあるからである。いくつかの実施形態では、丸くない絞りを有する大きなレンズと、丸い絞りを有するより小さいレンズの組み合わせが使用される。この手法は、図１７に示される実施形態を含むいくつかの実施形態において使用される。
図１７Ａは、カメラデバイス１４００を実施するために使用され得る、光学チェーンたとえばカメラモジュールの配置１７００を示す。図５および図１３Ａに示されるタイプの光学チェーン（ＯＣ）は、図１７の実施形態において使用され得るが、実装形態は、そのような光学チェーンの使用に限定されない。丸い絞りを有するレンズは、中間焦点距離を有する光学チェーン１７０４、１７０８、１７１４、１７１８、１７２４と、小さい焦点距離を有する光学チェーン１７２６、１７２８、１７３０、１７３２、および１７３４に使用されることに留意されたい。丸くない絞りを有するレンズは、大きい焦点距離を有する光学チェーン１７０２、１７０６、１７１０、１７１２、１７１６、１７２０、１７２２に使用される。図１８〜図２３の説明から明らかになるように、丸くない絞りの特定の配置および角度が有益であることがある。光学チェーン１７０４、１７０８、１７１４、１７１８、および１７２４の各々は、丸い絞りを有するレンズを使用し、図５に関して詳細に説明された要素と同じまたはこれに類似した要素を含む。同様に、光学チェーン１７０２、１７０６、１７１０、１７１２、１７１６、１７２０、１７２２の各々は、丸くない絞りを有するレンズを使用し、図１３Ａに関して詳細に説明された要素と同じまたはこれに類似した要素を含む。
一実施形態では、ＯＣ１７２２などの光学チェーン（ＯＣ）は、第１の焦点距離と第１の非円形のレンズとを有する第１の光学チェーンであり、別の光学チェーンたとえばＯＣ１７０６は、第２の焦点距離と第２の非円形のレンズとを有する第２の光学チェーンである。いくつかの実施形態では、第１の焦点距離と第２の焦点距離は同じである。いくつかの他の実施形態では、第１の焦点距離と第２の焦点距離は異なる。いくつかの実施形態では、第１の非円形のレンズは、カメラ１４００の奥行き、たとえば図１６に示される奥行きＤ２よりも大きい量、第１の方向に延在する。いくつかの実施形態では、第１の光学チェーンは第１のセンサを含み、第２の光学チェーンは、たとえば図１３Ａのセンサ１３０２などの第２のセンサを含む。いくつかの実施形態では、カメラ１４００は、合成画像を生成する目的で第１のセンサおよび第２のセンサによってキャプチャされた画像を結合するために第１のセンサおよび第２のセンサに結合された、たとえばプロセッサ１１０または２１１などのプロセッサをさらに含む。いくつかの実施形態では、第１の光学チェーンは第１の光方向変換要素を含み、第２の光学チェーンは、たとえば図１３Ａの光方向変換要素１３１０などの第２の光方向変換要素を含む。いくつかのそのような実施形態では、第１の光方向変換要素は、カメラの奥行きよりも大きい量、少なくとも１つの方向に延在し、第２の光方向変換要素は、カメラの奥行きよりも大きい量、少なくとも１つの方向に延在する。いくつかの実施形態では、第１の光方向変換要素および第２の光方向変換要素は平面鏡である。いくつかの実施形態では、第１の光方向変換要素および第２の光方向変換要素はプリズムである。いくつかの実施形態では、第１の焦点距離および第２の焦点距離は、７０ｍｍに等しいかまたはこれよりも大きく、第３の焦点距離は７０ｍｍよりも小さい。いくつかの実施形態では、第１のセンサおよび第２のセンサは同じ数の画素を有し、第３の光学チェーンは、第１のセンサおよび第２のセンサと同じ数の画素を有する第３のセンサを含む。
いくつかの実施形態では、丸い絞りレンズを使用する光学チェーンたとえばＯＣ１７０４または１７２８は、第３の焦点距離を有し、丸いレンズを含む、第３の光学チェーンであり、第３の焦点距離は第１の焦点距離または第２の焦点距離よりも小さい。いくつかの実施形態では、第１の光学チェーン１７２２に対応する第１の非円形のレンズは、第１の方向に垂直な第２の方向においてよりも第１の方向において長く、第２の光学チェーン１７０６に対応する第２の非円形のレンズは、第４の方向においてよりも第３の方向において長く、第４の方向は第３の方向に垂直である。いくつかの実施形態では、第１の方向と第３の方向は異なる。いくつかの実施形態では、第１の方向は第１の平面内に延在し、第３の方向は、第１の平面と同じ平面内にある。いくつかの実施形態では、平面は、カメラ１４００の前面に対応する。
いくつかの実施形態では、別のカメラモジュールたとえば１７１０は、第４の焦点距離と第３の非円形のレンズとを有する第４の光学チェーンであり、第４の焦点距離は第３の焦点距離よりも大きい。いくつかのそのような実施形態では、第３の非円形のレンズは、第６の方向においてよりも第５の方向において長く、第６の方向は第５の方向に垂直である。いくつかのそのような実施形態では、第１の方向と第３の方向と第５の方向は、少なくとも２０度異なる。
図１７Ｂは、カメラデバイス内のさまざまな光学チェーンおよび光学チェーンの要素の配置がより詳細に示される、カメラデバイス１４００の斜視図１７５０を示す。
図１７Ｂは、カメラデバイス内のさまざまな光学チェーンおよびカメラデバイス内の光学チェーンの要素の配置をより詳細に示す、カメラデバイス１４００の斜視図１７５０を示す。したがって、図１７Ｂは、図１７Ａに関して詳細に説明されるようなさまざまな対応する焦点距離を有する複数の光学チェーン（ＯＣ）１７０２、１７０４、１７０６、１７０８、１７１０、１７１２、１７１４、１７１６、１７１８、１７２０、１７２２、１７２４、１７２６、１７２８、１７３０、１７３２、および１７３４のより詳細な図を示す。
図１７Ｂに示されるように、カメラ１４００は、カメラの前表面（矢印１７２３によって示される）からカメラの背／後表面（矢印１７２７によって示される）までのカメラ１４００の厚さを表す奥行きＤ２を有する。図１７Ｂには示されていないが、いくつかの実施形態では、カメラデバイス１４００は、図１および／または図４Ａのカメラデバイスと同じまたは類似の要素を含む。
いくつかの実施形態では、光学チェーン１７０２、１７０６、１７１０、１７１２、１７１６、１７２０、１７２２に含まれる要素は、上記で図１３Ｂに関して説明された要素に類似している。光学チェーン１７０４、１７０８、１７１４、１７１８、１７２４およびこれらの光学チェーンに含まれる要素は、上記で図１２Ｂに関して説明されたＯＣ１２０４、１２０８、１２１４、１２１８、１２２４に関して説明されたものに類似しているが、光学チェーン１７２６、１７２８、１７３０、１７３２、および１７３４ならびにその中に含まれる要素は、ＯＣ１２２６、１２２８、１２３０、１２３２、および１２３４ならびに図３に関して説明されたＯＣに関して説明されたものに類似している。図１７Ｂの図示の実施形態では、ＯＣのうちのいくつかは非円形の外側レンズを使用するが、他のＯＣは丸い外側レンズを使用する。
ＯＣ１７０２は、非円形の外側レンズ１７０３と、レンズ１７０３の後ろに位置決めされた光方向変換デバイス１７０５たとえば鏡と、第１の内側レンズ１７０７（非円形）と、フィルタ１７１３と、第２の内側レンズ１７１５と、センサ１７１７とを含む。いくつかの実施形態では、ＯＣ１７０２、１７０６、１７１０、１７１７、１７１６、１７２０、１７２２は、同じ焦点距離（図１７の他のＯＣと比較すると最大焦点距離）を有し、鏡、フィルタ、センサなどの類似の要素を使用する。したがって、ＯＣ１７０６、１７１０、１７１７、１７１６、１７２０、１７２２に対応する要素は、ＯＣ１７０２内の類似の要素を識別するために使用される同じ参照番号を使用して識別されているが、これらのＯＣ内の参照番号の後に、プライム符号（’）、ダブルプライム符号（’’）、トリプルプライム符号（’’’）などが続く。たとえば、ＯＣ１７０６は、非円形の外側レンズ１７０３’と、レンズ１７０３’の後ろに位置決めされた光方向変換デバイス１７０５’たとえば鏡と、第１の非円形内側レンズ１７０７’と、フィルタ１７１３’と、第２の内側レンズ１７１５’と、センサ１７１７’とを含む。ＯＣ１７１０は、非円形の外側レンズ１７０３’’と、光方向変換デバイス１７０５’’と、第１の非円形の内側レンズ１７０７’’と、フィルタ１７１３’’と、第２の内側レンズ１７１５’’と、センサ１７１７’’とを含む。ＯＣ１７１２は、非円形の外側レンズ１７０３’’’と、光方向変換デバイス１７０５’’’と、第１の非円形の内側レンズ１７０７’’’と、フィルタ１７１３’’’と、第２の内側レンズ１７１５’’’と、センサ１７１７’’’とを含む。ＯＣ１７１６は、非円形の外側レンズ１７０３’’’’と、光方向変換デバイス１７０５’’’’と、第１の非円形の内側レンズ１７０７’’’’と、フィルタ１７１３’’’’と、第２の内側レンズ１７１５’’’’と、センサ１７１７’’’’とを含む。ＯＣ１７２０は、非円形の外側レンズ１７０３’’’’’と、光方向変換デバイス１７０５’’’’’と、第１の非円形の内側レンズ１７０７’’’’’と、フィルタ１７１３’’’’’と、第２の内側レンズ１７１５’’’’’と、センサ１７１７’’’’’とを含む。ＯＣ１７２２は、非円形の外側レンズ１７０３’’’’’’と、光方向変換デバイス１７０５’’’’’’と、第１の非円形の内側レンズ１７０７’’’’’’と、フィルタ１７１３’’’’’’と、第２の内側レンズ１７１５’’’’’’と、センサ１７１７’’’’’’とを含む。
いくつかの実施形態では、光学チェーン１７０４、１７０８、１７１４、１７１８、１７２４は、同じ焦点距離（中間）を有する。ＯＣ１７０４は、外側レンズ１７３３と、レンズ１７３３の後ろに位置決めされた光方向変換デバイス１７３５たとえば鏡と、第１の内側レンズ１７３７と、フィルタ１７４３と、第２の内側レンズ１７４５と、センサ１７４７とを含む。ＯＣ１７０４と同じ焦点距離を有するＯＣ１７０８、１７１４、１７１８、１７２４に対応する要素は、ＯＣ１７０４内の類似の要素を識別するために使用される同じ参照番号を使用して識別されているが、これらのＯＣ内の参照番号の後に、プライム符号（’）、ダブルプライム符号（’’）などが続く。図示のように、光学チェーン１７０８は、外側レンズ１７３３’と、レンズ１７３３’の後ろに位置決めされた光方向変換デバイス１７３５’たとえば鏡と、第１の内側レンズ１７３７’と、フィルタ１７４３’と、第２の内側レンズ１７４５’と、センサ１７４７’とを含む。ＯＣ１７１４は、外側レンズ１７３３’’と、光方向変換デバイス１７３５’’と、第１の内側レンズ１７３７’’と、フィルタ１７４３’’と、第２の内側レンズ１７４５’’と、センサ１７４７’’とを含む。ＯＣ１７１８は、外側レンズ１７３３’’’と、光方向変換デバイス１７３５’’’と、第１の内側レンズ１７３７’’’と、フィルタ１７４３’’’と、第２の内側レンズ１７４５’’’と、センサ１７４７’’’とを含み、ＯＣ１７２４は、外側レンズ１７３３’’’’と、光方向変換デバイス１７３５’’’’と、第１の内側レンズ１７３７’’’’と、フィルタ１７４３’’’’と、第２の内側レンズ１７４５’’’’と、センサ１７４７’’’’とを含む。
先に説明されたように、要素１７０５などの光方向変換要素を有する、ＯＣ１７０２（またはＯＣ１７０６、１７１０、１７１２、１７１６、１７２０、１７２２、１７０４、１７０８、１７１４、１７１８、１７２４）などの光学チェーンは、説明の目的で、２つのパートに分割可能である。カメラの前面の外部から見られる光学チェーン１７０２の光軸は、第１のパート１７０１の光軸（カメラ１４００の前面１７２３から外側レンズ１７０３を介してＯＣに入る）である。光軸に沿って光学チェーン１７０２内へと進む光は、方向変換要素１７０５によって方向変換され、第１の光学チェーンの第２のパート１７０９を横断して、センサ１７１７に到達する。同様に、光学チェーン１７０４の光軸は、第１のパート１７１１と、方向変換要素１７３５による光方向変換の後の第２のパート１７１９とを含み、光学チェーン１７０６の光軸は第１のパート１７２１と第２のパート１７２９とを含み、光学チェーン１７０８の光軸は第１のパート１７３１と第２のパート１７３９とを含み、光学チェーン１７１０の光軸は第１のパート１７４１と第２のパート１７４９とを含み、光学チェーン１７１７の光軸は第１のパート１７５１と第２のパート１７５９とを含み、光学チェーン１７１４の光軸は第１のパート１７６１と第２のパート１７６９とを含み、光学チェーン１７１６の光軸は第１のパート１７７１と第２のパート１７７９とを含み、光学チェーン１７１８の光軸は第１のパート１７７８と第２のパート１７８８とを含み、光学チェーン１７２０の光軸は第１のパート１７８１と第２のパート１７８９とを含み、光学チェーン１７２２の光軸は第１のパート１７９１と第２のパート１７９９とを含み、光学チェーン１７２４の光軸は第１のパート１７９２と第２のパート１７９８とを含む。
図１７Ｂの例では、他の光学チェーンＯＣ１７２６、１７２８、１７３０、１７３２、および１７３４（最小焦点距離ＯＣ）は、各々、光が入る最も外側のレンズ１７５２、１７５３、１７５４、１７５５、および１７５６をそれぞれ有するが、ＯＣ１７２６、１７２８、１７３０、１７３２、および１７３４は、光方向変換要素を持たない。図１７Ｂには示されていないが、ＯＣ１７２６、１７２８、１７３０、１７３２、および１７３４は各々、カメラ１４００の前面１７２３に垂直な光軸を有する。
外側レンズおよび内側レンズ、鏡、フィルタ、およびセンサなどのＯＣのさまざまな要素の機能は、先に、たとえば図４Ｂおよび図５に関して、説明されている。図１７Ｂに示されるＯＣの要素の機能は、図４Ａ〜図４Ｂおよび図５に関して説明された機能と同じまたはこれに類似しているので、説明は繰り返されない。
光は、それぞれの外側レンズを介してＯＣ１７０２、１７０６、１７１０、１７１７、１７１６、１７２０、１７２２、１７０４、１７０８、１７１４、１７１８、１７２４の各々に入り、光学チェーンの各々の背面にあるそれぞれのセンサに到達するように、それぞれの方向変換要素によって方向変換される。多くの場合、光がＯＣに入る外側レンズは、光が入る入射瞳と呼ばれる。たとえば、光学チェーン１７０２の外側レンズ１７０３を通って（たとえば、第１の光軸１７０１によって示されるカメラ１４００の前面１７２３から）入る光は、センサ１７１７に向かって進むとき第１の内側レンズ１７０７とフィルタ１７１３と第２の内側レンズ１７１５とを通過するように、鏡１７０５によって方向変換される。これより多いまたは少ない数の要素、たとえばレンズ、フィルタなどは、いくつかの実施形態では、ＯＣの各々に含まれ得る。カメラデバイス１４００内の他の光学チェーンと同じ形状および／または解像度のセンサを依然として使用しながら、異なる光学チェーンは、異なるレンズを使用し得る。図１７Ｂに示される方式で配置された非円形のレンズを有する光学チェーンの使用は、いくつかの利点を提供し、光学チェーンを有する薄いカメラの実装形態がさまざまな異なる焦点距離を有することを可能にすることを理解されたい。
ＯＣのレンズの後ろに位置決めされた、たとえばヒンジ結合された鏡などの光方向変換要素が移動および／または回転可能であり、それが、対応するＯＣの外側レンズの外部から見られるＯＣの光軸の変化をもたらすことを理解されたい。それは、カメラの外部から見られる光学チェーンの光軸（光軸１７０１、１７１１、１７３１などの第１のパートの光軸として上記で説明された）は、対応するＯＣの光方向変換要素を制御することによって変化可能である。したがって、図１７Ｂの例では、光軸１７０１、１７１１、１７２１、１７３１、…、１７９８、１７９９は平行であるように見えるが、いくつかの実施形態では、対応する光学チェーン内の外側レンズの後ろに置かれた鏡などの光方向変換要素を制御することによって、光軸は、１つまたは複数のＯＣの光軸が互いと平行でないように変化可能であることを理解されたい。鏡の移動を制御することによって光学チェーンの光軸を変化させる能力は、たとえば所与の方向の写真を撮影するために、カメラがその方向に向けられる場合と同じ効果をもたらし、したがって、カメラデバイスを実際に移動させることなく異なる視点から画像をキャプチャする能力を提供する。
図１８は、図１２Ａおよび図１２Ｂの実施形態で使用され得、および時々使用されるレンズなどの、丸い開口を有する例示的なレンズに対応する丸い絞り１８００を示す。
図１９は、図１８に示されるタイプの丸い絞り１８００を有する良く設計された（回折限界の）レンズから予想される可能な周波数特性を示し、周波数情報は、垂直方向と水平方向の両方（実際には、あらゆる方向）において均一である。垂直次元および水平次元における均一な周波数特性は、垂直次元と水平次元の両方における同じまたは類似の周波数特性と、したがって解像度とを可能にする。センサの画素または画素要素の数は、解像度に影響を与えることができるが、センサまたは画像の画素の数は、ビューアが画像の異なる特徴を区別する能力に関係する解像度と混同されるべきではない。解像度は、線が互いに対してどのくらい近くなり得るかと、依然として目に見えて解像され得るかとを定量化する。解像度単位は、１ｍｍ当たりの線、１インチ当たりの線などの物理的なサイズに、および／または、たとえば写真の高さ当たりの線など、画像の全体的な大きさに結び付けられ得る。
丸い絞りを有するレンズのほぼ均一な周波数応答を考えれば、丸いレンズを使用してキャプチャされる画像のビューは、垂直線と水平線とを同様に良好に識別することができるはずである。
図２０は、丸い絞り１８００の場合、光が通過する開口の長さが、レンズ開口が存在する平面の両方の寸法でどれくらい同じであるかを示す。図示のように、垂直方向Ｌ1における開口の長さは、水平方向Ｌ2における開口の長さに等しい。理解されるべきであるように、これは、レンズが、丸くない絞り、たとえば、光が通過する、卵形の絞り、長円形の絞り、または他の丸くない形状の絞りを有する場合ではない。
図２１は、例示的な丸くない、たとえば卵形の、絞り２１００を示す。陰影が、キャプチャされる水平方向および垂直方向の各々における周波数情報の相対量を示すために使用され、より多くの周波数情報が、それによってより高い周波数情報がキャプチャされることになる水平方向よりも垂直方向で入手可能であり、絞りの狭い方の次元よりも長い方の次元、たとえば最大長さ方向で入手可能であることが図から明らかである。
一般に、最も良く設計されたレンズの性能ですら、回折限界のために絞りサイズによって制限される。絞りが大きいほど、良く設計されたレンズは、細部をキャプチャすることに関して実行することが一層可能であるはずである。言い換えれば、絞りが大きいほど、可能な解像度が大きくなる。キャプチャされた解像度は、図１９と同様に周波数領域において表現可能である。図１９における円のより大きい半径は、画像のすべての空間方向、たとえば、水平、垂直、または斜めにおける、より多くのキャプチャされる高周波数情報を示す。カメラモジュールが回折限界ではなく、上記で当てはまらないことがあるときですら、より大きい絞りエリアは、所与の時間期間内に、より多くの光をキャプチャし、その画像をキャプチャさせるべき被写体が動いているときによくあることだが露光時間が制限されるとき、画像の粒子の粗さまたはノイズを低下させるので、より大きい絞りを使用することが依然として望ましいときがあることに留意することが重要である。
絞りが丸くなく、卵形である場合、よく設計された、回折限界のレンズに対して、対応して、卵形の短い方の次元の方向よりも卵形の長い方の次元の方向に沿ってより詳細にキャプチャされる。
図２２は、垂直（Ｙ）方向および水平（Ｘ）方向における丸くない絞り２１００の長さの比較を示す。垂直次元は、図２２の例における２つの次元のうち長い方である。図示のように、垂直方向ＬYに光が通過する開口の長さは、水平方向ＬXにおける開口の長さよりも大きい。
図２３は、異なる方向に向けられた卵形の絞り２１００、２１００’、２１００’’、２１００’’’を有する複数の丸くないレンズからの画像情報を結合することによって、丸い絞り１８００を有するレンズ（大きい方の卵形の寸法と等しい半径を有する）から取得されると予想される情報を近似する画像情報がどのように達成可能であるかを示す図２３００である。より多くの情報が、合成画像を生成するために図２３の例で結合される複数の個々の画像の重複により、さまざまな縁部ロケーションにおいてよりも結合された画像の中心に向かって入手可能である。互いに対する異なる角度における複数の丸くないレンズの使用による高周波数情報のキャプチャおよび画像を結合することは、個々の丸くないレンズによってキャプチャされる高周波数情報の欠如を補う助けとなる。図２３に示される絞りを有するレンズを用いてキャプチャされた画像を結合することによって達成可能な解像度は、丸いレンズを使用してキャプチャされる画像の解像度を近似することができるが、合成画像は、同じ画像をキャプチャするために単一の丸いレンズを使用して取得されるであろうよりも大きい、画像重複の領域における輝度情報に関するダイナミックレンジを持ち得ることを理解されたい。これは、異なるレンズが各々、中心領域において光をキャプチャするからである。図２３に示される絞りを有するレンズを使用してキャプチャされた画像を結合することによって生成される合成画像は、本発明の一実施形態により、高品質の中心画像部分と、合成画像の縁に向かって、より低い品質とをもたらすことを理解されたい。この画質劣化は、単一の高品質レンズが使用された場合に予想され得るものに類似しており、画質は通常、レンズの縁に向かってよりも、レンズの中心に向かって良くなる。
したがって、図２３に示される絞りを有するレンズを使用してキャプチャされた画像を結合することによって生成される合成画像は、絞りの最大長さの方向に類似の最大絞り寸法を有する単一の丸いレンズを使用して画像をキャプチャすることによって取得され得るよりも、少なくともいくつかの点において、類似またはより良い品質の合成画像をもたらすことができることを理解されたい。
図２４は、丸くない絞りを有する、たとえば卵形または長円形の形状の絞りに近似する、レンズを作り出すために、丸い絞り１８００を有するレンズがどのように切断またはマスキング可能であるかを示す。そのような一実施形態は、所与の最大絞りに対する最大量またはかなりの量の光のキャプチャを可能にする。
図２５は、図２４に示される絞り、たとえば卵形の絞りに近似した長円形の絞りを有するレンズを作り出すために、丸いレンズ、たとえば丸い絞り１８００を有するレンズを切断またはマスキングすることから生じる絞り２５００を示す。
図２５に示されるタイプのレンズは、いくつかの実施形態では、カメラデバイスの丸くないレンズとして使用される。したがって、図１４のカメラデバイスのいくつかの実施形態では、卵形のレンズとして示されているが、図２５に示されるタイプの卵形でない絞りを有するレンズが使用される。
図２６は、前方側面２６１４と上部２６１２と底部２６１６と後面すなわち背面２６１８とを有するハウジング２６１０を含むカメラ２６００の図である。丸い絞り２６０６に対応する丸いレンズは、ハウジング２６１０の前面２６１４内に取り付けられる。図２６は、丸い絞り２６０６を有する外側レンズと組み合わせて光を９０度方向変換するために、光方向変換デバイス２６０４たとえば鏡を使用することが通常、カメラの奥行きたとえば厚さがレンズおよびレンズの一部である対応する絞り２６０６の直径に等しいまたはこれよりも大きいことをどのように必要とするかを示す。本発明のいくつかの実施形態では、レンズは単に、プラスチックまたはガラスの丸い平坦な断片である。丸い絞り２６０６は、図２６では、カメラデバイス２６００の前面上に破線の使用によって示されている。丸い絞り２６０６を通過する光は、カメラ２６００の上部に取り付けられたセンサ２６０２に向かって鏡２６０４によって９０度で反射する。図２６の例においてカメラ内に取り付けられた光方向変換デバイス前面から後面までの距離ＲDと光方向変換デバイスの高さＲHは等しく、両方とも、丸い絞り２６０６の直径ＬXよりも大きいかまたはこれに等しいことに留意されたい。その結果、カメラ２６００の奥行きは、丸い絞り２６０６の直径に等しいまたはこれよりも大きい。
図２７は、前方側面２７１４と上部２７１２と底部２７１６と後面すなわち背面２７１８とを有するハウジング２７１０を含むカメラ２７００の図である。丸くない、たとえば卵形の、絞り２７０６に対応する丸くないレンズは、ハウジング２７１０の前面２７１４内に取り付けられる。図２７は、丸くない、たとえば卵形の、絞り２７０６を有する外側レンズと組み合わせて光を９０度方向変換するために光方向変換デバイス２７０４たとえば鏡を使用することが、カメラの奥行きがあるよりも１つの次元において長いレンズの使用をどのように可能にすることができるかを示すことができる。センサ２７０２が、図２６の実施形態のセンサ２６０２と同じ位置に（カメラハウジングの上部部分と平行に）カメラ２７００の上部２７１２に取り付けられるが、鏡２７０４は現在、図２６の実施形態で使用される鏡２６０４よりも奥行きが小さい平坦な方形表面を有する鏡を使用して実施可能であることに留意されたい。簡単にするために方形の鏡が使用されているが、いくつかの実施形態では、卵形の鏡も使用可能であり、絞り停止具としても働くことができることも指摘する価値がある。いくつかの実施形態では、丸くない、たとえば卵形の、絞りの使用が、より薄いカメラ、たとえば卵形の絞りの最大寸法に等しい直径を有する丸い絞りを有するカメラよりも小さな厚さを有するカメラを可能にすることを理解されたい。
図２８は、前方側面２８１４と上部２８１２と底部２８１６と後面すなわち背面２８１８とを有するハウジング２８１０を含むカメラ２８００の図である。丸くない、たとえば卵形の、絞り２８０６に対応する丸くないレンズは、ハウジング２８１０の前面２８１４内に取り付けられる。図２８は、カメラ２８００において、丸くない絞り２８０６を含む光学チェーンの光路の長さが、カメラ２８００の奥行きよりもどのように長くなり得るかを示す。光方向変換デバイス２８０４は、カメラデバイス２８００の一端、たとえば底端２８１６に位置決め可能である。カメラ２８００の対向端の近くの光方向変換デバイス２８０４およびセンサ２８０２の位置決めは、追加の卵形の絞りのレンズおよび光方向変換デバイスのための十分な空間を可能にすることを理解されたい。
図２９は、絞り２９０６、第１の光方向変換デバイス２９０４、第２の光方向変換デバイス２９０１、およびセンサ２９０２に対応してカメラの前面に取り付けられたレンズを含むカメラモジュールを光が通過するとき光がどの方角に方向変換されるかに応じてセンサ２９０２がカメラの背面２９１８または前面２９１４のいずれかに位置決めされることを可能にしながら、複数の光方向変換デバイス２９０４、２９０１が、比較的長い光進行経路、したがって焦点距離を可能にするために、光学チェーンたとえばカメラモジュール内で使用されるカメラ２９００の一例を示す。図２９では、カメラモジュールの外側レンズは、第１の光方向変換デバイス２９０４であるようにカメラ２９００の底部２９１６の近くに位置決めされるが、第２の光方向変換デバイス２９０１は、カメラ２９００の上部２９１２の近くに位置決めされることに留意されたい。センサ２９０２は、カメラ２９００の内部背面２９１８に取り付けられて示されているが、他の実施形態では、たとえば、第２の光方向変換デバイス２９０１が光をカメラの前面に方向づける場合、センサ２９０２は、カメラハウジング２９１０の内部前面に取り付けられる。
図３０は、非円形の外側レンズと絞りとを有する４つの光学チェーンを含むカメラデバイス３０００の図である。図２７〜２９と同様に簡単にする目的で、図３０の実施形態では、単一の参照番号が、非円形のレンズとその対応する非円形の絞りの両方を表すために使用される。光は、カメラの前面を介してレンズの外側の非円形の絞りに入り、図において「Ｘ」によって示されるように、外側レンズ（たとえば、レンズ３００１、３０１１、３０２１、および３０３１）の下の１つまたは複数の光方向変換デバイス位置を介して、対応するセンサに方向変換される。
カメラデバイス３０００は、卵形の絞りを有する非円形のレンズ３００１と光方向変換要素３００３と光路３００５とセンサ３００７とを含む第１の光学チェーンを含む。光は第１の光学チェーンに入り、第１の光路３００５の第１の部分を横断してから鏡３００３に当たり、センサ３００７に向かって９０度または約９０度方向変換される。
カメラデバイス３０００は、卵形の絞りを有する第２の非円形のレンズ３０１１と第２の光方向変換要素３０１３と第２の光路３０１５と第２のセンサ３０１７とを含む第２の光学チェーンをさらに含む。光は第２の光学チェーンに入り、第２の光路３０１５の第１の部分を横断してから鏡３０１３に当たり、第２のセンサ３０１７に向かって９０度または約９０度方向変換される。
カメラデバイス３０００は、卵形の絞りを有する第３の非円形のレンズ３０２１と第３の光方向変換要素３０２３と第３の光路３０２５と第３のセンサ３０２７とを含む第３の光学チェーンをさらに含む。光は第３の光学チェーンに入り、第３の光路３０２５の第１の部分を横断してから鏡３０２３に当たり、第３のセンサ３０２７に向かって９０度または約９０度方向変換される。
カメラデバイス３０００は、卵形の絞りを有する第４の非円形のレンズ３０３１と第４の光方向変換要素３０３３と第４の光路３０３５と第４のセンサ３０３７とを含む第４の光学チェーンをさらに含む。光は第４の光学チェーンに入り、第４の光路３０３５の第１の部分を横断してから第４の鏡３０３３に当たり、第４のセンサ３０２７に向かって９０度または約９０度方向変換される。
４つのレンズおよび対応する絞り３００１、３０１１、３０２１、３０３１がカメラ３０００の前面に設置されるが、これらは、使用中は通常水平方向と一致するカメラハウジングの底部に対して各絞りの最大の長さが異なる角度であるように意図的に位置決めされることに留意されたい。
図３０は、合成画像を生成するために画像を結合するとき高周波数情報、したがって高解像度が複数の方向の各々において入手可能であるように、非円形の絞りを有する複数のレンズ３００１、３０１１、３０２１、３０３１が、複数の方向における高周波数情報を収集するために単一の例示的なカメラデバイス３０００内でどのように使用可能であるかを示す。図３０に示されるカメラモジュールは、光路が交差する個々の光路にカメラデバイス内の空間の大部分を利用するように示されているが、光学チェーンは、交差しない光路を有する個々の内蔵（self contained）モジュールとして実施可能であり、いくつかの実施形態では、実施されることを理解されたい。
そのような密閉された内蔵光モジュールは、埃および／または砂が懸念される屋外および／または海岸での使用が意図されたカメラ実施形態など、埃および／または混入に関する他の懸念事項が問題になり得るいくつかの実施形態では、特に望ましいことがある。
図３１は、本発明の１つまたは複数の実施形態により実施されるカメラのカメラモジュールによってキャプチャされたその画像のすべてまたは一部分を有し得るシーンエリア３１０４を含む例示的なシーン３１０２を示す。例示的なシーン３１０２は、山３１１２、鳥３１１３、人間３１０６、および家屋３１０８からなるビューを含む。シーン３１０２は、非常に広いエリアを対象とするが、関心シーンエリア３１０４は、人間３１０６と、ハウジング３１０８とを含む。「シーン」または「シーンエリア」に対する言及がなされているが、そのような言及は、３次元である物理的シーンと解釈されるべきではなく、理想的なカメラを使用してシーンの画像をキャプチャすることによって取得される物理的シーンの２次元投影または表現と解釈されるべきであることが指摘されるべきである。シーンのエリアに対するいかなる言及も、そのような２次元投影におけるエリアと解釈されるべきである。そのような投影では、カメラに十分近い小さな物体ですら、カメラに対するその近接性を考えると、大きいエリアを有するように見え得るが、遠い物体は、よりカメラに近い等しいサイズの物体よりも小さいように見える。
図３２は、そのうちのいくつかが異なる焦点距離を有する、各カメラデバイスが（図１２Ａおよび図１７Ａに示されるように）複数の光学チェーンを含む、図６のカメラデバイス６００または図１４のカメラデバイス１４００などの、カメラの異なる光学チェーンたとえばカメラモジュールは、関心シーンエリア３２０２（図３１に示される関心シーンエリア３１０４に対応し得る）の異なるサイズの部分をどのようにキャプチャすることができるかを示す図３２００である。
説明の目的で、異なるシーンエリアに対応する画像のキャプチャおよび結合は、カメラ６００内の光学チェーンの配置を示す図１２Ａを参照することによって、カメラデバイス６００を使用して説明される。
カメラデバイス６００が、図１２Ａに示されるように配置された１７のモジュールを含むという説明の目的について考えてみよう。図１２Ａの例で先に説明されたように、３つの異なる焦点距離すなわちｆ１、ｆ２、およびｆ３が使用されており、ここで、ｆ１＜ｆ２＜ｆ３、ｆ１はｆ２の２分の１、ｆ２はｆ３の２分の１である。
説明の目的で、第１〜第７のカメラモジュール１２０２、１２０６、１２１０、１２１２、１２１６ １２２０、１２２２はそれぞれ、最大のレンズ（したがって、さまざまな実施形態では、最大の絞り）とサポートされる最大焦点距離（ｆ３）とを有するモジュールである。以下の説明を簡単にするために、さまざまなカメラモジュール間の距離は、カメラとシーン内のすべての物体との間の距離よりもはるかに小さいことがさらに仮定される。しかしながら、このことは、説明される発明の制限ではなく、以降の説明をより簡単なものにすることが意味されるにすぎない。
第８〜第１２のカメラモジュールである５つの中間のサイズのカメラモジュールは、それぞれ参照番号１２０４、１２０８、１２１４、１２１８、１２２４に相当し、中間の直径のレンズと、サポートされる中間の焦点距離（ｆ２）とを有する。
第１３〜第１７のカメラモジュールである５つのカメラモジュールは、それぞれ参照番号１２２６、１２２８、１２３０、１２３０、１２３４に相当し、最小の直径の外側レンズと、最小の焦点距離（ｆ１）とを有する。
最大の焦点距離ｆ３を有するカメラモジュールが最大の倍率を提供することを考えると、これらのカメラモジュールが関心シーンエリアの最小部分をキャプチャすることを理解されたい。異なる焦点距離のカメラモジュールは同じ総画素カウントを有するセンサを使用すると仮定すると、より大きい焦点距離（ｆ３）を有するモジュールは、中間の焦点距離（ｆ２）および小さい焦点距離（ｆ１）のカメラモジュールの場合よりも、より多くの画素が小さいシーンエリアの画像をキャプチャするために使用されるので、画素とシーンエリアとのより大きな比を有する画像を提供する。
異なる焦点距離（ｆ１、ｆ２、ｆ３）を有するモジュール間の倍率の差を考えると、小さい焦点距離（ｆ１）のカメラモジュールによってキャプチャされるシーンエリアは、最大の（ｆ３）焦点距離を有するカメラモジュールによってキャプチャされる関心シーンエリア部分の約１６倍のサイズである関心シーンエリアの部分に対応することを理解されたい。中間の焦点距離（ｆ２）を有するカメラモジュールによってキャプチャされる関心シーンエリアの部分は、最大の焦点距離（ｆ３）を有するカメラモジュールによってキャプチャされる関心シーンエリアの部分の４倍のサイズであり、最小の焦点距離（ｆ１）を有するカメラモジュールによってキャプチャされる関心シーンエリアの部分の４分の１のサイズである。
ｆ１焦点距離に対応するカメラモジュールによってキャプチャされるシーンエリアとｆ２焦点距離に対応するカメラモジュールによってキャプチャされるシーンエリアとの間の関係は、７つの別個のシーンエリアを示す図３２の例の文脈で理解可能である。
図３２の例では、関心シーンエリアは参照３２０２によって識別される。対角線３２５０および３２６０は、異なるエリア間の関係および異なるエリアが互いに対してどのように対応するかをより良く理解できるように示されている。第１のシーンエリア３２０４と第４のシーンエリア３２１０は、類似のサイズであるかまたは同じサイズであり、図３１に示される例示的な関心シーンエリア３１０２に対応する全関心シーンエリア３２０２に対応する。説明の目的で、第１のシーンエリアおよび第４のシーンエリアが、焦点距離ｆ１を有する光学チェーンによって、すなわち、より小さい焦点距離の光学チェーンによってキャプチャされると考える。説明目的で、（ｆ１）カメラモジュール１２２８が第１のシーンエリア３２０４をキャプチャするために使用され、（ｆ１）カメラモジュール１２３２は第４のシーンエリア３２１０をキャプチャするために使用されると仮定する。１２２８および１２３２によってキャプチャされる実際の画像は、関心シーンエリアがキャプチャされることを保証するためにやや大きいシーンエリアであることがあることに留意されたい。
ｆ２カメラモジュール１２０４は第２のシーンエリアをキャプチャするために使用され、（ｆ２）カメラモジュール１２０８は第３のシーンエリアをキャプチャするために使用され、（ｆ２）カメラモジュール１２１８は第５のシーンエリアをキャプチャするために使用され、（ｆ２）カメラモジュール１２１４は第６のシーンエリア３２１４をキャプチャするために使用さ、（ｆ２）カメラモジュール１２２４は第７のシーンエリア３２１６をキャプチャするために使用されることも仮定する。また、他のシーンエリアのキャプチャと同様に、モジュール１２０４、１２０８、１２１８、１２１４、および１２２４によってキャプチャされる実際の画像は、それぞれの第２のシーンエリア３２０６、第３のシーンエリア３２０８、第５のシーンエリア３２１２、第６のシーンエリア３２１４、および第７のシーンエリア３２１６が、キャプチャされた画像内に完全に含まれることを保証するために、やや大きいシーンエリアであることがある。
図１２００に示されるカメラモジュールの外側レンズの相対位置は既知であり、固定されていることに留意されたい。しかしながら、いくつかの実施形態では、モジュール１２０４、１２０８、１２１８、１２１４、および１２２４は、鏡５１０の角度を変更するためにヒンジ（鏡）駆動部５１６によって駆動可能たとえば移動または回転可能である図５の鏡５１０を含むモジュール５００と、要素および機能に関して同じまたは類似している。鏡駆動部５１６は、ヒンジ軸のまわりで鏡を回転可能であり、したがって、その角度を変更できるが、ヒンジ５０８は、他の方向における動きを防止し、したがって（カメラの外部の）光軸は、ヒンジの軸に垂直な平面内で回転する。鏡５１０が４５度の角度であるとき、その光軸に沿ってレンズ５１２に入る光は、モジュール５００のパートＢの光軸の中へと９０度屈折される。本明細書では、ヒンジ結合され、軸に沿って回転可能な鏡５１０について説明しているが、いくつかの他の実施形態では、鏡の場所は、この動きが、任意の固定軸に沿った回転であるように制限されないように異なる平面に移動される。この場合、カメラモジュールの光軸は、任意の所望の方向に（関心シーン内の任意の点の方を）指すようにさせられ得る。
いくつかのモジュールは、移動可能でありヒンジ結合される鏡を使用するが、他の実施形態では、カメラモジュールのうちの１つまたは複数は、移動可能ヒンジ５０８および鏡駆動部５１６が省略されることを可能にする固定位置鏡で実施される。たとえば、一実施形態では、全関心シーンエリアをキャプチャするために使用されるカメラモジュールは固定された鏡を有するが、関心シーンエリアの小さい部分をキャプチャするために使用されるカメラモジュールは各々、移動可能にヒンジ結合された鏡を含む。いくつかは固定された鏡を有し、他のものは移動可能な鏡を有するカメラモジュールの結合が使用可能であり、少なくとも１つの実施形態では、例示的なカメラデバイスに含まれる複数のカメラモジュールの各々は、移動可能な鏡を有する。
鏡／ヒンジ駆動部５１６は、カメラ動作の特定のモードに応じて、プロセッサ１１０によって制御される。したがって、ユーザが第１の動作のモードを選択すると、１つまたは複数のカメラモジュールは、鏡を第１の角度にし得るが、別の動作のモード中、たとえば、図３４に示されるように画像がキャプチャされ結合されることになるモジュールは、１つまたは複数のカメラモジュールは、プロセッサ１１０の制御下で鏡を異なる位置に駆動させる。カメラデバイス動作の特定のモードは、モード制御モジュール１１１の制御下で動作するプロセッサ１１０によってユーザ入力に基づいて決定されてもよいし、モード制御モジュールがハードウェア内で実施されるとき、モード制御モジュール１１１によって直接的に決定されてもよい。
１２０４、１２０８、１２１８、１２１４、および１２２４の各々における鏡が４５度である場合、各モジュールはカメラの前面から直接見え、それらの光軸はすべて平行である。この場合、モジュールの各々は、本質的に同じシーンエリアすなわち図３２の第７のシーンエリアを撮像する。モジュール１２０４を用いて第２のシーンエリアの画像をキャプチャするために、モジュール１２０４のヒンジ結合された鏡５１０は、カメラモジュール１２０４の光軸が第２のシーンエリア３２０６の中心の方を向くように調整されることが必要である。モジュール１２０４は、鏡がヒンジのまわりで回転するにつれて、光軸が向く関心シーンエリア３２０２内のロケーションが３２０２の対角線３２５０に沿って移動するような方式で、カメラ１２００内で位置決めされることに留意されたい。同様に、カメラモジュール１２１４のための鏡は、第６のシーンエリアをキャプチャするように調整されることが必要である。図１２では、カメラモジュール１２０４、１２１４は対角線３２５０に近接して、たとえば、これに沿ってまたは隣接して配置されるが、カメラモジュール１２０８、１２１８は、対角線３２６０に近接して、たとえば、これに沿ってまたは隣接して設置されることに留意されたい。１２１４において鏡を回転させること、たとえば、角度したがって鏡の傾斜を変更させることは、モジュールの光軸を対角線３２５０に沿って移動させる。モジュール１２０８および１２１８の鏡も同様に、第３のシーンエリア（３２０８）および第５のシーンエリア（３２１２）の画像をそれぞれキャプチャするように角度付けられる、たとえば回転される。モジュール１２０８、１２１８の場合、光軸は、関心シーンエリアの対角線３２６０に沿って移動する。第７の画像エリア３２１６をキャプチャするために使用されるモジュール１２２４は関心シーンエリア３２０２の中心を向き、そのため、その鏡は４５度に維持される。
上記の説明から、少なくともいくつかのカメラモジュールを対角線３２５０および３２６０に沿って配置させることが特に有益であることを理解されたい。これらのモジュールは、これらの２つの対角線のうちの一方と平行なそれらの光軸のパートＢを有する。したがって、対角線に沿った最大の絞りを有するモジュール１２１０、１２２０、２２０２、１２１２の配置と、同じ対角線に沿っているが、空間の理由のための他のモジュールからずらされた中間の絞りのモジュール１２０４、１２１４、１２０８、１２０８の配置は、画像キャプチャと、いくつかの実施形態において動作のモードを結合することとを容易にするので、意図的な設計の選択肢である。
重複するシーンエリアたとえば３２１０および３２０４に基づいて、たとえばカメラに含まれるプロセッサによって、デプスマップが生成される。いくつかの実施形態では、シーン内の物体の奥行きは、異なるモジュールによってキャプチャされた画像内の物体の相対位置を調べることによって決定可能である。少なくともいくつかの実施形態では、デプスマップは、たとえば、合成画像を形成するために異なる光学チェーンによってキャプチャされた画像を結合する際に光学チェーンの異なる光学チェーンおよび／または光軸の外側レンズの相対位置についての情報と組み合わせて使用される。合成画像の生成における奥行き情報の使用は、視差、視点、および／または画像内で発生し得るもしくは存在する他の画像歪みの是正を可能にする。
図３２の例では、本発明を説明する目的で、７つの別個のシーンエリアが示されている。これらの７つのシーンエリアの各々は、結合される前に図１２００に示されるカメラデバイス６００の異なる光学チェーンによってキャプチャされ得、いくつかの実施形態では、キャプチャされる。カメラモジュールは、以下で説明されるように、画像を同時に、たとえば並行して、キャプチャすることができる。しかしながら、ローリングシャッターが使用される、以下で説明されるいくつかの実施形態では、カメラモジュールは、関心シーンエリアの所与の部分をキャプチャするすべての異なるカメラモジュールが所与の部分を同時にキャプチャするように同期方式で関心シーンエリアの一部分をキャプチャするように制御される。
合成画像を生成するために図３２に示される７つの異なるシーンエリア部分に対応する７つの画像を結合することによって、単一の画像センサの４倍の画素カウントを有する合成画像を生成することが可能であることを理解されたい。たとえば、画像部分の各々が、８００万画素センサを使用してカメラモジュールによってキャプチャされる場合、第２のシーンエリア、第３のシーンエリア、第５のシーンエリア、および第６のシーンエリアは各々、異なる８００万画素センサによってキャプチャされ、したがって８００万画素を合成画像に貢献させるので、図３２に示される関心シーンエリアに対応する合成画像は、３２００万画素の全体画素カウントを有するであろう。キャプチャされた画像が、対応するシーンエリアよりもやや大きい場合、実際の解像度が、やや低い可能性がある。
第１のシーンエリアと第４のシーンエリアとをキャプチャするために使用されるセンサは、第２のシーンエリアと第３のシーンエリアと第５のシーンエリアと第６のシーンエリアとをキャプチャするために使用されるセンサの結合によってキャプチャされる画像エリアと同じ画像エリアに対応するので、合成画像の全体画素カウントの増加をもたらす可能性は低いが、これらのセンサは、ｆ１レンズを使用することなく可能であろうよりも増加された光キャプチャを提供し、また、デプスマップの生成を可能にし、合成画像を生成するプロセスの一部として第２のシーンエリア、第３のシーンエリア、第５のシーンエリア、および第６のシーンエリアに対応する画像を位置合わせし縫い合わせる際に使用可能である全体的なシーンエリアの画像を提供する重要な情報も提供する。
（ｆ３）カメラモジュールたとえば１２１６は、第７のシーンエリアをキャプチャするために使用される。第７のシーンエリアの中心は、関心画像エリアの中心と一致する。事実上大部分のレンズは、視野の中心において最小の収差と最良の画質とを有するので、これは、関心シーンエリアの中心が、第７のシーンエリアをキャプチャするカメラモジュールによって高品質で画像化されることを保証する。第７のシーンエリアを画像化することはまた、関心シーンエリアの中心でキャプチャされる光エネルギーの総量を増加させる。このことは、キャプチャされた画像から生成される合成画像が、関心シーンエリアの中心で、その最良の品質（高解像度および最小ノイズ）を有することを可能にする。
単一レンズカメラによってキャプチャされる画像は、光学収差により、縁よりも中心において良いことが多く、口径食は中心においてよりもフィールドの縁の近くで大きいことを理解されたい。何らかの実施形態により生成される合成画像は、画像の中心において類似の高品質を示し、合成画像の縁に向かって、より低い品質の可能性がある。この影響は、従来の単一レンズカメラの影響に類似していることを考えると、合成画像は、単一カメラモジュールによってキャプチャされる画像に類似しているが、この画像よりも潜在的により高い品質であることを理解されたい。
図３３は、本発明のより良い理解を与えるために、図３２の例でキャプチャされる異なる画像部分が、図３１に示される例示的な関心シーンエリアにどのように関係し得るかを示す。図３２で説明されるように異なるモジュールによってキャプチャされる関心シーンエリアの画像部分の各々は、図３３では、同じ参照番号の後にプライム符号（’）が続くことを用いて識別される。たとえば、３２０２’は、関心シーンを含むキャプチャされる全関心シーンエリアを示し、３２０６’は第２のシーンエリアであり、関心シーンエリアの一部分に関係し、３２０８’は第３のシーンエリアであり、関心シーンエリアの別の部分に関係し、３２１０’は第４のシーンエリアであり、全関心シーンエリアを含み、３２１２’は第５のシーンエリアであり、関心シーンエリアの別の部分に関係し、３２１４’は第６のシーンエリアであり、関心シーンエリアの別の部分に関係し、３２１６’は第７のシーンエリアであり、関心シーンエリアの中心部分に関係する。キャプチャされる画像部分の各々が、図３１に示される例示的な関心シーンエリアにどのように関係するかは、図３３からより良く理解できる。
図３４は、光学チェーンたとえば３つの異なる焦点距離たとえば（ｆ１、ｆ２、およびｆ３）に対応するカメラモジュールを有するカメラによってキャプチャされる異なる画像部分を示す図３４００である。上記でさまざまなセクションで説明されるように、いくつかの実施形態では、カメラ内の光学チェーンの各々は、画像部分が、対応する光学チェーンによってキャプチャされるときに光をキャプチャする対応する画像センサを含む。一実施形態では、第１の光学チェーンは、関心シーン３４０４の第１の画像（中間のサイズの長方形３４０４として示されている）をキャプチャする第１のセンサを含む。第２のセンサを含む第２の光学チェーンは、関心シーンの画像部分３４０６（小さいサイズの長方形３４０６として示される）をキャプチャし、第３の光学チェーンは、関心シーンの別の画像部分３４０８をキャプチャする第３のセンサを含み、第５の光学チェーンは、関心シーンの別の画像部分３４１０をキャプチャする第５のセンサを含み、第６のセンサを含む第６の光学チェーンは、関心シーンの別の画像部分３４１２をキャプチャし、第７のセンサを含む第７の光学チェーンは、関心シーンの別の画像部分３４１４をキャプチャする。そのうえ、第４のセンサを含む第４の光学チェーンは、関心シーン全体を含む画像３４０２をキャプチャする。一実施形態では、第２の光学チェーン、第３の光学チェーン、第５の光学チェーン、第６の光学チェーン、および第７の光学チェーンの焦点距離は同じ（ｆ３）であり、関心シーンエリア３４０４をキャプチャする第１の光学チェーンの焦点距離（ｆ２）およびシーンエリア３４０２をキャプチャする第４の光学チェーンの焦点距離（ｆ１）よりも大きい。そのような一実施形態では、さまざまな光学チェーンの焦点距離は、ｆ１＜ｆ２＜ｆ３のようなものである。
一実施形態が上記で説明されているが、さまざまな異なる変形形態が可能であることを理解されたい。そのような異なる一実施形態では、図３４に示される異なる画像部分は、２つの異なる焦点距離たとえば（ｆ１、ｆ２）に対応する光学チェーンを有するカメラによってキャプチャされ、そこで、画像部分３４０６、３４０８、３４１０、３４１２、３４１４は、画像部分３４０２と３４０４とをキャプチャする光学チェーンの焦点距離（たとえば、ｆ１）よりも大きい焦点距離（たとえば、ｆ２）を有する光学チェーンによってキャプチャされる。そのような一実施形態では、ｆ２はｆ１の２倍である。図３４およびその中に示される画像部分は、異なるカメラモジュールに対応するローリングシャッターが、カメラモジュールセンサの各々が画像部分をキャプチャするように独立して（非同期的に）動作される場合に導入され得る動きに関連する（カメラまたは被写体に関連する）歪みを減少させるまたは最小限にするやり方で異なるカメラモジュールによってキャプチャされる画像の結合を容易にするように協調された方式でどのように制御可能であるかを説明する際に使用される。協調された方式でのカメラモジュールのセンサからの読み出しは、異なる光学チェーンによってキャプチャする協調されていない非同期画像による歪みを最小限にする助けとなり、キャプチャされる画像は容易に結合可能である。
上記で説明される対応する光学チェーンに含まれるさまざまなセンサによって実行される上記で説明された画像キャプチャ動作は、図１７に示されるように配置された光学チェーンを含むカメラ１４００などのカメラによって実行され得、いくつかの実施形態では、実行される。別の実施形態では、上記で説明される対応する光学チェーンに含まれるセンサによって実行される画像キャプチャ動作は、図１２に示されるように配置された光学チェーンを含むカメラ６００によって実行される。
図３５は、ローリングシャッターを使用する４つの光学チェーンたとえばカメラモジュールのセンサが、キャプチャされた画像と、同じ関心シーンエリアのより大きい部分をキャプチャする、より小さい焦点距離を有する別の光学チェーンによってキャプチャされた１つまたは複数の画像との結合を容易にする方式で、関心シーンエリアをキャプチャするようにどのように組み合わせて使用可能であるかを示す。図７０６、７０８、７１０、および７１２は、異なる光学チェーンに対応する例示的な画像センサが、画像キャプチャ動作の一部としてある縁から別の縁までの（たとえば、上部から底部までの）読み出しを実行するようにどのように制御されるかを示す。たとえば、図７０６は、７０６に示される画像センサが対応する第２の光学チェーンによって画像部分３４０６（図３４に示される）をキャプチャすることの一部としてたとえば上部から底部まで読み出し可能な画素要素のＮ個の行を有する図３４に関して説明される第２の画像センサを示す。図７０８は、７０８に示される画像センサが対応する第３の光学チェーンによって画像部分３４０８をキャプチャすることの一部として上部から底部まで読み出し可能な画素要素のＮ個の行を有する、上記で図３４に関して説明された第３の画像センサを示す。同様に、７１０および７１２は各々、図３４に示される画像部分３４１０と３４１２とをキャプチャする画素要素のＮ個の行を有する第５のセンサと第６のセンサとを示す。図７０６、７０８に示されるセンサからの読み出しは、同時に同期して開始し、図７１０、７１２に示されるセンサからの読み出しは、図７１０、７１２に示されるセンサからの読み出しが終わると、一緒に開始する。
図３６は、図３４に示される画像部分３４０６と３４０８と３４１０と３４１２とをキャプチャするために使用される光学チェーン（図３４に関して説明された第２の光学チェーン、第３の光学チェーン、第５の光学チェーン、および第６の光学チェーン）の焦点距離の半分または約半分の焦点距離を有する、光学チェーンたとえば図３４に関して説明された第１の光学チェーンに対応するセンサは、より小さい焦点距離を有する光学チェーンが、より大きい焦点距離を有する複数の光学チェーンとの同期方式で関心シーンのすべてまたは一部分をキャプチャするようにどのように制御可能であるかを示す。図３６００は、図３５に示されるより大きい焦点距離を有する光学チェーンに対応する他のセンサに対応する画素行の読み出しと同期される方式で読み出し可能な画素要素のＮ個の行を有する第１のセンサを示す。図３６００は、比較的小さい焦点距離に対応する第１のセンサが画素要素のＮ個の行を有することを示すが、図３６００内の長方形は、第１のセンサの物理的サイズを示さないまたは表さないことを理解されたい。
図３５、図３６、図３７、図３８、および図３９は、異なるセンサによってキャプチャされた画像が容易に結合可能であるように協調された方式における異なるカメラモジュールのセンサの読み取りのローリングシャッター制御に関するさまざまな態様を示す。ローリングシャッターが使用される実施形態で理解されるべきであるように、画素値の行が順次読み出される。図３５、図３６、図３７、図３８、および図３９では、各センサは画素要素の同じ数の行、たとえばＮ個の行を含むと仮定される。したがって、これらの図について説明する目的で、Ｎは、センサ上の画素値の行の数であり、ローリングシャッター制御の説明を容易にするために、異なるカメラモジュールのセンサは画素要素の同じ数の行を有すると仮定される。センサは画素要素のＮ個の行を有するが、いくつかの実施形態では、行の合同読み取りが許可され、その場合、センサは、画素要素のＮ／Ｍ個の行を有するかのように動作し、ここで、Ｍは合同読み取り係数、たとえば、合同で読み出される、たとえば加算され読み出される行の数であり、それによって、画素要素の単一の行からの読み出しとして同じ数の画素値を生じさせる。合同読み取り動作は、センサの完全な読み出しが、個々の行が個別に読み取られる場合にセンサを読み出すためにかかるであろう時間のＭ分の１で完了可能であるという利点を有する。
電子ローリングシャッターの実装形態の場合、画像センサの行が順に読み出されることを理解されたい。各行を読むためにかけられる時間はきわめて短いが、行の数が大きくなることがあり、画像全体を読むためにかけられる最小時間が５０ミリ秒以上にもなることがある。行読み取り時間が短いので、所与の行中のすべての画素が（ほとんど）同時に読まれると仮定するものとする。画素の所与の行に関する光の積分（integration）は、その行がリセットされる（カーテンを開ける）と始まり、その行が読み出される（カーテンを閉じる）と終わる。露光持続時間は、行のリセット時刻と行の読み取り時刻との間の持続時間である。所与の行の露光瞬間または（キャプチャ時間）は、その行が読み出される時刻と定義可能である。より正確には、露光瞬間は、行のリセット時刻と行の読み取り時刻の平均と考えられ得る。明らかに、画像センサの異なる行に対応するシーンエリアは、異なる時刻にキャプチャされる。所与の関心シーンエリアの一部分が、１つの画像を作製するために複数のキャプチャされた画像を結合する意図をもって、電子ローリングシャッターを各々実施する、複数のカメラモジュールによってキャプチャされるとき、さまざまなモジュールのローリングシャッターが同期されない場合、動きに関連したアーチファクトが観測され得る。これらのアーチファクトを最小限にするために、カメラモジュールのローリングシャッターは、シーンエリアの任意の所与の点の画像が、（ほぼ）同じ瞬間に異なるセンサによってキャプチャされるように同期される。
画素値の行を読み出すために時間期間ＴRがかかると仮定すると、Ｎ個の行を有するセンサの完全な読み取りを完了するには、ＴRのＮ倍の時間期間がかかる。シーンエリアの異なる部分に対応する複数のセンサが、できる限り迅速に画像をキャプチャするように動作される場合、画像を結合することが、結合される異なる時間にキャプチャされたシーンの一部分によるアーチファクトをもたらすことが可能である。
そのような時間（動きに関連した）アーチファクトを回避するために、異なるセンサにシーンエリアの同じ部分を同時にキャプチャさせることが望ましいことを理解されたい。より小さい焦点距離を有する（したがって、シーンのより大きいパートをキャプチャする）カメラモジュールによってキャプチャされた１つまたは複数の画像と大きい焦点距離を有する複数のカメラモジュールからの画像とを結合するとき、たとえば、ローリングシャッターが、より大きい焦点距離を有し、したがってシーンのより小さい部分に対応する画像をキャプチャするカメラモジュールのセンサの行の数の何らかの結合に等しいいくつかの行を有するより大きいセンサにわたって制御されていたかのように、より大きい焦点距離のモジュールのうちのいくつかがシーンの一部分を順次キャプチャすることが望ましいことがあることも理解されたい。
図３５は、その各々が異なるカメラモジュールに対応する４つのセンサに対応する図７０６、７０８、７１０、７１２に示される画素要素のＮ個の行がどのように順次読み出し可能であるかを示す。図７０６、７０８、７１０、７１２に示される４つのセンサに対応する画素要素の行は、シーン部分３４０６、３４０８、３４１０、および３４１２などのシーンの４つの異なる部分をキャプチャすることができることに留意されたい。
説明の目的で、図７０６、７０８、７１０、７１２に示される画素要素の行は、その各々が焦点距離ｆ３を有する第２の光学チェーン、第３の光学チェーン、第５の光学チェーン、および第６の光学チェーンのセンサに対応すると仮定する。以下で説明されるように、ｆ３は、いくつかの実施形態では、関心シーン３４０４をキャプチャする第１の光学チェーンの焦点距離ｆ２の２倍であり、シーンエリア３４０２をキャプチャする第４の光学チェーンの焦点距離ｆ１の４倍である。したがって、焦点距離ｆ３を使用する光学チェーンは、比較的高い倍率を提供するが、焦点距離ｆ２または焦点距離ｆ１を使用する光学チェーンよりも、シーンの小さい部分をキャプチャする。焦点距離ｆ３を使用する光学チェーンは、焦点距離ｆ２を有する光学チェーンのサイズの４分の１であり、焦点距離ｆ１を有する光学チェーンのサイズ１６分の１であるシーンエリアの画像をキャプチャする。図３５００は、関心シーンの一部分をキャプチャするより大きい焦点距離の光学チェーンに対応するセンサが画素要素のＮ個の行を有することを示しているが、図７０６、７０８、７１０、７１２内の長方形は、センサの物理的サイズではなく、センサによってキャプチャされる画像エリアの相対的サイズを示すまたは表すことを理解されたい。
焦点距離とシーンエリアキャプチャサイズのこの関係は、図３４、図３５、図３６、および図３７では、示されている画素要素の行の相対的サイズによって表される。したがって、画素要素の実際のサイズは同じであってよいが、センサの各々では、キャプチャされる画素値が対応するシーンの部分のサイズは、特定のセンサが含まれるカメラモジュールの焦点距離に依存することを理解されたい。
説明の目的で、図３５の図７０６、７０８、７１０、７１２は、焦点距離ｆ３を有する光学チェーンに対応する４つのセンサに対応する画素要素の行を示すことが仮定される。図７０６に対応するセンサが関心シーンの左上部分をほぼキャプチャし、図７０８に対応するセンサが関心シーンの右上部分をほぼキャプチャし、図７１０に対応するセンサが関心シーンの左下部分をほぼキャプチャし、図７１２に対応するセンサが関心シーンの右下部分をほぼキャプチャすることも仮定される。
図７０６に対応するセンサが第２のセンサＳ２であると仮定すると、画素行１の第１のラインの読み出しは、読み取りセンサ２ライン１を表すＲＳ2Ｌ1によって示される時間によって完了される。類似の注釈は、他のセンサの画素要素のラインの読み出しが、図３５〜３９の垂直軸に対応し、図の上部から下部にかけて増加する時間で完了される点を示すために使用される。図７０８に対応するセンサ３の読み出しは、ＲＳ2Ｌ1からの読み出しと同じ時点で完了される。図３５の例では、４つのセンサＳ２、Ｓ３、Ｓ５、Ｓ６によってキャプチャされる画像エリア間の重複はなく、センサＳ５からの読み出しは、センサＳ２の最後の画素行に続いて次の画素行に対応するかのように完了されることに留意されたい。センサが、重複する画像部分に対応する画素値の行を有する場合、センサは同時に読み出すであろうが、図３５の例は、多数の実施形態では当てはまらない、キャプチャされる画像エリアにおける重複はないと仮定することに留意されたい。
説明の目的で、ＴRは、図３５の例で使用されるセンサのいずれか１つから画素値の１行を読み出す時間であると仮定される。例における各センサはＮ個の行を含むので、Ｎ個のセンサのいずれか１つを完全に読み取るために必要とされる時間はＮ ＴRである。したがって、第１のセンサＳ２および第３のセンサＳ３の行（ラインＮ）の読み出しは時刻Ｎ ＴRに完了されるが、センサＳ５およびＳ６の最後の行（ラインＮ）の読み出しは、時刻２ Ｎ ＴＲに完了される。
センサが異なる数の画素の行を含む場合、総読み出し時間は、当然のことながら、センサ内の行の数に依存する。
同じ時間期間Ｎ ＴR内にセンサを読み出すことが望ましいと思われる可能性があるが、異なるセンサからの画像が、ローリングシャッターを使用して読み出されているとき、図７１０、７１２に示されるセンサに対応する画素行が、図７０６、７０８に示されるセンサに対応する画素行の読み出しに続いて読み出されるようにセンサを制御することが望ましいことがある。このように、読み出しは、図７０６、７１０に対応する画素行が単一のローリングシャッターの一部であるかのように順次行われる。いくつかの実施形態で使用されるこの手法は、合成画像が、各々がＮ個の行を有する２つの別個のセンサではなく画素要素の２Ｎ個の行を有する単一のより大きいセンサを使用して取得されるであろうものに類似することを可能にする。したがって、あるセンサの最後の行と次のセンサの第１の行との間で生じ得る時間的不連続性を回避することは、画像の異なる部分に対応するセンサによってキャプチャされる画像を結合するとき、利点を有することができる。
したがって、図７０６、７０８、７１０、７１２に示される画素要素の行に対応するローリングシャッターを使用する４つのカメラモジュールのセンサは、キャプチャされた画像を結合することを容易にする方式で関心シーンエリアをキャプチャするために組み合わせて使用可能であることを理解されたい。
キャプチャされた画像は、より大きいシーンエリアの合成画像を形成するために互いに、およびより大きいシーンエリアの１つまたは複数の画像を用いて結合可能である。より大きいシーンエリアの画像は、同じシーンのより大きい部分をキャプチャする、より小さい焦点距離たとえば焦点距離ｆ２を有するカメラモジュールによってキャプチャ可能であり、いくつかの実施形態では、キャプチャされる。
図３６は、図３５に示される画素要素の行のセットによって表されるシーンエリアをキャプチャするために使用されるカメラモジュールの焦点距離ｆ３の半分または約半分である焦点距離ｆ２を有する、光学チェーンたとえばカメラモジュールに対応するセンサが、より小さい焦点（ｆ２）距離を有する光学チェーンが、より長い焦点距離を有する複数の光学チェーンとの同期方式で関心シーンの一部分をキャプチャするようにどのように制御可能であるかを示す。図３６では、画素値の行が読み出される速度は、焦点距離と１つまたは複数の他のサポートされる焦点距離の相対比に基づく係数倍に減少される。
焦点距離ｆ２はｆ３の焦点距離の２分の１であるので、Ｎ個の画素要素行を含む図３６００に対応するセンサは、図３５の例のセンサによってキャプチャされるシーンの実質的に同じ画像部分をキャプチャし、画素行の読み出し速度は２分の１に減少され、すなわち、１つの画素要素行は時間期間２ＴR内に読み出される。したがって、Ｎ個の画素要素行を含む図３６００に対応するセンサの読み出しは、完全に読み出されるために図７０６、７１０に対応するセンサの結合によって使用される同じ時間の量である画素行の完全な読み出しを完了するのに、Ｎ（２ＴR）の総時間期間がかかる。図３６がセンサＳ１に対応すると仮定すると、Ｓ１の画素値の第１の行の読み出しは、読み取りセンサ１ライン１を表すインジケータＲＳ１Ｌ１によって示される時点に対応する時刻２ＴＲに完了される。したがって、図３５と図３６の画素行の読み出しが同期されるそのような一実施形態では、図３６００に示される画素要素行を有するセンサＳ１は、その読み出しを、図７０６に対応するセンサＳ２および図７０８に対応するセンサＳ３がそれらの画素要素の第１の行の読み出しを始めるのと同時に始める。センサＳ１は、図７１０および７１２に示される画素要素の最後の行が読み出される同じ時刻にまたはその付近で、その画素要素のＮ個の行の読み出しを完了する。したがって、センサＳ１は、図３５が対応するセンサと同期される様式で、その画素行の読み出しを始め、その画素行読み出しを終える。
センサＳ１がセンサＳ２、Ｓ３、Ｓ５、Ｓ６と同じ行あたり読み出し速度で読み出された場合、センサＳ１の読み出しは時刻ＮＴRに完了されているが、これは、異なる光学チェーンに対応するセンサが、高い動きの速度で移動している物体を含む画像から生成された合成画像内の時間アーチファクトにつながり得る、異なる時刻に画像エリアの同じ部分をキャプチャするという望ましくない影響をもたらすであろう。そのような時間アーチファクトは、本明細書で説明される同期された画像キャプチャ技法によって減少または回避される。
図３７は、図３５に示される画像をキャプチャするために使用されるカメラモジュールの４分の１または約４分の１の焦点距離ｆ３である焦点距離（たとえば、ｆ１）を有する、光学チェーン（たとえば、図３４に関して説明された第４の光学チェーン）に対応するセンサＳ４が、より大きい焦点距離を有する複数のカメラモジュールとの同期方式で関心シーンの一部分を対応する光学チェーンがキャプチャするように、どのように制御可能であるかを示す。
図３７００のセンサが対応する光学チェーンの焦点距離（たとえば、ｆ１）はｆ３の焦点距離の４分の１に対応するので、Ｎ個の画素要素行を含む図３７００のセンサは、図３５および図３６の例のセンサによってキャプチャされるシーンの実質的に同じ画像部分をキャプチャし、図３７００のセンサのＮ個の画素行の読み出し速度は４分の１に減少され、すなわち、１つの画素要素行は時間期間４ＴR内に読み出される。図３７では、図３７００は、センサが、図３５の図７０６に対応するセンサよりも垂直次元において４倍大きいシーン部分を対象とすることを考慮に入れて、持続時間４ＴRを有する時間期間ごとに画素値の１行を読み出すように制御されるＮ個の画素要素行を有するセンサを示す。図３７００は、小さい焦点距離ｆ１を有する光学チェーンに対応するセンサが画素要素のＮ個の行を有することを示すが、図３７００内の長方形は、センサの物理的サイズを示さないまたは表さないことを理解されたい。さまざまな光学チェーン内のセンサ（画素要素を含む）のサイズは同じであってよい。
理解されるべきであるように、センサＳ４の第１のラインの読み出しは時刻ＲＳ４Ｌ１に完了され、第Ｎのラインは時刻ＲＳ４ＬＮに読み出される。画素値の行の読み出し速度が、図３５および図３６に示されるセンサ読み出しとの同期を維持するために図３７では４ ＴＲごとに１回発生することを考えると、センサＳ４の読み出しは、０の開始時刻を仮定して時刻４ＮＴRに行われることに留意されたい。
図３８は、図３５、図３６、および図３７の実施形態で使用されるセンサが同期方式で一緒に使用されるときの、これらのセンサ間の行読み出しタイミング関係をより詳細に示す。例示および説明の目的で、図３４に示され上記で対応する説明で説明されるようなさまざまな光学チェーンによってキャプチャされる同じ画像および／または画像部分は、図３８〜３９では参照のために使用されている。したがって、同じ参照番号が使用されている。ブロック３４０２は、焦点距離ｆ１を有する光学チェーンに対応するセンサによってキャプチャされるシーンエリアを表す。ブロック３４０４は、焦点距離ｆ２を有するセンサによってキャプチャされるシーンエリア３４０２の部分を表す。ブロック３４０６、３４１０、３４０８、３４１２、および３４１４は、図３８の例では最高倍率を提供する、焦点距離ｆ３を有する異なるカメラモジュールによってキャプチャされるシーンエリアのブロックを表し、シーンエリアの最小部分がキャプチャされる。
図３９は、大部分のセンサにおける行の数ははるかに大きいという理解の下で、図３８に示される例に類似しているが、行の数Ｎが６であるように選択される、すなわち、センサの各々が６行たとえばＮ＝６の画素要素を含む特定の例を示す。したがって、図３９は、Ｎ＝６の単純な場合に対して同期がどのように達成され得るかを示すために例示的な目的で示され、例の各センサは同じサイズであるが、異なる焦点距離を有する光学チェーンに対応する。
センサが、シーンエリアの同じ部分に対応する画像をキャプチャするとき、読み出しが並行して行われることを図３９から理解されたい。画素値のラインが読み出されると、次の読み出しは、同期された読み出し制御が、読み取られていない画素値の次の行が読み出されるべきであることを示すまで、行われない。
センサが、他のセンサがない画像エリアに対応するとき、そのセンサは画素値のその行を読み出し、一方、他のセンサは、読み出し動作を実行することを抑制する。たとえば、図３９の例では、最小焦点距離を有し、最大画像エリアをキャプチャするセンサＳ４は画素値のその第１の行を読み出し、一方、センサＳ１、Ｓ２、Ｓ３、およびＳ６は、画素値を読み出すことを抑制する。しかしながら、センサが、他のセンサによってもキャプチャされる画像エリアの一部分をキャプチャするとき、そのセンサは、そのセンサまたは同じ画像エリアをキャプチャするセンサの読み出しと厳密に一致するように同期される方式で画素値を読み出す。たとえば、時刻ＲＳ３Ｌ３から時刻ＲＳ４Ｌ４に至る時間期間中、センサＳ１、センサＳ２、およびセンサＳ３も画素読み出しを実行する。この時間期間中に実行される読み出しの数は、センサの行読み出し速度に依存し、光学チェーンに対応するセンサは、センサＳ４が画素値の単一の行を読み出す時間期間内に画素値の複数の行を読み出す、より大きい焦点距離を有する。
画素要素の行を読み取るために使用される時間の最小量を示す時間の単位であるＴRは、ミリ秒または他の任意の適切な時間の単位で表現されてよいことに留意されたい。したがって、垂直軸は、シーンエリアのスキャンおよびセンサの読み出しが上部で開始し、下部に向かって進むという仮定に基づいて、上部から下部まで進行する時間を示すことが意図される。上部から下部までのスキャン方向は例の目的で示されているが、これは、タイミング同期機能に不可欠または重要ではない。
センサが対応する光学チェーンの焦点距離に基づいて読み出し速度を同期させる方法は、センサが同じサイズであり同じ数の行を含む単純な場合で説明されているが、方法は、異なるサイズのセンサおよび／または異なる数の行の画素値を有するセンサを使用する光学チェーンとともに使用するのに特に適していることを理解されたい。理解されるべきであるように、そのような違いは、存在する場合、開始時刻および停止時刻、ならびに複数の光学チェーンたとえばカメラモジュールによって関心画像エリアの同期された画像キャプチャを達成する方式でセンサの読み出しを制御するために使用されることになる読み出し速度に関して考慮に入れられ得、いくつかの実施形態では、考慮に入れられる。そのうえ、異なるモジュールによってキャプチャされる画像エリアにおける重複は、部分的に重複している画像エリアに対応することがある異なるセンサの読み出しに関する開始時刻を決定するとき、考慮に入れられ得る。
たとえば、図３５の例のセンサＳ５が、センサＳ２の最後の行のうちのいくつかによってキャプチャされる画像部分に重なった画像エリアをキャプチャした場合、Ｓ５画素要素の第１の行の読み出しは、同じ画像部分をキャプチャしたセンサＳ２の画素要素の行と並行して行われる。そのような一実施形態では、Ｓ５の画素要素の行のすべてではないが、いくつかの読み出しは、Ｓ２およびＳ５によってキャプチャされていた画像エリアにおける部分的重複により、センサＳ２の読み出しの完了に続く。
図３６〜図３９は、小さい焦点距離を有するカメラモジュールに対応するセンサの読み出し速度が、より大きい焦点距離を有するカメラモジュールに対応する画像キャプチャおよびセンサの画素読み出しにセンサを同期させるためにどのように低速化可能であるかを説明するために使用されているが、ここで、画像内の画素カウントを最大限にすることは最優先ではなく、画素行の合同読み取りは、より大きい焦点距離のカメラモジュールに対応するセンサの読み出しを高速化するために使用可能であり、いくつかの実施形態では、そのために使用される。Ｍ個の行のグループの合同読み取り中、センサは、デジタル化および読み取りの前にＭ個の行の各々の対応する画素を合計するためにアナログ回路を使用する。Ｍ個の行の合同読み取りは、一般的に、単一の行を読み取るのと同じ時間がかかり、それによって、読み取りスピードをＭ倍高速化する。そのような手法は、単一のセンサを読み出すために必要とされる時間期間に等しい時間期間内の関心シーンエリアの同期されたローリングシャッター制御キャプチャを可能にする。そのような手法は、合成画像内のより低い全体的画像画素カウントをもたらすことがあり、たとえば、場合によっては、合成画像の画素カウントが単一のセンサの画素カウントに減少されるが、そのような手法は、キャプチャされている画像内の物体が、キャプチャがより短い時間期間内に行われた場合よりもキャプチャ時間期間内にさらに移動するので、全体的な画像キャプチャ期間が増加される場合、その物体の動きがアーチファクトを導入するので、その動きが存在するケースで望ましいことがある。
図４０は、例示的な一実施形態により複数の光学チェーンたとえばカメラモジュールを使用して画像をキャプチャし、画像を結合する例示的な方法を示す。
図４０は、例示的な一実施形態により合成画像を生成するためにローリングシャッターを有する少なくとも１つのセンサを含む、たとえば図６、図８、および／または図１４に示される撮像デバイスなどの、撮像デバイスを制御する例示的な方法のステップを示す流れ図４０００を示す。流れ図４０００の方法を実施するカメラデバイスは、図１のカメラデバイス１００および図４Ａのデバイス２００と同じまたは類似の要素を含むことができ、場合によっては、これを含む。
流れ図４０００の方法は、図１のカメラ１００などのカメラデバイスを使用して実行可能であり、いくつかの実施形態では、実行される。いくつかの実施形態では、カメラ１００はバッテリ式ハンドヘルドデバイスである。例示的な方法は、たとえば、カメラデバイスたとえばカメラ１００のユーザが、関心シーンエリアの画像のキャプチャをトリガするためにボタンを押すまたは別の行動を起こすとき、ステップ４００２において開始する。説明の目的で、カメラデバイスが複数の光学チェーンたとえばカメラモジュールを含み、カメラモジュールの各々は独立して動作および制御可能であると考える。説明の目的で、異なるシーンエリアに対応する画像のキャプチャおよび結合は、図１２Ａに示される光学チェーンを参照し、それを例のベースとして使用することによって説明される。図１２Ａの例で先に説明されたように、３つの異なる焦点距離すなわちｆ１、ｆ２、およびｆ３が使用されており、ここで、ｆ１＜ｆ２＜ｆ３である。
動作は、ステップ４００２から、画像キャプチャ動作を伴うステップ４００４、４００６、４００８、４０１０、４０１２、４０１４、および４０１６に進む。画像キャプチャ動作は、同期方式で実行され得、いくつかの実施形態では、実行される。少なくともいくつかの同期される実施形態では、異なる光学チェーンの必ずしもすべてでないがいくつかによってキャプチャされる画像は、同じまたは重複する時間期間に対応する。他の実施形態では、画像キャプチャが同期されるのではなく、キャプチャされた画像のうちの複数の画像が、同じまたは重複する時間期間中にキャプチャされる。さらに他の実施形態では、少なくともいくつかの画像が順次、たとえばすばやく連続して、キャプチャされる。逐次的な画像キャプチャは、シーンエリアの異なる部分に対応する画像をキャプチャするために使用され得、いくつかの実施形態では、使用される。ステップ４００４では、第１の焦点距離（ｆ１）を有するカメラの第１の光学チェーンたとえば第１のカメラモジュール１２２８は、関心シーンエリアの第１の画像をキャプチャするように動作される。いくつかの実施形態では、関心シーンエリアは、全画像キャプチャエリアよりもやや小さいことがある。動作は、ステップ４００４からステップ４０１８に進む。
ステップ４００６では、第２のシーンエリアの第２の画像が、第１の焦点距離（ｆ１）よりも大きい第２の焦点距離（ｆ２）を有するカメラたとえば光学チェーン１２０４の第２の光学チェーンを使用してキャプチャされ、第２のシーンエリアは関心シーンエリアの第１の部分である。さまざまな実施形態では、第２の光学チェーンは、関心シーンエリアの一部たとえば４分の１または半分の部分をキャプチャする。動作は、ステップ４００６からステップ４０１８に進む。
ステップ４００８では、第３のシーンエリアの第３の画像が、第１の焦点距離よりも大きい第３の焦点距離（ｆ２）を有するカメラたとえば光学チェーン１２０８の第３の光学チェーンを使用してキャプチャされ、第３のシーンエリアの少なくとも一部分は第２のシーンエリアと重複しておらず、第３のシーンエリアは関心シーンエリアの第２の部分である。したがって、いくつかの実施形態では、第３の光学チェーンは、関心シーンエリアの一部たとえば別の４分の１の部分をキャプチャする。動作は、ステップ４００８からステップ４０１８に進む。いくつかの実施形態では、第１の光学チェーン、第２の光学チェーン、および第３の光学チェーンは、カメラの前面に外側レンズを有する。すべてではないが、いくつかの実施形態では、光学チェーンの最も外側のレンズは、ゼロ屈折力を有する平面状ガラスまたはプラスチックレンズである。
ステップ４０１０では、第４の画像が、ｆ１に等しいまたはこれよりも小さい第４の焦点距離を有するカメラたとえば光学チェーン１２３４の第４の光学チェーンを使用してキャプチャされ、第４の画像は関心シーンエリアである。いくつかの実施形態では、第４の焦点距離は、第１の焦点距離と同じかこれよりも小さい。動作は、ステップ４０１０からステップ４０１８に進む。
ステップ４０１２では、第５のシーンエリアの第５の画像が、第１の焦点距離（ｆ１）よりも大きい第５の焦点距離を有するカメラたとえば光学チェーン１２１８の第５の光学チェーンを使用してキャプチャされ、第５のシーンエリアは関心シーンエリアの第３の部分である。したがって、第５の光学チェーンは、関心シーンエリアの一部たとえば４分の１または半分の部分をキャプチャする。動作は、ステップ４０１２からステップ４０１８に進む。
ステップ４０１４では、第６のシーンエリアの第６の画像が、第１の焦点距離（ｆ１）よりも大きい第６の焦点距離を有するカメラたとえば光学チェーン１２１４の第６の光学チェーンを使用してキャプチャされ、第６のシーンエリアは関心シーンエリアの第４の部分である。動作は、ステップ４０１４からステップ４０１８に進む。
ステップ４０１６では、第７のシーンエリアの第７の画像が、第１の焦点距離（ｆ１）よりも大きい第７の焦点距離を有するカメラたとえば光学チェーン１２２４の第７の光学チェーンを使用してキャプチャされ、第７のシーンエリアは関心シーンエリアの中心にある。動作は、ステップ４０１６からステップ４０１８に進む。
いくつかの実施形態では、第１の焦点距離と第４の焦点距離は同じである。いくつかの実施形態では、第２の焦点距離と、第３の焦点距離と、第５の焦点距離と、第６の焦点距離は同じである。いくつかの実施形態では、第７の焦点距離は、第２の焦点距離、第３の焦点距離、第５の焦点距離、および第６の焦点距離と同じである。いくつかの実施形態では、第２のシーンエリア、第３のシーンエリア、第５のシーンエリア、および第６のシーンエリアの合併（union）たとえば結合は、関心シーンエリアを含む。
ここで、ステップ４０１８に戻る。ステップ４０１８は、必ずしもすべてではないがいくつかの実施形態において実行される。ステップ４０１８では、キャプチャされた画像のうちの少なくとも２つに含まれる関心シーンエリアの一部分に関する奥行き情報が生成される。したがって、いくつかの実施形態では、関心シーンエリアの一部分に関するデプスマップ情報を生成するために、同じ関心シーンエリアの少なくとも２つのキャプチャされた画像が使用される。いくつかの実施形態では、ステップ４０１８はステップ４０２０を含む。そのような実施形態では、ステップ４０２０に示されるように、少なくとも第１のキャプチャされた画像および第４のキャプチャされた画像が、奥行き情報を生成するために使用される。一実施形態では、第１キャプチャされた画像および第４のキャプチャされた画像は、奥行き情報を生成するために使用されるが、他のキャプチャされた画像も、奥行き情報を生成する際に使用されてよい。さまざまな実施形態では、奥行き情報は、カメラに含まれるプロセッサ、たとえばプロセッサ１１０または２１１などによって生成される。
さまざまな実施形態では、第２の光学チェーン、第３の光学チェーン、第５の光学チェーン、第６の光学チェーン、および第７の光学チェーンは、これらの光学チェーンによって撮影されたシーンの部分の画像が、異なる空間的に分離された入射瞳からのものであり、したがって異なる視点を有するような方式で配置される。異なる視点を有するそのような画像を結合することは、アーチファクトたとえば視差を導入する。これらの異なる光学チェーンによってキャプチャされたさまざまな画像を使用して生成された合成画像からのそのようなアーチファクトの影響を最小限にする、および／またはこれを緩和するために、異なる視点による合成画像の歪みを回避するために画像を結合するとき視差是正を提供する奥行き情報が使用される。
動作は、ステップ４０１８からステップ４０２２に進む。ステップ４０２２では、少なくとも第１のキャプチャされた画像、第２のキャプチャされた画像、および第３のキャプチャされた画像から合成画像が生成される。いくつかの実施形態では、合成画像を生成するステップは、合成画像を生成する際に奥行き情報が使用されるステップ４０２４を含む。そのような実施形態では、合成画像は、生成された奥行き情報、たとえば、ステップ４０１８において生成された奥行き情報に応じて、少なくとも第１のキャプチャされた画像、第２のキャプチャされた画像、および第３のキャプチャされた画像から生成される。いくつかの実施形態では、奥行き情報は、合成画像を生成する際に使用されるが、奥行き情報の使用は、必ずしもすべての実施形態で、合成画像を生成するために必要とは限らない。いくつかの実施形態では、合成画像を生成するステップ４０２２は、図示のステップ４０２６に示されるように、合成画像を生成するために第４のキャプチャされた画像、第５のキャプチャされた画像、第６のキャプチャされた画像、および第７のキャプチャされた画像を使用することをさらに含む。合成画像は、関心シーンエリアの画像を含む。さまざまな実施形態では、生成される合成画像は、関心シーンエリアの画像である。動作は、ステップ４０２２からステップ４０２８に進む。ステップ４０２８では、１つもしくは複数のキャプチャされた画像、たとえば、第１の画像、第２の画像、第３の画像、第４の画像、第５の画像、第６の画像、および／もしくは第７の画像、ならびに／または合成画像は、たとえばデバイスメモリ内に格納され、ならびに／またはたとえば、ディスプレイデバイスに、および／もしくはインターフェースを介して外部デバイスに出力される。
いくつかの例示的な実施形態では、たとえばカメラデバイス１００などの撮像デバイスが、流れ図４０００の方法を実施するために使用される。そのような一実施形態では、カメラデバイス１００の複数の光学チェーン１３０は、図１２Ａに示される方式で配置された光学チェーンを含み、光学チェーンのより詳細な配置および要素（たとえば、センサ、フィルタ）は、図１２Ｂにさらに示されている。したがって、そのような一実施形態では、複数の光学チェーン１３０は、図１２Ａに関して説明された光学チェーン１２０２〜１２３４を含む。別の実施形態では、カメラデバイス１００の複数の光学チェーン１３０は、図１７Ａに示されるタイプおよび配置の光学チェーンを含む。したがって、そのような一実施形態では、複数の光学チェーン１３０は、図１７Ａおよび図１７Ｂに関して説明された光学チェーン１７０２〜１７３４を含む。
いくつかの例示的な実施形態では、プロセッサ１１０は、上記で説明された光学チェーンによってキャプチャされた２つ以上の画像を結合することによって合成画像を生成するように構成される。一実施形態では、プロセッサ１１０は、少なくとも第１の光学チェーンによってキャプチャされた関心シーンエリアの第１の画像、第２の光学チェーンを使用してキャプチャされた、関心シーンエリアの第１の部分である第２のシーンエリアの第２の画像、および第３の光学チェーンを使用してキャプチャされた第３のシーンエリアの第３の画像から合成画像を生成するように構成され、第３のシーンエリアは関心シーンエリアの第２の部分であり、第３のシーンエリアの少なくとも一部分は第２のシーンエリアと重複しない。
いくつかの実施形態では、プロセッサ１１０は、キャプチャされた画像のうちの少なくとも２つに含まれる関心シーンエリアの一部分に関する奥行き情報が生成するように構成される。いくつかの実施形態では、プロセッサ１１０は、少なくとも第１の光学チェーンによってキャプチャされた第１の画像と第４の光学チェーンによってキャプチャされた第４のキャプチャされた画像とを使用して奥行き情報を生成するようにさらに構成され、第４の画像は関心シーンエリアである。いくつかのそのような実施形態では、プロセッサ１１０は、前記奥行き情報に応じて合成画像を生成するようにさらに構成される。いくつかの実施形態では、第４の光学チェーンは、第１の光学チェーンの第１の焦点距離に等しいかこれよりも小さい第４の焦点距離を有する。いくつかの実施形態では、プロセッサ１１０は、メモリ１０８内の１つもしくは複数のキャプチャされた画像および／もしくは生成された合成画像の格納ならびに／またはディスプレイ１０２上での１つもしくは複数のキャプチャされた画像および／もしくは合成画像の出力ならびに／またはインターフェース１１４などのインターフェースを介した別のデバイスへのキャプチャされた画像もしくは合成画像の送信を制御するようにさらに構成される。
方法４０００のさまざまな機能および／またはステップは、そのようなデバイスが汎用プロセッサおよび／または画像センサを使用することがあるとしても、カメラおよび／または画像処理の改善に関することを理解されたい。奥行き情報を生成するステップおよび合成画像を生成するステップなどの方法４０００の１つまたは複数のステップは、プロセッサたとえばプロセッサ１１０、２１１によって実行されるように説明されてきたが、方法４０００のステップのうちの１つまたは複数は、専用回路、たとえば、方法を実行する撮像デバイスの効率、精度、および／または動作能力を改善する、ＡＳＩＣ、ＦＰＧＡ、および／または他の特定用途向け回路によって実施され得、いくつかの実施形態では、実施されることを理解されたい。いくつかの実施形態では、専用ハードウェアたとえば回路、および／または専用ハードウェアとソフトウェアの組み合わせが、方法４０００の１つまたは複数のステップを実施する際に利用され、その中で、方法を実施する撮像デバイスたとえばカメラに追加の画像処理効率、精度、および／または動作能力を提供する。
図４１Ａと図４１Ｂの結合を備える図４１は、例示的な一実施形態により関心シーンエリアの一部分をスキャンするためにローリングシャッターを有する少なくとも１つの画像センサを含む、たとえば図６、図８、および／または図１４に示される撮像デバイスなどの撮像デバイスを動作させる例示的な方法のステップを示す流れ図４１００である。流れ図４１００の方法を実施するカメラデバイスは、図１および図４Ａのカメラデバイスと同じまたは類似の要素を含むことができ、場合によっては、これを含む。
例示的な方法はステップ４１０２で開始し、たとえば、ユーザはカメラデバイス上で関心シーンエリアのキャプチャを始め、このことが、カメラデバイスたとえばカメラデバイス１００に、１つまたは複数の光学チェーンによる関心シーンエリアのスキャンと、したがって画像キャプチャとを始めさせる。説明の目的で、カメラデバイスは複数の画像センサを含み、各センサは、光学チェーンの一部であり、たとえば、第１のセンサ〜第Ｘのセンサは、第１の光学チェーン〜第Ｘの光学チェーンにそれぞれ含まれると考える。動作は、ステップ４１０２からステップ４１０４に進む。ステップ４１０４では、カメラに含まれる複数の画像センサは、関心シーンエリアの第１の縁から関心シーンエリアの第２の縁まで関心シーンエリアをスキャンするように制御され、関心シーンエリアの第１の縁（たとえば、上部）と第２の縁（たとえば、下部）は平行であり、スキャンすることは、関心シーンエリアの第１の縁から第２の縁まで（たとえば、均一な速度で）進むスキャン位置に従って画像キャプチャを制御することを含む。いくつかの実施形態では、複数の画像センサは、関心シーンエリアの実質的に重複しない部分（いくつかの実施形態では、画像部分の大半は重複しない）をキャプチャする複数の画像センサを含み、複数のセンサによってキャプチャされる関心シーンエリアの部分の合併は、関心シーンエリアを包含する。いくつかの実施形態では、複数の画像センサは、偶数のセンサ、たとえば４つを含む。
いくつかの実施形態では、複数の画像センサは、第１の画像センサと、第２の画像センサと、第３の画像センサとを含み、第１の画像センサは関心シーンエリアの第１の部分をキャプチャし、第２の画像センサは関心シーンエリアの第２の部分をキャプチャし、第３の画像センサは関心シーンエリア全体をキャプチャする。いくつかのそのような実施形態では、関心シーンエリアの第１の部分と第２の部分は部分的に重複しない。
いくつかの実施形態では、第１のセンサは、第２のセンサによってキャプチャされない関心シーンエリアの一部分の画像をキャプチャし、第２のセンサは、第１のセンサによってキャプチャされない関心シーンエリアの一部分の画像をキャプチャする。いくつかの実施形態では、第１のセンサによってキャプチャされる関心シーンエリアの第１の部分は、第２のセンサによってキャプチャされる関心シーンエリアの第２の部分に先行するスキャンロケーションで始まる。いくつかの実施形態では、関心シーンエリアの第２の部分は、関心シーンエリアの中心に対応する。いくつかの実施形態では、複数のセンサは５つのセンサを含み、そのうちの４つは、関心シーンエリアの実質的に重複していない部分をキャプチャする。いくつかの実施形態では、関心シーンエリアの第２の部分の第１〜第４の異なるコーナー部分は、５つのセンサのうちの残りの４つのセンサによってキャプチャされる関心シーンエリアの異なる対応する部分に重なる。
いくつかの実施形態では、複数のセンサは５つのセンサを含み、そのうちの４つは関心シーンエリアの４つの異なる部分をキャプチャし、関心シーンエリアの４つの異なる部分の各々の少なくとも１つのコーナーは、関心シーンエリアの４つの異なる部分のうちの他の３つによってキャプチャされる画像部分と重ならず、第５のセンサは、関心シーンエリアの中心部分をキャプチャする。
さまざまな実施形態では、ステップ４１０４は、ステップ４１０６、４１０８、および４１１０のうちの１つまたは複数を実行することを含む。関心シーンエリアをスキャンするように１つまたは複数のセンサを制御することの一部として、ステップ４１０６では、ローリングシャッターモードである複数のセンサの中の第１のセンサは、第１のセンサが、現在のスキャン位置に対応する画素値の読み取られていない行を有するとき、現在のスキャン位置に対応する画素値のまだ読み取られていない行を読み出すように動作され、現在のスキャン位置は経時的に（たとえば、スキャンが第１の縁から第２の縁に進むにつれて）変化する。いくつかの実施形態では、スキャン位置は、関心シーンエリアの第１の縁から関心シーンエリアの第２の縁に均一な速度で進む。
ステップ４１０８では、ローリングシャッターモードである複数のセンサの中の第２のセンサは、第２のセンサが、現在のスキャン位置に対応する画素値の読み取られていない行を有するとき、現在のスキャン位置に対応する画素値のまだ読み取られていない行を読み出すように動作され、第１のセンサおよび第２のセンサは、関心シーンエリアの異なる部分の画像をキャプチャする（たとえば、異なる部分が部分的に重複してもよいし、ある部分が他の部分の内部にあってもよい）。同様に、関心シーンエリアをスキャンすることを制御することの一部として、ステップ４１１０では、ローリングシャッターモードである複数のセンサの中の第Ｘのセンサは、第Ｘのセンサが、現在のスキャン位置に対応する画素値の読み取られていない行を有するとき、現在のスキャン位置に対応する画素値のまだ読み取られていない行を読み出すように動作される。したがって、このようにして、関心シーン全体および／または関心シーンのさまざまな部分が、カメラデバイスのさまざまなセンサによってスキャンされる。
いくつかの実施形態では、第１のセンサおよび第２のセンサはそれぞれ、関心シーンエリアの第１の部分および第２の部分に対応し、関心シーンエリアの第１の部分の長さは、スキャンの方向において、関心シーンエリアの第２の部分の長さよりも大きい。いくつかの実施形態では、スキャンの方向は、上部から下部に進む。いくつかの実施形態では、第１のセンサは、第１の焦点距離を有する第１の光学チェーンに対応し、第２のセンサは、第２の焦点距離を有する第２の光学チェーンに対応する。いくつかの実施形態では、制御ステップ４１０４は、１つまたは複数の画像センサの読み出しの持続時間を制御するためにステップ４１１２を実行することをさらに含む。ステップ４１１２では、第１のセンサの読み出しの持続時間は、第１のセンサの画像キャプチャサイズおよび／または第１のセンサが対応する第１の光学チェーンの焦点距離の関数として制御される。いくつかの実施形態では、ステップ４１１２は、センサ読み出しの持続時間を制御することの一部として、ステップ４１１４または４１１６のうちの１つを実行することを含む。ステップ４１１４では、第１のセンサの読み出しの持続時間は、第１の光学チェーンの焦点距離が第２の光学チェーンの焦点距離よりも小さいとき第２のセンサの読み出しよりも長い持続時間を有するように制御される。いくつかの実施形態では、第１のセンサの読み出しの持続時間は、第１のセンサおよび第２のセンサがそれぞれ関心シーンエリアの第１の部分および第２の部分に対応するとき第２のセンサの読み出しよりも長い持続時間を有するように制御され、スキャンの方向における関心シーンエリアの第１の部分の長さは、スキャンの方向における関心スキャンエリアの第２の部分の長さよりも大きい。これは、たとえば、第１のセンサを含む第１の光学チェーンの焦点距離が、第２のセンサを含む第２の光学チェーンの焦点距離よりも小さいとき、発生する。
いくつかの他の実施形態では、第１の光学チェーン（第１のセンサが対応する）の焦点距離は、第２の光学チェーンの焦点距離のＮ倍である。いくつかのそのような実施形態では、ステップ４１１６は、ステップ４１１２の一部として実行される。ステップ４１１６では、第１のセンサからの画素値の読み出しの持続時間は、画素値の行が第２のセンサから読み出される速度よりもＮ倍速い速度で第１のセンサから画素値の行を読み取ることを含むように制御される。さまざまな実施形態では、カメラデバイス内のローリングシャッターコントローラは、上記で説明されたスキャンと読み出し動作とを制御する。いくつかの実施形態では、第１のセンサの画素サイズは、第２のセンサの画素サイズと同じである。いくつかの実施形態では、第１のセンサと第２のセンサは、画素の同じ総数の行および列を含む。
動作は、ステップ４１０１（上記で説明された１つまたは複数のステップを含む）から、接続ノードＡ４１１８を介して、ステップ４１２０に進む。ステップ４１２０では、第１〜第Ｘのセンサから読み出された１つまたは複数の画像が格納され、たとえば、Ｘ個の画像が、Ｘ個のセンサの各々に対応して１つ、格納される。動作は、ステップ４１２０からステップ４１２２に進む。ステップ４１２２では、キャプチャされた画像（センサから読み出された）のうち少なくとも２つ以上またはすべてが、本発明により合成画像を生成するために結合される。
図４２は、いくつかの実施形態で実施される複数の光学チェーンたとえばカメラモジュールを使用して関心シーンをキャプチャする方法４２００のステップを示す。この方法はステップ４２０２で開始し、たとえば、ユーザはカメラデバイス上で関心シーンエリアのキャプチャを始め、このことが、カメラデバイスたとえばカメラデバイス１００に、協調された方式で動作される１つまたは複数のカメラ光学チェーンによる関心シーンエリアのスキャンと、したがって画像キャプチャとを始めさせる。
動作はステップ４２０４に進み、ステップ４２０４では、カメラデバイスは、たとえば図４２の例では現在のスキャン位置をスキャン位置開始値たとえば１に設定することによって、現在のスキャン位置を初期化する。
スキャン位置値が初期化されると、動作はステップ４２０４からステップ４２０６に進み、コントローラたとえばローリングシャッターコントローラ１５０は、同期方式で画素値たとえば画素値の行の読み出しを実行するようにカメラデバイスの画像センサの各々を制御し、たとえば、画素値の行は、ローリングシャッター実装形態の動作に従って順次読み出される。
ステップ４２０６は、関心シーンエリアの少なくとも一部分をキャプチャするために使用される画像センサ１〜Ｘの各々に対する画像センサ読み出し制御ステップを含む。ステップ４２１０および４２１４は、説明の目的で示されており、同じまたは類似のステップが、関心シーンエリアの少なくとも一部分をキャプチャするために使用される他の画像センサの各々に対して実行される。
ステップ４２１０では、画像センサ１が、現在のスキャン位置に対応する画素のまだ読み取られていない行、たとえば、読み出されることになっている画素値の行を有するかどうかに関して、決定がなされる。たとえば、画像センサ１が、現在のスキャン位置に対応するエリアの外部にある画像部分に対応するので、この画像センサが、現在のスキャン位置に対応する画素値の読み取られていない行を有さない場合、動作は、画素の行が画像センサ１から読み出されることなく、ステップ４２２０に進む。
ステップ４２１４では、画像センサＸが、現在のスキャン位置に対応する画素のまだ読み取られていない行、たとえば、読み出されることになっている画素値の行を有するかどうかに関して、決定がなされる。たとえば、画像センサＸが、現在のスキャン位置に対応するエリアの外部にある画像部分に対応するので、画像センサＸが、現在のスキャン位置に対応する画素値の読み取られていない行を有さない場合、動作は、画素の行が画像センサＸから読み出されることなく、ステップ４２２０に進む。
時間動作がステップ４２０６からステップ４２２０に進むことによって、現在のスキャン位置に対応する画素要素の読み取られていない行を有する画像センサ１〜Ｘの各々が、現在のスキャン位置に対応する行の画素値を読み出すことを理解されたい。
ステップ４２２０では、現在のスキャン位置が次のスキャン位置に更新され、たとえば、現在のスキャン位置が１つ増分される。現在のスキャン位置が増分されるにつれて、画像のスキャンが次のスキャンラインに移動し、このことによって、スキャンラインが、順に、たとえばシーンエリアの上部から下部までのスキャンと仮定して、画像の上部から画像の下部まで、通過することになる。
動作はステップ４２２０からステップ４２２２に進み、ステップ４２２２では、ステップ４２２０で更新されたばかりの現在のスキャン位置が関心シーンの最後のスキャン位置値を超えるかどうかに関して決定がなされる。現在のスキャン位置が関心シーンエリアの最後のスキャン位置を超える場合、画像センサ読み出しの結果として関心シーンが完全にスキャンおよびキャプチャされたことが示される。しかしながら、ステップ４２２２において、現在のスキャン位置値が関心シーンエリアの最後のスキャン位置値を超えないと決定される場合、動作は、現在のシーンエリア位置に対応する画素要素の行を有する画像センサの読み取られていない画素要素行が読み出されるようにステップ４２０６に進む。
カメラ光学変化およびその対応する画像センサが対象とするシーンの焦点距離およびエリアが、図４２の実施形態において画像センサの画素値の行が特定の時点で読み出されるかどうかに影響を与えることを理解されたい。画像センサ読み出しはスキャン位置に基づいて制御されるので、複数の画像センサのセンサ読み出しは、協調された方式で行われる。画素値の画像センサ読み出しは、図４２の実施形態では協調されるが、いくつかの画像センサの読み出しは、１つまたは複数の他のセンサの読み出しが完了される前に、カメラデバイス構成に応じて行われ得る。
一般に、図４２の実施形態では、より小さい焦点距離を有し、したがって関心シーンエリアのより大きい部分に対応するカメラ光学チェーン画像に対応する画像センサの読み出しは、同じ数の画素要素の行を有するが、より大きい焦点距離を有し、したがって全体的な関心シーンエリアのより小さい部分に対応する画像センサの読み出しよりも遅い速度で行われる。
全関心シーンエリアがスキャンされると、動作はステップ４２２２からステップ４２２４に進み、ステップ４２２４では、第１〜第Ｘの画像センサから読み出された画像たとえば画素値のセットが、メモリ内に格納される。次いで、ステップ４２２４では、キャプチャされた画像は、格納および／または出力され得る、たとえば送信および／または表示され得る合成画像を生成するために、たとえばプロセッサ１１０によって処理される。ステップ４２２６で実行される合成画像の生成は、合成画像を生成するために使用可能であり、さまざまな実施形態では使用される、少なくともいくつかの画像結合プロセスに関して上記で説明されたものなどの重み付け和手法を使用して、異なる画像センサによってキャプチャされた画像の画素値を結合することを含む、さまざまな手段のいずれかにおいて実行され得る。
図４２の方法は、画像センサの画素要素の行を読み出すことに関して説明されていることを理解されたい。いくつかの画像センサは、動作のモードに応じて、複数の画素行の画素要素が単一の行として扱われることを可能にする。そのような「合同」読み取りは、合同で読み取られた行の各々が単一の画素値として読み出されることによって感知された画素値の総和である単一の画素値をもたらす。そのような「合同」読み取りの場合、画素値の単一の行として合同で読み出される画素要素の複数の行は、図４２の方法を実施する目的で、画素要素の一行として扱われる。減少される数の画素値が画像センサから読み取られることになるが、合同読み取り手法は、動きが問題である実施形態において望ましいことがあり、できる限り短い時間で画像をキャプチャすることが望ましい。
一般に、画像センサの各々が同じ数の画素値の行を含むと仮定すると、異なる画像センサが異なる焦点距離に対応する場合、図４２の実施形態において画像センサの行のフルセットを読み出すための読み出し時間は、画像センサが含まれる光学チェーンたとえばカメラモジュールの焦点距離と、所与の時刻に合同で読み出されて画素要素の単一の行として扱われる画像センサの画素要素の行の数との関数として表現可能である。
いくつかの例示的な実施形態では、たとえばカメラデバイス１００などの撮像デバイスが、流れ図４１００および流れ図４２００の方法を実施するために使用される。そのような一実施形態では、カメラデバイス１００の複数の光学チェーン１３０は、図１２Ａに示される方式で配置された光学チェーンを含み、光学チェーンのより詳細な配置および要素（たとえば、センサ、フィルタ）は、図１２Ｂにさらに示されている。したがって、そのような一実施形態では、複数の光学チェーン１３０は、図１２Ａに関して説明された光学チェーン１２０２〜１２３４を含む。別の実施形態では、カメラデバイス１００の複数の光学チェーン１３０は、図１７Ａに示される光タイプおよび配置の光学チェーンを含む。したがって、そのような一実施形態では、複数の光学チェーン１３０は、そのうちのいくつかは非円形のレンズを含む、図１７Ａおよび図１７Ｂに関して説明された光学チェーン１７０２〜１７３４を含む。
いくつかの実施形態では、コントローラ１５０（センサ読み出しコントローラ２８９を含む）は、関心シーンエリアの第１の縁から関心シーンエリアの第２の縁まで関心シーンエリアをスキャンするように、複数の光学チェーン１３０に対応する複数の画像センサを制御するように構成され、関心シーンエリアの第１の縁と第２の縁は平行であり、センサコントローラ２８９は、スキャンの一部として、関心シーンエリアの第１の縁から第２の縁に進むスキャン位置に従って画像キャプチャを制御する。センサコントローラは、ローリングシャッターモードである複数の画像センサの中の第１のセンサを、第１のセンサが、現在のスキャン位置に対応する画素値の行を有するとき、現在のスキャン位置に対応する画素値の行を読み出すように制御し、現在のスキャン位置は経時的に変化する。いくつかの実施形態では、センサコントローラ２８９は、ローリングシャッターモードである複数のセンサの中の第２のセンサを、この第２のセンサが、現在のスキャン位置に対応する画素値の行を有するとき、現在のスキャン位置に対応する画素値の行を読み出すようにさらに制御し、第１の画像センサおよび第２の画像センサは関心シーンエリアの異なる部分の画像をキャプチャする。
いくつかの実施形態では、第１の画像センサは、第２のセンサによってキャプチャされない関心シーンエリアの一部分の画像をキャプチャし、第２の画像センサは、前記第１の画像センサによってキャプチャされない前記関心シーンエリアの一部分の画像をキャプチャする。
いくつかの実施形態では、複数の画像センサは、第３の画像センサ（たとえば、第３の光学チェーンに対応する）をさらに含む。いくつかのそのような実施形態では、第１の画像センサは前記関心シーンエリアの第１の部分をキャプチャし、第２の画像センサは関心シーンエリアの第２の部分をキャプチャし、関心シーンエリアの第１の部分および第２の部分は部分的に重複せず、第３の画像センサは関心シーンエリア全体をキャプチャする。これは、図１２および図３２を簡単に参照することによって理解可能である。たとえば、第１の部分３２０６は、第１の光学チェーンたとえばＯＣ１２０４に対応する第１の画像センサによってキャプチャされ、第２の部分３２０８は、第２の光学チェーンたとえばＯＣ１２０８に対応する第２の画像センサによってキャプチャされ、第３の部分３２０２は、第３の光学チェーンたとえばＯＣ１２２８に対応する第３の画像センサによってキャプチャされる。関心シーンエリアの第１の部分と第２の部分（３２０６および３２０８）は部分的に重複せず、第３の画像センサは関心シーンエリア全体をキャプチャすることは、図３２の例から理解されよう。
一実施形態では、第１のセンサおよび第２のセンサはそれぞれ、関心シーンエリアの第１の部分および第２の部分に対応し、関心シーンエリアの第１の部分の長さは、スキャンの方向において、たとえば、上部から下部まで、関心シーンエリアの第２の部分の長さよりも大きい。そのような一実施形態では、センサコントローラ２８９は、第２の画像センサの読み出しよりも長い持続時間を有するように第１の画像センサの読み出しの持続時間を制御するように構成される。
いくつかの実施形態では、第１の画像センサは、第１の焦点距離を有する光学チェーンたとえばＯＣ１２０４に対応し、前記第２の画像センサは、第２の焦点距離を有する光学チェーンたとえばＯＣ１２３４に対応する。いくつかのそのような実施形態では、コントローラ２８９は、第１の画像センサおよび第２の画像センサが対応する個々の光学チェーンの焦点距離の関数として、第１の画像センサおよび第２の画像センサから画素行が読み取られる速度を制御するように構成される。いくつかの実施形態では、第１の画像センサの画素サイズは、第２の画像センサの画素サイズと同じである。いくつかの実施形態では、第１の焦点距離は、第２の焦点距離のＮ倍である。そのような実施形態では、センサコントローラは、画素値の行が第２の画像センサから読み出される速度よりもＮ倍速い速度に第１の画像センサからの画素値の読み出しの持続時間を制御するようにさらに構成される。いくつかの実施形態では、第１の画像センサと第２の画像センサは、画素の同じ総数の行および列を含む。
いくつかの実施形態では、複数の画像センサ（複数の光学チェーン１３０に対応する）は、関心シーンエリアの実質的に重複しない部分をキャプチャする複数の画像センサを含み、複数のセンサによってキャプチャされる関心シーンエリアの部分の合併は、関心シーンエリアを包含する。いくつかの実施形態では、複数の画像センサは、偶数のセンサを含む。いくつかの実施形態では、偶数の画像センサは４つである。
一実施形態では、第１の画像センサによってキャプチャされる関心シーンエリアの第１の部分は、第２の画像センサによってキャプチャされる関心シーンエリアの第２の部分に先行するスキャンロケーションで始まる。一実施形態では、関心シーンエリアの第２の部分は、前記関心シーンエリアの中心に対応する。いくつかのそのような実施形態では、複数の画像センサ（複数の光学チェーンに対応する）は５つの画像センサを含み、そのうちの４つは、関心シーンエリアの実質的に重複しない部分をキャプチャする。いくつかのそのような実施形態では、関心シーンエリアの第２の部分の第１〜第４の異なるコーナー部分は、前記５つのセンサのうちの残りの４つのセンサによってキャプチャされる関心シーンエリアの異なる対応する部分に重なる。この配置は、図３２を簡単に参照することによって理解可能である。シーンエリア３２１６（中心にある）の４つのコーナーは、４つのセンサ（４つの光学チェーンに対応する）によってキャプチャされる関心シーンエリアの異なる部分（シーンエリア３２０６、３２０８、３２１２、３２１４）に重なることが理解されよう。
いくつかの実施形態では、複数のセンサは５つのセンサを含み、そのうちの４つは関心シーンエリアの４つの異なる部分をキャプチャし、関心シーンエリアの４つの異なる部分の各々の少なくとも１つのコーナーは、関心シーンエリアの４つの異なる部分のうちの他の３つによってキャプチャされる画像部分と重ならず、第５のセンサは、関心シーンエリアの中心部分をキャプチャする。
さまざまな実施形態では、プロセッサ１１０は、たとえば、図４２に関して説明されるセンサ読み出し動作の開始の前に、現在のスキャン位置をスキャン位置開始値に設定することによって、現在のスキャン位置を初期化する。さまざまな実施形態では、露光および読み出しコントローラ１５０（センサ読み出しコントローラ２８９を含む）は、単独で、またはプロセッサ１１０の指示に従って、画素値たとえば画素値の行の読み出しを同期方式で実行するようにカメラデバイスの画像センサの各々を制御する。いくつかの実施形態では、コントローラ１５０は、１つまたは複数の画像センサが、現在のスキャン位置に対応する画素の読み取られていない行、たとえば、読み出されることになる画素値の行を有するかどうかに関して決定するようにさらに構成される。１つまたは複数の画像センサは、現在のスキャン位置に対応する画素の読み取られていない行を有さないと決定されるとき、コントローラ１５０は、画素値の行の読み出しを実行するように１つまたは複数の画像センサの各々を制御する。いくつかの実施形態では、プロセッサ１１０は、現在のスキャン位置を次のスキャン位置に更新する、たとえば、現在のスキャン位置を１つ増分するようにさらに構成される。
方法４１００および４２００のさまざまな機能および／またはステップは、そのようなデバイスが汎用プロセッサおよび／または画像センサを使用することがあるとしても、カメラおよび／または画像処理の改善に関することを理解されたい。方法４１００および４２００の１つまたは複数のステップは、プロセッサたとえばプロセッサ１１０、２１１によって実行されるように説明されてきたが、方法４１００および４２００のステップのうちの１つまたは複数は、専用回路、たとえば、方法を実行する撮像デバイスの効率、精度、および／または動作能力を改善する、ＡＳＩＣ、ＦＰＧＡ、および／または他の特定用途向け回路によって実施され得、いくつかの実施形態では、実施されることを理解されたい。いくつかの実施形態では、専用ハードウェアたとえば回路、および／または専用ハードウェアとソフトウェアの組み合わせが、方法４１００および４２００の１つまたは複数のステップを実施する際に利用され、その中で、方法を実施する撮像デバイスたとえばカメラに追加の画像処理効率、精度、および／または動作能力を提供する。図４３は、別の例示的な実施形態による、複数の光学チェーンたとえばカメラモジュールを同期方式で使用して関心シーンエリアをキャプチャする方法４３００のステップを示す。説明の目的で、異なる光学チェーンの画像センサによって実行される異なるシーンエリアに対応する画像のキャプチャは、図１２Ａに示される光学チェーンを参照し、それを例のベースとして使用することによって説明される。図１２Ａの例で先に説明されたように、３つの異なる焦点距離すなわちｆ１、ｆ２、およびｆ３が使用されており、ここで、ｆ１＜ｆ２＜ｆ３であり、同じ焦点距離関係が、説明のために考えられる。
方法４３００は、たとえば、カメラデバイスたとえばカメラ１００のユーザが、関心シーンエリアの画像のキャプチャをトリガするためにボタンを押すまたは別の行動を起こすとき、ステップ４３０２で開始する。ステップ４３０４では、露光および読み出しコントローラ１５０（センサ読み出しコントローラ２８９を含む）は、単独で、またはプロセッサ１１０の指示に従って、同時に、たとえば、並行して、関心シーンエリアの一部分に対応する画素値を読み出すように複数の光学チェーン１３０を制御する。複数たとえば２つ以上の光学チェーン１３０は、残りの光学チェーン１３０たとえば関心シーンの異なる部分を対象とする光学チェーンのうちの１つまたは複数を同時に読み出すように動作されるが、他の画像センサが画素値を読み出している間、画素値を読み出すように制御されないことがあることを理解されたい。方法４３００の少なくとも１つの実装形態では、複数の光学チェーン１３０は、第１の焦点距離（ｆ２）を有する第１の光学チェーンたとえば光学チェーン１２０４）と、第２の焦点距離（ｆ１）を有する第２の光学チェーンたとえば光学チェーン１２３４とを含む。画像センサの読み出しの一部として、関心シーンエリアの異なる部分は、異なる時刻に、たとえばローリングシャッターとして、読み出され、読み出しは、画像センサの上部から画像センサの下部に下降し、画像センサの上部はローリングシャッター読み出しの開始に対応し、画像センサの下部は、読み出されることになる最後の行に対応する。センサ読み出しの同期を容易にするために、少なくとも１つの実施形態では、異なる光学チェーンの画像センサの上部および下部は、画素値の行の読み出しが容易に同期可能であるように同じ方向に配置される。しかしながら、光学チェーンの異なる画像センサに対する均一スキャンおよびしたがって読み出し方向の使用は、少なくともいくつかの実施形態に対して使用されるとしても、すべての実施形態にとって必須ではない。
画像センサは、たとえば実施されたローリングシャッター制御に従って画素行読み出しを順次実行するように制御されるので、関心シーンエリアの異なる部分は、異なる時刻に１つまたは複数の光学チェーンのセンサから読み出され、一方、関心シーンエリアの一部分に対応する画素値の読み出しは、関心シーンエリアの同じ部分に対応する画素値の行を並行して読み出す複数の光学チェーンのセンサとの同期方式で行われる。
少なくともいくつかの実施形態では、ステップ４３０４は、さまざまなサブステップを含む。ステップ４３０４は、第１の光学チェーンに含まれる第１の画像センサおよび第２の光学チェーンに含まれる第２の画像センサの同期されたローリングシャッター読み出しを実施するステップ４３０６を含む。したがって、第１の光学チェーンおよび第２の光学チェーンの第１の画像センサおよび第２の画像センサは、第１の光学チェーンの第１の画像センサの読み出しを制御するために使用される第１のローリングシャッターのタイミングおよび第２の画像センサすなわち第２の光学チェーンの画像センサの読み出しを制御するために使用される第２のローリングシャッターのタイミングの動作を考慮に入れる同期された様式で読み出される。
ステップ４３０６の一部として、ステップ４３０８および４３１０は実行され得、さまざまな実施形態では、実行される。ステップ４３０８では、第１の光学チェーンの第１の画像センサは、第１の画像センサの上縁で始まり第１の画像センサの下縁に進む画素値の行を順次読み出すように制御され、第１の光学チェーンの第１の画像センサの上縁は、第１の画像センサのローリングシャッター制御された読み出しの一部として最初に読み出される画素値の行に対応する。ステップ４３１０では、第２の光学チェーンの第２の画像センサは、第２の画像センサの上縁で始まる画素値の行を順次読み出すように制御される。第２の画像センサの読み出しは、第２の画像センサの下縁に進み、第２の光学チェーンの第２の画像センサの上縁は、第２の画像センサのローリングシャッター制御された読み出しの一部として最初に読み出される画素値の行に対応する。この例では、第１の画像センサおよび第２の画像センサは、これらが両方とも、方法を実施するカメラデバイスたとえばカメラデバイス１００の上部に対して同じ方向に方向づけられた上部と下部とを有するように構成される。
４３００の方法は、第１の光学チェーンおよび第２の光学チェーンの第１の画像センサおよび第２の画像センサに関して説明されるが、いくつかの実施形態では、方法は、３つ以上の光学チェーンに対して、たとえばＺ個の光学チェーンに対して実施され、ここで、Ｚは２からＺの範囲内のどこにあってもよく、Ｚは整数であることを理解されたい。そのように、実装形態では、ステップ４３０６は、方法が実施される個々のＺ個の光学チェーンおよびカメラデバイスの対応する画像センサの各々に対する、ステップ４３０８、４３１０に類似した読み出しステップを含む。
ステップ４３０６に加えて、ステップ４３０４はステップ４３１２を含む。ステップ４３１２では、第１の画像センサおよび第２の画像センサの読み出し速度はそれぞれ、第１の光学チェーンおよび第２の光学チェーンの焦点距離の関数として制御される。第１の光学チェーンの焦点距離（ｆ２）が第２の光学チェーンの焦点距離（ｆ１）よりも大きいいくつかの実施形態では、画像センサ読み出しコントローラ２８９は、第２の焦点距離（ｆ１）と第１の焦点距離（ｆ２）の比に前記第２の画像センサ内の同じ数の画素の行を読み出すために使用される時間の量をかけたものとして算出される時間の期間内に第１の画像センサ内の画素のいくつかの行を読み出すように第１の画像センサを制御する。
たとえば、第１の画像センサと第２の画像センサが同じ数の画素要素の行を有するが、第１の画像センサは、第１の焦点距離（ｆ２）を有する第１の光学チェーン１２０４および第２の焦点距離（ｆ１）を有する第２の光学チェーンたとえばモジュール１２３４に対応し、ここで、ｆ２はｆ１の２倍である場合を考える。先に説明されたように、そのような場合では、第２の光学チェーン（ｆ１）は、第１の光学チェーン（ｆ２）によってキャプチャされるシーンエリアのサイズの４倍または約４倍であるシーンエリアの一部分をキャプチャする。画像キャプチャプロセスを同期させるために、第１の光学チェーン（ｆ２）の画像センサが、時間ＮＴR内に画素値のそのフルセットを読み取るように制御される（ここで、Ｎは第１の画像センサおよび第２の画像センサ上の画素要素行の数、ＴRは、画像センサのいずれかの上で画素要素の単一の行を読み取るために必要とされる時間である）と仮定して、より短い点距離（ｆ１）を有する第２の画像センサは、画像センサの行のすべては個々に読み出し可能であると仮定して、時間期間２ＮＴRにわたってその画素値の行を読み出すように制御される。
したがって、画像センサは同じ数の行を有すると仮定して、その画素値の行を読み出すように画像センサが制御される時間は、以下のとおりである。
画素要素のＮ個の行とｆ２の焦点距離とを有するセンサ１は、（ｆ２／ｆ２）ＮＴRの読み出し期間を有する
画素値の個々の行の各々が個々に読み出されると仮定して、同じく画素要素のＮ個の行とｆ１の焦点距離（センサ１の焦点距離ｆ２よりも小さい）とを有するセンサ２は、ＮＴR（ｆ２／ｆ１）＝２ＮＴR（ｆ２＝２ｆ１であるので）の読み出し期間を有する
ｆ２は、例で使用されている最大の焦点距離であるので、この例では分子として使用されることに留意されたい。
前述のように、動作のいくつかのモードでは、画素要素の行からの合同読み出しは、画像センサを読み出すために必要とされる時間の量を減少させるために実施され得る。生成される合成画像の全体画素カウントを最大限にするために各センサの画素要素の行が個々に読み出され、より小さい焦点距離に対応するセンサの読み出し速度は、より大きい焦点距離を有する光学チェーンに対応するセンサの関心シーンの画素値の読み出ししたがって画像部分のキャプチャとの同期を維持するように減少されるさまざまな実施形態では、これは、すべての実施形態で発生するとは限らない。
たとえば、速い動きのキャプチャが望ましい特定の例示的な一実施形態では、より短い焦点距離に対応する画像センサの行読み出し速度を低速化させるのではなく、合同読み出し動作が、より大きい焦点距離に対応する画像センサの行に対して実行される。前述のように、合同読み出しでは、画素値の複数の行が合同で読み出され、たとえば、２行の合同読み取りが実施されるとき、画素値の２行は、単一の行として同じ数の画素値を提供する。Ｍの係数による合同読み取りは、同じ係数による画素値の行の減少をもたらすが、画像センサ読み出しは、時間のＭ分の１で完了される。
少なくとも１つの実施形態では、短い焦点距離、たとえば、合成画像を形成するために結合される画像をキャプチャするために使用されることになる最大焦点距離よりも短い焦点距離を有する光学チェーンに対応する１つまたは複数のセンサの読み出し速度を低速化するのではなく、より長い焦点距離を有するセンサの画素行の合同読み出しが実施され、合同で読み出される行の数は、焦点距離の差の関数として制御される。たとえば、ｆ２がｆ１の２倍である場合、一実施形態では、Ｍは、ｆ２焦点距離に対応するセンサの読み出しが、より短い焦点距離ｆ１を有する光学チェーンに対応する第２のセンサから画素値の行を読み出すために使用される時間の半分で完了できるように、２に等しく設定される。
そのような場合、最短焦点距離を有するセンサの画素行を読み出すために必要とされる時間は、複数の画像センサが読み出しを完了する時間的制約として働き、より大きい焦点距離を有するセンサは、行読み出しの数を、より大きい焦点距離とより小さい焦点距離の比によって決定される係数に基づく合同読み取り動作の使用によって減少させる。たとえば、ｆ２がｆ１よりも２倍大きい場合、ｆ２焦点距離を有する光学チェーンに対応するセンサは、２という合同読み取り係数によって実施される合同読み取りを使用して読み出される。
このようにして、異なる焦点距離を有する光学チェーンの画像センサは、関心シーンエリアの同じ部分をキャプチャするように制御可能であり、総キャプチャ時間は、単一の画像センサを読み取るために必要とされる時間に限定される。
合同読み取りは、より大きい焦点距離を有する画像センサから読み出される画素値の数を減少させるが、読み取りを実行するために必要とされる時間が減少され、画像の総画素カウントは、より短い焦点距離ｆ１を有する光学チェーンの総画素カウント未満には減少されない。
少なくとも１つの実施形態では、ユーザは、たとえばいくつかの実施形態において画像をキャプチャするために使用される総時間を、単一の画像センサを読み取るために必要とされる時間に対応するＮＴRに保つように画像キャプチャ時間期間を減少させるまたは最小限にするために合同読み取りが使用される動作の動きモードと、画像キャプチャ時間を犠牲にして画像の画素カウントが最適化される動作の静止または低速動きモード、たとえば、より短い焦点距離を有する光学チェーンの画像センサに対応する画素要素行の読み出し時間期間が、より大きい焦点距離を有する光学チェーンによるシーンエリアキャプチャとのタイミング同期を達成するために増加される一実施形態とを選択する機会が提供される。
合同読み取り係数Ｍの潜在的使用を考慮に入れると、画素要素の同じ数の行を有するが異なる焦点距離ｆ１およびｆ２にそれぞれ対応する第１の画像センサおよび第２の画像センサから画素値の行を読み出すために使用される総時間は、ここでｆ２はｆ１よりも大きく、次のように表現可能である。
画素要素のＮ個の行を有し、ｆ１の焦点距離（より短い焦点距離）を有する光学チェーンに対応するセンサ２は、ＮＴRの読み出し期間を有する
同じくＮ個の行の画素要素を有するがｆ２の焦点距離（より大きい）を有する光学チェーンに対応するセンサ１は、Ｍ倍で行の合同読み取りを実行するように制御され、ＮＴＲ／Ｍという読み出し期間を有し、ここで、画素要素のＭ個の行ごとに画素値の１行が読み出されると仮定して、Ｍは（ｆ２／ｆ１）に等しい。
センサ１（より大きい焦点距離ｆ２）は、センサ２よりも短い時間で読み出しを完了するが、さまざまな実施形態では、センサ１が対応する光学チェーンと同じ焦点距離（ｆ２）を有するが、画像エリアをキャプチャする別のセンサＳ３は、センサ１によってキャプチャされるエリアの下のスキャン方向に関して、画像の下方部分をキャプチャすることを理解されたい。したがって、ｆ２がｆ１の２倍であると仮定すると、センサＳ１およびＳ３の読み出しは、センサ２が読み出される同じ時間期間ＮＴRと一致するが、センサ１ Ｓ１の読み出しはＮＴRの前半に行われ、センサ３ Ｓ３の読み出しはＮＴRの後半に行われる。
上記の説明から、第１の光学チェーンおよび第２の光学チェーンの焦点距離の関数として第１の画像センサおよび第２の画像センサの読み出し速度を制御することを含むステップ４３１２は、カメラのオペレータによって選択される動作のモード、たとえば静止動きまたは高速動きにも依存し得ることを理解されたい。どのモードの選択は、なされ得、いくつかの実施形態では、１つまたは複数の順次キャプチャされた画像もしくは異なる時点でキャプチャされた画像の部分において検出された動きに基づいて、自動的になされる。たとえば、結合された画像の画質を画像の全体画素カウントを減少させるであろうよりも多く低下させる可能性が高い動きによりアーチファクトを引き起こす可能性が高い１つまたは複数の物体の動きが検出される場合、画素行を読み出す合同読み取り手法が使用される。
ビデオの場合、カメラデバイスは、最良品質の合成画像を作り出すために動作のどのモードで動作するかに関して更新された決定を行い得、いくつかの実施形態では、これを行う。前記決定の結果として、カメラデバイスは、動作のモードと、あるフレーム時間から次のフレーム時間まで使用される画像キャプチャ同期技法を切り換え得る。これが、異なる数の画素を有する同じビデオシーケンスに対応する異なる合成画像をもたらすことがあるが、全体的な画質は最大にされる。
いくつかの実施形態では、そのような動的な切り換えがサポートされるが、他の実施形態では、同期技法および動作のモードが決定されると、そのモードは、ビデオシーケンス内の画像の画素要素の数が１つの合成画像当たりで一定のままであるように、ビデオシーケンスにわたって維持される。
理解されるべきであるように、第３のセンサが、別の画像センサたとえば第１の画像センサによってキャプチャされた画像部分の下方（スキャン方向に関して）設置される関心シーンエリアの画像部分をキャプチャする、複数の画像センサの同期された読み出しの場合、第３の画像センサからの画素値の読み出しは、第１の画像センサからの画素値の読み出しに続く。
したがって、少なくとも１つの実施形態では、ステップ４３０４はステップ４３１４を含み、ステップ４３１４では、第３の光学チェーンたとえば光学チェーン１２１８の第３の画像センサは、画素値の最後の行が第１の画像センサから読み出された後、関心シーンの第３の部分に対応する画素値を読み出すように制御される。いくつかの実施形態では、前記関心シーンエリアの第３の部分は、前記関心シーンエリアの前記第１の部分の下方（スキャンの方向において）に位置決めされる。いくつかのそのような実施形態では、第１の画像センサは関心シーンエリアの第１の部分をキャプチャし、第２の画像センサは、第１の部分よりも大きい関心シーンエリアの第２の部分をキャプチャする。いくつかのそのような実施形態では、第２の画像センサ（より小さい焦点距離の光学チェーンに対応する）は、結合された第１の画像センサおよび第３の画像センサと実質的に同じ画像エリアを、しかし第１の画像センサと第３の画像センサのいずれかの読み出し時間よりも長い読み出し時間中に、キャプチャする。
そのような一実施形態では、第１の画像センサに対応する画素値は、第２の画像センサから画素値が読み出される時間期間中に読み出され得るが、第１の画像センサの読み出し時間と第３の画像センサの読み出し時間は重複しないことを理解されたい。
しかしながら、第１の画像センサおよび第３の画像センサが関心シーンの重複する部分をキャプチャするように制御される実施形態では、重複するシーン部分に対応する画素行の読み出しは、第１の画像センサおよび第３の画像センサから同時に読み出され得る。
ステップ４３０４から、動作はステップ４３１６に進み、ステップ４３１６では、ステップ４３０４で制御された画像センサから読み出された画像は、その後の処理のためにメモリ内に格納される。動作は、次いでステップ４３１８に進む。ステップ４３１８では、たとえばステップ４３０４において、同期方式で異なる光学チェーンによってキャプチャされた画像は、合成画像を生成するために結合される。
ビデオの場合、ステップ４３０４、４３１６、および４３１８は、各フレーム時間に対して実行され、たとえば、１つの合成画像が各フレーム時間に対して生成される。
いくつかの実施形態では、動作はステップ４３１８からステップ４３２０に進む。ステップ４３２０では、ステップ４３１８で生成された合成画像は、メモリ内に格納され、送信され、および／またはたとえばディスプレイ１０２上に表示される。
いくつかの実施形態では、合成画像の生成はカメラデバイス１００内で行われ、次いで、合成画像が表示または送信されるが、他の実施形態では、合成画像は、たとえばキャプチャ処理後プロセスおよび／またはビデオ作製プロセスの一部として、プロセッサによって生成される。そのような実施形態では、合成画像の生成は、関心シーンエリアの画像をキャプチャするために使用される光学チェーン１３０を含むカメラデバイス１００のメモリとプロセッサとディスプレイと異なるメモリとプロセッサとディスプレイを含むコンピュータシステム上で行われ得る。
いくつかの例示的な実施形態では、たとえばカメラデバイス１００などの撮像デバイスが、流れ図４３００の方法を実施するために使用される。そのような一実施形態では、カメラデバイス１００の複数の光学チェーン１３０は、図１２Ａに示される方式で配置された光学チェーンを含み、光学チェーンのより詳細な配置および要素は、図１２Ｂにさらに示されている。別の実施形態では、カメラデバイス１００の複数の光学チェーン１３０は、図１７Ａに示されるタイプおよび配置の光学チェーンを含む。
一実施形態では、コントローラ１５０（画像センサ読み出しコントローラ２８９を含む）は、前記関心シーンエリアの一部分に対応する画素値を同時に読み出すように複数の光学チェーンを制御するように構成され、複数の光学チェーン１３０は、第１の焦点距離（ｆ２）を有する第１の光学チェーン１２０４と、第２の焦点距離（ｆ１）を有する第２の光学チェーン１２３４とを含み、第２の焦点距離は第１の焦点距離と異なり、前記関心シーンエリアの異なる部分は異なる時刻に読み出される。さまざまな実施形態では、コントローラ１５０は、からの第１の光学チェーン１２０４に含まれる第１の画像センサおよび第２の光学チェーン１２３４に含まれる第２の画像センサ同期されたローリングシャッター読み出しを実施するように構成される。
いくつかの実施形態では、コントローラ１５０は、第１の画像センサのローリングシャッター読み出しを実施することの一部として画素値の行に対応する第１の光学チェーンの第１の画像センサの上縁を最初に読み取るように構成され、ローリングシャッター読み出しは、第１の画像センサの上縁で始まり第１の画像センサの下縁まで進む画素値の行の順次読み出しを含む。さまざまな実施形態では、コントローラ１５０は、第２の画像センサのローリングシャッター読み出しの一部として画素値の行に対応する第２の光学チェーンの第２の画像センサの上縁を最初に読み取るようにさらに構成され、第２の画像センサのローリングシャッター読み出しは、第２の画像センサの上縁で始まり第２の画像センサの下縁まで進む画素値の行の順次読み出しを含み、第１の画像センサおよび第２の画像センサのスキャン方向（上部から下部まで）は同じである。図４３に関して説明される例では、画像センサのスキャンの上部から下部の方向が考えられているが、しかしながら、画像センサのローリングシャッター読み出しの一部として、異なる方向における画像センサの１つの縁から別の縁までのスキャンが可能であることを理解されたい。
いくつかの実施形態では、第１の画像センサと第２の画像センサは、画素の同じ数の行を含む。いくつかの実施形態では、コントローラ１５０は、関心シーンエリアの一部分に対応する画素値を同時に読み出すように複数の光学チェーンを制御するように構成されることの一部として、第１の光学チェーンおよび第２の光学チェーンの焦点距離の関数として第１の画像センサおよび第２の画像センサの読み出し速度を制御するように構成される。
いくつかの実施形態では、第１の焦点距離は、第２の焦点距離よりも大きい。いくつかの実施形態では、コントローラ１５０は、第２の焦点距離と第１の焦点距離の比に第２の画像センサ内の画素の同じ数の行を読み出すために使用される時間の量をかけたものとして算出される時間の期間内に第１の画像センサ内の画素のいくつかの行を読み出すように第１の画像センサを制御するようにさらに構成される。たとえば、第１の光学チェーンおよび第２の光学チェーンにそれぞれ対応する第１のセンサおよび第２のセンサの両方は、画素要素のＮ個の行を有する第２の光学チェーンの焦点距離がＦＳ２であり、第１の光学チェーンの焦点距離がＦＳ１であり、と考えてみる。センサ２からＮ個の行を読み取るのに時間ＴＳ２がかかる場合、コントローラ１５０は、時間期間ＴＳ１＝（ＦＳ２／ＦＳ１）×ＴＳ２内にセンサ１の読み出しを制御する。
いくつかの実施形態では、第１の焦点距離は、第２の焦点距離の２倍である。そのような実施形態では、コントローラ１５０は、第１の画像センサを読み出すために使用される第１の時間期間の２倍の長さである時間期間にわたって完全に読み出されるように第２の画像センサを制御するようにさらに構成される。
さまざまな実施形態では、第１の画像センサは関心シーンエリアの第１の部分をキャプチャし、第２の画像センサは、第１の部分よりも大きい関心シーンエリアの第２の部分をキャプチャする。いくつかのそのような実施形態では、コントローラ１５０は、画素値の最後の行が第１の画像センサから読み出された後、関心シーンエリアの第３の部分に対応する画素値を読み出すように第３の光学チェーンたとえば光学チェーン１２１８の第３の画像センサを制御するようにさらに構成され、関心シーンエリアの第３の部分は関心シーンエリアの第１の部分の下方に位置決めされる。いくつかの実施形態では、第２の画像センサは、少なくとも第１の画像センサおよび第３の画像センサのキャプチャと実質的に同じ画像エリアを、しかし第１の画像センサと第３の画像センサのいずれかの個別読み出し時間よりも長い読み出し時間中に、キャプチャする。
さまざまな実施形態では、センサ読み出し動作の一部としてセンサによってキャプチャされる画像は、デバイスメモリたとえばメモリ１０８内に格納される。いくつかの実施形態では、これらの画像のうちの１つまたは複数は、合成画像を生成することの一部としてさらに処理される。いくつかの実施形態では、プロセッサ１１０は、２つ以上のキャプチャされた画像を結合することによって合成画像を生成するように構成される。いくつかの実施形態では、プロセッサ１１０は、メモリ１０８内での生成された合成画像の格納、および／またはディスプレイ１０２上での合成画像の出力、および／またはインターフェース１１４などのインターフェースを介した別のデバイスへのキャプチャされた画像もしくは合成画像の送信を制御するようにさらに構成される。
方法４３００のさまざまな機能および／またはステップは、そのようなデバイスが汎用プロセッサおよび／または画像センサを使用することがあるとしても、カメラおよび／または画像処理の改善に関することを理解されたい。たとえば合成画像生成ステップなどの方法４３００の１つまたは複数のステップは、プロセッサたとえばプロセッサ１１０、２１１によって実行されるように説明されてきたが、方法４３００のステップのうちの１つまたは複数は、専用回路、たとえば、方法を実行する撮像デバイスの効率、精度、および／または動作能力を改善する、ＡＳＩＣ、ＦＰＧＡ、および／または特定用途向け回路によって実施され得、いくつかの実施形態では、実施されることを理解されたい。いくつかの実施形態では、専用ハードウェアたとえば回路、および／または専用ハードウェアとソフトウェアの組み合わせが、方法４３００の１つまたは複数のステップを実施する際に利用され、その中で、方法を実施する撮像デバイスたとえばカメラに追加の画像処理効率、精度、および／または動作能力を提供する。
図４４は、例示的な一実施形態による、複数の光学チェーンを使用して画像をキャプチャする例示的な方法のステップを示す流れ図４４００を示す。この方法は、例示的な一実施形態により画像をキャプチャするように、たとえば、図１、図６、図８、および／または図１４に示される撮像デバイスなどの、撮像デバイスを制御することを含む。流れ図４４００の方法を実施するカメラデバイスは、図１および／または図４Ａのカメラデバイスと同じまたは類似の要素を含むことができ、場合によっては、これを含む。
流れ図４４００の方法は、図１のカメラ１００などのカメラデバイスを使用して実行可能であり、いくつかの実施形態では、実行される。そのような一実施形態では、カメラデバイス１００の複数の光学チェーン１３０は、図１２Ａに示されるような方式で配置された光学チェーンたとえばカメラモジュールを含み、光学チェーンのより詳細な配置および要素は、図１２Ｂにさらに示されている。別の実施形態では、カメラデバイス１００の複数の光学チェーン１３０は、図１７Ａに示されるタイプおよび配置の光学チェーンを含む。そのような一実施形態では、複数の光学チェーン１３０は、図１７Ａおよび図１７Ｂに関して説明された光学チェーン１７０２〜１７３４を含む。
例示的な方法はステップ４４０２で開始し、たとえば、ユーザは関心シーンエリアのキャプチャを始め、このことが、カメラデバイスたとえばカメラデバイス１００に、１つまたは複数の光学チェーンによる関心シーンエリアの画像キャプチャを始めさせる。説明の目的で、カメラデバイスが複数の光学チェーンを含み、光学チェーンの各々は独立して動作および制御可能であると考える。
動作は、ステップ４４０２から、画像キャプチャ動作を伴うステップ４４０４、４４０６、４４０８、４４１０、４４１２、４４１４、および４４１６に進む。画像キャプチャ動作は、同期方式で実行され得、いくつかの実施形態では、実行される。少なくともいくつかの同期される実施形態では、異なる光学チェーンの必ずしもすべてでないがいくつかによってキャプチャされる画像は、同じまたは重複する時間期間に対応する。他の実施形態では、画像キャプチャが同期されるのではなく、キャプチャされた画像のうちの複数の画像が、同じまたは重複する時間期間中にキャプチャされる。さらに他の実施形態では、少なくともいくつかの画像が順次、たとえばすばやく連続して、キャプチャされる。逐次的な画像キャプチャは、シーンエリアの異なる部分に対応する画像をキャプチャするために使用され得、いくつかの実施形態では、使用される。
ステップ４４０４では、カメラデバイスの第１の光学チェーンは、関心シーンエリアの第１の部分の第１の画像をキャプチャするために使用され、第１の光学チェーンは、第１の光軸と、第１の最も外側のレンズとを有する。いくつかの実施形態では、関心シーンエリアは、全画像キャプチャエリアよりもやや小さいことがある。動作は、ステップ４４０４からステップ４４１８に進む。ステップ４４１８は、必ずしもすべてではないがいくつかの実施形態において実行される。ステップ４４１８がスキップされるいくつかの実施形態では、動作は、直接ステップ４４２０に進む。
ステップ４４０６では、シーンエリアの第２の部分の第２の画像がカメラデバイスの第２の光学チェーンを使用してキャプチャされ、第２の光学チェーンは、第１の光軸と平行でない第２の光軸と、第１の最も外側のレンズとは別個である第２の最も外側のレンズとを有する。したがって、さまざまな実施形態では、各光学チェーンは、各光学チェーンが異なる外側レンズを有することにより物理的に共通部分がなく（disjoint）重複しない入射瞳を有することを理解されたい。いくつかの実施形態では、第１の光軸および第２の光軸は、カメラの前面に垂直でない。いくつかの実施形態では、第１の光学チェーンと第２の光学チェーンは同じ焦点距離を有する。動作は、ステップ４４０６からステップ４４１８に進む。
ステップ４４０８では、関心シーンエリアたとえば関心シーンエリア全体を含む第３の画像が、前記第１の最も外側のレンズおよび前記第２の最も外側のレンズとは別個である第３の最も外側のレンズを有するカメラデバイスの第３の光学チェーンを使用してキャプチャされる。いくつかの実施形態では、第３の光学チェーンは、第１の光軸または第２の光軸のいずれと平行でない第３の光軸を有する。いくつかの実施形態では、第３の光学チェーンの焦点距離は、第１の光学チェーンおよび第２の光学チェーンのうちの少なくとも１つの焦点距離よりも小さい。いくつかの実施形態では、第３の光学チェーンの焦点距離は、第１の光学チェーンの焦点距離よりも小さい。いくつかの実施形態では、第３の光学チェーンの焦点距離は、第２の光学チェーンの焦点距離よりも小さい。いくつかの実施形態では、第３の光学チェーンの焦点距離は、第１の光学チェーンおよび第２の光学チェーンの焦点距離よりも小さい。いくつかの実施形態では、第３の光軸はカメラデバイスの前面に垂直である。いくつかの実施形態では、第１の光学チェーンは、第１のセンサを使用して第１の画像をキャプチャし、第３の光学チェーンは、第３のセンサを使用して第３の画像をキャプチャする。動作は、ステップ４４０８からステップ４４１８に進む。
ステップ４４１０では、第４の画像が、前記第１の最も外側のレンズ、前記第２の最も外側のレンズ、および前記第３の最も外側のレンズとは別個である第４の最も外側のレンズを有するカメラデバイスの第４の光学チェーンを使用してキャプチャされ、第４の画像は関心シーンエリアの第２の画像を含む。いくつかの実施形態では、第３の光学チェーンは第３の光軸を有し、第４の光学チェーンは第４の光軸を有する。いくつかの実施形態では、第３の光軸と第４の光軸は互いと平行である。いくつかの実施形態では、第３の光軸および第４の光軸は、第１の光軸または第２の光軸と平行でない。いくつかの実施形態では、第３の光軸および第４の光軸は、カメラの前面に垂直である。いくつかの実施形態では、第４の光学チェーンは、第３の光学チェーンの焦点距離と同じである焦点距離を有する。動作は、ステップ４４１０からステップ４４１８に進む。
ステップ４４１２では、第５の画像が、第５の光軸を有するカメラデバイスの第５の光学チェーンを使用してキャプチャされ、第５の画像は関心シーンエリアの第３の部分の画像であり、第５の光軸は第１の光軸および第２の光軸と平行でない。したがって、第５の光学チェーンは、関心シーンエリアの一部たとえば４分の１または半分の部分をキャプチャする。動作は、ステップ４４１２からステップ４４１８に進む。
ステップ４４１４では、第６の画像が、第１の光軸、第２の光軸、または第５の光軸と平行でない第６の光軸を有するカメラデバイスの第６の光学チェーンを使用してキャプチャされ、第６の画像は関心シーンエリアの第４の部分の画像である。動作は、ステップ４４１４からステップ４４１８に進む。いくつかの実施形態では、第１の画像、第２の画像、第５の画像、および第６の画像は各々、第１の数の画素値を有する。
ステップ４４１６では、第７のシーンエリアの第７の画像が、第１の光学チェーンと同じ焦点距離を有するカメラデバイスの第７の光学チェーンを使用してキャプチャされ、第７の光学チェーンは、カメラの面に垂直な光軸を有する。いくつかの実施形態では、第７のシーンは関心シーンエリアの中心にある。動作は、ステップ４４１６からステップ４４１８に進む。
ここで、ステップ４４１８に戻る。ステップ４４１８では、１つもしくは複数のキャプチャされた画像、たとえば、第１の画像、第２の画像、第３の画像、第４の画像、第５の画像、第６の画像、および／もしくは第７の画像が、たとえばデバイスメモリ内に格納され、ならびに／またはたとえば、ディスプレイデバイスに、および／もしくはインターフェースを介して外部デバイスに出力される。いくつかの実施形態では、プロセッサ１１０は、メモリ１０８内での１つもしくは複数のキャプチャされた画像の格納および／またはディスプレイ１０２への１つもしくは複数のキャプチャされた画像の出力を制御する。いくつかの実施形態では、ステップ４４１８が実行されるが、いくつかの他の実施形態では、ステップ４４１８はスキップされることがある。そのような実施形態では、動作は、前のステップからステップ４４２０に直接進む。
さまざまな実施形態では、第２の光学チェーン、第３の光学チェーン、第５の光学チェーン、および第６の光学チェーンは、これらの光学チェーンによって撮影された関心シーンエリアの部分の画像が、異なる空間的に分離された入射瞳からのものであり、したがって異なる視点を有するような方式で配置される。異なる視点を有するそのような画像を結合することは、アーチファクトたとえば視差を導入する。これらの異なる光学チェーンによってキャプチャされたさまざまな画像を使用して生成された合成画像からのそのようなアーチファクトの影響を最小限にする、および／またはこれを緩和するために、いくつかの実施形態では、異なる視点による合成画像の歪みを回避するために画像を結合するとき視差是正を提供する奥行き情報が使用される。
ステップ４４２０に戻る。ステップ４４２０では、合成画像は、キャプチャされた画像のうちの少なくとも２つ、たとえば第１の画像と第２の画像とを結合することによって、生成される。さまざまな実施形態では、合成画像は、たとえば、方法４４００のステップを実施するカメラデバイスのプロセッサ１１０または２１１などのプロセッサによって生成される。いくつかの実施形態では、ステップ４４２０を実行することは、ステップ４４２４および４４２６のうちの１つまたは複数を実行することを含む。いくつかの実施形態では、サブステップ４４２４および４４２６は、そのうちのいずれか１つはステップ４４２０を実施することの一部として実行され得る、異なる代替形態である。いくつかの実施形態では、ステップ４４２０は、ステップ４４２４を実行することを含み、ステップ４４２４では、合成画像を生成することの一部として、少なくとも前記第１の画像、前記第２の画像、前記第３の画像、および前記第４の画像が結合される。そのような実施形態では、プロセッサ１１０は、少なくとも第１の画像と第２の画像と第３の画像と第４の画像とを結合することによって合成画像を生成するように構成される。いくつかの実施形態では、この合成画像は関心シーンエリアの合成画像であり、合成画像は、第１の画像、第２の画像、第３の画像、および第４の画像のいずれもが個々に有するよりも大きい数の画素値を有する。
いくつかの実施形態では、ステップ４４２０は、ステップ４４２６を実行することを含み、ステップ４４２６では、合成画像は、たとえば、少なくとも前記第１の画像、前記第２の画像、前記第３の画像、前記第４の画像、前記第５の画像、および前記第６の画像から、プロセッサ１１０によって生成され、合成画像は、画素値の第１の数の３倍以上であるが画素値の第１の数の６倍よりも少ない数の画素値を有する。いくつかの実施形態では、合成画像は、合成画像を生成するために結合された画素値の数の総和から生じる画素値の数よりも小さい数の画素値を含む。さまざまな実施形態では、生成される合成画像は、関心シーンエリアの画像である。いくつかの実施形態では、合成画像は、第１の画像、第２の画像、第３の画像、第４の画像、第５の画像、第６の画像、および第７の画像から生成される。
いくつかの実施形態では、動作はステップ４４２０からステップ４４２８に進む。ステップ４４２８では、生成された合成画像は、たとえばデバイスメモリ内に格納され、ならびに／またはたとえば、ディスプレイデバイスに、および／もしくはインターフェースを介して外部デバイスに、出力される。いくつかの実施形態では、メモリ１０８内での合成画像の格納、ならびに／またはたとえば、ディスプレイデバイスへの、および／もしくはインターフェースを介した外部デバイスへの出力は、プロセッサ１１０の制御下で実行される。
方法４４００のさまざまな機能および／またはステップは、そのようなデバイスが汎用プロセッサおよび／または画像センサを使用することがあるとしても、カメラおよび／または画像処理の改善に関することを理解されたい。たとえば合成画像生成ステップなどの方法４４００の１つまたは複数のステップは、プロセッサたとえばプロセッサ１１０、２１１によって実行されるように説明されてきたが、方法４４００のステップのうちの１つまたは複数は、専用回路、たとえば、方法を実行する撮像デバイスの効率、精度、および／または動作能力を改善する、ＡＳＩＣ、ＦＰＧＡ、および／または特定用途向け回路によって実施され得、いくつかの実施形態では、実施されることを理解されたい。いくつかの実施形態では、専用ハードウェアたとえば回路、および／または専用ハードウェアとソフトウェアの組み合わせが、方法４４００の１つまたは複数のステップを実施する際に利用され、その中で、方法を実施する撮像デバイスたとえばカメラに追加の画像処理効率、精度、および／または動作能力を提供する。
図４５は、画像をキャプチャする例示的な方法のステップを示す流れ図６７００を示す。画像は、厚さＤを有する前表面と後表面とを有するカメラハウジングを含むカメラデバイスに含まれる複数の光学チェーンを使用してキャプチャされ得、いくつかの実施形態では、キャプチャされ、Ｄは、前表面と後表面との間の距離である。一実施形態では、流れ図６７００の方法は、たとえば図１３Ｂに示されるカメラデバイス１３２０などのカメラデバイスを使用して画像をキャプチャするために実施可能である。カメラデバイスは複数の光学チェーンを含み、光学チェーンの各々は独立して動作および制御可能である。流れ図６７００の方法を実施するカメラデバイスは、図１および／または図４Ａのカメラデバイスと同じまたは類似の要素を含むことができ、場合によっては、これを含む。したがって、方法６７００を実施するカメラデバイスは、プロセッサと、メモリと、インターフェースと、図１および図４Ａに関して説明された他の要素とを含むことを理解されたい。
例示的な方法はステップ６７０２で開始し、たとえば、ユーザは関心シーンエリアのキャプチャを始め、このことが、カメラデバイスたとえばカメラデバイス１３２０に、１つまたは複数の光学チェーンによる関心シーンエリアの画像キャプチャを始めさせる。動作は、ステップ６７０２から、画像キャプチャ動作を伴うステップ６７０４、６７０６、６７０８、および６７１０に進む。画像キャプチャ動作は、同期方式で実行され得、いくつかの実施形態では、実行される。少なくともいくつかの同期される実施形態では、異なる光学チェーンの必ずしもすべてでないがいくつかによってキャプチャされる画像は、同じまたは重複する時間期間に対応する。他の実施形態では、画像キャプチャが同期されるのではなく、キャプチャされた画像のうちの複数の画像が、同じまたは重複する時間期間中にキャプチャされる。さらに他の実施形態では、少なくともいくつかの画像が順次、たとえばすばやく連続して、キャプチャされる。逐次的な画像キャプチャは、シーンエリアの異なる部分に対応する画像をキャプチャするために使用され得、いくつかの実施形態では、使用される。
ステップ６７０４では、第１の画像が、カメラハウジング内の第１の光学チェーンを使用してキャプチャされ、この第１の光学チェーンは、ｉ）第１の光方向変換デバイスと、ｉｉ）非円形の絞りを有する第１のレンズと、ｉｉｉ）センサとを含み、第１の光学チェーンは、光方向変換デバイスの前の第１の光軸部分と光方向変換デバイスからセンサまで延在する第２の光軸部分とを含む光軸を有し、第１のレンズは第２の光軸部分上にあり、非円形の絞りは、カメラの厚さの方向に沿った第１の方向においてＤよりも小さいまたはこれに等しい長さと、第１の方向に垂直な第２の方向に沿ってＤよりも大きい長さとを有する。いくつかの実施形態では、第１のレンズは、第２の光軸部分上の光方向変換デバイスに最も近いレンズである。流れ図６７００の方法を実施するために使用可能な例示的なカメラデバイスのさまざまな要素および／または構造上の特徴は、カメラハウジング１３２２、厚さ１３２３、前表面１３２１、および後表面１３２５などのそのような特徴を示す図１３Ｂから理解できる。動作は、ステップ６７０４からステップ６７１２に進む。
ステップ６７０６では、第２の画像が、カメラハウジング内の第２の光学チェーンを使用してキャプチャされ、第２の光学チェーンは、ｉ）第２の光方向変換デバイスと、ｉｉ）第２の非円形の絞りを有する第２のレンズと、ｉｉｉ）第２のセンサとを含み、第２の光学チェーンは、第２の光方向変換デバイスの前の第３の光軸部分と第２の光方向変換デバイスから第２のセンサまで延在する第４の光軸部分とを含む光軸を有し、第２の非円形の絞りは、カメラの厚さに沿って第１の方向においてＤよりも小さいまたはこれに等しい長さと、カメラの厚さの方向に垂直な第３の方向に沿ってＤよりも大きい長さとを有し、第２の方向と第３の方向は異なる。いくつかの実施形態では、第２の方向と第３の方向は、互いに対して９０度の角度をなす。動作は、ステップ６７０６からステップ６７１２に進む。
ステップ６７０８では、第３の画像が、第３の光学チェーンを使用してキャプチャされ、第３の光学チェーンは、ｉ）第３の光方向変換デバイスと、ｉｉ）第３の非円形の絞りを有する第３のレンズと、ｉｉｉ）第３のセンサとを含み、第３の光学チェーンは、第３の光方向変換デバイスの前の第５の光軸部分と第３の光方向変換デバイスから第３のセンサまで延在する第６の光軸部分とを含む光軸を有し、第３の非円形の絞りは、カメラの厚さに沿って第１の方向においてＤよりも小さいまたはこれに等しい長さと、カメラの厚さの方向に垂直な第４の方向に沿ってＤよりも大きい長さとを有し、第１の方向と第２の方向と第３の方向は異なる。いくつかの実施形態では、第２の方向と第３の方向は、互いに対して９０度の角度をなし、第２の方向と第４の方向は、互いに対して３０度から６０度の間の角度をなす。動作は、ステップ６７０８からステップ６７１２に進む。
同様に、図に示されるいくつかの実施形態では、カメラデバイス内の１つまたは複数の追加光学チェーンが、追加画像をキャプチャするために使用可能である。追加光学チェーンが追加画像をキャプチャするために使用されるいくつかのそのような実施形態では、ステップ６７１０が実行される。ステップ６７１０では、第Ｚの画像が、第Ｚの光学チェーンを使用してキャプチャされ、第Ｚの光学チェーンは、ｉ）第Ｚの光方向変換デバイスと、ｉｉ）非円形の絞りを有する第Ｚのレンズと、ｉｉｉ）第Ｚのセンサとを含み、第Ｚの光学チェーンは、第Ｚの光方向変換デバイスの前の光軸部分と第Ｚの光方向変換デバイスからセンサまで延在する別の光軸部分とを含む光軸を有し、非円形の絞りは、カメラの厚さに沿って第１の方向においてＤよりも小さいまたはこれに等しい長さと、カメラの厚さの方向に垂直な方向に沿ってＤよりも大きい長さとを有する。動作は、ステップ６７１０からステップ６７１２に進む。いくつかの実施形態では、上記で説明された複数の光学チェーンによってキャプチャされるさまざまな画像は、同じ時間期間内でキャプチャされる。
ここで、ステップ６７１２に戻る。ステップ６７１２では、１つまたは複数のキャプチャされた画像、たとえば、第１のキャプチャされた画像、第２のキャプチャされた画像、第３のキャプチャされた画像などは、本発明の特徴によるさらなる処理のために、たとえばデバイスメモリ内に格納され、ならびに／またはたとえば、ディスプレイデバイスに、および／もしくはインターフェースを介して外部デバイスに出力される。動作は、ステップ６７１２からステップ６７１４に進む。ステップ６７１４では、合成画像は、キャプチャされた画像のうちの少なくとも２つ以上を結合することによって、生成される。さまざまな実施形態では、合成画像は、たとえば、方法６７００のステップを実施するカメラデバイスのプロセッサ１１０または２１１などのプロセッサによって生成される。さまざまな実施形態では、生成される合成画像は、関心シーンエリアの画像である。いくつかの実施形態では、複数の光学チェーンのうちの少なくともいくつかは、関心シーンエリアの一部分をキャプチャし、次いで、キャプチャされた部分は、合成画像を生成するために本発明の方法により結合され得る。ステップ６７１４は、必ずしもすべてではないがいくつかの実施形態において実行される。
動作は、ステップ６７１４からステップ６７１６に進む。ステップ６７１６では、生成された合成画像は、たとえばデバイスメモリ内に格納され、ならびに／またはたとえば、ディスプレイデバイスに、および／もしくはインターフェースを介して外部デバイスに、出力される。
方法６７００のさまざまな機能および／またはステップは、そのようなデバイスが汎用プロセッサおよび／または画像センサを使用することがあるとしても、カメラおよび／または画像処理の改善に関することを理解されたい。たとえば合成画像生成ステップなどの方法６７００の１つまたは複数のステップは、プロセッサたとえばプロセッサ１１０、２１１によって実行されるように説明されてきたが、方法６７００のステップのうちの１つまたは複数は、専用回路、たとえば、方法を実行する撮像デバイスの効率、精度、および／または動作能力を改善する、ＡＳＩＣ、ＦＰＧＡ、および／または特定用途向け回路によって実施され得、いくつかの実施形態では、実施されることを理解されたい。いくつかの実施形態では、専用ハードウェアたとえば回路、および／または専用ハードウェアとソフトウェアの組み合わせが、方法６７００の１つまたは複数のステップを実施する際に利用され、その中で、方法を実施する撮像デバイスたとえばカメラに追加の画像処理効率、精度、および／または動作能力を提供する。
図４６は、画像をキャプチャする例示的な方法のステップを示す流れ図６８００である。画像は、複数の光学チェーンを含むカメラデバイスを使用してキャプチャされ得、いくつかの実施形態では、キャプチャされる。一実施形態では、流れ図６８００の方法は、たとえば図１４に示されるカメラデバイス１４００などのカメラデバイスを使用して画像をキャプチャするために実施可能である。カメラデバイスは複数の光学チェーンを含み、光学チェーンの各々は独立して動作および制御可能である。流れ図６８００の方法を実施するカメラデバイスは、図１および／または図４Ａのカメラデバイスと同じまたは類似の要素を含むことができ、場合によっては、これを含む。流れ図６８００の方法を実施するために使用可能な例示的なカメラデバイスのさまざまな要素および／または特徴は、非円形の絞りのレンズを有する光学チェーン、丸いレンズを有する光学チェーン、カメラ厚さなどなどのそのような特徴を示す図１４〜１７から理解できる。
例示的な方法はステップ６８０２で開始し、たとえば、ユーザは関心シーンエリアのキャプチャを始め、このことが、カメラデバイスたとえばカメラデバイス１４００に、１つまたは複数の光学チェーンによる関心シーンエリアの画像キャプチャを始めさせる。動作は、ステップ６８０２から、画像キャプチャ動作を伴うステップ６８０４、６８０６、６８０８、６８１０、および６８１２に進む。画像キャプチャ動作は、同期方式で実行され得、いくつかの実施形態では、実行される。少なくともいくつかの同期される実施形態では、異なる光学チェーンの必ずしもすべてでないがいくつかによってキャプチャされる画像は、同じまたは重複する時間期間に対応する。他の実施形態では、画像キャプチャが同期されるのではなく、キャプチャされた画像のうちの複数の画像が、同じまたは重複する時間期間中にキャプチャされる。さらに他の実施形態では、少なくともいくつかの画像が順次、たとえばすばやく連続して、キャプチャされる。逐次的な画像キャプチャは、シーンエリアの異なる部分に対応する画像をキャプチャするために使用され得、いくつかの実施形態では、使用される。
ステップ６８０４では、第１の画像が、第１の時間期間中にカメラの第１の光学チェーンを使用してキャプチャされ、第１の光学チェーンは、第１の焦点距離と、第１の非円形のレンズとを有する。動作は、ステップ６８０４からステップ６８１４に進む。
ステップ６８０６では、第２の画像が、第１の時間期間中にカメラの第２の光学チェーンを使用してキャプチャされ、第２の光学チェーンは、第２の焦点距離と、第２の非円形のレンズとを有する。いくつかの実施形態では、第１の焦点距離と第２の焦点距離は同じである。いくつかの実施形態では、第１の焦点距離と第２の焦点距離は異なる。いくつかの実施形態では、第１の非円形のレンズは、第１の方向に垂直な第２の方向においてよりも第１の方向において長く、第２の非円形のレンズは、第４の方向においてよりも第３の方向において長く、第４の方向は第３の方向に垂直であり、第１の方向と第３の方向は異なる。いくつかの実施形態では、第１の光学チェーンは第１のセンサを含み、第２の光学チェーンは第２のセンサを含む。動作は、ステップ６８０６からステップ６８１４に進む。
ステップ６８０８では、第３の画像が、第３の焦点距離を有し丸いレンズを含む第３の光学チェーンを使用してキャプチャされ、第３の焦点距離は、第１の焦点距離または第２の焦点距離よりも小さい。いくつかの実施形態では、第２の方向と第４の方向は同じであり、カメラの奥行き（厚さ）に対応する。動作は、ステップ６８０８からステップ６８１４に進む。
ステップ６８１０では、第４の画像が、第４の焦点距離と第３の非円形のレンズとを有する第４の光学チェーンを使用してキャプチャされ、第４の焦点距離は第３の焦点距離よりも大きい。いくつかの実施形態では、第３の非円形のレンズは、第６の方向においてよりも第５の方向において長く、第６の方向は第５の方向に垂直であり、第１の方向と第３の方向と第５の方向は少なくとも２０度異なる。動作は、ステップ６８１０からステップ６８１４に進む。
同様に、カメラデバイス内の１つまたは複数の追加光学チェーンが、追加画像をキャプチャするために使用可能であり、いくつかの実施形態では、使用される。一実施形態では、追加画像は、ステップ６８１２に示されるように、円形のレンズを有する光部品（optical）を使用してキャプチャされる。ステップ６８１２では、追加画像が、円形のレンズを含む複数の追加光学チェーンを使用してキャプチャされ、追加の光学チェーンの各々は、第１の光学チェーンよりも小さい焦点距離を有する円形のレンズを含む。いくつかの実施形態では、上記で説明された複数の光学チェーンによってキャプチャされるさまざまな画像は、同じ時間期間内でキャプチャされる。動作は、ステップ６８１２からステップ６８１４に進む。
ここで、ステップ６８１４に戻る。ステップ６８１４では、１つまたは複数のキャプチャされた画像、たとえば、第１のキャプチャされた画像、第２のキャプチャされた画像、第３のキャプチャされた画像などは、本発明の特徴によるさらなる処理のために、たとえばデバイスメモリ内に格納され、ならびに／またはたとえば、ディスプレイデバイスに、および／もしくはインターフェースを介して外部デバイスに出力される。動作は、ステップ６８１４から、必ずしもすべてでないがいくつかの実施形態で実行されるステップ６８１６に進む。ステップ６８１６では、合成画像は、キャプチャされた画像のうちの少なくとも２つ以上を結合することによって、たとえば、少なくとも第１の画像と第２の画像とを結合することによって、生成される。さまざまな実施形態では、合成画像は、たとえば、方法６８００のステップを実施するカメラデバイス１４００のプロセッサ１１０または２１１などのプロセッサによって生成される。さまざまな実施形態では、生成される合成画像は、関心シーンエリアの画像である。いくつかの実施形態では、複数の光学チェーンのうちの少なくともいくつかは、関心シーンエリアの一部分をキャプチャし、次いで、キャプチャされた部分は、合成画像を生成するために本発明の方法により結合され得る。
動作は、ステップ６８１６からステップ６８１８に進む。ステップ６８１８では、生成された合成画像は、たとえばデバイスメモリ内に格納され、ならびに／またはたとえば、ディスプレイデバイスに、および／もしくはインターフェースを介して外部デバイスに、出力される。
方法６８００のさまざまな機能および／またはステップは、そのようなデバイスが汎用プロセッサおよび／または画像センサを使用することがあるとしても、カメラおよび／または画像処理の改善に関することを理解されたい。たとえば合成画像生成ステップなどの方法６８００の１つまたは複数のステップは、プロセッサたとえばプロセッサ１１０、２１１によって実行されるように説明されてきたが、方法６８００のステップのうちの１つまたは複数は、専用回路、たとえば、方法を実行する撮像デバイスの効率、精度、および／または動作能力を改善する、ＡＳＩＣ、ＦＰＧＡ、および／または特定用途向け回路によって実施され得、いくつかの実施形態では、実施されることを理解されたい。いくつかの実施形態では、専用ハードウェアたとえば回路、および／または専用ハードウェアとソフトウェアの組み合わせが、方法６８００の１つまたは複数のステップを実施する際に利用され、その中で、方法を実施する撮像デバイスたとえばカメラに追加の画像処理効率、精度、および／または動作能力を提供する。
図４７は、さまざまな例示的な実施形態による、合成画像を生成する例示的な方法の流れ図４５００である。流れ図４５００の動作は、カメラデバイスまたは画像処理デバイスと組み合わせたカメラデバイスによって実行され得る。いくつかの実施形態では、カメラデバイスはカメラに含まれる。いくつかの実施形態では、カメラデバイスは、ワイヤレス通信デバイスたとえばスマートフォンに含まれる。いくつかの実施形態では、画像処理デバイスはパーソナルコンピュータである。
例示的な方法の動作は、初期化が実行されるステップ４５０２で開始し、ステップ４５０４に進む。いくつかの実施形態では、動作はまた、ステップ４５０２から、任意選択のステップ４５１６、４５１８、および４５２２のうちの１つまたは複数またはすべてに進む。
ステップ４５０４では、第１の角度に設定された光方向変換デバイスを含むカメラデバイスの第１の光学チェーンは、第１の画像をキャプチャするように動作される。動作は、ステップ４５０４からステップ４５０６に進み、ステップ４５０６では、前記光方向変換デバイスの角度は第２の角度に変更される。動作は、ステップ４５０６からステップ４５１０に進む。ステップ４５１０では、第１の光学チェーンは、光方向変換デバイスが第２の角度に設定されている間、第２の画像をキャプチャするように動作される。動作は、ステップ４５１０からステップ４５１２に進む。
ステップ４５１２では、第１の画像および第２の画像から合成画像が生成される。
いくつかの実施形態では、光方向変換デバイスは鏡、たとえば、実質的な平面鏡である。実質的な平面鏡は、いくつかの実施形態で使用される平面鏡、ならびにわずかな曲率を持ち得る鏡、たとえば、いくつかの実施形態では０〜３度の範囲内の曲率を有する鏡を含むが、他の範囲も可能である。いくつかのそのような実施形態では、実質的な平面鏡は平面鏡である。さまざまな実施形態では、第１の光方向変換デバイスはプリズムである。いくつかの実施形態では、ステップ４５０６はステップ４５０８を含み、光方向変換デバイスの角度が、第１の画像と第２の画像とをキャプチャするために使用される画像センサの平面または第１の光学チェーン内のレンズのうちの少なくとも１つに対して変更される。
いくつかの実施形態では、第１の画像および第２の画像が第１の時間の期間中にキャプチャされ、ステップ４５１６が実行される。ステップ４５１６では、カメラデバイスの位置が、第１の画像および第２の画像が同じカメラデバイス位置からキャプチャされるように、第１の時間の期間によって維持される。いくつかのそのような実施形態では、第１の画像および第２の画像がそれぞれ、関心シーンエリアの第１の部分および第２の部分に対応し、前記第１の部分と前記第２の部分は少なくとも部分的に重複しない。
いくつかの実施形態では、第１の画像は第１のシーンエリア部分を含み、第２の画像は第２のシーンエリア部分を含み、第１のシーンエリア部分と第２のシーンエリア部分は重複しない。いくつかの実施形態では、ステップ４５１２はステップ４５１４を含む。ステップ４５１４では、第１のシーンエリア部分に対応する前記第１の画像の少なくとも一部と前記第２のシーンエリア部分に対応する前記第２の画像の少なくとも一部が、前記合成画像に組み込まれる。
したがって、この例示的な実施形態では、合成画像は、少なくとも重複しない画像部分から生成される。合成画像が対応するシーンエリアは、第１の画像と第２の画像のうちの単一の画像の画像エリアのサブセットではない。いくつかの実施形態では、第１の画像および第２の画像は、重複するシーンエリア部分も含み得る。
いくつかの実施形態では、光方向変換デバイスの移動がビデオフレームキャプチャ速度の関数として制御されるステップ４５１８が実行される。いくつかのそのような実施形態では、ステップ４５１８はステップ４５２０を含む。ステップ４５２０では、光方向変換デバイスは、ｚ個の異なる画像がビデオフレームごとにキャプチャされるように移動され、ここで、ｚは、単一の合成ビデオフレームを生成するために第１の光学チェーンによってキャプチャされる画像の数に対応する。
いくつかの実施形態では、カメラは少なくとも２つの光学チェーンを含み、ステップ４５２２、４５２４、および４５２６は実行される。ステップ４５２２では、カメラデバイスの第２の光学チェーンは、第２の光学チェーン内の第２の光方向変換デバイスたとえば鏡またはプリズムが第３の角度である間、第３の画像をキャプチャするように動作される。動作は、ステップ４５２２からステップ４５２４に進む。ステップ４５２４では、第２の光方向変換デバイスの角度は第４の角度に設定される。動作は、ステップ４５２４からステップ４５２６に進む。ステップ４５２６では、第２の光学チェーンは、第２の光方向変換デバイスが第４の角度に設定されている間、第４の画像をキャプチャするように動作される。
いくつかの実施形態では、第１の画像および第３の画像は第１のキャプチャ時間に対応し、第２の画像および第４の画像は第２のキャプチャ時間に対応する。いくつかのそのような実施形態では、カメラは、第１のキャプチャ時間および第２のキャプチャ時間に対して同じ位置に維持される。
動作は、ステップ４５２６からステップ４５１２に進む。いくつかの実施形態では、ステップ４５１２はステップ４５２８を含み、ステップ４５２８では、合成画像が第１の画像、第２の画像、第３の画像、および第４の画像から生成される。
図４８Ａは、例示的な一実施形態による例示的なカメラデバイス４６００の図である。カメラデバイス４６００は、プロセッサ４６０２、たとえばＣＰＵと、メモリ４６０４と、モジュールのアセンブリ４６０６、たとえば、回路などのハードウェアモジュールのアセンブリと、ユーザ入力インターフェース４６０８と、ディスプレイ４６１０と、Ｉ／Ｏインターフェース４６１２と、さまざまな要素がデータと情報とを交換し得るバス４６２１を介して互いに結合された複数の光学チェーン（光学チェーン１ ４６１８、…、光学チェーンＮ ４６２０）とを含む。ディスプレイ４６１０、たとえば、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、またはアクティブマトリクス有機発光ダイオード（ＡＭＯＬＥＤ）ディスプレイは、カメラデバイス４６００のユーザに画像、画像部分、ユーザメニューなどを表示するためのものである。ユーザ入力インターフェース４６０８としては、たとえば、ユーザからの入力を受け取るための、スイッチ、ボタン、タッチスクリーンインターフェースなどがある。Ｉ／Ｏインターフェース４６１２には、他のデバイスたとえばパーソナルコンピュータと通信するための複数の通信ポートがある。Ｉ／Ｏインターフェース４６１２は、いくつかの実施形態では、１つまたは複数のワイヤレス通信インターフェースを含む。Ｉ／Ｏインターフェース４６１２上で通信される情報としては、たとえば、複数の光学チェーンからキャプチャされた画像から生成された結合された画像、ならびに／または外部で、たとえばパーソナルコンピュータ内で、処理および／もしくは結合されることになる、個々の光学チェーンからキャプチャされた画像がある。
メモリ４６０４は、モジュールのアセンブリ４６１４と、データ／情報４６１６とを含む。
光学チェーン１ ４６１８は、レンズ４６２２、たとえば外側レンズと、移動可能な鏡４６２４、たとえば移動可能な実質的な平面鏡と、画像センサ４６２６とを含む。いくつかの実施形態では、実質的な平面鏡は平面鏡である。さまざまな実施形態では、平面鏡は、平坦な光反射表面を有する。いくつかの実施形態では、実質的な平面鏡は、０〜５度の範囲の曲率を有する。さまざまな実施形態では、移動可能な鏡４６２４はヒンジ取り付け部を含む。光学チェーン１ ４６１８は、鏡移動モジュール４６２８、たとえば駆動モータおよび対応する駆動回路と、鏡位置検出モジュール４６３０、たとえば、レゾルバまたはシンクロまたは光学式ロータリエンコーダまたは磁気ロータリエンコーダなどの角度位置検知デバイスと、いくつかの実施形態では、センサ測定値をデジタル値に変換する回路、たとえばアナログ−デジタル変換器とをさらに含む。画像センサ４６２６は、第１の画像と第２の画像とをキャプチャするために使用される。光は、鏡４６２４に到達する前にレンズ４６２２を通過する。光方向変換デバイスである鏡４６２４は、レンズ４６２２を通過した光を画像センサ４６２６上に方向づける。
光学チェーンＮ ４６２０は、レンズ４６３２、たとえば外側レンズと、移動可能な鏡４６３４、たとえば移動可能な実質的な平面鏡と、画像センサ４６３６とを含む。いくつかの実施形態では、移動可能な実質的な平面鏡は平面鏡である。さまざまな実施形態では、移動可能な鏡４６３４はヒンジ取り付け部を含む。光学チェーンＮ ４６２０は、鏡移動モジュール４６３８、たとえば駆動モータおよび対応する駆動回路と、鏡位置検出モジュール４６４０、たとえば、レゾルバまたはシンクロまたは光学式ロータリエンコーダまたは磁気ロータリエンコーダなどの角度位置検知デバイスと、いくつかの実施形態では、センサ測定値をデジタル値に変換する回路とをさらに含む。いくつかの実施形態における光学チェーンモジュール（４６１８、…、４６２０）のうちの１つまたは複数は、１つまたは複数の追加要素、たとえば、追加のレンズ、追加の鏡、プリズム、フィルタなどを含む。
図４８Ｂは、例示的な一実施形態による例示的なカメラデバイス４７００の図である。カメラデバイス４７００は、プロセッサ４６０２、たとえばＣＰＵと、メモリ４６０４と、モジュールのアセンブリ４６０６、たとえば、回路などのハードウェアモジュールのアセンブリと、ユーザ入力インターフェース４６０８と、ディスプレイ４６１０と、Ｉ／Ｏインターフェース４６１２と、さまざまな要素がデータと情報とを交換し得るバス４６２１を介して互いに結合された複数の光学チェーン（光学チェーン１ ４７１８、…、光学チェーンＮ ４７２０）とを含む。ディスプレイ４６１０、たとえば、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、またはアクティブマトリクス有機発光ダイオード（ＡＭＯＬＥＤ）ディスプレイは、カメラデバイス４７００のユーザに画像、画像部分、ユーザメニューなどを表示するためのものである。ユーザ入力インターフェース４６０８としては、たとえば、ユーザからの入力を受け取るための、スイッチ、ボタン、タッチスクリーンインターフェースなどがある。Ｉ／Ｏインターフェース４６１２には、他のデバイスたとえばパーソナルコンピュータと通信するための複数の通信ポートがある。Ｉ／Ｏインターフェース４６１２は、いくつかの実施形態では、１つまたは複数のワイヤレス通信インターフェースを含む。Ｉ／Ｏインターフェース４６１２上で通信される情報としては、たとえば、複数の光学チェーンからキャプチャされた画像から生成された結合された画像、ならびに／または外部で、たとえばパーソナルコンピュータ内で、処理および／もしくは結合されることになる、個々の光学チェーンからキャプチャされた画像がある。
メモリ４６０４は、モジュールのアセンブリ４６１４と、データ／情報４６１６とを含む。
光学チェーン１ ４７１８は、レンズ４７２２、たとえば外側レンズと、プリズム４７２４と、画像センサ４７２６とを含む。さまざまな実施形態では、プリズム４７２４はヒンジ取り付け部を含む。光学チェーン１ ４７１８は、プリズム移動モジュール４７２８、たとえば駆動モータおよび対応する駆動回路と、プリズム位置検出モジュール４７３０、たとえば、レゾルバまたはシンクロまたは光学式ロータリエンコーダまたは磁気ロータリエンコーダなどの角度位置検知デバイスと、いくつかの実施形態では、センサ測定値をデジタル値に変換する回路、たとえばアナログ−デジタル変換器とをさらに含む。画像センサ４７２６は、第１の画像と第２の画像とをキャプチャするために使用される。光は、プリズム４７２４に到達する前にレンズ４７２２を通過する。光方向変換デバイスであるプリズム４７２４は、レンズ４７２２を通過した光を画像センサ４７２６上に方向づける。
光学チェーンＮ ４７２０は、レンズ４７３２、たとえば外側レンズと、移動可能なプリズム４７３４と、画像センサ４７３６とを含む。さまざまな実施形態では、移動可能なプリズム４７３４はヒンジ取り付け部を含む。光学チェーンＮ ４７２０は、プリズム移動モジュール４７３８、たとえば駆動モータおよび対応する駆動回路と、プリズム位置検出モジュール４７４０、たとえば、レゾルバまたはシンクロまたは光学式ロータリエンコーダまたは磁気ロータリエンコーダなどの角度位置検知デバイスと、いくつかの実施形態では、センサ測定値をデジタル値に変換する回路とをさらに含む。いくつかの実施形態における光学チェーンモジュール（４７１８、…、４７２０）のうちの１つまたは複数は、１つまたは複数の追加要素、たとえば、追加のレンズ、追加のプリズム、鏡、フィルタなどを含む。
図４８は、本発明により実施されるカメラデバイスたとえば図４６のカメラ４６００または図４７のカメラ４７００に含まれ得るモジュールのアセンブリ４８００の図である。モジュールのアセンブリ４８００は、方法のステップ、たとえば図４５の流れ図４５００の方法のステップを実施し得る。いくつかの実施形態では、モジュールのアセンブリ４８００は、互いに結合され得る回路のアセンブリである。例示的な一実施形態では、モジュールのアセンブリ４８００は、図４６のカメラ４６００または図４７のカメラ４７００のモジュールのアセンブリ４６０６である。いくつかの実施形態では、モジュールのアセンブリ４８００は、ソフトウェアモジュールのアセンブリである。例示的な一実施形態では、モジュールのアセンブリ４８００は、図４６のカメラ４６００または図４７のカメラ４７００のメモリ４６０４のモジュールのアセンブリ４６１４である。
図４８Ｃは、図４８Ａに示されるカメラデバイス４６００または図４８Ｂのカメラデバイス４７００において使用可能であり、いくつかの実施形態では使用される、モジュールのアセンブリ４８００を示す。モジュールのアセンブリ４８００内のモジュールは、たとえば個々の回路として、プロセッサ４６０２内部のハードウェア内で完全に実施可能であり、いくつかの実施形態では、実施される。モジュールのアセンブリ４８００内のモジュールは、たとえば異なるモジュールに対応する個々の回路として、モジュールのアセンブリ４６０６内部のハードウェア内で完全に実施可能であり、いくつかの実施形態では、実施される。他の実施形態では、モジュールのうちのいくつかは、プロセッサ４６０２の内部の、たとえば回路として、実施され、他のモジュールは、プロセッサの外部にあり、これに結合されたモジュールのアセンブリ４６０６の内部の、たとえば回路として、実施される。理解されるべきであるように、プロセッサ上での、および／またはプロセッサの外部にあるいくつかのモジュールとの、モジュールの統合のレベルは、設計上の選択肢の１つであり得る。
あるいは、回路として実施されるのではなく、モジュールのアセンブリ４８００内のモジュールのすべてまたはいくつかは、ソフトウェア内で実施され、カメラデバイス４６００またはカメラデバイス４７００のメモリ４６０４内に格納され得、モジュールは、モジュールがプロセッサたとえばプロセッサ４６０２によって実行されるとき、モジュールに対応する機能を実施するように、カメラデバイス４６００またはカメラデバイス４７００の動作を制御する。いくつかのそのような実施形態では、モジュールのアセンブリ４８００は、モジュールのアセンブリ４６１４としてメモリ４６０４に含まれる。さらに他の実施形態では、モジュールのアセンブリ４８００内のさまざまなモジュールは、ハードウェアとソフトウェアの組み合わせとして実施され、たとえば、プロセッサの外部にある別の回路は、プロセッサ４６０２に入力を提供し、次いで、プロセッサ４６０２は、ソフトウェア制御下でモジュールの機能の一部分を実行するように動作する。図４８Ａおよび図４８Ｂの実施形態では、単一のプロセッサたとえばコンピュータとして示されているが、プロセッサ４６０２は、１つまたは複数のプロセッサたとえばコンピュータとして実施され得ることを理解されたい。
ソフトウェア内で実施されるとき、モジュールは、プロセッサ４６０２によって実行されるとモジュールに対応する機能を実施するようにプロセッサ４６０２を構成するコードを含む。モジュールのアセンブリ４８００がメモリ４６０４内に格納される実施形態では、メモリ４６０４は、少なくとも１つのコンピュータたとえばプロセッサ４６０２にモジュールが対応する機能を実施させるために、コード、たとえば各モジュールに対する個々のコードを備えるコンピュータ可読媒体を備えるコンピュータプログラム製品である。
完全にハードウェアベースのモジュールまたは完全にソフトウェアベースのモジュールが使用されてよい。しかしながら、ソフトウェアとハードウェアのいかなる組み合わせも、たとえば、回路により実施されるモジュールも、機能を実施するために使用され得ることを理解されたい。理解されるべきであるように、図４８Ｃに示されるモジュールは、図４７の方法流れ図４５００に示される対応するステップの機能を実行するように、カメラデバイス４６００またはカメラデバイス４７００またはプロセッサ４６０２などのその中の要素を制御および／または構成する。したがって、モジュールのアセンブリ４８００は、図４７に示される方法の対応するステップの機能を実行するさまざまなモジュールを含む。
図４８Ｃは、例示的な一実施形態によるモジュールのアセンブリ４８００である。モジュールのアセンブリ４８００は、光方向変換デバイス制御モジュール４８０２と、画像キャプチャ制御モジュール４８０４と、合成画像生成モジュール４８０６と、安定性制御モジュール４８０８と、光方向変換デバイス移動タイミング制御モジュール４８１０とを含む。
光方向変換設定制御モジュール４８０２、たとえば、鏡方向変換設定制御モジュールまたはプリズム方向変換設定制御モジュールは、第１の光部品たとえば光学チェーン１ ４６１８または光学チェーン１ ４７１８によって使用される少なくとも１つの光方向変換デバイス角度位置を決定するように構成される。画像キャプチャ制御モジュール４８０４は、第１の光方向変換デバイスたとえば鏡４６２４またはプリズム４７２４が光方向変換デバイス制御モジュール４８０２の指示に従って第１の角度に設定されている間、第１の画像をキャプチャし、第１の光方向変換デバイスが光方向変換デバイス制御モジュール４８０２の指示に従って第２の角度に設定されている間、第２の画像をキャプチャするように、第１の光学チェーンを動作させるように構成される。合成画像生成モジュール４８０６は、第１の画像および第２の画像から合成画像を生成するように構成される。いくつかの実施形態では、光方向変換デバイスは、平面鏡または実質的な平面鏡である鏡、たとえば鏡４６２４である。いくつかの実施形態では、光方向変換デバイスは、プリズム、たとえばプリズム４７２４である。
光方向変換デバイス制御モジュール４８０２は、決定された光方向変換デバイス角度が現在の光方向変換デバイス角度と異なるとき変化するように、光方向変換デバイスたとえば鏡４６２４またはプリズム４７２４の角度を制御するようにさらに構成される。いくつかの実施形態では、光方向変換デバイスは、鏡、たとえば鏡４６２４であり、実質的な平面鏡であり、変化は、第１の光学チェーンに含まれる画像センサたとえばセンサ４６２６またはレンズたとえばレンズ４６２２の平面の少なくとも１つに対して鏡の角度を変えることを含む。
さまざまな実施形態では、たとえば第１の光学チェーンすなわち光学チェーン１ ４６１８または光学チェーン１ ４７１８からの第１の画像および第２の画像は、第１の時間の期間中にキャプチャされ、安定性制御モジュール４８０８は、たとえば、第１の画像および第２の画像が同じカメラ位置からキャプチャされるように、第１の時間の期間全体を通して画像安定性を維持するように構成される。いくつかの実施形態では、第１の画像および第２の画像はそれぞれ、関心シーンの第１の部分および第２の部分に対応し、前記第１の部分および前記第２の部分は少なくとも部分的に重複しない。
いくつかの実施形態では、第１の画像は第１のシーンエリア部分を含み、第２の画像は第２のシーンエリア部分を含み、第１のシーン部分と第２のシーン部分は重複しない。さまざまな実施形態では、第１の画像および第２の画像は、重複するシーンエリア部分も含み得る。いくつかのそのような実施形態では、合成画像生成モジュール４８０６は、前記第１のシーンエリア部分に対応する前記第１の画像の少なくとも一部と前記第２のシーンエリア部分に対応する前記第２の画像の一部とを前記合成画像に組み込むことによって第１の画像および第２の画像から合成画像を生成するように構成される。したがって、さまざまな実施形態では、合成画像は、少なくとも重複しない部分から生成される。
光方向変換デバイス移動タイミング制御モジュール４８１０は、光方向変換デバイスの移動をビデオフレームキャプチャ速度の関数として制御するように構成される。いくつかのそのような実施形態では、光方向変換デバイス移動タイミング制御モジュール４８１０は、ｚ個の異なる画像がビデオフレームごとにキャプチャされるように光方向変換デバイスを移動させるためにビデオキャプチャ速度の関数として光方向変換デバイスの移動を制御し、ここで、ｚは、単一の合成画像を生成するために第１の光学チェーンによってキャプチャされる画像の数に対応する。
さまざまな実施形態では、モジュールのアセンブリ４８００を含むカメラデバイスは、異なる角度に設定可能な第２の光方向変換デバイスたとえば移動可能な鏡４６３４または移動可能なプリズム４７３４を含む第２の光学チェーンたとえば光学チェーンＮ ４６２０または光学チェーンＮ ４７２０を含み、光方向変換デバイス制御モジュール４８０２は、第２の光方向変換デバイスが位置決めされる第３の角度を決定するようにさらに構成される。いくつかのそのような実施形態では、画像キャプチャ制御モジュール４８０４は、第２の光方向変換デバイスが第３の角度に設定されている間、第３の画像をキャプチャし、第２の光方向変換デバイスが第４の角度に設定されている間、第４の画像をキャプチャするように、第２の光学チェーンたとえばモジュール４６２０またはモジュール４７２０を制御するようにさらに構成される。いくつかのそのような実施形態では、合成画像生成モジュール４８０６は、第１の画像および第２の画像に加えて第３の画像および第４の画像から合成画像を生成するようにさらに構成される。いくつかの実施形態では、第１の画像および第３の画像は第１のキャプチャ時間に対応し、第２の画像および第４の画像は第２のキャプチャ時間に対応する。さまざまな実施形態では、カメラデバイスは、第１のキャプチャ時間および第２のキャプチャ時間に対して同じ位置に維持される。
図４９は、例示的な一実施形態による、組み合わされた画像を生成するために使用される例示的なキャプチャされた画像を示すために使用される図４９００である。図４９００は、例示的な一実施形態による、２つの光学チェーンを含む例示的なカメラデバイス４９０２を含む。カメラデバイス４９００は、たとえば、図４８Ａのカメラデバイス４６００もしくは図４８Ｂのカメラデバイス４７００、図４８Ｃのモジュールのアセンブリ４８００を含むカメラデバイス、および／または図４７の流れ図４５００の方法を実施するカメラデバイスである。カメラデバイス４９００の光学チェーンの各々は、レンズ、たとえば外側レンズと、制御可能な移動可能な光方向変換デバイス、たとえば、移動可能な鏡または移動可能なプリズムと、画像センサとを含む。一例では、レンズＬ１ ４９０４は光学チェーン１のための外側レンズであり、レンズＬ２ ４９０６は光学チェーン２のための外側レンズである。
図４９の図４９０８は、関心シーン４９１０内の第１のキャプチャされた画像４９１２を示す。図４９の図４９１４は、関心シーン４９１０内の第２のキャプチャされた画像４９１６を示す。図４９の図４９１８は、関心シーン４９１０内の第３のキャプチャされた画像４９２０を示す。図４９の図４９２２は、関心シーン４９１０内の第４のキャプチャされた画像４９２４を示す。画像（第１の画像４９１２、第２の画像４９１６、第３の画像４９２０、第４の画像４９２４）の各々は、他の画像に対して重複しない画像部分を含むことに留意されたい。図４９４４は、キャプチャされた画像（第１の画像４９１２、第２の画像４９１６、第３の画像４９２０、および第４の画像４９２４）から生成された、関心シーンエリア４９１０に対応する、合成画像４９２５を示す。
テーブル４９２６は、どの光学チェーンがどの画像をキャプチャするために使用されるかと、画像キャプチャに使用される例示的な光方向変換デバイス角度設定と、キャプチャされた画像に対応する例示的なキャプチャ時間とを示す。第１の列４９２８は、キャプチャされた画像を識別する。第２の列４９３０は、第１の列の同じ行にある識別された画像をキャプチャするために使用される光学チェーンを識別する。第３の列４９３２は、画像をキャプチャした光学チェーンの光方向変換デバイスが画像キャプチャのときに設定された例示的な光方向変換デバイス角度設定を識別する。第４の列４９３４は、同じ行の対応する画像がキャプチャされた例示的なキャプチャ時間を識別する。
行４９３６は、第１の画像４９１２が光学チェーン１によってキャプチャされたことと、第１の画像がキャプチャされたとき、光学チェーン１の制御可能な移動可能な光方向変換デバイスが第１の角度に設定されたことと、第１の画像が第１のキャプチャ時間間隔中にキャプチャされたこととを識別する。行４９３８は、第２の画像４９１６が光学チェーン１によってキャプチャされたことと、第２の画像がキャプチャされたとき、光学チェーン１の制御可能な移動可能な光方向変換デバイスが第２の角度に設定されたことと、第２の画像が第２のキャプチャ時間間隔中にキャプチャされたこととを識別する。行４９４０は、第３の画像４９２０が光学チェーン２によってキャプチャされたことと、第３の画像がキャプチャされたとき、光学チェーン２の制御可能な移動可能な光方向変換デバイスが第３の角度に設定されたことと、第３の画像が第１のキャプチャ時間間隔中にキャプチャされたこととを識別する。行４９４２は、第４の画像４９２４が光学チェーン２によってキャプチャされたことと、第４の画像がキャプチャされたとき、光学チェーン２の制御可能な移動可能な光方向変換デバイスが第４の角度に設定されたことと、第４の画像が第２のキャプチャ時間間隔中にキャプチャされたこととを識別する。
例示的な一実施形態では、第２の角度は第１の角度よりも大きく、第４の角度は第３の角度よりも大きい。いくつかのそのような実施形態では、第１の角度は第３の角度と実質的に同じであり、第２の角度は第４の角度と実質的に同じである。さまざまな実施形態では、第１のキャプチャ時間は、第２のキャプチャ時間と同じ持続時間である。いくつかの実施形態では、第１の光学チェーンの移動可能な光方向変換デバイスおよび第２の光学チェーンの移動可能な光方向変換デバイスは、たとえば第１のキャプチャ時間と第２のキャプチャ時間との間の小さい時間間隙を容易にするために、第１のキャプチャ時間と第２のキャプチャ時間との間の時間間隔中に平行に移動される。いくつかの実施形態では、第１の光学チェーンの移動可能な光方向変換デバイスおよび第２の光学チェーンの移動可能な光方向変換デバイスは、たとえば瞬間バッテリ電力消費を制限するために、第１のキャプチャ時間と第２のキャプチャ時間との間の時間間隔中に連続的に移動される。
図５０は、例示的な一実施形態による、組み合わされた画像を生成するために使用される例示的なキャプチャされた画像を示すために使用される図５０００である。図５０００は、例示的な一実施形態による、３つの光学チェーンを含む例示的なカメラデバイス５００２を含む。カメラデバイス５０００は、たとえば、図４８Ａのカメラデバイス４６００もしくは図４８Ｂのカメラ４７００、図４８Ｃのモジュールのアセンブリ４８００を含むカメラデバイス、および／または図４７の流れ図４５００の方法を実施するカメラデバイスである。カメラデバイス５０００の光学チェーンの各々は、レンズ、たとえば外側レンズと、制御可能な移動可能な光方向変換デバイスと、画像センサとを含む。レンズＬ１ ５００４は光学チェーン１のための外側レンズであり、レンズＬ２ ５００６は光学チェーン２のための外側レンズであり、レンズＬ３ ５００８は光学チェーン３のための外側レンズである。
図５０の図５０１０は、関心シーン５０１１内のキャプチャされた画像Ｉ１ ５０１２を示す。図５０の図５０１３は、関心シーン５０１１内のキャプチャされた画像Ｉ２ ５０１４を示す。図５０の図５０１５は、関心シーン５０１１内のキャプチャされた画像Ｉ３ ５０１６を示す。図５０の図５０１７は、関心シーン５０１１内のキャプチャされた画像Ｉ４ ５０１８を示す。図５０の図５０１９は、関心シーン５０１１内のキャプチャされた画像Ｉ５ ５０２０を示す。図５０の図５０２１は、関心シーン５０１１内のキャプチャされた画像Ｉ６ ５０２２を示す。図５０の図５０２３は、関心シーン５０１１内のキャプチャされた画像Ｉ７ ５０２６を示す。図５０の図５０２５は、関心シーン５０１１内のキャプチャされた画像Ｉ８ ５０２６を示す。図５０の図５０２７は、関心シーン５０１１内のキャプチャされた画像Ｉ９ ５０２８を示す。図５０の図５０２９は、関心シーン５０１１内のキャプチャされた画像Ｉ１０ ５０３０を示す。図５０の図５０３１は、関心シーン５０１１内のキャプチャされた画像Ｉ１１ ５０３３を示す。図５０の図５０３４は、関心シーン５０１１内のキャプチャされた画像Ｉ１２ ５０３５を示す。
関心シーンエリア５０１１に対応する合成画像５０６０が、キャプチャされた画像（Ｉ１ ５０１２、Ｉ２ ５０１４、Ｉ３ ５０１６、Ｉ４ ５０１８、Ｉ５ ５０２０、Ｉ６ ５０２２、Ｉ７ ５０２４、Ｉ８ ５０２６、Ｉ９ ５０２８、Ｉ１０ ５０３０、Ｉ１１ ５０３３、Ｉ１２ ５０３５）から生成される。
テーブル５０３６は、カメラ５００２のどの光学チェーンがどの画像をキャプチャするために使用されるかと、画像キャプチャに使用される例示的な光方向変換デバイス角度設定と、キャプチャされた画像に対応する例示的なキャプチャ時刻とを示す。第１の列５０３７は、キャプチャされた画像を識別する。第２の列５０３８は、第１の列の同じ行にある識別された画像をキャプチャするために使用される光学モジュールを識別する。第３の列５０３９は、画像をキャプチャした光学チェーンの移動可能な光方向変換デバイスが画像キャプチャのときに設定された例示的な光方向変換デバイス角度設定を識別する。第４の列５０５０は、同じ行の対応する画像がキャプチャされた例示的なキャプチャ時刻を識別する。
テーブル５０３６の第２の行は、画像Ｉ１ ５０１２が光学チェーン１によってキャプチャされたこと、画像Ｉ１がキャプチャされたとき、光学チェーン１の制御可能な光方向変換デバイスが角度α＝α１に設定されたことと、画像Ｉ１が第１のキャプチャ時間間隔中にキャプチャされたこととを識別する。テーブル５０３６の第３の行は、画像Ｉ２ ５０１４が光学チェーン１によってキャプチャされたこと、画像Ｉ２がキャプチャされたとき、光学チェーン１の制御可能な移動可能な光方向変換デバイスが角度α＝α２に設定されたことと、画像Ｉ２が第２のキャプチャ時間間隔中にキャプチャされたこととを識別する。テーブル５０３６の第４の行は、画像Ｉ３ ５０１６が光学チェーン１によってキャプチャされたこと、画像Ｉ３ ５０１６がキャプチャされたとき、光学チェーン１の制御可能な光方向変換デバイスが角度α＝α３に設定されたことと、画像Ｉ３ ５０１６が第３のキャプチャ時間間隔中にキャプチャされたこととを識別する。テーブル５０３６の第５の行は、画像Ｉ４ ５０１８が光学チェーン１によってキャプチャされたこと、画像Ｉ４がキャプチャされたとき、光学チェーン１の制御可能な移動可能な光方向変換デバイスが角度α＝α４に設定されたことと、画像Ｉ４が第４のキャプチャ時間間隔中にキャプチャされたこととを識別する。いくつかの実施形態では、α４＞α３＞α２＞α１である。いくつかの他の実施形態では、α４＜α３＜α２＜α１である。
テーブル５０３６の第６の行は、画像Ｉ５ ５０２０が光学チェーン２によってキャプチャされたこと、画像Ｉ５ ５０２０がキャプチャされたとき、光学チェーン２の制御可能な移動可能な光方向変換デバイスが角度β＝β１に設定されたことと、画像Ｉ５が第１のキャプチャ時間間隔中にキャプチャされたこととを識別する。テーブル５０３６の第７の行は、画像Ｉ６ ５０２２が光学チェーン２によってキャプチャされたこと、画像Ｉ６がキャプチャされたとき、光学チェーン２の制御可能な移動可能な光方向変換デバイスが角度β＝β２に設定されたことと、画像Ｉ６が第２のキャプチャ時間間隔中にキャプチャされたこととを識別する。テーブル５０３６の第８の行は、画像Ｉ７ ５０２４が光学チェーン２によってキャプチャされたこと、画像Ｉ７ ５０２４がキャプチャされたとき、光学チェーン２の制御可能な移動可能な光方向変換デバイスが角度β＝β３に設定されたことと、画像Ｉ７ ５０２４が第３のキャプチャ時間間隔中にキャプチャされたこととを識別する。テーブル５０３６の第９の行は、画像Ｉ８ ５０２６が光学チェーン２によってキャプチャされたこと、画像Ｉ８ ５０２６がキャプチャされたとき、光学チェーン２の制御可能な移動可能な光方向変換デバイスが角度β＝β４に設定されたことと、画像Ｉ８ ５０２６が第４のキャプチャ時間間隔中にキャプチャされたこととを識別する。いくつかの実施形態では、β４＞β３＞β２＞β１である。いくつかの実施形態では、β４＜β３＜β２＜β１である。
テーブル５０３６の第１０の行は、画像Ｉ９ ５０２８が光学チェーン３によってキャプチャされたこと、画像Ｉ９ ５０２８がキャプチャされたとき、光学チェーン３の制御可能な移動可能な光方向変換デバイスが角度θ＝θ１に設定されたことと、画像Ｉ９が第１のキャプチャ時間間隔中にキャプチャされたこととを識別する。テーブル５０３６の第１１の行は、画像Ｉ１０ ５０３０が光学チェーン３によってキャプチャされたこと、画像Ｉ１０がキャプチャされたとき、光学チェーン３の制御可能な移動可能な光方向変換デバイスが角度θ＝θ２に設定されたことと、画像Ｉ１０が第２のキャプチャ時間間隔中にキャプチャされたこととを識別する。テーブル５０３６の第１２の行は、画像Ｉ１１ ５０３３が光学チェーン３によってキャプチャされたこと、画像Ｉ１１ ５０３３がキャプチャされたとき、光学チェーン３の制御可能な移動可能な光方向変換デバイスが角度θ＝θ３に設定されたことと、画像Ｉ１１ ５０３３が第３のキャプチャ時間間隔中にキャプチャされたこととを識別する。テーブル５０３６の第１３の行は、画像Ｉ１２ ５０２６が光学チェーン３によってキャプチャされたこと、画像Ｉ１２ ５０３５がキャプチャされたとき、光学チェーン３の制御可能な移動可能な光方向変換デバイスが角度θ＝θ４に設定されたことと、画像Ｉ１２ ５０３５が第４のキャプチャ時間間隔中にキャプチャされたこととを識別する。いくつかの実施形態では、θ４＞θ３＞θ２＞θ１である。いくつかの実施形態では、θ４＜θ３＜θ２＜θ１である。
図５１Ａと図５１Ｂの組み合わせを備える図５１は、少なくとも１つの画像をキャプチャする例示的な方法の流れ図５１００である。流れ図５１００の例示的な方法は、５つ以上の光学チェーンを含むカメラデバイスによって、または５つ以上の光学チェーンを含むカメラデバイスおよび画像処理デバイスによって実行され得る。いくつかの実施形態では、カメラデバイスは、スマートフォンとカメラのうちの１つである。いくつかの実施形態では、画像処理デバイスはパーソナルコンピュータである。
例示的な方法の動作はステップ５１０２で開始し、ステップ５１０４に進む。ステップ５１０４では、ズーム設定を光方向変換デバイス位置にマッピングする情報がメモリ内に格納される。さまざまな実施形態では、光方向変換デバイスは、鏡たとえば平面鏡、またはプリズムである。動作は、ステップ５１０４からステップ５１０６に進む。ステップ５１０６では、ズーム設定を示すユーザ入力が受け取られる。動作は、ステップ５１０６からステップ５１０８に進む。ステップ５１０８では、示されたズーム設定に従って第１の光方向変換デバイスを移動させる前に、光方向変換デバイス位置が、示されたズーム設定に基づいて計算される。したがって、ステップ５１０８では、移動可能な制御可能な光方向変換デバイスのための光方向変換デバイス位置が、たとえばメモリ内に格納されたルックアップテーブルから、ズーム設定に対応して決定される。たとえば、ステップ５１０８では、カメラデバイスは、示されたズーム設定に対応する第１の光学チェーンの第１の光方向変換デバイスのための第１の位置と、示されたズーム設定に対応する第３の光学チェーンの第２の光方向変換デバイスのための第２の位置と、示されたズーム設定に対応する第４の光学チェーンの第３の光方向変換デバイスのための第３の位置と、示されたズーム設定に対応する第５の光学チェーンの第４の光方向変換デバイスのための第４の位置とを決定する。いくつかの実施形態では、複数の所定の個別の可能な代替のユーザ選択可能ズーム設定の各々に対応して、移動可能な光方向変換デバイスの各々に対する光方向変換デバイス位置および／または角度の対応するセットがある。動作は、ステップ５１０８から、並列に実行され得るステップ５１１０、５１１２、５１１４、および５１１６に進む。
ステップ５１１０では、第１の光学チェーンまたはカメラデバイスの第１の光方向変換デバイスが、示されたズーム設定に従って第１の位置に移動され、前記第１の光方向変換デバイスは実質的な平面鏡またはプリズムのうちの１つである。いくつかの実施形態では、実質的な平面鏡は平面鏡である。いくつかの実施形態では、第１の光方向変換デバイスは平面鏡であり、前記第１の位置は、第１の平面鏡の第１の方向に対応する第１の鏡位置である。さまざまな実施形態では、第１の平面鏡の第１の方向は、第１の平面鏡の平面に垂直な方向として定義される。ステップ５１１２では、カメラデバイスの第３の光学チェーンの第２の光方向変換デバイスが、示されたズーム設定に従って第２の位置に移動される。いくつかの実施形態では、第２の光方向変換デバイスは第２の平面鏡であり、前記第２の位置は、第２の平面鏡の第１の方向に対応する第２の鏡位置である。さまざまな実施形態では、第２の平面鏡の第１の方向は、第２の平面鏡の平面に垂直な方向として定義される。ステップ５１１４では、カメラデバイスの第４の光学チェーンの第３の光方向変換デバイスが、示されたズーム設定に従って第３の位置に移動される。いくつかの実施形態では、第３の光方向変換デバイスは第３の平面鏡であり、前記第３の位置は、第３の平面鏡の第１の方向に対応する第３の鏡位置である。さまざまな実施形態では、第３の平面鏡の第１の方向は、第３の平面鏡の平面に垂直な方向として定義される。ステップ５１１６では、カメラデバイスの第５の光学チェーンの光方向変換デバイスが、示されたズーム設定に従って第４の位置に移動される。いくつかの実施形態では、前記第４の光方向変換デバイスは第４の平面鏡であり、前記第４の位置は、第４の平面鏡の第１の方向に対応する第４の鏡位置である。さまざまな実施形態では、第４の平面鏡の第１の方向は、第４の平面鏡の平面に垂直な方向として定義される。動作は、ステップ５１１０、５１１２、５１１４、および５１１６から、接続ノードＡ５１１８を介して、ステップ５１２０、５１２２、５１２４、５１２６、および５１２８に進み、いくつかの実施形態では、ステップ５１３０および５１３２に進む。さまざまな実施形態では、ステップ５１２０、５１２２、５１２４、５１２６、５１２８、５１３０、および５１３２は、並列に実行される。
ステップ５１２０では、カメラデバイスは、前記第１の光方向変換デバイスが第１の位置にある間、前記第１の光学チェーンを使用して関心シーンエリアの第１の部分の第１の画像をキャプチャする。ステップ５１２２では、カメラデバイスは、前記第１の光方向変換デバイスが第１の位置にある間、第２の光学チェーンを使用して関心シーンエリアの第２の部分の第２の画像をキャプチャする。いくつかの実施形態では、第１の画像は、第２の画像がキャプチャされる時間の期間に少なくとも部分的に重なる時間の期間中にキャプチャされる。いくつかの実施形態では、前記第１の画像は、前記第２の画像がキャプチャされるのと同時にキャプチャされる。ステップ５１２４では、カメラデバイスは、前記第１の光方向変換デバイスが第１の位置にある間、第３の光学チェーンを使用して関心シーンエリアの第３の部分の第３の画像をキャプチャする。ステップ５１２６では、カメラデバイスは、前記第１の光方向変換デバイスが第１の位置にある間、前記第４の光学チェーンを使用して関心シーンエリアの第４の部分の第４の画像をキャプチャする。ステップ５１２８では、カメラデバイスは、前記第１の光方向変換デバイスが第１の位置にある間、前記第５の光学チェーンを使用して関心シーンエリアの第５の部分の第５の画像をキャプチャする。いくつかの実施形態では、任意選択のステップ５１３０および任意選択のステップ５１３２のうちの一方または両方が実行される。ステップ５１３０では、カメラデバイスは、前記第１の光方向変換デバイスが第１の位置にある間、第６の光学チェーンを使用して関心シーンエリアの第６の部分の第６の画像をキャプチャする。ステップ５１３２では、カメラデバイスは、前記第１の光方向変換デバイスが第１の位置にある間、第７の光学チェーンを使用して関心シーンエリアの第７の部分の第７の画像をキャプチャする。
さまざまな実施形態では、第１の平面状光方向変換デバイス、第２の平面状光方向変換デバイス、第３の平面状光方向変換デバイス、および第４の平面状平面状光方向変換デバイスは、ステップ５１２０、５１２２、５１２４、５１２６、および５１２８の画像キャプチャ動作中に移動されない。さまざまな実施形態では、第１の平面状光方向変換デバイス、第２の平面状光方向変換デバイス、第３の平面状光方向変換デバイス、および第４の平面状光方向変換デバイスは、ステップ５１２０、５１２２、５１２４、５１２６、５１２８、５１３０、および５１３２の画像キャプチャ動作中に移動されない。さまざまな実施形態では、第１の光学チェーン、第２の光学チェーン、第３の光学チェーン、第４の光学チェーン、および第５の光学チェーンは、たとえば特定のズーム設定のために設定されるとき、画像を同時にキャプチャする。さまざまな実施形態では、第１の光学チェーン、第２の光学チェーン、第３の光学チェーン、第４の光学チェーン、第５の光学チェーン、第６の光学チェーン、および第７の光学チェーンは、たとえば特定のズーム設定のために設定されるとき、画像を同時にキャプチャする。
動作は、ステップ５１２０、５１２２、５１２４、５１２６、５１２８から、いくつかの実施形態ではステップ５１３０および／または５１３２から、ステップ５１３４に進む。ステップ５１３４では、キャプチャされた画像が、示されたズーム設定に対応する合成画像を生成するために結合される。いくつかの実施形態では、ステップ５１３４は、ステップ５１３６と５１３８の一方または両方を含む。ステップ５１３６では、第１の画像、第２の画像、第３の画像、第４の画像、および第５の画像が、示されたズーム設定に対応する合成画像を生成するために結合される。ステップ５１３８では、第１の画像、第２の画像、第３の画像、第４の画像、第５の画像、第６の画像、および第７の画像が、示されたズーム設定に対応する合成画像を生成するために結合される。動作はステップ５１３４からステップ５１４０に進み、ステップ５１４０では、生成された合成画像がメモリ内に格納される。ステップ５１３４および５１３６は、カメラデバイスによって実行されてもよいし、画像処理デバイスによって実行されてもよい。動作は、ステップ５１４０から、接続ノードＢ５１４２を介して、ステップ５１０６に進む。
いくつかの実施形態では、第１の光学チェーンと第２の光学チェーンは異なる焦点距離を有する。いくつかのそのような実施形態では、第１の光学チェーンは、第２の光学チェーンよりも大きい焦点距離を有する。いくつかのそのような実施形態では、第２の光学チェーンは、第１の光学チェーン、第２の光学チェーン、第３の光学チェーン、および第４の光学チェーンの各々よりも小さい焦点距離を有する。いくつかの実施形態では、第１の光学チェーン、第３の光学チェーン、第４の光学チェーン、および第５の光学チェーンは同じ焦点距離を有し、第２の光学チェーンよりも小さい関心シーンエリアの部分をキャプチャする。
さまざまな実施形態では、第１の光学チェーンは、移動可能な光方向変換デバイスである第１の光方向変換デバイスを含み、第２の光学チェーンは移動可能な光方向変換デバイスを含まない。
さまざまな実施形態では、第１の光学チェーン、第３の光学チェーン、第４の光学チェーン、および第５の光学チェーンは各々、移動可能な制御可能な光方向変換デバイスを含み、第２の光学チェーン、第６の光学チェーン、および第７の光学チェーンは、移動可能な制御可能な光方向変換デバイスを含まず、たとえば、第２の光学チェーン、第６の光学チェーン、および第７の光学チェーン内の光方向変換デバイスは固定位置光方向変換デバイスであり、たとえば、その各々は、固定位置に堅固に取り付けられている（hard mounted）。いくつかの実施形態では、第２の画像、第６の画像、および第７の画像のうちの２つは、実質的に同じサイズである。いくつかの実施形態では、第２の画像、第６の画像、および第７の画像のうちの１つは、第１の画像、第３の画像、第４の画像、および第５の画像の各々と実質的に同じサイズである。
図５２は、例示的な一実施形態による例示的なカメラデバイス５２００の図である。カメラデバイス５２００は、プロセッサ５２０２、たとえばＣＰＵと、メモリ５２０４と、モジュールのアセンブリ５２０６、たとえば、回路などのハードウェアモジュールのアセンブリと、ユーザ入力インターフェース５２０８と、ディスプレイ５２１０と、Ｉ／Ｏインターフェース５２１２と、さまざまな要素がデータと情報とを交換し得るバス５２３１を介して互いに結合された複数の光学チェーン（光学チェーン１ ５２１８、光学チェーン２ ５２２０、光学チェーン３ ５２２２、光学チェーン４ ５２２４、光学チェーン５ ５２２６、光学チェーン６ ５２２８、光学チェーン７ ５２３０）とを含む。いくつかの実施形態では、光学チェーン６ ５２２８および光学チェーン７ ５２３０は任意選択である。ディスプレイ５２１０、たとえば、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、またはアクティブマトリクス有機発光ダイオード（ＡＭＯＬＥＤ）ディスプレイは、カメラ５２００のユーザに画像、画像部分、ユーザメニューなどを表示するためのものである。ユーザ入力インターフェース５２０８としては、たとえば、ユーザからの入力を受け取るための、スイッチ、ボタン、タッチスクリーンインターフェースなどがある。Ｉ／Ｏインターフェース５２１２には、他のデバイスたとえばパーソナルコンピュータと通信するための複数の通信ポートがある。Ｉ／Ｏインターフェース５２１２は、いくつかの実施形態では、１つまたは複数のワイヤレス通信インターフェースを含む。Ｉ／Ｏインターフェース５２１２上で通信される情報としては、たとえば、複数の光学チェーンからキャプチャされた画像から生成された結合された画像、ならびに／または外部で、たとえばパーソナルコンピュータ内で、処理および／もしくは結合されることになる、個々の光学チェーンからキャプチャされた画像がある。
メモリ５２０４は、モジュールのアセンブリ５２１４と、データ／情報５２１６とを含む。データ／情報５２１６は、いくつかの実施形態では、ズーム設定を光方向変換デバイス位置にマッピングする格納された情報、たとえば図５５のルックアップテーブル５５００を含む。
光学チェーン１ ５２１８は、レンズ５２３２、たとえば外側レンズと、移動可能な実質的な平面鏡５２３４と、画像センサ５２３６とを含む。いくつかの実施形態では、実質的な平面鏡は平面鏡である。さまざまな実施形態では、移動可能な鏡５２３４はヒンジ取り付け部を含む。光学チェーン１ ５２１８は、鏡移動モジュール５２３８、たとえば駆動モータおよび対応する駆動回路と、鏡位置検出モジュール５２４０、たとえば、レゾルバまたはシンクロまたは光学式ロータリエンコーダまたは磁気ロータリエンコーダなどの角度位置検知デバイスと、いくつかの実施形態では、センサ測定値をデジタル値に変換する回路、たとえばアナログ−デジタル変換器とをさらに含む。画像センサ５２３６は、関心シーンエリアの第１の部分の第１の画像をキャプチャするために使用される。光は、鏡５２３４に到達する前にレンズ５２３２を通過する。光方向変換デバイスである鏡５２３４は、レンズ５２３２を通過した光を画像センサ５２３４上に方向づける。
光学チェーン２ ５２２０は、レンズ５２４２、たとえば外側レンズと、固定された鏡５２４４、たとえば実質的な平面状の固定された鏡と、画像センサ５２４６とを含む。いくつかの実施形態では、実質的な平面状の固定された鏡は、固定された平面鏡である。画像センサ５２４６は、関心シーンエリアの第２の部分の第２の画像をキャプチャするために使用される。光は、鏡５２４６に到達する前にレンズ５２４２を通過する。光方向変換デバイスである鏡５２４４は、レンズ５２４２を通過した光を画像センサ５２４６上に方向づける。
光学チェーン３ ５２２２は、レンズ５２４８、たとえば外側レンズと、移動可能な実質的な平面鏡５２５０と、画像センサ５２５２とを含む。さまざまな実施形態では、移動可能な鏡５２５０はヒンジ取り付け部を含む。光学チェーン３ ５２２２は、鏡移動モジュール５２５４、たとえば駆動モータおよび対応する駆動回路と、鏡位置検出モジュール５２５６、たとえば、レゾルバまたはシンクロまたは光学式ロータリエンコーダまたは磁気ロータリエンコーダなどの角度位置検知デバイスと、いくつかの実施形態では、センサ測定値をデジタル値に変換する回路、たとえばアナログ−デジタル変換器とをさらに含む。画像センサ５２５２は、関心シーンエリアの第３の部分の第３の画像をキャプチャするために使用される。光は、鏡５２５０に到達する前にレンズ５２４８を通過する。光方向変換デバイスである鏡５２５０は、レンズ５２４８を通過した光を画像センサ５２５２上に方向づける。
光学チェーン４ ５２２４は、レンズ５２５８、たとえば外側レンズと、移動可能な実質的な平面鏡５２６０と、画像センサ５２６２とを含む。さまざまな実施形態では、移動可能な鏡５２６０はヒンジ取り付け部を含む。光学チェーン４ ５２２４は、鏡移動モジュール５２６４、たとえば駆動モータおよび対応する駆動回路と、鏡位置検出モジュール５２６６、たとえば、レゾルバまたはシンクロまたは光学式ロータリエンコーダまたは磁気ロータリエンコーダなどの角度位置検知デバイスと、いくつかの実施形態では、センサ測定値をデジタル値に変換する回路、たとえばアナログ−デジタル変換器とをさらに含む。画像センサ５２６２は、関心シーンエリアの第４の部分の第４の画像をキャプチャするために使用される。光は、鏡５２６０に到達する前にレンズ５２５８を通過する。光方向変換デバイスである鏡５２６０は、レンズ５２５８を通過した光を画像センサ５２６２上に方向づける。
光学チェーン５ ５２２６は、レンズ５２６８、たとえば外側レンズと、移動可能な実質的な平面鏡５２７０と、画像センサ５２７２とを含む。さまざまな実施形態では、移動可能な鏡５２７０はヒンジ取り付け部を含む。光学チェーン５ ５２２６は、鏡移動モジュール５２７４、たとえば駆動モータおよび対応する駆動回路と、鏡位置検出モジュール５２７６、たとえば、レゾルバまたはシンクロまたは光学式ロータリエンコーダまたは磁気ロータリエンコーダなどの角度位置検知デバイスと、いくつかの実施形態では、センサ測定値をデジタル値に変換する回路、たとえばアナログ−デジタル変換器とをさらに含む。画像センサ５２７２は、関心シーンエリアの第５の部分の第５の画像をキャプチャするために使用される。光は、鏡５２７０に到達する前にレンズ５２６８を通過する。光方向変換デバイスである鏡５２７０は、レンズ５２６８を通過した光を画像センサ５２７２上に方向づける。
光学チェーン６ ５２２８は、レンズ５２７８、たとえば外側レンズと、固定された鏡５２８０、たとえば固定された実質的な平面鏡と、画像センサ５２８２とを含む。いくつかの実施形態では、固定された実質的な平面鏡は、固定された平面鏡である。画像センサ５２８２は、関心シーンエリアの第６の部分の第６の画像をキャプチャするために使用される。光は、鏡５２８０に到達する前にレンズ５２７８を通過する。光方向変換デバイスである鏡５２８０は、レンズ５２７８を通過した光を画像センサ５２８２上に方向づける。
光学チェーン７ ５２３０は、レンズ５２８４、たとえば外側レンズと、固定された鏡５２８６、たとえば固定された実質的な平面鏡と、画像センサ５２８８とを含む。いくつかの実施形態では、固定された実質的な平面鏡は、固定された平面鏡である。代替実施形態では、光学チェーン７ ５２３０は、たとえばズーム設定には関係なく固定位置に設定された移動可能な実質的な平面鏡を含む。画像センサ５２８８は、関心シーンエリアの第７の部分の第７の画像をキャプチャするために使用される。光は、鏡５２８６に到達する前にレンズ５２８４を通過する。光方向変換デバイスである鏡５２８６は、レンズ５２８４を通過した光を画像センサ５２８８上に方向づける。
いくつかの例示的な実施形態では、第２の画像のサイズは、関心シーンのサイズと実質的に同じである。いくつかの実施形態では、第１の画像、第３の画像、第４の画像、および第５の画像のサイズは実質的に同じである。いくつかのそのような実施形態では、第１の画像のサイズは、関心シーンのサイズの約４分の１である。いくつかの実施形態では、第７の画像のサイズは第１の画像のサイズと実質的に同じであり、第６の画像のサイズは第２の画像のサイズと実質的に同じである。さまざまな実施形態では、第２の画像および第６の画像は、奥行き情報を計算するために使用される。
図５３は、例示的な一実施形態による例示的なカメラデバイス５３００の図である。カメラデバイス５３００は、プロセッサ５２０２、たとえばＣＰＵと、メモリ５２０４と、モジュールのアセンブリ５２０６、たとえば、回路などのハードウェアモジュールのアセンブリと、ユーザ入力インターフェース５２０８と、ディスプレイ５２１０と、Ｉ／Ｏインターフェース５２１２と、さまざまな要素がデータと情報とを交換し得るバス５２３１を介して互いに結合された複数の光学チェーン（光学チェーン１ ５２１８、光学チェーン２ ５２２０、光学チェーン３ ５２２２、光学チェーン４ ５２２４、光学チェーン５ ５２２６、光学チェーン６ ５２２８、光学チェーン７ ５２３０）とを含む。いくつかの実施形態では、光学チェーン６ ５３２８および光学チェーン７ ５３３０は任意選択である。ディスプレイ５２１０、たとえば、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、またはアクティブマトリクス有機発光ダイオード（ＡＭＯＬＥＤ）ディスプレイは、カメラ５３００のユーザに画像、画像部分、ユーザメニューなどを表示するためのものである。ユーザ入力インターフェース５２０８としては、たとえば、ユーザからの入力を受け取るための、スイッチ、ボタン、タッチスクリーンインターフェースなどがある。Ｉ／Ｏインターフェース５２１２には、他のデバイスたとえばパーソナルコンピュータと通信するための複数の通信ポートがある。Ｉ／Ｏインターフェース５２１２は、いくつかの実施形態では、１つまたは複数のワイヤレス通信インターフェースを含む。Ｉ／Ｏインターフェース５２１２上で通信される情報としては、たとえば、複数の光学チェーンからキャプチャされた画像から生成された結合された画像、ならびに／または外部で、たとえばパーソナルコンピュータ内で、処理および／もしくは結合されることになる、個々の光学チェーンからキャプチャされた画像がある。
メモリ５２０４は、モジュールのアセンブリ５２１４と、データ／情報５２１６とを含む。データ／情報５２１６は、いくつかの実施形態では、ズーム設定を光方向変換デバイス位置にマッピングする格納された情報、たとえば図５５のルックアップテーブル５５００を含む。
光学チェーン１ ５３１８は、レンズ５３３２、たとえば外側レンズと、移動可能なプリズム５３３４と、画像センサ５３３６とを含む。さまざまな実施形態では、移動可能なプリズム５３３４はヒンジ取り付け部を含む。光学チェーン１ ５３１８は、プリズム移動モジュール５３３８、たとえば駆動モータおよび対応する駆動回路と、プリズム位置検出モジュール５３４０、たとえば、レゾルバまたはシンクロまたは光学式ロータリエンコーダまたは磁気ロータリエンコーダなどの角度位置検知デバイスと、いくつかの実施形態では、センサ測定値をデジタル値に変換する回路、たとえばアナログ−デジタル変換器とをさらに含む。画像センサ５３３６は、関心シーンエリアの第１の部分の第１の画像をキャプチャするために使用される。光は、プリズム５３３４に到達する前にレンズ５３３２を通過する。光方向変換デバイスであるプリズム５３３４は、レンズ５３３２を通過した光を画像センサ５３３４上に方向づける。
光学チェーン２ ５３２０は、レンズ５３４２、たとえば外側レンズと、固定されたプリズム５３４４と、画像センサ５３４６とを含む。画像センサ５３４６は、関心シーンエリアの第２の部分の第２の画像をキャプチャするために使用される。光は、プリズム５３４６に到達する前にレンズ５３４２を通過する。光方向変換デバイスであるプリズム５３４４は、レンズ５３４２を通過した光を画像センサ５３４６上に方向づける。
光学チェーン３ ５３２２は、レンズ５３４８、たとえば外側レンズと、移動可能なプリズム５３５０と、画像センサ５３５２とを含む。さまざまな実施形態では、移動可能なプリズム５３５０はヒンジ取り付け部を含む。光学チェーン３ ５３２２は、プリズム移動モジュール５３５４、たとえば駆動モータおよび対応する駆動回路と、プリズム位置検出モジュール５３４６、たとえば、レゾルバまたはシンクロまたは光学式ロータリエンコーダまたは磁気ロータリエンコーダなどの角度位置検知デバイスと、いくつかの実施形態では、センサ測定値をデジタル値に変換する回路、たとえばアナログ−デジタル変換器とをさらに含む。画像センサ５３５２は、関心シーンエリアの第３の部分の第３の画像をキャプチャするために使用される。光は、プリズム５３５０に到達する前にレンズ５３４８を通過する。光方向変換デバイスであるプリズム５３５０は、レンズ５３４８を通過した光を画像センサ５３５２上に方向づける。
光学チェーン４ ５３２４は、レンズ５３５８、たとえば外側レンズと、移動可能なプリズム５３６０と、画像センサ５３６２とを含む。さまざまな実施形態では、移動可能なプリズム５３６０はヒンジ取り付け部を含む。光学チェーン４ ５３２４は、プリズム移動モジュール５３６４、たとえば駆動モータおよび対応する駆動回路と、プリズム位置検出モジュール５３６６、たとえば、レゾルバまたはシンクロまたは光学式ロータリエンコーダまたは磁気ロータリエンコーダなどの角度位置検知デバイスと、いくつかの実施形態では、センサ測定値をデジタル値に変換する回路、たとえばアナログ−デジタル変換器とをさらに含む。画像センサ５３６２は、関心シーンエリアの第４の部分の第４の画像をキャプチャするために使用される。光は、プリズム５３６０に到達する前にレンズ５３５８を通過する。光方向変換デバイスであるプリズム５３６０は、レンズ５３５８を通過した光を画像センサ５３６２上に方向づける。
光学チェーン５ ５３２６は、レンズ５３６８、たとえば外側レンズと、移動可能なプリズム５３７０と、画像センサ５３７２とを含む。さまざまな実施形態では、移動可能なプリズム５３７０はヒンジ取り付け部を含む。光学チェーン５ ５３２６は、プリズム移動モジュール５３７４、たとえば駆動モータおよび対応する駆動回路と、プリズム位置検出モジュール５３７６、たとえば、レゾルバまたはシンクロまたは光学式ロータリエンコーダまたは磁気ロータリエンコーダなどの角度位置検知デバイスと、いくつかの実施形態では、センサ測定値をデジタル値に変換する回路、たとえばアナログ−デジタル変換器とをさらに含む。画像センサ５３７２は、関心シーンエリアの第５の部分の第５の画像をキャプチャするために使用される。光は、プリズム５３７０に到達する前にレンズ５３７８を通過する。光方向変換デバイスであるプリズム５３７０は、レンズ５３６８を通過した光を画像センサ５３７２上に方向づける。
光学チェーン６ ５３２８は、レンズ５２７８、たとえば外側レンズと、固定されたプリズム５３８０と、画像センサ５３８２とを含む。画像センサ５３８２は、関心シーンエリアの第６の部分の第６の画像をキャプチャするために使用される。光は、プリズム５３８０に到達する前にレンズ５３７８を通過する。光方向変換デバイスであるプリズム５３８０は、レンズ５３７８を通過した光を画像センサ５３８２上に方向づける。
光学チェーン７ ５３３０は、レンズ５３８４、たとえば外側レンズと、固定されたプリズム５３８６と、画像センサ５３８８とを含む。いくつかの実施形態では、光学チェーン７５３３８の固定位置プリズム５３８６は、ズーム設定には関係なく固定位置に設定された移動可能なプリズムによって置き換えられる。画像センサ５３８８は、関心シーンエリアの第７の部分の第７の画像をキャプチャするために使用される。光は、プリズム５３８６に到達する前にレンズ５３８４を通過する。光方向変換デバイスであるプリズム５３８６は、レンズ５３８４を通過した光を画像センサ５３８８上に方向づける。
いくつかの例示的な実施形態では、第２の画像のサイズは、関心シーンのサイズと実質的に同じである。いくつかの実施形態では、第１の画像、第３の画像、第４の画像、および第５の画像のサイズは実質的に同じである。いくつかのそのような実施形態では、第１の画像のサイズは、関心シーンのサイズの約４分の１である。いくつかの実施形態では、第７の画像のサイズは第１の画像のサイズと実質的に同じであり、第６の画像のサイズは第２の画像のサイズと実質的に同じである。さまざまな実施形態では、第２の画像および第６の画像は、奥行き情報を計算するために使用される。
図５４は、本発明により実施されるカメラデバイスたとえば図５２のカメラ５２００または図５３のカメラ５３００に含まれ得るモジュールのアセンブリ５４００の図である。モジュールのアセンブリ５４００は、方法のステップ、たとえば図５１の流れ図５１００の方法のステップを実施し得る。いくつかの実施形態では、モジュールのアセンブリ５４００は、互いに結合され得る回路のアセンブリである。例示的な一実施形態では、モジュールのアセンブリ５４００は、図５２のカメラ５２００または図５３のカメラ５３００のモジュールのアセンブリ５２０６である。いくつかの実施形態では、モジュールのアセンブリ５４００は、ソフトウェアモジュールのアセンブリである。例示的な一実施形態では、モジュールのアセンブリ５４００は、図５２のカメラデバイス５２００または図５３のカメラデバイス５３００のメモリ５２０４のモジュールのアセンブリ５２１４である。
図５４は、図５２に示されるカメラデバイス５２００または図５３のカメラデバイス５３００において使用可能であり、いくつかの実施形態では使用される、モジュールのアセンブリ５４００を示す。モジュールのアセンブリ５４００内のモジュールは、たとえば個々の回路として、プロセッサ５２０２内部のハードウェア内で完全に実施可能であり、いくつかの実施形態では、実施される。モジュールのアセンブリ５４００内のモジュールは、たとえば異なるモジュールに対応する個々の回路として、モジュールのアセンブリ５２０６内部のハードウェア内で完全に実施可能であり、いくつかの実施形態では、実施される。他の実施形態では、モジュールのうちのいくつかは、プロセッサ５２０２の内部の、たとえば回路として、実施され、他のモジュールは、プロセッサの外部にあり、これに結合されたモジュールのアセンブリ５２０６の内部の、たとえば回路として、実施される。理解されるべきであるように、プロセッサ上での、および／またはプロセッサの外部にあるいくつかのモジュールとの、モジュールの統合のレベルは、設計上の選択肢の１つであり得る。
あるいは、回路として実施されるのではなく、モジュールのアセンブリ５４００内のモジュールのすべてまたはいくつかは、ソフトウェア内で実施され、カメラデバイス５２００またはカメラデバイス５３００のメモリ５２０４内に格納され得、モジュールは、モジュールがプロセッサたとえばプロセッサ５２０２によって実行されるとき、モジュールに対応する機能を実施するように、カメラデバイス５２００またはカメラデバイス５３００の動作を制御する。いくつかのそのような実施形態では、モジュールのアセンブリ５４００は、モジュールのアセンブリ５２１４としてメモリ５２０４に含まれる。さらに他の実施形態では、モジュールのアセンブリ５４００内のさまざまなモジュールは、ハードウェアとソフトウェアの組み合わせとして実施され、たとえば、プロセッサの外部にある別の回路は、プロセッサ５２０２に入力を提供し、次いで、プロセッサ５２０２は、ソフトウェア制御下でモジュールの機能の一部分を実行するように動作する。図５２および図５３の実施形態では、単一のプロセッサたとえばコンピュータとして示されているが、プロセッサ５２０２は、１つまたは複数のプロセッサたとえばコンピュータとして実施され得ることを理解されたい。
ソフトウェア内で実施されるとき、モジュールは、プロセッサ５２０２によって実行されるとモジュールに対応する機能を実施するようにプロセッサ５２０２を構成するコードを含む。モジュールのアセンブリ５４００がメモリ５２０４内に格納される実施形態では、メモリ５２０４は、少なくとも１つのコンピュータたとえばプロセッサ５２０２にモジュールが対応する機能を実施させるために、コード、たとえば各モジュールに対する個々のコードを備えるコンピュータ可読媒体を備えるコンピュータプログラム製品である。
完全にハードウェアベースのモジュールまたは完全にソフトウェアベースのモジュールが使用されてよい。しかしながら、ソフトウェアとハードウェアのいかなる組み合わせも、たとえば、回路により実施されるモジュールも、機能を実施するために使用され得ることを理解されたい。理解されるべきであるように、図５４に示されるモジュールは、図５１の方法流れ図５１００に示される対応するステップの機能を実行するように、カメラデバイス５２００またはカメラデバイス５３００またはプロセッサ５２０２などのその中の要素を制御および／または構成する。したがって、モジュールのアセンブリ５４００は、図５１に示される方法の対応するステップの機能を実行するさまざまなモジュールを含む。
図５４は、例示的な一実施形態によるモジュールのアセンブリ５４００の図である。モジュールのアセンブリ５４００は、光方向変換デバイス位置決め制御モジュール５４０２と、画像キャプチャ制御モジュール５４０４と、合成画像生成モジュール５４０６と、光方向変換デバイス位置計算モジュール５４０８と、ユーザズーム入力モジュール５４１０とを含む。
光方向変換デバイス位置決め制御モジュール５４０２は、示されたズーム設定に従って第１の位置に移動するように、第１の光学チェーンに含まれる第１の光方向変換デバイスを制御するように構成され、前記第１の光方向変換デバイスは、実質的な平面鏡またはプリズムのうちの１つである。いくつかの実施形態では、実質的な平面鏡は平面鏡である。
画像キャプチャ制御モジュール５４０４は、前記第１の光方向変換デバイスが第１の位置にある間、関心シーンの第１の部分の第１の画像をキャプチャするように第１の光学チェーンを制御するように構成される。画像キャプチャ制御モジュール５４０４は、関心シーンの第２の部分の第２の画像をキャプチャするように第２の光学チェーンを制御するようにさらに構成され、第２の画像は、前記第１の光方向変換デバイスが第１の位置にある間、キャプチャされる。いくつかの実施形態では、第１の画像と第２の画像は、画像キャプチャ制御モジュール５４０４の制御下で、同時にキャプチャされる。
いくつかの実施形態では、第１の光学チェーンと第２の光学チェーンは異なる焦点距離を有する。いくつかのそのような実施形態では、第１の光学チェーンは、第２の光学チェーンよりも大きい焦点距離を有する。さまざまな実施形態では、第１の光方向変換デバイスは移動可能な光方向変換デバイスを含み、第２の光学チェーンは移動可能な光方向変換デバイスを含まない。
さまざまな実施形態では、モジュールのアセンブリ５４００を含むカメラデバイスは、第２の光方向変換デバイスを含む第３の光学チェーンと、第３の光方向変換デバイスを含む第４の光学チェーンと、第４の光方向変換デバイスを含む第５の光学チェーンとを含む。いくつかのそのような実施形態では、光方向変換デバイス位置決め制御モジュール５４０２は、示されたズーム設定に従って第３の光学チェーンの第２の光方向変換デバイスを第２の位置に移動させ、示されたズーム設定に従って第４の光学チェーンの第３の光方向変換デバイスを第３の位置に移動させ、示されたズーム設定に従って第５の光学チェーンの第４の光方向変換デバイスを第４の位置に移動させるようにさらに構成される。いくつかのそのような実施形態では、画像キャプチャ制御モジュール５４０４は、第１の光方向変換デバイスが第１の位置にある間、関心シーンの第３の部分の第３の画像をキャプチャするように第３の光学チェーンを制御し、第１の光方向変換デバイスが第１の位置にある間、関心シーンの第４の部分の第４の画像をキャプチャするように第４の光学チェーンを制御し、第１の光方向変換デバイスが第１の位置にある間、関心シーンの第５の部分の第５の画像をキャプチャするように第５の光学チェーンを制御するようにさらに構成される。
いくつかの実施形態では、モジュールのアセンブリ５４００を含むカメラデバイスは、第６の光学チェーンと第７の光学チェーンとをさらに含み、画像キャプチャ制御モジュール５４０４は、第１の光方向変換デバイスが第１の位置にある間、関心シーンの第６の部分の第６の画像をキャプチャするように第６の光学チェーンを制御し、第１の光方向変換デバイスが第１の位置にある間、関心シーンの第７の部分の第７の画像をキャプチャするように第７の光学チェーンを制御するようにさらに構成される。さまざまな実施形態では、第１の光学チェーン、第２の光学チェーン、第３の光学チェーン、第４の光学チェーン、第５の光学チェーン、第６の光学チェーン、および第７の光学チェーンは、移動可能な光方向変換デバイスが移動していない時間間隔中に画像をキャプチャするように、画像キャプチャ制御モジュール５４０４の指示に従って制御される。さまざまな実施形態では、第１の光学チェーン、第２の光学チェーン、第３の光学チェーン、第４の光学チェーン、第５の光学チェーン、第６の光学チェーン、および第７の光学チェーンは、キャプチャされた画像の各々が、他のキャプチャされた画像に少なくとも部分的に適時に重複するように、画像をキャプチャするように、画像キャプチャ制御モジュール５４０４の指示に従って制御される。いくつかの実施形態では、第１の光学チェーン、第２の光学チェーン、第３の光学チェーン、第４の光学チェーン、第５の光学チェーン、第６の光学チェーン、および第７の光学チェーンは、画像を同時にキャプチャするように、画像キャプチャ制御モジュール５４０４の指示に従って制御される。
合成画像生成モジュール５４０６は、示されたズーム設定に対応する合成画像を生成するために少なくとも第１の画像と第２の画像とを結合するように構成される。モジュールのアセンブリ５４００を含むカメラデバイスが５つの光学チェーンを含むいくつかの実施形態では、合成画像生成モジュール５４０６は、示されたズーム設定に対応する合成画像を生成するために、第１の画像と第２の画像と第３の画像と第４の画像と第５の画像とを結合するように構成される。モジュールのアセンブリ５４００を含むカメラデバイスが７つの光学チェーンを含むいくつかの実施形態では、合成画像生成モジュール５４０６は、示されたズーム設定に対応する合成画像を生成する、たとえば、重複する部分からの情報を結合するために、第１の画像と第２の画像と第３の画像と第４の画像と第５の画像と第６の画像と第７の画像とを結合するように構成される。
さまざまな実施形態では、第１の光学チェーン、第３の光学チェーン、第４の光学チェーン、および第５の光学チェーンは同じ焦点距離を有し、第２の光学チェーンよりも小さい関心シーンエリアの部分をキャプチャする。いくつかの実施形態では、第２の光学チェーンおよび第６の光学チェーンは同じ焦点距離を有し、関心シーンの同じ部分または関心シーンの実質的に同じ部分をキャプチャする。
光方向変換デバイス位置計算モジュール５４０８は、たとえば、第１の光学チェーンの第１の移動可能な光方向変換デバイス、第３の光学チェーンの第２の移動可能な光方向変換デバイス、第４の光学チェーンの第３の移動可能な光方向変換デバイス、および第５の光学チェーンの第４の移動可能な光方向変換デバイスに関して、示されたズーム設定に従って第１の光方向変換デバイスを移動させる前に、示されたズーム設定に基づいて光方向変換デバイス位置を計算するように構成される。
ユーザズーム入力モジュール５４１０は、たとえばユーザ入力インターフェース５２０８から、ズーム設定を示すユーザ入力を受け取るように構成される。
図５５は、移動可能な光方向変換デバイスを含む４つの光学チェーンを含む例示的な一実施形態による、例示的な格納されたズーム設定と光方向変換デバイス位置のマッピングテーブル５５００の図である。たとえば、テーブル５５００は、図５１の流れ図５１００による方法を実施するときに使用され得る。移動可能な光方向変換デバイスは、たとえば、鏡たとえば実質的な平面鏡、またはプリズムである。いくつかの実施形態では、実質的な平面鏡は平面鏡である。この例では、光学チェーン１、３、４、および５は、移動可能な光方向変換デバイスを含む。４つの移動可能な光方向変換デバイスは、たとえば、図５２のカメラ５２００の移動可能な制御可能な鏡（５２３４、５２５０、５２６０、５２７０）または図５３のカメラ５３００の移動可能な制御可能なプリズム（５３３４、５３５０、５３６０、５３７０）である。
第１の行５５０２は、列（第１の列５５０２、第２の列５５０４、第３の列５５０６、第４の列５５０８、第５の列５５１０、第６の列５５１２、第７の列５５１４、８の列５５１６、第９の列５５１８）にそれぞれ対応する９つの列ヘッダ（ズーム設定、光学チェーン１の光方向変換デバイス１の位置、光学チェーン１の光方向変換デバイス１の角度、光学チェーン３の光方向変換デバイス２の位置、光学チェーン３の光方向変換デバイス２の角度、光学チェーン４の光方向変換デバイス３の位置、光学チェーン４の光方向変換デバイス３の角度、光学チェーン５の光方向変換デバイス４の位置、光学チェーン５の光方向変換デバイス４の角度）を含む。テーブル５５００では、第１の位置は、移動可能な光方向変換デバイス１である、光学チェーン１の光方向変換デバイスのための設定位置である。αは、第１の位置に対応する角度設定である。第２の位置は、移動可能な光方向変換デバイス２である、光学チェーン３の光方向変換デバイスのための設定位置である。βは、第２の位置に対応する角度設定である。第３の位置は、移動可能な光方向変換デバイス３である、光学チェーン４の光方向変換デバイスのための設定位置である。θは、第３の位置に対応する角度設定である。第４の位置は、移動可能な光方向変換デバイス４である、光学チェーン５の光方向変換デバイスのための設定位置である。Фは、第４の位置に対応する角度設定である。
第２の行５５２２は、１Ｘのズーム設定に対して、第１の位置＝Ｐ１Ａ、α＝α１、第２の位置＝Ｐ２Ａ、β＝β１、第３の位置＝Ｐ３Ａ、θ＝θ１、第４の位置＝Ｐ４Ａ、およびФ＝Ф１であることを示す。第３の行５５２４は、２Ｘのズーム設定に対して、第１の位置＝Ｐ１Ｂ、α＝α２、第２の位置＝Ｐ２Ｂ、β＝β２、第３の位置＝Ｐ３Ｂ、θ＝θ２、第４の位置＝Ｐ４Ｂ、およびФ＝Ф２であることを示す。第４の行５５２６は、３Ｘのズーム設定に対して、第１の位置＝Ｐ１Ｃ、α＝α３、第２の位置＝Ｐ２Ｃ、β＝β３、第３の位置＝Ｐ３Ｃ、θ＝θ３、第４の位置＝Ｐ４Ｃ、およびФ＝Ф３であることを示す。第５の行５５２８は、４Ｘのズーム設定に対して、第１の位置＝Ｐ１Ｄ、α＝α４、第２の位置＝Ｐ２Ｄ、β＝β４、第３の位置＝Ｐ３Ｄ、θ＝θ４、第４の位置＝Ｐ４Ｄ、およびФ＝Ф４であることを示す。
図５６は、例示的な一実施形態による、結合された画像が、１Ｘのズーム設定に対応して、複数の光学チェーンからのキャプチャされた画像から生成される例を示す図５６００である。たとえば、図５２のカメラデバイス５２００または図５３のカメラデバイス５３００は、図５５の格納されるズーム光設定と光方向変換デバイス位置のマッピングテーブル５５００を使用し、１Ｘのズーム設定に従って移動可能な光方向変換デバイスを位置決めし、光学チェーンから画像（５６０４、５６０６、５６０８、５６１０、５６１２、５６１４、５６１６）をキャプチャし、結合された画像５６１８を生成するために、図５１の流れ図５１００による方法を実施する。エリア５６０２は、関心シーンエリアを表す。第１の画像５６０４は関心シーン５６０２の第１の部分のものであり、第１の光学チェーンを使用してキャプチャされ、第１の光学チェーンの移動可能な光方向変換デバイスは、テーブル５５００に列挙されるように、第１の光学チェーンのための１Ｘズーム設定に対応する、変数第１の位置＝値Ｐ１Ａ、および変数α＝値α１であるように、設定される。第２の画像５６０６は関心シーン５６０２の第２の部分のものであり、第２の光学チェーンを使用してキャプチャされる。第３の画像５６０８は関心シーン５６０２の第３の部分のものであり、第３の光学チェーンを使用してキャプチャされ、第３の光学チェーンの移動可能な光方向変換デバイスは、テーブル５５００に列挙されるように、第３の光学チェーンのための１Ｘズーム設定に対応する、変数第２の位置＝値Ｐ２Ａ、および変数β＝値β１であるように、設定される。第４の画像５６１０は関心シーン５６０２の第４の部分のものであり、第４の光学チェーンを使用してキャプチャされ、第４の光学チェーンの移動可能な光方向変換デバイスは、テーブル５５００に列挙されるように、第４の光学チェーンのための１Ｘズーム設定に対応する、変数第３の位置＝値Ｐ３Ａ、および変数θ＝値θ１であるように、設定される。第５の画像５６１２は関心シーン５６０２の第５の部分のものであり、第５の光学チェーンを使用してキャプチャされ、第５の光学チェーンの移動可能な光方向変換デバイスは、テーブル５５００に列挙されるように、第５の光学チェーンのための１Ｘズーム設定に対応する、変数第４の位置＝値Ｐ４Ａ、および変数Ф＝値Ф１であるように、設定される。第６の画像５６１４は関心シーン５６０２の第６の部分のものであり、第６の光学チェーンを使用してキャプチャされる。第７の画像５６１６は関心シーン５６０２の第７の部分のものであり、第７の光学チェーンを使用してキャプチャされる。
第１の画像５６０４は、関心シーンの左上コーナーに対応する、関心シーン５６０２の第１の部分のものである。第２の画像５６０６は、関心シーンのエリア全体または関心シーンのエリアの実質的に全体に対応する、関心シーン５６０２の第２の部分のものである。第３の画像５６０８は、関心シーンの左下コーナーに対応する、関心シーン５６０２の第３の部分のものである。第４の画像５６１０は、関心シーンの右上コーナーに対応する、関心シーン５６０２の第４の部分のものである。第５の画像５６１２は、関心シーンの右下コーナーに対応する、関心シーン５６０２の第５の部分のものである。第６の画像５６１４は、関心シーンのエリア全体または関心シーンのエリアの実質的に全体に対応する、関心シーン５６０２の第６の部分のものである。第７の画像５６１６は、関心シーンの中心エリアに対応する、関心シーン５６０２の第７の部分のものである。
１Ｘ設定に対する、結合された画像５６１８は、関心シーンのエリア５６０２全体または関心シーンのエリア５６０２の実質的に全体に対応する合成画像５６１８を生成するために、キャプチャされた画像（５６０４、５６０６、５６０８、５６１０、５６１２、５６１４、５６１６）を結合することによって、生成される。結合された画像５６１８の中心のエリアは、結合された画像５６１８の外部近くのエリアよりも多くのキャプチャされた画像からの情報を使用して生成されることに留意されたい。
図５７は、例示的な一実施形態による、組み合わされた画像が、２Ｘのズーム設定に対応して、複数の光学チェーンからのキャプチャされた画像から生成される例を示す図５７００である。たとえば、図５２のカメラデバイス５２００または図５３のカメラデバイス５３００は、図５５の格納されるズーム光設定と光方向変換デバイス位置のマッピングテーブル５５００を使用し、２Ｘのズーム設定に従って移動可能な光方向変換デバイスを位置決めし、光学チェーンから画像（５７０４、５７０６、５７０８、５７１０、５７１２、５７１４、５７１６）をキャプチャし、結合された画像５７１８を生成するために、図５１の流れ図５１００による方法を実施する。エリア５７０２は、関心シーンエリアを表す。第１の画像５７０４は関心シーン５７０２の第１の部分のものであり、第１の光学チェーンを使用してキャプチャされ、第１の光学チェーンの移動可能な光方向変換デバイスは、テーブル５５００に列挙されるように、第１の光学チェーンのための２Ｘズーム設定に対応する、変数第１の位置＝値Ｐ１Ｂ、および変数α＝値α２であるように、設定される。第２の画像５７０６は関心シーン５７０２の第２の部分のものであり、第２の光学チェーンを使用してキャプチャされる。第３の画像５７０８は関心シーン５７０２の３の部分のものであり、第３の光学チェーンを使用してキャプチャされ、第３の光学チェーンの移動可能な光方向変換デバイスは、テーブル５５００に列挙されるように、第３の光学チェーンのための２Ｘズーム設定に対応する、変数第２の位置＝値Ｐ２Ｂ、および変数β＝値β ２であるように、設定される。第４の画像５７１０は関心シーン５７０２の第４の部分のものであり、第４の光学チェーンを使用してキャプチャされ、第４の光学チェーンの移動可能な光方向変換デバイスは、テーブル５５００に列挙されるように、第４の光学チェーンのための２Ｘズーム設定に対応する、変数第３の位置＝値Ｐ３Ｂ、および変数θ＝値θ２であるように、設定される。第５の画像５７１２は関心シーン５７０２の第５の部分のものであり、第５の光学チェーンを使用してキャプチャされ、第５の光学チェーンの移動可能な光方向変換デバイスは、テーブル５５００に列挙されるように、第５の光学チェーンのための２Ｘズーム設定に対応する、変数第４の位置＝値Ｐ４Ｂ、および変数Ф＝値Ф２であるように、設定される。第６の画像５７１４は関心シーン５７０２の第６の部分のものであり、第６の光学チェーンを使用してキャプチャされる。第７の画像５７１６は関心シーン５７０２の第７の部分のものであり、第７の光学チェーンを使用してキャプチャされる。
第１の画像５７０４は、関心シーンの中心から関心シーンの左上コーナーまで延在する対角線に沿って中心が置かれた、関心シーンの左上エリア内のエリアに対応する関心シーン５７０２の第１の部分のものである。第２の画像５７０６は、関心シーンのエリア全体または関心シーンのエリアの実質的に全体に対応する、関心シーン５７０２の第２の部分のものである。第３の画像５７０８は、関心シーンの中心から関心シーンの左下コーナーまで延在する対角線に沿って中心が置かれた、関心シーンの左下エリアに対応する関心シーン５７０２の第３の部分のものである。第４の画像５７１０は、関心シーンの中心から関心シーンの右上コーナーまで延在する対角線に沿って中心が置かれた、関心シーンの右上エリアに対応する関心シーン５７０２の第４の部分のものである。第５の画像５７１２は、関心シーンの中心から関心シーンの右下コーナーまで延在する対角線に沿って中心が置かれた、関心シーンの右下エリアに対応する関心シーン５７０２の第５の部分のものである。第６の画像５７１４は、関心シーンのエリア全体または関心シーンのエリアの実質的に全体に対応する、関心シーン５７０２の第６の部分のものである。第７の画像５７１６は、関心シーンの中心エリアに対応する、関心シーン５７０２の第７の部分のものである。
２Ｘズーム設定に対する、結合された画像５７１８は、関心シーンのエリアの２分の１または約２分の１であるエリアに対応し、関心シーンの中心に中心が置かれた合成画像５７１８を生成するために、キャプチャされた画像（５７０４、５７０６、５７０８、５７１０、５７１２、５７１４、５７１６）、たとえば、境界線が使用される合成画像５７１８のエリア内にあるキャプチャされた画像内の重複するエリアからの情報を結合することによって生成される。結合された画像５７１８は、第１の画像５７０４、トリミングされた第２の画像５７０７、第３の画像５７０８、第４の画像５７１０、第５の画像５７１２、トリミングされた第６の画像５７１５、および第７の画像５７１６から生成されることに留意されたい。結合された画像５７１８の中心のエリアは、結合された画像５７１８の外部近くのエリアよりも多くのキャプチャされた画像からの情報を使用して生成されることに留意されたい。
図５８は、例示的な一実施形態による、組み合わされた画像が、３Ｘのズーム設定に対応して、複数の光学チェーンからのキャプチャされた画像から生成される例を示す図５８００である。たとえば、図５２のカメラデバイス５２００または図５３のカメラデバイス５３００は、図５５の格納されるズーム光設定と光方向変換デバイス位置のマッピングテーブル５５００を使用し、３Ｘのズーム設定に従って移動可能な光方向変換デバイスを位置決めし、光学チェーンから画像（５８０４、５８０６、５８０８、５８１０、５８１２、５８１４、５８１６）をキャプチャし、結合された画像５８１８を生成するために、図５１の流れ図５１００による方法を実施する。エリア５８０２は、関心シーンエリアを表す。第１の画像５８０４は関心シーン５８０２の第１の部分のものであり、第１の光学チェーンを使用してキャプチャされ、第１の光学チェーンの移動可能な光方向変換デバイスは、テーブル５５００に列挙されるように、第１の光学チェーンのための３Ｘズーム設定に対応する、変数第１の位置＝値Ｐ１Ｃ、および変数α＝値α３であるように、設定される。第２の画像５８０６は関心シーン５８０２の第２の部分のものであり、第２の光学チェーンを使用してキャプチャされる。第３の画像５８０８は関心シーン５８０２の第３の部分のものであり、第３の光学チェーンを使用してキャプチャされ、第３の光学チェーンの移動可能な光方向変換デバイスは、テーブル５５００に列挙されるように、第３の光学チェーンのための３Ｘズーム設定に対応する、変数第２の位置＝値Ｐ２Ｃ、および変数β＝値β ３であるように、設定される。第４の画像５８１０は関心シーン５８０２の第４の部分のものであり、第４の光学チェーンを使用してキャプチャされ、第４の光学チェーンの移動可能な光方向変換デバイスは、テーブル５５００に列挙されるように、第４の光学チェーンのための３Ｘズーム設定に対応する、変数第３の位置＝値Ｐ３Ｃ、および変数θ＝値θ３であるように、設定される。第５の画像５８１２は関心シーン５８０２の第５の部分のものであり、第５の光学チェーンを使用してキャプチャされ、第５の光学チェーンの移動可能な光方向変換デバイスは、テーブル５５００に列挙されるように、第５の光学チェーンのための３Ｘズーム設定に対応する、変数第４の位置＝値Ｐ４Ｃ、および変数Ф＝値Ф３であるように、設定される。第６の画像５８１４は関心シーン５８０２の第６の部分のものであり、第６の光学チェーンを使用してキャプチャされる。第７の画像５８１６は関心シーン５８０２の第７の部分のものであり、第７の光学チェーンを使用してキャプチャされる。
第１の画像５８０４は、関心シーンの中心から関心シーンの左上コーナーまで延在する対角線に沿って中心が置かれた、関心シーンの左上エリア内のエリアに対応する関心シーン５８０２の第１の部分のものである。第２の画像５８０６は、関心シーンのエリア全体または関心シーンのエリアの実質的に全体に対応する、関心シーン５８０２の第２の部分のものである。第３の画像５８０８は、関心シーンの中心から関心シーンの左下コーナーまで延在する対角線に沿って中心に置かれた、関心シーンの左下エリアに対応する関心シーン５８０２の第３の部分のものである。第４の画像５８１０は、関心シーンの中心から関心シーンの右上コーナーまで延在する対角線に沿って中心に置かれた、関心シーンの右上エリアに対応する関心シーン５８０２の第４の部分のものである。第５の画像５８１２は、関心シーンの中心から関心シーンの右下コーナーまで延在する対角線に沿って中心に置かれた、関心シーンの右下エリアに対応する関心シーン５８０２の第５の部分のものである。第６の画像５８１４は、関心シーンのエリア全体または関心シーンのエリアの実質的に全体に対応する、関心シーン５８０２の第６の部分のものである。第７の画像５８１６は、関心シーンの中心エリアに対応する、関心シーン５８０２の第７の部分のものである。
３Ｘズーム設定に対する、結合された画像５８１８は、関心シーンのエリアの３分の１または約３分の１であるエリアに対応し、関心シーンの中心に中心が置かれた合成画像５８１８を生成するために、キャプチャされた画像（５８０４、５８０６、５８０８、５８１０、５８１２、５８１４、５８１６）、たとえば、境界線が使用される合成画像５７１８のエリア内にあるキャプチャされた画像内の重複するエリアからの情報を結合することによって生成される。結合された画像５８１８は、第１の画像５８０４、トリミングされた第２の画像５８０７、第３の画像５８０８、第４の画像５８１０、第５の画像５８１２、トリミングされた第６の画像５８１５、および第７の画像５８１６から生成されることに留意されたい。結合された画像５８１８の中心のエリアは、結合された画像５８１８の外部近くのエリアよりも多くのキャプチャされた画像からの情報を使用して生成されることに留意されたい。
図５９は、例示的な一実施形態による、組み合わされた画像が、４Ｘのズーム設定に対応して、複数の光学チェーンからのキャプチャされた画像から生成される例を示す図５９００である。たとえば、図５２のカメラデバイス５２００または図５３のカメラデバイス５３００は、図５５の格納されるズーム光設定と光方向変換デバイス位置のマッピングテーブル５５００を使用し、４Ｘのズーム設定に従って移動可能な光方向変換デバイスを位置決めし、光学チェーンから画像（５９０４、５９０６、５９０８、５９１０、５９１２、５９１４、５９１６）をキャプチャし、結合された画像５９１８を生成するために、図５１の流れ図５１００による方法を実施する。エリア５９０２は、関心シーンエリアを表す。第１の画像５９０４は関心シーン５９０２の第１の部分のものであり、第１の光学チェーンを使用してキャプチャされ、第１の光学チェーンの移動可能な光方向変換デバイスは、テーブル５５００に列挙されるように、第１の光学チェーンのための４Ｘズーム設定に対応する、変数第１の位置＝Ｐ１Ｄ、および変数α＝値α４であるように、設定される。第２の画像５９０６は関心シーン５９０２の第２の部分のものであり、第２の光学チェーンを使用してキャプチャされる。第３の画像５９０８は関心シーン５９０２の第３の部分のものであり、第３の光学チェーンを使用してキャプチャされ、第３の光学チェーンの移動可能な光方向変換デバイスは、テーブル５５００に列挙されるように、第３の光学チェーンのための４Ｘズーム設定に対応する、変数第２の位置＝値Ｐ２Ｄ、および変数β＝値β ４であるように、設定される。第４の画像５９１０は関心シーン５９０２の第４の部分のものであり、第４の光学チェーンを使用してキャプチャされ、第４の光学チェーンの移動可能な光方向変換デバイスは、テーブル５５００に列挙されるように、第４の光学チェーンのための４Ｘズーム設定に対応する、変数第３の位置＝値Ｐ３Ｄ、および変数θ＝値θ４であるように、設定される。第５の画像５９１２は関心シーン５９０２の第５の部分のものであり、第５の光学チェーンを使用してキャプチャされ、第５の光学チェーンの移動可能な光方向変換デバイスは、テーブル５５００に列挙されるように、第５の光学チェーンのための４Ｘズーム設定に対応する、変数第４の位置＝値Ｐ４Ｄ、および変数Ф＝値Ф４であるように、設定される。第６の画像５９１４は関心シーン５９０２の第６の部分のものであり、第６の光学チェーンを使用してキャプチャされる。第７の画像５９１６は関心シーン５９０２の第７の部分のものであり、第７の光学チェーンを使用してキャプチャされる。
第１の画像５９０４は、関心シーンの中心エリアに対応する、関心シーン５９０２の第１の部分のものである。第２の画像５９０６は、関心シーンのエリア全体または関心シーンのエリアの実質的に全体に対応する、関心シーン５９０２の第２の部分のものである。第３の画像５９０８は、関心シーンの中心エリアに対応する、関心シーン５９０２の第３の部分のものである。第４の画像５９１０は、関心シーンの中心エリアに対応する、関心シーン５９０２の第４の部分のものである。第５の画像５９１２は、関心シーンの中心エリアに対応する、関心シーン５９０２の第５の部分のものである。第６の画像５９１４は、関心シーンのエリア全体または関心シーンのエリアの実質的に全体に対応する、関心シーン５９０２の第６の部分のものである。第７の画像５９１６は、関心シーンの中心エリアに対応する、関心シーン５９０２の第７の部分のものである。
４Ｘズーム設定に対する、結合された画像５９１８は、関心シーンのエリアの４分の１または約４分の１であるエリアに対応し、関心シーンの中心に中心が置かれた合成画像５９１８を生成するために、キャプチャされた画像（５９０４、５９０６、５９０８、５９１０、５９１２、５９１４、５９１６）、たとえば、キャプチャされた画像内の重複するエリアからの情報を結合することによって生成される。結合された画像５９１８は、第１の画像５９０４、トリミングされた第２の画像５９０７、第３の画像５９０８、第４の画像５９１０、第５の画像５９１２、トリミングされた第６の画像５９１５、および第７の画像５９１６から生成されることに留意されたい。
図６０Ａ、図６０Ｂ、図６０Ｃ、および図６０Ｄの組み合わせを備える図６０は、例示的な一実施形態による、画像をキャプチャする例示的な方法の流れ図６０００である。流れ図６０００の例示的な方法は、複数の光学チェーンを含むカメラデバイスによって、または複数の光学チェーンを含むカメラデバイスおよび画像処理デバイスによって実行され得る。いくつかの実施形態では、カメラデバイスは、スマートフォンとカメラのうちの１つである。いくつかの実施形態では、画像処理デバイスはパーソナルコンピュータである。
例示的な方法の動作はステップ６００２で開始し、ステップ６００４に進む。ステップ６００４では、カメラデバイスは、ユーザ制御ズームインまたはユーザ制御ズームアウトを示す情報を監視する。ステップ６００４は、継続的に実行される。ステップ６００４は、ユーザ制御ズームイン動作またはユーザ制御ズームアウト動作が実行可能であることを示す情報をカメラデバイスが検出するステップ６００６を含み得、場合によっては、これを含む。動作は、ステップ６００６からステップ６００８に進む。検出がユーザ制御ズームインに対するものである場合、動作はステップ６００８からステップ６０１０に進む。しかしながら、検出がユーザ制御ズームアウトに対するものである場合は、動作はステップ６００８から、接続ノード６０１２を介してステップ６０１４に進む。
ステップ６０１０に戻ると、ステップ６０１０では、カメラデバイスが、ユーザ制御に応答してズームイン動作を実施する。ステップ６０１０は、ステップ６０１６とステップ６０１８とを含む。いくつかの実施形態では、ステップ６０１０は、ステップ６０２０と６０２２の一方または両方をさらに含む。ステップ６０１６では、カメラデバイスが、カメラデバイスの第１の光学チェーンの第１の光方向変換デバイスの方向を調整し、この第１の光方向変換デバイスは実質的な平面鏡またはプリズムのうちの１つであり、前記調整は、前記カメラデバイスの第１の光学チェーンによってキャプチャされたシーンエリアと前記カメラデバイスの第２の光学チェーンによってキャプチャされたシーンエリアにおける重複を増加させる。いくつかの実施形態では、実質的な平面鏡は平面鏡である。
ステップ６０１８では、カメラデバイスが、カメラデバイスの第２の光学チェーンの第２の光方向変換デバイスの方向を調整し、この第２の光方向変換デバイスは鏡またはプリズムのうちの１つであり、前記調整は、第１の光学チェーンおよび第２の光学チェーンによってキャプチャされるシーンエリアにおける重複を増加させる。ステップ６０２０では、カメラデバイスは、カメラデバイスの第４の光学チェーンの第４の光方向変換デバイスの方向を調整し、この第４の光方向変換デバイスは鏡またはプリズムのうちの１つであり、前記調整は、第１の光学チェーン、第２の光学チェーン、および第４の光学チェーンによってキャプチャされるシーンエリアにおける重複を増加させる。ステップ６０２２では、カメラデバイスは、カメラデバイスの第５の光学チェーンの第５の光方向変換デバイスの方向を調整し、この第５の光方向変換デバイスは鏡またはプリズムのうちの１つであり、前記調整は、第１の光学チェーン、第２の光学チェーン、第４の光学チェーン、および第５の光学チェーンによってキャプチャされるシーンエリアにおける重複を増加させる。
ステップ６０１４に戻ると、ステップ６０１４では、カメラデバイスが、ユーザ制御に応答してズームアウト動作を実施する。ステップ６０１４は、ステップ６０２６とステップ６０２８とを含む。いくつかの実施形態では、ステップ６０１４は、ステップ６０３０と６０３２の一方または両方をさらに含む。ステップ６０２６では、カメラデバイスが、カメラデバイスの第１の光学チェーンの第１の光方向変換デバイスの方向を調整し、前記調整は、前記カメラデバイスの第１の光学チェーンおよび前記カメラデバイスの第２の光学チェーンによってキャプチャされるシーンエリアにおける重複を減少させる。
ステップ６０２８では、カメラデバイスが、カメラデバイスの第２の光学チェーンの第２の光方向変換デバイスの方向を調整し、前記調整は、第１の光学チェーンおよび第２の光学チェーンによってキャプチャされるシーンエリアにおける重複を減少させる。ステップ６０３０では、カメラデバイスは、カメラデバイスの第４の光学チェーンの第４の光方向変換デバイスの方向を調整し、前記調整は、第１の光学チェーン、第２の光学チェーン、および第４の光学チェーンによってキャプチャされるシーンエリアにおける重複を減少させる。ステップ６０３２では、カメラデバイスは、カメラデバイスの第５の光学チェーンの第５の光方向変換デバイスの方向を調整し、前記調整は、第１の光学チェーン、第２の光学チェーン、第４の光学チェーン、および第５の光学チェーンによってキャプチャされるシーンエリアにおける重複を減少させる。
動作は、ステップ６０１０またはステップ６０１４から、接続ノードＢ６０２４を介して、ステップ６０３６、６０３８、および６０４０に進む。いくつかの実施形態では、動作はまた、接続ノードＢ６０２４を介して、ステップ６０４２、６０４４、６０４６、６０４８、６０５０、６０５２、および６０５４のうちの１つまたは複数またはすべてに進む。
ステップ６０３６では、カメラデバイスが、第１の光学チェーンを使用してシーンエリアの画像をキャプチャする。ステップ６０３８では、カメラデバイスは、第２の光学チェーンを使用してシーンエリアの画像をキャプチャする。ステップ６０４０では、カメラデバイスは、第３の光学チェーンを使用してシーンエリアの画像をキャプチャする。ステップ６０４２では、カメラデバイスは、第４の光学チェーンを使用してシーンエリアの画像をキャプチャする。ステップ６０４４では、カメラデバイスは、第５の光学チェーンを使用してシーンエリアの画像をキャプチャする。ステップ６０４６では、カメラデバイスは、第６の光学チェーンを使用してシーンエリアの画像をキャプチャする。ステップ６０４８では、カメラデバイスは、第７の光学チェーンを使用してシーンエリアの画像をキャプチャする。ステップ６０５０では、カメラデバイスは、第８の光学チェーンを使用してシーンエリアの画像をキャプチャする。ステップ６０５２では、カメラデバイスは、第９の光学チェーンを使用してシーンエリアの画像をキャプチャする。ステップ６０５４では、カメラデバイスは、第１０の光学チェーンを使用してシーンエリアの画像をキャプチャする。
動作は、ステップ６０３６、６０３８、６０４０、６０４２、６０４４、６０４６、６０４８、６０５０、６０５２、および６０５４から、接続ノードＣ６０５６を介して、ステップ６０５８に進む。ステップ６０５８では、合成画像が、ズーム焦点距離設定に従って生成される。ステップ６０５８は、ステップ６０６０、６０６２、６０６４、６０６６、６０６８、６０７０、および６０７２のうちの１つまたは複数またはすべてを含む。いくつかの実施形態では、ステップ６０５８は、ステップ６０６０、６０６２、６０６４、６０６６、６０６８、６０７０、および６０７２のうちの１つを含む。
ステップ６０６０では、合成画像が、第１の光学チェーン、第２の光学チェーン、および第３の光学チェーンによってキャプチャされた画像から、ズーム設定に従って生成される。いくつかのそのような実施形態では、ステップ６０６０はステップ６０７４を含み、ステップ６０７４では、ズーム焦点距離設定がｆ２よりも大きいとき、第３の光学チェーンによってキャプチャされた画像に対してトリミング動作が実行される。
ステップ６０６２では、合成画像が、第１の光学チェーン、第２の光学チェーン、第３の光学チェーン、第４の光学チェーン、および第５の光学チェーンによってキャプチャされた画像から、ズーム設定に従って生成される。いくつかのそのような実施形態では、ステップ６０６２はステップ６０７６を含み、ステップ６０７４では、ズーム焦点距離設定がｆ２よりも大きいとき、第３の光学チェーンによってキャプチャされた画像に対してトリミング動作が実行される。
ステップ６０６４では、合成画像が、第１の光学チェーン、第２の光学チェーン、第３の光学チェーン、第４の光学チェーン、第５の光学チェーン、および第６の光学チェーンによってキャプチャされた画像から、ズーム設定に従って生成される。いくつかのそのような実施形態では、ステップ６０６４はステップ６０７８を含み、ステップ６０７８では、ズーム焦点距離設定がｆ２よりも大きいとき、第３の光学チェーンによってキャプチャされた画像に対してトリミング動作が実行される。
ステップ６０６６では、合成画像が、第１の光学チェーン、第２の光学チェーン、第３の光学チェーン、第４の光学チェーン、第５の光学チェーン、第６の光学チェーン、および第７の光学チェーンによってキャプチャされた画像から、ズーム設定に従って生成される。いくつかのそのような実施形態では、ステップ６０６６はステップ６０８０を含み、ステップ６０８０では、ズーム焦点距離設定がｆ２よりも大きいとき、第３の光学チェーンおよび第７の光学チェーンによってキャプチャされた画像に対してトリミング動作が実行される。
ステップ６０６８では、合成画像が、第１の光学チェーン、第２の光学チェーン、第３の光学チェーン、第４の光学チェーン、第５の光学チェーン、第６の光学チェーン、第７の光学チェーン、および第８の光学チェーンによってキャプチャされた画像から、ズーム設定に従って生成される。いくつかのそのような実施形態では、ステップ６０６８はステップ６０８２を含み、ステップ６０７４では、ズーム焦点距離設定がｆ２よりも大きいとき、第３の光学チェーン、第７の光学チェーンおよび第８の光学チェーンによってキャプチャされた画像に対してトリミング動作が実行される。
ステップ６０７０では、合成画像が、第１の光学チェーン、第２の光学チェーン、第３の光学チェーン、第４の光学チェーン、第５の光学チェーン、第６の光学チェーン、第７の光学チェーン、第８の光学チェーン、および第９の光学チェーンによってキャプチャされた画像から、ズーム設定に従って生成される。いくつかのそのような実施形態では、ステップ６０７０はステップ６０８４を含み、ステップ６０８４では、ズーム焦点距離設定がｆ２よりも大きいとき、第３の光学チェーン、第７の光学チェーン、第８の光学チェーン、および第９の光学チェーンによってキャプチャされた画像に対してトリミング動作が実行される。
ステップ６０７２では、合成画像が、第１の光学チェーン、第２の光学チェーン、第３の光学チェーン、第４の光学チェーン、第５の光学チェーン、第６の光学チェーン、第７の光学チェーン、第８の光学チェーン、第９の光学チェーン、および第１０の光学チェーンによってキャプチャされた画像から、ズーム設定に従って生成される。いくつかのそのような実施形態では、ステップ６０７２はステップ６０８６を含み、ステップ６０８６では、ズーム焦点距離設定がｆ２よりも大きいとき、第３の光学チェーン、第７の光学チェーン、第８の光学チェーン、第９の光学チェーン、および第１０の光学チェーンによってキャプチャされた画像に対してトリミング動作が実行される。
動作はステップ６０５８からステップ６０８８に進み、ステップ６０８８では、生成された合成画像がメモリ内に格納される。いくつかの実施形態では、ステップ６０５８および６０８８は、画像をキャプチャしたカメラデバイスによって実行される。他の実施形態では、ステップ６０５８および６０８８は、画像処理デバイス、たとえば、キャプチャされた画像を複数の光学チェーンから受け取ったパーソナルコンピュータによって実行される。
動作は、ステップ６０８８から、接続ノードＤ６０９０を介して、ステップ６００４に進む。
いくつかの実施形態では、焦点距離ｆ２は小さい焦点距離であり、光学チェーンは大きいエリアをキャプチャし、トリミングは、ユーザにより選択されたズーム設定に基づいて必要な範囲で使用されるので、ｆ２に対応する光学チェーンのうちの１つまたは複数またはすべてが、鏡を必要とせず、これを含まない。
さまざまな実施形態では、ｆ１＞ｆ２である。いくつかのそのような実施形態では、ｆ１＝２ ｆ２である。さまざまな実施形態では、最大ズームインは、ユーザにより選択されたズーム焦点距離設定＝ｆ１に対応し、ｆ２焦点距離チェーンに対するトリミングが行われる。
いくつかの実施形態では、最大ズームイン時、重複は、合成画像を生成するために使用されるさまざまなチェーンに関して、合計である。いくつかの実施形態では、最大ズームイン時、たとえば第１のチェーン、第２のチェーン、第４のチェーン、および第５の光学チェーンの移動可能な鏡は各々、その光学チェーンのそれぞれのセンサに対して４５度の角度に設定される。
さまざまな実施形態では、最大ズームアウト時、重複は、移動可能な光方向変換デバイスを有するチェーン間で最小であり、個々の光学チェーンの移動可能な鏡の鏡角度はカメラ構成に依存する。
いくつかの実施形態では、最大ズームインと最大ズームアウトの間で、ｆ２モジュールによってキャプチャされた画像のトリミングが実施され、トリミングの量は、ユーザにより選択されたズーム設定の関数である。さまざまな実施形態では、ユーザにより選択されたズーム設定＝ｆ１の場合は、最大トリミングがあり、ユーザにより選択されたズーム設定＝ｆ２の場合は、トリミングはない。
図６１は、さまざまな例示的な実施形態による例示的なカメラデバイス６１００の図である。カメラデバイス６１００は、プロセッサ６１０２、たとえばＣＰＵと、メモリ６１０４と、モジュールのアセンブリ６１０６、たとえば、回路などのハードウェアモジュールのアセンブリと、ユーザ入力インターフェース６１０８と、ディスプレイ６１１０と、Ｉ／Ｏインターフェース６１１２と、さまざまな要素がデータと情報とを交換し得るバス６１３７を介して互いに結合された複数の光学チェーン（光学チェーン１ ６１１８、光学チェーン２ ６１２０、光学チェーン３ ６１２２、光学チェーン４ ６１２４、光学チェーン５ ６１２６、光学チェーン６ ６１２８、光学チェーン７ ６１３０、光学チェーン８ ６１３２、光学チェーン９ ６１３４、光学チェーン１０ ６１３６）とを含む。いくつかの実施形態では、光学チェーン４ ６１２４、光学チェーン５ ６１２６、光学チェーン６ ６１２８、光学チェーン７ ６１３０、光学チェーン８ ６１３２、光学チェーン９ ６１３４、および 光学チェーン１０ ６１３６は任意選択である。ディスプレイ６１１０、たとえば、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、またはアクティブマトリクス有機発光ダイオード（ＡＭＯＬＥＤ）ディスプレイは、カメラ６１００のユーザに画像、画像部分、ユーザメニューなどを表示するためのものである。ユーザ入力インターフェース６１０８としては、たとえば、ユーザからの入力を受け取るための、スイッチ、ボタン、タッチスクリーンインターフェースなどがある。受け取られるユーザ入力としては、ユーザ制御されたズームインまたはユーザ制御されたズームアウトを示す入力がある。Ｉ／Ｏインターフェース６１１２には、他のデバイスたとえばパーソナルコンピュータと通信するための複数の通信ポートがある。Ｉ／Ｏインターフェース６１１２は、いくつかの実施形態では、１つまたは複数のワイヤレス通信インターフェースを含む。Ｉ／Ｏインターフェース６１１２上で通信される情報としては、たとえば、複数の光学チェーンからキャプチャされた画像から生成された結合された画像、ならびに／または外部で、たとえばパーソナルコンピュータ内で、処理および／もしくは結合されることになる、個々の光学チェーンからキャプチャされた画像がある。
メモリ６１０４は、モジュールのアセンブリ６１１４と、データ／情報６１１６とを含む。データ／情報６１１６は、いくつかの実施形態では、ユーザズームイン情報およびまたはユーザズームアウト情報の関数として移動可能な光方向変換を含む光学チェーンの光方向変換デバイス位置を決定するために使用される格納された情報、たとえば移動可能な光方向変換デバイスを有する複数の光学チェーンに対する目盛係数および／または較正情報を含む。データ情報６１１６は、いくつかの実施形態では、ズーム設定に対応する光学チェーンから、たとえば、光方向変換デバイスがズーム設定の関数として移動されない１つまたは複数の光学チェーンのための、キャプチャされた画像に対して実行されるトリミングの量を決定するために使用される格納された情報をさらに含む。
光学チェーン１ ６１１８は、レンズ６１３８、たとえば外側レンズと、移動可能な実質的な平面鏡６１４０と、画像センサ６１４２とを含む。いくつかの実施形態では、実質的な平面鏡は平面鏡である。さまざまな実施形態では、移動可能な鏡６１４０はヒンジ取り付け部を含む。光学チェーン１ ６１１８は、鏡移動モジュール６１４４、たとえば駆動モータおよび対応する駆動回路と、鏡位置検出モジュール６１４６、たとえば、レゾルバまたはシンクロまたは光学式ロータリエンコーダまたは磁気ロータリエンコーダなどの角度位置検知デバイスと、いくつかの実施形態では、センサ測定値をデジタル値に変換する回路、たとえばアナログ−デジタル変換器とをさらに含む。画像センサ６１４２は、画像をキャプチャするために使用される。光は、鏡６１４０に到達する前にレンズ６１３８を通過する。光方向変換デバイスである鏡６１４０は、レンズ６１３８を通過した光を画像センサ６１４２上に方向づける。
光学チェーン２ ６１２０は、レンズ６１４８、たとえば外側レンズと、移動可能な実質的な平面鏡６１５０と、画像センサ６１５２とを含む。いくつかの実施形態では、実質的な平面鏡は平面鏡である。さまざまな実施形態では、移動可能な鏡６１５０はヒンジ取り付け部を含む。光学チェーン２ ６１２０は、鏡移動モジュール６１５４、たとえば駆動モータおよび対応する駆動回路と、鏡位置検出モジュール６１５６、たとえば、レゾルバまたはシンクロまたは光学式ロータリエンコーダまたは磁気ロータリエンコーダなどの角度位置検知デバイスと、いくつかの実施形態では、センサ測定値をデジタル値に変換する回路、たとえばアナログ−デジタル変換器とをさらに含む。画像センサ６１５２は、画像をキャプチャするために使用される。光は、鏡６１５０に到達する前にレンズ６１４８を通過する。光方向変換デバイスである鏡６１５０は、レンズ６１４８を通過した光を画像センサ６１５２上に方向づける。
光学チェーン３ ６１２２は、レンズ６１５８、たとえば外側レンズと、固定された鏡６１６０、たとえば実質的な平面状の固定された鏡と、画像センサ６１６２とを含む。いくつかの実施形態では、実質的な平面状の固定された鏡は、固定された平面鏡である。画像センサ６１６２は、画像をキャプチャするために使用される。光は、鏡６１６０に到達する前にレンズ６１２２を通過する。光方向変換デバイスである鏡６１６０は、レンズ６１５８を通過した光を画像センサ６１６２上に方向づける。
光学チェーン４ ６１２４は、レンズ６１６４、たとえば外側レンズと、移動可能な実質的な平面鏡６１６６と、画像センサ６１６８とを含む。いくつかの実施形態では、実質的な平面鏡は平面鏡である。さまざまな実施形態では、移動可能な鏡６１６６はヒンジ取り付け部を含む。光学チェーン４ ６１２４は、鏡移動モジュール６１７０、たとえば駆動モータおよび対応する駆動回路と、鏡位置検出モジュール６１７２、たとえば、レゾルバまたはシンクロまたは光学式ロータリエンコーダまたは磁気ロータリエンコーダなどの角度位置検知デバイスと、いくつかの実施形態では、センサ測定値をデジタル値に変換する回路、たとえばアナログ−デジタル変換器とをさらに含む。画像センサ６１６８は、画像をキャプチャするために使用される。光は、鏡６１６６に到達する前にレンズ６１６４を通過する。光方向変換デバイスである鏡６１６６は、レンズ６１６４を通過した光を画像センサ６１６８上に方向づける。
光学チェーン５ ６１２６は、レンズ６１７４、たとえば外側レンズと、移動可能な実質的な平面鏡６１７６と、画像センサ６１７８とを含む。いくつかの実施形態では、実質的な平面鏡は平面鏡である。さまざまな実施形態では、移動可能な鏡６１７６はヒンジ取り付け部を含む。光学チェーン５ ６１２６は、鏡移動モジュール６１８０、たとえば駆動モータおよび対応する駆動回路と、鏡位置検出モジュール６１８２、たとえば、レゾルバまたはシンクロまたは光学式ロータリエンコーダまたは磁気ロータリエンコーダなどの角度位置検知デバイスと、いくつかの実施形態では、センサ測定値をデジタル値に変換する回路、たとえばアナログ−デジタル変換器とをさらに含む。画像センサ６１７８は、画像をキャプチャするために使用される。光は、鏡６１７６に到達する前にレンズ６１７４を通過する。光方向変換デバイスである鏡６１７６は、レンズ６１７４を通過した光を画像センサ６１７８上に方向づける。
光学チェーン６ ６１２８は、レンズ６１８４、たとえば外側レンズと、固定された鏡６１８５、たとえば実質的な平面状の固定された鏡と、画像センサ６１８６とを含む。いくつかの実施形態では、実質的な平面状の固定された鏡は、固定された平面鏡である。画像センサ６１８６は、画像をキャプチャするために使用される。光は、鏡６１８５に到達する前にレンズ６１８４を通過する。光方向変換デバイスである鏡６１８５は、レンズ６１８４を通過した光を画像センサ６１８６上に方向づける。
光学チェーン７ ６１３０は、レンズ６１８７、たとえば外側レンズと、固定された鏡６１８８、たとえば実質的な平面状の固定された鏡と、画像センサ６１８９とを含む。いくつかの実施形態では、実質的な平面状の固定された鏡は、固定された平面鏡である。画像センサ６１８９は、画像をキャプチャするために使用される。光は、鏡６１８８に到達する前にレンズ６１８７を通過する。光方向変換デバイスである鏡６１８８は、レンズ６１８７を通過した光を画像センサ６１８９上に方向づける。
光学チェーン８ ６１３２は、レンズ６１９０、たとえば外側レンズと、固定された鏡６１９１、たとえば実質的な平面状の固定された鏡と、画像センサ６１９２とを含む。いくつかの実施形態では、実質的な平面状の固定された鏡は、固定された平面鏡である。画像センサ６１９２は、画像をキャプチャするために使用される。光は、鏡６１９１に到達する前にレンズ６１９０を通過する。光方向変換デバイスである鏡６１９１は、レンズ６１９０を通過した光を画像センサ６１９２上に方向づける。
光学チェーン９ ６１３４は、レンズ６１９３、たとえば外側レンズと、固定された鏡６１９４、たとえば実質的な平面状の固定された鏡と、画像センサ６１９５とを含む。いくつかの実施形態では、実質的な平面状の固定された鏡は、固定された平面鏡である。画像センサ６１９５は、画像をキャプチャするために使用される。光は、鏡６１９４に到達する前にレンズ６１９３を通過する。光方向変換デバイスである鏡６１９４は、レンズ６１９３を通過した光を画像センサ６１９５上に方向づける。
光学チェーン１０ ６１３６は、レンズ６１９６、たとえば外側レンズと、固定された鏡６１９７、たとえば実質的な平面状の固定された鏡と、画像センサ６１９８とを含む。いくつかの実施形態では、実質的な平面状の固定された鏡は、固定された平面鏡である。画像センサ６１９８は、画像をキャプチャするために使用される。光は、鏡６１９７に到達する前にレンズ６１９６を通過する。光方向変換デバイスである鏡６１９７は、レンズ６１９６を通過した光を画像センサ６１９８上に方向づける。
例示的な一実施形態では、光学チェーン１ ６１１８、光学チェーン２ ６１２０、光学チェーン４ ６１２４、光学チェーン５ ６１２６、および光学チェーン６ ６１２８は焦点距離＝ｆ１を有し、光学チェーン３ ６１２２、光学チェーン７ ６１３０、光学チェーン８ ６１３２、光学チェーン９ ６１３４、および光学チェーン１０ ６１３６は焦点距離＝ｆ２を有し、ｆ１＞ｆ２である。
さまざまな実施形態では、カメラデバイス６１００は、ｆ２のズーム焦点距離設定とズーム焦点距離設定ｆ１との間のユーザ選択可能な連続ズーム能力を含む。
いくつかの実施形態では、鏡がズーム設定（光学チェーン３ ６１２２、光学チェーン６ ６１２８、光学チェーン７ ６１３０、光学チェーン８ ６１３２、光学チェーン９ ６１３４、および光学チェーン１０ ６１３６）の関数として移動しない光学チェーンによってキャプチャされる画像は、ズーム設定に関係なく、実質的に同じ位置に中心が置かれる。さまざまな実施形態では、鏡がズーム設定の関数を移動させる光学チェーン（光学チェーン１ ６１１８、光学チェーン２ ６１２０、光学チェーン４ ６１２４、光学チェーン５ ６１２６）によってキャプチャされた画像は、ズーム設定の関数として中心が置かれる画像をキャプチャする。たとえば、光学チェーン１ ６１１８によってキャプチャされた画像は、ズーム設定の関数として、ズーム画像の中心と関心シーンのコーナーの間で第１の対角線に沿って設置され、光学チェーン２ ６１２０によってキャプチャされた画像は、ズーム設定の関数として、ズーム画像の中心と関心シーンのコーナーの間で第２の対角線に沿って設置され、光学チェーン４ ６１２４によってキャプチャされた画像は、ズーム設定の関数として、ズーム画像の中心と関心シーンのコーナーの間で第３の対角線に沿って設置され、光学チェーン５ ６１２６によってキャプチャされた画像は、ズーム設定の関数として、ズーム画像の中心と関心シーンのコーナーの間で第２の対角線に沿って設置される。
いくつかの実施形態では、固定された鏡を有する光学チェーン（光学チェーン３ ６１２２、光学チェーン６ ６１２８、光学チェーン７ ６１３０、光学チェーン８ ６１３２、光学チェーン９ ６１３４、光学チェーン１０ ６１３６）は、移動可能な鏡を有する光学チェーンによって置き換えられ得、鏡は、ズーム設定に関係なく固定位置にあるままである。
さまざまな実施形態では、異なるタイプの光方向変換デバイスが、鏡の代わりに使用され、たとえば、プリズムが光学チェーン内で鏡の代わりに使用される。たとえば、移動可能なプリズムが、移動可能な実質的な平面鏡６１４０の代わりに、光学チェーン１ ６１１８内で使用される。いくつかの実施形態では、異なるタイプの光方向変換デバイスが、異なる光学チェーン内で使用される。たとえば、一実施形態では、移動可能な実質的な平面鏡が光学チェーン１ ６１１８内で使用され、移動可能なプリズムが光学チェーン２ ６１２０内で使用される。
いくつかの実施形態では、焦点距離ｆ２に対応する光学チェーンは光方向変換デバイスを含まず、光学チェーンの画像センサは、光方向変換デバイスを介して、方向変換なしに光学チェーンのレンズに入る光をキャプチャすることが可能であるように位置決めされる。
いくつかの実施形態では、ｆ２は小さい焦点距離であり、光学チェーンは大きいエリアをキャプチャし、トリミングは、ユーザにより選択されたズーム設定に基づいて必要な範囲で使用されるので、焦点距離ｆ２に対応する光学チェーン、たとえば、光学チェーン３ ６１２２、光学チェーン７ ６１３０、光学チェーン８ ６１３２、光学チェーン９ ６１３４、および／または光学チェーン１０ ６１３６のうちの１つまたは複数またはすべては、鏡を必要とせず、これを含まない。
さまざまな実施形態では、ｆ１＞ｆ２である。いくつかのそのような実施形態では、ｆ１＝２ ｆ２である。さまざまな実施形態では、最大ズームインは、ユーザにより選択されたズーム焦点距離設定＝ｆ１に対応し、ｆ２焦点距離チェーンに対するトリミングが行われる。
いくつかの実施形態では、最大ズームイン時、重複は、合成画像を生成するために使用されるさまざまなチェーンに関して、合計である。いくつかの実施形態では、最大ズームイン時、移動可能な鏡たとえば鏡（６１４０、６１５０、６１６６、６１７６）はそれぞれ、チェーン（６１１８、６１２０、６１２４、６１２６）のそれぞれのセンサ（６１４２、６１５２、６１６８、６１７８）に対して４５度の角度に設定される。
さまざまな実施形態では、最大ズームアウト時、重複は、移動可能な光方向変換デバイスを有するチェーン間で最小であり、個々の光学チェーンの移動可能な鏡の鏡角度はカメラ構成に依存する。
いくつかの実施形態では、最大ズームインと最大ズームアウトの間で、ｆ２モジュールたとえばモジュール（６１２２、６１３０、６１３２、６１３４、６１３４、６１３６）によってキャプチャされた画像のトリミングが実施され、トリミングの量は、ユーザにより選択されたズーム設定の関数である。さまざまな実施形態では、ユーザにより選択されたズーム設定＝ｆ１の場合は、最大トリミングがあり、ユーザにより選択されたズーム設定＝ｆ２の場合は、トリミングはない。
例示的な一実施形態では、図６１のカメラ６１００は図１２Ｂのカメラ１２５０であり、図６１の光学チェーン（光学チェーン１ ６１１８、光学チェーン２ ６１２０、光学チェーン３ ６１２２、光学チェーン４ ６１２４、光学チェーン５ ６１２６、光学チェーン６ ６１２８、光学チェーン７ ６１３０、光学チェーン８ ６１３２、光学チェーン９ ６１３４、光学チェーン１０ ６１３６）はそれぞれ、光学チェーン（１２１０、１２１２、１２２４、１２０２、１２２０、１２１６、１２０８、１２１４、１２０４、１２１８）である。いくつかの実施形態では、光学チェーン（１２１０、１２１２、１２０２、１２２０、１２１６）はｆ１の焦点距離を有し、光学チェーン（１２２４、１２０８、１２１４、１２０４、１２１８）はｆ２の焦点距離を有する。そのような実施形態では、チェーン（１２２４、１２１６、１２０８、１２１４、１２０４、１２１８）の鏡は、たとえばｆ２〜ｆ１の範囲内で、ズーム焦点距離設定に関係なく、固定位置にあるままであったが、チェーン（１２１０、１２１２、１２０２、１２２０）の鏡は、たとえばｆ２〜ｆ１の範囲内で、ユーザにより選択された焦点距離設定の関数として制御可能に位置決めされる。
図６２は、本発明により実施されるカメラデバイスたとえば図６１のカメラ６１００に含まれ得るモジュールのアセンブリ６２００の図である。モジュールのアセンブリ６２００は、方法のステップ、たとえば図６０の流れ図６０００の方法のステップを実施し得る。いくつかの実施形態では、モジュールのアセンブリ６２００は、互いに結合され得る回路のアセンブリである。例示的な一実施形態では、モジュールのアセンブリ６２００は、図６１のカメラ６１００のモジュールのアセンブリ６１０６である。いくつかの実施形態では、モジュールのアセンブリ６２００は、ソフトウェアモジュールのアセンブリである。例示的な一実施形態では、モジュールのアセンブリ６２００は、図６１のカメラ６１００のメモリ６１０４のモジュールのアセンブリ６１１４である。
図６２は、図６１に示されるカメラデバイス６１００において使用可能であり、いくつかの実施形態では使用される、モジュールのアセンブリ６２００を示す。モジュールのアセンブリ６２００内のモジュールは、たとえば個々の回路として、プロセッサ６１０２内部のハードウェア内で完全に実施可能であり、いくつかの実施形態では、実施される。モジュールのアセンブリ６２００内のモジュールは、たとえば異なるモジュールに対応する個々の回路として、モジュールのアセンブリ６１０６内部のハードウェア内で完全に実施可能であり、いくつかの実施形態では、実施される。他の実施形態では、モジュールのうちのいくつかは、プロセッサ６１０２の内部の、たとえば回路として、実施され、他のモジュールは、プロセッサの外部にあり、これに結合されたモジュールのアセンブリ６１０６の内部の、たとえば回路として、実施される。理解されるべきであるように、プロセッサ上での、および／またはプロセッサの外部にあるいくつかのモジュールとの、モジュールの統合のレベルは、設計上の選択肢の１つであり得る。
あるいは、回路として実施されるのではなく、モジュールのアセンブリ６１００内のモジュールのすべてまたはいくつかは、ソフトウェア内で実施され、カメラデバイス６１００のメモリ６１０４内に格納され得、モジュールは、モジュールがプロセッサたとえばプロセッサ６１０２によって実行されるとき、モジュールに対応する機能を実施するように、カメラ６１００の動作を制御する。いくつかのそのような実施形態では、モジュールのアセンブリ６２００は、モジュールのアセンブリ６１１４としてメモリ６１０４に含まれる。さらに他の実施形態では、モジュールのアセンブリ６２００内のさまざまなモジュールは、ハードウェアとソフトウェアの組み合わせとして実施され、たとえば、プロセッサの外部にある別の回路は、プロセッサ６１０２に入力を提供し、次いで、プロセッサ６１０２は、ソフトウェア制御下でモジュールの機能の一部分を実行するように動作する。図６１の実施形態では、単一のプロセッサたとえばコンピュータとして示されているが、プロセッサ６１０２は、１つまたは複数のプロセッサたとえばコンピュータとして実施され得ることを理解されたい。
ソフトウェア内で実施されるとき、モジュールは、プロセッサ６１０２によって実行されるとモジュールに対応する機能を実施するようにプロセッサ６１０２を構成するコードを含む。モジュールのアセンブリ６２００がメモリ６１０４内に格納される実施形態では、メモリ６１０４は、少なくとも１つのコンピュータたとえばプロセッサ６１０２にモジュールが対応する機能を実施させるために、コード、たとえば各モジュールに対する個々のコードを備えるコンピュータ可読媒体を備えるコンピュータプログラム製品である。
完全にハードウェアベースのモジュールまたは完全にソフトウェアベースのモジュールが使用されてよい。しかしながら、ソフトウェアとハードウェアのいかなる組み合わせも、たとえば、回路により実施されるモジュールも、機能を実施するために使用され得ることを理解されたい。理解されるべきであるように、図６２に示されるモジュールは、図６０の方法流れ図６０００に示される対応するステップの機能を実行するように、カメラデバイス６１００またはプロセッサ６１０２などのその中の要素を制御および／または構成する。したがって、モジュールのアセンブリ６２００は、図６０に示される方法の対応するステップの機能を実行するさまざまなモジュールを含む。
モジュールのアセンブリ６２００は、ズーム入力監視モジュール６２０２と、ズームイン光方向変換デバイス位置決め調整制御モジュール６２０４と、ズームアウト光方向変換デバイス位置決め調整制御モジュール６２０６と、画像キャプチャ制御モジュール６２０８と、合成画像生成モジュール６２１０と、トリミングモジュール６２１２と、合成画像格納モジュール６２１４とを含む。
ズーム入力監視モジュール６２０２は、ユーザ制御ユーザ入力ズームまたはユーザ制御ズーム出力が実行可能であることを示す情報を監視するように構成される。ズーム入力監視モジュール６２０２は、ユーザ制御ズームイン動作またはユーザ制御ズーム出力動作が実行可能であることを示す情報を検出する。検出される情報は、たとえばズームインもしくはズームアウトのうちのどちらが実行可能であるかを識別する情報および／または、たとえばカメラが画像をキャプチャ可能であるズーム設定のための選択された値を示す情報を含む。
ズームイン光方向変換デバイス位置決め調整制御モジュール６２０４は、ユーザ制御に応答してズームイン動作を実施するように構成され、前記ズームイン動作は、カメラの第１の光学チェーンの第１の光方向変換デバイスの方向を調整することを含み、前記第１の光方向変換デバイスは実質的な平面鏡またはプリズムのうちの１つであり、前記調整は、カメラの第１の光学チェーンおよびカメラの第２の光学チェーンによってキャプチャされるシーンエリアにおける重複を増加させる。いくつかの実施形態では、第１の光方向変換デバイスの方向は、第１の光方向変換デバイスの面に垂直な方向である。
さまざまな実施形態では、ズームイン光方向変換デバイス位置決め調整制御モジュール６２０４は、第２の光学チェーンの第２の光方向変換デバイスの方向を調整するようにさらに構成され、前記第２の光方向変換デバイスは鏡またはプリズムのうちの１つであり、前記調整は、ズームイン動作を実施することの一部として、第１の光学チェーンおよび第２の光学チェーンによってキャプチャされるシーンエリアにおける重複を増加させる。
いくつかの実施形態では、ズームイン光方向変換デバイス位置決め調整制御モジュール６２０４は、第４の光学チェーンの第４の光方向変換デバイスおよび第５の光学チェーンの第５の光方向変換デバイスの方向を調整するようにさらに構成され、前記調整は、第１の光学チェーン、第２の光学チェーン、第４の光学チェーン、および第５の光学チェーンによってキャプチャされるシーンエリアにおける重複を増加させる。
ズームアウト光方向変換デバイス位置決め調整制御モジュール６２０６は、ユーザ制御に応答してズームアウト動作を実施するように構成され、前記ズームアウト動作は、第１の光方向変換デバイスの方向と第２の光方向変換デバイスの方向とを調整することを含み、前記調整は、第１の光学チェーンおよび第２の光学チェーンによってキャプチャされるシーンエリアにおける重複を減少させる。いくつかの実施形態では、ズームアウト光方向変換デバイス位置決め調整制御モジュール６２０６は、第４の光学チェーンの第４の光方向変換デバイスおよび第５の光学チェーンの第５の光方向変換デバイスの方向を調整するようにさらに構成され、前記調整は、第１の光学チェーン、第２の光学チェーン、第４の光学チェーン、および第５の光学チェーンによってキャプチャされるシーンエリアにおける重複を減少させる。
画像キャプチャ制御モジュール６２０８は、シーンエリアの画像をキャプチャするように第１の光学チェーンを制御し、シーンエリアの画像をキャプチャするために第２の光学チェーンを制御するように構成される。画像キャプチャ制御モジュール６２０８は、シーンエリアの画像をキャプチャするためにカメラデバイスの第３の光学チェーンを制御するようにさらに構成される。
ある実施形態では、第１の光学チェーンと第２の光学チェーンは同じ焦点距離ｆ１を有する。いくつかのそのような実施形態では、カメラの第３の光学チェーンは焦点距離ｆ２を有し、ここで、ｆ２はｆ１よりも小さい。いくつかの実施形態では、第３の光学チェーンは、光学チェーンの面に垂直であり、ズーム設定に関係なく固定されたままである光軸を有し、範囲は、ｆ２とｆ１の間に及ぶ。
さまざまな実施形態では、ズームイン動作およびズームアウト動作は、ｆ２〜ｆ１の範囲内のズーム焦点距離設定に対応し、前記範囲はｆ２とｆ１とを含む。
いくつかの実施形態では、画像キャプチャ制御モジュール６２０８は、シーンエリアの画像をキャプチャするように第４の光学チェーンを制御し、シーンエリアの画像をキャプチャするために第５の光学チェーンを制御するようにさらに構成される。いくつかのそのような実施形態では、画像キャプチャ制御モジュール６２０８は、シーンエリアの画像をキャプチャするためにカメラデバイスの第６の光学チェーンを制御するようにさらに構成される。いくつかのそのような実施形態では、第１の光学チェーン、第２の光学チェーン、第４の光学チェーン、第５の光学チェーン、および第６の光学チェーンは、同じ焦点距離、たとえばｆ１を有する。
いくつかの実施形態では、画像キャプチャ制御モジュール６２０８は、シーンエリアの画像をキャプチャするために第７の光学チェーンを制御するようにさらに構成される。いくつかのそのような実施形態では、画像キャプチャ制御モジュール６２０８は、シーンエリアの画像をキャプチャするために第８の光学チェーンを制御するようにさらに構成される。いくつかのそのような実施形態では、画像キャプチャ制御モジュール６２０８は、シーンエリアの画像をキャプチャするために第９の光学チェーンを制御するようにさらに構成される。いくつかの実施形態では、画像キャプチャ制御モジュール６２０８は、シーンエリアの画像をキャプチャするために第１０の光学チェーンを制御するようにさらに構成される。いくつかのそのような実施形態では、第３の光学チェーン、第７の光学チェーン、第８の光学チェーン、第９の光学チェーン、および第１０の光学チェーンは、同じ焦点距離、たとえばｆ２を有する。
合成画像生成モジュール６２１０は、キャプチャされた画像から、ズーム焦点距離設定に従って、合成画像を生成するように構成される。いくつかの実施形態では、合成画像生成モジュール６２１０は、第１の光学チェーン、第２の光学チェーン、および第３の光学チェーンによってキャプチャされた画像から、ズーム焦点距離設定に従って、合成画像を生成するように構成される。いくつかの実施形態では、合成画像生成モジュール６２１０は、第１の光学チェーン、第２の光学チェーン、第３の光学チェーン、第４の光学チェーン、および第５の光学チェーンによってキャプチャされた画像から、ズーム焦点距離設定に従って、合成画像を生成するように構成される。いくつかの実施形態では、合成画像生成モジュール６２１０は、第１の光学チェーン、第２の光学チェーン、第３の光学チェーン、第４の光学チェーン、第５の光学チェーン、および第６の光学チェーンによってキャプチャされた画像から、ズーム焦点距離設定に従って、合成画像を生成するように構成される。いくつかの実施形態では、合成画像生成モジュール６２１０は、第１の光学チェーン、第２の光学チェーン、第３の光学チェーン、第４の光学チェーン、第５の光学チェーン、第６の光学チェーン、および第７の光学チェーンによってキャプチャされた画像から、ズーム焦点距離設定に従って、合成画像を生成するように構成される。いくつかの実施形態では、合成画像生成モジュール６２１０は、第１の光学チェーン、第２の光学チェーン、第３の光学チェーン、第４の光学チェーン、第５の光学チェーン、第６の光学チェーン、第７の光学チェーン、および第８の光学チェーンによってキャプチャされた画像から、ズーム焦点距離設定に従って、合成画像を生成するように構成される。いくつかの実施形態では、合成画像生成モジュール６２１０は、第１の光学チェーン、第２の光学チェーン、第３の光学チェーン、第４の光学チェーン、第５の光学チェーン、第６の光学チェーン、第７の光学チェーン、第８の光学チェーン、および第９の光学チェーンによってキャプチャされた画像から、ズーム焦点距離設定に従って、合成画像を生成するように構成される。いくつかの実施形態では、合成画像生成モジュール６２１０は、第１の光学チェーン、第２の光学チェーン、第３の光学チェーン、第４の光学チェーン、第５の光学チェーン、第６の光学チェーン、第７の光学チェーン、第８の光学チェーン、第９の光学チェーン、および第１０の光学チェーンによってキャプチャされた画像から、ズーム焦点距離設定に従って、合成画像を生成するように構成される。
トリミングモジュール６２１２は、ズーム設定がｆ２よりも大きいとき、第３の光学チェーンによってキャプチャされた画像に対してトリミング動作を実行するように構成される。さまざまな実施形態では、トリミングの量は、ズーム焦点距離設定とｆ２との差の関数であり、トリミングモジュール６２１２は、トリミングを実行する前にトリミングの量を決定する、たとえば、これを算出する。
いくつかの実施形態では、トリミングモジュール６２１６は、ズーム設定がｆ２よりも大きいとき、第３の光学チェーンおよび第７の光学チェーンによってキャプチャされた画像に対してトリミング動作を実行するように構成される。いくつかの実施形態では、トリミングモジュール６２１６は、ズーム設定がｆ２よりも大きいとき、第３の光学チェーン、第７の光学チェーン、および第８の光学チェーンによってキャプチャされた画像に対してトリミング動作を実行するように構成される。いくつかの実施形態では、トリミングモジュール６２１６は、ズーム設定がｆ２よりも大きいとき、第３の光学チェーン、第７の光学チェーン、第８の光学チェーン、および第９の光学チェーンによってキャプチャされた画像に対してトリミング動作を実行するように構成される。いくつかの実施形態では、トリミングモジュール６２１６は、ズーム設定がｆ２よりも大きいとき、第３の光学チェーン、第７の光学チェーン、第８の光学チェーン、第９の光学チェーン、および第１０の光学チェーンによってキャプチャされた画像に対してトリミング動作を実行するように構成される。
合成画像格納モジュール６２１４は、生成された合成画像をメモリ内に格納するように構成される。
図６３は、例示的な実施形態による、異なるズーム焦点距離設定に対応する例示的な合成画像を示す図６３００である。図６３０１は、例示的な関心シーン６３０２を含む。例示的なカメラデバイス、たとえば図６２のカメラ６１００および／または図６０の流れ図６０００の方法を実施するカメラは、ｆ２〜ｆ１のズーム焦点距離設定の範囲における連続ズームイン／ズームアウト能力を含み、ここで、ｆ２＜ｆ１であると考える。図６３０３は、ｆ２という、ユーザにより選択されたズーム焦点距離設定に対応する、例示的な合成画像６３０４を示す。この例では、合成画像６３０４は、関心シーン６３０２のその全エリアに対応する。図６３０５は、ｆ１という、ユーザにより選択されたズーム焦点距離設定に対応する、例示的な合成画像６３０６を示す。この例では、合成画像６３０６は最大ズームインに対応し、合成画像６３０４は最大ズームアウトに対応する。
図６３０７は、複数の例示的な異なるユーザにより選択されたズーム焦点距離設定に対応する合成画像（６３０４、６３１０、６３１２、６３１４、６３１６、６３１８、６３２０、６３２２、６３２４、６３２６、６３０６）を示す。この例では、ズームは、画像の中心のまわりにあることに留意されたい。方向６３０６−＞６３１０−＞６３１２−＞６３１４−＞６３１６−＞６３１８−＞６３２０−＞６３２２−＞６３２４−＞６３２６−＞６３０６に進むのが、ズームイン方向である。方向６３０６−＞６３２６−＞６３２４−＞６３２２−＞６３２０−＞６３１８−＞６３１６−＞６３１４−＞６３１２−＞６３１０−＞６３０４に進むのが、ズームイン方向である。さまざまな実施形態では、ズーム焦点距離設定ｆ２〜ｆ１の範囲内で連続ズームが可能である。
図６４の図６４００は、例示的な一実施形態による、ユーザが選択した焦点距離設定が最大ズームアウトたとえばズーム焦点距離設定＝ｆ２に設定される一例のために、合成画像を生成するために組み合わされたキャプチャされた画像を示す。例示的なカメラデバイス、たとえば図６２のカメラデバイス６１００および／または図６０の流れ図６０００の方法を実施するカメラデバイスは、ｆ２〜ｆ１のズーム焦点距離設定の範囲における連続的ズームイン／ズームアウト能力を含み、ここで、ｆ２＜ｆ１であると考える。
図６４０１は、光学チェーン１のキャプチャ画像６４０４が関心シーン６４０２の左上部分に対応することを示す。図６４０３は、光学チェーン２のキャプチャ画像６４０６が関心シーン６４０２の左下部分に対応することを示す。図６４０５は、光学チェーン３のキャプチャ画像６４０８が関心シーン６４０２全体に対応することを示す。図６４０７は、光学チェーン４のキャプチャ画像６４１０が関心シーン６４０２の右上部分に対応することを示す。図６４０９は、光学チェーン５のキャプチャ画像６４１２が関心シーン６４０２の右下部分に対応することを示す。図６４１１は、光学チェーン６のキャプチャ画像６４１４が関心シーン６４０２の中心部分に対応することを示す。図６４１３は、光学チェーン７のキャプチャ画像６４１６が関心シーン６４０２全体に対応することを示す。図６４１５は、光学チェーン８のキャプチャ画像６４１８が関心シーン６４０２全体に対応することを示す。図６４１７は、光学チェーン９のキャプチャ画像６４２０が関心シーン６４０２全体に対応することを示す。図６４１９は、光学チェーン１０のキャプチャ画像６４２２が関心シーン６４０２全体に対応することを示す。
合成画像が、キャプチャされた画像（６４０４、６４０６、６４０８、６４１０、６４１２、６４１４、６４１８、６４２０、６４２２）から、ズーム焦点距離設定に従って、生成される。生成される合成画像は、たとえば、図６３の合成画像６３０４である。
図６５の図６５００は、例示的な一実施形態による、ユーザが選択した焦点距離設定が最大ズームインたとえばズーム焦点距離設定＝ｆ１に設定される一例のために、そのうちのいくつかは、合成画像を生成するために組み合わされた、キャプチャされた画像とトリミングされたキャプチャされた画像とを示す。例示的なカメラデバイス、たとえば図６２のカメラ６１００および／または図６０の流れ図６０００の方法を実施するカメラは、ｆ２〜ｆ１のズーム焦点距離設定の範囲における連続的ズームイン／ズームアウト能力を含み、ここで、ｆ２＜ｆ１であると考える。
図６５０１は、光学チェーン１のキャプチャ画像６５０４が関心シーン６５０２の中心部分に対応することを示す。図６５０３は、光学チェーン２のキャプチャ画像６５０６が関心シーン６５０２の中心部分に対応することを示す。図６５０５は、光学チェーン３のキャプチャ画像６５０８が関心シーン６５０２全体に対応することを示す。図６５０７は、光学チェーン４のキャプチャ画像６５１０が関心シーン６５０２の中心部分に対応することを示す。図６５０９は、光学チェーン５のキャプチャ画像６５１２が関心シーン６５０２の中心部分に対応することを示す。図６５１１は、光学チェーン６のキャプチャ画像６５１４が関心シーン６５０２の中心部分に対応することを示す。図６５１３は、光学チェーン７のキャプチャ画像６５１６が関心シーン６５０２全体に対応することを示す。図６５１５は、光学チェーン８のキャプチャ画像６５１８が関心シーン６５０２全体に対応することを示す。図６５１７は、光学チェーン９のキャプチャ画像６５２０が関心シーン６５０２全体に対応することを示す。図６５１９は、光学チェーン１０のキャプチャ画像６５２２が関心シーン６５０２全体に対応することを示す。
この例では、ユーザにより選択されたズーム焦点距離設定は、ｆ２よりも大きいｆ１であるので、トリミング動作は、焦点距離＝ｆ２を有する光学チェーンに対して実行される。トリミングの量は、ズーム焦点距離設定とｆ２との差の関数である。したがって、キャプチャされた画像（６５０８、６５１６、６５１８、６５２０、６５２２）はトリミングされる。
図６５２１は、光学チェーン３のトリミングされたキャプチャ画像６５２４が関心シーン６５０２の中心部分に対応することを示す。図６５２３は、光学チェーン７のトリミングされたキャプチャ画像６５２６が関心シーン６５０２の中心部分に対応することを示す。図６５２５は、光学チェーン８のトリミングされたキャプチャ画像６５２８が関心シーン６５０２の中心部分に対応することを示す。図６５２７は、光学チェーン９のトリミングされたキャプチャ画像６５３０が関心シーン６５０２の中心部分に対応することを示す。図６５２９は、光学チェーン１０のトリミングされたキャプチャ画像６５３２が関心シーン６５０２の中心部分に対応することを示す。
合成画像は、光学チェーン１のキャプチャ画像６５０４、光学チェーン２のキャプチャ画像６５０６、光学チェーン３のトリミングされた画像６５２４、光学チェーン４のキャプチャ画像６５１０、光学チェーン５のキャプチャ画像６５１２、光学チェーン６のキャプチャ画像６５１４、光学チェーン７のトリミングされた画像６５２６、光学チェーン８のトリミングされた画像６５２８、光学チェーン９のトリミングされた画像６５３０、および光学チェーン１０のトリミングされた画像６５３２から、ズーム焦点距離設定に従って、生成される。生成される合成画像は、たとえば、図６３の合成画像６３０６である。
図６６の図６６００は、例示的な一実施形態による、ユーザが選択した焦点距離設定が中間値たとえばｆ２とｆ１との間の値に設定される一例のために、そのうちのいくつかは、合成画像を生成するために組み合わされた、キャプチャされた画像とトリミングされたキャプチャされた画像とを示す。例示的なカメラデバイス、たとえば図６２のカメラデバイス６１００および／または図６０の流れ図６０００の方法を実施するカメラは、ｆ２〜ｆ１のズーム焦点距離設定の範囲における連続的ズームイン／ズームアウト能力を含み、ここで、ｆ２＜ｆ１であると考える。
図６６０１は、光学チェーン１のキャプチャ画像６６０４が、関心シーンの中心から関心シーンの左上コーナーに延在する対角線に沿って中心が置かれた、関心シーン６６０２の一部分に対応することを示す。図６６０３は、光学チェーン２のキャプチャ画像６６０６が、関心シーンの中心から関心シーンの左下コーナーに延在する対角線に沿って中心が置かれた、関心シーン６６０２の一部分に対応することを示す。図６６０５は、光学チェーン３のキャプチャ画像６６０８が関心シーン６６０２全体に対応することを示す。図６６０７は、光学チェーン４のキャプチャ画像６６１０が、関心シーンの中心から関心シーンの右上コーナーに延在する対角線に沿って中心が置かれた、関心シーン６６０２の一部分に対応することを示す。図６６０９は、光学チェーン５のキャプチャ画像６６１２が、関心シーンの中心から関心シーンの右下コーナーに延在する対角線に沿って中心が置かれた、関心シーン６６０２の一部分に対応することを示す。図６６１１は、光学チェーン６のキャプチャ画像６６１４が関心シーン６６０２の中心部分に対応することを示す。図６６１３は、光学チェーン７のキャプチャ画像６６１６が関心シーン６６０２全体に対応することを示す。図６６１５は、光学チェーン８のキャプチャ画像６６１８が関心シーン６６０２全体に対応することを示す。図６６１７は、光学チェーン９のキャプチャ画像６６２０が関心シーン６６０２全体に対応することを示す。図６６１９は、光学チェーン１０のキャプチャ画像６６２２が関心シーン６６０２全体に対応することを示す。
この例では、ユーザにより選択されたズーム焦点距離設定は、ｆ２よりも大きい値であるので、トリミング動作は、焦点距離＝ｆ２を有する光学チェーンに対して実行される。トリミングの量は、ズーム焦点距離設定とｆ２との差の関数である。したがって、キャプチャされた画像（６６０８、６６１６、６６１８、６６２０、６６２２）はトリミングされる。
図６６２１は、光学チェーン３のトリミングされたキャプチャ画像６６２４が関心シーン６６０２の中心部分に対応することを示す。図６６２３は、光学チェーン７のトリミングされたキャプチャ画像６６２６が関心シーン６６０２の中心部分に対応することを示す。図６６２５は、光学チェーン８のトリミングされたキャプチャ画像６６２８が関心シーン６６０２の中心部分に対応することを示す。図６６２７は、光学チェーン９のトリミングされたキャプチャ画像６６３０が関心シーン６６０２の中心部分に対応することを示す。図６６２９は、光学チェーン１０のトリミングされたキャプチャ画像６６３２が関心シーン６６０２の中心部分に対応することを示す。
合成画像は、光学チェーン１のキャプチャ画像６６０４、光学チェーン２のキャプチャ画像６６０６、光学チェーン３のトリミングされた画像６６２４、光学チェーン４のキャプチャ画像６６１０、光学チェーン５のキャプチャ画像６６１２、光学チェーン６のキャプチャ画像６６１４、光学チェーン７のトリミングされた画像６６２６、光学チェーン８のトリミングされた画像６６２８、光学チェーン９のトリミングされた画像６６３０、および光学チェーン１０のトリミングされた画像６６３２から、ズーム焦点距離設定に従って、生成される。
生成される合成画像は、たとえば、図６３の合成画像６３１８である。
図６７は、例示的な一実施形態による、各々、ユーザが選択したズーム焦点距離設定の関数として位置決めされる、たとえば調整される、移動可能な光方向変換デバイスを含む例示的なユーザ制御されたズームと異なる光学チェーンからのキャプチャされた画像間の例示的な重複とを示す図６６５０を含む。
図６６５１、６６５３、および６６５５は、最大ズームアウトに対応する、ｆ２という、ユーザにより選択されたズーム焦点距離設定の一例に対応する。図６６６７、６６６９、および６６７１は、中間のズーム設定に対応する、ｆ２とｆ１の中間の値の、ユーザにより選択されたズーム焦点距離設定の一例に対応し、ここで、ｆ１＞ｆ２である。図６６７３、６６７５、および６６７７は、最大ズームインに対応する、ユーザにより選択されたズーム焦点距離設定ｆ１の一例に対応する。
凡例６６６８は、移動可能な光方向変換デバイスたとえば移動可能な実質的な平面鏡またはプリズムを有する複数の光学チェーンの各々によってキャプチャされる関心シーンの部分を示すために使用されるシェーディングパターンを識別する。ブロック６６７０によって示される縦線シェーディングは、移動可能な光方向変換デバイスたとえば図６１のカメラデバイス６１００の光学チェーン１ ６１１８を有する第１の光学チェーンによってキャプチャされる画像を識別するために使用される。ブロック６６７２によって示される横線シェーディングは、移動可能な光方向変換デバイスたとえば図６１のカメラデバイス６１００の光学チェーン２ ６１２０を有する第２の光学チェーンによってキャプチャされる画像を識別するために使用される。ブロック６６７４によって示される右下がりシェーディングは、移動可能な光方向変換デバイスたとえば図６１のカメラデバイス６１００の光学チェーン４ ６１２４を有する第３の光学チェーンによってキャプチャされる画像を識別するために使用される。ブロック６６７６によって示される右上がりシェーディングは、移動可能な光方向変換デバイスたとえば図６１のカメラデバイス６１００の光学チェーン５ ６１２５を有する第４の光学チェーンによってキャプチャされる画像を識別するために使用される。
図６６５３は、ｆ２のズーム焦点距離設定に対応する最大ズームアウトでは、移動可能な光方向変換デバイスを含む４つの光学チェーンによってキャプチャされる画像は重複しない、または実質的に重複しないことを示す。図６６５５は、図６６５３に示される、移動可能な光方向変換デバイスを含む４つの光学チェーンからキャプチャされた画像を含む画像から生成された、ズーム焦点距離設定＝ｆ２に対する合成画像６６６２は、関心シーン６６５２の全エリアまたは実質的な全エリアを占めることを示す。
図６６６９は、ｆ２とｆ１との間のズーム焦点距離設定値に対応する中間のズーム設定では、移動可能な光方向変換デバイスを含む４つの光学チェーンによってキャプチャされる画像は部分的に重複することを示す。観察され得るように、最大重複は、関心シーンの中心部分にある。図６６７１は、図６６６９に示される、移動可能な光方向変換デバイスを含む４つの光学チェーンからキャプチャされた画像を含む画像から生成された、中間のズーム焦点距離設定に対する合成画像６６６４は、関心シーン６６５２の中心部分を占めることを示す。
図６６７５は、ｆ１のズーム焦点距離設定値に対応する最大ズームインでは、移動可能な光方向変換デバイスを含む４つの光学チェーンによってキャプチャされる画像は完全に重複する、または実質的に完全に重複することを示す。図６６７７は、図６６６９に示される、移動可能な光方向変換デバイスを含む４つの光学チェーンからキャプチャされた画像を含む画像から生成された、ｆ１のズーム焦点距離設定に対応する最大ズームインに対する合成画像６６６６は、関心シーン６６５２の中心部分を占めることを示す。合成画像６６６６のサイズは、移動可能な光方向変換デバイスを有する個々の光学チェーンによってキャプチャされるサイズと同じまたは実質的に同じであることに留意されたい。
図６６５３から図６６６９に進むことは例示的なズームインを示し、図６６６９から図６６７５に進むことは、さらなるズームインを示す。図６６７５から図６６６９に進むことは例示的なズームアウトを示し、図６６６９から図６６５３に進むことは、さらなるズームアウトを示す。
他の光学チェーンからキャプチャされた画像は、合成画像を生成する際にさらに使用され得、いくつかの実施形態では、使用され、たとえば、光方向変換デバイスがズーム焦点距離設定の関数として移動されない光学チェーンからキャプチャされた画像が、合成画像を生成する際にさらに使用されることを理解されたい。いくつかのそのような実施形態では、移動可能な光方向変換デバイスがズーム焦点距離設定の関数として移動されない光学チェーンによってキャプチャされたいくつかの画像に対してトリミングが使用され、たとえば、トリミングは、図６１のカメラ６１００の光学チェーン３ ６１２２、光学チェーン７ ６１２８、光学チェーン８ ６１３２、光学チェーン９ ６１３４、光学チェーン１０ ６１３６によってキャプチャされた画像に対して使用され、トリミングの量は、ユーザにより選択されたズーム焦点距離設定がｆ２よりも大きい量の関数である。たとえば、トリミングは、合成画像６６５２を生成する際には使用されず、最大トリミングが、合成画像６６６６を生成する際に使用される。
図６８Ａと図６８Ｂの組み合わせを備える図６８は、少なくとも第１のセンサを含む第１の光学チェーンと第２のセンサを含む第２の光学チェーンとを含むカメラデバイスを使用して画像をキャプチャする例示的な方法の流れ図６９００であり、前記第１の光学チェーンは、第２の光学チェーンよりも小さい焦点距離を有する。例示的な一実施形態では、第１の光学チェーンの焦点距離はｆ２であり、第２の光学チェーンの焦点距離はｆ１であり、ここで、ｆ２＜ｆ１である。
例示的な方法の動作はステップ６９０２で開始し、ステップ６９０２では、カメラデバイスの電源が投入され、初期化され、任意選択のステップ６９０４および６９０６の一方または両方に進む。
ステップ６９０４では、カメラデバイスがユーザ入力を受け取る。いくつかの実施形態では、ステップ６９０４は、ステップ６９０８と６９１０の一方または両方を含む。ステップ６９０８では、カメラデバイスが、高速の動き動作を示すユーザ入力を受け取る。ステップ６９１０では、カメラデバイスが、動作の高解像度モードを示すユーザ入力を受け取る。
ステップ６９０６に戻ると、ステップ６９０６では、カメラデバイスが、動きの速度を決定する。さまざまな実施形態では、ステップ６９０６は、カメラデバイスが前記カメラデバイスの光学チェーンによって順次キャプチャされた画像から動きの速度を決定するステップ６９１１を含む。いくつかのそのような実施形態では、ステップ６９１１はステップ６９１２を含み、ステップ６９１２では、カメラデバイスは、第１の時間期間中にキャプチャされた画像と、第１の時間期間に続く第２の時間期間中にキャプチャされた画像との差に基づいて、動きの速度を決定する。
動作は、ステップ６９０４および／またはステップ６９０６からステップ６９１４に進む。ステップ６９１４では、カメラデバイスは、たとえば、前記カメラデバイスの制御デバイス内で、ｉ）ユーザ入力、またはｉｉ）第２のセンサの連続する画素要素行に対応する画素要素の合同読み出しを実行するように、もしくは第２のセンサの画素要素の連続行の個々の読み出しを実行するように、第２の光学チェーンの第２のセンサを制御するかどうか、動きの決定された速度、のうちの少なくとも１つに基づいて決定を行う。いくつかの実施形態では、ステップ６９１４は、ステップ６９１６と６９１８の一方または両方を含む。ステップ６９１６では、カメラデバイスが、ユーザ入力に基づいて決定を行う。ステップ６９１８では、カメラデバイスが、決定された動きの速度に基づいて決定を行う。
いくつかの実施形態では、ステップ６９１６は、ステップ６９２０と６９２２の一方または両方を含む。ステップ６９２０では、カメラデバイスが、ユーザ入力が高速の動き動作のモードの選択を示すとき第２のセンサの連続画素要素行に対応する画素要素の合同読み出しを実行することを決定する。ステップ６９２２では、カメラデバイスが、ユーザ入力が動作の高解像度モードの選択を示すとき前記第２のセンサの画素要素の連続行の個々の読み出しを実行することを決定する。
いくつかの実施形態では、ステップ６９１８は、ステップ６９２４と６９２６の一方または両方を含む。ステップ６９２４では、カメラデバイスが、動きの速度が第１の閾値を上回るとき第２のセンサの連続画素要素行に対応する画素要素の合同読み出しを実行することを決定する。ステップ６９２６では、カメラデバイスが、動きの速度が前記第１の閾値を下回るとき前記第２のセンサの画素要素の連続行の個々の読み出しを実行することを決定する。
動作は、ステップ６９１４から、接続ノードＡ６９２８を介して、ステップ６９３０およびステップ６９３２に進む。カメラが第３の光学チェーンを含むいくつかの実施形態では、動作は、ステップ６９１４から、接続ノードＡ６９２８を介して、ステップ６９４４にも進む。ステップ６９３０では、カメラが、第１のセンサの画素値を読み出すように第１のセンサを制御する。いくつかの実施形態では、ステップ６９３０はステップ６９３６を含み、ステップ６９３６では、カメラは、前記決定が、前記第２のセンサの画素要素の連続行の個々の読み出しを実行する決定であるとき、第２の焦点距離と第１の焦点距離の比の関数である速度で第１のセンサの画素要素の画素値を読み出すように第１のセンサを制御する。いくつかのそのような実施形態では、ステップ６９３６はステップ６９３８を含み、ステップ６９３８では、カメラデバイスは、画素値の行が第２のセンサから読み取られる速度よりも遅い速度で画素値の行を読み出すように第１のセンサを制御する。
ステップ６９３２に戻ると、ステップ６９３２では、第２のセンサの画素要素行の合同読み出しを実行するまたは前記第２のセンサの画素要素の連続行の個々の読み出しを実行する決定に応じた第２のセンサの場合、カメラデバイスは、画素要素の画素値を読み出すように第２のセンサを制御する。いくつかの実施形態では、ステップ６９３２は、ステップ６９４０とステップ６９４２の一方または両方を含む。ステップ６９４０では、カメラデバイスは、第１のセンサの少なくともいくつかの画素値の読み出しと並行して画素値を読み出すように第２のセンサを制御する。ステップ６９４２では、カメラデバイスは、前記決定が、第２のセンサの連続画素要素行に対応する画素要素の合同読み出しを実行する決定であるとき、第１の焦点距離と第２の焦点距離の比の関数として、合同読み出しにおいて読み出されることになる画素要素の行の数を制御する。
ステップ６９４４に戻ると、ステップ６９４４では、カメラデバイスは、前記決定が第２のセンサの連続画素要素に対応する画素要素の合同読み出しを実行する、決定であるとき、連続画素要素行に対応する画素要素の合同読み出しを実行するように、第２の光学チェーンと同じ焦点距離を有する第３の光学チェーンに対応する第３のセンサを制御し、前記第３のセンサは、第２のセンサの読み出しが完了された後であるが第１のセンサの読み出しの完了の前に、画素値のうちのいくつかを合同で読み出すように制御される。動作は、ステップ６９３０、６９３２、および６９４４から、接続ノードＢ６９４６を介して、ステップ６９０４および６９０６への入力に進む。
図６９は、さまざまな例示的な実施形態による例示的なカメラデバイス７０００の図である。カメラデバイス７０００は、プロセッサ７００２、たとえばＣＰＵと、メモリ７００４と、モジュールのアセンブリ７００６、たとえば、回路などのハードウェアモジュールのアセンブリと、ユーザ入力インターフェース７００８と、ディスプレイ７０１０と、Ｉ／Ｏインターフェース７０１２と、さまざまな要素がデータと情報とを交換し得るバス７０３７を介して互いに結合された複数の光学チェーン（光学チェーン１ ７０１８、光学チェーン２ ７０２０、光学チェーン３ ７０２２、光学チェーン４ ７０２４、光学チェーン５ ７０２６ 、…、光学チェーンＮ ７０２８）とを含む。いくつかの実施形態では、光学チェーン３ ７０２２、光学チェーン４ ７０２４、光学チェーン５ ７０２６、…、光学チェーンＮ ７０２８は任意選択であり、光学チェーンのうちの１つまたは複数が含まれてよい。ディスプレイ７０１０、たとえば、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、またはアクティブマトリクス有機発光ダイオード（ＡＭＯＬＥＤ）ディスプレイは、カメラ７０００のユーザに画像、画像部分、ユーザメニューなどを表示するためのものである。ユーザ入力インターフェース７００８としては、たとえば、ユーザからの入力を受け取るための、スイッチ、ボタン、タッチスクリーンインターフェースなどがある。受け取られるユーザ入力としては、たとえば、高速の動作の動きモードをユーザが選択したことを示す入力またはユーザが動作の高解像モードを選択したことを示す入力がある。いくつかの実施形態では、さまざまな動作のモードが、動作のユーザモードのメニュー、たとえば、動作の代替モードのメニューから選択可能であり、場合によっては選択される。Ｉ／Ｏインターフェース７０１２には、他のデバイスたとえばパーソナルコンピュータと通信するための複数の通信ポートがある。Ｉ／Ｏインターフェース７０１２は、いくつかの実施形態では、１つまたは複数のワイヤレス通信インターフェースを含む。Ｉ／Ｏインターフェース７０１２上で通信される情報としては、たとえば、複数の光学チェーンからキャプチャされた画像から生成された結合された画像、ならびに／または外部で、たとえばパーソナルコンピュータ内で、処理および／もしくは結合されることになる、個々の光学チェーンからキャプチャされた画像がある。
メモリ７００４は、モジュールのアセンブリ７０１４と、データ／情報７０１６とを含む。データ／情報７０１６は、いくつかの実施形態では、選択された動作のモードを示す受け取られるユーザ入力、たとえば第２のセンサに関して、合同読み出しを実行するかまたは個別読み出しを実行するかに関する決定を行う際に使用される動き閾値の格納される速度、決定された動きの速度、第１の光学チェーンのための焦点距離値、第２の光学チェーンのための焦点距離値、光学チェーンの画像センサからの読み出し、合同読み出しで読み取られる決定された行の数、第１のセンサに対応する読み出し速度タイミング情報、および第２のセンサに対応する読み出し速度タイミング情報のうちの１つまたは複数またはすべてを含む。
光学チェーン１ ７０１８は、レンズ７０３８、たとえば外側レンズと、固定された鏡７０４０、たとえば実質的な平面状の固定された鏡と、画像センサ７０４２とを含む。いくつかの実施形態では、実質的な平面状の固定された鏡は、固定された平面鏡である。画像センサ７０４２は、画像をキャプチャするために使用される。光は、鏡７０４０に到達する前にレンズ７０３８を通過する。光方向変換デバイスである鏡７０４０は、レンズ７０３８を通過した光を画像センサ７０４２上に方向づける。
光学チェーン２ ７０２０は、レンズ７０４４、たとえば外側レンズと、移動可能な実質的な平面鏡７０４６と、画像センサ７０４８とを含む。いくつかの実施形態では、実質的な平面鏡は平面鏡である。さまざまな実施形態では、移動可能な鏡７０４６はヒンジ取り付け部を含む。光学チェーン２ ７０２０は、鏡移動モジュール７０５０、たとえば駆動モータおよび対応する駆動回路と、鏡位置検出モジュール７０５２、たとえば、レゾルバまたはシンクロまたは光学式ロータリエンコーダまたは磁気ロータリエンコーダなどの角度位置検知デバイスと、いくつかの実施形態では、センサ測定値をデジタル値に変換する回路、たとえばアナログ−デジタル変換器とをさらに含む。画像センサ７０４８は、画像をキャプチャするために使用される。光は、鏡７０４６に到達する前にレンズ７０４４を通過する。光方向変換デバイスである鏡７０４６は、レンズ７０４４を通過した光を画像センサ７０４８上に方向づける。
光学チェーン３ ７０２２は、レンズ７０５４、たとえば外側レンズと、移動可能な実質的な平面鏡７０５６と、画像センサ７０５８とを含む。いくつかの実施形態では、実質的な平面鏡は平面鏡である。さまざまな実施形態では、移動可能な鏡７０５６はヒンジ取り付け部を含む。光学チェーン３ ７０２２は、鏡移動モジュール７０６０、たとえば駆動モータおよび対応する駆動回路と、鏡位置検出モジュール７０６２、たとえば、レゾルバまたはシンクロまたは光学式ロータリエンコーダまたは磁気ロータリエンコーダなどの角度位置検知デバイスと、いくつかの実施形態では、センサ測定値をデジタル値に変換する回路、たとえばアナログ−デジタル変換器とをさらに含む。画像センサ７０５８は、画像をキャプチャするために使用される。光は、鏡７０５６に到達する前にレンズ７０５４を通過する。光方向変換デバイスである鏡７０５６は、レンズ７０５４を通過した光を画像センサ７０５８上に方向づける。
光学チェーン４ ７０２４は、レンズ７０６４、たとえば外側レンズと、移動可能な実質的な平面鏡７０６６と、画像センサ７０６８とを含む。いくつかの実施形態では、実質的な平面鏡は平面鏡である。さまざまな実施形態では、移動可能な鏡７０６６はヒンジ取り付け部を含む。光学チェーン４ ７０２４は、鏡移動モジュール７０７０、たとえば駆動モータおよび対応する駆動回路と、鏡位置検出モジュール７０７２、たとえば、レゾルバまたはシンクロまたは光学式ロータリエンコーダまたは磁気ロータリエンコーダなどの角度位置検知デバイスと、いくつかの実施形態では、センサ測定値をデジタル値に変換する回路、たとえばアナログ−デジタル変換器とをさらに含む。画像センサ７０６８は、画像をキャプチャするために使用される。光は、鏡７０６６に到達する前にレンズ７０６４を通過する。光方向変換デバイスである鏡７０６６は、レンズ７０６４を通過した光を画像センサ７０６８上に方向づける。
光学チェーン５ ７０２６は、レンズ７０７４、たとえば外側レンズと、移動可能な実質的な平面鏡７０７６と、画像センサ７０７８とを含む。いくつかの実施形態では、実質的な平面鏡は平面鏡である。さまざまな実施形態では、移動可能な鏡７０７６はヒンジ取り付け部を含む。光学チェーン５ ７０２６は、鏡移動モジュール７０８０、たとえば駆動モータおよび対応する駆動回路と、鏡位置検出モジュール７０８２、たとえば、レゾルバまたはシンクロまたは光学式ロータリエンコーダまたは磁気ロータリエンコーダなどの角度位置検知デバイスと、いくつかの実施形態では、センサ測定値をデジタル値に変換する回路、たとえばアナログ−デジタル変換器とをさらに含む。画像センサ７０７８は、画像をキャプチャするために使用される。光は、鏡７０７６に到達する前にレンズ７０７４を通過する。光方向変換デバイスである鏡７０７６は、レンズ７０７４を通過した光を画像センサ７０７８上に方向づける。
追加の光学チェーンたとえば光学チェーンＮ ７０２８は、固定された光方向変換デバイスまたは移動可能な光方向変換デバイス、たとえば鏡を含んでよい。
例示的な一実施形態では、光学チェーン１ ７０１８は焦点距離＝ｆ２を有し、光学チェーン２ ７０２０、光学チェーン３ ７０２２、光学チェーン４ ６１２４、および光学チェーン５ ６１２６の各々は焦点距離＝ｆ１を有し、ｆ１＞ｆ２である。
さまざまな実施形態では、異なるタイプの光方向変換デバイスが、鏡の代わりに使用され、たとえば、プリズムが光学チェーン内で鏡の代わりに使用される。たとえば、移動可能なプリズムが、移動可能な実質的な平面鏡７０４６の代わりに、光学チェーン２ ７０２０内で使用される。いくつかの実施形態では、異なるタイプの光方向変換デバイスが、異なる光学チェーン内で使用される。
いくつかの実施形態では、焦点距離ｆ２に対応する光学チェーンは光方向変換デバイスを含まず、光学チェーンの画像センサは、光方向変換デバイスを介して、方向変換なしに光学チェーンのレンズに入る光をキャプチャすることが可能であるように位置決めされる。
さまざまな実施形態では、ｆ１＞ｆ２である。いくつかのそのような実施形態では、ｆ１＝２ ｆ２である。
例示的な一実施形態では、図６９のカメラ７０００は図１２Ｂのカメラ１２５０であり、図６９の光学チェーン（光学チェーン１ ７０１８、光学チェーン２ ７０２０、光学チェーン３ ７０２２、光学チェーン４ ７０２４、光学チェーン５ ７０２６）はそれぞれ、図１２Ｂのカメラ１２５０の光学チェーン（１２０２、１２１０、１２１２、１２２４、１２２０）である。
図７０は、本発明により実施されるカメラデバイスたとえば図６９のカメラデバイス７０００に含まれ得るモジュールのアセンブリ７１００の図である。モジュールのアセンブリ７１００は、方法のステップ、たとえば図６８の流れ図６９００の方法のステップを実施し得る。いくつかの実施形態では、モジュールのアセンブリ７１００は、互いに結合され得る回路のアセンブリである。例示的な一実施形態では、モジュールのアセンブリ７１００は、図６９のカメラ７０００のモジュールのアセンブリ７００６である。いくつかの実施形態では、モジュールのアセンブリ７１００は、ソフトウェアモジュールのアセンブリである。例示的な一実施形態では、モジュールのアセンブリ７１００は、図６９のカメラ７０００のメモリ７００４のモジュールのアセンブリ７０１４である。
図７０は、図６９に示されるカメラデバイス７０００において使用可能であり、いくつかの実施形態では使用される、モジュールのアセンブリ７１００を示す。モジュールのアセンブリ７１００内のモジュールは、たとえば個々の回路として、プロセッサ７００２内部のハードウェア内で完全に実施可能であり、いくつかの実施形態では、実施される。モジュールのアセンブリ７１００内のモジュールは、たとえば異なるモジュールに対応する個々の回路として、モジュールのアセンブリ７００６内部のハードウェア内で完全に実施可能であり、いくつかの実施形態では、実施される。他の実施形態では、モジュールのうちのいくつかは、プロセッサ７００２の内部の、たとえば回路として、実施され、他のモジュールは、プロセッサの外部にあり、これに結合されたモジュールのアセンブリ７００６の内部の、たとえば回路として、実施される。理解されるべきであるように、プロセッサ上での、および／またはプロセッサの外部にあるいくつかのモジュールとの、モジュールの統合のレベルは、設計上の選択肢の１つであり得る。
あるいは、回路として実施されるのではなく、モジュールのアセンブリ７１００内のモジュールのすべてまたはいくつかは、ソフトウェア内で実施され、カメラ７０００のメモリ７００４内に格納され得、モジュールは、モジュールがプロセッサたとえばプロセッサ７００２によって実行されるとき、モジュールに対応する機能を実施するように、カメラ７０００の動作を制御する。いくつかのそのような実施形態では、モジュールのアセンブリ７１００は、モジュールのアセンブリ７０１４としてメモリ７００４に含まれる。さらに他の実施形態では、モジュールのアセンブリ７１００内のさまざまなモジュールは、ハードウェアとソフトウェアの組み合わせとして実施され、たとえば、プロセッサの外部にある別の回路は、プロセッサ７００２に入力を提供し、次いで、プロセッサ７００２は、ソフトウェア制御下でモジュールの機能の一部分を実行するように動作する。図６９の実施形態では、単一のプロセッサたとえばコンピュータとして示されているが、プロセッサ７００２は、１つまたは複数のプロセッサたとえばコンピュータとして実施され得ることを理解されたい。
ソフトウェア内で実施されるとき、モジュールは、プロセッサ７００２によって実行されるとモジュールに対応する機能を実施するようにプロセッサ７００２を構成するコードを含む。モジュールのアセンブリ７１００がメモリ７００４内に格納される実施形態では、メモリ７００４は、少なくとも１つのコンピュータたとえばプロセッサ７００２にモジュールが対応する機能を実施させるために、コード、たとえば各モジュールに対する個々のコードを備えるコンピュータ可読媒体を備えるコンピュータプログラム製品である。
完全にハードウェアベースのモジュールまたは完全にソフトウェアベースのモジュールが使用されてよい。しかしながら、ソフトウェアとハードウェアのいかなる組み合わせも、たとえば、回路により実施されるモジュールも、機能を実施するために使用され得ることを理解されたい。理解されるべきであるように、図７１に示されるモジュールは、図６８の方法流れ図６９００に示される対応するステップの機能を実行するように、カメラ７０００またはプロセッサ７００２などのその中の要素を制御および／または構成する。したがって、モジュールのアセンブリ７１００は、図６８に示される方法の対応するステップの機能を実行するさまざまなモジュールを含む。
図７０は、さまざまな例示的な実施形態によるモジュールのアセンブリ７１００である。モジュールのアセンブリ７１００は、読み出し制御決定モジュール７１０２と、センサ読み出し制御モジュール７１０４と、モード制御モジュール７１０６と、動き速度決定モジュール７１０８と、合同読み出し制御モジュール７１１０とを含む。
さまざまな実施形態では、モジュールのアセンブリ７１０は、第１のセンサたとえばセンサ７０４２を含み、第１の焦点距離たとえばｆ２を有する第１の光学チェーンたとえば光学チェーン１ ７０１８と、第２のセンサたとえばセンサ７０４８を含み、第２の焦点距離たとえばｆ１を有する第２の光学チェーンたとえば光学チェーン２ ７０２０とを含む、カメラデバイス、たとえば図６９のカメラデバイス７０００に含まれ、前記第１の焦点距離は前記第２の焦点距離よりも小さい。
読み出し制御決定モジュール７１０２は、ｉ）ユーザ入力、またはｉｉ）第２のセンサの連続する画素要素行に対応する画素要素の合同読み出しを実行するように、もしくは第２のセンサの画素要素の連続行の個別読み出しを実行するように、第２の光学チェーンの第２のセンサを制御するかどうか、動きの決定された速度、のうちの少なくとも１つに基づいて、読み出し制御決定を行うように構成される。
センサ読み出し制御モジュール７１０４は、読み出し制御決定に従って、ｉ）前記第１のセンサの画素値を読み出すために第１のセンサを制御し、ｉｉ）第２のセンサの画素要素の画素値を読み出すために第２のセンサを制御するように構成される。
さまざまな実施形態では、センサ読み出し制御モジュール７１０４は、前記センサ制御決定が、第２のセンサの連続画素要素行に対応する画素要素の合同読み出しを実行するように第２のセンサを制御する決定であるとき第２のセンサの連続画素要素行に対応する画素要素の合同読み出しを実行するように前記第２のセンサを制御し、前記センサ制御決定が、前記第２のセンサの画素要素の連続行の個別読み出しを実行する決定であるとき、前記第２のセンサの画素要素の連続行の個別読み出しを実行するように第２のセンサを制御するように構成される。いくつかのそのような実施形態では、前記センサ読み出し制御モジュール７１０４は、同期方式で関心画像エリアの同じ部分に対応する画素値の行を読み出すように第１のセンサと第２のセンサとを制御する。いくつかの実施形態では、第１のセンサおよび第２のセンサは重複する画像部分に対応し、前記センサ読み出し制御モジュール７１０４は、並行して関心画像エリアの同じ部分に対応する画素値を読み出すように第１のセンサと第２のセンサとを制御するように構成される。
いくつかの実施形態では、前記センサ読み出し制御モジュール７１０４は、画素値を読み出すように第２のセンサを制御することの一部として、前記第１のセンサの少なくともいくつかの画素値の読み出しと並行して画素値を読み出すように第２のセンサを制御する。
いくつかの実施形態では、ユーザ入力インターフェース、たとえば、図６９のカメラ７０００のユーザ入力インターフェース７００８は、動作の自動モード、動作の高速動きモード、または動作の高解像度モードを示すユーザ入力を受け取るように構成される。モード制御モジュール７１０６は、受け取られたユーザ入力に応答して動作のモードにカメラデバイスを設定するように構成される。さまざまな実施形態では、読み出し制御決定モジュール７１０２は、受け取られたユーザ入力が動作の自動モードを示すとき、前記カメラデバイスによってキャプチャされた画像において検出される動きの速度に基づいて、前記決定を行うように構成される。
読み出し制御決定モジュール７１０２は、いくつかの実施形態では、ｉ）動きの速度が第１の閾値を上回るとき、第２のセンサの連続画素要素行に対応する画素要素の合同読み出しを実行することを決定し、ｉｉ）動きの速度が前記第１の閾値よりも下回るとき、前記第２のセンサの画素要素の連続行の個別読み出しを実行することを決定するように構成される。
動き速度決定モジュール７１０８は、たとえば読み出し制御決定モジュール７１０２が決定を行う前に、前記カメラデバイスの光学チェーンによって順次キャプチャされる画像から動きの前記速度を決定するように構成される。さまざまな実施形態では、動き速度決定モジュール７１０８は、第１の時間期間中にキャプチャされる画像と前記第１の時間期間に続く第２の時間期間中にキャプチャされる画像との差に基づいて動きの速度を決定する。
いくつかの実施形態では、読み出し制御決定モジュール７１０２は、ｉ）ユーザ入力が高速の動作の動きモードの選択を示すとき、第２のセンサの連続画素要素行に対応する画素要素の合同読み出しを実行することを決定し、ｉｉ）ユーザ入力が動作の高解像度動きモードの選択を示すとき、前記第２のセンサの画素要素の連続行の個別読み出しを実行することを決定するように構成される。
さまざまな実施形態では、センサ読み出し制御モジュール７１０４は、前記決定が、第２のセンサの続画素要素行に対応する画素要素の合同読み出しを実行する決定であるとき連続画素要素行に対応する画素要素の合同読み出しを実行するように前記第２の光学チェーンと同じ焦点距離を有する第３の光学チェーンたとえば光学チェーン３ ７０２２に対応する第３のセンサたとえばセンサ７０５８を制御するようにさらに構成され、前記第３のセンサは、前記第２のセンサの読み出しが完了した後であるが第１のセンサの読み出しの完了の前に、画素値の少なくともいくつかの行を合同で読み出すように制御される。
合同読み出し制御モジュール７１１０は、前記決定が、第２のセンサの連続画素要素行に対応する画素要素の合同読み出しを実行する決定であるとき、第１の焦点距離と第２の焦点距離の比の関数として、合同読み取りにおいて読み出されることになる画素要素の行の数を制御するように構成される。
いくつかの実施形態では、センサ読み出し制御モジュール７１０４は、前記決定が、前記第２のセンサの画素要素の連続行の個別読み出しを実行する決定であるとき、第２の焦点距離と第１の焦点距離の比の関数である速度で第１のセンサの画素要素の画素値を読み出すように前記第１のセンサを制御するようにさらに構成される。いくつかのそのような実施形態では、前記センサ読み出し制御モジュール７１０４は、第２の焦点距離と第１の焦点距離の比の関数であることに基づく速度で第１のセンサの画素要素の画素値を読み出すように前記第１のセンサを制御するように構成されることの一部として、画素値の行が第２のセンサから読み取られる速度よりも遅い速度で画素値の行を読み出すように第１のセンサを制御するようにさらに構成される。
図７１は、例示的な一実施形態による、例示的な関心シーン７２０２と、カメラデバイス内の異なる光学チェーンに対応する例示的なキャプチャエリアとを示す図７２００である。エリア７２０４は、焦点距離＝ｆ２を有する光学チェーン１のセンサのためのセンサキャプチャエリアを表す。エリア７２０６は、焦点距離＝ｆ１を有する光学チェーン２のセンサのためのセンサキャプチャエリアを表す。エリア７０２８は、焦点距離＝ｆ１を有する光学チェーン３のセンサのためのセンサキャプチャエリアを表す。一例では、カメラデバイスは、図６８の流れ図６９００による方法を実施し、図７０のモジュールのアセンブリ７１００を含む、図６９のカメラデバイス７０００である。
図７２は、高い感知されたレートによる、ユーザにより入力された高速の動作の動きモードまたは動作の自動モードに対応する一例のための例示的な読み出し時間を示す図７３００である。光学チェーン１に含まれる第１のセンサ７３０２は、図７１のキャプチャエリア７２０４に対応する。光学チェーン２に含まれる第２のセンサ７３０４は、図７１のキャプチャエリア７２０６に対応する。光学チェーン３に含まれる第３のセンサ７３０６は、図７１のキャプチャエリア７２０８に対応する。列７３０８は、第１のセンサ７３０２の画素要素行の各々に対応する行読み出し時間を列挙する。列７３１０は、第２のセンサ７３０４および第３のセンサ７３０６の連続画素要素行のペアの各々に対応する合同行読み出し時間を列挙する。
この例では、早い読み取りを達成するために、たとえば、ぼけを回避または減少させるために、第２のセンサおよび第３のセンサの連続画素要素行に対応する画素要素の合同読み出しが実行される。時間０−＞ＴＲの間、第１のセンサの第１の行が読み出され、第２のセンサの第１の行および第２の行に対して合同読み出しが実行される。時間ＴＲ−＞２ＴＲの間、第１のセンサの第２の行が読み出され、第２のセンサの第３の行および第４の行に対して合同読み出しが実行される。時間２ＴＲ−＞３ＴＲの間、第１のセンサの第３の行が読み出され、第２のセンサの第５の行および第６の行に対して合同読み出しが実行される。時間３ＴＲ−＞４ＴＲの間、第１のセンサの第４の行が読み出され、第２のセンサの第７の行および第８の行に対して合同読み出しが実行される。時間４ＴＲ−＞５ＴＲの間、第１のセンサの第５の行が読み出され、第２のセンサの第９の行および第１０の行に対して合同読み出しが実行される。時間５ＴＲ−＞６ＴＲの間、第１のセンサの第６の行が読み出され、第３のセンサの第１の行および第２の行に対して合同読み出しが実行される。時間６ＴＲ−＞７ＴＲの間、第１のセンサの第７の行が読み出され、第３のセンサの第３の行および第４の行に対して合同読み出しが実行される。時間７ＴＲ−＞８ＴＲの間、第１のセンサの第８の行が読み出され、第３のセンサの第５の行および第６の行に対して合同読み出しが実行される。時間８ＴＲ−＞９ＴＲの間、第１のセンサの第９の行が読み出され、第３のセンサの第７の行および第８の行に対して合同読み出しが実行される。時間９ＴＲ−＞１０ＴＲの間、第１のセンサの第１０の行が読み出され、第３のセンサの第９の行および第１０の行に対して合同読み出しが実行される。
図７３は、低い感知された速度による、ユーザにより入力された高解像度の動作のモードまたは動作の自動モードに対応する一例のための例示的な読み出し時間を示す図７４００である。光学チェーン１に含まれる第１のセンサ７４０２は、図７１のキャプチャエリア７２０４に対応する。光学チェーン２に含まれる第２のセンサ７４０４は、図７１のキャプチャエリア７２０６に対応する。光学チェーン３に含まれる第３のセンサ７４０６は、図７１のキャプチャエリア７２０８に対応する。列７４０８は、第１のセンサ７４０２の画素要素行の各々に対応する行読み出し時間を列挙する。列７４１０は、第２のセンサ７４０４および第３のセンサ７４０６の連続画素要素行のペアの各々に対応する個別読み出し時間を列挙する。
この例では、高解像度を達成するために、第２のセンサおよび第３のセンサの画素要素行に対応する画素要素の個別読み出しが実行される。時間０−＞２ＴＲの間、第１のセンサの第１の行が読み出され、時間０−＞ＴＲの間、第２のセンサの第１の行が読み出され、時間１ＴＲ−＞２ＴＲの間、第２のセンサの第２の行が読み出される。時間２ＴＲ−＞４ＴＲの間、第１のセンサの第２の行が読み出され、時間２ＴＲ−＞３ＴＲの間、第２のセンサの第３の行が読み出され、時間３ＴＲ−＞４ＴＲの間、第２のセンサの第４の行が読み出される。時間４ＴＲ−＞６ＴＲの間、第１のセンサの第３の行が読み出され、時間４ＴＲ−＞５ＴＲの間、第２のセンサの第５の行が読み出され、時間５ＴＲ−＞６ＴＲの間、第２のセンサの第６の行が読み出される。時間６ＴＲ−＞８ＴＲの間、第１のセンサの第４の行が読み出され、時間６ＴＲ−＞７ＴＲの間、第２のセンサの第７の行が読み出され、時間７ＴＲ−＞８ＴＲの間、第２のセンサの第８の行が読み出される。時間８ＴＲ−＞１０ＴＲの間、第１のセンサの第５の行が読み出され、時間８ＴＲ−＞９ＴＲの間、第２のセンサの第９の行が読み出され、時間９ＴＲ−＞１０ＴＲの間、第２のセンサの第１０の行が読み出される。時間１０−＞１２ＴＲの間、第１のセンサの第６の行が読み出され、時間１０−＞１１ＴＲの間、第３のセンサの第１の行が読み出され、時間１１ＴＲ−＞１２ＴＲの間、第３のセンサの第２の行が読み出される。時間１２ＴＲ−＞１４ＴＲの間、第１のセンサの第７の行が読み出され、時間１２ＴＲ−＞１３ＴＲの間、第３のセンサの第３の行が読み出され、時間１３ＴＲ−＞１４ＴＲの間、第３のセンサの第４の行が読み出される。時間１４ＴＲ−＞１６ＴＲの間、第１のセンサの第８の行が読み出され、時間１４ＴＲ−＞１５ＴＲの間、第３のセンサの第５の行が読み出され、時間１５ＴＲ−＞１６ＴＲの間、第３のセンサの第６の行が読み出される。時間１６ＴＲ−＞１８ＴＲの間、第１のセンサの第９の行が読み出され、時間１６ＴＲ−＞１７ＴＲの間、第３のセンサの第７の行が読み出され、時間１７ＴＲ−＞１８ＴＲの間、第３のセンサの第８の行が読み出され、時間１８ＴＲ−＞２０ＴＲの間、第１のセンサの第１０の行が読み出され、時間１８ＴＲ−＞１９ＴＲの間、第３のセンサの第９の行が読み出され、時間１９ＴＲ−＞２０ＴＲの間、第３のセンサの第１０の行が読み出される。
図７３の例の場合の全体読み出し時間は、図７２の例の２倍の長さであることに留意されたい。
さまざまな特徴は、説明される１つまたは複数の光方向変換要素を使用してカメラ装置の厚さを減少させる方法および装置を対象とする。さまざまな実施形態では、光軸に沿った光の経路が、センサに到達する前に方向変換される。少なくともいくつかの実施形態では、光軸に沿ってカメラデバイスの前面に入る光の経路が、カメラの面と平行に延在する方向に少なくとも部分的に進むように方向変換される。したがって、少なくともいくつかの実施形態では、光の経路の長さは、カメラの奥行き、たとえば前面から背面までの長さによって制限されない。
たとえば鏡またはプリズムなどの光方向変換要素の使用は、１つまたは複数のカメラモジュールを含む、カメラ内のたとえば光学チェーンたとえばカメラモジュールの最も前面のレンズから対応するセンサまでの光路の長さを延在する際に有用である。いくつかの実施形態では、丸いレンズ、たとえば、丸い絞りを有するレンズが最も外側のカメラレンズとして使用され、最も外側のレンズの直径と同等の奥行きを有する光方向変換要素が使用される。このように、カメラが垂直に配置され、カメラハウジングの前面に対応する垂直平面内に１つまたは複数のレンズが取り付けられると仮定して、１つまたは複数の外側レンズの垂直次元と水平次元の両方と考えられ得るものの中で受け取られる光は、光学チェーンの前面の最も外側のレンズがカメラの先頭に位置決めされて光学チェーンの最も外側のレンズの真後ろのカメラの背面にセンサが位置決めされる直線状の前面から背面への構成で光学チェーンが配置されることを可能にするのに十分なほどカメラの奥行きがあることを必要とすることなく、方向変換およびキャプチャ可能である。
いくつかの実施形態では、カメラが、複数の光学チェーンたとえばカメラモジュールを使用して実施される。少なくともいくつかのそのような実施形態では、光の方向変換は、カメラモジュールの少なくとも一部分が左右の寸法たとえばカメラの横方向寸法または上下の寸法（高さ）を利用でき、それによって、比較的長い焦点距離が比較的薄いカメラフォーマットでサポート可能であるように実施される。そのような一実施形態では、小さい焦点距離を有するカメラモジュールおよび対応する小さいレンズは、直線状の前後の実装形態で実施されるが、より大きい焦点距離を有するカメラモジュールおよびより大きいレンズは、より大きい焦点距離を有するカメラモジュールの一部分がカメラの前面に対して横にまたは上下方向実施されることを可能にするために、たとえばいくつかの実施形態では９０度の、光方向変換を利用する。
多くの実施形態では、カメラモジュールのために丸いレンズが使用されるが、少なくともいくつかの実施形態では、長い焦点距離を有するカメラモジュールが、丸くない構成、たとえば、卵形の構成、細長い構成、または１次元において他の次元よりも長い絞りを有する他のレンズ構成を有するレンズを使用して実施される。少なくとも１つのそのような実施形態では、丸くないレンズが、光方向変換デバイスと組み合わせて使用される。詳細な説明で説明されるように、１つまたは複数の光方向変換デバイスと組み合わせた丸くないレンズの使用は、丸い絞りを有するレンズが代わりに使用される場合に可能であろうよりも薄いカメラモジュールを実施するために使用可能である。
少なくともいくつかの実施形態では、いくつかは丸いレンズを有し、他のものは丸くないレンズを有するカメラモジュールの組み合わせが使用される。丸くないレンズ、たとえば、平面の１次元において同じ平面の別の次元よりも長い絞りを有するレンズが、大きい焦点距離、たとえば、いくつかの実施形態ではフルフレームＤＳＬＲの７０ｍｍの焦点距離に等しいまたはこれよりも大きい、いくつかの実施形態ではフルフレームＤＳＬＲの１５０ｍｍの焦点距離に等しいまたはこれよりも大きい、いくつかの実施形態ではフルフレームＤＳＬＲの３００ｍｍの焦点距離に等しいまたはこれよりも大きい、焦点距離を有するカメラモジュールに使用される。少なくともいくつかのそのような実施形態では、丸い絞りを有するレンズが、小さい、たとえば、７０ｍｍのフルフレームＤＳＬＲよりも短い焦点距離に等しい、焦点距離を有するカメラモジュールに使用される。レンズ（カメラ）の焦点距離は、多くの場合、フルフレームＤＳＬＲカメラにとって等価な焦点距離と述べられ、ＤＳＬＲカメラはデジタル一眼レフカメラである。３５ｍｍの等価な焦点距離を有する光学チェーンなどのレンズまたはシステムは、３５ｍｍレンズを有するフルフレームＤＳＬＲカメラが形作るであろうものと同じロケーションから同じショットを形作る。センサは一般にフルフレームＤＳＬＲセンサよりもはるかに小さいので、３５ｍｍの等価な焦点距離を有する光学チェーンの実際の焦点距離は、著しく小さいことがある。一般に、センサが、各次元において５分の１の大きさ（２５分の１の大きさの面積）である場合、７ｍｍの実焦点距離の光学チェーンは、フルフレームＤＳＬＲの３５ｍｍに等しい焦点距離を有する。
さまざまな実施形態では、光方向変換が、薄型カメラ実装形態を可能にするためにいくつかの焦点距離を有するカメラモジュールに使用されるが、３５ｍｍフルフレームＤＳＬＲ焦点距離に等しいより短い焦点距離たとえば焦点距離を有するいくつかの他のカメラモジュールが、光方向変換要素を使用せずに、実施され得、場合によっては、実施される。
いくつかの実施形態では、カメラ厚さがカメラモジュール（いくつかの実施形態では水平方向に沿っている）の最も外側のレンズ素子および対応する絞りの最大寸法よりも小さいことを可能にするために、いくつかの実施形態では、一方向、たとえば別の方向よりも水平方向、たとえば、垂直方向におけるより大きい絞りをサポートするように構成される光方向変換デバイスが、使用される。この光方向変換デバイスは、方向変換後、異なる方向に、たとえば垂直に進むように、カメラモジュールの光軸に沿ってカメラに向かって進む光を方向変換する。これは、光方向変換デバイスの奥行きが絞りの最大次元よりも小さいことを可能にする。
１次元（たとえば、水平）において他の次元よりも大きい絞りをサポートする方向変換要素の使用は、他の次元よりも１次元（たとえば、水平）においてより高い品質、たとえば、より多くのキャプチャされた高解像度周波数画像コンテンツを有する、二次元画像のキャプチャをもたらす。そのような画像は、同じ量の光学情報が垂直次元と水平次元の両方においてキャプチャされるより均一な画像よりも好ましくないことがあるが、光がカメラに入るレンズ開口の最大長さよりもカメラが薄型であることを可能にするので、長円形絞りをサポートする光方向変換要素を使用することによって可能にされた薄型カメラ幅が望ましいことがある。したがって、そのような一実施形態では、カメラの厚さは、長円形または非円形のレンズ開口（絞り）の最大次元レンズ開口によって結合または制限されない。
非円形の絞り、たとえば、長円形の絞り、卵形の絞り、または他の非円形の絞りの使用は、より高い周波数画像情報が、他の次元においてよりも１次元において、たとえば非円形のレンズのより長い寸法に沿って、キャプチャされることをもたらすことができる。さまざまな実施形態では、１次元において他の次元よりも狭いレンズおよび／または有効絞りから生じる異なる方向における高周波数情報の差を補うために、より高い解像度次元の異なる方位を有する複数の光学チェーンが使用される。異なる方位を有する光学チェーンは、画像内の最高解像度次元の異なる方向（たとえば、水平、垂直、斜め）を有する画像をキャプチャし、カメラは垂直方位にあり、カメラレンズは前を向いている。
そのような一実施形態では、異なる光学チェーンによってキャプチャされた画像は、結合された画像すなわち合成画像を形成するために結合される。たとえば異なる光学チェーンによって同時にキャプチャされた、異なる次元における異なる量の高周波数情報と画像を結合することによって理解されるべきであるように、結合された画像は、丸くない絞り停止具を有する光学チェーンによって１次元においてキャプチャされる、より低い周波数情報によって制限される必要はない。これは、異なる光学チェーン、たとえば、他の光学チェーンが経験する次元におけるより高い周波数情報のキャプチャを可能にすることができる方位を有する光学チェーンによってキャプチャされた画像は、他の光学チェーンによってキャプチャされた画像の弱点を補うために使用可能であるからである。一例として、両方とも丸くない絞り、たとえば長円形の絞りを有する２つの光学チェーンがある場合、第１の光学チェーンの方位は、第１の光学チェーンの絞りが水平次元においてより大きく、第１の光学チェーンによってキャプチャされる画像に水平方向においてより高い解像度を与えるようなものであってよく、第２の光学チェーンの方位は、対応して、より高い垂直解像度を有する画像をキャプチャするようなものであってよい。２つの画像は、垂直方向と水平方向の両方でより高い解像度を有する単一の合成画像に結合可能であり、いくつかの実施形態では、結合される。
したがって、丸くない絞りを有するが異なる方位を有する複数の光学チェーンを使用し、そのような光学チェーンによってキャプチャされた画像を結合することによって、その直径が通常ならばカメラの奥行きによって限定されるであろうより小さい丸い絞りの使用によって画像の品質（鮮鋭度）が制限されることなく、比較的薄いカメラが実施可能である。
いくつかの実施形態では、丸くないレンズが、画像を並行してキャプチャするために使用される複数の光学チェーンの最も外側のレンズとして使用され、次いで、これらの画像は、結合された画像を形成するために結合される。丸くないレンズは、長円形レンズを形成するために、丸いレンズの一部分、たとえば左部分と右部分とを切除することによって形成され得る。他の実施形態では、丸いレンズの一部分は、適用されるマスクまたはレンズが取り付けられて長円形の絞りを有するレンズを形成するカメラハウジングの一部分によってマスキングされる。さらに他の実施形態では、丸い外側レンズが使用され、光方向変換デバイスは、丸いレンズを通過するすべての光がセンサに方向変換されるとは限らないようなサイズおよび形状である。そのような実施形態では、光方向変換デバイスは、光学的光路に対する制約として動作し、センサへと通過する光に対する絞り停止具、たとえば光制約の点になる。したがって、さまざまな実施形態では、長円形のレンズは絞り停止具として働き、長円形の絞りは光学チェーンの光路上の収縮点となるが、他の実施形態では、光方向変換要素は、光路に対する制約および光学チェーン内の絞り停止具として働き、有効絞りは、外側レンズが丸いことがあるという事実にもかかわらず、形状が長円形である。
エリアの複数の画像を同時にキャプチャするために複数の光学チェーンを使用する方法および装置が説明される。次いで、複数のキャプチャされた画像が、結合された画像を形成するために結合され得、いくつかの実施形態では、結合される。結合された画像は、さまざまな実施形態では、通常、光学チェーンのうちの単一のチェーンのみを使用して達成されるであろうよりも高い品質である。
さまざまな実施形態は、一般に高品質の大きなレンズの単一の光学チェーンカメラ実装形態とともに使用されるよりも小さいおよび／または低コストの構成要素を使用して通常実施可能である複数の光学チェーンの使用によって、大きなレンズおよび／または大きな高品質センサの使用に関連付けられる利益の多くを提供する。
さまざまな実施形態では、光学チェーンたとえばカメラモジュールは、１つまたは複数のレンズと光方向変換デバイスとセンサとを含む要素の組み合わせを含む。光方向変換デバイスは分光器（light diverter）であり、さまざまな形をとってよく、たとえば、光方向変換デバイスは鏡またはプリズムであってよい。光方向変換デバイスは、光方向変換デバイスを移動させることによって光学チェーンが向く角度およびしたがって方向が変更されることを可能にするようにヒンジ結合され得る。
少なくともいくつかの実施形態では、異なる方位を有する丸くない絞りを有する異なる光学チェーンによってキャプチャされる画像が結合される。いくつかの実施形態では、異なる方位を有する２つ、３つ、またはそれ以上、たとえば６つまたはそれ以上の光学チェーンからの画像は、単一の結合された画像を形成するために結合される。いくつかの実施形態では、異なる方位を有する光学チェーンからの画像が結合されるが、説明の目的で、同じ方位を有する複数の光学チェーンによってキャプチャされた画像は、たとえば、カメラの底部たとえば水平線に対して異なる方位を有する光学チェーンによってキャプチャされた１つまたは複数の画像と結合可能であることを理解されたい。したがって、異なる光学チェーンからの画像を結合することによって、多数の利点が達成可能であり、複数の小さいレンズが使用されることを可能にし、単一の大きい丸いレンズを使用するシステムと比較して、比較的薄いカメラハウジングが可能である。
さまざまな実施形態では、複数の光学チェーンの外側レンズが固定され、したがって、多くの従来のズームカメラデバイスとは異なり、そのような実施形態では、外側レンズ、すなわち、カメラの面上のレンズは、カメラ本体から移動せず、ズーム動作中ですらカメラの面に対して固定される。最も外側のレンズは、いくつかの実施形態では、ゼロまたはごくわずかの屈折率を有し、外側レンズが対応する光学チェーンに埃が入るのを防ぐカバーとして主に働き得る。外側レンズは、そのような実施形態では、平坦なガラスまたはプラスチックを使用して実施され得る。いくつかの実施形態では、カメラが保管して置かれ、カメラデバイスが使用可能であるとき摺動されて戻るとき、摺動可能なカバーが外側レンズ上で摺動される。図１４は、レンズが見えるようにされ、レンズカバーを含むカメラグリップまたはハンドルとして使用可能であるその場合、ある位置へのカバーの摺動そのような一実施形態を示す。
いくつかの実施形態では、最も外側のレンズの一部分が、カメラデバイスの前面からカメラデバイスの表面を越えて延在し得るが、最も外側のレンズは、一般に、仮にあったとしても、カメラの厚さよりも小さい少量延在する。したがって、使用中ですら、レンズは、光学チェーンが取り付けられるカメラデバイスの面を著しく越えないように、通常、多くてもカメラデバイスの半分の厚さよりも小さく延在する。
すべてではないとしても多くの場合、写真を撮影するために使用されるカメラデバイスの光学チェーンモジュールのうちの１つまたは複数によってキャプチャされた現実世界の物体および／またはシーンを表す画像は、コンピュータ可読媒体たとえばＲＡＭもしくは他のメモリデバイス上にデジタル形式で保存され、および／または紙もしくは別の印刷可能媒体に印刷された画像の形で格納される。
静止画像キャプチャの文脈で説明されているが、本発明のカメラデバイスおよび光学チェーンモジュールはビデオをキャプチャするためにも使用可能であることを理解されたい。いくつかの実施形態では、ビデオシーケンスがキャプチャされ、ユーザは、たとえばビデオシーケンス内の、シーケンスのフレームに示される物体を、フォーカスエリアとして選択することができ、次いで、カメラデバイスは、光学チェーンモジュールを使用して１つまたは複数の画像をキャプチャする。いくつかの実施形態では、画像は、１つまたは複数の画像たとえばフレームを生成するために結合する。結合された画像たとえばフレームのシーケンスは生成され得、いくつかの実施形態では、生成され、たとえば、いくつかまたはすべての個々のフレームは、同時にキャプチャされた複数の画像に対応するが、異なるフレームは、異なる時間にキャプチャされた画像に対応する。
異なる光学チェーンモジュールは、異なる量の光ために、をキャプチャするいくつかの実施形態では異なる露光時間を使用してように制御され得、場合によっては、制御され、キャプチャされた画像は、その後、単一の露光時間を使用して達成されるであろうよりも大きいダイナミックレンジを有する画像を作り出すために結合され、同じまたは類似の効果は、同じ露光時間を有する異なる光学チェーン上での異なるフィルタの使用によって達成され得、いくつかの実施形態では、達成される。たとえば、同じ露光時間であるが異なるフィルタを使用することによって、異なる光学チェーンモジュールのセンサは、異なる量の光が通過することを可能にする異なるフィルタにより異なる量の光を感知する。そのような一実施形態では、光学チェーンの露光時間は、同じ色に対応する異なる光学チェーンモジュールに対応する少なくともいくつかのフィルタが、異なる量の光が通過することを可能にすることによって、同じに保持される。カラーではない実施形態では、異なる暗さレベルの中性フィルタが、カラーフィルタリングされないセンサの前に使用される。いくつかの実施形態では、異なる暗さレベルのフィルタモードへの切り換えが、１つまたは複数の光学チェーンモジュール内の所定の位置に所望のフィルタを移動させるフィルタプラッタの単純な回転または移動によって達成される。
本発明のカメラデバイスは、複数の動作のモードと、異なる動作のモード間の切り換えとをサポートする。異なるモードは、エリアごとの異なる数の複数のレンズ、および／またはシーンエリアを並行してキャプチャするために使用される異なる光学チェーンのための異なる露光時間を使用してよい。異なる露光モードおよびフィルタモードもサポートされ、たとえばユーザ入力に基づいて、切り換えられてよい。
多数の追加変形形態および組み合わせが、本発明の範囲内にとどまりながら、可能である。
本発明の技法は、ソフトウェア、ハードウェア、および／またはソフトウェアとハードウェアの組み合わせを使用して実施され得る。本発明は、装置、たとえば、専用カメラデバイス、携帯電話、および／または１つまたは複数のカメラもしくはカメラモジュールを含む他のデバイスを対象とする。本発明は、方法、たとえば、本発明により、カメラ、カメラを含むデバイス、カメラモジュールなどを制御および／または動作させる方法も対象とする。本発明はまた、本発明による１つまたは複数のステップを実施するように機械を制御するための機械可読命令を含む、機械可読媒体、たとえば、ＲＯＭ、ＲＡＭ、ＣＤ、ハードディスクなどを対象とする。
さまざまな実施形態では、本明細書で説明されるデバイスは、本発明の１つまたは複数の方法に対応するステップ、たとえば、画像キャプチャの制御および／または画像の結合を実行するために、１つまたは複数のモジュールを使用して実施される。したがって、いくつかの実施形態では、本発明のさまざまな特徴が、モジュールを使用して実施される。そのようなモジュールは、ソフトウェア、ハードウェア、またはソフトウェアとハードウェアの組み合わせを使用して実施され得る。ハードウェア実装形態の場合、ハードウェア内で実施される実施形態は、モジュールの一部またはすべてとして、回路を使用し得る。あるいは、モジュールは、１つまたは複数の回路とレンズおよび／または他のハードウェア要素などの光学素子の組み合わせとして、ハードウェア内で実施され得る。したがって、少なくともいくつかの実施形態では、１つまたは複数のモジュールが、場合によっては、すべてのモジュールが、ハードウェア内で完全に実施される。上記で説明された方法または方法ステップの多くは、たとえば１つまたは複数のノード内で、上記で説明された方法のすべてまたは一部分を実施するように、機械、たとえば、追加ハードウェアを持つまたは持たないカメラデバイスまたは汎用コンピュータを制御するために、メモリデバイス、たとえば、ＲＡＭ、フロッピー（登録商標）ディスクなどの機械可読媒体に含まれる、ソフトウェアなどの機械実行可能命令を使用して実施可能である。したがって、とりわけ、本発明は、機械、たとえば、プロセッサおよび関連ハードウェアに、上記で説明された方法のステップのうちのたとえば１つもしくは複数もしくはすべてを実行させる、または、上記で説明された方法のステップのうちのたとえば１つもしくは複数もしくはすべてを実行するように機械を制御するための機械実行可能命令を含む機械可読媒体を対象とする。
カメラの文脈で説明されているが、本発明の方法および装置のうちの少なくともいくつかは、タブレットを含む広範囲の画像キャプチャシステムおよび画像キャプチャ機能をサポートまたは提供する携帯電話デバイスに適用可能である。本明細書で説明されるカメラデバイスによってキャプチャされる画像は、工事現場に関する、事故における、および／または家屋の状況に関する情報であろうと乗り物の状況に関する情報であろうと個人情報を保存するための、状況を文書化するために有用な、現実世界の画像であってよい。
キャプチャされる画像および／または合成画像は、カメラデバイス上で表示され得、または個人記録もしくは業務記録の一部としてファイル内に維持可能な写真もしくは永久文書として印刷するためにプリンタに送られ得、場合によっては、表示され、送られる。
上記で説明される本発明の方法および装置に関する多数の追加の変形形態は、本発明の上記の説明に鑑みて、当業者には明らかであろう。そのような変形形態は、本発明の範囲内であると考えられるべきである。さまざまな実施形態では、カメラデバイスは、本発明の方法を実施するために、および／またはキャプチャされた画像もしくは生成された合成画像を格納または表示のために他のデバイスに移送するために、デジタルカメラ、ビデオカメラ、ノートブックコンピュータ、携帯情報端末（ＰＤＡ）、または受信機／送信機回路とロジックおよび／またはルーチンとを含む他のポータブルデバイスとして実施される。
多数の追加変形形態および組み合わせが、本発明の範囲内にとどまりながら、可能である。いくつかの実施形態で実施されるカメラは、使用中にカメラの前面を超えて延在せず、ポータブルハンドヘルドカメラまたはカメラを含むデバイスとして実施される、光学チェーンを有する。そのようなデバイスは、比較的平坦な前面を有し得、いくつかの実施形態では、これを有し、光学チェーンの前面で絞りを覆うために使用される最も外側のレンズまたは透明な、たとえば、（平坦なガラスまたはプラスチック）光学チェーンの覆いが固定される。しかしながら、他の実施形態では、レンズおよび／または光学チェーンの他の要素は、カメラデバイスの面を越えて延在し得、場合によっては、延在する。
さまざまな実施形態では、カメラデバイスは、本発明の方法を実施するために、および／またはキャプチャされた画像もしくは生成された合成画像を格納または表示のために他のデバイスに移送するために、デジタルカメラ、ビデオカメラ、ノートブックコンピュータ、携帯情報端末（ＰＤＡ）、または受信機／送信機回路とロジックおよび／またはルーチンとを含む他のポータブルデバイスとして実施される。
多数の追加実施形態が、上記で説明された特徴の範囲内にとどまりながら、可能である。

Claims (61)

  1. 第１のセンサを含む第１の光学チェーンと第２のセンサを含む第２の光学チェーンとを少なくとも含むカメラデバイスを使用して画像をキャプチャする方法であって、前記第１の光学チェーンは前記第２の光学チェーンよりも小さい焦点距離を有する方法であり、前記方法は、
    前記第２の光学チェーンの前記第２のセンサを、前記第２のセンサの連続画素要素行に対応する画素要素の合同読み出しを実行するように制御するか、それとも前記第２のセンサの画素要素の連続行の個別読み出しを実行するように制御するかの決定を、ｉ）ユーザ入力、またはｉｉ）決定された動きの速度のうちの少なくとも１つに基づいて行うこと
    を備える方法。
  2. 前記第１のセンサの画素値を読み出すように前記第１のセンサを制御することと、
    前記第２のセンサの連続画素要素行に対応する画素要素の合同読み出しを実行する、または前記第２のセンサの画素要素の連続行の個別読み出しを実行する前記決定に従って、前記第２のセンサの画素要素の画素値を読み出すように前記第２のセンサを制御することと
    をさらに備える、請求項１に記載の方法。
  3. 前記第１の焦点距離が前記第２の焦点距離よりも小さい、請求項２に記載の方法。
  4. 画素値を読み出すように前記第２のセンサを制御することが、前記第１のセンサの少なくともいくつかの画素値の読み出しと並行して画素値を読み出すように前記第２のセンサを制御することを含む、請求項２に記載の方法。
  5. 決定を行う前記ステップがユーザ入力に基づき、前記ユーザ入力が、高速の動作の動きモードまたは動作の高解像度モードを示し、決定を行う前記ステップは、
    ｉ）前記ユーザ入力が、高速の動作の動きモードの選択を示すとき、前記第２のセンサの連続画素要素行に対応する画素要素の合同読み出しを実行することを決定することと、
    ｉｉ）前記ユーザ入力が、動作の高解像度動きモードの選択を示すとき、前記第２のセンサの画素要素の連続行の個別読み出しを実行することを決定することと
    を含むユーザ入力に基づく、請求項２に記載の方法。
  6. 決定を行う前記ステップが動きの速度に基づき、決定を行う前記ステップが、
    ｉ）前記動きの速度が第１の閾値を上回るとき、前記第２のセンサの連続画素要素行に対応する画素要素の合同読み出しを実行することを決定することと、
    ｉｉ）前記動きの速度が前記第１の閾値を下回るとき、前記第２のセンサの画素要素の連続行の個別読み出しを実行することを決定することと
    を含む、請求項４に記載の方法。
  7. 前記カメラデバイスの光学チェーンによって順次キャプチャされた画像から前記動きの速度を決定すること
    をさらに備える、請求項６に記載の方法。
  8. 前記決定することが、第１の時間期間中にキャプチャされた画像と前記第１の時間期間に続く第２の時間期間中にキャプチャされた画像との差に基づいて前記動きの速度を決定することを含む、請求項７に記載の方法。
  9. 前記決定が、前記第２のセンサの連続画素要素行に対応する画素要素の合同読み出しを実行する決定であるとき、連続画素要素行に対応する画素要素の合同読み出しを実行するように、前記第２の光学チェーンと同じ焦点距離を有する第３の光学チェーンに対応する第３のセンサを制御することをさらに備え、前記第３のセンサが、前記第２のセナーの読み出しが完了した後であるが前記第１のセンサの前記読み出しの完了の前に画素値の少なくともいくつかの行を合同で読み出すように制御される、
    請求項２に記載の方法。
  10. 前記決定が、前記第２のセンサの連続画素要素行に対応する画素要素の合同読み出しを実行する決定であるとき、第１の焦点距離と第２の焦点距離の比の関数として合同読み取りにおいて読み出されることになる画素要素の行の数を制御すること
    をさらに備える、請求項２に記載の方法。
  11. 前記決定が、前記第２のセンサの画素要素の連続行の個別読み出しを実行する決定であるとき、第２の焦点距離と第１の焦点距離の比の関数である速度で前記第１のセンサの画素要素の画素値を読み出すように前記第１のセンサを制御すること
    をさらに備える、請求項２に記載の方法。
  12. 第１のセンサを含み、第１の焦点距離を有する第１の光学チェーンと、
    第２のセンサを含み、第２の焦点距離を有する第２の光学チェーンと、前記第１の焦点距離は前記第２の焦点距離よりも小さい、
    前記第２の光学チェーンの前記第２のセンサを、前記第２のセンサの連続画素要素行に対応する画素要素の合同読み出しを実行するように制御するか、それとも前記第２のセンサの画素要素の連続行の個別読み出しを実行するように制御するかの決定を、ｉ）ユーザ入力、またはｉｉ）決定された動きの速度のうちの少なくとも１つに基づいて行うように構成された読み出し制御決定モジュールと
    を備えるカメラデバイス。
  13. ｉ）前記第１のセンサの画素値を読み出すように前記第１のセンサを制御し、
    ｉｉ）前記読み出し制御決定に従って前記第２のセンサの画素要素の画素値を読み出すように前記第２のセンサを制御する
    ように構成されたセンサ読み出し制御モジュール
    をさらに備える、請求項１２に記載のカメラデバイス。
  14. 前記第１の焦点距離が前記第２の焦点距離よりも小さい、請求項１３に記載のカメラデバイス。
  15. 前記センサ読み出し制御モジュールが、画素値を読み出すように前記第２のセンサを制御することの一部として、前記第１のセンサの少なくともいくつかの画素値の読み出しと並行して画素値を読み出すように前記第２のセンサを制御する、請求項１３に記載のカメラデバイス。
  16. 動作の自動モード、動作の高速動きモード、または動作の高解像度モードを示すユーザ入力を受け取るように構成されたユーザ入力インターフェースと、
    受け取られたユーザ入力に応答して動作のモードに前記カメラデバイスを設定するように構成されたモード制御モジュールと
    をさらに備え、
    ここにおいて、前記読み出し制御決定モジュールは、受け取られたユーザ入力が動作の自動モードを示すとき、前記カメラデバイスによってキャプチャされた画像において検出される動きの速度に基づいて前記決定を行うように構成される、
    請求項１３に記載のカメラデバイス。
  17. 前記読み出し制御決定モジュールが、
    ｉ）前記動きの速度が第１の閾値を上回るとき、前記第２のセンサの連続画素要素行に対応する画素要素の合同読み出しを実行することを決定し、
    ｉｉ）前記動きの速度が前記第１の閾値を下回るとき、前記第２のセンサの画素要素の連続行の個別読み出しを実行することを決定する
    ように構成される、請求項１５に記載のカメラデバイス。
  18. 前記カメラデバイスの光学チェーンによって順次キャプチャされた画像から前記動きの速度を決定するように構成された動き速度決定モジュール
    をさらに備える、請求項１７に記載のカメラデバイス。
  19. 前記動き速度決定モジュールが、第１の時間期間中にキャプチャされた画像と前記第１の時間期間に続く第２の時間期間中にキャプチャされた画像との差に基づいて前記動きの速度を決定する、請求項１８に記載のカメラデバイス。
  20. 前記センサ読み出し制御モジュールが、
    前記決定が、前記第２のセンサの連続画素要素行に対応する画素要素の合同読み出しを実行する決定であるとき、連続画素要素行に対応する画素要素の合同読み出しを実行するように、前記第２の光学チェーンと同じ焦点距離を有する第３の光学チェーンに対応する第３のセンサを制御するようにさらに構成され、前記第３のセンサが、前記第２のセンサの読み出しが完了した後であるが前記第１のセンサの前記読み出しの完了の前に画素値の少なくともいくつかの行を合同で読み出すように制御される、
    請求項１３に記載のカメラデバイス。
  21. 前記決定が、前記第２のセンサの連続画素要素行に対応する画素要素の合同読み出しを読み出す決定であるとき、前記第１の焦点距離と前記第２の焦点距離の比の関数として合同読み取りにおいて読み出されることになる画素要素の行の数を制御するように構成された合同読み出し制御モジュール
    をさらに備える、請求項１３に記載のカメラデバイス。
  22. 第１のセンサを含む、第２の光学チェーンよりも小さい焦点距離を有する第１の光学チェーンと、第２のセンサを含む前記第２の光学チェーンとを少なくとも含むカメラデバイスのプロセッサによって実行されたとき、
    前記第２の光学チェーンの前記第２のセンサを、前記第２のセンサの連続画素要素行に対応する画素要素の合同読み出しを実行するように制御するか、それとも前記第２のセンサの画素要素の連続行の個別読み出しを実行するように制御するかの決定を、ｉ）ユーザ入力、またはｉｉ）決定された動きの速度のうちの少なくとも１つに基づいて行うステップを実行するように前記カメラデバイスを制御するプロセッサ実行可能命令を含む非一時的な機械可読媒体。
  23. 前記プロセッサによって実行されたとき、
    前記第１のセンサの画素値を読み出すように前記第１のセンサを制御するステップと、
    前記第２のセンサの連続画素要素行に対応する画素要素の合同読み出しを実行するまたは前記第２のセンサの画素要素の連続行の個別読み出しを実行する前記決定に従って前記第２のセンサの画素要素の画素値を読み出すように前記第２のセンサを制御するステップと
    を実行するように前記カメラデバイスを制御するプロセッサ実行可能命令をさらに備える、請求項２２に記載の非一時的な機械可読媒体。
  24. 関心シーンエリアの一部分をスキャンするようにカメラデバイスを動作させる方法であって、
    前記関心シーンエリアの第１の縁から前記関心シーンエリアの第２の縁まで前記関心シーンエリアをスキャンするように複数の画像センサを制御することを備え、前記関心シーンエリアの前記第１の縁と前記第２の縁が平行であり、前記スキャンすることが、前記関心シーンエリアの前記第１の縁から前記第２の縁まで進むスキャン位置に従って画像キャプチャを制御することを含み、前記制御することが、第１の画像センサが、現在のスキャン位置に対応する画素値の行を有するとき、前記現在のスキャン位置に対応する画素値の行を読み出すためにローリングシャッターモードで前記複数の画像センサのうちの前記第１の画像センサを動作させることを含み、前記現在のスキャン位置が経時的に変化し、前記制御することが、第２の画像センサが、前記現在のスキャン位置に対応する画素値の行を有するとき、前記現在のスキャン位置に対応する画素値の行を読み出すためにローリングシャッターモードで前記複数の画像センサのうちの前記第２の画像センサを動作させることをさらに含み、前記第１の画像センサおよび前記第２の画像センサが前記関心シーンエリアの異なる部分の画像をキャプチャする、方法。
  25. 前記第１の画像センサが、前記第２の画像センサによってキャプチャされない前記関心シーンエリアの一部分の画像をキャプチャし、
    ここにおいて、前記第２の画像センサが、前記第１の画像センサによってキャプチャされない前記関心シーンエリアの一部分の画像をキャプチャする、請求項２４に記載の方法。
  26. 前記第１の画像センサおよび前記第２の画像センサがそれぞれ前記関心シーンエリアの第１の部分および第２の部分に対応し、前記関心シーンエリアの前記第１の部分の長さは、スキャンの方向において、前記関心シーンエリアの前記第２の部分の長さよりも大きく、前記制御することが、
    前記第２の画像センサの読み出しよりも長い持続時間を有するように前記第１の画像センサの読み出しの持続時間を制御すること
    をさらに含む、請求項２４に記載の方法。
  27. 前記第１の画像センサが、第１の焦点距離を有する光学チェーンに対応し、
    ここにおいて、前記第２の画像センサが、第２の焦点距離を有する光学チェーンに対応し、
    ここにおいて、前記制御することが、前記第１の画像センサおよび前記第２の画像センサが対応する個々の光学チェーンの焦点距離の関数として、画素行が前記第１の画像センサおよび前記第２の画像センサから読み取られる速度を制御することを含む、請求項２４に記載の方法。
  28. 前記第１の画像センサの画素サイズが前記第２の画像センサの画素サイズと同じである、請求項２７に記載の方法。
  29. 前記第１の焦点距離が前記第２の焦点距離のＮ倍であり、前記第１の画像センサからの画素値の読み出しの持続時間を制御する前記ステップが、前記第２の画像センサから画素値の行が読み取られる速度よりもＮ倍速い速度で前記第１の画像センサから画素値の行を読み取ることを含む、請求項２８に記載の方法。
  30. 前記複数の画像センサが、前記関心シーンエリアの実質的に重複しない部分をキャプチャする複数の画像センサを含み、ここにおいて、前記複数の画像センサによってキャプチャされる前記関心シーンエリアの部分の合併が前記関心シーンエリアを対象とする、請求項２４に記載の方法。
  31. 前記第１の画像センサによってキャプチャされる前記関心シーンエリアの第１の部分が、前記第２の画像センサによってキャプチャされる前記関心シーンエリアの第２の部分に先行するスキャンロケーションで始まる、請求項２４に記載の方法。
  32. 前記複数の画像センサが５つのセンサを含み、そのうちの４つは前記関心シーンの実質的に重複しない部分をキャプチャし、ここにおいて、前記関心シーンエリアの前記第２の部分の第１から第４の異なるコーナー部分が、前記５つのセンサの前記残りの４つのセンサによってキャプチャされる前記関心シーンエリアの異なる対応する部分と重なる、請求項３１に記載の方法。
  33. 前記複数の画像センサが５つのセンサを含み、そのうちの４つは前記関心シーンエリアの４つの異なる部分をキャプチャし、前記関心シーンエリアの前記４つの異なる部分の各々の少なくとも１つのコーナーが、前記関心シーンエリアの前記４つの異なる部分のうちの他の３つによってキャプチャされる画像部分と重ならず、第５のセンサが前記関心シーンエリアの中心部分をキャプチャする、請求項３１に記載の方法。
  34. 前記複数の画像センサが第３の画像センサを含み、
    ここにおいて、前記第１の画像センサが前記関心シーンエリアの第１の部分をキャプチャし、
    ここにおいて、前記第２の画像センサが前記関心シーンエリアの第２の部分をキャプチャし、ここにおいて、前記関心シーンエリアの前記第１の部分と前記第２の部分が部分的に重複せず、
    ここにおいて、前記第３の画像センサが前記関心シーンエリア全体をキャプチャする、
    請求項２４に記載の方法。
  35. 複数の光学チェーンと、
    関心シーンエリアの第１の縁から前記関心シーンエリアの第２の縁まで前記関心シーンエリアをスキャンするように前記複数の光学チェーンに対応する複数の画像センサを制御するように構成されたセンサコントローラとを備え、前記関心シーンエリアの前記第１の縁と前記第２の縁が平行であり、前記センサコントローラが、前記スキャンの一部として、前記関心シーンエリアの前記第１の縁から前記第２の縁まで進むスキャン位置に従って画像キャプチャを制御し、前記センサコントローラが、第１の画像センサが、現在のスキャン位置に対応する画素値の行を有するとき、前記現在のスキャン位置に対応する画素値の行を読み出すようにローリングシャッターモードに前記複数の画像センサのうちの前記第１の画像センサを制御し、前記現在のスキャン位置が経時的に変化し、前記センサコントローラが、第２の画像センサが、前記現在のスキャン位置に対応する画素値の行を有するとき、前記現在のスキャン位置に対応する画素値の行を読み出すようにローリングシャッターモードで前記複数の画像センサのうちの前記第２の画像センサをさらに制御し、前記第１の画像センサおよび前記第２の画像センサが前記関心シーンエリアの異なる部分の画像をキャプチャする、
    カメラデバイス。
  36. 前記第１の画像センサが、前記第２の画像センサによってキャプチャされない前記関心シーンエリアの一部分の画像をキャプチャし、
    前記第２の画像センサが、前記第１の画像センサによってキャプチャされない前記関心シーンエリアの一部分の画像をキャプチャする、請求項３５に記載のカメラデバイス。
  37. 前記第１の画像センサおよび前記第２の画像センサがそれぞれ前記関心シーンエリアの第１の部分および第２の部分に対応し、前記関心シーンエリアの前記第１の部分の長さは、スキャンの方向において、前記関心シーンエリアの前記第２の部分の長さよりも大きく、前記センサコントローラが、
    前記第２の画像センサの読み出しよりも長い持続時間を有するように前記第１の画像センサの読み出しの持続時間を制御する
    ようにさらに構成される、請求項３５に記載のカメラデバイス。
  38. 前記第１の画像センサが、第１の焦点距離を有する光学チェーンに対応し、前記第２の画像センサが、第２の焦点距離を有する光学チェーンに対応し、
    ここにおいて、前記センサコントローラが、前記第１の画像センサおよび前記第２の画像センサが対応する個々の光学チェーンの焦点距離の関数として、画素行が前記第１の画像センサおよび前記第２の画像センサから読み取られる速度を制御するように構成される、請求項３５に記載のカメラデバイス。
  39. 前記複数の画像センサが、前記関心シーンエリアの実質的に重複しない部分をキャプチャする複数の画像センサを含み、ここにおいて、前記複数の画像センサによってキャプチャされる前記関心シーンエリアの部分の合併が前記関心シーンエリアを対象とする、請求項３５に記載のカメラデバイス。
  40. 前記第１の画像センサによってキャプチャされる前記関心シーンエリアの第１の部分が、前記第２の画像センサによってキャプチャされる前記関心シーンエリアの第２の部分に先行するスキャンロケーションで始まる、請求項３５に記載のカメラデバイス。
  41. 前記複数の画像センサが５つのセンサを含み、そのうちの４つは前記関心シーンの実質的に重複しない部分をキャプチャし、ここにおいて、前記関心シーンエリアの前記第２の部分の第１から第４の異なるコーナー部分が、前記５つのセンサの残りの４つのセンサによってキャプチャされる前記関心シーンエリアの異なる対応する部分に重複する、請求項４０に記載のカメラデバイス。
  42. 前記複数の画像センサが第３の画像センサを含み、
    ここにおいて、前記第１の画像センサが前記関心シーンエリアの第１の部分をキャプチャし、
    ここにおいて、前記第２の画像センサが前記関心シーンエリアの第２の部分をキャプチャし、ここにおいて、前記関心シーンエリアの前記第１の部分と前記第２の部分が部分的に重複せず、
    ここにおいて、前記第３の画像センサが前記関心シーンエリア全体をキャプチャする、
    請求項３５に記載のカメラデバイス。
  43. コンピュータ実行可読命令を備え、
    プロセッサによって実行されるとき、関心シーンエリアの第１の縁から前記関心シーンエリアの第２の縁まで前記関心シーンエリアをスキャンするように複数の画像センサを制御する命令を備え、前記関心シーンエリアの前記第１の縁と前記第２の縁が平行であり、前記スキャンすることが、前記関心シーンエリアの前記第１の縁から前記第２の縁まで進むスキャン位置に従って画像キャプチャを制御することを含み、前記命令が、前記プロセッサに、第１の画像センサが現在のスキャン位置に対応する画素値の行を有するとき、前記現在のスキャン位置に対応する画素値の行を読み出すようにローリングシャッターモードで前記複数の画像センサのうちの前記第１の画像センサを制御させることを含み、前記現在のスキャン位置が経時的に変化し、前記命令が、前記プロセッサに、第２の画像センサが前記現在のスキャン位置に対応する画素値の行を有するとき、前記現在のスキャン位置に対応する画素値の行を読み出すようにローリングシャッターモードで前記複数の画像センサのうちの前記第２の画像センサをさらに制御させ、前記第１の画像センサおよび前記第２の画像センサが前記関心シーンエリアの異なる部分の画像をキャプチャする、非一時的なコンピュータ可読媒体。
  44. 関心シーンエリアに対応する画像をキャプチャする方法であって、
    前記関心シーンエリアの一部分に対応する画素値を同時に読み出すように複数の光学チェーンを制御することを備え、前記複数の光学チェーンが、第１の焦点距離を有する第１の光学チェーンと第２の焦点距離を有する第２の光学チェーンとを含み、前記第２の焦点距離が前記第１の焦点距離と異なり、前記関心シーンエリアの異なる部分が異なる時刻に読み出される、方法。
  45. 前記制御することが、前記第１の光学チェーンに含まれる第１の画像センサおよび前記第２の光学チェーンに含まれる第２の画像センサの同期されたローリングシャッター読み出しを実施することを含む、請求項４４に記載の方法。
  46. 前記第１の光学チェーンの前記第１の画像センサの上縁が、前記第１の画像センサの前記ローリングシャッター読み出しの一部として最初に読み出される画素値の行に対応し、前記ローリングシャッター読み出しが、前記第１の画像センサの前記上縁で始まり前記第１の画像センサの下縁まで進む画素値の行の順次読み出しを含み、
    ここにおいて、前記第２の光学チェーンの前記第２の画像センサの上縁が、前記第２の画像センサのローリングシャッター読み出しの一部として最初に読み出される画素値の行に対応し、前記第２の画像センサの前記ローリングシャッター読み出しが、前記第２の画像センサの前記上縁で始まり前記第２の画像センサの下縁まで進む画素値の行の順次読み出しを含み、前記第１の画像センサと前記第２の画像センサのスキャン方向が同じである、請求項４５に記載の方法。
  47. 前記第１の画像センサと前記第２の画像センサが同じ数の画素の行を含み、
    ここにおいて、前記関心シーンエリアの一部分に対応する画素値を同時に読み出すように複数の光学チェーンを制御することが、前記第１の光学チェーンおよび前記第２の光学チェーンの焦点距離の関数として前記第１の画像センサおよび前記第２の画像センサの読み出し速度を制御することを含む、
    請求項４６に記載の方法。
  48. 前記第１の光学チェーンの前記第１の焦点距離が前記第２の光学チェーンの前記第２の焦点距離よりも大きく、前記方法が、
    前記第２の焦点距離と前記第１の焦点距離の比に前記第２の画像センサ内の画素の同じ数の行を読み出すために使用される時間の量をかけたものとして算出される時間の期間内に前記第１の画像センサ内の画素のいくつかの行を読み出すように前記第１の画像センサを制御すること
    を備える、請求項４７に記載の方法。
  49. 前記第１の焦点距離が前記第２の焦点距離の２倍であり、
    ここにおいて、前記第２の画像センサが、前記第１の画像センサを完全に読み出すために使用される第１の時間期間の２倍の長さである時間期間にわたって完全に読み出される、
    請求項４８に記載の方法。
  50. 前記関心シーンエリアの一部分に対応する画素値を同時に読み出すように前記複数の光学チェーンを制御することが、
    画素値の最後の行が前記第１の画像センサから読み出された後、前記関心シーンエリアの第３の部分に対応する画素値を読み出すように第３の光学チェーンの第３の画像センサを制御すること
    をさらに備え、
    ここにおいて、前記第１の画像センサが前記関心シーンエリアの第１の部分をキャプチャし、
    ここにおいて、前記第２の画像センサが、前記第１の部分よりも大きい前記関心シーンエリアの第２の部分をキャプチャし、
    ここにおいて、前記関心シーンエリアの前記第３の部分が、前記関心シーンエリアの前記第１の部分の下方に位置決めされる、
    請求項４９に記載の方法。
  51. 前記第２の画像センサ（より小さい焦点距離画像センサが、より大きい画像エリアをキャプチャする）が、前記第１の画像センサおよび前記第３の画像センサがキャプチャするのと少なくとも実質的に同じ画像エリアを、しかし前記第１の画像センサおよび前記第３の画像センサのいずれかの個々の読み出し時間よりも長い読み出し時間中に、キャプチャする、
    請求項５０に記載の方法。
  52. 関心シーンエリアに対応する画像をキャプチャするカメラデバイスであって、
    複数の光学チェーンと、
    前記関心シーンエリアの一部分に対応する画素値を同時に読み出すように前記複数の光学チェーンを制御するように構成されたコントローラとを備え、前記複数の光学チェーンが、第１の焦点距離を有する第１の光学チェーンと第２の焦点距離を有する第２の光学チェーンとを含み、前記第２の焦点距離が前記第１の焦点距離と異なり、前記関心シーンエリアの異なる部分が異なる時刻に読み出される、カメラデバイス。
  53. 前記コントローラが、前記第１の光学チェーンに含まれる第１の画像センサおよび前記第２の光学チェーンに含まれる第２の画像センサの同期されたローリングシャッター読み出しを実施するように構成される、請求項５２に記載のカメラデバイス。
  54. 前記第１の光学チェーンの前記第１の画像センサの上縁が、前記第１の画像センサの前記ローリングシャッター読み出しの一部として最初に読み出される画素値の行に対応し、前記ローリングシャッター読み出しが、前記第１の画像センサの前記上縁で始まり前記第１の画像センサの下縁まで進む画素値の行の順次読み出しを含み、
    ここにおいて、前記第２の光学チェーンの前記第２の画像センサの上縁が、前記第２の画像センサのローリングシャッター読み出しの一部として最初に読み出される画素値の行に対応し、前記第２の画像センサの前記ローリングシャッター読み出しが、前記第２の画像センサの前記上縁で始まり前記第２の画像センサの下縁まで進む画素値の行の順次読み出しを含み、前記第１の画像センサと前記第２の画像センサのスキャン方向が同じである、請求項５３に記載のカメラデバイス。
  55. 前記第１の画像センサと前記第２の画像センサが同じ数の画素の行を含み、
    ここにおいて、前記コントローラが、前記関心シーンエリアの一部分に対応する画素値を同時に読み出すように複数の光学チェーンを制御するように構成されることの一部として、前記第１の光学チェーンおよび前記第２の光学チェーンの焦点距離の関数として、前記第１の画像センサおよび前記第２の画像センサの読み出し速度を制御するように構成される、
    請求項５４に記載のカメラデバイス。
  56. 前記第１の焦点距離が前記第２の焦点距離よりも大きく、
    ここにおいて、前記コントローラが、前記第２の焦点距離と前記第１の焦点距離の比に前記第２の画像センサ内の画素の同じ数の行を読み出すために使用される時間の量をかけたものとして算出される時間の期間内に前記第１の画像センサ内の画素のいくつかの行を読み出すように前記第１の画像センサを制御するようにさらに構成される、請求項５５に記載のカメラデバイス。
  57. 前記第１の焦点距離が前記第２の焦点距離の２倍であり、
    ここにおいて、前記コントローラが、前記第１の画像センサを完全に読み出すために使用される第１の時間期間の２倍の長さである時間期間にわたって完全に読み出されるように前記第２の画像センサを制御するようにさらに構成される、
    請求項５６に記載のカメラデバイス。
  58. ここにおいて、前記第１の画像センサが前記関心シーンエリアの第１の部分をキャプチャし、
    ここにおいて、前記第２の画像センサが、前記第１の部分よりも大きい前記関心シーンエリアの第２の部分をキャプチャし、
    ここにおいて、前記コントローラが、画素値の最後の行が前記第１の画像センサから読み出された後、前記関心シーンエリアの第３の部分に対応する画素値を読み出すように第３の光学チェーンの第３の画像センサを制御するようにさらに構成され、前記関心シーンエリアの前記第３の部分が前記関心シーンエリアの前記第１の部分の下方に位置決めされる、
    請求項５７に記載のカメラデバイス。
  59. 前記第２の画像センサが、前記第１の画像センサおよび前記第３の画像センサがキャプチャするのと少なくとも実質的に同じ画像エリアを、しかし前記第１の画像センサおよび前記第３の画像センサのいずれかの個々の読み出し時間よりも長い読み出し時間中に、キャプチャする、
    請求項５８に記載のカメラデバイス。
  60. コンピュータ実行可能命令を備え、
    プロセッサによって実行されるとき、前記関心シーンエリアの一部分に対応する画素値を同時に読み出すように複数の光学チェーンを制御する命令を備え、前記複数の光学チェーンが、第１の焦点距離を有する第１の光学チェーンと第２の焦点距離を有する第２の光学チェーンとを含み、前記第２の焦点距離が前記第１の焦点距離と異なり、前記関心シーンエリアの異なる部分が異なる時刻に読み出される、非一時的なコンピュータ可読媒体。
  61. 前記プロセッサによって実行されるとき、前記関心シーンエリアの一部分に対応する画素値を同時に読み出すように前記複数の光学チェーンを制御する前記命令が、前記第１の光学チェーンに含まれる第１の画像センサおよび前記第２の光学チェーンに含まれる第２の画像センサの同期されたローリングシャッター読み出しを実施するための命令を含む、
    請求項６０に記載の非一時的なコンピュータ可読媒体。
JP2016524463A 2013-10-18 2014-10-17 画像キャプチャ制御方法および装置 Pending JP2016540417A (ja)

Applications Claiming Priority (31)

Application Number Priority Date Filing Date Title
US201361893100P 2013-10-18 2013-10-18
US61/893,100 2013-10-18
US201461978818P 2014-04-11 2014-04-11
US61/978,818 2014-04-11
US201461981849P 2014-04-20 2014-04-20
US61/981,849 2014-04-20
US201462021094P 2014-07-04 2014-07-04
US62/021,094 2014-07-04
US14/327,515 US9563033B2 (en) 2013-10-18 2014-07-09 Methods and apparatus for capturing images and/or for using captured images
US14/327,514 US9578252B2 (en) 2013-10-18 2014-07-09 Methods and apparatus for capturing images using optical chains and/or for using captured images
US14/327,492 US9851527B2 (en) 2013-10-18 2014-07-09 Methods and apparatus for capturing and/or combining images
US14/327,524 2014-07-09
US14/327,514 2014-07-09
US14/327,515 2014-07-09
US14/327,525 2014-07-09
US14/327,525 US9197816B2 (en) 2013-10-18 2014-07-09 Zoom related methods and apparatus
US14/327,510 US9325906B2 (en) 2013-10-18 2014-07-09 Methods and apparatus relating to a thin camera device
US14/327,510 2014-07-09
US14/327,512 2014-07-09
US14/327,524 US9423588B2 (en) 2013-10-18 2014-07-09 Methods and apparatus for supporting zoom operations
US14/327,518 2014-07-09
US14/327,512 US9557519B2 (en) 2013-10-18 2014-07-09 Methods and apparatus for implementing a camera device supporting a number of different focal lengths
US14/327,518 US9557520B2 (en) 2013-10-18 2014-07-09 Synchronized image capture methods and apparatus
US14/327,508 US9549127B2 (en) 2013-10-18 2014-07-09 Image capture control methods and apparatus
US14/327,517 2014-07-09
US14/327,517 US9551854B2 (en) 2013-10-18 2014-07-09 Methods and apparatus for controlling sensors to capture images in a synchronized manner
US14/327,508 2014-07-09
US14/327,492 2014-07-09
US14/516,568 US9374514B2 (en) 2013-10-18 2014-10-16 Methods and apparatus relating to a camera including multiple optical chains
US14/516,568 2014-10-16
PCT/US2014/061258 WO2015058157A1 (en) 2013-10-18 2014-10-17 Image capture control methods and apparatus

Publications (1)

Publication Number Publication Date
JP2016540417A true JP2016540417A (ja) 2016-12-22

Family

ID=56365886

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2016524463A Pending JP2016540417A (ja) 2013-10-18 2014-10-17 画像キャプチャ制御方法および装置
JP2016524434A Pending JP2016541151A (ja) 2013-10-18 2014-10-17 カメラデバイスを実施および／または使用するための方法および装置
JP2016524532A Withdrawn JP2016540418A (ja) 2013-10-18 2014-10-17 画像のキャプチャおよび／または結合のための方法および装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2016524434A Pending JP2016541151A (ja) 2013-10-18 2014-10-17 カメラデバイスを実施および／または使用するための方法および装置
JP2016524532A Withdrawn JP2016540418A (ja) 2013-10-18 2014-10-17 画像のキャプチャおよび／または結合のための方法および装置

Country Status (4)

Country Link
EP (3) EP3058713B1 (ja)
JP (3) JP2016540417A (ja)
KR (1) KR20160075583A (ja)
CN (3) CN105830424B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018533751A (ja) * 2015-08-19 2018-11-15 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ チャネル特有の調整可能性を有するマルチ開口撮像装置
JP2020525823A (ja) * 2017-06-30 2020-08-27 ポライト アーエスアー モバイル機器に組み込むための複数のカメラを有するモジュール

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9979890B2 (en) 2015-04-23 2018-05-22 Apple Inc. Digital viewfinder user interface for multiple cameras
US9854156B1 (en) 2016-06-12 2017-12-26 Apple Inc. User interface for camera effects
KR102558471B1 (ko) * 2016-07-27 2023-07-25 삼성전자주식회사 전자 장치 및 그의 동작 방법
US10984519B2 (en) * 2016-08-03 2021-04-20 Panduit Corp. Method for evaluating the optical insertion loss of a mechanical splice joint of two optical fibers
CN106657801B (zh) * 2016-10-26 2019-05-24 浙江大华技术股份有限公司 一种视频信息采集方法及装置
EP3516862A4 (en) 2016-10-26 2020-01-22 Zhejiang Dahua Technology Co., Ltd EXPOSURE CONTROL SYSTEMS AND METHODS
EP3579040B1 (en) * 2017-02-23 2021-06-23 Corephotonics Ltd. Folded camera lens designs
DE102017206429A1 (de) * 2017-04-13 2018-10-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung
DE102017208709B3 (de) * 2017-05-23 2018-10-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrrichtung und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
CN107343124B (zh) * 2017-08-08 2020-07-03 信利光电股份有限公司 一种摄像头
JP2019102889A (ja) * 2017-11-29 2019-06-24 株式会社デンソー カメラシステム
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
CN208386734U (zh) * 2018-06-14 2019-01-15 Oppo广东移动通信有限公司 摄像头模组和电子装置
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US10674072B1 (en) 2019-05-06 2020-06-02 Apple Inc. User interfaces for capturing and managing visual media
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
KR102075847B1 (ko) * 2018-11-14 2020-02-10 망고슬래브 주식회사 디지털 메모 생성 및 저장 장치 및 방법
KR101987922B1 (ko) 2019-01-08 2019-06-11 오은실 라이트 셀의 능동적 제어를 통한 자동 이미지 캡쳐 시스템
CN116990928A (zh) * 2019-02-25 2023-11-03 核心光电有限公司 相机及包括所述相机的多重相机
CN111901475A (zh) * 2019-05-06 2020-11-06 苹果公司 用于捕获和管理视觉媒体的用户界面
CN112887586B (zh) * 2019-05-06 2022-05-10 苹果公司 用于捕获和管理视觉媒体的用户界面
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
CN115299859A (zh) * 2021-03-03 2022-11-08 重庆金山医疗技术研究院有限公司 一种内窥镜系统
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
CN116132824B (zh) * 2023-04-13 2023-06-16 四川新视创伟超高清科技有限公司 一种图像分区转换方法、系统、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008022386A (ja) * 2006-07-14 2008-01-31 Casio Comput Co Ltd 撮像装置、及びそのズーム制御方法
WO2009098877A1 (ja) * 2008-02-06 2009-08-13 Panasonic Corporation 画像処理装置、及び画像処理方法
JP2013021730A (ja) * 2012-10-26 2013-01-31 Sony Corp 情報処理装置、表示装置、情報処理装置の制御方法およびプログラム
JP2013143753A (ja) * 2012-01-12 2013-07-22 Olympus Corp 撮像装置
WO2013108656A1 (ja) * 2012-01-16 2013-07-25 ソニー株式会社 固体撮像素子およびカメラシステム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11311819A (ja) * 1998-04-28 1999-11-09 Olympus Optical Co Ltd カメラの撮影レンズ
JP3463612B2 (ja) * 1999-01-21 2003-11-05 日本電気株式会社 画像入力方法、画像入力装置及び記録媒体
US6829011B1 (en) * 1999-09-02 2004-12-07 Olympus Optical Co., Ltd. Electronic imaging device
JP2003023553A (ja) * 2001-07-06 2003-01-24 Saibuaasu:Kk 遠隔操作カメラおよび画像提供装置
JP2003143459A (ja) * 2001-11-02 2003-05-16 Canon Inc 複眼撮像系およびこれを備えた装置
JP4635550B2 (ja) * 2004-10-04 2011-02-23 株式会社ニコン カメラ
JP2006267391A (ja) * 2005-03-23 2006-10-05 Mitsubishi Electric Corp 撮像装置
JP2008263251A (ja) * 2005-08-05 2008-10-30 Matsushita Electric Ind Co Ltd 監視カメラ装置
JP4448844B2 (ja) * 2006-11-22 2010-04-14 富士フイルム株式会社 複眼撮像装置
US20080247745A1 (en) * 2007-04-04 2008-10-09 Nilsson Rene Camera assembly with zoom imaging and method
CN101498821B (zh) * 2008-02-02 2010-12-22 华晶科技股份有限公司 镜头模组以及镜头模组的焦距调整方法
US8134589B2 (en) * 2008-07-17 2012-03-13 Eastman Kodak Company Zoom by multiple image capture
US9621825B2 (en) * 2008-11-25 2017-04-11 Capsovision Inc Camera system with multiple pixel arrays on a chip
FR2940720B1 (fr) * 2008-12-31 2011-03-18 St Microelectronics Sa Dispositif de saisie d'images comprenant des moyens de correction de mise au point
CN101833157A (zh) * 2009-03-13 2010-09-15 鸿富锦精密工业（深圳）有限公司 相机模组
US8553106B2 (en) * 2009-05-04 2013-10-08 Digitaloptics Corporation Dual lens digital zoom
US20100328471A1 (en) * 2009-06-24 2010-12-30 Justin Boland Wearable Multi-Channel Camera
JP2011138047A (ja) * 2009-12-28 2011-07-14 Olympus Imaging Corp 光路反射型のズームレンズを備えた撮像装置
WO2012089895A1 (en) * 2010-12-31 2012-07-05 Multitouch Oy Rolling shutter compensation in camera array
US9172856B2 (en) * 2011-03-29 2015-10-27 Microsoft Technology Licensing, Llc Folded imaging path camera
US9270875B2 (en) * 2011-07-20 2016-02-23 Broadcom Corporation Dual image capture processing
US20130258044A1 (en) * 2012-03-30 2013-10-03 Zetta Research And Development Llc - Forc Series Multi-lens camera
WO2015009237A1 (en) * 2013-07-17 2015-01-22 Heptagon Micro Optics Pte. Ltd. Camera module including a non-circular lens

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008022386A (ja) * 2006-07-14 2008-01-31 Casio Comput Co Ltd 撮像装置、及びそのズーム制御方法
WO2009098877A1 (ja) * 2008-02-06 2009-08-13 Panasonic Corporation 画像処理装置、及び画像処理方法
JP2013143753A (ja) * 2012-01-12 2013-07-22 Olympus Corp 撮像装置
WO2013108656A1 (ja) * 2012-01-16 2013-07-25 ソニー株式会社 固体撮像素子およびカメラシステム
JP2013021730A (ja) * 2012-10-26 2013-01-31 Sony Corp 情報処理装置、表示装置、情報処理装置の制御方法およびプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018533751A (ja) * 2015-08-19 2018-11-15 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ チャネル特有の調整可能性を有するマルチ開口撮像装置
US10732377B2 (en) 2015-08-19 2020-08-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Multi-aperture imaging device having channel-specific adjustability
JP2020525823A (ja) * 2017-06-30 2020-08-27 ポライト アーエスアー モバイル機器に組み込むための複数のカメラを有するモジュール
JP7144458B2 (ja) 2017-06-30 2022-09-29 ポライト アーエスアー モバイル機器に組み込むための複数のカメラを有するモジュール

Also Published As

Publication number Publication date
EP3058713B1 (en) 2021-01-27
KR20160075583A (ko) 2016-06-29
CN105829945B (zh) 2019-04-09
JP2016541151A (ja) 2016-12-28
JP2016540418A (ja) 2016-12-22
EP3058416A4 (en) 2017-06-07
EP3058416A1 (en) 2016-08-24
EP3058416B1 (en) 2019-11-20
CN105830425A (zh) 2016-08-03
CN105829945A (zh) 2016-08-03
EP3058714A1 (en) 2016-08-24
EP3058713A4 (en) 2017-11-15
CN105830424B (zh) 2018-12-11
EP3058714A4 (en) 2017-11-22
EP3058713A1 (en) 2016-08-24
CN105830424A (zh) 2016-08-03

Similar Documents

Publication Publication Date Title
US10120159B2 (en) Methods and apparatus for supporting zoom operations
US10274706B2 (en) Image capture control methods and apparatus
EP3058713B1 (en) Image capture control methods and apparatus
WO2015058156A1 (en) Methods and apparatus for capturing and/or combining images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171016

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190301

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190827