JP2016541151A - カメラデバイスを実施および／または使用するための方法および装置 - Google Patents

カメラデバイスを実施および／または使用するための方法および装置 Download PDF

Info

Publication number
JP2016541151A
JP2016541151A JP2016524434A JP2016524434A JP2016541151A JP 2016541151 A JP2016541151 A JP 2016541151A JP 2016524434 A JP2016524434 A JP 2016524434A JP 2016524434 A JP2016524434 A JP 2016524434A JP 2016541151 A JP2016541151 A JP 2016541151A
Authority
JP
Japan
Prior art keywords
image
camera
optical chain
focal length
optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016524434A
Other languages
English (en)
Inventor
ラロイア、ラジブ
Original Assignee
ザ ライト・コ インコーポレイテッド
ザ ライト・コ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/327,510 external-priority patent/US9325906B2/en
Priority claimed from US14/327,492 external-priority patent/US9851527B2/en
Priority claimed from US14/516,568 external-priority patent/US9374514B2/en
Application filed by ザ ライト・コ インコーポレイテッド, ザ ライト・コ インコーポレイテッド filed Critical ザ ライト・コ インコーポレイテッド
Publication of JP2016541151A publication Critical patent/JP2016541151A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00—Systems with reflecting surfaces, with or without refracting elements
    • G02B17/008—Systems specially adapted to form image relays or chained systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0055—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element
    • G02B13/0065—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element having a beam-folding prism or mirror
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00—Systems with reflecting surfaces, with or without refracting elements
    • G02B17/08—Catadioptric systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/04—Prisms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/28—Mobile studios

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Diaphragms For Cameras (AREA)
  • Exposure Control For Cameras (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

複数の光学チェーンを含むカメラデバイスに関する方法および装置が説明される。いくつかの特徴は、カメラデバイスにおいて広範囲の焦点距離をサポートするために異なるレンズ構成を有する光学チェーンを使用することを対象とする。少なくともいくつかの実施形態では、非円形の外側レンズが、大きい焦点距離を有する光学チェーンに使用されるが、より小さい焦点距離を有する同じカメラデバイスの光学チェーンは、丸い外側レンズを使用する。いくつかの特徴は、カメラの少なくとも１つの光学チェーンの外側レンズの最大長よりも小さい奥行きを有するカメラを実施することに関する。平行でない光軸を有する光学チェーンを使用した画像部分の画像キャプチャに関するいくつかの特徴が説明される。いくつかの特徴は、異なる焦点距離を有する光学チェーンを使用した画像部分の画像キャプチャに関する。いくつかの実施形態では、異なる光学チェーンによってキャプチャされたシーンの異なる部分が結合される。【選択図】図４６

Description

本出願は、画像をキャプチャ（capture）および生成する方法および装置に関し、より詳細には、複数の光学チェーンを含むカメラデバイスに関連した、および／または、たとえば１つもしくは複数の合成画像を生成するためにカメラデバイスの複数の光学チェーンの出力を処理する、方法および装置に関する。
高品質デジタルカメラは、大部分がフィルムカメラに取って代わっている。しかしながら、フィルムカメラと同様にデジタルカメラでも、カメラ業界によって、カメラ上で使用されるレンズのサイズおよび品質に大きな注目が集められている。品質の良い写真を撮影しようとする人々はさまざまな理由により、大型で嵩高く、多くの場合は高価であるレンズに投資するよう勧められることが多い。大きな絞りのレンズを使用する理由には、より小さな絞りのレンズと比較して大きな絞りのレンズ（aperture lens）が所与の時間期間内で大量の光をキャプチャできるということがある。望遠レンズは、大きな絞りという理由だけでなく、長い焦点距離という理由でも大きくなる傾向がある。一般に、焦点距離が長いほど、レンズも大きい。長い焦点距離は、写真撮影者に、遠く離れたところから写真を撮影する能力を与える。
高品質写真を実現するために、キャプチャ可能な光の量は、多くの場合、最終的な画質にとって重要である。大きな絞りのレンズを有することは、小さいレンズを使用して同じ量の光をキャプチャするために必要とされるであろうよりも短い露光時間の間に大量の光がキャプチャされることを可能にする。短い露光時間の使用は、特に動きのある画像に関して、ぼけを減少させることができる。大量の光をキャプチャできることは、光の少ない状況においてすら品質の良い画像の撮影を容易にすることもできる。さらに、大きな絞りのレンズを使用することは、肖像写真撮影のための小さな被写界深度などの芸術的な効果を有することを可能にする。
大きなレンズは、より小さなレンズと比較して比較的大量の光をキャプチャする能力に関する多数の利点を有し、光学的技法またはデジタル技法を使用して実施され得る大きなズーム範囲をサポートするために使用可能であり、多くの場合、焦点に対する良好な制御を可能にするが、大きなレンズを使用することには、多数の欠点もある。
大きなレンズは重い傾向があり、比較的頑丈で多くの場合に大きな支持構造が、カメラアセンブリのさまざまなレンズをアライメントされた状態に保つことを必要とする。大きなレンズの重い重量により、そのようなレンズを有するカメラの輸送は困難で、嵩張るものになる。そのうえ、大きなレンズを有する途方もないカメラの重量が、人々が短時間保持するのにうんざりするようになり得るということを考えれば、大きなレンズを有するカメラは、多くの場合、延長された時間期間にわたって三脚または他の支持物が使用されることを必要とする。
重量およびサイズの欠点に加えて、大きなレンズは高価であるという欠点も有する。これは、とりわけ、大きな高品質の光学部品を製造することと、カメラレンズを長年使用することがもたらすと予想されることを反映し得る時間期間にわたって適切なアライメントを維持するようにこれらの光学部品を包装することとの難しさによるものである。
デジタルカメラでは、センサとして使用される感光性電子回路たとえば光感知デバイスは、多くの場合、その各々が測定された強度レベルを記録する多数の単一センサ素子を備える、電荷結合素子（ＣＣＤ）画像センサまたは相補型金属酸化膜半導体（ＣＭＯＳ）画像センサのいずれかである。
多くのデジタルカメラでは、センサアレイは、配置内に赤色領域と緑色領域と青色領域とを有するパターン化されたカラーフィルタモザイクで覆われる。ベイヤーフィルタモザイクは、フォトセンサの正方形グリッド上にＲＧＢカラーフィルタを配置するための１つのよく知られているカラーフィルタアレイ（ＣＦＡ）である。カラーフィルタのその特定の配置は、多数のデジタル画像センサにおいて使用される。カラー画像をキャプチャするそのようなフィルタベースの手法では、各センサ素子は、光の単一の原色の強度を記録することができる。カメラは、次いで、デモザイシングと呼ばれることがあるプロセスによって、隣接するセンサ素子の色情報を正常に補間し、最終的な画像を作製する。カラーフィルタを使用するセンサアレイ内のセンサ素子は、センサ素子上で使用されるフィルタにより最終的なカラー画像の１チャネルのみ（赤色のみ、または緑色のみ、または青色のみ）を記録するにもかかわらず、多くの場合「画素」と呼ばれる。
カメラでは、光が通過できる丸いすなわち円形のレンズ（レンズ素子）、たとえば丸い絞りを有するレンズが一般に使用される。これは、光が、垂直方向と水平方向の両方（実際にはあらゆる方向）が等しいレンズを通過することを可能にする。１つまたは複数の丸いレンズが使用される光学チェーン内の素子は、多くの場合、カメラのセンサにおいて鮮明な画像を記録するのに十分な光を通過させるのに十分なサイズである。レンズにとって、光軸は、レンズの中央を通過し、レンズの平面に垂直な線である。レンズアセンブリが複数のレンズ素子から構築されるとき、素子は、一般的に、すべてが、レンズアセンブリの光軸でもある共通光軸を共有するように配置される。一般的な光学チェーン、たとえばカメラモジュールでは、光軸は、センサの中央も通過する。レンズアセンブリまたはカメラモジュールの光軸に沿って伝わる光は、経路に沿ったいかなるレンズによっても曲げられず、引き続き一直線の光軸に沿って伝わる。すべてのレンズ素子が円形の場合、そのようなカメラモジュールは、光軸を中心として円筒状に対称性を有する。ほとんどのカメラでは、カメラの光学素子は直線構成で配置され、光軸は、外側レンズを通って直線でセンサまで到達する。そのような構成は、比較的厚いカメラ、たとえば大きな前面から背面の距離すなわち奥行きを有するカメラをもたらすことができる。大きな光学部品を有するおよび／または機械的ズームをサポートするカメラでは、カメラの厚さは著しくなることがあり、カメラは、多くの場合、奥行きがありすぎてポケット、さらには場合によってはバッグにしまえない、数インチの厚さおよび遠さである。
カメラおよび他の光学系は、多くの場合、焦点距離に関して論じられる。光学系の焦点距離は、その系がどれくらい強く光を収束または発散させるかの尺度である。空気中の光学系において、焦点距離は、最初は平行にされた光線が焦点に導かれる距離である。より短い焦点距離を有する系は、長い焦点距離を有する系よりも大きな屈折力を有する。すなわち、より短い焦点距離を有する系は、光線をより強く曲げ、光線をより短距離で焦点に導く。多くの場合大きなレンズを使用して達成される、焦点距離が長いほど（屈折力が低いほど）、より高い倍率たとえばズームと、より狭い画角（被写界）とをもたらす。したがって、大きな、たとえば長い、焦点距離を有する、光学チェーンたとえばカメラモジュールは、より短い焦点距離を有する同じロケーションにおける光学チェーンよりもシーンエリアの小さい部分に対応する画像をキャプチャする。同じセンササイズの場合、より短い焦点距離またはより高い屈折力を有する光学チェーンは、より長い焦点距離を有する光学チェーンよりも広い画角と関連付けられ、したがって、より大きな焦点距離を有する、同じ位置における光学チェーンよりも、光学チェーンから同じ距離で、シーンエリアのより大きい部分に対応する画像をキャプチャすることを理解されたい。
レンズ素子の焦点距離は、一般に、丸い絞り、たとえば光が通過できる丸いエリアを有するレンズ素子レンズの場合、レンズサイズたとえば直径の関数ではない。デバイスの焦点距離は、デバイスを構成する１つまたは複数の光学素子たとえばレンズと、それらの相互作用に依存するので、光学チェーンまたは他の光学デバイスでは、デバイスの焦点距離は有効焦点距離と呼ばれることもある。良好な品質の鮮明な写真を撮影することは、有効焦点距離が長いとき、より大きい絞りのレンズ素子（より大きい直径のレンズ）を必要とする。
大きい焦点距離のレンズおよび大きい焦点距離を有する光学チェーンの使用は、多くの場合、提供できるズームの量（倍率）のために、望ましい。しかしながら、大きい焦点距離を有する光学チェーンを作り出すために通常使用される光学構成要素の使用は、特に、光軸に沿った光が最も外側のレンズから、レンズを通過する光に基づいて画像をキャプチャするために使用されるセンサまで直線状に通過するように、光学構成要素が配置される場合に、厚いカメラにつながる傾向がある。
上記の説明から、カメラデバイスが１つまたは複数の光学チェーンを使用するまたはこれを含むことを可能にする新しい方法および／または装置が必要とされていることが理解されよう。たとえば、たとえば大きい焦点距離を有する１つまたは複数の光学チェーンまたは要素をカメラが使用することを可能にするであろうがカメラは依然として比較的薄いフォーマットを有する方法および装置が開発されれば、望ましいであろう。
画像をキャプチャするために、および／または複数の光学チェーンを含むデバイスによってキャプチャされた画像を使用するために、１つまたは複数の光学チェーンをカメラが使用することを可能にする方法および装置も必要とされている。複数の光学チェーンを制御するために、および／またはカメラデバイスの複数の光学チェーンから取得された画像を処理するために、１つまたは複数の光学チェーンをカメラが使用することを可能にする方法および装置が開発されれば、望ましいであろう。
上記の必要性および／または問題のうちの１つまたは複数に対処する実施形態が望ましく、すべての実施形態が、個々の上記で説明された必要性または問題のすべてに対処する必要はない。
カメラデバイス内で光学チェーンたとえばカメラモジュールを使用することに関連するいくつかの特徴が説明される。いくつかの特徴によれば、カメラデバイス内の少なくともいくつかの光学チェーンは、異なるレンズ構成および／または焦点距離を有する。少なくともいくつかの実施形態では、カメラデバイスは複数の光学チェーンを含む。いくつかの実施形態では、複数の光学チェーンのうちのいくつかの焦点距離は、カメラデバイス内の他の光学チェーンと異なり、たとえばこれよりも大きい。いくつかの実施形態では、非円形の外側レンズが、大きい焦点距離を有する光学チェーンに使用されるが、より小さい焦点距離を有する同じカメラデバイスの光学チェーンは、丸い外側レンズを使用する。したがって、本明細書で説明されるさまざまな実施形態は、いくつかの異なる焦点距離をサポートするカメラデバイスに関する。いくつかの実施形態では、合成画像を生成するために結合され得、いくつかの実施形態では結合される、画像は、カメラの異なる焦点距離の光学チェーンを使用してキャプチャされる。
一実施形態による例示的なカメラデバイスは、第１の焦点距離と第１の非円形のレンズとを有する第１の光学チェーンと、第２の焦点距離と第２の非円形のレンズとを有する第２の光学チェーンとを含む。いくつかの実施形態では、例示的なカメラデバイスは、第３の焦点距離を有し丸いレンズを含む第３の光学チェーンをさらに含み、第３の焦点距離は、第１の焦点距離または第２の焦点距離よりも小さい。いくつかの実施形態では、第１の焦点距離と第２の焦点距離は同じである。いくつかの他の実施形態では、第１の焦点距離と第２の焦点距離は異なる。
例示的なカメラデバイスを動作させる例示的な方法は、第１の時間期間中にカメラの第１の光学チェーンを使用して第１の画像をキャプチャすることと、第１の光学チェーンは第１の焦点距離と第１の非円形のレンズとを有する、第１の時間期間中にカメラの第２の光学チェーンを使用して第２の画像をキャプチャすることと、第２の光学チェーンは第２の焦点距離と第２の非円形のレンズとを有する、を備える。いくつかの実施形態では、方法は、第３の焦点距離を有し丸いレンズを含む第３の光学チェーンを使用して第３の画像をキャプチャすること、第３の焦点距離は第１の焦点距離または第２の焦点距離よりも小さい、をさらに備える。
本明細書で説明されるいくつかの特徴は、薄いカメラデバイス、たとえば、カメラの少なくとも１つの光学チェーンの最も外側のレンズの最大長よりも小さい奥行きを有するカメラデバイスを実施することに関する。さまざまな実施形態では、薄いカメラデバイスは複数の光学チェーンを有する。いくつかの実施形態では、光学チェーンのうちの１つまたは複数は、非円形の絞りを有するレンズを含む。非円形の絞りを有するレンズは、カメラデバイスの本体内に取り付け可能であり、いくつかの実施形態では、取り付けられる。
一実施形態により実施される例示的なカメラデバイスは、厚さＤを有する前表面と後表面とを含むカメラハウジングと、ここで、Ｄは前表面と後表面との距離である、ｉ）第１の光方向変換デバイスと、ｉｉ）非円形の絞りを有する第１のレンズと、ｉｉｉ）センサとを含む、カメラハウジング内の第１の光学チェーンと、第１の光学チェーンは、光方向変換デバイスの前の第１の光軸部分と光方向変換デバイスからセンサまで延在する第２の光軸部分とを含む光軸を有し、第１のレンズは第２の光軸部分上にある、を備え、非円形の絞りは、カメラの厚さの方向に沿って第１の方向においてＤ以下の長さと、第１の方向に垂直な第２の方向に沿ってＤよりも大きい長さとを有する。いくつかの実施形態では、例示的なカメラデバイスは、１つまたは複数の追加の光学チェーンをさらに含む。
厚さＤを有する前表面と後表面とを含むカメラハウジングを含むカメラデバイスを動作させる、一実施形態による例示的な方法であって、ここでＤは前表面と後表面との距離である方法において、カメラハウジング内の第１の光学チェーンを使用して第１の画像をキャプチャすることと、第１の光学チェーンは、ｉ）第１の光方向変換デバイスと、ｉｉ）非円形の絞りを有する第１のレンズと、ｉｉｉ）センサとを含み、第１の光学チェーンは、光方向変換デバイスの前の第１の光軸部分と光方向変換デバイスからセンサまで延在する第２の光軸部分とを含む光軸を有し、第１のレンズは第２の光軸部分上にあり、非円形の絞りは、カメラの厚さの方向に沿って第１の方向においてＤ以下の長さと、第１の方向に垂直な第２の方向に沿ってＤよりも大きい長さとを有する、キャプチャされた画像をメモリに格納することとを備える。
本明細書で説明される特徴のうちのいくつかは、平行でない光軸を有する光学チェーンを使用した画像部分の画像キャプチャに関する。いくつかの実施形態では、例示的なカメラデバイスは複数の光学チェーンを含み、光学チェーンのうちの少なくともいくつかは、対応する光軸が平行でないように配置および／または制御される。いくつかの実施形態では、光学チェーンの光軸は、光学チェーンに対応する光方向変換デバイスを制御することによって変更される。いくつかの実施形態では、関心シーンエリアの異なる部分は、並行して動作する異なる光学チェーンによってキャプチャされる。いくつかの実施形態では、キャプチャされた画像は、関心シーンエリアの合成画像を生成するために結合される。結合することは、関心シーンエリア全体をキャプチャする光学チェーンによってキャプチャされた画像から生成された奥行き情報を使用して実行され得、いくつかの実施形態では、実行される。奥行き情報は、関心シーンエリアまたは関心シーンエリアの一部分の１つまたは複数の他の画像に加えて、関心シーンエリア全体の画像を使用して、生成され得る。並行した複数の光学チェーンの使用は、光学チェーンのうちの１つの単一のセンサを使用して可能であろうよりも高い全体的な画素カウントを有する、および／または複数の光学チェーンのうちの単一の光学チェーンを使用してキャプチャされるであろうよりも多くの光キャプチャを有する、画像の生成を容易にする。
一実施形態によりキャプチャする例示的な方法は、関心と、第１の光学チェーンは第１の光軸と第１の最も外側のレンズ（たとえば、光学チェーンのセンサから光路に沿って最も遠いレンズ）とを有する、カメラの第２の光学チェーンを使用して、関心シーンエリアの第２の部分の第２の画像をキャプチャすることと、第２の光学チェーンは、第１の光軸と平行でない第２の光軸と、第１の最も外側のレンズと異なる第２の最も外側のレンズとを有し（たとえば、各光学チェーンは、いくつかの実施形態では各光学チェーンが異なる外側レンズを有することにより、物理的に共通部分がなく（disjoint）重複しない入射瞳を有する）、カメラの第３の光学チェーンを使用して、第３の画像をキャプチャすることと、第３の光学チェーンは、第１の光学チェーンまたは第２の光学チェーンのうちの少なくとも１つよりも小さい焦点距離を有する、を備える。
一実施形態により実施される例示的なカメラデバイスは、第１の光軸と第１の最も外側のレンズとを有する第１の光学チェーンと、第１の光軸と平行でない第２の光軸と、第１の最も外側のレンズと異なる第２の最も外側のレンズとを有する第２の光学チェーンと、第３の光学チェーンと、この第３の光学チェーンは、第１の光学チェーンまたは第２の光学チェーンのうちの少なくとも１つよりも小さい焦点距離を有する、を備える。
いくつかの実施形態では、例示的なカメラデバイスは、コンピュータ実行可能命令を備える非一時的なコンピュータ可読媒体を含み、この非一時的なコンピュータ可読媒体は、プロセッサによって実行されるとき、関心シーンエリアの第１の部分の第１の画像をキャプチャするようにカメラの第１の光学チェーンを制御する命令と、第１の光学チェーンは第１の光軸と第１の最も外側のレンズとを有する、プロセッサによって実行されるとき、関心シーンエリアの第２の部分の第２の画像をキャプチャするようにカメラの第２の光学チェーンを制御する命令と、第２の光学チェーンは、第１の光軸と平行でない第２の光軸と、第１の最も外側のレンズと異なる第２の最も外側のレンズとを有する、プロセッサによって実行されるとき、第３の画像をキャプチャするようにカメラの第３の光学チェーンを制御する命令と、第３の光学チェーンは、第１の光学チェーンまたは第２の光学チェーンのうちの少なくとも１つよりも小さい焦点距離を有し、第３の画像は関心シーンエリアを含む、を備える。
いくつかの追加の特徴は、異なる焦点距離を有する光学チェーンを使用した画像部分のキャプチャを対象とする。さまざまな実施形態では、関心シーンエリアの異なる部分は、複数の光学チェーンを含むカメラデバイスの異なる光学チェーンによってキャプチャされる。いくつかの実施形態では、並行して動作する異なる光学チェーンによってキャプチャされた画像は、合成画像を生成するために結合される。結合することは、いくつかの実施形態では、関心シーンエリアの少なくともいくつかの共通する重複部分をキャプチャする２つの異なる光学チェーンによってキャプチャされた２つの画像から生成される奥行き情報を使用して実行される。奥行き情報は、シーン全体の画像と、シーンまたは関心シーンエリアの一部分の１つまたは複数の他の画像とを使用して、生成され得る。並行した複数の光学チェーンの使用は、光学チェーンのうちの１つの単一のセンサを使用して可能であろうよりも高い全体的な画素カウントを有する、および／または単一の光学チェーンを使用してキャプチャされるであろうよりも多くの光キャプチャを有する、画像の生成を容易にする。
一実施形態によりキャプチャする例示的な方法は、カメラの第１の光学チェーンを使用して関心シーンエリアの第１の画像をキャプチャすることと、第１の光学チェーンは第１の焦点距離を有する、カメラの第２の光学チェーンを使用して第２のシーンエリアの第２の画像をキャプチャすることと、第２のシーンエリアは関心シーンエリアの第１の部分であり、第２の光学チェーンは、第１の焦点距離よりも大きい第２の焦点距離を有する、カメラの第３の光学チェーンを使用して第３のシーンエリアの第３の画像をキャプチャすることと、第３のシーンエリアは関心シーンエリアの第２の部分であり、第３の光学チェーンは、第１の焦点距離よりも大きい第３の焦点距離を有し、少なくとも第３のシーンエリアの一部分は第２のシーンエリアと重複しない、第１の画像と第２の画像と第３の画像とを格納または出力することとを備える。
一実施形態により実施される例示的なカメラデバイスは、第１の焦点距離を有する第１の光学チェーンと、第１の焦点距離よりも大きい第２の焦点距離を有する第２の光学チェーンと、第１の焦点距離よりも大きい第３の焦点距離を有する第３の光学チェーンとを備える。いくつかの実施形態では、カメラはバッテリー式ハンドヘルドデバイスである。
いくつかの実施形態では、例示的なカメラデバイスは、コンピュータ実行可能命令を備える非一時的なコンピュータ可読媒体を含み、この非一時的なコンピュータ可読媒体は、プロセッサによって実行されるとき、関心シーンエリアの第１の画像をキャプチャするようにカメラの第１の光学チェーンを制御する命令と、第１の光学チェーンは第１の焦点距離を有する、プロセッサによって実行されるとき、第２のシーンエリアの第２の画像をキャプチャするようにカメラの第２の光学チェーンを制御する命令と、第２の光学チェーンは、第１の焦点距離よりも大きい第２の焦点距離を有し、第２のシーンエリアは前記関心シーンエリアの第１の部分である、プロセッサによって実行されるとき、第３のシーンエリアの第３の画像をキャプチャするように第３の光学チェーンを制御する命令と、第３の光学チェーンは第３の焦点距離を有し、この第３の焦点距離は第１の焦点距離よりも大きく、第３のシーンエリアは関心シーンエリアの第２の部分であり、第３のシーンエリアの少なくとも一部分は第２のシーンエリアと重複しない、プロセッサによって実行されるとき、第１のキャプチャされた画像と、第２のキャプチャされた画像と、第３のキャプチャされた画像とをメモリに格納するようにプロセッサを制御する命令とを備える。
多くの実施形態および特徴が上記の概要で説明されたが、本明細書で説明される新規な特徴の多くは、他の新規な特徴とは無関係に使用可能であることを理解されたい。したがって、さまざまな例示的な実施形態が説明されているが、適用例は、特定の例示的な実施形態または特定の例示的な実施形態に説明される特徴の組み合わせに限定されない。
多数のさらなる特徴および実施形態が、以降の詳細な説明で説明される。
本発明の一実施形態により実施される例示的な装置、たとえばカメラデバイスのブロック図。 カメラの正面から見えるレンズを有する、本発明による複数の光学チェーン、たとえばカメラモジュールを組み込んだ、例示的な一実施形態により実施される装置の正面図。 例示的な装置のさらなる詳細をさらに示す、図２の例示的な装置の側面図。 別の実施形態により実施されるカメラデバイスを示す図。 １つの特定の実施形態で実施される、図４Ａに示されるカメラデバイスの光学チェーンをより詳細に示す図。 図１、図８、図１２Ａ、またはさまざまな他の実施形態のカメラデバイスに含まれる光学チェーンの１つとして使用され得る例示的な光学チェーン、たとえばカメラモジュールを示す図。 カメラモジュールが画像をキャプチャすることを可能にするために引っ込められるそのカバーを有する本発明の１つの特徴による複数のカメラモジュールを含む例示的なカメラの投射図。 カバーを閉位置に有し、それによってカメラ前面を覆う、図６のカメラを示す図。 個々のカメラモジュールのレンズの配置がより良く理解できるように、カメラモジュールのより良いビューを有する、図６のものに類似したカメラデバイスの正面図。 図８のカメラデバイスであるが、カメラデバイスの前面上でのレンズの配置のより良い理解を可能にする、カメラケースが示されていない図。 カメラが奥行きＤ１と高さＨとを有することがわかる、図７のカメラデバイスの側面図。 図８および図９に示されるレンズの配置をより詳細に示す図。 図１１に示されるレンズ配置を有する、図６および図８に示されるタイプのカメラデバイスを実施するために一実施形態で使用される光学チェーン、たとえばカメラモジュールの配置を示す図。 カメラデバイス内のさまざまな光学チェーンおよび光学チェーンの要素の配置がより詳細に示される、図８に示されるタイプのカメラデバイスの斜視図。 光学チェーンの一部である光方向変換デバイスの位置、たとえば角度を変えることによって、図１２Ｂに示される光学チェーンの光軸の第１の部分がどのように変更可能であるかを示す図。 光学チェーンの一部である光方向変換デバイスの位置、たとえば角度を変えることによって、図１２Ｂに示される光学チェーンの光軸の第１の部分がどのように変更可能であるかを示す図。 光学チェーンの一部である光方向変換デバイスの位置、たとえば角度を変えることによって、図１２Ｂに示される光学チェーンの光軸の第１の部分がどのように変更可能であるかを示す図。 光学チェーンの一部である光方向変換デバイスの位置、たとえば角度を変えることによって、図１２Ｂに示される光学チェーンの光軸の第１の部分がどのように変更可能であるかを示す図。 図１４〜１７に示されるさまざまなカメラデバイス実施形態で使用可能であり、使用される、非円形の絞りと光方向変換デバイスたとえば鏡とを有するレンズを有するカメラモジュールを示す図。 例示的な一実施形態による、カメラ内の複数の光学チェーン（ＯＣ）の例示的な配置ならびに光学チェーンの各々の要素の構成および配置を示す図。 大きな焦点距離を有する光学チェーンのための非円形レンズとより小さな焦点距離を有する光学チェーンのための円形レンズとを使用する例示的なカメラデバイスを示す図。 カメラケースのない、図１４に示されるカメラデバイスの前面の図。 カメラが奥行きＤ２と高さＨとを有することがわかる、図１４のカメラデバイスの側面図。ここで、Ｄ２は、図６〜９に示されるカメラデバイスの奥行きであるＤ１よりも小さい。 図１５に示されるレンズ配置を有する、図１４に示されるタイプのカメラデバイスを実施するために一実施形態で使用されるカメラモジュールの配置を示す図。 カメラデバイス内のさまざまな光学チェーンおよび光学チェーンの要素の配置がより詳細に示される、図１４に示されるタイプのカメラデバイスの斜視図。 図１２Ａの実施形態で使用され得、および時々使用されるレンズなどの、丸い開口を有する例示的なレンズに対応する丸い絞りを示す図。 周波数情報が両方の次元で同じまたは類似している、図１８に示されるタイプのレンズから予想される周波数特性を示す図。 丸い絞りの場合、光が通過する開口の長さが、レンズ開口が存在する平面の両方の次元でどれくらい同じであるかを示す図。 例示的な丸くない、たとえば卵形の、絞りを示す図。陰影が、キャプチャされる水平方向および垂直方向の各々における周波数情報の相対量を示すために使用され、より多くの周波数情報が、それによってより高い周波数情報がキャプチャされることになる水平方向よりも垂直方向で入手可能であり、絞りの狭い方の次元よりも長い方の次元で入手可能であることが図から明らかである。 垂直（Ｙ）方向および水平（Ｘ）方向における丸くない絞りの長さの比較を示す図。垂直次元は、図２２の例における２つの次元のうち長い方である。 異なる方向に指向された複数の丸くないレンズからの画像情報を結合することによって、丸いレンズから取得されると予想される情報を近似する画像情報がどのように達成可能であるかを示す図。より多くの情報が、合成画像を生成するために図２３の例で結合される複数の個々の画像の重複により、さまざまな縁部ロケーションにおいてよりも、結合された画像の中心に向かって入手可能である。 丸くない絞りを有する、たとえば卵形または長円形の形状の絞りに近似する、レンズを作り出すために、丸い絞りを有するレンズがどのように切断またはマスキング可能であるかを示す図。 図２４に示されるような、丸いレンズ、たとえば丸い絞りを有するレンズを切断またはマスキングすることから生じる絞りを示す図。 丸い絞りを有する外側レンズと組み合わせて光を９０度方向変換するために光方向変換デバイスを使用することが通常、カメラの奥行きたとえば厚さが、丸い絞りを有するレンズの直径に等しいまたはこれよりも大きいことをどのように必要とするかを示す図。 いくつかの実施形態では、光を９０度方向変換する光方向変換デバイスと組み合わせた丸くない、たとえば卵形の、絞りを有するレンズの使用が、カメラの奥行きがあるよりも１つの次元において長いレンズの使用をどのように可能にすることができるかを示す図。 丸くない絞りを含むカメラモジュールの光路の長さが、カメラの奥行きよりもどのように長くなり得るかを示す図。光方向変換デバイスは、カメラデバイスの一端に位置決め可能である。 光がカメラモジュールを通過するときどの方角に方向変換されるかに応じてカメラの背面または前面のいずれかにセンサが位置決めされることを可能にしながら、複数の光方向変換デバイスが、比較的長い光進行経路、したがって焦点距離を可能にするためにカメラモジュールにおいて使用される例を示す図。 合成画像を生成するために画像を結合するとき高周波数情報が複数の方向の各々において入手可能であるように非円形の絞りを有する複数のレンズが、複数の方向における高周波数情報を収集するために単一の例示的なカメラデバイス内でどのように使用可能であるかを示す図。 本発明の１つまたは複数の実施形態により実施されるカメラのカメラモジュールによってキャプチャされたその画像を有し得るシーンエリアを含む例示的なシーンを示す図。 そのうちのいくつかが異なる焦点距離を有する複数のカメラモジュールを含むカメラの異なるカメラモジュールが、関心シーンエリアの異なるサイズの部分をどのようにキャプチャし得るかを示す図。 図３２に示される複数のカメラモジュールを含むカメラの異なるカメラモジュールが、図３１に示される関心シーンエリアの異なる部分をどのようにキャプチャし得るかを示す図。 図３３に示されるサイズのシーンエリアをキャプチャするモジュールを有するカメラによってキャプチャされた異なる画像と、合成画像を生成するために画像の結合を容易にする、互いに対するそれらの関係とを示す図。 異なるセンサによってキャプチャされた画像が容易に結合可能であるように協調された方式における異なる光学チェーンのセンサの読み取りのローリングシャッター制御に関する態様を示す図。 異なるセンサによってキャプチャされた画像が容易に結合可能であるように協調された方式における異なる光学チェーンのセンサの読み取りのローリングシャッター制御に関する態様を示す図。 異なるセンサによってキャプチャされた画像が容易に結合可能であるように協調された方式における異なる光学チェーンのセンサの読み取りのローリングシャッター制御に関する態様を示す図。 異なるセンサによってキャプチャされた画像が容易に結合可能であるように協調された方式における異なる光学チェーンのセンサの読み取りのローリングシャッター制御に関する態様を示す図。 異なるセンサによってキャプチャされた画像が容易に結合可能であるように協調された方式における異なる光学チェーンのセンサの読み取りのローリングシャッター制御に関する態様を示す図。 例示的な一実施形態により複数のカメラモジュールを使用して画像をキャプチャし、画像を結合する例示的な方法を示す図。 図４１Ａと図４１Ｂの組み合わせを備え、関心シーンをスキャンし、それから合成画像を生成するようにカメラデバイスを動作させる例示的な方法のステップを示す流れ図。 図４１Ａと図４１Ｂの組み合わせを備え、関心シーンをスキャンし、それから合成画像を生成するようにカメラデバイスを動作させる例示的な方法のステップを示す流れ図。 複数のカメラモジュールを同期方式で使用して関心シーンをキャプチャする方法のステップを示す図。 別の例示的な実施形態による、複数のカメラモジュールを同期方式で使用して関心シーンをキャプチャする方法のステップを示す図。 例示的な一実施形態による、複数のカメラモジュールを同期方式で使用して画像をキャプチャする方法のステップを示す図。 例示的な一実施形態による、カメラデバイスを使用して画像をキャプチャする方法を示す流れ図。 例示的な一実施形態による、画像をキャプチャする方法を示す流れ図。
図１は、本発明の例示的な一実施形態により実施される、デジタルカメラ、カメラ機能を有するノートパッド、またはカメラ機能を有する携帯電話などの例示的なカメラデバイス１００を示す。カメラデバイス１００は、いくつかの実施形態では、ポータブルデバイスである。他の実施形態では、カメラデバイス１００は、壁に取り付けられたカメラなどの固定デバイスである。
図１は、装置１００のさまざまな要素間の接続を示すブロック図形式でカメラデバイス１００を示す。例示的なカメラデバイス１００は、参照番号１００となる線によって接された方形箱によって表されるハウジング内に取り付けられた、ディスプレイデバイス１０２と、発光体モジュール１０４と、入力デバイス１０６と、入力状態検出モジュール１４８と、露光および読み出しコントローラ１５０たとえばローリングシャッターコントローラ１５０と、光制御デバイス１５２と、メモリ１０８と、プロセッサ１１０と、モジュールのハードウェアアセンブリ１８０と、ワイヤレスおよび／または有線インターフェース１１４、たとえば、セルラーインターフェース、ＷＩＦＩインターフェース、および／またはＵＳＢインターフェースと、Ｉ／Ｏインターフェース１１２と、加速度計モジュール１２２と、３軸ジャイロ１９２と、バス１１６とを含む。発光体モジュール１０４は、すべての発光要素が同時にオンになる必要はないように個々に制御可能なＬＥＤ（発光ダイオード）または他のタイプの発光要素であってよい発光要素を含む。いくつかの実施形態では、入力デバイス１０６は、たとえば、キーパッド、タッチスクリーン、または情報、データ、および／もしくは命令を入力するために使用され得る類似のデバイスであってよく、いくつかの実施形態では、キーパッド、タッチスクリーン、または類似のデバイスである。加速度計モジュール１２２は、３軸加速度計モジュールを提供する垂直軸上に配列された、加速度計１ １２４と、加速度計２ １２６と、加速度計３ １２８とを含む。したがって、加速度計モジュール１２２は、３つの独立軸に沿って測定することができる。同様に、１９４と１９６と１９８とを含む３軸ジャイロ１９２は、３つの異なる軸の各々に沿って回転を測定することができる。加速度計モジュール１２２およびジャイロモジュール１９２の出力は、監視可能であり、いくつかの実施形態では監視され、加速度計およびジャイロの出力の変化は、１つまたは複数の方向における動きを示す加速度の変化を検出するために、プロセッサ１１０および／またはズーム制御モジュールたとえばズームコントローラ１４０によって経時的に解釈およびチェックされる。いくつかの実施形態では、入力デバイス１０６は、カメラズーム機能を有効または無効にするために使用可能な少なくとも１つのズーム制御ボタンを含む。いくつかのそのような実施形態では、ズーム制御ボタンが押下された状態であるとき、カメラズーム機能が有効にされ、ボタンが押下されていない状態であるとき、カメラズーム機能が無効にされる。入力状態検出モジュール１４８は、ボタンが押下された状態であるか押下されていない状態であるかを検出するために、入力デバイスたとえばズーム制御ボタンの状態を検出するように構成される。いくつかの実施形態では、状態検出モジュール１４８によって検出されるズーム制御ボタンの状態、たとえば、ズーム制御ボタンが、ズームが有効にされていることを示す押下された状態であるか、ズームが無効にされていることを示す押下されていない状態であるか、を示すビットを含むステータスレジスタがカメラデバイス１００内に存在する。
ディスプレイデバイス１０２は、画像、ビデオ、カメラデバイスの構成に関する情報、および／またはカメラデバイス上で実行されているデータ処理のステータスを表示するために使用されるタッチスクリーンであってよく、いくつかの実施形態では、タッチスクリーンである。ディスプレイデバイス１０２がタッチスクリーンである場合、ディスプレイデバイス１０２は、追加入力デバイスとして、および／または別個の入力デバイスたとえばボタン１０６の代替として働く。いくつかの実施形態で説明されるように、ズーミング動作は、ズーム制御センサたとえばタッチセンサを押すことによって制御可能である。いくつかの実施形態では、カメラユーザがズーム制御センサに触れると、ズーム機能が有効にされる。たとえば、タッチセンサ上の指は、ズーム機能を作動させる／有効にする。Ｉ／Ｏインターフェース１１２は、ディスプレイ１０２と入力デバイス１０６とをバス１１６に結合させ、ディスプレイ１０２と、入力デバイス１０６と、バス１１６を介して通信および相互作用可能なカメラの他の要素とをインターフェース接続する。
Ｉ／Ｏインターフェース１１２に結合されることに加えて、バス１１６は、メモリ１０８、プロセッサ１１０、任意選択のオートフォーカスコントローラ１３２、ワイヤレスおよび／または有線インターフェース１１４、ズーム制御モジュール１４０、ならびに複数の光学チェーン１３０、たとえば、本明細書ではカメラモジュールとも呼ばれるＸ個の光学チェーンに結合される。いくつかの実施形態では、Ｘは２よりも大きい整数、たとえば、３、４、７、または特定の実施形態によっては、これらよりも大きい値である。複数のカメラモジュール１３０は、さまざまなカメラモジュールセットおよび／または本出願で説明される配置のいずれかを使用して実施され得る。たとえば、いくつかの実施形態では、カメラデバイス１００は、図１２Ａに示されるカメラモジュールのセットを使用して実施されるが、他の実施形態では、カメラデバイス１００は、図１３Ｂまたは図１７Ａまたは本出願に含まれる他の図のいずれか１つに示されるモジュール配置を使用して実施される。複数の光学チェーン１３０内の個々の光学チェーンによってキャプチャされた画像は、たとえばデータ／情報１２０の一部として、メモリ１０８に格納可能であり、たとえば、１つまたは複数の合成画像を生成するためにプロセッサ１１０によって処理可能であり、さまざまな実施形態では、格納され、処理される。
Ｘ個のカメラモジュール１３１〜１３３は、異なる焦点距離を有するカメラモジュールを含んでよく、さまざまな実施形態では、これを含む。複数のカメラモジュールは、所与の焦点距離で設けられ得る。たとえば、いくつかの実施形態では、フルフレームＤＳＬＲカメラに対して３５ｍｍ相当の焦点距離を有する複数のカメラモジュール、フルフレームＤＳＬＲカメラに対して７０ｍｍ相当の焦点距離を有する複数のカメラモジュール、およびフルフレームＤＳＬＲカメラに対して１４０ｍｍ相当の焦点距離を有する複数のカメラモジュールが、個々のカメラデバイスに含まれる。さまざまな焦点距離は例示的なものであり、異なる焦点距離を有する多種多様のカメラモジュールが使用されてよい。カメラデバイス１００は、例示的なものと考えられるべきである。他の図のうちのいくつかに関してカメラまたはカメラデバイス他の参照がなされる限り、少なくともいくつかの実施形態では、カメラデバイスまたはカメラは、図１に示される要素が特定の図または実施形態に示されていない場合であっても、その要素を含むことを理解されたい。いくつかの実施形態では、図１に示される要素のすべてがカメラデバイスまたはカメラに含まれるが、他の実施形態では、図１に示される要素のサブセットが含まれ、図１の要素の説明は、すべての実施形態において特定の要素が不可欠または必要であることを暗示することを意図するものではない。
以下で説明されるように、同時にまたは所与の時間期間中にキャプチャされた異なるカメラモジュールからの画像は、合成画像、たとえば、カメラモジュール１３１、１３３のうちの単一のカメラモジュールによってキャプチャされた個々の画像よりも良い解像度、周波数コンテンツ、および／または光範囲を有する画像を生成するために結合可能である。
複数のキャプチャされた画像および／または合成画像は、ビデオたとえばある時間期間に対応する一連の画像を形成するように処理され得、いくつかの実施形態では、そのように処理される。インターフェース１１４は、カメラデバイス１００の内部構成要素を、外部ネットワークたとえばインターネット、および／または１つもしくは複数の他のデバイスたとえばメモリもしくはスタンドアロンコンピュータに結合させる。インターフェース１１４を介して、カメラデバイス１００は、データ、たとえば、キャプチャされた画像、生成された合成画像、および／または生成されたビデオを出力することができ、出力する。出力は、ネットワークに対してであってもよいし、処理、格納のための、および／または共有されることになる、別の外部デバイスに対してであってもよい。キャプチャされた画像データ、生成された合成画像、および／またはビデオは、さらなる処理のために別のデバイスに対する入力データとして提供されてもよいし、および／またはたとえば、外部メモリ、外部デバイスにおける、もしくはネットワークにおける格納のために、送られてもよい。
カメラデバイス１００のインターフェース１１４は、画像データが外部コンピュータ上で処理され得るようにコンピュータに結合され得、いくつかの例では、結合される。いくつかの実施形態では、外部コンピュータは、出力された画像データのより多くの計算的に複雑な画像処理が外部コンピュータ上で発生することを可能にするカメラデバイス１００よりも高い計算処理能力を有する。インターフェース１１４はまた、データ、情報、および命令によって、カメラデバイス１００上での格納および／または処理のために、１つもしくは複数のネットワークおよび／またはコンピュータもしくはメモリなどの他の外部デバイスからカメラデバイス１００に供給されることが可能になる。たとえば、背景画像は、カメラデバイス１００によってキャプチャされた１つまたは複数の画像と、カメラプロセッサ１１０によって結合されるために、カメラデバイスに供給され得る。命令および／またはデータの更新は、インターフェース１１４を介してカメラ上にロードされ、メモリ１０８内に格納可能である。
ライティングモジュール１０４は、いくつかの実施形態では、カメラフラッシュとして働くように制御された方式で照明可能な複数の発光要素たとえばＬＥＤを含み、ＬＥＤは、ローリングシャッターの動作および／または露光時間に基づいて、グループでまたは個々に、たとえば同期方式で、制御される。説明のために、例示的な実施形態では、ＬＥＤは発光デバイスとして使用されるので、モジュール１０４はＬＥＤモジュールと呼ばれるが、上記で説明されたように、本発明はＬＥＤ実施形態に限定されず、他の発光源も使用されてよい。いくつかの実施形態では、ＬＥＤモジュール１０４は、発光要素たとえばＬＥＤのアレイを含む。いくつかの実施形態では、ＬＥＤモジュール１０４内の発光要素は、各個々のＬＥＤおよび／またはＬＥＤのグループがローリングシャッターの動作との同期方式で照明可能であるように配置される。発光要素は、すべてではないが、いくつかの実施形態では、全エリアが画像キャプチャ中に常に照らされる必要がないように、異なる時刻にエリアの異なる部分が照明されるように、順次照明される。すべてのライティング要素は、センサの画素要素のフルセットの読み出しを伴う画像キャプチャ動作の持続時間全体にわたってオンに保たれないが、ローリングシャッターの使用の結果として所与の時刻にその画像をキャプチャしたエリアの部分たとえばスキャンエリアが、ローリングシャッターの動作との発光要素のライティングの同期のために照明される。したがって、さまざまな発光要素は、いくつかの実施形態では、露光時間と、センサのどの部分が所与の時刻に画像の一部分をキャプチャするために使用されるかに基づいて、異なる時刻に明るくなるように制御される。いくつかの実施形態では、ＬＥＤモジュール１０４内の発光要素は、発光要素の複数のセットを含み、発光要素の各セットは、明るくなり、画像センサの異なる部分によってキャプチャされる異なる画像エリアに対応する。レンズは、異なる発光要素からの光を、１つまたは複数のカメラモジュールの使用によってカメラによってキャプチャされる異なるシーンエリアに方向づけるために使用され得、いくつかの実施形態では、使用される。
ローリングシャッターコントローラ１５０は、異なる時刻における１つまたは複数の画像センサの異なる部分の読み出しを制御する電子シャッターである。各画像センサは、一度に１つの行の画素値を読み、さまざまな列が順を追って読まれる。以下で説明されるように、異なるセンサによってキャプチャされた画像の読み出しは、いくつかの実施形態では、センサが、いくつかの実施形態では複数のセンサが同時に同じ画像エリアをキャプチャすることとの同期方式で、関心画像エリアと呼ばれることがある関心シーンエリアをキャプチャするように制御される。
実施形態の大部分で電子ローリングシャッターが使用されるが、いくつかの実施形態では、機械的ローリングシャッターが使用されることがある。
光制御デバイス１５２は、ローリングシャッターコントローラ１５０の動作との同期方式で発光要素（たとえば、ＬＥＤモジュール１０４に含まれる）を制御するように構成される。いくつかの実施形態では、光制御デバイス１５２は、ローリングシャッター１５０のタイミングと同期される方式で異なる時刻に光を発するためにアレイ内の発光要素の異なるセットを制御するように構成される。いくつかの実施形態では、光制御デバイス１５２は、第１の時間期間中に光を出力するように第１の画像エリアに対応する発光要素の第１のセットを制御するように構成され、この第１の時間期間は、ローリングシャッターのタイミングに基づいて決定され、センサの第１の部分が画像キャプチャのために露光される時間期間である。いくつかの実施形態では、光制御デバイス１５２は、第２の時間期間中に光を出力するように第２の画像エリアに対応する発光要素の第２のセットを制御するようにさらに構成され、この第２の時間期間は、ローリングシャッターのタイミングに基づいて決定され、センサの第２の部分が画像キャプチャのために露光される時間期間である。いくつかの実施形態では、第１の時間期間は、第２の時間期間に重複しない時間の少なくとも一部分を含む。
いくつかの実施形態では、光制御デバイス１５２は、第３の時間期間中に光を出力するように第Ｎの画像エリアに対応する発光要素の第Ｎのセットを制御するようにさらに構成され、前記第Ｎの時間期間は、ローリングシャッターのタイミングに基づいて決定され、センサの第Ｎの部分が画像キャプチャのために露光される時間期間であり、Ｎは、総合画像エリアの１回の完全な読み出しを完了するために前記ローリングシャッターによって使用される時間期間の総数に対応する整数値である。
いくつかの実施形態では、光制御デバイス１５２は、時間の前記第２の期間に重複しない第１の時間期間に含まれる時間の前記部分中にオフになるように発光要素の第２のセットを制御するようにさらに構成される。いくつかの実施形態では、光制御デバイスは、露光設定に基づいて、発光要素の第１のセットおよび前記第２のセットがいつオンになり得るかを決定するように構成される。いくつかの実施形態では、光制御デバイスは、前記センサの異なる部分の読み出し間の時間の量に基づいて、発光要素の前記第１のセットおよび前記第２のセットがいつオンになり得るかを決定するように構成される。いくつかの実施形態では、複数の発光要素内の発光要素の異なるセットが、異なるレンズで覆われる。いくつかのそのような実施形態では、光制御デバイス１５２は、カメラデバイスによって使用されている有効焦点距離設定に基づいて、発光要素のどのセットを使用するかを決定するようにさらに構成される。
加速度計モジュール１２２は、加速度計１ １２４と加速度計２ １２６と加速度計３ １２８とを含む複数の加速度計を含む。加速度計の各々は、所与の方向におけるカメラ加速度を検出するように構成される。３つの加速度計１２４、１２６、および１２８は、加速度計モジュール１２２に含まれると示されているが、いくつかの実施形態では、４つ以上の加速度計が使用可能であることを理解されたい。同様に、ジャイロモジュール１９２は、３つのジャイロ、すなわち１９４と、１９６と、１９８とを、カメラデバイスが通常使用される３次元現実世界環境において使用するのに好適な各軸に対して１つ含む。所与の方向における加速度計によって検出されるカメラ加速度が監視される。カメラの動きを示す、加速度および／または加速度の変化、ならびに回転が監視され、動き、たとえば前方へのカメラの動き、後方へのカメラの動きなどの、１つまたは複数の方向を検出するために処理される。以下で説明されるように、カメラの動きを示す加速度／回転は、ズーム動作を制御するために使用可能であり、および／または場合によってはカメラマウントに提供可能であり、これによって、次いで、カメラを安定させる助けとなるようにカメラマウントを回転させるまたはカメラ支持具を回転させるなどの措置を講じることができる。
カメラデバイス１００は、オートフォーカスコントローラ１３２および／またはオートフォーカス駆動部アセンブリ１３４を含み得、いくつかの実施形態では、これらを含む。オートフォーカス駆動部アセンブリ１３４は、いくつかの実施形態では、レンズ駆動部として実施される。オートフォーカスコントローラ１３２は、少なくともいくつかのオートフォーカス実施形態に存在するが、固定フォーカス実施形態では省略され得る。オートフォーカスコントローラ１３２は、所望の、たとえばユーザにより示された、フォーカスを達成するために使用される１つまたは複数の光学チェーンにおける少なくとも１つのレンズ位置の調整を制御する。個々の駆動部アセンブリが各光学チェーンに含まれる場合、オートフォーカスコントローラ１３２は、同じターゲットに焦点を合わせるためにさまざまな光学チェーンのオートフォーカス駆動部を駆動し得る。
ズーム制御モジュール１４０は、ユーザ入力に応答してズーム動作を実行するように構成される。
プロセッサ１１０は、本明細書で説明される方法のステップを実施するようにカメラデバイス１００の要素を制御するようにカメラデバイス１００の動作を制御する。プロセッサは、方法を実施するように事前構成された専用プロセッサであってよい。しかしながら、多くの実施形態では、プロセッサ１１０は、実行されるとき、プロセッサに、本明細書で説明される方法の１つ、より多く、またはすべてを実施するようにカメラデバイス１００を制御させる命令を含む、メモリ１０８内に格納されたソフトウェアモジュールおよび／またはルーチンの指示に従って動作する。メモリ１０８はモジュールのアセンブリ１１８を含み、１つまたは複数のモジュールは、本発明の画像キャプチャおよび／または画像データ処理方法を実施するための１つまたは複数のソフトウェアルーチンたとえば機械実行可能命令を含む。１１８のモジュール内の個々のステップおよび／またはコードの行は、プロセッサ１１０によって実行されるとき、本発明の方法のステップを実行するようにプロセッサ１１０を制御する。プロセッサ１１０によって実行されるとき、データ処理モジュール１１８は、少なくともいくつかのデータを、本発明の方法によりプロセッサ１１０によって処理させる。モジュールのアセンブリ１１８は、たとえばユーザ入力に基づいて、複数のカメラデバイス動作のモードのうちのどれが実施されるべきかを決定するモード制御モジュールを含む。異なる動作のモードでは、異なるカメラモジュール１３１、１３３は、選択された動作のモードに基づいて、異なるように制御され得、多くの場合、制御される。たとえば、動作のモードに応じて、異なるカメラモジュールは異なる露光時間を使用し得る。あるいは、カメラモジュールが方向づけられるシーンエリアと、したがってシーンのどの部分が個々のカメラモジュールによってキャプチャされるかは、以下で図５および図３４に関して説明されるように、異なるカメラモジュールによってキャプチャされる画像が、合成画像を形成するためにどのように使用可能か、たとえば結合可能であるか、および個々のカメラモジュールは、ユーザにより選択されたまたは自動的に選択された動作のモード中により大きなシーンのどの部分をキャプチャするべきかに応じて変更され得る。いくつかの実施形態では、１つまたは複数のモジュールのアセンブリからの命令を実行するときプロセッサによって実行される動作が、代わりに、同じ機能を実行するハードウェアモジュールによって実行され、モジュールのハードウェアアセンブリに含まれる。
結果として生じるデータおよび情報（たとえば、シーンのキャプチャされた画像、シーンの結合された画像など）は、将来の使用、追加処理、および／またはたとえば表示のためのディスプレイデバイス１０２への、もしくは送信、処理、および／もしくは表示のための別のデバイスへの出力のために、データメモリ１２０内に格納される。メモリ１０８は、異なるタイプのメモリ、たとえばモジュールのアセンブリ１１８およびデータ／情報１２０が将来の使用のために格納され得、いくつかの実施形態では格納される、ランダムアクセスメモリ（ＲＡＭ）を含む。モジュールのアセンブリ１１８が電源異常に備えて格納され得る読み出し専用メモリ（ＲＯＭ）。データ、情報、および命令の格納のためのフラッシュメモリなどの不揮発性メモリも、メモリ１０８を実施するために使用され得る。メモリカードは、データ（たとえば、画像およびビデオ）および／またはプログラミングなどの命令を格納するための追加メモリを提供するためにデバイスに追加され得る。したがって、メモリ１０８は、ストレージデバイスとして働く、多種多様の非一時的なコンピュータ可読媒体または機械可読媒体のいずれかを使用して実施され得る。
カメラデバイス１００の一般的な構成要素について、図１を参照しながら説明してきたが、ここで、複数の光学チェーン１３０に関するさまざまな特徴が、それぞれカメラデバイス１００を前面および側面の視点から示す図２と図３とを参照しながら説明される。図２の破線１０１は断面線を示す。
箱１１７は凡例を表し、ＯＣ＝光学チェーンたとえばカメラモジュールを示し、各Ｌ１は、光学チェーン内の最も外側のレンズを表す。箱１１９は凡例を表し、Ｓ＝センサ、Ｆ＝フィルタ、Ｌ＝レンズを示し、Ｌ１は、光学チェーン内の最も外側のレンズを表し、Ｌ２は、光学チェーン内の内側レンズを表す。図３は、光学チェーンの１つの可能な実装形態を示すが、以下で説明されるように、他の実施形態も可能であり、光学チェーンは、図３に示される要素に加えて、１つまたは複数の光方向変換要素を含み得る。異なる光学チェーンのレンズは異なる形状を有してよく、たとえば、いくつかのレンズには、丸い絞りが使用され、他のレンズには、丸くない絞りが使用される。しかしながら、いくつかの実施形態では、丸い絞りを有するレンズが、カメラデバイスの光学チェーンの各々に使用される。
図２は、例示的なカメラデバイス１００の前面を示す。図１に示される、カメラアセンブリの前面に向かう光である光１３１の光線は、カメラハウジングの前面に設置されたレンズに入り得る。カメラデバイス１００の前面から、カメラデバイス１００は、カメラハウジングを表す外側長方形と、複数の光学チェーン１３０が取り付けられた前面カメラ本体の部分を表すカメラの中心に向かう正方形とを有する、比較的平坦なデバイスと見える。図２に示される外側レンズは、同じサイズである円形絞りを有するように示されているが、以下で説明されるように、異なるサイズのレンズが、焦点距離たとえば、に応じて異なる光学チェーンに使用され得、より大きな焦点距離を有する光学チェーンは通常、小さな焦点距離を有する光学チェーンよりも大きい絞りを有する外側レンズを含むことに留意されたい。
カメラデバイス１００の側面視点を示す図３は、光学チェーン１３０のセットのうちの７つの光学チェーンのうちの３つ（ＯＣ１ １２１、ＯＣ７ １４５、ＯＣ４ １３３）と、ディスプレイ１０２と、プロセッサ１１０とを示す。ＯＣ１ １２１は、外側レンズＬ１ １０３と、フィルタ１２３と、内側レンズＬ２ １２５と、センサ１２７とを含む。いくつかの実施形態では、ＯＣ１ １２１は、ズーミング動作および／またはオートフォーカス動作の目的でレンズＬ２ １２５の位置を制御するためのレンズ駆動部（ＬＤ）１２９をさらに含む。露光および読み出しコントローラ１５０は図に示されていないが、同期方式で、たとえばシーンエリアが個々のセンサによってキャプチャされることを考慮に入れて、センサ１２７、１５１、および１３９からの画素値の行の読み出しを制御するために使用される。ＬＤ１２９は、それが接続され、それによって、ＬＤが結合された光学チェーンの他の要素に対して１つまたは複数の要素を移動させることによって光路の改変を可能にする、レンズ、１つまたは複数のレンズを収納するバレルもしくはシリンダ、またはセンサを移動可能な、モータまたは他の駆動機構を含む。ＬＤ１２９は、レンズＬ２ １２５に結合される、たとえば接続されるように示されており、したがって、たとえば、動作ズーミング動作またはオートフォーカスの一部としてレンズＬ２の位置を移動させることができるが、他の実施形態では、ＬＤ１２９は、光学チェーンの一部である円筒状またはバレル形状の構成要素に、またはセンサ１２７に結合される。したがって、レンズ駆動部は、たとえば、ズーミング動作および／またはフォーカス動作の一部としてセンサ１２７とレンズ１２５との間の距離を変更するために、センサ１２７に対するレンズの相対位置を変えることができる。ＯＣ７ １４５は、外側レンズＬ１ １１５と、フィルタ１４７と、内側レンズＬ２ １４９と、センサ１５１とを含む。ＯＣ７ １４５は、レンズＬ２ １４９の位置を制御するためのＬＤ１５３をさらに含む。ＬＤ１５３は、レンズ、バレル、シリンダ、センサ、またはＬＤ１５３が接続された他の光学チェーン要素を移動可能なモータまたは他の駆動機構を含む。
ＯＣ４ １３３は、外側レンズＬ１ １０９と、フィルタ１３５と、内側レンズＬ２ １３７と、センサ１３９とを含む。ＯＣ４ １３３は、レンズＬ２ １３７の位置を制御するためのＬＤ１４１を含む。ＬＤ１４１は、モータまたは他の駆動機構を含み、他の光学チェーンの駆動部と同じまたは類似の方式で動作する。ＯＣのうちの３つのみが図３に示されているが、カメラデバイス１００の他のＯＣは、同じまたは類似の構造を有し得、および／または光方向変換デバイスなどの他の要素を含み得、いくつかの実施形態では、同じまたは類似の構造を有し、および／または他の要素を含むことを理解されたい。したがって、カメラデバイス１００の複数の光学チェーン間の差が可能であり、いくつかの実施形態では、並行して動作可能な複数の光学チェーンの使用によって単一のカメラデバイス内でさまざまな焦点距離がサポートされることを可能にするために存在する。
図３と、その中に示される、カメラモジュールと呼ばれることもある光学チェーン（ＯＣ）は、さまざまな実施形態で使用されるＯＣの一般的な構造を示す。しかしながら、多数の修正形態および特定の構成が可能である。図３の要素がなされ得るが、特定の実施形態におけるＯＣ（カメラモジュール）は特定の実施形態に関して説明されるように構成され、さまざまな異なるカメラモジュールが、多くの場合、単一のカメラデバイス内で使用されることを理解されたい。図５および図１３Ａは、光方向変換デバイスを含む光学チェーンたとえばカメラモジュールを示す。そのようなモジュールは、単独で、または図３および図４Ａまたは本出願の他の図に示されるモジュールなどの他のモジュールと組み合わせて、使用可能である。
フィルタは、特定の色であってよく、またはいくつかの光学チェーンにおいて使用され得るが、フィルタは、すべての光学チェーンにおいて使用される必要はなく、いくつかの実施形態では、使用されないことがある。フィルタが明確に省略されるおよび／または省略されるもしくはすべての光が通過する要素であると説明される実施形態では、図３のＯＣについて参照がなされ得るが、省略される、または実施形態が広帯域フィルタを有することを意図される場合に広いスペクトルの光が通過することを可能にするような性質であることが意図される一実施形態では、フィルタが省略されることを理解されたい。図３のＯＣでは、光方向変換デバイス（Ｒ）たとえば鏡またはプリズムが示されていないが、以下で説明されるように、少なくともいくつかの実施形態では、１つまたは複数の鏡が、たとえば光路の長さを増加させるまたはより好都合な内部構成要素構成に寄与するために光が方向変換されるＯＣに含まれる。図３に示されるＯＣ１２１、１４５、１３３の各々はそれら自体の光軸を有することを理解されたい。例では、各光軸は、光学チェーンの先頭でレンズ１０３、１１５、または１０９の中心を通過し、ＯＣを通過して、対応するセンサ１２７、１５１、１３９に至る。
プロセッサ１１０は、ＬＤおよびセンサ１２７、１５１、１３９に結合されると示されていないが、そのような接続が存在し、例示的なＯＣの構成の例示を容易にするために図３から省略されていることを理解されたい。
理解されるべきであるように、レンズ、フィルタ、および／または鏡の数および配置は特定の実施形態に応じて変化可能であり、図３に示される配置は、例示的なものであり、性質を制限することではなく、さまざまな特徴の理解を容易にすることを意図されている。
複数の光学チェーン１３０の前面は図２で視認可能であり、各光学チェーンの最も外側のレンズは、実線を使用して表される円として現れる（ＯＣ１ Ｌ１ １０３、ＯＣ２ Ｌ１ １０５、ＯＣ３ Ｌ１ １０７、ＯＣ４ Ｌ１ １０９、ＯＣ５ Ｌ１ １１１、ＯＣ６ Ｌ１ １１３、ＯＣ７ Ｌ１ １１５）。図２の例では、複数の光学チェーン１３０は、図２に示される中実の円によって表されるレンズ（ＯＣ１ Ｌ１ １０３、ＯＣ２ Ｌ１ １０５、ＯＣ３ Ｌ１ １０７、ＯＣ４ Ｌ１ １０９、ＯＣ５ Ｌ１ １１１、ＯＣ６ Ｌ１ １１３、ＯＣ７ Ｌ１ １１５）をそれぞれ含む、７つの光学チェーンすなわちＯＣ１ １２１、ＯＣ２ １５７、ＯＣ３ １５９、ＯＣ４ １３３、ＯＣ５ １７１、ＯＣ６ １７３、ＯＣ７ １４５を含む。光学チェーンのレンズは、前面からユニットとして見られたとき図２の例では略円形であるパターンを形成するように配置される。いくつかの実施形態では、円形配置が使用されるが、他の実施形態では、非円形配置が使用され、好ましい。いくつかの実施形態では、全体的なパターンは略円形またはほぼ円形であるが、略円の中心への異なる距離および／または１つのレンズから別のレンズへの異なる距離は、デブスマップの生成を容易にし、繰り返しパターンの縁を識別する必要のない繰り返しパターンなどの周期構造を含み得る画像の処理を阻止するために意図的に使用される。そのような繰り返しパターンは、グリルまたはスクリーンで見つけられ得る。
光学カメラモジュールと呼ばれることもある複数の光学チェーンＯＣ１〜ＯＣ７の複数のレンズに対応する全体的な総合光キャプチャエリアは、結合すると、はるかに大きい開口を有するが、通常であれば図２に示されるレンズが占有するエリアを占有する単一のレンズの湾曲によって必要とされるであろう厚さを有する単一のレンズを必要とすることのないレンズの全体的な総合光キャプチャエリアを近似することができる。
光学チェーンＯＣ１〜ＯＣ７のレンズ開口間の間隙が示されているが、レンズが、互いに密に嵌合し、実線によって形成される円によって表されるレンズ間の間隙を最小限にするように作製され得、いくつかの実施形態では、そのように作製されることを理解されたい。図２には７つの光学チェーンが示されているが、他の数の光学チェーンも可能であることを理解されたい。たとえば、図１２Ａおよび図１７Ａに示されるように、いくつかの実施形態では、１７のカメラモジュールが単一のカメラデバイス内で使用される。一層大きな数の光学チェーンを含むカメラデバイスも可能である。
複数の光学チェーンの使用は、単一の光学チェーンの使用に勝るいくつかの利点を有する。複数の光学チェーンを使用することは、ノイズ平均化を可能にする。たとえば、小さなセンササイズを仮定すれば、１つの光学チェーンが別の光学チェーンと異なる数、たとえば１つまたは複数の、光子を検出し得るランダムな確率が存在する。これは、画像が感知されることにおける実際の人間が知覚可能な変動とは反対のノイズを表し得る。異なる光学チェーンによって感知された画像の一部分に対応する感知された画素値を平均化することによって、不規則ノイズが平均化され、単一の光学チェーンの出力が使用された場合よりも正確で快い画像またはシーンの表現がもたらされ得る。
小さいサイズの光学センサ（たとえば、個々の画素要素）を仮定すれば、光感受性に関するダイナミックレンジは通常、制限され、センサは、明るい条件下で容易に飽和されるようになる。異なる露光時間に対応する複数の光学チェーンを使用することによって、シーンエリアの暗い部分は、より長い露光時間に対応するセンサによって感知可能であるが、シーンエリアの光の部分は、飽和されることのない、より短い露光時間を用いて、光学チェーンによって感知可能である。センサ飽和を示す画素値によって示される、飽和されるようになる光学チェーンの画素センサは無視可能であり、他の、たとえばあまり露光されない、光学チェーンからの画素値は、他の光学チェーンの飽和された画素センサからの寄与なしで使用可能である。いくつかの実施形態では、露光時間の関数としての飽和されていない画素値の重み付けおよび組み合わせが使用される。異なる露光時間を有するセンサの出力を結合することによって、単一のセンサと露光時間とを使用して可能であろうよりも大きなダイナミックレンジがカバーされ得る。
図３は、図１および図２に示されるカメラデバイス１００の断面視点である。図２の破線１０１は、図３の断面図が対応するカメラデバイス内のロケーションを示す。側断面図から、第１の光学チェーン、第７の光学チェーン、および第４の光学チェーンの構成要素が視認可能である。
図３に示されるように、複数の光学チェーンを含むにもかかわらず、カメラデバイス１００は、少なくともいくつかの実施形態において、比較的薄型のデバイス、たとえば、厚さが２、３、または４センチメートルよりも薄いデバイスとして実施可能である。より厚いデバイス、たとえば望遠レンズを有するデバイスも可能であり、本発明の範囲内であるが、より薄いバージョンが携帯電話および／またはタブレット実装形態に特に好適である。以下で説明されるように、光方向変換要素および／または非円形レンズの使用などのさまざまな技法が、比較的大きい焦点距離、たとえば、比較的薄いカメラデバイスフォーマットにおける、フルフレームＤＳＬＲカメラに対して１５０ｍｍ相当の焦点距離、フルフレームＤＳＬＲカメラに対して３００ｍｍ相当の焦点距離、または上記のカメラモジュールをサポートするために、ハンドヘルドカメラで一般に使用されるセンサなどの小さいセンサに関連して、使用可能である。
図３の図に示されるように、ディスプレイデバイス１０２は、複数の光学チェーン１３０の後ろに置かれ得、プロセッサ１１０、メモリ、および他の構成要素は、少なくともいくつかの実施形態では、ディスプレイおよび／または光学チェーン１３０より上方または下方に位置決めされ得る。以下で説明されるように、および図３に示されるように、光学チェーンＯＣ１ １２１、ＯＣ７ １４５、ＯＣ４ １３３の各々は、レンズＬ１とフィルタＦと第２のレンズＬ２とを通過してセンサＳに到達する光をキャプチャしてその強度を測定するセンサＳへ進む、外側レンズＬ１と、任意選択のフィルタＦと、第２の任意選択のレンズＬ２とを含み得、いくつかの実施形態では、これらを含む。フィルタは、カラーフィルタまたはさまざまな他のタイプの光フィルタのうちの１つであってもよいし、特定の光学チェーン実施形態または構成によっては省略されてもよい。
比較的大きい光キャプチャエリアをサポートし、カラーフィルタリングおよび露光時間に関する大きな柔軟性を提供しながら、図３に示されるカメラデバイス１００は比較的薄く、図２で視認可能なカメラデバイスの全体的な横方向の長さもしくはさらには上下方向の長さよりもはるかに薄い、たとえば、５分の１、１０分の１、２０分の１、または一層薄い厚さを有することに留意されたい。
図４Ａは、本発明により実施されるカメラデバイス２００を示す。図４のカメラデバイス２００は、図１〜３のデバイス１００に示される同じ要素のうちの多くまたはすべてを含む。例示的なカメラデバイス２００は、互いに結合された、複数の光学チェーン（ＯＣ１ ２０５、ＯＣ２ ２０７、…、ＯＣ Ｘ ２０９と、プロセッサ２１１と、メモリ２１３と、ディスプレイ２１５とを含む。ＯＣ１ ２０５は、外側レンズＬ１ ２５１と、光方向変換要素Ｒ ２５２と、ヒンジ（または鏡）駆動部ＨＤ２９１と、フィルタ２５３と、内側レンズＬ２ ２５５と、センサ１ ２５７と、ＬＤ２５９とを含む。ＨＤ２９１は、光方向変換デバイス（Ｒ）２５２たとえば鏡が取り付けられるヒンジの位置を移動させ、したがって、レンズ２５１を移動させることなくモジュール２０５が向けられるシーンエリアを変更するために鏡を移動させるために使用可能である。モジュール２０５が向けられるシーンエリアを変更するために鏡２５２を移動させる（たとえば、ヒンジのまわりに回転させる）ことは、いくつかの実施形態と同様に屈折力を持たない、外側レンズ２５１がガラスの平面状断片またはプラスチック断片である一実施形態において、特に有用である。
図４Ａに示される光学チェーンは、カメラ２００内のさまざまな位置に配置可能である。図４Ａに示される要素と同じである図４Ｂ内の要素は、同じ参照番号を使用して識別され、再び説明されない。図４Ｂは、光がカメラ２００の前面または面を介して入り、カメラ２００の外側部分を形成するカメラハウジングの内部上部部分に取り付けられた第１〜第３のカメラモジュールのセンサ２５７、２６９、２８１にそれぞれ方向変換される配置内の光学チェーンの構成を示す。
図４Ｂの実施形態でわかるように、水平次元に入る光は、垂直に上方に方向変換される。たとえば、第１の光学チェーン２０５の外側レンズ２５１を通って入る光は、センサ２５７に向かって進むときフィルタ２５３および内側レンズ２５５を通過するように、鏡２５２によって上方に方向変換される。要素２５２などの光方向変換要素を有する、第１の光学チェーン２０５などの光学チェーンは、説明の目的で、２つのパートすなわちパートＡおよびパートＢに分割可能である。パートＡは、光路内で光方向変換要素２５２の前にある光学チェーン内のすべての要素からなり、パートＢは、光路内で光方向変換要素の後ろにあるすべての光学素子（画像センサを含む）からなる。カメラの外部から見られる光学チェーン２０５の光軸は、パートＡの光軸２９１である。光軸２９１に沿って光学チェーン２０５内へと進む光は、第１の光学チェーンのパートＢの光軸２９３に沿って上方に方向変換される。
光学チェーン２０５の特定の例示的な一実施形態では、パートＡは、いかなる屈折力を有する光学素子を含まず、たとえば、パートＡは、平面状ガラスまたはフィルタを含むが、レンズは含まない。この場合、カメラの外部から見られる光学チェーンの光軸は、単に、光方向変換要素によってパートＢの光軸２９３に沿って方向変換される光路に沿っている。いくつかの実施形態では、１つまたは複数のレンズ２５５が、屈折力を有する光学チェーンのパートＢに含まれる。したがって、少なくともいくつかの実施形態では、外側レンズ２５１は、カメラ２００の表面から突き出さない平坦なまたは比較的平坦なレンズとして実施され得ることを理解されたい。これによって、すり傷のリスクが低減され、レンズがカメラから突き出す場合にそうであろうようにポケットまたはケースから外側レンズを挿入または除去するときに外側レンズが挟まれる可能性も低減される。
第２のカメラモジュールおよび第３のカメラモジュールの光軸は第１の光学モジュール２０５の光軸に類似しており、光学チェーンの構成要素も、２つのパート、すなわち、光学チェーンの鏡へ進む構成部品に対応するパートＡおよび光学チェーンの鏡に続く構成要素に対応するパートＢにグループ化され得ることを理解されたい。光学チェーンの光路の視点から、構成要素のような光路はパートＡおよびパートＢとしてグループ化され得、鏡は、光路のパートＡと光路のパートＢとの間の遷移点を提供する。
すべてではないが、いくつかの実施形態では、図４Ａのカメラデバイス２００のプロセッサ２１１は図１のデバイス１００のプロセッサ１１０と同じであるかまたはこれに類似しており、図４Ａのデバイス２００のメモリ２１３は図１のデバイス１００のメモリ１０８と同じであるかまたはこれに類似しており、デバイス２００のズーム制御モジュール２１４はデバイス１００のズーム制御モジュール１４０と同じであるかまたはこれに類似しており、デバイス２００の加速度計モジュール２１６はデバイス１００の加速度計モジュール１２２と同じであるかまたはこれに類似しており、図４Ａのデバイス２００のディスプレイ２１５は図１のデバイス１００のディスプレイ１０２と同じであるかまたはこれに類似している。
ＯＣ２ ２０７は、外側レンズＬ１ ２６３と、光方向変換デバイス２３１と、ヒンジ駆動部２９３と、フィルタ２６５と、内側レンズＬ２ ２６７と、センサ２ ２６９と、ＬＤ２７１とを含む。ＯＣ Ｎ ２０９は、外側レンズＬ１ ２７５と、光方向変換デバイス２３５と、ヒンジ駆動部２９５と、フィルタ２７７と、内側レンズＬ２ ２７９と、センサＮ ２８１と、ＬＤ２８３とを含む。露光および読み出しコントローラ１５０は、露光時間も制御しながら、たとえば画素値の列を同期方式で読み出すようにセンサを制御する。いくつかの実施形態では、露光および読み出しコントローラ１５０は、露光コントローラ２８７とセンサ読み出しコントローラ２８９とを含むローリングシャッターコントローラである。オートフォーカスコントローラ１５２は、いくつかの実施形態では、レンズ駆動部２５９と２７１と２８３とを制御するために含まれる。
図４Ａの実施形態では、光学チェーン（光学チェーン１ ２０５、光学チェーン２ ２０７、…、光学チェーンＮ ２０９）は独立アセンブリとして示されおり、各モジュールのレンズ駆動部はそれぞれ、別個のＬＤ要素（ＬＤ２５９、ＬＤ２７１、ＬＤ２８３）である。示されるＬＤの各々は、ズーミング動作および／またはフォーカス動作の一部として、接続された対応するレンズの位置を調整する。いくつかの実施形態では、ＬＤは、ＬＤがレンズ支持機構またはレンズとセンサの両方に接続されるレンズおよび／またはセンサの位置を制御する。
図４Ａでは、各光学チェーン内のセンサの前にくる鏡とさまざまなレンズとフィルタとの間の構造上の関係は、他の図のうちのいくつかにおいてよりも、はっきりとわかる。図４Ａでは、４つの要素、たとえば２つのレンズ（それぞれＬ１とＬ２に対応する列２０１と２０３とを参照されたい）、光方向変換デバイスＲ（列２１７を参照されたい）、およびフィルタ（列２０２に対応する）が、各センサの前に示されているが、はるかに大きな組み合わせ（たとえば、数）のレンズ、光方向変換要素、および／またはフィルタが、１つまたは複数の光学チェーンのセンサの前にきてよく、２〜１０の範囲の要素が一般的であり、いくつかの実施形態、たとえば、ハイエンド実施形態ならびに／または多数のフィルタおよび／もしくはレンズの選択肢をサポートする実施形態では、一層大きな数の要素が使用されることを理解されたい。そのうえ、すべての示されている要素がすべての光学チェーンに含まれる必要はないことを理解されたい。たとえば、短い焦点距離を有する光学チェーンは、短い焦点距離を考えると、まっすぐであるが依然として比較的にコンパクトな方式で実施可能であるので、いくつかの実施形態では、比較的短い焦点距離を有する光学チェーンが、たとえば光を９０度方向変換するために、光方向変換要素の使用が使用されることなく実施され得る。
すべてではないが、いくつかの実施形態では、光学チェーンがカメラデバイス内に取り付けられ、場合によっては、たとえば、より短い焦点距離の光学チェーンが、カメラデバイスの前面から背面に向かってまっすぐに延在する。しかしながら、同じカメラ内では、より長い焦点距離のカメラモジュールは、カメラモジュールの光路の少なくとも一部分が横に延在することを可能にし、光軸の長さがカメラの奥行きよりも長いことを可能にする光方向変換デバイスを含み得、場合によっては、これを含む。そのようなモジュールの全長が、より短い焦点距離を有するカメラモジュールの全長よりも長い傾向があることを考えると、光方向変換要素たとえば鏡の使用は、長い焦点距離のカメラモジュールにとって特に有利である。カメラは、多種多様の異なるカメラモジュールを有し得、いくつかのモジュールは光方向変換要素たとえば鏡を持ち、他のモジュールは鏡を持たない。異なる光学チェーンに対応するフィルタおよび／またはレンズは、平面内に配置され得、いくつかの実施形態では配置され、たとえば、最も外側のレンズの絞りは、カメラの面と平行に延在する平面、たとえば、カメラが垂直方向であり、カメラの上部がいずれも上向きであるとき、カメラの前面が垂直と水平の両方に延在する平面内に構成され得る。
図５は、さまざまな例示的な実施形態で使用される光学チェーンたとえばカメラモジュール５００を示す。図５に示されるタイプの複数の光学チェーンは、以下で詳細に説明されるカメラ６００などのカメラデバイスで使用される。カメラモジュール５００は、外側レンズ５１２と、レンズ５１２の後ろに位置決めされた光方向変換デバイスたとえば鏡５１０と、ヒンジ駆動部５１６と、鏡ヒンジ５０８と、第１の円筒状モジュール部分５０６と、第２の円筒状モジュール部分５０４と、センサ５０２と、レンズ駆動部５１４とを含む光学チェーンである。光は、レンズ５１２を介して光学チェーン５００に入り、光学チェーンの背面にあるセンサ５０２に到達するように鏡５１０によって方向変換される。第１の円筒状部分５０４および第２の円筒状部分５０６は、１つまたは複数のレンズまたはフィルタ、ならびに光がセンサ５０２に到達する前に通過し得る他の光学構成要素を収納することができる。鏡５１０は通常、光がカメラの側面に向かって進み、光学チェーン５００が、光学チェーン５００が取り付けられたカメラデバイスの横方向の距離を効果的に使用することを可能にするように、その光軸に沿ってレンズ５１２（カメラの面に位置決めされ得る）を通って入る光が光学チェーン５００のパートＢの光軸に沿って方向変換されるように、光を９０度方向変換するために使用されるが、ヒンジ駆動部５１６は、方向変換の角度が９０度から変化するように方向変換の角度を変えるために、ヒンジ５０８およびしたがって鏡５１０の位置を移動させ得る。したがって、光学チェーン５００が効果的に向く方向は、レンズ５１２を移動させることなくヒンジ５０８および鏡５１０のすべてまたは一部分を移動させることによって変えられ得る。いくつかの実施形態では、ヒンジの軸は、光軸のパートＢに垂直であり、カメラ６００の前面の場所と平行である。いくつかの実施形態では、レンズ５１２は、屈折力を持たない平面状ガラスである。
ヒンジ駆動部は、鏡５１０および／または円筒状部分５０６などのカメラモジュールの他の構成要素に鏡を接続するヒンジ５０８の位置を駆動または変更するために使用可能なモータまたは他の機械的機構を使用して実施され得る。
円筒状部分またはバレル部分５０４、５０６は、互いに対して摺動するように駆動部５１４によって移動され得、たとえば、バレル部分５０４は、バレル部分５０６内外へとまたはそれからさらに移動するように移動され、それによって、フォーカス動作またはズーム動作の一部として、レンズ５１２からセンサ５０２までの距離を変え得る。
光学チェーン５００は、比較的に長い光学チェーンが、光学チェーン５００の全長よりも短い奥行きを有するカメラデバイス内に位置決めされることを可能にすることを理解されたい。カメラモジュール５００は、複数の光学チェーンを含むが、依然として、ポケットまたは他のストレージデバイス内の格納を容易にするために比較的薄いことが意図されたカメラデバイスを実施するのに特に好適である。
図６は、複数の光学チェーンたとえば図５に示されるタイプのカメラモジュールを含むカメラデバイス６００の斜視図である。カメラ６００は、可撓性であり、ハンドグリップを形成し、レンズエリア６０４を露出するために側部に摺動可能なカバー６０２を含む。図６の実施形態では、レンズエリア６０４は、各々が円によって表される複数の外側レンズを含む。より大きい円は、より小さいレンズを有する光学チェーンよりも大きい絞りと焦点距離とを有する光学チェーンに対応する。図６の実施形態は、３つの異なる焦点距離に対応する合計１７の光学チェーンを含む。レンズエリア６０４内の５つの最も小さい円によってわかる５つの小さい焦点距離の光学チェーンと、５つの中間の焦点距離の光学チェーンの外側レンズを表す５つの中間サイズの円によってわかる５つの中間の焦点距離の光学チェーンと、図６のレンズエリア６０４に示される７つのより大きい円によってわかる７つの長い焦点距離の光学チェーンが存在する。最小の光学チェーンと最大の光学チェーンとの間の焦点距離の関係は、一実施形態では、最小焦点距離が最大光学チェーンの焦点距離の４分の１であり、中間の焦点距離の光学チェーンの焦点距離の２分の１であるようなものである。たとえば、小さい焦点距離の光学チェーン、中間焦点距離の光学チェーン、および長い焦点距離の光学チェーンはそれぞれ、３５ｍｍ、７０ｍｍ、および１４０ｍｍの相当するフルフレームＤＳＬＲ焦点距離を有し得、一実施形態では、これを有する。そのような焦点距離の差が、３５ｍｍカメラモジュールは、７０ｍｍカメラモジュールによってキャプチャされるエリアよりも約４倍大きく、１４０ｍｍの焦点距離を有するカメラモジュールによってキャプチャされるシーンエリア１６倍のサイズの、シーンエリアをキャプチャすることをもたらすことを理解されたい。図６には示されていないが、カメラデバイス６００は、図１および図４Ａのカメラデバイス１００およびカメラデバイス２００と同じまたは類似の要素を含み得、いくつかの実施形態では、これを含むことを理解されたい。したがって、カメラデバイス６００は、プロセッサ１１０／２１１、メモリ１０８／２１３、ズームコントローラ１４０／２１４、露光および読み出しコントローラ１５０、加速度計、ジャイロ、オートフォーカスコントローラ１３２などのさまざまな要素、ならびに上記でカメラデバイス１００および２００に関して説明されたさまざまな他の要素を含むことを理解されたい。
関心シーンエリアの部分をキャプチャするために異なる焦点距離を有するカメラモジュールを使用することによって、次いで、さまざまな実施形態で行われるように画像を結合することによって、合成画像は、いかなる個々のセンサよりも高い全体画素カウントを有することができる。したがって、異なる焦点距離を有する異なるカメラモジュールによって使用されるセンサが同じ画素カウントを有するときでも、合成画像の画素の数は、個々のセンサの画素の数よりもはるかに高くなり得る。
いくつかの実施形態では、以下で説明されるように、関心シーンエリアの異なる部分は、最大焦点距離を有するカメラモジュールのうちの異なるものによってキャプチャされる。次いで、より大きい関心シーンエリアが、関心シーンエリア全体に対応し得る場合、たとえば、最小のサポートされる焦点距離を使用するカメラデバイスのカメラモジュールの場合、中間または小さい焦点距離を有するカメラモジュールが、関心シーンエリアのより大きい部分をキャプチャするために使用される。重複する画像は、異なるカメラモジュールの画像センサによってキャプチャされる。カメラデバイス上のカメラモジュールの位置についての既知の空間情報、たとえば、異なるカメラモジュールの外側レンズ間の距離および／または個々のカメラモジュール（結合されることになる画像をキャプチャする）の各々が指す角度に基づいて、奥行き情報が生成される。以下でさらに説明されるように、合成画像を形成するために、異なるカメラモジュールによってキャプチャされた画像が、奥行き情報を使用して結合される。画像は、シーンまたはシーンエリア内の奥行き情報を生成することなく結合可能であり、いくつかの実施形態では、結合されることに留意されたい。いくつかのそのような実施形態では、最初に、関心シーンエリアを覆う画像が基準画像として選定される。次いで、合成画像が、基準画像においてキャプチャされた視点から生成される。そのような一実施形態では、基準画像内の選定された画素の小さいブロックが、他の画像の選定されたサブセットに含まれる各画像内の合致する画素の集合で結合される。組み合わせは、基準画像ブロック内の各画素が、被写体内の画像の各々における合致する画素（または、画像部分が非整数画素シフトと合致する場合、補間された画素）で結合されるように実行される。結合は画素値の重み付け和であってよく、ここで、重みは、画素が属する画像の品質に基づいて割り当てられる。この結合された画素のブロックは、ここで、合成画像の対応するブロックになる。プロセスは、合成画像全体を生成するために基準画像の他のブロックに対して繰り返される。異なる焦点距離を有するカメラモジュールで撮影された画像、次いで、基準画像は、異なる倍率を有することに留意されたい。この場合、これらの画像はまず、上記のプロセスが実行される前に基準画像と同じ倍率を有するように適切に拡大縮小されるべきである。より良いＳＮＲを有する可能性を有するように上記のように複数の画像を結合することによって生成される合成画像、次いで、合成画像を生成するために使用される画像結合に基づいて選択された基準画像。
３つの異なる焦点距離に対応するその１７の異なるカメラモジュールを有する図６のカメラデバイスは、以下で詳細に説明されるように、合成画像を生成するためにキャプチャされた画像を結合するのに特に好適である。
図７は、カメラケースを閉位置に有する、図６のカメラデバイス６００を示す。可撓性ケース６０２は、カメラが使用中でないとき、レンズエリア６０４とその中に含まれるレンズとを保護可能なカバーとして働くことに留意されたい。
図８は、カメラデバイス６００およびカメラデバイスのレンズ配置の正面図であり、１５の外側レンズは、レンズエリア６０４内の円としてはっきりと視認可能である。最小焦点距離を有するカメラモジュールに対応する最小レンズの直径はｄであり、中間の焦点距離のモジュールに対応する外側レンズは直径２ｄを有し、最大焦点距離を有するカメラモジュールは直径４ｄを有することに留意されたい。これは、ｆ１が最大焦点距離（ｆ３）の４分の１であり、中間の焦点距離を有するカメラモジュールの中間の焦点距離ｆ２の焦点距離の２分の１である焦点距離関係ことを仮定すると、同じ「ｆストップ」すなわち「ｆ値」を有するカメラモジュールをもたらす。「ｆ値」は、焦点距離と絞り直径の比であり、カメラモジュールの回折限界を決定する。ｆ値が小さいほど、カメラモジュールの回折限界となる可能性が低くなる。より小さいｆ値は通常、カメラモジュールにおけるより大きな光学的複雑さに対応する。５または６の成形されたプラスチック要素を有する小さいレンズは、最近、約２．４のｆ値に対するコスト効率の高い方式で製造可能である。したがって、いくつかの実施形態では、複数のプラスチック要素で作製されたプラスチックレンズが使用される。
図９は、レンズ構成およびレンズエリアのより良い理解を可能にするためにケース、制御装置、および他の特徴が省略された、カメラデバイス６００の簡略図である。
図１０は、カメラデバイス６００の側面図１０００である。図１０に示されるように、カメラデバイスは、高さＨ（制御ボタンを含まない）と、奥行きＤ１とを有する。Ｄ１は、図６に示される最大レンズの絞りの直径Ｄに等しいかまたはこれよりも大きい。以下に説明されるように、実施形態によっては、丸い絞りを有する外側レンズの直径は、光方向変換要素たとえば鏡が光を方向変換するために使用される場合、カメラの最小奥行きに影響を与えることができる。この場合、カメラの最小奥行きは、この直径よりも大きくなければならない。そうでない場合、実際のモジュール絞りは外側レンズの直径よりも小さく、より小さな外側レンズが使用されてよい。
図１１は、カメラ６００の外側レンズ配置の拡大されたバージョン１１００を示す。図１１では、３つの異なるサイズの外側レンズがはっきりと視認可能であり、最大直径のレンズは、最大焦点距離、およびしたがってズームたとえば倍率、を有するカメラモジュールに対応する。
図１２Ａは、カメラ６００の１７の光学チェーンたとえばカメラモジュールがカメラ６００の本体内にどのように配置可能であるかを示す図１２００である。最大レンズと最大のサポートされる焦点距離とを有する７つの光学チェーン１２０２、１２０６、１２１０、１２１２、１２１６、１２２０、１２２２が、図５に示されるタイプの光学チェーンを使用して実施される。同様に、中間の直径のレンズと中間のサポートされる焦点距離とを有する５つのカメラモジュール１２０４、１２０８、１２１４、１２１８、１２２４も、図５に示されるタイプの光学チェーンを使用して実施される。最小直径の外側レンズと最小焦点距離とを有する５つの光学チェーン１２２６、１２２８、１２３０、１２３２、および１２３４は、鏡を使用せず、カメラの背面に向かってまっすぐに延在する光学チェーンを使用して実施される。図３の実施形態で使用されるタイプの光学チェーンは、光学チェーン１２２６、１２２８、１２３０、１２３２、および１２３４に使用され得る。しかしながら、図５に示されるタイプの光学チェーンは、光学チェーン１２２６、１２２８、１２３０、１２３２、および１２３４として使用され得、いくつかの実施形態では、使用されることを理解されたい。
カメラモジュールを見ることを可能にするためにカメラハウジングの前面が除去された正面図と考えられ得る図１２Ａの例から、単一のカメラを使用したシーンエリアの同じまたは異なる部分の複数の画像の同時および／または同期されたキャプチャを可能にする、より大きな数のカメラモジュールが単一のカメラデバイス６００にどのように組み込み可能であるかがわかる。カメラデバイスは、次いで、カメラ６００のカメラモジュールの単一のモジュールを使用して可能である超える画素の数などの画像属性および／または品質を有する合成画像を生成するために、複数の画像を結合することができる。
図１２Ｂは、カメラデバイス内のさまざまな光学チェーンおよびカメラデバイス内の光学チェーンの要素の配置をより詳細に示す、カメラデバイス６００の斜視図１２５０を示す。したがって、図１２Ｂは、図１２Ａに関して詳細に説明されるようなさまざまな対応する焦点距離を有する複数の光学チェーン（ＯＣ）１２０２、１２０４、１２０６、１２０８、１２１０、１２１２、１２１４、１２１６、１２１８、１２２０、１２２２、１２２４、１２２６、１２２８、１２３０、１２３２、および１２３４のより詳細な図を示す。
図１２Ｂに示されるように、カメラ６００は、カメラの前表面（矢印１２２３によって示される）からカメラの背／後表面（矢印１２２７によって示される）までのカメラ６００の厚さを表す奥行きＤ１を有する。図１２Ｂには示されていないが、いくつかの実施形態では、カメラデバイス６００は、図１および／または図４Ａのカメラデバイスと同じまたは類似の要素を含む。
いくつかの実施形態では、光学チェーン１２０２、１２０６、１２１０、１２１２、１２１６、１２２０、１２２２、１２０４、１２０８、１２１４、１２１８、１２２４に含まれる要素は、上記で図４Ｂおよび図５に関して説明された要素に類似しているが、光学チェーン１２２６、１２２８、１２３０、１２３２、および１２３４に含まれる要素は、上記で図３に関して説明された要素に類似している。図１２Ｂの実施形態では、各ＯＣは、丸い外側レンズを使用する。
ＯＣ１２０２は、外側レンズ１２０３と、レンズ１２０３の後ろに位置決めされた光方向変換デバイス１２０５たとえば鏡と、第１の内側レンズ１２０７と、フィルタ１２１３と、第２の内側レンズ１２１５と、センサ１２１７とを含む。いくつかの実施形態では、ＯＣ１２０２、１２０６、１２１０、１２１２、１２１６、１２２０、１２２２は、同じ焦点距離（図１２の他のＯＣと比較すると最大焦点距離）を有し、鏡、フィルタ、センサなどの類似の要素を使用する。したがって、ＯＣ１２０６、１２１０、１２１２、１２１６、１２２０、１２２２に対応する要素は、ＯＣ１２０２内の類似の要素を識別するために使用される同じ参照番号を使用して識別されているが、これらのＯＣ内の参照番号の後に、プライム符号（’）、ダブルプライム符号（’’）、トリプルプライム符号（’’’）などが続く。たとえば、ＯＣ１２０６は、外側レンズ１２０３’と、レンズ１２０３’の後ろに位置決めされた光方向変換デバイス１２０５’たとえば鏡と、第１の内側レンズ１２０７’と、フィルタ１２１３’と、第２の内側レンズ１２１５’と、センサ１２１７’とを含む。ＯＣ１２１０は、外側レンズ１２０３’’と、光方向変換デバイス１２０５’’と、第１の内側レンズ１２０７’’と、フィルタ１２１３’’と、第２の内側レンズ１２１５’’と、センサ１２１７’’とを含む。ＯＣ１２１２は、外側レンズ１２０３’’’と、光方向変換デバイス１２０５’’’と、第１の内側レンズ１２０７’’’と、フィルタ１２１３’’’と、第２の内側レンズ１２１５’’’と、センサ１２１７’’’とを含む。ＯＣ１２１６は、外側レンズ１２０３’’’’と、光方向変換デバイス１２０５’’’’と、第１の内側レンズ１２０７’’’’と、フィルタ１２１３’’’’と、第２の内側レンズ１２１５’’’’と、センサ１２１７’’’’’とを含む。ＯＣ１２２０は、外側レンズ１２０３’’’’’と、光方向変換デバイス１２０５’’’’’と、第１の内側レンズ１２０７’’’’’と、フィルタ１２１３’’’’’と、第２の内側レンズ１２１５’’’’’と、センサ１２１７’’’’’’とを含む。ＯＣ１２２２は、外側レンズ１２０３’’’’’’と、光方向変換デバイス１２０５’’’’’’と、第１の内側レンズ１２０７’’’’’’と、フィルタ１２１３’’’’’’と、第２の内側レンズ１２１５’’’’’’と、センサ１２１７’’’’’’とを含む。
同様に、同じ焦点距離（中間の）を有するＯＣ１２０４、１２０８、１２１４、１２１８、１２２４に対応する要素が、同じ参照番号を使用して識別される。ＯＣ１２０４は、外側レンズ１２３３と、レンズ１２３３の後ろに位置決めされた光方向変換デバイス１２３５たとえば鏡と、第１の内側レンズ１２３７と、フィルタ１２４３と、第２の内側レンズ１２４５と、センサ１２４７とを含む。光学チェーン１２０８は、外側レンズ１２３３’と、レンズ１２３３’の後ろに位置決めされた光方向変換デバイス１２３５’たとえば鏡と、第１の内側レンズ１２３７’と、フィルタ１２４３’と、第２の内側レンズ１２４５’と、センサ１２４７’とを含む。ＯＣ１２１４は、外側レンズ１２３３’’と、光方向変換デバイス１２３５’’と、第１の内側レンズ１２３７’’と、フィルタ１２４３’’と、第２の内側レンズ１２４５’’と、センサ１２４７’’とを含む。ＯＣ１２１８は、外側レンズ１２３３’’’と、光方向変換デバイス１２３５’’’と、第１の内側レンズ１２３７’’’と、フィルタ１２４３’’’と、第２の内側レンズ１２４５’’’と、センサ１２４７’’’とを含み、ＯＣ１２２４は、外側レンズ１２３３’’’’と、光方向変換デバイス１２３５’’’’と、第１の内側レンズ１２３７’’’’と、フィルタ１２４３’’’’と、第２の内側レンズ１２４５’’’’と、センサ１２４７’’’’とを含む。
図４Ｂに関して説明されたように、要素１２０５などの光方向変換要素を有する、光学チェーン１２０２（またはＯＣ１２０６、１２１０、１２１２、１２１６、１２２０、１２２２、１２０４、１２０８、１２１４、１２１８、１２２４）などの光学チェーンは、説明の目的で、２つのパートに分割可能である。カメラの前面の外部から見られる光学チェーン１２０２の光軸は、第１のパート１２０１の光軸（カメラ６００の前面１２２３から外側レンズ１２０３を介してＯＣに入る）である。光軸に沿って光学チェーン１２０２内へと進む光は、方向変換要素１２０５によって方向変換され、第１の光学チェーンの第２のパート１２０９を横断して、センサ１２１７に到達する。同様に、光学チェーン１２０４の光軸は、第１のパート１２１１と、方向変換要素１２３５による光方向変換の後の第２のパート１２１９とを含み、光学チェーン１２０６の光軸は第１のパート１２２１と第２のパート１２２９とを含み、光学チェーン１２０８の光軸は第１のパート１２３１と第２のパート１２３９とを含み、光学チェーン１２１０の光軸は第１のパート１２４１と第２のパート１２４９とを含み、光学チェーン１２１２の光軸は第１のパート１２５１と第２のパート１２５９とを含み、光学チェーン１２１４の光軸は第１のパート１２６１と第２のパート１２６９とを含み、光学チェーン１２１６の光軸は第１のパート１２７１と第２のパート１２７９とを含み、光学チェーン１２１８の光軸は第１のパート１２７８と第２のパート１２８８とを含み、光学チェーン１２２０の光軸は第１のパート１２８１と第２のパート１２８９とを含み、光学チェーン１２２２の光軸は第１のパート１２９１と第２のパート１２９９とを含み、光学チェーン１２２４の光軸は第１のパート１２９２と第２のパート１２９８とを含む。
図１２Ｂの例では、他の光学チェーンＯＣ１２２６、１２２８、１２３０、１２３２、および１２３４（最小焦点距離ＯＣ）は、各々、光が入る最も外側のレンズ１２５２、１２５３、１２５４、１２５５、および１２５６をそれぞれ有するが、ＯＣ１２２６、１２２８、１２３０、１２３２、および１２３４は、光方向変換要素を持たない。図１２Ｂには示されていないが、ＯＣ１２２６、１２２８、１２３０、１２３２、および１２３４は各々、カメラ６００の前面１２２３に垂直な光軸を有する。
外側レンズおよび内側レンズ、鏡、フィルタ、およびセンサなどのＯＣのさまざまな要素の機能は、先に、たとえば図４Ｂおよび図５の説明において、説明されている。図１２Ｂに示されるＯＣの要素の機能は、図４Ａ〜図４Ｂおよび図５に関して説明された機能と同じまたはこれに類似しているので、説明は繰り返されない。
光は、それぞれの外側レンズを介してＯＣ１２０２、１２０６、１２１０、１２１２、１２１６、１２２０、１２２２、１２０４、１２０８、１２１４、１２１８、１２２４の各々に入り、光学チェーンの各々の背面にあるそれぞれのセンサに到達するように、それぞれの方向変換要素によって方向変換される。多くの場合、光がＯＣに入る外側レンズは、光が入る入射瞳と呼ばれる。たとえば、光学チェーン１２０２の外側レンズ１２０３を通って（たとえば、第１の光軸１２０１によって示されるカメラ６００の前面１２２３から）入る光は、センサ１２１７に向かって進むとき第１の内側レンズ１２０７とフィルタ１２１３と第２の内側レンズ１２１５とを通過するように、鏡１２０５によって方向変換される。これより多いまたは少ない数の要素、たとえばレンズ、フィルタなどは、いくつかの実施形態では、ＯＣの各々に含まれ得る。カメラデバイス６００内の他の光学チェーンと同じ形状および／または解像度のセンサを依然として使用しながら、異なる光学チェーンは、異なるレンズを使用し得る。
ＯＣのレンズの後ろに位置決めされた、たとえばヒンジ結合された鏡などの光方向変換要素またはプリズムなどの他の光方向変換デバイスが移動および／または回転可能であり、それが、対応するＯＣの外側レンズの外部から見られるＯＣの光軸の変化をもたらすことを理解されたい。それは、カメラの外部から見られる光学チェーンの光軸（光軸１２０１、１２１１、１２３１などの第１のパートの光軸として上記で説明された）は、対応するＯＣの光方向変換要素を制御することによって変化可能である。したがって、図１２Ｂの例では、光軸１２０１、１２１１、１２２１、１２３１、…、１２９８、１２９９は平行であるように見えるが、いくつかの実施形態では、対応する光学チェーン内の外側レンズの後ろに置かれた鏡などの光方向変換要素を制御することによって、光軸は、１つまたは複数のＯＣの光軸が互いと平行でないように変化可能であることを理解されたい。鏡の移動を制御することによって光学チェーンの光軸を変化させる機能は、たとえば所与の方向の写真を撮影するために、カメラがその方向に向けられる場合と同じ効果をもたらし、したがって、カメラデバイスを実際に移動させることなく異なる視点から画像をキャプチャする機能を提供する。
異なる位置において光方向変換デバイス１２０５’’を有する光学チェーン１２１０を示す図１２Ｃ〜図１２Ｅは、光方向変換デバイス１２０５’’の位置を変えることによって光路の第１のパート１２４１がどのように変えられ得るかの好例である。ＯＣ１２１０は、外側レンズ１２０３’’と、レンズ１２０３’’の後ろに位置決めされた光方向変換デバイス１２０５’’たとえば鏡と、第１の内側レンズ１２０７’’と、フィルタ１２１３’’と、第２の内側レンズ１２１５’’と、センサ１２１７’’とを含む。
図１２Ｃでは、鏡の角度は上方に傾斜しており、光路の第１の部分１２４１が左に角度づけられることになる。鏡１２０５’’をこの位置に上昇させることによって理解されるべきであるように、光方向変換デバイス１２０５’’が光学チェーンモジュール１２１０の底部に対して４５度傾斜しているときと異なる画像エリアが観察され、センサ１２１７’’によってキャプチャされ、光学チェーンモジュール１２１０の底部は、レンズ１２０３’’がカメラの前面に面していると仮定すると、モジュールが取り付けられるカメラの背面と一致する。
図１２Ｄの構成では、すなわち、平面鏡１２０５’’が４５度の角度であり、センサに向けられる画像がシーンエリアの中心部分に対応するとき、鏡１２０５’’の位置たとえば角度を変更することによって、センサ１２１７’’によってキャプチャされるシーンエリアの部分が変わると仮定する。図１２Ｅは、鏡１２０５’’の角度を減少させることによって第１の部分１２４１がどのように右に向けられ得るかを示すが、図１２Ｆは、鏡１２０５’’の角度をさらにもっと減少させることによってシーンの部分がどのようにキャプチャされ、変更され得るかを示す。
図１２Ｃに示されるように光方向変換デバイスの角度を上昇させることは、いくつかの実施形態でサポートされているが、他の実施形態では、４５度以下の角度がサポートされる。そのような実施形態では、カメラの最大奥行きは、４５度の角度を超えて光方向変換デバイスを上昇させる能力をサポートするために増加される必要はない。
図１２Ｂに示されるモジュールの光方向変換デバイスの位置を変えることによって、光方向変換デバイスを有するモジュールによってキャプチャされる画像エリアは、モジュールそれ自体を移動させることなく変更可能であることを理解されたい。モジュール１２０８、１２１０、１２１２、１２１４、１２１８、１２２０、１２０２、１２０４などのカメラの面上で４５度の角度と平行に配置された光学チェーンモジュールの場合、光方向変換デバイスの角度を変更することによって、画像キャプチャエリアが、たとえばカメラの中心の真正面から効果的に移動され、またはたとえば関心シーンエリアのコーナーの四半分から、シーンエリアの何らかの他の部分をキャプチャする。カメラモジュールが、カメラデバイス１２５０の前面の１つのコーナーからカメラデバイス１２５０の別のコーナーまで延在する４５度の角度に沿ってまたはこれと平行に配置される場合、鏡位置を変更することは、キャプチャされている画像エリアを４５度の対角線に沿って摺動させる効果を有する。したがって、カメラモジュールが、カメラの前面の４５度のバイアスに沿って設置されるとき、画像キャプチャエリアは、カメラの前面に対して４５度の角度に沿って配置されたモジュールの光方向変換デバイスの単純な移動を介して、大きい画像エリアの中心部分ではなく大きい画像エリアの四半分がキャプチャされるように、シフトされ得る。画像キャプチャエリアは、図１２Ｃ〜図１２Ｄに示されるように光方向変換デバイス１２０５’’の角度を変えることによって、中心からコーナーの四半分に、またはその逆に、効果的に摺動され得る。
異なる光学チェーンは、鏡の位置および焦点距離に応じて、関心シーンエリアの異なる部分をキャプチャするために使用可能であり、いくつかの実施形態では、そのために使用される。キャプチャされる画像エリアは重複してよく、多くの場合は重複するが、重複する必要はない。異なるカメラモジュールによってキャプチャされるエリアの重複は、異なるモジュールによってキャプチャされる画像の組み合わせを容易にする。
たとえば、少なくともいくつかの光学チェーンの光軸が平行でない一実施形態に関する以下の説明を考えてみる。説明の目的で、図１２Ｂを参照し、図１２Ｂに示される要素に対応する参照番号を使用しているが、図１２Ｂの例とは異なるこの特定の実施形態の説明のために、２つ以上の光学チェーンの光軸（光学チェーンの最も外側のレンズの外部から見られる）は互いと平行ではなく、カメラの前面に垂直でないことがあることが理解されよう。この実施形態により実施されるカメラデバイスは、第１の光軸と第１の最も外側のレンズとを有するカメラの第１の光学チェーンたとえば第１のＯＣ１２０２と、第１の光軸と平行でない第２の光軸と第１の最も外側のレンズと異なる第２の最も外側のレンズとを有するカメラの第２の光学チェーンたとえば第２のＯＣ１２０８またはＯＣ１２１０とを含む。第１の光学チェーンは、関心シーンエリアの第１の部分の第１の画像をキャプチャするために使用可能であり、いくつかの実施形態では、そのために使用され、第２の光学チェーンは、関心シーンエリアの第２の部分の第２の画像をキャプチャするために使用可能であり、いくつかの実施形態では、そのために使用される。いくつかのそのような実施形態では、第１の光軸および第２の光軸は、たとえばカメラ６００の前（１２２３）面などの、カメラの前面に垂直でない。いくつかの実施形態では、第１の光学チェーンおよび第２の光学チェーンに加えて、例示的なカメラは、第３の光軸と第１の最も外側のレンズおよび第２の最も外側のレンズ（たとえば、１２０３および１２０３’’）とは別個の第３の最も外側のレンズ１２５３とを有する第３の光学チェーンたとえばＯＣ１２２８を含む。いくつかの実施形態では、第３の光学チェーンは、第１の光学チェーンまたは第２の光学チェーンのうちの少なくとも１つの焦点距離よりも小さい焦点距離を有する。いくつかの実施形態では、第３の光学チェーンは、第３の画像をキャプチャするために使用され、この第３の画像は、関心シーンエリアを含み、たとえば、関心シーンエリア全体の画像である。いくつかの実施形態では、第３の光軸はカメラの前面１２２３に垂直である。いくつかの実施形態では、第３の光軸は、第１の光軸または第２の光軸のいずれとも平行でない。いくつかの実施形態では、第２の光学チェーンは第２の焦点距離を有し、第１の光学チェーンは第１の焦点距離を有し、第２の焦点距離は前記第１の焦点距離よりも小さい。いくつかの他の実施形態では、第１の焦点距離と第２の焦点距離は同じである。いくつかの実施形態では、第３の光学チェーンは、第１の焦点距離および第２の焦点距離よりも小さい第３の焦点距離を有する。
いくつかの実施形態では、第１の光学チェーン、第２の光学チェーン、および第３の光学チェーンに加えて、カメラは、前記第１の最も外側のレンズ、前記第２の最も外側のレンズ、および前記第３の最も外側のレンズとは別個の第４の最も外側のレンズたとえばレンズ１２５６を有する、第４の光学チェーンたとえばＯＣ１２３４を含む。いくつかの実施形態では、第４の光学チェーンは、第４の画像をキャプチャするために使用され、この第４の画像は、関心シーンエリア、たとえば関心シーンエリア全体の、第２の画像を含む。いくつかの実施形態では、第４の光学チェーンは第４の光軸を有し、第３の光軸と第４の光軸は互いと平行である。いくつかの実施形態では、第３の光軸および第４の光軸は、第１の光軸または第２の光軸と平行でない。
いくつかの実施形態では、カメラは、第１の光軸および第２の光軸と平行でない第５の光軸を有する第５の光学チェーンたとえばＯＣ１２２０と、第１の光軸、第２の光軸、または第５の光軸と平行でない第６の光軸を有する第６の光学チェーンたとえばＯＣ１２１２とをさらに含む。いくつかの実施形態では、第５の光学チェーンは、第５の画像をキャプチャするために使用され、第６の光学チェーンは、第６の画像をキャプチャするために使用され、第５の画像は関心シーンエリアの第３の部分の画像であり、第６の画像は関心シーンエリアの第４の部分の画像である。いくつかの実施形態では、カメラは、第１の光学チェーンと同じ焦点距離と第７の画像とを有する第７の光学チェーンたとえばＯＣ１２１６をさらに含み、前記第７の光学チェーンは、カメラの面（１２２３）に垂直な光軸を有する。
いくつかの実施形態では、カメラ６００は、少なくとも第１の画像と第２の画像とを結合することによって合成画像を生成するように構成されたプロセッサ（たとえば、プロセッサ１１０、２１１）を含む。いくつかの実施形態では、プロセッサは、第１の画像、第２の画像、第３の画像、第４の画像、第５の画像、および第６の画像から合成画像を生成するように構成される。いくつかの実施形態では、プロセッサは、第１の画像、第２の画像、第３の画像、第４の画像、第５の画像、第６の画像、および第７の画像から合成画像を生成するように構成される。いくつかの実施形態では、プロセッサは、デバイスメモリたとえばメモリ１０８内での生成された合成画像の格納、および／またはディスプレイたとえばディスプレイ１０２上での合成画像の出力、および／またはインターフェース１１４などのインターフェースを介した別のデバイスへのキャプチャされた画像もしくは合成画像の送信を制御するようにさらに構成される。
図１３Ａは、構造に関して図５に示されるカメラモジュール５００に類似しているが、丸くない、たとえば卵形の、外側レンズ１３１２と方形の鏡１３１０とを光方向変換デバイスとして使用する、例示的な光学チェーンたとえばカメラモジュール１３００を示す。光学チェーン１３００は、さまざまな例示的な実施形態において使用される。カメラモジュール１３００は、すべてではないがいくつかの実施形態では屈折力を持たない平面状ガラスである外側レンズ１３１２と、レンズ１３１２の後ろに位置決めされた光方向変換デバイスたとえば鏡１３１０と、ヒンジ駆動部１３１６と、鏡ヒンジ１３０８と、第１の円筒状モジュール部分１３０６と、第２の円筒状モジュール部分１３０４と、センサ１３０２と、レンズ駆動部１３１３とを含む光学チェーンである。いくつかの実施形態では、断面は円形ではなく卵形であることがあるので、いくつかの実施形態では、円筒状モジュール部分は、正確に円筒状でなくてよい。しかしながら、卵形の断面を有している場合ですら、それらの部分は、形状が略円筒状に見え、したがって、円筒状部分と呼ばれる。光は、レンズ１３１２を介してカメラモジュール１３００に入り、光学チェーンの背面にあるセンサ１３０２に到達するように鏡１３１０によって方向変換される。第１の円筒状モジュール部分１３０４および第２の円筒状モジュール部分１３０６は、１つまたは複数のレンズまたはフィルタ、ならびに光がセンサ１３０２に到達する前に通過し得る他の光学構成要素を収納することができる。外側レンズ１３１２は、丸くない絞りを有するが、センサ１３０２は、図５の実施形態で使用されるものと同じ形状および／またはタイプであってよい。したがって、異なる光学チェーンは異なるレンズを使用し得るが、異なる光学チェーンは、カメラデバイス内の他の光学チェーンと同じ形状および／または解像度のセンサを依然として使用し得る。
潜在的なカメラの厚さに関して丸くない絞りを有する光学チェーンを使用する利点は、以降の説明に鑑みて明らかであろう。
図１３Ｂは、カメラハウジング１３２２を含むカメラデバイス１３２０内の複数の光学チェーン（ＯＣ）の例示的な配置を示す。カメラ内部の光学チェーンの配置に加えて、光学チェーンの各々の内部要素の構成および配置も、より詳細に示されている。６つのＯＣを有する１つの例示的な配置が図１３Ｂに示されているが、光学チェーンは、カメラ１３２０内のさまざまな他の位置に配置可能であることを理解されたい。図１３Ｂに示されるように、カメラ１３２０は、カメラの前表面（矢印１３２１によって示される）からカメラの背／後表面（矢印１３２５によって示される）までのカメラ１３２０の厚さを表す奥行きＤを有する。図１３Ｂは、カメラハウジング１３２２、厚さ（Ｄ）１３２３、前表面１３２１、および後表面１３２５などのカメラデバイス１３２０のさまざまな特徴がより良く理解できるように、カメラデバイス１３２０の斜視図を示すことを理解されたい。いくつかの実施形態では、カメラデバイス１３２０は、図１および／または図４Ａのカメラデバイスと同じまたは類似の要素を含む。
図１３Ｂに示される複数の光学チェーンは、ＯＣ１３２４と、ＯＣ１３２６と、ＯＣ１３２８と、ＯＣ１３３０と、ＯＣ１３３２と、ＯＣ１３３３とを含む。示されているさまざまな光学チェーンの各々に含まれる要素は、上記で図４Ａおよび図１３Ａに関して説明された要素に類似している。図１３Ｂの実施形態では、各ＯＣは、丸くない、たとえば卵形の、外側レンズを使用する。
ＯＣ１３２４は、外側レンズ１３３４と、レンズ１３３４の後ろに位置決めされた光方向変換デバイス１３３５たとえば鏡と、第１の内側レンズ１３３６と、フィルタ１３３８と、第２の内側レンズ１３４０と、センサ１３４２とを含む。ＯＣ１３２６は、外側レンズ１３４４と、レンズ１３４４の後ろに位置決めされた光方向変換デバイス１３４５と、第１の内側レンズ１３４６と、フィルタ１３４８と、第２の内側レンズ１３５０と、センサ１３５２とを含む。ＯＣ１３２８は、外側レンズ１３５４と、レンズ１３５４の後ろに位置決めされた光方向変換デバイス１３５５と、第１の内側レンズ１３５６と、フィルタ１３５８と、第２の内側レンズ１３６０と、センサ１３６２とを含む。同様に、ＯＣ１３３０は、外側レンズ１３６４と、レンズ１３６４の後ろに位置決めされた光方向変換デバイス１３６５と、第１の内側レンズ１３６６と、フィルタ１３６８と、第２の内側レンズ１３７０と、センサ１３７２とを含む。ＯＣ１３３２は、外側レンズ１３７４と、レンズ１３７４の後ろに位置決めされた光方向変換デバイス１３７５と、第１の内側レンズ１３７６と、フィルタ１３７８と、第２の内側レンズ１３８０と、センサ１３８２とを含む。ＯＣ１３３３は、外側レンズ１３８４と、レンズ１３８４の後ろに位置決めされた光方向変換デバイス１３８５と、第１の内側レンズ１３８６と、フィルタ１３８８と、第２の内側レンズ１３９０と、センサ１３９２とを含む。
図４Ｂに関して説明されたように、要素１３３５などの光方向変換要素を有する、図１３Ｂに示される光学チェーン１３２４などの光学チェーンは、説明の目的で、２つのパートに分割可能である。カメラの外部から見られる光学チェーン１３２４の光軸は、第１のパート１３３１の光軸（カメラ１３２０の前面から外側レンズ１３３４を介してＯＣに入る）である。光軸に沿って光学チェーン１３２４内へと進む光は、方向変換要素１３３５によって方向変換され、第１の光学チェーンの第２のパート１３３９を横断して、センサ１３４２に到達する。同様に、光学チェーン１３２６の光軸は、第１のパート１３４１と、方向変換要素１３４５による光方向変換の後の第２のパート１３４９とを含み、光学チェーン１３２８の光軸は第１のパート１３５１と第２のパート１３５９とを含み、光学チェーン１３３０の光軸は第１のパート１３６１と第２のパート１３６９とを含み、光学チェーン１３３２の光軸は第１のパート１３７１と第２のパート１３７９とを含み、光学チェーン１３３３の光軸は第１のパート１３８１と第２のパート１３８９とを含む。
いくつかの特定の実施形態では、カメラ１３２０は、非円形の（丸くないとも呼ばれる）絞りを有するレンズを有するＯＣ１３２４〜１３３３などの、複数の光学チェーン／カメラモジュールを有する。そのような一実施形態では、カメラ１３２０は、非円形の絞りがカメラの厚さの方向に沿った第１の方向のＤ（カメラの厚さ）よりも小さいかまたはこれに等しい長さと、カメラの厚さの方向に垂直な第２の方向に沿ったＤよりも大きい長さとを有するレンズ１３３６を使用する、第１の光学チェーンたとえばＯＣ１３２４を含む。さまざまな実施形態では、第１のレンズは、第２の光軸部分上の光方向変換要素に最も近いレンズ、たとえばレンズ１３３６である。いくつかのそのような実施形態では、カメラ１３２０は、非円形の絞りがカメラの厚さの方向に沿った第１の方向のＤよりも小さいかまたはこれに等しい長さと、第１の方向に垂直な第３の方向に沿ったＤよりも大きい長さとを有するレンズ１３４６を使用する、第２の光学チェーンたとえばＯＣ１３２６をさらに含む。いくつかのそのような実施形態では、第２の方向と第３の方向は、互いに対して９０度の角度をなす。いくつかのそのような実施形態では、カメラ１３２０は、非円形の絞りがカメラの厚さの方向に沿った第１の方向のＤ（カメラの厚さ）よりも小さいかまたはこれに等しい長さと、第１の方向に垂直な第４の方向に沿ったＤよりも大きい長さとを有するレンズ１３８６を使用する、第３の光学チェーンたとえばＯＣ１３３３をさらに含み、第１の方向と第２の方向と第３の方向は異なる。いくつかのそのような実施形態では、第２の方向と第３の方向は、互いに対して９０度の角度をなし、第２の方向と第４の方向は、互いに対して３０度から６０度の間の角度（たとえば、４５度）をなす。いくつかの実施形態では、第１の光方向変換デバイスは鏡である。いくつかの実施形態では、第１の光方向変換デバイスはプリズムである。いくつかの実施形態では、第１の光方向変換デバイスは、光を９０度方向変換する、４５度の角度がつけられた平面鏡である。
外側レンズおよび内側レンズ、鏡、フィルタ、およびセンサなどのＯＣのさまざまな要素の機能は、先に、たとえば図４Ａおよび図１３Ａの説明において、説明されている。図１３Ｂに示されるＯＣの要素の機能は同じまたは類似しているので、したがって、説明は詳細に繰り返されない。
光は、それぞれの外側レンズを介してＯＣ１３２４〜１３３３の各々に入り、光学チェーンの各々の背面にあるそれぞれのセンサに到達するように、それぞれの方向変換要素によって方向変換される。多くの場合、光がＯＣに入る外側レンズは、光が入る入射瞳と呼ばれる。たとえば、光学チェーン１３２４の外側レンズ１３３４を通って（たとえば、第１の光軸１３３１によって示されるカメラ１３２０の前面から）入る光は、センサ１３４２に向かって進むとき第１の内側レンズ１３３６とフィルタ１３３８と第２の内側レンズ１３４０とを通過するように、鏡１３３５によって方向変換される。これより多いまたは少ない数の要素、たとえばレンズ、フィルタなどは、いくつかの実施形態では、ＯＣの各々に含まれ得る。カメラデバイス内の他の光学チェーンと同じ形状および／または解像度のセンサを依然として使用しながら、異なる光学チェーンは、異なるレンズを使用し得る。
図１４は、カメラデバイス６００に類似しているが、大きい焦点距離の光学チェーンに丸くない絞りを有するレンズを使用するカメラデバイス１４００を示す。さまざまな実施形態では、丸くない絞りを有するレンズが、カメラハウジング１４０２内のさまざまな光学チェーンの一部として含まれる。丸くない、たとえば卵形の、絞りを有するレンズの使用が、レンズエリア１４０４内で視認可能である。丸くないレンズは、図６で使用される丸いレンズと同じ最大長を１つの次元に有するが、他の方向、たとえば最大絞り長さの方向に垂直な方向では、図６で使用される丸いレンズよりも小さい。丸くない絞りを有するレンズの異なる方位は、さまざまな方向において低周波数情報に加えて高周波数情報のキャプチャを可能にするために意図的に使用される。カメラ１４００は、図１３Ｂに示されるカメラ１３２０に類似しており、しかしながら、図１３Ｂには、丸くない絞りを有する光学チェーン／カメラモジュールの特定の配置が示されているが、図１４では、カメラ１４００は、わかるように、そのうちのいくつかは丸い絞りを有するレンズを使用し、いくつかの他のものは丸くない絞りを有するレンズを使用する、光学チェーンを含む。図１３Ｂに示され、上記で説明された複数のさまざまな光学チェーンは、カメラ１４００において使用可能である。
図１４には示されていないが、カメラデバイス１４００は、図１および図４Ａのカメラデバイス１００およびカメラデバイス２００と同じまたは類似の要素を含み得、場合によっては、これを含むことを理解されたい。したがって、カメラデバイス１４００は、プロセッサ１１０／２１１、メモリ１０８／２１３、ズームコントローラ１４０／２１４、露光および読み出しコントローラ１５０、加速度計、ジャイロ、オートフォーカスコントローラ１５２などのさまざまな要素、ならびに上記でカメラデバイス１００および２００に関して説明されたさまざまな他の要素を含むことを理解されたい。
図１５は、レンズエリア１４０４がはっきりと示された、カメラ１４００の簡略正面図１５００である。図１５では、よりはっきりとわかるように、カメラのレンズエリア１４０４は、そのうちのいくつかは丸いが、さまざまな他のものは丸くない、外側レンズ絞りを示す。上記で説明されたように、そのような組み合わせは、さまざまな方向において低周波数情報に加えて高周波数情報をキャプチャすることを可能にする。
図１６は、カメラデバイス１４００の側面図１６００である。カメラ１４００の側面図１６００では、カメラ１４００の前表面１６０２および後表面１６０４も示されている。カメラの高さＨは、カメラデバイス６００に対応する図１０の例と同じであるが、カメラデバイス１４００は、Ｄ１よりも小さく、いくつかの実施形態では最大長の方向における卵形の絞りの長さよりも小さい奥行きＤ２を用いて、実施されることに留意されたい。図１４の実施形態では、最大焦点距離を有するカメラモジュールに卵形の絞りを有するレンズを使用することによって、カメラの奥行きは、最大絞り寸法の最大寸法によって制限されず、絞りの最大長よりも小さくてよい。
カメラ１４００などのカメラに含まれる大きい絞りのレンズまたは最大絞りレンズは、大きなレンズまたはそれに関連付けられたまたは光方向変換デバイスの物理的サイズによりカメラの最小厚さに影響を与え得るが、多くの場合、より大きい絞りに丸くないレンズを使用しながら、丸いレンズを使用して、より小さい絞りをサポートすることが可能である。これは、より小さい丸いレンズに対応する光方向変換デバイスが、そうでなければカメラの本体内のより大きい丸い絞りの光を９０度方向変換することが必要とされる鏡ほど大きさも奥行きもないことがあるからである。いくつかの実施形態では、丸くない絞りを有する大きなレンズと、丸い絞りを有するより小さいレンズの組み合わせが使用される。この手法は、図１７に示される実施形態を含むいくつかの実施形態において使用される。
図１７Ａは、カメラデバイス１４００を実施するために使用され得る、光学チェーンたとえばカメラモジュールの配置１７００を示す。図５および図１３Ａに示されるタイプの光学チェーン（ＯＣ）は、図１７の実施形態において使用され得るが、実装形態は、そのような光学チェーンの使用に限定されない。丸い絞りを有するレンズは、中間焦点距離を有する光学チェーン１７０４、１７０８、１７１４、１７１８、１７２４と、小さい焦点距離を有する光学チェーン１７２６、１７２８、１７３０、１７３２、および１７３４に使用されることに留意されたい。丸くない絞りを有するレンズは、大きい焦点距離を有する光学チェーン１７０２、１７０６、１７１０、１７１２、１７１６、１７２０、１７２２に使用される。図１８〜図２３の説明から明らかになるように、丸くない絞りの特定の配置および角度が有益であることがある。光学チェーン１７０４、１７０８、１７１４、１７１８、および１７２４の各々は、丸い絞りを有するレンズを使用し、図５に関して詳細に説明された要素と同じまたはこれに類似した要素を含む。同様に、光学チェーン１７０２、１７０６、１７１０、１７１２、１７１６、１７２０、１７２２の各々は、丸くない絞りを有するレンズを使用し、図１３Ａに関して詳細に説明された要素と同じまたはこれに類似した要素を含む。
一実施形態では、ＯＣ１７２２などの光学チェーン（ＯＣ）は、第１の焦点距離と第１の非円形のレンズとを有する第１の光学チェーンであり、別の光学チェーンたとえばＯＣ１７０６は、第２の焦点距離と第２の非円形のレンズとを有する第２の光学チェーンである。いくつかの実施形態では、第１の焦点距離と第２の焦点距離は同じである。いくつかの他の実施形態では、第１の焦点距離と第２の焦点距離は異なる。いくつかの実施形態では、第１の非円形のレンズは、カメラ１４００の奥行き、たとえば図１６に示される奥行きＤ２よりも大きい量、第１の方向に延在する。いくつかの実施形態では、第１の光学チェーンは第１のセンサを含み、第２の光学チェーンは、たとえば図１３Ａのセンサ１３０２などの第２のセンサを含む。いくつかの実施形態では、カメラ１４００は、合成画像を生成する目的で第１のセンサおよび第２のセンサによってキャプチャされた画像を結合するために第１のセンサおよび第２のセンサに結合された、たとえばプロセッサ１１０または２１１などのプロセッサをさらに含む。いくつかの実施形態では、第１の光学チェーンは第１の光方向変換要素を含み、第２の光学チェーンは、たとえば図１３Ａの光方向変換要素１３１０などの第２の光方向変換要素を含む。いくつかのそのような実施形態では、第１の光方向変換要素は、カメラの奥行きよりも大きい量、少なくとも１つの方向に延在し、第２の光方向変換要素は、カメラの奥行きよりも大きい量、少なくとも１つの方向に延在する。いくつかの実施形態では、第１の光方向変換要素および第２の光方向変換要素は平面鏡である。いくつかの実施形態では、第１の光方向変換要素および第２の光方向変換要素はプリズムである。いくつかの実施形態では、第１の焦点距離および第２の焦点距離は、７０ｍｍに等しいかまたはこれよりも大きく、第３の焦点距離は７０ｍｍよりも小さい。いくつかの実施形態では、第１のセンサおよび第２のセンサは同じ数の画素を有し、第３の光学チェーンは、第１のセンサおよび第２のセンサと同じ数の画素を有する第３のセンサを含む。
いくつかの実施形態では、丸い絞りレンズを使用する光学チェーンたとえばＯＣ１７０４または１７２８は、第３の焦点距離を有し、丸いレンズを含む、第３の光学チェーンであり、第３の焦点距離は第１の焦点距離または第２の焦点距離よりも小さい。いくつかの実施形態では、第１の光学チェーン１７２２に対応する第１の非円形のレンズは、第１の方向に垂直な第２の方向においてよりも第１の方向において長く、第２の光学チェーン１７０６に対応する第２の非円形のレンズは、第４の方向においてよりも第３の方向において長く、第４の方向は第３の方向に垂直である。いくつかの実施形態では、第１の方向と第３の方向は異なる。いくつかの実施形態では、第１の方向は第１の平面内に延在し、第３の方向は、第１の平面と同じ平面内にある。いくつかの実施形態では、平面は、カメラ１４００の前面に対応する。
いくつかの実施形態では、別のカメラモジュールたとえば１７１０は、第４の焦点距離と第３の非円形のレンズとを有する第４の光学チェーンであり、第４の焦点距離は第３の焦点距離よりも大きい。いくつかのそのような実施形態では、第３の非円形のレンズは、第６の方向においてよりも第５の方向において長く、第６の方向は第５の方向に垂直である。いくつかのそのような実施形態では、第１の方向と第３の方向と第５の方向は、少なくとも２０度異なる。
図１７Ｂは、カメラデバイス内のさまざまな光学チェーンおよび光学チェーンの要素の配置がより詳細に示される、カメラデバイス１４００の斜視図１７５０を示す。
図１７Ｂは、カメラデバイス内のさまざまな光学チェーンおよびカメラデバイス内の光学チェーンの要素の配置をより詳細に示す、カメラデバイス１４００の斜視図１７５０を示す。したがって、図１７Ｂは、図１７Ａに関して詳細に説明されるようなさまざまな対応する焦点距離を有する複数の光学チェーン（ＯＣ）１７０２、１７０４、１７０６、１７０８、１７１０、１７１２、１７１４、１７１６、１７１８、１７２０、１７２２、１７２４、１７２６、１７２８、１７３０、１７３２、および１７３４のより詳細な図を示す。
図１７Ｂに示されるように、カメラ１４００は、カメラの前表面（矢印１７２３によって示される）からカメラの背／後表面（矢印１７２７によって示される）までのカメラ１４００の厚さを表す奥行きＤ２を有する。図１７Ｂには示されていないが、いくつかの実施形態では、カメラデバイス１４００は、図１および／または図４Ａのカメラデバイスと同じまたは類似の要素を含む。
いくつかの実施形態では、光学チェーン１７０２、１７０６、１７１０、１７１２、１７１６、１７２０、１７２２に含まれる要素は、上記で図１３Ｂに関して説明された要素に類似している。光学チェーン１７０４、１７０８、１７１４、１７１８、１７２４およびこれらの光学チェーンに含まれる要素は、上記で図１２Ｂに関して説明されたＯＣ１２０４、１２０８、１２１４、１２１８、１２２４に関して説明されたものに類似しているが、光学チェーン１７２６、１７２８、１７３０、１７３２、および１７３４ならびにその中に含まれる要素は、ＯＣ１２２６、１２２８、１２３０、１２３２、および１２３４ならびに図３に関して説明されたＯＣに関して説明されたものに類似している。図１７Ｂの図示の実施形態では、ＯＣのうちのいくつかは非円形の外側レンズを使用するが、他のＯＣは丸い外側レンズを使用する。
ＯＣ１７０２は、非円形の外側レンズ１７０３と、レンズ１７０３の後ろに位置決めされた光方向変換デバイス１７０５たとえば鏡と、第１の内側レンズ１７０７（非円形）と、フィルタ１７１３と、第２の内側レンズ１７１５と、センサ１７１７とを含む。いくつかの実施形態では、ＯＣ１７０２、１７０６、１７１０、１７１７、１７１６、１７２０、１７２２は、同じ焦点距離（図１７の他のＯＣと比較すると最大焦点距離）を有し、鏡、フィルタ、センサなどの類似の要素を使用する。したがって、ＯＣ１７０６、１７１０、１７１７、１７１６、１７２０、１７２２に対応する要素は、ＯＣ１７０２内の類似の要素を識別するために使用される同じ参照番号を使用して識別されているが、これらのＯＣ内の参照番号の後に、プライム符号（’）、ダブルプライム符号（’’）、トリプルプライム符号（’’’）などが続く。たとえば、ＯＣ１７０６は、非円形の外側レンズ１７０３’と、レンズ１７０３’の後ろに位置決めされた光方向変換デバイス１７０５’たとえば鏡と、第１の非円形内側レンズ１７０７’と、フィルタ１７１３’と、第２の内側レンズ１７１５’と、センサ１７１７’とを含む。ＯＣ１７１０は、非円形の外側レンズ１７０３’’と、光方向変換デバイス１７０５’’と、第１の非円形の内側レンズ１７０７’’と、フィルタ１７１３’’と、第２の内側レンズ１７１５’’と、センサ１７１７’’とを含む。ＯＣ１７１２は、非円形の外側レンズ１７０３’’’と、光方向変換デバイス１７０５’’’と、第１の非円形の内側レンズ１７０７’’’と、フィルタ１７１３’’’と、第２の内側レンズ１７１５’’’と、センサ１７１７’’’とを含む。ＯＣ１７１６は、非円形の外側レンズ１７０３’’’’と、光方向変換デバイス１７０５’’’’と、第１の非円形の内側レンズ１７０７’’’’と、フィルタ１７１３’’’’と、第２の内側レンズ１７１５’’’’と、センサ１７１７’’’’とを含む。ＯＣ１７２０は、非円形の外側レンズ１７０３’’’’’と、光方向変換デバイス１７０５’’’’’と、第１の非円形の内側レンズ１７０７’’’’’と、フィルタ１７１３’’’’’と、第２の内側レンズ１７１５’’’’’と、センサ１７１７’’’’’とを含む。ＯＣ１７２２は、非円形の外側レンズ１７０３’’’’’’と、光方向変換デバイス１７０５’’’’’’と、第１の非円形の内側レンズ１７０７’’’’’’と、フィルタ１７１３’’’’’’と、第２の内側レンズ１７１５’’’’’’と、センサ１７１７’’’’’’とを含む。
いくつかの実施形態では、光学チェーン１７０４、１７０８、１７１４、１７１８、１７２４は、同じ焦点距離（中間）を有する。ＯＣ１７０４は、外側レンズ１７３３と、レンズ１７３３の後ろに位置決めされた光方向変換デバイス１７３５たとえば鏡と、第１の内側レンズ１７３７と、フィルタ１７４３と、第２の内側レンズ１７４５と、センサ１７４７とを含む。ＯＣ１７０４と同じ焦点距離を有するＯＣ１７０８、１７１４、１７１８、１７２４に対応する要素は、ＯＣ１７０４内の類似の要素を識別するために使用される同じ参照番号を使用して識別されているが、これらのＯＣ内の参照番号の後に、プライム符号（’）、ダブルプライム符号（’’）などが続く。図示のように、光学チェーン１７０８は、外側レンズ１７３３’と、レンズ１７３３’の後ろに位置決めされた光方向変換デバイス１７３５’たとえば鏡と、第１の内側レンズ１７３７’と、フィルタ１７４３’と、第２の内側レンズ１７４５’と、センサ１７４７’とを含む。ＯＣ１７１４は、外側レンズ１７３３’’と、光方向変換デバイス１７３５’’と、第１の内側レンズ１７３７’’と、フィルタ１７４３’’と、第２の内側レンズ１７４５’’と、センサ１７４７’’とを含む。ＯＣ１７１８は、外側レンズ１７３３’’’と、光方向変換デバイス１７３５’’’と、第１の内側レンズ１７３７’’’と、フィルタ１７４３’’’と、第２の内側レンズ１７４５’’’と、センサ１７４７’’’とを含み、ＯＣ１７２４は、外側レンズ１７３３’’’’と、光方向変換デバイス１７３５’’’’と、第１の内側レンズ１７３７’’’’と、フィルタ１７４３’’’’と、第２の内側レンズ１７４５’’’’と、センサ１７４７’’’’とを含む。
先に説明されたように、要素１７０５などの光方向変換要素を有する、ＯＣ１７０２（またはＯＣ１７０６、１７１０、１７１２、１７１６、１７２０、１７２２、１７０４、１７０８、１７１４、１７１８、１７２４）などの光学チェーンは、説明の目的で、２つのパートに分割可能である。カメラの前面の外部から見られる光学チェーン１７０２の光軸は、第１のパート１７０１の光軸（カメラ１４００の前面１７２３から外側レンズ１７０３を介してＯＣに入る）である。光軸に沿って光学チェーン１７０２内へと進む光は、方向変換要素１７０５によって方向変換され、第１の光学チェーンの第２のパート１７０９を横断して、センサ１７１７に到達する。同様に、光学チェーン１７０４の光軸は、第１のパート１７１１と、方向変換要素１７３５による光方向変換の後の第２のパート１７１９とを含み、光学チェーン１７０６の光軸は第１のパート１７２１と第２のパート１７２９とを含み、光学チェーン１７０８の光軸は第１のパート１７３１と第２のパート１７３９とを含み、光学チェーン１７１０の光軸は第１のパート１７４１と第２のパート１７４９とを含み、光学チェーン１７１７の光軸は第１のパート１７５１と第２のパート１７５９とを含み、光学チェーン１７１４の光軸は第１のパート１７６１と第２のパート１７６９とを含み、光学チェーン１７１６の光軸は第１のパート１７７１と第２のパート１７７９とを含み、光学チェーン１７１８の光軸は第１のパート１７７８と第２のパート１７８８とを含み、光学チェーン１７２０の光軸は第１のパート１７８１と第２のパート１７８９とを含み、光学チェーン１７２２の光軸は第１のパート１７９１と第２のパート１７９９とを含み、光学チェーン１７２４の光軸は第１のパート１７９２と第２のパート１７９８とを含む。
図１７Ｂの例では、他の光学チェーンＯＣ１７２６、１７２８、１７３０、１７３２、および１７３４（最小焦点距離ＯＣ）は、各々、光が入る最も外側のレンズ１７５２、１７５３、１７５４、１７５５、および１７５６をそれぞれ有するが、ＯＣ１７２６、１７２８、１７３０、１７３２、および１７３４は、光方向変換要素を持たない。図１７Ｂには示されていないが、ＯＣ１７２６、１７２８、１７３０、１７３２、および１７３４は各々、カメラ１４００の前面１７２３に垂直な光軸を有する。
外側レンズおよび内側レンズ、鏡、フィルタ、およびセンサなどのＯＣのさまざまな要素の機能は、先に、たとえば図４Ｂおよび図５に関して、説明されている。図１７Ｂに示されるＯＣの要素の機能は、図４Ａ〜図４Ｂおよび図５に関して説明された機能と同じまたはこれに類似しているので、説明は繰り返されない。
光は、それぞれの外側レンズを介してＯＣ１７０２、１７０６、１７１０、１７１７、１７１６、１７２０、１７２２、１７０４、１７０８、１７１４、１７１８、１７２４の各々に入り、光学チェーンの各々の背面にあるそれぞれのセンサに到達するように、それぞれの方向変換要素によって方向変換される。多くの場合、光がＯＣに入る外側レンズは、光が入る入射瞳と呼ばれる。たとえば、光学チェーン１７０２の外側レンズ１７０３を通って（たとえば、第１の光軸１７０１によって示されるカメラ１４００の前面１７２３から）入る光は、センサ１７１７に向かって進むとき第１の内側レンズ１７０７とフィルタ１７１３と第２の内側レンズ１７１５とを通過するように、鏡１７０５によって方向変換される。これより多いまたは少ない数の要素、たとえばレンズ、フィルタなどは、いくつかの実施形態では、ＯＣの各々に含まれ得る。カメラデバイス１４００内の他の光学チェーンと同じ形状および／または解像度のセンサを依然として使用しながら、異なる光学チェーンは、異なるレンズを使用し得る。図１７Ｂに示される方式で配置された非円形のレンズを有する光学チェーンの使用は、いくつかの利点を提供し、光学チェーンを有する薄いカメラの実装形態がさまざまな異なる焦点距離を有することを可能にすることを理解されたい。
ＯＣのレンズの後ろに位置決めされた、たとえばヒンジ結合された鏡などの光方向変換要素が移動および／または回転可能であり、それが、対応するＯＣの外側レンズの外部から見られるＯＣの光軸の変化をもたらすことを理解されたい。それは、カメラの外部から見られる光学チェーンの光軸（光軸１７０１、１７１１、１７３１などの第１のパートの光軸として上記で説明された）は、対応するＯＣの光方向変換要素を制御することによって変化可能である。したがって、図１７Ｂの例では、光軸１７０１、１７１１、１７２１、１７３１、…、１７９８、１７９９は平行であるように見えるが、いくつかの実施形態では、対応する光学チェーン内の外側レンズの後ろに置かれた鏡などの光方向変換要素を制御することによって、光軸は、１つまたは複数のＯＣの光軸が互いと平行でないように変化可能であることを理解されたい。鏡の移動を制御することによって光学チェーンの光軸を変化させる能力は、たとえば所与の方向の写真を撮影するために、カメラがその方向に向けられる場合と同じ効果をもたらし、したがって、カメラデバイスを実際に移動させることなく異なる視点から画像をキャプチャする能力を提供する。
図１８は、図１２Ａおよび図１２Ｂの実施形態で使用され得、および時々使用されるレンズなどの、丸い開口を有する例示的なレンズに対応する丸い絞り１８００を示す。
図１９は、図１８に示されるタイプの丸い絞り１８００を有する良く設計された（回折限界の）レンズから予想される可能な周波数特性を示し、周波数情報は、垂直方向と水平方向の両方（実際には、あらゆる方向）において均一である。垂直次元および水平次元における均一な周波数特性は、垂直次元と水平次元の両方における同じまたは類似の周波数特性と、したがって解像度とを可能にする。センサの画素または画素要素の数は、解像度に影響を与えることができるが、センサまたは画像の画素の数は、ビューアが画像の異なる特徴を区別する能力に関係する解像度と混同されるべきではない。解像度は、線が互いに対してどのくらい近くなり得るかと、依然として目に見えて解像され得るかとを定量化する。解像度単位は、１ｍｍ当たりの線、１インチ当たりの線などの物理的なサイズに、および／または、たとえば写真の高さ当たりの線など、画像の全体的な大きさに結び付けられ得る。
丸い絞りを有するレンズのほぼ均一な周波数応答を考えれば、丸いレンズを使用してキャプチャされる画像のビューは、垂直線と水平線とを同様に良好に識別することができるはずである。
図２０は、丸い絞り１８００の場合、光が通過する開口の長さが、レンズ開口が存在する平面の両方の寸法でどれくらい同じであるかを示す。図示のように、垂直方向Ｌ1における開口の長さは、水平方向Ｌ2における開口の長さに等しい。理解されるべきであるように、これは、レンズが、丸くない絞り、たとえば、光が通過する、卵形の絞り、長円形の絞り、または他の丸くない形状の絞りを有する場合ではない。
図２１は、例示的な丸くない、たとえば卵形の、絞り２１００を示す。陰影が、キャプチャされる水平方向および垂直方向の各々における周波数情報の相対量を示すために使用され、より多くの周波数情報が、それによってより高い周波数情報がキャプチャされることになる水平方向よりも垂直方向で入手可能であり、絞りの狭い方の次元よりも長い方の次元、たとえば最大長さ方向で入手可能であることが図から明らかである。
一般に、最も良く設計されたレンズの性能ですら、回折限界のために絞りサイズによって制限される。絞りが大きいほど、良く設計されたレンズは、細部をキャプチャすることに関して実行することが一層可能であるはずである。言い換えれば、絞りが大きいほど、可能な解像度が大きくなる。キャプチャされた解像度は、図１９と同様に周波数領域において表現可能である。図１９における円のより大きい半径は、画像のすべての空間方向、たとえば、水平、垂直、または斜めにおける、より多くのキャプチャされる高周波数情報を示す。カメラモジュールが回折限界ではなく、上記で当てはまらないことがあるときですら、より大きい絞りエリアは、所与の時間期間内に、より多くの光をキャプチャし、その画像をキャプチャさせるべき被写体が動いているときによくあることだが露光時間が制限されるとき、画像の粒子の粗さまたはノイズを低下させるので、より大きい絞りを使用することが依然として望ましいときがあることに留意することが重要である。
絞りが丸くなく、卵形である場合、よく設計された、回折限界のレンズに対して、対応して、卵形の短い方の次元の方向よりも卵形の長い方の次元の方向に沿ってより詳細にキャプチャされる。
図２２は、垂直（Ｙ）方向および水平（Ｘ）方向における丸くない絞り２１００の長さの比較を示す。垂直次元は、図２２の例における２つの次元のうち長い方である。図示のように、垂直方向ＬYに光が通過する開口の長さは、水平方向ＬXにおける開口の長さよりも大きい。
図２３は、異なる方向に向けられた卵形の絞り２１００、２１００’、２１００’’、２１００’’’を有する複数の丸くないレンズからの画像情報を結合することによって、丸い絞り１８００を有するレンズ（大きい方の卵形の寸法と等しい半径を有する）から取得されると予想される情報を近似する画像情報がどのように達成可能であるかを示す図２３００である。より多くの情報が、合成画像を生成するために図２３の例で結合される複数の個々の画像の重複により、さまざまな縁部ロケーションにおいてよりも結合された画像の中心に向かって入手可能である。互いに対する異なる角度における複数の丸くないレンズの使用による高周波数情報のキャプチャおよび画像を結合することは、個々の丸くないレンズによってキャプチャされる高周波数情報の欠如を補う助けとなる。図２３に示される絞りを有するレンズを用いてキャプチャされた画像を結合することによって達成可能な解像度は、丸いレンズを使用してキャプチャされる画像の解像度を近似することができるが、合成画像は、同じ画像をキャプチャするために単一の丸いレンズを使用して取得されるであろうよりも大きい、画像重複の領域における輝度情報に関するダイナミックレンジを持ち得ることを理解されたい。これは、異なるレンズが各々、中心領域において光をキャプチャするからである。図２３に示される絞りを有するレンズを使用してキャプチャされた画像を結合することによって生成される合成画像は、本発明の一実施形態により、高品質の中心画像部分と、合成画像の縁に向かって、より低い品質とをもたらすことを理解されたい。この画質劣化は、単一の高品質レンズが使用された場合に予想され得るものに類似しており、画質は通常、レンズの縁に向かってよりも、レンズの中心に向かって良くなる。
したがって、図２３に示される絞りを有するレンズを使用してキャプチャされた画像を結合することによって生成される合成画像は、絞りの最大長さの方向に類似の最大絞り寸法を有する単一の丸いレンズを使用して画像をキャプチャすることによって取得され得るよりも、少なくともいくつかの点において、類似またはより良い品質の合成画像をもたらすことができることを理解されたい。
図２４は、丸くない絞りを有する、たとえば卵形または長円形の形状の絞りに近似する、レンズを作り出すために、丸い絞り１８００を有するレンズがどのように切断またはマスキング可能であるかを示す。そのような一実施形態は、所与の最大絞りに対する最大量またはかなりの量の光のキャプチャを可能にする。
図２５は、図２４に示される絞り、たとえば卵形の絞りに近似した長円形の絞りを有するレンズを作り出すために、丸いレンズ、たとえば丸い絞り１８００を有するレンズを切断またはマスキングすることから生じる絞り２５００を示す。
図２５に示されるタイプのレンズは、いくつかの実施形態では、カメラデバイスの丸くないレンズとして使用される。したがって、図１４のカメラデバイスのいくつかの実施形態では、卵形のレンズとして示されているが、図２５に示されるタイプの卵形でない絞りを有するレンズが使用される。
図２６は、前方側面２６１４と上部２６１２と底部２６１６と後面すなわち背面２６１８とを有するハウジング２６１０を含むカメラ２６００の図である。丸い絞り２６０６に対応する丸いレンズは、ハウジング２６１０の前面２６１４内に取り付けられる。図２６は、丸い絞り２６０６を有する外側レンズと組み合わせて光を９０度方向変換するために、光方向変換デバイス２６０４たとえば鏡を使用することが通常、カメラの奥行きたとえば厚さがレンズおよびレンズの一部である対応する絞り２６０６の直径に等しいまたはこれよりも大きいことをどのように必要とするかを示す。本発明のいくつかの実施形態では、レンズは単に、プラスチックまたはガラスの丸い平坦な断片である。丸い絞り２６０６は、図２６では、カメラデバイス２６００の前面上に破線の使用によって示されている。丸い絞り２６０６を通過する光は、カメラ２６００の上部に取り付けられたセンサ２６０２に向かって鏡２６０４によって９０度で反射する。図２６の例においてカメラ内に取り付けられた光方向変換デバイス前面から後面までの距離ＲDと光方向変換デバイスの高さＲHは等しく、両方とも、丸い絞り２６０６の直径ＬXよりも大きいかまたはこれに等しいことに留意されたい。その結果、カメラ２６００の奥行きは、丸い絞り２６０６の直径に等しいまたはこれよりも大きい。
図２７は、前方側面２７１４と上部２７１２と底部２７１６と後面すなわち背面２７１８とを有するハウジング２７１０を含むカメラ２７００の図である。丸くない、たとえば卵形の、絞り２７０６に対応する丸くないレンズは、ハウジング２７１０の前面２７１４内に取り付けられる。図２７は、丸くない、たとえば卵形の、絞り２７０６を有する外側レンズと組み合わせて光を９０度方向変換するために光方向変換デバイス２７０４たとえば鏡を使用することが、カメラの奥行きがあるよりも１つの次元において長いレンズの使用をどのように可能にすることができるかを示すことができる。センサ２７０２が、図２６の実施形態のセンサ２６０２と同じ位置に（カメラハウジングの上部部分と平行に）カメラ２７００の上部２７１２に取り付けられるが、鏡２７０４は現在、図２６の実施形態で使用される鏡２６０４よりも奥行きが小さい平坦な方形表面を有する鏡を使用して実施可能であることに留意されたい。簡単にするために方形の鏡が使用されているが、いくつかの実施形態では、卵形の鏡も使用可能であり、絞り停止具としても働くことができることも指摘する価値がある。いくつかの実施形態では、丸くない、たとえば卵形の、絞りの使用が、より薄いカメラ、たとえば卵形の絞りの最大寸法に等しい直径を有する丸い絞りを有するカメラよりも小さな厚さを有するカメラを可能にすることを理解されたい。
図２８は、前方側面２８１４と上部２８１２と底部２８１６と後面すなわち背面２８１８とを有するハウジング２８１０を含むカメラ２８００の図である。丸くない、たとえば卵形の、絞り２８０６に対応する丸くないレンズは、ハウジング２８１０の前面２８１４内に取り付けられる。図２８は、カメラ２８００において、丸くない絞り２８０６を含む光学チェーンの光路の長さが、カメラ２８００の奥行きよりもどのように長くなり得るかを示す。光方向変換デバイス２８０４は、カメラデバイス２８００の一端、たとえば底端２８１６に位置決め可能である。カメラ２８００の対向端の近くの光方向変換デバイス２８０４およびセンサ２８０２の位置決めは、追加の卵形の絞りのレンズおよび光方向変換デバイスのための十分な空間を可能にすることを理解されたい。
図２９は、絞り２９０６、第１の光方向変換デバイス２９０４、第２の光方向変換デバイス２９０１、およびセンサ２９０２に対応してカメラの前面に取り付けられたレンズを含むカメラモジュールを光が通過するとき光がどの方角に方向変換されるかに応じてセンサ２９０２がカメラの背面２９１８または前面２９１４のいずれかに位置決めされることを可能にしながら、複数の光方向変換デバイス２９０４、２９０１が、比較的長い光進行経路、したがって焦点距離を可能にするために、光学チェーンたとえばカメラモジュール内で使用されるカメラ２９００の一例を示す。図２９では、カメラモジュールの外側レンズは、第１の光方向変換デバイス２９０４であるようにカメラ２９００の底部２９１６の近くに位置決めされるが、第２の光方向変換デバイス２９０１は、カメラ２９００の上部２９１２の近くに位置決めされることに留意されたい。センサ２９０２は、カメラ２９００の内部背面２９１８に取り付けられて示されているが、他の実施形態では、たとえば、第２の光方向変換デバイス２９０１が光をカメラの前面に方向づける場合、センサ２９０２は、カメラハウジング２９１０の内部前面に取り付けられる。
図３０は、非円形の外側レンズと絞りとを有する４つの光学チェーンを含むカメラデバイス３０００の図である。図２７〜２９と同様に簡単にする目的で、図３０の実施形態では、単一の参照番号が、非円形のレンズとその対応する非円形の絞りの両方を表すために使用される。光は、カメラの前面を介してレンズの外側の非円形の絞りに入り、図において「Ｘ」によって示されるように、外側レンズ（たとえば、レンズ３００１、３０１１、３０２１、および３０３１）の下の１つまたは複数の光方向変換デバイス位置を介して、対応するセンサに方向変換される。
カメラデバイス３０００は、卵形の絞りを有する非円形のレンズ３００１と光方向変換要素３００３と光路３００５とセンサ３００７とを含む第１の光学チェーンを含む。光は第１の光学チェーンに入り、第１の光路３００５の第１の部分を横断してから鏡３００３に当たり、センサ３００７に向かって９０度または約９０度方向変換される。
カメラデバイス３０００は、卵形の絞りを有する第２の非円形のレンズ３０１１と第２の光方向変換要素３０１３と第２の光路３０１５と第２のセンサ３０１７とを含む第２の光学チェーンをさらに含む。光は第２の光学チェーンに入り、第２の光路３０１５の第１の部分を横断してから鏡３０１３に当たり、第２のセンサ３０１７に向かって９０度または約９０度方向変換される。
カメラデバイス３０００は、卵形の絞りを有する第３の非円形のレンズ３０２１と第３の光方向変換要素３０２３と第３の光路３０２５と第３のセンサ３０２７とを含む第３の光学チェーンをさらに含む。光は第３の光学チェーンに入り、第３の光路３０２５の第１の部分を横断してから鏡３０２３に当たり、第３のセンサ３０２７に向かって９０度または約９０度方向変換される。
カメラデバイス３０００は、卵形の絞りを有する第４の非円形のレンズ３０３１と第４の光方向変換要素３０３３と第４の光路３０３５と第４のセンサ３０３７とを含む第４の光学チェーンをさらに含む。光は第４の光学チェーンに入り、第４の光路３０３５の第１の部分を横断してから第４の鏡３０３３に当たり、第４のセンサ３０２７に向かって９０度または約９０度方向変換される。
４つのレンズおよび対応する絞り３００１、３０１１、３０２１、３０３１がカメラ３０００の前面に設置されるが、これらは、使用中は通常水平方向と一致するカメラハウジングの底部に対して各絞りの最大の長さが異なる角度であるように意図的に位置決めされることに留意されたい。
図３０は、合成画像を生成するために画像を結合するとき高周波数情報、したがって高解像度が複数の方向の各々において入手可能であるように、非円形の絞りを有する複数のレンズ３００１、３０１１、３０２１、３０３１が、複数の方向における高周波数情報を収集するために単一の例示的なカメラデバイス３０００内でどのように使用可能であるかを示す。図３０に示されるカメラモジュールは、光路が交差する個々の光路にカメラデバイス内の空間の大部分を利用するように示されているが、光学チェーンは、交差しない光路を有する個々の内蔵（self contained）モジュールとして実施可能であり、いくつかの実施形態では、実施されることを理解されたい。
そのような密閉された内蔵光モジュールは、埃および／または砂が懸念される屋外および／または海岸での使用が意図されたカメラ実施形態など、埃および／または混入に関する他の懸念事項が問題になり得るいくつかの実施形態では、特に望ましいことがある。
図３１は、本発明の１つまたは複数の実施形態により実施されるカメラのカメラモジュールによってキャプチャされたその画像のすべてまたは一部分を有し得るシーンエリア３１０４を含む例示的なシーン３１０２を示す。例示的なシーン３１０２は、山３１１２、鳥３１１３、人間３１０６、および家屋３１０８からなるビューを含む。シーン３１０２は、非常に広いエリアを対象とするが、関心シーンエリア３１０４は、人間３１０６と、ハウジング３１０８とを含む。「シーン」または「シーンエリア」に対する言及がなされているが、そのような言及は、３次元である物理的シーンと解釈されるべきではなく、理想的なカメラを使用してシーンの画像をキャプチャすることによって取得される物理的シーンの２次元投影または表現と解釈されるべきであることが指摘されるべきである。シーンのエリアに対するいかなる言及も、そのような２次元投影におけるエリアと解釈されるべきである。そのような投影では、カメラに十分近い小さな物体ですら、カメラに対するその近接性を考えると、大きいエリアを有するように見え得るが、遠い物体は、よりカメラに近い等しいサイズの物体よりも小さいように見える。
図３２は、そのうちのいくつかが異なる焦点距離を有する、各カメラデバイスが（図１２Ａおよび図１７Ａに示されるように）複数の光学チェーンを含む、図６のカメラデバイス６００または図１４のカメラデバイス１４００などの、カメラの異なる光学チェーンたとえばカメラモジュールは、関心シーンエリア３２０２（図３１に示される関心シーンエリア３１０４に対応し得る）の異なるサイズの部分をどのようにキャプチャすることができるかを示す図３２００である。
説明の目的で、異なるシーンエリアに対応する画像のキャプチャおよび結合は、カメラ６００内の光学チェーンの配置を示す図１２Ａを参照することによって、カメラデバイス６００を使用して説明される。
カメラデバイス６００が、図１２Ａに示されるように配置された１７のモジュールを含むという説明の目的について考えてみよう。図１２Ａの例で先に説明されたように、３つの異なる焦点距離すなわちｆ１、ｆ２、およびｆ３が使用されており、ここで、ｆ１＜ｆ２＜ｆ３、ｆ１はｆ２の２分の１、ｆ２はｆ３の２分の１である。
説明の目的で、第１〜第７のカメラモジュール１２０２、１２０６、１２１０、１２１２、１２１６ １２２０、１２２２はそれぞれ、最大のレンズ（したがって、さまざまな実施形態では、最大の絞り）とサポートされる最大焦点距離（ｆ３）とを有するモジュールである。以下の説明を簡単にするために、さまざまなカメラモジュール間の距離は、カメラとシーン内のすべての物体との間の距離よりもはるかに小さいことがさらに仮定される。しかしながら、このことは、説明される発明の制限ではなく、以降の説明をより簡単なものにすることが意味されるにすぎない。
第８〜第１２のカメラモジュールである５つの中間のサイズのカメラモジュールは、それぞれ参照番号１２０４、１２０８、１２１４、１２１８、１２２４に相当し、中間の直径のレンズと、サポートされる中間の焦点距離（ｆ２）とを有する。
第１３〜第１７のカメラモジュールである５つのカメラモジュールは、それぞれ参照番号１２２６、１２２８、１２３０、１２３０、１２３４に相当し、最小の直径の外側レンズと、最小の焦点距離（ｆ１）とを有する。
最大の焦点距離ｆ３を有するカメラモジュールが最大の倍率を提供することを考えると、これらのカメラモジュールが関心シーンエリアの最小部分をキャプチャすることを理解されたい。異なる焦点距離のカメラモジュールは同じ総画素カウントを有するセンサを使用すると仮定すると、より大きい焦点距離（ｆ３）を有するモジュールは、中間の焦点距離（ｆ２）および小さい焦点距離（ｆ１）のカメラモジュールの場合よりも、より多くの画素が小さいシーンエリアの画像をキャプチャするために使用されるので、画素とシーンエリアとのより大きな比を有する画像を提供する。
異なる焦点距離（ｆ１、ｆ２、ｆ３）を有するモジュール間の倍率の差を考えると、小さい焦点距離（ｆ１）のカメラモジュールによってキャプチャされるシーンエリアは、最大の（ｆ３）焦点距離を有するカメラモジュールによってキャプチャされる関心シーンエリア部分の約１６倍のサイズである関心シーンエリアの部分に対応することを理解されたい。中間の焦点距離（ｆ２）を有するカメラモジュールによってキャプチャされる関心シーンエリアの部分は、最大の焦点距離（ｆ３）を有するカメラモジュールによってキャプチャされる関心シーンエリアの部分の４倍のサイズであり、最小の焦点距離（ｆ１）を有するカメラモジュールによってキャプチャされる関心シーンエリアの部分の４分の１のサイズである。
ｆ１焦点距離に対応するカメラモジュールによってキャプチャされるシーンエリアとｆ２焦点距離に対応するカメラモジュールによってキャプチャされるシーンエリアとの間の関係は、７つの別個のシーンエリアを示す図３２の例の文脈で理解可能である。
図３２の例では、関心シーンエリアは参照３２０２によって識別される。対角線３２５０および３２６０は、異なるエリア間の関係および異なるエリアが互いに対してどのように対応するかをより良く理解できるように示されている。第１のシーンエリア３２０４と第４のシーンエリア３２１０は、類似のサイズであるかまたは同じサイズであり、図３１に示される例示的な関心シーンエリア３１０２に対応する全関心シーンエリア３２０２に対応する。説明の目的で、第１のシーンエリアおよび第４のシーンエリアが、焦点距離ｆ１を有する光学チェーンによって、すなわち、より小さい焦点距離の光学チェーンによってキャプチャされると考える。説明目的で、（ｆ１）カメラモジュール１２２８が第１のシーンエリア３２０４をキャプチャするために使用され、（ｆ１）カメラモジュール１２３２は第４のシーンエリア３２１０をキャプチャするために使用されると仮定する。１２２８および１２３２によってキャプチャされる実際の画像は、関心シーンエリアがキャプチャされることを保証するためにやや大きいシーンエリアであることがあることに留意されたい。
ｆ２カメラモジュール１２０４は第２のシーンエリアをキャプチャするために使用され、（ｆ２）カメラモジュール１２０８は第３のシーンエリアをキャプチャするために使用され、（ｆ２）カメラモジュール１２１８は第５のシーンエリアをキャプチャするために使用され、（ｆ２）カメラモジュール１２１４は第６のシーンエリア３２１４をキャプチャするために使用さ、（ｆ２）カメラモジュール１２２４は第７のシーンエリア３２１６をキャプチャするために使用されることも仮定する。また、他のシーンエリアのキャプチャと同様に、モジュール１２０４、１２０８、１２１８、１２１４、および１２２４によってキャプチャされる実際の画像は、それぞれの第２のシーンエリア３２０６、第３のシーンエリア３２０８、第５のシーンエリア３２１２、第６のシーンエリア３２１４、および第７のシーンエリア３２１６が、キャプチャされた画像内に完全に含まれることを保証するために、やや大きいシーンエリアであることがある。
図１２００に示されるカメラモジュールの外側レンズの相対位置は既知であり、固定されていることに留意されたい。しかしながら、いくつかの実施形態では、モジュール１２０４、１２０８、１２１８、１２１４、および１２２４は、鏡５１０の角度を変更するためにヒンジ（鏡）駆動部５１６によって駆動可能たとえば移動または回転可能である図５の鏡５１０を含むモジュール５００と、要素および機能に関して同じまたは類似している。鏡駆動部５１６は、ヒンジ軸のまわりで鏡を回転可能であり、したがって、その角度を変更できるが、ヒンジ５０８は、他の方向における動きを防止し、したがって（カメラの外部の）光軸は、ヒンジの軸に垂直な平面内で回転する。鏡５１０が４５度の角度であるとき、その光軸に沿ってレンズ５１２に入る光は、モジュール５００のパートＢの光軸の中へと９０度屈折される。本明細書では、ヒンジ結合され、軸に沿って回転可能な鏡５１０について説明しているが、いくつかの他の実施形態では、鏡の場所は、この動きが、任意の固定軸に沿った回転であるように制限されないように異なる平面に移動される。この場合、カメラモジュールの光軸は、任意の所望の方向に（関心シーン内の任意の点の方を）指すようにさせられ得る。
いくつかのモジュールは、移動可能でありヒンジ結合される鏡を使用するが、他の実施形態では、カメラモジュールのうちの１つまたは複数は、移動可能ヒンジ５０８および鏡駆動部５１６が省略されることを可能にする固定位置鏡で実施される。たとえば、一実施形態では、全関心シーンエリアをキャプチャするために使用されるカメラモジュールは固定された鏡を有するが、関心シーンエリアの小さい部分をキャプチャするために使用されるカメラモジュールは各々、移動可能にヒンジ結合された鏡を含む。いくつかは固定された鏡を有し、他のものは移動可能な鏡を有するカメラモジュールの結合が使用可能であり、少なくとも１つの実施形態では、例示的なカメラデバイスに含まれる複数のカメラモジュールの各々は、移動可能な鏡を有する。
鏡／ヒンジ駆動部５１６は、カメラ動作の特定のモードに応じて、プロセッサ１１０によって制御される。したがって、ユーザが第１の動作のモードを選択すると、１つまたは複数のカメラモジュールは、鏡を第１の角度にし得るが、別の動作のモード中、たとえば、図３４に示されるように画像がキャプチャされ結合されることになるモジュールは、１つまたは複数のカメラモジュールは、プロセッサ１１０の制御下で鏡を異なる位置に駆動させる。カメラデバイス動作の特定のモードは、モード制御モジュール１１１の制御下で動作するプロセッサ１１０によってユーザ入力に基づいて決定されてもよいし、モード制御モジュールがハードウェア内で実施されるとき、モード制御モジュール１１１によって直接的に決定されてもよい。
１２０４、１２０８、１２１８、１２１４、および１２２４の各々における鏡が４５度である場合、各モジュールはカメラの前面から直接見え、それらの光軸はすべて平行である。この場合、モジュールの各々は、本質的に同じシーンエリアすなわち図３２の第７のシーンエリアを撮像する。モジュール１２０４を用いて第２のシーンエリアの画像をキャプチャするために、モジュール１２０４のヒンジ結合された鏡５１０は、カメラモジュール１２０４の光軸が第２のシーンエリア３２０６の中心の方を向くように調整されることが必要である。モジュール１２０４は、鏡がヒンジのまわりで回転するにつれて、光軸が向く関心シーンエリア３２０２内のロケーションが３２０２の対角線３２５０に沿って移動するような方式で、カメラ１２００内で位置決めされることに留意されたい。同様に、カメラモジュール１２１４のための鏡は、第６のシーンエリアをキャプチャするように調整されることが必要である。図１２では、カメラモジュール１２０４、１２１４は対角線３２５０に近接して、たとえば、これに沿ってまたは隣接して配置されるが、カメラモジュール１２０８、１２１８は、対角線３２６０に近接して、たとえば、これに沿ってまたは隣接して設置されることに留意されたい。１２１４において鏡を回転させること、たとえば、角度したがって鏡の傾斜を変更させることは、モジュールの光軸を対角線３２５０に沿って移動させる。モジュール１２０８および１２１８の鏡も同様に、第３のシーンエリア（３２０８）および第５のシーンエリア（３２１２）の画像をそれぞれキャプチャするように角度付けられる、たとえば回転される。モジュール１２０８、１２１８の場合、光軸は、関心シーンエリアの対角線３２６０に沿って移動する。第７の画像エリア３２１６をキャプチャするために使用されるモジュール１２２４は関心シーンエリア３２０２の中心を向き、そのため、その鏡は４５度に維持される。
上記の説明から、少なくともいくつかのカメラモジュールを対角線３２５０および３２６０に沿って配置させることが特に有益であることを理解されたい。これらのモジュールは、これらの２つの対角線のうちの一方と平行なそれらの光軸のパートＢを有する。したがって、対角線に沿った最大の絞りを有するモジュール１２１０、１２２０、２２０２、１２１２の配置と、同じ対角線に沿っているが、空間の理由のための他のモジュールからずらされた中間の絞りのモジュール１２０４、１２１４、１２０８、１２０８の配置は、画像キャプチャと、いくつかの実施形態において動作のモードを結合することとを容易にするので、意図的な設計の選択肢である。
重複するシーンエリアたとえば３２１０および３２０４に基づいて、たとえばカメラに含まれるプロセッサによって、デプスマップが生成される。いくつかの実施形態では、シーン内の物体の奥行きは、異なるモジュールによってキャプチャされた画像内の物体の相対位置を調べることによって決定可能である。少なくともいくつかの実施形態では、デプスマップは、たとえば、合成画像を形成するために異なる光学チェーンによってキャプチャされた画像を結合する際に光学チェーンの異なる光学チェーンおよび／または光軸の外側レンズの相対位置についての情報と組み合わせて使用される。合成画像の生成における奥行き情報の使用は、視差、視点、および／または画像内で発生し得るもしくは存在する他の画像歪みの是正を可能にする。
図３２の例では、本発明を説明する目的で、７つの別個のシーンエリアが示されている。これらの７つのシーンエリアの各々は、結合される前に図１２００に示されるカメラデバイス６００の異なる光学チェーンによってキャプチャされ得、いくつかの実施形態では、キャプチャされる。カメラモジュールは、以下で説明されるように、画像を同時に、たとえば並行して、キャプチャすることができる。しかしながら、ローリングシャッターが使用される、以下で説明されるいくつかの実施形態では、カメラモジュールは、関心シーンエリアの所与の部分をキャプチャするすべての異なるカメラモジュールが所与の部分を同時にキャプチャするように同期方式で関心シーンエリアの一部分をキャプチャするように制御される。
合成画像を生成するために図３２に示される７つの異なるシーンエリア部分に対応する７つの画像を結合することによって、単一の画像センサの４倍の画素カウントを有する合成画像を生成することが可能であることを理解されたい。たとえば、画像部分の各々が、８００万画素センサを使用してカメラモジュールによってキャプチャされる場合、第２のシーンエリア、第３のシーンエリア、第５のシーンエリア、および第６のシーンエリアは各々、異なる８００万画素センサによってキャプチャされ、したがって８００万画素を合成画像に貢献させるので、図３２に示される関心シーンエリアに対応する合成画像は、３２００万画素の全体画素カウントを有するであろう。キャプチャされた画像が、対応するシーンエリアよりもやや大きい場合、実際の解像度が、やや低い可能性がある。
第１のシーンエリアと第４のシーンエリアとをキャプチャするために使用されるセンサは、第２のシーンエリアと第３のシーンエリアと第５のシーンエリアと第６のシーンエリアとをキャプチャするために使用されるセンサの結合によってキャプチャされる画像エリアと同じ画像エリアに対応するので、合成画像の全体画素カウントの増加をもたらす可能性は低いが、これらのセンサは、ｆ１レンズを使用することなく可能であろうよりも増加された光キャプチャを提供し、また、デプスマップの生成を可能にし、合成画像を生成するプロセスの一部として第２のシーンエリア、第３のシーンエリア、第５のシーンエリア、および第６のシーンエリアに対応する画像を位置合わせし縫い合わせる際に使用可能である全体的なシーンエリアの画像を提供する重要な情報も提供する。
（ｆ３）カメラモジュールたとえば１２１６は、第７のシーンエリアをキャプチャするために使用される。第７のシーンエリアの中心は、関心画像エリアの中心と一致する。事実上大部分のレンズは、視野の中心において最小の収差と最良の画質とを有するので、これは、関心シーンエリアの中心が、第７のシーンエリアをキャプチャするカメラモジュールによって高品質で画像化されることを保証する。第７のシーンエリアを画像化することはまた、関心シーンエリアの中心でキャプチャされる光エネルギーの総量を増加させる。このことは、キャプチャされた画像から生成される合成画像が、関心シーンエリアの中心で、その最良の品質（高解像度および最小ノイズ）を有することを可能にする。
単一レンズカメラによってキャプチャされる画像は、光学収差により、縁よりも中心において良いことが多く、口径食は中心においてよりもフィールドの縁の近くで大きいことを理解されたい。何らかの実施形態により生成される合成画像は、画像の中心において類似の高品質を示し、合成画像の縁に向かって、より低い品質の可能性がある。この影響は、従来の単一レンズカメラの影響に類似していることを考えると、合成画像は、単一カメラモジュールによってキャプチャされる画像に類似しているが、この画像よりも潜在的により高い品質であることを理解されたい。
図３３は、本発明のより良い理解を与えるために、図３２の例でキャプチャされる異なる画像部分が、図３１に示される例示的な関心シーンエリアにどのように関係し得るかを示す。図３２で説明されるように異なるモジュールによってキャプチャされる関心シーンエリアの画像部分の各々は、図３３では、同じ参照番号の後にプライム符号（’）が続くことを用いて識別される。たとえば、３２０２’は、関心シーンを含むキャプチャされる全関心シーンエリアを示し、３２０６’は第２のシーンエリアであり、関心シーンエリアの一部分に関係し、３２０８’は第３のシーンエリアであり、関心シーンエリアの別の部分に関係し、３２１０’は第４のシーンエリアであり、全関心シーンエリアを含み、３２１２’は第５のシーンエリアであり、関心シーンエリアの別の部分に関係し、３２１４’は第６のシーンエリアであり、関心シーンエリアの別の部分に関係し、３２１６’は第７のシーンエリアであり、関心シーンエリアの中心部分に関係する。キャプチャされる画像部分の各々が、図３１に示される例示的な関心シーンエリアにどのように関係するかは、図３３からより良く理解できる。
図３４は、光学チェーンたとえば３つの異なる焦点距離たとえば（ｆ１、ｆ２、およびｆ３）に対応するカメラモジュールを有するカメラによってキャプチャされる異なる画像部分を示す図３４００である。上記でさまざまなセクションで説明されるように、いくつかの実施形態では、カメラ内の光学チェーンの各々は、画像部分が、対応する光学チェーンによってキャプチャされるときに光をキャプチャする対応する画像センサを含む。一実施形態では、第１の光学チェーンは、関心シーン３４０４の第１の画像（中間のサイズの長方形３４０４として示されている）をキャプチャする第１のセンサを含む。第２のセンサを含む第２の光学チェーンは、関心シーンの画像部分３４０６（小さいサイズの長方形３４０６として示される）をキャプチャし、第３の光学チェーンは、関心シーンの別の画像部分３４０８をキャプチャする第３のセンサを含み、第５の光学チェーンは、関心シーンの別の画像部分３４１０をキャプチャする第５のセンサを含み、第６のセンサを含む第６の光学チェーンは、関心シーンの別の画像部分３４１２をキャプチャし、第７のセンサを含む第７の光学チェーンは、関心シーンの別の画像部分３４１４をキャプチャする。そのうえ、第４のセンサを含む第４の光学チェーンは、関心シーン全体を含む画像３４０２をキャプチャする。一実施形態では、第２の光学チェーン、第３の光学チェーン、第５の光学チェーン、第６の光学チェーン、および第７の光学チェーンの焦点距離は同じ（ｆ３）であり、関心シーンエリア３４０４をキャプチャする第１の光学チェーンの焦点距離（ｆ２）およびシーンエリア３４０２をキャプチャする第４の光学チェーンの焦点距離（ｆ１）よりも大きい。そのような一実施形態では、さまざまな光学チェーンの焦点距離は、ｆ１＜ｆ２＜ｆ３のようなものである。
一実施形態が上記で説明されているが、さまざまな異なる変形形態が可能であることを理解されたい。そのような異なる一実施形態では、図３４に示される異なる画像部分は、２つの異なる焦点距離たとえば（ｆ１、ｆ２）に対応する光学チェーンを有するカメラによってキャプチャされ、そこで、画像部分３４０６、３４０８、３４１０、３４１２、３４１４は、画像部分３４０２と３４０４とをキャプチャする光学チェーンの焦点距離（たとえば、ｆ１）よりも大きい焦点距離（たとえば、ｆ２）を有する光学チェーンによってキャプチャされる。そのような一実施形態では、ｆ２はｆ１の２倍である。図３４およびその中に示される画像部分は、異なるカメラモジュールに対応するローリングシャッターが、カメラモジュールセンサの各々が画像部分をキャプチャするように独立して（非同期的に）動作される場合に導入され得る動きに関連する（カメラまたは被写体に関連する）歪みを減少させるまたは最小限にするやり方で異なるカメラモジュールによってキャプチャされる画像の結合を容易にするように協調された方式でどのように制御可能であるかを説明する際に使用される。協調された方式でのカメラモジュールのセンサからの読み出しは、異なる光学チェーンによってキャプチャする協調されていない非同期画像による歪みを最小限にする助けとなり、キャプチャされる画像は容易に結合可能である。
上記で説明される対応する光学チェーンに含まれるさまざまなセンサによって実行される上記で説明された画像キャプチャ動作は、図１７に示されるように配置された光学チェーンを含むカメラ１４００などのカメラによって実行され得、いくつかの実施形態では、実行される。別の実施形態では、上記で説明される対応する光学チェーンに含まれるセンサによって実行される画像キャプチャ動作は、図１２に示されるように配置された光学チェーンを含むカメラ６００によって実行される。
図３５は、ローリングシャッターを使用する４つの光学チェーンたとえばカメラモジュールのセンサが、キャプチャされた画像と、同じ関心シーンエリアのより大きい部分をキャプチャする、より小さい焦点距離を有する別の光学チェーンによってキャプチャされた１つまたは複数の画像との結合を容易にする方式で、関心シーンエリアをキャプチャするようにどのように組み合わせて使用可能であるかを示す。図７０６、７０８、７１０、および７１２は、異なる光学チェーンに対応する例示的な画像センサが、画像キャプチャ動作の一部としてある縁から別の縁までの（たとえば、上部から底部までの）読み出しを実行するようにどのように制御されるかを示す。たとえば、図７０６は、７０６に示される画像センサが対応する第２の光学チェーンによって画像部分３４０６（図３４に示される）をキャプチャすることの一部としてたとえば上部から底部まで読み出し可能な画素要素のＮ個の行を有する図３４に関して説明される第２の画像センサを示す。図７０８は、７０８に示される画像センサが対応する第３の光学チェーンによって画像部分３４０８をキャプチャすることの一部として上部から底部まで読み出し可能な画素要素のＮ個の行を有する、上記で図３４に関して説明された第３の画像センサを示す。同様に、７１０および７１２は各々、図３４に示される画像部分３４１０と３４１２とをキャプチャする画素要素のＮ個の行を有する第５のセンサと第６のセンサとを示す。図７０６、７０８に示されるセンサからの読み出しは、同時に同期して開始し、図７１０、７１２に示されるセンサからの読み出しは、図７１０、７１２に示されるセンサからの読み出しが終わると、一緒に開始する。
図３６は、図３４に示される画像部分３４０６と３４０８と３４１０と３４１２とをキャプチャするために使用される光学チェーン（図３４に関して説明された第２の光学チェーン、第３の光学チェーン、第５の光学チェーン、および第６の光学チェーン）の焦点距離の半分または約半分の焦点距離を有する、光学チェーンたとえば図３４に関して説明された第１の光学チェーンに対応するセンサは、より小さい焦点距離を有する光学チェーンが、より大きい焦点距離を有する複数の光学チェーンとの同期方式で関心シーンのすべてまたは一部分をキャプチャするようにどのように制御可能であるかを示す。図３６００は、図３５に示されるより大きい焦点距離を有する光学チェーンに対応する他のセンサに対応する画素行の読み出しと同期される方式で読み出し可能な画素要素のＮ個の行を有する第１のセンサを示す。図３６００は、比較的小さい焦点距離に対応する第１のセンサが画素要素のＮ個の行を有することを示すが、図３６００内の長方形は、第１のセンサの物理的サイズを示さないまたは表さないことを理解されたい。
図３５、図３６、図３７、図３８、および図３９は、異なるセンサによってキャプチャされた画像が容易に結合可能であるように協調された方式における異なるカメラモジュールのセンサの読み取りのローリングシャッター制御に関するさまざまな態様を示す。ローリングシャッターが使用される実施形態で理解されるべきであるように、画素値の行が順次読み出される。図３５、図３６、図３７、図３８、および図３９では、各センサは画素要素の同じ数の行、たとえばＮ個の行を含むと仮定される。したがって、これらの図について説明する目的で、Ｎは、センサ上の画素値の行の数であり、ローリングシャッター制御の説明を容易にするために、異なるカメラモジュールのセンサは画素要素の同じ数の行を有すると仮定される。センサは画素要素のＮ個の行を有するが、いくつかの実施形態では、行の合同読み取りが許可され、その場合、センサは、画素要素のＮ／Ｍ個の行を有するかのように動作し、ここで、Ｍは合同読み取り係数、たとえば、合同で読み出される、たとえば加算され読み出される行の数であり、それによって、画素要素の単一の行からの読み出しとして同じ数の画素値を生じさせる。合同読み取り動作は、センサの完全な読み出しが、個々の行が個別に読み取られる場合にセンサを読み出すためにかかるであろう時間のＭ分の１で完了可能であるという利点を有する。
電子ローリングシャッターの実装形態の場合、画像センサの行が順に読み出されることを理解されたい。各行を読むためにかけられる時間はきわめて短いが、行の数が大きくなることがあり、画像全体を読むためにかけられる最小時間が５０ミリ秒以上にもなることがある。行読み取り時間が短いので、所与の行中のすべての画素が（ほとんど）同時に読まれると仮定するものとする。画素の所与の行に関する光の積分（integration）は、その行がリセットされる（カーテンを開ける）と始まり、その行が読み出される（カーテンを閉じる）と終わる。露光持続時間は、行のリセット時刻と行の読み取り時刻との間の持続時間である。所与の行の露光瞬間または（キャプチャ時間）は、その行が読み出される時刻と定義可能である。より正確には、露光瞬間は、行のリセット時刻と行の読み取り時刻の平均と考えられ得る。明らかに、画像センサの異なる行に対応するシーンエリアは、異なる時刻にキャプチャされる。所与の関心シーンエリアの一部分が、１つの画像を作製するために複数のキャプチャされた画像を結合する意図をもって、電子ローリングシャッターを各々実施する、複数のカメラモジュールによってキャプチャされるとき、さまざまなモジュールのローリングシャッターが同期されない場合、動きに関連したアーチファクトが観測され得る。これらのアーチファクトを最小限にするために、カメラモジュールのローリングシャッターは、シーンエリアの任意の所与の点の画像が、（ほぼ）同じ瞬間に異なるセンサによってキャプチャされるように同期される。
画素値の行を読み出すために時間期間ＴRがかかると仮定すると、Ｎ個の行を有するセンサの完全な読み取りを完了するには、ＴRのＮ倍の時間期間がかかる。シーンエリアの異なる部分に対応する複数のセンサが、できる限り迅速に画像をキャプチャするように動作される場合、画像を結合することが、結合される異なる時間にキャプチャされたシーンの一部分によるアーチファクトをもたらすことが可能である。
そのような時間（動きに関連した）アーチファクトを回避するために、異なるセンサにシーンエリアの同じ部分を同時にキャプチャさせることが望ましいことを理解されたい。より小さい焦点距離を有する（したがって、シーンのより大きいパートをキャプチャする）カメラモジュールによってキャプチャされた１つまたは複数の画像と大きい焦点距離を有する複数のカメラモジュールからの画像とを結合するとき、たとえば、ローリングシャッターが、より大きい焦点距離を有し、したがってシーンのより小さい部分に対応する画像をキャプチャするカメラモジュールのセンサの行の数の何らかの結合に等しいいくつかの行を有するより大きいセンサにわたって制御されていたかのように、より大きい焦点距離のモジュールのうちのいくつかがシーンの一部分を順次キャプチャすることが望ましいことがあることも理解されたい。
図３５は、その各々が異なるカメラモジュールに対応する４つのセンサに対応する図７０６、７０８、７１０、７１２に示される画素要素のＮ個の行がどのように順次読み出し可能であるかを示す。図７０６、７０８、７１０、７１２に示される４つのセンサに対応する画素要素の行は、シーン部分３４０６、３４０８、３４１０、および３４１２などのシーンの４つの異なる部分をキャプチャすることができることに留意されたい。
説明の目的で、図７０６、７０８、７１０、７１２に示される画素要素の行は、その各々が焦点距離ｆ３を有する第２の光学チェーン、第３の光学チェーン、第５の光学チェーン、および第６の光学チェーンのセンサに対応すると仮定する。以下で説明されるように、ｆ３は、いくつかの実施形態では、関心シーン３４０４をキャプチャする第１の光学チェーンの焦点距離ｆ２の２倍であり、シーンエリア３４０２をキャプチャする第４の光学チェーンの焦点距離ｆ１の４倍である。したがって、焦点距離ｆ３を使用する光学チェーンは、比較的高い倍率を提供するが、焦点距離ｆ２または焦点距離ｆ１を使用する光学チェーンよりも、シーンの小さい部分をキャプチャする。焦点距離ｆ３を使用する光学チェーンは、焦点距離ｆ２を有する光学チェーンのサイズの４分の１であり、焦点距離ｆ１を有する光学チェーンのサイズ１６分の１であるシーンエリアの画像をキャプチャする。図３５００は、関心シーンの一部分をキャプチャするより大きい焦点距離の光学チェーンに対応するセンサが画素要素のＮ個の行を有することを示しているが、図７０６、７０８、７１０、７１２内の長方形は、センサの物理的サイズではなく、センサによってキャプチャされる画像エリアの相対的サイズを示すまたは表すことを理解されたい。
焦点距離とシーンエリアキャプチャサイズのこの関係は、図３４、図３５、図３６、および図３７では、示されている画素要素の行の相対的サイズによって表される。したがって、画素要素の実際のサイズは同じであってよいが、センサの各々では、キャプチャされる画素値が対応するシーンの部分のサイズは、特定のセンサが含まれるカメラモジュールの焦点距離に依存することを理解されたい。
説明の目的で、図３５の図７０６、７０８、７１０、７１２は、焦点距離ｆ３を有する光学チェーンに対応する４つのセンサに対応する画素要素の行を示すことが仮定される。図７０６に対応するセンサが関心シーンの左上部分をほぼキャプチャし、図７０８に対応するセンサが関心シーンの右上部分をほぼキャプチャし、図７１０に対応するセンサが関心シーンの左下部分をほぼキャプチャし、図７１２に対応するセンサが関心シーンの右下部分をほぼキャプチャすることも仮定される。
図７０６に対応するセンサが第２のセンサＳ２であると仮定すると、画素行１の第１のラインの読み出しは、読み取りセンサ２ライン１を表すＲＳ2Ｌ1によって示される時間によって完了される。類似の注釈は、他のセンサの画素要素のラインの読み出しが、図３５〜３９の垂直軸に対応し、図の上部から下部にかけて増加する時間で完了される点を示すために使用される。図７０８に対応するセンサ３の読み出しは、ＲＳ2Ｌ1からの読み出しと同じ時点で完了される。図３５の例では、４つのセンサＳ２、Ｓ３、Ｓ５、Ｓ６によってキャプチャされる画像エリア間の重複はなく、センサＳ５からの読み出しは、センサＳ２の最後の画素行に続いて次の画素行に対応するかのように完了されることに留意されたい。センサが、重複する画像部分に対応する画素値の行を有する場合、センサは同時に読み出すであろうが、図３５の例は、多数の実施形態では当てはまらない、キャプチャされる画像エリアにおける重複はないと仮定することに留意されたい。
説明の目的で、ＴRは、図３５の例で使用されるセンサのいずれか１つから画素値の１行を読み出す時間であると仮定される。例における各センサはＮ個の行を含むので、Ｎ個のセンサのいずれか１つを完全に読み取るために必要とされる時間はＮ ＴRである。したがって、第１のセンサＳ２および第３のセンサＳ３の行（ラインＮ）の読み出しは時刻Ｎ ＴRに完了されるが、センサＳ５およびＳ６の最後の行（ラインＮ）の読み出しは、時刻２ Ｎ ＴＲに完了される。
センサが異なる数の画素の行を含む場合、総読み出し時間は、当然のことながら、センサ内の行の数に依存する。
同じ時間期間Ｎ ＴR内にセンサを読み出すことが望ましいと思われる可能性があるが、異なるセンサからの画像が、ローリングシャッターを使用して読み出されているとき、図７１０、７１２に示されるセンサに対応する画素行が、図７０６、７０８に示されるセンサに対応する画素行の読み出しに続いて読み出されるようにセンサを制御することが望ましいことがある。このように、読み出しは、図７０６、７１０に対応する画素行が単一のローリングシャッターの一部であるかのように順次行われる。いくつかの実施形態で使用されるこの手法は、合成画像が、各々がＮ個の行を有する２つの別個のセンサではなく画素要素の２Ｎ個の行を有する単一のより大きいセンサを使用して取得されるであろうものに類似することを可能にする。したがって、あるセンサの最後の行と次のセンサの第１の行との間で生じ得る時間的不連続性を回避することは、画像の異なる部分に対応するセンサによってキャプチャされる画像を結合するとき、利点を有することができる。
したがって、図７０６、７０８、７１０、７１２に示される画素要素の行に対応するローリングシャッターを使用する４つのカメラモジュールのセンサは、キャプチャされた画像を結合することを容易にする方式で関心シーンエリアをキャプチャするために組み合わせて使用可能であることを理解されたい。
キャプチャされた画像は、より大きいシーンエリアの合成画像を形成するために互いに、およびより大きいシーンエリアの１つまたは複数の画像を用いて結合可能である。より大きいシーンエリアの画像は、同じシーンのより大きい部分をキャプチャする、より小さい焦点距離たとえば焦点距離ｆ２を有するカメラモジュールによってキャプチャ可能であり、いくつかの実施形態では、キャプチャされる。
図３６は、図３５に示される画素要素の行のセットによって表されるシーンエリアをキャプチャするために使用されるカメラモジュールの焦点距離ｆ３の半分または約半分である焦点距離ｆ２を有する、光学チェーンたとえばカメラモジュールに対応するセンサが、より小さい焦点（ｆ２）距離を有する光学チェーンが、より長い焦点距離を有する複数の光学チェーンとの同期方式で関心シーンの一部分をキャプチャするようにどのように制御可能であるかを示す。図３６では、画素値の行が読み出される速度は、焦点距離と１つまたは複数の他のサポートされる焦点距離の相対比に基づく係数倍に減少される。
焦点距離ｆ２はｆ３の焦点距離の２分の１であるので、Ｎ個の画素要素行を含む図３６００に対応するセンサは、図３５の例のセンサによってキャプチャされるシーンの実質的に同じ画像部分をキャプチャし、画素行の読み出し速度は２分の１に減少され、すなわち、１つの画素要素行は時間期間２ＴR内に読み出される。したがって、Ｎ個の画素要素行を含む図３６００に対応するセンサの読み出しは、完全に読み出されるために図７０６、７１０に対応するセンサの結合によって使用される同じ時間の量である画素行の完全な読み出しを完了するのに、Ｎ（２ＴR）の総時間期間がかかる。図３６がセンサＳ１に対応すると仮定すると、Ｓ１の画素値の第１の行の読み出しは、読み取りセンサ１ライン１を表すインジケータＲＳ１Ｌ１によって示される時点に対応する時刻２ＴＲに完了される。したがって、図３５と図３６の画素行の読み出しが同期されるそのような一実施形態では、図３６００に示される画素要素行を有するセンサＳ１は、その読み出しを、図７０６に対応するセンサＳ２および図７０８に対応するセンサＳ３がそれらの画素要素の第１の行の読み出しを始めるのと同時に始める。センサＳ１は、図７１０および７１２に示される画素要素の最後の行が読み出される同じ時刻にまたはその付近で、その画素要素のＮ個の行の読み出しを完了する。したがって、センサＳ１は、図３５が対応するセンサと同期される様式で、その画素行の読み出しを始め、その画素行読み出しを終える。
センサＳ１がセンサＳ２、Ｓ３、Ｓ５、Ｓ６と同じ行あたり読み出し速度で読み出された場合、センサＳ１の読み出しは時刻ＮＴRに完了されているが、これは、異なる光学チェーンに対応するセンサが、高い動きの速度で移動している物体を含む画像から生成された合成画像内の時間アーチファクトにつながり得る、異なる時刻に画像エリアの同じ部分をキャプチャするという望ましくない影響をもたらすであろう。そのような時間アーチファクトは、本明細書で説明される同期された画像キャプチャ技法によって減少または回避される。
図３７は、図３５に示される画像をキャプチャするために使用されるカメラモジュールの４分の１または約４分の１の焦点距離ｆ３である焦点距離（たとえば、ｆ１）を有する、光学チェーン（たとえば、図３４に関して説明された第４の光学チェーン）に対応するセンサＳ４が、より大きい焦点距離を有する複数のカメラモジュールとの同期方式で関心シーンの一部分を対応する光学チェーンがキャプチャするように、どのように制御可能であるかを示す。
図３７００のセンサが対応する光学チェーンの焦点距離（たとえば、ｆ１）はｆ３の焦点距離の４分の１に対応するので、Ｎ個の画素要素行を含む図３７００のセンサは、図３５および図３６の例のセンサによってキャプチャされるシーンの実質的に同じ画像部分をキャプチャし、図３７００のセンサのＮ個の画素行の読み出し速度は４分の１に減少され、すなわち、１つの画素要素行は時間期間４ＴR内に読み出される。図３７では、図３７００は、センサが、図３５の図７０６に対応するセンサよりも垂直次元において４倍大きいシーン部分を対象とすることを考慮に入れて、持続時間４ＴRを有する時間期間ごとに画素値の１行を読み出すように制御されるＮ個の画素要素行を有するセンサを示す。図３７００は、小さい焦点距離ｆ１を有する光学チェーンに対応するセンサが画素要素のＮ個の行を有することを示すが、図３７００内の長方形は、センサの物理的サイズを示さないまたは表さないことを理解されたい。さまざまな光学チェーン内のセンサ（画素要素を含む）のサイズは同じであってよい。
理解されるべきであるように、センサＳ４の第１のラインの読み出しは時刻ＲＳ４Ｌ１に完了され、第Ｎのラインは時刻ＲＳ４ＬＮに読み出される。画素値の行の読み出し速度が、図３５および図３６に示されるセンサ読み出しとの同期を維持するために図３７では４ ＴＲごとに１回発生することを考えると、センサＳ４の読み出しは、０の開始時刻を仮定して時刻４ＮＴRに行われることに留意されたい。
図３８は、図３５、図３６、および図３７の実施形態で使用されるセンサが同期方式で一緒に使用されるときの、これらのセンサ間の行読み出しタイミング関係をより詳細に示す。例示および説明の目的で、図３４に示され上記で対応する説明で説明されるようなさまざまな光学チェーンによってキャプチャされる同じ画像および／または画像部分は、図３８〜３９では参照のために使用されている。したがって、同じ参照番号が使用されている。ブロック３４０２は、焦点距離ｆ１を有する光学チェーンに対応するセンサによってキャプチャされるシーンエリアを表す。ブロック３４０４は、焦点距離ｆ２を有するセンサによってキャプチャされるシーンエリア３４０２の部分を表す。ブロック３４０６、３４１０、３４０８、３４１２、および３４１４は、図３８の例では最高倍率を提供する、焦点距離ｆ３を有する異なるカメラモジュールによってキャプチャされるシーンエリアのブロックを表し、シーンエリアの最小部分がキャプチャされる。
図３９は、大部分のセンサにおける行の数ははるかに大きいという理解の下で、図３８に示される例に類似しているが、行の数Ｎが６であるように選択される、すなわち、センサの各々が６行たとえばＮ＝６の画素要素を含む特定の例を示す。したがって、図３９は、Ｎ＝６の単純な場合に対して同期がどのように達成され得るかを示すために例示的な目的で示され、例の各センサは同じサイズであるが、異なる焦点距離を有する光学チェーンに対応する。
センサが、シーンエリアの同じ部分に対応する画像をキャプチャするとき、読み出しが並行して行われることを図３９から理解されたい。画素値のラインが読み出されると、次の読み出しは、同期された読み出し制御が、読み取られていない画素値の次の行が読み出されるべきであることを示すまで、行われない。
センサが、他のセンサがない画像エリアに対応するとき、そのセンサは画素値のその行を読み出し、一方、他のセンサは、読み出し動作を実行することを抑制する。たとえば、図３９の例では、最小焦点距離を有し、最大画像エリアをキャプチャするセンサＳ４は画素値のその第１の行を読み出し、一方、センサＳ１、Ｓ２、Ｓ３、およびＳ６は、画素値を読み出すことを抑制する。しかしながら、センサが、他のセンサによってもキャプチャされる画像エリアの一部分をキャプチャするとき、そのセンサは、そのセンサまたは同じ画像エリアをキャプチャするセンサの読み出しと厳密に一致するように同期される方式で画素値を読み出す。たとえば、時刻ＲＳ３Ｌ３から時刻ＲＳ４Ｌ４に至る時間期間中、センサＳ１、センサＳ２、およびセンサＳ３も画素読み出しを実行する。この時間期間中に実行される読み出しの数は、センサの行読み出し速度に依存し、光学チェーンに対応するセンサは、センサＳ４が画素値の単一の行を読み出す時間期間内に画素値の複数の行を読み出す、より大きい焦点距離を有する。
画素要素の行を読み取るために使用される時間の最小量を示す時間の単位であるＴRは、ミリ秒または他の任意の適切な時間の単位で表現されてよいことに留意されたい。したがって、垂直軸は、シーンエリアのスキャンおよびセンサの読み出しが上部で開始し、下部に向かって進むという仮定に基づいて、上部から下部まで進行する時間を示すことが意図される。上部から下部までのスキャン方向は例の目的で示されているが、これは、タイミング同期機能に不可欠または重要ではない。
センサが対応する光学チェーンの焦点距離に基づいて読み出し速度を同期させる方法は、センサが同じサイズであり同じ数の行を含む単純な場合で説明されているが、方法は、異なるサイズのセンサおよび／または異なる数の行の画素値を有するセンサを使用する光学チェーンとともに使用するのに特に適していることを理解されたい。理解されるべきであるように、そのような違いは、存在する場合、開始時刻および停止時刻、ならびに複数の光学チェーンたとえばカメラモジュールによって関心画像エリアの同期された画像キャプチャを達成する方式でセンサの読み出しを制御するために使用されることになる読み出し速度に関して考慮に入れられ得、いくつかの実施形態では、考慮に入れられる。そのうえ、異なるモジュールによってキャプチャされる画像エリアにおける重複は、部分的に重複している画像エリアに対応することがある異なるセンサの読み出しに関する開始時刻を決定するとき、考慮に入れられ得る。
たとえば、図３５の例のセンサＳ５が、センサＳ２の最後の行のうちのいくつかによってキャプチャされる画像部分に重なった画像エリアをキャプチャした場合、Ｓ５画素要素の第１の行の読み出しは、同じ画像部分をキャプチャしたセンサＳ２の画素要素の行と並行して行われる。そのような一実施形態では、Ｓ５の画素要素の行のすべてではないが、いくつかの読み出しは、Ｓ２およびＳ５によってキャプチャされていた画像エリアにおける部分的重複により、センサＳ２の読み出しの完了に続く。
図３６〜図３９は、小さい焦点距離を有するカメラモジュールに対応するセンサの読み出し速度が、より大きい焦点距離を有するカメラモジュールに対応する画像キャプチャおよびセンサの画素読み出しにセンサを同期させるためにどのように低速化可能であるかを説明するために使用されているが、ここで、画像内の画素カウントを最大限にすることは最優先ではなく、画素行の合同読み取りは、より大きい焦点距離のカメラモジュールに対応するセンサの読み出しを高速化するために使用可能であり、いくつかの実施形態では、そのために使用される。Ｍ個の行のグループの合同読み取り中、センサは、デジタル化および読み取りの前にＭ個の行の各々の対応する画素を合計するためにアナログ回路を使用する。Ｍ個の行の合同読み取りは、一般的に、単一の行を読み取るのと同じ時間がかかり、それによって、読み取りスピードをＭ倍高速化する。そのような手法は、単一のセンサを読み出すために必要とされる時間期間に等しい時間期間内の関心シーンエリアの同期されたローリングシャッター制御キャプチャを可能にする。そのような手法は、合成画像内のより低い全体的画像画素カウントをもたらすことがあり、たとえば、場合によっては、合成画像の画素カウントが単一のセンサの画素カウントに減少されるが、そのような手法は、キャプチャされている画像内の物体が、キャプチャがより短い時間期間内に行われた場合よりもキャプチャ時間期間内にさらに移動するので、全体的な画像キャプチャ期間が増加される場合、その物体の動きがアーチファクトを導入するので、その動きが存在するケースで望ましいことがある。
図４０は、例示的な一実施形態により複数の光学チェーンたとえばカメラモジュールを使用して画像をキャプチャし、画像を結合する例示的な方法を示す。
図４０は、例示的な一実施形態により合成画像を生成するためにローリングシャッターを有する少なくとも１つのセンサを含む、たとえば図６、図８、および／または図１４に示される撮像デバイスなどの、撮像デバイスを制御する例示的な方法のステップを示す流れ図４０００を示す。流れ図４０００の方法を実施するカメラデバイスは、図１のカメラデバイス１００および図４Ａのデバイス２００と同じまたは類似の要素を含むことができ、場合によっては、これを含む。
流れ図４０００の方法は、図１のカメラ１００などのカメラデバイスを使用して実行可能であり、いくつかの実施形態では、実行される。いくつかの実施形態では、カメラ１００はバッテリ式ハンドヘルドデバイスである。例示的な方法は、たとえば、カメラデバイスたとえばカメラ１００のユーザが、関心シーンエリアの画像のキャプチャをトリガするためにボタンを押すまたは別の行動を起こすとき、ステップ４００２において開始する。説明の目的で、カメラデバイスが複数の光学チェーンたとえばカメラモジュールを含み、カメラモジュールの各々は独立して動作および制御可能であると考える。説明の目的で、異なるシーンエリアに対応する画像のキャプチャおよび結合は、図１２Ａに示される光学チェーンを参照し、それを例のベースとして使用することによって説明される。図１２Ａの例で先に説明されたように、３つの異なる焦点距離すなわちｆ１、ｆ２、およびｆ３が使用されており、ここで、ｆ１＜ｆ２＜ｆ３である。
動作は、ステップ４００２から、画像キャプチャ動作を伴うステップ４００４、４００６、４００８、４０１０、４０１２、４０１４、および４０１６に進む。画像キャプチャ動作は、同期方式で実行され得、いくつかの実施形態では、実行される。少なくともいくつかの同期される実施形態では、異なる光学チェーンの必ずしもすべてでないがいくつかによってキャプチャされる画像は、同じまたは重複する時間期間に対応する。他の実施形態では、画像キャプチャが同期されるのではなく、キャプチャされた画像のうちの複数の画像が、同じまたは重複する時間期間中にキャプチャされる。さらに他の実施形態では、少なくともいくつかの画像が順次、たとえばすばやく連続して、キャプチャされる。逐次的な画像キャプチャは、シーンエリアの異なる部分に対応する画像をキャプチャするために使用され得、いくつかの実施形態では、使用される。ステップ４００４では、第１の焦点距離（ｆ１）を有するカメラの第１の光学チェーンたとえば第１のカメラモジュール１２２８は、関心シーンエリアの第１の画像をキャプチャするように動作される。いくつかの実施形態では、関心シーンエリアは、全画像キャプチャエリアよりもやや小さいことがある。動作は、ステップ４００４からステップ４０１８に進む。
ステップ４００６では、第２のシーンエリアの第２の画像が、第１の焦点距離（ｆ１）よりも大きい第２の焦点距離（ｆ２）を有するカメラたとえば光学チェーン１２０４の第２の光学チェーンを使用してキャプチャされ、第２のシーンエリアは関心シーンエリアの第１の部分である。さまざまな実施形態では、第２の光学チェーンは、関心シーンエリアの一部たとえば４分の１または半分の部分をキャプチャする。動作は、ステップ４００６からステップ４０１８に進む。
ステップ４００８では、第３のシーンエリアの第３の画像が、第１の焦点距離よりも大きい第３の焦点距離（ｆ２）を有するカメラたとえば光学チェーン１２０８の第３の光学チェーンを使用してキャプチャされ、第３のシーンエリアの少なくとも一部分は第２のシーンエリアと重複しておらず、第３のシーンエリアは関心シーンエリアの第２の部分である。したがって、いくつかの実施形態では、第３の光学チェーンは、関心シーンエリアの一部たとえば別の４分の１の部分をキャプチャする。動作は、ステップ４００８からステップ４０１８に進む。いくつかの実施形態では、第１の光学チェーン、第２の光学チェーン、および第３の光学チェーンは、カメラの前面に外側レンズを有する。すべてではないが、いくつかの実施形態では、光学チェーンの最も外側のレンズは、ゼロ屈折力を有する平面状ガラスまたはプラスチックレンズである。
ステップ４０１０では、第４の画像が、ｆ１に等しいまたはこれよりも小さい第４の焦点距離を有するカメラたとえば光学チェーン１２３４の第４の光学チェーンを使用してキャプチャされ、第４の画像は関心シーンエリアである。いくつかの実施形態では、第４の焦点距離は、第１の焦点距離と同じかこれよりも小さい。動作は、ステップ４０１０からステップ４０１８に進む。
ステップ４０１２では、第５のシーンエリアの第５の画像が、第１の焦点距離（ｆ１）よりも大きい第５の焦点距離を有するカメラたとえば光学チェーン１２１８の第５の光学チェーンを使用してキャプチャされ、第５のシーンエリアは関心シーンエリアの第３の部分である。したがって、第５の光学チェーンは、関心シーンエリアの一部たとえば４分の１または半分の部分をキャプチャする。動作は、ステップ４０１２からステップ４０１８に進む。
ステップ４０１４では、第６のシーンエリアの第６の画像が、第１の焦点距離（ｆ１）よりも大きい第６の焦点距離を有するカメラたとえば光学チェーン１２１４の第６の光学チェーンを使用してキャプチャされ、第６のシーンエリアは関心シーンエリアの第４の部分である。動作は、ステップ４０１４からステップ４０１８に進む。
ステップ４０１６では、第７のシーンエリアの第７の画像が、第１の焦点距離（ｆ１）よりも大きい第７の焦点距離を有するカメラたとえば光学チェーン１２２４の第７の光学チェーンを使用してキャプチャされ、第７のシーンエリアは関心シーンエリアの中心にある。動作は、ステップ４０１６からステップ４０１８に進む。
いくつかの実施形態では、第１の焦点距離と第４の焦点距離は同じである。いくつかの実施形態では、第２の焦点距離と、第３の焦点距離と、第５の焦点距離と、第６の焦点距離は同じである。いくつかの実施形態では、第７の焦点距離は、第２の焦点距離、第３の焦点距離、第５の焦点距離、および第６の焦点距離と同じである。いくつかの実施形態では、第２のシーンエリア、第３のシーンエリア、第５のシーンエリア、および第６のシーンエリアの合併（union）たとえば結合は、関心シーンエリアを含む。
ここで、ステップ４０１８に戻る。ステップ４０１８は、必ずしもすべてではないがいくつかの実施形態において実行される。ステップ４０１８では、キャプチャされた画像のうちの少なくとも２つに含まれる関心シーンエリアの一部分に関する奥行き情報が生成される。したがって、いくつかの実施形態では、関心シーンエリアの一部分に関するデプスマップ情報を生成するために、同じ関心シーンエリアの少なくとも２つのキャプチャされた画像が使用される。いくつかの実施形態では、ステップ４０１８はステップ４０２０を含む。そのような実施形態では、ステップ４０２０に示されるように、少なくとも第１のキャプチャされた画像および第４のキャプチャされた画像が、奥行き情報を生成するために使用される。一実施形態では、第１キャプチャされた画像および第４のキャプチャされた画像は、奥行き情報を生成するために使用されるが、他のキャプチャされた画像も、奥行き情報を生成する際に使用されてよい。さまざまな実施形態では、奥行き情報は、カメラに含まれるプロセッサ、たとえばプロセッサ１１０または２１１などによって生成される。
さまざまな実施形態では、第２の光学チェーン、第３の光学チェーン、第５の光学チェーン、第６の光学チェーン、および第７の光学チェーンは、これらの光学チェーンによって撮影されたシーンの部分の画像が、異なる空間的に分離された入射瞳からのものであり、したがって異なる視点を有するような方式で配置される。異なる視点を有するそのような画像を結合することは、アーチファクトたとえば視差を導入する。これらの異なる光学チェーンによってキャプチャされたさまざまな画像を使用して生成された合成画像からのそのようなアーチファクトの影響を最小限にする、および／またはこれを緩和するために、異なる視点による合成画像の歪みを回避するために画像を結合するとき視差是正を提供する奥行き情報が使用される。
動作は、ステップ４０１８からステップ４０２２に進む。ステップ４０２２では、少なくとも第１のキャプチャされた画像、第２のキャプチャされた画像、および第３のキャプチャされた画像から合成画像が生成される。いくつかの実施形態では、合成画像を生成するステップは、合成画像を生成する際に奥行き情報が使用されるステップ４０２４を含む。そのような実施形態では、合成画像は、生成された奥行き情報、たとえば、ステップ４０１８において生成された奥行き情報に応じて、少なくとも第１のキャプチャされた画像、第２のキャプチャされた画像、および第３のキャプチャされた画像から生成される。いくつかの実施形態では、奥行き情報は、合成画像を生成する際に使用されるが、奥行き情報の使用は、必ずしもすべての実施形態で、合成画像を生成するために必要とは限らない。いくつかの実施形態では、合成画像を生成するステップ４０２２は、図示のステップ４０２６に示されるように、合成画像を生成するために第４のキャプチャされた画像、第５のキャプチャされた画像、第６のキャプチャされた画像、および第７のキャプチャされた画像を使用することをさらに含む。合成画像は、関心シーンエリアの画像を含む。さまざまな実施形態では、生成される合成画像は、関心シーンエリアの画像である。動作は、ステップ４０２２からステップ４０２８に進む。ステップ４０２８では、１つもしくは複数のキャプチャされた画像、たとえば、第１の画像、第２の画像、第３の画像、第４の画像、第５の画像、第６の画像、および／もしくは第７の画像、ならびに／または合成画像は、たとえばデバイスメモリ内に格納され、ならびに／またはたとえば、ディスプレイデバイスに、および／もしくはインターフェースを介して外部デバイスに出力される。
いくつかの例示的な実施形態では、たとえばカメラデバイス１００などの撮像デバイスが、流れ図４０００の方法を実施するために使用される。そのような一実施形態では、カメラデバイス１００の複数の光学チェーン１３０は、図１２Ａに示される方式で配置された光学チェーンを含み、光学チェーンのより詳細な配置および要素（たとえば、センサ、フィルタ）は、図１２Ｂにさらに示されている。したがって、そのような一実施形態では、複数の光学チェーン１３０は、図１２Ａに関して説明された光学チェーン１２０２〜１２３４を含む。別の実施形態では、カメラデバイス１００の複数の光学チェーン１３０は、図１７Ａに示されるタイプおよび配置の光学チェーンを含む。したがって、そのような一実施形態では、複数の光学チェーン１３０は、図１７Ａおよび図１７Ｂに関して説明された光学チェーン１７０２〜１７３４を含む。
いくつかの例示的な実施形態では、プロセッサ１１０は、上記で説明された光学チェーンによってキャプチャされた２つ以上の画像を結合することによって合成画像を生成するように構成される。一実施形態では、プロセッサ１１０は、少なくとも第１の光学チェーンによってキャプチャされた関心シーンエリアの第１の画像、第２の光学チェーンを使用してキャプチャされた、関心シーンエリアの第１の部分である第２のシーンエリアの第２の画像、および第３の光学チェーンを使用してキャプチャされた第３のシーンエリアの第３の画像から合成画像を生成するように構成され、第３のシーンエリアは関心シーンエリアの第２の部分であり、第３のシーンエリアの少なくとも一部分は第２のシーンエリアと重複しない。
いくつかの実施形態では、プロセッサ１１０は、キャプチャされた画像のうちの少なくとも２つに含まれる関心シーンエリアの一部分に関する奥行き情報が生成するように構成される。いくつかの実施形態では、プロセッサ１１０は、少なくとも第１の光学チェーンによってキャプチャされた第１の画像と第４の光学チェーンによってキャプチャされた第４のキャプチャされた画像とを使用して奥行き情報を生成するようにさらに構成され、第４の画像は関心シーンエリアである。いくつかのそのような実施形態では、プロセッサ１１０は、前記奥行き情報に応じて合成画像を生成するようにさらに構成される。いくつかの実施形態では、第４の光学チェーンは、第１の光学チェーンの第１の焦点距離に等しいかこれよりも小さい第４の焦点距離を有する。いくつかの実施形態では、プロセッサ１１０は、メモリ１０８内の１つもしくは複数のキャプチャされた画像および／もしくは生成された合成画像の格納ならびに／またはディスプレイ１０２上での１つもしくは複数のキャプチャされた画像および／もしくは合成画像の出力ならびに／またはインターフェース１１４などのインターフェースを介した別のデバイスへのキャプチャされた画像もしくは合成画像の送信を制御するようにさらに構成される。
方法４０００のさまざまな機能および／またはステップは、そのようなデバイスが汎用プロセッサおよび／または画像センサを使用することがあるとしても、カメラおよび／または画像処理の改善に関することを理解されたい。奥行き情報を生成するステップおよび合成画像を生成するステップなどの方法４０００の１つまたは複数のステップは、プロセッサたとえばプロセッサ１１０、２１１によって実行されるように説明されてきたが、方法４０００のステップのうちの１つまたは複数は、専用回路、たとえば、方法を実行する撮像デバイスの効率、精度、および／または動作能力を改善する、ＡＳＩＣ、ＦＰＧＡ、および／または他の特定用途向け回路によって実施され得、いくつかの実施形態では、実施されることを理解されたい。いくつかの実施形態では、専用ハードウェアたとえば回路、および／または専用ハードウェアとソフトウェアの組み合わせが、方法４０００の１つまたは複数のステップを実施する際に利用され、その中で、方法を実施する撮像デバイスたとえばカメラに追加の画像処理効率、精度、および／または動作能力を提供する。
図４１Ａと図４１Ｂの結合を備える図４１は、例示的な一実施形態により関心シーンエリアの一部分をスキャンするためにローリングシャッターを有する少なくとも１つの画像センサを含む、たとえば図６、図８、および／または図１４に示される撮像デバイスなどの撮像デバイスを動作させる例示的な方法のステップを示す流れ図４１００である。流れ図４１００の方法を実施するカメラデバイスは、図１および図４Ａのカメラデバイスと同じまたは類似の要素を含むことができ、場合によっては、これを含む。
例示的な方法はステップ４１０２で開始し、たとえば、ユーザはカメラデバイス上で関心シーンエリアのキャプチャを始め、このことが、カメラデバイスたとえばカメラデバイス１００に、１つまたは複数の光学チェーンによる関心シーンエリアのスキャンと、したがって画像キャプチャとを始めさせる。説明の目的で、カメラデバイスは複数の画像センサを含み、各センサは、光学チェーンの一部であり、たとえば、第１のセンサ〜第Ｘのセンサは、第１の光学チェーン〜第Ｘの光学チェーンにそれぞれ含まれると考える。動作は、ステップ４１０２からステップ４１０４に進む。ステップ４１０４では、カメラに含まれる複数の画像センサは、関心シーンエリアの第１の縁から関心シーンエリアの第２の縁まで関心シーンエリアをスキャンするように制御され、関心シーンエリアの第１の縁（たとえば、上部）と第２の縁（たとえば、下部）は平行であり、スキャンすることは、関心シーンエリアの第１の縁から第２の縁まで（たとえば、均一な速度で）進むスキャン位置に従って画像キャプチャを制御することを含む。いくつかの実施形態では、複数の画像センサは、関心シーンエリアの実質的に重複しない部分（いくつかの実施形態では、画像部分の大半は重複しない）をキャプチャする複数の画像センサを含み、複数のセンサによってキャプチャされる関心シーンエリアの部分の合併は、関心シーンエリアを包含する。いくつかの実施形態では、複数の画像センサは、偶数のセンサ、たとえば４つを含む。
いくつかの実施形態では、複数の画像センサは、第１の画像センサと、第２の画像センサと、第３の画像センサとを含み、第１の画像センサは関心シーンエリアの第１の部分をキャプチャし、第２の画像センサは関心シーンエリアの第２の部分をキャプチャし、第３の画像センサは関心シーンエリア全体をキャプチャする。いくつかのそのような実施形態では、関心シーンエリアの第１の部分と第２の部分は部分的に重複しない。
いくつかの実施形態では、第１のセンサは、第２のセンサによってキャプチャされない関心シーンエリアの一部分の画像をキャプチャし、第２のセンサは、第１のセンサによってキャプチャされない関心シーンエリアの一部分の画像をキャプチャする。いくつかの実施形態では、第１のセンサによってキャプチャされる関心シーンエリアの第１の部分は、第２のセンサによってキャプチャされる関心シーンエリアの第２の部分に先行するスキャンロケーションで始まる。いくつかの実施形態では、関心シーンエリアの第２の部分は、関心シーンエリアの中心に対応する。いくつかの実施形態では、複数のセンサは５つのセンサを含み、そのうちの４つは、関心シーンエリアの実質的に重複していない部分をキャプチャする。いくつかの実施形態では、関心シーンエリアの第２の部分の第１〜第４の異なるコーナー部分は、５つのセンサのうちの残りの４つのセンサによってキャプチャされる関心シーンエリアの異なる対応する部分に重なる。
いくつかの実施形態では、複数のセンサは５つのセンサを含み、そのうちの４つは関心シーンエリアの４つの異なる部分をキャプチャし、関心シーンエリアの４つの異なる部分の各々の少なくとも１つのコーナーは、関心シーンエリアの４つの異なる部分のうちの他の３つによってキャプチャされる画像部分と重ならず、第５のセンサは、関心シーンエリアの中心部分をキャプチャする。
さまざまな実施形態では、ステップ４１０４は、ステップ４１０６、４１０８、および４１１０のうちの１つまたは複数を実行することを含む。関心シーンエリアをスキャンするように１つまたは複数のセンサを制御することの一部として、ステップ４１０６では、ローリングシャッターモードである複数のセンサの中の第１のセンサは、第１のセンサが、現在のスキャン位置に対応する画素値の読み取られていない行を有するとき、現在のスキャン位置に対応する画素値のまだ読み取られていない行を読み出すように動作され、現在のスキャン位置は経時的に（たとえば、スキャンが第１の縁から第２の縁に進むにつれて）変化する。いくつかの実施形態では、スキャン位置は、関心シーンエリアの第１の縁から関心シーンエリアの第２の縁に均一な速度で進む。
ステップ４１０８では、ローリングシャッターモードである複数のセンサの中の第２のセンサは、第２のセンサが、現在のスキャン位置に対応する画素値の読み取られていない行を有するとき、現在のスキャン位置に対応する画素値のまだ読み取られていない行を読み出すように動作され、第１のセンサおよび第２のセンサは、関心シーンエリアの異なる部分の画像をキャプチャする（たとえば、異なる部分が部分的に重複してもよいし、ある部分が他の部分の内部にあってもよい）。同様に、関心シーンエリアをスキャンすることを制御することの一部として、ステップ４１１０では、ローリングシャッターモードである複数のセンサの中の第Ｘのセンサは、第Ｘのセンサが、現在のスキャン位置に対応する画素値の読み取られていない行を有するとき、現在のスキャン位置に対応する画素値のまだ読み取られていない行を読み出すように動作される。したがって、このようにして、関心シーン全体および／または関心シーンのさまざまな部分が、カメラデバイスのさまざまなセンサによってスキャンされる。
いくつかの実施形態では、第１のセンサおよび第２のセンサはそれぞれ、関心シーンエリアの第１の部分および第２の部分に対応し、関心シーンエリアの第１の部分の長さは、スキャンの方向において、関心シーンエリアの第２の部分の長さよりも大きい。いくつかの実施形態では、スキャンの方向は、上部から下部に進む。いくつかの実施形態では、第１のセンサは、第１の焦点距離を有する第１の光学チェーンに対応し、第２のセンサは、第２の焦点距離を有する第２の光学チェーンに対応する。いくつかの実施形態では、制御ステップ４１０４は、１つまたは複数の画像センサの読み出しの持続時間を制御するためにステップ４１１２を実行することをさらに含む。ステップ４１１２では、第１のセンサの読み出しの持続時間は、第１のセンサの画像キャプチャサイズおよび／または第１のセンサが対応する第１の光学チェーンの焦点距離の関数として制御される。いくつかの実施形態では、ステップ４１１２は、センサ読み出しの持続時間を制御することの一部として、ステップ４１１４または４１１６のうちの１つを実行することを含む。ステップ４１１４では、第１のセンサの読み出しの持続時間は、第１の光学チェーンの焦点距離が第２の光学チェーンの焦点距離よりも小さいとき第２のセンサの読み出しよりも長い持続時間を有するように制御される。いくつかの実施形態では、第１のセンサの読み出しの持続時間は、第１のセンサおよび第２のセンサがそれぞれ関心シーンエリアの第１の部分および第２の部分に対応するとき第２のセンサの読み出しよりも長い持続時間を有するように制御され、スキャンの方向における関心シーンエリアの第１の部分の長さは、スキャンの方向における関心スキャンエリアの第２の部分の長さよりも大きい。これは、たとえば、第１のセンサを含む第１の光学チェーンの焦点距離が、第２のセンサを含む第２の光学チェーンの焦点距離よりも小さいとき、発生する。
いくつかの他の実施形態では、第１の光学チェーン（第１のセンサが対応する）の焦点距離は、第２の光学チェーンの焦点距離のＮ倍である。いくつかのそのような実施形態では、ステップ４１１６は、ステップ４１１２の一部として実行される。ステップ４１１６では、第１のセンサからの画素値の読み出しの持続時間は、画素値の行が第２のセンサから読み出される速度よりもＮ倍速い速度で第１のセンサから画素値の行を読み取ることを含むように制御される。さまざまな実施形態では、カメラデバイス内のローリングシャッターコントローラは、上記で説明されたスキャンと読み出し動作とを制御する。いくつかの実施形態では、第１のセンサの画素サイズは、第２のセンサの画素サイズと同じである。いくつかの実施形態では、第１のセンサと第２のセンサは、画素の同じ総数の行および列を含む。
動作は、ステップ４１０１（上記で説明された１つまたは複数のステップを含む）から、接続ノードＡ４１１８を介して、ステップ４１２０に進む。ステップ４１２０では、第１〜第Ｘのセンサから読み出された１つまたは複数の画像が格納され、たとえば、Ｘ個の画像が、Ｘ個のセンサの各々に対応して１つ、格納される。動作は、ステップ４１２０からステップ４１２２に進む。ステップ４１２２では、キャプチャされた画像（センサから読み出された）のうち少なくとも２つ以上またはすべてが、本発明により合成画像を生成するために結合される。
図４２は、いくつかの実施形態で実施される複数の光学チェーンたとえばカメラモジュールを使用して関心シーンをキャプチャする方法４２００のステップを示す。この方法はステップ４２０２で開始し、たとえば、ユーザはカメラデバイス上で関心シーンエリアのキャプチャを始め、このことが、カメラデバイスたとえばカメラデバイス１００に、協調された方式で動作される１つまたは複数のカメラ光学チェーンによる関心シーンエリアのスキャンと、したがって画像キャプチャとを始めさせる。
動作はステップ４２０４に進み、ステップ４２０４では、カメラデバイスは、たとえば図４２の例では現在のスキャン位置をスキャン位置開始値たとえば１に設定することによって、現在のスキャン位置を初期化する。
スキャン位置値が初期化されると、動作はステップ４２０４からステップ４２０６に進み、コントローラたとえばローリングシャッターコントローラ１５０は、同期方式で画素値たとえば画素値の行の読み出しを実行するようにカメラデバイスの画像センサの各々を制御し、たとえば、画素値の行は、ローリングシャッター実装形態の動作に従って順次読み出される。
ステップ４２０６は、関心シーンエリアの少なくとも一部分をキャプチャするために使用される画像センサ１〜Ｘの各々に対する画像センサ読み出し制御ステップを含む。ステップ４２１０および４２１４は、説明の目的で示されており、同じまたは類似のステップが、関心シーンエリアの少なくとも一部分をキャプチャするために使用される他の画像センサの各々に対して実行される。
ステップ４２１０では、画像センサ１が、現在のスキャン位置に対応する画素のまだ読み取られていない行、たとえば、読み出されることになっている画素値の行を有するかどうかに関して、決定がなされる。たとえば、画像センサ１が、現在のスキャン位置に対応するエリアの外部にある画像部分に対応するので、この画像センサが、現在のスキャン位置に対応する画素値の読み取られていない行を有さない場合、動作は、画素の行が画像センサ１から読み出されることなく、ステップ４２２０に進む。
ステップ４２１４では、画像センサＸが、現在のスキャン位置に対応する画素のまだ読み取られていない行、たとえば、読み出されることになっている画素値の行を有するかどうかに関して、決定がなされる。たとえば、画像センサＸが、現在のスキャン位置に対応するエリアの外部にある画像部分に対応するので、画像センサＸが、現在のスキャン位置に対応する画素値の読み取られていない行を有さない場合、動作は、画素の行が画像センサＸから読み出されることなく、ステップ４２２０に進む。
時間動作がステップ４２０６からステップ４２２０に進むことによって、現在のスキャン位置に対応する画素要素の読み取られていない行を有する画像センサ１〜Ｘの各々が、現在のスキャン位置に対応する行の画素値を読み出すことを理解されたい。
ステップ４２２０では、現在のスキャン位置が次のスキャン位置に更新され、たとえば、現在のスキャン位置が１つ増分される。現在のスキャン位置が増分されるにつれて、画像のスキャンが次のスキャンラインに移動し、このことによって、スキャンラインが、順に、たとえばシーンエリアの上部から下部までのスキャンと仮定して、画像の上部から画像の下部まで、通過することになる。
動作はステップ４２２０からステップ４２２２に進み、ステップ４２２２では、ステップ４２２０で更新されたばかりの現在のスキャン位置が関心シーンの最後のスキャン位置値を超えるかどうかに関して決定がなされる。現在のスキャン位置が関心シーンエリアの最後のスキャン位置を超える場合、画像センサ読み出しの結果として関心シーンが完全にスキャンおよびキャプチャされたことが示される。しかしながら、ステップ４２２２において、現在のスキャン位置値が関心シーンエリアの最後のスキャン位置値を超えないと決定される場合、動作は、現在のシーンエリア位置に対応する画素要素の行を有する画像センサの読み取られていない画素要素行が読み出されるようにステップ４２０６に進む。
カメラ光学変化およびその対応する画像センサが対象とするシーンの焦点距離およびエリアが、図４２の実施形態において画像センサの画素値の行が特定の時点で読み出されるかどうかに影響を与えることを理解されたい。画像センサ読み出しはスキャン位置に基づいて制御されるので、複数の画像センサのセンサ読み出しは、協調された方式で行われる。画素値の画像センサ読み出しは、図４２の実施形態では協調されるが、いくつかの画像センサの読み出しは、１つまたは複数の他のセンサの読み出しが完了される前に、カメラデバイス構成に応じて行われ得る。
一般に、図４２の実施形態では、より小さい焦点距離を有し、したがって関心シーンエリアのより大きい部分に対応するカメラ光学チェーン画像に対応する画像センサの読み出しは、同じ数の画素要素の行を有するが、より大きい焦点距離を有し、したがって全体的な関心シーンエリアのより小さい部分に対応する画像センサの読み出しよりも遅い速度で行われる。
全関心シーンエリアがスキャンされると、動作はステップ４２２２からステップ４２２４に進み、ステップ４２２４では、第１〜第Ｘの画像センサから読み出された画像たとえば画素値のセットが、メモリ内に格納される。次いで、ステップ４２２４では、キャプチャされた画像は、格納および／または出力され得る、たとえば送信および／または表示され得る合成画像を生成するために、たとえばプロセッサ１１０によって処理される。ステップ４２２６で実行される合成画像の生成は、合成画像を生成するために使用可能であり、さまざまな実施形態では使用される、少なくともいくつかの画像結合プロセスに関して上記で説明されたものなどの重み付け和手法を使用して、異なる画像センサによってキャプチャされた画像の画素値を結合することを含む、さまざまな手段のいずれかにおいて実行され得る。
図４２の方法は、画像センサの画素要素の行を読み出すことに関して説明されていることを理解されたい。いくつかの画像センサは、動作のモードに応じて、複数の画素行の画素要素が単一の行として扱われることを可能にする。そのような「合同」読み取りは、合同で読み取られた行の各々が単一の画素値として読み出されることによって感知された画素値の総和である単一の画素値をもたらす。そのような「合同」読み取りの場合、画素値の単一の行として合同で読み出される画素要素の複数の行は、図４２の方法を実施する目的で、画素要素の一行として扱われる。減少される数の画素値が画像センサから読み取られることになるが、合同読み取り手法は、動きが問題である実施形態において望ましいことがあり、できる限り短い時間で画像をキャプチャすることが望ましい。
一般に、画像センサの各々が同じ数の画素値の行を含むと仮定すると、異なる画像センサが異なる焦点距離に対応する場合、図４２の実施形態において画像センサの行のフルセットを読み出すための読み出し時間は、画像センサが含まれる光学チェーンたとえばカメラモジュールの焦点距離と、所与の時刻に合同で読み出されて画素要素の単一の行として扱われる画像センサの画素要素の行の数との関数として表現可能である。
いくつかの例示的な実施形態では、たとえばカメラデバイス１００などの撮像デバイスが、流れ図４１００および流れ図４２００の方法を実施するために使用される。そのような一実施形態では、カメラデバイス１００の複数の光学チェーン１３０は、図１２Ａに示される方式で配置された光学チェーンを含み、光学チェーンのより詳細な配置および要素（たとえば、センサ、フィルタ）は、図１２Ｂにさらに示されている。したがって、そのような一実施形態では、複数の光学チェーン１３０は、図１２Ａに関して説明された光学チェーン１２０２〜１２３４を含む。別の実施形態では、カメラデバイス１００の複数の光学チェーン１３０は、図１７Ａに示される光タイプおよび配置の光学チェーンを含む。したがって、そのような一実施形態では、複数の光学チェーン１３０は、そのうちのいくつかは非円形のレンズを含む、図１７Ａおよび図１７Ｂに関して説明された光学チェーン１７０２〜１７３４を含む。
いくつかの実施形態では、コントローラ１５０（センサ読み出しコントローラ２８９を含む）は、関心シーンエリアの第１の縁から関心シーンエリアの第２の縁まで関心シーンエリアをスキャンするように、複数の光学チェーン１３０に対応する複数の画像センサを制御するように構成され、関心シーンエリアの第１の縁と第２の縁は平行であり、センサコントローラ２８９は、スキャンの一部として、関心シーンエリアの第１の縁から第２の縁に進むスキャン位置に従って画像キャプチャを制御する。センサコントローラは、ローリングシャッターモードである複数の画像センサの中の第１のセンサを、第１のセンサが、現在のスキャン位置に対応する画素値の行を有するとき、現在のスキャン位置に対応する画素値の行を読み出すように制御し、現在のスキャン位置は経時的に変化する。いくつかの実施形態では、センサコントローラ２８９は、ローリングシャッターモードである複数のセンサの中の第２のセンサを、この第２のセンサが、現在のスキャン位置に対応する画素値の行を有するとき、現在のスキャン位置に対応する画素値の行を読み出すようにさらに制御し、第１の画像センサおよび第２の画像センサは関心シーンエリアの異なる部分の画像をキャプチャする。
いくつかの実施形態では、第１の画像センサは、第２のセンサによってキャプチャされない関心シーンエリアの一部分の画像をキャプチャし、第２の画像センサは、前記第１の画像センサによってキャプチャされない前記関心シーンエリアの一部分の画像をキャプチャする。
いくつかの実施形態では、複数の画像センサは、第３の画像センサ（たとえば、第３の光学チェーンに対応する）をさらに含む。いくつかのそのような実施形態では、第１の画像センサは前記関心シーンエリアの第１の部分をキャプチャし、第２の画像センサは関心シーンエリアの第２の部分をキャプチャし、関心シーンエリアの第１の部分および第２の部分は部分的に重複せず、第３の画像センサは関心シーンエリア全体をキャプチャする。これは、図１２および図３２を簡単に参照することによって理解可能である。たとえば、第１の部分３２０６は、第１の光学チェーンたとえばＯＣ１２０４に対応する第１の画像センサによってキャプチャされ、第２の部分３２０８は、第２の光学チェーンたとえばＯＣ１２０８に対応する第２の画像センサによってキャプチャされ、第３の部分３２０２は、第３の光学チェーンたとえばＯＣ１２２８に対応する第３の画像センサによってキャプチャされる。関心シーンエリアの第１の部分と第２の部分（３２０６および３２０８）は部分的に重複せず、第３の画像センサは関心シーンエリア全体をキャプチャすることは、図３２の例から理解されよう。
一実施形態では、第１のセンサおよび第２のセンサはそれぞれ、関心シーンエリアの第１の部分および第２の部分に対応し、関心シーンエリアの第１の部分の長さは、スキャンの方向において、たとえば、上部から下部まで、関心シーンエリアの第２の部分の長さよりも大きい。そのような一実施形態では、センサコントローラ２８９は、第２の画像センサの読み出しよりも長い持続時間を有するように第１の画像センサの読み出しの持続時間を制御するように構成される。
いくつかの実施形態では、第１の画像センサは、第１の焦点距離を有する光学チェーンたとえばＯＣ１２０４に対応し、前記第２の画像センサは、第２の焦点距離を有する光学チェーンたとえばＯＣ１２３４に対応する。いくつかのそのような実施形態では、コントローラ２８９は、第１の画像センサおよび第２の画像センサが対応する個々の光学チェーンの焦点距離の関数として、第１の画像センサおよび第２の画像センサから画素行が読み取られる速度を制御するように構成される。いくつかの実施形態では、第１の画像センサの画素サイズは、第２の画像センサの画素サイズと同じである。いくつかの実施形態では、第１の焦点距離は、第２の焦点距離のＮ倍である。そのような実施形態では、センサコントローラは、画素値の行が第２の画像センサから読み出される速度よりもＮ倍速い速度に第１の画像センサからの画素値の読み出しの持続時間を制御するようにさらに構成される。いくつかの実施形態では、第１の画像センサと第２の画像センサは、画素の同じ総数の行および列を含む。
いくつかの実施形態では、複数の画像センサ（複数の光学チェーン１３０に対応する）は、関心シーンエリアの実質的に重複しない部分をキャプチャする複数の画像センサを含み、複数のセンサによってキャプチャされる関心シーンエリアの部分の合併は、関心シーンエリアを包含する。いくつかの実施形態では、複数の画像センサは、偶数のセンサを含む。いくつかの実施形態では、偶数の画像センサは４つである。
一実施形態では、第１の画像センサによってキャプチャされる関心シーンエリアの第１の部分は、第２の画像センサによってキャプチャされる関心シーンエリアの第２の部分に先行するスキャンロケーションで始まる。一実施形態では、関心シーンエリアの第２の部分は、前記関心シーンエリアの中心に対応する。いくつかのそのような実施形態では、複数の画像センサ（複数の光学チェーンに対応する）は５つの画像センサを含み、そのうちの４つは、関心シーンエリアの実質的に重複しない部分をキャプチャする。いくつかのそのような実施形態では、関心シーンエリアの第２の部分の第１〜第４の異なるコーナー部分は、前記５つのセンサのうちの残りの４つのセンサによってキャプチャされる関心シーンエリアの異なる対応する部分に重なる。この配置は、図３２を簡単に参照することによって理解可能である。シーンエリア３２１６（中心にある）の４つのコーナーは、４つのセンサ（４つの光学チェーンに対応する）によってキャプチャされる関心シーンエリアの異なる部分（シーンエリア３２０６、３２０８、３２１２、３２１４）に重なることが理解されよう。
いくつかの実施形態では、複数のセンサは５つのセンサを含み、そのうちの４つは関心シーンエリアの４つの異なる部分をキャプチャし、関心シーンエリアの４つの異なる部分の各々の少なくとも１つのコーナーは、関心シーンエリアの４つの異なる部分のうちの他の３つによってキャプチャされる画像部分と重ならず、第５のセンサは、関心シーンエリアの中心部分をキャプチャする。
さまざまな実施形態では、プロセッサ１１０は、たとえば、図４２に関して説明されるセンサ読み出し動作の開始の前に、現在のスキャン位置をスキャン位置開始値に設定することによって、現在のスキャン位置を初期化する。さまざまな実施形態では、露光および読み出しコントローラ１５０（センサ読み出しコントローラ２８９を含む）は、単独で、またはプロセッサ１１０の指示に従って、画素値たとえば画素値の行の読み出しを同期方式で実行するようにカメラデバイスの画像センサの各々を制御する。いくつかの実施形態では、コントローラ１５０は、１つまたは複数の画像センサが、現在のスキャン位置に対応する画素の読み取られていない行、たとえば、読み出されることになる画素値の行を有するかどうかに関して決定するようにさらに構成される。１つまたは複数の画像センサは、現在のスキャン位置に対応する画素の読み取られていない行を有さないと決定されるとき、コントローラ１５０は、画素値の行の読み出しを実行するように１つまたは複数の画像センサの各々を制御する。いくつかの実施形態では、プロセッサ１１０は、現在のスキャン位置を次のスキャン位置に更新する、たとえば、現在のスキャン位置を１つ増分するようにさらに構成される。
方法４１００および４２００のさまざまな機能および／またはステップは、そのようなデバイスが汎用プロセッサおよび／または画像センサを使用することがあるとしても、カメラおよび／または画像処理の改善に関することを理解されたい。方法４１００および４２００の１つまたは複数のステップは、プロセッサたとえばプロセッサ１１０、２１１によって実行されるように説明されてきたが、方法４１００および４２００のステップのうちの１つまたは複数は、専用回路、たとえば、方法を実行する撮像デバイスの効率、精度、および／または動作能力を改善する、ＡＳＩＣ、ＦＰＧＡ、および／または他の特定用途向け回路によって実施され得、いくつかの実施形態では、実施されることを理解されたい。いくつかの実施形態では、専用ハードウェアたとえば回路、および／または専用ハードウェアとソフトウェアの組み合わせが、方法４１００および４２００の１つまたは複数のステップを実施する際に利用され、その中で、方法を実施する撮像デバイスたとえばカメラに追加の画像処理効率、精度、および／または動作能力を提供する。図４３は、別の例示的な実施形態による、複数の光学チェーンたとえばカメラモジュールを同期方式で使用して関心シーンエリアをキャプチャする方法４３００のステップを示す。説明の目的で、異なる光学チェーンの画像センサによって実行される異なるシーンエリアに対応する画像のキャプチャは、図１２Ａに示される光学チェーンを参照し、それを例のベースとして使用することによって説明される。図１２Ａの例で先に説明されたように、３つの異なる焦点距離すなわちｆ１、ｆ２、およびｆ３が使用されており、ここで、ｆ１＜ｆ２＜ｆ３であり、同じ焦点距離関係が、説明のために考えられる。
方法４３００は、たとえば、カメラデバイスたとえばカメラ１００のユーザが、関心シーンエリアの画像のキャプチャをトリガするためにボタンを押すまたは別の行動を起こすとき、ステップ４３０２で開始する。ステップ４３０４では、露光および読み出しコントローラ１５０（センサ読み出しコントローラ２８９を含む）は、単独で、またはプロセッサ１１０の指示に従って、同時に、たとえば、並行して、関心シーンエリアの一部分に対応する画素値を読み出すように複数の光学チェーン１３０を制御する。複数たとえば２つ以上の光学チェーン１３０は、残りの光学チェーン１３０たとえば関心シーンの異なる部分を対象とする光学チェーンのうちの１つまたは複数を同時に読み出すように動作されるが、他の画像センサが画素値を読み出している間、画素値を読み出すように制御されないことがあることを理解されたい。方法４３００の少なくとも１つの実装形態では、複数の光学チェーン１３０は、第１の焦点距離（ｆ２）を有する第１の光学チェーンたとえば光学チェーン１２０４）と、第２の焦点距離（ｆ１）を有する第２の光学チェーンたとえば光学チェーン１２３４とを含む。画像センサの読み出しの一部として、関心シーンエリアの異なる部分は、異なる時刻に、たとえばローリングシャッターとして、読み出され、読み出しは、画像センサの上部から画像センサの下部に下降し、画像センサの上部はローリングシャッター読み出しの開始に対応し、画像センサの下部は、読み出されることになる最後の行に対応する。センサ読み出しの同期を容易にするために、少なくとも１つの実施形態では、異なる光学チェーンの画像センサの上部および下部は、画素値の行の読み出しが容易に同期可能であるように同じ方向に配置される。しかしながら、光学チェーンの異なる画像センサに対する均一スキャンおよびしたがって読み出し方向の使用は、少なくともいくつかの実施形態に対して使用されるとしても、すべての実施形態にとって必須ではない。
画像センサは、たとえば実施されたローリングシャッター制御に従って画素行読み出しを順次実行するように制御されるので、関心シーンエリアの異なる部分は、異なる時刻に１つまたは複数の光学チェーンのセンサから読み出され、一方、関心シーンエリアの一部分に対応する画素値の読み出しは、関心シーンエリアの同じ部分に対応する画素値の行を並行して読み出す複数の光学チェーンのセンサとの同期方式で行われる。
少なくともいくつかの実施形態では、ステップ４３０４は、さまざまなサブステップを含む。ステップ４３０４は、第１の光学チェーンに含まれる第１の画像センサおよび第２の光学チェーンに含まれる第２の画像センサの同期されたローリングシャッター読み出しを実施するステップ４３０６を含む。したがって、第１の光学チェーンおよび第２の光学チェーンの第１の画像センサおよび第２の画像センサは、第１の光学チェーンの第１の画像センサの読み出しを制御するために使用される第１のローリングシャッターのタイミングおよび第２の画像センサすなわち第２の光学チェーンの画像センサの読み出しを制御するために使用される第２のローリングシャッターのタイミングの動作を考慮に入れる同期された様式で読み出される。
ステップ４３０６の一部として、ステップ４３０８および４３１０は実行され得、さまざまな実施形態では、実行される。ステップ４３０８では、第１の光学チェーンの第１の画像センサは、第１の画像センサの上縁で始まり第１の画像センサの下縁に進む画素値の行を順次読み出すように制御され、第１の光学チェーンの第１の画像センサの上縁は、第１の画像センサのローリングシャッター制御された読み出しの一部として最初に読み出される画素値の行に対応する。ステップ４３１０では、第２の光学チェーンの第２の画像センサは、第２の画像センサの上縁で始まる画素値の行を順次読み出すように制御される。第２の画像センサの読み出しは、第２の画像センサの下縁に進み、第２の光学チェーンの第２の画像センサの上縁は、第２の画像センサのローリングシャッター制御された読み出しの一部として最初に読み出される画素値の行に対応する。この例では、第１の画像センサおよび第２の画像センサは、これらが両方とも、方法を実施するカメラデバイスたとえばカメラデバイス１００の上部に対して同じ方向に方向づけられた上部と下部とを有するように構成される。
４３００の方法は、第１の光学チェーンおよび第２の光学チェーンの第１の画像センサおよび第２の画像センサに関して説明されるが、いくつかの実施形態では、方法は、３つ以上の光学チェーンに対して、たとえばＺ個の光学チェーンに対して実施され、ここで、Ｚは２からＺの範囲内のどこにあってもよく、Ｚは整数であることを理解されたい。そのように、実装形態では、ステップ４３０６は、方法が実施される個々のＺ個の光学チェーンおよびカメラデバイスの対応する画像センサの各々に対する、ステップ４３０８、４３１０に類似した読み出しステップを含む。
ステップ４３０６に加えて、ステップ４３０４はステップ４３１２を含む。ステップ４３１２では、第１の画像センサおよび第２の画像センサの読み出し速度はそれぞれ、第１の光学チェーンおよび第２の光学チェーンの焦点距離の関数として制御される。第１の光学チェーンの焦点距離（ｆ２）が第２の光学チェーンの焦点距離（ｆ１）よりも大きいいくつかの実施形態では、画像センサ読み出しコントローラ２８９は、第２の焦点距離（ｆ１）と第１の焦点距離（ｆ２）の比に前記第２の画像センサ内の同じ数の画素の行を読み出すために使用される時間の量をかけたものとして算出される時間の期間内に第１の画像センサ内の画素のいくつかの行を読み出すように第１の画像センサを制御する。
たとえば、第１の画像センサと第２の画像センサが同じ数の画素要素の行を有するが、第１の画像センサは、第１の焦点距離（ｆ２）を有する第１の光学チェーン１２０４および第２の焦点距離（ｆ１）を有する第２の光学チェーンたとえばモジュール１２３４に対応し、ここで、ｆ２はｆ１の２倍である場合を考える。先に説明されたように、そのような場合では、第２の光学チェーン（ｆ１）は、第１の光学チェーン（ｆ２）によってキャプチャされるシーンエリアのサイズの４倍または約４倍であるシーンエリアの一部分をキャプチャする。画像キャプチャプロセスを同期させるために、第１の光学チェーン（ｆ２）の画像センサが、時間ＮＴR内に画素値のそのフルセットを読み取るように制御される（ここで、Ｎは第１の画像センサおよび第２の画像センサ上の画素要素行の数、ＴRは、画像センサのいずれかの上で画素要素の単一の行を読み取るために必要とされる時間である）と仮定して、より短い点距離（ｆ１）を有する第２の画像センサは、画像センサの行のすべては個々に読み出し可能であると仮定して、時間期間２ＮＴRにわたってその画素値の行を読み出すように制御される。
したがって、画像センサは同じ数の行を有すると仮定して、その画素値の行を読み出すように画像センサが制御される時間は、以下のとおりである。
画素要素のＮ個の行とｆ２の焦点距離とを有するセンサ１は、（ｆ２／ｆ２）ＮＴRの読み出し期間を有する
画素値の個々の行の各々が個々に読み出されると仮定して、同じく画素要素のＮ個の行とｆ１の焦点距離（センサ１の焦点距離ｆ２よりも小さい）とを有するセンサ２は、ＮＴR（ｆ２／ｆ１）＝２ＮＴR（ｆ２＝２ｆ１であるので）の読み出し期間を有する
ｆ２は、例で使用されている最大の焦点距離であるので、この例では分子として使用されることに留意されたい。
前述のように、動作のいくつかのモードでは、画素要素の行からの合同読み出しは、画像センサを読み出すために必要とされる時間の量を減少させるために実施され得る。生成される合成画像の全体画素カウントを最大限にするために各センサの画素要素の行が個々に読み出され、より小さい焦点距離に対応するセンサの読み出し速度は、より大きい焦点距離を有する光学チェーンに対応するセンサの関心シーンの画素値の読み出ししたがって画像部分のキャプチャとの同期を維持するように減少されるさまざまな実施形態では、これは、すべての実施形態で発生するとは限らない。
たとえば、速い動きのキャプチャが望ましい特定の例示的な一実施形態では、より短い焦点距離に対応する画像センサの行読み出し速度を低速化させるのではなく、合同読み出し動作が、より大きい焦点距離に対応する画像センサの行に対して実行される。前述のように、合同読み出しでは、画素値の複数の行が合同で読み出され、たとえば、２行の合同読み取りが実施されるとき、画素値の２行は、単一の行として同じ数の画素値を提供する。Ｍの係数による合同読み取りは、同じ係数による画素値の行の減少をもたらすが、画像センサ読み出しは、時間のＭ分の１で完了される。
少なくとも１つの実施形態では、短い焦点距離、たとえば、合成画像を形成するために結合される画像をキャプチャするために使用されることになる最大焦点距離よりも短い焦点距離を有する光学チェーンに対応する１つまたは複数のセンサの読み出し速度を低速化するのではなく、より長い焦点距離を有するセンサの画素行の合同読み出しが実施され、合同で読み出される行の数は、焦点距離の差の関数として制御される。たとえば、ｆ２がｆ１の２倍である場合、一実施形態では、Ｍは、ｆ２焦点距離に対応するセンサの読み出しが、より短い焦点距離ｆ１を有する光学チェーンに対応する第２のセンサから画素値の行を読み出すために使用される時間の半分で完了できるように、２に等しく設定される。
そのような場合、最短焦点距離を有するセンサの画素行を読み出すために必要とされる時間は、複数の画像センサが読み出しを完了する時間的制約として働き、より大きい焦点距離を有するセンサは、行読み出しの数を、より大きい焦点距離とより小さい焦点距離の比によって決定される係数に基づく合同読み取り動作の使用によって減少させる。たとえば、ｆ２がｆ１よりも２倍大きい場合、ｆ２焦点距離を有する光学チェーンに対応するセンサは、２という合同読み取り係数によって実施される合同読み取りを使用して読み出される。
このようにして、異なる焦点距離を有する光学チェーンの画像センサは、関心シーンエリアの同じ部分をキャプチャするように制御可能であり、総キャプチャ時間は、単一の画像センサを読み取るために必要とされる時間に限定される。
合同読み取りは、より大きい焦点距離を有する画像センサから読み出される画素値の数を減少させるが、読み取りを実行するために必要とされる時間が減少され、画像の総画素カウントは、より短い焦点距離ｆ１を有する光学チェーンの総画素カウント未満には減少されない。
少なくとも１つの実施形態では、ユーザは、たとえばいくつかの実施形態において画像をキャプチャするために使用される総時間を、単一の画像センサを読み取るために必要とされる時間に対応するＮＴRに保つように画像キャプチャ時間期間を減少させるまたは最小限にするために合同読み取りが使用される動作の動きモードと、画像キャプチャ時間を犠牲にして画像の画素カウントが最適化される動作の静止または低速動きモード、たとえば、より短い焦点距離を有する光学チェーンの画像センサに対応する画素要素行の読み出し時間期間が、より大きい焦点距離を有する光学チェーンによるシーンエリアキャプチャとのタイミング同期を達成するために増加される一実施形態とを選択する機会が提供される。
合同読み取り係数Ｍの潜在的使用を考慮に入れると、画素要素の同じ数の行を有するが異なる焦点距離ｆ１およびｆ２にそれぞれ対応する第１の画像センサおよび第２の画像センサから画素値の行を読み出すために使用される総時間は、ここでｆ２はｆ１よりも大きく、次のように表現可能である。
画素要素のＮ個の行を有し、ｆ１の焦点距離（より短い焦点距離）を有する光学チェーンに対応するセンサ２は、ＮＴRの読み出し期間を有する
同じくＮ個の行の画素要素を有するがｆ２の焦点距離（より大きい）を有する光学チェーンに対応するセンサ１は、Ｍ倍で行の合同読み取りを実行するように制御され、ＮＴＲ／Ｍという読み出し期間を有し、ここで、画素要素のＭ個の行ごとに画素値の１行が読み出されると仮定して、Ｍは（ｆ２／ｆ１）に等しい。
センサ１（より大きい焦点距離ｆ２）は、センサ２よりも短い時間で読み出しを完了するが、さまざまな実施形態では、センサ１が対応する光学チェーンと同じ焦点距離（ｆ２）を有するが、画像エリアをキャプチャする別のセンサＳ３は、センサ１によってキャプチャされるエリアの下のスキャン方向に関して、画像の下方部分をキャプチャすることを理解されたい。したがって、ｆ２がｆ１の２倍であると仮定すると、センサＳ１およびＳ３の読み出しは、センサ２が読み出される同じ時間期間ＮＴRと一致するが、センサ１ Ｓ１の読み出しはＮＴRの前半に行われ、センサ３ Ｓ３の読み出しはＮＴRの後半に行われる。
上記の説明から、第１の光学チェーンおよび第２の光学チェーンの焦点距離の関数として第１の画像センサおよび第２の画像センサの読み出し速度を制御することを含むステップ４３１２は、カメラのオペレータによって選択される動作のモード、たとえば静止動きまたは高速動きにも依存し得ることを理解されたい。どのモードの選択は、なされ得、いくつかの実施形態では、１つまたは複数の順次キャプチャされた画像もしくは異なる時点でキャプチャされた画像の部分において検出された動きに基づいて、自動的になされる。たとえば、結合された画像の画質を画像の全体画素カウントを減少させるであろうよりも多く低下させる可能性が高い動きによりアーチファクトを引き起こす可能性が高い１つまたは複数の物体の動きが検出される場合、画素行を読み出す合同読み取り手法が使用される。
ビデオの場合、カメラデバイスは、最良品質の合成画像を作り出すために動作のどのモードで動作するかに関して更新された決定を行い得、いくつかの実施形態では、これを行う。前記決定の結果として、カメラデバイスは、動作のモードと、あるフレーム時間から次のフレーム時間まで使用される画像キャプチャ同期技法を切り換え得る。これが、異なる数の画素を有する同じビデオシーケンスに対応する異なる合成画像をもたらすことがあるが、全体的な画質は最大にされる。
いくつかの実施形態では、そのような動的な切り換えがサポートされるが、他の実施形態では、同期技法および動作のモードが決定されると、そのモードは、ビデオシーケンス内の画像の画素要素の数が１つの合成画像当たりで一定のままであるように、ビデオシーケンスにわたって維持される。
理解されるべきであるように、第３のセンサが、別の画像センサたとえば第１の画像センサによってキャプチャされた画像部分の下方（スキャン方向に関して）設置される関心シーンエリアの画像部分をキャプチャする、複数の画像センサの同期された読み出しの場合、第３の画像センサからの画素値の読み出しは、第１の画像センサからの画素値の読み出しに続く。
したがって、少なくとも１つの実施形態では、ステップ４３０４はステップ４３１４を含み、ステップ４３１４では、第３の光学チェーンたとえば光学チェーン１２１８の第３の画像センサは、画素値の最後の行が第１の画像センサから読み出された後、関心シーンの第３の部分に対応する画素値を読み出すように制御される。いくつかの実施形態では、前記関心シーンエリアの第３の部分は、前記関心シーンエリアの前記第１の部分の下方（スキャンの方向において）に位置決めされる。いくつかのそのような実施形態では、第１の画像センサは関心シーンエリアの第１の部分をキャプチャし、第２の画像センサは、第１の部分よりも大きい関心シーンエリアの第２の部分をキャプチャする。いくつかのそのような実施形態では、第２の画像センサ（より小さい焦点距離の光学チェーンに対応する）は、結合された第１の画像センサおよび第３の画像センサと実質的に同じ画像エリアを、しかし第１の画像センサと第３の画像センサのいずれかの読み出し時間よりも長い読み出し時間中に、キャプチャする。
そのような一実施形態では、第１の画像センサに対応する画素値は、第２の画像センサから画素値が読み出される時間期間中に読み出され得るが、第１の画像センサの読み出し時間と第３の画像センサの読み出し時間は重複しないことを理解されたい。
しかしながら、第１の画像センサおよび第３の画像センサが関心シーンの重複する部分をキャプチャするように制御される実施形態では、重複するシーン部分に対応する画素行の読み出しは、第１の画像センサおよび第３の画像センサから同時に読み出され得る。
ステップ４３０４から、動作はステップ４３１６に進み、ステップ４３１６では、ステップ４３０４で制御された画像センサから読み出された画像は、その後の処理のためにメモリ内に格納される。動作は、次いでステップ４３１８に進む。ステップ４３１８では、たとえばステップ４３０４において、同期方式で異なる光学チェーンによってキャプチャされた画像は、合成画像を生成するために結合される。
ビデオの場合、ステップ４３０４、４３１６、および４３１８は、各フレーム時間に対して実行され、たとえば、１つの合成画像が各フレーム時間に対して生成される。
いくつかの実施形態では、動作はステップ４３１８からステップ４３２０に進む。ステップ４３２０では、ステップ４３１８で生成された合成画像は、メモリ内に格納され、送信され、および／またはたとえばディスプレイ１０２上に表示される。
いくつかの実施形態では、合成画像の生成はカメラデバイス１００内で行われ、次いで、合成画像が表示または送信されるが、他の実施形態では、合成画像は、たとえばキャプチャ処理後プロセスおよび／またはビデオ作製プロセスの一部として、プロセッサによって生成される。そのような実施形態では、合成画像の生成は、関心シーンエリアの画像をキャプチャするために使用される光学チェーン１３０を含むカメラデバイス１００のメモリとプロセッサとディスプレイと異なるメモリとプロセッサとディスプレイを含むコンピュータシステム上で行われ得る。
いくつかの例示的な実施形態では、たとえばカメラデバイス１００などの撮像デバイスが、流れ図４３００の方法を実施するために使用される。そのような一実施形態では、カメラデバイス１００の複数の光学チェーン１３０は、図１２Ａに示される方式で配置された光学チェーンを含み、光学チェーンのより詳細な配置および要素は、図１２Ｂにさらに示されている。別の実施形態では、カメラデバイス１００の複数の光学チェーン１３０は、図１７Ａに示されるタイプおよび配置の光学チェーンを含む。
一実施形態では、コントローラ１５０（画像センサ読み出しコントローラ２８９を含む）は、前記関心シーンエリアの一部分に対応する画素値を同時に読み出すように複数の光学チェーンを制御するように構成され、複数の光学チェーン１３０は、第１の焦点距離（ｆ２）を有する第１の光学チェーン１２０４と、第２の焦点距離（ｆ１）を有する第２の光学チェーン１２３４とを含み、第２の焦点距離は第１の焦点距離と異なり、前記関心シーンエリアの異なる部分は異なる時刻に読み出される。さまざまな実施形態では、コントローラ１５０は、からの第１の光学チェーン１２０４に含まれる第１の画像センサおよび第２の光学チェーン１２３４に含まれる第２の画像センサ同期されたローリングシャッター読み出しを実施するように構成される。
いくつかの実施形態では、コントローラ１５０は、第１の画像センサのローリングシャッター読み出しを実施することの一部として画素値の行に対応する第１の光学チェーンの第１の画像センサの上縁を最初に読み取るように構成され、ローリングシャッター読み出しは、第１の画像センサの上縁で始まり第１の画像センサの下縁まで進む画素値の行の順次読み出しを含む。さまざまな実施形態では、コントローラ１５０は、第２の画像センサのローリングシャッター読み出しの一部として画素値の行に対応する第２の光学チェーンの第２の画像センサの上縁を最初に読み取るようにさらに構成され、第２の画像センサのローリングシャッター読み出しは、第２の画像センサの上縁で始まり第２の画像センサの下縁まで進む画素値の行の順次読み出しを含み、第１の画像センサおよび第２の画像センサのスキャン方向（上部から下部まで）は同じである。図４３に関して説明される例では、画像センサのスキャンの上部から下部の方向が考えられているが、しかしながら、画像センサのローリングシャッター読み出しの一部として、異なる方向における画像センサの１つの縁から別の縁までのスキャンが可能であることを理解されたい。
いくつかの実施形態では、第１の画像センサと第２の画像センサは、画素の同じ数の行を含む。いくつかの実施形態では、コントローラ１５０は、関心シーンエリアの一部分に対応する画素値を同時に読み出すように複数の光学チェーンを制御するように構成されることの一部として、第１の光学チェーンおよび第２の光学チェーンの焦点距離の関数として第１の画像センサおよび第２の画像センサの読み出し速度を制御するように構成される。
いくつかの実施形態では、第１の焦点距離は、第２の焦点距離よりも大きい。いくつかの実施形態では、コントローラ１５０は、第２の焦点距離と第１の焦点距離の比に第２の画像センサ内の画素の同じ数の行を読み出すために使用される時間の量をかけたものとして算出される時間の期間内に第１の画像センサ内の画素のいくつかの行を読み出すように第１の画像センサを制御するようにさらに構成される。たとえば、第１の光学チェーンおよび第２の光学チェーンにそれぞれ対応する第１のセンサおよび第２のセンサの両方は、画素要素のＮ個の行を有する第２の光学チェーンの焦点距離がＦＳ２であり、第１の光学チェーンの焦点距離がＦＳ１であり、と考えてみる。センサ２からＮ個の行を読み取るのに時間ＴＳ２がかかる場合、コントローラ１５０は、時間期間ＴＳ１＝（ＦＳ２／ＦＳ１）×ＴＳ２内にセンサ１の読み出しを制御する。
いくつかの実施形態では、第１の焦点距離は、第２の焦点距離の２倍である。そのような実施形態では、コントローラ１５０は、第１の画像センサを読み出すために使用される第１の時間期間の２倍の長さである時間期間にわたって完全に読み出されるように第２の画像センサを制御するようにさらに構成される。
さまざまな実施形態では、第１の画像センサは関心シーンエリアの第１の部分をキャプチャし、第２の画像センサは、第１の部分よりも大きい関心シーンエリアの第２の部分をキャプチャする。いくつかのそのような実施形態では、コントローラ１５０は、画素値の最後の行が第１の画像センサから読み出された後、関心シーンエリアの第３の部分に対応する画素値を読み出すように第３の光学チェーンたとえば光学チェーン１２１８の第３の画像センサを制御するようにさらに構成され、関心シーンエリアの第３の部分は関心シーンエリアの第１の部分の下方に位置決めされる。いくつかの実施形態では、第２の画像センサは、少なくとも第１の画像センサおよび第３の画像センサのキャプチャと実質的に同じ画像エリアを、しかし第１の画像センサと第３の画像センサのいずれかの個別読み出し時間よりも長い読み出し時間中に、キャプチャする。
さまざまな実施形態では、センサ読み出し動作の一部としてセンサによってキャプチャされる画像は、デバイスメモリたとえばメモリ１０８内に格納される。いくつかの実施形態では、これらの画像のうちの１つまたは複数は、合成画像を生成することの一部としてさらに処理される。いくつかの実施形態では、プロセッサ１１０は、２つ以上のキャプチャされた画像を結合することによって合成画像を生成するように構成される。いくつかの実施形態では、プロセッサ１１０は、メモリ１０８内での生成された合成画像の格納、および／またはディスプレイ１０２上での合成画像の出力、および／またはインターフェース１１４などのインターフェースを介した別のデバイスへのキャプチャされた画像もしくは合成画像の送信を制御するようにさらに構成される。
方法４３００のさまざまな機能および／またはステップは、そのようなデバイスが汎用プロセッサおよび／または画像センサを使用することがあるとしても、カメラおよび／または画像処理の改善に関することを理解されたい。たとえば合成画像生成ステップなどの方法４３００の１つまたは複数のステップは、プロセッサたとえばプロセッサ１１０、２１１によって実行されるように説明されてきたが、方法４３００のステップのうちの１つまたは複数は、専用回路、たとえば、方法を実行する撮像デバイスの効率、精度、および／または動作能力を改善する、ＡＳＩＣ、ＦＰＧＡ、および／または特定用途向け回路によって実施され得、いくつかの実施形態では、実施されることを理解されたい。いくつかの実施形態では、専用ハードウェアたとえば回路、および／または専用ハードウェアとソフトウェアの組み合わせが、方法４３００の１つまたは複数のステップを実施する際に利用され、その中で、方法を実施する撮像デバイスたとえばカメラに追加の画像処理効率、精度、および／または動作能力を提供する。
図４４は、例示的な一実施形態による、複数の光学チェーンを使用して画像をキャプチャする例示的な方法のステップを示す流れ図４４００を示す。この方法は、例示的な一実施形態により画像をキャプチャするように、たとえば、図１、図６、図８、および／または図１４に示される撮像デバイスなどの、撮像デバイスを制御することを含む。流れ図４４００の方法を実施するカメラデバイスは、図１および／または図４Ａのカメラデバイスと同じまたは類似の要素を含むことができ、場合によっては、これを含む。
流れ図４４００の方法は、図１のカメラ１００などのカメラデバイスを使用して実行可能であり、いくつかの実施形態では、実行される。そのような一実施形態では、カメラデバイス１００の複数の光学チェーン１３０は、図１２Ａに示されるような方式で配置された光学チェーンたとえばカメラモジュールを含み、光学チェーンのより詳細な配置および要素は、図１２Ｂにさらに示されている。別の実施形態では、カメラデバイス１００の複数の光学チェーン１３０は、図１７Ａに示されるタイプおよび配置の光学チェーンを含む。そのような一実施形態では、複数の光学チェーン１３０は、図１７Ａおよび図１７Ｂに関して説明された光学チェーン１７０２〜１７３４を含む。
例示的な方法はステップ４４０２で開始し、たとえば、ユーザは関心シーンエリアのキャプチャを始め、このことが、カメラデバイスたとえばカメラデバイス１００に、１つまたは複数の光学チェーンによる関心シーンエリアの画像キャプチャを始めさせる。説明の目的で、カメラデバイスが複数の光学チェーンを含み、光学チェーンの各々は独立して動作および制御可能であると考える。
動作は、ステップ４４０２から、画像キャプチャ動作を伴うステップ４４０４、４４０６、４４０８、４４１０、４４１２、４４１４、および４４１６に進む。画像キャプチャ動作は、同期方式で実行され得、いくつかの実施形態では、実行される。少なくともいくつかの同期される実施形態では、異なる光学チェーンの必ずしもすべてでないがいくつかによってキャプチャされる画像は、同じまたは重複する時間期間に対応する。他の実施形態では、画像キャプチャが同期されるのではなく、キャプチャされた画像のうちの複数の画像が、同じまたは重複する時間期間中にキャプチャされる。さらに他の実施形態では、少なくともいくつかの画像が順次、たとえばすばやく連続して、キャプチャされる。逐次的な画像キャプチャは、シーンエリアの異なる部分に対応する画像をキャプチャするために使用され得、いくつかの実施形態では、使用される。
ステップ４４０４では、カメラデバイスの第１の光学チェーンは、関心シーンエリアの第１の部分の第１の画像をキャプチャするために使用され、第１の光学チェーンは、第１の光軸と、第１の最も外側のレンズとを有する。いくつかの実施形態では、関心シーンエリアは、全画像キャプチャエリアよりもやや小さいことがある。動作は、ステップ４４０４からステップ４４１８に進む。ステップ４４１８は、必ずしもすべてではないがいくつかの実施形態において実行される。ステップ４４１８がスキップされるいくつかの実施形態では、動作は、直接ステップ４４２０に進む。
ステップ４４０６では、シーンエリアの第２の部分の第２の画像がカメラデバイスの第２の光学チェーンを使用してキャプチャされ、第２の光学チェーンは、第１の光軸と平行でない第２の光軸と、第１の最も外側のレンズとは別個である第２の最も外側のレンズとを有する。したがって、さまざまな実施形態では、各光学チェーンは、各光学チェーンが異なる外側レンズを有することにより物理的に共通部分がなく（disjoint）重複しない入射瞳を有することを理解されたい。いくつかの実施形態では、第１の光軸および第２の光軸は、カメラの前面に垂直でない。いくつかの実施形態では、第１の光学チェーンと第２の光学チェーンは同じ焦点距離を有する。動作は、ステップ４４０６からステップ４４１８に進む。
ステップ４４０８では、関心シーンエリアたとえば関心シーンエリア全体を含む第３の画像が、前記第１の最も外側のレンズおよび前記第２の最も外側のレンズとは別個である第３の最も外側のレンズを有するカメラデバイスの第３の光学チェーンを使用してキャプチャされる。いくつかの実施形態では、第３の光学チェーンは、第１の光軸または第２の光軸のいずれと平行でない第３の光軸を有する。いくつかの実施形態では、第３の光学チェーンの焦点距離は、第１の光学チェーンおよび第２の光学チェーンのうちの少なくとも１つの焦点距離よりも小さい。いくつかの実施形態では、第３の光学チェーンの焦点距離は、第１の光学チェーンの焦点距離よりも小さい。いくつかの実施形態では、第３の光学チェーンの焦点距離は、第２の光学チェーンの焦点距離よりも小さい。いくつかの実施形態では、第３の光学チェーンの焦点距離は、第１の光学チェーンおよび第２の光学チェーンの焦点距離よりも小さい。いくつかの実施形態では、第３の光軸はカメラデバイスの前面に垂直である。いくつかの実施形態では、第１の光学チェーンは、第１のセンサを使用して第１の画像をキャプチャし、第３の光学チェーンは、第３のセンサを使用して第３の画像をキャプチャする。動作は、ステップ４４０８からステップ４４１８に進む。
ステップ４４１０では、第４の画像が、前記第１の最も外側のレンズ、前記第２の最も外側のレンズ、および前記第３の最も外側のレンズとは別個である第４の最も外側のレンズを有するカメラデバイスの第４の光学チェーンを使用してキャプチャされ、第４の画像は関心シーンエリアの第２の画像を含む。いくつかの実施形態では、第３の光学チェーンは第３の光軸を有し、第４の光学チェーンは第４の光軸を有する。いくつかの実施形態では、第３の光軸と第４の光軸は互いと平行である。いくつかの実施形態では、第３の光軸および第４の光軸は、第１の光軸または第２の光軸と平行でない。いくつかの実施形態では、第３の光軸および第４の光軸は、カメラの前面に垂直である。いくつかの実施形態では、第４の光学チェーンは、第３の光学チェーンの焦点距離と同じである焦点距離を有する。動作は、ステップ４４１０からステップ４４１８に進む。
ステップ４４１２では、第５の画像が、第５の光軸を有するカメラデバイスの第５の光学チェーンを使用してキャプチャされ、第５の画像は関心シーンエリアの第３の部分の画像であり、第５の光軸は第１の光軸および第２の光軸と平行でない。したがって、第５の光学チェーンは、関心シーンエリアの一部たとえば４分の１または半分の部分をキャプチャする。動作は、ステップ４４１２からステップ４４１８に進む。
ステップ４４１４では、第６の画像が、第１の光軸、第２の光軸、または第５の光軸と平行でない第６の光軸を有するカメラデバイスの第６の光学チェーンを使用してキャプチャされ、第６の画像は関心シーンエリアの第４の部分の画像である。動作は、ステップ４４１４からステップ４４１８に進む。いくつかの実施形態では、第１の画像、第２の画像、第５の画像、および第６の画像は各々、第１の数の画素値を有する。
ステップ４４１６では、第７のシーンエリアの第７の画像が、第１の光学チェーンと同じ焦点距離を有するカメラデバイスの第７の光学チェーンを使用してキャプチャされ、第７の光学チェーンは、カメラの面に垂直な光軸を有する。いくつかの実施形態では、第７のシーンは関心シーンエリアの中心にある。動作は、ステップ４４１６からステップ４４１８に進む。
ここで、ステップ４４１８に戻る。ステップ４４１８では、１つもしくは複数のキャプチャされた画像、たとえば、第１の画像、第２の画像、第３の画像、第４の画像、第５の画像、第６の画像、および／もしくは第７の画像が、たとえばデバイスメモリ内に格納され、ならびに／またはたとえば、ディスプレイデバイスに、および／もしくはインターフェースを介して外部デバイスに出力される。いくつかの実施形態では、プロセッサ１１０は、メモリ１０８内での１つもしくは複数のキャプチャされた画像の格納および／またはディスプレイ１０２への１つもしくは複数のキャプチャされた画像の出力を制御する。いくつかの実施形態では、ステップ４４１８が実行されるが、いくつかの他の実施形態では、ステップ４４１８はスキップされることがある。そのような実施形態では、動作は、前のステップからステップ４４２０に直接進む。
さまざまな実施形態では、第２の光学チェーン、第３の光学チェーン、第５の光学チェーン、および第６の光学チェーンは、これらの光学チェーンによって撮影された関心シーンエリアの部分の画像が、異なる空間的に分離された入射瞳からのものであり、したがって異なる視点を有するような方式で配置される。異なる視点を有するそのような画像を結合することは、アーチファクトたとえば視差を導入する。これらの異なる光学チェーンによってキャプチャされたさまざまな画像を使用して生成された合成画像からのそのようなアーチファクトの影響を最小限にする、および／またはこれを緩和するために、いくつかの実施形態では、異なる視点による合成画像の歪みを回避するために画像を結合するとき視差是正を提供する奥行き情報が使用される。
ステップ４４２０に戻る。ステップ４４２０では、合成画像は、キャプチャされた画像のうちの少なくとも２つ、たとえば第１の画像と第２の画像とを結合することによって、生成される。さまざまな実施形態では、合成画像は、たとえば、方法４４００のステップを実施するカメラデバイスのプロセッサ１１０または２１１などのプロセッサによって生成される。いくつかの実施形態では、ステップ４４２０を実行することは、ステップ４４２４および４４２６のうちの１つまたは複数を実行することを含む。いくつかの実施形態では、サブステップ４４２４および４４２６は、そのうちのいずれか１つはステップ４４２０を実施することの一部として実行され得る、異なる代替形態である。いくつかの実施形態では、ステップ４４２０は、ステップ４４２４を実行することを含み、ステップ４４２４では、合成画像を生成することの一部として、少なくとも前記第１の画像、前記第２の画像、前記第３の画像、および前記第４の画像が結合される。そのような実施形態では、プロセッサ１１０は、少なくとも第１の画像と第２の画像と第３の画像と第４の画像とを結合することによって合成画像を生成するように構成される。いくつかの実施形態では、この合成画像は関心シーンエリアの合成画像であり、合成画像は、第１の画像、第２の画像、第３の画像、および第４の画像のいずれもが個々に有するよりも大きい数の画素値を有する。
いくつかの実施形態では、ステップ４４２０は、ステップ４４２６を実行することを含み、ステップ４４２６では、合成画像は、たとえば、少なくとも前記第１の画像、前記第２の画像、前記第３の画像、前記第４の画像、前記第５の画像、および前記第６の画像から、プロセッサ１１０によって生成され、合成画像は、画素値の第１の数の３倍以上であるが画素値の第１の数の６倍よりも少ない数の画素値を有する。いくつかの実施形態では、合成画像は、合成画像を生成するために結合された画素値の数の総和から生じる画素値の数よりも小さい数の画素値を含む。さまざまな実施形態では、生成される合成画像は、関心シーンエリアの画像である。いくつかの実施形態では、合成画像は、第１の画像、第２の画像、第３の画像、第４の画像、第５の画像、第６の画像、および第７の画像から生成される。
いくつかの実施形態では、動作はステップ４４２０からステップ４４２８に進む。ステップ４４２８では、生成された合成画像は、たとえばデバイスメモリ内に格納され、ならびに／またはたとえば、ディスプレイデバイスに、および／もしくはインターフェースを介して外部デバイスに、出力される。いくつかの実施形態では、メモリ１０８内での合成画像の格納、ならびに／またはたとえば、ディスプレイデバイスへの、および／もしくはインターフェースを介した外部デバイスへの出力は、プロセッサ１１０の制御下で実行される。
方法４４００のさまざまな機能および／またはステップは、そのようなデバイスが汎用プロセッサおよび／または画像センサを使用することがあるとしても、カメラおよび／または画像処理の改善に関することを理解されたい。たとえば合成画像生成ステップなどの方法４４００の１つまたは複数のステップは、プロセッサたとえばプロセッサ１１０、２１１によって実行されるように説明されてきたが、方法４４００のステップのうちの１つまたは複数は、専用回路、たとえば、方法を実行する撮像デバイスの効率、精度、および／または動作能力を改善する、ＡＳＩＣ、ＦＰＧＡ、および／または特定用途向け回路によって実施され得、いくつかの実施形態では、実施されることを理解されたい。いくつかの実施形態では、専用ハードウェアたとえば回路、および／または専用ハードウェアとソフトウェアの組み合わせが、方法４４００の１つまたは複数のステップを実施する際に利用され、その中で、方法を実施する撮像デバイスたとえばカメラに追加の画像処理効率、精度、および／または動作能力を提供する。
図４５は、画像をキャプチャする例示的な方法のステップを示す流れ図６７００を示す。画像は、厚さＤを有する前表面と後表面とを有するカメラハウジングを含むカメラデバイスに含まれる複数の光学チェーンを使用してキャプチャされ得、いくつかの実施形態では、キャプチャされ、Ｄは、前表面と後表面との間の距離である。一実施形態では、流れ図６７００の方法は、たとえば図１３Ｂに示されるカメラデバイス１３２０などのカメラデバイスを使用して画像をキャプチャするために実施可能である。カメラデバイスは複数の光学チェーンを含み、光学チェーンの各々は独立して動作および制御可能である。流れ図６７００の方法を実施するカメラデバイスは、図１および／または図４Ａのカメラデバイスと同じまたは類似の要素を含むことができ、場合によっては、これを含む。したがって、方法６７００を実施するカメラデバイスは、プロセッサと、メモリと、インターフェースと、図１および図４Ａに関して説明された他の要素とを含むことを理解されたい。
例示的な方法はステップ６７０２で開始し、たとえば、ユーザは関心シーンエリアのキャプチャを始め、このことが、カメラデバイスたとえばカメラデバイス１３２０に、１つまたは複数の光学チェーンによる関心シーンエリアの画像キャプチャを始めさせる。動作は、ステップ６７０２から、画像キャプチャ動作を伴うステップ６７０４、６７０６、６７０８、および６７１０に進む。画像キャプチャ動作は、同期方式で実行され得、いくつかの実施形態では、実行される。少なくともいくつかの同期される実施形態では、異なる光学チェーンの必ずしもすべてでないがいくつかによってキャプチャされる画像は、同じまたは重複する時間期間に対応する。他の実施形態では、画像キャプチャが同期されるのではなく、キャプチャされた画像のうちの複数の画像が、同じまたは重複する時間期間中にキャプチャされる。さらに他の実施形態では、少なくともいくつかの画像が順次、たとえばすばやく連続して、キャプチャされる。逐次的な画像キャプチャは、シーンエリアの異なる部分に対応する画像をキャプチャするために使用され得、いくつかの実施形態では、使用される。
ステップ６７０４では、第１の画像が、カメラハウジング内の第１の光学チェーンを使用してキャプチャされ、この第１の光学チェーンは、ｉ）第１の光方向変換デバイスと、ｉｉ）非円形の絞りを有する第１のレンズと、ｉｉｉ）センサとを含み、第１の光学チェーンは、光方向変換デバイスの前の第１の光軸部分と光方向変換デバイスからセンサまで延在する第２の光軸部分とを含む光軸を有し、第１のレンズは第２の光軸部分上にあり、非円形の絞りは、カメラの厚さの方向に沿った第１の方向においてＤよりも小さいまたはこれに等しい長さと、第１の方向に垂直な第２の方向に沿ってＤよりも大きい長さとを有する。いくつかの実施形態では、第１のレンズは、第２の光軸部分上の光方向変換デバイスに最も近いレンズである。流れ図６７００の方法を実施するために使用可能な例示的なカメラデバイスのさまざまな要素および／または構造上の特徴は、カメラハウジング１３２２、厚さ１３２３、前表面１３２１、および後表面１３２５などのそのような特徴を示す図１３Ｂから理解できる。動作は、ステップ６７０４からステップ６７１２に進む。
ステップ６７０６では、第２の画像が、カメラハウジング内の第２の光学チェーンを使用してキャプチャされ、第２の光学チェーンは、ｉ）第２の光方向変換デバイスと、ｉｉ）第２の非円形の絞りを有する第２のレンズと、ｉｉｉ）第２のセンサとを含み、第２の光学チェーンは、第２の光方向変換デバイスの前の第３の光軸部分と第２の光方向変換デバイスから第２のセンサまで延在する第４の光軸部分とを含む光軸を有し、第２の非円形の絞りは、カメラの厚さに沿って第１の方向においてＤよりも小さいまたはこれに等しい長さと、カメラの厚さの方向に垂直な第３の方向に沿ってＤよりも大きい長さとを有し、第２の方向と第３の方向は異なる。いくつかの実施形態では、第２の方向と第３の方向は、互いに対して９０度の角度をなす。動作は、ステップ６７０６からステップ６７１２に進む。
ステップ６７０８では、第３の画像が、第３の光学チェーンを使用してキャプチャされ、第３の光学チェーンは、ｉ）第３の光方向変換デバイスと、ｉｉ）第３の非円形の絞りを有する第３のレンズと、ｉｉｉ）第３のセンサとを含み、第３の光学チェーンは、第３の光方向変換デバイスの前の第５の光軸部分と第３の光方向変換デバイスから第３のセンサまで延在する第６の光軸部分とを含む光軸を有し、第３の非円形の絞りは、カメラの厚さに沿って第１の方向においてＤよりも小さいまたはこれに等しい長さと、カメラの厚さの方向に垂直な第４の方向に沿ってＤよりも大きい長さとを有し、第１の方向と第２の方向と第３の方向は異なる。いくつかの実施形態では、第２の方向と第３の方向は、互いに対して９０度の角度をなし、第２の方向と第４の方向は、互いに対して３０度から６０度の間の角度をなす。動作は、ステップ６７０８からステップ６７１２に進む。
同様に、図に示されるいくつかの実施形態では、カメラデバイス内の１つまたは複数の追加光学チェーンが、追加画像をキャプチャするために使用可能である。追加光学チェーンが追加画像をキャプチャするために使用されるいくつかのそのような実施形態では、ステップ６７１０が実行される。ステップ６７１０では、第Ｚの画像が、第Ｚの光学チェーンを使用してキャプチャされ、第Ｚの光学チェーンは、ｉ）第Ｚの光方向変換デバイスと、ｉｉ）非円形の絞りを有する第Ｚのレンズと、ｉｉｉ）第Ｚのセンサとを含み、第Ｚの光学チェーンは、第Ｚの光方向変換デバイスの前の光軸部分と第Ｚの光方向変換デバイスからセンサまで延在する別の光軸部分とを含む光軸を有し、非円形の絞りは、カメラの厚さに沿って第１の方向においてＤよりも小さいまたはこれに等しい長さと、カメラの厚さの方向に垂直な方向に沿ってＤよりも大きい長さとを有する。動作は、ステップ６７１０からステップ６７１２に進む。いくつかの実施形態では、上記で説明された複数の光学チェーンによってキャプチャされるさまざまな画像は、同じ時間期間内でキャプチャされる。
ここで、ステップ６７１２に戻る。ステップ６７１２では、１つまたは複数のキャプチャされた画像、たとえば、第１のキャプチャされた画像、第２のキャプチャされた画像、第３のキャプチャされた画像などは、本発明の特徴によるさらなる処理のために、たとえばデバイスメモリ内に格納され、ならびに／またはたとえば、ディスプレイデバイスに、および／もしくはインターフェースを介して外部デバイスに出力される。動作は、ステップ６７１２からステップ６７１４に進む。ステップ６７１４では、合成画像は、キャプチャされた画像のうちの少なくとも２つ以上を結合することによって、生成される。さまざまな実施形態では、合成画像は、たとえば、方法６７００のステップを実施するカメラデバイスのプロセッサ１１０または２１１などのプロセッサによって生成される。さまざまな実施形態では、生成される合成画像は、関心シーンエリアの画像である。いくつかの実施形態では、複数の光学チェーンのうちの少なくともいくつかは、関心シーンエリアの一部分をキャプチャし、次いで、キャプチャされた部分は、合成画像を生成するために本発明の方法により結合され得る。ステップ６７１４は、必ずしもすべてではないがいくつかの実施形態において実行される。
動作は、ステップ６７１４からステップ６７１６に進む。ステップ６７１６では、生成された合成画像は、たとえばデバイスメモリ内に格納され、ならびに／またはたとえば、ディスプレイデバイスに、および／もしくはインターフェースを介して外部デバイスに、出力される。
方法６７００のさまざまな機能および／またはステップは、そのようなデバイスが汎用プロセッサおよび／または画像センサを使用することがあるとしても、カメラおよび／または画像処理の改善に関することを理解されたい。たとえば合成画像生成ステップなどの方法６７００の１つまたは複数のステップは、プロセッサたとえばプロセッサ１１０、２１１によって実行されるように説明されてきたが、方法６７００のステップのうちの１つまたは複数は、専用回路、たとえば、方法を実行する撮像デバイスの効率、精度、および／または動作能力を改善する、ＡＳＩＣ、ＦＰＧＡ、および／または特定用途向け回路によって実施され得、いくつかの実施形態では、実施されることを理解されたい。いくつかの実施形態では、専用ハードウェアたとえば回路、および／または専用ハードウェアとソフトウェアの組み合わせが、方法６７００の１つまたは複数のステップを実施する際に利用され、その中で、方法を実施する撮像デバイスたとえばカメラに追加の画像処理効率、精度、および／または動作能力を提供する。
図４６は、画像をキャプチャする例示的な方法のステップを示す流れ図６８００である。画像は、複数の光学チェーンを含むカメラデバイスを使用してキャプチャされ得、いくつかの実施形態では、キャプチャされる。一実施形態では、流れ図６８００の方法は、たとえば図１４に示されるカメラデバイス１４００などのカメラデバイスを使用して画像をキャプチャするために実施可能である。カメラデバイスは複数の光学チェーンを含み、光学チェーンの各々は独立して動作および制御可能である。流れ図６８００の方法を実施するカメラデバイスは、図１および／または図４Ａのカメラデバイスと同じまたは類似の要素を含むことができ、場合によっては、これを含む。流れ図６８００の方法を実施するために使用可能な例示的なカメラデバイスのさまざまな要素および／または特徴は、非円形の絞りのレンズを有する光学チェーン、丸いレンズを有する光学チェーン、カメラ厚さなどなどのそのような特徴を示す図１４〜１７から理解できる。
例示的な方法はステップ６８０２で開始し、たとえば、ユーザは関心シーンエリアのキャプチャを始め、このことが、カメラデバイスたとえばカメラデバイス１４００に、１つまたは複数の光学チェーンによる関心シーンエリアの画像キャプチャを始めさせる。動作は、ステップ６８０２から、画像キャプチャ動作を伴うステップ６８０４、６８０６、６８０８、６８１０、および６８１２に進む。画像キャプチャ動作は、同期方式で実行され得、いくつかの実施形態では、実行される。少なくともいくつかの同期される実施形態では、異なる光学チェーンの必ずしもすべてでないがいくつかによってキャプチャされる画像は、同じまたは重複する時間期間に対応する。他の実施形態では、画像キャプチャが同期されるのではなく、キャプチャされた画像のうちの複数の画像が、同じまたは重複する時間期間中にキャプチャされる。さらに他の実施形態では、少なくともいくつかの画像が順次、たとえばすばやく連続して、キャプチャされる。逐次的な画像キャプチャは、シーンエリアの異なる部分に対応する画像をキャプチャするために使用され得、いくつかの実施形態では、使用される。
ステップ６８０４では、第１の画像が、第１の時間期間中にカメラの第１の光学チェーンを使用してキャプチャされ、第１の光学チェーンは、第１の焦点距離と、第１の非円形のレンズとを有する。動作は、ステップ６８０４からステップ６８１４に進む。
ステップ６８０６では、第２の画像が、第１の時間期間中にカメラの第２の光学チェーンを使用してキャプチャされ、第２の光学チェーンは、第２の焦点距離と、第２の非円形のレンズとを有する。いくつかの実施形態では、第１の焦点距離と第２の焦点距離は同じである。いくつかの実施形態では、第１の焦点距離と第２の焦点距離は異なる。いくつかの実施形態では、第１の非円形のレンズは、第１の方向に垂直な第２の方向においてよりも第１の方向において長く、第２の非円形のレンズは、第４の方向においてよりも第３の方向において長く、第４の方向は第３の方向に垂直であり、第１の方向と第３の方向は異なる。いくつかの実施形態では、第１の光学チェーンは第１のセンサを含み、第２の光学チェーンは第２のセンサを含む。動作は、ステップ６８０６からステップ６８１４に進む。
ステップ６８０８では、第３の画像が、第３の焦点距離を有し丸いレンズを含む第３の光学チェーンを使用してキャプチャされ、第３の焦点距離は、第１の焦点距離または第２の焦点距離よりも小さい。いくつかの実施形態では、第２の方向と第４の方向は同じであり、カメラの奥行き（厚さ）に対応する。動作は、ステップ６８０８からステップ６８１４に進む。
ステップ６８１０では、第４の画像が、第４の焦点距離と第３の非円形のレンズとを有する第４の光学チェーンを使用してキャプチャされ、第４の焦点距離は第３の焦点距離よりも大きい。いくつかの実施形態では、第３の非円形のレンズは、第６の方向においてよりも第５の方向において長く、第６の方向は第５の方向に垂直であり、第１の方向と第３の方向と第５の方向は少なくとも２０度異なる。動作は、ステップ６８１０からステップ６８１４に進む。
同様に、カメラデバイス内の１つまたは複数の追加光学チェーンが、追加画像をキャプチャするために使用可能であり、いくつかの実施形態では、使用される。一実施形態では、追加画像は、ステップ６８１２に示されるように、円形のレンズを有する光部品（optical）を使用してキャプチャされる。ステップ６８１２では、追加画像が、円形のレンズを含む複数の追加光学チェーンを使用してキャプチャされ、追加の光学チェーンの各々は、第１の光学チェーンよりも小さい焦点距離を有する円形のレンズを含む。いくつかの実施形態では、上記で説明された複数の光学チェーンによってキャプチャされるさまざまな画像は、同じ時間期間内でキャプチャされる。動作は、ステップ６８１２からステップ６８１４に進む。
ここで、ステップ６８１４に戻る。ステップ６８１４では、１つまたは複数のキャプチャされた画像、たとえば、第１のキャプチャされた画像、第２のキャプチャされた画像、第３のキャプチャされた画像などは、本発明の特徴によるさらなる処理のために、たとえばデバイスメモリ内に格納され、ならびに／またはたとえば、ディスプレイデバイスに、および／もしくはインターフェースを介して外部デバイスに出力される。動作は、ステップ６８１４から、必ずしもすべてでないがいくつかの実施形態で実行されるステップ６８１６に進む。ステップ６８１６では、合成画像は、キャプチャされた画像のうちの少なくとも２つ以上を結合することによって、たとえば、少なくとも第１の画像と第２の画像とを結合することによって、生成される。さまざまな実施形態では、合成画像は、たとえば、方法６８００のステップを実施するカメラデバイス１４００のプロセッサ１１０または２１１などのプロセッサによって生成される。さまざまな実施形態では、生成される合成画像は、関心シーンエリアの画像である。いくつかの実施形態では、複数の光学チェーンのうちの少なくともいくつかは、関心シーンエリアの一部分をキャプチャし、次いで、キャプチャされた部分は、合成画像を生成するために本発明の方法により結合され得る。
動作は、ステップ６８１６からステップ６８１８に進む。ステップ６８１８では、生成された合成画像は、たとえばデバイスメモリ内に格納され、ならびに／またはたとえば、ディスプレイデバイスに、および／もしくはインターフェースを介して外部デバイスに、出力される。
方法６８００のさまざまな機能および／またはステップは、そのようなデバイスが汎用プロセッサおよび／または画像センサを使用することがあるとしても、カメラおよび／または画像処理の改善に関することを理解されたい。たとえば合成画像生成ステップなどの方法６８００の１つまたは複数のステップは、プロセッサたとえばプロセッサ１１０、２１１によって実行されるように説明されてきたが、方法６８００のステップのうちの１つまたは複数は、専用回路、たとえば、方法を実行する撮像デバイスの効率、精度、および／または動作能力を改善する、ＡＳＩＣ、ＦＰＧＡ、および／または特定用途向け回路によって実施され得、いくつかの実施形態では、実施されることを理解されたい。いくつかの実施形態では、専用ハードウェアたとえば回路、および／または専用ハードウェアとソフトウェアの組み合わせが、方法６８００の１つまたは複数のステップを実施する際に利用され、その中で、方法を実施する撮像デバイスたとえばカメラに追加の画像処理効率、精度、および／または動作能力を提供する。
さまざまな特徴は、説明される１つまたは複数の光方向変換要素を使用してカメラ装置の厚さを減少させる方法および装置を対象とする。さまざまな実施形態では、光軸に沿った光の経路が、センサに到達する前に方向変換される。少なくともいくつかの実施形態では、光軸に沿ってカメラデバイスの前面に入る光の経路が、カメラの面と平行に延在する方向に少なくとも部分的に進むように方向変換される。したがって、少なくともいくつかの実施形態では、光の経路の長さは、カメラの奥行き、たとえば前面から背面までの長さによって制限されない。
たとえば鏡またはプリズムなどの光方向変換要素の使用は、１つまたは複数のカメラモジュールを含む、カメラ内のたとえば光学チェーンたとえばカメラモジュールの最も前面のレンズから対応するセンサまでの光路の長さを延在する際に有用である。いくつかの実施形態では、丸いレンズ、たとえば、丸い絞りを有するレンズが最も外側のカメラレンズとして使用され、最も外側のレンズの直径と同等の奥行きを有する光方向変換要素が使用される。このように、カメラが垂直に配置され、カメラハウジングの前面に対応する垂直平面内に１つまたは複数のレンズが取り付けられると仮定して、１つまたは複数の外側レンズの垂直次元と水平次元の両方と考えられ得るものの中で受け取られる光は、光学チェーンの前面の最も外側のレンズがカメラの先頭に位置決めされて光学チェーンの最も外側のレンズの真後ろのカメラの背面にセンサが位置決めされる直線状の前面から背面への構成で光学チェーンが配置されることを可能にするのに十分なほどカメラの奥行きがあることを必要とすることなく、方向変換およびキャプチャ可能である。
いくつかの実施形態では、カメラが、複数の光学チェーンたとえばカメラモジュールを使用して実施される。少なくともいくつかのそのような実施形態では、光の方向変換は、カメラモジュールの少なくとも一部分が左右の寸法たとえばカメラの横方向寸法または上下の寸法（高さ）を利用でき、それによって、比較的長い焦点距離が比較的薄いカメラフォーマットでサポート可能であるように実施される。そのような一実施形態では、小さい焦点距離を有するカメラモジュールおよび対応する小さいレンズは、直線状の前後の実装形態で実施されるが、より大きい焦点距離を有するカメラモジュールおよびより大きいレンズは、より大きい焦点距離を有するカメラモジュールの一部分がカメラの前面に対して横にまたは上下方向実施されることを可能にするために、たとえばいくつかの実施形態では９０度の、光方向変換を利用する。
多くの実施形態では、カメラモジュールのために丸いレンズが使用されるが、少なくともいくつかの実施形態では、長い焦点距離を有するカメラモジュールが、丸くない構成、たとえば、卵形の構成、細長い構成、または１次元において他の次元よりも長い絞りを有する他のレンズ構成を有するレンズを使用して実施される。少なくとも１つのそのような実施形態では、丸くないレンズが、光方向変換デバイスと組み合わせて使用される。詳細な説明で説明されるように、１つまたは複数の光方向変換デバイスと組み合わせた丸くないレンズの使用は、丸い絞りを有するレンズが代わりに使用される場合に可能であろうよりも薄いカメラモジュールを実施するために使用可能である。
少なくともいくつかの実施形態では、いくつかは丸いレンズを有し、他のものは丸くないレンズを有するカメラモジュールの組み合わせが使用される。丸くないレンズ、たとえば、平面の１次元において同じ平面の別の次元よりも長い絞りを有するレンズが、大きい焦点距離、たとえば、いくつかの実施形態ではフルフレームＤＳＬＲの７０ｍｍの焦点距離に等しいまたはこれよりも大きい、いくつかの実施形態ではフルフレームＤＳＬＲの１５０ｍｍの焦点距離に等しいまたはこれよりも大きい、いくつかの実施形態ではフルフレームＤＳＬＲの３００ｍｍの焦点距離に等しいまたはこれよりも大きい、焦点距離を有するカメラモジュールに使用される。少なくともいくつかのそのような実施形態では、丸い絞りを有するレンズが、小さい、たとえば、７０ｍｍのフルフレームＤＳＬＲよりも短い焦点距離に等しい、焦点距離を有するカメラモジュールに使用される。レンズ（カメラ）の焦点距離は、多くの場合、フルフレームＤＳＬＲカメラにとって等価な焦点距離と述べられ、ＤＳＬＲカメラはデジタル一眼レフカメラである。３５ｍｍの等価な焦点距離を有する光学チェーンなどのレンズまたはシステムは、３５ｍｍレンズを有するフルフレームＤＳＬＲカメラが形作るであろうものと同じロケーションから同じショットを形作る。センサは一般にフルフレームＤＳＬＲセンサよりもはるかに小さいので、３５ｍｍの等価な焦点距離を有する光学チェーンの実際の焦点距離は、著しく小さいことがある。一般に、センサが、各次元において５分の１の大きさ（２５分の１の大きさの面積）である場合、７ｍｍの実焦点距離の光学チェーンは、フルフレームＤＳＬＲの３５ｍｍに等しい焦点距離を有する。
さまざまな実施形態では、光方向変換が、薄型カメラ実装形態を可能にするためにいくつかの焦点距離を有するカメラモジュールに使用されるが、３５ｍｍフルフレームＤＳＬＲ焦点距離に等しいより短い焦点距離たとえば焦点距離を有するいくつかの他のカメラモジュールが、光方向変換要素を使用せずに、実施され得、場合によっては、実施される。
いくつかの実施形態では、カメラ厚さがカメラモジュール（いくつかの実施形態では水平方向に沿っている）の最も外側のレンズ素子および対応する絞りの最大寸法よりも小さいことを可能にするために、いくつかの実施形態では、一方向、たとえば別の方向よりも水平方向、たとえば、垂直方向におけるより大きい絞りをサポートするように構成される光方向変換デバイスが、使用される。この光方向変換デバイスは、方向変換後、異なる方向に、たとえば垂直に進むように、カメラモジュールの光軸に沿ってカメラに向かって進む光を方向変換する。これは、光方向変換デバイスの奥行きが絞りの最大次元よりも小さいことを可能にする。
１次元（たとえば、水平）において他の次元よりも大きい絞りをサポートする方向変換要素の使用は、他の次元よりも１次元（たとえば、水平）においてより高い品質、たとえば、より多くのキャプチャされた高解像度周波数画像コンテンツを有する、二次元画像のキャプチャをもたらす。そのような画像は、同じ量の光学情報が垂直次元と水平次元の両方においてキャプチャされるより均一な画像よりも好ましくないことがあるが、光がカメラに入るレンズ開口の最大長さよりもカメラが薄型であることを可能にするので、長円形絞りをサポートする光方向変換要素を使用することによって可能にされた薄型カメラ幅が望ましいことがある。したがって、そのような一実施形態では、カメラの厚さは、長円形または非円形のレンズ開口（絞り）の最大次元レンズ開口によって結合または制限されない。
非円形の絞り、たとえば、長円形の絞り、卵形の絞り、または他の非円形の絞りの使用は、より高い周波数画像情報が、他の次元においてよりも１次元において、たとえば非円形のレンズのより長い寸法に沿って、キャプチャされることをもたらすことができる。さまざまな実施形態では、１次元において他の次元よりも狭いレンズおよび／または有効絞りから生じる異なる方向における高周波数情報の差を補うために、より高い解像度次元の異なる方位を有する複数の光学チェーンが使用される。異なる方位を有する光学チェーンは、画像内の最高解像度次元の異なる方向（たとえば、水平、垂直、斜め）を有する画像をキャプチャし、カメラは垂直方位にあり、カメラレンズは前を向いている。
そのような一実施形態では、異なる光学チェーンによってキャプチャされた画像は、結合された画像すなわち合成画像を形成するために結合される。たとえば異なる光学チェーンによって同時にキャプチャされた、異なる次元における異なる量の高周波数情報と画像を結合することによって理解されるべきであるように、結合された画像は、丸くない絞り停止具を有する光学チェーンによって１次元においてキャプチャされる、より低い周波数情報によって制限される必要はない。これは、異なる光学チェーン、たとえば、他の光学チェーンが経験する次元におけるより高い周波数情報のキャプチャを可能にすることができる方位を有する光学チェーンによってキャプチャされた画像は、他の光学チェーンによってキャプチャされた画像の弱点を補うために使用可能であるからである。一例として、両方とも丸くない絞り、たとえば長円形の絞りを有する２つの光学チェーンがある場合、第１の光学チェーンの方位は、第１の光学チェーンの絞りが水平次元においてより大きく、第１の光学チェーンによってキャプチャされる画像に水平方向においてより高い解像度を与えるようなものであってよく、第２の光学チェーンの方位は、対応して、より高い垂直解像度を有する画像をキャプチャするようなものであってよい。２つの画像は、垂直方向と水平方向の両方でより高い解像度を有する単一の合成画像に結合可能であり、いくつかの実施形態では、結合される。
したがって、丸くない絞りを有するが異なる方位を有する複数の光学チェーンを使用し、そのような光学チェーンによってキャプチャされた画像を結合することによって、その直径が通常ならばカメラの奥行きによって限定されるであろうより小さい丸い絞りの使用によって画像の品質（鮮鋭度）が制限されることなく、比較的薄いカメラが実施可能である。
いくつかの実施形態では、丸くないレンズが、画像を並行してキャプチャするために使用される複数の光学チェーンの最も外側のレンズとして使用され、次いで、これらの画像は、結合された画像を形成するために結合される。丸くないレンズは、長円形レンズを形成するために、丸いレンズの一部分、たとえば左部分と右部分とを切除することによって形成され得る。他の実施形態では、丸いレンズの一部分は、適用されるマスクまたはレンズが取り付けられて長円形の絞りを有するレンズを形成するカメラハウジングの一部分によってマスキングされる。さらに他の実施形態では、丸い外側レンズが使用され、光方向変換デバイスは、丸いレンズを通過するすべての光がセンサに方向変換されるとは限らないようなサイズおよび形状である。そのような実施形態では、光方向変換デバイスは、光学的光路に対する制約として動作し、センサへと通過する光に対する絞り停止具、たとえば光制約の点になる。したがって、さまざまな実施形態では、長円形のレンズは絞り停止具として働き、長円形の絞りは光学チェーンの光路上の収縮点となるが、他の実施形態では、光方向変換要素は、光路に対する制約および光学チェーン内の絞り停止具として働き、有効絞りは、外側レンズが丸いことがあるという事実にもかかわらず、形状が長円形である。
エリアの複数の画像を同時にキャプチャするために複数の光学チェーンを使用する方法および装置が説明される。次いで、複数のキャプチャされた画像が、結合された画像を形成するために結合され得、いくつかの実施形態では、結合される。結合された画像は、さまざまな実施形態では、通常、光学チェーンのうちの単一のチェーンのみを使用して達成されるであろうよりも高い品質である。
さまざまな実施形態は、一般に高品質の大きなレンズの単一の光学チェーンカメラ実装形態とともに使用されるよりも小さいおよび／または低コストの構成要素を使用して通常実施可能である複数の光学チェーンの使用によって、大きなレンズおよび／または大きな高品質センサの使用に関連付けられる利益の多くを提供する。
さまざまな実施形態では、光学チェーンたとえばカメラモジュールは、１つまたは複数のレンズと光方向変換デバイスとセンサとを含む要素の組み合わせを含む。光方向変換デバイスは分光器（light diverter）であり、さまざまな形をとってよく、たとえば、光方向変換デバイスは鏡またはプリズムであってよい。光方向変換デバイスは、光方向変換デバイスを移動させることによって光学チェーンが向く角度およびしたがって方向が変更されることを可能にするようにヒンジ結合され得る。
少なくともいくつかの実施形態では、異なる方位を有する丸くない絞りを有する異なる光学チェーンによってキャプチャされる画像が結合される。いくつかの実施形態では、異なる方位を有する２つ、３つ、またはそれ以上、たとえば６つまたはそれ以上の光学チェーンからの画像は、単一の結合された画像を形成するために結合される。いくつかの実施形態では、異なる方位を有する光学チェーンからの画像が結合されるが、説明の目的で、同じ方位を有する複数の光学チェーンによってキャプチャされた画像は、たとえば、カメラの底部たとえば水平線に対して異なる方位を有する光学チェーンによってキャプチャされた１つまたは複数の画像と結合可能であることを理解されたい。したがって、異なる光学チェーンからの画像を結合することによって、多数の利点が達成可能であり、複数の小さいレンズが使用されることを可能にし、単一の大きい丸いレンズを使用するシステムと比較して、比較的薄いカメラハウジングが可能である。
さまざまな実施形態では、複数の光学チェーンの外側レンズが固定され、したがって、多くの従来のズームカメラデバイスとは異なり、そのような実施形態では、外側レンズ、すなわち、カメラの面上のレンズは、カメラ本体から移動せず、ズーム動作中ですらカメラの面に対して固定される。最も外側のレンズは、いくつかの実施形態では、ゼロまたはごくわずかの屈折率を有し、外側レンズが対応する光学チェーンに埃が入るのを防ぐカバーとして主に働き得る。外側レンズは、そのような実施形態では、平坦なガラスまたはプラスチックを使用して実施され得る。いくつかの実施形態では、カメラが保管して置かれ、カメラデバイスが使用可能であるとき摺動されて戻るとき、摺動可能なカバーが外側レンズ上で摺動される。図１４は、レンズが見えるようにされ、レンズカバーを含むカメラグリップまたはハンドルとして使用可能であるその場合、ある位置へのカバーの摺動そのような一実施形態を示す。
いくつかの実施形態では、最も外側のレンズの一部分が、カメラデバイスの前面からカメラデバイスの表面を越えて延在し得るが、最も外側のレンズは、一般に、仮にあったとしても、カメラの厚さよりも小さい少量延在する。したがって、使用中ですら、レンズは、光学チェーンが取り付けられるカメラデバイスの面を著しく越えないように、通常、多くてもカメラデバイスの半分の厚さよりも小さく延在する。
すべてではないとしても多くの場合、写真を撮影するために使用されるカメラデバイスの光学チェーンモジュールのうちの１つまたは複数によってキャプチャされた現実世界の物体および／またはシーンを表す画像は、コンピュータ可読媒体たとえばＲＡＭもしくは他のメモリデバイス上にデジタル形式で保存され、および／または紙もしくは別の印刷可能媒体に印刷された画像の形で格納される。
静止画像キャプチャの文脈で説明されているが、本発明のカメラデバイスおよび光学チェーンモジュールはビデオをキャプチャするためにも使用可能であることを理解されたい。いくつかの実施形態では、ビデオシーケンスがキャプチャされ、ユーザは、たとえばビデオシーケンス内の、シーケンスのフレームに示される物体を、フォーカスエリアとして選択することができ、次いで、カメラデバイスは、光学チェーンモジュールを使用して１つまたは複数の画像をキャプチャする。いくつかの実施形態では、画像は、１つまたは複数の画像たとえばフレームを生成するために結合する。結合された画像たとえばフレームのシーケンスは生成され得、いくつかの実施形態では、生成され、たとえば、いくつかまたはすべての個々のフレームは、同時にキャプチャされた複数の画像に対応するが、異なるフレームは、異なる時間にキャプチャされた画像に対応する。
異なる光学チェーンモジュールは、異なる量の光ために、をキャプチャするいくつかの実施形態では異なる露光時間を使用してように制御され得、場合によっては、制御され、キャプチャされた画像は、その後、単一の露光時間を使用して達成されるであろうよりも大きいダイナミックレンジを有する画像を作り出すために結合され、同じまたは類似の効果は、同じ露光時間を有する異なる光学チェーン上での異なるフィルタの使用によって達成され得、いくつかの実施形態では、達成される。たとえば、同じ露光時間であるが異なるフィルタを使用することによって、異なる光学チェーンモジュールのセンサは、異なる量の光が通過することを可能にする異なるフィルタにより異なる量の光を感知する。そのような一実施形態では、光学チェーンの露光時間は、同じ色に対応する異なる光学チェーンモジュールに対応する少なくともいくつかのフィルタが、異なる量の光が通過することを可能にすることによって、同じに保持される。カラーではない実施形態では、異なる暗さレベルの中性フィルタが、カラーフィルタリングされないセンサの前に使用される。いくつかの実施形態では、異なる暗さレベルのフィルタモードへの切り換えが、１つまたは複数の光学チェーンモジュール内の所定の位置に所望のフィルタを移動させるフィルタプラッタの単純な回転または移動によって達成される。
本発明のカメラデバイスは、複数の動作のモードと、異なる動作のモード間の切り換えとをサポートする。異なるモードは、エリアごとの異なる数の複数のレンズ、および／またはシーンエリアを並行してキャプチャするために使用される異なる光学チェーンのための異なる露光時間を使用してよい。異なる露光モードおよびフィルタモードもサポートされ、たとえばユーザ入力に基づいて、切り換えられてよい。
多数の追加変形形態および組み合わせが、本発明の範囲内にとどまりながら、可能である。
いくつかの実施形態で実施されるカメラは、使用中にカメラの前面を超えて延在せず、ポータブルハンドヘルドカメラまたはカメラを含むデバイスとして実施される、光学チェーンを有する。そのようなデバイスは、比較的平坦な前面を有し得、いくつかの実施形態では、これを有し、最も外側のレンズまたは透明な光学チェーンの覆いが固定される。しかしながら、他の実施形態では、レンズおよび／または光学チェーンの他の要素は、カメラデバイスの面を越えて延在し得、場合によっては、延在する。
さまざまな実施形態では、カメラデバイスは、本発明の方法を実施するために、および／またはキャプチャされた画像もしくは生成された合成画像を格納または表示のために他のデバイスに移送するために、デジタルカメラ、ビデオカメラ、ノートブックコンピュータ、携帯情報端末（ＰＤＡ）、または受信機／送信機回路とロジックおよび／またはルーチンとを含む他のポータブルデバイスとして実施される。
本発明の技法は、ソフトウェア、ハードウェア、および／またはソフトウェアとハードウェアの組合せを使用して実施され得る。本発明は、装置、たとえば、たとえば、ハンドヘルドカメラデバイス、カメラを含むラップトップデバイス、カメラを含むパッドデバイス、カメラを含む携帯電話などの、１つまたは複数の形をしたカメラデバイスを対象とし、ここで、カメラは１つまたは複数の光学チェーンを含み得る。本発明による、方法、たとえば制御する方法、および／もしくはカメラデバイス、ならびに／またはそのようなカメラデバイスによってキャプチャされた画像を処理する方法も対象とする。本発明はまた、本発明による１つまたは複数のステップを実施するように、機械、たとえば、プロセッサとメモリと少なくとも１つの光学チェーンとを含むカメラデバイスを制御するための機械可読命令を含む、機械可読媒体、たとえば、ＲＯＭ、ＲＡＭ、ＣＤ、ハードディスクなどを対象とする。本発明はまた、本発明により１つまたは複数の画像を処理し、１つまたは複数の合成画像を生成するための後処理システムを対象とする。
さまざまな実施形態では、本明細書で説明されるデバイスは、本発明の１つまたは複数の方法に対応するステップ、たとえば、画像キャプチャの制御および／または画像の結合を実行するために、１つまたは複数のモジュールを使用して実施される。したがって、いくつかの実施形態では、本発明のさまざまな特徴が、モジュールを使用して実施される。そのようなモジュールは、ソフトウェア、ハードウェア、および／またはソフトウェアとハードウェアの組合せを使用して実施され得る。ハードウェア実装形態の場合、ハードウェア内で実施される実施形態は、モジュール単独として、または他のハードウェア要素と組み合わせて、回路を使用し得る。上記で説明された方法または方法ステップの多くは、たとえば１つまたは複数のノード内で、上記で説明された方法のすべてまたは一部分を実施するように、機械、たとえば、追加ハードウェアを持つまたは持たないカメラデバイスまたは汎用コンピュータを制御するために、メモリデバイス、たとえば、ＲＡＭ、フロッピー（登録商標）ディスクなどの機械可読媒体に含まれる、ソフトウェアなどの機械実行可能命令を使用して実施可能である。したがって、とりわけ、本発明は、機械、たとえば、プロセッサおよび関連ハードウェアに、上記で説明された方法のステップのうちの１つもしくは複数を実行させる、または、上記で説明された方法のステップのうちのたとえば１つもしくは複数もしくはすべてを実行するように機械を制御するための、機械実行可能命令を含む機械可読媒体を対象とする。
カメラの文脈で説明されているが、本発明の方法および装置のうちの少なくともいくつかは、タブレットを含む広範囲の画像キャプチャシステムおよび画像キャプチャ機能をサポートまたは提供する携帯電話デバイスに適用可能である。
本明細書で説明されるカメラデバイスによってキャプチャされる画像は、工事現場に関する、事故における、および／または家屋の状況に関する情報であろうと乗り物の状況に関する情報であろうと個人情報を保存するための、状況を文書化するために有用な、現実世界の画像であってよい。
キャプチャされる画像および／または合成画像は、カメラデバイス上で表示され得、または個人記録もしくは業務記録の一部としてファイル内に維持可能な写真もしくは永久文書として印刷するためにプリンタに送られ得、場合によっては、表示され、送られる。
上記で説明される本発明の方法および装置に関する多数の追加の変形形態は、本発明の上記の説明に鑑みて、当業者には明らかであろう。そのような変形形態は、本発明の範囲内であると考えられるべきである。さまざまな実施形態では、カメラデバイスは、本発明の方法を実施するために、および／またはキャプチャされた画像もしくは生成された合成画像を格納または表示のために他のデバイスに移送するために、デジタルカメラ、ビデオカメラ、ノートブックコンピュータ、携帯情報端末（ＰＤＡ）、または受信機／送信機回路とロジックおよび／またはルーチンとを含む他のポータブルデバイスとして実施される。

Claims (86)

  1. 第１の焦点距離と第１の非円形のレンズとを有する第１の光学チェーンと、
    第２の焦点距離と第２のレンズとを有する第２の光学チェーンと
    を備えるカメラデバイス。
  2. 前記第２のレンズが第２の非円形のレンズである、請求項１に記載のカメラデバイス。
  3. 第３の焦点距離を有し、丸いレンズを含む第３の光学チェーンをさらに備え、前記第３の焦点距離が前記第１の焦点距離または前記第２の焦点距離よりも小さい、請求項２に記載のカメラデバイス。
  4. 前記第１の非円形のレンズが、第１の方向に垂直な第２の方向においてよりも前記第１の方向において長く、
    ここにおいて、前記第２の非円形のレンズが第４の方向においてよりも第３の方向において長く、前記第４の方向が前記第３の方向に垂直であり、前記第１の方向と前記第３の方向が異なる、請求項３に記載のカメラデバイス。
  5. 前記第１の方向が第１の平面内に延在し、ここにおいて、前記第３の方向が前記第１の平面と同じ平面内にある、請求項４に記載のカメラデバイス。
  6. 前記第１の平面が前記カメラデバイスの前面と平行である、請求項５に記載のカメラデバイス。
  7. 前記第１の方向と前記第３の方向が互いに垂直である、請求項５に記載のカメラデバイス。
  8. 第４の焦点距離と第３の非円形のレンズとを有する第４の光学チェーンをさらに備え、前記第４の焦点距離が前記第３の焦点距離よりも大きく、
    ここにおいて、前記第３の非円形のレンズが、第６の方向においてよりも第５の方向において長く、前記第６の方向が前記第５の方向に垂直であり、前記第１の方向と前記第３の方向と前記第５の方向が少なくとも２０度異なる、
    請求項５に記載のカメラデバイス。
  9. 前記第１の非円形のレンズが、第１の方向に垂直な第２の方向においてよりも前記第１の方向において長く、前記第１の非円形のレンズが、前記カメラの奥行きよりも大きい量、前記第１の方向に延在する、請求項２に記載のカメラデバイス。
  10. 前記第１の光学チェーンが第１のセンサを含み、
    ここにおいて、前記第２の光学チェーンが第２のセンサを含み、
    ここにおいて、前記カメラデバイスが、合成画像を生成する目的で前記第１のセンサおよび前記第２のセンサによってキャプチャされた画像を結合するために前記第１のセンサおよび前記第２のセンサに結合されたプロセッサをさらに備える、
    請求項２に記載のカメラデバイス。
  11. 前記第１の光学チェーンが、前記カメラデバイスの前記奥行きよりも大きい量、少なくとも１つの方向に延在する第１の光方向変換要素を含み、
    ここにおいて、前記第２の光学チェーンが、前記カメラデバイスの前記奥行きよりも大きい量、少なくとも１つの方向に延在する第２の光方向変換要素を含む、請求項１０に記載のカメラデバイス。
  12. 前記第１の焦点距離および前記第２の焦点距離が７０ｍｍに等しいかまたはこれよりも大きく、前記第３の焦点距離が７０ｍｍよりも小さい、請求項１１に記載のカメラデバイス。
  13. 前記第１のセンサおよび前記第２のセンサが同じ数の画素を有し、
    ここにおいて、前記第３の光学チェーンが、前記第１のセンサおよび前記第２のセンサと同じ数の画素を有する第３のセンサを含む、
    請求項１０に記載のカメラデバイス。
  14. 円形のレンズを含む複数の追加の光学チェーンをさらに備え、前記追加の光学チェーンの各々が、前記第１の光学チェーンよりも小さい焦点距離を有する円形のレンズを含む、
    請求項１３に記載のカメラデバイス。
  15. コンピュータ実行可能命令を備える非一時的なコンピュータ可読媒体であって、
    プロセッサによって実行されるとき、第１の時間期間中に第１の画像をキャプチャするようにカメラの第１の光学チェーンを制御する命令と、前記第１の光学チェーンが第１の焦点距離と第１の非円形のレンズとを有する、
    前記プロセッサによって実行されるとき、前記第１の時間期間中に第２の画像をキャプチャするように前記カメラの第２の光学チェーンを制御する命令と、前記第２の光学チェーンが第２の焦点距離と第２のレンズとを有する、
    を備える非一時的なコンピュータ可読媒体。
  16. 前記第２のレンズが第２の非円形のレンズである、請求項１５に記載の非一時的なコンピュータ可読媒体。
  17. カメラを動作させる方法であって、
    第１の時間期間中に前記カメラの第１の光学チェーンを使用して第１の画像をキャプチャすることと、前記第１の光学チェーンが第１の焦点距離と第１の非円形のレンズとを有する、
    前記第１の時間期間中に前記カメラの第２の光学チェーンを使用して第２の画像をキャプチャすることと、前記第２の光学チェーンが第２の焦点距離と第２のレンズとを有する、
    を備える方法。
  18. 前記第２のレンズが第２の非円形のレンズである、請求項１７に記載の方法。
  19. 第３の焦点距離を有し丸いレンズを含む第３の光学チェーンを使用して第３の画像をキャプチャすることをさらに備え、前記第３の焦点距離が前記第１の焦点距離または前記第２の焦点距離よりも小さい、
    請求項１８に記載の方法。
  20. 前記第１の非円形のレンズが、第１の方向に垂直な第２の方向においてよりも前記第１の方向において長く、
    ここにおいて、前記第２の非円形のレンズが第４の方向においてよりも第３の方向において長く、前記第４の方向が前記第３の方向に垂直であり、前記第１の方向と前記第３の方向が異なる、請求項１９に記載の方法。
  21. 第４の焦点距離と第３の非円形のレンズとを有する第４の光学チェーンを使用して第４の画像をキャプチャすることをさらに備え、前記第４の焦点距離が前記第３の焦点距離よりも大きく、
    ここにおいて、前記第３の非円形のレンズが、第６の方向においてよりも第５の方向において長く、前記第６の方向が前記第５の方向に垂直であり、前記第１の方向と前記第３の方向と前記第５の方向が少なくとも２０度異なる、
    請求項２０に記載の方法。
  22. 前記第１の光学チェーンが第１のセンサを含み、
    ここにおいて、前記第２の光学チェーンが第２のセンサを含み、
    ここにおいて、前記方法が、合成画像を生成するために前記第１のセンサおよび前記第２のセンサによってキャプチャされた画像を結合することをさらに備える、
    請求項１８に記載の方法。
  23. 円形のレンズを含む複数の追加の光学チェーンを使用して追加の画像をキャプチャすることをさらに備え、前記追加の光学チェーンの各々が、前記第１の光学チェーンよりも小さい焦点距離を有する円形のレンズを含む、
    請求項２２に記載の方法。
  24. 厚さＤを有する前表面と後表面とを含むカメラハウジングと、ここで、Ｄは前記前表面と前記後表面との距離である、
    ｉ）第１の光方向変換デバイスと、ｉｉ）非円形の絞りを有する第１のレンズと、ｉｉｉ）センサとを含む、前記カメラハウジング内の第１の光学チェーンと、前記第１の光学チェーンが、前記光方向変換デバイスの前の第１の光軸部分と前記光方向変換デバイスから前記センサまで延在する第２の光軸部分とを含む光軸を有し、前記第１のレンズが前記第２の光軸部分上にある、
    を備えるカメラデバイス。
  25. 前記非円形の絞りが、前記カメラの前記厚さの方向に沿って第１の方向においてＤ以下の長さと、前記第１の方向に垂直な第２の方向に沿ってＤよりも大きい長さとを有する、請求項２４に記載のカメラデバイス。
  26. ｉ）第２の光方向変換デバイスと、ｉｉ）第２の非円形の絞りを有する第２のレンズと、ｉｉｉ）第２のセンサとを含む、前記カメラハウジング内の第２の光学チェーンをさらに備え、前記第２の光学チェーンが、前記第２の光方向変換デバイスの前の第３の光軸部分と前記第２の光方向変換デバイスから前記第２のセンサまで延在する第４の光軸部分とを含む光軸を有し、前記第２の非円形の絞りが、前記カメラの前記厚さに沿って前記第１の方向においてＤ以下の長さと、前記カメラの前記厚さの方向に垂直な第３の方向に沿ってＤよりも大きい長さを有し、前記第２の方向と前記第３の方向が異なる、
    請求項２５に記載のカメラデバイス。
  27. 前記第２の方向と前記第３の方向が互いに対して９０度の角度をなす、請求項２６に記載のカメラデバイス。
  28. ｉ）第３の光方向変換デバイスと、ｉｉ）第３の非円形の絞りを有する第３のレンズと、ｉｉｉ）第３のセンサとを含む第３の光学チェーンをさらに備え、前記第３の光学チェーンが、前記第３の光方向変換デバイスの前の第５の光軸部分と前記第３の光方向変換デバイスから前記第３のセンサまで延在する第６の光軸部分とを含む光軸を有し、前記第３の非円形の絞りが、前記カメラの前記厚さに沿って前記第１の方向においてＤ以下の長さと、前記カメラの前記厚さの方向に垂直な第４の方向に沿ってＤよりも大きい長さとを有し、前記第１の方向と前記第２の方向と前記第３の方向が異なる、
    請求項２６に記載のカメラデバイス。
  29. 前記第２の方向と前記第３の方向が互いに対して９０度の角度をなし、ここにおいて、前記第２の方向と前記第４の方向が互いに対して３０度から６０度の間の角度をなす、請求項２８に記載のカメラデバイス。
  30. 前記第１の光方向変換デバイスが鏡である、請求項２５に記載のカメラデバイス。
  31. 前記光方向変換デバイスがプリズムである、請求項２５に記載のカメラデバイス。
  32. 前記第１の光方向変換デバイスが、光を９０度方向変換する、４５度の角度がつけられた平面鏡である、請求項２５に記載のカメラデバイス。
  33. 厚さＤを有する前表面と後表面とを含むカメラハウジングを含むカメラデバイスを動作させる方法であって、ここで、Ｄは前記前表面と前記後表面との距離である方法において、
    前記カメラハウジング内の第１の光学チェーンを使用して第１の画像をキャプチャすることと、前記第１の光学チェーンが、ｉ）第１の光方向変換デバイスと、ｉｉ）非円形の絞りを有する第１のレンズと、ｉｉｉ）センサとを含み、前記第１の光学チェーンが、前記光方向変換デバイスの前の第１の光軸部分と前記光方向変換デバイスから前記センサまで延在する第２の光軸部分とを含む光軸を有し、前記第１のレンズが前記第２の光軸部分上にある、
    キャプチャされた画像をメモリに格納することと
    を備える方法。
  34. 前記非円形の絞りが、前記カメラの前記厚さの方向に沿って第１の方向においてＤ以下の長さと、前記第１の方向に垂直な第２の方向に沿ってＤよりも大きい長さとを有する、請求項３３に記載の方法。
  35. 前記カメラハウジング内の第２の光学チェーンを使用して第２の画像をキャプチャすること、前記第２の光学チェーンが、ｉ）第２の光方向変換デバイスと、ｉｉ）第２の非円形の絞りを有する第２のレンズと、ｉｉｉ）第２のセンサとを含み、前記第２の光学チェーンが、前記第２の光方向変換デバイスの前の第３の光軸部分と前記第２の光方向変換デバイスから前記第２のセンサまで延在する第４の光軸部分とを含む光軸を有し、前記第２の非円形の絞りが、前記カメラの前記厚さに沿って前記第１の方向においてＤ以下の長さと、前記カメラの前記厚さの方向に垂直な第３の方向に沿ってＤよりも大きい長さとを有し、前記第２の方向と前記第３の方向が異なる、
    をさらに備える、請求項３４に記載の方法。
  36. 前記第２の方向と前記第３の方向が互いに対して９０度の角度をなす、請求項３５に記載の方法。
  37. 第３の光学チェーンを使用して第３の画像をキャプチャすること、前記第３の光学チェーンが、ｉ）第３の光方向変換デバイスと、ｉｉ）第３の非円形の絞りを有する第３のレンズと、ｉｉｉ）第３のセンサとを含み、前記第３の光学チェーンが、前記第３の光方向変換デバイスの前の第５の光軸部分と前記第３の光方向変換デバイスから前記第３のセンサまで延在する第６の光軸部分とを含む光軸を有し、前記第３の非円形の絞りが、前記カメラの前記厚さに沿って前記第１の方向においてＤ以下の長さと、前記カメラの前記厚さの方向に垂直な第４の方向に沿ってＤよりも大きい長さとを有し、前記第１の方向と前記第２の方向と前記第３の方向が異なる、
    をさらに備える、請求項３５に記載の方法。
  38. 前記第２の方向と前記第３の方向が互いに対して９０度の角度をなし、ここにおいて、互いに対して３０度から６０度の間の角度をなす前記第２の方向および前記第４の方向のエリア、請求項３７に記載の方法。
  39. 厚さＤを有する前表面と後表面とを含むカメラハウジングを含むカメラデバイスを制御するためのコンピュータ実行可能命令を備える非一時的なコンピュータ可読媒体であって、ここで、Ｄは前記前表面と前記後表面との距離である非一時的なコンピュータ可読媒体において、
    プロセッサによって実行されるとき、画像をキャプチャするように前記カメラハウジング内の第１の光学チェーンを制御する命令と、前記第１の光学チェーンが、ｉ）第１の光方向変換デバイスと、ｉｉ）非円形の絞りを有する第１のレンズと、ｉｉｉ）センサとを含み、前記第１の光学チェーンが、前記光方向変換デバイスの前の第１の光軸部分と前記光方向変換デバイスから前記センサまで延在する第２の光軸部分とを含む光軸を有し、前記第１のレンズが前記第２の光軸部分上にある、
    前記プロセッサによって実行されるとき、メモリにおけるキャプチャされた画像の格納を制御する命令と
    を備える非一時的なコンピュータ可読媒体。
  40. 前記非円形の絞りが、前記カメラの前記厚さの方向に沿って第１の方向においてＤ以下の長さと、前記第１の方向に垂直な第２の方向に沿ってＤよりも大きい長さとを有する、請求項３９に記載の非一時的なコンピュータ可読媒体。
  41. カメラの第１の光学チェーンを使用して、関心シーンエリアの第１の部分の第１の画像をキャプチャすることと、前記第１の光学チェーンが第１の光軸と第１の最も外側のレンズとを有する、
    前記カメラの第２の光学チェーンを使用して、前記関心シーンエリアの第２の部分の第２の画像をキャプチャすることと、前記第２の光学チェーンが、前記第１の光軸と平行でない第２の光軸と、前記第１の最も外側のレンズと異なる第２の最も外側のレンズとを有する、
    を備える、画像をキャプチャする方法。
  42. 前記カメラの第３の光学チェーンを使用して、第３の画像をキャプチャすることをさらに備え、前記第３の光学チェーンが、前記第１の光学チェーンまたは前記第２の光学チェーンのうちの少なくとも１つよりも小さい焦点距離を有する、
    請求項４１に記載の方法。
  43. 前記第１の光学チェーンと前記第２の光学チェーンが同じ焦点距離を有する、請求項４２に記載の方法。
  44. 前記第３の光学チェーンを使用してキャプチャされた前記第３の画像が前記関心シーンエリアを含む、
    請求項４２に記載の方法。
  45. 前記第３の光学チェーンが、前記カメラの前面に垂直な第３の光軸を有する、請求項４４に記載の方法。
  46. 前記第１の光学チェーンが、第１のセンサを使用して前記第１の画像をキャプチャし、
    ここにおいて、前記第３の光学チェーンが、第３のセンサを使用して前記第３の画像をキャプチャする、
    請求項４５に記載の方法。
  47. 前記カメラの第４の光学チェーンを使用して第４の画像をキャプチャすることをさらに備え、前記第４の画像が前記関心シーンエリアの第２の画像を含む、
    請求項４５の方法。
  48. 前記第４の光学チェーンが第４の光軸を有し、
    ここにおいて、前記第３の光軸と前記第４の光軸が互いと平行であり、
    ここにおいて、前記第１の光軸または前記第２の光軸と平行でない前記第３の光軸および前記第４の光軸、
    請求項４７に記載の方法。
  49. 少なくとも前記第１の画像と前記第２の画像と前記第３の画像と前記第４の画像とを結合することによって合成画像を生成すること
    をさらに備える、請求項４７に記載の方法。
  50. 前記合成画像が前記関心シーンエリアの合成画像であり、前記合成画像が、前記第１の画像、前記第２の画像、前記第３の画像、および前記第４の画像のうちのいずれもが個々に有するよりも大きい数の画素値を有する、請求項４９に記載の方法。
  51. 前記カメラの第５の光学チェーンを使用して第５の画像をキャプチャすることと、前記第５の画像が前記関心シーンエリアの第３の部分の画像であり、前記第５の光学チェーンが第５の光軸を有し、前記第５の光軸が前記第１の光軸および前記第２の光軸と平行でない、
    前記カメラの第６の光学チェーンを使用して第６の画像をキャプチャすることと、前記第６の画像が前記関心シーンエリアの第４の部分の画像であり、前記第６の光学チェーンが第６の光軸を有し、前記第６の光軸が前記第１の光軸、前記第２の光軸、または前記第５の光軸と平行でない、
    をさらに備える、請求項４７に記載の方法。
  52. 前記第１の画像、前記第２の画像、前記第５の画像、および前記第６の画像が各々、第１の数の画素値を有し、ここにおいて、前記方法が、
    少なくとも前記第１の画像、前記第２の画像、前記第３の画像、前記第４の画像、前記第５の画像、および前記第６の画像から合成画像を生成することをさらに備え、前記合成画像が、前記第１の数の画素値の３倍よりも大きいが前記第１の数の画素値の６倍よりも小さい数の画素値を有する、
    請求項５１に記載の方法。
  53. 前記合成画像が、前記合成画像を生成するために結合された画素値の数の総和から生じる画素値の数よりも小さい数の画素値を含む、請求項５２に記載の方法。
  54. 前記第１の光学チェーンと同じ焦点距離を有する前記カメラの第７の光学チェーンを使用して第７の画像をキャプチャすることをさらに備え、前記第７の光学チェーンは前記カメラの面に垂直な光軸を有する、請求項５１に記載の方法。
  55. 第１の光軸と第１の最も外側のレンズとを有する第１の光学チェーンと、
    前記第１の光軸と平行でない第２の光軸と、前記第１の最も外側のレンズと異なる第２の最も外側のレンズとを有する第２の光学チェーンと
    を備えるカメラ。
  56. 第３の光学チェーンをさらに備え、前記第３の光学チェーンが、前記第１の光学チェーンまたは前記第２の光学チェーンのうちの少なくとも１つよりも小さい焦点距離を有する、
    請求項５５に記載のカメラ。
  57. 前記第３の光学チェーンが、前記カメラの前面に垂直な第３の光軸を有し、
    ここにおいて、前記第３の光学チェーンの前記焦点距離が前記第１の光学チェーンおよび前記第２の光学チェーンの前記焦点距離よりも小さい、
    請求項５６に記載のカメラ。
  58. 前記第１の光学チェーンが、第１の画像をキャプチャする際に使用される第１のセンサを含み、
    ここにおいて、前記第３の光学チェーンが、第３の画像をキャプチャする際に使用される第３のセンサを含む、
    請求項５７に記載のカメラ。
  59. 第４の光軸を有する第４の光学チェーン
    をさらに備え、ここにおいて、前記第３の光軸と前記第４の光軸が互いと平行であり、
    ここにおいて、前記第３の光軸および前記第４の光軸は、前記第１の光軸または前記第２の光軸と平行でない、
    請求項５７に記載のカメラ。
  60. 第１の光学チェーンによってキャプチャされた少なくとも前記第１の画像と、前記第２の光学チェーンによってキャプチャされた第２の画像と、前記第３の光学チェーンによってキャプチャされた第３の画像と、前記第４の光学チェーンによってキャプチャされた第４の画像とを結合することによって合成画像を生成するように構成されたプロセッサをさらに備え、前記第１の画像が関心シーンエリアの第１の部分の画像であり、前記第２の画像が前記関心シーンエリアの第２の部分の画像であり、前記第３の画像が前記関心シーンエリアの画像であり、前記第４の画像が前記関心シーンエリアの第２の画像を含む、
    請求項５９に記載のカメラ。
  61. 前記第１の光軸および前記第２の光軸と平行でない第５の光軸を有する第５の光学チェーンと、
    第６の光軸を有する第６の光学チェーンと、前記第６の光軸が前記第１の光軸、前記第２の光軸、または前記第５の光軸と平行でない、
    をさらに備え、
    ここにおいて、前記第１の画像、前記第２の画像、前記第５の画像、および前記第６の画像が各々、第１の数の画素値を有し、
    ここにおいて、前記プロセッサが、少なくとも前記第１の画像、前記第２の画像、前記第３の画像、前記第４の画像、前記第５の光学チェーンによってキャプチャされた第５の画像、および前記第６の光学チェーンによってキャプチャされる第６の画像から前記合成画像を生成するようにさらに構成され、前記第５の画像が前記関心シーンエリアの第３の部分の画像であり、前記第６の画像が前記関心シーンエリアの第４の部分の画像であり、前記合成画像が、前記第１の数の画素値の３倍よりも大きいが前記第１の数の画素値の６倍よりも小さい数の画素値を有する、
    請求項６０に記載のカメラ。
  62. 非一時的なコンピュータ可読媒体を備えるコンピュータ実行可能命令であって、
    プロセッサによって実行されるとき、関心シーンエリアの第１の部分の第１の画像をキャプチャするようにカメラの第１の光学チェーンを制御する命令と、前記第１の光学チェーンが第１の光軸と第１の最も外側のレンズとを有する、
    前記プロセッサによって実行されるとき、前記関心シーンエリアの第２の部分の第２の画像をキャプチャするように前記カメラの第２の光学チェーンを制御する命令と、前記第２の光学チェーンが、前記第１の光軸と平行でない第２の光軸と、前記第１の最も外側のレンズと異なる第２の最も外側のレンズとを有する、
    を備える非一時的なコンピュータ可読媒体。
  63. 前記プロセッサによって実行されるとき、第３の画像をキャプチャするように前記カメラの第３の光学チェーンを制御する命令、前記第３の光学チェーンが、前記第１の光学チェーンまたは前記第２の光学チェーンのうちの少なくとも１つよりも小さい焦点距離を有し、前記第３の画像が前記関心シーンエリアを含む、
    をさらに備える、請求項６２に記載の非一時的なコンピュータ可読媒体。
  64. カメラの第１の光学チェーンを使用して関心シーンエリアの第１の画像をキャプチャすることと、前記第１の光学チェーンが第１の焦点距離を有する、
    前記カメラの第２の光学チェーンを使用して第２のシーンエリアの第２の画像をキャプチャすることと、前記第２のシーンエリアが前記関心シーンエリアの第１の部分であり、前記第２の光学チェーンが、前記第１の焦点距離よりも大きい第２の焦点距離を有する、
    前記第１の画像と前記第２の画像と前記第３の画像とを格納または出力することと
    を備える、画像をキャプチャする方法。
  65. 前記カメラの第３の光学チェーンを使用して、前記関心シーンエリアの第２の部分である第３のシーンエリアの第３の画像をキャプチャすることをさらに備え、前記第３の光学チェーンが、前記第１の焦点距離よりも大きい第３の焦点距離を有し、前記第３のシーンエリアの少なくとも一部分が前記第２のシーンエリアと重複しない、
    請求項６４に記載の方法。
  66. 少なくとも前記第１のキャプチャされた画像、前記第２のキャプチャされた画像、および前記第３のキャプチャされた画像から合成画像を生成すること
    をさらに備える、請求項６５に記載の方法。
  67. 前記キャプチャされた画像のうちの少なくとも２つに含まれる前記関心シーンエリアの一部分に関する奥行き情報を生成すること
    をさらに備え、
    ここにおいて、前記合成画像を生成することが前記奥行き情報の関数として実行される、
    請求項６６に記載の方法。
  68. 第４の焦点距離を有する第４の光学チェーンを使用して、前記関心シーンエリアのものである第４の画像をキャプチャすることをさらに備え、前記第４の焦点距離が前記第１の焦点距離に等しいかまたはこれよりも小さい、
    請求項６５に記載の方法。
  69. 前記第１の焦点距離よりも大きい第５の焦点距離を有する第５の光学チェーンを使用して、前記関心シーンエリアの第３の部分である第５のシーンエリアの第５の画像をキャプチャすることをさらに備える、
    請求項６８に記載の方法。
  70. 前記第１の焦点距離よりも大きい第６の焦点距離を有する第６の光学チェーンを使用して、前記関心シーンエリアの第４の部分である第６のシーンエリアの第６の画像をキャプチャすることをさらに備える
    請求項６９に記載の方法。
  71. 前記第２の焦点距離と、前記第３の焦点距離と、前記第５の焦点距離と、前記第６の焦点距離が同じである、請求項７０に記載の方法。
  72. 前記第１の焦点距離と前記第４の焦点距離が同じである、請求項７１に記載の方法。
  73. 前記第２のシーンエリア、前記第３のシーンエリア、前記第５のシーンエリア、および前記第６のシーンエリアの合併が前記関心シーンエリアを含む、請求項７２に記載の方法。
  74. 前記第１の焦点距離よりも大きい第７の焦点距離を有する第７の光学チェーンを使用して、前記関心シーンエリアの中心にある第７のシーンエリアの第７の画像をキャプチャすることをさらに備える
    請求項７３に記載の方法。
  75. 前記第７の焦点距離が前記第２の焦点距離、前記第３の焦点距離、前記第５の焦点距離、および前記第６の焦点距離と同じである、請求項７４に記載の方法。
  76. 第１の焦点距離を有する第１の光学チェーンと、
    前記第１の焦点距離よりも大きい第２の焦点距離を有する第２の光学チェーンと
    を備えるカメラ。
  77. 前記第１の焦点距離よりも大きい第３の焦点距離を有する第３の光学チェーン
    をさらに備える、請求項７６に記載のカメラ。
  78. 前記第１の光学チェーンによってキャプチャされた関心シーンエリアの少なくとも第１の画像、前記第２の光学チェーンを使用してキャプチャされた前記関心シーンエリアの第１の部分である第２のシーンエリアの第２の画像、および前記第３の光学チェーンを使用してキャプチャされた第３のシーンエリアの第３の画像から合成画像を生成するように構成されたプロセッサと、前記第３のシーンエリアが前記関心シーンエリアの第２の部分であり、前記第３のシーンエリアの少なくとも一部分が前記第２のシーンエリアと重複しない、
    前記第１の画像と、前記第２の画像と、前記第３の画像とを格納するように構成されたメモリと
    をさらに備える、請求項７７に記載のカメラ。
  79. 前記プロセッサが、前記キャプチャされた画像のうちの少なくとも２つに含まれる前記関心シーンエリアの一部分に関する奥行き情報を生成するようにさらに構成され、
    ここにおいて、前記プロセッサが、前記奥行き情報の関数として前記合成画像を生成するようにさらに構成される、
    をさらに備える、請求項７８に記載のカメラ。
  80. 第４の焦点距離を有する第４の光学チェーンをさらに備え、前記第４の焦点距離が前記第１の焦点距離に等しいかまたはこれよりも小さい、
    請求項７７に記載のカメラ。
  81. 前記第１の焦点距離よりも大きい第５の焦点距離を有する第５の光学チェーンと、
    前記第１の焦点距離よりも大きい第６の焦点距離を有する第６の光学チェーンと
    をさらに備える、請求項８０に記載のカメラ。
  82. 前記第２の焦点距離と前記第３の焦点距離と前記第５の焦点距離と前記第６の焦点距離が同じであり、ここにおいて、前記第１の焦点距離と前記第４の焦点距離が同じである、請求項８１に記載のカメラ。
  83. 前記第５の光学チェーンが、第５のシーンエリアの第５の画像をキャプチャするために使用され、前記第５のシーンエリアが前記関心シーンエリアの第３の部分であり、
    ここにおいて、前記第６の光学チェーンが、第６のシーンエリアの第６の画像をキャプチャするために使用され、前記第６のシーンエリアが前記関心シーンエリアの第４の部分であり、
    ここにおいて、前記第２のシーンエリア、前記第３のシーンエリア、前記第５のシーンエリア、および前記第６のシーンエリアの合併が前記関心シーンエリアを含む、
    請求項８２に記載のカメラ。
  84. 前記第１の焦点距離よりも大きい第７の焦点距離を有する第７の光学チェーンをさらに備え、前記第７の光学チェーンは第７のシーンエリアの第７の画像をキャプチャするために使用され、前記第７のシーンエリアが前記関心シーンエリアの中心にある、
    請求項８３に記載のカメラ。
  85. コンピュータ実行可能命令を備える非一時的なコンピュータ可読媒体であって、
    プロセッサによって実行されるとき、関心シーンエリアの第１の画像をキャプチャするようにカメラの第１の光学チェーンを制御する命令と、前記第１の光学チェーンが第１の焦点距離を有する、
    前記プロセッサによって実行されるとき、第２のシーンエリアの第２の画像をキャプチャするように前記カメラの第２の光学チェーンを制御する命令と、前記第２の光学チェーンが、前記第１の焦点距離よりも大きい第２の焦点距離を有し、前記第２のシーンエリアが前記関心シーンエリアの第１の部分である、
    前記プロセッサによって実行されるとき、前記第１のキャプチャされた画像と、前記第２のキャプチャされた画像と、前記第３のキャプチャされた画像とをメモリに格納するように前記プロセッサを制御する命令と
    を備える非一時的なコンピュータ可読媒体。
  86. 前記プロセッサによって実行されるとき、第３のシーンエリアの第３の画像をキャプチャするように第３の光学チェーンを制御する命令をさらに備え、前記第３の光学チェーンが第３の焦点距離を有し、前記第３の焦点距離が前記第１の焦点距離よりも大きく、前記第３のシーンエリアが前記関心シーンエリアの第２の部分であり、前記第３のシーンエリアの少なくとも一部分が前記第２のシーンエリアと重複しない、
    請求項８５に記載の非一時的なコンピュータ可読媒体。
JP2016524434A 2013-10-18 2014-10-17 カメラデバイスを実施および／または使用するための方法および装置 Pending JP2016541151A (ja)

Applications Claiming Priority (31)

Application Number Priority Date Filing Date Title
US201361893100P 2013-10-18 2013-10-18
US61/893,100 2013-10-18
US201461978818P 2014-04-11 2014-04-11
US61/978,818 2014-04-11
US201461981849P 2014-04-20 2014-04-20
US61/981,849 2014-04-20
US201462021094P 2014-07-04 2014-07-04
US62/021,094 2014-07-04
US14/327,510 2014-07-09
US14/327,514 2014-07-09
US14/327,517 2014-07-09
US14/327,512 2014-07-09
US14/327,510 US9325906B2 (en) 2013-10-18 2014-07-09 Methods and apparatus relating to a thin camera device
US14/327,492 2014-07-09
US14/327,524 2014-07-09
US14/327,525 2014-07-09
US14/327,492 US9851527B2 (en) 2013-10-18 2014-07-09 Methods and apparatus for capturing and/or combining images
US14/327,508 US9549127B2 (en) 2013-10-18 2014-07-09 Image capture control methods and apparatus
US14/327,514 US9578252B2 (en) 2013-10-18 2014-07-09 Methods and apparatus for capturing images using optical chains and/or for using captured images
US14/327,515 US9563033B2 (en) 2013-10-18 2014-07-09 Methods and apparatus for capturing images and/or for using captured images
US14/327,524 US9423588B2 (en) 2013-10-18 2014-07-09 Methods and apparatus for supporting zoom operations
US14/327,512 US9557519B2 (en) 2013-10-18 2014-07-09 Methods and apparatus for implementing a camera device supporting a number of different focal lengths
US14/327,518 US9557520B2 (en) 2013-10-18 2014-07-09 Synchronized image capture methods and apparatus
US14/327,525 US9197816B2 (en) 2013-10-18 2014-07-09 Zoom related methods and apparatus
US14/327,515 2014-07-09
US14/327,508 2014-07-09
US14/327,517 US9551854B2 (en) 2013-10-18 2014-07-09 Methods and apparatus for controlling sensors to capture images in a synchronized manner
US14/327,518 2014-07-09
US14/516,568 2014-10-16
US14/516,568 US9374514B2 (en) 2013-10-18 2014-10-16 Methods and apparatus relating to a camera including multiple optical chains
PCT/US2014/061254 WO2015058153A1 (en) 2013-10-18 2014-10-17 Methods and apparatus for implementing and/or using a camera device

Publications (1)

Publication Number Publication Date
JP2016541151A true JP2016541151A (ja) 2016-12-28

Family

ID=56365886

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2016524463A Pending JP2016540417A (ja) 2013-10-18 2014-10-17 画像キャプチャ制御方法および装置
JP2016524434A Pending JP2016541151A (ja) 2013-10-18 2014-10-17 カメラデバイスを実施および／または使用するための方法および装置
JP2016524532A Withdrawn JP2016540418A (ja) 2013-10-18 2014-10-17 画像のキャプチャおよび／または結合のための方法および装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016524463A Pending JP2016540417A (ja) 2013-10-18 2014-10-17 画像キャプチャ制御方法および装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2016524532A Withdrawn JP2016540418A (ja) 2013-10-18 2014-10-17 画像のキャプチャおよび／または結合のための方法および装置

Country Status (4)

Country Link
EP (3) EP3058714A4 (ja)
JP (3) JP2016540417A (ja)
KR (1) KR20160075583A (ja)
CN (3) CN105830424B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019102889A (ja) * 2017-11-29 2019-06-24 株式会社デンソー カメラシステム
JP2020523625A (ja) * 2017-05-23 2020-08-06 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 複数開口画像化装置、画像化システム、および複数開口画像化装置を提供する方法

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110769149B (zh) 2015-04-23 2021-05-11 苹果公司 用于处理来自多相机的内容的方法、电子设备和存储介质
DE102015215845B4 (de) 2015-08-19 2017-06-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung mit kanalindividueller Einstellbarkeit
US10009536B2 (en) 2016-06-12 2018-06-26 Apple Inc. Applying a simulated optical effect based on data received from multiple camera sensors
KR102558471B1 (ko) * 2016-07-27 2023-07-25 삼성전자주식회사 전자 장치 및 그의 동작 방법
US10984519B2 (en) * 2016-08-03 2021-04-20 Panduit Corp. Method for evaluating the optical insertion loss of a mechanical splice joint of two optical fibers
CN106657801B (zh) * 2016-10-26 2019-05-24 浙江大华技术股份有限公司 一种视频信息采集方法及装置
WO2018077156A1 (en) 2016-10-26 2018-05-03 Zhejiang Dahua Technology Co., Ltd. Systems and methods for exposure control
WO2018154421A1 (en) * 2017-02-23 2018-08-30 Corephotonics Ltd. Folded camera lens designs
DE102017206429A1 (de) * 2017-04-13 2018-10-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
EP3646100B1 (en) * 2017-06-30 2021-08-11 poLight ASA A module with a plurality of cameras for integration in a mobile device
CN107343124B (zh) * 2017-08-08 2020-07-03 信利光电股份有限公司 一种摄像头
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
CN208386734U (zh) * 2018-06-14 2019-01-15 Oppo广东移动通信有限公司 摄像头模组和电子装置
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US10645294B1 (en) 2019-05-06 2020-05-05 Apple Inc. User interfaces for capturing and managing visual media
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
KR102075847B1 (ko) * 2018-11-14 2020-02-10 망고슬래브 주식회사 디지털 메모 생성 및 저장 장치 및 방법
KR101987922B1 (ko) 2019-01-08 2019-06-11 오은실 라이트 셀의 능동적 제어를 통한 자동 이미지 캡쳐 시스템
KR102606345B1 (ko) * 2019-02-25 2023-11-23 코어포토닉스 리미티드 적어도 하나의 2 상태 줌 카메라를 갖는 멀티-애퍼처 카메라
CN111901476B (zh) * 2019-05-06 2022-06-10 苹果公司 用于捕获和管理视觉媒体的用户界面
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
CN112887586B (zh) * 2019-05-06 2022-05-10 苹果公司 用于捕获和管理视觉媒体的用户界面
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
CN112998633B (zh) * 2021-03-03 2022-08-30 重庆金山医疗技术研究院有限公司 一种内窥镜出光量的控制方法及内窥镜系统
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
CN116132824B (zh) * 2023-04-13 2023-06-16 四川新视创伟超高清科技有限公司 一种图像分区转换方法、系统、电子设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006267391A (ja) * 2005-03-23 2006-10-05 Mitsubishi Electric Corp 撮像装置
JP2008129439A (ja) * 2006-11-22 2008-06-05 Fujifilm Corp 複眼撮像装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11311819A (ja) * 1998-04-28 1999-11-09 Olympus Optical Co Ltd カメラの撮影レンズ
JP3463612B2 (ja) * 1999-01-21 2003-11-05 日本電気株式会社 画像入力方法、画像入力装置及び記録媒体
US6829011B1 (en) * 1999-09-02 2004-12-07 Olympus Optical Co., Ltd. Electronic imaging device
JP2003023553A (ja) * 2001-07-06 2003-01-24 Saibuaasu:Kk 遠隔操作カメラおよび画像提供装置
JP2003143459A (ja) * 2001-11-02 2003-05-16 Canon Inc 複眼撮像系およびこれを備えた装置
JP4635550B2 (ja) * 2004-10-04 2011-02-23 株式会社ニコン カメラ
JP2008263251A (ja) * 2005-08-05 2008-10-30 Matsushita Electric Ind Co Ltd 監視カメラ装置
JP4752652B2 (ja) * 2006-07-14 2011-08-17 カシオ計算機株式会社 撮像装置、撮像画像表示方法、及び、プログラム
US20080247745A1 (en) * 2007-04-04 2008-10-09 Nilsson Rene Camera assembly with zoom imaging and method
CN101498821B (zh) * 2008-02-02 2010-12-22 华晶科技股份有限公司 镜头模组以及镜头模组的焦距调整方法
WO2009098877A1 (ja) * 2008-02-06 2009-08-13 Panasonic Corporation 画像処理装置、及び画像処理方法
US8134589B2 (en) * 2008-07-17 2012-03-13 Eastman Kodak Company Zoom by multiple image capture
US9621825B2 (en) * 2008-11-25 2017-04-11 Capsovision Inc Camera system with multiple pixel arrays on a chip
FR2940720B1 (fr) * 2008-12-31 2011-03-18 St Microelectronics Sa Dispositif de saisie d'images comprenant des moyens de correction de mise au point
CN101833157A (zh) * 2009-03-13 2010-09-15 鸿富锦精密工业（深圳）有限公司 相机模组
US8553106B2 (en) * 2009-05-04 2013-10-08 Digitaloptics Corporation Dual lens digital zoom
US20100328471A1 (en) * 2009-06-24 2010-12-30 Justin Boland Wearable Multi-Channel Camera
JP2011138047A (ja) * 2009-12-28 2011-07-14 Olympus Imaging Corp 光路反射型のズームレンズを備えた撮像装置
WO2012089895A1 (en) * 2010-12-31 2012-07-05 Multitouch Oy Rolling shutter compensation in camera array
US9172856B2 (en) * 2011-03-29 2015-10-27 Microsoft Technology Licensing, Llc Folded imaging path camera
US9270875B2 (en) * 2011-07-20 2016-02-23 Broadcom Corporation Dual image capture processing
JP2013143753A (ja) * 2012-01-12 2013-07-22 Olympus Corp 撮像装置
KR20140113923A (ko) * 2012-01-16 2014-09-25 소니 주식회사 고체 촬상 소자 및 카메라 시스템
US20130258044A1 (en) * 2012-03-30 2013-10-03 Zetta Research And Development Llc - Forc Series Multi-lens camera
JP5435104B2 (ja) * 2012-10-26 2014-03-05 ソニー株式会社 情報処理装置、表示装置および情報処理装置の制御方法
WO2015009237A1 (en) * 2013-07-17 2015-01-22 Heptagon Micro Optics Pte. Ltd. Camera module including a non-circular lens

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006267391A (ja) * 2005-03-23 2006-10-05 Mitsubishi Electric Corp 撮像装置
JP2008129439A (ja) * 2006-11-22 2008-06-05 Fujifilm Corp 複眼撮像装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020523625A (ja) * 2017-05-23 2020-08-06 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 複数開口画像化装置、画像化システム、および複数開口画像化装置を提供する方法
US11106047B2 (en) 2017-05-23 2021-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-aperture imaging device, imaging system and method for providing a multi-aperture imaging device
JP7087000B2 (ja) 2017-05-23 2022-06-20 フラウンホッファー－ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ マルチ開口撮像装置、画像化システム、およびマルチ開口撮像装置を提供する方法
JP2019102889A (ja) * 2017-11-29 2019-06-24 株式会社デンソー カメラシステム

Also Published As

Publication number Publication date
JP2016540418A (ja) 2016-12-22
EP3058416A4 (en) 2017-06-07
CN105830424B (zh) 2018-12-11
EP3058714A4 (en) 2017-11-22
CN105829945B (zh) 2019-04-09
CN105830425A (zh) 2016-08-03
EP3058714A1 (en) 2016-08-24
EP3058713A1 (en) 2016-08-24
EP3058713A4 (en) 2017-11-15
CN105830424A (zh) 2016-08-03
EP3058416B1 (en) 2019-11-20
KR20160075583A (ko) 2016-06-29
EP3058713B1 (en) 2021-01-27
JP2016540417A (ja) 2016-12-22
CN105829945A (zh) 2016-08-03
EP3058416A1 (en) 2016-08-24

Similar Documents

Publication Publication Date Title
US11262558B2 (en) Methods and apparatus for implementing and/or using a camera device
US10009530B2 (en) Methods and apparatus for synchronized image capture using camera modules with different focal lengths
EP3058416B1 (en) Methods and apparatus for implementing and/or using a camera device
WO2015058153A1 (en) Methods and apparatus for implementing and/or using a camera device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171016

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181009

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190507