JP2016541151A - カメラデバイスを実施および/または使用するための方法および装置 - Google Patents
カメラデバイスを実施および/または使用するための方法および装置 Download PDFInfo
- Publication number
- JP2016541151A JP2016541151A JP2016524434A JP2016524434A JP2016541151A JP 2016541151 A JP2016541151 A JP 2016541151A JP 2016524434 A JP2016524434 A JP 2016524434A JP 2016524434 A JP2016524434 A JP 2016524434A JP 2016541151 A JP2016541151 A JP 2016541151A
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- optical chain
- focal length
- optical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B17/00—Systems with reflecting surfaces, with or without refracting elements
- G02B17/008—Systems specially adapted to form image relays or chained systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B13/00—Optical objectives specially designed for the purposes specified below
- G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
- G02B13/0055—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element
- G02B13/0065—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element having a beam-folding prism or mirror
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B17/00—Systems with reflecting surfaces, with or without refracting elements
- G02B17/08—Catadioptric systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/04—Prisms
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
- H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/28—Mobile studios
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Cameras In General (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Diaphragms For Cameras (AREA)
- Exposure Control For Cameras (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
複数の光学チェーンを含むカメラデバイスに関する方法および装置が説明される。いくつかの特徴は、カメラデバイスにおいて広範囲の焦点距離をサポートするために異なるレンズ構成を有する光学チェーンを使用することを対象とする。少なくともいくつかの実施形態では、非円形の外側レンズが、大きい焦点距離を有する光学チェーンに使用されるが、より小さい焦点距離を有する同じカメラデバイスの光学チェーンは、丸い外側レンズを使用する。いくつかの特徴は、カメラの少なくとも1つの光学チェーンの外側レンズの最大長よりも小さい奥行きを有するカメラを実施することに関する。平行でない光軸を有する光学チェーンを使用した画像部分の画像キャプチャに関するいくつかの特徴が説明される。いくつかの特徴は、異なる焦点距離を有する光学チェーンを使用した画像部分の画像キャプチャに関する。いくつかの実施形態では、異なる光学チェーンによってキャプチャされたシーンの異なる部分が結合される。【選択図】図46
Description
本出願は、画像をキャプチャ(capture)および生成する方法および装置に関し、より詳細には、複数の光学チェーンを含むカメラデバイスに関連した、および/または、たとえば1つもしくは複数の合成画像を生成するためにカメラデバイスの複数の光学チェーンの出力を処理する、方法および装置に関する。
高品質デジタルカメラは、大部分がフィルムカメラに取って代わっている。しかしながら、フィルムカメラと同様にデジタルカメラでも、カメラ業界によって、カメラ上で使用されるレンズのサイズおよび品質に大きな注目が集められている。品質の良い写真を撮影しようとする人々はさまざまな理由により、大型で嵩高く、多くの場合は高価であるレンズに投資するよう勧められることが多い。大きな絞りのレンズを使用する理由には、より小さな絞りのレンズと比較して大きな絞りのレンズ(aperture lens)が所与の時間期間内で大量の光をキャプチャできるということがある。望遠レンズは、大きな絞りという理由だけでなく、長い焦点距離という理由でも大きくなる傾向がある。一般に、焦点距離が長いほど、レンズも大きい。長い焦点距離は、写真撮影者に、遠く離れたところから写真を撮影する能力を与える。
高品質写真を実現するために、キャプチャ可能な光の量は、多くの場合、最終的な画質にとって重要である。大きな絞りのレンズを有することは、小さいレンズを使用して同じ量の光をキャプチャするために必要とされるであろうよりも短い露光時間の間に大量の光がキャプチャされることを可能にする。短い露光時間の使用は、特に動きのある画像に関して、ぼけを減少させることができる。大量の光をキャプチャできることは、光の少ない状況においてすら品質の良い画像の撮影を容易にすることもできる。さらに、大きな絞りのレンズを使用することは、肖像写真撮影のための小さな被写界深度などの芸術的な効果を有することを可能にする。
大きなレンズは、より小さなレンズと比較して比較的大量の光をキャプチャする能力に関する多数の利点を有し、光学的技法またはデジタル技法を使用して実施され得る大きなズーム範囲をサポートするために使用可能であり、多くの場合、焦点に対する良好な制御を可能にするが、大きなレンズを使用することには、多数の欠点もある。
大きなレンズは重い傾向があり、比較的頑丈で多くの場合に大きな支持構造が、カメラアセンブリのさまざまなレンズをアライメントされた状態に保つことを必要とする。大きなレンズの重い重量により、そのようなレンズを有するカメラの輸送は困難で、嵩張るものになる。そのうえ、大きなレンズを有する途方もないカメラの重量が、人々が短時間保持するのにうんざりするようになり得るということを考えれば、大きなレンズを有するカメラは、多くの場合、延長された時間期間にわたって三脚または他の支持物が使用されることを必要とする。
重量およびサイズの欠点に加えて、大きなレンズは高価であるという欠点も有する。これは、とりわけ、大きな高品質の光学部品を製造することと、カメラレンズを長年使用することがもたらすと予想されることを反映し得る時間期間にわたって適切なアライメントを維持するようにこれらの光学部品を包装することとの難しさによるものである。
デジタルカメラでは、センサとして使用される感光性電子回路たとえば光感知デバイスは、多くの場合、その各々が測定された強度レベルを記録する多数の単一センサ素子を備える、電荷結合素子(CCD)画像センサまたは相補型金属酸化膜半導体(CMOS)画像センサのいずれかである。
多くのデジタルカメラでは、センサアレイは、配置内に赤色領域と緑色領域と青色領域とを有するパターン化されたカラーフィルタモザイクで覆われる。ベイヤーフィルタモザイクは、フォトセンサの正方形グリッド上にRGBカラーフィルタを配置するための1つのよく知られているカラーフィルタアレイ(CFA)である。カラーフィルタのその特定の配置は、多数のデジタル画像センサにおいて使用される。カラー画像をキャプチャするそのようなフィルタベースの手法では、各センサ素子は、光の単一の原色の強度を記録することができる。カメラは、次いで、デモザイシングと呼ばれることがあるプロセスによって、隣接するセンサ素子の色情報を正常に補間し、最終的な画像を作製する。カラーフィルタを使用するセンサアレイ内のセンサ素子は、センサ素子上で使用されるフィルタにより最終的なカラー画像の1チャネルのみ(赤色のみ、または緑色のみ、または青色のみ)を記録するにもかかわらず、多くの場合「画素」と呼ばれる。
カメラでは、光が通過できる丸いすなわち円形のレンズ(レンズ素子)、たとえば丸い絞りを有するレンズが一般に使用される。これは、光が、垂直方向と水平方向の両方(実際にはあらゆる方向)が等しいレンズを通過することを可能にする。1つまたは複数の丸いレンズが使用される光学チェーン内の素子は、多くの場合、カメラのセンサにおいて鮮明な画像を記録するのに十分な光を通過させるのに十分なサイズである。レンズにとって、光軸は、レンズの中央を通過し、レンズの平面に垂直な線である。レンズアセンブリが複数のレンズ素子から構築されるとき、素子は、一般的に、すべてが、レンズアセンブリの光軸でもある共通光軸を共有するように配置される。一般的な光学チェーン、たとえばカメラモジュールでは、光軸は、センサの中央も通過する。レンズアセンブリまたはカメラモジュールの光軸に沿って伝わる光は、経路に沿ったいかなるレンズによっても曲げられず、引き続き一直線の光軸に沿って伝わる。すべてのレンズ素子が円形の場合、そのようなカメラモジュールは、光軸を中心として円筒状に対称性を有する。ほとんどのカメラでは、カメラの光学素子は直線構成で配置され、光軸は、外側レンズを通って直線でセンサまで到達する。そのような構成は、比較的厚いカメラ、たとえば大きな前面から背面の距離すなわち奥行きを有するカメラをもたらすことができる。大きな光学部品を有するおよび/または機械的ズームをサポートするカメラでは、カメラの厚さは著しくなることがあり、カメラは、多くの場合、奥行きがありすぎてポケット、さらには場合によってはバッグにしまえない、数インチの厚さおよび遠さである。
カメラおよび他の光学系は、多くの場合、焦点距離に関して論じられる。光学系の焦点距離は、その系がどれくらい強く光を収束または発散させるかの尺度である。空気中の光学系において、焦点距離は、最初は平行にされた光線が焦点に導かれる距離である。より短い焦点距離を有する系は、長い焦点距離を有する系よりも大きな屈折力を有する。すなわち、より短い焦点距離を有する系は、光線をより強く曲げ、光線をより短距離で焦点に導く。多くの場合大きなレンズを使用して達成される、焦点距離が長いほど(屈折力が低いほど)、より高い倍率たとえばズームと、より狭い画角(被写界)とをもたらす。したがって、大きな、たとえば長い、焦点距離を有する、光学チェーンたとえばカメラモジュールは、より短い焦点距離を有する同じロケーションにおける光学チェーンよりもシーンエリアの小さい部分に対応する画像をキャプチャする。同じセンササイズの場合、より短い焦点距離またはより高い屈折力を有する光学チェーンは、より長い焦点距離を有する光学チェーンよりも広い画角と関連付けられ、したがって、より大きな焦点距離を有する、同じ位置における光学チェーンよりも、光学チェーンから同じ距離で、シーンエリアのより大きい部分に対応する画像をキャプチャすることを理解されたい。
レンズ素子の焦点距離は、一般に、丸い絞り、たとえば光が通過できる丸いエリアを有するレンズ素子レンズの場合、レンズサイズたとえば直径の関数ではない。デバイスの焦点距離は、デバイスを構成する1つまたは複数の光学素子たとえばレンズと、それらの相互作用に依存するので、光学チェーンまたは他の光学デバイスでは、デバイスの焦点距離は有効焦点距離と呼ばれることもある。良好な品質の鮮明な写真を撮影することは、有効焦点距離が長いとき、より大きい絞りのレンズ素子(より大きい直径のレンズ)を必要とする。
大きい焦点距離のレンズおよび大きい焦点距離を有する光学チェーンの使用は、多くの場合、提供できるズームの量(倍率)のために、望ましい。しかしながら、大きい焦点距離を有する光学チェーンを作り出すために通常使用される光学構成要素の使用は、特に、光軸に沿った光が最も外側のレンズから、レンズを通過する光に基づいて画像をキャプチャするために使用されるセンサまで直線状に通過するように、光学構成要素が配置される場合に、厚いカメラにつながる傾向がある。
上記の説明から、カメラデバイスが1つまたは複数の光学チェーンを使用するまたはこれを含むことを可能にする新しい方法および/または装置が必要とされていることが理解されよう。たとえば、たとえば大きい焦点距離を有する1つまたは複数の光学チェーンまたは要素をカメラが使用することを可能にするであろうがカメラは依然として比較的薄いフォーマットを有する方法および装置が開発されれば、望ましいであろう。
画像をキャプチャするために、および/または複数の光学チェーンを含むデバイスによってキャプチャされた画像を使用するために、1つまたは複数の光学チェーンをカメラが使用することを可能にする方法および装置も必要とされている。複数の光学チェーンを制御するために、および/またはカメラデバイスの複数の光学チェーンから取得された画像を処理するために、1つまたは複数の光学チェーンをカメラが使用することを可能にする方法および装置が開発されれば、望ましいであろう。
上記の必要性および/または問題のうちの1つまたは複数に対処する実施形態が望ましく、すべての実施形態が、個々の上記で説明された必要性または問題のすべてに対処する必要はない。
カメラデバイス内で光学チェーンたとえばカメラモジュールを使用することに関連するいくつかの特徴が説明される。いくつかの特徴によれば、カメラデバイス内の少なくともいくつかの光学チェーンは、異なるレンズ構成および/または焦点距離を有する。少なくともいくつかの実施形態では、カメラデバイスは複数の光学チェーンを含む。いくつかの実施形態では、複数の光学チェーンのうちのいくつかの焦点距離は、カメラデバイス内の他の光学チェーンと異なり、たとえばこれよりも大きい。いくつかの実施形態では、非円形の外側レンズが、大きい焦点距離を有する光学チェーンに使用されるが、より小さい焦点距離を有する同じカメラデバイスの光学チェーンは、丸い外側レンズを使用する。したがって、本明細書で説明されるさまざまな実施形態は、いくつかの異なる焦点距離をサポートするカメラデバイスに関する。いくつかの実施形態では、合成画像を生成するために結合され得、いくつかの実施形態では結合される、画像は、カメラの異なる焦点距離の光学チェーンを使用してキャプチャされる。
一実施形態による例示的なカメラデバイスは、第1の焦点距離と第1の非円形のレンズとを有する第1の光学チェーンと、第2の焦点距離と第2の非円形のレンズとを有する第2の光学チェーンとを含む。いくつかの実施形態では、例示的なカメラデバイスは、第3の焦点距離を有し丸いレンズを含む第3の光学チェーンをさらに含み、第3の焦点距離は、第1の焦点距離または第2の焦点距離よりも小さい。いくつかの実施形態では、第1の焦点距離と第2の焦点距離は同じである。いくつかの他の実施形態では、第1の焦点距離と第2の焦点距離は異なる。
例示的なカメラデバイスを動作させる例示的な方法は、第1の時間期間中にカメラの第1の光学チェーンを使用して第1の画像をキャプチャすることと、第1の光学チェーンは第1の焦点距離と第1の非円形のレンズとを有する、第1の時間期間中にカメラの第2の光学チェーンを使用して第2の画像をキャプチャすることと、第2の光学チェーンは第2の焦点距離と第2の非円形のレンズとを有する、を備える。いくつかの実施形態では、方法は、第3の焦点距離を有し丸いレンズを含む第3の光学チェーンを使用して第3の画像をキャプチャすること、第3の焦点距離は第1の焦点距離または第2の焦点距離よりも小さい、をさらに備える。
本明細書で説明されるいくつかの特徴は、薄いカメラデバイス、たとえば、カメラの少なくとも1つの光学チェーンの最も外側のレンズの最大長よりも小さい奥行きを有するカメラデバイスを実施することに関する。さまざまな実施形態では、薄いカメラデバイスは複数の光学チェーンを有する。いくつかの実施形態では、光学チェーンのうちの1つまたは複数は、非円形の絞りを有するレンズを含む。非円形の絞りを有するレンズは、カメラデバイスの本体内に取り付け可能であり、いくつかの実施形態では、取り付けられる。
一実施形態により実施される例示的なカメラデバイスは、厚さDを有する前表面と後表面とを含むカメラハウジングと、ここで、Dは前表面と後表面との距離である、i)第1の光方向変換デバイスと、ii)非円形の絞りを有する第1のレンズと、iii)センサとを含む、カメラハウジング内の第1の光学チェーンと、第1の光学チェーンは、光方向変換デバイスの前の第1の光軸部分と光方向変換デバイスからセンサまで延在する第2の光軸部分とを含む光軸を有し、第1のレンズは第2の光軸部分上にある、を備え、非円形の絞りは、カメラの厚さの方向に沿って第1の方向においてD以下の長さと、第1の方向に垂直な第2の方向に沿ってDよりも大きい長さとを有する。いくつかの実施形態では、例示的なカメラデバイスは、1つまたは複数の追加の光学チェーンをさらに含む。
厚さDを有する前表面と後表面とを含むカメラハウジングを含むカメラデバイスを動作させる、一実施形態による例示的な方法であって、ここでDは前表面と後表面との距離である方法において、カメラハウジング内の第1の光学チェーンを使用して第1の画像をキャプチャすることと、第1の光学チェーンは、i)第1の光方向変換デバイスと、ii)非円形の絞りを有する第1のレンズと、iii)センサとを含み、第1の光学チェーンは、光方向変換デバイスの前の第1の光軸部分と光方向変換デバイスからセンサまで延在する第2の光軸部分とを含む光軸を有し、第1のレンズは第2の光軸部分上にあり、非円形の絞りは、カメラの厚さの方向に沿って第1の方向においてD以下の長さと、第1の方向に垂直な第2の方向に沿ってDよりも大きい長さとを有する、キャプチャされた画像をメモリに格納することとを備える。
本明細書で説明される特徴のうちのいくつかは、平行でない光軸を有する光学チェーンを使用した画像部分の画像キャプチャに関する。いくつかの実施形態では、例示的なカメラデバイスは複数の光学チェーンを含み、光学チェーンのうちの少なくともいくつかは、対応する光軸が平行でないように配置および/または制御される。いくつかの実施形態では、光学チェーンの光軸は、光学チェーンに対応する光方向変換デバイスを制御することによって変更される。いくつかの実施形態では、関心シーンエリアの異なる部分は、並行して動作する異なる光学チェーンによってキャプチャされる。いくつかの実施形態では、キャプチャされた画像は、関心シーンエリアの合成画像を生成するために結合される。結合することは、関心シーンエリア全体をキャプチャする光学チェーンによってキャプチャされた画像から生成された奥行き情報を使用して実行され得、いくつかの実施形態では、実行される。奥行き情報は、関心シーンエリアまたは関心シーンエリアの一部分の1つまたは複数の他の画像に加えて、関心シーンエリア全体の画像を使用して、生成され得る。並行した複数の光学チェーンの使用は、光学チェーンのうちの1つの単一のセンサを使用して可能であろうよりも高い全体的な画素カウントを有する、および/または複数の光学チェーンのうちの単一の光学チェーンを使用してキャプチャされるであろうよりも多くの光キャプチャを有する、画像の生成を容易にする。
一実施形態によりキャプチャする例示的な方法は、関心と、第1の光学チェーンは第1の光軸と第1の最も外側のレンズ(たとえば、光学チェーンのセンサから光路に沿って最も遠いレンズ)とを有する、カメラの第2の光学チェーンを使用して、関心シーンエリアの第2の部分の第2の画像をキャプチャすることと、第2の光学チェーンは、第1の光軸と平行でない第2の光軸と、第1の最も外側のレンズと異なる第2の最も外側のレンズとを有し(たとえば、各光学チェーンは、いくつかの実施形態では各光学チェーンが異なる外側レンズを有することにより、物理的に共通部分がなく(disjoint)重複しない入射瞳を有する)、カメラの第3の光学チェーンを使用して、第3の画像をキャプチャすることと、第3の光学チェーンは、第1の光学チェーンまたは第2の光学チェーンのうちの少なくとも1つよりも小さい焦点距離を有する、を備える。
一実施形態により実施される例示的なカメラデバイスは、第1の光軸と第1の最も外側のレンズとを有する第1の光学チェーンと、第1の光軸と平行でない第2の光軸と、第1の最も外側のレンズと異なる第2の最も外側のレンズとを有する第2の光学チェーンと、第3の光学チェーンと、この第3の光学チェーンは、第1の光学チェーンまたは第2の光学チェーンのうちの少なくとも1つよりも小さい焦点距離を有する、を備える。
いくつかの実施形態では、例示的なカメラデバイスは、コンピュータ実行可能命令を備える非一時的なコンピュータ可読媒体を含み、この非一時的なコンピュータ可読媒体は、プロセッサによって実行されるとき、関心シーンエリアの第1の部分の第1の画像をキャプチャするようにカメラの第1の光学チェーンを制御する命令と、第1の光学チェーンは第1の光軸と第1の最も外側のレンズとを有する、プロセッサによって実行されるとき、関心シーンエリアの第2の部分の第2の画像をキャプチャするようにカメラの第2の光学チェーンを制御する命令と、第2の光学チェーンは、第1の光軸と平行でない第2の光軸と、第1の最も外側のレンズと異なる第2の最も外側のレンズとを有する、プロセッサによって実行されるとき、第3の画像をキャプチャするようにカメラの第3の光学チェーンを制御する命令と、第3の光学チェーンは、第1の光学チェーンまたは第2の光学チェーンのうちの少なくとも1つよりも小さい焦点距離を有し、第3の画像は関心シーンエリアを含む、を備える。
いくつかの追加の特徴は、異なる焦点距離を有する光学チェーンを使用した画像部分のキャプチャを対象とする。さまざまな実施形態では、関心シーンエリアの異なる部分は、複数の光学チェーンを含むカメラデバイスの異なる光学チェーンによってキャプチャされる。いくつかの実施形態では、並行して動作する異なる光学チェーンによってキャプチャされた画像は、合成画像を生成するために結合される。結合することは、いくつかの実施形態では、関心シーンエリアの少なくともいくつかの共通する重複部分をキャプチャする2つの異なる光学チェーンによってキャプチャされた2つの画像から生成される奥行き情報を使用して実行される。奥行き情報は、シーン全体の画像と、シーンまたは関心シーンエリアの一部分の1つまたは複数の他の画像とを使用して、生成され得る。並行した複数の光学チェーンの使用は、光学チェーンのうちの1つの単一のセンサを使用して可能であろうよりも高い全体的な画素カウントを有する、および/または単一の光学チェーンを使用してキャプチャされるであろうよりも多くの光キャプチャを有する、画像の生成を容易にする。
一実施形態によりキャプチャする例示的な方法は、カメラの第1の光学チェーンを使用して関心シーンエリアの第1の画像をキャプチャすることと、第1の光学チェーンは第1の焦点距離を有する、カメラの第2の光学チェーンを使用して第2のシーンエリアの第2の画像をキャプチャすることと、第2のシーンエリアは関心シーンエリアの第1の部分であり、第2の光学チェーンは、第1の焦点距離よりも大きい第2の焦点距離を有する、カメラの第3の光学チェーンを使用して第3のシーンエリアの第3の画像をキャプチャすることと、第3のシーンエリアは関心シーンエリアの第2の部分であり、第3の光学チェーンは、第1の焦点距離よりも大きい第3の焦点距離を有し、少なくとも第3のシーンエリアの一部分は第2のシーンエリアと重複しない、第1の画像と第2の画像と第3の画像とを格納または出力することとを備える。
一実施形態により実施される例示的なカメラデバイスは、第1の焦点距離を有する第1の光学チェーンと、第1の焦点距離よりも大きい第2の焦点距離を有する第2の光学チェーンと、第1の焦点距離よりも大きい第3の焦点距離を有する第3の光学チェーンとを備える。いくつかの実施形態では、カメラはバッテリー式ハンドヘルドデバイスである。
いくつかの実施形態では、例示的なカメラデバイスは、コンピュータ実行可能命令を備える非一時的なコンピュータ可読媒体を含み、この非一時的なコンピュータ可読媒体は、プロセッサによって実行されるとき、関心シーンエリアの第1の画像をキャプチャするようにカメラの第1の光学チェーンを制御する命令と、第1の光学チェーンは第1の焦点距離を有する、プロセッサによって実行されるとき、第2のシーンエリアの第2の画像をキャプチャするようにカメラの第2の光学チェーンを制御する命令と、第2の光学チェーンは、第1の焦点距離よりも大きい第2の焦点距離を有し、第2のシーンエリアは前記関心シーンエリアの第1の部分である、プロセッサによって実行されるとき、第3のシーンエリアの第3の画像をキャプチャするように第3の光学チェーンを制御する命令と、第3の光学チェーンは第3の焦点距離を有し、この第3の焦点距離は第1の焦点距離よりも大きく、第3のシーンエリアは関心シーンエリアの第2の部分であり、第3のシーンエリアの少なくとも一部分は第2のシーンエリアと重複しない、プロセッサによって実行されるとき、第1のキャプチャされた画像と、第2のキャプチャされた画像と、第3のキャプチャされた画像とをメモリに格納するようにプロセッサを制御する命令とを備える。
多くの実施形態および特徴が上記の概要で説明されたが、本明細書で説明される新規な特徴の多くは、他の新規な特徴とは無関係に使用可能であることを理解されたい。したがって、さまざまな例示的な実施形態が説明されているが、適用例は、特定の例示的な実施形態または特定の例示的な実施形態に説明される特徴の組み合わせに限定されない。
多数のさらなる特徴および実施形態が、以降の詳細な説明で説明される。
図1は、本発明の例示的な一実施形態により実施される、デジタルカメラ、カメラ機能を有するノートパッド、またはカメラ機能を有する携帯電話などの例示的なカメラデバイス100を示す。カメラデバイス100は、いくつかの実施形態では、ポータブルデバイスである。他の実施形態では、カメラデバイス100は、壁に取り付けられたカメラなどの固定デバイスである。
図1は、装置100のさまざまな要素間の接続を示すブロック図形式でカメラデバイス100を示す。例示的なカメラデバイス100は、参照番号100となる線によって接された方形箱によって表されるハウジング内に取り付けられた、ディスプレイデバイス102と、発光体モジュール104と、入力デバイス106と、入力状態検出モジュール148と、露光および読み出しコントローラ150たとえばローリングシャッターコントローラ150と、光制御デバイス152と、メモリ108と、プロセッサ110と、モジュールのハードウェアアセンブリ180と、ワイヤレスおよび/または有線インターフェース114、たとえば、セルラーインターフェース、WIFIインターフェース、および/またはUSBインターフェースと、I/Oインターフェース112と、加速度計モジュール122と、3軸ジャイロ192と、バス116とを含む。発光体モジュール104は、すべての発光要素が同時にオンになる必要はないように個々に制御可能なLED(発光ダイオード)または他のタイプの発光要素であってよい発光要素を含む。いくつかの実施形態では、入力デバイス106は、たとえば、キーパッド、タッチスクリーン、または情報、データ、および/もしくは命令を入力するために使用され得る類似のデバイスであってよく、いくつかの実施形態では、キーパッド、タッチスクリーン、または類似のデバイスである。加速度計モジュール122は、3軸加速度計モジュールを提供する垂直軸上に配列された、加速度計1 124と、加速度計2 126と、加速度計3 128とを含む。したがって、加速度計モジュール122は、3つの独立軸に沿って測定することができる。同様に、194と196と198とを含む3軸ジャイロ192は、3つの異なる軸の各々に沿って回転を測定することができる。加速度計モジュール122およびジャイロモジュール192の出力は、監視可能であり、いくつかの実施形態では監視され、加速度計およびジャイロの出力の変化は、1つまたは複数の方向における動きを示す加速度の変化を検出するために、プロセッサ110および/またはズーム制御モジュールたとえばズームコントローラ140によって経時的に解釈およびチェックされる。いくつかの実施形態では、入力デバイス106は、カメラズーム機能を有効または無効にするために使用可能な少なくとも1つのズーム制御ボタンを含む。いくつかのそのような実施形態では、ズーム制御ボタンが押下された状態であるとき、カメラズーム機能が有効にされ、ボタンが押下されていない状態であるとき、カメラズーム機能が無効にされる。入力状態検出モジュール148は、ボタンが押下された状態であるか押下されていない状態であるかを検出するために、入力デバイスたとえばズーム制御ボタンの状態を検出するように構成される。いくつかの実施形態では、状態検出モジュール148によって検出されるズーム制御ボタンの状態、たとえば、ズーム制御ボタンが、ズームが有効にされていることを示す押下された状態であるか、ズームが無効にされていることを示す押下されていない状態であるか、を示すビットを含むステータスレジスタがカメラデバイス100内に存在する。
ディスプレイデバイス102は、画像、ビデオ、カメラデバイスの構成に関する情報、および/またはカメラデバイス上で実行されているデータ処理のステータスを表示するために使用されるタッチスクリーンであってよく、いくつかの実施形態では、タッチスクリーンである。ディスプレイデバイス102がタッチスクリーンである場合、ディスプレイデバイス102は、追加入力デバイスとして、および/または別個の入力デバイスたとえばボタン106の代替として働く。いくつかの実施形態で説明されるように、ズーミング動作は、ズーム制御センサたとえばタッチセンサを押すことによって制御可能である。いくつかの実施形態では、カメラユーザがズーム制御センサに触れると、ズーム機能が有効にされる。たとえば、タッチセンサ上の指は、ズーム機能を作動させる/有効にする。I/Oインターフェース112は、ディスプレイ102と入力デバイス106とをバス116に結合させ、ディスプレイ102と、入力デバイス106と、バス116を介して通信および相互作用可能なカメラの他の要素とをインターフェース接続する。
I/Oインターフェース112に結合されることに加えて、バス116は、メモリ108、プロセッサ110、任意選択のオートフォーカスコントローラ132、ワイヤレスおよび/または有線インターフェース114、ズーム制御モジュール140、ならびに複数の光学チェーン130、たとえば、本明細書ではカメラモジュールとも呼ばれるX個の光学チェーンに結合される。いくつかの実施形態では、Xは2よりも大きい整数、たとえば、3、4、7、または特定の実施形態によっては、これらよりも大きい値である。複数のカメラモジュール130は、さまざまなカメラモジュールセットおよび/または本出願で説明される配置のいずれかを使用して実施され得る。たとえば、いくつかの実施形態では、カメラデバイス100は、図12Aに示されるカメラモジュールのセットを使用して実施されるが、他の実施形態では、カメラデバイス100は、図13Bまたは図17Aまたは本出願に含まれる他の図のいずれか1つに示されるモジュール配置を使用して実施される。複数の光学チェーン130内の個々の光学チェーンによってキャプチャされた画像は、たとえばデータ/情報120の一部として、メモリ108に格納可能であり、たとえば、1つまたは複数の合成画像を生成するためにプロセッサ110によって処理可能であり、さまざまな実施形態では、格納され、処理される。
X個のカメラモジュール131〜133は、異なる焦点距離を有するカメラモジュールを含んでよく、さまざまな実施形態では、これを含む。複数のカメラモジュールは、所与の焦点距離で設けられ得る。たとえば、いくつかの実施形態では、フルフレームDSLRカメラに対して35mm相当の焦点距離を有する複数のカメラモジュール、フルフレームDSLRカメラに対して70mm相当の焦点距離を有する複数のカメラモジュール、およびフルフレームDSLRカメラに対して140mm相当の焦点距離を有する複数のカメラモジュールが、個々のカメラデバイスに含まれる。さまざまな焦点距離は例示的なものであり、異なる焦点距離を有する多種多様のカメラモジュールが使用されてよい。カメラデバイス100は、例示的なものと考えられるべきである。他の図のうちのいくつかに関してカメラまたはカメラデバイス他の参照がなされる限り、少なくともいくつかの実施形態では、カメラデバイスまたはカメラは、図1に示される要素が特定の図または実施形態に示されていない場合であっても、その要素を含むことを理解されたい。いくつかの実施形態では、図1に示される要素のすべてがカメラデバイスまたはカメラに含まれるが、他の実施形態では、図1に示される要素のサブセットが含まれ、図1の要素の説明は、すべての実施形態において特定の要素が不可欠または必要であることを暗示することを意図するものではない。
以下で説明されるように、同時にまたは所与の時間期間中にキャプチャされた異なるカメラモジュールからの画像は、合成画像、たとえば、カメラモジュール131、133のうちの単一のカメラモジュールによってキャプチャされた個々の画像よりも良い解像度、周波数コンテンツ、および/または光範囲を有する画像を生成するために結合可能である。
複数のキャプチャされた画像および/または合成画像は、ビデオたとえばある時間期間に対応する一連の画像を形成するように処理され得、いくつかの実施形態では、そのように処理される。インターフェース114は、カメラデバイス100の内部構成要素を、外部ネットワークたとえばインターネット、および/または1つもしくは複数の他のデバイスたとえばメモリもしくはスタンドアロンコンピュータに結合させる。インターフェース114を介して、カメラデバイス100は、データ、たとえば、キャプチャされた画像、生成された合成画像、および/または生成されたビデオを出力することができ、出力する。出力は、ネットワークに対してであってもよいし、処理、格納のための、および/または共有されることになる、別の外部デバイスに対してであってもよい。キャプチャされた画像データ、生成された合成画像、および/またはビデオは、さらなる処理のために別のデバイスに対する入力データとして提供されてもよいし、および/またはたとえば、外部メモリ、外部デバイスにおける、もしくはネットワークにおける格納のために、送られてもよい。
カメラデバイス100のインターフェース114は、画像データが外部コンピュータ上で処理され得るようにコンピュータに結合され得、いくつかの例では、結合される。いくつかの実施形態では、外部コンピュータは、出力された画像データのより多くの計算的に複雑な画像処理が外部コンピュータ上で発生することを可能にするカメラデバイス100よりも高い計算処理能力を有する。インターフェース114はまた、データ、情報、および命令によって、カメラデバイス100上での格納および/または処理のために、1つもしくは複数のネットワークおよび/またはコンピュータもしくはメモリなどの他の外部デバイスからカメラデバイス100に供給されることが可能になる。たとえば、背景画像は、カメラデバイス100によってキャプチャされた1つまたは複数の画像と、カメラプロセッサ110によって結合されるために、カメラデバイスに供給され得る。命令および/またはデータの更新は、インターフェース114を介してカメラ上にロードされ、メモリ108内に格納可能である。
ライティングモジュール104は、いくつかの実施形態では、カメラフラッシュとして働くように制御された方式で照明可能な複数の発光要素たとえばLEDを含み、LEDは、ローリングシャッターの動作および/または露光時間に基づいて、グループでまたは個々に、たとえば同期方式で、制御される。説明のために、例示的な実施形態では、LEDは発光デバイスとして使用されるので、モジュール104はLEDモジュールと呼ばれるが、上記で説明されたように、本発明はLED実施形態に限定されず、他の発光源も使用されてよい。いくつかの実施形態では、LEDモジュール104は、発光要素たとえばLEDのアレイを含む。いくつかの実施形態では、LEDモジュール104内の発光要素は、各個々のLEDおよび/またはLEDのグループがローリングシャッターの動作との同期方式で照明可能であるように配置される。発光要素は、すべてではないが、いくつかの実施形態では、全エリアが画像キャプチャ中に常に照らされる必要がないように、異なる時刻にエリアの異なる部分が照明されるように、順次照明される。すべてのライティング要素は、センサの画素要素のフルセットの読み出しを伴う画像キャプチャ動作の持続時間全体にわたってオンに保たれないが、ローリングシャッターの使用の結果として所与の時刻にその画像をキャプチャしたエリアの部分たとえばスキャンエリアが、ローリングシャッターの動作との発光要素のライティングの同期のために照明される。したがって、さまざまな発光要素は、いくつかの実施形態では、露光時間と、センサのどの部分が所与の時刻に画像の一部分をキャプチャするために使用されるかに基づいて、異なる時刻に明るくなるように制御される。いくつかの実施形態では、LEDモジュール104内の発光要素は、発光要素の複数のセットを含み、発光要素の各セットは、明るくなり、画像センサの異なる部分によってキャプチャされる異なる画像エリアに対応する。レンズは、異なる発光要素からの光を、1つまたは複数のカメラモジュールの使用によってカメラによってキャプチャされる異なるシーンエリアに方向づけるために使用され得、いくつかの実施形態では、使用される。
ローリングシャッターコントローラ150は、異なる時刻における1つまたは複数の画像センサの異なる部分の読み出しを制御する電子シャッターである。各画像センサは、一度に1つの行の画素値を読み、さまざまな列が順を追って読まれる。以下で説明されるように、異なるセンサによってキャプチャされた画像の読み出しは、いくつかの実施形態では、センサが、いくつかの実施形態では複数のセンサが同時に同じ画像エリアをキャプチャすることとの同期方式で、関心画像エリアと呼ばれることがある関心シーンエリアをキャプチャするように制御される。
実施形態の大部分で電子ローリングシャッターが使用されるが、いくつかの実施形態では、機械的ローリングシャッターが使用されることがある。
光制御デバイス152は、ローリングシャッターコントローラ150の動作との同期方式で発光要素(たとえば、LEDモジュール104に含まれる)を制御するように構成される。いくつかの実施形態では、光制御デバイス152は、ローリングシャッター150のタイミングと同期される方式で異なる時刻に光を発するためにアレイ内の発光要素の異なるセットを制御するように構成される。いくつかの実施形態では、光制御デバイス152は、第1の時間期間中に光を出力するように第1の画像エリアに対応する発光要素の第1のセットを制御するように構成され、この第1の時間期間は、ローリングシャッターのタイミングに基づいて決定され、センサの第1の部分が画像キャプチャのために露光される時間期間である。いくつかの実施形態では、光制御デバイス152は、第2の時間期間中に光を出力するように第2の画像エリアに対応する発光要素の第2のセットを制御するようにさらに構成され、この第2の時間期間は、ローリングシャッターのタイミングに基づいて決定され、センサの第2の部分が画像キャプチャのために露光される時間期間である。いくつかの実施形態では、第1の時間期間は、第2の時間期間に重複しない時間の少なくとも一部分を含む。
いくつかの実施形態では、光制御デバイス152は、第3の時間期間中に光を出力するように第Nの画像エリアに対応する発光要素の第Nのセットを制御するようにさらに構成され、前記第Nの時間期間は、ローリングシャッターのタイミングに基づいて決定され、センサの第Nの部分が画像キャプチャのために露光される時間期間であり、Nは、総合画像エリアの1回の完全な読み出しを完了するために前記ローリングシャッターによって使用される時間期間の総数に対応する整数値である。
いくつかの実施形態では、光制御デバイス152は、時間の前記第2の期間に重複しない第1の時間期間に含まれる時間の前記部分中にオフになるように発光要素の第2のセットを制御するようにさらに構成される。いくつかの実施形態では、光制御デバイスは、露光設定に基づいて、発光要素の第1のセットおよび前記第2のセットがいつオンになり得るかを決定するように構成される。いくつかの実施形態では、光制御デバイスは、前記センサの異なる部分の読み出し間の時間の量に基づいて、発光要素の前記第1のセットおよび前記第2のセットがいつオンになり得るかを決定するように構成される。いくつかの実施形態では、複数の発光要素内の発光要素の異なるセットが、異なるレンズで覆われる。いくつかのそのような実施形態では、光制御デバイス152は、カメラデバイスによって使用されている有効焦点距離設定に基づいて、発光要素のどのセットを使用するかを決定するようにさらに構成される。
加速度計モジュール122は、加速度計1 124と加速度計2 126と加速度計3 128とを含む複数の加速度計を含む。加速度計の各々は、所与の方向におけるカメラ加速度を検出するように構成される。3つの加速度計124、126、および128は、加速度計モジュール122に含まれると示されているが、いくつかの実施形態では、4つ以上の加速度計が使用可能であることを理解されたい。同様に、ジャイロモジュール192は、3つのジャイロ、すなわち194と、196と、198とを、カメラデバイスが通常使用される3次元現実世界環境において使用するのに好適な各軸に対して1つ含む。所与の方向における加速度計によって検出されるカメラ加速度が監視される。カメラの動きを示す、加速度および/または加速度の変化、ならびに回転が監視され、動き、たとえば前方へのカメラの動き、後方へのカメラの動きなどの、1つまたは複数の方向を検出するために処理される。以下で説明されるように、カメラの動きを示す加速度/回転は、ズーム動作を制御するために使用可能であり、および/または場合によってはカメラマウントに提供可能であり、これによって、次いで、カメラを安定させる助けとなるようにカメラマウントを回転させるまたはカメラ支持具を回転させるなどの措置を講じることができる。
カメラデバイス100は、オートフォーカスコントローラ132および/またはオートフォーカス駆動部アセンブリ134を含み得、いくつかの実施形態では、これらを含む。オートフォーカス駆動部アセンブリ134は、いくつかの実施形態では、レンズ駆動部として実施される。オートフォーカスコントローラ132は、少なくともいくつかのオートフォーカス実施形態に存在するが、固定フォーカス実施形態では省略され得る。オートフォーカスコントローラ132は、所望の、たとえばユーザにより示された、フォーカスを達成するために使用される1つまたは複数の光学チェーンにおける少なくとも1つのレンズ位置の調整を制御する。個々の駆動部アセンブリが各光学チェーンに含まれる場合、オートフォーカスコントローラ132は、同じターゲットに焦点を合わせるためにさまざまな光学チェーンのオートフォーカス駆動部を駆動し得る。
ズーム制御モジュール140は、ユーザ入力に応答してズーム動作を実行するように構成される。
プロセッサ110は、本明細書で説明される方法のステップを実施するようにカメラデバイス100の要素を制御するようにカメラデバイス100の動作を制御する。プロセッサは、方法を実施するように事前構成された専用プロセッサであってよい。しかしながら、多くの実施形態では、プロセッサ110は、実行されるとき、プロセッサに、本明細書で説明される方法の1つ、より多く、またはすべてを実施するようにカメラデバイス100を制御させる命令を含む、メモリ108内に格納されたソフトウェアモジュールおよび/またはルーチンの指示に従って動作する。メモリ108はモジュールのアセンブリ118を含み、1つまたは複数のモジュールは、本発明の画像キャプチャおよび/または画像データ処理方法を実施するための1つまたは複数のソフトウェアルーチンたとえば機械実行可能命令を含む。118のモジュール内の個々のステップおよび/またはコードの行は、プロセッサ110によって実行されるとき、本発明の方法のステップを実行するようにプロセッサ110を制御する。プロセッサ110によって実行されるとき、データ処理モジュール118は、少なくともいくつかのデータを、本発明の方法によりプロセッサ110によって処理させる。モジュールのアセンブリ118は、たとえばユーザ入力に基づいて、複数のカメラデバイス動作のモードのうちのどれが実施されるべきかを決定するモード制御モジュールを含む。異なる動作のモードでは、異なるカメラモジュール131、133は、選択された動作のモードに基づいて、異なるように制御され得、多くの場合、制御される。たとえば、動作のモードに応じて、異なるカメラモジュールは異なる露光時間を使用し得る。あるいは、カメラモジュールが方向づけられるシーンエリアと、したがってシーンのどの部分が個々のカメラモジュールによってキャプチャされるかは、以下で図5および図34に関して説明されるように、異なるカメラモジュールによってキャプチャされる画像が、合成画像を形成するためにどのように使用可能か、たとえば結合可能であるか、および個々のカメラモジュールは、ユーザにより選択されたまたは自動的に選択された動作のモード中により大きなシーンのどの部分をキャプチャするべきかに応じて変更され得る。いくつかの実施形態では、1つまたは複数のモジュールのアセンブリからの命令を実行するときプロセッサによって実行される動作が、代わりに、同じ機能を実行するハードウェアモジュールによって実行され、モジュールのハードウェアアセンブリに含まれる。
結果として生じるデータおよび情報(たとえば、シーンのキャプチャされた画像、シーンの結合された画像など)は、将来の使用、追加処理、および/またはたとえば表示のためのディスプレイデバイス102への、もしくは送信、処理、および/もしくは表示のための別のデバイスへの出力のために、データメモリ120内に格納される。メモリ108は、異なるタイプのメモリ、たとえばモジュールのアセンブリ118およびデータ/情報120が将来の使用のために格納され得、いくつかの実施形態では格納される、ランダムアクセスメモリ(RAM)を含む。モジュールのアセンブリ118が電源異常に備えて格納され得る読み出し専用メモリ(ROM)。データ、情報、および命令の格納のためのフラッシュメモリなどの不揮発性メモリも、メモリ108を実施するために使用され得る。メモリカードは、データ(たとえば、画像およびビデオ)および/またはプログラミングなどの命令を格納するための追加メモリを提供するためにデバイスに追加され得る。したがって、メモリ108は、ストレージデバイスとして働く、多種多様の非一時的なコンピュータ可読媒体または機械可読媒体のいずれかを使用して実施され得る。
カメラデバイス100の一般的な構成要素について、図1を参照しながら説明してきたが、ここで、複数の光学チェーン130に関するさまざまな特徴が、それぞれカメラデバイス100を前面および側面の視点から示す図2と図3とを参照しながら説明される。図2の破線101は断面線を示す。
箱117は凡例を表し、OC=光学チェーンたとえばカメラモジュールを示し、各L1は、光学チェーン内の最も外側のレンズを表す。箱119は凡例を表し、S=センサ、F=フィルタ、L=レンズを示し、L1は、光学チェーン内の最も外側のレンズを表し、L2は、光学チェーン内の内側レンズを表す。図3は、光学チェーンの1つの可能な実装形態を示すが、以下で説明されるように、他の実施形態も可能であり、光学チェーンは、図3に示される要素に加えて、1つまたは複数の光方向変換要素を含み得る。異なる光学チェーンのレンズは異なる形状を有してよく、たとえば、いくつかのレンズには、丸い絞りが使用され、他のレンズには、丸くない絞りが使用される。しかしながら、いくつかの実施形態では、丸い絞りを有するレンズが、カメラデバイスの光学チェーンの各々に使用される。
図2は、例示的なカメラデバイス100の前面を示す。図1に示される、カメラアセンブリの前面に向かう光である光131の光線は、カメラハウジングの前面に設置されたレンズに入り得る。カメラデバイス100の前面から、カメラデバイス100は、カメラハウジングを表す外側長方形と、複数の光学チェーン130が取り付けられた前面カメラ本体の部分を表すカメラの中心に向かう正方形とを有する、比較的平坦なデバイスと見える。図2に示される外側レンズは、同じサイズである円形絞りを有するように示されているが、以下で説明されるように、異なるサイズのレンズが、焦点距離たとえば、に応じて異なる光学チェーンに使用され得、より大きな焦点距離を有する光学チェーンは通常、小さな焦点距離を有する光学チェーンよりも大きい絞りを有する外側レンズを含むことに留意されたい。
カメラデバイス100の側面視点を示す図3は、光学チェーン130のセットのうちの7つの光学チェーンのうちの3つ(OC1 121、OC7 145、OC4 133)と、ディスプレイ102と、プロセッサ110とを示す。OC1 121は、外側レンズL1 103と、フィルタ123と、内側レンズL2 125と、センサ127とを含む。いくつかの実施形態では、OC1 121は、ズーミング動作および/またはオートフォーカス動作の目的でレンズL2 125の位置を制御するためのレンズ駆動部(LD)129をさらに含む。露光および読み出しコントローラ150は図に示されていないが、同期方式で、たとえばシーンエリアが個々のセンサによってキャプチャされることを考慮に入れて、センサ127、151、および139からの画素値の行の読み出しを制御するために使用される。LD129は、それが接続され、それによって、LDが結合された光学チェーンの他の要素に対して1つまたは複数の要素を移動させることによって光路の改変を可能にする、レンズ、1つまたは複数のレンズを収納するバレルもしくはシリンダ、またはセンサを移動可能な、モータまたは他の駆動機構を含む。LD129は、レンズL2 125に結合される、たとえば接続されるように示されており、したがって、たとえば、動作ズーミング動作またはオートフォーカスの一部としてレンズL2の位置を移動させることができるが、他の実施形態では、LD129は、光学チェーンの一部である円筒状またはバレル形状の構成要素に、またはセンサ127に結合される。したがって、レンズ駆動部は、たとえば、ズーミング動作および/またはフォーカス動作の一部としてセンサ127とレンズ125との間の距離を変更するために、センサ127に対するレンズの相対位置を変えることができる。OC7 145は、外側レンズL1 115と、フィルタ147と、内側レンズL2 149と、センサ151とを含む。OC7 145は、レンズL2 149の位置を制御するためのLD153をさらに含む。LD153は、レンズ、バレル、シリンダ、センサ、またはLD153が接続された他の光学チェーン要素を移動可能なモータまたは他の駆動機構を含む。
OC4 133は、外側レンズL1 109と、フィルタ135と、内側レンズL2 137と、センサ139とを含む。OC4 133は、レンズL2 137の位置を制御するためのLD141を含む。LD141は、モータまたは他の駆動機構を含み、他の光学チェーンの駆動部と同じまたは類似の方式で動作する。OCのうちの3つのみが図3に示されているが、カメラデバイス100の他のOCは、同じまたは類似の構造を有し得、および/または光方向変換デバイスなどの他の要素を含み得、いくつかの実施形態では、同じまたは類似の構造を有し、および/または他の要素を含むことを理解されたい。したがって、カメラデバイス100の複数の光学チェーン間の差が可能であり、いくつかの実施形態では、並行して動作可能な複数の光学チェーンの使用によって単一のカメラデバイス内でさまざまな焦点距離がサポートされることを可能にするために存在する。
図3と、その中に示される、カメラモジュールと呼ばれることもある光学チェーン(OC)は、さまざまな実施形態で使用されるOCの一般的な構造を示す。しかしながら、多数の修正形態および特定の構成が可能である。図3の要素がなされ得るが、特定の実施形態におけるOC(カメラモジュール)は特定の実施形態に関して説明されるように構成され、さまざまな異なるカメラモジュールが、多くの場合、単一のカメラデバイス内で使用されることを理解されたい。図5および図13Aは、光方向変換デバイスを含む光学チェーンたとえばカメラモジュールを示す。そのようなモジュールは、単独で、または図3および図4Aまたは本出願の他の図に示されるモジュールなどの他のモジュールと組み合わせて、使用可能である。
フィルタは、特定の色であってよく、またはいくつかの光学チェーンにおいて使用され得るが、フィルタは、すべての光学チェーンにおいて使用される必要はなく、いくつかの実施形態では、使用されないことがある。フィルタが明確に省略されるおよび/または省略されるもしくはすべての光が通過する要素であると説明される実施形態では、図3のOCについて参照がなされ得るが、省略される、または実施形態が広帯域フィルタを有することを意図される場合に広いスペクトルの光が通過することを可能にするような性質であることが意図される一実施形態では、フィルタが省略されることを理解されたい。図3のOCでは、光方向変換デバイス(R)たとえば鏡またはプリズムが示されていないが、以下で説明されるように、少なくともいくつかの実施形態では、1つまたは複数の鏡が、たとえば光路の長さを増加させるまたはより好都合な内部構成要素構成に寄与するために光が方向変換されるOCに含まれる。図3に示されるOC121、145、133の各々はそれら自体の光軸を有することを理解されたい。例では、各光軸は、光学チェーンの先頭でレンズ103、115、または109の中心を通過し、OCを通過して、対応するセンサ127、151、139に至る。
プロセッサ110は、LDおよびセンサ127、151、139に結合されると示されていないが、そのような接続が存在し、例示的なOCの構成の例示を容易にするために図3から省略されていることを理解されたい。
理解されるべきであるように、レンズ、フィルタ、および/または鏡の数および配置は特定の実施形態に応じて変化可能であり、図3に示される配置は、例示的なものであり、性質を制限することではなく、さまざまな特徴の理解を容易にすることを意図されている。
複数の光学チェーン130の前面は図2で視認可能であり、各光学チェーンの最も外側のレンズは、実線を使用して表される円として現れる(OC1 L1 103、OC2 L1 105、OC3 L1 107、OC4 L1 109、OC5 L1 111、OC6 L1 113、OC7 L1 115)。図2の例では、複数の光学チェーン130は、図2に示される中実の円によって表されるレンズ(OC1 L1 103、OC2 L1 105、OC3 L1 107、OC4 L1 109、OC5 L1 111、OC6 L1 113、OC7 L1 115)をそれぞれ含む、7つの光学チェーンすなわちOC1 121、OC2 157、OC3 159、OC4 133、OC5 171、OC6 173、OC7 145を含む。光学チェーンのレンズは、前面からユニットとして見られたとき図2の例では略円形であるパターンを形成するように配置される。いくつかの実施形態では、円形配置が使用されるが、他の実施形態では、非円形配置が使用され、好ましい。いくつかの実施形態では、全体的なパターンは略円形またはほぼ円形であるが、略円の中心への異なる距離および/または1つのレンズから別のレンズへの異なる距離は、デブスマップの生成を容易にし、繰り返しパターンの縁を識別する必要のない繰り返しパターンなどの周期構造を含み得る画像の処理を阻止するために意図的に使用される。そのような繰り返しパターンは、グリルまたはスクリーンで見つけられ得る。
光学カメラモジュールと呼ばれることもある複数の光学チェーンOC1〜OC7の複数のレンズに対応する全体的な総合光キャプチャエリアは、結合すると、はるかに大きい開口を有するが、通常であれば図2に示されるレンズが占有するエリアを占有する単一のレンズの湾曲によって必要とされるであろう厚さを有する単一のレンズを必要とすることのないレンズの全体的な総合光キャプチャエリアを近似することができる。
光学チェーンOC1〜OC7のレンズ開口間の間隙が示されているが、レンズが、互いに密に嵌合し、実線によって形成される円によって表されるレンズ間の間隙を最小限にするように作製され得、いくつかの実施形態では、そのように作製されることを理解されたい。図2には7つの光学チェーンが示されているが、他の数の光学チェーンも可能であることを理解されたい。たとえば、図12Aおよび図17Aに示されるように、いくつかの実施形態では、17のカメラモジュールが単一のカメラデバイス内で使用される。一層大きな数の光学チェーンを含むカメラデバイスも可能である。
複数の光学チェーンの使用は、単一の光学チェーンの使用に勝るいくつかの利点を有する。複数の光学チェーンを使用することは、ノイズ平均化を可能にする。たとえば、小さなセンササイズを仮定すれば、1つの光学チェーンが別の光学チェーンと異なる数、たとえば1つまたは複数の、光子を検出し得るランダムな確率が存在する。これは、画像が感知されることにおける実際の人間が知覚可能な変動とは反対のノイズを表し得る。異なる光学チェーンによって感知された画像の一部分に対応する感知された画素値を平均化することによって、不規則ノイズが平均化され、単一の光学チェーンの出力が使用された場合よりも正確で快い画像またはシーンの表現がもたらされ得る。
小さいサイズの光学センサ(たとえば、個々の画素要素)を仮定すれば、光感受性に関するダイナミックレンジは通常、制限され、センサは、明るい条件下で容易に飽和されるようになる。異なる露光時間に対応する複数の光学チェーンを使用することによって、シーンエリアの暗い部分は、より長い露光時間に対応するセンサによって感知可能であるが、シーンエリアの光の部分は、飽和されることのない、より短い露光時間を用いて、光学チェーンによって感知可能である。センサ飽和を示す画素値によって示される、飽和されるようになる光学チェーンの画素センサは無視可能であり、他の、たとえばあまり露光されない、光学チェーンからの画素値は、他の光学チェーンの飽和された画素センサからの寄与なしで使用可能である。いくつかの実施形態では、露光時間の関数としての飽和されていない画素値の重み付けおよび組み合わせが使用される。異なる露光時間を有するセンサの出力を結合することによって、単一のセンサと露光時間とを使用して可能であろうよりも大きなダイナミックレンジがカバーされ得る。
図3は、図1および図2に示されるカメラデバイス100の断面視点である。図2の破線101は、図3の断面図が対応するカメラデバイス内のロケーションを示す。側断面図から、第1の光学チェーン、第7の光学チェーン、および第4の光学チェーンの構成要素が視認可能である。
図3に示されるように、複数の光学チェーンを含むにもかかわらず、カメラデバイス100は、少なくともいくつかの実施形態において、比較的薄型のデバイス、たとえば、厚さが2、3、または4センチメートルよりも薄いデバイスとして実施可能である。より厚いデバイス、たとえば望遠レンズを有するデバイスも可能であり、本発明の範囲内であるが、より薄いバージョンが携帯電話および/またはタブレット実装形態に特に好適である。以下で説明されるように、光方向変換要素および/または非円形レンズの使用などのさまざまな技法が、比較的大きい焦点距離、たとえば、比較的薄いカメラデバイスフォーマットにおける、フルフレームDSLRカメラに対して150mm相当の焦点距離、フルフレームDSLRカメラに対して300mm相当の焦点距離、または上記のカメラモジュールをサポートするために、ハンドヘルドカメラで一般に使用されるセンサなどの小さいセンサに関連して、使用可能である。
図3の図に示されるように、ディスプレイデバイス102は、複数の光学チェーン130の後ろに置かれ得、プロセッサ110、メモリ、および他の構成要素は、少なくともいくつかの実施形態では、ディスプレイおよび/または光学チェーン130より上方または下方に位置決めされ得る。以下で説明されるように、および図3に示されるように、光学チェーンOC1 121、OC7 145、OC4 133の各々は、レンズL1とフィルタFと第2のレンズL2とを通過してセンサSに到達する光をキャプチャしてその強度を測定するセンサSへ進む、外側レンズL1と、任意選択のフィルタFと、第2の任意選択のレンズL2とを含み得、いくつかの実施形態では、これらを含む。フィルタは、カラーフィルタまたはさまざまな他のタイプの光フィルタのうちの1つであってもよいし、特定の光学チェーン実施形態または構成によっては省略されてもよい。
比較的大きい光キャプチャエリアをサポートし、カラーフィルタリングおよび露光時間に関する大きな柔軟性を提供しながら、図3に示されるカメラデバイス100は比較的薄く、図2で視認可能なカメラデバイスの全体的な横方向の長さもしくはさらには上下方向の長さよりもはるかに薄い、たとえば、5分の1、10分の1、20分の1、または一層薄い厚さを有することに留意されたい。
図4Aは、本発明により実施されるカメラデバイス200を示す。図4のカメラデバイス200は、図1〜3のデバイス100に示される同じ要素のうちの多くまたはすべてを含む。例示的なカメラデバイス200は、互いに結合された、複数の光学チェーン(OC1 205、OC2 207、…、OC X 209と、プロセッサ211と、メモリ213と、ディスプレイ215とを含む。OC1 205は、外側レンズL1 251と、光方向変換要素R 252と、ヒンジ(または鏡)駆動部HD291と、フィルタ253と、内側レンズL2 255と、センサ1 257と、LD259とを含む。HD291は、光方向変換デバイス(R)252たとえば鏡が取り付けられるヒンジの位置を移動させ、したがって、レンズ251を移動させることなくモジュール205が向けられるシーンエリアを変更するために鏡を移動させるために使用可能である。モジュール205が向けられるシーンエリアを変更するために鏡252を移動させる(たとえば、ヒンジのまわりに回転させる)ことは、いくつかの実施形態と同様に屈折力を持たない、外側レンズ251がガラスの平面状断片またはプラスチック断片である一実施形態において、特に有用である。
図4Aに示される光学チェーンは、カメラ200内のさまざまな位置に配置可能である。図4Aに示される要素と同じである図4B内の要素は、同じ参照番号を使用して識別され、再び説明されない。図4Bは、光がカメラ200の前面または面を介して入り、カメラ200の外側部分を形成するカメラハウジングの内部上部部分に取り付けられた第1〜第3のカメラモジュールのセンサ257、269、281にそれぞれ方向変換される配置内の光学チェーンの構成を示す。
図4Bの実施形態でわかるように、水平次元に入る光は、垂直に上方に方向変換される。たとえば、第1の光学チェーン205の外側レンズ251を通って入る光は、センサ257に向かって進むときフィルタ253および内側レンズ255を通過するように、鏡252によって上方に方向変換される。要素252などの光方向変換要素を有する、第1の光学チェーン205などの光学チェーンは、説明の目的で、2つのパートすなわちパートAおよびパートBに分割可能である。パートAは、光路内で光方向変換要素252の前にある光学チェーン内のすべての要素からなり、パートBは、光路内で光方向変換要素の後ろにあるすべての光学素子(画像センサを含む)からなる。カメラの外部から見られる光学チェーン205の光軸は、パートAの光軸291である。光軸291に沿って光学チェーン205内へと進む光は、第1の光学チェーンのパートBの光軸293に沿って上方に方向変換される。
光学チェーン205の特定の例示的な一実施形態では、パートAは、いかなる屈折力を有する光学素子を含まず、たとえば、パートAは、平面状ガラスまたはフィルタを含むが、レンズは含まない。この場合、カメラの外部から見られる光学チェーンの光軸は、単に、光方向変換要素によってパートBの光軸293に沿って方向変換される光路に沿っている。いくつかの実施形態では、1つまたは複数のレンズ255が、屈折力を有する光学チェーンのパートBに含まれる。したがって、少なくともいくつかの実施形態では、外側レンズ251は、カメラ200の表面から突き出さない平坦なまたは比較的平坦なレンズとして実施され得ることを理解されたい。これによって、すり傷のリスクが低減され、レンズがカメラから突き出す場合にそうであろうようにポケットまたはケースから外側レンズを挿入または除去するときに外側レンズが挟まれる可能性も低減される。
第2のカメラモジュールおよび第3のカメラモジュールの光軸は第1の光学モジュール205の光軸に類似しており、光学チェーンの構成要素も、2つのパート、すなわち、光学チェーンの鏡へ進む構成部品に対応するパートAおよび光学チェーンの鏡に続く構成要素に対応するパートBにグループ化され得ることを理解されたい。光学チェーンの光路の視点から、構成要素のような光路はパートAおよびパートBとしてグループ化され得、鏡は、光路のパートAと光路のパートBとの間の遷移点を提供する。
すべてではないが、いくつかの実施形態では、図4Aのカメラデバイス200のプロセッサ211は図1のデバイス100のプロセッサ110と同じであるかまたはこれに類似しており、図4Aのデバイス200のメモリ213は図1のデバイス100のメモリ108と同じであるかまたはこれに類似しており、デバイス200のズーム制御モジュール214はデバイス100のズーム制御モジュール140と同じであるかまたはこれに類似しており、デバイス200の加速度計モジュール216はデバイス100の加速度計モジュール122と同じであるかまたはこれに類似しており、図4Aのデバイス200のディスプレイ215は図1のデバイス100のディスプレイ102と同じであるかまたはこれに類似している。
OC2 207は、外側レンズL1 263と、光方向変換デバイス231と、ヒンジ駆動部293と、フィルタ265と、内側レンズL2 267と、センサ2 269と、LD271とを含む。OC N 209は、外側レンズL1 275と、光方向変換デバイス235と、ヒンジ駆動部295と、フィルタ277と、内側レンズL2 279と、センサN 281と、LD283とを含む。露光および読み出しコントローラ150は、露光時間も制御しながら、たとえば画素値の列を同期方式で読み出すようにセンサを制御する。いくつかの実施形態では、露光および読み出しコントローラ150は、露光コントローラ287とセンサ読み出しコントローラ289とを含むローリングシャッターコントローラである。オートフォーカスコントローラ152は、いくつかの実施形態では、レンズ駆動部259と271と283とを制御するために含まれる。
図4Aの実施形態では、光学チェーン(光学チェーン1 205、光学チェーン2 207、…、光学チェーンN 209)は独立アセンブリとして示されおり、各モジュールのレンズ駆動部はそれぞれ、別個のLD要素(LD259、LD271、LD283)である。示されるLDの各々は、ズーミング動作および/またはフォーカス動作の一部として、接続された対応するレンズの位置を調整する。いくつかの実施形態では、LDは、LDがレンズ支持機構またはレンズとセンサの両方に接続されるレンズおよび/またはセンサの位置を制御する。
図4Aでは、各光学チェーン内のセンサの前にくる鏡とさまざまなレンズとフィルタとの間の構造上の関係は、他の図のうちのいくつかにおいてよりも、はっきりとわかる。図4Aでは、4つの要素、たとえば2つのレンズ(それぞれL1とL2に対応する列201と203とを参照されたい)、光方向変換デバイスR(列217を参照されたい)、およびフィルタ(列202に対応する)が、各センサの前に示されているが、はるかに大きな組み合わせ(たとえば、数)のレンズ、光方向変換要素、および/またはフィルタが、1つまたは複数の光学チェーンのセンサの前にきてよく、2〜10の範囲の要素が一般的であり、いくつかの実施形態、たとえば、ハイエンド実施形態ならびに/または多数のフィルタおよび/もしくはレンズの選択肢をサポートする実施形態では、一層大きな数の要素が使用されることを理解されたい。そのうえ、すべての示されている要素がすべての光学チェーンに含まれる必要はないことを理解されたい。たとえば、短い焦点距離を有する光学チェーンは、短い焦点距離を考えると、まっすぐであるが依然として比較的にコンパクトな方式で実施可能であるので、いくつかの実施形態では、比較的短い焦点距離を有する光学チェーンが、たとえば光を90度方向変換するために、光方向変換要素の使用が使用されることなく実施され得る。
すべてではないが、いくつかの実施形態では、光学チェーンがカメラデバイス内に取り付けられ、場合によっては、たとえば、より短い焦点距離の光学チェーンが、カメラデバイスの前面から背面に向かってまっすぐに延在する。しかしながら、同じカメラ内では、より長い焦点距離のカメラモジュールは、カメラモジュールの光路の少なくとも一部分が横に延在することを可能にし、光軸の長さがカメラの奥行きよりも長いことを可能にする光方向変換デバイスを含み得、場合によっては、これを含む。そのようなモジュールの全長が、より短い焦点距離を有するカメラモジュールの全長よりも長い傾向があることを考えると、光方向変換要素たとえば鏡の使用は、長い焦点距離のカメラモジュールにとって特に有利である。カメラは、多種多様の異なるカメラモジュールを有し得、いくつかのモジュールは光方向変換要素たとえば鏡を持ち、他のモジュールは鏡を持たない。異なる光学チェーンに対応するフィルタおよび/またはレンズは、平面内に配置され得、いくつかの実施形態では配置され、たとえば、最も外側のレンズの絞りは、カメラの面と平行に延在する平面、たとえば、カメラが垂直方向であり、カメラの上部がいずれも上向きであるとき、カメラの前面が垂直と水平の両方に延在する平面内に構成され得る。
図5は、さまざまな例示的な実施形態で使用される光学チェーンたとえばカメラモジュール500を示す。図5に示されるタイプの複数の光学チェーンは、以下で詳細に説明されるカメラ600などのカメラデバイスで使用される。カメラモジュール500は、外側レンズ512と、レンズ512の後ろに位置決めされた光方向変換デバイスたとえば鏡510と、ヒンジ駆動部516と、鏡ヒンジ508と、第1の円筒状モジュール部分506と、第2の円筒状モジュール部分504と、センサ502と、レンズ駆動部514とを含む光学チェーンである。光は、レンズ512を介して光学チェーン500に入り、光学チェーンの背面にあるセンサ502に到達するように鏡510によって方向変換される。第1の円筒状部分504および第2の円筒状部分506は、1つまたは複数のレンズまたはフィルタ、ならびに光がセンサ502に到達する前に通過し得る他の光学構成要素を収納することができる。鏡510は通常、光がカメラの側面に向かって進み、光学チェーン500が、光学チェーン500が取り付けられたカメラデバイスの横方向の距離を効果的に使用することを可能にするように、その光軸に沿ってレンズ512(カメラの面に位置決めされ得る)を通って入る光が光学チェーン500のパートBの光軸に沿って方向変換されるように、光を90度方向変換するために使用されるが、ヒンジ駆動部516は、方向変換の角度が90度から変化するように方向変換の角度を変えるために、ヒンジ508およびしたがって鏡510の位置を移動させ得る。したがって、光学チェーン500が効果的に向く方向は、レンズ512を移動させることなくヒンジ508および鏡510のすべてまたは一部分を移動させることによって変えられ得る。いくつかの実施形態では、ヒンジの軸は、光軸のパートBに垂直であり、カメラ600の前面の場所と平行である。いくつかの実施形態では、レンズ512は、屈折力を持たない平面状ガラスである。
ヒンジ駆動部は、鏡510および/または円筒状部分506などのカメラモジュールの他の構成要素に鏡を接続するヒンジ508の位置を駆動または変更するために使用可能なモータまたは他の機械的機構を使用して実施され得る。
円筒状部分またはバレル部分504、506は、互いに対して摺動するように駆動部514によって移動され得、たとえば、バレル部分504は、バレル部分506内外へとまたはそれからさらに移動するように移動され、それによって、フォーカス動作またはズーム動作の一部として、レンズ512からセンサ502までの距離を変え得る。
光学チェーン500は、比較的に長い光学チェーンが、光学チェーン500の全長よりも短い奥行きを有するカメラデバイス内に位置決めされることを可能にすることを理解されたい。カメラモジュール500は、複数の光学チェーンを含むが、依然として、ポケットまたは他のストレージデバイス内の格納を容易にするために比較的薄いことが意図されたカメラデバイスを実施するのに特に好適である。
図6は、複数の光学チェーンたとえば図5に示されるタイプのカメラモジュールを含むカメラデバイス600の斜視図である。カメラ600は、可撓性であり、ハンドグリップを形成し、レンズエリア604を露出するために側部に摺動可能なカバー602を含む。図6の実施形態では、レンズエリア604は、各々が円によって表される複数の外側レンズを含む。より大きい円は、より小さいレンズを有する光学チェーンよりも大きい絞りと焦点距離とを有する光学チェーンに対応する。図6の実施形態は、3つの異なる焦点距離に対応する合計17の光学チェーンを含む。レンズエリア604内の5つの最も小さい円によってわかる5つの小さい焦点距離の光学チェーンと、5つの中間の焦点距離の光学チェーンの外側レンズを表す5つの中間サイズの円によってわかる5つの中間の焦点距離の光学チェーンと、図6のレンズエリア604に示される7つのより大きい円によってわかる7つの長い焦点距離の光学チェーンが存在する。最小の光学チェーンと最大の光学チェーンとの間の焦点距離の関係は、一実施形態では、最小焦点距離が最大光学チェーンの焦点距離の4分の1であり、中間の焦点距離の光学チェーンの焦点距離の2分の1であるようなものである。たとえば、小さい焦点距離の光学チェーン、中間焦点距離の光学チェーン、および長い焦点距離の光学チェーンはそれぞれ、35mm、70mm、および140mmの相当するフルフレームDSLR焦点距離を有し得、一実施形態では、これを有する。そのような焦点距離の差が、35mmカメラモジュールは、70mmカメラモジュールによってキャプチャされるエリアよりも約4倍大きく、140mmの焦点距離を有するカメラモジュールによってキャプチャされるシーンエリア16倍のサイズの、シーンエリアをキャプチャすることをもたらすことを理解されたい。図6には示されていないが、カメラデバイス600は、図1および図4Aのカメラデバイス100およびカメラデバイス200と同じまたは類似の要素を含み得、いくつかの実施形態では、これを含むことを理解されたい。したがって、カメラデバイス600は、プロセッサ110/211、メモリ108/213、ズームコントローラ140/214、露光および読み出しコントローラ150、加速度計、ジャイロ、オートフォーカスコントローラ132などのさまざまな要素、ならびに上記でカメラデバイス100および200に関して説明されたさまざまな他の要素を含むことを理解されたい。
関心シーンエリアの部分をキャプチャするために異なる焦点距離を有するカメラモジュールを使用することによって、次いで、さまざまな実施形態で行われるように画像を結合することによって、合成画像は、いかなる個々のセンサよりも高い全体画素カウントを有することができる。したがって、異なる焦点距離を有する異なるカメラモジュールによって使用されるセンサが同じ画素カウントを有するときでも、合成画像の画素の数は、個々のセンサの画素の数よりもはるかに高くなり得る。
いくつかの実施形態では、以下で説明されるように、関心シーンエリアの異なる部分は、最大焦点距離を有するカメラモジュールのうちの異なるものによってキャプチャされる。次いで、より大きい関心シーンエリアが、関心シーンエリア全体に対応し得る場合、たとえば、最小のサポートされる焦点距離を使用するカメラデバイスのカメラモジュールの場合、中間または小さい焦点距離を有するカメラモジュールが、関心シーンエリアのより大きい部分をキャプチャするために使用される。重複する画像は、異なるカメラモジュールの画像センサによってキャプチャされる。カメラデバイス上のカメラモジュールの位置についての既知の空間情報、たとえば、異なるカメラモジュールの外側レンズ間の距離および/または個々のカメラモジュール(結合されることになる画像をキャプチャする)の各々が指す角度に基づいて、奥行き情報が生成される。以下でさらに説明されるように、合成画像を形成するために、異なるカメラモジュールによってキャプチャされた画像が、奥行き情報を使用して結合される。画像は、シーンまたはシーンエリア内の奥行き情報を生成することなく結合可能であり、いくつかの実施形態では、結合されることに留意されたい。いくつかのそのような実施形態では、最初に、関心シーンエリアを覆う画像が基準画像として選定される。次いで、合成画像が、基準画像においてキャプチャされた視点から生成される。そのような一実施形態では、基準画像内の選定された画素の小さいブロックが、他の画像の選定されたサブセットに含まれる各画像内の合致する画素の集合で結合される。組み合わせは、基準画像ブロック内の各画素が、被写体内の画像の各々における合致する画素(または、画像部分が非整数画素シフトと合致する場合、補間された画素)で結合されるように実行される。結合は画素値の重み付け和であってよく、ここで、重みは、画素が属する画像の品質に基づいて割り当てられる。この結合された画素のブロックは、ここで、合成画像の対応するブロックになる。プロセスは、合成画像全体を生成するために基準画像の他のブロックに対して繰り返される。異なる焦点距離を有するカメラモジュールで撮影された画像、次いで、基準画像は、異なる倍率を有することに留意されたい。この場合、これらの画像はまず、上記のプロセスが実行される前に基準画像と同じ倍率を有するように適切に拡大縮小されるべきである。より良いSNRを有する可能性を有するように上記のように複数の画像を結合することによって生成される合成画像、次いで、合成画像を生成するために使用される画像結合に基づいて選択された基準画像。
3つの異なる焦点距離に対応するその17の異なるカメラモジュールを有する図6のカメラデバイスは、以下で詳細に説明されるように、合成画像を生成するためにキャプチャされた画像を結合するのに特に好適である。
図7は、カメラケースを閉位置に有する、図6のカメラデバイス600を示す。可撓性ケース602は、カメラが使用中でないとき、レンズエリア604とその中に含まれるレンズとを保護可能なカバーとして働くことに留意されたい。
図8は、カメラデバイス600およびカメラデバイスのレンズ配置の正面図であり、15の外側レンズは、レンズエリア604内の円としてはっきりと視認可能である。最小焦点距離を有するカメラモジュールに対応する最小レンズの直径はdであり、中間の焦点距離のモジュールに対応する外側レンズは直径2dを有し、最大焦点距離を有するカメラモジュールは直径4dを有することに留意されたい。これは、f1が最大焦点距離(f3)の4分の1であり、中間の焦点距離を有するカメラモジュールの中間の焦点距離f2の焦点距離の2分の1である焦点距離関係ことを仮定すると、同じ「fストップ」すなわち「f値」を有するカメラモジュールをもたらす。「f値」は、焦点距離と絞り直径の比であり、カメラモジュールの回折限界を決定する。f値が小さいほど、カメラモジュールの回折限界となる可能性が低くなる。より小さいf値は通常、カメラモジュールにおけるより大きな光学的複雑さに対応する。5または6の成形されたプラスチック要素を有する小さいレンズは、最近、約2.4のf値に対するコスト効率の高い方式で製造可能である。したがって、いくつかの実施形態では、複数のプラスチック要素で作製されたプラスチックレンズが使用される。
図9は、レンズ構成およびレンズエリアのより良い理解を可能にするためにケース、制御装置、および他の特徴が省略された、カメラデバイス600の簡略図である。
図10は、カメラデバイス600の側面図1000である。図10に示されるように、カメラデバイスは、高さH(制御ボタンを含まない)と、奥行きD1とを有する。D1は、図6に示される最大レンズの絞りの直径Dに等しいかまたはこれよりも大きい。以下に説明されるように、実施形態によっては、丸い絞りを有する外側レンズの直径は、光方向変換要素たとえば鏡が光を方向変換するために使用される場合、カメラの最小奥行きに影響を与えることができる。この場合、カメラの最小奥行きは、この直径よりも大きくなければならない。そうでない場合、実際のモジュール絞りは外側レンズの直径よりも小さく、より小さな外側レンズが使用されてよい。
図11は、カメラ600の外側レンズ配置の拡大されたバージョン1100を示す。図11では、3つの異なるサイズの外側レンズがはっきりと視認可能であり、最大直径のレンズは、最大焦点距離、およびしたがってズームたとえば倍率、を有するカメラモジュールに対応する。
図12Aは、カメラ600の17の光学チェーンたとえばカメラモジュールがカメラ600の本体内にどのように配置可能であるかを示す図1200である。最大レンズと最大のサポートされる焦点距離とを有する7つの光学チェーン1202、1206、1210、1212、1216、1220、1222が、図5に示されるタイプの光学チェーンを使用して実施される。同様に、中間の直径のレンズと中間のサポートされる焦点距離とを有する5つのカメラモジュール1204、1208、1214、1218、1224も、図5に示されるタイプの光学チェーンを使用して実施される。最小直径の外側レンズと最小焦点距離とを有する5つの光学チェーン1226、1228、1230、1232、および1234は、鏡を使用せず、カメラの背面に向かってまっすぐに延在する光学チェーンを使用して実施される。図3の実施形態で使用されるタイプの光学チェーンは、光学チェーン1226、1228、1230、1232、および1234に使用され得る。しかしながら、図5に示されるタイプの光学チェーンは、光学チェーン1226、1228、1230、1232、および1234として使用され得、いくつかの実施形態では、使用されることを理解されたい。
カメラモジュールを見ることを可能にするためにカメラハウジングの前面が除去された正面図と考えられ得る図12Aの例から、単一のカメラを使用したシーンエリアの同じまたは異なる部分の複数の画像の同時および/または同期されたキャプチャを可能にする、より大きな数のカメラモジュールが単一のカメラデバイス600にどのように組み込み可能であるかがわかる。カメラデバイスは、次いで、カメラ600のカメラモジュールの単一のモジュールを使用して可能である超える画素の数などの画像属性および/または品質を有する合成画像を生成するために、複数の画像を結合することができる。
図12Bは、カメラデバイス内のさまざまな光学チェーンおよびカメラデバイス内の光学チェーンの要素の配置をより詳細に示す、カメラデバイス600の斜視図1250を示す。したがって、図12Bは、図12Aに関して詳細に説明されるようなさまざまな対応する焦点距離を有する複数の光学チェーン(OC)1202、1204、1206、1208、1210、1212、1214、1216、1218、1220、1222、1224、1226、1228、1230、1232、および1234のより詳細な図を示す。
図12Bに示されるように、カメラ600は、カメラの前表面(矢印1223によって示される)からカメラの背/後表面(矢印1227によって示される)までのカメラ600の厚さを表す奥行きD1を有する。図12Bには示されていないが、いくつかの実施形態では、カメラデバイス600は、図1および/または図4Aのカメラデバイスと同じまたは類似の要素を含む。
いくつかの実施形態では、光学チェーン1202、1206、1210、1212、1216、1220、1222、1204、1208、1214、1218、1224に含まれる要素は、上記で図4Bおよび図5に関して説明された要素に類似しているが、光学チェーン1226、1228、1230、1232、および1234に含まれる要素は、上記で図3に関して説明された要素に類似している。図12Bの実施形態では、各OCは、丸い外側レンズを使用する。
OC1202は、外側レンズ1203と、レンズ1203の後ろに位置決めされた光方向変換デバイス1205たとえば鏡と、第1の内側レンズ1207と、フィルタ1213と、第2の内側レンズ1215と、センサ1217とを含む。いくつかの実施形態では、OC1202、1206、1210、1212、1216、1220、1222は、同じ焦点距離(図12の他のOCと比較すると最大焦点距離)を有し、鏡、フィルタ、センサなどの類似の要素を使用する。したがって、OC1206、1210、1212、1216、1220、1222に対応する要素は、OC1202内の類似の要素を識別するために使用される同じ参照番号を使用して識別されているが、これらのOC内の参照番号の後に、プライム符号(’)、ダブルプライム符号(’’)、トリプルプライム符号(’’’)などが続く。たとえば、OC1206は、外側レンズ1203’と、レンズ1203’の後ろに位置決めされた光方向変換デバイス1205’たとえば鏡と、第1の内側レンズ1207’と、フィルタ1213’と、第2の内側レンズ1215’と、センサ1217’とを含む。OC1210は、外側レンズ1203’’と、光方向変換デバイス1205’’と、第1の内側レンズ1207’’と、フィルタ1213’’と、第2の内側レンズ1215’’と、センサ1217’’とを含む。OC1212は、外側レンズ1203’’’と、光方向変換デバイス1205’’’と、第1の内側レンズ1207’’’と、フィルタ1213’’’と、第2の内側レンズ1215’’’と、センサ1217’’’とを含む。OC1216は、外側レンズ1203’’’’と、光方向変換デバイス1205’’’’と、第1の内側レンズ1207’’’’と、フィルタ1213’’’’と、第2の内側レンズ1215’’’’と、センサ1217’’’’’とを含む。OC1220は、外側レンズ1203’’’’’と、光方向変換デバイス1205’’’’’と、第1の内側レンズ1207’’’’’と、フィルタ1213’’’’’と、第2の内側レンズ1215’’’’’と、センサ1217’’’’’’とを含む。OC1222は、外側レンズ1203’’’’’’と、光方向変換デバイス1205’’’’’’と、第1の内側レンズ1207’’’’’’と、フィルタ1213’’’’’’と、第2の内側レンズ1215’’’’’’と、センサ1217’’’’’’とを含む。
同様に、同じ焦点距離(中間の)を有するOC1204、1208、1214、1218、1224に対応する要素が、同じ参照番号を使用して識別される。OC1204は、外側レンズ1233と、レンズ1233の後ろに位置決めされた光方向変換デバイス1235たとえば鏡と、第1の内側レンズ1237と、フィルタ1243と、第2の内側レンズ1245と、センサ1247とを含む。光学チェーン1208は、外側レンズ1233’と、レンズ1233’の後ろに位置決めされた光方向変換デバイス1235’たとえば鏡と、第1の内側レンズ1237’と、フィルタ1243’と、第2の内側レンズ1245’と、センサ1247’とを含む。OC1214は、外側レンズ1233’’と、光方向変換デバイス1235’’と、第1の内側レンズ1237’’と、フィルタ1243’’と、第2の内側レンズ1245’’と、センサ1247’’とを含む。OC1218は、外側レンズ1233’’’と、光方向変換デバイス1235’’’と、第1の内側レンズ1237’’’と、フィルタ1243’’’と、第2の内側レンズ1245’’’と、センサ1247’’’とを含み、OC1224は、外側レンズ1233’’’’と、光方向変換デバイス1235’’’’と、第1の内側レンズ1237’’’’と、フィルタ1243’’’’と、第2の内側レンズ1245’’’’と、センサ1247’’’’とを含む。
図4Bに関して説明されたように、要素1205などの光方向変換要素を有する、光学チェーン1202(またはOC1206、1210、1212、1216、1220、1222、1204、1208、1214、1218、1224)などの光学チェーンは、説明の目的で、2つのパートに分割可能である。カメラの前面の外部から見られる光学チェーン1202の光軸は、第1のパート1201の光軸(カメラ600の前面1223から外側レンズ1203を介してOCに入る)である。光軸に沿って光学チェーン1202内へと進む光は、方向変換要素1205によって方向変換され、第1の光学チェーンの第2のパート1209を横断して、センサ1217に到達する。同様に、光学チェーン1204の光軸は、第1のパート1211と、方向変換要素1235による光方向変換の後の第2のパート1219とを含み、光学チェーン1206の光軸は第1のパート1221と第2のパート1229とを含み、光学チェーン1208の光軸は第1のパート1231と第2のパート1239とを含み、光学チェーン1210の光軸は第1のパート1241と第2のパート1249とを含み、光学チェーン1212の光軸は第1のパート1251と第2のパート1259とを含み、光学チェーン1214の光軸は第1のパート1261と第2のパート1269とを含み、光学チェーン1216の光軸は第1のパート1271と第2のパート1279とを含み、光学チェーン1218の光軸は第1のパート1278と第2のパート1288とを含み、光学チェーン1220の光軸は第1のパート1281と第2のパート1289とを含み、光学チェーン1222の光軸は第1のパート1291と第2のパート1299とを含み、光学チェーン1224の光軸は第1のパート1292と第2のパート1298とを含む。
図12Bの例では、他の光学チェーンOC1226、1228、1230、1232、および1234(最小焦点距離OC)は、各々、光が入る最も外側のレンズ1252、1253、1254、1255、および1256をそれぞれ有するが、OC1226、1228、1230、1232、および1234は、光方向変換要素を持たない。図12Bには示されていないが、OC1226、1228、1230、1232、および1234は各々、カメラ600の前面1223に垂直な光軸を有する。
外側レンズおよび内側レンズ、鏡、フィルタ、およびセンサなどのOCのさまざまな要素の機能は、先に、たとえば図4Bおよび図5の説明において、説明されている。図12Bに示されるOCの要素の機能は、図4A〜図4Bおよび図5に関して説明された機能と同じまたはこれに類似しているので、説明は繰り返されない。
光は、それぞれの外側レンズを介してOC1202、1206、1210、1212、1216、1220、1222、1204、1208、1214、1218、1224の各々に入り、光学チェーンの各々の背面にあるそれぞれのセンサに到達するように、それぞれの方向変換要素によって方向変換される。多くの場合、光がOCに入る外側レンズは、光が入る入射瞳と呼ばれる。たとえば、光学チェーン1202の外側レンズ1203を通って(たとえば、第1の光軸1201によって示されるカメラ600の前面1223から)入る光は、センサ1217に向かって進むとき第1の内側レンズ1207とフィルタ1213と第2の内側レンズ1215とを通過するように、鏡1205によって方向変換される。これより多いまたは少ない数の要素、たとえばレンズ、フィルタなどは、いくつかの実施形態では、OCの各々に含まれ得る。カメラデバイス600内の他の光学チェーンと同じ形状および/または解像度のセンサを依然として使用しながら、異なる光学チェーンは、異なるレンズを使用し得る。
OCのレンズの後ろに位置決めされた、たとえばヒンジ結合された鏡などの光方向変換要素またはプリズムなどの他の光方向変換デバイスが移動および/または回転可能であり、それが、対応するOCの外側レンズの外部から見られるOCの光軸の変化をもたらすことを理解されたい。それは、カメラの外部から見られる光学チェーンの光軸(光軸1201、1211、1231などの第1のパートの光軸として上記で説明された)は、対応するOCの光方向変換要素を制御することによって変化可能である。したがって、図12Bの例では、光軸1201、1211、1221、1231、…、1298、1299は平行であるように見えるが、いくつかの実施形態では、対応する光学チェーン内の外側レンズの後ろに置かれた鏡などの光方向変換要素を制御することによって、光軸は、1つまたは複数のOCの光軸が互いと平行でないように変化可能であることを理解されたい。鏡の移動を制御することによって光学チェーンの光軸を変化させる機能は、たとえば所与の方向の写真を撮影するために、カメラがその方向に向けられる場合と同じ効果をもたらし、したがって、カメラデバイスを実際に移動させることなく異なる視点から画像をキャプチャする機能を提供する。
異なる位置において光方向変換デバイス1205’’を有する光学チェーン1210を示す図12C〜図12Eは、光方向変換デバイス1205’’の位置を変えることによって光路の第1のパート1241がどのように変えられ得るかの好例である。OC1210は、外側レンズ1203’’と、レンズ1203’’の後ろに位置決めされた光方向変換デバイス1205’’たとえば鏡と、第1の内側レンズ1207’’と、フィルタ1213’’と、第2の内側レンズ1215’’と、センサ1217’’とを含む。
図12Cでは、鏡の角度は上方に傾斜しており、光路の第1の部分1241が左に角度づけられることになる。鏡1205’’をこの位置に上昇させることによって理解されるべきであるように、光方向変換デバイス1205’’が光学チェーンモジュール1210の底部に対して45度傾斜しているときと異なる画像エリアが観察され、センサ1217’’によってキャプチャされ、光学チェーンモジュール1210の底部は、レンズ1203’’がカメラの前面に面していると仮定すると、モジュールが取り付けられるカメラの背面と一致する。
図12Dの構成では、すなわち、平面鏡1205’’が45度の角度であり、センサに向けられる画像がシーンエリアの中心部分に対応するとき、鏡1205’’の位置たとえば角度を変更することによって、センサ1217’’によってキャプチャされるシーンエリアの部分が変わると仮定する。図12Eは、鏡1205’’の角度を減少させることによって第1の部分1241がどのように右に向けられ得るかを示すが、図12Fは、鏡1205’’の角度をさらにもっと減少させることによってシーンの部分がどのようにキャプチャされ、変更され得るかを示す。
図12Cに示されるように光方向変換デバイスの角度を上昇させることは、いくつかの実施形態でサポートされているが、他の実施形態では、45度以下の角度がサポートされる。そのような実施形態では、カメラの最大奥行きは、45度の角度を超えて光方向変換デバイスを上昇させる能力をサポートするために増加される必要はない。
図12Bに示されるモジュールの光方向変換デバイスの位置を変えることによって、光方向変換デバイスを有するモジュールによってキャプチャされる画像エリアは、モジュールそれ自体を移動させることなく変更可能であることを理解されたい。モジュール1208、1210、1212、1214、1218、1220、1202、1204などのカメラの面上で45度の角度と平行に配置された光学チェーンモジュールの場合、光方向変換デバイスの角度を変更することによって、画像キャプチャエリアが、たとえばカメラの中心の真正面から効果的に移動され、またはたとえば関心シーンエリアのコーナーの四半分から、シーンエリアの何らかの他の部分をキャプチャする。カメラモジュールが、カメラデバイス1250の前面の1つのコーナーからカメラデバイス1250の別のコーナーまで延在する45度の角度に沿ってまたはこれと平行に配置される場合、鏡位置を変更することは、キャプチャされている画像エリアを45度の対角線に沿って摺動させる効果を有する。したがって、カメラモジュールが、カメラの前面の45度のバイアスに沿って設置されるとき、画像キャプチャエリアは、カメラの前面に対して45度の角度に沿って配置されたモジュールの光方向変換デバイスの単純な移動を介して、大きい画像エリアの中心部分ではなく大きい画像エリアの四半分がキャプチャされるように、シフトされ得る。画像キャプチャエリアは、図12C〜図12Dに示されるように光方向変換デバイス1205’’の角度を変えることによって、中心からコーナーの四半分に、またはその逆に、効果的に摺動され得る。
異なる光学チェーンは、鏡の位置および焦点距離に応じて、関心シーンエリアの異なる部分をキャプチャするために使用可能であり、いくつかの実施形態では、そのために使用される。キャプチャされる画像エリアは重複してよく、多くの場合は重複するが、重複する必要はない。異なるカメラモジュールによってキャプチャされるエリアの重複は、異なるモジュールによってキャプチャされる画像の組み合わせを容易にする。
たとえば、少なくともいくつかの光学チェーンの光軸が平行でない一実施形態に関する以下の説明を考えてみる。説明の目的で、図12Bを参照し、図12Bに示される要素に対応する参照番号を使用しているが、図12Bの例とは異なるこの特定の実施形態の説明のために、2つ以上の光学チェーンの光軸(光学チェーンの最も外側のレンズの外部から見られる)は互いと平行ではなく、カメラの前面に垂直でないことがあることが理解されよう。この実施形態により実施されるカメラデバイスは、第1の光軸と第1の最も外側のレンズとを有するカメラの第1の光学チェーンたとえば第1のOC1202と、第1の光軸と平行でない第2の光軸と第1の最も外側のレンズと異なる第2の最も外側のレンズとを有するカメラの第2の光学チェーンたとえば第2のOC1208またはOC1210とを含む。第1の光学チェーンは、関心シーンエリアの第1の部分の第1の画像をキャプチャするために使用可能であり、いくつかの実施形態では、そのために使用され、第2の光学チェーンは、関心シーンエリアの第2の部分の第2の画像をキャプチャするために使用可能であり、いくつかの実施形態では、そのために使用される。いくつかのそのような実施形態では、第1の光軸および第2の光軸は、たとえばカメラ600の前(1223)面などの、カメラの前面に垂直でない。いくつかの実施形態では、第1の光学チェーンおよび第2の光学チェーンに加えて、例示的なカメラは、第3の光軸と第1の最も外側のレンズおよび第2の最も外側のレンズ(たとえば、1203および1203’’)とは別個の第3の最も外側のレンズ1253とを有する第3の光学チェーンたとえばOC1228を含む。いくつかの実施形態では、第3の光学チェーンは、第1の光学チェーンまたは第2の光学チェーンのうちの少なくとも1つの焦点距離よりも小さい焦点距離を有する。いくつかの実施形態では、第3の光学チェーンは、第3の画像をキャプチャするために使用され、この第3の画像は、関心シーンエリアを含み、たとえば、関心シーンエリア全体の画像である。いくつかの実施形態では、第3の光軸はカメラの前面1223に垂直である。いくつかの実施形態では、第3の光軸は、第1の光軸または第2の光軸のいずれとも平行でない。いくつかの実施形態では、第2の光学チェーンは第2の焦点距離を有し、第1の光学チェーンは第1の焦点距離を有し、第2の焦点距離は前記第1の焦点距離よりも小さい。いくつかの他の実施形態では、第1の焦点距離と第2の焦点距離は同じである。いくつかの実施形態では、第3の光学チェーンは、第1の焦点距離および第2の焦点距離よりも小さい第3の焦点距離を有する。
いくつかの実施形態では、第1の光学チェーン、第2の光学チェーン、および第3の光学チェーンに加えて、カメラは、前記第1の最も外側のレンズ、前記第2の最も外側のレンズ、および前記第3の最も外側のレンズとは別個の第4の最も外側のレンズたとえばレンズ1256を有する、第4の光学チェーンたとえばOC1234を含む。いくつかの実施形態では、第4の光学チェーンは、第4の画像をキャプチャするために使用され、この第4の画像は、関心シーンエリア、たとえば関心シーンエリア全体の、第2の画像を含む。いくつかの実施形態では、第4の光学チェーンは第4の光軸を有し、第3の光軸と第4の光軸は互いと平行である。いくつかの実施形態では、第3の光軸および第4の光軸は、第1の光軸または第2の光軸と平行でない。
いくつかの実施形態では、カメラは、第1の光軸および第2の光軸と平行でない第5の光軸を有する第5の光学チェーンたとえばOC1220と、第1の光軸、第2の光軸、または第5の光軸と平行でない第6の光軸を有する第6の光学チェーンたとえばOC1212とをさらに含む。いくつかの実施形態では、第5の光学チェーンは、第5の画像をキャプチャするために使用され、第6の光学チェーンは、第6の画像をキャプチャするために使用され、第5の画像は関心シーンエリアの第3の部分の画像であり、第6の画像は関心シーンエリアの第4の部分の画像である。いくつかの実施形態では、カメラは、第1の光学チェーンと同じ焦点距離と第7の画像とを有する第7の光学チェーンたとえばOC1216をさらに含み、前記第7の光学チェーンは、カメラの面(1223)に垂直な光軸を有する。
いくつかの実施形態では、カメラ600は、少なくとも第1の画像と第2の画像とを結合することによって合成画像を生成するように構成されたプロセッサ(たとえば、プロセッサ110、211)を含む。いくつかの実施形態では、プロセッサは、第1の画像、第2の画像、第3の画像、第4の画像、第5の画像、および第6の画像から合成画像を生成するように構成される。いくつかの実施形態では、プロセッサは、第1の画像、第2の画像、第3の画像、第4の画像、第5の画像、第6の画像、および第7の画像から合成画像を生成するように構成される。いくつかの実施形態では、プロセッサは、デバイスメモリたとえばメモリ108内での生成された合成画像の格納、および/またはディスプレイたとえばディスプレイ102上での合成画像の出力、および/またはインターフェース114などのインターフェースを介した別のデバイスへのキャプチャされた画像もしくは合成画像の送信を制御するようにさらに構成される。
図13Aは、構造に関して図5に示されるカメラモジュール500に類似しているが、丸くない、たとえば卵形の、外側レンズ1312と方形の鏡1310とを光方向変換デバイスとして使用する、例示的な光学チェーンたとえばカメラモジュール1300を示す。光学チェーン1300は、さまざまな例示的な実施形態において使用される。カメラモジュール1300は、すべてではないがいくつかの実施形態では屈折力を持たない平面状ガラスである外側レンズ1312と、レンズ1312の後ろに位置決めされた光方向変換デバイスたとえば鏡1310と、ヒンジ駆動部1316と、鏡ヒンジ1308と、第1の円筒状モジュール部分1306と、第2の円筒状モジュール部分1304と、センサ1302と、レンズ駆動部1313とを含む光学チェーンである。いくつかの実施形態では、断面は円形ではなく卵形であることがあるので、いくつかの実施形態では、円筒状モジュール部分は、正確に円筒状でなくてよい。しかしながら、卵形の断面を有している場合ですら、それらの部分は、形状が略円筒状に見え、したがって、円筒状部分と呼ばれる。光は、レンズ1312を介してカメラモジュール1300に入り、光学チェーンの背面にあるセンサ1302に到達するように鏡1310によって方向変換される。第1の円筒状モジュール部分1304および第2の円筒状モジュール部分1306は、1つまたは複数のレンズまたはフィルタ、ならびに光がセンサ1302に到達する前に通過し得る他の光学構成要素を収納することができる。外側レンズ1312は、丸くない絞りを有するが、センサ1302は、図5の実施形態で使用されるものと同じ形状および/またはタイプであってよい。したがって、異なる光学チェーンは異なるレンズを使用し得るが、異なる光学チェーンは、カメラデバイス内の他の光学チェーンと同じ形状および/または解像度のセンサを依然として使用し得る。
潜在的なカメラの厚さに関して丸くない絞りを有する光学チェーンを使用する利点は、以降の説明に鑑みて明らかであろう。
図13Bは、カメラハウジング1322を含むカメラデバイス1320内の複数の光学チェーン(OC)の例示的な配置を示す。カメラ内部の光学チェーンの配置に加えて、光学チェーンの各々の内部要素の構成および配置も、より詳細に示されている。6つのOCを有する1つの例示的な配置が図13Bに示されているが、光学チェーンは、カメラ1320内のさまざまな他の位置に配置可能であることを理解されたい。図13Bに示されるように、カメラ1320は、カメラの前表面(矢印1321によって示される)からカメラの背/後表面(矢印1325によって示される)までのカメラ1320の厚さを表す奥行きDを有する。図13Bは、カメラハウジング1322、厚さ(D)1323、前表面1321、および後表面1325などのカメラデバイス1320のさまざまな特徴がより良く理解できるように、カメラデバイス1320の斜視図を示すことを理解されたい。いくつかの実施形態では、カメラデバイス1320は、図1および/または図4Aのカメラデバイスと同じまたは類似の要素を含む。
図13Bに示される複数の光学チェーンは、OC1324と、OC1326と、OC1328と、OC1330と、OC1332と、OC1333とを含む。示されているさまざまな光学チェーンの各々に含まれる要素は、上記で図4Aおよび図13Aに関して説明された要素に類似している。図13Bの実施形態では、各OCは、丸くない、たとえば卵形の、外側レンズを使用する。
OC1324は、外側レンズ1334と、レンズ1334の後ろに位置決めされた光方向変換デバイス1335たとえば鏡と、第1の内側レンズ1336と、フィルタ1338と、第2の内側レンズ1340と、センサ1342とを含む。OC1326は、外側レンズ1344と、レンズ1344の後ろに位置決めされた光方向変換デバイス1345と、第1の内側レンズ1346と、フィルタ1348と、第2の内側レンズ1350と、センサ1352とを含む。OC1328は、外側レンズ1354と、レンズ1354の後ろに位置決めされた光方向変換デバイス1355と、第1の内側レンズ1356と、フィルタ1358と、第2の内側レンズ1360と、センサ1362とを含む。同様に、OC1330は、外側レンズ1364と、レンズ1364の後ろに位置決めされた光方向変換デバイス1365と、第1の内側レンズ1366と、フィルタ1368と、第2の内側レンズ1370と、センサ1372とを含む。OC1332は、外側レンズ1374と、レンズ1374の後ろに位置決めされた光方向変換デバイス1375と、第1の内側レンズ1376と、フィルタ1378と、第2の内側レンズ1380と、センサ1382とを含む。OC1333は、外側レンズ1384と、レンズ1384の後ろに位置決めされた光方向変換デバイス1385と、第1の内側レンズ1386と、フィルタ1388と、第2の内側レンズ1390と、センサ1392とを含む。
図4Bに関して説明されたように、要素1335などの光方向変換要素を有する、図13Bに示される光学チェーン1324などの光学チェーンは、説明の目的で、2つのパートに分割可能である。カメラの外部から見られる光学チェーン1324の光軸は、第1のパート1331の光軸(カメラ1320の前面から外側レンズ1334を介してOCに入る)である。光軸に沿って光学チェーン1324内へと進む光は、方向変換要素1335によって方向変換され、第1の光学チェーンの第2のパート1339を横断して、センサ1342に到達する。同様に、光学チェーン1326の光軸は、第1のパート1341と、方向変換要素1345による光方向変換の後の第2のパート1349とを含み、光学チェーン1328の光軸は第1のパート1351と第2のパート1359とを含み、光学チェーン1330の光軸は第1のパート1361と第2のパート1369とを含み、光学チェーン1332の光軸は第1のパート1371と第2のパート1379とを含み、光学チェーン1333の光軸は第1のパート1381と第2のパート1389とを含む。
いくつかの特定の実施形態では、カメラ1320は、非円形の(丸くないとも呼ばれる)絞りを有するレンズを有するOC1324〜1333などの、複数の光学チェーン/カメラモジュールを有する。そのような一実施形態では、カメラ1320は、非円形の絞りがカメラの厚さの方向に沿った第1の方向のD(カメラの厚さ)よりも小さいかまたはこれに等しい長さと、カメラの厚さの方向に垂直な第2の方向に沿ったDよりも大きい長さとを有するレンズ1336を使用する、第1の光学チェーンたとえばOC1324を含む。さまざまな実施形態では、第1のレンズは、第2の光軸部分上の光方向変換要素に最も近いレンズ、たとえばレンズ1336である。いくつかのそのような実施形態では、カメラ1320は、非円形の絞りがカメラの厚さの方向に沿った第1の方向のDよりも小さいかまたはこれに等しい長さと、第1の方向に垂直な第3の方向に沿ったDよりも大きい長さとを有するレンズ1346を使用する、第2の光学チェーンたとえばOC1326をさらに含む。いくつかのそのような実施形態では、第2の方向と第3の方向は、互いに対して90度の角度をなす。いくつかのそのような実施形態では、カメラ1320は、非円形の絞りがカメラの厚さの方向に沿った第1の方向のD(カメラの厚さ)よりも小さいかまたはこれに等しい長さと、第1の方向に垂直な第4の方向に沿ったDよりも大きい長さとを有するレンズ1386を使用する、第3の光学チェーンたとえばOC1333をさらに含み、第1の方向と第2の方向と第3の方向は異なる。いくつかのそのような実施形態では、第2の方向と第3の方向は、互いに対して90度の角度をなし、第2の方向と第4の方向は、互いに対して30度から60度の間の角度(たとえば、45度)をなす。いくつかの実施形態では、第1の光方向変換デバイスは鏡である。いくつかの実施形態では、第1の光方向変換デバイスはプリズムである。いくつかの実施形態では、第1の光方向変換デバイスは、光を90度方向変換する、45度の角度がつけられた平面鏡である。
外側レンズおよび内側レンズ、鏡、フィルタ、およびセンサなどのOCのさまざまな要素の機能は、先に、たとえば図4Aおよび図13Aの説明において、説明されている。図13Bに示されるOCの要素の機能は同じまたは類似しているので、したがって、説明は詳細に繰り返されない。
光は、それぞれの外側レンズを介してOC1324〜1333の各々に入り、光学チェーンの各々の背面にあるそれぞれのセンサに到達するように、それぞれの方向変換要素によって方向変換される。多くの場合、光がOCに入る外側レンズは、光が入る入射瞳と呼ばれる。たとえば、光学チェーン1324の外側レンズ1334を通って(たとえば、第1の光軸1331によって示されるカメラ1320の前面から)入る光は、センサ1342に向かって進むとき第1の内側レンズ1336とフィルタ1338と第2の内側レンズ1340とを通過するように、鏡1335によって方向変換される。これより多いまたは少ない数の要素、たとえばレンズ、フィルタなどは、いくつかの実施形態では、OCの各々に含まれ得る。カメラデバイス内の他の光学チェーンと同じ形状および/または解像度のセンサを依然として使用しながら、異なる光学チェーンは、異なるレンズを使用し得る。
図14は、カメラデバイス600に類似しているが、大きい焦点距離の光学チェーンに丸くない絞りを有するレンズを使用するカメラデバイス1400を示す。さまざまな実施形態では、丸くない絞りを有するレンズが、カメラハウジング1402内のさまざまな光学チェーンの一部として含まれる。丸くない、たとえば卵形の、絞りを有するレンズの使用が、レンズエリア1404内で視認可能である。丸くないレンズは、図6で使用される丸いレンズと同じ最大長を1つの次元に有するが、他の方向、たとえば最大絞り長さの方向に垂直な方向では、図6で使用される丸いレンズよりも小さい。丸くない絞りを有するレンズの異なる方位は、さまざまな方向において低周波数情報に加えて高周波数情報のキャプチャを可能にするために意図的に使用される。カメラ1400は、図13Bに示されるカメラ1320に類似しており、しかしながら、図13Bには、丸くない絞りを有する光学チェーン/カメラモジュールの特定の配置が示されているが、図14では、カメラ1400は、わかるように、そのうちのいくつかは丸い絞りを有するレンズを使用し、いくつかの他のものは丸くない絞りを有するレンズを使用する、光学チェーンを含む。図13Bに示され、上記で説明された複数のさまざまな光学チェーンは、カメラ1400において使用可能である。
図14には示されていないが、カメラデバイス1400は、図1および図4Aのカメラデバイス100およびカメラデバイス200と同じまたは類似の要素を含み得、場合によっては、これを含むことを理解されたい。したがって、カメラデバイス1400は、プロセッサ110/211、メモリ108/213、ズームコントローラ140/214、露光および読み出しコントローラ150、加速度計、ジャイロ、オートフォーカスコントローラ152などのさまざまな要素、ならびに上記でカメラデバイス100および200に関して説明されたさまざまな他の要素を含むことを理解されたい。
図15は、レンズエリア1404がはっきりと示された、カメラ1400の簡略正面図1500である。図15では、よりはっきりとわかるように、カメラのレンズエリア1404は、そのうちのいくつかは丸いが、さまざまな他のものは丸くない、外側レンズ絞りを示す。上記で説明されたように、そのような組み合わせは、さまざまな方向において低周波数情報に加えて高周波数情報をキャプチャすることを可能にする。
図16は、カメラデバイス1400の側面図1600である。カメラ1400の側面図1600では、カメラ1400の前表面1602および後表面1604も示されている。カメラの高さHは、カメラデバイス600に対応する図10の例と同じであるが、カメラデバイス1400は、D1よりも小さく、いくつかの実施形態では最大長の方向における卵形の絞りの長さよりも小さい奥行きD2を用いて、実施されることに留意されたい。図14の実施形態では、最大焦点距離を有するカメラモジュールに卵形の絞りを有するレンズを使用することによって、カメラの奥行きは、最大絞り寸法の最大寸法によって制限されず、絞りの最大長よりも小さくてよい。
カメラ1400などのカメラに含まれる大きい絞りのレンズまたは最大絞りレンズは、大きなレンズまたはそれに関連付けられたまたは光方向変換デバイスの物理的サイズによりカメラの最小厚さに影響を与え得るが、多くの場合、より大きい絞りに丸くないレンズを使用しながら、丸いレンズを使用して、より小さい絞りをサポートすることが可能である。これは、より小さい丸いレンズに対応する光方向変換デバイスが、そうでなければカメラの本体内のより大きい丸い絞りの光を90度方向変換することが必要とされる鏡ほど大きさも奥行きもないことがあるからである。いくつかの実施形態では、丸くない絞りを有する大きなレンズと、丸い絞りを有するより小さいレンズの組み合わせが使用される。この手法は、図17に示される実施形態を含むいくつかの実施形態において使用される。
図17Aは、カメラデバイス1400を実施するために使用され得る、光学チェーンたとえばカメラモジュールの配置1700を示す。図5および図13Aに示されるタイプの光学チェーン(OC)は、図17の実施形態において使用され得るが、実装形態は、そのような光学チェーンの使用に限定されない。丸い絞りを有するレンズは、中間焦点距離を有する光学チェーン1704、1708、1714、1718、1724と、小さい焦点距離を有する光学チェーン1726、1728、1730、1732、および1734に使用されることに留意されたい。丸くない絞りを有するレンズは、大きい焦点距離を有する光学チェーン1702、1706、1710、1712、1716、1720、1722に使用される。図18〜図23の説明から明らかになるように、丸くない絞りの特定の配置および角度が有益であることがある。光学チェーン1704、1708、1714、1718、および1724の各々は、丸い絞りを有するレンズを使用し、図5に関して詳細に説明された要素と同じまたはこれに類似した要素を含む。同様に、光学チェーン1702、1706、1710、1712、1716、1720、1722の各々は、丸くない絞りを有するレンズを使用し、図13Aに関して詳細に説明された要素と同じまたはこれに類似した要素を含む。
一実施形態では、OC1722などの光学チェーン(OC)は、第1の焦点距離と第1の非円形のレンズとを有する第1の光学チェーンであり、別の光学チェーンたとえばOC1706は、第2の焦点距離と第2の非円形のレンズとを有する第2の光学チェーンである。いくつかの実施形態では、第1の焦点距離と第2の焦点距離は同じである。いくつかの他の実施形態では、第1の焦点距離と第2の焦点距離は異なる。いくつかの実施形態では、第1の非円形のレンズは、カメラ1400の奥行き、たとえば図16に示される奥行きD2よりも大きい量、第1の方向に延在する。いくつかの実施形態では、第1の光学チェーンは第1のセンサを含み、第2の光学チェーンは、たとえば図13Aのセンサ1302などの第2のセンサを含む。いくつかの実施形態では、カメラ1400は、合成画像を生成する目的で第1のセンサおよび第2のセンサによってキャプチャされた画像を結合するために第1のセンサおよび第2のセンサに結合された、たとえばプロセッサ110または211などのプロセッサをさらに含む。いくつかの実施形態では、第1の光学チェーンは第1の光方向変換要素を含み、第2の光学チェーンは、たとえば図13Aの光方向変換要素1310などの第2の光方向変換要素を含む。いくつかのそのような実施形態では、第1の光方向変換要素は、カメラの奥行きよりも大きい量、少なくとも1つの方向に延在し、第2の光方向変換要素は、カメラの奥行きよりも大きい量、少なくとも1つの方向に延在する。いくつかの実施形態では、第1の光方向変換要素および第2の光方向変換要素は平面鏡である。いくつかの実施形態では、第1の光方向変換要素および第2の光方向変換要素はプリズムである。いくつかの実施形態では、第1の焦点距離および第2の焦点距離は、70mmに等しいかまたはこれよりも大きく、第3の焦点距離は70mmよりも小さい。いくつかの実施形態では、第1のセンサおよび第2のセンサは同じ数の画素を有し、第3の光学チェーンは、第1のセンサおよび第2のセンサと同じ数の画素を有する第3のセンサを含む。
いくつかの実施形態では、丸い絞りレンズを使用する光学チェーンたとえばOC1704または1728は、第3の焦点距離を有し、丸いレンズを含む、第3の光学チェーンであり、第3の焦点距離は第1の焦点距離または第2の焦点距離よりも小さい。いくつかの実施形態では、第1の光学チェーン1722に対応する第1の非円形のレンズは、第1の方向に垂直な第2の方向においてよりも第1の方向において長く、第2の光学チェーン1706に対応する第2の非円形のレンズは、第4の方向においてよりも第3の方向において長く、第4の方向は第3の方向に垂直である。いくつかの実施形態では、第1の方向と第3の方向は異なる。いくつかの実施形態では、第1の方向は第1の平面内に延在し、第3の方向は、第1の平面と同じ平面内にある。いくつかの実施形態では、平面は、カメラ1400の前面に対応する。
いくつかの実施形態では、別のカメラモジュールたとえば1710は、第4の焦点距離と第3の非円形のレンズとを有する第4の光学チェーンであり、第4の焦点距離は第3の焦点距離よりも大きい。いくつかのそのような実施形態では、第3の非円形のレンズは、第6の方向においてよりも第5の方向において長く、第6の方向は第5の方向に垂直である。いくつかのそのような実施形態では、第1の方向と第3の方向と第5の方向は、少なくとも20度異なる。
図17Bは、カメラデバイス内のさまざまな光学チェーンおよび光学チェーンの要素の配置がより詳細に示される、カメラデバイス1400の斜視図1750を示す。
図17Bは、カメラデバイス内のさまざまな光学チェーンおよびカメラデバイス内の光学チェーンの要素の配置をより詳細に示す、カメラデバイス1400の斜視図1750を示す。したがって、図17Bは、図17Aに関して詳細に説明されるようなさまざまな対応する焦点距離を有する複数の光学チェーン(OC)1702、1704、1706、1708、1710、1712、1714、1716、1718、1720、1722、1724、1726、1728、1730、1732、および1734のより詳細な図を示す。
図17Bに示されるように、カメラ1400は、カメラの前表面(矢印1723によって示される)からカメラの背/後表面(矢印1727によって示される)までのカメラ1400の厚さを表す奥行きD2を有する。図17Bには示されていないが、いくつかの実施形態では、カメラデバイス1400は、図1および/または図4Aのカメラデバイスと同じまたは類似の要素を含む。
いくつかの実施形態では、光学チェーン1702、1706、1710、1712、1716、1720、1722に含まれる要素は、上記で図13Bに関して説明された要素に類似している。光学チェーン1704、1708、1714、1718、1724およびこれらの光学チェーンに含まれる要素は、上記で図12Bに関して説明されたOC1204、1208、1214、1218、1224に関して説明されたものに類似しているが、光学チェーン1726、1728、1730、1732、および1734ならびにその中に含まれる要素は、OC1226、1228、1230、1232、および1234ならびに図3に関して説明されたOCに関して説明されたものに類似している。図17Bの図示の実施形態では、OCのうちのいくつかは非円形の外側レンズを使用するが、他のOCは丸い外側レンズを使用する。
OC1702は、非円形の外側レンズ1703と、レンズ1703の後ろに位置決めされた光方向変換デバイス1705たとえば鏡と、第1の内側レンズ1707(非円形)と、フィルタ1713と、第2の内側レンズ1715と、センサ1717とを含む。いくつかの実施形態では、OC1702、1706、1710、1717、1716、1720、1722は、同じ焦点距離(図17の他のOCと比較すると最大焦点距離)を有し、鏡、フィルタ、センサなどの類似の要素を使用する。したがって、OC1706、1710、1717、1716、1720、1722に対応する要素は、OC1702内の類似の要素を識別するために使用される同じ参照番号を使用して識別されているが、これらのOC内の参照番号の後に、プライム符号(’)、ダブルプライム符号(’’)、トリプルプライム符号(’’’)などが続く。たとえば、OC1706は、非円形の外側レンズ1703’と、レンズ1703’の後ろに位置決めされた光方向変換デバイス1705’たとえば鏡と、第1の非円形内側レンズ1707’と、フィルタ1713’と、第2の内側レンズ1715’と、センサ1717’とを含む。OC1710は、非円形の外側レンズ1703’’と、光方向変換デバイス1705’’と、第1の非円形の内側レンズ1707’’と、フィルタ1713’’と、第2の内側レンズ1715’’と、センサ1717’’とを含む。OC1712は、非円形の外側レンズ1703’’’と、光方向変換デバイス1705’’’と、第1の非円形の内側レンズ1707’’’と、フィルタ1713’’’と、第2の内側レンズ1715’’’と、センサ1717’’’とを含む。OC1716は、非円形の外側レンズ1703’’’’と、光方向変換デバイス1705’’’’と、第1の非円形の内側レンズ1707’’’’と、フィルタ1713’’’’と、第2の内側レンズ1715’’’’と、センサ1717’’’’とを含む。OC1720は、非円形の外側レンズ1703’’’’’と、光方向変換デバイス1705’’’’’と、第1の非円形の内側レンズ1707’’’’’と、フィルタ1713’’’’’と、第2の内側レンズ1715’’’’’と、センサ1717’’’’’とを含む。OC1722は、非円形の外側レンズ1703’’’’’’と、光方向変換デバイス1705’’’’’’と、第1の非円形の内側レンズ1707’’’’’’と、フィルタ1713’’’’’’と、第2の内側レンズ1715’’’’’’と、センサ1717’’’’’’とを含む。
いくつかの実施形態では、光学チェーン1704、1708、1714、1718、1724は、同じ焦点距離(中間)を有する。OC1704は、外側レンズ1733と、レンズ1733の後ろに位置決めされた光方向変換デバイス1735たとえば鏡と、第1の内側レンズ1737と、フィルタ1743と、第2の内側レンズ1745と、センサ1747とを含む。OC1704と同じ焦点距離を有するOC1708、1714、1718、1724に対応する要素は、OC1704内の類似の要素を識別するために使用される同じ参照番号を使用して識別されているが、これらのOC内の参照番号の後に、プライム符号(’)、ダブルプライム符号(’’)などが続く。図示のように、光学チェーン1708は、外側レンズ1733’と、レンズ1733’の後ろに位置決めされた光方向変換デバイス1735’たとえば鏡と、第1の内側レンズ1737’と、フィルタ1743’と、第2の内側レンズ1745’と、センサ1747’とを含む。OC1714は、外側レンズ1733’’と、光方向変換デバイス1735’’と、第1の内側レンズ1737’’と、フィルタ1743’’と、第2の内側レンズ1745’’と、センサ1747’’とを含む。OC1718は、外側レンズ1733’’’と、光方向変換デバイス1735’’’と、第1の内側レンズ1737’’’と、フィルタ1743’’’と、第2の内側レンズ1745’’’と、センサ1747’’’とを含み、OC1724は、外側レンズ1733’’’’と、光方向変換デバイス1735’’’’と、第1の内側レンズ1737’’’’と、フィルタ1743’’’’と、第2の内側レンズ1745’’’’と、センサ1747’’’’とを含む。
先に説明されたように、要素1705などの光方向変換要素を有する、OC1702(またはOC1706、1710、1712、1716、1720、1722、1704、1708、1714、1718、1724)などの光学チェーンは、説明の目的で、2つのパートに分割可能である。カメラの前面の外部から見られる光学チェーン1702の光軸は、第1のパート1701の光軸(カメラ1400の前面1723から外側レンズ1703を介してOCに入る)である。光軸に沿って光学チェーン1702内へと進む光は、方向変換要素1705によって方向変換され、第1の光学チェーンの第2のパート1709を横断して、センサ1717に到達する。同様に、光学チェーン1704の光軸は、第1のパート1711と、方向変換要素1735による光方向変換の後の第2のパート1719とを含み、光学チェーン1706の光軸は第1のパート1721と第2のパート1729とを含み、光学チェーン1708の光軸は第1のパート1731と第2のパート1739とを含み、光学チェーン1710の光軸は第1のパート1741と第2のパート1749とを含み、光学チェーン1717の光軸は第1のパート1751と第2のパート1759とを含み、光学チェーン1714の光軸は第1のパート1761と第2のパート1769とを含み、光学チェーン1716の光軸は第1のパート1771と第2のパート1779とを含み、光学チェーン1718の光軸は第1のパート1778と第2のパート1788とを含み、光学チェーン1720の光軸は第1のパート1781と第2のパート1789とを含み、光学チェーン1722の光軸は第1のパート1791と第2のパート1799とを含み、光学チェーン1724の光軸は第1のパート1792と第2のパート1798とを含む。
図17Bの例では、他の光学チェーンOC1726、1728、1730、1732、および1734(最小焦点距離OC)は、各々、光が入る最も外側のレンズ1752、1753、1754、1755、および1756をそれぞれ有するが、OC1726、1728、1730、1732、および1734は、光方向変換要素を持たない。図17Bには示されていないが、OC1726、1728、1730、1732、および1734は各々、カメラ1400の前面1723に垂直な光軸を有する。
外側レンズおよび内側レンズ、鏡、フィルタ、およびセンサなどのOCのさまざまな要素の機能は、先に、たとえば図4Bおよび図5に関して、説明されている。図17Bに示されるOCの要素の機能は、図4A〜図4Bおよび図5に関して説明された機能と同じまたはこれに類似しているので、説明は繰り返されない。
光は、それぞれの外側レンズを介してOC1702、1706、1710、1717、1716、1720、1722、1704、1708、1714、1718、1724の各々に入り、光学チェーンの各々の背面にあるそれぞれのセンサに到達するように、それぞれの方向変換要素によって方向変換される。多くの場合、光がOCに入る外側レンズは、光が入る入射瞳と呼ばれる。たとえば、光学チェーン1702の外側レンズ1703を通って(たとえば、第1の光軸1701によって示されるカメラ1400の前面1723から)入る光は、センサ1717に向かって進むとき第1の内側レンズ1707とフィルタ1713と第2の内側レンズ1715とを通過するように、鏡1705によって方向変換される。これより多いまたは少ない数の要素、たとえばレンズ、フィルタなどは、いくつかの実施形態では、OCの各々に含まれ得る。カメラデバイス1400内の他の光学チェーンと同じ形状および/または解像度のセンサを依然として使用しながら、異なる光学チェーンは、異なるレンズを使用し得る。図17Bに示される方式で配置された非円形のレンズを有する光学チェーンの使用は、いくつかの利点を提供し、光学チェーンを有する薄いカメラの実装形態がさまざまな異なる焦点距離を有することを可能にすることを理解されたい。
OCのレンズの後ろに位置決めされた、たとえばヒンジ結合された鏡などの光方向変換要素が移動および/または回転可能であり、それが、対応するOCの外側レンズの外部から見られるOCの光軸の変化をもたらすことを理解されたい。それは、カメラの外部から見られる光学チェーンの光軸(光軸1701、1711、1731などの第1のパートの光軸として上記で説明された)は、対応するOCの光方向変換要素を制御することによって変化可能である。したがって、図17Bの例では、光軸1701、1711、1721、1731、…、1798、1799は平行であるように見えるが、いくつかの実施形態では、対応する光学チェーン内の外側レンズの後ろに置かれた鏡などの光方向変換要素を制御することによって、光軸は、1つまたは複数のOCの光軸が互いと平行でないように変化可能であることを理解されたい。鏡の移動を制御することによって光学チェーンの光軸を変化させる能力は、たとえば所与の方向の写真を撮影するために、カメラがその方向に向けられる場合と同じ効果をもたらし、したがって、カメラデバイスを実際に移動させることなく異なる視点から画像をキャプチャする能力を提供する。
図18は、図12Aおよび図12Bの実施形態で使用され得、および時々使用されるレンズなどの、丸い開口を有する例示的なレンズに対応する丸い絞り1800を示す。
図19は、図18に示されるタイプの丸い絞り1800を有する良く設計された(回折限界の)レンズから予想される可能な周波数特性を示し、周波数情報は、垂直方向と水平方向の両方(実際には、あらゆる方向)において均一である。垂直次元および水平次元における均一な周波数特性は、垂直次元と水平次元の両方における同じまたは類似の周波数特性と、したがって解像度とを可能にする。センサの画素または画素要素の数は、解像度に影響を与えることができるが、センサまたは画像の画素の数は、ビューアが画像の異なる特徴を区別する能力に関係する解像度と混同されるべきではない。解像度は、線が互いに対してどのくらい近くなり得るかと、依然として目に見えて解像され得るかとを定量化する。解像度単位は、1mm当たりの線、1インチ当たりの線などの物理的なサイズに、および/または、たとえば写真の高さ当たりの線など、画像の全体的な大きさに結び付けられ得る。
丸い絞りを有するレンズのほぼ均一な周波数応答を考えれば、丸いレンズを使用してキャプチャされる画像のビューは、垂直線と水平線とを同様に良好に識別することができるはずである。
図20は、丸い絞り1800の場合、光が通過する開口の長さが、レンズ開口が存在する平面の両方の寸法でどれくらい同じであるかを示す。図示のように、垂直方向L1における開口の長さは、水平方向L2における開口の長さに等しい。理解されるべきであるように、これは、レンズが、丸くない絞り、たとえば、光が通過する、卵形の絞り、長円形の絞り、または他の丸くない形状の絞りを有する場合ではない。
図21は、例示的な丸くない、たとえば卵形の、絞り2100を示す。陰影が、キャプチャされる水平方向および垂直方向の各々における周波数情報の相対量を示すために使用され、より多くの周波数情報が、それによってより高い周波数情報がキャプチャされることになる水平方向よりも垂直方向で入手可能であり、絞りの狭い方の次元よりも長い方の次元、たとえば最大長さ方向で入手可能であることが図から明らかである。
一般に、最も良く設計されたレンズの性能ですら、回折限界のために絞りサイズによって制限される。絞りが大きいほど、良く設計されたレンズは、細部をキャプチャすることに関して実行することが一層可能であるはずである。言い換えれば、絞りが大きいほど、可能な解像度が大きくなる。キャプチャされた解像度は、図19と同様に周波数領域において表現可能である。図19における円のより大きい半径は、画像のすべての空間方向、たとえば、水平、垂直、または斜めにおける、より多くのキャプチャされる高周波数情報を示す。カメラモジュールが回折限界ではなく、上記で当てはまらないことがあるときですら、より大きい絞りエリアは、所与の時間期間内に、より多くの光をキャプチャし、その画像をキャプチャさせるべき被写体が動いているときによくあることだが露光時間が制限されるとき、画像の粒子の粗さまたはノイズを低下させるので、より大きい絞りを使用することが依然として望ましいときがあることに留意することが重要である。
絞りが丸くなく、卵形である場合、よく設計された、回折限界のレンズに対して、対応して、卵形の短い方の次元の方向よりも卵形の長い方の次元の方向に沿ってより詳細にキャプチャされる。
図22は、垂直(Y)方向および水平(X)方向における丸くない絞り2100の長さの比較を示す。垂直次元は、図22の例における2つの次元のうち長い方である。図示のように、垂直方向LYに光が通過する開口の長さは、水平方向LXにおける開口の長さよりも大きい。
図23は、異なる方向に向けられた卵形の絞り2100、2100’、2100’’、2100’’’を有する複数の丸くないレンズからの画像情報を結合することによって、丸い絞り1800を有するレンズ(大きい方の卵形の寸法と等しい半径を有する)から取得されると予想される情報を近似する画像情報がどのように達成可能であるかを示す図2300である。より多くの情報が、合成画像を生成するために図23の例で結合される複数の個々の画像の重複により、さまざまな縁部ロケーションにおいてよりも結合された画像の中心に向かって入手可能である。互いに対する異なる角度における複数の丸くないレンズの使用による高周波数情報のキャプチャおよび画像を結合することは、個々の丸くないレンズによってキャプチャされる高周波数情報の欠如を補う助けとなる。図23に示される絞りを有するレンズを用いてキャプチャされた画像を結合することによって達成可能な解像度は、丸いレンズを使用してキャプチャされる画像の解像度を近似することができるが、合成画像は、同じ画像をキャプチャするために単一の丸いレンズを使用して取得されるであろうよりも大きい、画像重複の領域における輝度情報に関するダイナミックレンジを持ち得ることを理解されたい。これは、異なるレンズが各々、中心領域において光をキャプチャするからである。図23に示される絞りを有するレンズを使用してキャプチャされた画像を結合することによって生成される合成画像は、本発明の一実施形態により、高品質の中心画像部分と、合成画像の縁に向かって、より低い品質とをもたらすことを理解されたい。この画質劣化は、単一の高品質レンズが使用された場合に予想され得るものに類似しており、画質は通常、レンズの縁に向かってよりも、レンズの中心に向かって良くなる。
したがって、図23に示される絞りを有するレンズを使用してキャプチャされた画像を結合することによって生成される合成画像は、絞りの最大長さの方向に類似の最大絞り寸法を有する単一の丸いレンズを使用して画像をキャプチャすることによって取得され得るよりも、少なくともいくつかの点において、類似またはより良い品質の合成画像をもたらすことができることを理解されたい。
図24は、丸くない絞りを有する、たとえば卵形または長円形の形状の絞りに近似する、レンズを作り出すために、丸い絞り1800を有するレンズがどのように切断またはマスキング可能であるかを示す。そのような一実施形態は、所与の最大絞りに対する最大量またはかなりの量の光のキャプチャを可能にする。
図25は、図24に示される絞り、たとえば卵形の絞りに近似した長円形の絞りを有するレンズを作り出すために、丸いレンズ、たとえば丸い絞り1800を有するレンズを切断またはマスキングすることから生じる絞り2500を示す。
図25に示されるタイプのレンズは、いくつかの実施形態では、カメラデバイスの丸くないレンズとして使用される。したがって、図14のカメラデバイスのいくつかの実施形態では、卵形のレンズとして示されているが、図25に示されるタイプの卵形でない絞りを有するレンズが使用される。
図26は、前方側面2614と上部2612と底部2616と後面すなわち背面2618とを有するハウジング2610を含むカメラ2600の図である。丸い絞り2606に対応する丸いレンズは、ハウジング2610の前面2614内に取り付けられる。図26は、丸い絞り2606を有する外側レンズと組み合わせて光を90度方向変換するために、光方向変換デバイス2604たとえば鏡を使用することが通常、カメラの奥行きたとえば厚さがレンズおよびレンズの一部である対応する絞り2606の直径に等しいまたはこれよりも大きいことをどのように必要とするかを示す。本発明のいくつかの実施形態では、レンズは単に、プラスチックまたはガラスの丸い平坦な断片である。丸い絞り2606は、図26では、カメラデバイス2600の前面上に破線の使用によって示されている。丸い絞り2606を通過する光は、カメラ2600の上部に取り付けられたセンサ2602に向かって鏡2604によって90度で反射する。図26の例においてカメラ内に取り付けられた光方向変換デバイス前面から後面までの距離RDと光方向変換デバイスの高さRHは等しく、両方とも、丸い絞り2606の直径LXよりも大きいかまたはこれに等しいことに留意されたい。その結果、カメラ2600の奥行きは、丸い絞り2606の直径に等しいまたはこれよりも大きい。
図27は、前方側面2714と上部2712と底部2716と後面すなわち背面2718とを有するハウジング2710を含むカメラ2700の図である。丸くない、たとえば卵形の、絞り2706に対応する丸くないレンズは、ハウジング2710の前面2714内に取り付けられる。図27は、丸くない、たとえば卵形の、絞り2706を有する外側レンズと組み合わせて光を90度方向変換するために光方向変換デバイス2704たとえば鏡を使用することが、カメラの奥行きがあるよりも1つの次元において長いレンズの使用をどのように可能にすることができるかを示すことができる。センサ2702が、図26の実施形態のセンサ2602と同じ位置に(カメラハウジングの上部部分と平行に)カメラ2700の上部2712に取り付けられるが、鏡2704は現在、図26の実施形態で使用される鏡2604よりも奥行きが小さい平坦な方形表面を有する鏡を使用して実施可能であることに留意されたい。簡単にするために方形の鏡が使用されているが、いくつかの実施形態では、卵形の鏡も使用可能であり、絞り停止具としても働くことができることも指摘する価値がある。いくつかの実施形態では、丸くない、たとえば卵形の、絞りの使用が、より薄いカメラ、たとえば卵形の絞りの最大寸法に等しい直径を有する丸い絞りを有するカメラよりも小さな厚さを有するカメラを可能にすることを理解されたい。
図28は、前方側面2814と上部2812と底部2816と後面すなわち背面2818とを有するハウジング2810を含むカメラ2800の図である。丸くない、たとえば卵形の、絞り2806に対応する丸くないレンズは、ハウジング2810の前面2814内に取り付けられる。図28は、カメラ2800において、丸くない絞り2806を含む光学チェーンの光路の長さが、カメラ2800の奥行きよりもどのように長くなり得るかを示す。光方向変換デバイス2804は、カメラデバイス2800の一端、たとえば底端2816に位置決め可能である。カメラ2800の対向端の近くの光方向変換デバイス2804およびセンサ2802の位置決めは、追加の卵形の絞りのレンズおよび光方向変換デバイスのための十分な空間を可能にすることを理解されたい。
図29は、絞り2906、第1の光方向変換デバイス2904、第2の光方向変換デバイス2901、およびセンサ2902に対応してカメラの前面に取り付けられたレンズを含むカメラモジュールを光が通過するとき光がどの方角に方向変換されるかに応じてセンサ2902がカメラの背面2918または前面2914のいずれかに位置決めされることを可能にしながら、複数の光方向変換デバイス2904、2901が、比較的長い光進行経路、したがって焦点距離を可能にするために、光学チェーンたとえばカメラモジュール内で使用されるカメラ2900の一例を示す。図29では、カメラモジュールの外側レンズは、第1の光方向変換デバイス2904であるようにカメラ2900の底部2916の近くに位置決めされるが、第2の光方向変換デバイス2901は、カメラ2900の上部2912の近くに位置決めされることに留意されたい。センサ2902は、カメラ2900の内部背面2918に取り付けられて示されているが、他の実施形態では、たとえば、第2の光方向変換デバイス2901が光をカメラの前面に方向づける場合、センサ2902は、カメラハウジング2910の内部前面に取り付けられる。
図30は、非円形の外側レンズと絞りとを有する4つの光学チェーンを含むカメラデバイス3000の図である。図27〜29と同様に簡単にする目的で、図30の実施形態では、単一の参照番号が、非円形のレンズとその対応する非円形の絞りの両方を表すために使用される。光は、カメラの前面を介してレンズの外側の非円形の絞りに入り、図において「X」によって示されるように、外側レンズ(たとえば、レンズ3001、3011、3021、および3031)の下の1つまたは複数の光方向変換デバイス位置を介して、対応するセンサに方向変換される。
カメラデバイス3000は、卵形の絞りを有する非円形のレンズ3001と光方向変換要素3003と光路3005とセンサ3007とを含む第1の光学チェーンを含む。光は第1の光学チェーンに入り、第1の光路3005の第1の部分を横断してから鏡3003に当たり、センサ3007に向かって90度または約90度方向変換される。
カメラデバイス3000は、卵形の絞りを有する第2の非円形のレンズ3011と第2の光方向変換要素3013と第2の光路3015と第2のセンサ3017とを含む第2の光学チェーンをさらに含む。光は第2の光学チェーンに入り、第2の光路3015の第1の部分を横断してから鏡3013に当たり、第2のセンサ3017に向かって90度または約90度方向変換される。
カメラデバイス3000は、卵形の絞りを有する第3の非円形のレンズ3021と第3の光方向変換要素3023と第3の光路3025と第3のセンサ3027とを含む第3の光学チェーンをさらに含む。光は第3の光学チェーンに入り、第3の光路3025の第1の部分を横断してから鏡3023に当たり、第3のセンサ3027に向かって90度または約90度方向変換される。
カメラデバイス3000は、卵形の絞りを有する第4の非円形のレンズ3031と第4の光方向変換要素3033と第4の光路3035と第4のセンサ3037とを含む第4の光学チェーンをさらに含む。光は第4の光学チェーンに入り、第4の光路3035の第1の部分を横断してから第4の鏡3033に当たり、第4のセンサ3027に向かって90度または約90度方向変換される。
4つのレンズおよび対応する絞り3001、3011、3021、3031がカメラ3000の前面に設置されるが、これらは、使用中は通常水平方向と一致するカメラハウジングの底部に対して各絞りの最大の長さが異なる角度であるように意図的に位置決めされることに留意されたい。
図30は、合成画像を生成するために画像を結合するとき高周波数情報、したがって高解像度が複数の方向の各々において入手可能であるように、非円形の絞りを有する複数のレンズ3001、3011、3021、3031が、複数の方向における高周波数情報を収集するために単一の例示的なカメラデバイス3000内でどのように使用可能であるかを示す。図30に示されるカメラモジュールは、光路が交差する個々の光路にカメラデバイス内の空間の大部分を利用するように示されているが、光学チェーンは、交差しない光路を有する個々の内蔵(self contained)モジュールとして実施可能であり、いくつかの実施形態では、実施されることを理解されたい。
そのような密閉された内蔵光モジュールは、埃および/または砂が懸念される屋外および/または海岸での使用が意図されたカメラ実施形態など、埃および/または混入に関する他の懸念事項が問題になり得るいくつかの実施形態では、特に望ましいことがある。
図31は、本発明の1つまたは複数の実施形態により実施されるカメラのカメラモジュールによってキャプチャされたその画像のすべてまたは一部分を有し得るシーンエリア3104を含む例示的なシーン3102を示す。例示的なシーン3102は、山3112、鳥3113、人間3106、および家屋3108からなるビューを含む。シーン3102は、非常に広いエリアを対象とするが、関心シーンエリア3104は、人間3106と、ハウジング3108とを含む。「シーン」または「シーンエリア」に対する言及がなされているが、そのような言及は、3次元である物理的シーンと解釈されるべきではなく、理想的なカメラを使用してシーンの画像をキャプチャすることによって取得される物理的シーンの2次元投影または表現と解釈されるべきであることが指摘されるべきである。シーンのエリアに対するいかなる言及も、そのような2次元投影におけるエリアと解釈されるべきである。そのような投影では、カメラに十分近い小さな物体ですら、カメラに対するその近接性を考えると、大きいエリアを有するように見え得るが、遠い物体は、よりカメラに近い等しいサイズの物体よりも小さいように見える。
図32は、そのうちのいくつかが異なる焦点距離を有する、各カメラデバイスが(図12Aおよび図17Aに示されるように)複数の光学チェーンを含む、図6のカメラデバイス600または図14のカメラデバイス1400などの、カメラの異なる光学チェーンたとえばカメラモジュールは、関心シーンエリア3202(図31に示される関心シーンエリア3104に対応し得る)の異なるサイズの部分をどのようにキャプチャすることができるかを示す図3200である。
説明の目的で、異なるシーンエリアに対応する画像のキャプチャおよび結合は、カメラ600内の光学チェーンの配置を示す図12Aを参照することによって、カメラデバイス600を使用して説明される。
カメラデバイス600が、図12Aに示されるように配置された17のモジュールを含むという説明の目的について考えてみよう。図12Aの例で先に説明されたように、3つの異なる焦点距離すなわちf1、f2、およびf3が使用されており、ここで、f1<f2<f3、f1はf2の2分の1、f2はf3の2分の1である。
説明の目的で、第1〜第7のカメラモジュール1202、1206、1210、1212、1216 1220、1222はそれぞれ、最大のレンズ(したがって、さまざまな実施形態では、最大の絞り)とサポートされる最大焦点距離(f3)とを有するモジュールである。以下の説明を簡単にするために、さまざまなカメラモジュール間の距離は、カメラとシーン内のすべての物体との間の距離よりもはるかに小さいことがさらに仮定される。しかしながら、このことは、説明される発明の制限ではなく、以降の説明をより簡単なものにすることが意味されるにすぎない。
第8〜第12のカメラモジュールである5つの中間のサイズのカメラモジュールは、それぞれ参照番号1204、1208、1214、1218、1224に相当し、中間の直径のレンズと、サポートされる中間の焦点距離(f2)とを有する。
第13〜第17のカメラモジュールである5つのカメラモジュールは、それぞれ参照番号1226、1228、1230、1230、1234に相当し、最小の直径の外側レンズと、最小の焦点距離(f1)とを有する。
最大の焦点距離f3を有するカメラモジュールが最大の倍率を提供することを考えると、これらのカメラモジュールが関心シーンエリアの最小部分をキャプチャすることを理解されたい。異なる焦点距離のカメラモジュールは同じ総画素カウントを有するセンサを使用すると仮定すると、より大きい焦点距離(f3)を有するモジュールは、中間の焦点距離(f2)および小さい焦点距離(f1)のカメラモジュールの場合よりも、より多くの画素が小さいシーンエリアの画像をキャプチャするために使用されるので、画素とシーンエリアとのより大きな比を有する画像を提供する。
異なる焦点距離(f1、f2、f3)を有するモジュール間の倍率の差を考えると、小さい焦点距離(f1)のカメラモジュールによってキャプチャされるシーンエリアは、最大の(f3)焦点距離を有するカメラモジュールによってキャプチャされる関心シーンエリア部分の約16倍のサイズである関心シーンエリアの部分に対応することを理解されたい。中間の焦点距離(f2)を有するカメラモジュールによってキャプチャされる関心シーンエリアの部分は、最大の焦点距離(f3)を有するカメラモジュールによってキャプチャされる関心シーンエリアの部分の4倍のサイズであり、最小の焦点距離(f1)を有するカメラモジュールによってキャプチャされる関心シーンエリアの部分の4分の1のサイズである。
f1焦点距離に対応するカメラモジュールによってキャプチャされるシーンエリアとf2焦点距離に対応するカメラモジュールによってキャプチャされるシーンエリアとの間の関係は、7つの別個のシーンエリアを示す図32の例の文脈で理解可能である。
図32の例では、関心シーンエリアは参照3202によって識別される。対角線3250および3260は、異なるエリア間の関係および異なるエリアが互いに対してどのように対応するかをより良く理解できるように示されている。第1のシーンエリア3204と第4のシーンエリア3210は、類似のサイズであるかまたは同じサイズであり、図31に示される例示的な関心シーンエリア3102に対応する全関心シーンエリア3202に対応する。説明の目的で、第1のシーンエリアおよび第4のシーンエリアが、焦点距離f1を有する光学チェーンによって、すなわち、より小さい焦点距離の光学チェーンによってキャプチャされると考える。説明目的で、(f1)カメラモジュール1228が第1のシーンエリア3204をキャプチャするために使用され、(f1)カメラモジュール1232は第4のシーンエリア3210をキャプチャするために使用されると仮定する。1228および1232によってキャプチャされる実際の画像は、関心シーンエリアがキャプチャされることを保証するためにやや大きいシーンエリアであることがあることに留意されたい。
f2カメラモジュール1204は第2のシーンエリアをキャプチャするために使用され、(f2)カメラモジュール1208は第3のシーンエリアをキャプチャするために使用され、(f2)カメラモジュール1218は第5のシーンエリアをキャプチャするために使用され、(f2)カメラモジュール1214は第6のシーンエリア3214をキャプチャするために使用さ、(f2)カメラモジュール1224は第7のシーンエリア3216をキャプチャするために使用されることも仮定する。また、他のシーンエリアのキャプチャと同様に、モジュール1204、1208、1218、1214、および1224によってキャプチャされる実際の画像は、それぞれの第2のシーンエリア3206、第3のシーンエリア3208、第5のシーンエリア3212、第6のシーンエリア3214、および第7のシーンエリア3216が、キャプチャされた画像内に完全に含まれることを保証するために、やや大きいシーンエリアであることがある。
図1200に示されるカメラモジュールの外側レンズの相対位置は既知であり、固定されていることに留意されたい。しかしながら、いくつかの実施形態では、モジュール1204、1208、1218、1214、および1224は、鏡510の角度を変更するためにヒンジ(鏡)駆動部516によって駆動可能たとえば移動または回転可能である図5の鏡510を含むモジュール500と、要素および機能に関して同じまたは類似している。鏡駆動部516は、ヒンジ軸のまわりで鏡を回転可能であり、したがって、その角度を変更できるが、ヒンジ508は、他の方向における動きを防止し、したがって(カメラの外部の)光軸は、ヒンジの軸に垂直な平面内で回転する。鏡510が45度の角度であるとき、その光軸に沿ってレンズ512に入る光は、モジュール500のパートBの光軸の中へと90度屈折される。本明細書では、ヒンジ結合され、軸に沿って回転可能な鏡510について説明しているが、いくつかの他の実施形態では、鏡の場所は、この動きが、任意の固定軸に沿った回転であるように制限されないように異なる平面に移動される。この場合、カメラモジュールの光軸は、任意の所望の方向に(関心シーン内の任意の点の方を)指すようにさせられ得る。
いくつかのモジュールは、移動可能でありヒンジ結合される鏡を使用するが、他の実施形態では、カメラモジュールのうちの1つまたは複数は、移動可能ヒンジ508および鏡駆動部516が省略されることを可能にする固定位置鏡で実施される。たとえば、一実施形態では、全関心シーンエリアをキャプチャするために使用されるカメラモジュールは固定された鏡を有するが、関心シーンエリアの小さい部分をキャプチャするために使用されるカメラモジュールは各々、移動可能にヒンジ結合された鏡を含む。いくつかは固定された鏡を有し、他のものは移動可能な鏡を有するカメラモジュールの結合が使用可能であり、少なくとも1つの実施形態では、例示的なカメラデバイスに含まれる複数のカメラモジュールの各々は、移動可能な鏡を有する。
鏡/ヒンジ駆動部516は、カメラ動作の特定のモードに応じて、プロセッサ110によって制御される。したがって、ユーザが第1の動作のモードを選択すると、1つまたは複数のカメラモジュールは、鏡を第1の角度にし得るが、別の動作のモード中、たとえば、図34に示されるように画像がキャプチャされ結合されることになるモジュールは、1つまたは複数のカメラモジュールは、プロセッサ110の制御下で鏡を異なる位置に駆動させる。カメラデバイス動作の特定のモードは、モード制御モジュール111の制御下で動作するプロセッサ110によってユーザ入力に基づいて決定されてもよいし、モード制御モジュールがハードウェア内で実施されるとき、モード制御モジュール111によって直接的に決定されてもよい。
1204、1208、1218、1214、および1224の各々における鏡が45度である場合、各モジュールはカメラの前面から直接見え、それらの光軸はすべて平行である。この場合、モジュールの各々は、本質的に同じシーンエリアすなわち図32の第7のシーンエリアを撮像する。モジュール1204を用いて第2のシーンエリアの画像をキャプチャするために、モジュール1204のヒンジ結合された鏡510は、カメラモジュール1204の光軸が第2のシーンエリア3206の中心の方を向くように調整されることが必要である。モジュール1204は、鏡がヒンジのまわりで回転するにつれて、光軸が向く関心シーンエリア3202内のロケーションが3202の対角線3250に沿って移動するような方式で、カメラ1200内で位置決めされることに留意されたい。同様に、カメラモジュール1214のための鏡は、第6のシーンエリアをキャプチャするように調整されることが必要である。図12では、カメラモジュール1204、1214は対角線3250に近接して、たとえば、これに沿ってまたは隣接して配置されるが、カメラモジュール1208、1218は、対角線3260に近接して、たとえば、これに沿ってまたは隣接して設置されることに留意されたい。1214において鏡を回転させること、たとえば、角度したがって鏡の傾斜を変更させることは、モジュールの光軸を対角線3250に沿って移動させる。モジュール1208および1218の鏡も同様に、第3のシーンエリア(3208)および第5のシーンエリア(3212)の画像をそれぞれキャプチャするように角度付けられる、たとえば回転される。モジュール1208、1218の場合、光軸は、関心シーンエリアの対角線3260に沿って移動する。第7の画像エリア3216をキャプチャするために使用されるモジュール1224は関心シーンエリア3202の中心を向き、そのため、その鏡は45度に維持される。
上記の説明から、少なくともいくつかのカメラモジュールを対角線3250および3260に沿って配置させることが特に有益であることを理解されたい。これらのモジュールは、これらの2つの対角線のうちの一方と平行なそれらの光軸のパートBを有する。したがって、対角線に沿った最大の絞りを有するモジュール1210、1220、2202、1212の配置と、同じ対角線に沿っているが、空間の理由のための他のモジュールからずらされた中間の絞りのモジュール1204、1214、1208、1208の配置は、画像キャプチャと、いくつかの実施形態において動作のモードを結合することとを容易にするので、意図的な設計の選択肢である。
重複するシーンエリアたとえば3210および3204に基づいて、たとえばカメラに含まれるプロセッサによって、デプスマップが生成される。いくつかの実施形態では、シーン内の物体の奥行きは、異なるモジュールによってキャプチャされた画像内の物体の相対位置を調べることによって決定可能である。少なくともいくつかの実施形態では、デプスマップは、たとえば、合成画像を形成するために異なる光学チェーンによってキャプチャされた画像を結合する際に光学チェーンの異なる光学チェーンおよび/または光軸の外側レンズの相対位置についての情報と組み合わせて使用される。合成画像の生成における奥行き情報の使用は、視差、視点、および/または画像内で発生し得るもしくは存在する他の画像歪みの是正を可能にする。
図32の例では、本発明を説明する目的で、7つの別個のシーンエリアが示されている。これらの7つのシーンエリアの各々は、結合される前に図1200に示されるカメラデバイス600の異なる光学チェーンによってキャプチャされ得、いくつかの実施形態では、キャプチャされる。カメラモジュールは、以下で説明されるように、画像を同時に、たとえば並行して、キャプチャすることができる。しかしながら、ローリングシャッターが使用される、以下で説明されるいくつかの実施形態では、カメラモジュールは、関心シーンエリアの所与の部分をキャプチャするすべての異なるカメラモジュールが所与の部分を同時にキャプチャするように同期方式で関心シーンエリアの一部分をキャプチャするように制御される。
合成画像を生成するために図32に示される7つの異なるシーンエリア部分に対応する7つの画像を結合することによって、単一の画像センサの4倍の画素カウントを有する合成画像を生成することが可能であることを理解されたい。たとえば、画像部分の各々が、800万画素センサを使用してカメラモジュールによってキャプチャされる場合、第2のシーンエリア、第3のシーンエリア、第5のシーンエリア、および第6のシーンエリアは各々、異なる800万画素センサによってキャプチャされ、したがって800万画素を合成画像に貢献させるので、図32に示される関心シーンエリアに対応する合成画像は、3200万画素の全体画素カウントを有するであろう。キャプチャされた画像が、対応するシーンエリアよりもやや大きい場合、実際の解像度が、やや低い可能性がある。
第1のシーンエリアと第4のシーンエリアとをキャプチャするために使用されるセンサは、第2のシーンエリアと第3のシーンエリアと第5のシーンエリアと第6のシーンエリアとをキャプチャするために使用されるセンサの結合によってキャプチャされる画像エリアと同じ画像エリアに対応するので、合成画像の全体画素カウントの増加をもたらす可能性は低いが、これらのセンサは、f1レンズを使用することなく可能であろうよりも増加された光キャプチャを提供し、また、デプスマップの生成を可能にし、合成画像を生成するプロセスの一部として第2のシーンエリア、第3のシーンエリア、第5のシーンエリア、および第6のシーンエリアに対応する画像を位置合わせし縫い合わせる際に使用可能である全体的なシーンエリアの画像を提供する重要な情報も提供する。
(f3)カメラモジュールたとえば1216は、第7のシーンエリアをキャプチャするために使用される。第7のシーンエリアの中心は、関心画像エリアの中心と一致する。事実上大部分のレンズは、視野の中心において最小の収差と最良の画質とを有するので、これは、関心シーンエリアの中心が、第7のシーンエリアをキャプチャするカメラモジュールによって高品質で画像化されることを保証する。第7のシーンエリアを画像化することはまた、関心シーンエリアの中心でキャプチャされる光エネルギーの総量を増加させる。このことは、キャプチャされた画像から生成される合成画像が、関心シーンエリアの中心で、その最良の品質(高解像度および最小ノイズ)を有することを可能にする。
単一レンズカメラによってキャプチャされる画像は、光学収差により、縁よりも中心において良いことが多く、口径食は中心においてよりもフィールドの縁の近くで大きいことを理解されたい。何らかの実施形態により生成される合成画像は、画像の中心において類似の高品質を示し、合成画像の縁に向かって、より低い品質の可能性がある。この影響は、従来の単一レンズカメラの影響に類似していることを考えると、合成画像は、単一カメラモジュールによってキャプチャされる画像に類似しているが、この画像よりも潜在的により高い品質であることを理解されたい。
図33は、本発明のより良い理解を与えるために、図32の例でキャプチャされる異なる画像部分が、図31に示される例示的な関心シーンエリアにどのように関係し得るかを示す。図32で説明されるように異なるモジュールによってキャプチャされる関心シーンエリアの画像部分の各々は、図33では、同じ参照番号の後にプライム符号(’)が続くことを用いて識別される。たとえば、3202’は、関心シーンを含むキャプチャされる全関心シーンエリアを示し、3206’は第2のシーンエリアであり、関心シーンエリアの一部分に関係し、3208’は第3のシーンエリアであり、関心シーンエリアの別の部分に関係し、3210’は第4のシーンエリアであり、全関心シーンエリアを含み、3212’は第5のシーンエリアであり、関心シーンエリアの別の部分に関係し、3214’は第6のシーンエリアであり、関心シーンエリアの別の部分に関係し、3216’は第7のシーンエリアであり、関心シーンエリアの中心部分に関係する。キャプチャされる画像部分の各々が、図31に示される例示的な関心シーンエリアにどのように関係するかは、図33からより良く理解できる。
図34は、光学チェーンたとえば3つの異なる焦点距離たとえば(f1、f2、およびf3)に対応するカメラモジュールを有するカメラによってキャプチャされる異なる画像部分を示す図3400である。上記でさまざまなセクションで説明されるように、いくつかの実施形態では、カメラ内の光学チェーンの各々は、画像部分が、対応する光学チェーンによってキャプチャされるときに光をキャプチャする対応する画像センサを含む。一実施形態では、第1の光学チェーンは、関心シーン3404の第1の画像(中間のサイズの長方形3404として示されている)をキャプチャする第1のセンサを含む。第2のセンサを含む第2の光学チェーンは、関心シーンの画像部分3406(小さいサイズの長方形3406として示される)をキャプチャし、第3の光学チェーンは、関心シーンの別の画像部分3408をキャプチャする第3のセンサを含み、第5の光学チェーンは、関心シーンの別の画像部分3410をキャプチャする第5のセンサを含み、第6のセンサを含む第6の光学チェーンは、関心シーンの別の画像部分3412をキャプチャし、第7のセンサを含む第7の光学チェーンは、関心シーンの別の画像部分3414をキャプチャする。そのうえ、第4のセンサを含む第4の光学チェーンは、関心シーン全体を含む画像3402をキャプチャする。一実施形態では、第2の光学チェーン、第3の光学チェーン、第5の光学チェーン、第6の光学チェーン、および第7の光学チェーンの焦点距離は同じ(f3)であり、関心シーンエリア3404をキャプチャする第1の光学チェーンの焦点距離(f2)およびシーンエリア3402をキャプチャする第4の光学チェーンの焦点距離(f1)よりも大きい。そのような一実施形態では、さまざまな光学チェーンの焦点距離は、f1<f2<f3のようなものである。
一実施形態が上記で説明されているが、さまざまな異なる変形形態が可能であることを理解されたい。そのような異なる一実施形態では、図34に示される異なる画像部分は、2つの異なる焦点距離たとえば(f1、f2)に対応する光学チェーンを有するカメラによってキャプチャされ、そこで、画像部分3406、3408、3410、3412、3414は、画像部分3402と3404とをキャプチャする光学チェーンの焦点距離(たとえば、f1)よりも大きい焦点距離(たとえば、f2)を有する光学チェーンによってキャプチャされる。そのような一実施形態では、f2はf1の2倍である。図34およびその中に示される画像部分は、異なるカメラモジュールに対応するローリングシャッターが、カメラモジュールセンサの各々が画像部分をキャプチャするように独立して(非同期的に)動作される場合に導入され得る動きに関連する(カメラまたは被写体に関連する)歪みを減少させるまたは最小限にするやり方で異なるカメラモジュールによってキャプチャされる画像の結合を容易にするように協調された方式でどのように制御可能であるかを説明する際に使用される。協調された方式でのカメラモジュールのセンサからの読み出しは、異なる光学チェーンによってキャプチャする協調されていない非同期画像による歪みを最小限にする助けとなり、キャプチャされる画像は容易に結合可能である。
上記で説明される対応する光学チェーンに含まれるさまざまなセンサによって実行される上記で説明された画像キャプチャ動作は、図17に示されるように配置された光学チェーンを含むカメラ1400などのカメラによって実行され得、いくつかの実施形態では、実行される。別の実施形態では、上記で説明される対応する光学チェーンに含まれるセンサによって実行される画像キャプチャ動作は、図12に示されるように配置された光学チェーンを含むカメラ600によって実行される。
図35は、ローリングシャッターを使用する4つの光学チェーンたとえばカメラモジュールのセンサが、キャプチャされた画像と、同じ関心シーンエリアのより大きい部分をキャプチャする、より小さい焦点距離を有する別の光学チェーンによってキャプチャされた1つまたは複数の画像との結合を容易にする方式で、関心シーンエリアをキャプチャするようにどのように組み合わせて使用可能であるかを示す。図706、708、710、および712は、異なる光学チェーンに対応する例示的な画像センサが、画像キャプチャ動作の一部としてある縁から別の縁までの(たとえば、上部から底部までの)読み出しを実行するようにどのように制御されるかを示す。たとえば、図706は、706に示される画像センサが対応する第2の光学チェーンによって画像部分3406(図34に示される)をキャプチャすることの一部としてたとえば上部から底部まで読み出し可能な画素要素のN個の行を有する図34に関して説明される第2の画像センサを示す。図708は、708に示される画像センサが対応する第3の光学チェーンによって画像部分3408をキャプチャすることの一部として上部から底部まで読み出し可能な画素要素のN個の行を有する、上記で図34に関して説明された第3の画像センサを示す。同様に、710および712は各々、図34に示される画像部分3410と3412とをキャプチャする画素要素のN個の行を有する第5のセンサと第6のセンサとを示す。図706、708に示されるセンサからの読み出しは、同時に同期して開始し、図710、712に示されるセンサからの読み出しは、図710、712に示されるセンサからの読み出しが終わると、一緒に開始する。
図36は、図34に示される画像部分3406と3408と3410と3412とをキャプチャするために使用される光学チェーン(図34に関して説明された第2の光学チェーン、第3の光学チェーン、第5の光学チェーン、および第6の光学チェーン)の焦点距離の半分または約半分の焦点距離を有する、光学チェーンたとえば図34に関して説明された第1の光学チェーンに対応するセンサは、より小さい焦点距離を有する光学チェーンが、より大きい焦点距離を有する複数の光学チェーンとの同期方式で関心シーンのすべてまたは一部分をキャプチャするようにどのように制御可能であるかを示す。図3600は、図35に示されるより大きい焦点距離を有する光学チェーンに対応する他のセンサに対応する画素行の読み出しと同期される方式で読み出し可能な画素要素のN個の行を有する第1のセンサを示す。図3600は、比較的小さい焦点距離に対応する第1のセンサが画素要素のN個の行を有することを示すが、図3600内の長方形は、第1のセンサの物理的サイズを示さないまたは表さないことを理解されたい。
図35、図36、図37、図38、および図39は、異なるセンサによってキャプチャされた画像が容易に結合可能であるように協調された方式における異なるカメラモジュールのセンサの読み取りのローリングシャッター制御に関するさまざまな態様を示す。ローリングシャッターが使用される実施形態で理解されるべきであるように、画素値の行が順次読み出される。図35、図36、図37、図38、および図39では、各センサは画素要素の同じ数の行、たとえばN個の行を含むと仮定される。したがって、これらの図について説明する目的で、Nは、センサ上の画素値の行の数であり、ローリングシャッター制御の説明を容易にするために、異なるカメラモジュールのセンサは画素要素の同じ数の行を有すると仮定される。センサは画素要素のN個の行を有するが、いくつかの実施形態では、行の合同読み取りが許可され、その場合、センサは、画素要素のN/M個の行を有するかのように動作し、ここで、Mは合同読み取り係数、たとえば、合同で読み出される、たとえば加算され読み出される行の数であり、それによって、画素要素の単一の行からの読み出しとして同じ数の画素値を生じさせる。合同読み取り動作は、センサの完全な読み出しが、個々の行が個別に読み取られる場合にセンサを読み出すためにかかるであろう時間のM分の1で完了可能であるという利点を有する。
電子ローリングシャッターの実装形態の場合、画像センサの行が順に読み出されることを理解されたい。各行を読むためにかけられる時間はきわめて短いが、行の数が大きくなることがあり、画像全体を読むためにかけられる最小時間が50ミリ秒以上にもなることがある。行読み取り時間が短いので、所与の行中のすべての画素が(ほとんど)同時に読まれると仮定するものとする。画素の所与の行に関する光の積分(integration)は、その行がリセットされる(カーテンを開ける)と始まり、その行が読み出される(カーテンを閉じる)と終わる。露光持続時間は、行のリセット時刻と行の読み取り時刻との間の持続時間である。所与の行の露光瞬間または(キャプチャ時間)は、その行が読み出される時刻と定義可能である。より正確には、露光瞬間は、行のリセット時刻と行の読み取り時刻の平均と考えられ得る。明らかに、画像センサの異なる行に対応するシーンエリアは、異なる時刻にキャプチャされる。所与の関心シーンエリアの一部分が、1つの画像を作製するために複数のキャプチャされた画像を結合する意図をもって、電子ローリングシャッターを各々実施する、複数のカメラモジュールによってキャプチャされるとき、さまざまなモジュールのローリングシャッターが同期されない場合、動きに関連したアーチファクトが観測され得る。これらのアーチファクトを最小限にするために、カメラモジュールのローリングシャッターは、シーンエリアの任意の所与の点の画像が、(ほぼ)同じ瞬間に異なるセンサによってキャプチャされるように同期される。
画素値の行を読み出すために時間期間TRがかかると仮定すると、N個の行を有するセンサの完全な読み取りを完了するには、TRのN倍の時間期間がかかる。シーンエリアの異なる部分に対応する複数のセンサが、できる限り迅速に画像をキャプチャするように動作される場合、画像を結合することが、結合される異なる時間にキャプチャされたシーンの一部分によるアーチファクトをもたらすことが可能である。
そのような時間(動きに関連した)アーチファクトを回避するために、異なるセンサにシーンエリアの同じ部分を同時にキャプチャさせることが望ましいことを理解されたい。より小さい焦点距離を有する(したがって、シーンのより大きいパートをキャプチャする)カメラモジュールによってキャプチャされた1つまたは複数の画像と大きい焦点距離を有する複数のカメラモジュールからの画像とを結合するとき、たとえば、ローリングシャッターが、より大きい焦点距離を有し、したがってシーンのより小さい部分に対応する画像をキャプチャするカメラモジュールのセンサの行の数の何らかの結合に等しいいくつかの行を有するより大きいセンサにわたって制御されていたかのように、より大きい焦点距離のモジュールのうちのいくつかがシーンの一部分を順次キャプチャすることが望ましいことがあることも理解されたい。
図35は、その各々が異なるカメラモジュールに対応する4つのセンサに対応する図706、708、710、712に示される画素要素のN個の行がどのように順次読み出し可能であるかを示す。図706、708、710、712に示される4つのセンサに対応する画素要素の行は、シーン部分3406、3408、3410、および3412などのシーンの4つの異なる部分をキャプチャすることができることに留意されたい。
説明の目的で、図706、708、710、712に示される画素要素の行は、その各々が焦点距離f3を有する第2の光学チェーン、第3の光学チェーン、第5の光学チェーン、および第6の光学チェーンのセンサに対応すると仮定する。以下で説明されるように、f3は、いくつかの実施形態では、関心シーン3404をキャプチャする第1の光学チェーンの焦点距離f2の2倍であり、シーンエリア3402をキャプチャする第4の光学チェーンの焦点距離f1の4倍である。したがって、焦点距離f3を使用する光学チェーンは、比較的高い倍率を提供するが、焦点距離f2または焦点距離f1を使用する光学チェーンよりも、シーンの小さい部分をキャプチャする。焦点距離f3を使用する光学チェーンは、焦点距離f2を有する光学チェーンのサイズの4分の1であり、焦点距離f1を有する光学チェーンのサイズ16分の1であるシーンエリアの画像をキャプチャする。図3500は、関心シーンの一部分をキャプチャするより大きい焦点距離の光学チェーンに対応するセンサが画素要素のN個の行を有することを示しているが、図706、708、710、712内の長方形は、センサの物理的サイズではなく、センサによってキャプチャされる画像エリアの相対的サイズを示すまたは表すことを理解されたい。
焦点距離とシーンエリアキャプチャサイズのこの関係は、図34、図35、図36、および図37では、示されている画素要素の行の相対的サイズによって表される。したがって、画素要素の実際のサイズは同じであってよいが、センサの各々では、キャプチャされる画素値が対応するシーンの部分のサイズは、特定のセンサが含まれるカメラモジュールの焦点距離に依存することを理解されたい。
説明の目的で、図35の図706、708、710、712は、焦点距離f3を有する光学チェーンに対応する4つのセンサに対応する画素要素の行を示すことが仮定される。図706に対応するセンサが関心シーンの左上部分をほぼキャプチャし、図708に対応するセンサが関心シーンの右上部分をほぼキャプチャし、図710に対応するセンサが関心シーンの左下部分をほぼキャプチャし、図712に対応するセンサが関心シーンの右下部分をほぼキャプチャすることも仮定される。
図706に対応するセンサが第2のセンサS2であると仮定すると、画素行1の第1のラインの読み出しは、読み取りセンサ2ライン1を表すRS2L1によって示される時間によって完了される。類似の注釈は、他のセンサの画素要素のラインの読み出しが、図35〜39の垂直軸に対応し、図の上部から下部にかけて増加する時間で完了される点を示すために使用される。図708に対応するセンサ3の読み出しは、RS2L1からの読み出しと同じ時点で完了される。図35の例では、4つのセンサS2、S3、S5、S6によってキャプチャされる画像エリア間の重複はなく、センサS5からの読み出しは、センサS2の最後の画素行に続いて次の画素行に対応するかのように完了されることに留意されたい。センサが、重複する画像部分に対応する画素値の行を有する場合、センサは同時に読み出すであろうが、図35の例は、多数の実施形態では当てはまらない、キャプチャされる画像エリアにおける重複はないと仮定することに留意されたい。
説明の目的で、TRは、図35の例で使用されるセンサのいずれか1つから画素値の1行を読み出す時間であると仮定される。例における各センサはN個の行を含むので、N個のセンサのいずれか1つを完全に読み取るために必要とされる時間はN TRである。したがって、第1のセンサS2および第3のセンサS3の行(ラインN)の読み出しは時刻N TRに完了されるが、センサS5およびS6の最後の行(ラインN)の読み出しは、時刻2 N TRに完了される。
センサが異なる数の画素の行を含む場合、総読み出し時間は、当然のことながら、センサ内の行の数に依存する。
同じ時間期間N TR内にセンサを読み出すことが望ましいと思われる可能性があるが、異なるセンサからの画像が、ローリングシャッターを使用して読み出されているとき、図710、712に示されるセンサに対応する画素行が、図706、708に示されるセンサに対応する画素行の読み出しに続いて読み出されるようにセンサを制御することが望ましいことがある。このように、読み出しは、図706、710に対応する画素行が単一のローリングシャッターの一部であるかのように順次行われる。いくつかの実施形態で使用されるこの手法は、合成画像が、各々がN個の行を有する2つの別個のセンサではなく画素要素の2N個の行を有する単一のより大きいセンサを使用して取得されるであろうものに類似することを可能にする。したがって、あるセンサの最後の行と次のセンサの第1の行との間で生じ得る時間的不連続性を回避することは、画像の異なる部分に対応するセンサによってキャプチャされる画像を結合するとき、利点を有することができる。
したがって、図706、708、710、712に示される画素要素の行に対応するローリングシャッターを使用する4つのカメラモジュールのセンサは、キャプチャされた画像を結合することを容易にする方式で関心シーンエリアをキャプチャするために組み合わせて使用可能であることを理解されたい。
キャプチャされた画像は、より大きいシーンエリアの合成画像を形成するために互いに、およびより大きいシーンエリアの1つまたは複数の画像を用いて結合可能である。より大きいシーンエリアの画像は、同じシーンのより大きい部分をキャプチャする、より小さい焦点距離たとえば焦点距離f2を有するカメラモジュールによってキャプチャ可能であり、いくつかの実施形態では、キャプチャされる。
図36は、図35に示される画素要素の行のセットによって表されるシーンエリアをキャプチャするために使用されるカメラモジュールの焦点距離f3の半分または約半分である焦点距離f2を有する、光学チェーンたとえばカメラモジュールに対応するセンサが、より小さい焦点(f2)距離を有する光学チェーンが、より長い焦点距離を有する複数の光学チェーンとの同期方式で関心シーンの一部分をキャプチャするようにどのように制御可能であるかを示す。図36では、画素値の行が読み出される速度は、焦点距離と1つまたは複数の他のサポートされる焦点距離の相対比に基づく係数倍に減少される。
焦点距離f2はf3の焦点距離の2分の1であるので、N個の画素要素行を含む図3600に対応するセンサは、図35の例のセンサによってキャプチャされるシーンの実質的に同じ画像部分をキャプチャし、画素行の読み出し速度は2分の1に減少され、すなわち、1つの画素要素行は時間期間2TR内に読み出される。したがって、N個の画素要素行を含む図3600に対応するセンサの読み出しは、完全に読み出されるために図706、710に対応するセンサの結合によって使用される同じ時間の量である画素行の完全な読み出しを完了するのに、N(2TR)の総時間期間がかかる。図36がセンサS1に対応すると仮定すると、S1の画素値の第1の行の読み出しは、読み取りセンサ1ライン1を表すインジケータRS1L1によって示される時点に対応する時刻2TRに完了される。したがって、図35と図36の画素行の読み出しが同期されるそのような一実施形態では、図3600に示される画素要素行を有するセンサS1は、その読み出しを、図706に対応するセンサS2および図708に対応するセンサS3がそれらの画素要素の第1の行の読み出しを始めるのと同時に始める。センサS1は、図710および712に示される画素要素の最後の行が読み出される同じ時刻にまたはその付近で、その画素要素のN個の行の読み出しを完了する。したがって、センサS1は、図35が対応するセンサと同期される様式で、その画素行の読み出しを始め、その画素行読み出しを終える。
センサS1がセンサS2、S3、S5、S6と同じ行あたり読み出し速度で読み出された場合、センサS1の読み出しは時刻NTRに完了されているが、これは、異なる光学チェーンに対応するセンサが、高い動きの速度で移動している物体を含む画像から生成された合成画像内の時間アーチファクトにつながり得る、異なる時刻に画像エリアの同じ部分をキャプチャするという望ましくない影響をもたらすであろう。そのような時間アーチファクトは、本明細書で説明される同期された画像キャプチャ技法によって減少または回避される。
図37は、図35に示される画像をキャプチャするために使用されるカメラモジュールの4分の1または約4分の1の焦点距離f3である焦点距離(たとえば、f1)を有する、光学チェーン(たとえば、図34に関して説明された第4の光学チェーン)に対応するセンサS4が、より大きい焦点距離を有する複数のカメラモジュールとの同期方式で関心シーンの一部分を対応する光学チェーンがキャプチャするように、どのように制御可能であるかを示す。
図3700のセンサが対応する光学チェーンの焦点距離(たとえば、f1)はf3の焦点距離の4分の1に対応するので、N個の画素要素行を含む図3700のセンサは、図35および図36の例のセンサによってキャプチャされるシーンの実質的に同じ画像部分をキャプチャし、図3700のセンサのN個の画素行の読み出し速度は4分の1に減少され、すなわち、1つの画素要素行は時間期間4TR内に読み出される。図37では、図3700は、センサが、図35の図706に対応するセンサよりも垂直次元において4倍大きいシーン部分を対象とすることを考慮に入れて、持続時間4TRを有する時間期間ごとに画素値の1行を読み出すように制御されるN個の画素要素行を有するセンサを示す。図3700は、小さい焦点距離f1を有する光学チェーンに対応するセンサが画素要素のN個の行を有することを示すが、図3700内の長方形は、センサの物理的サイズを示さないまたは表さないことを理解されたい。さまざまな光学チェーン内のセンサ(画素要素を含む)のサイズは同じであってよい。
理解されるべきであるように、センサS4の第1のラインの読み出しは時刻RS4L1に完了され、第Nのラインは時刻RS4LNに読み出される。画素値の行の読み出し速度が、図35および図36に示されるセンサ読み出しとの同期を維持するために図37では4 TRごとに1回発生することを考えると、センサS4の読み出しは、0の開始時刻を仮定して時刻4NTRに行われることに留意されたい。
図38は、図35、図36、および図37の実施形態で使用されるセンサが同期方式で一緒に使用されるときの、これらのセンサ間の行読み出しタイミング関係をより詳細に示す。例示および説明の目的で、図34に示され上記で対応する説明で説明されるようなさまざまな光学チェーンによってキャプチャされる同じ画像および/または画像部分は、図38〜39では参照のために使用されている。したがって、同じ参照番号が使用されている。ブロック3402は、焦点距離f1を有する光学チェーンに対応するセンサによってキャプチャされるシーンエリアを表す。ブロック3404は、焦点距離f2を有するセンサによってキャプチャされるシーンエリア3402の部分を表す。ブロック3406、3410、3408、3412、および3414は、図38の例では最高倍率を提供する、焦点距離f3を有する異なるカメラモジュールによってキャプチャされるシーンエリアのブロックを表し、シーンエリアの最小部分がキャプチャされる。
図39は、大部分のセンサにおける行の数ははるかに大きいという理解の下で、図38に示される例に類似しているが、行の数Nが6であるように選択される、すなわち、センサの各々が6行たとえばN=6の画素要素を含む特定の例を示す。したがって、図39は、N=6の単純な場合に対して同期がどのように達成され得るかを示すために例示的な目的で示され、例の各センサは同じサイズであるが、異なる焦点距離を有する光学チェーンに対応する。
センサが、シーンエリアの同じ部分に対応する画像をキャプチャするとき、読み出しが並行して行われることを図39から理解されたい。画素値のラインが読み出されると、次の読み出しは、同期された読み出し制御が、読み取られていない画素値の次の行が読み出されるべきであることを示すまで、行われない。
センサが、他のセンサがない画像エリアに対応するとき、そのセンサは画素値のその行を読み出し、一方、他のセンサは、読み出し動作を実行することを抑制する。たとえば、図39の例では、最小焦点距離を有し、最大画像エリアをキャプチャするセンサS4は画素値のその第1の行を読み出し、一方、センサS1、S2、S3、およびS6は、画素値を読み出すことを抑制する。しかしながら、センサが、他のセンサによってもキャプチャされる画像エリアの一部分をキャプチャするとき、そのセンサは、そのセンサまたは同じ画像エリアをキャプチャするセンサの読み出しと厳密に一致するように同期される方式で画素値を読み出す。たとえば、時刻RS3L3から時刻RS4L4に至る時間期間中、センサS1、センサS2、およびセンサS3も画素読み出しを実行する。この時間期間中に実行される読み出しの数は、センサの行読み出し速度に依存し、光学チェーンに対応するセンサは、センサS4が画素値の単一の行を読み出す時間期間内に画素値の複数の行を読み出す、より大きい焦点距離を有する。
画素要素の行を読み取るために使用される時間の最小量を示す時間の単位であるTRは、ミリ秒または他の任意の適切な時間の単位で表現されてよいことに留意されたい。したがって、垂直軸は、シーンエリアのスキャンおよびセンサの読み出しが上部で開始し、下部に向かって進むという仮定に基づいて、上部から下部まで進行する時間を示すことが意図される。上部から下部までのスキャン方向は例の目的で示されているが、これは、タイミング同期機能に不可欠または重要ではない。
センサが対応する光学チェーンの焦点距離に基づいて読み出し速度を同期させる方法は、センサが同じサイズであり同じ数の行を含む単純な場合で説明されているが、方法は、異なるサイズのセンサおよび/または異なる数の行の画素値を有するセンサを使用する光学チェーンとともに使用するのに特に適していることを理解されたい。理解されるべきであるように、そのような違いは、存在する場合、開始時刻および停止時刻、ならびに複数の光学チェーンたとえばカメラモジュールによって関心画像エリアの同期された画像キャプチャを達成する方式でセンサの読み出しを制御するために使用されることになる読み出し速度に関して考慮に入れられ得、いくつかの実施形態では、考慮に入れられる。そのうえ、異なるモジュールによってキャプチャされる画像エリアにおける重複は、部分的に重複している画像エリアに対応することがある異なるセンサの読み出しに関する開始時刻を決定するとき、考慮に入れられ得る。
たとえば、図35の例のセンサS5が、センサS2の最後の行のうちのいくつかによってキャプチャされる画像部分に重なった画像エリアをキャプチャした場合、S5画素要素の第1の行の読み出しは、同じ画像部分をキャプチャしたセンサS2の画素要素の行と並行して行われる。そのような一実施形態では、S5の画素要素の行のすべてではないが、いくつかの読み出しは、S2およびS5によってキャプチャされていた画像エリアにおける部分的重複により、センサS2の読み出しの完了に続く。
図36〜図39は、小さい焦点距離を有するカメラモジュールに対応するセンサの読み出し速度が、より大きい焦点距離を有するカメラモジュールに対応する画像キャプチャおよびセンサの画素読み出しにセンサを同期させるためにどのように低速化可能であるかを説明するために使用されているが、ここで、画像内の画素カウントを最大限にすることは最優先ではなく、画素行の合同読み取りは、より大きい焦点距離のカメラモジュールに対応するセンサの読み出しを高速化するために使用可能であり、いくつかの実施形態では、そのために使用される。M個の行のグループの合同読み取り中、センサは、デジタル化および読み取りの前にM個の行の各々の対応する画素を合計するためにアナログ回路を使用する。M個の行の合同読み取りは、一般的に、単一の行を読み取るのと同じ時間がかかり、それによって、読み取りスピードをM倍高速化する。そのような手法は、単一のセンサを読み出すために必要とされる時間期間に等しい時間期間内の関心シーンエリアの同期されたローリングシャッター制御キャプチャを可能にする。そのような手法は、合成画像内のより低い全体的画像画素カウントをもたらすことがあり、たとえば、場合によっては、合成画像の画素カウントが単一のセンサの画素カウントに減少されるが、そのような手法は、キャプチャされている画像内の物体が、キャプチャがより短い時間期間内に行われた場合よりもキャプチャ時間期間内にさらに移動するので、全体的な画像キャプチャ期間が増加される場合、その物体の動きがアーチファクトを導入するので、その動きが存在するケースで望ましいことがある。
図40は、例示的な一実施形態により複数の光学チェーンたとえばカメラモジュールを使用して画像をキャプチャし、画像を結合する例示的な方法を示す。
図40は、例示的な一実施形態により合成画像を生成するためにローリングシャッターを有する少なくとも1つのセンサを含む、たとえば図6、図8、および/または図14に示される撮像デバイスなどの、撮像デバイスを制御する例示的な方法のステップを示す流れ図4000を示す。流れ図4000の方法を実施するカメラデバイスは、図1のカメラデバイス100および図4Aのデバイス200と同じまたは類似の要素を含むことができ、場合によっては、これを含む。
流れ図4000の方法は、図1のカメラ100などのカメラデバイスを使用して実行可能であり、いくつかの実施形態では、実行される。いくつかの実施形態では、カメラ100はバッテリ式ハンドヘルドデバイスである。例示的な方法は、たとえば、カメラデバイスたとえばカメラ100のユーザが、関心シーンエリアの画像のキャプチャをトリガするためにボタンを押すまたは別の行動を起こすとき、ステップ4002において開始する。説明の目的で、カメラデバイスが複数の光学チェーンたとえばカメラモジュールを含み、カメラモジュールの各々は独立して動作および制御可能であると考える。説明の目的で、異なるシーンエリアに対応する画像のキャプチャおよび結合は、図12Aに示される光学チェーンを参照し、それを例のベースとして使用することによって説明される。図12Aの例で先に説明されたように、3つの異なる焦点距離すなわちf1、f2、およびf3が使用されており、ここで、f1<f2<f3である。
動作は、ステップ4002から、画像キャプチャ動作を伴うステップ4004、4006、4008、4010、4012、4014、および4016に進む。画像キャプチャ動作は、同期方式で実行され得、いくつかの実施形態では、実行される。少なくともいくつかの同期される実施形態では、異なる光学チェーンの必ずしもすべてでないがいくつかによってキャプチャされる画像は、同じまたは重複する時間期間に対応する。他の実施形態では、画像キャプチャが同期されるのではなく、キャプチャされた画像のうちの複数の画像が、同じまたは重複する時間期間中にキャプチャされる。さらに他の実施形態では、少なくともいくつかの画像が順次、たとえばすばやく連続して、キャプチャされる。逐次的な画像キャプチャは、シーンエリアの異なる部分に対応する画像をキャプチャするために使用され得、いくつかの実施形態では、使用される。ステップ4004では、第1の焦点距離(f1)を有するカメラの第1の光学チェーンたとえば第1のカメラモジュール1228は、関心シーンエリアの第1の画像をキャプチャするように動作される。いくつかの実施形態では、関心シーンエリアは、全画像キャプチャエリアよりもやや小さいことがある。動作は、ステップ4004からステップ4018に進む。
ステップ4006では、第2のシーンエリアの第2の画像が、第1の焦点距離(f1)よりも大きい第2の焦点距離(f2)を有するカメラたとえば光学チェーン1204の第2の光学チェーンを使用してキャプチャされ、第2のシーンエリアは関心シーンエリアの第1の部分である。さまざまな実施形態では、第2の光学チェーンは、関心シーンエリアの一部たとえば4分の1または半分の部分をキャプチャする。動作は、ステップ4006からステップ4018に進む。
ステップ4008では、第3のシーンエリアの第3の画像が、第1の焦点距離よりも大きい第3の焦点距離(f2)を有するカメラたとえば光学チェーン1208の第3の光学チェーンを使用してキャプチャされ、第3のシーンエリアの少なくとも一部分は第2のシーンエリアと重複しておらず、第3のシーンエリアは関心シーンエリアの第2の部分である。したがって、いくつかの実施形態では、第3の光学チェーンは、関心シーンエリアの一部たとえば別の4分の1の部分をキャプチャする。動作は、ステップ4008からステップ4018に進む。いくつかの実施形態では、第1の光学チェーン、第2の光学チェーン、および第3の光学チェーンは、カメラの前面に外側レンズを有する。すべてではないが、いくつかの実施形態では、光学チェーンの最も外側のレンズは、ゼロ屈折力を有する平面状ガラスまたはプラスチックレンズである。
ステップ4010では、第4の画像が、f1に等しいまたはこれよりも小さい第4の焦点距離を有するカメラたとえば光学チェーン1234の第4の光学チェーンを使用してキャプチャされ、第4の画像は関心シーンエリアである。いくつかの実施形態では、第4の焦点距離は、第1の焦点距離と同じかこれよりも小さい。動作は、ステップ4010からステップ4018に進む。
ステップ4012では、第5のシーンエリアの第5の画像が、第1の焦点距離(f1)よりも大きい第5の焦点距離を有するカメラたとえば光学チェーン1218の第5の光学チェーンを使用してキャプチャされ、第5のシーンエリアは関心シーンエリアの第3の部分である。したがって、第5の光学チェーンは、関心シーンエリアの一部たとえば4分の1または半分の部分をキャプチャする。動作は、ステップ4012からステップ4018に進む。
ステップ4014では、第6のシーンエリアの第6の画像が、第1の焦点距離(f1)よりも大きい第6の焦点距離を有するカメラたとえば光学チェーン1214の第6の光学チェーンを使用してキャプチャされ、第6のシーンエリアは関心シーンエリアの第4の部分である。動作は、ステップ4014からステップ4018に進む。
ステップ4016では、第7のシーンエリアの第7の画像が、第1の焦点距離(f1)よりも大きい第7の焦点距離を有するカメラたとえば光学チェーン1224の第7の光学チェーンを使用してキャプチャされ、第7のシーンエリアは関心シーンエリアの中心にある。動作は、ステップ4016からステップ4018に進む。
いくつかの実施形態では、第1の焦点距離と第4の焦点距離は同じである。いくつかの実施形態では、第2の焦点距離と、第3の焦点距離と、第5の焦点距離と、第6の焦点距離は同じである。いくつかの実施形態では、第7の焦点距離は、第2の焦点距離、第3の焦点距離、第5の焦点距離、および第6の焦点距離と同じである。いくつかの実施形態では、第2のシーンエリア、第3のシーンエリア、第5のシーンエリア、および第6のシーンエリアの合併(union)たとえば結合は、関心シーンエリアを含む。
ここで、ステップ4018に戻る。ステップ4018は、必ずしもすべてではないがいくつかの実施形態において実行される。ステップ4018では、キャプチャされた画像のうちの少なくとも2つに含まれる関心シーンエリアの一部分に関する奥行き情報が生成される。したがって、いくつかの実施形態では、関心シーンエリアの一部分に関するデプスマップ情報を生成するために、同じ関心シーンエリアの少なくとも2つのキャプチャされた画像が使用される。いくつかの実施形態では、ステップ4018はステップ4020を含む。そのような実施形態では、ステップ4020に示されるように、少なくとも第1のキャプチャされた画像および第4のキャプチャされた画像が、奥行き情報を生成するために使用される。一実施形態では、第1キャプチャされた画像および第4のキャプチャされた画像は、奥行き情報を生成するために使用されるが、他のキャプチャされた画像も、奥行き情報を生成する際に使用されてよい。さまざまな実施形態では、奥行き情報は、カメラに含まれるプロセッサ、たとえばプロセッサ110または211などによって生成される。
さまざまな実施形態では、第2の光学チェーン、第3の光学チェーン、第5の光学チェーン、第6の光学チェーン、および第7の光学チェーンは、これらの光学チェーンによって撮影されたシーンの部分の画像が、異なる空間的に分離された入射瞳からのものであり、したがって異なる視点を有するような方式で配置される。異なる視点を有するそのような画像を結合することは、アーチファクトたとえば視差を導入する。これらの異なる光学チェーンによってキャプチャされたさまざまな画像を使用して生成された合成画像からのそのようなアーチファクトの影響を最小限にする、および/またはこれを緩和するために、異なる視点による合成画像の歪みを回避するために画像を結合するとき視差是正を提供する奥行き情報が使用される。
動作は、ステップ4018からステップ4022に進む。ステップ4022では、少なくとも第1のキャプチャされた画像、第2のキャプチャされた画像、および第3のキャプチャされた画像から合成画像が生成される。いくつかの実施形態では、合成画像を生成するステップは、合成画像を生成する際に奥行き情報が使用されるステップ4024を含む。そのような実施形態では、合成画像は、生成された奥行き情報、たとえば、ステップ4018において生成された奥行き情報に応じて、少なくとも第1のキャプチャされた画像、第2のキャプチャされた画像、および第3のキャプチャされた画像から生成される。いくつかの実施形態では、奥行き情報は、合成画像を生成する際に使用されるが、奥行き情報の使用は、必ずしもすべての実施形態で、合成画像を生成するために必要とは限らない。いくつかの実施形態では、合成画像を生成するステップ4022は、図示のステップ4026に示されるように、合成画像を生成するために第4のキャプチャされた画像、第5のキャプチャされた画像、第6のキャプチャされた画像、および第7のキャプチャされた画像を使用することをさらに含む。合成画像は、関心シーンエリアの画像を含む。さまざまな実施形態では、生成される合成画像は、関心シーンエリアの画像である。動作は、ステップ4022からステップ4028に進む。ステップ4028では、1つもしくは複数のキャプチャされた画像、たとえば、第1の画像、第2の画像、第3の画像、第4の画像、第5の画像、第6の画像、および/もしくは第7の画像、ならびに/または合成画像は、たとえばデバイスメモリ内に格納され、ならびに/またはたとえば、ディスプレイデバイスに、および/もしくはインターフェースを介して外部デバイスに出力される。
いくつかの例示的な実施形態では、たとえばカメラデバイス100などの撮像デバイスが、流れ図4000の方法を実施するために使用される。そのような一実施形態では、カメラデバイス100の複数の光学チェーン130は、図12Aに示される方式で配置された光学チェーンを含み、光学チェーンのより詳細な配置および要素(たとえば、センサ、フィルタ)は、図12Bにさらに示されている。したがって、そのような一実施形態では、複数の光学チェーン130は、図12Aに関して説明された光学チェーン1202〜1234を含む。別の実施形態では、カメラデバイス100の複数の光学チェーン130は、図17Aに示されるタイプおよび配置の光学チェーンを含む。したがって、そのような一実施形態では、複数の光学チェーン130は、図17Aおよび図17Bに関して説明された光学チェーン1702〜1734を含む。
いくつかの例示的な実施形態では、プロセッサ110は、上記で説明された光学チェーンによってキャプチャされた2つ以上の画像を結合することによって合成画像を生成するように構成される。一実施形態では、プロセッサ110は、少なくとも第1の光学チェーンによってキャプチャされた関心シーンエリアの第1の画像、第2の光学チェーンを使用してキャプチャされた、関心シーンエリアの第1の部分である第2のシーンエリアの第2の画像、および第3の光学チェーンを使用してキャプチャされた第3のシーンエリアの第3の画像から合成画像を生成するように構成され、第3のシーンエリアは関心シーンエリアの第2の部分であり、第3のシーンエリアの少なくとも一部分は第2のシーンエリアと重複しない。
いくつかの実施形態では、プロセッサ110は、キャプチャされた画像のうちの少なくとも2つに含まれる関心シーンエリアの一部分に関する奥行き情報が生成するように構成される。いくつかの実施形態では、プロセッサ110は、少なくとも第1の光学チェーンによってキャプチャされた第1の画像と第4の光学チェーンによってキャプチャされた第4のキャプチャされた画像とを使用して奥行き情報を生成するようにさらに構成され、第4の画像は関心シーンエリアである。いくつかのそのような実施形態では、プロセッサ110は、前記奥行き情報に応じて合成画像を生成するようにさらに構成される。いくつかの実施形態では、第4の光学チェーンは、第1の光学チェーンの第1の焦点距離に等しいかこれよりも小さい第4の焦点距離を有する。いくつかの実施形態では、プロセッサ110は、メモリ108内の1つもしくは複数のキャプチャされた画像および/もしくは生成された合成画像の格納ならびに/またはディスプレイ102上での1つもしくは複数のキャプチャされた画像および/もしくは合成画像の出力ならびに/またはインターフェース114などのインターフェースを介した別のデバイスへのキャプチャされた画像もしくは合成画像の送信を制御するようにさらに構成される。
方法4000のさまざまな機能および/またはステップは、そのようなデバイスが汎用プロセッサおよび/または画像センサを使用することがあるとしても、カメラおよび/または画像処理の改善に関することを理解されたい。奥行き情報を生成するステップおよび合成画像を生成するステップなどの方法4000の1つまたは複数のステップは、プロセッサたとえばプロセッサ110、211によって実行されるように説明されてきたが、方法4000のステップのうちの1つまたは複数は、専用回路、たとえば、方法を実行する撮像デバイスの効率、精度、および/または動作能力を改善する、ASIC、FPGA、および/または他の特定用途向け回路によって実施され得、いくつかの実施形態では、実施されることを理解されたい。いくつかの実施形態では、専用ハードウェアたとえば回路、および/または専用ハードウェアとソフトウェアの組み合わせが、方法4000の1つまたは複数のステップを実施する際に利用され、その中で、方法を実施する撮像デバイスたとえばカメラに追加の画像処理効率、精度、および/または動作能力を提供する。
図41Aと図41Bの結合を備える図41は、例示的な一実施形態により関心シーンエリアの一部分をスキャンするためにローリングシャッターを有する少なくとも1つの画像センサを含む、たとえば図6、図8、および/または図14に示される撮像デバイスなどの撮像デバイスを動作させる例示的な方法のステップを示す流れ図4100である。流れ図4100の方法を実施するカメラデバイスは、図1および図4Aのカメラデバイスと同じまたは類似の要素を含むことができ、場合によっては、これを含む。
例示的な方法はステップ4102で開始し、たとえば、ユーザはカメラデバイス上で関心シーンエリアのキャプチャを始め、このことが、カメラデバイスたとえばカメラデバイス100に、1つまたは複数の光学チェーンによる関心シーンエリアのスキャンと、したがって画像キャプチャとを始めさせる。説明の目的で、カメラデバイスは複数の画像センサを含み、各センサは、光学チェーンの一部であり、たとえば、第1のセンサ〜第Xのセンサは、第1の光学チェーン〜第Xの光学チェーンにそれぞれ含まれると考える。動作は、ステップ4102からステップ4104に進む。ステップ4104では、カメラに含まれる複数の画像センサは、関心シーンエリアの第1の縁から関心シーンエリアの第2の縁まで関心シーンエリアをスキャンするように制御され、関心シーンエリアの第1の縁(たとえば、上部)と第2の縁(たとえば、下部)は平行であり、スキャンすることは、関心シーンエリアの第1の縁から第2の縁まで(たとえば、均一な速度で)進むスキャン位置に従って画像キャプチャを制御することを含む。いくつかの実施形態では、複数の画像センサは、関心シーンエリアの実質的に重複しない部分(いくつかの実施形態では、画像部分の大半は重複しない)をキャプチャする複数の画像センサを含み、複数のセンサによってキャプチャされる関心シーンエリアの部分の合併は、関心シーンエリアを包含する。いくつかの実施形態では、複数の画像センサは、偶数のセンサ、たとえば4つを含む。
いくつかの実施形態では、複数の画像センサは、第1の画像センサと、第2の画像センサと、第3の画像センサとを含み、第1の画像センサは関心シーンエリアの第1の部分をキャプチャし、第2の画像センサは関心シーンエリアの第2の部分をキャプチャし、第3の画像センサは関心シーンエリア全体をキャプチャする。いくつかのそのような実施形態では、関心シーンエリアの第1の部分と第2の部分は部分的に重複しない。
いくつかの実施形態では、第1のセンサは、第2のセンサによってキャプチャされない関心シーンエリアの一部分の画像をキャプチャし、第2のセンサは、第1のセンサによってキャプチャされない関心シーンエリアの一部分の画像をキャプチャする。いくつかの実施形態では、第1のセンサによってキャプチャされる関心シーンエリアの第1の部分は、第2のセンサによってキャプチャされる関心シーンエリアの第2の部分に先行するスキャンロケーションで始まる。いくつかの実施形態では、関心シーンエリアの第2の部分は、関心シーンエリアの中心に対応する。いくつかの実施形態では、複数のセンサは5つのセンサを含み、そのうちの4つは、関心シーンエリアの実質的に重複していない部分をキャプチャする。いくつかの実施形態では、関心シーンエリアの第2の部分の第1〜第4の異なるコーナー部分は、5つのセンサのうちの残りの4つのセンサによってキャプチャされる関心シーンエリアの異なる対応する部分に重なる。
いくつかの実施形態では、複数のセンサは5つのセンサを含み、そのうちの4つは関心シーンエリアの4つの異なる部分をキャプチャし、関心シーンエリアの4つの異なる部分の各々の少なくとも1つのコーナーは、関心シーンエリアの4つの異なる部分のうちの他の3つによってキャプチャされる画像部分と重ならず、第5のセンサは、関心シーンエリアの中心部分をキャプチャする。
さまざまな実施形態では、ステップ4104は、ステップ4106、4108、および4110のうちの1つまたは複数を実行することを含む。関心シーンエリアをスキャンするように1つまたは複数のセンサを制御することの一部として、ステップ4106では、ローリングシャッターモードである複数のセンサの中の第1のセンサは、第1のセンサが、現在のスキャン位置に対応する画素値の読み取られていない行を有するとき、現在のスキャン位置に対応する画素値のまだ読み取られていない行を読み出すように動作され、現在のスキャン位置は経時的に(たとえば、スキャンが第1の縁から第2の縁に進むにつれて)変化する。いくつかの実施形態では、スキャン位置は、関心シーンエリアの第1の縁から関心シーンエリアの第2の縁に均一な速度で進む。
ステップ4108では、ローリングシャッターモードである複数のセンサの中の第2のセンサは、第2のセンサが、現在のスキャン位置に対応する画素値の読み取られていない行を有するとき、現在のスキャン位置に対応する画素値のまだ読み取られていない行を読み出すように動作され、第1のセンサおよび第2のセンサは、関心シーンエリアの異なる部分の画像をキャプチャする(たとえば、異なる部分が部分的に重複してもよいし、ある部分が他の部分の内部にあってもよい)。同様に、関心シーンエリアをスキャンすることを制御することの一部として、ステップ4110では、ローリングシャッターモードである複数のセンサの中の第Xのセンサは、第Xのセンサが、現在のスキャン位置に対応する画素値の読み取られていない行を有するとき、現在のスキャン位置に対応する画素値のまだ読み取られていない行を読み出すように動作される。したがって、このようにして、関心シーン全体および/または関心シーンのさまざまな部分が、カメラデバイスのさまざまなセンサによってスキャンされる。
いくつかの実施形態では、第1のセンサおよび第2のセンサはそれぞれ、関心シーンエリアの第1の部分および第2の部分に対応し、関心シーンエリアの第1の部分の長さは、スキャンの方向において、関心シーンエリアの第2の部分の長さよりも大きい。いくつかの実施形態では、スキャンの方向は、上部から下部に進む。いくつかの実施形態では、第1のセンサは、第1の焦点距離を有する第1の光学チェーンに対応し、第2のセンサは、第2の焦点距離を有する第2の光学チェーンに対応する。いくつかの実施形態では、制御ステップ4104は、1つまたは複数の画像センサの読み出しの持続時間を制御するためにステップ4112を実行することをさらに含む。ステップ4112では、第1のセンサの読み出しの持続時間は、第1のセンサの画像キャプチャサイズおよび/または第1のセンサが対応する第1の光学チェーンの焦点距離の関数として制御される。いくつかの実施形態では、ステップ4112は、センサ読み出しの持続時間を制御することの一部として、ステップ4114または4116のうちの1つを実行することを含む。ステップ4114では、第1のセンサの読み出しの持続時間は、第1の光学チェーンの焦点距離が第2の光学チェーンの焦点距離よりも小さいとき第2のセンサの読み出しよりも長い持続時間を有するように制御される。いくつかの実施形態では、第1のセンサの読み出しの持続時間は、第1のセンサおよび第2のセンサがそれぞれ関心シーンエリアの第1の部分および第2の部分に対応するとき第2のセンサの読み出しよりも長い持続時間を有するように制御され、スキャンの方向における関心シーンエリアの第1の部分の長さは、スキャンの方向における関心スキャンエリアの第2の部分の長さよりも大きい。これは、たとえば、第1のセンサを含む第1の光学チェーンの焦点距離が、第2のセンサを含む第2の光学チェーンの焦点距離よりも小さいとき、発生する。
いくつかの他の実施形態では、第1の光学チェーン(第1のセンサが対応する)の焦点距離は、第2の光学チェーンの焦点距離のN倍である。いくつかのそのような実施形態では、ステップ4116は、ステップ4112の一部として実行される。ステップ4116では、第1のセンサからの画素値の読み出しの持続時間は、画素値の行が第2のセンサから読み出される速度よりもN倍速い速度で第1のセンサから画素値の行を読み取ることを含むように制御される。さまざまな実施形態では、カメラデバイス内のローリングシャッターコントローラは、上記で説明されたスキャンと読み出し動作とを制御する。いくつかの実施形態では、第1のセンサの画素サイズは、第2のセンサの画素サイズと同じである。いくつかの実施形態では、第1のセンサと第2のセンサは、画素の同じ総数の行および列を含む。
動作は、ステップ4101(上記で説明された1つまたは複数のステップを含む)から、接続ノードA4118を介して、ステップ4120に進む。ステップ4120では、第1〜第Xのセンサから読み出された1つまたは複数の画像が格納され、たとえば、X個の画像が、X個のセンサの各々に対応して1つ、格納される。動作は、ステップ4120からステップ4122に進む。ステップ4122では、キャプチャされた画像(センサから読み出された)のうち少なくとも2つ以上またはすべてが、本発明により合成画像を生成するために結合される。
図42は、いくつかの実施形態で実施される複数の光学チェーンたとえばカメラモジュールを使用して関心シーンをキャプチャする方法4200のステップを示す。この方法はステップ4202で開始し、たとえば、ユーザはカメラデバイス上で関心シーンエリアのキャプチャを始め、このことが、カメラデバイスたとえばカメラデバイス100に、協調された方式で動作される1つまたは複数のカメラ光学チェーンによる関心シーンエリアのスキャンと、したがって画像キャプチャとを始めさせる。
動作はステップ4204に進み、ステップ4204では、カメラデバイスは、たとえば図42の例では現在のスキャン位置をスキャン位置開始値たとえば1に設定することによって、現在のスキャン位置を初期化する。
スキャン位置値が初期化されると、動作はステップ4204からステップ4206に進み、コントローラたとえばローリングシャッターコントローラ150は、同期方式で画素値たとえば画素値の行の読み出しを実行するようにカメラデバイスの画像センサの各々を制御し、たとえば、画素値の行は、ローリングシャッター実装形態の動作に従って順次読み出される。
ステップ4206は、関心シーンエリアの少なくとも一部分をキャプチャするために使用される画像センサ1〜Xの各々に対する画像センサ読み出し制御ステップを含む。ステップ4210および4214は、説明の目的で示されており、同じまたは類似のステップが、関心シーンエリアの少なくとも一部分をキャプチャするために使用される他の画像センサの各々に対して実行される。
ステップ4210では、画像センサ1が、現在のスキャン位置に対応する画素のまだ読み取られていない行、たとえば、読み出されることになっている画素値の行を有するかどうかに関して、決定がなされる。たとえば、画像センサ1が、現在のスキャン位置に対応するエリアの外部にある画像部分に対応するので、この画像センサが、現在のスキャン位置に対応する画素値の読み取られていない行を有さない場合、動作は、画素の行が画像センサ1から読み出されることなく、ステップ4220に進む。
ステップ4214では、画像センサXが、現在のスキャン位置に対応する画素のまだ読み取られていない行、たとえば、読み出されることになっている画素値の行を有するかどうかに関して、決定がなされる。たとえば、画像センサXが、現在のスキャン位置に対応するエリアの外部にある画像部分に対応するので、画像センサXが、現在のスキャン位置に対応する画素値の読み取られていない行を有さない場合、動作は、画素の行が画像センサXから読み出されることなく、ステップ4220に進む。
時間動作がステップ4206からステップ4220に進むことによって、現在のスキャン位置に対応する画素要素の読み取られていない行を有する画像センサ1〜Xの各々が、現在のスキャン位置に対応する行の画素値を読み出すことを理解されたい。
ステップ4220では、現在のスキャン位置が次のスキャン位置に更新され、たとえば、現在のスキャン位置が1つ増分される。現在のスキャン位置が増分されるにつれて、画像のスキャンが次のスキャンラインに移動し、このことによって、スキャンラインが、順に、たとえばシーンエリアの上部から下部までのスキャンと仮定して、画像の上部から画像の下部まで、通過することになる。
動作はステップ4220からステップ4222に進み、ステップ4222では、ステップ4220で更新されたばかりの現在のスキャン位置が関心シーンの最後のスキャン位置値を超えるかどうかに関して決定がなされる。現在のスキャン位置が関心シーンエリアの最後のスキャン位置を超える場合、画像センサ読み出しの結果として関心シーンが完全にスキャンおよびキャプチャされたことが示される。しかしながら、ステップ4222において、現在のスキャン位置値が関心シーンエリアの最後のスキャン位置値を超えないと決定される場合、動作は、現在のシーンエリア位置に対応する画素要素の行を有する画像センサの読み取られていない画素要素行が読み出されるようにステップ4206に進む。
カメラ光学変化およびその対応する画像センサが対象とするシーンの焦点距離およびエリアが、図42の実施形態において画像センサの画素値の行が特定の時点で読み出されるかどうかに影響を与えることを理解されたい。画像センサ読み出しはスキャン位置に基づいて制御されるので、複数の画像センサのセンサ読み出しは、協調された方式で行われる。画素値の画像センサ読み出しは、図42の実施形態では協調されるが、いくつかの画像センサの読み出しは、1つまたは複数の他のセンサの読み出しが完了される前に、カメラデバイス構成に応じて行われ得る。
一般に、図42の実施形態では、より小さい焦点距離を有し、したがって関心シーンエリアのより大きい部分に対応するカメラ光学チェーン画像に対応する画像センサの読み出しは、同じ数の画素要素の行を有するが、より大きい焦点距離を有し、したがって全体的な関心シーンエリアのより小さい部分に対応する画像センサの読み出しよりも遅い速度で行われる。
全関心シーンエリアがスキャンされると、動作はステップ4222からステップ4224に進み、ステップ4224では、第1〜第Xの画像センサから読み出された画像たとえば画素値のセットが、メモリ内に格納される。次いで、ステップ4224では、キャプチャされた画像は、格納および/または出力され得る、たとえば送信および/または表示され得る合成画像を生成するために、たとえばプロセッサ110によって処理される。ステップ4226で実行される合成画像の生成は、合成画像を生成するために使用可能であり、さまざまな実施形態では使用される、少なくともいくつかの画像結合プロセスに関して上記で説明されたものなどの重み付け和手法を使用して、異なる画像センサによってキャプチャされた画像の画素値を結合することを含む、さまざまな手段のいずれかにおいて実行され得る。
図42の方法は、画像センサの画素要素の行を読み出すことに関して説明されていることを理解されたい。いくつかの画像センサは、動作のモードに応じて、複数の画素行の画素要素が単一の行として扱われることを可能にする。そのような「合同」読み取りは、合同で読み取られた行の各々が単一の画素値として読み出されることによって感知された画素値の総和である単一の画素値をもたらす。そのような「合同」読み取りの場合、画素値の単一の行として合同で読み出される画素要素の複数の行は、図42の方法を実施する目的で、画素要素の一行として扱われる。減少される数の画素値が画像センサから読み取られることになるが、合同読み取り手法は、動きが問題である実施形態において望ましいことがあり、できる限り短い時間で画像をキャプチャすることが望ましい。
一般に、画像センサの各々が同じ数の画素値の行を含むと仮定すると、異なる画像センサが異なる焦点距離に対応する場合、図42の実施形態において画像センサの行のフルセットを読み出すための読み出し時間は、画像センサが含まれる光学チェーンたとえばカメラモジュールの焦点距離と、所与の時刻に合同で読み出されて画素要素の単一の行として扱われる画像センサの画素要素の行の数との関数として表現可能である。
いくつかの例示的な実施形態では、たとえばカメラデバイス100などの撮像デバイスが、流れ図4100および流れ図4200の方法を実施するために使用される。そのような一実施形態では、カメラデバイス100の複数の光学チェーン130は、図12Aに示される方式で配置された光学チェーンを含み、光学チェーンのより詳細な配置および要素(たとえば、センサ、フィルタ)は、図12Bにさらに示されている。したがって、そのような一実施形態では、複数の光学チェーン130は、図12Aに関して説明された光学チェーン1202〜1234を含む。別の実施形態では、カメラデバイス100の複数の光学チェーン130は、図17Aに示される光タイプおよび配置の光学チェーンを含む。したがって、そのような一実施形態では、複数の光学チェーン130は、そのうちのいくつかは非円形のレンズを含む、図17Aおよび図17Bに関して説明された光学チェーン1702〜1734を含む。
いくつかの実施形態では、コントローラ150(センサ読み出しコントローラ289を含む)は、関心シーンエリアの第1の縁から関心シーンエリアの第2の縁まで関心シーンエリアをスキャンするように、複数の光学チェーン130に対応する複数の画像センサを制御するように構成され、関心シーンエリアの第1の縁と第2の縁は平行であり、センサコントローラ289は、スキャンの一部として、関心シーンエリアの第1の縁から第2の縁に進むスキャン位置に従って画像キャプチャを制御する。センサコントローラは、ローリングシャッターモードである複数の画像センサの中の第1のセンサを、第1のセンサが、現在のスキャン位置に対応する画素値の行を有するとき、現在のスキャン位置に対応する画素値の行を読み出すように制御し、現在のスキャン位置は経時的に変化する。いくつかの実施形態では、センサコントローラ289は、ローリングシャッターモードである複数のセンサの中の第2のセンサを、この第2のセンサが、現在のスキャン位置に対応する画素値の行を有するとき、現在のスキャン位置に対応する画素値の行を読み出すようにさらに制御し、第1の画像センサおよび第2の画像センサは関心シーンエリアの異なる部分の画像をキャプチャする。
いくつかの実施形態では、第1の画像センサは、第2のセンサによってキャプチャされない関心シーンエリアの一部分の画像をキャプチャし、第2の画像センサは、前記第1の画像センサによってキャプチャされない前記関心シーンエリアの一部分の画像をキャプチャする。
いくつかの実施形態では、複数の画像センサは、第3の画像センサ(たとえば、第3の光学チェーンに対応する)をさらに含む。いくつかのそのような実施形態では、第1の画像センサは前記関心シーンエリアの第1の部分をキャプチャし、第2の画像センサは関心シーンエリアの第2の部分をキャプチャし、関心シーンエリアの第1の部分および第2の部分は部分的に重複せず、第3の画像センサは関心シーンエリア全体をキャプチャする。これは、図12および図32を簡単に参照することによって理解可能である。たとえば、第1の部分3206は、第1の光学チェーンたとえばOC1204に対応する第1の画像センサによってキャプチャされ、第2の部分3208は、第2の光学チェーンたとえばOC1208に対応する第2の画像センサによってキャプチャされ、第3の部分3202は、第3の光学チェーンたとえばOC1228に対応する第3の画像センサによってキャプチャされる。関心シーンエリアの第1の部分と第2の部分(3206および3208)は部分的に重複せず、第3の画像センサは関心シーンエリア全体をキャプチャすることは、図32の例から理解されよう。
一実施形態では、第1のセンサおよび第2のセンサはそれぞれ、関心シーンエリアの第1の部分および第2の部分に対応し、関心シーンエリアの第1の部分の長さは、スキャンの方向において、たとえば、上部から下部まで、関心シーンエリアの第2の部分の長さよりも大きい。そのような一実施形態では、センサコントローラ289は、第2の画像センサの読み出しよりも長い持続時間を有するように第1の画像センサの読み出しの持続時間を制御するように構成される。
いくつかの実施形態では、第1の画像センサは、第1の焦点距離を有する光学チェーンたとえばOC1204に対応し、前記第2の画像センサは、第2の焦点距離を有する光学チェーンたとえばOC1234に対応する。いくつかのそのような実施形態では、コントローラ289は、第1の画像センサおよび第2の画像センサが対応する個々の光学チェーンの焦点距離の関数として、第1の画像センサおよび第2の画像センサから画素行が読み取られる速度を制御するように構成される。いくつかの実施形態では、第1の画像センサの画素サイズは、第2の画像センサの画素サイズと同じである。いくつかの実施形態では、第1の焦点距離は、第2の焦点距離のN倍である。そのような実施形態では、センサコントローラは、画素値の行が第2の画像センサから読み出される速度よりもN倍速い速度に第1の画像センサからの画素値の読み出しの持続時間を制御するようにさらに構成される。いくつかの実施形態では、第1の画像センサと第2の画像センサは、画素の同じ総数の行および列を含む。
いくつかの実施形態では、複数の画像センサ(複数の光学チェーン130に対応する)は、関心シーンエリアの実質的に重複しない部分をキャプチャする複数の画像センサを含み、複数のセンサによってキャプチャされる関心シーンエリアの部分の合併は、関心シーンエリアを包含する。いくつかの実施形態では、複数の画像センサは、偶数のセンサを含む。いくつかの実施形態では、偶数の画像センサは4つである。
一実施形態では、第1の画像センサによってキャプチャされる関心シーンエリアの第1の部分は、第2の画像センサによってキャプチャされる関心シーンエリアの第2の部分に先行するスキャンロケーションで始まる。一実施形態では、関心シーンエリアの第2の部分は、前記関心シーンエリアの中心に対応する。いくつかのそのような実施形態では、複数の画像センサ(複数の光学チェーンに対応する)は5つの画像センサを含み、そのうちの4つは、関心シーンエリアの実質的に重複しない部分をキャプチャする。いくつかのそのような実施形態では、関心シーンエリアの第2の部分の第1〜第4の異なるコーナー部分は、前記5つのセンサのうちの残りの4つのセンサによってキャプチャされる関心シーンエリアの異なる対応する部分に重なる。この配置は、図32を簡単に参照することによって理解可能である。シーンエリア3216(中心にある)の4つのコーナーは、4つのセンサ(4つの光学チェーンに対応する)によってキャプチャされる関心シーンエリアの異なる部分(シーンエリア3206、3208、3212、3214)に重なることが理解されよう。
いくつかの実施形態では、複数のセンサは5つのセンサを含み、そのうちの4つは関心シーンエリアの4つの異なる部分をキャプチャし、関心シーンエリアの4つの異なる部分の各々の少なくとも1つのコーナーは、関心シーンエリアの4つの異なる部分のうちの他の3つによってキャプチャされる画像部分と重ならず、第5のセンサは、関心シーンエリアの中心部分をキャプチャする。
さまざまな実施形態では、プロセッサ110は、たとえば、図42に関して説明されるセンサ読み出し動作の開始の前に、現在のスキャン位置をスキャン位置開始値に設定することによって、現在のスキャン位置を初期化する。さまざまな実施形態では、露光および読み出しコントローラ150(センサ読み出しコントローラ289を含む)は、単独で、またはプロセッサ110の指示に従って、画素値たとえば画素値の行の読み出しを同期方式で実行するようにカメラデバイスの画像センサの各々を制御する。いくつかの実施形態では、コントローラ150は、1つまたは複数の画像センサが、現在のスキャン位置に対応する画素の読み取られていない行、たとえば、読み出されることになる画素値の行を有するかどうかに関して決定するようにさらに構成される。1つまたは複数の画像センサは、現在のスキャン位置に対応する画素の読み取られていない行を有さないと決定されるとき、コントローラ150は、画素値の行の読み出しを実行するように1つまたは複数の画像センサの各々を制御する。いくつかの実施形態では、プロセッサ110は、現在のスキャン位置を次のスキャン位置に更新する、たとえば、現在のスキャン位置を1つ増分するようにさらに構成される。
方法4100および4200のさまざまな機能および/またはステップは、そのようなデバイスが汎用プロセッサおよび/または画像センサを使用することがあるとしても、カメラおよび/または画像処理の改善に関することを理解されたい。方法4100および4200の1つまたは複数のステップは、プロセッサたとえばプロセッサ110、211によって実行されるように説明されてきたが、方法4100および4200のステップのうちの1つまたは複数は、専用回路、たとえば、方法を実行する撮像デバイスの効率、精度、および/または動作能力を改善する、ASIC、FPGA、および/または他の特定用途向け回路によって実施され得、いくつかの実施形態では、実施されることを理解されたい。いくつかの実施形態では、専用ハードウェアたとえば回路、および/または専用ハードウェアとソフトウェアの組み合わせが、方法4100および4200の1つまたは複数のステップを実施する際に利用され、その中で、方法を実施する撮像デバイスたとえばカメラに追加の画像処理効率、精度、および/または動作能力を提供する。図43は、別の例示的な実施形態による、複数の光学チェーンたとえばカメラモジュールを同期方式で使用して関心シーンエリアをキャプチャする方法4300のステップを示す。説明の目的で、異なる光学チェーンの画像センサによって実行される異なるシーンエリアに対応する画像のキャプチャは、図12Aに示される光学チェーンを参照し、それを例のベースとして使用することによって説明される。図12Aの例で先に説明されたように、3つの異なる焦点距離すなわちf1、f2、およびf3が使用されており、ここで、f1<f2<f3であり、同じ焦点距離関係が、説明のために考えられる。
方法4300は、たとえば、カメラデバイスたとえばカメラ100のユーザが、関心シーンエリアの画像のキャプチャをトリガするためにボタンを押すまたは別の行動を起こすとき、ステップ4302で開始する。ステップ4304では、露光および読み出しコントローラ150(センサ読み出しコントローラ289を含む)は、単独で、またはプロセッサ110の指示に従って、同時に、たとえば、並行して、関心シーンエリアの一部分に対応する画素値を読み出すように複数の光学チェーン130を制御する。複数たとえば2つ以上の光学チェーン130は、残りの光学チェーン130たとえば関心シーンの異なる部分を対象とする光学チェーンのうちの1つまたは複数を同時に読み出すように動作されるが、他の画像センサが画素値を読み出している間、画素値を読み出すように制御されないことがあることを理解されたい。方法4300の少なくとも1つの実装形態では、複数の光学チェーン130は、第1の焦点距離(f2)を有する第1の光学チェーンたとえば光学チェーン1204)と、第2の焦点距離(f1)を有する第2の光学チェーンたとえば光学チェーン1234とを含む。画像センサの読み出しの一部として、関心シーンエリアの異なる部分は、異なる時刻に、たとえばローリングシャッターとして、読み出され、読み出しは、画像センサの上部から画像センサの下部に下降し、画像センサの上部はローリングシャッター読み出しの開始に対応し、画像センサの下部は、読み出されることになる最後の行に対応する。センサ読み出しの同期を容易にするために、少なくとも1つの実施形態では、異なる光学チェーンの画像センサの上部および下部は、画素値の行の読み出しが容易に同期可能であるように同じ方向に配置される。しかしながら、光学チェーンの異なる画像センサに対する均一スキャンおよびしたがって読み出し方向の使用は、少なくともいくつかの実施形態に対して使用されるとしても、すべての実施形態にとって必須ではない。
画像センサは、たとえば実施されたローリングシャッター制御に従って画素行読み出しを順次実行するように制御されるので、関心シーンエリアの異なる部分は、異なる時刻に1つまたは複数の光学チェーンのセンサから読み出され、一方、関心シーンエリアの一部分に対応する画素値の読み出しは、関心シーンエリアの同じ部分に対応する画素値の行を並行して読み出す複数の光学チェーンのセンサとの同期方式で行われる。
少なくともいくつかの実施形態では、ステップ4304は、さまざまなサブステップを含む。ステップ4304は、第1の光学チェーンに含まれる第1の画像センサおよび第2の光学チェーンに含まれる第2の画像センサの同期されたローリングシャッター読み出しを実施するステップ4306を含む。したがって、第1の光学チェーンおよび第2の光学チェーンの第1の画像センサおよび第2の画像センサは、第1の光学チェーンの第1の画像センサの読み出しを制御するために使用される第1のローリングシャッターのタイミングおよび第2の画像センサすなわち第2の光学チェーンの画像センサの読み出しを制御するために使用される第2のローリングシャッターのタイミングの動作を考慮に入れる同期された様式で読み出される。
ステップ4306の一部として、ステップ4308および4310は実行され得、さまざまな実施形態では、実行される。ステップ4308では、第1の光学チェーンの第1の画像センサは、第1の画像センサの上縁で始まり第1の画像センサの下縁に進む画素値の行を順次読み出すように制御され、第1の光学チェーンの第1の画像センサの上縁は、第1の画像センサのローリングシャッター制御された読み出しの一部として最初に読み出される画素値の行に対応する。ステップ4310では、第2の光学チェーンの第2の画像センサは、第2の画像センサの上縁で始まる画素値の行を順次読み出すように制御される。第2の画像センサの読み出しは、第2の画像センサの下縁に進み、第2の光学チェーンの第2の画像センサの上縁は、第2の画像センサのローリングシャッター制御された読み出しの一部として最初に読み出される画素値の行に対応する。この例では、第1の画像センサおよび第2の画像センサは、これらが両方とも、方法を実施するカメラデバイスたとえばカメラデバイス100の上部に対して同じ方向に方向づけられた上部と下部とを有するように構成される。
4300の方法は、第1の光学チェーンおよび第2の光学チェーンの第1の画像センサおよび第2の画像センサに関して説明されるが、いくつかの実施形態では、方法は、3つ以上の光学チェーンに対して、たとえばZ個の光学チェーンに対して実施され、ここで、Zは2からZの範囲内のどこにあってもよく、Zは整数であることを理解されたい。そのように、実装形態では、ステップ4306は、方法が実施される個々のZ個の光学チェーンおよびカメラデバイスの対応する画像センサの各々に対する、ステップ4308、4310に類似した読み出しステップを含む。
ステップ4306に加えて、ステップ4304はステップ4312を含む。ステップ4312では、第1の画像センサおよび第2の画像センサの読み出し速度はそれぞれ、第1の光学チェーンおよび第2の光学チェーンの焦点距離の関数として制御される。第1の光学チェーンの焦点距離(f2)が第2の光学チェーンの焦点距離(f1)よりも大きいいくつかの実施形態では、画像センサ読み出しコントローラ289は、第2の焦点距離(f1)と第1の焦点距離(f2)の比に前記第2の画像センサ内の同じ数の画素の行を読み出すために使用される時間の量をかけたものとして算出される時間の期間内に第1の画像センサ内の画素のいくつかの行を読み出すように第1の画像センサを制御する。
たとえば、第1の画像センサと第2の画像センサが同じ数の画素要素の行を有するが、第1の画像センサは、第1の焦点距離(f2)を有する第1の光学チェーン1204および第2の焦点距離(f1)を有する第2の光学チェーンたとえばモジュール1234に対応し、ここで、f2はf1の2倍である場合を考える。先に説明されたように、そのような場合では、第2の光学チェーン(f1)は、第1の光学チェーン(f2)によってキャプチャされるシーンエリアのサイズの4倍または約4倍であるシーンエリアの一部分をキャプチャする。画像キャプチャプロセスを同期させるために、第1の光学チェーン(f2)の画像センサが、時間NTR内に画素値のそのフルセットを読み取るように制御される(ここで、Nは第1の画像センサおよび第2の画像センサ上の画素要素行の数、TRは、画像センサのいずれかの上で画素要素の単一の行を読み取るために必要とされる時間である)と仮定して、より短い点距離(f1)を有する第2の画像センサは、画像センサの行のすべては個々に読み出し可能であると仮定して、時間期間2NTRにわたってその画素値の行を読み出すように制御される。
したがって、画像センサは同じ数の行を有すると仮定して、その画素値の行を読み出すように画像センサが制御される時間は、以下のとおりである。
画素要素のN個の行とf2の焦点距離とを有するセンサ1は、(f2/f2)NTRの読み出し期間を有する
画素値の個々の行の各々が個々に読み出されると仮定して、同じく画素要素のN個の行とf1の焦点距離(センサ1の焦点距離f2よりも小さい)とを有するセンサ2は、NTR(f2/f1)=2NTR(f2=2f1であるので)の読み出し期間を有する
f2は、例で使用されている最大の焦点距離であるので、この例では分子として使用されることに留意されたい。
画素値の個々の行の各々が個々に読み出されると仮定して、同じく画素要素のN個の行とf1の焦点距離(センサ1の焦点距離f2よりも小さい)とを有するセンサ2は、NTR(f2/f1)=2NTR(f2=2f1であるので)の読み出し期間を有する
f2は、例で使用されている最大の焦点距離であるので、この例では分子として使用されることに留意されたい。
前述のように、動作のいくつかのモードでは、画素要素の行からの合同読み出しは、画像センサを読み出すために必要とされる時間の量を減少させるために実施され得る。生成される合成画像の全体画素カウントを最大限にするために各センサの画素要素の行が個々に読み出され、より小さい焦点距離に対応するセンサの読み出し速度は、より大きい焦点距離を有する光学チェーンに対応するセンサの関心シーンの画素値の読み出ししたがって画像部分のキャプチャとの同期を維持するように減少されるさまざまな実施形態では、これは、すべての実施形態で発生するとは限らない。
たとえば、速い動きのキャプチャが望ましい特定の例示的な一実施形態では、より短い焦点距離に対応する画像センサの行読み出し速度を低速化させるのではなく、合同読み出し動作が、より大きい焦点距離に対応する画像センサの行に対して実行される。前述のように、合同読み出しでは、画素値の複数の行が合同で読み出され、たとえば、2行の合同読み取りが実施されるとき、画素値の2行は、単一の行として同じ数の画素値を提供する。Mの係数による合同読み取りは、同じ係数による画素値の行の減少をもたらすが、画像センサ読み出しは、時間のM分の1で完了される。
少なくとも1つの実施形態では、短い焦点距離、たとえば、合成画像を形成するために結合される画像をキャプチャするために使用されることになる最大焦点距離よりも短い焦点距離を有する光学チェーンに対応する1つまたは複数のセンサの読み出し速度を低速化するのではなく、より長い焦点距離を有するセンサの画素行の合同読み出しが実施され、合同で読み出される行の数は、焦点距離の差の関数として制御される。たとえば、f2がf1の2倍である場合、一実施形態では、Mは、f2焦点距離に対応するセンサの読み出しが、より短い焦点距離f1を有する光学チェーンに対応する第2のセンサから画素値の行を読み出すために使用される時間の半分で完了できるように、2に等しく設定される。
そのような場合、最短焦点距離を有するセンサの画素行を読み出すために必要とされる時間は、複数の画像センサが読み出しを完了する時間的制約として働き、より大きい焦点距離を有するセンサは、行読み出しの数を、より大きい焦点距離とより小さい焦点距離の比によって決定される係数に基づく合同読み取り動作の使用によって減少させる。たとえば、f2がf1よりも2倍大きい場合、f2焦点距離を有する光学チェーンに対応するセンサは、2という合同読み取り係数によって実施される合同読み取りを使用して読み出される。
このようにして、異なる焦点距離を有する光学チェーンの画像センサは、関心シーンエリアの同じ部分をキャプチャするように制御可能であり、総キャプチャ時間は、単一の画像センサを読み取るために必要とされる時間に限定される。
合同読み取りは、より大きい焦点距離を有する画像センサから読み出される画素値の数を減少させるが、読み取りを実行するために必要とされる時間が減少され、画像の総画素カウントは、より短い焦点距離f1を有する光学チェーンの総画素カウント未満には減少されない。
少なくとも1つの実施形態では、ユーザは、たとえばいくつかの実施形態において画像をキャプチャするために使用される総時間を、単一の画像センサを読み取るために必要とされる時間に対応するNTRに保つように画像キャプチャ時間期間を減少させるまたは最小限にするために合同読み取りが使用される動作の動きモードと、画像キャプチャ時間を犠牲にして画像の画素カウントが最適化される動作の静止または低速動きモード、たとえば、より短い焦点距離を有する光学チェーンの画像センサに対応する画素要素行の読み出し時間期間が、より大きい焦点距離を有する光学チェーンによるシーンエリアキャプチャとのタイミング同期を達成するために増加される一実施形態とを選択する機会が提供される。
合同読み取り係数Mの潜在的使用を考慮に入れると、画素要素の同じ数の行を有するが異なる焦点距離f1およびf2にそれぞれ対応する第1の画像センサおよび第2の画像センサから画素値の行を読み出すために使用される総時間は、ここでf2はf1よりも大きく、次のように表現可能である。
画素要素のN個の行を有し、f1の焦点距離(より短い焦点距離)を有する光学チェーンに対応するセンサ2は、NTRの読み出し期間を有する
同じくN個の行の画素要素を有するがf2の焦点距離(より大きい)を有する光学チェーンに対応するセンサ1は、M倍で行の合同読み取りを実行するように制御され、NTR/Mという読み出し期間を有し、ここで、画素要素のM個の行ごとに画素値の1行が読み出されると仮定して、Mは(f2/f1)に等しい。
同じくN個の行の画素要素を有するがf2の焦点距離(より大きい)を有する光学チェーンに対応するセンサ1は、M倍で行の合同読み取りを実行するように制御され、NTR/Mという読み出し期間を有し、ここで、画素要素のM個の行ごとに画素値の1行が読み出されると仮定して、Mは(f2/f1)に等しい。
センサ1(より大きい焦点距離f2)は、センサ2よりも短い時間で読み出しを完了するが、さまざまな実施形態では、センサ1が対応する光学チェーンと同じ焦点距離(f2)を有するが、画像エリアをキャプチャする別のセンサS3は、センサ1によってキャプチャされるエリアの下のスキャン方向に関して、画像の下方部分をキャプチャすることを理解されたい。したがって、f2がf1の2倍であると仮定すると、センサS1およびS3の読み出しは、センサ2が読み出される同じ時間期間NTRと一致するが、センサ1 S1の読み出しはNTRの前半に行われ、センサ3 S3の読み出しはNTRの後半に行われる。
上記の説明から、第1の光学チェーンおよび第2の光学チェーンの焦点距離の関数として第1の画像センサおよび第2の画像センサの読み出し速度を制御することを含むステップ4312は、カメラのオペレータによって選択される動作のモード、たとえば静止動きまたは高速動きにも依存し得ることを理解されたい。どのモードの選択は、なされ得、いくつかの実施形態では、1つまたは複数の順次キャプチャされた画像もしくは異なる時点でキャプチャされた画像の部分において検出された動きに基づいて、自動的になされる。たとえば、結合された画像の画質を画像の全体画素カウントを減少させるであろうよりも多く低下させる可能性が高い動きによりアーチファクトを引き起こす可能性が高い1つまたは複数の物体の動きが検出される場合、画素行を読み出す合同読み取り手法が使用される。
ビデオの場合、カメラデバイスは、最良品質の合成画像を作り出すために動作のどのモードで動作するかに関して更新された決定を行い得、いくつかの実施形態では、これを行う。前記決定の結果として、カメラデバイスは、動作のモードと、あるフレーム時間から次のフレーム時間まで使用される画像キャプチャ同期技法を切り換え得る。これが、異なる数の画素を有する同じビデオシーケンスに対応する異なる合成画像をもたらすことがあるが、全体的な画質は最大にされる。
いくつかの実施形態では、そのような動的な切り換えがサポートされるが、他の実施形態では、同期技法および動作のモードが決定されると、そのモードは、ビデオシーケンス内の画像の画素要素の数が1つの合成画像当たりで一定のままであるように、ビデオシーケンスにわたって維持される。
理解されるべきであるように、第3のセンサが、別の画像センサたとえば第1の画像センサによってキャプチャされた画像部分の下方(スキャン方向に関して)設置される関心シーンエリアの画像部分をキャプチャする、複数の画像センサの同期された読み出しの場合、第3の画像センサからの画素値の読み出しは、第1の画像センサからの画素値の読み出しに続く。
したがって、少なくとも1つの実施形態では、ステップ4304はステップ4314を含み、ステップ4314では、第3の光学チェーンたとえば光学チェーン1218の第3の画像センサは、画素値の最後の行が第1の画像センサから読み出された後、関心シーンの第3の部分に対応する画素値を読み出すように制御される。いくつかの実施形態では、前記関心シーンエリアの第3の部分は、前記関心シーンエリアの前記第1の部分の下方(スキャンの方向において)に位置決めされる。いくつかのそのような実施形態では、第1の画像センサは関心シーンエリアの第1の部分をキャプチャし、第2の画像センサは、第1の部分よりも大きい関心シーンエリアの第2の部分をキャプチャする。いくつかのそのような実施形態では、第2の画像センサ(より小さい焦点距離の光学チェーンに対応する)は、結合された第1の画像センサおよび第3の画像センサと実質的に同じ画像エリアを、しかし第1の画像センサと第3の画像センサのいずれかの読み出し時間よりも長い読み出し時間中に、キャプチャする。
そのような一実施形態では、第1の画像センサに対応する画素値は、第2の画像センサから画素値が読み出される時間期間中に読み出され得るが、第1の画像センサの読み出し時間と第3の画像センサの読み出し時間は重複しないことを理解されたい。
しかしながら、第1の画像センサおよび第3の画像センサが関心シーンの重複する部分をキャプチャするように制御される実施形態では、重複するシーン部分に対応する画素行の読み出しは、第1の画像センサおよび第3の画像センサから同時に読み出され得る。
ステップ4304から、動作はステップ4316に進み、ステップ4316では、ステップ4304で制御された画像センサから読み出された画像は、その後の処理のためにメモリ内に格納される。動作は、次いでステップ4318に進む。ステップ4318では、たとえばステップ4304において、同期方式で異なる光学チェーンによってキャプチャされた画像は、合成画像を生成するために結合される。
ビデオの場合、ステップ4304、4316、および4318は、各フレーム時間に対して実行され、たとえば、1つの合成画像が各フレーム時間に対して生成される。
いくつかの実施形態では、動作はステップ4318からステップ4320に進む。ステップ4320では、ステップ4318で生成された合成画像は、メモリ内に格納され、送信され、および/またはたとえばディスプレイ102上に表示される。
いくつかの実施形態では、合成画像の生成はカメラデバイス100内で行われ、次いで、合成画像が表示または送信されるが、他の実施形態では、合成画像は、たとえばキャプチャ処理後プロセスおよび/またはビデオ作製プロセスの一部として、プロセッサによって生成される。そのような実施形態では、合成画像の生成は、関心シーンエリアの画像をキャプチャするために使用される光学チェーン130を含むカメラデバイス100のメモリとプロセッサとディスプレイと異なるメモリとプロセッサとディスプレイを含むコンピュータシステム上で行われ得る。
いくつかの例示的な実施形態では、たとえばカメラデバイス100などの撮像デバイスが、流れ図4300の方法を実施するために使用される。そのような一実施形態では、カメラデバイス100の複数の光学チェーン130は、図12Aに示される方式で配置された光学チェーンを含み、光学チェーンのより詳細な配置および要素は、図12Bにさらに示されている。別の実施形態では、カメラデバイス100の複数の光学チェーン130は、図17Aに示されるタイプおよび配置の光学チェーンを含む。
一実施形態では、コントローラ150(画像センサ読み出しコントローラ289を含む)は、前記関心シーンエリアの一部分に対応する画素値を同時に読み出すように複数の光学チェーンを制御するように構成され、複数の光学チェーン130は、第1の焦点距離(f2)を有する第1の光学チェーン1204と、第2の焦点距離(f1)を有する第2の光学チェーン1234とを含み、第2の焦点距離は第1の焦点距離と異なり、前記関心シーンエリアの異なる部分は異なる時刻に読み出される。さまざまな実施形態では、コントローラ150は、からの第1の光学チェーン1204に含まれる第1の画像センサおよび第2の光学チェーン1234に含まれる第2の画像センサ同期されたローリングシャッター読み出しを実施するように構成される。
いくつかの実施形態では、コントローラ150は、第1の画像センサのローリングシャッター読み出しを実施することの一部として画素値の行に対応する第1の光学チェーンの第1の画像センサの上縁を最初に読み取るように構成され、ローリングシャッター読み出しは、第1の画像センサの上縁で始まり第1の画像センサの下縁まで進む画素値の行の順次読み出しを含む。さまざまな実施形態では、コントローラ150は、第2の画像センサのローリングシャッター読み出しの一部として画素値の行に対応する第2の光学チェーンの第2の画像センサの上縁を最初に読み取るようにさらに構成され、第2の画像センサのローリングシャッター読み出しは、第2の画像センサの上縁で始まり第2の画像センサの下縁まで進む画素値の行の順次読み出しを含み、第1の画像センサおよび第2の画像センサのスキャン方向(上部から下部まで)は同じである。図43に関して説明される例では、画像センサのスキャンの上部から下部の方向が考えられているが、しかしながら、画像センサのローリングシャッター読み出しの一部として、異なる方向における画像センサの1つの縁から別の縁までのスキャンが可能であることを理解されたい。
いくつかの実施形態では、第1の画像センサと第2の画像センサは、画素の同じ数の行を含む。いくつかの実施形態では、コントローラ150は、関心シーンエリアの一部分に対応する画素値を同時に読み出すように複数の光学チェーンを制御するように構成されることの一部として、第1の光学チェーンおよび第2の光学チェーンの焦点距離の関数として第1の画像センサおよび第2の画像センサの読み出し速度を制御するように構成される。
いくつかの実施形態では、第1の焦点距離は、第2の焦点距離よりも大きい。いくつかの実施形態では、コントローラ150は、第2の焦点距離と第1の焦点距離の比に第2の画像センサ内の画素の同じ数の行を読み出すために使用される時間の量をかけたものとして算出される時間の期間内に第1の画像センサ内の画素のいくつかの行を読み出すように第1の画像センサを制御するようにさらに構成される。たとえば、第1の光学チェーンおよび第2の光学チェーンにそれぞれ対応する第1のセンサおよび第2のセンサの両方は、画素要素のN個の行を有する第2の光学チェーンの焦点距離がFS2であり、第1の光学チェーンの焦点距離がFS1であり、と考えてみる。センサ2からN個の行を読み取るのに時間TS2がかかる場合、コントローラ150は、時間期間TS1=(FS2/FS1)×TS2内にセンサ1の読み出しを制御する。
いくつかの実施形態では、第1の焦点距離は、第2の焦点距離の2倍である。そのような実施形態では、コントローラ150は、第1の画像センサを読み出すために使用される第1の時間期間の2倍の長さである時間期間にわたって完全に読み出されるように第2の画像センサを制御するようにさらに構成される。
さまざまな実施形態では、第1の画像センサは関心シーンエリアの第1の部分をキャプチャし、第2の画像センサは、第1の部分よりも大きい関心シーンエリアの第2の部分をキャプチャする。いくつかのそのような実施形態では、コントローラ150は、画素値の最後の行が第1の画像センサから読み出された後、関心シーンエリアの第3の部分に対応する画素値を読み出すように第3の光学チェーンたとえば光学チェーン1218の第3の画像センサを制御するようにさらに構成され、関心シーンエリアの第3の部分は関心シーンエリアの第1の部分の下方に位置決めされる。いくつかの実施形態では、第2の画像センサは、少なくとも第1の画像センサおよび第3の画像センサのキャプチャと実質的に同じ画像エリアを、しかし第1の画像センサと第3の画像センサのいずれかの個別読み出し時間よりも長い読み出し時間中に、キャプチャする。
さまざまな実施形態では、センサ読み出し動作の一部としてセンサによってキャプチャされる画像は、デバイスメモリたとえばメモリ108内に格納される。いくつかの実施形態では、これらの画像のうちの1つまたは複数は、合成画像を生成することの一部としてさらに処理される。いくつかの実施形態では、プロセッサ110は、2つ以上のキャプチャされた画像を結合することによって合成画像を生成するように構成される。いくつかの実施形態では、プロセッサ110は、メモリ108内での生成された合成画像の格納、および/またはディスプレイ102上での合成画像の出力、および/またはインターフェース114などのインターフェースを介した別のデバイスへのキャプチャされた画像もしくは合成画像の送信を制御するようにさらに構成される。
方法4300のさまざまな機能および/またはステップは、そのようなデバイスが汎用プロセッサおよび/または画像センサを使用することがあるとしても、カメラおよび/または画像処理の改善に関することを理解されたい。たとえば合成画像生成ステップなどの方法4300の1つまたは複数のステップは、プロセッサたとえばプロセッサ110、211によって実行されるように説明されてきたが、方法4300のステップのうちの1つまたは複数は、専用回路、たとえば、方法を実行する撮像デバイスの効率、精度、および/または動作能力を改善する、ASIC、FPGA、および/または特定用途向け回路によって実施され得、いくつかの実施形態では、実施されることを理解されたい。いくつかの実施形態では、専用ハードウェアたとえば回路、および/または専用ハードウェアとソフトウェアの組み合わせが、方法4300の1つまたは複数のステップを実施する際に利用され、その中で、方法を実施する撮像デバイスたとえばカメラに追加の画像処理効率、精度、および/または動作能力を提供する。
図44は、例示的な一実施形態による、複数の光学チェーンを使用して画像をキャプチャする例示的な方法のステップを示す流れ図4400を示す。この方法は、例示的な一実施形態により画像をキャプチャするように、たとえば、図1、図6、図8、および/または図14に示される撮像デバイスなどの、撮像デバイスを制御することを含む。流れ図4400の方法を実施するカメラデバイスは、図1および/または図4Aのカメラデバイスと同じまたは類似の要素を含むことができ、場合によっては、これを含む。
流れ図4400の方法は、図1のカメラ100などのカメラデバイスを使用して実行可能であり、いくつかの実施形態では、実行される。そのような一実施形態では、カメラデバイス100の複数の光学チェーン130は、図12Aに示されるような方式で配置された光学チェーンたとえばカメラモジュールを含み、光学チェーンのより詳細な配置および要素は、図12Bにさらに示されている。別の実施形態では、カメラデバイス100の複数の光学チェーン130は、図17Aに示されるタイプおよび配置の光学チェーンを含む。そのような一実施形態では、複数の光学チェーン130は、図17Aおよび図17Bに関して説明された光学チェーン1702〜1734を含む。
例示的な方法はステップ4402で開始し、たとえば、ユーザは関心シーンエリアのキャプチャを始め、このことが、カメラデバイスたとえばカメラデバイス100に、1つまたは複数の光学チェーンによる関心シーンエリアの画像キャプチャを始めさせる。説明の目的で、カメラデバイスが複数の光学チェーンを含み、光学チェーンの各々は独立して動作および制御可能であると考える。
動作は、ステップ4402から、画像キャプチャ動作を伴うステップ4404、4406、4408、4410、4412、4414、および4416に進む。画像キャプチャ動作は、同期方式で実行され得、いくつかの実施形態では、実行される。少なくともいくつかの同期される実施形態では、異なる光学チェーンの必ずしもすべてでないがいくつかによってキャプチャされる画像は、同じまたは重複する時間期間に対応する。他の実施形態では、画像キャプチャが同期されるのではなく、キャプチャされた画像のうちの複数の画像が、同じまたは重複する時間期間中にキャプチャされる。さらに他の実施形態では、少なくともいくつかの画像が順次、たとえばすばやく連続して、キャプチャされる。逐次的な画像キャプチャは、シーンエリアの異なる部分に対応する画像をキャプチャするために使用され得、いくつかの実施形態では、使用される。
ステップ4404では、カメラデバイスの第1の光学チェーンは、関心シーンエリアの第1の部分の第1の画像をキャプチャするために使用され、第1の光学チェーンは、第1の光軸と、第1の最も外側のレンズとを有する。いくつかの実施形態では、関心シーンエリアは、全画像キャプチャエリアよりもやや小さいことがある。動作は、ステップ4404からステップ4418に進む。ステップ4418は、必ずしもすべてではないがいくつかの実施形態において実行される。ステップ4418がスキップされるいくつかの実施形態では、動作は、直接ステップ4420に進む。
ステップ4406では、シーンエリアの第2の部分の第2の画像がカメラデバイスの第2の光学チェーンを使用してキャプチャされ、第2の光学チェーンは、第1の光軸と平行でない第2の光軸と、第1の最も外側のレンズとは別個である第2の最も外側のレンズとを有する。したがって、さまざまな実施形態では、各光学チェーンは、各光学チェーンが異なる外側レンズを有することにより物理的に共通部分がなく(disjoint)重複しない入射瞳を有することを理解されたい。いくつかの実施形態では、第1の光軸および第2の光軸は、カメラの前面に垂直でない。いくつかの実施形態では、第1の光学チェーンと第2の光学チェーンは同じ焦点距離を有する。動作は、ステップ4406からステップ4418に進む。
ステップ4408では、関心シーンエリアたとえば関心シーンエリア全体を含む第3の画像が、前記第1の最も外側のレンズおよび前記第2の最も外側のレンズとは別個である第3の最も外側のレンズを有するカメラデバイスの第3の光学チェーンを使用してキャプチャされる。いくつかの実施形態では、第3の光学チェーンは、第1の光軸または第2の光軸のいずれと平行でない第3の光軸を有する。いくつかの実施形態では、第3の光学チェーンの焦点距離は、第1の光学チェーンおよび第2の光学チェーンのうちの少なくとも1つの焦点距離よりも小さい。いくつかの実施形態では、第3の光学チェーンの焦点距離は、第1の光学チェーンの焦点距離よりも小さい。いくつかの実施形態では、第3の光学チェーンの焦点距離は、第2の光学チェーンの焦点距離よりも小さい。いくつかの実施形態では、第3の光学チェーンの焦点距離は、第1の光学チェーンおよび第2の光学チェーンの焦点距離よりも小さい。いくつかの実施形態では、第3の光軸はカメラデバイスの前面に垂直である。いくつかの実施形態では、第1の光学チェーンは、第1のセンサを使用して第1の画像をキャプチャし、第3の光学チェーンは、第3のセンサを使用して第3の画像をキャプチャする。動作は、ステップ4408からステップ4418に進む。
ステップ4410では、第4の画像が、前記第1の最も外側のレンズ、前記第2の最も外側のレンズ、および前記第3の最も外側のレンズとは別個である第4の最も外側のレンズを有するカメラデバイスの第4の光学チェーンを使用してキャプチャされ、第4の画像は関心シーンエリアの第2の画像を含む。いくつかの実施形態では、第3の光学チェーンは第3の光軸を有し、第4の光学チェーンは第4の光軸を有する。いくつかの実施形態では、第3の光軸と第4の光軸は互いと平行である。いくつかの実施形態では、第3の光軸および第4の光軸は、第1の光軸または第2の光軸と平行でない。いくつかの実施形態では、第3の光軸および第4の光軸は、カメラの前面に垂直である。いくつかの実施形態では、第4の光学チェーンは、第3の光学チェーンの焦点距離と同じである焦点距離を有する。動作は、ステップ4410からステップ4418に進む。
ステップ4412では、第5の画像が、第5の光軸を有するカメラデバイスの第5の光学チェーンを使用してキャプチャされ、第5の画像は関心シーンエリアの第3の部分の画像であり、第5の光軸は第1の光軸および第2の光軸と平行でない。したがって、第5の光学チェーンは、関心シーンエリアの一部たとえば4分の1または半分の部分をキャプチャする。動作は、ステップ4412からステップ4418に進む。
ステップ4414では、第6の画像が、第1の光軸、第2の光軸、または第5の光軸と平行でない第6の光軸を有するカメラデバイスの第6の光学チェーンを使用してキャプチャされ、第6の画像は関心シーンエリアの第4の部分の画像である。動作は、ステップ4414からステップ4418に進む。いくつかの実施形態では、第1の画像、第2の画像、第5の画像、および第6の画像は各々、第1の数の画素値を有する。
ステップ4416では、第7のシーンエリアの第7の画像が、第1の光学チェーンと同じ焦点距離を有するカメラデバイスの第7の光学チェーンを使用してキャプチャされ、第7の光学チェーンは、カメラの面に垂直な光軸を有する。いくつかの実施形態では、第7のシーンは関心シーンエリアの中心にある。動作は、ステップ4416からステップ4418に進む。
ここで、ステップ4418に戻る。ステップ4418では、1つもしくは複数のキャプチャされた画像、たとえば、第1の画像、第2の画像、第3の画像、第4の画像、第5の画像、第6の画像、および/もしくは第7の画像が、たとえばデバイスメモリ内に格納され、ならびに/またはたとえば、ディスプレイデバイスに、および/もしくはインターフェースを介して外部デバイスに出力される。いくつかの実施形態では、プロセッサ110は、メモリ108内での1つもしくは複数のキャプチャされた画像の格納および/またはディスプレイ102への1つもしくは複数のキャプチャされた画像の出力を制御する。いくつかの実施形態では、ステップ4418が実行されるが、いくつかの他の実施形態では、ステップ4418はスキップされることがある。そのような実施形態では、動作は、前のステップからステップ4420に直接進む。
さまざまな実施形態では、第2の光学チェーン、第3の光学チェーン、第5の光学チェーン、および第6の光学チェーンは、これらの光学チェーンによって撮影された関心シーンエリアの部分の画像が、異なる空間的に分離された入射瞳からのものであり、したがって異なる視点を有するような方式で配置される。異なる視点を有するそのような画像を結合することは、アーチファクトたとえば視差を導入する。これらの異なる光学チェーンによってキャプチャされたさまざまな画像を使用して生成された合成画像からのそのようなアーチファクトの影響を最小限にする、および/またはこれを緩和するために、いくつかの実施形態では、異なる視点による合成画像の歪みを回避するために画像を結合するとき視差是正を提供する奥行き情報が使用される。
ステップ4420に戻る。ステップ4420では、合成画像は、キャプチャされた画像のうちの少なくとも2つ、たとえば第1の画像と第2の画像とを結合することによって、生成される。さまざまな実施形態では、合成画像は、たとえば、方法4400のステップを実施するカメラデバイスのプロセッサ110または211などのプロセッサによって生成される。いくつかの実施形態では、ステップ4420を実行することは、ステップ4424および4426のうちの1つまたは複数を実行することを含む。いくつかの実施形態では、サブステップ4424および4426は、そのうちのいずれか1つはステップ4420を実施することの一部として実行され得る、異なる代替形態である。いくつかの実施形態では、ステップ4420は、ステップ4424を実行することを含み、ステップ4424では、合成画像を生成することの一部として、少なくとも前記第1の画像、前記第2の画像、前記第3の画像、および前記第4の画像が結合される。そのような実施形態では、プロセッサ110は、少なくとも第1の画像と第2の画像と第3の画像と第4の画像とを結合することによって合成画像を生成するように構成される。いくつかの実施形態では、この合成画像は関心シーンエリアの合成画像であり、合成画像は、第1の画像、第2の画像、第3の画像、および第4の画像のいずれもが個々に有するよりも大きい数の画素値を有する。
いくつかの実施形態では、ステップ4420は、ステップ4426を実行することを含み、ステップ4426では、合成画像は、たとえば、少なくとも前記第1の画像、前記第2の画像、前記第3の画像、前記第4の画像、前記第5の画像、および前記第6の画像から、プロセッサ110によって生成され、合成画像は、画素値の第1の数の3倍以上であるが画素値の第1の数の6倍よりも少ない数の画素値を有する。いくつかの実施形態では、合成画像は、合成画像を生成するために結合された画素値の数の総和から生じる画素値の数よりも小さい数の画素値を含む。さまざまな実施形態では、生成される合成画像は、関心シーンエリアの画像である。いくつかの実施形態では、合成画像は、第1の画像、第2の画像、第3の画像、第4の画像、第5の画像、第6の画像、および第7の画像から生成される。
いくつかの実施形態では、動作はステップ4420からステップ4428に進む。ステップ4428では、生成された合成画像は、たとえばデバイスメモリ内に格納され、ならびに/またはたとえば、ディスプレイデバイスに、および/もしくはインターフェースを介して外部デバイスに、出力される。いくつかの実施形態では、メモリ108内での合成画像の格納、ならびに/またはたとえば、ディスプレイデバイスへの、および/もしくはインターフェースを介した外部デバイスへの出力は、プロセッサ110の制御下で実行される。
方法4400のさまざまな機能および/またはステップは、そのようなデバイスが汎用プロセッサおよび/または画像センサを使用することがあるとしても、カメラおよび/または画像処理の改善に関することを理解されたい。たとえば合成画像生成ステップなどの方法4400の1つまたは複数のステップは、プロセッサたとえばプロセッサ110、211によって実行されるように説明されてきたが、方法4400のステップのうちの1つまたは複数は、専用回路、たとえば、方法を実行する撮像デバイスの効率、精度、および/または動作能力を改善する、ASIC、FPGA、および/または特定用途向け回路によって実施され得、いくつかの実施形態では、実施されることを理解されたい。いくつかの実施形態では、専用ハードウェアたとえば回路、および/または専用ハードウェアとソフトウェアの組み合わせが、方法4400の1つまたは複数のステップを実施する際に利用され、その中で、方法を実施する撮像デバイスたとえばカメラに追加の画像処理効率、精度、および/または動作能力を提供する。
図45は、画像をキャプチャする例示的な方法のステップを示す流れ図6700を示す。画像は、厚さDを有する前表面と後表面とを有するカメラハウジングを含むカメラデバイスに含まれる複数の光学チェーンを使用してキャプチャされ得、いくつかの実施形態では、キャプチャされ、Dは、前表面と後表面との間の距離である。一実施形態では、流れ図6700の方法は、たとえば図13Bに示されるカメラデバイス1320などのカメラデバイスを使用して画像をキャプチャするために実施可能である。カメラデバイスは複数の光学チェーンを含み、光学チェーンの各々は独立して動作および制御可能である。流れ図6700の方法を実施するカメラデバイスは、図1および/または図4Aのカメラデバイスと同じまたは類似の要素を含むことができ、場合によっては、これを含む。したがって、方法6700を実施するカメラデバイスは、プロセッサと、メモリと、インターフェースと、図1および図4Aに関して説明された他の要素とを含むことを理解されたい。
例示的な方法はステップ6702で開始し、たとえば、ユーザは関心シーンエリアのキャプチャを始め、このことが、カメラデバイスたとえばカメラデバイス1320に、1つまたは複数の光学チェーンによる関心シーンエリアの画像キャプチャを始めさせる。動作は、ステップ6702から、画像キャプチャ動作を伴うステップ6704、6706、6708、および6710に進む。画像キャプチャ動作は、同期方式で実行され得、いくつかの実施形態では、実行される。少なくともいくつかの同期される実施形態では、異なる光学チェーンの必ずしもすべてでないがいくつかによってキャプチャされる画像は、同じまたは重複する時間期間に対応する。他の実施形態では、画像キャプチャが同期されるのではなく、キャプチャされた画像のうちの複数の画像が、同じまたは重複する時間期間中にキャプチャされる。さらに他の実施形態では、少なくともいくつかの画像が順次、たとえばすばやく連続して、キャプチャされる。逐次的な画像キャプチャは、シーンエリアの異なる部分に対応する画像をキャプチャするために使用され得、いくつかの実施形態では、使用される。
ステップ6704では、第1の画像が、カメラハウジング内の第1の光学チェーンを使用してキャプチャされ、この第1の光学チェーンは、i)第1の光方向変換デバイスと、ii)非円形の絞りを有する第1のレンズと、iii)センサとを含み、第1の光学チェーンは、光方向変換デバイスの前の第1の光軸部分と光方向変換デバイスからセンサまで延在する第2の光軸部分とを含む光軸を有し、第1のレンズは第2の光軸部分上にあり、非円形の絞りは、カメラの厚さの方向に沿った第1の方向においてDよりも小さいまたはこれに等しい長さと、第1の方向に垂直な第2の方向に沿ってDよりも大きい長さとを有する。いくつかの実施形態では、第1のレンズは、第2の光軸部分上の光方向変換デバイスに最も近いレンズである。流れ図6700の方法を実施するために使用可能な例示的なカメラデバイスのさまざまな要素および/または構造上の特徴は、カメラハウジング1322、厚さ1323、前表面1321、および後表面1325などのそのような特徴を示す図13Bから理解できる。動作は、ステップ6704からステップ6712に進む。
ステップ6706では、第2の画像が、カメラハウジング内の第2の光学チェーンを使用してキャプチャされ、第2の光学チェーンは、i)第2の光方向変換デバイスと、ii)第2の非円形の絞りを有する第2のレンズと、iii)第2のセンサとを含み、第2の光学チェーンは、第2の光方向変換デバイスの前の第3の光軸部分と第2の光方向変換デバイスから第2のセンサまで延在する第4の光軸部分とを含む光軸を有し、第2の非円形の絞りは、カメラの厚さに沿って第1の方向においてDよりも小さいまたはこれに等しい長さと、カメラの厚さの方向に垂直な第3の方向に沿ってDよりも大きい長さとを有し、第2の方向と第3の方向は異なる。いくつかの実施形態では、第2の方向と第3の方向は、互いに対して90度の角度をなす。動作は、ステップ6706からステップ6712に進む。
ステップ6708では、第3の画像が、第3の光学チェーンを使用してキャプチャされ、第3の光学チェーンは、i)第3の光方向変換デバイスと、ii)第3の非円形の絞りを有する第3のレンズと、iii)第3のセンサとを含み、第3の光学チェーンは、第3の光方向変換デバイスの前の第5の光軸部分と第3の光方向変換デバイスから第3のセンサまで延在する第6の光軸部分とを含む光軸を有し、第3の非円形の絞りは、カメラの厚さに沿って第1の方向においてDよりも小さいまたはこれに等しい長さと、カメラの厚さの方向に垂直な第4の方向に沿ってDよりも大きい長さとを有し、第1の方向と第2の方向と第3の方向は異なる。いくつかの実施形態では、第2の方向と第3の方向は、互いに対して90度の角度をなし、第2の方向と第4の方向は、互いに対して30度から60度の間の角度をなす。動作は、ステップ6708からステップ6712に進む。
同様に、図に示されるいくつかの実施形態では、カメラデバイス内の1つまたは複数の追加光学チェーンが、追加画像をキャプチャするために使用可能である。追加光学チェーンが追加画像をキャプチャするために使用されるいくつかのそのような実施形態では、ステップ6710が実行される。ステップ6710では、第Zの画像が、第Zの光学チェーンを使用してキャプチャされ、第Zの光学チェーンは、i)第Zの光方向変換デバイスと、ii)非円形の絞りを有する第Zのレンズと、iii)第Zのセンサとを含み、第Zの光学チェーンは、第Zの光方向変換デバイスの前の光軸部分と第Zの光方向変換デバイスからセンサまで延在する別の光軸部分とを含む光軸を有し、非円形の絞りは、カメラの厚さに沿って第1の方向においてDよりも小さいまたはこれに等しい長さと、カメラの厚さの方向に垂直な方向に沿ってDよりも大きい長さとを有する。動作は、ステップ6710からステップ6712に進む。いくつかの実施形態では、上記で説明された複数の光学チェーンによってキャプチャされるさまざまな画像は、同じ時間期間内でキャプチャされる。
ここで、ステップ6712に戻る。ステップ6712では、1つまたは複数のキャプチャされた画像、たとえば、第1のキャプチャされた画像、第2のキャプチャされた画像、第3のキャプチャされた画像などは、本発明の特徴によるさらなる処理のために、たとえばデバイスメモリ内に格納され、ならびに/またはたとえば、ディスプレイデバイスに、および/もしくはインターフェースを介して外部デバイスに出力される。動作は、ステップ6712からステップ6714に進む。ステップ6714では、合成画像は、キャプチャされた画像のうちの少なくとも2つ以上を結合することによって、生成される。さまざまな実施形態では、合成画像は、たとえば、方法6700のステップを実施するカメラデバイスのプロセッサ110または211などのプロセッサによって生成される。さまざまな実施形態では、生成される合成画像は、関心シーンエリアの画像である。いくつかの実施形態では、複数の光学チェーンのうちの少なくともいくつかは、関心シーンエリアの一部分をキャプチャし、次いで、キャプチャされた部分は、合成画像を生成するために本発明の方法により結合され得る。ステップ6714は、必ずしもすべてではないがいくつかの実施形態において実行される。
動作は、ステップ6714からステップ6716に進む。ステップ6716では、生成された合成画像は、たとえばデバイスメモリ内に格納され、ならびに/またはたとえば、ディスプレイデバイスに、および/もしくはインターフェースを介して外部デバイスに、出力される。
方法6700のさまざまな機能および/またはステップは、そのようなデバイスが汎用プロセッサおよび/または画像センサを使用することがあるとしても、カメラおよび/または画像処理の改善に関することを理解されたい。たとえば合成画像生成ステップなどの方法6700の1つまたは複数のステップは、プロセッサたとえばプロセッサ110、211によって実行されるように説明されてきたが、方法6700のステップのうちの1つまたは複数は、専用回路、たとえば、方法を実行する撮像デバイスの効率、精度、および/または動作能力を改善する、ASIC、FPGA、および/または特定用途向け回路によって実施され得、いくつかの実施形態では、実施されることを理解されたい。いくつかの実施形態では、専用ハードウェアたとえば回路、および/または専用ハードウェアとソフトウェアの組み合わせが、方法6700の1つまたは複数のステップを実施する際に利用され、その中で、方法を実施する撮像デバイスたとえばカメラに追加の画像処理効率、精度、および/または動作能力を提供する。
図46は、画像をキャプチャする例示的な方法のステップを示す流れ図6800である。画像は、複数の光学チェーンを含むカメラデバイスを使用してキャプチャされ得、いくつかの実施形態では、キャプチャされる。一実施形態では、流れ図6800の方法は、たとえば図14に示されるカメラデバイス1400などのカメラデバイスを使用して画像をキャプチャするために実施可能である。カメラデバイスは複数の光学チェーンを含み、光学チェーンの各々は独立して動作および制御可能である。流れ図6800の方法を実施するカメラデバイスは、図1および/または図4Aのカメラデバイスと同じまたは類似の要素を含むことができ、場合によっては、これを含む。流れ図6800の方法を実施するために使用可能な例示的なカメラデバイスのさまざまな要素および/または特徴は、非円形の絞りのレンズを有する光学チェーン、丸いレンズを有する光学チェーン、カメラ厚さなどなどのそのような特徴を示す図14〜17から理解できる。
例示的な方法はステップ6802で開始し、たとえば、ユーザは関心シーンエリアのキャプチャを始め、このことが、カメラデバイスたとえばカメラデバイス1400に、1つまたは複数の光学チェーンによる関心シーンエリアの画像キャプチャを始めさせる。動作は、ステップ6802から、画像キャプチャ動作を伴うステップ6804、6806、6808、6810、および6812に進む。画像キャプチャ動作は、同期方式で実行され得、いくつかの実施形態では、実行される。少なくともいくつかの同期される実施形態では、異なる光学チェーンの必ずしもすべてでないがいくつかによってキャプチャされる画像は、同じまたは重複する時間期間に対応する。他の実施形態では、画像キャプチャが同期されるのではなく、キャプチャされた画像のうちの複数の画像が、同じまたは重複する時間期間中にキャプチャされる。さらに他の実施形態では、少なくともいくつかの画像が順次、たとえばすばやく連続して、キャプチャされる。逐次的な画像キャプチャは、シーンエリアの異なる部分に対応する画像をキャプチャするために使用され得、いくつかの実施形態では、使用される。
ステップ6804では、第1の画像が、第1の時間期間中にカメラの第1の光学チェーンを使用してキャプチャされ、第1の光学チェーンは、第1の焦点距離と、第1の非円形のレンズとを有する。動作は、ステップ6804からステップ6814に進む。
ステップ6806では、第2の画像が、第1の時間期間中にカメラの第2の光学チェーンを使用してキャプチャされ、第2の光学チェーンは、第2の焦点距離と、第2の非円形のレンズとを有する。いくつかの実施形態では、第1の焦点距離と第2の焦点距離は同じである。いくつかの実施形態では、第1の焦点距離と第2の焦点距離は異なる。いくつかの実施形態では、第1の非円形のレンズは、第1の方向に垂直な第2の方向においてよりも第1の方向において長く、第2の非円形のレンズは、第4の方向においてよりも第3の方向において長く、第4の方向は第3の方向に垂直であり、第1の方向と第3の方向は異なる。いくつかの実施形態では、第1の光学チェーンは第1のセンサを含み、第2の光学チェーンは第2のセンサを含む。動作は、ステップ6806からステップ6814に進む。
ステップ6808では、第3の画像が、第3の焦点距離を有し丸いレンズを含む第3の光学チェーンを使用してキャプチャされ、第3の焦点距離は、第1の焦点距離または第2の焦点距離よりも小さい。いくつかの実施形態では、第2の方向と第4の方向は同じであり、カメラの奥行き(厚さ)に対応する。動作は、ステップ6808からステップ6814に進む。
ステップ6810では、第4の画像が、第4の焦点距離と第3の非円形のレンズとを有する第4の光学チェーンを使用してキャプチャされ、第4の焦点距離は第3の焦点距離よりも大きい。いくつかの実施形態では、第3の非円形のレンズは、第6の方向においてよりも第5の方向において長く、第6の方向は第5の方向に垂直であり、第1の方向と第3の方向と第5の方向は少なくとも20度異なる。動作は、ステップ6810からステップ6814に進む。
同様に、カメラデバイス内の1つまたは複数の追加光学チェーンが、追加画像をキャプチャするために使用可能であり、いくつかの実施形態では、使用される。一実施形態では、追加画像は、ステップ6812に示されるように、円形のレンズを有する光部品(optical)を使用してキャプチャされる。ステップ6812では、追加画像が、円形のレンズを含む複数の追加光学チェーンを使用してキャプチャされ、追加の光学チェーンの各々は、第1の光学チェーンよりも小さい焦点距離を有する円形のレンズを含む。いくつかの実施形態では、上記で説明された複数の光学チェーンによってキャプチャされるさまざまな画像は、同じ時間期間内でキャプチャされる。動作は、ステップ6812からステップ6814に進む。
ここで、ステップ6814に戻る。ステップ6814では、1つまたは複数のキャプチャされた画像、たとえば、第1のキャプチャされた画像、第2のキャプチャされた画像、第3のキャプチャされた画像などは、本発明の特徴によるさらなる処理のために、たとえばデバイスメモリ内に格納され、ならびに/またはたとえば、ディスプレイデバイスに、および/もしくはインターフェースを介して外部デバイスに出力される。動作は、ステップ6814から、必ずしもすべてでないがいくつかの実施形態で実行されるステップ6816に進む。ステップ6816では、合成画像は、キャプチャされた画像のうちの少なくとも2つ以上を結合することによって、たとえば、少なくとも第1の画像と第2の画像とを結合することによって、生成される。さまざまな実施形態では、合成画像は、たとえば、方法6800のステップを実施するカメラデバイス1400のプロセッサ110または211などのプロセッサによって生成される。さまざまな実施形態では、生成される合成画像は、関心シーンエリアの画像である。いくつかの実施形態では、複数の光学チェーンのうちの少なくともいくつかは、関心シーンエリアの一部分をキャプチャし、次いで、キャプチャされた部分は、合成画像を生成するために本発明の方法により結合され得る。
動作は、ステップ6816からステップ6818に進む。ステップ6818では、生成された合成画像は、たとえばデバイスメモリ内に格納され、ならびに/またはたとえば、ディスプレイデバイスに、および/もしくはインターフェースを介して外部デバイスに、出力される。
方法6800のさまざまな機能および/またはステップは、そのようなデバイスが汎用プロセッサおよび/または画像センサを使用することがあるとしても、カメラおよび/または画像処理の改善に関することを理解されたい。たとえば合成画像生成ステップなどの方法6800の1つまたは複数のステップは、プロセッサたとえばプロセッサ110、211によって実行されるように説明されてきたが、方法6800のステップのうちの1つまたは複数は、専用回路、たとえば、方法を実行する撮像デバイスの効率、精度、および/または動作能力を改善する、ASIC、FPGA、および/または特定用途向け回路によって実施され得、いくつかの実施形態では、実施されることを理解されたい。いくつかの実施形態では、専用ハードウェアたとえば回路、および/または専用ハードウェアとソフトウェアの組み合わせが、方法6800の1つまたは複数のステップを実施する際に利用され、その中で、方法を実施する撮像デバイスたとえばカメラに追加の画像処理効率、精度、および/または動作能力を提供する。
さまざまな特徴は、説明される1つまたは複数の光方向変換要素を使用してカメラ装置の厚さを減少させる方法および装置を対象とする。さまざまな実施形態では、光軸に沿った光の経路が、センサに到達する前に方向変換される。少なくともいくつかの実施形態では、光軸に沿ってカメラデバイスの前面に入る光の経路が、カメラの面と平行に延在する方向に少なくとも部分的に進むように方向変換される。したがって、少なくともいくつかの実施形態では、光の経路の長さは、カメラの奥行き、たとえば前面から背面までの長さによって制限されない。
たとえば鏡またはプリズムなどの光方向変換要素の使用は、1つまたは複数のカメラモジュールを含む、カメラ内のたとえば光学チェーンたとえばカメラモジュールの最も前面のレンズから対応するセンサまでの光路の長さを延在する際に有用である。いくつかの実施形態では、丸いレンズ、たとえば、丸い絞りを有するレンズが最も外側のカメラレンズとして使用され、最も外側のレンズの直径と同等の奥行きを有する光方向変換要素が使用される。このように、カメラが垂直に配置され、カメラハウジングの前面に対応する垂直平面内に1つまたは複数のレンズが取り付けられると仮定して、1つまたは複数の外側レンズの垂直次元と水平次元の両方と考えられ得るものの中で受け取られる光は、光学チェーンの前面の最も外側のレンズがカメラの先頭に位置決めされて光学チェーンの最も外側のレンズの真後ろのカメラの背面にセンサが位置決めされる直線状の前面から背面への構成で光学チェーンが配置されることを可能にするのに十分なほどカメラの奥行きがあることを必要とすることなく、方向変換およびキャプチャ可能である。
いくつかの実施形態では、カメラが、複数の光学チェーンたとえばカメラモジュールを使用して実施される。少なくともいくつかのそのような実施形態では、光の方向変換は、カメラモジュールの少なくとも一部分が左右の寸法たとえばカメラの横方向寸法または上下の寸法(高さ)を利用でき、それによって、比較的長い焦点距離が比較的薄いカメラフォーマットでサポート可能であるように実施される。そのような一実施形態では、小さい焦点距離を有するカメラモジュールおよび対応する小さいレンズは、直線状の前後の実装形態で実施されるが、より大きい焦点距離を有するカメラモジュールおよびより大きいレンズは、より大きい焦点距離を有するカメラモジュールの一部分がカメラの前面に対して横にまたは上下方向実施されることを可能にするために、たとえばいくつかの実施形態では90度の、光方向変換を利用する。
多くの実施形態では、カメラモジュールのために丸いレンズが使用されるが、少なくともいくつかの実施形態では、長い焦点距離を有するカメラモジュールが、丸くない構成、たとえば、卵形の構成、細長い構成、または1次元において他の次元よりも長い絞りを有する他のレンズ構成を有するレンズを使用して実施される。少なくとも1つのそのような実施形態では、丸くないレンズが、光方向変換デバイスと組み合わせて使用される。詳細な説明で説明されるように、1つまたは複数の光方向変換デバイスと組み合わせた丸くないレンズの使用は、丸い絞りを有するレンズが代わりに使用される場合に可能であろうよりも薄いカメラモジュールを実施するために使用可能である。
少なくともいくつかの実施形態では、いくつかは丸いレンズを有し、他のものは丸くないレンズを有するカメラモジュールの組み合わせが使用される。丸くないレンズ、たとえば、平面の1次元において同じ平面の別の次元よりも長い絞りを有するレンズが、大きい焦点距離、たとえば、いくつかの実施形態ではフルフレームDSLRの70mmの焦点距離に等しいまたはこれよりも大きい、いくつかの実施形態ではフルフレームDSLRの150mmの焦点距離に等しいまたはこれよりも大きい、いくつかの実施形態ではフルフレームDSLRの300mmの焦点距離に等しいまたはこれよりも大きい、焦点距離を有するカメラモジュールに使用される。少なくともいくつかのそのような実施形態では、丸い絞りを有するレンズが、小さい、たとえば、70mmのフルフレームDSLRよりも短い焦点距離に等しい、焦点距離を有するカメラモジュールに使用される。レンズ(カメラ)の焦点距離は、多くの場合、フルフレームDSLRカメラにとって等価な焦点距離と述べられ、DSLRカメラはデジタル一眼レフカメラである。35mmの等価な焦点距離を有する光学チェーンなどのレンズまたはシステムは、35mmレンズを有するフルフレームDSLRカメラが形作るであろうものと同じロケーションから同じショットを形作る。センサは一般にフルフレームDSLRセンサよりもはるかに小さいので、35mmの等価な焦点距離を有する光学チェーンの実際の焦点距離は、著しく小さいことがある。一般に、センサが、各次元において5分の1の大きさ(25分の1の大きさの面積)である場合、7mmの実焦点距離の光学チェーンは、フルフレームDSLRの35mmに等しい焦点距離を有する。
さまざまな実施形態では、光方向変換が、薄型カメラ実装形態を可能にするためにいくつかの焦点距離を有するカメラモジュールに使用されるが、35mmフルフレームDSLR焦点距離に等しいより短い焦点距離たとえば焦点距離を有するいくつかの他のカメラモジュールが、光方向変換要素を使用せずに、実施され得、場合によっては、実施される。
いくつかの実施形態では、カメラ厚さがカメラモジュール(いくつかの実施形態では水平方向に沿っている)の最も外側のレンズ素子および対応する絞りの最大寸法よりも小さいことを可能にするために、いくつかの実施形態では、一方向、たとえば別の方向よりも水平方向、たとえば、垂直方向におけるより大きい絞りをサポートするように構成される光方向変換デバイスが、使用される。この光方向変換デバイスは、方向変換後、異なる方向に、たとえば垂直に進むように、カメラモジュールの光軸に沿ってカメラに向かって進む光を方向変換する。これは、光方向変換デバイスの奥行きが絞りの最大次元よりも小さいことを可能にする。
1次元(たとえば、水平)において他の次元よりも大きい絞りをサポートする方向変換要素の使用は、他の次元よりも1次元(たとえば、水平)においてより高い品質、たとえば、より多くのキャプチャされた高解像度周波数画像コンテンツを有する、二次元画像のキャプチャをもたらす。そのような画像は、同じ量の光学情報が垂直次元と水平次元の両方においてキャプチャされるより均一な画像よりも好ましくないことがあるが、光がカメラに入るレンズ開口の最大長さよりもカメラが薄型であることを可能にするので、長円形絞りをサポートする光方向変換要素を使用することによって可能にされた薄型カメラ幅が望ましいことがある。したがって、そのような一実施形態では、カメラの厚さは、長円形または非円形のレンズ開口(絞り)の最大次元レンズ開口によって結合または制限されない。
非円形の絞り、たとえば、長円形の絞り、卵形の絞り、または他の非円形の絞りの使用は、より高い周波数画像情報が、他の次元においてよりも1次元において、たとえば非円形のレンズのより長い寸法に沿って、キャプチャされることをもたらすことができる。さまざまな実施形態では、1次元において他の次元よりも狭いレンズおよび/または有効絞りから生じる異なる方向における高周波数情報の差を補うために、より高い解像度次元の異なる方位を有する複数の光学チェーンが使用される。異なる方位を有する光学チェーンは、画像内の最高解像度次元の異なる方向(たとえば、水平、垂直、斜め)を有する画像をキャプチャし、カメラは垂直方位にあり、カメラレンズは前を向いている。
そのような一実施形態では、異なる光学チェーンによってキャプチャされた画像は、結合された画像すなわち合成画像を形成するために結合される。たとえば異なる光学チェーンによって同時にキャプチャされた、異なる次元における異なる量の高周波数情報と画像を結合することによって理解されるべきであるように、結合された画像は、丸くない絞り停止具を有する光学チェーンによって1次元においてキャプチャされる、より低い周波数情報によって制限される必要はない。これは、異なる光学チェーン、たとえば、他の光学チェーンが経験する次元におけるより高い周波数情報のキャプチャを可能にすることができる方位を有する光学チェーンによってキャプチャされた画像は、他の光学チェーンによってキャプチャされた画像の弱点を補うために使用可能であるからである。一例として、両方とも丸くない絞り、たとえば長円形の絞りを有する2つの光学チェーンがある場合、第1の光学チェーンの方位は、第1の光学チェーンの絞りが水平次元においてより大きく、第1の光学チェーンによってキャプチャされる画像に水平方向においてより高い解像度を与えるようなものであってよく、第2の光学チェーンの方位は、対応して、より高い垂直解像度を有する画像をキャプチャするようなものであってよい。2つの画像は、垂直方向と水平方向の両方でより高い解像度を有する単一の合成画像に結合可能であり、いくつかの実施形態では、結合される。
したがって、丸くない絞りを有するが異なる方位を有する複数の光学チェーンを使用し、そのような光学チェーンによってキャプチャされた画像を結合することによって、その直径が通常ならばカメラの奥行きによって限定されるであろうより小さい丸い絞りの使用によって画像の品質(鮮鋭度)が制限されることなく、比較的薄いカメラが実施可能である。
いくつかの実施形態では、丸くないレンズが、画像を並行してキャプチャするために使用される複数の光学チェーンの最も外側のレンズとして使用され、次いで、これらの画像は、結合された画像を形成するために結合される。丸くないレンズは、長円形レンズを形成するために、丸いレンズの一部分、たとえば左部分と右部分とを切除することによって形成され得る。他の実施形態では、丸いレンズの一部分は、適用されるマスクまたはレンズが取り付けられて長円形の絞りを有するレンズを形成するカメラハウジングの一部分によってマスキングされる。さらに他の実施形態では、丸い外側レンズが使用され、光方向変換デバイスは、丸いレンズを通過するすべての光がセンサに方向変換されるとは限らないようなサイズおよび形状である。そのような実施形態では、光方向変換デバイスは、光学的光路に対する制約として動作し、センサへと通過する光に対する絞り停止具、たとえば光制約の点になる。したがって、さまざまな実施形態では、長円形のレンズは絞り停止具として働き、長円形の絞りは光学チェーンの光路上の収縮点となるが、他の実施形態では、光方向変換要素は、光路に対する制約および光学チェーン内の絞り停止具として働き、有効絞りは、外側レンズが丸いことがあるという事実にもかかわらず、形状が長円形である。
エリアの複数の画像を同時にキャプチャするために複数の光学チェーンを使用する方法および装置が説明される。次いで、複数のキャプチャされた画像が、結合された画像を形成するために結合され得、いくつかの実施形態では、結合される。結合された画像は、さまざまな実施形態では、通常、光学チェーンのうちの単一のチェーンのみを使用して達成されるであろうよりも高い品質である。
さまざまな実施形態は、一般に高品質の大きなレンズの単一の光学チェーンカメラ実装形態とともに使用されるよりも小さいおよび/または低コストの構成要素を使用して通常実施可能である複数の光学チェーンの使用によって、大きなレンズおよび/または大きな高品質センサの使用に関連付けられる利益の多くを提供する。
さまざまな実施形態では、光学チェーンたとえばカメラモジュールは、1つまたは複数のレンズと光方向変換デバイスとセンサとを含む要素の組み合わせを含む。光方向変換デバイスは分光器(light diverter)であり、さまざまな形をとってよく、たとえば、光方向変換デバイスは鏡またはプリズムであってよい。光方向変換デバイスは、光方向変換デバイスを移動させることによって光学チェーンが向く角度およびしたがって方向が変更されることを可能にするようにヒンジ結合され得る。
少なくともいくつかの実施形態では、異なる方位を有する丸くない絞りを有する異なる光学チェーンによってキャプチャされる画像が結合される。いくつかの実施形態では、異なる方位を有する2つ、3つ、またはそれ以上、たとえば6つまたはそれ以上の光学チェーンからの画像は、単一の結合された画像を形成するために結合される。いくつかの実施形態では、異なる方位を有する光学チェーンからの画像が結合されるが、説明の目的で、同じ方位を有する複数の光学チェーンによってキャプチャされた画像は、たとえば、カメラの底部たとえば水平線に対して異なる方位を有する光学チェーンによってキャプチャされた1つまたは複数の画像と結合可能であることを理解されたい。したがって、異なる光学チェーンからの画像を結合することによって、多数の利点が達成可能であり、複数の小さいレンズが使用されることを可能にし、単一の大きい丸いレンズを使用するシステムと比較して、比較的薄いカメラハウジングが可能である。
さまざまな実施形態では、複数の光学チェーンの外側レンズが固定され、したがって、多くの従来のズームカメラデバイスとは異なり、そのような実施形態では、外側レンズ、すなわち、カメラの面上のレンズは、カメラ本体から移動せず、ズーム動作中ですらカメラの面に対して固定される。最も外側のレンズは、いくつかの実施形態では、ゼロまたはごくわずかの屈折率を有し、外側レンズが対応する光学チェーンに埃が入るのを防ぐカバーとして主に働き得る。外側レンズは、そのような実施形態では、平坦なガラスまたはプラスチックを使用して実施され得る。いくつかの実施形態では、カメラが保管して置かれ、カメラデバイスが使用可能であるとき摺動されて戻るとき、摺動可能なカバーが外側レンズ上で摺動される。図14は、レンズが見えるようにされ、レンズカバーを含むカメラグリップまたはハンドルとして使用可能であるその場合、ある位置へのカバーの摺動そのような一実施形態を示す。
いくつかの実施形態では、最も外側のレンズの一部分が、カメラデバイスの前面からカメラデバイスの表面を越えて延在し得るが、最も外側のレンズは、一般に、仮にあったとしても、カメラの厚さよりも小さい少量延在する。したがって、使用中ですら、レンズは、光学チェーンが取り付けられるカメラデバイスの面を著しく越えないように、通常、多くてもカメラデバイスの半分の厚さよりも小さく延在する。
すべてではないとしても多くの場合、写真を撮影するために使用されるカメラデバイスの光学チェーンモジュールのうちの1つまたは複数によってキャプチャされた現実世界の物体および/またはシーンを表す画像は、コンピュータ可読媒体たとえばRAMもしくは他のメモリデバイス上にデジタル形式で保存され、および/または紙もしくは別の印刷可能媒体に印刷された画像の形で格納される。
静止画像キャプチャの文脈で説明されているが、本発明のカメラデバイスおよび光学チェーンモジュールはビデオをキャプチャするためにも使用可能であることを理解されたい。いくつかの実施形態では、ビデオシーケンスがキャプチャされ、ユーザは、たとえばビデオシーケンス内の、シーケンスのフレームに示される物体を、フォーカスエリアとして選択することができ、次いで、カメラデバイスは、光学チェーンモジュールを使用して1つまたは複数の画像をキャプチャする。いくつかの実施形態では、画像は、1つまたは複数の画像たとえばフレームを生成するために結合する。結合された画像たとえばフレームのシーケンスは生成され得、いくつかの実施形態では、生成され、たとえば、いくつかまたはすべての個々のフレームは、同時にキャプチャされた複数の画像に対応するが、異なるフレームは、異なる時間にキャプチャされた画像に対応する。
異なる光学チェーンモジュールは、異なる量の光ために、をキャプチャするいくつかの実施形態では異なる露光時間を使用してように制御され得、場合によっては、制御され、キャプチャされた画像は、その後、単一の露光時間を使用して達成されるであろうよりも大きいダイナミックレンジを有する画像を作り出すために結合され、同じまたは類似の効果は、同じ露光時間を有する異なる光学チェーン上での異なるフィルタの使用によって達成され得、いくつかの実施形態では、達成される。たとえば、同じ露光時間であるが異なるフィルタを使用することによって、異なる光学チェーンモジュールのセンサは、異なる量の光が通過することを可能にする異なるフィルタにより異なる量の光を感知する。そのような一実施形態では、光学チェーンの露光時間は、同じ色に対応する異なる光学チェーンモジュールに対応する少なくともいくつかのフィルタが、異なる量の光が通過することを可能にすることによって、同じに保持される。カラーではない実施形態では、異なる暗さレベルの中性フィルタが、カラーフィルタリングされないセンサの前に使用される。いくつかの実施形態では、異なる暗さレベルのフィルタモードへの切り換えが、1つまたは複数の光学チェーンモジュール内の所定の位置に所望のフィルタを移動させるフィルタプラッタの単純な回転または移動によって達成される。
本発明のカメラデバイスは、複数の動作のモードと、異なる動作のモード間の切り換えとをサポートする。異なるモードは、エリアごとの異なる数の複数のレンズ、および/またはシーンエリアを並行してキャプチャするために使用される異なる光学チェーンのための異なる露光時間を使用してよい。異なる露光モードおよびフィルタモードもサポートされ、たとえばユーザ入力に基づいて、切り換えられてよい。
多数の追加変形形態および組み合わせが、本発明の範囲内にとどまりながら、可能である。
いくつかの実施形態で実施されるカメラは、使用中にカメラの前面を超えて延在せず、ポータブルハンドヘルドカメラまたはカメラを含むデバイスとして実施される、光学チェーンを有する。そのようなデバイスは、比較的平坦な前面を有し得、いくつかの実施形態では、これを有し、最も外側のレンズまたは透明な光学チェーンの覆いが固定される。しかしながら、他の実施形態では、レンズおよび/または光学チェーンの他の要素は、カメラデバイスの面を越えて延在し得、場合によっては、延在する。
さまざまな実施形態では、カメラデバイスは、本発明の方法を実施するために、および/またはキャプチャされた画像もしくは生成された合成画像を格納または表示のために他のデバイスに移送するために、デジタルカメラ、ビデオカメラ、ノートブックコンピュータ、携帯情報端末(PDA)、または受信機/送信機回路とロジックおよび/またはルーチンとを含む他のポータブルデバイスとして実施される。
本発明の技法は、ソフトウェア、ハードウェア、および/またはソフトウェアとハードウェアの組合せを使用して実施され得る。本発明は、装置、たとえば、たとえば、ハンドヘルドカメラデバイス、カメラを含むラップトップデバイス、カメラを含むパッドデバイス、カメラを含む携帯電話などの、1つまたは複数の形をしたカメラデバイスを対象とし、ここで、カメラは1つまたは複数の光学チェーンを含み得る。本発明による、方法、たとえば制御する方法、および/もしくはカメラデバイス、ならびに/またはそのようなカメラデバイスによってキャプチャされた画像を処理する方法も対象とする。本発明はまた、本発明による1つまたは複数のステップを実施するように、機械、たとえば、プロセッサとメモリと少なくとも1つの光学チェーンとを含むカメラデバイスを制御するための機械可読命令を含む、機械可読媒体、たとえば、ROM、RAM、CD、ハードディスクなどを対象とする。本発明はまた、本発明により1つまたは複数の画像を処理し、1つまたは複数の合成画像を生成するための後処理システムを対象とする。
さまざまな実施形態では、本明細書で説明されるデバイスは、本発明の1つまたは複数の方法に対応するステップ、たとえば、画像キャプチャの制御および/または画像の結合を実行するために、1つまたは複数のモジュールを使用して実施される。したがって、いくつかの実施形態では、本発明のさまざまな特徴が、モジュールを使用して実施される。そのようなモジュールは、ソフトウェア、ハードウェア、および/またはソフトウェアとハードウェアの組合せを使用して実施され得る。ハードウェア実装形態の場合、ハードウェア内で実施される実施形態は、モジュール単独として、または他のハードウェア要素と組み合わせて、回路を使用し得る。上記で説明された方法または方法ステップの多くは、たとえば1つまたは複数のノード内で、上記で説明された方法のすべてまたは一部分を実施するように、機械、たとえば、追加ハードウェアを持つまたは持たないカメラデバイスまたは汎用コンピュータを制御するために、メモリデバイス、たとえば、RAM、フロッピー(登録商標)ディスクなどの機械可読媒体に含まれる、ソフトウェアなどの機械実行可能命令を使用して実施可能である。したがって、とりわけ、本発明は、機械、たとえば、プロセッサおよび関連ハードウェアに、上記で説明された方法のステップのうちの1つもしくは複数を実行させる、または、上記で説明された方法のステップのうちのたとえば1つもしくは複数もしくはすべてを実行するように機械を制御するための、機械実行可能命令を含む機械可読媒体を対象とする。
カメラの文脈で説明されているが、本発明の方法および装置のうちの少なくともいくつかは、タブレットを含む広範囲の画像キャプチャシステムおよび画像キャプチャ機能をサポートまたは提供する携帯電話デバイスに適用可能である。
本明細書で説明されるカメラデバイスによってキャプチャされる画像は、工事現場に関する、事故における、および/または家屋の状況に関する情報であろうと乗り物の状況に関する情報であろうと個人情報を保存するための、状況を文書化するために有用な、現実世界の画像であってよい。
キャプチャされる画像および/または合成画像は、カメラデバイス上で表示され得、または個人記録もしくは業務記録の一部としてファイル内に維持可能な写真もしくは永久文書として印刷するためにプリンタに送られ得、場合によっては、表示され、送られる。
上記で説明される本発明の方法および装置に関する多数の追加の変形形態は、本発明の上記の説明に鑑みて、当業者には明らかであろう。そのような変形形態は、本発明の範囲内であると考えられるべきである。さまざまな実施形態では、カメラデバイスは、本発明の方法を実施するために、および/またはキャプチャされた画像もしくは生成された合成画像を格納または表示のために他のデバイスに移送するために、デジタルカメラ、ビデオカメラ、ノートブックコンピュータ、携帯情報端末(PDA)、または受信機/送信機回路とロジックおよび/またはルーチンとを含む他のポータブルデバイスとして実施される。
Claims (86)
- 第1の焦点距離と第1の非円形のレンズとを有する第1の光学チェーンと、
第2の焦点距離と第2のレンズとを有する第2の光学チェーンと
を備えるカメラデバイス。 - 前記第2のレンズが第2の非円形のレンズである、請求項1に記載のカメラデバイス。
- 第3の焦点距離を有し、丸いレンズを含む第3の光学チェーンをさらに備え、前記第3の焦点距離が前記第1の焦点距離または前記第2の焦点距離よりも小さい、請求項2に記載のカメラデバイス。
- 前記第1の非円形のレンズが、第1の方向に垂直な第2の方向においてよりも前記第1の方向において長く、
ここにおいて、前記第2の非円形のレンズが第4の方向においてよりも第3の方向において長く、前記第4の方向が前記第3の方向に垂直であり、前記第1の方向と前記第3の方向が異なる、請求項3に記載のカメラデバイス。 - 前記第1の方向が第1の平面内に延在し、ここにおいて、前記第3の方向が前記第1の平面と同じ平面内にある、請求項4に記載のカメラデバイス。
- 前記第1の平面が前記カメラデバイスの前面と平行である、請求項5に記載のカメラデバイス。
- 前記第1の方向と前記第3の方向が互いに垂直である、請求項5に記載のカメラデバイス。
- 第4の焦点距離と第3の非円形のレンズとを有する第4の光学チェーンをさらに備え、前記第4の焦点距離が前記第3の焦点距離よりも大きく、
ここにおいて、前記第3の非円形のレンズが、第6の方向においてよりも第5の方向において長く、前記第6の方向が前記第5の方向に垂直であり、前記第1の方向と前記第3の方向と前記第5の方向が少なくとも20度異なる、
請求項5に記載のカメラデバイス。 - 前記第1の非円形のレンズが、第1の方向に垂直な第2の方向においてよりも前記第1の方向において長く、前記第1の非円形のレンズが、前記カメラの奥行きよりも大きい量、前記第1の方向に延在する、請求項2に記載のカメラデバイス。
- 前記第1の光学チェーンが第1のセンサを含み、
ここにおいて、前記第2の光学チェーンが第2のセンサを含み、
ここにおいて、前記カメラデバイスが、合成画像を生成する目的で前記第1のセンサおよび前記第2のセンサによってキャプチャされた画像を結合するために前記第1のセンサおよび前記第2のセンサに結合されたプロセッサをさらに備える、
請求項2に記載のカメラデバイス。 - 前記第1の光学チェーンが、前記カメラデバイスの前記奥行きよりも大きい量、少なくとも1つの方向に延在する第1の光方向変換要素を含み、
ここにおいて、前記第2の光学チェーンが、前記カメラデバイスの前記奥行きよりも大きい量、少なくとも1つの方向に延在する第2の光方向変換要素を含む、請求項10に記載のカメラデバイス。 - 前記第1の焦点距離および前記第2の焦点距離が70mmに等しいかまたはこれよりも大きく、前記第3の焦点距離が70mmよりも小さい、請求項11に記載のカメラデバイス。
- 前記第1のセンサおよび前記第2のセンサが同じ数の画素を有し、
ここにおいて、前記第3の光学チェーンが、前記第1のセンサおよび前記第2のセンサと同じ数の画素を有する第3のセンサを含む、
請求項10に記載のカメラデバイス。 - 円形のレンズを含む複数の追加の光学チェーンをさらに備え、前記追加の光学チェーンの各々が、前記第1の光学チェーンよりも小さい焦点距離を有する円形のレンズを含む、
請求項13に記載のカメラデバイス。 - コンピュータ実行可能命令を備える非一時的なコンピュータ可読媒体であって、
プロセッサによって実行されるとき、第1の時間期間中に第1の画像をキャプチャするようにカメラの第1の光学チェーンを制御する命令と、前記第1の光学チェーンが第1の焦点距離と第1の非円形のレンズとを有する、
前記プロセッサによって実行されるとき、前記第1の時間期間中に第2の画像をキャプチャするように前記カメラの第2の光学チェーンを制御する命令と、前記第2の光学チェーンが第2の焦点距離と第2のレンズとを有する、
を備える非一時的なコンピュータ可読媒体。 - 前記第2のレンズが第2の非円形のレンズである、請求項15に記載の非一時的なコンピュータ可読媒体。
- カメラを動作させる方法であって、
第1の時間期間中に前記カメラの第1の光学チェーンを使用して第1の画像をキャプチャすることと、前記第1の光学チェーンが第1の焦点距離と第1の非円形のレンズとを有する、
前記第1の時間期間中に前記カメラの第2の光学チェーンを使用して第2の画像をキャプチャすることと、前記第2の光学チェーンが第2の焦点距離と第2のレンズとを有する、
を備える方法。 - 前記第2のレンズが第2の非円形のレンズである、請求項17に記載の方法。
- 第3の焦点距離を有し丸いレンズを含む第3の光学チェーンを使用して第3の画像をキャプチャすることをさらに備え、前記第3の焦点距離が前記第1の焦点距離または前記第2の焦点距離よりも小さい、
請求項18に記載の方法。 - 前記第1の非円形のレンズが、第1の方向に垂直な第2の方向においてよりも前記第1の方向において長く、
ここにおいて、前記第2の非円形のレンズが第4の方向においてよりも第3の方向において長く、前記第4の方向が前記第3の方向に垂直であり、前記第1の方向と前記第3の方向が異なる、請求項19に記載の方法。 - 第4の焦点距離と第3の非円形のレンズとを有する第4の光学チェーンを使用して第4の画像をキャプチャすることをさらに備え、前記第4の焦点距離が前記第3の焦点距離よりも大きく、
ここにおいて、前記第3の非円形のレンズが、第6の方向においてよりも第5の方向において長く、前記第6の方向が前記第5の方向に垂直であり、前記第1の方向と前記第3の方向と前記第5の方向が少なくとも20度異なる、
請求項20に記載の方法。 - 前記第1の光学チェーンが第1のセンサを含み、
ここにおいて、前記第2の光学チェーンが第2のセンサを含み、
ここにおいて、前記方法が、合成画像を生成するために前記第1のセンサおよび前記第2のセンサによってキャプチャされた画像を結合することをさらに備える、
請求項18に記載の方法。 - 円形のレンズを含む複数の追加の光学チェーンを使用して追加の画像をキャプチャすることをさらに備え、前記追加の光学チェーンの各々が、前記第1の光学チェーンよりも小さい焦点距離を有する円形のレンズを含む、
請求項22に記載の方法。 - 厚さDを有する前表面と後表面とを含むカメラハウジングと、ここで、Dは前記前表面と前記後表面との距離である、
i)第1の光方向変換デバイスと、ii)非円形の絞りを有する第1のレンズと、iii)センサとを含む、前記カメラハウジング内の第1の光学チェーンと、前記第1の光学チェーンが、前記光方向変換デバイスの前の第1の光軸部分と前記光方向変換デバイスから前記センサまで延在する第2の光軸部分とを含む光軸を有し、前記第1のレンズが前記第2の光軸部分上にある、
を備えるカメラデバイス。 - 前記非円形の絞りが、前記カメラの前記厚さの方向に沿って第1の方向においてD以下の長さと、前記第1の方向に垂直な第2の方向に沿ってDよりも大きい長さとを有する、請求項24に記載のカメラデバイス。
- i)第2の光方向変換デバイスと、ii)第2の非円形の絞りを有する第2のレンズと、iii)第2のセンサとを含む、前記カメラハウジング内の第2の光学チェーンをさらに備え、前記第2の光学チェーンが、前記第2の光方向変換デバイスの前の第3の光軸部分と前記第2の光方向変換デバイスから前記第2のセンサまで延在する第4の光軸部分とを含む光軸を有し、前記第2の非円形の絞りが、前記カメラの前記厚さに沿って前記第1の方向においてD以下の長さと、前記カメラの前記厚さの方向に垂直な第3の方向に沿ってDよりも大きい長さを有し、前記第2の方向と前記第3の方向が異なる、
請求項25に記載のカメラデバイス。 - 前記第2の方向と前記第3の方向が互いに対して90度の角度をなす、請求項26に記載のカメラデバイス。
- i)第3の光方向変換デバイスと、ii)第3の非円形の絞りを有する第3のレンズと、iii)第3のセンサとを含む第3の光学チェーンをさらに備え、前記第3の光学チェーンが、前記第3の光方向変換デバイスの前の第5の光軸部分と前記第3の光方向変換デバイスから前記第3のセンサまで延在する第6の光軸部分とを含む光軸を有し、前記第3の非円形の絞りが、前記カメラの前記厚さに沿って前記第1の方向においてD以下の長さと、前記カメラの前記厚さの方向に垂直な第4の方向に沿ってDよりも大きい長さとを有し、前記第1の方向と前記第2の方向と前記第3の方向が異なる、
請求項26に記載のカメラデバイス。 - 前記第2の方向と前記第3の方向が互いに対して90度の角度をなし、ここにおいて、前記第2の方向と前記第4の方向が互いに対して30度から60度の間の角度をなす、請求項28に記載のカメラデバイス。
- 前記第1の光方向変換デバイスが鏡である、請求項25に記載のカメラデバイス。
- 前記光方向変換デバイスがプリズムである、請求項25に記載のカメラデバイス。
- 前記第1の光方向変換デバイスが、光を90度方向変換する、45度の角度がつけられた平面鏡である、請求項25に記載のカメラデバイス。
- 厚さDを有する前表面と後表面とを含むカメラハウジングを含むカメラデバイスを動作させる方法であって、ここで、Dは前記前表面と前記後表面との距離である方法において、
前記カメラハウジング内の第1の光学チェーンを使用して第1の画像をキャプチャすることと、前記第1の光学チェーンが、i)第1の光方向変換デバイスと、ii)非円形の絞りを有する第1のレンズと、iii)センサとを含み、前記第1の光学チェーンが、前記光方向変換デバイスの前の第1の光軸部分と前記光方向変換デバイスから前記センサまで延在する第2の光軸部分とを含む光軸を有し、前記第1のレンズが前記第2の光軸部分上にある、
キャプチャされた画像をメモリに格納することと
を備える方法。 - 前記非円形の絞りが、前記カメラの前記厚さの方向に沿って第1の方向においてD以下の長さと、前記第1の方向に垂直な第2の方向に沿ってDよりも大きい長さとを有する、請求項33に記載の方法。
- 前記カメラハウジング内の第2の光学チェーンを使用して第2の画像をキャプチャすること、前記第2の光学チェーンが、i)第2の光方向変換デバイスと、ii)第2の非円形の絞りを有する第2のレンズと、iii)第2のセンサとを含み、前記第2の光学チェーンが、前記第2の光方向変換デバイスの前の第3の光軸部分と前記第2の光方向変換デバイスから前記第2のセンサまで延在する第4の光軸部分とを含む光軸を有し、前記第2の非円形の絞りが、前記カメラの前記厚さに沿って前記第1の方向においてD以下の長さと、前記カメラの前記厚さの方向に垂直な第3の方向に沿ってDよりも大きい長さとを有し、前記第2の方向と前記第3の方向が異なる、
をさらに備える、請求項34に記載の方法。 - 前記第2の方向と前記第3の方向が互いに対して90度の角度をなす、請求項35に記載の方法。
- 第3の光学チェーンを使用して第3の画像をキャプチャすること、前記第3の光学チェーンが、i)第3の光方向変換デバイスと、ii)第3の非円形の絞りを有する第3のレンズと、iii)第3のセンサとを含み、前記第3の光学チェーンが、前記第3の光方向変換デバイスの前の第5の光軸部分と前記第3の光方向変換デバイスから前記第3のセンサまで延在する第6の光軸部分とを含む光軸を有し、前記第3の非円形の絞りが、前記カメラの前記厚さに沿って前記第1の方向においてD以下の長さと、前記カメラの前記厚さの方向に垂直な第4の方向に沿ってDよりも大きい長さとを有し、前記第1の方向と前記第2の方向と前記第3の方向が異なる、
をさらに備える、請求項35に記載の方法。 - 前記第2の方向と前記第3の方向が互いに対して90度の角度をなし、ここにおいて、互いに対して30度から60度の間の角度をなす前記第2の方向および前記第4の方向のエリア、請求項37に記載の方法。
- 厚さDを有する前表面と後表面とを含むカメラハウジングを含むカメラデバイスを制御するためのコンピュータ実行可能命令を備える非一時的なコンピュータ可読媒体であって、ここで、Dは前記前表面と前記後表面との距離である非一時的なコンピュータ可読媒体において、
プロセッサによって実行されるとき、画像をキャプチャするように前記カメラハウジング内の第1の光学チェーンを制御する命令と、前記第1の光学チェーンが、i)第1の光方向変換デバイスと、ii)非円形の絞りを有する第1のレンズと、iii)センサとを含み、前記第1の光学チェーンが、前記光方向変換デバイスの前の第1の光軸部分と前記光方向変換デバイスから前記センサまで延在する第2の光軸部分とを含む光軸を有し、前記第1のレンズが前記第2の光軸部分上にある、
前記プロセッサによって実行されるとき、メモリにおけるキャプチャされた画像の格納を制御する命令と
を備える非一時的なコンピュータ可読媒体。 - 前記非円形の絞りが、前記カメラの前記厚さの方向に沿って第1の方向においてD以下の長さと、前記第1の方向に垂直な第2の方向に沿ってDよりも大きい長さとを有する、請求項39に記載の非一時的なコンピュータ可読媒体。
- カメラの第1の光学チェーンを使用して、関心シーンエリアの第1の部分の第1の画像をキャプチャすることと、前記第1の光学チェーンが第1の光軸と第1の最も外側のレンズとを有する、
前記カメラの第2の光学チェーンを使用して、前記関心シーンエリアの第2の部分の第2の画像をキャプチャすることと、前記第2の光学チェーンが、前記第1の光軸と平行でない第2の光軸と、前記第1の最も外側のレンズと異なる第2の最も外側のレンズとを有する、
を備える、画像をキャプチャする方法。 - 前記カメラの第3の光学チェーンを使用して、第3の画像をキャプチャすることをさらに備え、前記第3の光学チェーンが、前記第1の光学チェーンまたは前記第2の光学チェーンのうちの少なくとも1つよりも小さい焦点距離を有する、
請求項41に記載の方法。 - 前記第1の光学チェーンと前記第2の光学チェーンが同じ焦点距離を有する、請求項42に記載の方法。
- 前記第3の光学チェーンを使用してキャプチャされた前記第3の画像が前記関心シーンエリアを含む、
請求項42に記載の方法。 - 前記第3の光学チェーンが、前記カメラの前面に垂直な第3の光軸を有する、請求項44に記載の方法。
- 前記第1の光学チェーンが、第1のセンサを使用して前記第1の画像をキャプチャし、
ここにおいて、前記第3の光学チェーンが、第3のセンサを使用して前記第3の画像をキャプチャする、
請求項45に記載の方法。 - 前記カメラの第4の光学チェーンを使用して第4の画像をキャプチャすることをさらに備え、前記第4の画像が前記関心シーンエリアの第2の画像を含む、
請求項45の方法。 - 前記第4の光学チェーンが第4の光軸を有し、
ここにおいて、前記第3の光軸と前記第4の光軸が互いと平行であり、
ここにおいて、前記第1の光軸または前記第2の光軸と平行でない前記第3の光軸および前記第4の光軸、
請求項47に記載の方法。 - 少なくとも前記第1の画像と前記第2の画像と前記第3の画像と前記第4の画像とを結合することによって合成画像を生成すること
をさらに備える、請求項47に記載の方法。 - 前記合成画像が前記関心シーンエリアの合成画像であり、前記合成画像が、前記第1の画像、前記第2の画像、前記第3の画像、および前記第4の画像のうちのいずれもが個々に有するよりも大きい数の画素値を有する、請求項49に記載の方法。
- 前記カメラの第5の光学チェーンを使用して第5の画像をキャプチャすることと、前記第5の画像が前記関心シーンエリアの第3の部分の画像であり、前記第5の光学チェーンが第5の光軸を有し、前記第5の光軸が前記第1の光軸および前記第2の光軸と平行でない、
前記カメラの第6の光学チェーンを使用して第6の画像をキャプチャすることと、前記第6の画像が前記関心シーンエリアの第4の部分の画像であり、前記第6の光学チェーンが第6の光軸を有し、前記第6の光軸が前記第1の光軸、前記第2の光軸、または前記第5の光軸と平行でない、
をさらに備える、請求項47に記載の方法。 - 前記第1の画像、前記第2の画像、前記第5の画像、および前記第6の画像が各々、第1の数の画素値を有し、ここにおいて、前記方法が、
少なくとも前記第1の画像、前記第2の画像、前記第3の画像、前記第4の画像、前記第5の画像、および前記第6の画像から合成画像を生成することをさらに備え、前記合成画像が、前記第1の数の画素値の3倍よりも大きいが前記第1の数の画素値の6倍よりも小さい数の画素値を有する、
請求項51に記載の方法。 - 前記合成画像が、前記合成画像を生成するために結合された画素値の数の総和から生じる画素値の数よりも小さい数の画素値を含む、請求項52に記載の方法。
- 前記第1の光学チェーンと同じ焦点距離を有する前記カメラの第7の光学チェーンを使用して第7の画像をキャプチャすることをさらに備え、前記第7の光学チェーンは前記カメラの面に垂直な光軸を有する、請求項51に記載の方法。
- 第1の光軸と第1の最も外側のレンズとを有する第1の光学チェーンと、
前記第1の光軸と平行でない第2の光軸と、前記第1の最も外側のレンズと異なる第2の最も外側のレンズとを有する第2の光学チェーンと
を備えるカメラ。 - 第3の光学チェーンをさらに備え、前記第3の光学チェーンが、前記第1の光学チェーンまたは前記第2の光学チェーンのうちの少なくとも1つよりも小さい焦点距離を有する、
請求項55に記載のカメラ。 - 前記第3の光学チェーンが、前記カメラの前面に垂直な第3の光軸を有し、
ここにおいて、前記第3の光学チェーンの前記焦点距離が前記第1の光学チェーンおよび前記第2の光学チェーンの前記焦点距離よりも小さい、
請求項56に記載のカメラ。 - 前記第1の光学チェーンが、第1の画像をキャプチャする際に使用される第1のセンサを含み、
ここにおいて、前記第3の光学チェーンが、第3の画像をキャプチャする際に使用される第3のセンサを含む、
請求項57に記載のカメラ。 - 第4の光軸を有する第4の光学チェーン
をさらに備え、ここにおいて、前記第3の光軸と前記第4の光軸が互いと平行であり、
ここにおいて、前記第3の光軸および前記第4の光軸は、前記第1の光軸または前記第2の光軸と平行でない、
請求項57に記載のカメラ。 - 第1の光学チェーンによってキャプチャされた少なくとも前記第1の画像と、前記第2の光学チェーンによってキャプチャされた第2の画像と、前記第3の光学チェーンによってキャプチャされた第3の画像と、前記第4の光学チェーンによってキャプチャされた第4の画像とを結合することによって合成画像を生成するように構成されたプロセッサをさらに備え、前記第1の画像が関心シーンエリアの第1の部分の画像であり、前記第2の画像が前記関心シーンエリアの第2の部分の画像であり、前記第3の画像が前記関心シーンエリアの画像であり、前記第4の画像が前記関心シーンエリアの第2の画像を含む、
請求項59に記載のカメラ。 - 前記第1の光軸および前記第2の光軸と平行でない第5の光軸を有する第5の光学チェーンと、
第6の光軸を有する第6の光学チェーンと、前記第6の光軸が前記第1の光軸、前記第2の光軸、または前記第5の光軸と平行でない、
をさらに備え、
ここにおいて、前記第1の画像、前記第2の画像、前記第5の画像、および前記第6の画像が各々、第1の数の画素値を有し、
ここにおいて、前記プロセッサが、少なくとも前記第1の画像、前記第2の画像、前記第3の画像、前記第4の画像、前記第5の光学チェーンによってキャプチャされた第5の画像、および前記第6の光学チェーンによってキャプチャされる第6の画像から前記合成画像を生成するようにさらに構成され、前記第5の画像が前記関心シーンエリアの第3の部分の画像であり、前記第6の画像が前記関心シーンエリアの第4の部分の画像であり、前記合成画像が、前記第1の数の画素値の3倍よりも大きいが前記第1の数の画素値の6倍よりも小さい数の画素値を有する、
請求項60に記載のカメラ。 - 非一時的なコンピュータ可読媒体を備えるコンピュータ実行可能命令であって、
プロセッサによって実行されるとき、関心シーンエリアの第1の部分の第1の画像をキャプチャするようにカメラの第1の光学チェーンを制御する命令と、前記第1の光学チェーンが第1の光軸と第1の最も外側のレンズとを有する、
前記プロセッサによって実行されるとき、前記関心シーンエリアの第2の部分の第2の画像をキャプチャするように前記カメラの第2の光学チェーンを制御する命令と、前記第2の光学チェーンが、前記第1の光軸と平行でない第2の光軸と、前記第1の最も外側のレンズと異なる第2の最も外側のレンズとを有する、
を備える非一時的なコンピュータ可読媒体。 - 前記プロセッサによって実行されるとき、第3の画像をキャプチャするように前記カメラの第3の光学チェーンを制御する命令、前記第3の光学チェーンが、前記第1の光学チェーンまたは前記第2の光学チェーンのうちの少なくとも1つよりも小さい焦点距離を有し、前記第3の画像が前記関心シーンエリアを含む、
をさらに備える、請求項62に記載の非一時的なコンピュータ可読媒体。 - カメラの第1の光学チェーンを使用して関心シーンエリアの第1の画像をキャプチャすることと、前記第1の光学チェーンが第1の焦点距離を有する、
前記カメラの第2の光学チェーンを使用して第2のシーンエリアの第2の画像をキャプチャすることと、前記第2のシーンエリアが前記関心シーンエリアの第1の部分であり、前記第2の光学チェーンが、前記第1の焦点距離よりも大きい第2の焦点距離を有する、
前記第1の画像と前記第2の画像と前記第3の画像とを格納または出力することと
を備える、画像をキャプチャする方法。 - 前記カメラの第3の光学チェーンを使用して、前記関心シーンエリアの第2の部分である第3のシーンエリアの第3の画像をキャプチャすることをさらに備え、前記第3の光学チェーンが、前記第1の焦点距離よりも大きい第3の焦点距離を有し、前記第3のシーンエリアの少なくとも一部分が前記第2のシーンエリアと重複しない、
請求項64に記載の方法。 - 少なくとも前記第1のキャプチャされた画像、前記第2のキャプチャされた画像、および前記第3のキャプチャされた画像から合成画像を生成すること
をさらに備える、請求項65に記載の方法。 - 前記キャプチャされた画像のうちの少なくとも2つに含まれる前記関心シーンエリアの一部分に関する奥行き情報を生成すること
をさらに備え、
ここにおいて、前記合成画像を生成することが前記奥行き情報の関数として実行される、
請求項66に記載の方法。 - 第4の焦点距離を有する第4の光学チェーンを使用して、前記関心シーンエリアのものである第4の画像をキャプチャすることをさらに備え、前記第4の焦点距離が前記第1の焦点距離に等しいかまたはこれよりも小さい、
請求項65に記載の方法。 - 前記第1の焦点距離よりも大きい第5の焦点距離を有する第5の光学チェーンを使用して、前記関心シーンエリアの第3の部分である第5のシーンエリアの第5の画像をキャプチャすることをさらに備える、
請求項68に記載の方法。 - 前記第1の焦点距離よりも大きい第6の焦点距離を有する第6の光学チェーンを使用して、前記関心シーンエリアの第4の部分である第6のシーンエリアの第6の画像をキャプチャすることをさらに備える
請求項69に記載の方法。 - 前記第2の焦点距離と、前記第3の焦点距離と、前記第5の焦点距離と、前記第6の焦点距離が同じである、請求項70に記載の方法。
- 前記第1の焦点距離と前記第4の焦点距離が同じである、請求項71に記載の方法。
- 前記第2のシーンエリア、前記第3のシーンエリア、前記第5のシーンエリア、および前記第6のシーンエリアの合併が前記関心シーンエリアを含む、請求項72に記載の方法。
- 前記第1の焦点距離よりも大きい第7の焦点距離を有する第7の光学チェーンを使用して、前記関心シーンエリアの中心にある第7のシーンエリアの第7の画像をキャプチャすることをさらに備える
請求項73に記載の方法。 - 前記第7の焦点距離が前記第2の焦点距離、前記第3の焦点距離、前記第5の焦点距離、および前記第6の焦点距離と同じである、請求項74に記載の方法。
- 第1の焦点距離を有する第1の光学チェーンと、
前記第1の焦点距離よりも大きい第2の焦点距離を有する第2の光学チェーンと
を備えるカメラ。 - 前記第1の焦点距離よりも大きい第3の焦点距離を有する第3の光学チェーン
をさらに備える、請求項76に記載のカメラ。 - 前記第1の光学チェーンによってキャプチャされた関心シーンエリアの少なくとも第1の画像、前記第2の光学チェーンを使用してキャプチャされた前記関心シーンエリアの第1の部分である第2のシーンエリアの第2の画像、および前記第3の光学チェーンを使用してキャプチャされた第3のシーンエリアの第3の画像から合成画像を生成するように構成されたプロセッサと、前記第3のシーンエリアが前記関心シーンエリアの第2の部分であり、前記第3のシーンエリアの少なくとも一部分が前記第2のシーンエリアと重複しない、
前記第1の画像と、前記第2の画像と、前記第3の画像とを格納するように構成されたメモリと
をさらに備える、請求項77に記載のカメラ。 - 前記プロセッサが、前記キャプチャされた画像のうちの少なくとも2つに含まれる前記関心シーンエリアの一部分に関する奥行き情報を生成するようにさらに構成され、
ここにおいて、前記プロセッサが、前記奥行き情報の関数として前記合成画像を生成するようにさらに構成される、
をさらに備える、請求項78に記載のカメラ。 - 第4の焦点距離を有する第4の光学チェーンをさらに備え、前記第4の焦点距離が前記第1の焦点距離に等しいかまたはこれよりも小さい、
請求項77に記載のカメラ。 - 前記第1の焦点距離よりも大きい第5の焦点距離を有する第5の光学チェーンと、
前記第1の焦点距離よりも大きい第6の焦点距離を有する第6の光学チェーンと
をさらに備える、請求項80に記載のカメラ。 - 前記第2の焦点距離と前記第3の焦点距離と前記第5の焦点距離と前記第6の焦点距離が同じであり、ここにおいて、前記第1の焦点距離と前記第4の焦点距離が同じである、請求項81に記載のカメラ。
- 前記第5の光学チェーンが、第5のシーンエリアの第5の画像をキャプチャするために使用され、前記第5のシーンエリアが前記関心シーンエリアの第3の部分であり、
ここにおいて、前記第6の光学チェーンが、第6のシーンエリアの第6の画像をキャプチャするために使用され、前記第6のシーンエリアが前記関心シーンエリアの第4の部分であり、
ここにおいて、前記第2のシーンエリア、前記第3のシーンエリア、前記第5のシーンエリア、および前記第6のシーンエリアの合併が前記関心シーンエリアを含む、
請求項82に記載のカメラ。 - 前記第1の焦点距離よりも大きい第7の焦点距離を有する第7の光学チェーンをさらに備え、前記第7の光学チェーンは第7のシーンエリアの第7の画像をキャプチャするために使用され、前記第7のシーンエリアが前記関心シーンエリアの中心にある、
請求項83に記載のカメラ。 - コンピュータ実行可能命令を備える非一時的なコンピュータ可読媒体であって、
プロセッサによって実行されるとき、関心シーンエリアの第1の画像をキャプチャするようにカメラの第1の光学チェーンを制御する命令と、前記第1の光学チェーンが第1の焦点距離を有する、
前記プロセッサによって実行されるとき、第2のシーンエリアの第2の画像をキャプチャするように前記カメラの第2の光学チェーンを制御する命令と、前記第2の光学チェーンが、前記第1の焦点距離よりも大きい第2の焦点距離を有し、前記第2のシーンエリアが前記関心シーンエリアの第1の部分である、
前記プロセッサによって実行されるとき、前記第1のキャプチャされた画像と、前記第2のキャプチャされた画像と、前記第3のキャプチャされた画像とをメモリに格納するように前記プロセッサを制御する命令と
を備える非一時的なコンピュータ可読媒体。 - 前記プロセッサによって実行されるとき、第3のシーンエリアの第3の画像をキャプチャするように第3の光学チェーンを制御する命令をさらに備え、前記第3の光学チェーンが第3の焦点距離を有し、前記第3の焦点距離が前記第1の焦点距離よりも大きく、前記第3のシーンエリアが前記関心シーンエリアの第2の部分であり、前記第3のシーンエリアの少なくとも一部分が前記第2のシーンエリアと重複しない、
請求項85に記載の非一時的なコンピュータ可読媒体。
Applications Claiming Priority (31)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361893100P | 2013-10-18 | 2013-10-18 | |
US61/893,100 | 2013-10-18 | ||
US201461978818P | 2014-04-11 | 2014-04-11 | |
US61/978,818 | 2014-04-11 | ||
US201461981849P | 2014-04-20 | 2014-04-20 | |
US61/981,849 | 2014-04-20 | ||
US201462021094P | 2014-07-04 | 2014-07-04 | |
US62/021,094 | 2014-07-04 | ||
US14/327,510 | 2014-07-09 | ||
US14/327,514 | 2014-07-09 | ||
US14/327,517 | 2014-07-09 | ||
US14/327,512 | 2014-07-09 | ||
US14/327,510 US9325906B2 (en) | 2013-10-18 | 2014-07-09 | Methods and apparatus relating to a thin camera device |
US14/327,492 | 2014-07-09 | ||
US14/327,524 | 2014-07-09 | ||
US14/327,525 | 2014-07-09 | ||
US14/327,492 US9851527B2 (en) | 2013-10-18 | 2014-07-09 | Methods and apparatus for capturing and/or combining images |
US14/327,508 US9549127B2 (en) | 2013-10-18 | 2014-07-09 | Image capture control methods and apparatus |
US14/327,514 US9578252B2 (en) | 2013-10-18 | 2014-07-09 | Methods and apparatus for capturing images using optical chains and/or for using captured images |
US14/327,515 US9563033B2 (en) | 2013-10-18 | 2014-07-09 | Methods and apparatus for capturing images and/or for using captured images |
US14/327,524 US9423588B2 (en) | 2013-10-18 | 2014-07-09 | Methods and apparatus for supporting zoom operations |
US14/327,512 US9557519B2 (en) | 2013-10-18 | 2014-07-09 | Methods and apparatus for implementing a camera device supporting a number of different focal lengths |
US14/327,518 US9557520B2 (en) | 2013-10-18 | 2014-07-09 | Synchronized image capture methods and apparatus |
US14/327,525 US9197816B2 (en) | 2013-10-18 | 2014-07-09 | Zoom related methods and apparatus |
US14/327,515 | 2014-07-09 | ||
US14/327,508 | 2014-07-09 | ||
US14/327,517 US9551854B2 (en) | 2013-10-18 | 2014-07-09 | Methods and apparatus for controlling sensors to capture images in a synchronized manner |
US14/327,518 | 2014-07-09 | ||
US14/516,568 | 2014-10-16 | ||
US14/516,568 US9374514B2 (en) | 2013-10-18 | 2014-10-16 | Methods and apparatus relating to a camera including multiple optical chains |
PCT/US2014/061254 WO2015058153A1 (en) | 2013-10-18 | 2014-10-17 | Methods and apparatus for implementing and/or using a camera device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016541151A true JP2016541151A (ja) | 2016-12-28 |
Family
ID=56365886
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016524463A Pending JP2016540417A (ja) | 2013-10-18 | 2014-10-17 | 画像キャプチャ制御方法および装置 |
JP2016524434A Pending JP2016541151A (ja) | 2013-10-18 | 2014-10-17 | カメラデバイスを実施および/または使用するための方法および装置 |
JP2016524532A Withdrawn JP2016540418A (ja) | 2013-10-18 | 2014-10-17 | 画像のキャプチャおよび/または結合のための方法および装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016524463A Pending JP2016540417A (ja) | 2013-10-18 | 2014-10-17 | 画像キャプチャ制御方法および装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016524532A Withdrawn JP2016540418A (ja) | 2013-10-18 | 2014-10-17 | 画像のキャプチャおよび/または結合のための方法および装置 |
Country Status (4)
Country | Link |
---|---|
EP (3) | EP3058714A4 (ja) |
JP (3) | JP2016540417A (ja) |
KR (1) | KR20160075583A (ja) |
CN (3) | CN105830424B (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019102889A (ja) * | 2017-11-29 | 2019-06-24 | 株式会社デンソー | カメラシステム |
JP2020523625A (ja) * | 2017-05-23 | 2020-08-06 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | 複数開口画像化装置、画像化システム、および複数開口画像化装置を提供する方法 |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110769149B (zh) | 2015-04-23 | 2021-05-11 | 苹果公司 | 用于处理来自多相机的内容的方法、电子设备和存储介质 |
DE102015215845B4 (de) | 2015-08-19 | 2017-06-22 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Multiaperturabbildungsvorrichtung mit kanalindividueller Einstellbarkeit |
US10009536B2 (en) | 2016-06-12 | 2018-06-26 | Apple Inc. | Applying a simulated optical effect based on data received from multiple camera sensors |
KR102558471B1 (ko) * | 2016-07-27 | 2023-07-25 | 삼성전자주식회사 | 전자 장치 및 그의 동작 방법 |
US10984519B2 (en) * | 2016-08-03 | 2021-04-20 | Panduit Corp. | Method for evaluating the optical insertion loss of a mechanical splice joint of two optical fibers |
CN106657801B (zh) * | 2016-10-26 | 2019-05-24 | 浙江大华技术股份有限公司 | 一种视频信息采集方法及装置 |
WO2018077156A1 (en) | 2016-10-26 | 2018-05-03 | Zhejiang Dahua Technology Co., Ltd. | Systems and methods for exposure control |
WO2018154421A1 (en) * | 2017-02-23 | 2018-08-30 | Corephotonics Ltd. | Folded camera lens designs |
DE102017206429A1 (de) * | 2017-04-13 | 2018-10-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung |
DK180859B1 (en) | 2017-06-04 | 2022-05-23 | Apple Inc | USER INTERFACE CAMERA EFFECTS |
EP3646100B1 (en) * | 2017-06-30 | 2021-08-11 | poLight ASA | A module with a plurality of cameras for integration in a mobile device |
CN107343124B (zh) * | 2017-08-08 | 2020-07-03 | 信利光电股份有限公司 | 一种摄像头 |
US11112964B2 (en) | 2018-02-09 | 2021-09-07 | Apple Inc. | Media capture lock affordance for graphical user interface |
US10375313B1 (en) | 2018-05-07 | 2019-08-06 | Apple Inc. | Creative camera |
US11722764B2 (en) | 2018-05-07 | 2023-08-08 | Apple Inc. | Creative camera |
CN208386734U (zh) * | 2018-06-14 | 2019-01-15 | Oppo广东移动通信有限公司 | 摄像头模组和电子装置 |
DK201870623A1 (en) | 2018-09-11 | 2020-04-15 | Apple Inc. | USER INTERFACES FOR SIMULATED DEPTH EFFECTS |
US11770601B2 (en) | 2019-05-06 | 2023-09-26 | Apple Inc. | User interfaces for capturing and managing visual media |
US10645294B1 (en) | 2019-05-06 | 2020-05-05 | Apple Inc. | User interfaces for capturing and managing visual media |
US11321857B2 (en) | 2018-09-28 | 2022-05-03 | Apple Inc. | Displaying and editing images with depth information |
US11128792B2 (en) | 2018-09-28 | 2021-09-21 | Apple Inc. | Capturing and displaying images with multiple focal planes |
KR102075847B1 (ko) * | 2018-11-14 | 2020-02-10 | 망고슬래브 주식회사 | 디지털 메모 생성 및 저장 장치 및 방법 |
KR101987922B1 (ko) | 2019-01-08 | 2019-06-11 | 오은실 | 라이트 셀의 능동적 제어를 통한 자동 이미지 캡쳐 시스템 |
KR102606345B1 (ko) * | 2019-02-25 | 2023-11-23 | 코어포토닉스 리미티드 | 적어도 하나의 2 상태 줌 카메라를 갖는 멀티-애퍼처 카메라 |
CN111901476B (zh) * | 2019-05-06 | 2022-06-10 | 苹果公司 | 用于捕获和管理视觉媒体的用户界面 |
US11706521B2 (en) | 2019-05-06 | 2023-07-18 | Apple Inc. | User interfaces for capturing and managing visual media |
CN112887586B (zh) * | 2019-05-06 | 2022-05-10 | 苹果公司 | 用于捕获和管理视觉媒体的用户界面 |
US11039074B1 (en) | 2020-06-01 | 2021-06-15 | Apple Inc. | User interfaces for managing media |
US11212449B1 (en) | 2020-09-25 | 2021-12-28 | Apple Inc. | User interfaces for media capture and management |
CN112998633B (zh) * | 2021-03-03 | 2022-08-30 | 重庆金山医疗技术研究院有限公司 | 一种内窥镜出光量的控制方法及内窥镜系统 |
US11539876B2 (en) | 2021-04-30 | 2022-12-27 | Apple Inc. | User interfaces for altering visual media |
US11778339B2 (en) | 2021-04-30 | 2023-10-03 | Apple Inc. | User interfaces for altering visual media |
CN116132824B (zh) * | 2023-04-13 | 2023-06-16 | 四川新视创伟超高清科技有限公司 | 一种图像分区转换方法、系统、电子设备和存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006267391A (ja) * | 2005-03-23 | 2006-10-05 | Mitsubishi Electric Corp | 撮像装置 |
JP2008129439A (ja) * | 2006-11-22 | 2008-06-05 | Fujifilm Corp | 複眼撮像装置 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11311819A (ja) * | 1998-04-28 | 1999-11-09 | Olympus Optical Co Ltd | カメラの撮影レンズ |
JP3463612B2 (ja) * | 1999-01-21 | 2003-11-05 | 日本電気株式会社 | 画像入力方法、画像入力装置及び記録媒体 |
US6829011B1 (en) * | 1999-09-02 | 2004-12-07 | Olympus Optical Co., Ltd. | Electronic imaging device |
JP2003023553A (ja) * | 2001-07-06 | 2003-01-24 | Saibuaasu:Kk | 遠隔操作カメラおよび画像提供装置 |
JP2003143459A (ja) * | 2001-11-02 | 2003-05-16 | Canon Inc | 複眼撮像系およびこれを備えた装置 |
JP4635550B2 (ja) * | 2004-10-04 | 2011-02-23 | 株式会社ニコン | カメラ |
JP2008263251A (ja) * | 2005-08-05 | 2008-10-30 | Matsushita Electric Ind Co Ltd | 監視カメラ装置 |
JP4752652B2 (ja) * | 2006-07-14 | 2011-08-17 | カシオ計算機株式会社 | 撮像装置、撮像画像表示方法、及び、プログラム |
US20080247745A1 (en) * | 2007-04-04 | 2008-10-09 | Nilsson Rene | Camera assembly with zoom imaging and method |
CN101498821B (zh) * | 2008-02-02 | 2010-12-22 | 华晶科技股份有限公司 | 镜头模组以及镜头模组的焦距调整方法 |
WO2009098877A1 (ja) * | 2008-02-06 | 2009-08-13 | Panasonic Corporation | 画像処理装置、及び画像処理方法 |
US8134589B2 (en) * | 2008-07-17 | 2012-03-13 | Eastman Kodak Company | Zoom by multiple image capture |
US9621825B2 (en) * | 2008-11-25 | 2017-04-11 | Capsovision Inc | Camera system with multiple pixel arrays on a chip |
FR2940720B1 (fr) * | 2008-12-31 | 2011-03-18 | St Microelectronics Sa | Dispositif de saisie d'images comprenant des moyens de correction de mise au point |
CN101833157A (zh) * | 2009-03-13 | 2010-09-15 | 鸿富锦精密工业(深圳)有限公司 | 相机模组 |
US8553106B2 (en) * | 2009-05-04 | 2013-10-08 | Digitaloptics Corporation | Dual lens digital zoom |
US20100328471A1 (en) * | 2009-06-24 | 2010-12-30 | Justin Boland | Wearable Multi-Channel Camera |
JP2011138047A (ja) * | 2009-12-28 | 2011-07-14 | Olympus Imaging Corp | 光路反射型のズームレンズを備えた撮像装置 |
WO2012089895A1 (en) * | 2010-12-31 | 2012-07-05 | Multitouch Oy | Rolling shutter compensation in camera array |
US9172856B2 (en) * | 2011-03-29 | 2015-10-27 | Microsoft Technology Licensing, Llc | Folded imaging path camera |
US9270875B2 (en) * | 2011-07-20 | 2016-02-23 | Broadcom Corporation | Dual image capture processing |
JP2013143753A (ja) * | 2012-01-12 | 2013-07-22 | Olympus Corp | 撮像装置 |
KR20140113923A (ko) * | 2012-01-16 | 2014-09-25 | 소니 주식회사 | 고체 촬상 소자 및 카메라 시스템 |
US20130258044A1 (en) * | 2012-03-30 | 2013-10-03 | Zetta Research And Development Llc - Forc Series | Multi-lens camera |
JP5435104B2 (ja) * | 2012-10-26 | 2014-03-05 | ソニー株式会社 | 情報処理装置、表示装置および情報処理装置の制御方法 |
WO2015009237A1 (en) * | 2013-07-17 | 2015-01-22 | Heptagon Micro Optics Pte. Ltd. | Camera module including a non-circular lens |
-
2014
- 2014-10-17 CN CN201480067893.XA patent/CN105830424B/zh active Active
- 2014-10-17 KR KR1020167012992A patent/KR20160075583A/ko not_active Application Discontinuation
- 2014-10-17 EP EP14854162.6A patent/EP3058714A4/en not_active Withdrawn
- 2014-10-17 JP JP2016524463A patent/JP2016540417A/ja active Pending
- 2014-10-17 EP EP14853227.8A patent/EP3058713B1/en active Active
- 2014-10-17 CN CN201480068390.4A patent/CN105830425A/zh active Pending
- 2014-10-17 CN CN201480068389.1A patent/CN105829945B/zh active Active
- 2014-10-17 EP EP14854126.1A patent/EP3058416B1/en active Active
- 2014-10-17 JP JP2016524434A patent/JP2016541151A/ja active Pending
- 2014-10-17 JP JP2016524532A patent/JP2016540418A/ja not_active Withdrawn
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006267391A (ja) * | 2005-03-23 | 2006-10-05 | Mitsubishi Electric Corp | 撮像装置 |
JP2008129439A (ja) * | 2006-11-22 | 2008-06-05 | Fujifilm Corp | 複眼撮像装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020523625A (ja) * | 2017-05-23 | 2020-08-06 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | 複数開口画像化装置、画像化システム、および複数開口画像化装置を提供する方法 |
US11106047B2 (en) | 2017-05-23 | 2021-08-31 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Multi-aperture imaging device, imaging system and method for providing a multi-aperture imaging device |
JP7087000B2 (ja) | 2017-05-23 | 2022-06-20 | フラウンホッファー-ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | マルチ開口撮像装置、画像化システム、およびマルチ開口撮像装置を提供する方法 |
JP2019102889A (ja) * | 2017-11-29 | 2019-06-24 | 株式会社デンソー | カメラシステム |
Also Published As
Publication number | Publication date |
---|---|
JP2016540418A (ja) | 2016-12-22 |
EP3058416A4 (en) | 2017-06-07 |
CN105830424B (zh) | 2018-12-11 |
EP3058714A4 (en) | 2017-11-22 |
CN105829945B (zh) | 2019-04-09 |
CN105830425A (zh) | 2016-08-03 |
EP3058714A1 (en) | 2016-08-24 |
EP3058713A1 (en) | 2016-08-24 |
EP3058713A4 (en) | 2017-11-15 |
CN105830424A (zh) | 2016-08-03 |
EP3058416B1 (en) | 2019-11-20 |
KR20160075583A (ko) | 2016-06-29 |
EP3058713B1 (en) | 2021-01-27 |
JP2016540417A (ja) | 2016-12-22 |
CN105829945A (zh) | 2016-08-03 |
EP3058416A1 (en) | 2016-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11262558B2 (en) | Methods and apparatus for implementing and/or using a camera device | |
US10009530B2 (en) | Methods and apparatus for synchronized image capture using camera modules with different focal lengths | |
EP3058416B1 (en) | Methods and apparatus for implementing and/or using a camera device | |
WO2015058153A1 (en) | Methods and apparatus for implementing and/or using a camera device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171016 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180910 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181009 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190507 |