JP2015521411A - πフィルタ群を用いてパターン化されたカメラモジュール - Google Patents

Abstract

本発明の実施形態によるシステムおよび方法は、πフィルタ群を用いて、アレイカメラモジュールをパターン化する。一実施形態では、アレイカメラモジュールは、複数の焦点面を含むＭ?Ｎイメージャアレイであって、各焦点面がピクセルのアレイを含む、Ｍ?Ｎイメージャアレイと、レンズスタックのＭ?Ｎ光学系アレイであって。各レンズスタックが焦点面に対応し、各レンズスタックがその対応する焦点面上にシーンの画像を形成する、Ｍ?Ｎ光学系アレイとを含み、レンズスタックおよび焦点面の各対は、したがって、カメラを規定し、カメラのＭ?Ｎアレイ内の少なくとも１つの行は、少なくとも１つの赤色カメラ、１つの緑色カメラ、および、１つの青色カメラを含み、カメラのＭ?Ｎアレイ内の少なくとも１つの列は、少なくとも１つの赤色カメラ、１つの緑色カメラ、および、１つの青色カメラを含む。

Description

（発明の分野）
本発明は、概して、デジタルカメラに関し、より具体的には、アレイカメラのカメラモジュール内で利用されるフィルタパターンに関する。

（発明の背景）
従来のデジタルカメラは、典型的には、レンズスタックを伴う、単一焦点面を含む。焦点面は、感光ピクセルのアレイを含み、センサの一部である。レンズスタックは、焦点面内の感光ピクセルのアレイ上にシーンの画像を形成する、光学チャネルを作成する。各感光ピクセルは、ピクセル上に入射する光に基づいて、画像データを生成することができる。

従来のカラーデジタルカメラでは、カラーフィルタのアレイは、典型的には、カメラのセンサの焦点面内のピクセルに適用される。典型的カラーフィルタは、赤色、緑色、および青色カラーフィルタを含むことができる。デモザイキングアルゴリズムは、具体的カラーフィルタパターンを前提として、焦点面によって捕捉された画像データの各ピクセルに対して、一式の完全赤色、緑色、および青色値を補間するために使用されることができる。カメラカラーフィルタパターンの一実施例は、Ｂａｙｅｒフィルタパターンである。Ｂａｙｅｒフィルタパターンは、焦点面内のピクセルの５０％が緑色光を捕捉し、２５％が赤色光を捕捉し、２５％が青色光を捕捉する結果をもたらす、赤色、緑色、および青色カラーフィルタの具体的パターンを説明する。

従来の撮影術は、両眼結像を理解することによって改良され得る。両眼でのシーンの視認は、各眼の異なる視野のため、２つの若干異なるシーンの画像を作成する。両眼像差（または、視差）と称される、これらの差異は、視覚的シーンの奥行を計算するために使用され得る情報を提供し、奥行知覚の主要な手段を提供する。立体奥行知覚と関連付けられた奥行の印象もまた、観察者が、移動している間、片方のみの眼でシーンを視認するとき等、他の条件下で得られ得る。観察された視差は、シーン内の物体に対する奥行情報を得るために利用されることができる。機械視覚における類似原理も、奥行情報を収集するために使用されることができる。

例えば、ある距離だけ分離された２つのカメラが、同一のシーンの写真を撮影することができ、捕捉された画像は、２つ以上の画像のピクセルをシフトさせ、整合する画像の部分を見つけることによって、比較されることができる。異なるカメラビュー間の物体シフトの量は、像差と呼ばれ、物体の距離に反比例する。複数の画像内の物体のシフトを検出する、像差検索が、カメラ間の基線距離および伴われるカメラの焦点距離に基づいて、物体までの距離を計算するために使用されることができる。２つ以上のカメラを使用して、立体３次元画像を生成するアプローチは、一般に、マルチビューステレオと称される。

複数のシーンの画像が、異なる観点から捕捉され、シーンが、前景物体を含むとき、画像のそれぞれ内の前景物体の場所における像差は、前景物体の背後の形式の一部が、画像の全部ではないが、一部において可視となる結果をもたらす。他の視点からのシーンの捕捉された画像内で不可視であるシーンの部分に関する画像データを捕捉するピクセルは、オクルードされたピクセルと称され得る。

図１Ａおよび１Ｂは、視差およびオクルージョンの原理を図示する。図１Ａは、第１の視野を有する、第１のカメラによって捕捉された画像１００を描写する一方、図１Ｂは、第２の視野を有する、第２の隣接するカメラによって捕捉された画像１０２を描写する。第１のカメラによって捕捉された画像１００では、前景物体１０４は、若干、背景物体１０６の右に現れる。しかしながら、第２のカメラによって捕捉された画像１０２では、前景物体１０４は、背景物体１０６の左手側にシフトされて現れる。２つのカメラの異なる視野によって導入される像差は、第１のカメラによって捕捉される画像内の前景物体１０４の場所（ゴーストライン１０８によって、第２のカメラによって捕捉される画像内に示される）と第２のカメラによって捕捉される画像内のその場所との間の差異に等しい。２つのカメラから前景物体までの距離は、２つの捕捉された画像内の前景物体の像差を決定することによって得られることができ、これは、米国特許出願第６１／７８０，９０６号「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｐａｒａｌｌａｘ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｃｏｒｒｅｃｔｉｏｎ ｉｎ Ｉｍａｇｅｓ Ｃａｐｔｕｒｅｄ Ｕｓｉｎｇ Ａｒｒａｙ Ｃａｍｅｒａｓ」に説明されている。米国特許出願第６１／７８０，９０６号の開示は、参照することによって、全体として本明細書に組み込まれる。

加えて、図１Ａおよび１Ｂを参照すると、その視野が図１Ｂに描写される、第２のカメラの視点が、基準視点として選択されるとき、画像１０２内のゴーストライン１０８の中に含まれるピクセルは、オクルードされたピクセル（すなわち、第２のカメラによって捕捉される画像１０２内では可視であって、第１のカメラによって捕捉される画像１００内では不可視である、シーンの一部からのピクセル捕捉画像データ）と見なされ得る。第２の画像１０２では、前景物体１０４のピクセルは、画像１０２内のゴーストライン１０８の中に含まれるピクセルをオクルードする、シーンの部分を捕捉するため、オクルーディングピクセルと称され得る。第２の画像１０２内のゴーストライン１０８の中に含まれるピクセルのオクルージョンのため、カメラからゴーストライン１０８の中で可視のシーンの部分までの距離は、図１Ａに示される画像１００内に対応するピクセルがないため、２つの画像から決定されることができない。

（発明の概要）
本発明の実施形態によるシステムおよび方法は、πフィルタ群を用いて、パターンアレイカメラモジュールを含む。一実施形態では、アレイカメラモジュールは、複数の焦点面を含み、各焦点面が、感光ピクセルのアレイを含む、Ｍ×Ｎイメージャアレイと、各レンズスタックが焦点面に対応し、各レンズスタックがその対応する焦点面上にシーンの画像を形成する、レンズスタックのＭ×Ｎ光学系アレイとを含み、レンズスタックおよびその対応する焦点面の各対は、それによって、カメラを規定し、カメラのＭ×Ｎアレイ内の少なくとも１つの行は、少なくとも１つの赤色カラーカメラ、少なくとも１つの緑色カラーカメラ、および少なくとも１つの青色カラーカメラを含み、カメラのＭ×Ｎアレイ内の少なくとも１つの列は、少なくとも１つの赤色カラーカメラ、少なくとも１つの緑色カラーカメラ、および少なくとも１つの青色カラーカメラを含む。

別の実施形態では、ＭおよびＮはそれぞれ、２より大きく、ＭおよびＮのうちの少なくとも１つは、偶数であって、カラーフィルタは、アレイカメラモジュールが、カメラの３×３アレイの中心における基準カメラと、カメラの３×３アレイの両側に位置する２つの赤色カラーカメラと、カメラの３×３アレイの両側に位置する２つの青色カラーカメラと、基準カメラを囲む４つの緑色カラーカメラとを含む、カメラの３×３アレイを含む、少なくとも１つのπフィルタ群を用いて、パターン化されるように、アレイカメラモジュール内のカメラの中に実装される。

さらに別の実施形態では、基準カメラを囲む４つの緑色カラーカメラはそれぞれ、カメラの３×３アレイの角位置に配置される。

なおも別の実施形態では、Ｍは、４であって、Ｎは、４であって、４×４アレイカメラモジュールのカメラの第１の行は、緑色カラーカメラ、青色カラーカメラ、緑色カラーカメラ、および赤色カラーカメラをその順序通り含み、４×４アレイカメラモジュールのカメラの第２の行は、赤色カラーカメラ、緑色カラーカメラ、赤色カラーカメラ、および緑色カラーカメラをその順序通り含み、４×４アレイカメラモジュールのカメラの第３の行は、緑色カラーカメラ、青色カラーカメラ、緑色カラーカメラ、および青色カラーカメラをその順序通り含み、４×４アレイカメラモジュールのカメラの第４の行は、青色カラーカメラ、緑色カラーカメラ、赤色カラーカメラ、および緑色カラーカメラをその順序通り含む。

なおもさらなる実施形態では、Ｍは、４であって、Ｎは、４であって、４×４アレイカメラモジュールのカメラの第１の行は、赤色カラーカメラ、緑色カラーカメラ、青色カラーカメラ、および緑色カラーカメラをその順序通り含み、４×４アレイカメラモジュールのカメラの第２の行は、緑色カラーカメラ、赤色カラーカメラ、緑色カラーカメラ、および赤色カラーカメラをその順序通り含み、４×４アレイカメラモジュールのカメラの第３の行は、青色カラーカメラ、緑色カラーカメラ、青色カラーカメラ、および緑色カラーカメラをその順序通り含み、４×４アレイカメラモジュールのカメラの第４の行は、緑色カラーカメラ、赤色カラーカメラ、緑色カラーカメラ、および青色カラーカメラをその順序通り含む。

なおも別の実施形態では、基準カメラは、緑色カラーカメラである。

なおもさらに別の実施形態では、基準カメラは、Ｂａｙｅｒフィルタを組み込むカメラ、赤外光を捕捉するように構成されるカメラ、および紫外光を捕捉するように構成されるカメラのうちの１つである。

なおもさらなる実施形態では、２つの赤色カラーカメラはそれぞれ、カメラの３×３アレイの角位置に位置し、および２つの青色カラーカメラはそれぞれ、カメラの３×３アレイの角位置に位置する。

別の実施形態では、少なくとも１つのカラーフィルタが、イメージャアレイ上に実装される。

さらなる実施形態では、少なくとも１つのカラーフィルタが、レンズスタック上に実装される。

別の実施形態では、３×３アレイカメラモジュールは、焦点面の３×３配列を含み、各焦点面が、感光ピクセルのアレイを含む、３×３イメージャアレイと、レンズスタックの３×３光学系アレイとを含み、各レンズスタックが焦点面に対応し、各レンズスタックがその対応する焦点面上にシーンの画像を形成し、レンズスタックおよびその対応する焦点面の各対は、それによって、カメラを規定し、カメラの３×３アレイは、カメラの３×３アレイの中心における基準カメラと、カメラの３×３アレイの両側に位置する２つの赤色カラーカメラと、カメラの３×３アレイの両側に位置する２つの青色カラーカメラと、それぞれ、カメラの３×３アレイの角位置に位置する、４つの緑色カラーカメラとを含み、カラーカメラはそれぞれ、カラーフィルタを使用して達成される。

さらなる実施形態では、少なくとも１つのカラーフィルタが、イメージャアレイ上に実装され、カラーカメラを達成する。

なおもさらなる実施形態では、少なくとも１つのカラーフィルタが、レンズスタック内に実装され、カラーカメラを達成する。

さらに別の実施形態では、基準カメラは、緑色カラーカメラである。

なおもさらなる実施形態では、基準カメラは、Ｂａｙｅｒフィルタを組み込むカメラ、赤外光を捕捉するように構成されるカメラ、および紫外光を捕捉するように構成されるカメラのうちの１つである。

別の実施形態では、少なくとも１つのπフィルタ群を用いて、アレイカメラモジュールをパターン化する方法は、各焦点面が感光ピクセルのアレイを備える、Ｍ×Ｎ焦点面のイメージャアレイが、何らかの欠陥焦点面を含むかどうかを評価するステップと、Ｍ×Ｎ焦点面のイメージャアレイと、各レンズスタックが焦点面に対応する、レンズスタックのＭ×Ｎ光学系アレイとを使用して、Ｍ×Ｎアレイカメラモジュールを組み立てるステップであって、Ｍ×Ｎアレイカメラモジュールは、各レンズスタックおよびその対応する焦点面が、カメラを規定し、アレイカメラモジュールが、カメラの３×３アレイの中心における基準カメラと、カメラの３×３アレイの両側に位置する２つの赤色カラーカメラと、カメラの３×３アレイの両側に位置する２つの青色カラーカメラと、基準カメラを囲む４つの緑色カラーカメラとを含む、カメラの３×３アレイを含む、少なくとも１つのπフィルタ群を用いて、パターン化されるよう、カラーフィルタが、アレイカメラモジュール内に実装されるように組み立てられ、アレイカメラモジュールが、欠陥焦点面を含むカメラが緑色カラーカメラであるように、少なくとも１つのπフィルタ群を用いて、パターン化される、ステップとを含む。

さらなる実施形態では、少なくとも１つのカラーフィルタが、イメージャアレイ上に実装される。

なおもさらなる実施形態では、少なくとも１つのカラーフィルタが、レンズスタック内に実装される。

なおもさらなる実施形態では、基準カメラは、緑色カラーカメラである。

なおもさらに別の実施形態では、基準カメラは、Ｂａｙｅｒフィルタを組み込むカメラ、赤外光を捕捉するように構成されるカメラ、および紫外光を捕捉するように構成されるカメラのうちの１つである。

別の実施形態では、アレイカメラモジュールは、Ｍ×Ｎ焦点面を備え、各焦点面が、ピクセルの複数の列もまた形成する、ピクセルの複数の行を備え、各活動焦点面が、別の焦点面からのピクセルを含まない、イメージャアレイの領域内に含まれる、イメージャアレイと、画像が、レンズスタックの光学系アレイ内の個別のレンズスタックによって、各焦点面上に形成される、Ｍ×Ｎレンズスタックの光学系アレイとを含み、イメージャアレイおよびレンズスタックの光学系アレイは、独立して、シーンの画像を捕捉するように構成される、カメラのＭ×Ｎアレイを形成し、カメラのＭ×Ｎアレイ内の少なくとも１つの行は、少なくとも１つの赤色カラーカメラ、少なくとも１つの緑色カラーカメラ、および少なくとも１つの青色カラーカメラを備え、カメラのＭ×Ｎアレイ内の少なくとも１つの列は、少なくとも１つの赤色カラーカメラ、少なくとも１つの緑色カラーカメラ、および少なくとも１つの青色カラーカメラを備える。

さらに別の実施形態では、赤色カラーカメラは、６２０ｎｍ〜７５０ｎｍの範囲内の波長を有する電磁波を含む、画像データを捕捉するカメラであって、緑色カラーカメラは、４９５ｎｍ〜５７０ｎｍの範囲内の波長を有する電磁波を含む、画像データを捕捉するカメラであって、青色カラーカメラは、４５０ｎｍ〜４９５ｎｍの範囲内の波長を有する電磁波を含む、画像データを捕捉するカメラである。

なおも別の実施形態では、アレイカメラモジュール内の各カメラの光学系は、他のカメラの視野に対する各カメラの視野の各シフトが、シーンの一意のサブピクセルシフトビューを含むように構成されるよう、各カメラが、他のカメラの視野に対してシフトされたシーンの視野を有するように構成される。

さらなる実施形態では、ＭおよびＮはそれぞれ、２より大きく、ＭおよびＮのうちの少なくとも１つは、偶数であって、カラーフィルタは、アレイカメラモジュールが、カメラの３×３アレイの中心における基準カメラと、カメラの３×３アレイの両側に位置する２つの赤色カラーカメラと、カメラの３×３アレイの両側に位置する２つの青色カラーカメラと、基準カメラを囲む４つの緑色カラーカメラとを含む、カメラの３×３アレイを含む、少なくとも１つのπフィルタ群を用いて、パターン化されるように、アレイカメラモジュール内のカメラの中に実装される。

なおもさらなる実施形態では、基準カメラを囲む４つの緑色カラーカメラはそれぞれ、カメラの３×３アレイの角位置に配置される。

なおもさらなる実施形態では、Ｍは、４であって、Ｎは、４であって、４×４アレイカメラモジュールのカメラの第１の行は、緑色カラーカメラ、青色カラーカメラ、緑色カラーカメラ、および赤色カラーカメラをその順序通り含み、４×４アレイカメラモジュールのカメラの第２の行は、赤色カラーカメラ、緑色カラーカメラ、赤色カラーカメラ、および緑色カラーカメラをその順序通り含み、４×４アレイカメラモジュールのカメラの第３の行は、緑色カラーカメラ、青色カラーカメラ、緑色カラーカメラ、および青色カラーカメラをその順序通り含み、４×４アレイカメラモジュールのカメラの第４の行は、青色カラーカメラ、緑色カラーカメラ、赤色カラーカメラ、および緑色カラーカメラをその順序通り含む。

なおもさらなる実施形態では、Ｍは、４であって、Ｎは、４であって、４×４アレイカメラモジュールのカメラの第１の行は、赤色カラーカメラ、緑色カラーカメラ、青色カラーカメラ、および緑色カラーカメラをその順序通り含み、４×４アレイカメラモジュールのカメラの第２の行は、緑色カラーカメラ、赤色カラーカメラ、緑色カラーカメラ、および赤色カラーカメラをその順序通り含み、４×４アレイカメラモジュールのカメラの第３の行は、青色カラーカメラ、緑色カラーカメラ、青色カラーカメラ、および緑色カラーカメラをその順序通り含み、４×４アレイカメラモジュールのカメラの第４の行は、緑色カラーカメラ、赤色カラーカメラ、緑色カラーカメラ、および青色カラーカメラをその順序通り含む。

別の実施形態では、少なくとも１つのπフィルタ群内の基準カメラは、緑色カラーカメラである。

さらなる実施形態では、少なくとも１つのπフィルタ群内の基準カメラは、Ｂａｙｅｒフィルタを組み込むカメラである。

なおもさらなる実施形態では、基準カメラは、Ｂａｙｅｒフィルタを組み込むカメラ、赤外光を捕捉するように構成されるカメラ、および紫外光を捕捉するように構成されるカメラのうちの１つである。

さらに別の実施形態では、２つの赤色カラーカメラはそれぞれ、カメラの３×３アレイの角位置に位置し、２つの青色カラーカメラはそれぞれ、カメラの３×３アレイの角位置に位置する。

なおもさらに別の実施形態では、少なくとも１つのカラーフィルタが、イメージャアレイ上に実装される。

なおもさらなる実施形態では、少なくとも１つのカラーフィルタが、レンズスタック上に実装される。

別の実施形態では、３×３アレイカメラモジュールは、焦点面の３×３配列を含み、各焦点面が、ピクセルの複数の列もまた形成する、ピクセルの複数の行を備え、各活動焦点面が、別の焦点面からのピクセルを含まない、イメージャアレイの領域内に含まれる、３×３イメージャアレイと、画像が、レンズスタックの光学系アレイ内の個別のレンズスタックによって、各焦点面上に形成される、レンズスタックの３×３光学系アレイとを含み、イメージャアレイおよびレンズスタックの光学系アレイは、独立して、シーンの画像を捕捉するように構成される、カメラの３×３アレイを形成し、カメラの３×３アレイは、カメラの３×３アレイの中心における基準カメラと、カメラの３×３アレイの両側に位置する２つの赤色カラーカメラと、カメラの３×３アレイの両側に位置する２つの青色カラーカメラと、それぞれ、カメラの３×３アレイの角位置に位置する、４つの緑色カラーカメラとを含み、カラーカメラはそれぞれ、カラーフィルタを使用して達成される。

さらに別の実施形態では、少なくとも１つのカラーフィルタが、イメージャアレイ上に実装され、カラーカメラを達成する。

なおもさらに別の実施形態では、少なくとも１つのカラーフィルタが、レンズスタック内に実装され、カラーカメラを達成する。

さらなる実施形態では、基準カメラは、緑色カラーカメラである。

なおもさらなる実施形態では、基準カメラは、Ｂａｙｅｒフィルタを組み込むカメラ、赤外光を捕捉するように構成されるカメラ、および紫外光を捕捉するように構成されるカメラのうちの１つである。

別の実施形態では、アレイカメラモジュールは、Ｍ×Ｎ焦点面を備え、各焦点面が、ピクセルの複数の列もまた形成する、ピクセルの複数の行を備え、各活動焦点面が、別の焦点面からのピクセルを含まない、イメージャアレイの領域内に含まれる、イメージャアレイと、画像が、レンズスタックの光学系アレイ内の個別のレンズスタックによって、各焦点面上に形成される、Ｍ×Ｎレンズスタックの光学系アレイとを含み、イメージャアレイおよびレンズスタックの光学系アレイは、独立して、シーンの画像を捕捉するように構成される、カメラのＭ×Ｎアレイを形成し、カメラのＭ×Ｎアレイ内の少なくともいずれかの１行または１列は、少なくとも１つの赤色カラーカメラ、少なくとも１つの緑色カラーカメラ、および少なくとも１つの青色カラーカメラを備える。

さらに別の実施形態では、Ｍは、３であって、Ｎは、３であって、３×３アレイカメラモジュールのカメラの第１の行は、青色カラーカメラ、緑色カラーカメラ、および緑色カラーカメラをその順序通り含み、３×３アレイカメラモジュールのカメラの第２の行は、赤色カラーカメラ、緑色カラーカメラ、および赤色カラーカメラをその順序通り含み、３×３アレイカメラモジュールのカメラの第３の行は、緑色カラーカメラ、緑色カラーカメラ、および青色カラーカメラをその順序通り含む。

なおもさらに別の実施形態では、Ｍは、３であって、Ｎは、３であって、３×３アレイカメラモジュールのカメラの第１の行は、赤色カラーカメラ、緑色カラーカメラ、および緑色カラーカメラをその順序通り含み、３×３アレイカメラモジュールのカメラの第２の行は、青色カラーカメラ、緑色カラーカメラ、および青色カラーカメラをその順序通り含み、３×３アレイカメラモジュールのカメラの第３の行は、緑色カラーカメラ、緑色カラーカメラ、および赤色カラーカメラをその順序通り含む。

別の実施形態では、アレイカメラは、Ｍ×Ｎ焦点面を備え、各焦点面が、ピクセルの複数の列もまた形成する、ピクセルの複数の行を備え、各活動焦点面は、別の焦点面からのピクセルを含まない、イメージャアレイの領域内に含まれる、イメージャアレイと、画像が、レンズスタックの光学系アレイ内の個別のレンズスタックによって、各焦点面上に形成される、Ｍ×Ｎレンズスタックの光学系アレイとを含み、イメージャアレイおよびレンズスタックの光学系アレイは、独立して、シーンの画像を捕捉するように構成される、カメラのＭ×Ｎアレイを形成し、カメラのＭ×Ｎアレイ内の少なくとも１つの行は、少なくとも１つの赤色カラーカメラ、少なくとも１つの緑色カラーカメラ、および少なくとも１つの青色カラーカメラを備え、カメラのＭ×Ｎアレイ内の少なくとも１つの列は、少なくとも１つの赤色カラーカメラ、少なくとも１つの緑色カラーカメラ、および少なくとも１つの青色カラーカメラを備える、アレイカメラモジュールと、画像処理パイプラインを含み、画像処理パイプラインは、視差検出モジュールと、超解像モジュールとを含み、視差検出モジュールは、カメラモジュールから、シーンの基準低解像度画像と、シーンの少なくとも１つの代替ビュー画像とを得るように構成され、視差検出モジュールは、基準画像および少なくとも１つの代替ビュー画像を比較し、基準画像に対する奥行マップおよびオクルージョンマップを決定するように構成され、超解像モジュールは、少なくとも基準画像、奥行マップ、オクルージョンマップ、および少なくとも１つの代替ビュー画像を使用して、高解像度画像を合成するように構成される、プロセッサとを含む。

図１Ａおよび１Ｂは、画像捕捉に関し、本発明の実施形態に従って対処され得る、視差およびオクルージョンの原理を図示する。 図２は、本発明のある実施形態による、カメラモジュールおよびプロセッサを伴う、アレイカメラを図示する。 図３は、本発明のある実施形態による、光学系アレイおよびイメージャアレイを伴う、カメラモジュールを図示する。 図４は、本発明のある実施形態による、画像処理パイプラインを図示する。 図５Ａは、本発明のある実施形態による、πフィルタ群を用いてパターン化された３×３カメラモジュールを概念的に図示し、赤色カメラは、水平に配列され、青色カメラは、垂直に配列される。 図５Ｂは、本発明のある実施形態による、πフィルタ群を用いてパターン化された３×３カメラモジュールを概念的に図示し、赤色カメラは、垂直に配列され、青色カメラは、水平に配列される。 図５Ｃは、本発明のある実施形態による、πフィルタ群を用いてパターン化された３×３カメラモジュールを概念的に図示し、赤色カメラおよび青色カメラは、３×３カメラモジュールの角位置に配列される。 図５Ｄおよび５Ｅは、πフィルタ群を用いてパターン化されたいくつかの３×３カメラモジュールを概念的に図示する。 図５Ｄおよび５Ｅは、πフィルタ群を用いてパターン化されたいくつかの３×３カメラモジュールを概念的に図示する。 図６は、本発明のある実施形態による、２つのπフィルタ群を用いてパターン化された４×４カメラモジュールを概念的に図示する。 図７は、本発明のある実施形態による、それぞれ基準カメラとして作用し得る２つのカメラを伴う、２つのπフィルタ群を用いてパターン化された４×４カメラモジュールを概念的に図示する。 図８Ａは、本発明のある実施形態による、何らかの欠陥焦点面の影響を低減させる、欠陥焦点面に対してイメージャアレイを試験し、カメラモジュールを作成するためのプロセスを図示する。 図８Ｂは、２つのπフィルタ群を用いてパターン化された４×４カメラモジュールを概念的に図示し、故障焦点面が、可能性として考えられる基準カメラの周囲の赤色有効範囲の損失を生じさせる。 図８Ｃは、本発明のある実施形態による、図６Ｂに対してπフィルタ群の異なる配列を用いてパターン化された４×４カメラモジュールを概念的に図示し、故障焦点面は、可能性として考えられる基準カメラの周囲に赤色有効範囲の損失をもたらさない。 図９Ａは、本発明のある実施形態による、πフィルタ群を用いてパターン化された４×４カメラモジュール上で３Ｄモードで動作するアレイカメラのための左仮想視点を産生するカメラのサブセットの使用を概念的に図示する。 図９Ｂは、本発明のある実施形態による、πフィルタ群を用いてパターン化された４×４カメラモジュール上で３Ｄモードで動作するアレイカメラのための右仮想視点を産生するカメラのサブセットの使用を概念的に図示する。 図９Ｃおよび９Ｄは、πフィルタ群を採用し、カメラアレイ内の基準カメラの視点に対応する視点を用いて、立体画像を捕捉する、アレイカメラモジュールを概念的に図示する。 図９Ｃおよび９Ｄは、πフィルタ群を採用し、カメラアレイ内の基準カメラの視点に対応する視点を用いて、立体画像を捕捉する、アレイカメラモジュールを概念的に図示する。 図１０は、本発明のある実施形態による、πフィルタ群を用いてパターン化された４×４カメラモジュールを概念的に図示し、９つのカメラが、ビデオのフレームを合成するために使用される、画像データを捕捉するために利用される。 図１１は、本発明の実施形態による、πフィルタ群を含む、カラーフィルタパターンを生成するためのプロセスを図示する、流れ図である。 図１２Ａ−１２Ｄは、本発明の実施形態による、カメラの５×５アレイのためのπフィルタ群を含む、カラーフィルタパターンを生成するためのプロセスを図示する。 図１３Ａ−１３Ｄは、本発明の実施形態による、カメラの４×５アレイのためのπフィルタ群を含む、カラーフィルタパターンを生成するためのプロセスを図示する。 図１４は、本発明の実施形態による、πフィルタ群を使用してパターン化されたカメラの７×７アレイを図示する。

（詳細な説明）
ここで、図面を参照すると、本発明の実施形態による、πフィルタ群を用いて、アレイカメラをパターン化するためのシステムおよび方法が、図示される。多くの実施形態では、アレイカメラのカメラモジュールは、１つ以上のπフィルタ群を用いて、パターン化される。用語「パターン化された」とは、本明細書では、カメラがアレイカメラ内にカラーチャネルのパターンを形成するように、カメラモジュール内の個々のカメラの中の具体的カラーフィルタの使用を指す。用語「カラーチャネル」または「カラーカメラ」は、スペクトルの具体的部分内の画像データを捕捉するカメラを指すために使用され得、必ずしも、具体的色に関する画像データに限定されない。例えば、「赤色カラーカメラ」は、ヒトが、従来、赤色として知覚する、電磁波と一致する（すなわち、電磁スペクトル内の）画像データを捕捉するカメラであって、「青色カラーカメラ」、「緑色カラーカメラ」等も同様である。言い換えると、赤色カラーカメラは、約６２０ｎｍ〜７５０ｎｍの波長を有する電磁波に対応する画像データを捕捉し得、緑色カラーカメラは、約４９５ｎｍ〜約５７０ｎｍの波長を有する電磁波に対応する画像データを捕捉し得、青色カラーカメラは、約４５０ｎｍ〜４９５ｎｍの波長を有する電磁波に対応する画像データを捕捉し得る。他の実施形態では、青色カラーカメラ、緑色カラーカメラ、および赤色カラーカメラによって捕捉される可視光スペクトルの部分は、具体的用途の要件に依存し得る。用語「Ｂａｙｅｒカメラ」は、画像平面上でＢａｙｅｒフィルタパターンを使用して画像データを捕捉する、カメラを指すために使用され得る。多くの実施形態では、カラーチャネルは、赤外光、紫外光、拡張色、および具体的用途に適切な可視スペクトルの任意の他の部分を捕捉する、カメラを含むことができる。用語「πフィルタ群」は、中心カメラと、各カラーチャネル内のオクルージョンゾーンを低減させるために、中心カメラの周囲に分布されたカラーカメラとを含む、カメラの３×３群を指す。πフィルタ群の中心カメラは、イメージャアレイによって捕捉される画像データを使用して画像を合成するとき、基準カメラとして使用されることができる。カメラは、その視点が合成された画像の視点として使用されるとき、基準カメラである。πフィルタ群の中心カメラは、中心カメラが基準カメラとして使用されるとき、各カラーカメラに対するオクルージョンゾーンを最小限にするように、カラーカメラによって囲まれる。オクルージョンゾーンは、視差の効果のため、基準カメラから空間的にオフセットされたカメラに不可視である前景物体を囲む面積である。

以下にさらに論じられるように、基準視点の周囲の相補的オクルージョンゾーン内の異なる視点からシーンの画像を捕捉するカメラの数を増加させることは、基準視点から可視のシーンの全ての部分もまた、他のカメラのうちの少なくとも１つの視点から可視となる可能性を増加させる。アレイカメラが、異なるカメラを使用して、異なる波長の光（例えば、ＲＧＢ）を捕捉するとき、基準視点を囲む象限内の各波長の光を捕捉する、少なくとも１つのカメラを分布させることは、基準視点から可視のシーンの一部が、具体的カラーチャネル内で捕捉された全ての他の画像の中でオクルードされるであろう可能性を有意に低下させることができる。いくつかの実施形態では、基準視点から可視のシーンの一部が、具体的カラーチャネル内で捕捉された全ての他の画像の中でオクルードされるであろう可能性の同様の低下は、基準カメラの両側に位置する同一のカラーチャネルの中の２つのカメラまたは基準カメラの周囲の３つのセクタ内に分布される各カラーチャネルの中の３つのカメラを使用して達成されることができる。他の実施形態では、カメラは、基準カメラの周囲の４つを上回るセクタ内に分布されることができる。

いくつかの実施形態では、πフィルタ群の中心カメラは、緑色カメラである一方、他の実施形態では、中心カメラは、スペクトルの任意の適切な部分から画像データを捕捉する。いくつかの実施形態では、中心カメラは、Ｂａｙｅｒカメラ（すなわち、Ｂａｙｅｒフィルタパターンを利用して、カラー画像を捕捉する、カメラ）である。多くの実施形態では、πフィルタ群は、各角における緑色カラーカメラと、中心緑色カメラの周囲に赤色および青色カメラの対称分布を伴う、基準カメラとしての役割を果たすことができる、中心における緑色カラーカメラと用いたカメラの３×３アレイである。対称分布は、赤色カラーカメラが、中心緑色基準カメラのすぐ上および下にあって、青色カラーカメラが、すぐ左および右にあるか、または青色カラーカメラが、緑色中心基準カメラのすぐ上および下にあって、赤色カラーカメラが、すぐ左および右にあるかのいずれかの配列を含むことができる。

カメラの３×３アレイを上回る寸法のカメラモジュールが、本発明の多くの実施形態に従って、πフィルタ群を用いてパターン化されることができる。多くの実施形態では、πフィルタ群を用いてカメラモジュールをパターン化することは、オクルージョンゾーンを低減させる、基準カメラの周囲のカメラの効率的分布を可能にする。いくつかの実施形態では、πフィルタ群のパターンは、カメラモジュール上の２つの重複するπフィルタ群が共通カメラを共有するように、相互と重複することができる。重複するπフィルタ群が、カメラモジュール内のカメラの全てに及ばないとき、πフィルタ群の一部ではないカメラは、基準カメラおよび／またはカメラアレイ内の基準カメラとして作用することができる複数のカメラを囲む、所定の数のセクタのそれぞれ内の各カラーチャネルの中にカメラを分布することによって、結果として生じるカメラアレイ内のオクルージョンゾーンを低減させるためのカラーが割り当てられることができる。

いくつかの実施形態では、カメラモジュールは、カメラモジュール内の少なくとも１つの行またはカメラモジュール内の少なくとも１つの列のいずれかが、少なくとも１つの赤色カラーカメラ、少なくとも１つの緑色カラーカメラ、および少なくとも１つの青色カラーカメラを含むように、πフィルタ群を用いてパターン化されることができる。多くの実施形態では、アレイカメラモジュールの少なくとも１つの行および少なくとも１つの列は、少なくとも１つの赤色カラーカメラ、少なくとも１つの緑色カラーカメラ、および少なくとも１つの青色カラーカメラを含む。これらの配列は、カメラ全体を通して異なる波長を捕捉するカメラの分布をもたらすため、オクルージョンの事例を低減させることができる。当然ながら、カメラの任意の好適な組み合わせが、本方式を使用して実装されることができる。例えば、いくつかの実施形態では、アレイカメラモジュールの少なくとも１つの行および少なくとも１つの列は、少なくとも１つのシアン色カラーカメラ、少なくとも１つのマゼンタ色カラーカメラ、および少なくとも１つの黄色カラーカメラ（例えば、ＣＭＹＫカラーモデルに対応するカラーカメラ）を含む。いくつかの実施形態では、アレイカメラモジュールの少なくとも１つの行および少なくとも１つの列は、少なくとも１つの赤色カラーカメラ、少なくとも１つの黄色カラーカメラ、および少なくとも１つの青色カラーカメラ（例えば、ＲＹＢカラーモデルに対応するカラーカメラ）を含む。

加えて、ＭおよびＮのうちの少なくとも１つが偶数である、Ｍ×Ｎ寸法のカメラモジュールもまた、本発明の多くの実施形態に従って、πフィルタ群を用いてパターン化されることができる。これらのカメラモジュールは、ＭおよびＮのうちの少なくとも１つが偶数である限り、構成カメラのいずれも、カメラアレイの中心と整合しない、ＭおよびＮが両方とも奇数である、Ｍ×Ｎカメラモジュールと異なる。逆に言えば、ＭおよびＮが両方とも奇数である場合、カメラアレイの中心に対応するカメラが存在することになる。例えば、単一πフィルタ群を採用する、３×３カメラモジュールでは、カメラアレイの中心に対応する、中心カメラが存在する。カメラアレイの中心と整合するカメラは、典型的には、カメラモジュールの基準カメラとして選択される。故に、ＭおよびＮの一方が偶数である場合、任意の好適なカメラが、カメラモジュールの基準カメラとして利用されてもよい。加えて、基準カメラを囲むカラーカメラは、均一に分布される必要はないが、基準カメラの観点から各カラーのオクルージョンゾーンを最小限または低減させるようにのみ分散される必要がある。捕捉された画像データからの画像を合成するためのπフィルタ群内の基準カメラの利用は、仮想視点からの同一の画像データを使用して、画像を合成するより有意に低計算集約的であり得る。

高品質画像またはビデオは、カメラモジュール内にカメラのサブセットを利用して、πフィルタ群を用いてパターン化されたカメラモジュールを含むアレイカメラによって捕捉されることができる（すなわち、カメラモジュール上の全カメラが利用されることを要求しない）。類似技法もまた、カメラモジュール内のカメラのサブセットによって捕捉された画像データを使用して、立体３Ｄ画像の効率的生成のために使用されることができる。

πフィルタ群を用いてカメラモジュールをパターン化することはまた、基準カメラが準最適に機能し始める場合、複数の可能性として考えられる基準カメラが利用され得るため、複数のπフィルタ群を伴うカメラモジュール内にロバストな耐故障性を可能にする。πフィルタ群を用いて、カメラモジュールをパターン化することはまた、焦点面アレイ上に及ぼす欠陥焦点面の影響が、単に、光学系アレイ内のカラーレンズスタックのパターンを変更することによって、最小限にされ得るため、カメラモジュールの製造における収率改善を可能にする。本発明の実施形態による、種々のπフィルタ群およびπフィルタ群を用いたカメラモジュールのパターン化は、以下にさらに論じられる。

（アレイカメラ）
多くの実施形態では、アレイカメラは、カメラモジュールと、プロセッサとを含む。本発明のある実施形態による、πフィルタ群を用いてパターン化されたカメラモジュールを伴うアレイカメラは、図２に図示される。アレイカメラ２００は、個々のカメラ２０４のアレイとして、カメラモジュール２０２を含み、各カメラ２０４は、対応するレンズスタックを伴う、焦点面を含む。個々のカメラのアレイは、図示される実施形態において利用される（限定されないが）正方形配列等、特定の配列における複数のカメラを指す。カメラモジュール２０２は、プロセッサ２０８に接続２０６される。図示される実施形態では、「Ｒ」と標識されたカメラ２０４は、赤色フィルタ処理カラーチャネルを伴う、赤色カメラを指し、「Ｇ」は、緑色フィルタ処理カラーチャネルを伴う、緑色カメラを指し、「Ｂ」は、青色フィルタ処理カラーチャネルを伴う、青色カメラを指す。具体的アレイカメラが、図２に図示されるが、種々の異なるアレイカメラ構成のいずれかが、本発明の多くの異なる実施形態に従って利用されることができる。

（アレイカメラモジュール）
本発明の実施形態による、アレイカメラモジュール（または、「カメラモジュール」）は、焦点面のアレイを含む、イメージャアレイまたはセンサと、イメージャアレイ内の各焦点面に対するレンズスタックを含む、光学系アレイとから構築されることができる。複数の焦点面を含むセンサは、Ｐａｉｎらの米国特許出願第１３／１０６，７９７号「Ａｒｃｈｉｔｅｃｔｕｒｅｓ ｆｏｒ Ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ Ａｒｒａｙ Ｃａｍｅｒａｓ」に論じられている（その開示は、参照することによって、全体として本明細書に組み込まれる）。光フィルタは、光学系アレイ内のレンズスタックによって形成された各光学チャネルの中で使用され、アレイカメラモジュール内の異なるカメラが、電磁スペクトルの異なる部分に対する画像データを捕捉することを可能にすることができる。

本発明のある実施形態によるカメラモジュールが、図３に図示される。カメラモジュール３００は、焦点面３４０のアレイを含む、イメージャアレイ３３０とともに、レンズスタック３２０のアレイを含む、対応する光学系アレイ３１０を含む。レンズスタックのアレイ内には、各レンズスタック３２０が、対応する焦点面３４０内の感光ピクセルのアレイ上にシーンの画像を形成する、光学チャネルを作成する。レンズスタック３２０および焦点面３４０の各対は、カメラモジュール内に単一カメラ２０４を形成し、それによって、画像が、レンズスタックの光学系アレイ内の個別のレンズスタックによって、各焦点面上に形成される。カメラ２０４の焦点面３４０内の各ピクセルは、カメラ２０４からプロセッサ２０８に送信され得る、画像データを生成する。多くの実施形態では、各光学チャネル内のレンズスタックは、各焦点面３４０のピクセルが、シーン内の同一の物体空間または領域をサンプリングするように構成される。いくつかの実施形態では、レンズスタックは、同一の物体空間をサンプリングするピクセルが、サブピクセルオフセットを用いてそれを行い、超解像プロセスの使用を通して、増加した解像度を復元するために利用され得る、サンプリングダイバーシティを提供するように構成される。例えば、各カメラモジュールの光学系は、カメラモジュール内の各カメラが、他のカメラの視野に対する各カメラの視野の各シフトが、シーンの一意のサブピクセルシフトビューを含むよう構成されるよう、カメラモジュール内の他のカメラの視野に対してシフトされたシーンの視野を有するように構成されることができる。

図示される実施形態では、焦点面は、５×５アレイに構成される。センサ上の各焦点面３４０は、シーンの画像を捕捉可能である。典型的には、各焦点面は、ピクセルの複数の列もまた形成する、ピクセルの複数の行を含み、各焦点面は、別の焦点面からのピクセルを含まないイメージャの領域内に含まれる。多くの実施形態では、各焦点面の画像データ捕捉および読み出しは、独立して、制御されることができる。言い換えると、イメージャアレイおよびレンズスタックの光学系アレイは、独立して、シーンの画像を捕捉するように構成されることができる、カメラのアレイを形成する。このように、（限定されないが）露光時間および焦点内のピクセルのアナログ利得を含む、画像捕捉設定は、独立して、画像捕捉設定が、（限定されないが）具体的カラーチャネルおよび／またはシーンのダイナミックレンジの具体的部分を含む要因に基づいて、調整されることを可能にするよう決定することができる。焦点面において利用されるセンサ要素は、限定されないが、従来のＣＩＳ（ＣＭＯＳ画像センサ）ピクセル、ＣＣＤ（電荷結合素子）ピクセル、高ダイナミックレンジセンサ要素、マルチスペクトルセンサ要素、および／または構造に入射する光を示す電気信号を生成するように構成される、任意の他の構造等、個々の光感知要素であることができる。多くの実施形態では、各焦点面のセンサ要素は、類似物理特性を有し、同一の光学チャネルおよびカラーフィルタ（存在する場合）を介して、光を受光する。他の実施形態では、センサ要素は、異なる特性を有し、多くの事例では、センサ要素の特性は、各センサ要素に適用されるカラーフィルタに関連する。

いくつかの実施形態では、個々のカメラ内のカラーフィルタは、πフィルタ群を用いて、カメラモジュールをパターン化するために使用されることができる。これらのカメラは、異なるカラーまたはスペクトルの具体的部分に対するデータを捕捉するために使用されることができる。カラーフィルタをカメラのピクセルに適用するのとは対照的に、本発明の多くの実施形態におけるカラーフィルタは、レンズスタック内に含まれることができる。例えば、緑色カラーカメラは、緑色光を光学チャネルを通して通過させる、緑色光フィルタを伴う、レンズスタックを含むことができる。多くの実施形態では、各焦点面内のピクセルは、同一であって、ピクセルによって捕捉される光情報は、各フィルタ平面に対する対応するレンズスタック内のカラーフィルタによって区別される。レンズスタック内にカラーフィルタを含む光学系アレイを伴う、カメラモジュールの具体的構造が、前述されたが、πフィルタ群を含むカメラモジュールは、（限定されないが）カラーフィルタが従来のカラーカメラのピクセルに適用される様式と同様に、カラーフィルタをカメラモジュールの焦点面のピクセルに適用することを含め、種々の方法で実装されることができる。いくつかの実施形態では、カメラモジュール内のカメラのうちの少なくとも１つは、その焦点面内のピクセルに適用される均一カラーフィルタを含むことができる。多くの実施形態では、Ｂａｙｅｒフィルタパターンが、カメラモジュール内のカメラのうちの１つのピクセルに適用される。いくつかの実施形態では、カメラモジュールは、カラーフィルタがレンズスタック内およびイメージャアレイのピクセル上の両方で利用されるように構築される。

いくつかの実施形態では、アレイカメラは、複数の焦点面から画像データを生成し、プロセッサを使用して、１つ以上のシーンの画像を合成する。ある実施形態では、センサアレイ内の単一焦点面によって捕捉される画像データは、プロセッサが、カメラモジュールによって捕捉された他の低解像度画像データと組み合わせて使用し、超解像処理を通して、より高い解像度画像を構築することができる、低解像度画像または「ＬＲ画像」を構成することができる（用語「低解像度」は、本明細書では、より高い解像度画像または超分解画像、代替として、「ＨＲ画像」または「ＳＲ画像」と対比されるためだけに使用される）。アレイカメラによって捕捉される低解像度画像を使用して、高解像度画像を合成するために使用され得る、超解像プロセスは、２０１０年１２月１４日出願の米国特許出願第１２／９６７，８０７号「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｓｙｎｔｈｅｓｉｚｉｎｇ Ｈｉｇｈ Ｒｅｓｏｌｕｔｉｏｎ Ｉｍａｇｅｓ Ｕｓｉｎｇ Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ Ｐｒｏｃｅｓｓｅｓ」（その開示は、参照することによって全体として本明細書に組み込まれる）に論じられる。

具体的イメージャアレイ構成が、前述されたが、可視光、可視光スペクトルの一部、近ＩＲ光、スペクトルの他の部分、および／またはスペクトルの異なる部分の組み合わせを感知するイメージャを含む、イメージャの種々の規則的または不規則的レイアウトのいずれかが、本発明の実施形態による、ＳＲプロセスにおいて使用するための情報の１つ以上のチャネルを提供する、ＬＲ画像を捕捉するために利用されることができる。捕捉されるＬＲ画像の処理は、以下にさらに論じられる。

（画像処理パイプライン）
本発明の実施形態による、ＳＲ画像を得るためのＬＲ画像の処理は、典型的には、アレイカメラの画像処理パイプライン内で生じる。多くの実施形態では、画像処理パイプラインは、ＬＲ画像上でＳＲプロセスを行うのに先立って、ＬＲ画像を位置合わせするプロセスを行う。いくつかの実施形態では、画像処理パイプラインはまた、問題ピクセルを排除し、視差を補償する、プロセスを行う。

本発明のある実施形態による、合成されたＨＲ画像を得るために、ＬＲ画像からの情報を融合するためのＳＲモジュールを組み込む、画像処理パイプラインが、図４に図示される。図示される画像処理パイプライン４００では、ピクセル情報が、焦点面３４０から読み取られ、光度正規化のために、光度変換モジュール４０２に提供される。光度変換モジュールは、光度正規化、黒色レベル計算および調節、ヴィネット補正、ならびに側方カラー補正のうちの１つ以上を含むが、それらに限定されない、種々の光度画像処理プロセスのいずれかを行うことができる。いくつかの実施形態では、光度変換モジュールはまた、温度正規化を行う。図示される実施形態では、光度正規化モジュールの入力は、光度較正データ４０１および捕捉されたＬＲ画像である。光度較正データは、典型的には、オフライン較正プロセスの間に捕捉される。光度変換モジュール４０２の出力は、光度的に正規化されたＬＲ画像のセットである。これらの光度的に正規化された画像は、視差検出モジュール４０４および超解像モジュール４０６に提供される。

ＳＲ処理を行うのに先立って、画像処理パイプラインは、イメージャアレイによって捕捉されるシーン内の物体がイメージャアレイに接近するにつれて、より明白となる視差を検出する。図示される実施形態では、視差（または、像差）検出は、視差検出モジュール４０４を使用して行われる。いくつかの実施形態では、視差検出モジュール４０４は、前景物体の周囲のオクルージョンゾーンに対するオクルージョンマップを生成する。多くの実施形態では、オクルージョンマップは、対のＬＲイメージャに対して作成されるバイナリマップである。多くの実施形態では、オクルージョンマップは、シーン内の点が、基準ＬＲイメージャの視野内で可視であるかどうかと、基準イメージャの視野内で可視であるシーンの中の点が、他のイメージャの視野内で可視であるかどうかとを例証するために生成される。前述のように、πフィルタ群の使用は、基準ＬＲ画像内で可視であるピクセルが、少なくとも１つの他のＬＲ画像内で可視である（すなわち、オクルードされていない）可能性を増加させることができる。視差を決定するために、視差検出モジュール４０４は、アドレス変換モジュール４１０を介して得られた幾何学較正データ４０８を使用して、光度的に正規化されたＬＲ画像にシーン独立幾何学補正を行う。視差検出モジュール４０４は、次いで、幾何学および光度的に補正されたＬＲ画像を比較し、ＬＲ画像間のシーン依存幾何学変位の存在を検出することができる。これらのシーン依存幾何学変位に関する情報は、視差情報と称され得、シーン依存視差補正およびオクルージョンマップの形態において、超解像モジュール４０６に提供されることができる。以下により詳細に論じられる、視差情報はまた、同様に、超解像モジュール４０６に提供され得る、生成された奥行マップを含むことができる。幾何学較正（または、シーン独立幾何学補正）データ４０８は、オフライン較正プロセスまたは後続再較正プロセスを使用して生成されることができる。シーン独立補正情報は、シーン依存幾何学補正情報（視差）およびオクルージョンマップとともに、ＬＲ画像のための幾何学補正情報を形成する。

いったん、視差情報が生成されると、視差情報および光度的に正規化されたＬＲ画像は、１つ以上のＨＲ画像４２０の合成において使用するために、超解像モジュール４０６に提供される。多くの実施形態では、超解像モジュール４０６は、アドレス変換モジュール４１０を介して得られた視差情報および幾何学較正データ４０８を使用して、シーン独立およびシーン依存幾何学補正（すなわち、幾何学補正）を行う。光度的に正規化され、幾何学的に位置合わせされたＬＲ画像は、次いで、ＨＲ画像の合成において利用される。合成されたＨＲ画像は、次いで、カラー補正および／または彩度レベル調節を行うように構成される任意の標準的カラー処理モジュールを使用して実装され得る、下流カラー処理モジュール４１２にフィードされてもよい。いくつかの実施形態では、カラー処理モジュールは、ホワイトバランス、カラー補正、ガンマ補正、およびＲＧＢ／ＹＵＶ補正のうちの１つ以上を含むが、それらに限定されない、動作を行う。

いくつかの実施形態では、本発明の実施形態による画像処理パイプラインは、動的再焦点化モジュールを含む。動的再焦点化モジュールは、ユーザが、ＨＲ画像を合成するときに使用するために、シーン内の焦点面を規定することを可能にする。いくつかの実施形態では、動的再焦点化モジュールは、シーンに対する推定されるＨＲ奥行マップを構築する。動的再焦点化モジュールは、ＨＲ奥行マップを使用して、合成された画像をぼやけさせ、焦点面上にないシーンの部分を焦点外に現すことができる。多くの実施形態では、ＳＲ処理は、焦点面上にあって、焦点面の周囲の規定されるＺ−範囲内にあるピクセルに限定される。

いくつかの実施形態では、合成された高解像度画像４２０は、Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐによって開発されたＪＰＥＧ規格に従う画像のエンコードを含むが、それらに限定されない、種々の規格ベースまたは専用エンコードプロセスのいずれかを使用して、エンコードされる。エンコードされた画像は、次いで、ＪＰＥＧ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ（ＪＩＦ）、ＪＰＥＧ Ｆｉｌｅ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ（ＪＦＩＦ）、またはＥｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ（Ｅｘｉｆ）を含むが、それらに限定されない、使用されるエンコード技法に適切なファイル形式に従って記憶されることができる。

同様に、本発明の実施形態によるアレイカメラ内で利用され得る、図４に図示される処理パイプラインに類似する処理パイプラインは、ＰＣＴ公開第ＷＯ２００９／１５１９０３号に説明されている。具体的画像処理パイプラインが前述されたが、本発明の実施形態による超解像プロセスは、本発明の実施形態による、超解像処理に先立って、ＬＲ画像を位置合わせする、種々の画像処理パイプラインのいずれか内で使用されることができる。

前述で示唆されるように、視差情報は、奥行マップならびにオクルージョンマップを生成するために使用されることができ、これは、以下に論じられる。

（像差を使用して、アレイカメラ内に奥行マップを生成する）
本発明の多くの実施形態によるアレイカメラは、アレイカメラによって捕捉される画像内で観察された像差を使用して、奥行マップを生成する。奥行マップは、典型的には、カメラから画像内の具体的ピクセルまたはピクセル群（オリジナル入力画像の解像度に対する奥行マップの解像度に依存する）までの距離を記述する、画像（多くの場合、基準カメラによって捕捉される基準画像）に関するメタデータの層と見なされる。本発明のいくつかの実施形態によるアレイカメラは、（限定されないが）高解像度画像の合成の間、シーン依存幾何学シフトを生成する、および／または合成された画像の動的再焦点化を行うことを含む、種々の目的のために奥行マップを使用する。

前述の像差の議論に基づいて、ピクセル像差に基づくシーンの一部の奥行を決定するプロセスは、理論的に単純である。アレイカメラ内の具体的カメラの視点が、基準視点として選定されると、基準視点から可視のシーンの一部までの距離は、カメラアレイによって捕捉される他の画像（多くの場合、代替ビュー画像と称される）の一部または全部内の対応するピクセル間の像差を使用して決定されることができる。オクルージョンが不在の場合、基準視点から捕捉される基準画像内のピクセルに対応するピクセルは、エピポーラ線（すなわち、２つのカメラ間の基線ベクトルに平行な線）に沿って、各代替ビュー画像内に位置するであろう。像差のエピポーラ線に沿った距離は、カメラとピクセルによって捕捉されるシーンの一部との間の距離に対応する。したがって、捕捉された基準画像および具体的奥行において対応すると予期される代替ビュー画像内のピクセルを比較することによって、検索は、高度の類似性を有するピクセルをもたらす奥行に対して実施されることができる。基準画像および代替ビュー画像内の対応するピクセルが、高度の類似性を有する奥行は、カメラとピクセルによって捕捉されたシーンの一部との間の最も可能性の高い距離として選択されることができる。

しかしながら、前述の方法を使用して正確な奥行マップを決定する際、多くの課題が存在する。いくつかの実施形態では、アレイカメラ内のカメラは、類似するが、同一ではない。したがって、（限定されないが）光学特性、異なるセンサ特性（オフセットによるセンサ応答の変動、異なる伝送または利得応答、ピクセル応答の非線形特性等）、捕捉された画像内の雑音、および／または組立プロセスに関連した製造公差に関連する歪曲または収差を含む、画像特性は、画像間で変動し、異なる画像内の対応するピクセルの類似性を低減させ得る。加えて、超解像プロセスは、高い解像度画像を合成するために、イメージャアレイによって捕捉される画像内のサンプリングダイバーシティに依拠する。しかしながら、サンプリングダイバーシティの増加はまた、光照射野内で捕捉された画像の中の対応するピクセル間の類似性の低下を伴い得る。前述の奥行を決定するためのプロセスが、ピクセルの類似性に依拠することを前提として、捕捉された画像間の光度差およびサンプリングダイバーシティの存在は、奥行マップが決定され得る正確度を低下させ得る。

奥行マップの生成はさらに、オクルージョンによって複雑になる。前述のように、オクルージョンは、基準視点から可視のピクセルが、画像のうちの１つ以上において不可視であるときに生じる。オクルージョンの効果は、正しい奥行にあるとき、そうでなければ、対応するピクセルによって占有されるであろう、ピクセル場所が、シーンの別の部分（典型的には、カメラにより近い物体）をサンプリングするピクセルによって占有されるというものである。オクルーディングピクセルは、多くの場合、オクルードされたピクセルに対して非常に異なる。したがって、正しい奥行におけるピクセルの類似性の比較は、他の奥行においてより有意に高い類似性度をもたらす可能性は低い。事実上、オクルーディングピクセルは、強外れ値として作用し、実際、正しい奥行において対応するそれらのピクセルの類似性をマスクキングする。故に、オクルージョンの存在は、強誤差源を奥行マップに導入し得る。さらに、基準カメラによって捕捉される画像内で可視のピクセルが、アレイ内の他のカメラによって捕捉される代替ビュー画像内で可視である可能性を増加させるためのπフィルタ群の使用は、前述の様式で生成された奥行マップの誤差を低減させることができる。

本発明の多くの実施形態による、奥行マップを生成するためのプロセスは、（限定されないが）前述のものを含む源によって奥行マップに導入され得る、誤差源を低減しようとする。例えば、米国特許出願第６１／７８０，９０６号「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｐａｒａｌｌａｘ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｃｏｒｒｅｃｔｉｏｎｉｎ Ｉｍａｇｅｓ Ｃａｐｔｕｒｅｄ Ｕｓｉｎｇ Ａｒｒａｙ Ｃａｍｅｒａｓ」は、そのようなプロセスを開示している。既に前述のように、米国特許出願第６１／７８０，９０６号の開示は、参照することによって、全体として本明細書に組み込まれる。加えて、前述のように、πフィルタ群の使用は、基準カメラの視点から可視のピクセルが、カラーチャネル内の全カメラの中でオクルードされる可能性を有意に低下させることができる。多くの異なるアレイカメラが、本発明の実施形態による、πフィルタ群を利用可能である。本発明の実施形態によるπフィルタ群を利用するカメラモジュールは、以下にさらに詳細に説明される。

（πフィルタ群を用いたパターン化）
カメラモジュールは、本発明の実施形態に従って、πフィルタ群を用いてパターン化されることができる。いくつかの実施形態では、カメラモジュールの一部として利用されるπフィルタ群はそれぞれ、各カラーに対してオクルージョンゾーンを低減させるように、カラーカメラによって囲まれる基準カメラとして機能し得る、中心カメラを含むことができる。ある実施形態では、カメラモジュールは、基準カメラが、赤色、緑色、および青色カメラによって囲まれる、緑色カメラである、ＲＧＢカラーモデルを利用して、長方形形式に配列される。いくつかの実施形態では、赤色カメラの数の２倍および青色カメラの数の２倍である数の緑色カメラが、基準カメラを囲む。多くの実施形態では、赤色カラーカメラおよび青色カラーカメラは、カメラの３×３アレイ上で反対位置に位置する。当然ながら、任意のカラーモデルからのカラーの任意のセットが、シアン色、マゼンタ色、黄色、ならびに基本（ＣＭＹＫ）カラーモデルまたは赤色、黄色、および青色（ＲＹＢ）カラーモデル等のＲＧＢカラーモデルに加え、有用範囲のカラーを検出するために利用されることができる。

いくつかの実施形態では、ＲＧＢカラーモデルが使用されるとき、２つのπフィルタ群が、カメラモジュールのパターン化において利用されることができる。一方のπフィルタ群は、図５Ａに図示され、他方のπフィルタ群は、図５Ｂに図示される。これらのπフィルタ群はいずれも、カメラの３×３アレイを上回る寸法を伴う、任意のカメラモジュールをパターン化するために使用されることができる。

３×３カメラモジュールを伴う実施形態では、πフィルタ群を用いたカメラモジュールのパターン化は、単一πフィルタ群のみを含む。本発明のある実施形態による、３×３カメラモジュール上のπフィルタ群は、図５Ａに図示される。πフィルタ群５００は、各角における緑色カメラと、ボックス５０２内に表記される中心における緑色基準カメラと、基準カメラの上下の青色カメラと、基準カメラの左右側の赤色カメラとを含む。本構成では、中心基準カメラを囲む緑色カメラの数は、赤色カメラの数の２倍および青色カメラの数の２倍である。加えて、赤色カメラは、オクルージョンを低減させるために、カメラの３×３アレイの中心に対して反対場所に位置する。同様に、青色カメラは、オクルージョンを低減させるために、カメラの３×３アレイの中心に対して反対場所に位置する。図５Ａに説明されるπフィルタ群の代替は、本発明のある実施形態による、図５Ｂに図示される。本πフィルタ群もまた、角における緑色カメラとともに、ボックスを用いて示されるように、中心における緑色基準カメラ５５２を含む。しかしながら、図５Ａと異なり、赤色カメラは、図５Ｂに示されるように、上下にあって、青色カメラは、基準カメラの左右側にある。図５Ａに示されるπフィルタ群と同様に、図５Ｂにおけるπフィルタ群も、赤色カメラの数の２倍および青色カメラの数の２倍の数の緑色カラーカメラによって囲まれる中心基準カメラを含む。前述のように、基準カメラは、緑色カメラである必要はない。いくつかの実施形態では、図５Ａおよび５Ｂにおける構成は、Ｂａｙｅｒカラーフィルタを採用する中心カメラを含むように修正されることができる。他の実施形態では、中心カメラは、赤外線カメラ、拡張カラーカメラ、および／または具体的用途に適切な任意の他のタイプのカメラ、例えば、赤外線カメラ、またはＵＶカメラである。さらなる実施形態では、種々のカラーカメラのいずれも、各カラーチャネルに対してオクルージョンゾーンを低減させる様式で、基準カメラに対して３×３アレイ内の反対場所において、基準カメラの周囲に分布されることができる。

例えば、図５Ｃは、緑色カラーカメラが、中心カメラの上下左右に位置することができる一方、赤色および青色カラーカメラが、πフィルタ群の角位置に配置される、実施形態を描写する。本実施形態では、第１および第３の行および列はそれぞれ、赤色、緑色、および青色カラーフィルタを有し、本配列は、オクルージョンの事例を低減させることができることに留意されたい。同様に、図５Ｃに示される構成は、赤色および青色カラーカメラが、若干、中心基準カメラから離れているため、赤色および青色カラーチャネル内に、図５Ａおよび５Ｂに図示される実施形態と比較して、若干、大きいオクルージョンゾーンを含み得る。図５Ｄおよび５Ｅは、各カラーチャネル内のカメラが、中心基準カメラに対して３×３アレイにおいて、反対位置に位置するように、カラーカメラが、中心緑色カメラを囲む、実施形態を描写する。本構成では、カメラが３×３アレイの角にある、青色または赤色カラーチャネルは、若干、カメラが中心基準カメラにより近接して位置する（すなわち、カメラが、角に位置しない）、青色または赤色カラーチャネルより大きいオクルージョンゾーンを有する可能性が高い。当然ながら、前述のように、中心基準カメラは、本発明の実施形態による、例えば、緑色カメラだけではない、任意の好適なカメラであることができる。さらに、多くの実施形態は、図５Ｄおよび５Ｅに見られるものに類似するが、図５Ｄおよび５Ｅに見られるものの鏡像である配列を利用する。同様に、多数の実施形態は、図５Ｄおよび５Ｅに見られるものに類似するが、図５Ｄおよび５Ｅに見られるものに対して回転される配列を利用する。

３×３カメラ以上の寸法を伴う、任意のカメラモジュールは、１つ以上のπフィルタ群を用いてパターン化されることができ、πフィルタ群内にないカメラに、πフィルタ群のカラーフィルタ割当を前提として、カメラモジュール内のオクルージョンゾーンの可能性を低減または最小限にする、カラーが割り当てられる。本発明のある実施形態による、２つのπフィルタ群を用いてパターン化された４×４カメラモジュールが、図６に図示される。カメラモジュール６００は、基準緑色カメラ６０４を中心とする９つのカメラの第１のπフィルタ群６０２を含む。第２のπフィルタ群６１０は、第１のπフィルタ群の右下に１カメラシフトして、対角線上に位置する。第２のπフィルタ群は、カメラモジュール６００の４つの中心カメラ６１２を第１のπフィルタ群と共有する。しかしながら、カメラは、異なる役割を果たす（すなわち、異なるカメラが、２つのπフィルタ群内の基準カメラとして作用する）。図６に図示されるように、カメラモジュールの角６０６および６０８における２つのカメラは、２つのπフィルタ群、６０２および６１０内に含まれない。これらのカメラ内で利用されるカラーフィルタは、２つのπフィルタ群、６０２および６１０の一部であるカメラのカラーフィルタ割当を前提として、オクルージョンゾーンの最小限化に基づいて決定される。πフィルタ群のパターン化のため、基準カメラの周囲には、青色カラーカメラの均一分布が存在するが、基準カメラの上方には、赤色カラーカメラは存在しない。したがって、右上角カメラ６０６を赤色として選択することによって、基準カメラの上方の視点からの赤色画像データを提供し、基準カメラ６０４および第２のπフィルタ群の中心カメラに対するシーン内の前景画像の上および右のオクルージョンゾーンの可能性は、最小限にされる。同様に、左下角カメラ６０８を青色として選択することによって、基準カメラの左への視点からの青カラー画像データを提供し、基準カメラ６０４および第２のπフィルタ群の中心カメラに対するシーン内の前景画像の下および左のオクルージョンゾーンの可能性は、最小限にされる。それによって、３×３を上回る寸法を伴うカメラモジュールは、任意のπフィルタ群内に含まれないカメラに割り当てられたカラーを伴うπフィルタ群を用いてパターン化され、前述のように、オクルージョンゾーンを低減および／または最小限にすることができる。その結果、カメラアレイは、青色カラーカメラ、緑色カラーカメラ、および赤色カラーカメラを含む、少なくとも１つの行および少なくとも１つの列を含む。具体的πフィルタ群が、前述されたが、種々のπフィルタ群のいずれも、本発明の多くの異なる実施形態に従って、カメラモジュールをパターン化することができる。

（同等性能を伴う、複数の基準カメラ選択肢）
本発明の実施形態による、カメラモジュールをパターン化するための複数のπフィルタ群の使用は、複数のカメラが、同等性能を伴う基準カメラとして使用されることを可能にする。本発明のある実施形態による、２つのπフィルタ群を伴う４×４カメラモジュールが、図７に図示される。カメラモジュール７００は、各πフィルタ群７０４、７０８の中心カメラが、基準カメラとして作用することができる、２つのπフィルタ群７０２、７０６を含む。選択された基準カメラにかかわらず、基準カメラの周囲のカメラの分布は、πフィルタ群の使用のため、同じようになる。それによって、カメラモジュール７００が、基準カメラ７０４に欠陥を検出する場合、カメラモジュール７００は、基準カメラ７０８として、別のπフィルタ群の中心におけるカメラの使用に切り替え、第１の基準カメラ７０４の欠陥を回避することができる。さらに、πフィルタ群を用いてパターン化することは、基準カメラまたは仮想視点がカメラモジュールの中心にあることを要求しないが、むしろ、基準カメラが、各カラーに対するオクルージョンゾーンを低減させるように、カラーカメラによって囲まれることを要求する。具体的カメラモジュールが、前述されたが、任意の数の異なる寸法のカメラモジュールが、本発明の実施形態による、複数の基準カメラ選択肢を作成するために利用されることができる。

（製造収率改善）
製造プロセスは、本質的に、欠陥をもたらし得る、ばらつきを伴う。いくつかの事例では、製造欠陥は、イメージャアレイ内の焦点面全体を動作不能にするほど十分に深刻であり得る。焦点面の不具合が、イメージャアレイの廃棄をもたらす場合、アレイカメラを製造するためのコストは、増加される。πフィルタ群を用いて、カメラモジュールをパターン化することは、光学系アレイの光学チャネル内のカラーフィルタの配分が、アレイカメラによって捕捉された画像データを使用して合成された画像内のオクルージョンゾーンの作成に対して、故障焦点面が及ぼす影響を低減させるために使用され得るため、高製造収率を提供することができる。

多くの実施形態では、イメージャアレイの焦点面内のピクセルによって感知される光は、光を焦点面上に集束させる、光学チャネル内に含まれるカラーフィルタによって決定される。製造の間、焦点面内の欠陥は、検出され得る。欠陥が検出されると、光学系アレイ内の光学チャネルのカラーフィルタパターンは、欠陥焦点面がオクルージョンゾーンのサイズの増加をもたらさないように、決定されることができる。典型的には、これは、欠陥焦点面の存在が、カメラアレイ内の赤色または青色カメラの数を減少させないように、πフィルタ群を用いて、カメラモジュールをパターン化することを意味する（すなわち、緑色チャネルが欠陥焦点面に割り当てられ、１つのカメラ分、カメラアレイ内の緑色カメラの数が減少させる結果をもたらす、フィルタパターンが、使用される）。

本発明の実施形態による、光学系アレイおよびイメージャアレイを組み合わせ、カメラモジュールを作成する前に、故障焦点面を検出するプロセスが、図６Ａに図示される。図示されるプロセスでは、カラーフィルタパターンは、イメージャアレイのピクセル上ではなく、光学系アレイ上にパターン化される。異なるフィルタパターンを伴う異なるタイプの光学系アレイを製造することによって、プロセスは、具体的光学系アレイを体系的に選定し、故障焦点面をあるフィルタのカラーと対にし、所与のカラーチャネル内のオクルージョンゾーンのサイズが低減および／または最小限にされることを確実にすることができる。プロセス８００は、故障焦点面に対してイメージャアレイを試験（８０２）することを含む。イメージャアレイを試験（８０２）後、故障焦点面がイメージャアレイ上に検出されるかどうについて、決定（８０４）が行われる。故障焦点面が検出される場合、光学系アレイが、故障焦点面の場所に基づいて、選択される（８０６）。多くの実施形態では、光学系アレイは、イメージャアレイによって捕捉された画像データを使用して合成された画像内のオクルージョンゾーンの作成に及ぼす故障焦点面の影響を最小限にするよう、カラーフィルタを動作焦点面に割り当てることによって、故障焦点面の効果を低減させるように選択される。故障焦点面が存在するとき、オクルージョンゾーンを低減させる、異なる光学系アレイの選択のさらなる議論は、図６Ｂおよび６Ｃを参照して以下に提供される。故障焦点面の場所に基づいて、光学系アレイを選択（８０６）後、選択された光学系アレイは、イメージャアレイと組み合わせられ（８０８）、カメラモジュールを作成する。故障焦点面が選択されない場合、πフィルタ群に基づくフィルタパターンを含む、種々の光学系アレイのいずれかが、試験されたイメージャアレイと組み合わせられ（８０８）、カメラモジュールを作成することができる。以下にさらに論じられるように、典型的プロセスは、πフィルタ群に基づく第１のフィルタパターンを含む、デフォルト光学系アレイを含むことができ、πフィルタ群に基づく第２のフィルタパターンは、第１のフィルタパターンが使用されるとき、故障焦点面がカメラモジュール内のカラーカメラ（またはさらに、カメラモジュールの外側の周囲のカラーカメラ等の具体的カラーカメラ）の数の減少をもたらすであろう、具体的欠陥が検出されるときに利用されることができる。

カラーフィルタ割当の修正が、故障焦点面の影響を低減させ得る様式は、図８Ｂおよび８Ｃに図示される。故障赤色カメラを伴うカメラモジュールが、図８Ｂに図示される。カメラモジュール８２０は、可能性として考えられる基準カメラ８２２を中心に伴う、第１のπフィルタ群８２８と、可能性として考えられる基準カメラ８３０を中心に伴う、第２のπフィルタ群８３２と、πフィルタ群８２８および８３２両方の下方の故障赤色カメラ８２４とを含む。故障赤色カメラのため、可能性として考えられる基準カメラ８２２および８３０の両方の下方には、赤色画像データが欠けている。したがって、２つのカメラのいずれが、πフィルタ群の中心にあるかにかかわらず、は、基準カメラとして選定される。故に、図８Ｂに図示されるフィルタパターンを含む、光学系アレイと、示される故障焦点面を伴うイメージャを組み合わせることは、任意の基準カメラの下方の赤色情報の捕捉を妨害し、前景物体の下方のオクルージョンゾーンの可能性を増加させる、欠陥赤色カメラをもたらす。しかしながら、異なる場所におけるπフィルタ群を使用してパターン化された光学系アレイは、青色および赤色カラーフィルタの全てが、アクティブであるカメラに割り当てられる結果をもたらし得る。このように、故障焦点面は、緑色カメラの数のみに影響を及ぼし、結果として生じるカメラモジュールによって捕捉された画像データを使用して合成された画像内のオクルージョンゾーンの可能性を低減させるようにそれを行う。換言すると、故障焦点面の場所を前提として、オクルージョンゾーンの可能性を最小限にするよう、カラー情報が基準カメラの周囲で捕捉される結果をもたらすように、故障焦点面を含むイメージャアレイと、πフィルタ群に基づいて、アクティブカメラのカラーフィルタを割り当てる、光学系アレイを組み合わせることによって、収率が、ある状況下では、改善され得る。

図８Ｂの故障焦点面を伴うが、故障焦点面が、基準カメラモジュールの周囲における赤色または青色画像データの捕捉を低減させないように、πフィルタ群を用いてパターン化された光学系アレイを伴う、カメラモジュールが、図８Ｃに図示される。図８Ｂの光学系アレイのパターンに対して、図８Ｃの光学系アレイは、光学系アレイの中心垂直交差軸８２６に沿って反転され、２つのπフィルタ群８２８’および８３２’を含む。故障焦点面と関連付けられたレンズスタックは、図８Ｂにおける赤色８２４とは対照的に、緑色８５４である。図８Ｃにおける全可能性として考えられる基準カメラ８５２、８５６の下方に複数の緑色カメラが存在するため、緑色カメラ８５４の損失は、図８Ｂにおける赤色カメラ８２４の損失からの影響とは対照的に、ほとんど影響はない。したがって、イメージャアレイ上の故障焦点面の影響は、故障焦点面が、結果として生じるカメラモジュールによって捕捉されるカラーチャネルのいずれか内にオクルージョンゾーンを作成する可能性を低減させる様式において、故障イメージャアレイと、カラーフィルタをイメージャアレイ内の焦点面に具体的に割り当てるように選択された光学系アレイを組み合わせることによって、低減されることができる。前述の実施例は、赤色オクルージョンゾーンを減少させるが、イメージャアレイ内の場所のいずれかにおける欠陥焦点面の影響も、同様に、πフィルタ群に基づいて、フィルタパターンの適切な選択によって、最小限にされることができる。πフィルタ群を用いてパターン化され、故障焦点面による収率損失を最小限にするカメラモジュールの具体的実施例が、前述されたが、種々の代替πフィルタ群を含む、カラーフィルタパターンのいずれも、本発明の実施形態に従って、製造収率を増加させるために利用されることができる。

（立体３Ｄ画像の捕捉）
多くの実施形態では、超解像プロセスは、２０１０年１２月１４日出願の米国特許出願第１２／９６７，８０７号「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｓｙｎｔｈｅｓｉｚｉｎｇ Ｈｉｇｈ Ｒｅｓｏｌｕｔｉｏｎ Ｉｍａｇｅｓ Ｕｓｉｎｇ Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ Ｐｒｏｃｅｓｓｅｓ」（その開示は、参照することによって前述に組み込まれている）に開示されるように、対の立体３Ｄ画像を含む、アレイカメラによって捕捉される低解像度画像を使用して、高解像度画像を合成するために使用されることができる。立体３Ｄ画像対は、シーンの３Ｄ表現を作成するために組み合わせられ得る、空間的にオフセットされた視点からの２つのシーンの画像である。πフィルタ群を含む、フィルタパターンの使用は、計算上効率的様式において、立体３Ｄ画像の合成を可能にすることができる。アレイカメラ内の全部に満たないカメラによって捕捉される画像データが、立体３Ｄ画像対を形成する、画像のそれぞれを合成するために使用されることができる。

πフィルタ群を用いてパターン化することは、基準カメラの周囲におけるカメラの効率的分布を可能にし、オクルージョンゾーンを減少させ、立体３Ｄ画像対内の画像のそれぞれを合成するために利用される、カメラモジュールによって捕捉される画像データの量を減少させる。多くの実施形態では、異なるカメラのサブセットが、立体３Ｄ画像対を形成する画像のそれぞれを捕捉するために使用され、サブセットはそれぞれ、πフィルタ群を含む。多くの実施形態では、立体３Ｄ画像対を形成する画像は、若干、πフィルタ群の中心におけるカメラからオフセットされた仮想視点から捕捉される。πフィルタ群の中心カメラは、中心カメラが基準カメラとして使用されるとき、各カラーカメラに対するオクルージョンゾーンを最小限にするように、カラーカメラによって囲まれる。仮想視点が、πフィルタ群の中心に近接すると、仮想視点の周囲のカラーカメラの分布の利点は、類似する。

πフィルタ群を使用してパターン化されたカメラモジュールを使用して捕捉される、立体３Ｄ画像対のための左仮想視点が、図９Ａに図示される。左仮想視点９０４は、３×４アレイを形成する、１２の円形カメラＧ_１−Ｇ_３、Ｇ_５−Ｇ_７、Ｂ_１−Ｂ_２、Ｂ_４、およびＲ_２−Ｒ_３からの画像データから得られる。仮想視点は、πフィルタ群９０６の中心にある、緑色カメラＧ_３に対してオフセットされる。図７に示されるカメラモジュールを使用して、立体対内の第２の画像を捕捉するために使用される、右仮想視点が、図９Ｂに図示される。右仮想視点９５４は、３×４アレイを形成する、１２の円形カメラＢ_１−Ｂ_３、Ｇ_２−Ｇ_４、Ｇ_６−Ｇ_８、Ｒ_１、Ｒ_３−Ｒ_４からの画像データから得られる。仮想視点は、πフィルタ群９５６の中心にある緑色カメラＧ_６に対してオフセットされる。したがって、単一アレイカメラは、立体対を形成する画像のそれぞれを合成するために、カメラのサブセットからの画像データを使用して、３Ｄシーンの画像を捕捉することができる。カメラモジュール内の全部に満たないカメラによって捕捉された画像データを利用することによって、立体３Ｄ画像対を生成する計算上の複雑性が、低減される。加えて、πフィルタ群の中心におけるカメラに近接する画像のそれぞれの視点の場所は、合成された画像内のオクルージョンゾーンの可能性を低減させる。

いくつかの実施形態では、視点は、仮想視点である必要はない。多くの実施形態では、アレイカメラモジュールは、立体画像が捕捉される視点が、カメラアレイ内の基準カメラから得られた基準視点であるように、πフィルタ群を使用して構築されることができる。例えば、いくつかの実施形態では、３×５カメラモジュールが、２つの重複するπフィルタ群を含むように提供される。２つの基準緑色カラーカメラのそれぞれを中心とする２つの重複するπフィルタ群を含む、３×５カメラモジュールが、図９Ｃに図示される。特に、カメラモジュール９６０は、２つの重複するπフィルタ群９６２および９６４を含み、それぞれ、２つの基準緑色カラーカメラ９６６および９６８のそれぞれの一方を中心とする。２つの基準カメラ９６６および９６８は、２つの基準視点を提供するために使用される。多くの実施形態では、アレイカメラモジュールは、非重複πフィルタ群を使用して、立体画像を捕捉するように構成される。立体画像を捕捉するために使用され得る、２つの非重複πフィルタ群を含む、３×６アレイカメラモジュールが、図９Ｄに図示される。特に、アレイカメラモジュール９７０は、図９Ｃに見られるものに類似するが、２つのπフィルタ群９７２および９７４は、重複しない。図示される実施形態では、前述のように、２つのπフィルタ群９７２および９７４はそれぞれ、２つの緑色カラーカメラ９７６および９７８のそれぞれ一方を中心とする。２つの基準カメラ９７６および９７８は、２つの基準視点を提供するために使用される。図９Ｄに図示される実施形態は、各πフィルタ群内にカメラの異なる配列を有する、πフィルタ群が、本発明の実施形態に従って、アレイカメラモジュールをパターン化するために利用され得ることを実証する。２つのπフィルタ群９７２および９７４は、異なる３×３カメラ配列を使用する。同様に、カメラの異なる３×３配列を組み込む、πフィルタ群は、異なる寸法の種々のカメラアレイのいずれかを構築するために利用されることができる。

立体３Ｄ画像対を合成するためのカメラの具体的視点およびサブセットが、図９Ａ−９Ｄに図示されたが、立体画像対は、本発明の実施形態による種々のカメラモジュールのいずれかにおいて、カメラのサブセットを使用して生成されることができる。

（カメラのサブセットを使用した画像の捕捉）
πフィルタ群を用いてパターン化されたカメラモジュールを伴うアレイカメラは、本発明の多くの実施形態に従って、動作時に利用可能な全部に満たないカメラを利用することができる。いくつかの実施形態では、より少ないカメラの使用は、アレイカメラを使用して画像を生成する計算上の複雑性を最小限にすることができ、アレイカメラの電力消費を削減することができる。画像データを捕捉するために使用されるカメラの数の減少は、ビデオ等の用途に有用であり得、ビデオのフレームは、カメラモジュールによって捕捉され得る全部に満たない画像データを使用して、合成されることができる。いくつかの実施形態では、単一πフィルタ群が、画像を捕捉するために利用されることができる。多くの実施形態では、単一πフィルタ群によって捕捉される画像データは、より多い数のカメラを用いて画像データを捕捉するのに先立って、プレビュー画像を捕捉するために利用される。いくつかの実施形態では、単一πフィルタ群内のカメラは、ビデオ画像データを捕捉する。具体的用途の要件に応じて、画像データは、付加的カメラを使用して捕捉され、解像度を増加させ、および／または付加的カラー情報を提供し、オクルージョンを低減させることができる。

画像を合成するために利用され得る画像データを捕捉するために利用される、カメラモジュール内のπフィルタ群が、図１０に図示される。図示される実施形態では、基準カメラは、ボックスで囲まれ、利用されるカメラは、点線で包含される。カメラモジュール１０００は、基準カメラＧ_３を用いて、画像データＧ_１−Ｇ_２、Ｇ_５−Ｇ_６、Ｂ_１−Ｂ_２、およびＲ_２−Ｒ_３を生成する、カメラのπフィルタ群を含む。図１０は、πフィルタ群内のカメラが、どのように画像を捕捉するために利用され得るかを図示する。画像データは、解像度の増加のために、付加的カメラを使用して取得され、オクルージョンゾーン内の付加的カラー情報を提供することができる。故に、カメラの任意の数および配列が、本発明の多くの異なる実施形態に従って、カメラモジュールを使用して画像データを捕捉するために利用されることができる。

（πフィルタ群を含む、カラーフィルタパターンの構築）
３×３を上回る寸法を有するカメラの任意のアレイのためのカラーフィルタパターンが、本発明の実施形態に従って、構築されることができる。多くの実施形態では、カラーフィルタパターンを構築するためのプロセスは、典型的には、カラーフィルタをカメラモジュール内のカメラに割り当て、重複するπフィルタ群の数を最大限にすることを伴う。πフィルタ群内に含まれることができないカメラが存在する場合、カラーフィルタが、高解像度画像を合成する目的のために、基準カメラとして使用されるべきカメラの周囲のオクルージョンを最小限にすることに基づいて、カメラに割り当てられることができる。

本発明のある実施形態による、カラーフィルタをカメラモジュール内のカメラに割り当てるためのプロセスが、図１１に図示される。プロセス１１００は、アレイの角を選択し（１１０２）、πフィルタ群を選択された角に割り当てる（１１０４）ことを含む。πフィルタ群は、３×３グリッドを占有する。カラーフィルタは、アレイ内の重複するπフィルタ群の数を最大限にするように、残りのカメラに割り当てられることができる（１１０６）。カラーフィルタが割り当てられないカメラが存在する場合、カメラは、アレイのための基準カメラとして選択されたカメラの視点から合成された画像内のオクルージョンゾーンの可能性を低減させる、カラーフィルタが割り当てられる（１１０８）。その時点で、アレイ内のカメラは全て、カラーフィルタが割り当てられる。前述のように、複数のπフィルタ群の存在は、（限定されないが）アレイ内の具体的カメラの中の不具合に対するロバスト性、および少なくとも１つのπフィルタ群によって捕捉される画像データを利用して、カメラモジュール内の全部に満たないカメラを用いて画像を合成する能力を含む、利点を提供する。

πフィルタ群を使用して、５×５アレイのための単純フィルタパターンを生成するプロセスが、図１２Ａ-１２Ｄに図示される。プロセスは、アレイの左上角の選択から開始する。πフィルタ群が、左上角におけるカメラの３×３群（カメラＧ_１−Ｇ_５、Ｂ_１−Ｂ_２、およびＲ_１−Ｒ_２）に割り当てられる。第２の重複するπフィルタ群が、３つの緑色カメラおよび青色カメラおよび赤色カメラ（Ｇ_６−Ｇ_８およびＢ_３およびＲ_３）を追加することによって作成される。第３の重複するπフィルタ群は、別の３つの緑色カメラおよび青色カメラおよび赤色カメラ（Ｇ_９−Ｇ_１１およびＢ_４およびＲ_４）を追加することによって作成される。第５のおよび第６のπフィルタ群は、単一緑色カメラ、青色カメラ、および赤色カメラ（Ｇ_１２、Ｂ_５、Ｒ_５およびＧ_１３、Ｂ_６、Ｒ_６）を追加することによって作成される。中心カメラ（Ｇ_６）が故障する場合、別のπフィルタ群の中心におけるカメラが、基準カメラ（例えば、Ｇ_３）として利用されることができる。

πフィルタ群を使用して、４×５アレイのための単純フィルタパターンを生成するための類似プロセスが、図１３Ａ−１３Ｄに図示される。プロセスは、非常に類似するが、２つのカメラが、πフィルタ群内に含まれない。以下にカメラＧ_６（πフィルタ群の中心）の下方に青色カメラが存在しないという事実のため、πフィルタ群の一部を形成しないカメラは、青色カメラ（Ｂ_５およびＢ_６）として割り当てられる。容易に理解され得るように、類似プロセスが、３×３アレイを上回る任意のアレイに適用され、本発明の実施形態によるπフィルタ群を組み込む、カラーフィルタパターンを生成することができる。同様に、前述のプロセスは、図１４に図示されるカメラの７×７アレイを含む、より大きいアレイを構築するために利用されることができる。同一のプロセスはまた、アレイの寸法のそれぞれ内のカメラの数が奇数である、正方形アレイを含む、任意の寸法のさらに大きいアレイを構築するために利用されることができる。故に、本明細書で論じられるプロセスは、本発明の実施形態に従って、具体的用途の要件に適切な任意の寸法を有するカメラアレイを含む、カメラモジュールおよび／またはアレイカメラを構築するために利用されることができる。

前述の説明は、本発明の多くの具体的実施形態を含むが、これらは、発明の範囲の限定として解釈されるべきではなく、むしろ、その一実施形態の実施例として解釈されたい。したがって、本発明は、本発明の範囲および精神から逸脱することなく、具体的に説明された以外にも実践され得ることを理解されたい。したがって、本発明の実施形態は、あらゆる観点において、制限ではなく、例証として見なされるべきである。

Claims (42)

1. アレイカメラモジュールであって、前記アレイカメラモジュールは、
   複数の焦点面を備えるＭ×Ｎイメージャアレイであって、各焦点面は、感光ピクセルのアレイを備える、Ｍ×Ｎイメージャアレイと、
   複数のレンズスタックのＭ×Ｎ光学系アレイであって、各レンズスタックは、焦点面に対応し、各レンズスタックは、その対応する焦点面上にシーンの画像を形成する、Ｍ×Ｎ光学系アレイと
   を備え、レンズスタックおよびその対応する焦点面の各対は、したがって、カメラを規定し、
   前記カメラのＭ×Ｎアレイ内の少なくとも１つの行は、少なくとも１つの赤色カラーカメラと、少なくとも１つの緑色カラーカメラと、少なくとも１つの青色カラーカメラとを備え、
   前記カメラのＭ×Ｎアレイ内の少なくとも１つの列は、少なくとも１つの赤色カラーカメラと、少なくとも１つの緑色カラーカメラと、少なくとも１つの青色カラーカメラとを備える、アレイカメラモジュール。
2. ＭおよびＮはそれぞれ、２より大きく、ＭおよびＮのうちの少なくとも１つは、偶数であり、
   カラーフィルタは、前記アレイカメラモジュールが少なくとも１つのπフィルタ群を用いてパターン化されるように、前記アレイカメラモジュールにおける前記カメラ内に実装され、前記少なくとも１つのπフィルタ群は、
   カメラの３×３アレイを備え、前記カメラの３×３アレイは、
   前記カメラの３×３アレイの中心における基準カメラと、
   前記カメラの３×３アレイの両側に位置する２つの赤色カラーカメラと、
   前記カメラの３×３アレイの両側に位置する２つの青色カラーカメラと、
   前記基準カメラを囲む４つの緑色カラーカメラと
   を備える、請求項１に記載のアレイカメラモジュール。
3. 前記基準カメラを囲む前記４つの緑色カラーカメラのそれぞれは、前記カメラの３×３アレイの角位置に配置されている、請求項２に記載のアレイカメラモジュール。
4. Ｍは、４であり、
   Ｎは、４であり、
   前記４×４アレイカメラモジュールのカメラの第１の行は、緑色カラーカメラ、青色カラーカメラ、緑色カラーカメラ、および、赤色カラーカメラをその順序で含み、
   前記４×４アレイカメラモジュールのカメラの第２の行は、赤色カラーカメラ、緑色カラーカメラ、赤色カラーカメラ、および、緑色カラーカメラをその順序で含み、
   前記４×４アレイカメラモジュールのカメラの第３の行は、緑色カラーカメラ、青色カラーカメラ、緑色カラーカメラ、および、青色カラーカメラをその順序で含み、
   前記４×４アレイカメラモジュールのカメラの第４の行は、青色カラーカメラ、緑色カラーカメラ、赤色カラーカメラ、および、緑色カラーカメラをその順序で含む、
   請求項３に記載のアレイカメラモジュール。
5. Ｍは、４であり、
   Ｎは、４であり、
   前記４×４アレイカメラモジュールのカメラの第１の行は、赤色カラーカメラ、緑色カラーカメラ、青色カラーカメラ、および、緑色カラーカメラをその順序で含み、
   前記４×４アレイカメラモジュールのカメラの第２の行は、緑色カラーカメラ、赤色カラーカメラ、緑色カラーカメラ、および、赤色カラーカメラをその順序で含み、
   前記４×４アレイカメラモジュールのカメラの第３の行は、青色カラーカメラ、緑色カラーカメラ、青色カラーカメラ、および、緑色カラーカメラをその順序で含み、
   前記４×４アレイカメラモジュールのカメラの第４の行は、緑色カラーカメラ、赤色カラーカメラ、緑色カラーカメラ、および、青色カラーカメラをその順序で含む、
   請求項３に記載のアレイカメラモジュール。
6. 前記基準カメラは、緑色カラーカメラである、請求項２に記載のアレイカメラモジュール。
7. 前記基準カメラは、Ｂａｙｅｒフィルタを組み込むカメラ、赤外光を捕捉するように構成されたカメラ、および、紫外光を捕捉するように構成されたカメラのうちの１つである、請求項２に記載のアレイカメラモジュール。
8. 前記２つの赤色カラーカメラのそれぞれは、前記カメラの３×３アレイの角位置に位置し、前記２つの青色カラーカメラのそれぞれは、前記カメラの３×３アレイの角位置に位置する、請求項２に記載のアレイカメラモジュール。
9. 少なくとも１つのカラーフィルタは、前記イメージャアレイ上に実装されている、請求項２に記載のアレイカメラモジュール。
10. 少なくとも１つのカラーフィルタは、レンズスタック上に実装されている、請求項２に記載のアレイカメラモジュール。
11. ３×３アレイカメラモジュールであって、前記３×３アレイカメラモジュールは、
    焦点面の３×３配列を備える３×３イメージャアレイであって、各焦点面は、感光ピクセルのアレイを備える、３×３イメージャアレイと、
    複数のレンズスタックの３×３光学系アレイであって、各レンズスタックは、焦点面に対応し、各レンズスタックは、その対応する焦点面上にシーンの画像を形成する、３×３光学系アレイと
    を備え、レンズスタックおよびその対応する焦点面の各対は、したがって、カメラを規定し、
    カメラの３×３アレイは、
    前記カメラの３×３アレイの中心における基準カメラと、
    前記カメラの３×３アレイの両側に位置する２つの赤色カラーカメラと、
    前記カメラの３×３アレイの両側に位置する２つの青色カラーカメラと、
    ４つの緑色カラーカメラであって、そのそれぞれは、前記カメラの３×３アレイの角位置に位置する、４つの緑色カラーカメラと
    を備え、前記カラーカメラのそれぞれは、カラーフィルタを使用して達成される、３×３アレイカメラモジュール。
12. 少なくとも１つのカラーフィルタは、前記イメージャアレイ上に実装されることにより、カラーカメラを達成する、請求項１１に記載の３×３アレイカメラモジュール。
13. 少なくとも１つのカラーフィルタは、レンズスタック内に実装されることにより、カラーカメラを達成する、請求項１１に記載の３×３アレイカメラモジュール。
14. 前記基準カメラは、緑色カラーカメラである、請求項１１に記載の３×３アレイカメラモジュール。
15. 前記基準カメラは、Ｂａｙｅｒフィルタを組み込むカメラ、赤外光を捕捉するように構成されたカメラ、および、紫外光を捕捉するように構成されたカメラのうちの１つである、請求項１１に記載の３×３アレイカメラモジュール。
16. 少なくとも１つのπフィルタ群を用いてアレイカメラモジュールをパターン化する方法であって、前記方法は、
    Ｍ×Ｎ焦点面のイメージャアレイが、何らかの欠陥焦点面を含むかどうかを評価することであって、各焦点面は、感光ピクセルのアレイを備える、ことと、
    Ｍ×Ｎアレイカメラモジュールを組み立てることと
    を含み、前記組み立てることは、
    Ｍ×Ｎ焦点面の前記イメージャアレイと、
    複数のレンズスタックのＭ×Ｎ光学系アレイであって、各レンズスタックは、焦点面に対応する、光学系アレイと
    を使用し、前記Ｍ×Ｎアレイカメラモジュールは、
    各レンズスタックおよびその対応する焦点面がカメラを規定し、かつ、
    前記アレイカメラモジュールが少なくとも１つのπフィルタ群を用いてパターン化されるように、カラーフィルタが前記アレイカメラモジュール内に実装される
    ように組み立てられ、前記少なくとも１つのπフィルタ群は、
    カメラの３×３アレイを備え、前記カメラの３×３アレイは、
    前記カメラの３×３アレイの中心における基準カメラと、
    前記カメラの３×３アレイの両側に位置する２つの赤色カラーカメラと、
    前記カメラの３×３アレイの両側に位置する２つの青色カラーカメラと、
    前記基準カメラを囲む４つの緑色カラーカメラと
    を備え、
    前記アレイカメラモジュールは、欠陥焦点面を含むカメラが緑色カラーカメラであるように、前記少なくとも１つのπフィルタ群を用いてパターン化される、方法。
17. 少なくとも１つのカラーフィルタは、前記イメージャアレイ上に実装されている、請求項１６に記載の少なくとも１つのπフィルタ群を用いてアレイカメラモジュールをパターン化する方法。
18. 少なくとも１つのカラーフィルタは、レンズスタック内に実装されている、請求項１６に記載の少なくとも１つのπフィルタ群を用いてアレイカメラモジュールをパターン化する方法。
19. 前記基準カメラは、緑色カラーカメラである、請求項１６に記載の少なくとも１つのπフィルタ群を用いてアレイカメラモジュールをパターン化する方法。
20. 前記基準カメラは、Ｂａｙｅｒフィルタを組み込むカメラ、赤外光を捕捉するように構成されたカメラ、および、紫外光を捕捉するように構成されたカメラのうちの１つである、請求項１６に記載の少なくとも１つのπフィルタ群を用いてアレイカメラモジュールをパターン化する方法。
21. アレイカメラモジュールであって、前記アレイカメラモジュールは、
    Ｍ×Ｎ焦点面を備えるイメージャアレイであって、各焦点面は、ピクセルの複数の列も形成するピクセルの複数の行を備え、各活動焦点面は、別の焦点面からのピクセルを含まない前記イメージャアレイの領域内に含まれる、イメージャアレイと、
    Ｍ×Ｎレンズスタックの光学系アレイであって、画像は、前記レンズスタックの光学系アレイ内の個別のレンズスタックによって、各焦点面上に形成される、レンズスタックの光学系アレイと
    を備え、前記イメージャアレイおよび前記レンズスタックの光学系アレイは、独立してシーンの画像を捕捉するように構成されるカメラのＭ×Ｎアレイを形成し、
    前記カメラのＭ×Ｎアレイ内の少なくとも１つの行は、少なくとも１つの赤色カラーカメラと、少なくとも１つの緑色カラーカメラと、少なくとも１つの青色カラーカメラとを備え、
    前記カメラのＭ×Ｎアレイ内の少なくとも１つの列は、少なくとも１つの赤色カラーカメラと、少なくとも１つの緑色カラーカメラと、少なくとも１つの青色カラーカメラとを備える、アレイカメラモジュール。
22. 前記赤色カラーカメラは、６２０ｎｍ〜７５０ｎｍの範囲内の波長を有する電磁波を含む画像データを捕捉するカメラであり、
    前記緑色カラーカメラは、４９５ｎｍ〜５７０ｎｍの範囲内の波長を有する電磁波を含む画像データを捕捉するカメラであり、
    前記青色カラーカメラは、４５０ｎｍ〜４９５ｎｍの範囲内の波長を有する電磁波を含む画像データを捕捉するカメラである、
    請求項２１に記載のアレイカメラモジュール。
23. 前記アレイカメラモジュール内の各カメラの光学系は、他のカメラの視野に対する各カメラの視野の各シフトがシーンの一意のサブピクセルシフトビューを含むように構成されるように、各カメラが他のカメラの視野に対してシフトされたシーンの視野を有するように構成されている、請求項２２に記載のアレイカメラモジュール。
24. ＭおよびＮはそれぞれ、２より大きく、ＭおよびＮのうちの少なくとも１つは、偶数であり、
    カラーフィルタは、前記アレイカメラモジュールが少なくとも１つのπフィルタ群を用いてパターン化されるように、前記アレイカメラモジュールにおけるカメラ内に実装され、前記少なくとも１つのπフィルタ群は、
    カメラの３×３アレイを備え、前記カメラの３×３アレイは、
    前記カメラの３×３アレイの中心における基準カメラと、
    前記カメラの３×３アレイの両側に位置する２つの赤色カラーカメラと、
    前記カメラの３×３アレイの両側に位置する２つの青色カラーカメラと、
    前記基準カメラを囲む４つの緑色カラーカメラと
    を備える、請求項２３に記載のアレイカメラモジュール。
25. 前記基準カメラを囲む４つの緑色カラーカメラのそれぞれは、前記カメラの３×３アレイの角位置に配置されている、請求項２４に記載のアレイカメラモジュール。
26. Ｍは、４であり、
    Ｎは、４であり、
    前記４×４アレイカメラモジュールのカメラの第１の行は、緑色カラーカメラ、青色カラーカメラ、緑色カラーカメラ、および、赤色カラーカメラをその順序で含み、
    前記４×４アレイカメラモジュールのカメラの第２の行は、赤色カラーカメラ、緑色カラーカメラ、赤色カラーカメラ、および、緑色カラーカメラをその順序で含み、
    前記４×４アレイカメラモジュールのカメラの第３の行は、緑色カラーカメラ、青色カラーカメラ、緑色カラーカメラ、および、青色カラーカメラをその順序で含み、
    前記４×４アレイカメラモジュールのカメラの第４の行は、青色カラーカメラ、緑色カラーカメラ、赤色カラーカメラ、および、緑色カラーカメラをその順序で含む、
    請求項２５に記載のアレイカメラモジュール。
27. Ｍは、４であり、
    Ｎは、４であり、
    前記４×４アレイカメラモジュールのカメラの第１の行は、赤色カラーカメラ、緑色カラーカメラ、青色カラーカメラ、および、緑色カラーカメラをその順序で含み、
    前記４×４アレイカメラモジュールのカメラの第２の行は、緑色カラーカメラ、赤色カラーカメラ、緑色カラーカメラ、および、赤色カラーカメラをその順序で含み、
    前記４×４アレイカメラモジュールのカメラの第３の行は、青色カラーカメラ、緑色カラーカメラ、青色カラーカメラ、および、緑色カラーカメラをその順序で含み、
    前記４×４アレイカメラモジュールのカメラの第４の行は、緑色カラーカメラ、赤色カラーカメラ、緑色カラーカメラ、および、青色カラーカメラをその順序で含む、
    請求項２５に記載のアレイカメラモジュール。
28. 前記少なくとも１つのπフィルタ群内の前記基準カメラは、緑色カラーカメラである、請求項２４に記載のアレイカメラモジュール。
29. 前記少なくとも１つのπフィルタ群内の前記基準カメラは、Ｂａｙｅｒフィルタを組み込むカメラである、請求項２４に記載のアレイカメラモジュール。
30. 前記基準カメラは、Ｂａｙｅｒフィルタを組み込むカメラ、赤外光を捕捉するように構成されたカメラ、および、紫外光を捕捉するように構成されたカメラのうちの１つである、請求項２４に記載のアレイカメラモジュール。
31. 前記２つの赤色カラーカメラのそれぞれは、前記カメラの３×３アレイの角位置に位置し、前記２つの青色カラーカメラのそれぞれは、前記カメラの３×３アレイの角位置に位置する、請求項２４に記載のアレイカメラモジュール。
32. 少なくとも１つのカラーフィルタは、前記イメージャアレイ上に実装されている、請求項２４に記載のアレイカメラモジュール。
33. 少なくとも１つのカラーフィルタは、レンズスタック上に実装されている、請求項２４に記載のアレイカメラモジュール。
34. ３×３アレイカメラモジュールであって、前記３×３アレイカメラモジュールは、
    焦点面の３×３配列を備える３×３イメージャアレイであって、各焦点面は、ピクセルの複数の列も形成するピクセルの複数の行を備え、各活動焦点面は、別の焦点面からのピクセルを含まない前記イメージャアレイの領域内に含まれる、３×３イメージャアレイと、
    複数のレンズスタックの３×３光学系アレイであって、画像は、前記複数のレンズスタックの光学系アレイ内の個別のレンズスタックによって、各焦点面上に形成される、３×３光学系アレイと
    を備え、前記イメージャアレイおよび前記複数のレンズスタックの光学系アレイは、シーンの画像を独立して捕捉するように構成されるカメラの３×３アレイを形成し、
    前記カメラの３×３アレイは、
    前記カメラの３×３アレイの中心における基準カメラと、
    前記カメラの３×３アレイの両側に位置する２つの赤色カラーカメラと、
    前記カメラの３×３アレイの両側に位置する２つの青色カラーカメラと、
    ４つの緑色カラーカメラであって、そのそれぞれは、前記カメラの３×３アレイの角位置に位置する、４つの緑色カラーカメラと
    を備え、前記カラーカメラのそれぞれは、カラーフィルタを使用して達成される、３×３アレイカメラモジュール。
35. 少なくとも１つのカラーフィルタは、前記イメージャアレイ上に実装されることにより、カラーカメラを達成する、請求項３４に記載の３×３アレイカメラモジュール。
36. 少なくとも１つのカラーフィルタは、レンズスタック内に実装されることにより、カラーカメラを達成する、請求項３４に記載の３×３アレイカメラモジュール。
37. 前記基準カメラは、緑色カラーカメラである、請求項３４に記載の３×３アレイカメラモジュール。
38. 前記基準カメラは、Ｂａｙｅｒフィルタを組み込むカメラ、赤外光を捕捉するように構成されたカメラ、および、紫外光を捕捉するように構成されたカメラのうちの１つである、請求項３４に記載の３×３アレイカメラモジュール。
39. アレイカメラモジュールであって、前記アレイカメラモジュールは、
    Ｍ×Ｎ焦点面を備えるイメージャアレイであって、各焦点面は、ピクセルの複数の列も形成するピクセルの複数の行を備え、各活動焦点面は、別の焦点面からのピクセルを含まない前記イメージャアレイの領域内に含まれる、イメージャアレイと、
    Ｍ×Ｎレンズスタックの光学系アレイであって、画像は、前記レンズスタックの光学系アレイ内の個別のレンズスタックによって、各焦点面上に形成される、レンズスタックの光学系アレイと
    を備え、前記イメージャアレイおよび前記レンズスタックの光学系アレイは、シーンの画像を独立して捕捉するように構成されるカメラのＭ×Ｎアレイを形成し、
    前記カメラのＭ×Ｎアレイ内の１行または１列の少なくともいずれかは、少なくとも１つの赤色カラーカメラと、少なくとも１つの緑色カラーカメラと、少なくとも１つの青色カラーカメラとを備える、アレイカメラモジュール。
40. Ｍは、３であり、
    Ｎは、３であり、
    前記３×３アレイカメラモジュールのカメラの第１の行は、青色カラーカメラ、緑色カラーカメラ、および、緑色カラーカメラをその順序で含み、
    前記３×３アレイカメラモジュールのカメラの第２の行は、赤色カラーカメラ、緑色カラーカメラ、および、赤色カラーカメラをその順序で含み、
    前記３×３アレイカメラモジュールのカメラの第３の行は、緑色カラーカメラ、緑色カラーカメラ、および、青色カラーカメラをその順序で含む、
    請求項３９に記載のアレイカメラモジュール。
41. Ｍは、３であり、
    Ｎは、３であり、
    前記３×３アレイカメラモジュールのカメラの第１の行は、赤色カラーカメラ、緑色カラーカメラ、および、緑色カラーカメラをその順序で含み、
    前記３×３アレイカメラモジュールのカメラの第２の行は、青色カラーカメラ、緑色カラーカメラ、および、青色カラーカメラをその順序で含み、
    前記３×３アレイカメラモジュールのカメラの第３の行は、緑色カラーカメラ、緑色カラーカメラ、および、赤色カラーカメラをその順序で含む、
    請求項３９に記載のアレイカメラモジュール。
42. アレイカメラであって、前記アレイカメラは、
    アレイカメラモジュールであって、前記アレイカメラモジュールは、
    Ｍ×Ｎ焦点面を備えるイメージャアレイであって、各焦点面は、ピクセルの複数の列も形成するピクセルの複数の行を備え、各活動焦点面は、別の焦点面からのピクセルを含まない前記イメージャアレイの領域内に含まれる、イメージャアレイと、
    Ｍ×Ｎレンズスタックの光学系アレイであって、画像は、前記レンズスタックの光学系アレイ内の個別のレンズスタックによって、各焦点面上に形成される、レンズスタックの光学系アレイと
    を備え、前記イメージャアレイおよび前記レンズスタックの光学系アレイは、シーンの画像を独立して捕捉するように構成されるカメラのＭ×Ｎアレイを形成し、前記カメラのＭ×Ｎアレイ内の少なくとも１つの行は、少なくとも１つの赤色カラーカメラと、少なくとも１つの緑色カラーカメラと、少なくとも１つの青色カラーカメラとを備え、前記カメラのＭ×Ｎアレイ内の少なくとも１つの列は、少なくとも１つの赤色カラーカメラと、少なくとも１つの緑色カラーカメラと、少なくとも１つの青色カラーカメラとを備える、アレイカメラモジュールと、
    画像処理パイプラインを備えるプロセッサと
    を備え、前記画像処理パイプラインは、
    視差検出モジュールと、
    超解像モジュールと
    を備え、前記視差検出モジュールは、前記カメラモジュールから、シーンの基準低解像度画像と、前記シーンの少なくとも１つの代替ビュー画像とを得るように構成され、
    前記視差検出モジュールは、前記基準画像と前記少なくとも１つの代替ビュー画像とを比較することにより、前記基準画像に対する奥行マップおよびオクルージョンマップを決定するように構成され、
    前記超解像モジュールは、少なくとも、前記基準画像、前記奥行マップ、前記オクルージョンマップ、および、前記少なくとも１つの代替ビュー画像を使用して、高解像度画像を合成するように構成されている、
    アレイカメラ。
    

Images