JP2018536315A - マスクレス位相検出オートフォーカス - Google Patents

Abstract

例示的な画像キャプチャデバイスは、ターゲットシーンからの光を感知するための画像センサと、ダイオードの上に配置され、ダイオードの１つの上に各々が配置されたカラーフィルタを含むカラーフィルタアレイと、ベイヤーパターンで配置されたいくつかのカラーフィルタの上に配置されたシングルダイオードマイクロレンズと、カラーフィルタの下の対応する隣接するダイオードに同じ波長の光を通過させる少なくとも２つの隣接するカラーフィルタの上に各々が配置されたマルチダイオードマイクロレンズとを含み、各マルチダイオードマイクロレンズは、第１の方向において入射する光が隣接するダイオードの１つに収集され、第２の方向において入射する光が隣接するダイオードの別の方に収集されるように形成される。

Description

本明細書で開示されるシステムおよび方法は、位相検出オートフォーカスに関し、より具体的には、マスクレス位相検出オートフォーカスセンサおよび処理技法に関する。

一部の画像キャプチャデバイスは、オートフォーカスを実行するために、位相差検出センサ（「ピクセル」と呼ばれることもある）を使用する。像面（ｏｎ−ｓｅｎｓｏｒ）位相差検出は、典型的には、左右のピクセルの反復するまばらなパターンに配置された位相差検出ピクセルを撮像ピクセル間に散在させることによって機能する。システムは、たとえば、左ピクセルとその近傍の右ピクセルとの間の、異なる位相差検出ピクセルによって生成された信号間の位相差を検出する。検出された位相差は、オートフォーカスを実行するために使用され得る。

位相検出オートフォーカスは、コントラストベースのオートフォーカスよりも高速に動作するが、現在の実装形態は、左位相検出ピクセルおよび右位相検出ピクセルを作成するために撮像センサ上に金属マスクを配置し、その結果、マスクされたピクセルに届く光が少なくなる。典型的な撮像センサは、各ピクセル上に光を集束させるために個々のピクセル上に形成されたマイクロレンズを有し、マイクロレンズ上に配置された位相検出オートフォーカスマスクは、位相検出ピクセルのマイクロレンズに入射する光を約５０％減少させる。位相検出ピクセルの出力は、通常の画像キャプチャピクセルの出力よりも低い輝度を有するので、位相差検出ピクセルは、補正を必要とする、キャプチャされた画像内の顕著なアーティファクトを作成する。位相検出ピクセルを撮像ピクセル中に個別に配置することによって、システムは、位相検出ピクセルの値を補間することができる。

マスクされたピクセルは、対で使用される。センサが合焦していないとき、位相検出ピクセルマスクは、入射光をわずかにシフトさせる。それらの相対的シフトと組み合わされた位相検出ピクセル間の距離は、撮像デバイスの光学アセンブリがシーンを合焦させるためにレンズをどれくらい移動させる必要があるのかの決定を与えるために畳み込まれ得る。

一般に、本開示は、位相差情報を提供するために画像センサ内の隣接するピクセルまたは感知要素（たとえば、フォトダイオード）上に延在するように形成されたマイクロレンズを使用することによる、マスクレス位相検出ピクセルに関する。本明細書で説明する設計によれば、マルチピクセルマイクロレンズと対応するダイオードとの間に配置されるカラーフィルタは、同じ波長の光を通過させるように選択され得る。一実施形態では、マルチピクセルマイクロレンズと対応するダイオードとの間に配置されるカラーフィルタは、緑色光を通過させるように選択され得る。しかしながら、シングルピクセルマイクロレンズと対応するダイオードとの間に配置されるカラーフィルタは、標準的なベイヤーパターンに従い得る。

１つの技術革新は、ターゲットシーンからの光を感知するための複数のダイオードと、複数のダイオードの上に配置されたカラーフィルタアレイであって、カラーフィルタアレイが、複数のダイオードのうちの１つの上に各々が配置された複数のカラーフィルタを含む、カラーフィルタアレイと、複数のカラーフィルタのうちの１つの上に各々が配置された複数のシングルダイオードマイクロレンズであって、複数のカラーフィルタがベイヤーパターンで配置された複数のシングルダイオードマイクロレンズに対応する、複数のシングルダイオードマイクロレンズと、位相差検出のための複数のマルチダイオードマイクロレンズであって、複数のマルチダイオードマイクロレンズの各マルチダイオードマイクロレンズが複数のカラーフィルタのうちの少なくとも２つの隣接するカラーフィルタの上に配置され、少なくとも２つの隣接するカラーフィルタの各々が同じ波長の光を通過させるように構成され、複数のマルチダイオードマイクロレンズの各マルチダイオードマイクロレンズが、第１の方向において入射する光が少なくとも２つの隣接するダイオードの第１のダイオード内に収集され、第２の方向において入射する光が少なくとも２つの隣接するダイオードの第２のダイオード内に収集されるように形成された、複数のマルチダイオードマイクロレンズと、少なくとも２つの隣接するダイオードから受信した値を使用して位相検出オートフォーカスを実行するように構成された画像信号プロセッサとを含む画像センサを備える画像キャプチャデバイスを含む。

以下は、そのような画像キャプチャデバイスのいくつかの特徴および実施形態の非限定的な例である。たとえば、複数のマルチダイオードマイクロレンズの各々について、少なくとも２つの隣接するカラーフィルタが通過させるように構成された光の波長は、緑色光に対応し得る。複数のマルチダイオードマイクロレンズの各々は、２つの隣接するカラーフィルタおよび関連するダイオードの上に、またはカラーフィルタの２×２クラスタおよび関連するダイオードの上に配置され得る。いくつかの例では、位相検出オートフォーカスを実行するために、画像信号プロセッサは、第１のダイオードから、第１の方向において画像センサに入射する光を表す第１の画像データを受信し、第２のダイオードから、第２の方向において画像センサに入射する光を表す第２の画像データを受信し、第１の画像データと第２の画像データとの間の差異を計算し、合焦命令を生成するために差異を使用するようにさらに構成され得る。画像キャプチャデバイスは、画像センサの上に配置された可動レンズアセンブリをさらに含むことができ、合焦命令は、可動レンズアセンブリを所望の合焦位置に移動させるための距離および方向を含むことができる。画像信号プロセッサは、画像センサに、所望の合焦位置に位置する可動レンズアセンブリを用いて画像データをキャプチャさせ、画像データに少なくとも部分的に基づいてターゲットシーンの最終画像を構成させる命令を生成するようにさらに構成され得る。画像キャプチャデバイスは、画像センサの上に配置されたレンズアセンブリをさらに含むことができ、画像センサは、レンズアセンブリに対して移動可能であり、合焦命令は、画像センサを所望の合焦位置に移動させるための距離および方向を含むことができる。複数のシングルダイオードマイクロレンズおよび複数のマルチダイオードマイクロレンズは繰り返しパターンで配置され、前記複数のマルチダイオードマイクロレンズの各々が、前記繰り返しパターンの複数のオートフォーカスポイントのうちの１つに位置し得る。

別の技術革新は、ターゲットシーンからの光を感知するための複数のダイオードと、複数のダイオードの上に配置されたカラーフィルタアレイであって、カラーフィルタアレイが複数のダイオードのうちの１つの上に各々が配置された複数のカラーフィルタを含む、カラーフィルタアレイと、カラーフィルタアレイの上に配置された複数のマイクロレンズとを含む画像センサを含み、複数のマイクロレンズが、複数のカラーフィルタのうちの１つの上に各々が配置された複数のシングルダイオードマイクロレンズを含む第１のサブセットであって、複数のカラーフィルタのカラーフィルタがベイヤーパターンで配置された複数のシングルダイオードマイクロレンズに対応する、第１のサブセットと、複数のマルチダイオードマイクロレンズとを備え、複数のマルチダイオードマイクロレンズの各マルチダイオードマイクロレンズが複数のカラーフィルタのうちの少なくとも２つの隣接するカラーフィルタの上に配置され、少なくとも２つの隣接するカラーフィルタの各々が同じ波長の光を通過させるように構成され、複数のマルチダイオードマイクロレンズの各マルチダイオードマイクロレンズが、第１の方向において入射する光が少なくとも２つの隣接するダイオードの第１のダイオード内に収集され、第２の方向において入射する光が少なくとも２つの隣接するダイオードの第２のダイオード内に収集されるように形成される。

以下は、そのような画像センサのいくつかの特徴および実施形態の非限定的な例である。たとえば、少なくとも２つの隣接するカラーフィルタが波長を通過させるように構成された光の波長は、緑色光に対応し得る。複数のマルチダイオードマイクロレンズの少なくとも１つのマルチダイオードマイクロレンズは、複数のダイオードのうちのダイオードの２×２クラスタに光を通過させるようにサイズが決められた円形周辺部を有する平凸レンズであり得る。複数のマルチダイオードマイクロレンズの少なくとも１つのマルチダイオードマイクロレンズは、複数のダイオードのうちのダイオードの２×１クラスタに光を通過させるようにサイズが決められた楕円形周辺部の平凸レンズであり得る。複数のダイオードは、半導体基板内に形成された複数のフォトダイオードのアレイを形成することができ、複数のフォトダイオードの各々は、複数のマイクロレンズのうちの１つから光を受光することができる。

別の技術革新は、最終画像を構築するためのプロセスを実行するための命令を用いて構成された画像信号プロセッサを含み、プロセスは、画像センサの複数のダイオードから画像データを受信することであって、画像データが、ベイヤーパターンで配置された複数のカラーフィルタに関連する複数のダイオードの第１のサブセットからの複数の撮像ピクセル値と、複数の位相検出ピクセル値の各々が緑色ピクセル値を含むようにベイヤーパターンから逸脱する複数のカラーフィルタに関連する複数のダイオードの第２のサブセットからの複数の位相検出ピクセル値とを含み、複数のダイオードの第２のサブセットが隣接するダイオードの複数のグループに配置され、複数のグループの各グループが、第１の方向において入射する光がグループの第１のダイオード内に収集され、第２の方向において入射する光がグループの第２のダイオード内に収集されるように形成された対応するマイクロレンズから光を受光する、ことと、隣接するダイオードの複数のグループの各々について、グループの第１のダイオードの位置に対応する単一緑色ピクセル値を計算することと、隣接するダイオードの複数のグループの各々について、グループの第２のダイオードの位置に対応する欠損青色または赤色ピクセル値を計算することと、複数の撮像ピクセル値と、計算された欠損青色または赤色ピクセル値と、計算された単一緑色ピクセル値とに少なくとも部分的に基づいて最終画像を構築することとを含む。

以下は、そのような画像信号プロセッサのいくつかの特徴および実施形態の非限定的な例である。たとえば、複数のダイオードのうちの１つのダイオードから受信された複数の位相検出ピクセル値の位相検出ピクセル値は、１つのダイオードに隣接する複数のダイオードのうちの他のダイオードから受信された撮像ピクセル値の輝度値と同様の輝度値を有する場合がある。最終画像を構築することは、少なくとも部分的にデモザイク処理によって行われ得る。隣接するダイオードの複数のグループの各々について単一緑色ピクセル値を計算することは、グループ内の各ダイオードから受信された値の値を合計することを含み得る。隣接するダイオードの複数のグループの各々について欠損青色または赤色ピクセル値を計算することは、ベイヤーパターンに基づいて、第２のダイオードが青色ピクセル位置または赤色ピクセル位置のいずれに対応するのかを識別することを含み得る。第２のダイオードが青色ピクセルに対応するとき、欠損青色または赤色ピクセル値を計算することは、複数の撮像ピクセル値から、第２のダイオードの青色ピクセル位置の所定の近傍内の複数の青色ピクセル値を識別することと、複数の青色ピクセル値に少なくとも部分的に基づいて、第２のダイオードに関する青色ピクセル値を補間することとを含む。所定の近傍は、その中心に第２のダイオードを有する５×５クラスタ内のダイオードから受信された値を含み得る。第２のダイオードが赤色ピクセルに対応するとき、欠損青色または赤色ピクセル値を計算することは、複数の撮像ピクセル値から、第２のダイオードの赤色ピクセル位置の所定の近傍内の複数の赤色ピクセル値を識別することと、複数の赤色ピクセル値に少なくとも部分的に基づいて、第２のダイオードに関する赤色ピクセル値を補間することとを含み得る。

別の技術革新は、ターゲットシーンからの光を感知するための複数の感知手段と、複数の感知手段の上に配置された複数のカラーフィルタ手段であって、複数のカラーフィルタ手段の各々が複数の感知手段のうちの１つの上に配置された、複数のカラーフィルタ手段と、複数のカラーフィルタ手段のうちの１つの上に各々が配置された複数の第１の光合焦手段であって、複数のカラーフィルタ手段の第１のサブセットがベイヤーパターンで配置された複数の第１の光合焦手段に対応する、複数の第１の光合焦手段と、位相差検出情報を生成するための複数の第２の光合焦手段であって、複数の第２の光合焦手段の各々が複数のカラーフィルタ手段のうちの少なくとも２つの隣接するカラーフィルタ手段の上に配置され、少なくとも２つの隣接するカラーフィルタ手段の各々が同じ波長の光を通過させるように構成され、複数の第２の光合焦手段の各々が、第１の方向において入射する光が少なくとも２つの隣接する感知手段の第１の感知手段内に収集され、第２の方向において入射する光が少なくとも２つの隣接する感知手段の第２の感知手段内に収集されるように形成された、複数の第２の光合焦手段とを備える画像キャプチャ手段と、複数の第２の光合焦手段のうちの１つに対応する少なくとも２つの隣接する感知手段から受信された値を使用して、位相検出オートフォーカスを実行するように構成された位相検出手段とを含む画像キャプチャ装置を含む。

以下は、そのような画像キャプチャ装置のいくつかの特徴および実施形態の非限定的な例である。たとえば、画像キャプチャ装置は、ターゲットシーンの合焦画像を生成するために、画像信号処理手段から受信されたデータに少なくとも部分的に基づいて位置決め可能な主合焦手段を含むことができる。主合焦手段は、複数のカラーフィルタ手段の上に配置された可動レンズアセンブリを含むことができる。主合焦手段は、複数の感知手段を移動させるための機構を含むことができる。画像キャプチャ装置は、複数の第２の光合焦手段から光を受光する一部の感知手段に関する欠損カラー値を計算するための補間手段を含むことができる。

開示される態様について、開示される態様を説明するために提供され、開示される態様を限定するために提供されるのではない、同様の名称が同様の要素を示す、添付図面および付録に関連して説明する。

本明細書で説明する例示的なマルチダイオードマイクロレンズの概略図である。 一対の位相検出ダイオードに入射する光の例示的な光線トレースを示す図である。 一対の位相検出ダイオードに入射する光の例示的な光線トレースを示す図である。 一対の位相検出ダイオードに入射する光の例示的な光線トレースを示す図である。 図１Ａの例示的なマルチダイオードマイクロレンズを使用する位相検出の一例を示す概略図である。 本明細書で説明する位相検出画像センサのためのカラーフィルタ、シングルダイオードマイクロレンズ、およびマルチダイオードマイクロレンズの例示的な配置を示す図である。 図３Ａのマルチダイオードマイクロレンズの下のセンサに対応する値を決定するための補間の一例の表現を示す図である。 図３Ａのマルチダイオードマイクロレンズの下の値に関する補間の別の例の表現を示す図である。 位相検出画像センサのためのカラーフィルタ、シングルダイオードマイクロレンズ、およびマルチダイオードマイクロレンズの別の例示的な配置を示す図である。 位相検出画像センサのためのカラーフィルタおよびマルチダイオードマイクロレンズの例示的な配置を示す図である。 マルチダイオードマイクロレンズを有するセンサを使用する例示的な位相検出オートフォーカスプロセスの高レベルな概要を示す図である。 位相検出オートフォーカスデバイスおよび技法を備える撮像システムの一例を示す概略ブロック図である。

序文
本開示の実施形態は、画像センサ内の隣接するダイオードの上に延在するように形成されたマイクロレンズ（本明細書では、マルチピクセルマイクロレンズまたはマルチダイオードマイクロレンズと呼ぶ）を使用することによるマスクレス位相検出ピクセルのためのシステムおよび技法に関する。マルチピクセルマイクロレンズの下の位相差検出ピクセルは、画像合焦のシフト方向（デフォーカス方向）およびシフト量（デフォーカス量）を示す位相差信号を取得するために設けられる。

そのようなマルチピクセルマイクロレンズを使用することは、輝度が低下するマスクされた位相検出ピクセルとは対照的に、位相検出ピクセルの完全な輝度、すなわち、隣接する撮像ピクセルと比較して同様の輝度を可能にする。これは、マスクされた位相検出ピクセルを有するセンサを使用して生成された画像と比較して少ないアーティファクトを有する最終画像を生成することができ、低光度設定における位相検出オートフォーカスのよりよい性能を生じることもできる。そのようなマルチピクセルマイクロレンズはまた、互いに非常に近接した、たとえば、直接隣接した左および右位相検出ピクセルを提供し、最終画像内のアーティファクトを低減するために離間された従来のマスクされた位相検出ピクセルよりも正確な位相検出情報を提供する。

本明細書で説明する設計によれば、マルチピクセルマイクロレンズと対応するダイオードとの間に配置されたカラーフィルタは、同じ波長の光を通過させるように選択され得る。シングルピクセルマイクロレンズと対応するダイオードとの間に配置されたカラーフィルタは、標準的なベイヤーパターンに従い得る。各マルチピクセルマイクロレンズの「下」に単一の色のみを有することによって、ピクセルカラー値は、マルチピクセルマイクロレンズの下に複数のカラーフィルタの色を有するセンサと比較してより正確に計算され得る。一実施形態では、マルチピクセルマイクロレンズと対応するダイオードとの間に配置されるカラーフィルタは、緑色光を通過させるように選択され得る。したがって、緑色ピクセルは、人間の視覚にとって特に重要であるので、緑色補正は、些細なものであり、結果として得られる画像データは、不完全なまたは欠損した緑色ピクセル情報を有することによって、緑色ピクセル情報を少しも失わない。

マルチピクセルマイクロレンズの下のカラーフィルタは、すべて同じ色、たとえば、緑色の光を通過させるので、これらの緑色カラーフィルタのうちのいくつかは、ベイヤーパターンから逸脱し、したがって、そうでなければベイヤーパターンに従って特定の位置に存在する「欠損」カラーフィルタを生成する。いくつかの実施形態では、画像データの青色チャネルは、人間の視覚に関する品質にとって最も重要ではないので、マルチピクセルマイクロレンズの下の緑色カラーフィルタによって置き換えられる欠損カラーフィルタは、青色カラーフィルタであり得る。さらに、最小の（すなわち、マルチピクセルマイクロレンズの位置における）修正のみを標準的なベイヤーパターンに与えることによって、結果として生じる画像データは、従来のデモザイク化アルゴリズムで使用可能になる。欠損カラー値は、補間され得、補間された値は、最終画像を構築するために使用され得る。これは、ベイヤーパターンに基づいて、欠損色が青色ピクセル位置または赤色ピクセル位置のいずれに対応するのかを識別することを含み得る。

マルチピクセルマイクロレンズは、行もしくは列内の２つの隣接するピクセルの上に形成され得、または、様々な実装形態において４つの隣接するピクセルの２×２グループの上に形成され得る。２×２ピクセルのマイクロレンズを使用することは、複数の方向をチェックするオートフォーカスアルゴリズムを可能にすることができ、すべての方向におけるエッジに対する堅牢性を改善するために、左／右、上／下、および対角線を作成するように組み合わせることができる。個々のマイクロレンズ、２ピクセルのマイクロレンズ、および２×２ピクセルのマイクロレンズを配置するために、様々なパターンが使用され得る。いくつかの実施形態では、２×１のマイクロレンズは、画像センサ内のダイオードのサイズに応じて、約２μｍ×１μｍであり得る。いくつかの実施形態では、２×２のマイクロレンズは、画像センサ内のダイオードのサイズに応じて、約２μｍ×２μｍであり得る。

ピクセルまたはカラーフィルタを説明するために本明細書で使用される赤色、緑色、および青色は、人間の目の色受容体におおよそ従う波長範囲を指す。当業者が認識するように、光の色（たとえば、赤色、緑色、および青色の光）を規定する正確な開始波長および終了波長（または、電磁スペクトルの部分）は、典型的には単一の波長であるように定義されない。各カラーフィルタは、可視スペクトルにおいてスペクトル応答関数を有することができ、画像センサの一部の上のカラーフィルタの配置からもたらされる各カラーチャネルは、典型的な人間の応答関数を有することができる。画像センサのフィルタ応答は、だいたい同じであるが、センサごとに変化する場合がある。本明細書で説明するように位相検出オートフォーカス情報をキャプチャするために使用される画像センサは、カラーフィルタアレイ（ＣＦＡ：ｃｏｌｏｒ ｆｉｌｔｅｒ ａｒｒａｙ）またはカラーフィルタモザイク（ＣＦＭ：ｃｏｌｏｒ ｆｉｌｔｅｒ ｍｏｓａｉｃ）と組み合わせて使用され得る。そのようなカラーフィルタは、分割された光を画像センサ上の専用の青色、緑色、または青色のフォトダイオード受容体に向けるように、可視範囲内のすべての入射光を、赤色、緑色、および青色のカテゴリに分割する。そのように、カラーフィルタの波長範囲は、キャプチャされた画像内の各カラーチャネルによって表される波長範囲を決定し得る。したがって、画像の赤色チャネルは、カラーフィルタの赤色波長領域に対応することができ、様々な実施形態において、約５７０ｎｍから約７６０ｎｍまでの範囲のいくらかの黄色およびオレンジ色の光を含む場合がある。画像の緑色チャネルは、カラーフィルタの緑色波長領域に対応することができ、様々な実施形態において、約５７０ｎｍから約４８０ｎｍの範囲のいくらかの黄色の光を含む場合がある。画像の青色チャネルは、カラーフィルタの青色波長領域に対応することができ、様々な実施形態において、約４９０ｎｍから約４００ｎｍの範囲のいくらかの紫色の光を含む場合がある。

本明細書では、主に位相検出オートフォーカスの文脈において論じたが、本明細書で説明する位相検出画像センサおよび技法は、他の文脈、たとえば、立体画像対またはセットの生成において使用され得る。

様々な実施形態について、例示の目的のための図面と併せて以下に説明する。開示されている概念の多くの他の実装形態が可能であり、開示されている実装形態によって様々な利点を達成することができることは諒解されたい。参照のため、および様々なセクションを見つけるのを助けるために、本明細書には見出しが含まれる。これらの見出しは、それに関して説明される概念の範囲を限定することを意図されたものではない。そのような概念は、明細書全体を通じて適用可能性を有する場合がある。

例示的な位相検出マイクロレンズおよびカラーフィルタの配置の概要
図１Ａは、本明細書で説明するマルチダイオードマイクロレンズ１１０を含む例示的なセンサ部分１００の概略図を示す。センサ部分は、シングルダイオードマイクロレンズ１０５Ａ、１０５Ｂと、マルチダイオードマイクロレンズ１１０と、カラーフィルタ１１５Ａ〜１１５Ｄと、フォトダイオード（「ダイオード」）１２０Ａ〜１２０Ｄとを含む。マルチダイオードマイクロレンズ１１０は、ターゲットシーンからの入射光が、マルチダイオードマイクロレンズ１１０によって覆われたダイオード１２０Ｂ、１２０Ｃに入射する前に、マルチダイオードマイクロレンズ１１０を通って伝播するようにサイズが決められ配置される。

ダイオードは、たとえば、相補型金属酸化膜半導体（ＣＭＯＳ）画像センサ内の半導体基板内に形成されたフォトダイオードであり得る。本明細書で使用される場合、ダイオードは、任意の材料、半導体、センサ素子、または入射光を電流に変換する他のデバイスの単一のユニットを指す。本明細書で使用される「ピクセル」という用語は、カラーフィルタまたはマイクロレンズなどの隣接する光学素子によるその感知機能の文脈において単一のダイオードを指す場合がある。したがって、「ピクセル」は一般に、表示画素を指す場合があるが、本明細書で使用される「ピクセル」は、光を受光し、ディスプレイ上にレンダリングされた場合、センサ（または複数の他のセンサ）によってキャプチャされた画像内の点として表示され得る信号を生成するセンサ（たとえば、フォトダイオード）を指す場合がある。たとえばＣＭＯＳまたは電荷結合（ＣＣＤ）デバイス内のセンサのアレイの個々のユニットまたは感知要素は、センセルと呼ばれる場合もある。

カラーフィルタ１１５Ａ〜１１５Ｄは、波長選択性通過フィルタとして機能し、可視範囲内の入射光を、赤色範囲、緑色範囲、および青色範囲（図全体にわたって使用されるＲ、Ｇ、およびＢの表記によって示される）に分割する。光は、特定の選択された波長のみがカラーフィルタ１１５Ａ〜１１５Ｄを通過することを可能にすることによって「分割」される。分割された光は、画像センサ上の専用の赤色、緑色、または青色のダイオード１２０Ａ〜１２０Ｄによって受光される。赤色、青色、および緑色のカラーフィルタが一般に使用されるが、他の実施形態では、カラーフィルタは、たとえば、紫外線、赤外線、または近赤外線の通過フィルタを含む、キャプチャされた画像データのカラーチャネル要件に従って変化し得る。

各シングルダイオードマイクロレンズ１０５Ａ、１０５Ｂは、単一カラーフィルタ１１５Ａ、１１５Ｄおよび単一ダイオード１２０Ａ、１２０Ｄの上に配置される。したがって、ダイオード１２０Ａ、１２０Ｄは、撮像ピクセル情報を提供する。マルチダイオードマイクロレンズ１１０は、２つの隣接するカラーフィルタ１１５Ｂ、１１５Ｃおよび２つの対応する隣接するダイオード１２０Ｂ、１２０Ｃの上に配置される。したがって、ダイオード１２０Ｂ、１２０Ｃは、第１の方向においてマルチダイオードマイクロレンズ１１０に入射する光を受光するダイオード１２０Ｂと、第２の方向においてマルチダイオードマイクロレンズ１１０に入射する光を受光するダイオード１２０Ｃによって、位相検出ピクセル情報を提供する。いくつかの実施形態では、マルチダイオードマイクロレンズ１１０は、円形周辺部を有する平凸レンズであり得、少なくとも１つのマルチダイオードマイクロレンズは、複数のダイオードのうちのダイオードの２×２クラスタに光を通過させるようにサイズが決められる。他の実施形態では、マルチダイオードマイクロレンズ１１０は、楕円形周辺部を有する平凸レンズであり得、少なくとも１つのマルチダイオードマイクロレンズは、複数のダイオードのうちのダイオードの２×１クラスタに光を通過させるようにサイズが決められる。

本明細書で使用される場合、「上（ｏｖｅｒ）」および「上（ａｂｏｖｅ）」は、ターゲットシーンから入射する光が別の構造に到達する（または入射する）前に構造を通って伝播するような構造（たとえば、カラーフィルタまたはレンズ）の位置を指す。例示するために、マイクロレンズアレイ１０５Ａ、１１０、１０５Ｂは、ダイオード１２０Ａ〜１２０Ｄの上に配置されたカラーフィルタアレイ１１５Ａ〜１１５Ｄの上に配置される。したがって、ターゲットシーンからの光は、マイクロレンズアレイ１０５Ａ、１１０、１０５Ｂを通過し、次いで、カラーフィルタアレイ１１５Ａ〜１１５Ｄを通過し、最終的に、ダイオード１２０Ａ〜１２０Ｄに入射する。

各フォトダイオード１２０Ａ〜１２０Ｄの上のマイクロレンズの配置は、光を能動的検出器領域上に再配向し、集束させる。各マイクロレンズは、レンズ材料が凝固するカラーフィルタ１１５Ａ〜１１５Ｄ上に液状のレンズ材料を滴下することによって形成され得る。他の実施形態では、半導体のような技法を使用してマイクロレンズの１次元または２次元のアレイを作成するために、ウエハレベルの光学系が使用され得、アレイ内のマイクロレンズの第１のサブセットは、シングルダイオードマイクロレンズを含み、アレイ内のマイクロレンズの第２のサブセットは、マルチダイオードマイクロレンズを含む。シングルダイオードマイクロレンズ１０５Ａ、１０５Ｂおよびマルチダイオードマイクロレンズ１１０によって示されるように、各マイクロレンズは、光を屈折させるために１つの平坦な表面と１つの球面状凸面とを有する単一の要素であり得る。マイクロレンズの他の実施形態は、非球面を使用する場合があり、いくつかの実施形態は、それらの設計性能を達成するために光学材料のいくつかの層を使用する場合がある。

シングルダイオードマイクロレンズ１０５Ａ、１０５Ｂの下のカラーフィルタ１１５Ａ、１１５Ｄは、いくつかの実施形態では、ベイヤーパターンに従って配置され得る。したがって、カラーフィルタ１１５Ａは、赤色カラーフィルタまたは青色カラーフィルタのいずれかであり、カラーフィルタ１１５Ｄは、緑色カラーフィルタである。シングルダイオードマイクロレンズの下にダイオード１２０Ａ、１２０Ｂ、１２０Ｄおよび他のダイオードのベイヤーパターンを維持することは、計算上の利益を提供することができ、たとえば、キャプチャされた画像データに対する広範なデモザイク化技法の使用を可能にする。ベイヤーパターンは、光センサの矩形グリッド上にＲＧＢカラーフィルタを配置するための特定のパターンである。ベイヤーパターンのカラーフィルタの特定の配置は、カラー画像を作成するために、デジタルカメラ、カムコーダ、およびスキャナにおいて使用される大部分のシングルチップデジタル画像センサにおいて使用される。ベイヤーパターンは、５０％緑色、２５％赤色、および２５％青色であり、反復する赤色および緑色のカラーフィルタの行が反復する青色および緑色のカラーフィルタと交互に並ぶ。

シングルダイオードマイクロレンズ１０５Ａ、１０５Ｂがその上に配置されるカラーフィルタは、本明細書では、ベイヤーパターン配置の文脈において説明されているが、そのようなカラーフィルタは、５０％緑色カラーフィルタ、２５％青色カラーフィルタ、および２５％赤色カラーフィルタの他のパターン、青色もしくは赤色のカラーフィルタよりも多くの緑色カラーフィルタを含む他のパターン、または青色もしくは赤色のカラーフィルタのほぼ２倍の緑色カラーフィルタを有する他のパターンで配置され得る。カラーフィルタはまた、いくつかの実施形態では、他のカラーフィルタパターン、たとえば、全整色ダイオード（すべての可視波長に感応する）および／または可視スペクトル外の光を通過させるためのカラーフィルタと共に使用するように設計されたカラーフィルタパターンに従って配置され得る。

緑色カラーフィルタ１１５Ｃで描かれているように、マルチダイオードマイクロレンズ１１０の下に配置されたカラーフィルタ１１５Ｂ、１１５Ｃの少なくとも一部は、そうでなければベイヤーパターンに従ってその位置に配置されるカラーフィルタとは異なる場合がある。図示の実施形態におけるように、マルチダイオードマイクロレンズ１１０と対応するダイオード１２０Ｂ、１２０Ｃとの間のカラーフィルタ１１５Ｂ、１１５Ｃは、緑色光を通過させるように選択され得る。したがって、完全な緑色ピクセルがダイオード１２０Ｂ、１２０Ｃからの値を組み合わせることによって再構成され得るので、緑色補正は、些細なものである。そのように、緑色チャネルは、人間の視覚にとって特に重要であるので、結果として生じる画像データは、不完全なまたは欠損した緑色ピクセル情報を有することによって、緑色チャネル情報を少しも失わない。１つの可能性がある懸念は、この中央の緑色の位置が、ベイヤーパターンの元の緑色ピクセルの位置から１／２ピクセルだけ水平にシフトされ得ることであるが、このオフセットは、最終画像の品質に関して顕著な影響を持たない可能性がある。ダイオード１２０Ｂ、１２０Ｃからの値を組み合わせる例は、簡単な補間（加算）によって緑色補正を実行するための１つのプロセスを説明するために提供されるが、他の実装形態では、緑色補正は、より高次の緑色補間（予め定義された近傍における追加の緑色ピクセルを使用する）によって実行され得る。

いくつかの実施形態では、画像データの青色チャネルは、人間の視覚に関する品質にとって最も重要ではないので、マルチピクセルマイクロレンズの下の緑色カラーフィルタ１１５Ｃによって置き換えられる「欠損」カラーフィルタは、青色カラーフィルタであり得る。他の実施形態では、緑色カラーフィルタ１１５Ｃは、マルチダイオードマイクロレンズ１１０によるカラーフィルタパターンの中断がない場合に赤色カラーフィルタがある場所にあり得る。そのようなカラーフィルタ選択は、たとえば、一般的な写真用途のために設計された画像センサにおいて使用され得る。他の用途のための画像センサでは、画像データカラーチャネルおよびカラーチャネルの重要度は、変化する場合があり、カラーフィルタ選択は、それに応じて変化する場合がある。

図１Ａは、物理的構造ではなく、マルチダイオードマイクロレンズ１１０によって提供される位相検出能力を示すために描かれたと理解されるべき（破）線１３０を示す。線１３０は、マルチダイオードマイクロレンズ１１０の光学中心を通過し、カラーフィルタ１１５Ａ〜１１５Ｄのカラーフィルタアレイによって形成される平面に直交するように通過する。マルチダイオードマイクロレンズが２×１のマイクロレンズである場合、マルチダイオードマイクロレンズ１１０は、第１の方向において入射する、すなわち、線１３０の一方の側からマルチダイオードマイクロレンズ１１０に入る光Ｌ（ｘ）が第１のダイオード１２０Ｂ内に収集されるように形成される。第２の方向において入射する、すなわち、線１３０の他方の側からマルチダイオードマイクロレンズ１１０に入る光は、第２のダイオード１２０Ｃ内に収集される。したがって、ダイオード１２０Ｂ、１２０Ｃから受信されたデータは、位相検出のために使用され得る。マルチダイオードマイクロレンズが２×２のマイクロレンズである場合、マルチダイオードマイクロレンズ１１０は、光がマルチダイオードマイクロレンズ１１０の１／４を通過すると考えられる方向で４つの方向において入射する光Ｌ（ｘ）が４つのダイオードに入射するように形成される。

図１Ｂ〜図１Ｄは、主レンズ１５０を通り、次いで、１対の位相検出ダイオード１２０Ｂ、１２０Ｃに入射する前にマルチダイオードマイクロレンズ１１０を通って進む光の例示的な光線トレースを示す。主レンズ１５０およびマルチダイオードマイクロレンズ１１０の寸法は、縮尺通りに示されていないことが理解されよう。マルチダイオードマイクロレンズ１１０の直径は、画像センサの２つの隣接するダイオードにおよぶ距離にほぼ等しくてもよく、主レンズ１５０の直径は、画像センサの幅（ダイオードの行または列に沿った距離）以上であり得る。

具体的には、図１Ｂは、合焦状態の例示的な光線トレースを示し、図１Ｃは、前ピン状態の例示的な光線トレースを示し、図１Ｄは、後ピン状態の例示的な光線トレースを示す。光は、ターゲットシーン内の点１６０から進み、位相検出ダイオード１２０Ｂ、１２０Ｃを含む画像センサ上にターゲットシーンを合焦させるためのレンズ１５０を通って進み、位相検出ダイオード１２０Ｂ、１２０Ｃに入射する前にマルチダイオードマイクロレンズ１１０を通過する。図示のように、ダイオード１２０Ｂは、主レンズ１５０の左方向からの光Ｌ（ｘ）を受光し、ダイオード１２０Ｃは、主レンズ１５０の右方向からの光Ｒ（ｘ）を受光する。いくつかの実施形態では、左方向からの光Ｌ（ｘ）は、主レンズ１５０の左半分（図１Ｂ〜図１Ｃのイラストの下半部として示す）からの光であり得、右方向からの光Ｒ（ｘ）は、主レンズ１５０の右半分（図１Ｂ〜図１Ｃのイラストの上半部として示す）からの光であり得る。したがって、画像センサを横切って撮像ダイオードと交互配置されたいくつかの位相検出ダイオードは、撮像ダイオードによってキャプチャされた中心画像からオフセットされた左画像および右画像を抽出するために使用され得る。右および左ではなく、他の実施形態は、オートフォーカス調整を計算するために、上画像および下画像、対角線画像、または左／右画像、上／下画像、および対角線画像の組合せを使用することができる。

画像が合焦しているとき、左光線Ｌ（ｘ）および右光線Ｒ（ｘ）は、位相検出ダイオード１１５Ｂ、１１５Ｃの平面において集束する。図１Ｃおよび図１Ｄに示すように、前ピン位置および後ピン位置において、光線は、それぞれ、ダイオードの平面の前および後に集束する。上記で説明したように、位相検出ダイオードからの信号は、前ピン位置および後ピン位置において中心画像からオフセットされた左画像および右画像を生成するために使用され得、オフセット量は、主レンズ１５０のためのオートフォーカス調整を決定するために使用され得る。主レンズ１５０は、焦点が被写体の前方にある（画像センサにより近い）かまたは被写体の後方にある（画像センサからより遠い）かに応じて、前方（画像センサに向かって）または後方（画像センサから離れて）移動され得る。オートフォーカスプロセスは、主レンズ１５０の移動の方向と量の両方を計算することができるので、位相差オートフォーカスは、非常に迅速に合焦することできる。

図２は、図１Ａの例示的なマルチダイオードマイクロレンズを使用する位相検出の概略的な例を示す。図２は、追加のシングルダイオードマイクロレンズ１０５Ｃ、１０５Ｄと、追加のマルチダイオードマイクロレンズ１２５と、追加のカラーフィルタ１１５Ｅ〜Ｈと、追加のダイオード１２０Ｅ〜Ｈを有することによって示されるように、画像センサが他の位相検出位置を含み得ることを示す。

入射光は、矢印によって表され、ターゲットシーンから入射されると理解される。本明細書で使用される場合、「ターゲットシーン」は、画像センサによって感知される光を反射もしくは放射する物体を有する任意のシーンもしくは領域、または画像センサによって見ることができる任意の他の現象を指す。ターゲットシーンからの光は、ダイオード１２０Ａ〜１２０Ｈに向かって伝播し、最初にマイクロレンズを通過し、次いでカラーフィルタアレイを通過した後にダイオードに入射する。

位相検出を実行するために、撮像システムは、位相検出ダイオード１２０Ｂ、１２０Ｃ、１２０Ｆ、１２０Ｇから受信された値のみを含む２つの画像、左側データに関する画像Ｌ（ｘ）および右側データに関する画像Ｒ（ｘ）を保存し得る。ダイオード１２０Ｂは、左側方向からマルチダイオードマイクロレンズ１１０に入る光を受光し、ダイオード１２０Ｃは、右側方向からマルチダイオードマイクロレンズ１１０に入る光を受光する。同様に、ダイオード１２０Ｆは、左側方向からマルチダイオードマイクロレンズ１２５に入る光を受光し、ダイオード１２０Ｇは、右側方向からマルチダイオードマイクロレンズ１２５に入る光を受光する。より信頼できる位相検出オートフォーカスデータを提供するが、ピクセル値計算のより多くの計算量を必要とし、最終画像におけるアーティファクトの可能性も増加させる、より多くのマルチダイオードマイクロレンズの考慮事項をバランスさせることに基づいて、センサのマイクロレンズのうちの１つまたはすべてにわたる画像センサの上に任意の数のマルチダイオードマイクロレンズが配置され得る。

合焦は、左画像および右画像を表すデータに相互相関関数を適用することによって計算され得る。２つの画像間の距離が合焦状態における対応する距離よりも狭い場合、オートフォーカスシステムは、焦点が被写体の前にあると決定する。距離が基準値よりも広い場合、システムは、焦点が被写体の後ろにあると決定する。オートフォーカスシステムは、レンズ位置（または可動センサを有する実施形態ではセンサ位置）がどのくらいどの方向に移動されるべきかを計算し、それに応じてレンズを移動させるためにこの情報をレンズアクチュエータに提供し、高速合焦を提供することができる。上記で説明したプロセスは、いくつかの例では、図６の画像信号プロセッサ６２０によって実行され得る。

図３Ａは、本明細書で説明するような位相検出画像センサ３００のためのカラーフィルタ３０５、３１０、３１５、シングルダイオードマイクロレンズ３２０、およびマルチダイオードマイクロレンズ３２５の例示的な配置を示す。センサ３００の一部のみが示されており、この部分は、位相検出ピクセルの数と画像品質との間の所望のバランスに応じて、センサアレイを横切って繰り返され得、またはベイヤーパターンの選択された位相検出位置に散在され得る。

図示のように、いくつかの緑色カラーフィルタ３０５、赤色カラーフィルタ３１０、および青色カラーフィルタ３１５が、いくつかのシングルダイオードマイクロレンズ３２０の下にベイヤーパターンで配置される。各カラーフィルタは、図示の簡略化のため、参照番号３０５、３１０、または３１５を使用して一度呼ばれ、Ｇ、Ｒ、またはＢを使用して図３Ａ〜図３Ｃの残りの部分を通して示される。しかしながら、マルチダイオードマイクロレンズ３２０の位置において、ベイヤーパターンは、中断され、追加の緑色カラーフィルタが右（Ｒ）位相検出ピクセルの位置に挿入される。そのように、右位相検出ピクセルの位置において「欠損」赤色フィルタが存在する。図示の実施形態では、右位相検出ピクセル緑色カラーフィルタは、そうでなければベイヤーパターンに従って赤色カラーフィルタであるものを置き換える。他の実施形態では、位相検出ピクセル緑色カラーフィルタは、青色カラーフィルタを置き換えることができる。

図３Ｂは、図３Ａのマルチダイオードマイクロレンズ３２５の下の値に対する補間の例の表現を示す。そのような補間は、ターゲットシーンの最終画像を生成する際に使用するデモザイク化プロセスに出力するためのピクセル値（位相検出ピクセルの色および輝度を表す）を提供することができ、いくつかの実施形態では図６の画像信号プロセッサ６２０によって実行され得る。

図示のように、左位相検出ピクセル（Ｌ）値は、マイクロレンズ３２５の下の左および右の位相検出ピクセルの緑色値を加算することによって決定され得る。シングルダイオードマイクロレンズの下のカラーフィルタを配置するために使用されるベイヤーパターンは、左位相検出ピクセルの位置における緑色ピクセルを指定するので、加算された緑色値は、左位相検出ピクセルに割り当てられる。加算された緑色値の小さい位相差は、改善された緑色エイリアシングを提供し得る。したがって、緑色補償は、些細なものであり、広範な計算を必要とせず、いくつかの実施形態ではセンサ上で実行され得ることを意味する。いくつかの実施形態では、加算された値は、緑色値を取得するために、マイクロレンズの下のダイオードの数（ここでは２）によって除算され得る。

図示のように、右位相検出ピクセル値は、２つの近くの赤色ピクセル値（赤色カラーフィルタの下のダイオードから受信された値）を使用する補間によって決定され得る。２つの水平に配置された赤色ピクセルが補間のために示されているが、代替的にまたは加えて、２つの垂直に配置された赤色ピクセルが使用され得る。シングルダイオードマイクロレンズの下のカラーフィルタを配置するために使用されたベイヤーパターンは、右位相検出ピクセルの位置における赤色ピクセルを指定するので、補間された値は、右位相検出ピクセルに割り当てられる。

いくつかの実施形態では、図３Ｂの緑色値および欠損ピクセル値について示されているような水平補間は、任意の行バッファを必要とせず、標準的なデモザイク化プロセスの前に行われ得、センサ上でも実行され得る。

図３Ｃは、図３Ａのマルチダイオードマイクロレンズ３２５の下の値に対する補間の別の例の表現を示し、いくつかの実施形態では図６の画像信号プロセッサ６２０によって実行され得る。ここでは、中心に右位相検出ピクセルを有する５×５の近傍内の赤色カラーフィルタの下の８つのダイオードから受信された赤色値（「赤色ピクセル値」と呼ぶ）が、「欠損」赤色ピクセル値を補間するために使用される。他の実装形態では、周囲のダイオードの異なる所定の近傍からのデータ、たとえば、４つの隣接する赤色ピクセル値が補間のために使用され得る。図３Ｂおよび図３Ｃは、欠損ピクセルカラー値を補間するための２つのオプションを提示しているが、たとえば、補間のためにより多いまたはより少ない数のピクセル値を使用する他の補間技法が適切であり得る。さらに、いくつかの実施形態では、「欠損」カラーフィルタを有するピクセルは、欠陥ピクセルと指定され得、その値を決定するために、欠陥ピクセル補償プロセスが使用され得る。

「欠損」ピクセル値を計算するためにどの隣接ピクセルを使用するかに関する決定は、予め決められ得るか、または、たとえば、計算されたエッジデータに基づいて、予め特定された選択肢の範囲から適応的に選択され得る。

図４Ａは、本明細書で説明する位相検出画像センサのための緑色カラーフィルタ４０５、赤色カラーフィルタ４１０、青色カラーフィルタ４１５、シングルダイオードマイクロレンズ４２０、およびマルチダイオードマイクロレンズ４２５の別の例示的な配置４００Ａを示す。シングルダイオードマイクロレンズ４２０の下のカラーフィルタは、ベイヤーパターンで配置される。ここで、マルチダイオードマイクロレンズ４２５は、カラーフィルタおよび関連するダイオードの２×２クラスタの上に配置される。本開示のカラーフィルタ配置によれば、マルチダイオードマイクロレンズ４２５の下の４つのカラーフィルタのすべては、ここでは緑色光として示す同じ波長（または波長の範囲）の光を通過させるように選択される。

マルチダイオードマイクロレンズ４２５は、２×２クラスタをカバーするので、下にある位相検出ピクセルは、複数の対、たとえば、左位相画像データおよび右位相画像データを提供する２つの左右対、または上位相画像データおよび下位相画像データを提供する２つの上下対を形成するために使用され得る。対角線対も使用され得る。いくつかの実施形態では、堅牢な位相検出合焦プロセスは、オートフォーカスを計算するために、左右および上下、または左右、上下、および対角線の位相検出対データを使用することができる。これは、すべての方向におけるエッジに対する位相検出オートフォーカスプロセスの堅牢性を改善することができる。たとえば、すべての垂直エッジを有する画像（橋脚のパイロンを含むターゲットシーンの例を考慮する）は、図３Ａ〜図３Ｃの構成から受信された重要な左右位相検出情報を欠いている可能性があるが、マルチダイオードマイクロレンズ４２５を使用することによって、位相検出は、すべての方向におけるエッジに対して堅牢になり得る。

最終画像を生成するためにデモザイク化するためのカラー値が出力されるとき、シングルダイオードマイクロレンズの下に存在するベイヤーパターンによってそれらの位置について予測される「欠損」色に従って、右上位相検出ピクセルは、補間された赤色カラー値を有する場合があり、左下位相検出ピクセルは、補間された青色カラー値を有する場合がある。左上位相検出ピクセルおよび右下位相検出ピクセルに関する緑色値は、マルチダイオードマイクロレンズ４２５からの光を受光するダイオードの一部またはすべてから受信された緑色値を使用して計算され得る。たとえば、マルチダイオードマイクロレンズ４２５の下の４つのダイオードのすべてからの値を合計することによって、累積緑色値が計算され得る。マルチダイオードマイクロレンズ４２５の下の（ベイヤーパターンによって決定されるような）各緑色位置の値は、累積緑色値と、緑色位置の３つの隣接した対角線上の近傍の緑色とに基づいて補間され得る。マルチダイオードマイクロレンズ４２５の下の赤色位置および青色位置は、たとえば、それぞれ４つの最も近い赤色の近傍および青色の近傍に基づいて、またはより大きい所定の近傍に基づいて補間され得る。

図４Ｂは、本明細書で説明する位相検出画像センサのための緑色カラーフィルタ４０５、赤色カラーフィルタ４１０、青色カラーフィルタ４１５、およびマルチダイオードマイクロレンズ４２５の例示的な配置４００Ｂを示す。図４Ｂの配置４００Ｂでは、シングルダイオードマイクロレンズは、存在しない。各２×２マルチダイオードマイクロレンズ４２５は、マルチダイオードマイクロレンズ４２５の下のすべてのダイオードが同じ波長の光を受光するようにその下に配置された単一色のカラーフィルタのみを有する。各マルチダイオードマイクロレンズ４２５は、図４Ａに関して上記で論じたのと同じ多方向位相検出の利益を提供する。さらに、そのような円形マルチダイオードマイクロレンズ４２５は、マイクロレンズに硬化させるためにカラーフィルタ上に液体レンズ材料の液滴を置くナノ製造技法によって所望の光学品質で製造するのが２×１楕円形レンズよりも容易である場合がある。各マルチダイオードマイクロレンズ４２５は、いくつかの実施形態では、０．９μｍと１．１μｍとの間の直径を有し得る。

一般に、センサ製造に関して、現在のピクセルサイズは、すでに回折限界に達しているので、ピクセルサイズが大幅に縮小することは期待されない。この現在のセンサのフォームファクタに基づいて、有効分解能が増大することは期待されない。しかしながら、ＣＭＯＳ製造プロセスは、依然として改善されている。改善された製造からの追加の縮小のロジックは、図４Ｂの配置４００Ｂを有するセンサを使用するマルチダイオード位相検出方式を実施するために使用され得る。たとえば、画像センサのバス速度は、依然として増加する場合があり、センサからより多くのデータを転送するために使用され得る。マルチダイオードマイクロレンズ４２５の各々の下の４つのダイオードは、４ピクセルロジック共有読出しアーキテクチャを使用することができる。

図４Ｂにおけるカラーフィルタのクラスタは、マルチダイオードマイクロレンズ４２５によって画定されるクラスタがベイヤーパターンに従うように、ベイヤーパターンと同様に配置される。したがって、カラー値がデモザイク化のために出力されるとき、「欠損」ピクセル値は、補間を必要とせず、アーティファクトは、補正を必要としない。規則的なベイヤーパターンは、マルチダイオードマイクロレンズ４２５の各々の下のダイオードから受信される値を加算することによって生成され得る。

例示的な位相検出オートフォーカスプロセスの概要
図５は、本明細書で説明するマルチダイオードマイクロレンズを有するセンサを使用する例示的な位相検出オートフォーカスプロセス５００の高レベルな概要を示す。一実施形態では、プロセス５００は、センサ上で実行され得る。他の実装形態では、プロセス５００は、１つまたは複数のプロセッサ、たとえば、図６の画像信号プロセッサ６２０を必要とする。ターゲットシーン５０５を表す光は、レンズアセンブリ５１０を通過し、画像センサによって受光され、画像センサでは、上記で説明したマルチダイオードマイクロレンズを使用してハーフ画像サンプル５１５が生成される。レンズアセンブリ５１０およびセンサの寸法は、光波の長さよりも大きいので、レンズアセンブリ５１０は、対称的なインパルス応答を有する線形ローパスフィルタとしてモデル化され得、レンズアセンブリ５１０のインパルス応答（点拡がり関数とも呼ばれる）は、センサと画像平面との間の距離に比例する幅パラメータを有する矩形形状のものである。シーンは、センサが画像平面内にあるとき、すなわち、シーンにおける単一の点からのすべての光線が単一の点に集束する平面内にあるとき、「合焦」する。図２に示すように、ハーフ画像サンプルは、位相検出ピクセルからの情報のみを含む２つの画像を保存し得る。ハーフ画像は、レンズアセンブリ５１０の左および右（または、他の例では、上および下）のインパルス応答とのターゲットシーンの畳み込みと考えられ得る。図４Ａおよび図４Ｂの配置を使用するセンサの実施形態では、より多くの部分画像が保存され得る。

焦点関数計算器５２０は、差異を決定するために部分画像に相互相関関数を適用する。レンズアセンブリ５１０の左および右のインパルス応答の相互相関関数は、ほぼ対称であり、単峰性であり得るが、ターゲットシーン５０５の性質のために、左および右のキャプチャされた画像に適用される相互相関関数は、１つまたは複数の偽極大値を有する場合がある。相互相関関数の真の最大値を特定するために、様々な手法が使用され得る。相互相関関数の結果は、主集束レンズアセンブリ５１０を所望の焦点位置に移動させるためにレンズアクチュエータを駆動するために使用され得るオートフォーカス制御５２５へのフィードバックとして提供される。他の実施形態は、静止した主集束レンズアセンブリを使用し、画像センサを所望の焦点位置に移動させ得る。したがって、位相検出オートフォーカスプロセス５００では、合焦は、相互相関関数の最大値を探すことと等価である。これは、たとえば、毎秒３０フレームにおける典型的なフレームレートにおいて各フレームに対する焦点調整を提供するのに十分なほど迅速に行われ得る高速プロセスであり、したがって、ビデオキャプチャのためのスムーズなオートフォーカスを提供するために使用され得る。いくつかの実装形態は、たとえば、精度を高めるために、位相検出オートフォーカスをコントラストベースのオートフォーカス技法と組み合わせる。

主集束レンズアセンブリおよび／または画像センサが所望の焦点位置にあるとき、画像センサは、合焦撮像ピクセル情報と位相検出ピクセル情報とをキャプチャすることができ、上記で説明したように、位相検出ピクセルに関するカラー値を計算し、補間することができる。撮像ピクセル値および決定された位相検出ピクセル値は、デモザイク化のために出力され得、オプションで、ターゲットシーンの最終画像を生成するために他の画像処理技法に出力され得る。

例示的な位相検出オートフォーカスプロセスの概要
図６は、マルチスペクトル虹彩認証機能を有する画像キャプチャデバイス６００の実施形態の高レベルな概略ブロック図を示し、画像キャプチャデバイス６００は、位相検出オートフォーカスカメラ６１５にリンクされた画像信号プロセッサ６２０を含む構成要素のセットを有する。画像信号プロセッサ６２０は、作業メモリ６０５、メモリ６３０、およびデバイスプロセッサ６５０とも通信し、デバイスプロセッサ６５０は、記憶モジュール６１０およびオプションの電子ディスプレイ６２５と通信する。

画像キャプチャデバイス６００は、モバイルデバイス、デジタルカメラ、タブレットコンピュータ、携帯情報端末などのポータブルパーソナルコンピューティングデバイスであり得る。本明細書で説明する位相検出オートフォーカス技法を使用することが利点を提供する多くのポータブルコンピューティングデバイスが存在する。画像キャプチャデバイス６００は、マルチスペクトル虹彩認証技法が有利である据え付けのコンピューティングデバイスまたは任意のデバイスでもあり得る。複数のアプリケーションが、画像キャプチャデバイス６００上のユーザに利用可能であり得る。これらのアプリケーションは、従来の写真アプリケーションおよびビデオアプリケーション、ならびにデータ記憶アプリケーションおよびネットワークアプリケーションを含み得る。

画像キャプチャデバイス６００は、外部画像をキャプチャするための位相検出オートフォーカスカメラ６１５を含む。位相検出オートフォーカスカメラ６１５は、上記で説明した実施形態に従って配置されたマルチダイオードマイクロレンズとカラーフィルタとを有する画像センサを含み得る。位相検出オートフォーカスカメラ６１５はまた、ターゲットシーンの合焦画像を生成するために、画像信号プロセッサ６２０から受信されたデータに少なくとも部分的に基づいて位置決め可能な主合焦機構を有し得る。いくつかの実施形態では、主合焦機構は、光をターゲットシーンからセンサに通過させるように配置された可動レンズアセンブリであり得る。いくつかの実施形態では、主合焦機構は、センサを移動させるための機構であり得る。

位相検出オートフォーカスカメラ６１５のセンサは、異なる実装形態では異なる処理機能を有し得る。一実装形態では、センサは、いかなるデータも処理しなくてもよく、画像信号プロセッサ６２０は、すべての必要なデータ処理を実行してもよい。他の実装形態では、センサは、位相検出ピクセルを、たとえば、別個のモバイルインダストリープロセッサインターフェース（ＭＩＰＩ：Ｍｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｃｅｓｓｏｒ Ｉｎｔｅｒｆａｃｅ）に抽出することができ得る。さらに、センサは、加えて、欠損ピクセル値を、たとえば、ＲＡＷチャネルにおいて補間することができ得る。いくつかの実装形態では、センサは、加えて、欠損ピクセル値を、たとえば、通常のチャネルにおいて補間することができ得、位相検出計算全体を内部で（センサ上で）処理することができ得る。たとえば、センサは、ダイオードから受信された値の加算、減算、および／または比較を実行するためのアナログ回路を含み得る。本明細書で説明する撮像装置は、すべての位相検出計算を実行することができる画像センサ、または画像信号プロセッサ６２０および／もしくはデバイスプロセッサ６５０と共に一部の処理を実行することができるか、もしくは処理を実行することができない画像センサを含み得る。

画像信号プロセッサ６２０は、位相検出オートフォーカスと画像処理技法とを実行するために、受信された画像データに対する様々な処理動作を実行するように構成され得る。画像信号プロセッサ６２０は、汎用処理ユニット、または撮像アプリケーションのために特別に設計されたプロセッサであり得る。画像処理動作の例は、デモザイク化、ホワイトバランス、クロストーク低減、クロッピング、（たとえば、異なる解像度への）スケーリング、画像スティッチング、画像フォーマット変換、色補間、色処理、画像フィルタリング（たとえば、空間画像フィルタリング）、レンズアーティストまたは欠陥修正などを含む。画像信号プロセッサ６２０は、オートフォーカスおよび自動露出などの画像キャプチャパラメータを制御することもできる。画像信号プロセッサ６２０は、いくつかの実施形態では、複数のプロセッサを備え得る。画像信号プロセッサ６２０は、１つもしくは複数の専用画像信号プロセッサ（ＩＳＰ）、またはプロセッサのソフトウェア実装であり得る。いくつかの実施形態では、位相検出動作の一部またはすべては、画像センサ上で実行され得るので、画像信号プロセッサ６２０は、位相検出動作のためのオプションであり得る。

図示のように、画像信号プロセッサ６２０は、メモリ６３０と作業メモリ６０５とに接続される。図示の実施形態では、メモリ６３０は、キャプチャ制御モジュール６３５と、位相検出オートフォーカスモジュール６４０と、オペレーティングシステムモジュール６４５とを記憶する。メモリ６３０のモジュールは、様々な画像処理およびデバイス管理タスクを実行するためにデバイスプロセッサ６５０の画像信号プロセッサ６２０を構成する命令を含む。作業メモリ６０５は、メモリのモジュール内に含まれるプロセッサ命令の作業セットを記憶するために画像信号プロセッサ６２０によって使用され得る。代替的には、作業メモリ６０５はまた、画像キャプチャデバイス６００の動作中に作成された動的データを記憶するために画像信号プロセッサ６２０によって使用され得る。

上述したように、画像信号プロセッサ６２０は、メモリ内に記憶されたいくつかのモジュールによって構成される。キャプチャ制御モジュール６３５は、たとえば、位相検出オートフォーカス技法中に生成された命令に応答して、位相検出オートフォーカスカメラ６１５の焦点位置を調整するように画像信号プロセッサ６２０を構成する命令を含み得る。キャプチャ制御モジュール６３５は、画像キャプチャデバイス６００の全体の画像キャプチャ機能を制御する命令をさらに含み得る。たとえば、キャプチャ制御モジュール６３５は、位相検出オートフォーカスカメラ６１５を使用してターゲットシーンの１つまたは複数のフレームを含むマルチスペクトル画像データをキャプチャするように画像信号プロセッサ６２０を構成するためにサブルーチンを呼び出す命令を含み得る。一実施形態では、キャプチャ制御モジュール６３５は、所望のオートフォーカス位置を達成するために必要なレンズまたはセンサの運動を計算し、必要な運動を撮像プロセッサ２２０に出力するために、位相検出オートフォーカスモジュール２４０を呼び出し得る。キャプチャ制御モジュール６３５は、マルチピクセルマイクロレンズの下に配置されたピクセルに関するカラー値を補間するために、位相検出オートフォーカスモジュール２４０を呼び出し得る。

したがって、位相検出オートフォーカスモジュール６４０は、位相検出オートフォーカスを実行するための命令を記憶することができる。位相検出オートフォーカスモジュール６４０は、位相検出ピクセル値と撮像ピクセル値とに基づいて、位相検出ピクセルのためのカラー値と、画像生成のためのカラー値とを計算するための命令を記憶することもできる。

オペレーティングシステムモジュール６４５は、画像キャプチャデバイス６００の作業メモリ６０５と処理リソースとを管理するように画像信号プロセッサ６２０を構成する。たとえば、オペレーティングシステムモジュール６４５は、位相検出オートフォーカスカメラ６１５などのハードウェアリソースを管理するためのデバイスドライバを含み得る。したがって、いくつかの実施形態では、上記で論じた画像処理モジュール内に含まれる命令は、これらのハードウェアリソースと直接対話しなくてもよく、オペレーティングシステム構成要素６５０内に位置する標準サブルーチンまたはＡＰＩを介して対話し得る。オペレーティングシステム６４５内の命令は、次いで、これらのハードウェア構成要素と直接対話し得る。オペレーティングシステムモジュール６４５は、デバイスプロセッサ６５０と情報を共有するように画像信号プロセッサ６２０をさらに構成し得る。

デバイスプロセッサ６５０は、キャプチャされた画像、またはキャプチャされた画像のプレビューをユーザに表示するようにディスプレイ６２５を制御するように構成され得る。ディスプレイ６２５は、撮像デバイス２００の外部にあってよく、または撮像デバイス２００の一部分であってもよい。ディスプレイ６２５はまた、たとえば、画像センサの視野をユーザの目と整列させる際にユーザを助けるために、画像をキャプチャする前にユーザに対してプレビュー画像を表示するビューファインダを提供するように構成されてもよく、またはメモリ内に記憶された、もしくはユーザによって最近キャプチャされた、キャプチャされた画像を表示するように構成されてもよい。ディスプレイ６２５は、ＬＣＤ、ＬＥＤ、またはＯＬＥＤ画面を備えてもよく、タッチ感応技術を実装してもよい。

デバイスプロセッサ６５０は、データ、たとえば、キャプチャされた画像を表すデータ、ならびに位相検出および／またはピクセル値計算の間に生成されたデータを、記憶モジュール６１０に書き込み得る。記憶モジュール６１０は、従来のディスクドライブとして概略的に表されているが、記憶モジュール６１０は、任意の記憶媒体デバイスとして構成され得る。たとえば、記憶モジュール６１０は、光ディスクドライブもしくは光磁気ディスクドライブなどのディスクドライブ、またはフラッシュメモリ、ＲＡＭ、ＲＯＭ、および／もしくはＥＥＰＲＯＭなどの固体メモリを含み得る。記憶モジュール６１０は、複数のメモリユニットを含むこともでき、メモリユニットのいずれか１つは、画像キャプチャデバイス６００内にあるように構成されてもよく、または画像キャプチャデバイス６００の外部にあってもよい。たとえば、記憶モジュール６１０は、画像キャプチャデバイス６００内に記憶されたシステムプログラム命令を含むＲＯＭメモリを含み得る。記憶モジュール６１０はまた、カメラから取外し可能であり得る、キャプチャされた画像を記憶するように構成されたメモリカードまたは高速メモリを含み得る。記憶モジュール６１０はまた、画像キャプチャデバイス６００の外部にあってもよく、一例では、画像キャプチャデバイス６００は、たとえば、ネットワーク接続を介して、記憶モジュール６１０にデータをワイヤレス送信し得る。そのような実施形態では、記憶モジュール６１０は、サーバまたは他のリモートコンピューティングデバイスであり得る。

図６は、プロセッサ、撮像センサ、およびメモリを含むために別個の構成要素を有する画像キャプチャデバイス６００を示しているが、当業者は、これらの別個の構成要素が特定の設計目的を達成するために様々な方法で組み合わされ得ることを認識するであろう。たとえば、代替実施形態において、メモリ構成要素は、たとえば、コストを節減するためおよび／または性能を改善するために、プロセッサ構成要素と組み合わされ得る。

加えて、図６は、いくつかのモジュールを備えるメモリ６３０と、作業メモリ６０５を備える別個のメモリ構成要素とを含む２つのメモリ要素を示しているが、当業者は、異なるメモリアーキテクチャを利用するいくつかの実施形態を認識するであろう。たとえば、設計は、メモリ６３０内に含まれるモジュールを実装するプロセッサ命令の記憶のためにＲＯＭまたはスタティックＲＡＭメモリを利用し得る。プロセッサ命令は、画像信号プロセッサ６２０による実行を容易にするために、ＲＡＭにロードされ得る。たとえば、作業メモリ６０５は、ＲＡＭメモリを備えてもよく、命令は、画像信号プロセッサ６２０による実行の前に作業メモリ６０５にロードされる。

実装システムおよび用語
本明細書で開示される実装形態は、マスクレス位相検出オートフォーカスのためのシステム、方法、および装置を提供する。当業者は、これらの実施形態が、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せにおいて実装され得ることを認識するであろう。

いくつかの実施形態では、上記で論じた回路、プロセス、およびシステムは、ワイヤレス通信デバイスにおいて利用され得る。ワイヤレス通信デバイスは、他の電子デバイスとワイヤレス通信するために使用される電子デバイスの一種であり得る。ワイヤレス通信デバイスの例は、セルラー電話、スマートフォン、携帯情報端末（ＰＤＡ）、電子リーダー、ゲーミングシステム、音楽プレーヤ、ネットブック、ワイヤレスモデム、ラップトップコンピュータ、タブレットデバイスなどを含む。

ワイヤレス通信デバイスは、１つまたは複数の画像センサと、１つまたは複数の画像信号プロセッサと、上記で論じたプロセスを実行するための命令またはモジュールを含むメモリとを含み得る。デバイスはまた、データと、メモリから命令および／またはデータをロードするプロセッサと、１つまたは複数の通信インターフェースと、１つまたは複数の入力デバイスと、ディスプレイデバイスなどの１つまたは複数の出力デバイスと、電源／インターフェースとを有し得る。ワイヤレス通信デバイスは、加えて、トランスミッタと、レシーバとを含み得る。トランスミッタおよびレシーバは、併せてトランシーバと呼ばれる場合がある。トランシーバは、ワイヤレス信号を送信および／または受信するための１つまたは複数のアンテナに結合され得る。

ワイヤレス通信デバイスは、別の電子デバイス（たとえば、基地局）にワイヤレス接続し得る。ワイヤレス通信デバイスは、その代わりに、モバイルデバイス、移動局、加入者局、ユーザ機器（ＵＥ）、リモート局、アクセス端末、モバイル端末、端末、ユーザ端末、加入者ユニットなどと呼ばれる場合がある。ワイヤレス通信デバイスの例は、ラップトップコンピュータ、デスクトップコンピュータ、セルラー電話機、スマートフォン、ワイヤレスモデム、電子ブックリーダー、タブレットデバイス、ゲームシステムなどを含む。ワイヤレス通信デバイスは、第３世代パートナーシッププロジェクト（３ＧＰＰ）などの１つまたは複数の産業標準に従って動作することができる。したがって、「ワイヤレス通信デバイス」という全般的な用語は、産業標準に従う変化する用語体系を用いて説明されるワイヤレス通信デバイスを含むことができる（たとえば、アクセス端末、ユーザ機器（ＵＥ）、リモート端末など）。

本明細書で説明される機能は、プロセッサ可読媒体またはコンピュータ可読媒体上に１つまたは複数の命令として記憶され得る。「コンピュータ可読媒体」という用語は、コンピュータまたはプロセッサによってアクセスされる場合がある任意の利用可能な媒体を指す。例として、限定はしないが、そのような媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、ＣＤ−ＲＯＭもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気記憶デバイス、または、所望のプログラムコードを命令またはデータ構造の形で記憶するために使用され得、コンピュータによってアクセスされ得る任意の他の媒体を備え得る。ディスク（ｄｉｓｋ）およびディスク（ｄｉｓｃ）は、本明細書で使用されるときに、コンパクトディスク（ｄｉｓｃ）（ＣＤ）、レーザディスク（ｄｉｓｃ）、光ディスク（ｄｉｓｃ）、デジタル多用途ディスク（ｄｉｓｃ）（ＤＶＤ）、フロッピーディスク（ｄｉｓｋ）、およびＢｌｕ−ｒａｙ（登録商標）ディスク（ｄｉｓｃ）を含み、ディスク（ｄｉｓｋ）は、通常はデータを磁気的に再生し、ディスク（ｄｉｓｃ）は、レーザを用いてデータを光学的に再生する。コンピュータ可読媒体は、有形で非一時的であり得ることに留意すべきである。「コンピュータプログラム製品」という用語は、コンピューティングデバイスまたはプロセッサによって実行され、処理され、または計算され得るコードまたは命令（たとえば、「プログラム」）と組み合わされたコンピューティングデバイスまたはプロセッサを指す。本明細書で使用される場合、「コード」という用語は、コンピューティングデバイスまたはプロセッサによって実行可能なソフトウェア、命令、コード、またはデータを指す場合がある。

本明細書で開示される方法は、説明された方法を達成するための１つまたは複数のステップまたはアクションを備える。方法ステップおよび／または方法アクションは、特許請求の範囲から逸脱することなく互いに入れ替えられ得る。言い換えれば、説明されている方法の適切な動作のためにステップまたはアクションの特定の順序が必要とされない限り、特定のステップおよび／またはアクションの順序および／または使用は、特許請求の範囲から逸脱することなく変更され得る。

本明細書で使用される「結合する」、「結合すること」、「結合された」、または結合という単語の他の変形は、間接的接続または直接接続の両方を示す場合があることに留意すべきである。たとえば、第１の構成要素が第２の構成要素に「結合」されている場合、第１の構成要素は、第２の構成要素に間接的に接続されてもよく、または第２の構成要素に直接接続されてもよい。本明細書で使用する「複数の」という用語は２つ以上を示す。たとえば、複数の構成要素は、２つ以上の構成要素を示す。

「決定すること」という用語は、幅広い種類のアクションを包含し、したがって、「決定すること」は、計算すること、演算すること、処理すること、導出すること、調査すること、検索すること（たとえば、テーブル、データベース、または別のデータ構造を検索すること）、確認することなどを含むことができる。また、「決定すること」は、受信すること（たとえば、情報を受信すること）、アクセスすること（たとえば、メモリ内のデータにアクセスすること）などを含むことができる。また、「決定すること」は、解決すること、選択すること、選出すること、確立することなどを含むことができる。

「基づいて」という句は、明示的に指定されていない限り、「のみに基づいて」を意味しない。言い換えれば、「基づいて」という句は、「のみに基づいて」と「少なくとも〜に基づいて」の両方を説明する。

前述の説明では、例の完全な理解を提供するために具体的な詳細が与えられている。しかしながら、例は、これらの具体的な詳細なしに実施され得ることが、当業者によって理解されるであろう。たとえば、不必要な詳細で例を不明瞭にしないために、電気構成要素／電気デバイスがブロック図で示されることがある。他の事例では、例をさらに説明するために、そのような構成要素、他の構造および技法が詳細に示されることがある。したがって、本発明は、本明細書に示された実装形態に限定されるものではなく、本明細書で開示される原理および新規な特徴と一致する最も広い範囲が与えられるべきである。

１００ センサ部分
１０５Ａ シングルダイオードマイクロレンズ
１０５Ｂ シングルダイオードマイクロレンズ
１０５Ｃ シングルダイオードマイクロレンズ
１０５Ｄ シングルダイオードマイクロレンズ
１１０ マルチダイオードマイクロレンズ
１１５Ａ カラーフィルタ
１１５Ｂ カラーフィルタ
１１５Ｃ カラーフィルタ
１１５Ｄ カラーフィルタ
１２０Ａ フォトダイオード、ダイオード
１２０Ｂ フォトダイオード、ダイオード、位相検出ダイオード
１２０Ｃ フォトダイオード、ダイオード、位相検出ダイオード
１２０Ｄ フォトダイオード、ダイオード
１２０Ｅ ダイオード
１２０Ｆ ダイオード、位相検出ダイオード
１２０Ｇ ダイオード、位相検出ダイオード
１２０Ｈ ダイオード
１３０ 線
１５０ 主レンズ、レンズ
１６０ 点
３００ 位相検出画像センサ、センサ
３０５ カラーフィルタ、緑色カラーフィルタ
３１０ カラーフィルタ、赤色カラーフィルタ
３１５ カラーフィルタ、青色カラーフィルタ
３２０ シングルダイオードマイクロレンズ
３２５ マルチダイオードマイクロレンズ、マイクロレンズ
４００Ａ 配置
４００Ｂ 配置
４０５ 緑色カラーフィルタ
４１０ 赤色カラーフィルタ
４１５ 青色カラーフィルタ
４２０ シングルダイオードマイクロレンズ
４２５ マルチダイオードマイクロレンズ
５００ 位相検出オートフォーカスプロセス、プロセス
５０５ ターゲットシーン
５１０ レンズアセンブリ、主集束レンズアセンブリ
５１５ ハーフ画像サンプル
５２０ 焦点関数計算器
５２５ オートフォーカス制御
６００ 画像キャプチャデバイス
６０５ 作業メモリ
６１０ 記憶モジュール
６１５ 位相検出オートフォーカスカメラ
６２０ 画像信号プロセッサ
６２５ 電子ディスプレイ、ディスプレイ
６３０ メモリ
６４０ 位相検出オートフォーカスモジュール
６４５ オペレーティングシステムモジュール、オペレーティングシステム
６５０ デバイスプロセッサ、オペレーティングシステム構成要素

Claims (30)

1. 画像キャプチャデバイスであって、
   ターゲットシーンからの光を感知するための複数のダイオードと、
   前記複数のダイオードの上に配置されたカラーフィルタアレイであって、前記カラーフィルタアレイが、前記複数のダイオードのうちの１つの上に各々が配置された複数のカラーフィルタを含む、カラーフィルタアレイと、
   前記複数のカラーフィルタのうちの１つの上に各々が配置された複数のシングルダイオードマイクロレンズであって、前記複数のシングルダイオードマイクロレンズに対応する前記複数のカラーフィルタがベイヤーパターンで配置された、複数のシングルダイオードマイクロレンズと、
   位相差検出のための複数のマルチダイオードマイクロレンズであって、前記複数のマルチダイオードマイクロレンズの各マルチダイオードマイクロレンズが前記複数のカラーフィルタのうちの少なくとも２つの隣接するカラーフィルタの上に配置され、前記少なくとも２つの隣接するカラーフィルタの各々が同じ波長の光を通過させるように構成され、前記複数のマルチダイオードマイクロレンズの各マルチダイオードマイクロレンズが、第１の方向において入射する光が前記少なくとも２つの隣接するダイオードの第１のダイオード内に収集され、第２の方向において入射する光が前記少なくとも２つの隣接するダイオードの第２のダイオード内に収集されるように形成された、複数のマルチダイオードマイクロレンズと、
   前記少なくとも２つの隣接するダイオードから受信した値を使用して位相検出オートフォーカスを実行するように構成された画像信号プロセッサと
   を備える画像センサ
   を備える画像キャプチャデバイス。
2. 前記複数のマルチダイオードマイクロレンズの各々について、前記少なくとも２つの隣接するカラーフィルタが通過させるように構成された光の波長が緑色光に対応する、請求項１に記載の画像キャプチャデバイス。
3. 前記複数のマルチダイオードマイクロレンズの各々が、２つの隣接するカラーフィルタおよび関連するダイオードの上に配置された、請求項１に記載の画像キャプチャデバイス。
4. 前記複数のマルチダイオードマイクロレンズの各々が、カラーフィルタの２×２クラスタおよび関連するダイオードの上に配置された、請求項１に記載の画像キャプチャデバイス。
5. 位相検出オートフォーカスを実行するために、前記画像信号プロセッサが、
   前記第１のダイオードから、前記第１の方向において前記画像センサに入射する光を表す第１の画像データを受信し、
   前記第２のダイオードから、前記第２の方向において前記画像センサに入射する光を表す第２の画像データを受信し、
   前記第１の画像データと前記第２の画像データとの間の差異を計算し、
   合焦命令を生成するために前記差異を使用する
   ようにさらに構成された、請求項１に記載の画像キャプチャデバイス。
6. 前記画像センサの上に配置された可動レンズアセンブリをさらに備える、請求項５に記載の画像キャプチャデバイス。
7. 前記合焦命令が、前記可動レンズアセンブリを所望の合焦位置に移動させるための距離および方向を含む、請求項６に記載の画像キャプチャデバイス。
8. 画像信号プロセッサが、前記画像センサに、前記所望の合焦位置に位置する前記可動レンズアセンブリを用いて画像データをキャプチャさせ、前記画像データに少なくとも部分的に基づいて前記ターゲットシーンの最終画像を構成させる命令を生成するようにさらに構成された、請求項７に記載の画像キャプチャデバイス。
9. 前記画像センサの上に配置されたレンズアセンブリをさらに備え、前記画像センサが、前記レンズアセンブリに対して移動可能である、請求項５に記載の画像キャプチャデバイス。
10. 前記合焦命令が、前記画像センサを所望の合焦位置に移動させるための距離および方向を含む、請求項９に記載の画像キャプチャデバイス。
11. 前記複数のシングルダイオードマイクロレンズおよび前記複数のマルチダイオードマイクロレンズが、繰り返しパターンで配置され、前記複数のマルチダイオードマイクロレンズの各々が、前記繰り返しパターンの複数のオートフォーカスポイントのうちの１つに位置する、請求項１に記載の画像キャプチャデバイス。
12. 画像センサであって、
    ターゲットシーンからの光を感知するための複数のダイオードと、
    前記複数のダイオードの上に配置されたカラーフィルタアレイであって、前記カラーフィルタアレイが前記複数のダイオードのうちの１つの上に各々が配置された複数のカラーフィルタを含む、カラーフィルタアレイと、
    前記カラーフィルタアレイの上に配置された複数のマイクロレンズと
    を備える画像センサであって、前記複数のマイクロレンズが、
    前記複数のカラーフィルタのうちの１つの上に各々が配置された複数のシングルダイオードマイクロレンズを含む第１のサブセットであって、前記複数のシングルダイオードマイクロレンズに対応する前記複数のカラーフィルタの前記カラーフィルタがベイヤーパターンで配置された、第１のサブセットと、
    複数のマルチダイオードマイクロレンズと
    を備え、前記複数のマルチダイオードマイクロレンズの各マルチダイオードマイクロレンズが、
    前記複数のカラーフィルタのうちの少なくとも２つの隣接するカラーフィルタの上に配置され、前記少なくとも２つの隣接するカラーフィルタの各々が同じ波長の光を通過させるように構成され、
    第１の方向において入射する光が前記少なくとも２つの隣接するダイオードの第１のダイオード内に収集され、第２の方向において入射する光が前記少なくとも２つの隣接するダイオードの第２のダイオード内に収集されるように形成された、
    画像センサ。
13. 前記少なくとも２つの隣接するカラーフィルタが波長を通過させるように構成された光の波長が緑色光に対応する、請求項１２に記載の画像センサ。
14. 前記複数のマルチダイオードマイクロレンズの少なくとも１つのマルチダイオードマイクロレンズが、円形周辺部を有する平凸レンズを備え、前記少なくとも１つのマルチダイオードマイクロレンズが、前記複数のダイオードのうちのダイオードの２×２クラスタに光を通過させるようにサイズを決められた、請求項１２に記載の画像センサ。
15. 前記複数のマルチダイオードマイクロレンズの少なくとも１つのマルチダイオードマイクロレンズが、楕円形周辺部を有する平凸レンズを備え、前記少なくとも１つのマルチダイオードマイクロレンズが、前記複数のダイオードのうちのダイオードの２×１クラスタに光を通過させるようにサイズを決められた、請求項１２に記載の画像センサ。
16. 前記複数のダイオードが、半導体基板内に形成された複数のフォトダイオードのアレイを備える、請求項１２に記載の画像センサ。
17. 前記複数のフォトダイオードの各々が、前記複数のマイクロレンズのうちの１つから光を受光する、請求項１６に記載の画像センサ。
18. 最終画像を構築するためのプロセスを実行するための命令で構成された画像信号プロセッサであって、前記プロセスが、
    画像センサの複数のダイオードから画像データを受信することであって、前記画像データが、
    ベイヤーパターンで配置された複数のカラーフィルタに関連する前記複数のダイオードの第１のサブセットからの複数の撮像ピクセル値と、
    前記複数のダイオードの第２のサブセットからの複数の位相検出ピクセル値であって、前記複数の位相検出ピクセル値の各々が緑色ピクセル値を含むように前記ベイヤーパターンから逸脱する複数のカラーフィルタに関連する、複数の位相検出ピクセル値とを備え、前記複数のダイオードの前記第２のサブセットが隣接するダイオードの複数のグループに配置され、前記複数のグループの各グループが、第１の方向において入射する光が前記グループの第１のダイオード内に収集され、第２の方向において入射する光が前記グループの第２のダイオード内に収集されるように形成された対応するマイクロレンズから光を受光する、受信することと、
    前記隣接するダイオードの複数のグループの各々について、前記グループの前記第１のダイオードの位置に対応する単一緑色ピクセル値を計算することと、
    前記隣接するダイオードの複数のグループの各々について、前記グループの前記第２のダイオードの位置に対応する欠損青色または赤色ピクセル値を計算することと、
    前記複数の撮像ピクセル値と、前記計算された欠損青色または赤色ピクセル値と、前記計算された単一緑色ピクセル値とに少なくとも部分的に基づいて前記最終画像を構築することと
    を備える、画像信号プロセッサ。
19. 前記複数のダイオードのうちの１つのダイオードから受信された前記複数の位相検出ピクセル値の位相検出ピクセル値が、前記１つのダイオードに隣接する前記複数のダイオードの他のダイオードから受信された撮像ピクセル値の輝度値と同様の輝度値を有する、請求項１８に記載の画像信号プロセッサ。
20. 前記最終画像を構築することが、少なくとも部分的にデモザイク処理によって行われる、請求項１８に記載の画像信号プロセッサ。
21. 前記隣接するダイオードの複数のグループの各々について前記単一緑色ピクセル値を計算することが、前記グループ内の各ダイオードから受信された値の値を合計することを備える、請求項１８に記載の画像信号プロセッサ。
22. 前記隣接するダイオードの複数のグループの各々について前記欠損青色または赤色ピクセル値を計算することが、前記ベイヤーパターンに基づいて、前記第２のダイオードが青色ピクセル位置または赤色ピクセル位置のいずれに対応するのかを識別することを備える、請求項１８に記載の画像信号プロセッサ。
23. 前記第２のダイオードが前記青色ピクセルに対応するとき、前記欠損青色または赤色ピクセル値を計算することが、
    前記複数の撮像ピクセル値から、前記第２のダイオードの前記青色ピクセル位置の所定の近傍内の複数の青色ピクセル値を識別することと、
    前記複数の青色ピクセル値に少なくとも部分的に基づいて、前記第２のダイオードに関する青色ピクセル値を補間することと
    を備える、請求項２２に記載の画像信号プロセッサ。
24. 前記所定の近傍が、その中心に前記第２のダイオードを有する５×５クラスタ内のダイオードから受信された値を含む、請求項２３に記載の画像信号プロセッサ。
25. 前記第２のダイオードが前記赤色ピクセルに対応するとき、前記欠損青色または赤色ピクセル値を計算することが、
    前記複数の撮像ピクセル値から、前記第２のダイオードの前記赤色ピクセル位置の所定の近傍内の複数の赤色ピクセル値を識別することと、
    前記複数の赤色ピクセル値に少なくとも部分的に基づいて、前記第２のダイオードに関する赤色ピクセル値を補間することと
    を備える、請求項２２に記載の画像信号プロセッサ。
26. 画像キャプチャ装置であって、
    ターゲットシーンからの光を感知するための複数の感知手段と、
    前記複数の感知手段の上に配置された複数のカラーフィルタ手段であって、前記複数のカラーフィルタ手段の各々が前記複数の感知手段のうちの１つの上に配置された、複数のカラーフィルタ手段と、
    前記複数のカラーフィルタ手段のうちの１つの上に各々が配置された複数の第１の光合焦手段であって、前記複数の第１の光合焦手段に対応する前記複数のカラーフィルタ手段の第１のサブセットがベイヤーパターンで配置された、複数の第１の光合焦手段と、
    位相差検出情報を生成するための複数の第２の光合焦手段であって、前記複数の第２の光合焦手段の各々が、
    前記複数のカラーフィルタ手段のうちの少なくとも２つの隣接するカラーフィルタ手段の上に配置され、前記少なくとも２つの隣接するカラーフィルタ手段の各々が同じ波長の光を通過させるように構成され、
    第１の方向において入射する光が前記少なくとも２つの隣接する感知手段の第１の感知手段内に収集され、第２の方向において入射する光が前記少なくとも２つの隣接する感知手段の第２の感知手段内に収集されるように形成された、複数の第２の光合焦手段と
    を備える画像キャプチャ手段と、
    前記複数の第２の光合焦手段のうちの１つに対応する前記少なくとも２つの隣接する感知手段から受信された値を使用して、位相検出オートフォーカスを実行するように構成された位相検出手段と
    を備える画像キャプチャ装置。
27. 前記画像キャプチャ手段が、前記ターゲットシーンの合焦画像を生成するために、画像信号処理手段から受信されたデータに少なくとも部分的に基づいて位置決め可能な主合焦手段をさらに備える、請求項２６に記載の画像キャプチャ装置。
28. 前記主合焦手段が、前記複数のカラーフィルタ手段の上に配置された可動レンズアセンブリを備える、請求項２７に記載の画像キャプチャ装置。
29. 前記主合焦手段が、前記複数の感知手段を移動させるための機構を備える、請求項２７に記載の画像キャプチャ装置。
30. 前記複数の第２の光合焦手段から光を受光する一部の感知手段に関する欠損カラー値を計算するための補間手段をさらに備える、請求項２６に記載の画像キャプチャ装置。

Images