JP2018535443A - 位相検出オートフォーカスの算術 - Google Patents

Abstract

いくつかの態様は、オートフォーカス情報を計算するために位相検出画素に加えて撮像画素（すなわち、非位相検出画素）を使用するためのシステムおよび技法に関する。撮像画素値は、位相検出画素の位置における値を補間するために使用され得る。補間された値および位相差検出画素から受け取られた値は、仮想位相検出画素値を取得するために使用され得る。補間された値、位相差検出画素から受け取られた値、および仮想位相検出画素値は、画像の合焦のずれの方向（非合焦の方向）およびずれの量（非合焦の量）を示す位相差検出信号を取得するために使用され得る。

Description

本明細書において開示されるシステムおよび方法は位相検出オートフォーカスを対象とし、より具体的には、オートフォーカスを計算するために位相検出画素に加えて撮像画素を使用することに関する。

一部の画像捕捉デバイスは、位相差検出センサ（「画素」とも呼ばれ得る）を使用してオートフォーカスを実行する。オンセンサの位相差検出は、通常は「左側」画素および「右側」位相検出画素の繰り返すまばらなパターンとして並べられる撮像画素の間に位相差検出画素を散在させることによって動作する。システムは、異なる位相差検出画素によって生成される信号の間の、たとえば左側画素データから生成される画像と右側画素データから生成される画像との間の位相差を検出する。検出された位相差はオートフォーカスを実行するために使用され得る。

位相検出オートフォーカスは、コントラストベースのオートフォーカスより高速に動作する。多くの現在の実装形態は、イメージセンサの上部に金属マスクを置いて左側および右側の位相検出画素を作り出し、マスクされた画素に達する光がより少なくなる。位相検出画素の出力は通常の画像捕捉画素の出力より明るさが低いので、位相差検出画素は、補正を必要とするような知覚可能なアーティファクトを捕捉された画像の中に作り出す。撮像画素に取り囲まれるように個々に位相検出画素を置くことによって、システムは位相検出画素に対する値を補間することができる。

マスクされた画素はペアで使用される。シーンの焦点が合っていないとき、位相検出画素のマスクは入ってくる光をわずかに位相シフトする。位相検出画素の間の距離は、それらの相対的なシフトとともに、シーンの焦点が合うように光学アセンブリがレンズを大まかにどれだけ動かす必要があるかの決定を与えるために畳み込まれ得る。

通常、位相検出画素は、いくつかの撮像画素により離隔されたペアとして設けられる。いくつかの事例では、補正の後でも、位相検出画素のペアのパターンが得られる画像データにおいて知覚可能であることがある。さらに、ある距離にわたって位相検出画素を離すことによって、位相検出オートフォーカスプロセスは、ペアの位相検出画素がターゲット画像シーンにおけるエッジを挟んで反対側から光を受け取るときに、エラーの影響を受けやすくなる。

とりわけ、前述の問題は、いくつかの実施形態では、オートフォーカス情報を計算するために位相検出画素に加えて撮像画素（すなわち、非位相検出画素）を使用する、本明細書において説明される位相検出オートフォーカスのシステムおよび技法によって対処される。有利には、これは、より少数の位相検出画素を使用した位相検出オートフォーカスを実現でき、補正を必要とするアーティファクトがより少なくなる。さらに、位相検出画素と同じ位置において中心画素値を補間し、中心画素と位相検出画素との相違を計算することによって、エッジの位置が原因の相違の不正確さが、開示されるシステム技法により軽減され得る。

１つの革新は、ターゲットシーンを表す画像情報または位相検出情報のうちの１つを捕捉するように各々構成される複数のダイオードであって、画像情報が複数のダイオードの第１のサブセットから受け取られ、位相検出情報が複数のダイオードの第２のサブセットから受け取られる、複数のダイオードと、複数のダイオードの第２のサブセットの各ダイオードに対して、ダイオードから受け取られた位相検出情報を入手し、画像情報から、ダイオードの位置に対応する中心値を決定し、中心値および入手された位相検出情報から、位置に対応する仮想位相検出値を決定し、複数のダイオードの第２のサブセットの少なくともいくつかからの位相検出情報に基づく位相検出画像、複数のダイオードの第２のサブセットの各々に対する中心値に基づく中心画像、および複数のダイオードの第２のサブセットの少なくともいくつかに対する仮想位相検出値に基づく仮想位相検出画像のうちの少なくとも２つを生成し、生成された画像のうちの２つの間の位相差を計算し、位相差に基づいてオートフォーカス調整量を決定するための、命令を用いて構成されるプロセッサとを含む、撮像装置を含む。

以下は、そのような撮像装置のいくつかの特徴および実施形態の限定しない例である。たとえば、プロセッサは、その位置におけるダイオードから受け取られた位相検出値を中心値から差し引くことによって、仮想位相検出値を決定するように構成され得る。プロセッサは、その位置の周りの所定の複数のダイオードから受け取られた画像情報を使用して中心値を補間することによって、中心値を決定するように構成され得る。プロセッサは、中心画像と仮想位相検出画像との位相差を計算するように構成され得る。複数のダイオードの第２のサブセットは、対向する位相検出ダイオードの複数のペアを含み得る。プロセッサは、複数のダイオードの第２のサブセットの各ダイオードに対して、対向する位相検出ダイオードを特定し、対向する位相検出ダイオードに対応する対向する位相検出画像および対向する仮想位相画像を特定するように構成され得る。プロセッサは、中心画像、位相検出画像、対向する位相検出画像、仮想位相画像、および対向する仮想位相画像のすべてのあり得るペアの間の位相差を特定するように構成され得る。プロセッサは、位相差に基づいてオートフォーカス調整量を計算するように構成され得る。撮像装置は、複数のダイオードの第２のサブセットの各々のみがターゲットシーンから特定の方向に伝播する光を収集するように、ターゲットシーンから伝播する光の一部分を遮断するための、複数のダイオードの第２のサブセットの各々の上に配置されたマスキング要素を含み得る。撮像装置は、複数のダイオードの第２のサブセットの少なくとも２つの隣り合うダイオードの上に配置されたマイクロレンズを含むことがあり、マイクロレンズは、少なくとも２つの隣り合うダイオードのうちの第１へとターゲットシーンから伝播する光の第１の部分および少なくとも２つの隣り合うダイオードの第２へとターゲットシーンから伝播する光の第２の部分を通すように形成され、第１の部分は第１の方向に伝播し、第２の部分は第２の方向に伝播する。複数のダイオードは、複数のダイオードの二次元行列を有する半導体基板であり得る。複数のダイオードの第２のサブセットの第１の半分と関連付けられる光学素子は、複数のダイオードの第２のサブセットの第１の半分の各ダイオードのみが第１の方向へとターゲットシーンから伝播する光を収集して位相検出情報の第１の半分を生成するように、構成され得る。複数のダイオードの第２のサブセットの第２の半分と関連付けられる光学素子は、複数のダイオードの第２のサブセットの第２の半分の各ダイオードのみが第２の方向へとターゲットシーンから伝播する光を収集して位相検出情報の第２の半分を生成するように、構成され得る。複数のダイオードの第２のサブセットの各々は、光遮断マスクを通ってターゲットシーンから伝播する光を受け取ることができ、中心値を決定するステップは、その位置の周りの複数のダイオードの第１のサブセットの３×３の近隣から受け取られる値に基づいて中心値を補間するステップを含み得る。複数のダイオードの第２のサブセットの各々は、マルチダイオードマイクロレンズを通ってターゲットシーンから入射する光を受け取ることができ、中心値を決定するステップは、その位置の周りの複数のダイオードの第１のサブセットの３×４の近隣から受け取られる値に基づいて中心値を補間するステップを含み得る。マルチダイオードマイクロレンズの下に配置された各ダイオードに対する仮想位相検出値を決定するステップは、マルチダイオードマイクロレンズの下に配置された各ダイオードに対する同じ中心値を使用して行われ得る。

別の革新は、位相検出オートフォーカスのためのプロセスを実行するための命令を用いて構成されるプロセッサを含み、このプロセスは、複数の撮像ダイオードからターゲットシーンを表す画像情報を入手するステップと、位相検出ダイオードから受け取られた位相検出情報を入手する複数の撮像ダイオードの２次元配置内の対応する複数の位置に配置される複数の位相検出ダイオードの各位相検出ダイオードに対して、画像情報から、位相検出ダイオードの位置に対応する中心値を決定するステップと、中心値および入手された位相検出情報から、位置に対応する仮想位相検出値を決定するステップと、複数の位相検出ダイオードの各々に対する位相検出情報に基づく位相検出画像、複数の位相検出ダイオードの各々に対する中心値に基づく中心画像、および複数の位相検出ダイオードの各々に対する仮想位相検出値に基づく仮想位相検出画像のうちの少なくとも２つを生成するステップと、生成された画像のうちの２つの間の位相差を計算するステップと、位相差に基づいてオートフォーカス調整量を決定するステップとを含む。

以下は、そのようなプロセッサのいくつかの特徴および実施形態の非限定的な例である。たとえば、複数の位相検出ダイオードは、複数の撮像ダイオードの２次元配置内の対応する複数の位置において配置されることが可能であり、中心値を決定するステップは、その位置の周りの所定の撮像ダイオードから受け取られた値を使用するステップを含み得る。各位相検出ダイオードは、透明なカラーフィルタを通って、またはカラーフィルタを通らずにターゲットシーンから伝播する光を受け取ることができ、中心値を計算するステップは、その位置の周りの所定の撮像ダイオードから受け取られた赤、青、および緑の色値を使用するステップを含み得る。各位相検出ダイオードは、緑のカラーフィルタを通ってターゲットシーンから伝播する光を受け取ることができ、中心値を計算するステップは、その位置の周りの所定の撮像ダイオードから受け取られた緑の色値を使用するステップを含み得る。各位相検出ダイオードは、光遮断マスクを通ってターゲットシーンから入射する光を受け取ることができ、その位置の周りの所定の撮像ダイオードは、撮像ダイオードの３×３のアレイを含み得る。各位相検出ダイオードは、マルチダイオードマイクロレンズを通ってターゲットシーンから入射する光を受け取ることができ、その位置の周りの所定の撮像ダイオードは、撮像ダイオードの３×４のアレイを含み得る。マルチダイオードマイクロレンズの下に配置される各ダイオードに対する仮想位相検出値を決定するステップは、中心値を使用するステップを含み得る。

別の革新は、複数の撮像ダイオードからターゲットシーンを表す画像情報を入手するステップと、位相検出ダイオードから受け取られた位相検出情報を入手する複数の撮像ダイオードの２次元配置内の位置に対応する複数の位置に配置される複数の位相検出ダイオードの各位相検出ダイオードに対して、画像情報から、位相検出ダイオードの位置に対応する中心値を決定するステップと、中心値および入手された位相検出情報から、位置に対応する仮想位相検出値を決定するステップと、各位相検出ダイオードの位相検出情報および仮想位相検出値に基づいて第１の画像および第２の画像を生成するステップと、第１の画像と第２の画像との位相差を計算するステップと、位相差に基づいてオートフォーカス調整量を決定するステップとを含む、位相検出オートフォーカスプロセスを含む。

以下は、そのようなプロセスのいくつかの特徴および実施形態の非限定的な例である。たとえば、プロセスはさらに、複数の位相検出ダイオードの左側サブセットを特定するステップと、複数の位相検出ダイオードの右側サブセットを特定するステップとを含み得る。第１の画像を生成するステップは、複数の位相検出ダイオードの左側サブセットから受け取られた位相検出情報を複数の位相検出ダイオードの右側サブセットの位置に対応する複数の仮想位相検出値と合成するステップを含むことがあり、第２の画像を生成するステップは、複数の位相検出ダイオードの右側サブセットから受け取られた位相検出情報を複数の位相検出ダイオードの左側サブセットの位置に対応する複数の仮想位相検出値と合成するステップを含むことがある。第１の画像を生成するステップは、複数の位相検出ダイオードの左側サブセットから受け取られた位相検出情報に基づくことがあり、第２の画像を生成するステップは、複数の位相検出ダイオードの左側サブセットの位置に対応する複数の仮想位相検出値に基づくことがある。各位相検出ダイオードは、透明なカラーフィルタを通って、またはカラーフィルタを通らずにターゲットシーンから伝播する光を受け取ることができ、中心値を計算するステップは、その位置の周りの複数の撮像ダイオードの所定の近隣から受け取られた赤、青、および緑の色値を使用するステップを含み得る。各位相検出ダイオードは、緑のカラーフィルタを通ってターゲットシーンから入射する光を受け取ることができ、中心値を計算するステップは、その位置の周りの複数の撮像ダイオードの所定の近隣から受け取られた緑の色値を使用するステップを含み得る。

別の革新は、ターゲットシーンを表す画像情報を捕捉するための手段と、位相検出情報を捕捉するための複数の手段と、位相捕捉手段から受け取られた位相検出情報を入手する位相検出情報を捕捉するための複数の手段の各位相捕捉手段に対して、画像情報から、位相捕捉手段の位置に対応する中心値を決定し、中心値および入手された位相検出情報から、位置に対応する仮想位相検出値を決定するための手段と、位相検出情報を捕捉するための複数の手段の少なくともいくつかの位相検出情報に基づく位相検出画像、複数のダイオードの第２のサブセットの各々に対する中心値に基づく中心画像、および位相検出情報を捕捉するための複数の手段の少なくともいくつかに対する仮想位相検出値に基づく仮想位相検出画像のうちの少なくとも２つを生成するための手段と、生成された画像のうちの２つの間の位相差を計算するための手段と、位相差に基づいてオートフォーカス調整量を決定するための手段とを含む、撮像装置を含む。

開示される態様は、開示される態様を限定するのではなく例示するために提供される、添付の図面および付録とともに以下で説明され、同様の符号は同様の要素を表す。

位相検出オートフォーカス情報を取得するための例示的なマルチダイオードマイクロレンズの概略図である。 位相検出オートフォーカス情報を取得するための例示的なマスクされたダイオードの概略図である。 位相検出オートフォーカス情報を取得するための例示的なマスクされたダイオードの概略図である。 位相検出ダイオードのペアに入る例示的な光線の軌跡を示す図である。 位相検出ダイオードのペアに入る例示的な光線の軌跡を示す図である。 位相検出ダイオードのペアに入る例示的な光線の軌跡を示す図である。 マスクされた位相検出ダイオードのペアに入る例示的な光線の軌跡を示す図である。 中心画素値を計算するための例示的な方法のグラフィカルな表現である。 中心画素値を計算するための例示的な方法のグラフィカルな表現である。 仮想画素値を計算するための例示的な方法のグラフィカルな表現である。 様々な位相検出画像のオフセットのグラフィカルな表現である。 本明細書において説明されるようなノイズが低減された位相検出オートフォーカスプロセスを実行するためのプロセスの一実施形態のフローチャートである。 本明細書において説明されるようなノイズが低減された位相検出オートフォーカスプロセスを実行するためのプロセスの別の実施形態のフローチャートである。 マルチダイオードマイクロレンズを有するセンサを使用する例示的な位相検出オートフォーカスプロセスの高水準の概略図である。 位相検出オートフォーカスデバイスおよび技法を装備した撮像システムの例を示す概略ブロック図である。

序論
本開示の実施形態は、オートフォーカス情報を計算するために位相検出画素に加えて撮像画素（すなわち、非位相検出画素）を使用するためのシステムおよび技法に関する。撮像画素値は、位相検出画素の位置における値を補間するために使用され得る。補間された値および位相差検出画素から受け取られた値は、画像の合焦のずれの方向（非合焦の方向）およびずれの量（非合焦の量）を示す位相差検出信号を取得するために使用され得る。有利には、これは、より少数の位相検出画素を使用した位相検出オートフォーカスを実現でき、補正を必要とするアーティファクトがより少なくなり、かつより正確なオートフォーカスを実現できる。

撮像画素から受け取られた画像データは、たとえば、「中心画素」値と本明細書において呼ばれる、位相検出画素と同じ位置における値を補間するために使用され得る。一例では、中心画素値は、４つの隣り合う緑の画素から補間され得る。他の例では、中心値は、たとえば５×５、７×７などの様々なサイズの領域の中の、任意の色の近隣の画素から計算され得る。

１つの手法は、中心画素データから生成された画像と右側画素から生成された画像との相違を計算することができる。この相違は、オートフォーカスを計算するために使用され得る。たとえば、中心画素値が補間された後で、右側画素データから生成される第１の画像と、中心画素データから生成される第２の画像という、２つの画像が構築され得る。これらの画像は、イメージセンサ上の既知の位置におけるいくつかの右側画素および対応する中心画素からの情報に基づいて生成され得る。右側画素画像および補間された中心画素画像は、たとえば、左側画像と右側画像の相互相関を適用し、次いで、相互相関の結果に少なくとも一部基づいてレンズの動きの方向および量を決定することによって、オートフォーカス計算のための位相検出のために使用され得る。同様のプロセスが、右側画素情報、左側画素情報、および中心画素情報を用いて生成される２つの画像の他の組合せに対して使用され得る。

別の手法は、中心画素値および単一の位相検出画素を使用して対応する位相検出画素の値を推定し、次いで、オートフォーカスのために実際の位相検出画素値と推定された仮想位相検出画素値との相違を使用することができる。

たとえば、補間された中心画素値から右側位相検出画素の値を引くと、右側位相検出画素に対応する仮想左側位相検出画素の値が計算される。仮想左側画素値が減算により生成された後で、右側画素データから生成される第１の画像と、仮想左側画素データから生成される第２の画像という、２つの画像が構築され得る。これらの画像は、イメージセンサ上の位相検出画素の位置におけるいくつかの右側画素および対応する仮想左側画素に基づいて生成され得る。右側画素画像および仮想左側画素画像は、たとえば相互相関関数を仮想左側画像および右側画像に適用することによって、オートフォーカス計算のための位相検出のために使用され得る。理解されるように、他の実装形態は、左側画素に実際の値を使用して右側画素の仮想値を計算することができ、または代わりに、左側画素および右側画素が、そのような減算技法のために上側画素および下側画素を使用することができる。

他の実装形態は、位相検出画素からの５つの異なる画像の一部またはすべてと、位相検出画素の各々に対応する近隣画素値とを抽出することができる。

（１）中心画像（位相検出画素の位置における補間された中心画素値からの）、

（２）左側画像（標準的な位相検出オートフォーカスの場合のように、左側位相検出画素値からの）、

（３）右側画像（標準的な位相検出オートフォーカスの場合のように、右側位相検出画素値からの）、

（４）仮想左側画像（補間された中心画素値から右側位相検出画素値を減算することによる）、および

（５）仮想右側画像（補間された中心画素値から左側位相検出画素値を減算することによる）。

そのような実装形態では、位相検出の相関付けが、以下の画像の組合せのいずれかまたはすべてを使用して実行され得る。
（１）右側画像または仮想右側画像および仮想左側画像
（２）左側画像または仮想左側画像および仮想右側画像
（３）中心画像および他の４つの画像のうちのいずれか

いくつかの実装形態は、右側仮想位相検出画素値および実際の右側位相検出画素値に基づいて合成された右側画像を作り出し、また、左側仮想位相検出画素値および実際の左側位相検出画素値に基づいて合成された左側画像を作り出すことができ、そのような実装形態が次いで、合成された画像に対して左側画像と右側画像との相関付けを実行し、これにより、仮想位相検出情報を伴わずに実行される典型的な左側と右側の相関付けと比較して、位相検出情報の量を２倍にすることができる。ロバストな位相検出アルゴリズムの一例では、上で説明された５つの画像のすべての可能な組合せにわたって、相関が探索され得る。

主にマスクされた位相検出画素の文脈で本明細書において論じられるが、本明細書において説明されるマルチ画像位相検出技法は、マスクレス位相検出画素、たとえば、マイクロレンズの形成が原因で位相情報を受け取ることにも適用可能であり得る。

例示を目的として、図面とともに様々な実施形態が下で説明される。開示されている概念の多くの他の実装形態が可能であり、開示されている実装形態によって様々な利点が達成され得ることを理解されたい。参照のため、および様々なセクションを見つけるのを助けるために、本明細書には見出しが含まれる。これらの見出しは、それに関して説明される概念の範囲を限定することを意図されたものではない。そのような概念は、本明細書全体にわたって適用可能であり得る。

例示的な位相検出マイクロレンズおよびカラーフィルタ配置の概要
図１Ａは、位相データを生成するためのマルチダイオードマイクロレンズ１１０を含む例示的なセンサ部分１００の概略図を示す。センサ部分１００は、シングルダイオードマイクロレンズ１０５、マルチダイオードマイクロレンズ１１０、複数のカラーフィルタ１１５を含むフィルタアレイ１０８、およびセンサアレイ１０７の中に並べられたフォトダイオード（「ダイオード」）１２０Ａ〜１２０Ｄを含む。マルチダイオードマイクロレンズ１１０は、ターゲットシーンからの光がセンサアレイ１０７のダイオード１２０Ｂ、１２０Ｃに入射する前にマルチダイオードマイクロレンズ１１０を通って伝播するようにサイズ決定および配置が行われ、ダイオード１２０Ｂ、１２０Ｃは、光がパするようにマルチダイオードマイクロレンズ１１０によって覆われる。

ダイオードは、たとえば、半導体基板の中、たとえば相補型金属酸化膜半導体（ＣＭＯＳ）イメージセンサの中に形成されるフォトダイオードであり得る。本明細書では、ダイオードは、入射光を電流に変換する任意の材料、半導体、センサ素子、または他のデバイスの単一の単位を指す。本明細書において使用される「画素」という用語は、カラーフィルタまたはマイクロレンズなどの隣り合う光学素子が原因の検知機能の文脈においては単一のダイオードを指し得る。したがって、「画素」は一般にディスプレイのピクチャ素子を指し得るが、本明細書において使用される「画素」は、光を受け取り、ディスプレイ上でレンダリングされるとセンサ（および複数の他のセンサ）により捕捉される画像の中の点として表示され得る信号を生成する、センサ（たとえば、フォトダイオード）を指し得る。たとえばＣＭＯＳまたは電荷結合（ＣＣＤ）デバイスの中のセンサのアレイの個々の単位または検知素子は、センセルとも呼ばれ得る。

カラーフィルタ１１５は、波長選択性の通過フィルタとして働き、入来する可視の域の光を赤、緑、および青の域へと分割（またはフィルタリング）する。入来する光は、たとえばターゲットシーンに由来する。光は、ある選択された波長のみがカラーフィルタ１１５を通過できるようにすることによって「分割」され、光のフィルタリングはカラーフィルタ１１５の構成に基づく。様々なタイプのカラーフィルタ１１５が使用され得る。図１Ａに示されるように、分割された光は、専用の赤、緑、または青のダイオード１２０Ａ〜１２０Ｄによって受け取られる。赤、青、および緑のカラーフィルタが一般に使用されるが、他の実施形態では、カラーフィルタは、たとえば紫外線、赤外線、または近赤外線通過フィルタを含めて、捕捉された画像データのカラーチャネル要件に従い変化することができる。

各シングルダイオードマイクロレンズ１０５は、単一のカラーフィルタ１１５および単一のダイオード１２０Ａ、１２０Ｄを覆って配置される。したがって、ダイオード１２０Ａ、１２０Ｄは撮像画素情報を提供する。マイクロレンズアレイ１０６の中のシングルダイオードマイクロレンズの下にあるカラーフィルタは、いくつかの実施形態では、ベイヤーパターンに従って配置され得る。マルチダイオードマイクロレンズ１１０は、２つの隣り合うカラーフィルタ１１５Ｂ、１１５Ｃおよび２つの対応する隣り合うダイオード１２０Ｂ、１２０Ｃを覆って配置される。したがって、ダイオード１２０Ｂ、１２０Ｃは、ダイオード１２０Ｂが第１の方向のマルチダイオードマイクロレンズ１１０に入る光を受け取り、ダイオード１２０Ｃが第２の方向のマルチダイオードマイクロレンズ１１０に入る光を受け取ることによって、位相検出画素情報を提供する。マイクロレンズアレイ１０６の中のマルチダイオードマイクロレンズの下にあるカラーフィルタは、いくつかの実施形態では、同じ波長の光を通すように選択され得る。

本明細書では、「覆って」および「の上に」は、ターゲットシーンから入射する光がある構造（たとえば、カラーフィルタまたはレンズ）を通って伝播してから別の構造に到達する（または入射する）ような、構造の配置を指す。例示すると、マイクロレンズアレイ１０６はカラーフィルタアレイの上に配置され、カラーフィルタアレイはダイオード１２０Ａ〜１２０Ｄの上に配置される。したがって、ターゲットシーンからの光は、最初にマイクロレンズアレイを、次いでカラーフィルタアレイを通過し、最終的にダイオード１１５Ａ〜１１５Ｄに入射する。

図１Ａは、物理的な構造ではなくマルチダイオードマイクロレンズ１１０により提供される位相検出能力を説明するために図示されているものと理解されるべき、（破）線１３０を図示する。線１３０は、マルチダイオードマイクロレンズ１１０の光学的な中心を通過し、カラーフィルタ１１５Ａ〜１１５Ｄのカラーフィルタアレイによって形成される平面に直交する。マルチダイオードマイクロレンズ１１０が２×１のマイクロレンズである場合、マルチダイオードマイクロレンズ１１０は、第１の方向に入射する、すなわち線１３０の一方の側からマルチダイオードマイクロレンズ１１０に入る光Ｌ（ｘ）が、第１のダイオード１２０Ｂにおいて収集されるように形成される。第２の方向に入射する、すなわち線１３０の他方の側からマルチダイオードマイクロレンズ１１０に入る光は、第２のダイオード１２０Ｃにおいて収集される。したがって、ダイオード１２０Ｂ、１２０Ｃから受け取られるデータは位相検出のために使用されることが可能である。マルチダイオードマイクロレンズが２×２のマイクロレンズである場合、マルチダイオードマイクロレンズ１１０は、４つの方向に入射する光Ｌ（ｘ）が４つのダイオードに入射するように形成され、このとき、１つの方向の光はマルチダイオードマイクロレンズ１１０の４分の１を通過する光と見なされる。

図１Ｂおよび図１Ｃは、位相検出オートフォーカス情報を取得するための例示的なマスクされたダイオードの概略図を示す。図１Ｂはカラーフィルタ１１５の下に配置されたマスク１２５Ａ、１２５Ｂを有する例示的な配置１００Ｂを示し、一方で図１Ｃはカラーフィルタ１１５の上に配置されたマスク１２５Ａ、１２５Ｂを有する例示的な配置１００Ｃを示す。ターゲットシーンからの光は、マスク１２５Ａ、１２５Ｂ、マイクロレンズ１１５、およびカラーフィルタを通過する前に主集束レンズアセンブリ（図示されず）を通過し、次いで、位相検出ダイオード１２０Ｅ、１２０Ｆのペアに入射する。イメージセンサの設計検討事項に応じて、位相検出ダイオード１２０Ｅ、１２０Ｆは、互いに隣り合っていることがあり、または、１つまたは複数のダイオードによって離隔されていることがあり、同じ行もしくは列にあることがあり、または異なる行もしくは列にあることがある。

マスク１２５Ａ、１２５Ｂは、特定の方向に（図示されるように、シングルダイオードマイクロレンズ１０５の光学的な中心を通って破線１３０の一方の側から）入射する光のみが、ダイオード１２０Ｅ、１２０Ｆにおいて選択的に収集されることを可能にする。たとえば、位相差を生成するために、光遮断マスク１２５Ａ、１２５Ｂは、ペアを生み出すために反対方向にある２つのダイオード１２０Ｅ、１２０Ｆを覆って配置され、数万のペアが、位相差オートフォーカスのためのデータを取得するために、イメージセンサの２次元行列に並べられ得る。ダイオード１２０Ｅ、１２０Ｆに入射する光の量は、シングルダイオードマイクロレンズ１０５の光学軸に関してマスク１２５Ａ、１２５Ｂにより作り出される半画像によって、撮像ダイオードと比べて５０％低減される。

図２Ａ〜図２Ｃは、位相検出ダイオード１２０Ｂ、１２０Ｃのペアに入射する前に、主レンズ２５０を通り、次いでマルチダイオードマイクロレンズ１１０を通って進行する例示的な光線の軌跡を図示する。主レンズ２５０およびマルチダイオードマイクロレンズ１１０の寸法は一定の縮尺で示されていないことが理解されるだろう。マルチダイオードマイクロレンズ１１０の直径は、イメージセンサの２つの隣り合うダイオードにわたる距離に概ね等しいことがあり、一方で、主レンズ２５０の直径は、イメージセンサの幅（ダイオードの行または列に沿った距離）以上であることがある。

具体的には、図２Ａは合焦状態の例示的な光線の軌跡を図示し、図２Ｂは前ピン状態の例示的な光線の軌跡を図示し、図２Ｃは後ピン状態の例示的な光線の軌跡を図示する。光は、ターゲットシーンの中の点２６０から進行し、ターゲットシーンを合焦するためのレンズ２５０を通り位相検出ダイオード１２０Ｂ、１２０Ｃを含むイメージセンサへと進み、位相検出ダイオード１２０Ｂ、１２０Ｃに入射する前にマルチダイオードマイクロレンズ１１０を通過する。示されるように、ダイオード１２０Ｂは主レンズ２５０の左方向からの光Ｌ（ｘ）を受け取り、ダイオード１２０Ｃは主レンズ２５０の右方向からの光Ｒ（ｘ）を受け取る。いくつかの実施形態では、左方向からの光Ｌ（ｘ）は、主レンズ２５０の左半分（図２Ａ〜図１Ｃの図解においては下半分として示されている）からの光であることがあり、右方向からの光Ｒ（ｘ）は、主レンズ２５０の右半分（図２Ａ〜図１Ｃの図示においては上半分として示されている）からの光であることがある。したがって、イメージセンサ全体にわたって撮像ダイオードと交互配置される多数の位相検出ダイオードが、撮像ダイオードにより捕捉される中心画像からオフセットしている左側画像および右側画像を抽出するために使用され得る。右側および左側ではなく、他の実施形態は、オートフォーカス調整量を計算するために、上側画像および下側画像、対角線上の画像、または左側／右側、上側／下側、および対角線上の画像の組合せを使用することができる。

画像の焦点が合っているとき、左側光線Ｌ（ｘ）および右側光線Ｒ（ｘ）は位相検出ダイオード１１５Ｂ、１１５Ｃの平面において集束する。図１Ｃおよび図２Ｃに示されるように、前方および後方の非合焦場所において、光線はそれぞれ、ダイオードの平面の前および後に集束する。上で説明されたように、位相検出ダイオードからの信号は、前方または後方の非合焦場所において中心画像からオフセットしている左側画像および右側画像を生成するために使用されることが可能であり、オフセットの量が、主レンズ２５０に対するオートフォーカス調整量を決定するために使用されることが可能である。主レンズ２５０は、焦点が対象物の前方にある（イメージセンサにより近い）か、または対象物の後方にある（イメージセンサからより離れている）かに応じて、前方（イメージセンサに向かって）または後方（イメージセンサから離れて）に移動され得る。オートフォーカスプロセスは主レンズ２５０の動きの方向と量の両方を計算できるので、位相差オートフォーカスは非常に高速に焦点を合わせることができる。

図２Ｄは、位相検出ダイオード１２０Ｆ、１２０Ｅのペアに入射する前に、主レンズ（図示されず）を通り、次いで位相検出マスク１２５Ａ、１２５Ｂにより形成される開口を通って進行する、例示的な光線の軌跡を図示する。図２Ｄは後ピン状態を図示し、それは、主レンズの左側からの光線Ｌ（ｘ）および右側からの光線Ｒ（ｘ）がイメージセンサの平面の後方で集束するからである。示されるように、主レンズの右側からの光Ｒ（ｘ）はダイオード１２０Ｆに入射するが、主レンズの左側からの光Ｌ（ｘ）は、位相検出マスク１２５Ａ、１２５Ｂにより作り出される半開口によりダイオード１２０Ｅに入射する。

例示的な複数画像位相検出オートフォーカスの概要
図３Ａは、マスクされた位相検出ダイオードに対する中心画素値を計算するための例示的な方法のグラフィカルな表現を図示する。本明細書では、「中心画素値」は、１つまたは複数の近くの撮像ダイオードから受け取られる信号を使用して位相検出ダイオードの位置において補間される色および／または明るさの値を指す。図３Ａの例はマスクされた位相検出ダイオードを図示するが、他の実装形態は、上で説明されたマルチダイオードマイクロレンズを使用して位相データを生み出し得る。

図３Ａの図解において示されるように、一実施形態では、中心画素値は、４つの対角方向に隣り合う緑の画素値に基づいて、位相検出ダイオードの位置３０５において補間され得る。この手法は、位相検出ダイオードを覆って位置３０５に緑のカラーフィルタを有するいくつかの実装形態において使用され得る。他の例では、中心値は、たとえば５×５、７×７などの様々なサイズの領域の中の、任意の色の近隣の画素から計算され得る。

いくつかの実施形態では、位相検出ダイオードは、ダイオードを覆って配設される透明なカラーフィルタを有することがあり、またはカラーフィルタを有しないことがある。別のフィルタ、たとえば赤外線カットオフフィルタがダイオードを覆って配設されることもあるが、透明なカラーフィルタの下にある、または下にカラーフィルタがない位相検出ダイオードは、カラーフィルタリングされていない可視光を受け取る。したがって、ダイオードに入射する光の明るさを、波長選択性の通過フィルタを有するダイオードと比べて上げることができ、これは、半開口によりダイオードに入射する光が減少することによる弱光の状況において位相データを提供するのに有益であり得る。そのような実施形態では、中心画素値は、すべての色の近隣の画素値、たとえば位相検出ダイオードの位置を囲む３×３の近隣の中のすべての８個のダイオードから受け取られる値に基づいて補間され得る。一例では、線形な加重関数が、３×３の近隣の中の８個のダイオードから中心画素値を決定するために使用され得る。

中心画素は、イメージセンサ全体にわたる多数の位置からの中心画素値から構築され得る。半画像は、イメージセンサ全体にわたる多数の位置における位相検出ダイオードから受け取られる値から構築され得る。

図３Ｂは、マルチダイオードマイクロレンズ１１０の下にある位相検出ダイオードのペアに対する中心画素値を計算するための例示的な方法のグラフィカルな表現を図示する。示される例では、マルチダイオードマイクロレンズ１１０の下にある両方のダイオードが、緑のカラーフィルタの下にある。したがって、マルチダイオードマイクロレンズ１１０を囲む３×４の近隣の中の５個の緑の画素値が、中心画素値を計算するために使用される。他の実施形態では、異なる近隣からの緑の画素値、たとえば、マルチダイオードマイクロレンズの行に沿った５×１の近隣からの２つの緑の値、５×６の近隣からの緑の値などが使用され得る。

別の実施形態では、マルチダイオードマイクロレンズ１１０の下にある両方のダイオードが、透明なカラーフィルタの下にあり得る。そのような実施形態では、中心画素値は、すべての色の近隣の画素値、たとえばマルチダイオードマイクロレンズ１１０の位置を囲む３×４の近隣の中のすべての１０個のダイオードから受け取られる値に基づいて決定され得る。一例では、線形加重関数が、３×４の近隣の中の１０個のダイオードから中心画素値を決定するために使用され得る。

マルチダイオードマイクロレンズ１１０の下にある両方のダイオードに対して、同じ中心画素値が使用されることがあり、すなわち、マルチダイオードマイクロレンズ１１０の下にある両方のダイオードから受け取られる値に一部基づいて生成される半画像は、中心画素値に部分的に基づいて生成される中心画像と比較されることがある。

図３Ｃは、仮想画素値を計算するための例示的な方法のグラフィカルな表現を図示する。示される例では、右側位相検出センセル（集束レンズアセンブリの右側からの光Ｒ（ｘ）を受け取る上で説明されたダイオード１２０Ｃ、１２０Ｅなどのダイオード）から受け取られた値は、補間された中心画素値から差し引かれて、左側仮想位相検出画素値Ｌ_ｖとして図示される、仮想位相検出画素値を生み出す。右側位相検出画素値Ｒおよび左側仮想位相検出画素値Ｌ_ｖは、いくつかの他の右側位相検出画素値および左側仮想位相検出画素値とともに半画像を生成するためにいくつかの実施形態では使用され得る、対向する位相検出画素のペアを形成する。これらの半画像は、オートフォーカス調整量を決定するために使用可能な位相差を決定するために、互いに比較され得る。

同様の技法が、ペアの対向する位相検出画素の位置において右側、上側、下側、および対角線上の仮想位相検出画素値を生成するために使用され得る。

図３Ｄは、画像を捕捉するために使用される撮像システムが非合焦状態であるときの、中心画素値Ｃに対してオフセットされた様々な位相検出画素値Ｌ、Ｌ_ｖ、Ｒ、およびＲ_ｖを図示する、オフセット連続体３００のグラフィカルな表現を示す。オフセットは、焦点と比較した非合焦の量および非合焦の方向を示す。理解されるように、合焦状態では、オフセットはほとんどまたはまったくなく、画素値Ｃ、Ｌ、Ｌ_ｖ、Ｒ、およびＲ_ｖは、オフセット連続体３００上の同じ点に位置する。

非合焦状態および、画素値Ｃ、Ｌ、Ｌ_ｖ、Ｒ、およびＲ_ｖに対する非合焦状態の影響が、オフセット連続体３００の上の錯乱円の図３０１〜３０５により示されている。ぼけスポットとも呼ばれる錯乱円は、点源を撮像するときにイメージセンサの平面にある焦点へ光錐が来ないことにより引き起こされる光学的なスポットであり、たとえば、図２Ｂおよび図２Ｃに示される合焦状態において発生する。中心画素値に対応するぼけスポット３０１の全体が示されており、これはマスクされていない開口を通ってセンセルに入射する光を表す。ぼけスポット３０１の形状と対比して示される、三日月形のぼけスポット３０２は、センセルの上の開口の右半分（またはほぼ半分）を遮断するマスクの下にあるセンセルに入射し、これにより、左側位相検出画素値Ｌを生み出す。同様に、ぼけスポット３０１の形状と対比して示される、三日月形のぼけスポット３０３は、センセルの上の開口の左半分（またはほぼ半分）を遮断するマスクの下にあるセンセルに入射し、これにより、右側位相検出画素値Ｒを生み出す。画素値Ｃのぼけスポット３０１全体から右側位相検出画素の三日月型のぼけスポット３０３を差し引いたものとして計算されている、仮想左側画素値Ｌ_ｖのぼけスポット３０４は、ほぼマーキーズ形またはレンズ形である。同様に、画素値Ｃのぼけスポット３０１全体から左側位相検出画素の三日月形のぼけスポット３０２を差し引いたものとして計算されている、仮想右側画素値Ｒ_ｖのぼけスポット３０５は、ほぼマーキーズ形またはレンズ形である。

上で説明されたように、中心画素値Ｃは、中心画素を生成するために、いくつかの他の計算された中心画素値とともに使用され得る。位相検出画素値Ｌ、Ｌ_ｖ、Ｒ、およびＲ_ｖは、位相差を検出するのに使用可能な半画像を生成するために、それぞれいくつかの他の左側、仮想左側、右側、および仮想右側位相検出画素値とともに使用され得る。

中心画像Ｃは、オフセットを有しない（オフセット連続体３００に沿った０の点に位置する）ものとして示されている。左側画素値Ｌおよび右側画素値Ｒはそれぞれ、三日月形のぼけスポット３０２、３０３のうちの対応する１つの重心に基づいて、中心画素値Ｃから正または負のオフセットを有するものとして示されている。典型的な位相検出オートフォーカスプロセスは、オートフォーカス調整量を計算するために、左側画素値Ｌと右側画素値Ｒとの相違を使用する。しかしながら、本明細書において説明される位相検出オートフォーカスプロセスでは、オートフォーカス調整量は、いくつかの左側画素値Ｌから生成される画像と中心画素値Ｃから生成される画像との相違に基づいて、右側画素値Ｒから生成される画像と中心画素値Ｃから生成される画像との相違に基づいて、または両方の相違に基づいて計算され得る。

中心画像と、同じセンセル位置に対応する値に基づいて生成された左側画像または右側画像との間の、位相検出を実行することは、異なるセンセル位置（たとえば、いくつかの撮像センセルがそれらの間に配置された左側位相検出センセルおよび右側位相検出センセルのペア）から受け取られた値に基づいて生成される左側画像および右側画像を使用してオートフォーカスを実行することと比較すると、エイリアシングの影響の低減により、よりノイズの少ない位相検出オートフォーカスプロセスをもたらし得る。さらに、いくつかの実施形態では、位相検出プロセスの分解能は、中心画像と左側画像との相違と、中心画像と右側画像との相違との両方を使用することによって、２倍にできる。他の実施形態では、センサ上の位相検出センセルの数を減らすことができ、これにより、捕捉される画像データにおいて生成されるアーティファクトがより少なくなる。

さらに、仮想左側画素値Ｌ_ｖおよび仮想右側画素値Ｒ_ｖが、それぞれ、中心画像Ｃから負および正のオフセットを有するものとして示されている。中心のぼけスポット３０１の重心と、実際の左側位相検出画素および右側位相検出画素に対応する三日月形のぼけスポット３０２、３０３の重心との間の距離は、中心のぼけスポット３０１の重心と、仮想左側画素値Ｌ_ｖおよび仮想右側画素値Ｒ_ｖに対応するレンズ形のぼけスポット２０４、３０５の重心との間の距離より長い。したがって、中心画素値Ｃからの仮想左側画素値Ｌ_ｖおよび仮想右側画素値Ｒ_ｖのオフセットは、中心画素値Ｃからの対応する左側画素値Ｌおよび右側画素値Ｒのオフセットより小さいことがある。たとえば、左側画素値Ｌおよび右側画素値Ｒを生み出すために使用されるマスクされたセンセルは、たとえば、実効的な低減された開口がマイクロレンズの光学軸と厳密に揃わないようにサイズ決定または配置されることで、マスクされたセンセルの上のマイクロレンズの光学軸に完全に中心がある開口を作り出さないマスクを有することがある。別の例として、左側画素値Ｌにより生成されるぼけの重心は、対応する仮想右側画素値Ｒ_ｖにより生成されるぼけの重心よりも多く、または少なく、中心画素値Ｃの重心からオフセットされ得る。

いくつかの実装形態では、位相検出の相関付けが、以下の画像の組合せのいずれかまたはすべてを使用して実行され得る。
（１）右側画像または仮想右側画像および仮想左側画像
（２）左側画像または仮想左側画像および仮想右側画像
（３）中心画像および他の４つの画像のうちのいずれか

いくつかの実装形態は、右側仮想位相検出画素値および実際の右側位相検出画素値に基づいて合成された右側画像を作り出し、また、左側仮想位相検出画素値および実際の左側位相検出画素値に基づいて合成された左側画像を作り出すことができ、そのような実装形態が次いで、合成された画像に対して左側画像と右側画像との相関付けを実行し、これにより、仮想位相検出情報を伴わずに実行される典型的な左側と右側の相関付けと比較して、位相検出情報の量を２倍にすることができる。ロバストな位相検出アルゴリズムの一例では、図３Ｄにおいて示される５つの画像のすべての可能な組合せにわたって、相関が探索され得る。

一実施形態では、位相検出のための中心画像および半画像の生成は、オンセンサで実行され得る。他の実装形態では、中心画像および半画像は、位相検出ダイオードおよび近くの撮像ダイオードから受け取られる値に基づいて、画像信号プロセッサによって生成され得る。

例示的な位相検出ノイズ低減技法の概要
まばらな位相検出ダイオードのパターンは、位相検出ペアの中のダイオードがエッジを挟んで反対側に位置する可能性があるので、エイリアシングによる問題があり得る。位相検出オートフォーカスは、ターゲットシーンが高周波のパターンを含む状況においては、エイリアシングによるエラーの影響を特に受けやすいことがある。さらに、エイリアシングはオートフォーカスプロセスの監視状態においてはより問題であり得る。すなわち、監視状態において、撮像システムはすでに合焦場所に収束しており、撮像システムを新しい合焦（収束）場所へ再配置することを必要とし得る変化について、ターゲットシーンが監視される。これは、ターゲットシーンがすでに合焦しているとき、または合焦点に近いときにのみ高周波が現れるという事実によるものである。したがって、閾値のレベルのシャープネスを有する高周波のパターンおよび／またはエッジを特定するための撮像画素から受け取られたデータの分析が、さもなければエイリアシングにより位相検出プロセスにもたらされ得るエラーを除去または補償するために使用され得る。

図４Ａは、本明細書において説明されるようなノイズが低減された位相検出オートフォーカスプロセス４００Ａを実行するためのプロセスの一実施形態のフローチャートを示す。位相検出オートフォーカスプロセス４００Ａは、撮像画素データの分析に基づいて可能な相違値を制限することによって位相検出の探索範囲を最適化するために使用され得る。位相検出オートフォーカスプロセス４００Ａのいくつかの実施形態はオンセンサで実行されることがあり、他の実施形態は画像信号プロセッサを使用して実行されることがある。

ブロック４０５において、プロセス４００Ａは通常の画素を分析することができる。これは、たとえば、位相検出に専用ではないイメージセンサのダイオードにおいて集められた光の値を表すデータを受け取ることを含み得る。ブロック４１０において、プロセス４００Ａは最大のぼけを評価することができる。本明細書では、「最大のぼけ」とは、オートフォーカスのための位相検出を制限するために使用され得る、画像データの中のぼけのレベルを指す。最大のぼけは、画像の最も焦点が合っている部分、たとえば関心がある合焦領域内の最も焦点が合っている領域のぼけのレベルであり得る。

いくつかの実施形態では、最大のぼけは、コントラスト焦点統計ブロックを使用して推定され得る。たとえば、コントラストベースのオートフォーカス技法では、分析の一部が、ある関心領域（ＲＯＩ）における合焦値を出力するためにＨＷブロックにおいて実施され得る。そのような技法は、たとえば画像の一部もしくは全体にマッピングされる格子として、異なる位置に対する複数の合焦値を得ることができ、または、複数のウィンドウに対して構成される別々の合焦値を得ることができる。

一実装形態では、最大のぼけは、撮像画素からのデータにおいて特定される最も鮮明なエッジのぼけの量を表す値であり得る。したがって、撮像画素からの画像データを分析し、最大のぼけを評価するブロック４０５、４１０は、画像データに対してエッジ検出を実行することと、最も鮮明なエッジを特定することと、最も鮮明なエッジのぼけのレベルを決定することとを伴い得る。

一実装形態では、ブロック４０５および４１０は、以下のステップを伴い得る。撮像画素からの画像データに対して、水平方向のフーリエ変換または高速フーリエ変換が実行され得る。次に、プロセス４００Ａは、所定の閾値を超えるエネルギーを有する、得られたデータの中で最高の周波数を探索することができる。プロセス４００Ａは、２つの線形フィルタ、たとえば有限インパルス応答フィルタまたは無限インパルス応答フィルタを適用することができる。２つのフィルタの各々が、異なる帯域通過を有するように構成され得る。２つのフィルタのうちの第１のフィルタは、高周波の帯域通過（たとえば、０．５〜０．２周期／画素）を用いて構成されることがあり、２つのフィルタのうちの第２のフィルタは、低周波の帯域通過（たとえば、０．２〜０．１周期／画素）を用いて構成されることがある。

一実装形態では、高周波の帯域通過から得られるデータの中のエネルギーが所定の閾値を超える場合、プロセス４００Ａは、最大のぼけが５個の画素であると推定することができ、そうではなく、低周波の帯域通過から得られるデータの中のエネルギーが所定の閾値を超える場合、プロセス４００Ａは、最大のぼけが１０個の画素であると推定することができ、それら以外の場合、プロセス４００Ａは最大のぼけにより位相検出を制限することができない。

ブロック４１５において、プロセス４００Ａは、評価される最大のぼけに対応する位相差値ＰＤ＿ＭＡＸを評価することができる。この値は境界位相差値を表し、有効な位相差値は、境界位相差値の正の値と負の値との間の範囲に入ることが予想され得る。したがって、位相差は、撮像ダイオードから受け取られたデータの分析によって決定されるような、画像の関心のある合焦領域の非合焦の推定されるレベルを超えないように制限され得る。

ブロック４２０において、プロセス４００Ａは、［−ＰＤ＿ＭＡＸ， ＋ＰＤ＿ＭＡＸ］として図示される、関心のある合焦領域のぼけに対応する位相差値によって定義される範囲にわたって、位相差検出を実行することができる。図５に関して下で論じられるように、位相差検出は次のステップを含み得る。左側チャネルおよび右側チャネル（本明細書では左側半画像および右側半画像または左側画像および右側画像とも呼ばれる）は、左側位相検出ダイオードおよび右側位相検出ダイオードから受け取られるデータから抽出されることが可能であり、左側チャネルおよび右側チャネルは、たとえば、レンズのシェーディングの補正と同様のゲインマップを使用して、均一性のために補正され得る。プロセス４００Ａは次いで、左側チャネルと右側チャネルとの間の水平方向の相関を発見することができる。これは、たとえば−３画素から＋３画素までの、正および負の画素シフトの範囲内での探索を伴うことがあり、この探索範囲は、上で論じられたような最大のぼけに従って調整され得る。各画素シフトに対して、プロセス４００Ａは、絶対値差分和（ＳＡＤ）を測定してＳＡＤベクトルを得ることができ、ＳＡＤベクトルを補間してチャネル間の最適な相関点を見つけることができる。相関により決定される位相検出オフセットは次いで、たとえば線形マッピング、多項式関数、マルチセグメント線形関数、参照テーブル、または任意の他の適切な関数を使用して、非合焦レンズ場所変化ｎへと変換される。決定された位相差は、たとえば、合焦場所に合焦レンズを配置するための合焦レンズの動きの方向および量を決定するために使用されることにより、オートフォーカス調整を計算するために使用され得る。

図４Ｂは、本明細書において説明されるようなノイズが低減された位相検出オートフォーカスプロセスを実行するためのプロセス４００Ｂの別の実施形態のフローチャートを示す。位相検出オートフォーカスプロセス４００Ｂは、撮像画素データの分析に基づいて決定される最大値を超える相違値を無視することによって、オートフォーカスの合焦監視段階において発生し得るエイリアシングエラーを補償するために使用され得る。位相検出オートフォーカスプロセス４００Ｂのいくつかの実施形態はオンセンサで実行されることがあり、他の実施形態は画像信号プロセッサを使用して実行されることがある。

ブロック４２０において、プロセス４００Ｂは、位相検出ダイオードから受け取られた利用可能な差の最大の範囲にわたって、位相差検出を実行する。図４Ａに関して上で説明されたブロック４０５、４１０、および４１５は、同時に、または順番に、撮像画素から受け取られたデータの関心のある合焦領域の中のぼけのレベルに対応する位相差範囲を特定するために実行される。

ブロック４２５において、ブロック４２０において実行された位相差検出に対する範囲の確認を実行するために、ブロック４０５、４１０、および４１５から導出された位相差範囲が使用される。範囲の確認は、特定された位相差（ブロック４２０においてＰＤと図示される）が［−ＰＤ＿ＭＡＸ， ＋ＰＤ＿ＭＡＸ］の範囲に入るかどうかを特定する。

特定された位相差が決定された位相差範囲内に入る場合、プロセス４００Ｂはブロック４３０に移り、特定された位相差を使用してオートフォーカス調整量を計算する。撮像システムのレンズおよび／またはセンサが、決定されたオートフォーカス調整量に対応する合焦場所に移動された後で、プロセス４００Ｂは、オートフォーカスの監視状態への遷移を示す。いくつかの実施形態では、これは、図４Ａのプロセス４００Ａの周期的な繰返しを伴い得る。他の実施形態では、これは、プロセス４００Ｂのブロック４２０および４０５を再初期化することを伴い得る。

特定された位相差が決定された位相差範囲内にない場合、プロセス４００Ｂはブロック４３５に移り、エイリアシングエラーが疑われることを示す。上で説明されたように、エイリアシングにより、特定された位相差値が、画像の合焦部分のぼけの実際のレベルを超えることがある。

ブロック４４０において、プロセス４００Ｂは、オートフォーカスプロセスが監視状態にあるかどうかを特定する。たとえば、プロセス４００Ｂは、撮像システムが合焦場所にすでに移動されている（またはすでに合焦場所にあると決定された）かどうかを決定することができる。オートフォーカスプロセスが監視状態にない場合、４００Ｂはブロック４４５に移り、特定された位相差を無視する。この時点で、ブロック４２０および４０５が再初期化され得る。

オートフォーカスプロセスが監視状態にある場合、４００Ｂはブロック４５０に移り、特定された位相差をＰＤ＿ＭＡＸに縮め、位相差は関心のある合焦領域におけるぼけのレベルに相当するように決定される。プロセス４００Ｂは次いで、ブロック４２０または４０５を再初期化することができ、またはいくつかの実施形態では、図４Ａの合焦監視プロセス４００Ａに切り替えることができる。

一部の撮像装置は、プロセス４００Ａおよび／または４００Ｂを実施して、画像情報の複数の領域に対して別々に境界位相差値を決定することができる。たとえば、画像情報は、視野全体で格子（たとえば、５×５の格子）へと区分され得る。別の例では、撮像装置は、画像データの各線上で境界位相差値を別々に決定し、次いで、境界位相差値を合成し、またはオートフォーカス計算のための有効な位相差範囲を決定するのに使用するために境界位相差値のうちの１つを選択することができる。撮像装置はまた、各領域に対してノイズ（範囲外の相違値を有する位相検出センセルのペア）を別々に除去し、かつ／または、特定の線／領域に対して境界の外にある位相シフト検出センセル値を失格にすることができる。

ノイズ低減位相検出技法の別の実施形態では、撮像装置は、ノイズ低減の計算を実行するためのペアの中の各位相検出画素の位置において、中心画素値を補間することができる。中心画素値は、４つの隣り合う緑の画素から、または、たとえば５×５、７×７などの様々なサイズの領域の中の近隣の画素から補間され得る。いくつかの実施形態では、中心補間プロセスは、たとえば欠陥画素の補正と同様に、最終的な画像において位相検出画素の位置での値を埋め合わせるためのプロセスの一部であり得る。様々な実装形態は、中心補間プロセスを実行するために、中心補間のためのオンセンサ論理回路を含むことがあり、または外部のＩＳＰに依存することがある。撮像装置は、ペアの中の位相検出画素の各々に対して、補間された中心画素値と位相検出画像値との間の相違値を計算することができる。これらの相違値の間の差が閾値より大きい場合、これは、ペアの中の位相検出画素がエッジを挟んで反対側に位置する可能性が高いことを示すことができ、位相検出画素のそのペアはオートフォーカスの計算から除外され得る。

別の実施形態では、撮像装置は、エッジ検出を実行するために、撮像画素、たとえば位相検出画素のペアの周りの所定の近隣にあるすべての撮像画素または撮像画素のサブセットから受け取られたデータを使用することができる。撮像装置は次いで、エッジの位置を位相検出画素の既知の位置と比較して、ペアの中の位相検出画素がエッジを挟んで反対側に位置する可能性が高いかどうかを決定することができ、位相検出画素のペアはオートフォーカスの計算から除外され得る。ペアの中の位相検出画素が深度の不連続部分を挟んで反対側にあるかどうかを決定するための他の適切な技法、たとえば画素データにおける強度の変動の分析も、位相検出画素のそのようなペアから受け取られるデータをオートフォーカス調整量の計算から除外するために使用され得る。エッジを挟んで反対側に位置する位相検出画素のペアからデータを除外することは、位相差検出に使用可能な半画像のペアを生成するときに、特定されたペアを含まない位相検出画素のサブセットから受け取られるデータを使用することを含み得る。

例示的な位相検出オートフォーカスプロセスの概要
図５は、本明細書において説明される複数画像位相検出およびノイズ低減プロセスを実施できる、例示的な位相検出オートフォーカスプロセス５００の高水準の概要を図示する。一実施形態では、プロセス５００はオンセンサで実行され得る。他の実装形態では、プロセス５００は、１つまたは複数のプロセッサ、たとえば図６の画像信号プロセッサ６２０を伴い得る。ターゲットシーン５０５を表す光は、レンズアセンブリ５１０を通され、イメージセンサによって受け取られ、イメージセンサにおいて、半画像サンプル５１５が上で説明されたように生み出される。半画像サンプルは、右側画像、仮想右側画像、左側画像、仮想左側画像、および中心画像を含み得る。

レンズアセンブリ５１０は、対称的なインパルス応答を伴う線形ローパスフィルタとしてモデル化されることが可能であり、レンズアセンブリ５１０のインパルス応答（点拡がり関数とも呼ばれる）は、センサと画像平面との間の距離に比例する幅パラメータを伴う、長方形の形状である。シーンは、センサが画像平面の中にあるとき、すなわち、そのシーンにおけるある単一の点からのすべての光線が単一の点へと集束するような平面にあるとき、「焦点が合っている」。図２に示されるように、半画像サンプルは、位相検出画素からの情報だけを含む２つの画像を保存することができる。半画像は、レンズアセンブリ５１０の左側および右側の（または他の例では、上側および下側の）インパルス応答とのターゲットシーンの畳み込みと見なされ得る。図３Ａ〜図３Ｄの技法を使用するセンサの実施形態では、より部分的な画像が保存され得る。

焦点関数計算器５２０は、相互相関関数を部分的な画像に適用して相違を決定する。上で説明されたように、相互相関は、右側画像、仮想右側画像、左側画像、仮想左側画像、および中心画像から選択される画像の１つまたは複数のペアにわたって探索され得る。さらに、相互相関は、データの関心のある合焦領域の合焦のレベルを推定するために撮像ダイオードから受け取られるデータを分析することによって決定される範囲に限定され得る。

レンズアセンブリ５１０の左側および右側のインパルス応答の相互相関関数は、概ね対称かつ単峰であり得るが、ターゲットシーン５０５の性質により、左側および右側の捕捉された画像に適用されるような相互相関関数は、１つまたは複数の誤った極大値を有し得る。相互相関関数の真の最大値を特定するために、様々な手法が使用され得る。相互相関関数の結果は、オートフォーカス制御器５２５にフィードバックとして提供され、これは、主集束レンズアセンブリ５１０を所望の合焦場所へ動かすようにレンズアクチュエータを駆動するために使用され得る。他の実施形態は、固定式の主集束レンズアセンブリを使用して、イメージセンサを所望の合焦場所に動かすことができる。したがって、位相検出オートフォーカスプロセス５００において、焦点を合わせることは、相互相関関数の最大値を探索することと等価である。これは、典型的なフレームレート、たとえば毎秒３０フレームで各フレームに対する合焦の調整を行うのに十分速く行われ得る、したがって、ビデオ捕捉のための滑らかなオートフォーカスを行うために使用され得る、高速なプロセスである。いくつかの実装形態は、たとえば精度を上げるために、位相検出オートフォーカスをコントラストベースのオートフォーカス技法と組み合わせる。

主集束レンズアセンブリおよび／またはイメージセンサが所望の合焦場所にあるとき、イメージセンサは、焦点が合っている撮像画素情報および位相検出画素情報を捕捉し、上で説明されたように、位相検出画素のための色値を計算および補間することができる。撮像画素値および決定された位相検出画素値は、デモザイクのために、かつ任意選択で、ターゲットシーンの最終的な画像を生成するための他の画像処理技法のために出力されることが可能である。

例示的な位相検出オートフォーカスプロセスの概要
図６は、マルチスペクトル虹彩認証能力を有する画像捕捉デバイス６００のある実施形態の高水準の概略ブロック図を示し、画像捕捉デバイス６００は、位相検出オートフォーカスカメラ６１５にリンクされた画像信号プロセッサ６２０を含む構成要素のセットを有する。画像信号プロセッサ６２０はまた、ワーキングメモリ６０５、メモリ６３０、およびデバイスプロセッサ６５０と通信しており、デバイスプロセッサ６５０は、記憶モジュール６１０および任意選択の電子ディスプレイ６２５と通信している。

画像捕捉デバイス６００は、携帯電話、デジタルカメラ、タブレットコンピュータ、携帯情報端末などの、ポータブル個人用コンピューティングデバイスであり得る。本明細書において説明されているような、位相検出オートフォーカス技法を使用することが利点を提供することになる多くのポータブルコンピューティングデバイスがある。画像捕捉デバイス６００はまた、マルチスペクトル虹彩認証技法が有利である固定式のコンピューティングデバイスまたは任意のデバイスであり得る。複数の適用例が画像捕捉デバイス６００上でユーザに利用可能であり得る。これらの適用例は、従来の写真およびビデオへの適用例、ならびにデータ記憶への適用例およびネットワークへの適用例を含み得る。

画像捕捉デバイス６００は、外部画像を捕捉するための位相検出オートフォーカスカメラ６１５を含む。位相検出オートフォーカスカメラ６１５は、上で説明された実施形態に従って並べられた、マルチダイオードマイクロレンズおよびカラーフィルタを有するイメージセンサ、または、マスクされた位相検出画素を含み得る。位相検出オートフォーカスカメラ６１５はまた、ターゲットシーンの合焦画像を生み出すために、画像信号プロセッサ６２０から受け取られたデータに少なくとも一部基づいて配置可能な、主合焦機構を有し得る。いくつかの実施形態では、主合焦機構は、ターゲットシーンからセンサに光を通すように配置される可動のレンズアセンブリであり得る。いくつかの実施形態では、主要な合焦機構はセンサを動かすための機構であり得る。

異なる実装形態では、位相検出オートフォーカスカメラ６１５のセンサは異なる処理機能を有し得る。一実装形態では、センサはいずれのデータも処理しないことがあり、画像信号プロセッサ６２０がすべての必要なデータ処理を実行することがある。別の実装形態では、センサは、位相検出画素を、たとえば別々のＭｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｃｅｓｓｏｒ Ｉｎｔｅｒｆａｃｅ（ＭＩＰＩ）チャネルへと抽出することが可能であり得る。さらに、センサは加えて、たとえばＲＡＷチャネルにおいて、中心画素値を補間することが可能であり得る。いくつかの実装形態では、センサは加えて、たとえばノーマルチャネルにおいて中心画素値を補間することが可能であることがあり、位相検出計算を内部的に（オンセンサで）処理することが可能であることがある。たとえば、センサは、ダイオードから受け取られた値の加算、減算、および／または比較を実行するためのアナログ回路を含み得る。本明細書において説明される撮像装置は、すべての位相検出計算を実行することが可能なイメージセンサ、あるいは、画像信号プロセッサ６２０および／またはデバイスプロセッサ６５０とともに一部の処理を実行することが可能な、もしくは処理を実行することが可能ではないイメージセンサを含み得る。

画像信号プロセッサ６２０は、位相検出オートフォーカスおよび画像処理技法を実行するために、受け取られた画像データに対して様々な処理動作を実行するように構成され得る。画像信号プロセッサ６２０は、汎用処理ユニットであっても、または撮像用途に特別に設計されたプロセッサであってもよい。画像処理演算の例は、デモザイク、ホワイトバランス、クロストーク低減、クロッピング、スケーリング（たとえば、異なる解像度への）、画像スティッチング、画像フォーマット変換、色補間、色処理、画像フィルタリング（たとえば、空間画像フィルタリング）、レンズアーティファクトまたは欠陥補正などを含む。画像信号プロセッサ６２０はまた、オートフォーカスおよび自動露出などの、画像捕捉パラメータを制御することができる。いくつかの実施形態では、画像信号プロセッサ６２０は複数のプロセッサを備え得る。画像信号プロセッサ６２０は、１つまたは複数の専用画像信号プロセッサ（ＩＳＰ）またはプロセッサのソフトウェア実装形態であり得る。いくつかの実施形態では、画像信号プロセッサ６２０は、位相検出動作に対しては任意選択であることがあり、それは、位相検出動作の一部またはすべてがイメージセンサ上で実行され得るからである。

示されるように、画像信号プロセッサ６２０は、メモリ６３０およびワーキングメモリ６０５に接続される。図示される実施形態では、メモリ６３０は、捕捉制御モジュール６３５、位相検出オートフォーカスモジュール６４０、およびオペレーティングシステム６４５を記憶する。メモリ６３０のモジュールは、様々な画像処理およびデバイス管理のタスクを実行するようにデバイスプロセッサ６５０の画像信号プロセッサ６２０を構成する命令を含む。ワーキングメモリ６０５は、メモリのモジュールに含まれるプロセッサ命令のワーキングセットを記憶するために画像信号プロセッサ６２０によって使用され得る。代替的に、ワーキングメモリ６０５はまた、画像捕捉デバイス６００の動作の間に作成された動的なデータを記憶するために画像信号プロセッサ６２０によって使用され得る。

上述のように、画像信号プロセッサ６２０は、メモリに記憶されたいくつかのモジュールによって構成される。捕捉制御モジュール６３５は、たとえば位相検出オートフォーカス技法の間に生成された命令に応答して、位相検出オートフォーカスカメラ６１５の合焦場所を調整するように画像信号プロセッサ６２０を構成する、命令を含み得る。捕捉制御モジュール６３５はさらに、画像捕捉デバイス６００の全体的な画像捕捉機能を制御する命令を含み得る。たとえば、捕捉制御モジュール６３５は、位相検出オートフォーカスカメラ６１５を使用してターゲットシーンの１つまたは複数のフレームを含むマルチスペクトル画像データを捕捉するように画像信号プロセッサ６２０を構成するためのサブルーチンを呼び出す、命令を含み得る。一実施形態では、捕捉制御モジュール６３５は、所望のオートフォーカス場所を達成するために必要なレンズまたはセンサの動きを計算し、撮像プロセッサ２２０に必要な動きを出力するために、位相検出オートフォーカスモジュール２４０を呼び出し得る。捕捉制御モジュール６３５は、複数画素マイクロレンズの下に配置された画素に対する色値を補間するために、位相検出オートフォーカスモジュール２４０を呼び出し得る。

したがって、位相検出オートフォーカスモジュール６４０は、たとえば図４Ａ、図４Ｂ、および図５に関して上で説明されたプロセス４００Ａ、４００Ｂ、および５００に従って、位相検出オートフォーカスを実行するための命令を記憶することができる。位相検出オートフォーカスモジュール６４０はまた、図３Ａ〜図３Ｃに関して上で説明されたような中心画素値および仮想位相検出画素値を計算するための命令を記憶することができる。

オペレーティングシステムモジュール６４５は、画像捕捉デバイス６００のワーキングメモリ６０５および処理リソースを管理するように画像信号プロセッサ６２０を構成する。たとえば、オペレーティングシステムモジュール６４５は、位相検出オートフォーカスカメラ６１５などのハードウェアリソースを管理するためのデバイスドライバを含み得る。したがって、いくつかの実施形態では、上で説明された画像処理モジュールに含まれる命令は、これらのハードウェアリソースと直接相互作用せず、代わりに、オペレーティングシステム構成要素６５０の中に位置する標準サブルーチンまたはＡＰＩを通じて相互作用することがある。オペレーティングシステム６４５内の命令は次いで、これらのハードウェア構成要素と直接対話し得る。オペレーティングシステムモジュール６４５はさらに、デバイスプロセッサ６５０と情報を共有するように画像信号プロセッサ６２０を構成し得る。

デバイスプロセッサ６５０は、捕捉された画像、または捕捉された画像のプレビューをユーザに表示するようにディスプレイ６２５を制御するように構成され得る。ディスプレイ６２５は、撮像デバイス２００の外部にあってよく、または撮像デバイス２００の一部分であってもよい。ディスプレイ６２５はまた、画像を捕捉する前に使用するための、たとえばユーザの目と画像センサの視野をユーザが揃えるのを支援するために、プレビュー画像を表示するビューファインダを提供するように構成されることがあり、または、メモリに記憶されるかもしくはユーザによって最近捕捉された、捕捉された画像を表示するように構成されることがある。ディスプレイ６２５は、ＬＣＤ、ＬＥＤ、またはＯＬＥＤスクリーンを備えることがあり、タッチ検知技術を実装することがある。

デバイスプロセッサ６５０は、データ、たとえば、撮像された画像を表すデータならびに位相検出および／または画素値計算の間に生成されたデータを、記憶モジュール６１０に書き込むことができる。記憶モジュール６１０は従来のディスクデバイスとして概略的に表されているが、記憶モジュール６１０は任意の記憶媒体デバイスとして構成され得る。たとえば、記憶モジュール６１０は、光ディスクドライブもしくは光磁気ディスクドライブなどのディスクドライブ、またはフラッシュメモリ、ＲＡＭ、ＲＯＭ、および／もしくはＥＥＰＲＯＭなどのソリッドステートメモリを含み得る。記憶モジュール６１０はまた、複数のメモリユニットを含むことがあり、メモリユニットのうちの任意の１つは、画像捕捉デバイス６００内にあるように構成されることがあり、または画像捕捉デバイス６００の外部にあることがある。たとえば、記憶モジュール６１０は、画像捕捉デバイス６００内に記憶されたシステムプログラム命令を含むＲＯＭメモリを含み得る。記憶モジュール６１０はまた、カメラから取外し可能であり得る、捕捉された画像を記憶するように構成されたメモリカードまたは高速メモリを含み得る。記憶モジュール６１０はまた、画像捕捉デバイス６００の外部にあることがあり、一例では、画像捕捉デバイス６００は、データを記憶モジュール６１０に、たとえば、ネットワーク接続を通じてワイヤレス送信することがある。そのような実施形態では、記憶モジュール６１０はサーバまたは他のリモートコンピューティングデバイスであり得る。

図６は、プロセッサ、撮像センサ、およびメモリを含むように別個の構成要素を有する画像捕捉デバイス６００を示すが、これらの別個の構成要素が、特定の設計目的を達成するように様々な方法で組み合わされ得ることを当業者は認識するであろう。たとえば、代替的な実施形態では、メモリ構成要素は、たとえば、コストを節約し、かつ／または性能を改善するために、プロセッサ構成要素と組み合わされ得る。

加えて、図６は、いくつかのモジュールを備えるメモリ６３０、およびワーキングメモリ６０５を備える別個のメモリ構成要素を含む２つのメモリ構成要素を示すが、異なるメモリアーキテクチャを利用するいくつかの実施形態を当業者は認識するであろう。たとえば、ある設計は、メモリ６３０に含まれるモジュールを実装するプロセッサ命令の記憶のためにＲＯＭまたはスタティックＲＡＭメモリを利用することがある。プロセッサ命令は、画像信号プロセッサ６２０による実行を容易にするために、ＲＡＭ内にロードされ得る。たとえば、ワーキングメモリ６０５は、ＲＡＭメモリを備えることがあり、命令は、画像信号プロセッサ６２０による実行の前にワーキングメモリ６０５にロードされる。

システムの実装および用語
本明細書において開示される実装形態は、位相検出オートフォーカスプロセスにおいて使用するための値を計算するために撮像ダイオードから受け取られた値を使用するための、システム、方法、および装置を提供する。これらの実施形態がハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得ることを、当業者は認識するであろう。

いくつかの実施形態では、上で説明された回路、プロセス、およびシステムは、ワイヤレス通信デバイスにおいて利用され得る。ワイヤレス通信デバイスは、他の電子デバイスとワイヤレス通信するために使用される電子デバイスの一種であり得る。ワイヤレス通信デバイスの例は、携帯電話、スマートフォン、携帯情報端末（ＰＤＡ）、電子リーダー、ゲーミングシステム、音楽プレーヤ、ネットブック、ワイヤレスモデム、ラップトップコンピュータ、タブレットデバイスなどを含む。

ワイヤレス通信デバイスは、１つまたは複数のイメージセンサ、２つ以上の画像信号プロセッサ、命令を含むメモリ、または、上で論じられたプロセスを実行するためのモジュールを含み得る。デバイスはまた、データと、メモリから命令および／またはデータをロードするプロセッサと、１つまたは複数の通信インターフェースと、１つまたは複数の入力デバイスと、ディスプレイデバイスなどの１つまたは複数の出力デバイスと、電源／インターフェースとを有し得る。ワイヤレス通信デバイスはさらに、送信機および受信機を含み得る。送信機および受信機は、併せてトランシーバと呼ばれることがある。トランシーバは、ワイヤレス信号を送信および／または受信するための１つまたは複数のアンテナに結合され得る。

ワイヤレス通信デバイスは、別の電子デバイス（たとえば、基地局）にワイヤレスに接続され得る。ワイヤレス通信デバイスは、代替的に、モバイルデバイス、移動局、加入者局、ユーザ機器（ＵＥ）、リモート局、アクセス端末、モバイル端末、端末、ユーザ端末、加入者ユニットなどと呼ばれることがある。ワイヤレス通信デバイスの例は、ラップトップコンピュータ、デスクトップコンピュータ、携帯電話、スマートフォン、ワイヤレスモデム、電子リーダー、タブレットデバイス、ゲームシステムなどを含む。ワイヤレス通信デバイスは、第３世代パートナーシッププロジェクト（３ＧＰＰ）などの１つまたは複数の業界規格に従って動作することができる。したがって、「ワイヤレス通信デバイス」という全般的な用語は、業界規格に従って変化する用語体系を用いて説明されるワイヤレス通信デバイスを含み得る（たとえば、アクセス端末、ユーザ機器（ＵＥ）、リモート端末など）。

本明細書において説明される機能は、プロセッサ可読媒体またはコンピュータ可読媒体に１つまたは複数の命令として記憶され得る。「コンピュータ可読媒体」という用語は、コンピュータまたはプロセッサによってアクセスされ得る任意の利用可能な媒体を指す。限定ではなく、例として、そのような媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、ＣＤ−ＲＯＭもしくは他の光ディスクストレージ、磁気ディスクストレージデバイスもしくは他の磁気ストレージデバイス、または、所望のプログラムコードを命令もしくはデータ構造の形態で記憶するために使用されかつコンピュータによってアクセスされ得る任意の他の媒体を備え得る。本明細書において使用されるディスク（ｄｉｓｋ）およびディスク（ｄｉｓｃ）は、コンパクトディスク（ｄｉｓｃ）（ＣＤ）、レーザディスク（ｄｉｓｃ）、光ディスク（ｄｉｓｃ）、デジタル多用途ディスク（ｄｉｓｃ）（ＤＶＤ）、フロッピーディスク（ｄｉｓｋ）、およびＢｌｕ−ｒａｙ（登録商標）ディスク（ｄｉｓｃ）を含み、ディスク（ｄｉｓｋ）は、通常はデータを磁気的に再生し、ディスク（ｄｉｓｃ）は、レーザを用いてデータを光学的に再生する。コンピュータ可読媒体は、有形かつ非一時的であり得ることに留意されたい。「コンピュータプログラム製品」という用語は、コンピューティングデバイスまたはプロセッサによって実行され、処理され、または計算され得るコードまたは命令（たとえば、「プログラム」）と組み合わされたコンピューティングデバイスまたはプロセッサを指す。本明細書では、「コード」という用語は、コンピューティングデバイスまたはプロセッサによって実行可能であるソフトウェア、命令、コード、またはデータを指し得る。

本明細書において開示される方法は、説明された方法を実現するための１つまたは複数のステップまたはアクションを備える。方法ステップおよび／または方法アクションは、特許請求の範囲から逸脱することなく互いに入れ替えられ得る。言い換えれば、説明されている方法の適切な動作のためにステップまたはアクションの特定の順序が必要とされない限り、特定のステップおよび／またはアクションの順序および／または使用は、特許請求の範囲から逸脱することなく修正され得る。

「結合する」、「結合すること」、「結合される」という用語、または本明細書において使用される結合という語の他の変形は、間接的な接続または直接的な接続のいずれかを示し得ることに留意されたい。たとえば、第１の構成要素が第２の構成要素に「結合される」場合、第１の構成要素は、第２の構成要素に間接的に接続されるか、または第２の構成要素に直接的に接続されるかの、いずれかであり得る。本明細書において使用される「複数の」という用語は２つ以上を示す。たとえば、複数の構成要素は２つ以上の構成要素を示す。

「決定すること」という用語は、様々な行為を包含し、したがって、「決定すること」は、算出すること、計算すること、処理すること、導出すること、調査すること、探索すること（たとえば、テーブル、データベースまたは別のデータ構造の中で探索すること）、確認することなどを含み得る。また、「決定すること」は、受信すること（たとえば、情報を受信すること）、アクセスすること（たとえば、メモリ内のデータにアクセスすること）などを含み得る。また、「決定すること」は、解決すること、選択すること、選ぶこと、確立することなどを含み得る。

「〜に基づいて」という句は、別段に明記されていない限り、「〜のみに基づいて」を意味しない。言い換えれば、「に基づいて」という句は、「のみに基づいて」と「に少なくとも基づいて」の両方を表す。

前述の説明では、例の完全な理解をもたらすように具体的な詳細が与えられている。しかしながら、例がこれらの具体的な詳細なしに実践され得ることを、当業者は理解されよう。たとえば、不必要な詳細で例を不明瞭にしないために、電気的な構成要素／デバイスがブロック図で示されることがある。他の事例では、例をさらに説明するために、そのような構成要素、他の構造および技法が詳細に示されることがある。

開示された実装形態の前の説明は、任意の当業者が本発明を作成または使用することを可能にするために提供される。これらの実装形態への様々な修正が当業者には容易に明らかになり、本明細書において定義される一般的な原理は、本発明の趣旨または範囲を逸脱することなく他の実装形態に適用され得る。したがって、本発明は、本明細書において示される実装形態に限定されることを意図するものではなく、本明細書において開示される原理および新規の特徴と一致する最も広い範囲を与えられるべきである。

１００ センサ部分
１０５ シングルダイオードマイクロレンズ
１０６ マイクロレンズアレイ
１０７ センサアレイ
１０８ フィルタアレイ
１１０ マルチダイオードマイクロレンズ
１１５ カラーフィルタ
１２０ フォトダイオード
１２５ マスク
１３０ 線
２５０ 主レンズ
２６０ 点
３００ オフセット連続体
３０１ ぼけスポット
３０２ ぼけスポット
３０３ ぼけスポット
３０４ ぼけスポット
３０５ ぼけスポット
４００ 位相検出オートフォーカスプロセス
５００ 位相検出オートフォーカスプロセス
５０５ ターゲットシーン
５１０ レンズアセンブリ
５１５ 半画像サンプル
５２０ 焦点関数計算器
５２５ オートフォーカス制御器
６００ 画像捕捉デバイス
６０５ ワーキングメモリ
６１０ 記憶モジュール
６１５ 位相検出オートフォーカスカメラ
６２０ 画像信号プロセッサ
６２５ ディスプレイ
６３０ メモリ
６３５ 捕捉制御モジュール
６４０ 位相検出オートフォーカスモジュール
６４５ オペレーティングシステム
６５０ デバイスプロセッサ

Claims (30)

1. 複数のダイオードであって、
   ターゲットシーンを表す画像情報であって、前記画像情報が前記複数のダイオードの第１のサブセットから受け取られる、画像情報と、
   位相検出情報であって、前記複数のダイオードの第２のサブセットから受け取られる、位相検出情報と
   のうちの１つを捕捉するように各々構成される、複数のダイオードと、
   前記複数のダイオードの前記第２のサブセットの各ダイオードに対して、
   前記ダイオードから受け取られる前記位相検出情報を入手し、
   前記画像情報から、前記ダイオードの位置に対応する中心値を決定し、
   前記中心値および前記入手された位相検出情報から、前記位置に対応する仮想位相検出値を決定し、
   前記複数のダイオードの前記第２のサブセットの少なくともいくつかからの前記位相検出情報に基づく位相検出画像、
   前記複数のダイオードの前記第２のサブセットの各々に対する前記中心値に基づく中心画像、および
   前記複数のダイオードの前記第２のサブセットの前記少なくともいくつかに対する前記仮想位相検出値に基づく仮想位相検出画像
   のうちの少なくとも２つを生成し、
   前記生成された画像のうちの２つの間の位相差を計算し、
   前記位相差に基づいてオートフォーカス調整量を決定する
   ための命令を用いて構成されるプロセッサとを備える、撮像装置。
2. 前記プロセッサが、前記位置における前記ダイオードから受け取られた位相検出値を前記中心値から差し引くことによって、前記仮想位相検出値を決定するように構成される、請求項１に記載の撮像装置。
3. 前記プロセッサが、前記位置の周りの所定の複数のダイオードから受け取られた画像情報を使用して前記中心値を補間することによって、前記中心値を決定するように構成される、請求項１に記載の撮像装置。
4. 前記プロセッサが、前記中心画像と前記仮想位相検出画像との前記位相差を計算するように構成される、請求項１に記載の撮像装置。
5. 前記複数のダイオードの前記第２のサブセットが、対向する位相検出ダイオードの複数のペアを備える、請求項１に記載の撮像装置。
6. 前記プロセッサが、前記複数のダイオードの前記第２のサブセットの各ダイオードに対して、
   対向する位相検出ダイオードを特定し、
   前記対向する位相検出ダイオードに対応する対向する位相検出画像および対向する仮想位相画像を特定する
   ように構成される、請求項５に記載の撮像装置。
7. 前記プロセッサが、前記中心画像、位相検出画像、対向する位相検出画像、仮想位相画像、および対向する仮想位相画像のすべてのあり得るペアの間の位相差を特定するように構成される、請求項６に記載の撮像装置。
8. 前記プロセッサが、前記位相差に基づいて前記オートフォーカス調整量を計算するように構成される、請求項７に記載の撮像装置。
9. 前記複数のダイオードの前記第２のサブセットの各々のみが前記ターゲットシーンから特定の方向に伝播する光を収集するように、前記ターゲットシーンから伝播する前記光の一部分を遮断するための、前記複数のダイオードの前記第２のサブセットの各々の上に配置されたマスキング要素をさらに備える、請求項１に記載の撮像装置。
10. 前記複数のダイオードの前記第２のサブセットの少なくとも２つの隣り合うダイオードの上に配置されたマイクロレンズをさらに備え、前記マイクロレンズが、前記少なくとも２つの隣り合うダイオードのうちの第１へと前記ターゲットシーンから伝播する光の第１の部分および前記少なくとも２つの隣り合うダイオードの第２へと前記ターゲットシーンから伝播する光の第２の部分を通すように形成され、前記第１の部分が第１の方向に伝播し、前記第２の部分が第２の方向に伝播する、請求項１に記載の撮像装置。
11. 前記複数のダイオードが、前記複数のダイオードの２次元行列を有する半導体基板を備える、請求項１に記載の撮像装置。
12. 前記複数のダイオードの前記第２のサブセットの第１の半分と関連付けられる光学素子が、前記複数のダイオードの前記第２のサブセットの前記第１の半分の各ダイオードのみが第１の方向へと前記ターゲットシーンから伝播する光を収集して前記位相検出情報の第１の半分を生成するように構成される、請求項１に記載の撮像装置。
13. 前記複数のダイオードの前記第２のサブセットの第２の半分と関連付けられる光学素子が、前記複数のダイオードの前記第２のサブセットの前記第２の半分の各ダイオードのみが第２の方向へと前記ターゲットシーンから伝播する光を収集して前記位相検出情報の第２の半分を生成するように構成される、請求項１０に記載の撮像装置。
14. 前記複数のダイオードの前記第２のサブセットの各々が、光遮断マスクを通って前記ターゲットシーンから伝播する光を受け取り、前記中心値を決定するステップが、前記位置の周りの前記複数のダイオードの前記第１のサブセットの３×３の近隣から受け取られる値に基づいて前記中心値を補間するステップを備える、請求項１に記載の撮像装置。
15. 前記複数のダイオードの前記第２のサブセットの各々が、マルチダイオードマイクロレンズを通って前記ターゲットシーンから入射する光を受け取り、前記中心値を決定するステップが、前記位置の周りの前記複数のダイオードの前記第１のサブセットの３×４の近隣から受け取られる値に基づいて前記中心値を補間するステップを備える、請求項１に記載の撮像装置。
16. 前記マルチダイオードマイクロレンズの下に配置される各ダイオードに対する前記仮想位相検出値を決定するステップが、前記中心値を使用するステップを備える、請求項１５に記載の撮像装置。
17. 位相検出オートフォーカスのためのプロセスを実行するための命令を用いて構成されるプロセッサであって、前記プロセスが、
    複数の撮像ダイオードからターゲットシーンを表す画像情報を入手するステップと、
    前記複数の撮像ダイオードの２次元配置内の対応する複数の位置に配置される複数の位相検出ダイオードの各位相検出ダイオードに対して、
    前記位相検出ダイオードから受け取られる位相検出情報を入手するステップと、
    前記画像情報から、前記位相検出ダイオードの位置に対応する中心値を決定するステップと、
    前記中心値および前記入手された位相検出情報から、前記位置に対応する仮想位相検出値を決定するステップと、
    前記複数の位相検出ダイオードの各々に対する前記位相検出情報に基づく位相検出画像、
    前記複数の位相検出ダイオードの各々に対する前記中心値に基づく中心画像、および
    前記複数の位相検出ダイオードの各々に対する前記仮想位相検出値に基づく仮想位相検出画像
    のうちの少なくとも２つを生成するステップと、
    前記生成された画像のうちの２つの間の位相差を計算するステップと、
    前記位相差に基づいてオートフォーカス調整量を決定するステップとを備える、プロセッサ。
18. 前記複数の位相検出ダイオードが、前記複数の撮像ダイオードの２次元配置内の対応する複数の位置において配置され、前記中心値を決定するステップが、前記位置の周りの所定の撮像ダイオードから受け取られた値を使用するステップを備える、請求項１７に記載のプロセッサ。
19. 各位相検出ダイオードが、透明なカラーフィルタを通って、またはカラーフィルタを通らずに前記ターゲットシーンから伝播する光を受け取り、前記中心値を計算するステップが、前記位置の周りの前記所定の撮像ダイオードから受け取られた赤、青、および緑の色値を使用するステップを備える、請求項１８に記載のプロセッサ。
20. 各位相検出ダイオードが、緑のカラーフィルタを通って前記ターゲットシーンから伝播する光を受け取り、前記中心値を計算するステップが、前記位置の周りの前記所定の撮像ダイオードから受け取られた緑の色値を使用するステップを備える、請求項１８に記載のプロセッサ。
21. 各位相検出ダイオードが、光遮断マスクを通って前記ターゲットシーンから入射する光を受け取り、前記位置の周りの前記所定の撮像ダイオードが、撮像ダイオードの３×３のアレイを備える、請求項１８に記載のプロセッサ。
22. 各位相検出ダイオードが、マルチダイオードマイクロレンズを通って前記ターゲットシーンから入射する光を受け取り、前記位置の周りの前記所定の撮像ダイオードが、撮像ダイオードの３×４のアレイを備える、請求項１７に記載のプロセッサ。
23. 前記マルチダイオードマイクロレンズの下に配置される各ダイオードに対する前記仮想位相検出値を決定するステップが、前記中心値を使用するステップを備える、請求項２２に記載のプロセッサ。
24. 複数の撮像ダイオードからターゲットシーンを表す画像情報を入手するステップと、
    前記複数の撮像ダイオードの２次元配置内の位置に対応する複数の位置に配置される複数の位相検出ダイオードの各位相検出ダイオードに対して、
    前記位相検出ダイオードから受け取られる位相検出情報を入手するステップと、
    前記画像情報から、前記位相検出ダイオードの位置に対応する中心値を決定するステップと、
    前記中心値および前記入手された位相検出情報から、前記位置に対応する仮想位相検出値を決定するステップと、
    各位相検出ダイオードの前記位相検出情報および前記仮想位相検出値に基づいて、第１の画像および第２の画像を生成するステップと、
    前記第１の画像と前記第２の画像との間の位相差を計算するステップと、
    前記位相差に基づいてオートフォーカス調整量を決定するステップとを備える、位相検出オートフォーカスプロセス。
25. 前記複数の位相検出ダイオードの左側サブセットを特定するステップと、前記複数の位相検出ダイオードの右側サブセットを特定するステップとをさらに備える、請求項２４に記載のプロセス。
26. 前記第１の画像を生成するステップが、前記複数の位相検出ダイオードの前記左側サブセットから受け取られた位相検出情報を前記複数の位相検出ダイオードの前記右側サブセットの位置に対応する複数の仮想位相検出値と合成するステップを備え、前記第２の画像を生成するステップが、前記複数の位相検出ダイオードの前記右側サブセットから受け取られた位相検出情報を前記複数の位相検出ダイオードの前記左側サブセットの位置に対応する複数の仮想位相検出値と合成するステップを備える、請求項２４に記載のプロセス。
27. 前記第１の画像を生成するステップが、前記複数の位相検出ダイオードの前記左側サブセットから受け取られた位相検出情報に基づき、前記第２の画像を生成するステップが、前記複数の位相検出ダイオードの前記左側サブセットの位置に対応する複数の仮想位相検出値に基づく、請求項２４に記載のプロセス。
28. 各位相検出ダイオードが、透明なカラーフィルタを通って、またはカラーフィルタを通らずに前記ターゲットシーンから伝播する光を受け取り、前記中心値を計算するステップが、前記位置の周りの前記複数の撮像ダイオードの前記所定の近隣から受け取られた赤、青、および緑の色値を使用するステップを備える、請求項２４に記載のプロセス。
29. 各位相検出ダイオードが、緑のカラーフィルタを通って前記ターゲットシーンから入射する光を受け取り、前記中心値を計算するステップが、前記位置の周りの前記複数の撮像ダイオードの前記所定の近隣から受け取られた緑の色値を使用するステップを備える、請求項２４に記載のプロセス。
30. ターゲットシーンを表す画像情報を捕捉するための手段と、
    位相検出情報を捕捉するための複数の手段と、
    位相検出情報を捕捉するための前記複数の手段の各位相捕捉手段に対して、
    前記位相捕捉手段から受け取られる前記位相検出情報を入手し、
    前記画像情報から、前記位相捕捉手段の位置に対応する中心値を決定し、
    前記中心値および前記入手された位相検出情報から、前記位置に対応する仮想位相検出値を決定する
    ための手段と、
    位相検出情報を捕捉するための前記複数の手段の少なくともいくつかの前記位相検出情報に基づく位相検出画像、
    前記複数のダイオードの前記第２のサブセットの各々に対する前記中心値に基づく中心画像、および
    位相検出情報を捕捉するための前記複数の手段の前記少なくともいくつかに対する前記仮想位相検出値に基づく仮想位相検出画像
    のうちの少なくとも２つを生成するための手段と、
    前記生成された画像のうちの２つの間の位相差を計算するための手段と、
    前記位相差に基づいてオートフォーカス調整量を決定するための手段とを備える、撮像装置。