JP2020510867A - Ｃｍｏｓイメージングセンサ用オートフォーカスシステム - Google Patents

Abstract

本発明は、ピクセルセンサの二次元アレイを含む撮像装置を含む。各ピクセルセンサは、メインフォトダイオードと、オートフォーカスフォトダイオードと、およびメインフォトダイオードとオートフォーカスフォトダイオードに光を集中させるマイクロレンズとを含む。ピクセルセンサの撮像アレイは、ピクセルセンサの第１および第２オートフォーカスアレイを含む。ピクセルセンサの第１のオートフォーカスアレイのピクセルセンサは、各オートフォーカスフォトダイオードがそのピクセルセンサのマイクロレンズの半分から優先的に光を受光するように配置されたオートフォーカスフォトダイオードを有し、ピクセルセンサの第２のオートフォーカスアレイのピクセルセンサは、各オートフォーカスフォトダイオードがそのピクセルセンサのマイクロレンズの他の半分から優先的に光を受光するように配置された各オートフォーカスフォトダイオードを有する。オートフォーカスフォトダイオードは、各ピクセルセンサまたは従来のフォトダイオードの浮遊拡散ノードに関連づけられた寄生フォトダイオードから構築することができる。

Description

[0001]自動焦点合わせシステムは、静止画カメラおよび動画カメラの両方で広く使用されている。このようなシステムは、ユーザーに必要とされる専門知識を減少させる。さらに、動画カメラでは、カメラと対象物の間の距離が急速に変化している場合、シーンが展開するにつれて焦点を変更する時間は非常に長くなる。

[0002]１つの従来技術のシステムでは、レンズを制御するコンピュータは、画像の高空間周波数成分を最大化する焦点位置を検索する。焦点が合っていない画像はぼやけているため、シャープなエッジやその他の高空間周波数生成要素を含むシーンの画像に関連付けられた空間周波数スペクトルは、スペクトルの高周波数部分のパワーが、合焦の際のシーンの画像よりも少ない。したがって、これらの方式は、平均空間周波数エネルギーに対する高空間周波数エネルギーの最高の比率を有する画像を生成する焦点の焦点距離を繰り返し検索する。検索を実行する時間は、このアルゴリズムが動画カメラでキャプチャされている、急速に変化するシーンに適用される際に課題となる。

[0003]この検索時間を回避する第２の部類の従来技術のオートフォーカスシステムは、カメラレンズの異なる部分を通して画像を見るピクセル間の位相差の測定値を利用する。これらの方式では、この位相差を検出するために、写真を生成する撮像アレイとは別の専用の撮像アレイまたはアレイ内の特別なピクセルセンサを使用する。これらの特別なオートフォーカスピクセルは、画像を記録する従来のピクセルに取って代わるものである。したがって、アレイによって記録された画像には、オートフォーカスピクセルに対応する位置に「穴」が含まれる。これらの穴は、周囲のピクセルからの結果を補間することにより埋められる。

[0004]本発明は、ピクセルセンサの二次元アレイを含む撮像装置を含む。各ピクセルセンサには、メインフォトダイオード、オートフォーカスフォトダイオード、およびメインフォトダイオードとオートフォーカスフォトダイオードに光を集中させるマイクロレンズが含まれている。ピクセルセンサの撮像アレイは、ピクセルセンサの第１および第２のオートフォーカスアレイを含む。ピクセルセンサの第１のオートフォーカスアレイのピクセルセンサは、各オートフォーカスフォトダイオードがそのピクセルセンサのマイクロレンズの半分から優先的に光を受光するように配置されたオートフォーカスフォトダイオードを有し、ピクセルセンサの第2のオートフォーカスアレイのピクセルセンサは、各オートフォーカスフォトダイオードがそのピクセルセンサのマイクロレンズの他の半分から優先的に光を受光するように配置された各オートフォーカスフォトダイオードを有する。

[0005]本発明の一態様では、オートフォーカスフォトダイオードは埋込フォトダイオード（pinned photodiode）を含み、メインフォトダイオードもメインフォトダイオード領域によって特徴付けられる埋込フォトダイオードであり、メインフォトダイオード領域は埋込フォトダイオード領域より大きい。

[0006]本発明の別の態様では、オートフォーカスフォトダイオードは、ピクセルセンサのそれぞれの内の浮遊拡散ノードに関連する寄生フォトダイオード（parasitic photodiode）を含む。

[0007]本発明の別の態様では、ピクセルセンサの第１のオートフォーカスアレイのピクセルセンサは、各オートフォーカスフォトダイオードがそのピクセルセンサのマイクロレンズの半分からの光の８０パーセントより多くを受光するように配置されたオートフォーカスフォトダイオードを有し、ピクセルセンサの第２のオートフォーカスアレイのピクセルセンサは、各オートフォーカスフォトダイオードがそのピクセルセンサのマイクロレンズの他の半分から優先的に光を受光するように配置されたオートフォーカスフォトダイオードを有する。

[0008]本発明の別の態様では、ピクセルセンサの第１のオートフォーカスアレイのピクセルセンサは、各オートフォーカスフォトダイオードがそのピクセルセンサのマイクロレンズの半分からの光の９０パーセントより多くを受光するように配置されたオートフォーカスフォトダイオードを有し、ピクセルセンサの第２のオートフォーカスアレイのピクセルセンサは、各オートフォーカスフォトダイオードがそのピクセルセンサのマイクロレンズの他の半分から優先的に光を受光するように配置されたオートフォーカスフォトダイオードを有する。

[0009]本発明の別の態様において、装置は、撮影されるシーンをピクセルセンサの二次元アレイ上に撮像するカメラレンズと、コントローラからのオートフォーカス信号に応答して二次元撮像アレイに対してカメラレンズを移動させるアクチュエータとを含む。コントローラは、オートフォーカス期間に撮影されるシーンからの光にピクセルセンサを露光させ、オートフォーカス期間に受信される光の量を示す、第１および第２アレイのピクセルセンサのそれぞれのピクセルセンサからの信号を取得するように構成され、そして、シーンの所定の部分がピクセルセンサの二次元アレイの所定の領域に焦点が合うようにオートフォーカス信号を生成するよう構成される。

[0010]本発明の別の態様では、オートフォーカス信号を生成することは、第１のアレイのオートフォーカスフォトダイオードからの信号と第２のアレイのオートフォーカスフォトダイオードからの信号の相互相関関数を計算することを含む。

[0011]本発明の別の態様では、ピクセルセンサの二次元アレイにおけるピクセルセンサのメインフォトダイオードは、二次元のそれぞれにおいて等しい間隔を有する均一なアレイとして編成され、オートフォーカスフォトダイオードは不均一なアレイを形成する。本発明の別の態様では、オートフォーカスピクセルセンサの第１のアレイは、オートフォーカスピクセルセンサの第２のアレイの鏡像である。

[0012]本発明の別の態様では、コントローラは、ピクセルセンサの第１および第２のアレイを含む撮像アレイ内のメインフォトダイオードを使用してシーンの第１の画像を生成する。

[0013]本発明の別の態様では、ピクセルセンサの第１のオートフォーカスアレイは、ピクセルセンサの第１の線形アレイを含み、ピクセルセンサの第２のオートフォーカスアレイは、ピクセルセンサの第１の線形アレイの鏡像として構成されるピクセルセンサの第２の線形アレイを含む。

[0014]本発明の別の態様では、ピクセルセンサは、異なる色の複数のカラーフィルタを備え、複数のカラーフィルタの１つは、複数のピクセルセンサのそれぞれのマイクロレンズの下に配置され、第１オートフォーカスアレイは、第1のオートフォーカスアレイに含まれる各色の第１の数のカラーフィルタによって特徴づけられ、第２のオートフォーカスアレイは第２のオートフォーカスアレイに含まれる各色の第２の数のカラーフィルタによって特徴づけられ、第１および第２の数は実質的に等しい。

[0015]本発明の別の態様では、コントローラは、第１の画像とともにピクセルセンサのそれぞれのオートフォーカスフォトダイオードから決定された光強度測定値を出力する。

[0016]本発明の一実施形態による二次元撮像アレイを示す。 [0017]撮像アレイのピクセルセンサの１列における典型的な従来技術のピクセルセンサの概略図。 [0018]寄生フォトダイオードが画像測定に利用されているピクセルセンサを示す。 [0019]カメラレンズから撮像アレイまでの距離を検出できる方法を示す。 カメラレンズから撮像アレイまでの距離を検出できる方法を示す。 カメラレンズから撮像アレイまでの距離を検出できる方法を示す。 [0020]２０１５年７月１日に出願された米国特許出願１４／５９１，８７３で教示されているように図３に示されたピクセルを利用する撮像アレイの実施形態の一部の上面図。 [0021]図５に示す６−６線に沿ったピクセルセンサ６６および６７の断面図。 [0022]本発明の一実施形態による撮像アレイの一部の上面図。 [0023]図７の８−８線に沿った断面図。 [0024]複数のオートフォーカスゾーンを有する撮像アレイを示す。 [0025]２つのフォトダイオードオートフォーカスの実施形態で使用できる２つのフォトダイオードを有するピクセルセンサの概略図。 [0026]図１０に示されるピクセルセンサ設計を利用する本発明の一実施形態による撮像アレイの一部の上面図。 [0027]図１１の１２-１２線に沿った断面図。 [0028]本発明の他の実施形態による撮像アレイの追加のレイアウトを示す。 本発明の他の実施形態による撮像アレイの追加のレイアウトを示す。 本発明の他の実施形態による撮像アレイの追加のレイアウトを示す。

[0029]本発明は、２つの見解に基づいている。第１に、撮像アレイの各ピクセルセンサは、撮像アレイからピクセルを失うことなくオートフォーカス測定に使用できる浮遊拡散ノードを含む。第２に、浮遊拡散ノードの位置を変えることにより、オートフォーカスピクセルからの光を遮ることなくオートフォーカス測定を行い、位相オートフォーカス測定に必要な非対称性を提供することができる。

[0030]以下の議論を簡素化するために、ピクセルセンサは、その上に入射する光を、露光と呼ばれる、ある期間にその回路に入射した光の量によって決定される大きさを有する電気信号に変換する回路であると定義される。ピクセルセンサは、行選択ラインの信号に応答してその電気信号を読み出しラインに結合するゲートを有する。

[0031]矩形の撮像アレイは、ピクセルセンサの複数の行および複数の列として編成された複数のピクセルセンサであると定義される。矩形のアレイは複数の読み出しラインと複数の行選択ラインを含み、各ピクセルセンサは１つの行選択ラインと１つの読み出しラインに接続され、そのピクセルによって生成された電気信号は、そのピクセルセンサに関連付けられた行選択ラインの信号に応答して、そのピクセルに関連付けられた読み出しラインに接続される。

[0032]本発明がその利点を提供する方法は、本発明の一実施形態による二次元撮像アレイを示す図１を参照してより容易に理解することができる。矩形の撮像アレイ８０は、ピクセルセンサ８１を含む。各ピクセルセンサは、メインフォトダイオード８６と寄生フォトダイオード９１を有する。ピクセルセンサの動作方法については、以下で詳しく説明する。各ピクセルのリセット回路と増幅回路は、８７で示される。ピクセルセンサは、複数の行と複数の列として配置される。典型的な行は、９４および９５で示される。１つの列内の各ピクセルセンサは、その列内のすべてのピクセルセンサで共有される読み出しライン８３に接続される。較正線源９６は、任意で各読み出しラインに含まれる。１つの行の各ピクセルセンサは行選択ライン８２に接続され、その行のピクセルセンサが対応する読み出しラインに接続されているかどうかを判定する。

[0033]矩形の撮像アレイ８０の動作は、読み出されるピクセルアドレスを受信するコントローラ９２によって制御される。コントローラ９２は、行デコーダ８５によって使用される行選択アドレスを生成して、矩形の撮像アレイ８０の対応する行のピクセルセンサの読み出しを可能にする。列増幅器は、読み出しアルゴリズムを実行する列増幅器のアレイ８４に含まれ、これについては以下でより詳細に説明する。特定の行のすべてのピクセルセンサは並行して読み出される。したがって、読み出しライン８３ごとに１つの列増幅およびアナログ−デジタルコンバータ（ＡＤＣ）回路がある。列処理回路については、以下に詳しく説明する。

[0034]矩形の撮像アレイ８０がリセットされ、その後撮像露光中に光に露光されると、各フォトダイオードは、そのフォトダイオードの露光および光変換効率に依存する電荷を蓄積する。その電荷は、そのフォトダイオードに関連付けられたピクセルセンサの行が読み出されるときに、そのピクセルセンサのリセットおよび増幅回路８７によって電圧に変換される。その電圧は、対応する読み出しライン８３に結合され、当該読み出しラインに関連付けられた増幅およびＡＤＣ回路によって処理されて、画像露光中にピクセルセンサに入射した光の量を表すデジタル値を生成する。

[0035]図２は、撮像アレイのピクセルセンサの１列における典型的な従来技術のピクセルセンサの概略図である。ピクセルセンサ２１は、画像内の対応するピクセルで光強度を測定するフォトダイオード２２を含む。最初に、ゲート２５を導通状態にし、浮遊拡散ノード２３をリセット電圧Ｖｒに接続することにより、フォトダイオード２２がリセットされる。次に、ゲート２５が閉じられ、フォトダイオード２２が光電子を蓄積することが可能になる。本議論の目的のために、浮遊拡散ノードは、電力レールに結び付けられていない、または別の回路によって駆動されていない電気ノードであると定義される。ゲート２７の電位は、フォトダイオード２２に蓄積できる最大電荷量を設定する。ゲート２７の電位で許容されるよりも多くの電荷が蓄積されると、過剰な電荷はゲート２７を介して地面に分流される。

[0036]フォトダイオード２２が露光された後、フォトダイオード２２に蓄積された電荷は、通常、フォトダイオード２２からの蓄積電荷が浮遊拡散ノード２３に転送されるときの浮遊拡散ノード２３の電圧変化に注目することにより測定される。浮遊拡散ノード２３は、キャパシタ２３′によって表される静電容量によって特徴づけられる。実際には、キャパシタ２３′は、電圧Ｖｒに充電され、浮遊拡散ノード２３がフォトダイオード２２に接続される前に、ゲート２４のリセットラインをパルスすることにより絶縁される。フォトダイオード２２に蓄積された電荷は、ゲート２５が開かれたときに浮遊拡散ノード２３に転送される。浮遊拡散ノード２３の電圧は、この電荷のすべてを除去するのに十分であり、浮遊拡散ノード２３の電圧は、転送される電荷の量とキャパシタ２３′の静電容量に依存する量だけ減少する。したがって、浮遊拡散ノード２３の電圧の変化を測定することにより、露光中に蓄積された電荷の量を決定することができる。当該ピクセルセンサがバス２８上の信号に応答して読み出しライン３１に接続されている場合、浮遊拡散ノード２３上の電圧は列増幅器３２によって測定される。

[0037]本発明は、上述のタイプのピクセルが、浮遊拡散ノードの一部であるとともに有意なフォトダイオード検出効率を有する第２の寄生フォトダイオードを含むように、修正できるという見解に基づいている。通常、浮遊拡散ノードを光から遮蔽することにより、寄生フォトダイオードの光変換効率が最小化される。しかし、２０１５年７月１日に出願された同時係属中の米国特許出願１４／５９１，８７３で指摘されているように、浮遊拡散ノードの近くのコンポーネントの間隔を調整することにより、寄生フォトダイオードの光変換効率を高めることができる。
[0038]寄生フォトダイオードをフォトダイオード２２と区別するために、フォトダイオード２２および類似の機能を果たすフォトダイオードは、「従来のフォトダイオード」と称する。ここで、寄生フォトダイオードが画像測定に利用されているピクセルセンサを示す図３を参照する。以下の説明を簡素化するために、図１に関して上記で説明されたものと類似の機能を果たすピクセルセンサ４１の要素は同じ数字で指定され、それらの要素が利用される新たな方法を例証するために説明が必要でない限り、更なる説明を省略する。一般に、寄生フォトダイオード４２の検出効率は、フォトダイオード２２の検出効率よりも大幅に低い。２つのフォトダイオードのフォトダイオード検出効率の比が調整される方法は、２０１５年７月１日に出願された同時係属中の米国特許出願１４／５９１，８７３において、より詳細に説明されている。例示的な一実施形態では、メインフォトダイオードと寄生フォトダイオードの変換効率の比は３０：１である。この比が２０：１または１５：１である他の実施形態が有用である。

[0039]露光中に寄生フォトダイオードに蓄積する光電荷は、露光中にメインフォトダイオードに蓄積した光電荷とは別に決定することができる。このプロセスは、最後の画像読み取り操作が完了した後のピクセルセンサのリセットから、より容易に理解することができる。最初に、メインフォトダイオード２２がＶｒにリセットされ、ゲート２５が閉じられる。これにより、浮遊拡散ノード４３もＶｒにリセットされたままになる。相関二重サンプリング測定を行う場合、この電圧は、浮遊拡散ノード４３を列増幅器１７０に接続することにより、露光の開始時に測定される。それ以外の場合は、リセット電圧の以前の電圧測定値が使用される。画像露光中、寄生フォトダイオード４２は、浮遊拡散ノード４３に保存される光電子を生成する。これらの光電子は、浮遊拡散ノード４３の電位を低下させる。露光の終わりに、ソースフォロワ２６の出力を列増幅器１７０に接続することにより、浮遊拡散ノード４３の電圧が測定され、寄生フォトダイオード４２によって生成された電荷量が決定され、第１のピクセル強度値が得られる。次に、浮遊拡散ノード４３が再びＶｒにリセットされ、浮遊拡散ノード４３の電位が、ソースフォロワ２６の出力を列増幅器１７０に接続することにより測定される。次に、ゲート２５が導電状態に置かれ、メインフォトダイオード２２によって蓄積された光電子が浮遊拡散ノード４３に転送される。次に、浮遊拡散ノード４３の電圧が再び測定され、列増幅器１７０によって使用されて、第２のピクセル強度値が計算される。

[0040]位相検出オートフォーカスシステムの基本原理は、カメラレンズから撮像アレイまでの距離を検出することができる方法を示す図４Ａ〜Ｃを参照してより容易に理解することができる。図４Ａを参照して、レンズ２０１を介してカメラの撮像アレイによってキャプチャされるシーン内の点２２１を検討する。この例の目的のために、レンズ２０１は、２０５および２０６で示される２つのエッジウィンドウを通過する光を除くすべての光を遮断するマスク２０４によってマスクされると仮定する。ウィンドウ２０５および２０６からの光は、２０２および２０３で示されるピクセルセンサの２つの線形アレイ上に結像される。本議論の目的のために、アレイ２０２のピクセルセンサはウィンドウ２０５からの光を「見る」ことのみができ、アレイ２０３のピクセルセンサはウィンドウ２０６からの光を「見る」ことのみができると仮定する。図４Ａでは、ウィンドウ２０５からの光はアレイ２０２のピクセルセンサ２０７で検出され、ウィンドウ２０６からの光はピクセルセンサ２０８で検出される。

[0041]レンズ２０１からアレイ２０２および２０３の平面までの距離は、Ｄで示される。光が２つのアレイに結像されるピクセルセンサは、距離Ｄに依存して決まる。図４Ａに示される例では、レンズ２０１は、点２２１を含むシーン内の平面をアレイの平面の下の点に結像する。したがって、シーン内の平面の画像は焦点が合っていない。レンズがアレイ２０２および２０３に向かって移動すると、光を検出するピクセルセンサは、アレイ２０２および２０３の中央に向かって配置される。レンズ２０１がアレイ２０２および２０３の平面上に光の焦点を合わせる場合、光を受光するピクセルセンサの位置は、レンズ２０１の光軸２１５に最も近いアレイの中央にある。図４Ｂは、レンズが適切な距離にあり、光を受光するピクセルセンサが２０９と２１０で示されている。次に、図４Ｃを参照する。この場合、レンズ２０１はアレイ２０２および２０３の平面に近すぎ、２１１および２１２に示すように、光を受信するピクセルセンサはアレイの長さに沿って再び分離される。

[0042]逆に、レンズの２つのウィンドウから光を受光するピクセルセンサのＩＤを決定できれば、撮像アレイ上に点２２１を適切に焦点合わせするのに必要な距離を決定できる。光を受光するピクセルセンサがわかっている場合、正しい焦点に到達するためにレンズを移動する必要がある距離は、ルックアップテーブルから決定できるため、レンズ距離の反復処理は必要ない。したがって、このタイプのオートフォーカス方式は、画像の高周波空間合成を最適化する方式で利用可能な時間よりもはるかに短い時間でオートフォーカス調整を実行できる。

[0043]このオートフォーカス方式を、撮影されるシーンの画像を形成するために使用される撮像アレイ内にピクセルセンサのアレイが存在する撮像アレイに適応させることには、２つの課題がある。第１に、撮像レンズはマスクされていない。この問題は、カメラレンズの半分が透過する光のみを測定するピクセルセンサを使用することで克服できる。オートフォーカスピクセルセンサが実際に画像を検出するピクセルセンサから分離している場合、この制約を満たすピクセルセンサは、ピクセルセンサの上にあるマイクロレンズをマスクすることで得られる。ただし、このような方式は、撮像アレイからピクセルセンサを事実上除去する。撮像アレイ内のピクセルセンサを犠牲にすることなく、本発明においてこれが達成される方法は、より詳細に以下に説明される。

[0044]第２に、オートフォーカス線形アレイに投影される光は、単一の光点ではなく、シーンからの線である。したがって、各アレイで最も多くの光を受光するピクセルセンサのＩＤを検出するだけでは、適切なＤを決定するために必要な情報は提供されない。この問題は、レンズと撮像アレイ間の距離にマッピングすることできる画像相関値を計算することで克服できる。

[0045]本発明によって第１の課題が克服される方法は、図５を参照して、より容易に理解することができ、図５は、上記の米国特許出願で教示されているように、図３に示されるピクセルを利用する撮像アレイ６０の実施形態の一部の上面図である。図面を簡素化するために、さまざまなゲートと制御ラインは図面から省略されている。複数のピクセルセンサは、矩形のアレイ状に配置される。典型的なピクセルセンサの要素は６１で表示されている。特に、ピクセルセンサ６１は、メインフォトダイオード６２および寄生フォトダイオード６３を有する。これらのフォトダイオードは両方とも、フォトダイオードが構築されているシリコン表面を覆うマイクロレンズ６４から光を受光する。ピクセルセンサは通常、グループ６５などの４つのピクセルセンサのグループに配置される。カラーカメラで使用する配列では、各ピクセルセンサはカラーフィルタで覆われている。通常、１つのピクセルセンサが「Ｒ」で示される赤いフィルタで覆われ、１つのピクセルセンサが「Ｂ」で示される青色のフィルタで覆われ、そして２つのピクセルセンサが「Ｇ」で示される緑色のフィルタで覆われる。色処理は現在の説明に関係がないため、ここでは説明しない。

[0046]本発明は、浮遊拡散ノードに関連する寄生フォトダイオードを使用して、メインフォトダイオードを変更することなく、オートフォーカスシステムに必要な線形撮像アレイを形成することができ、したがって、先行技術に関わるピクセル損失を回避できるという見解に基づいている。

[0047]ここで、図５に示される線６−６を通るピクセルセンサ６６および６７の断面図である図６を参照する。繰り返すが、さまざまなゲート及びゲートとフォトダイオードをビット線に接続するための配線構造は、図面を簡素化するために省略されている。メインフォトダイオードは、それぞれ７５と７３で示される。寄生フォトダイオードを備えた対応する浮遊拡散ノードは、７４および７６で示される。フォトダイオードが構築される基板上の配線層は、フォトダイオードに到達できるマイクロレンズ６４および７２からの光を制限するための開口を形成するパターン化された多数の金属層６８および６９を含む。カラーフィルタ７０および７１は、配線層の上であってマイクロレンズの下に堆積される。この構成では、寄生フォトダイオードの両方が、マイクロレンズの同じ半分、すなわち半分６４Ａおよび７２Ａから優先的に光を受光することに留意されたい。したがって、この配置の寄生フォトダイオードは、オートフォーカスピクセルセンサには適していない。

[0048]ここで、本発明の一実施形態による撮像アレイの一部の上面図である図７を参照する。撮像アレイ１３０は、ピクセルセンサの３行ごとに撮像アレイ６０の対応する行の鏡像であるという点で、図５に示す撮像アレイ６０とは異なる。これにより、１３１および１３２に示すように、浮遊拡散ノードの２つのアレイが作成される。その結果、これらの行の１つ、たとえば行１３３の浮遊拡散ノードは、浮遊拡散ノードが配置されているピクセルセンサのマイクロレンズの一方の側から優先的に光を受光し、これらの行の他方、たとえば行１３４の浮遊拡散ノードはマイクロレンズの他方の側から優先的に光を受光する。

[0049]ここで、図７の８−８線に沿った断面図である図８を参照する。行１３３の一部であるピクセルセンサ１６６の浮遊拡散ノード１４１は、１４１Ａで示されるマイクロレンズ１４０の半分からの光を受光し、マイクロレンズ１４０の他方の半分からは、それより実質的に少ない光を受光する。対照的に、ピクセルセンサ１６７の浮遊拡散ノード１４２は、１４２Ａで示されるマイクロレンズ１４３の半分から優先的に光を受光する。したがって、ピクセルセンサのこれら２行の浮遊拡散ノードは、オートフォーカスセンシングアレイとして使用することができる。

[0050]以下の説明を簡素化するために、その浮遊拡散ノードがオートフォーカスの目的に使用されるピクセルセンサは、オートフォーカスピクセルセンサと称される。行１３３に類似する行にあるオートフォーカスピクセルセンサは、上部オートフォーカスピクセルセンサと称される。行１３４に類似する位置の行にあるオートフォーカスピクセルセンサは、下部オートフォーカスピクセルセンサと称される。「上部」と「下部」の標示は単なる標示であり、地球に対する位置を示すことを意図したものではない。一般に、合焦状態に維持されるべき視野の特定の領域に画像を生成する撮像アレイの領域には、オートフォーカス測定に使用できるオートフォーカスピクセルセンサの二次元アレイがある。以下の説明では、この領域をオートフォーカス領域と称する。特定のオートフォーカスピクセルセンサは、二次元撮像アレイ内のそのオートフォーカスピクセルセンサの位置を示す一対のインデックス（Ｉ、Ｊ）で特定することができる。下部オートフォーカスピクセルセンサの浮遊拡散ノードからの信号はＢ（Ｉ、Ｊ）で示され、上部オートフォーカスピクセルセンサの浮遊拡散ノードからの信号はＴ（Ｉ、Ｊ）で示される。各上部オートフォーカスピクセルセンサには対応する下部オートフォーカスピクセルセンサがあるため、Ｂ（Ｉ、Ｊ）がＴ（Ｉ、Ｊ）に対応するオートフォーカスピクセルセンサになるようにインデックスが選択される。オートフォーカス領域信号は、可能性のあるＡ（Ｉ、Ｊ）およびＢ（Ｉ、Ｊ）信号のセットに対応する。

[0051]シーンの画像を生成する撮像アレイの一部である浮遊拡散ノードを使用することは、浮遊拡散ノードがカラーフィルタの下で動作することを必要とすることに注意すべきである。カラーフィルタによって導入された歪みは、オートフォーカスピクセルセンサの複数対のラインを使用して除去することができる。再び図７を参照すると、アレイ１３１の上部オートフォーカスピクセルセンサは赤または緑のフィルタで覆われているが、青のフィルタでは覆われていない。同様に、下部オートフォーカスピクセルセンサは、青と緑のフィルタで覆われているが、赤のフィルタでは覆われていない。しかしながら、オートフォーカス測定はアレイ１３１と１３２の両方で行われ、可能性のあるすべての組み合わせが得られる。本発明の一態様では、オートフォーカス測定に使用される上部オートフォーカスピクセルセンサの集合は、赤、青、および緑のフィルタを備えた実質的に等しい数のピクセルセンサを含む。同様に、オートフォーカス測定に使用される下部オートフォーカスピクセルセンサの集合は、赤、青、および緑のフィルタを備えた実質的に等しい数のピクセルセンサを含む。本議論の目的のために、含まれる各色のフィルタの数は、以下で論じる自己相関測定から得られたオートフォーカス調整が、数が等しくないことよって変更されなければ、実質的に等しいと定義される。

[0052]上述のように、カメラレンズはマスクされておらず、したがって、オートフォーカスピクセルセンサは、シーン内のいくつかの異なる点から光を受光する。したがって、何らかの形の相互相関関数を使用して、レンズ位置補正が決定されるべき上部および下部ピクセル位置を決定しなければならない。

ここで、ＴＡ（ｘ、ｙ）およびＢＡ（ｘ、ｙ）は、それぞれオートフォーカスピクセルセンサ上のＴ（ｘ、ｙ）およびＢ（ｘ、ｙ）の平均値である。加算は、画像の選択された領域の焦点を合わせるために使用されているオートフォーカスピクセルセンサのセットに対して行われる。ｐ（ｕ、ｖ）が最大である（ｕ、ｖ）値は、オートフォーカスピクセルセンサに結像されるシーンの領域に焦点を合わせるために必要なカメラレンズの動きにアクセスするために使用できる値を提供する。単純なレンズの場合、レンズが移動する距離が決定される。あるいは、画像に焦点を合わせるために、より複雑な撮像レンズの焦点距離を変更することができる。この場合、焦点距離の変化が決定される。本発明の一態様では、コントローラは、この決定された（ｕ、ｖ）値を、シーンに焦点を合わせるのに必要なカメラレンズの動きまたは焦点距離の変化にマッピングする焦点テーブルを格納する。

[0053]典型的には、レンズは、画像の特定の領域に焦点が合うように移動される。これは通常、画像の中央付近の領域である。本発明では、本質的に撮像アレイ全体にわたってオートフォーカスピクセルセンサが利用可能である。したがって、オートフォーカスデータを提供できる複数の領域が存在する。焦点調整を実行するのに十分なオートフォーカスピクセルセンサを有する領域を、この説明においてオートフォーカスゾーンと称する。ここで、複数のオートフォーカスゾーンを持つ撮像アレイを示す図９を参照する。撮像アレイ２００は、行にオートフォーカスピクセルセンサアレイを有する矩形のアレイとして編成されている。基本的に、２０２〜２０５に示すように、３行ごとに２行のオートフォーカスピクセルセンサが含まれている。オートフォーカスゾーンは、２０６〜２０８に示すようにオートフォーカスピクセルセンサ行の２つの部分と同じくらい小さい場合がある。または、オートフォーカスゾーンは、２０９に示すようにオートフォーカスピクセルセンサ行の４つ以上の部分を含む場合がある。

[0054]実際には、オートフォーカスコントローラ２１０は、オートフォーカスゾーンの１つを使用してレンズ２１２の焦点特性を設定するようにプログラムされている。オートフォーカスコントローラ２１０は、カメラコントローラ全体で、または図１に示される９２などのマスターカメラコントローラと通信する別個のコントローラとして実装することができる。次に、コントローラ２１０は、アクチュエータ２１１に信号を送信して、レンズ２１２を移動させ、オートフォーカスゾーンに焦点が合うようにする。前述のように、通常使用されるオートフォーカスゾーンは、撮像アレイの中央付近にあるものである。しかしながら、レンズフォーカスの設定に使用される相関関数は、撮像アレイ内の多数のオートフォーカスゾーンで計算されることがあり、対象のオートフォーカスゾーンにオートフォーカス制御が焦点を合わせた後に、測定された画像とともに相関関数が送信されることがある。この追加情報は、カメラの焦点が合っている領域からシーンの対応する領域までの距離の測定値を提供するために使用することができる。

[0055]本発明の一態様において、画像の動画シーケンスは、動画シーケンスの各フレームの前にオートフォーカス測定を行うことにより取得される。したがって、オートフォーカスの調整に費やすことができる時間は限定される。オートフォーカス調整の実行に必要な時間は、オートフォーカス期間と称される。この期間には、オートフォーカスピクセルセンサの露光に必要な時間、それらのピクセルセンサの読み出しと相関計算の実行に必要な時間、およびレンズの移動に必要な時間が含まれる。典型的には、撮像アレイには、中央領域など、オートフォーカスシステムによって焦点が保たれるべき領域がある。オートフォーカス露光時間を短縮することは好都合である。オートフォーカス露光時間は、オートフォーカスフォーカス計算で使用される関心領域内のオートフォーカスピクセルセンサの数と、シーンの光レベルに依存して決まる。光レベルが低い場合、またはオートフォーカス露光時間が短すぎる場合、結果として生じるオートフォーカスピクセルセンサ出力にはかなりの量のノイズが含まれる。オートフォーカス露光の計算は、前述のｐ（ｕ、ｖ）計算などの相関測定に依存する。より多くのピクセルがその計算に追加されると、ノイズの影響が減少する。アレイ内の半数を超えるピクセルセンサがオートフォーカスピクセルセンサであるため、本発明はオートフォーカス露光期間を短縮し、より多くのオートフォーカスピクセルセンサからの出力を使用してノイズの増加を補償することができる。これは、画像を記録するピクセルセンサの代わりに撮像アレイに埋め込まれた少数の専用オートフォーカスピクセルセンサを有するシステムより優れた、本発明の重要な利点であることに留意されたい。例示的な一実施形態では、正しい焦点調整を決定するために使用されるオートフォーカスピクセルセンサの数は１０００を超える。別の例示的な実施形態では、正しい焦点調整を決定するために使用されるオートフォーカスピクセルセンサの数は、１０００以下である。

[0056]本発明の一態様では、撮像アレイの中心の領域は、撮像アレイからのカメラレンズ距離を設定するために使用される。しかしながら、撮像アレイに投影されるシーン全体の「焦点マップ」は、撮像アレイ全体の位置で撮像アレイの小さなセグメントに対して距離計算を繰り返すことで計算できることに注意されたい。このようなマップは、シーンの三次元画像を構築するのに有用である。したがって、本発明の一態様では、画像を撮る前にレンズ距離を設定するために使用されるオートフォーカスピクセルセンサからの信号は、後に画像の後処理で使用するための別個の画像として出力される。

[0057]前述の米国特許出願は、浮遊拡散ノードを使用して、撮像露光中にピクセルセンサが受けた光の２回目の光測定値を提供することにより、ピクセルセンサの範囲を拡大する方法を説明している。その方法における浮遊拡散ノードは、通常メインフォトダイオードの光変換効率の３０分の１の光変換効率を持っており、したがって、ピクセルがメインフォトダイオードを飽和させる光強度にさらされたときに受信光の測定値を提供する。本発明の浮遊拡散ノードは、同様に、ピクセルセンサのダイナミックレンジを拡張するために使用することができる。

[0058]上述の実施形態におけるメインフォトダイオードおよびマイクロレンズは、列方向および行方向の両方で等しい間隔を有する規則的なアレイを形成することに留意されたい。浮遊拡散ノードは、撮像アレイ全体に均一に分散されておらず、イメージング後処理が必要になる場合がある。たとえば、浮遊拡散ノードから見た画像を再サンプリングして、均一なグリッドに画像を提供することができる。この再サンプリングされた浮遊拡散ノード画像の値は、メインフォトダイオードによって生成された画像の対応する値と組み合わされ、拡張光強度測定値を提供することができる。後処理を実行するには、浮遊拡散ノードから見える画像を出力し、メインフォトダイオードから見える画像とともに保存する必要がある。

[0059]上記の実施形態では、オートフォーカスピクセルセンサの浮遊拡散ノードは、浮遊拡散ノードがマイクロレンズの一方の側のみから光を受光するように配置される。しかし、浮遊拡散ノードがマイクロレンズの一方の側から優先的に光を受光する実施形態も構築することができる。例えば、浮遊拡散ノードは、光の８０％がマイクロレンズの一方の側から来て、浮遊拡散ノードが受光する光の２０％がマイクロレンズの他方の側から来るように配置される。別の例示的な実施形態では、浮遊拡散ノードは、光の９０パーセントがマイクロレンズの一方の側から来て、浮遊拡散ノードが受光する光の１０パーセントがマイクロレンズの他方の側から来るように配置される。オートフォーカス相互相関法で追加のオートフォーカスピクセルセンサを使用すると、この光分離の欠如を補うことができる。

[0060]本発明のオートフォーカスシステムはオートフォーカスピクセルセンサのノイズを許容するが、オートフォーカスピクセルセンサの浮遊拡散ノードは、イメージングセンサのオートフォーカス領域の光レベルを測定するのに十分な光変換効率を持たなければならない。したがって、浮遊拡散ノードの光変換効率は、上述のメインフォトダイオード光変換効率の１／３０よりもやや高くなるように調整することが好ましい。浮遊拡散ノードの光変換効率を調整するメカニズムは、上記で参照した米国特許出願で述べられており、その全体が参照により本明細書に組み込まれる。しかしながら、浮遊拡散ノードの光変換効率を高めると、画像の露光中に浮遊拡散ノードを第２のフォトダイオードとして利用することにより達成できるダイナミックレンジの改善が低下する。一実施形態では、浮遊拡散ノードの光変換効率は、メインフォトダイオードの光変換効率の１／１０よりも大きくなるように設定される。別の実施形態では、浮遊拡散ノードの光変換効率は、メインフォトダイオードの光変換効率の１／３０よりも大きくなるように設定される。

[0061]上述の実施形態は、ピクセルセンサの行および列に言及している。しかし、他の実施形態では行と列を入れ替えてもよいことを理解されたい。さらに、オートフォーカスピクセルセンサは、浮遊拡散ノードの列がオートフォーカスの目的で使用される２つの線形アレイを形成するように編成されてもよい。

[0062]以下の議論を簡素化するために、オートフォーカス調整に使用されるフォトダイオードをオートフォーカスフォトダイオードと称する。上述の実施形態では、浮遊拡散ノードに関連する寄生フォトダイオードは、オートフォーカスフォトダイオードである。これらの実施形態は、ピクセルセンサの面積を増加させないため、大きな利点を提供する。しかしながら、寄生フォトダイオードは埋込フォトダイオードではないため、メインフォトダイオードに比べてノイズが増加する。これらのノイズの問題は、浮遊拡散ノードの寄生フォトダイオードの代わりに別個の小さな埋込フォトダイオードを使用することにより軽減することができる。そのような実施形態では、従来の撮像アレイの場合のように、浮遊拡散ノードの光変換効率が意図的に低下されるだろう。

[0063]ここで、２つのフォトダイオードオートフォーカスの実施形態で使用できる２つのフォトダイオードを有するピクセルセンサの概略図である図１０を参照する。ピクセルセンサ３００は、メインフォトダイオード３２２および補助フォトダイオード３０１を含む。補助フォトダイオード３０１の面積は、フォトダイオード３２２の面積よりもはるかに小さくなるように選択される。例えば、一実施形態では、補助フォトダイオード３０１の面積は、メインフォトダイオード３２２の面積の０．１倍未満である。両方のフォトダイオードは、ゲート３０２および３０４を制御することにより、浮遊拡散ノード３４３に個別に接続することができる。補助フォトダイオード３０１は、メインフォトダイオード３２２よりもはるかに小さい面積を有するので、アンチブルーミングゲートは不要である。２つのフォトダイオードは、寄生フォトダイオードの実施形態に関して上述した方法と同様の方法で読み出すことができる。非オートフォーカス動作中、補助フォトダイオード３０１に蓄積された光電荷を使用して、上記と同様の方法でピクセルセンサ３００のダイナミックレンジを拡大することができる。本議論の目的のために、ピクセルセンサ３００の重要な局面は、ピクセルセンサ３００内のメインフォトダイオード３２２と補助フォトダイオード３０１の相対的配置である。

[0064]ここで、図１０に示されるピクセルセンサ設計を利用する本発明の一実施形態による撮像アレイの一部の上面図である図１１を参照する。撮像アレイ４００は、ピクセルセンサの３行ごとに撮像アレイ６０の対応する行の鏡像であるという点で、図５に示す撮像アレイ６０とは異なる。これにより、４３１および４３２に示すように、補助フォトダイオードの２つのアレイが作成される。その結果、これらの行の１つ、たとえば行４３３の補助フォトダイオードは、補助フォトダイオードが配置されているピクセルセンサのマイクロレンズの一方の側から優先的に光を受光し、これらの行の他方、たとえば４３４の補助フォトダイオードは、マイクロレンズの他方の側から優先的に光を受光する。

[0065]ここで、図１１の１２−１２線に沿った断面図である図１２を参照する。行４３３の一部であるピクセルセンサ４６６の補助フォトダイオード４７１は、４４１Ａで示されるマイクロレンズ４４０の半分から光を受光し、マイクロレンズ４４０の他の半分からは、それより実質的に少ない光を受光する。対照的に、ピクセルセンサ４６７の補助フォトダイオード４７２は、４４２Ａで示されるマイクロレンズ４４３の半分から優先的に光を受光する。したがって、ピクセルセンサのこれら２行の補助フォトダイオードは、オートフォーカスセンシングアレイとして使用することができる。補助フォトダイオードは非対称に配置されるが、メインフォトダイオード４２２および４２３は規則的な矩形のアレイを形成する。

[0066]補助フォトダイオードがオートフォーカス手順で使用される方法は、寄生フォトダイオードに関して上述した方法と類似している。以下の説明を簡素化するために、補助フォトダイオードがオートフォーカスの目的で使用されるピクセルセンサは、ここでもオートフォーカスピクセルセンサと称される。行４３３に類似する行にあるオートフォーカスピクセルセンサは、上部オートフォーカスピクセルセンサと称される。行４３４に類似する位置の行にあるオートフォーカスピクセルセンサは、下部オートフォーカスピクセルセンサと称される。「上部」と「下部」の標示は単なる標示であり、地球に対する位置を示すことを意図したものではない。一般に、合焦状態に維持されるべき視野の特定の領域に画像を生成する撮像アレイの領域には、オートフォーカス測定に使用できるオートフォーカスピクセルセンサの二次元アレイがある。以下の説明では、この領域をオートフォーカス領域と称する。特定のオートフォーカスピクセルセンサは、二次元撮像アレイ内のそのオートフォーカスピクセルセンサの位置を示す一対のインデックス（Ｉ、Ｊ）で特定することができる。下部オートフォーカスピクセルセンサの補助フォトダイオードからの信号はＢ（Ｉ、Ｊ）で示され、上部オートフォーカスピクセルセンサの補助フォトダイオードからの信号はＴ（Ｉ、Ｊ）で示される。各上部オートフォーカスピクセルセンサには対応する下部オートフォーカスピクセルセンサがあるため、Ｂ（Ｉ、Ｊ）がＴ（Ｉ、Ｊ）に対応するオートフォーカスピクセルセンサになるようにインデックスが選択される。オートフォーカス領域信号は、可能性のあるＡ（Ｉ、Ｊ）およびＢ（Ｉ、Ｊ）信号のセットに対応する。次に、寄生フォトダイオードを参照して上記のようにオートフォーカス調整が実行される。

[0067]上述のレイアウト以外の、オートフォーカスフォトダイオードの他のレイアウト、浮遊拡散ノードの寄生フォトダイオード、または別個のフォトダイオードのいずれかも可能である。

[0068]本発明の上述の実施形態は、本発明の様々な態様を例示するために提供されている。しかし、異なる特定の実施形態で示される本発明の異なる態様を組み合わせて、本発明の他の実施形態を提供できることを理解されたい。さらに、本発明に対する様々な変形例は、前述の説明および添付の図面から明らかになるであろう。したがって、本発明は、添付の特許請求の範囲によってのみ限定されるものとする。図１３〜１５は、他の三つの可能な実施形態を示している。オートフォーカスフォトダイオードが２つの線形アレイを形成し、各線形アレイがマイクロレンズの一方の側から優先的に光を受光するような配置は、原則として使用することができる。

Claims (14)

1. ピクセルセンサの二次元アレイを含む装置であって、各ピクセルセンサは、
   メインフォトダイオードと、
   オートフォーカスフォトダイオードと、
   前記メインフォトダイオードと前記オートフォーカスフォトダイオードに光を集中させるマイクロレンズとを有し、
   ピクセルセンサの前記二次元アレイは、ピクセルセンサの第１および第２のオートフォーカスアレイを含み、ピクセルセンサの前記第１のオートフォーカスアレイにおける前記ピクセルセンサは、各オートフォーカスフォトダイオードがそのピクセルセンサの前記マイクロレンズの半分から優先的に光を受光するように配置された前記オートフォーカスフォトダイオードを有し、ピクセルセンサの前記第２のオートフォーカスアレイにおける前記ピクセルセンサは、各オートフォーカスフォトダイオードがそのピクセルセンサの前記マイクロレンズの他の半分から優先的に光を受光するように配置された各オートフォーカスフォトダイオードを有する、装置。
2. 前記オートフォーカスフォトダイオードが埋込フォトダイオードを含む、請求項１に記載の装置。
3. 前記メインフォトダイオードはメインフォトダイオード領域によって特徴づけられ、前記埋込フォトダイオードは埋込フォトダイオード領域によって特徴づけられ、前記メインフォトダイオード領域は前記埋込フォトダイオード領域より大きい、請求項２に記載の装置。
4. 前記オートフォーカスフォトダイオードは、前記ピクセルセンサのそれぞれの浮遊拡散ノードに関連する寄生フォトダイオードを含む、請求項１に記載の装置。
5. ピクセルセンサの前記第１のオートフォーカスアレイにおける前記ピクセルセンサは、オートフォーカスフォトダイオードを有し、各オートフォーカスフォトダイオードがそのピクセルセンサの前記マイクロレンズの半分からの光の８０パーセントより多くを受光するように配置され、ピクセルセンサの前記第２のオートフォーカスアレイにおける前記ピクセルセンサは、オートフォーカスフォトダイオードを有し、各オートフォーカスフォトダイオードがそのピクセルセンサの前記マイクロレンズの他の半分から優先的に光を受光するように配置された、請求項１に記載の装置。
6. ピクセルセンサの前記第１のオートフォーカスアレイにおける前記ピクセルセンサは、オートフォーカスフォトダイオードを有し、各オートフォーカスフォトダイオードがそのピクセルセンサの前記マイクロレンズの半分からの光の９０パーセントより多くを受光するように配置され、ピクセルセンサの前記第２のオートフォーカスアレイにおける前記ピクセルセンサは、オートフォーカスフォトダイオードを有し、各オートフォーカスフォトダイオードがそのピクセルセンサの前記マイクロレンズの他の半分から優先的に光を受光するように配置された、請求項１に記載の装置。
7. ピクセルセンサの前記二次元アレイ上に撮影されるシーンを撮像するカメラレンズと、
   コントローラからのオートフォーカス信号に応答して、前記二次元アレイに対して前記カメラレンズを移動させるアクチュエータと、をさらに含み、
   前記コントローラは、
   前記ピクセルセンサをオートフォーカス期間中、撮影されるシーンからの光に露光させるよう構成され、
   前記オートフォーカス期間中に受光された光の量を示す、ピクセルセンサの前記第１および第２のオートフォーカスアレイ内の前記ピクセルセンサのそれぞれから信号を取得するよう構成され、
   前記シーンの所定の部分がピクセルセンサの前記二次元アレイの所定の領域に焦点が合うように前記オートフォーカス信号を生成するよう構成される、請求項１に記載の装置。
8. 前記オートフォーカス信号を生成することは、ピクセルセンサの前記第１のオートフォーカスアレイにおける前記オートフォーカスフォトダイオードからの信号と、ピクセルセンサの前記第２のオートフォーカスアレイにおける前記オートフォーカスフォトダイオードからの信号との相互相関関数を計算することを含む、請求項７に記載の装置。
9. ピクセルセンサの前記二次元アレイにおける前記ピクセルセンサにおける前記メインフォトダイオードは、前記二次元アレイの各次元において等間隔を有する均一なアレイとして構成され、前記オートフォーカスフォトダイオードは不均一なアレイを形成する、請求項７に記載の装置。
10. ピクセルセンサの前記第１のオートフォーカスアレイが、ピクセルセンサの前記第２のオートフォーカスアレイの鏡像である、請求項９に記載の装置。
11. 前記コントローラは、ピクセルセンサの前記第１および第２のオートフォーカスアレイを含むピクセルセンサの前記二次元アレイ内の前記メインフォトダイオードを使用して前記シーンの第１の画像を生成する、請求項７に記載の装置。
12. ピクセルセンサの前記第１のオートフォーカスアレイは、前記ピクセルセンサの第１の線形アレイを備え、ピクセルセンサの前記第２のオートフォーカスアレイは、ピクセルセンサの前記第１の線形アレイの鏡像として構成される前記ピクセルセンサの第２の線形アレイを備える、請求項１に記載の装置。
13. 前記ピクセルセンサは、異なる色の複数のカラーフィルタを含み、前記複数のカラーフィルタの１つは、ピクセルセンサの前記二次元アレイにおける前記マイクロレンズのそれぞれの下に配置され、前記第１のオートフォーカスアレイは、ピクセルセンサの前記第１のオートフォーカスアレイに含まれる各色の第１の数のカラーフィルタにより特徴づけられ、前記第２のオートフォーカスアレイは、ピクセルセンサの前記第２のオートフォーカスアレイに含まれる各色の第２の数のカラーフィルタにより特徴づけられ、前記第１の数と前記第２の数は実質的に等しい、請求項１に記載の装置。
14. 前記コントローラは、前記第１の画像とともに、前記ピクセルセンサのそれぞれにおける前記オートフォーカスフォトダイオードから決定された光強度測定値を出力する、請求項１１に記載の装置。

Images