JP2010035168A - イメージング装置および方法 - Google Patents

Abstract

【課題】 イメージング装置および方法を提供する。
【解決手段】 本発明のイメージセンサは、複数のピクセルを含み、複数のピクセルそれぞれは、光検出エレメントと、可視光成分を光検出エレメントに選択的に帯域通過させ、非可視光成分を光検出エレメントに帯域通過させるフィルタとを含む。これにより、同じピクセルを用いてカラー値および深さ値を得ることができる。
【選択図】 図１

Description

本発明は、イメージセンサ、イメージング装置、イメージセンサの動作方法、およびイメージング方法に関する。

最近、イメージセンサ（ｉｍａｇｅ ｓｅｎｓｏｒ）を備えた携帯用装置（例えば、デジタルカメラ、移動通信端末機など）が開発されて販売されている。イメージセンサは、ピクセル（ｐｉｘｅｌ）またはフォトサイト（Ｐｈｏｔｏｓｉｔｅ）と呼ばれる小さいフォトダイオード（ｐｈｏｔｏｄｉｏｄｅ）のアレイ（ａｒｒａｙ）で構成される。一般的に、ピクセルは、光から色相を直接的に抽出せずに、広いスペクトル帯域の光子（ｐｈｏｔｏｎ）を電子（ｅｌｅｃｔｒｏｎ）に変換する。したがって、イメージセンサのピクセルは、広いスペクトル帯域の光のうち色相取得に必要な帯域の光のみが入力される必要がある。イメージセンサのピクセルは、カラーフィルタ（ｃｏｌｏｒ ｆｉｌｔｅｒ）などと結合して、特定色相に対応する光子のみを電子に変換することができる。

イメージセンサを用いて３次元映像を取得するためには、色相だけではなく物体とイメージセンサとの間の距離に関する情報を得る必要がある。一般的に、物体とイメージセンサとの間の距離に関して再構成された映像を、該当分野では深さイメージ（ｄｅｐｔｈ ｉｍａｇｅ）と表現する。一般的に、深さイメージは、可視光線（ｖｉｓｉｂｌｅ ｌｉｇｈｔ）領域以外の赤外線（ｉｎｆｒａｒｅｄ ｌｉｇｈｔ）を用いて得られる。

一方、一般的にオブジェクトのカラーイメージおよび深さ（または距離）イメージを取得する方法には２種類がある。そのうちの１つは、例えば、複数の波長帯域を分配するような方式であって、特定の波長帯域の光を反射（ｒｅｆｌｅｃｔ）したりまたは屈折（ｒｅｄｉｒｅｃｔ）させたりし、他の波長領域の光を回折（ｒｅｆｒａｃｔ）させるビーム分配器（ｂｅａｍ ｓｐｌｉｔｔｅｒ）を用いる方法である。図１６に示すように、ビーム分配器は、カラーイメージを生成するために求められる特定の可視光線と、深さイメージを生成するために求められる特定の赤外線を分配する。ここで、ビーム分配器による方法は、分配された光を感知するための２つ以上のセンサを必要とし、したがってカラー情報と深さ情報を別途で取得するようになる。米国特許第７，２２４，３８４は、このような３Ｄセンシングシステムの例を示している。このようなビーム分配器による方法は、ビーム分配器および通常は２つ以上のセンサを必要とし、したがって大きさ（ｓｉｚｅ）や費用（ｃｏｓｔ）において問題がある。通常の既存のカメラ装置においてこのようなシステムを実現することにより、イメージを得るためには、求められるシステムの大きさが非常に大きく、費用が非常に高い。さらに、取得したカラーイメージと深さイメージの整列状態や位置の特性が互いに合わないため、カラーイメージと深さイメージをマッチング（ｍａｔｃｈｉｎｇ）することも容易ではない。

さらに他の方法は、単に１つのセンサのみを用いてカラーイメージおよび深さイメージを取得する方法である。図１７ａは、通常のカメラセンサ全般のピクセルに赤外線を感知するピクセルが分布されているカラーセンサの実施形態を概念的に示す図である。この実施形態において、赤外線を感知するピクセルは、Ｒ、Ｇ、Ｂ波長帯域の可視光線を感知するピクセルと同じ線上で整列させることができる。図１７ｂは、米国特許第７，２６２，４０２で提示された、ｎｘｍセンサアレイの実施形態を示す図である。ここで、小さいサイズのピクセル１０１は、例えば、Ｒ、Ｇ、Ｂ波長帯域の可視光線の強度（ｓｔｒｅｎｇｔｈ）を測定するピクセルであり、大きいサイズのピクセル１００は、オブジェクトに向かって照射された赤外線が反射して戻ってくる時間を測定してオブジェクトの深さを測定するためのピクセルである。このような方式でオブジェクトの深さを測定することをＴＯＦ（Ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ）方式という。

図１７ｃは、国際知的財産機構（ＷＩＰＯ）へのＰＣＴ出願であるＰＣＴ／ＩＬ０１／０１１５９で提示された実施形態である。ここで、大きいサイズのピクセル２１は赤外線を感知し、他のピクセル２２、２３、２４はそれぞれＲｅｄ、Ｇｒｅｅｎ、およびＢｌｕｅの光を感知する。ここで、赤外線を感知するセンサは、可視光線を感知するピクセルの間に位置するため、カラーイメージの解像度（ｓｐａｔｉａｌ ｒｅｓｏｌｕｔｉｏｎ）および深さイメージの解像度は減少する。しかしながら、このような整列方式では、ＴＯＦを測定するための特定の回路が求められ、赤外線感知センサの低い感度（ｌｏｗｅｒ ｓｅｎｓｉｔｉｖｉｔｙ）のために赤外線感知センサがカラーピクセルよりも大きくなければならないなどの問題がある。図１７ｂの実施形態では、対応するピクセルの特定の感知部がＳＰＡＤ（ｓｉｎｇｌｅ ｐｈｏｔｏｎ ａｖａｌａｎｃｈｅ ｄｉｏｄｅ）で極限化されるという問題もある。

したがって、このような問題を克服する技術が求められている。

本発明の一実施形態によれば、カラー（ｃｏｌｏｒ）によって表現されるカラーイメージ（ｃｏｌｏｒ ｉｍａｇｅ）および距離（ｄｉｓｔａｎｃｅ）によって表現される深さイメージを１つのピクセルを用いて得ることができる装置および方法を提供することを目的とする。

また、本発明の一実施形態によれば、空間解像度を減らさずにカラーイメージおよび深さイメージを１つのピクセルによって得ることを他の目的とする。

本発明の一実施形態によれば、複数のピクセルが検出回路を共有するピクセル構造（ｐｉｘｅｌ ｓｔｒｕｃｔｕｒｅ）を用いてイメージセンサのサイズを減らすことを他の目的とする。

さらに、本発明の一実施形態によれば、深さイメージを取得するためのピクセルの大きさを大きくしないと共に、深さイメージの信号対雑音比（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ：ＳＮＲ）を高めることを他の目的とする。

本発明の一実施形態に係るイメージセンサは、複数のピクセルを含み、前記複数のピクセルのうちの少なくとも１つの同じピクセルからカラー値および深さ値を得ることができる。

本発明の一実施形態に係るイメージセンサは、複数のピクセルを含み、前記複数のピクセルのうちの少なくとも１つのピクセルは、カラー値および深さ値を別途で提供する。

本発明の一実施形態に係るイメージング装置（ｉｍａｇｉｎｇ ｄｅｖｉｃｅ）は、光源およびイメージセンサを含み、前記イメージセンサは複数のピクセルを含み、前記複数のピクセルのうちの少なくとも１つのピクセルからカラー値および深さ値を得ることができる。

本発明の一実施形態に係るイメージセンサは、複数のピクセルを含み、前記複数のピクセルそれぞれは、光検出エレメント（ｌｉｇｈｔ−ｄｅｔｅｃｔｏｒ ｅｌｅｍｅｎｔ）と、所定の波長の可視光成分及び所定の波長の非可視光成分を前記光検出エレメントに帯域通過（ｂａｎｄ−ｐａｓｓ）させるフィルタとを含むことができる。

本発明の一実施形態に係るイメージング装置は、非可視光成分を生成する光源および複数のピクセルを含み、前記複数のピクセルそれぞれは、光検出エレメントと、所定の波長の可視光成分及び所定の波長の非可視光成分を前記光検出エレメントに帯域通過させるフィルタとを含むことができる。

本発明の一実施形態に係るイメージセンサは、少なくとも１つのピクセルを含み、前記少なくとも１つのピクセルは、光検出エレメントを浮遊拡散ノード（ＦＤ ｎｏｄｅ）と連結する第１伝達部と、前記浮遊拡散ノードの電圧および行制御信号に基づいてビットラインの電圧を制御する選択駆動部と、前記光検出エレメントをシンクラインと連結する第２伝達部とを備えることができる。

本発明の一実施形態に係るイメージング動作方法（ｉｍａｇｉｎｇ ｍｅｔｈｏｄ）は、イメージセンサのピクセルを用いて第１時間区間の間に第１光成分を感知するステップと、前記イメージセンサの前記ピクセルを用いて第２時間区間の間に第２光成分を感知するステップとを含むことができる。

本発明の一実施形態に係るイメージング方法（ｉｍａｇｉｎｇ ｍｅｔｈｏｄ）は、イメージセンサの複数のピクセルを用いて第１時間区間の間に第１光成分を感知するステップと、前記第１時間区間の後に第２光成分を照射するステップと、前記イメージセンサの前記複数のピクセルを用いて前記第２光成分が物体によって反射した反射光を第２時間区間の間に感知するステップと、前記感知された反射光から前記物体の深さイメージを得るステップとを含むことができる。

本発明の一実施形態に係るイメージセンサ製造方法は、少なくとも１つのピクセルをイメージセンサで構成し、前記少なくとも１つのピクセルは、光検出エレメントおよびバンドパスフィルタを含ませるステップを含むように構成するステップを含み、ここで、前記少なくとも１つのピクセルは、前記光検出エレメントを浮遊拡散ノードに連結させる第１伝達部と、前記浮遊拡散ノードの電圧および行制御信号に基づいてビットラインの電圧を制御する駆動部と、前記光検出エレメントをシンクラインと連結する第２伝達部とを含むように構成するステップを含む。

本発明の一実施形態によれば、色相によって表現されるカラーイメージおよび距離によって表現される深さイメージを１つのピクセルを用いて得ることができる装置および方法を提供することができる。

また、本発明の一実施形態によれば、空間解像度を減らさずにカラーイメージおよび深さイメージを１つのピクセルによって得ることができる。

また、本発明の一実施形態によれば、複数のピクセルが検出回路を共有するピクセル構造を用いてイメージセンサのサイズを減らすことができる。

さらに、本発明の一実施形態によれば、深さイメージの信号対雑音比を高めることができる。

本発明の一実施形態に係るイメージセンサの動作を示す図である。 本発明の一実施形態に係るイメージセンサの等価回路の一部を示す図である。 図２の等価回路に対応する半導体素子の例の一部を示す断面図である。 本発明の他の実施形態に係る光源およびイメージセンサを含むイメージング装置の制御方法を示す図である。 図２のイメージセンサの動作の一例を示すタイミング図である。 図５の動作の一部を詳細に示す図である。 図２のイメージセンサの動作の他の例を示すタイミング図である。 本発明の一実施形態に係るイメージセンサの等価回路の一部分を示す図である。 本発明のイメージセンサに用いられるフィルタの例を示す図である。 本発明のイメージセンサに用いられるフィルタの他の例を示す図である。 本発明のイメージセンサに用いられるフィルタの他の例を示す図である。 本発明のイメージセンサに用いられるフィルタの他の例を示す図である。 本発明の一実施形態に係るイメージセンサを示す図である。 図１３のピクセルの一例を示す断面図である。 図１３のピクセルの一例を示す平面図である。 可視光線の感知および深さ感知を別途で実行するビーム分配器を用いて、カラーイメージおよび深さイメージを取得する方法の一例を示す図である。 １つのセンサのみを用いてカラーイメージおよび深さイメージを取得する方法の一例を示す図である。 １つのセンサのみを用いてカラーイメージおよび深さイメージを取得する方法の一例を示す図である。 １つのセンサのみを用いてカラーイメージおよび深さイメージを取得する方法の一例を示す図である。

以下、添付の図面に基づき、本発明の好適な実施の形態を詳細に説明するが、本発明がこれらの実施形態によって制限または限定されることはない。図中、同じ参照符号は同じ部材を示す。

図１３は、本発明の一実施形態に係るイメージセンサ１３００を示す図である。図１３を参照すれば、イメージセンサ１３００は、複数のピクセルを含むことができる。ピクセル１３１０は、イメージセンサ１３００に含まれる複数のピクセルのうちのいずれか１つを示す。

複数のピクセルは、アレイを形成することができる。例えば、２４０個のピクセルが１つの行（ｒｏｗ）を形成し、３２０個のピクセルが１つの列（ｃｏｌｕｍｎ）を形成すれば、イメージセンサ１３００は、３２０×２４０の解像度を有することができる。このとき、イメージセンサ１３００のピクセルアレイは、３２０個の列を含み、２４０個の行を含むことができる。イメージセンサ１３００のピクセルそれぞれは、行アドレスおよび列アドレスの組み合わせによって接近することができる。

１つの列に含まれるピクセルは、１つのビットライン（ｂｉｔ ｌｉｎｅ）に連結することができる。

図１４は、図１３のピクセル１３１０の一例を示す断面図である。図１４を参照すれば、ピクセル１３１０は、フィルタ１４１０および光検出エレメント１４２０を含むことができる。

フィルタ１４１０は、可視光成分を光検出エレメント１４２０に選択的に透過させることができる。このとき、フィルタ１４１０は、種類に応じて可視光成分の特定帯域（ｂａｎｄ）を選択的に透過させることができる。例えば、フィルタ１４１０は、赤色（Ｒｅｄ）光に対応する帯域を透過させることもできるし、緑色（Ｇｒｅｅｎ）光に対応する帯域を透過させることもでるし、青色（Ｂｌｕｅ）光に対応する帯域を透過させることもできる。

イメージセンサ１３００は、赤色フィルタを含む赤色ピクセル、緑色フィルタを含む緑色ピクセル、青色フィルタを含む青色ピクセルを含むことができる。赤色ピクセル、緑色ピクセル、および青色ピクセルが隣接して１つのカラーピクセルを形成することもできる。

フィルタ１４１０は、可視光成分を選択的に透過させるだけでなく、非可視光成分を光検出エレメント１４２０に透過させることができる。フィルタ１４１０は、非可視光成分のうち赤外線に対応する帯域を光検出エレメント１４２０に透過させることもできる。

光検出エレメント１４２０は、フィルタ１４１０を透過した光に応答して電荷を生成することができる。光検出エレメント１４２０の例としては、フォトダイオードを挙げることができる。

図１５は、図１３のピクセル１３１０の一例を示す平面図である。図１５を参照すれば、ピクセル１３１０は、光検出エレメント１５１０および周辺回路１５２０を含むことができる。光検出エレメント１５１０は、ピクセル１３１０の面積の半分以上を占めることができる。周辺回路１５２０は、光検出エレメント１５１０によって生成された光検出電流または光検出電荷をビットラインに伝達することができる。

図１は、図１３のイメージセンサ１３００の一部分の動作を示す図である。図１を参照すれば、イメージセンサ１３００の一部分である１６個のピクセルの動作が示される。

「Ｒ」と表示されたピクセルは赤色（ｒｅｄ ｃｏｌｏｒ）に関するピクセルイメージを得る動作を実行し、「Ｇ」と表示されたピクセルは緑色（ｇｒｅｅｎ ｃｏｌｏｒ）に関するピクセルイメージを得る動作を実行し、「Ｂ」と表示されたピクセルは青色（ｂｌｕｅ ｃｏｌｏｒ）に関するピクセルイメージを得る動作を実行する。「Ｄ」と表示されたピクセルは、深さイメージを得る動作を実行する。

第１カラーフレーム１１０は、イメージセンサ１３００が赤色、緑色、または青色に関するピクセルイメージを得る動作を実行する状態を示す。このとき、１つの「Ｒ」ピクセル、１つの「Ｂ」ピクセル、および２つの「Ｇ」ピクセルは、１つのカラーピクセルを形成することができる。通常、人間の目は緑色に関する感度（ｓｅｎｓｉｔｉｖｉｔｙ）が最も優れているため、主に「Ｇ」ピクセルが２個で構成されるフィルタを用いるが、これをベイヤパターン（ｂａｙｅｒ ｐａｔｔｅｒｎ）と言う。

第１深さフレーム１２０は、イメージセンサ１３００が深さイメージを得る動作を実行する状態を示す。このとき、隣接した４個のピクセルは、１つのピクセルグループを形成することができる。１つのカラーピクセルを形成した４個のピクセルが、１つのピクセルグループを形成することができる。実施形態によっては、フォトダイオードの赤外線感度が可視光線感度よりも低い場合があるため、イメージセンサ１３００は、４個のピクセルを含む１つのピクセルグループから１つの深さイメージを得ることができる。イメージセンサ１３００は、フォトダイオードの赤外線感度が可視光線感度よりも極めて低い場合にも、フォトダイオードのサイズを大きくする必要なく深さイメージを得ることができる。

図１のピクセルアレイでは、赤色、緑色、青色に基づいたベイヤパターンが示されているが、本発明の実施形態はこれに限定されるものではなく、多様なフィルタパターンを用いることができる。例えば、青緑色（Ｃｙａｎ ｃｏｌｏｒ）、赤紫色（Ｍａｇｅｎｔａ ｃｏｌｏｒ）、および黄色（Ｙｅｌｌｏｗ ｃｏｌｏｒ）に基づいたＣＭＹカラーパターンを用いることもできる。

図１のピクセルアレイでは、イメージング装置から照射された後に物体に反射した赤外線を用いて深さイメージを得る動作を示しているが、これに限定されるものではなく、他の実施形態に係るイメージセンサは、カラーパターンとの組み合わせに基づいて選択された特定帯域の光を用いて深さイメージを得ることができる。例えば、イメージング装置から照射された後に物体によって反射した緑色光を用いて深さイメージを得ることができる。

第２カラーフレーム１３０は、イメージセンサ１３００が赤色、緑色、または青色に関するピクセルイメージを得る動作を実行する状態を示す。

第２深さフレーム１４０は、イメージセンサ１３００が深さイメージを得る動作を実行する状態を示す。

ピクセルそれぞれは、光検出エレメントおよびフィルタを含むことができる。このとき、ピクセルＲは赤色光および赤外線を透過させる（ｐａｓｓｉｎｇ）フィルタを含むことができ、ピクセルＧは緑色光および赤外線を透過させるフィルタを含むことができ、ピクセルＢは青色光および赤外線を透過させるフィルタを含むことができる。

第１カラーフレーム１１０に対応する時間の間、ピクセルそれぞれは、赤色、緑色、または青色に関するピクセルイメージを得る動作を実行することができる。ピクセルそれぞれは、赤色、緑色、または青色光だけではなく赤外線も透過させることができるため、ピクセルそれぞれを透過した光によって生成された感知情報（ｓｅｎｓｅｄ ｉｎｆｏｒｍａｔｉｏｎ）は、赤外線による雑音（ｎｏｉｓｅ）を含むことがある。感知情報のうち赤外線による雑音が少ない場合は、感知情報に基づいてカラー情報を得ることができる。これとは異なり、赤外線による雑音の除去が必要な場合は、適切な処理過程を経て赤外線による雑音が除去された感知情報を生成することができ、これに基づいてカラー情報を得ることができる。このように、感知情報に対して雑音を除去する過程を後処理過程とする。赤外線による雑音を除去する後処理過程は、第１カラーフレーム１１０に対応する時間の間に実行することができる。

第１深さフレーム１２０に対応する時間の間、ピクセルそれぞれは、深さイメージを得る動作を実行する。ピクセルそれぞれは、イメージング装置から照射された後に物体によって反射した赤外線だけではなく、そうではない赤外線および赤色光、緑色光、または青色光を透過させることができるため、ピクセルそれぞれを透過した光によって生成された感知情報は、赤外線および赤色光、緑色光、または青色光による雑音を含むことがある。第１深さフレーム１２０に対応する時間の間、イメージセンサ１３００は、感知情報に対して赤外線および赤色光、緑色光、または青色光による雑音を除去することができる。例えば、イメージセンサ１３００は、第１深さフレーム１２０に対応する時間の間に得た感知情報から第１カラーフレーム１１０に対応する時間の間に得た、後処理過程を経ていない感知情報を用いて、イメージング装置から照射された後に物体によって反射した赤外線による感知情報を得ることができ、このような感知情報に基づいて、イメージセンサ１３００は深さ情報を得ることができる。

第１カラーフレーム１１０と第１深さフレーム１２０に対応する時間の間に得られた感知情報の平均値を計算し、この平均値を感知情報として用いることも可能である。

イメージセンサ１３００は、同じピクセルを用いてカラーモード（ｃｏｌｏｒ ｍｏｄｅ）動作と深さモード（ｄｅｐｔｈ ｍｏｄｅ）動作を交互に実行することができる。イメージセンサ１３００は、深さイメージ取得のための付加的なピクセルまたは回路を必要としないため、イメージセンサ１３００の面積を減らすことができる上に、ピクセル解像度を高めることができる。さらに、イメージセンサ１３００は、複数のピクセルから１つの深さイメージを得ることで、深さイメージの感度およびＳＮＲを高めることができる。このとき、説明の便宜上、カラー情報を取得するカラーフレームに対応する時間区間を第１時間区間とし、深さ情報を取得する深さフレームに対応する時間区間を第２時間区間とする。イメージセンサ１３００は、第１時間区間および第２時間区間の間に得られたカラー情報および深さ情報を用いて、１つの３次元映像フレームを生成することができる。イメージセンサ１３００は、１つの３次元映像フレームを生成した後にさらに他の３次元映像フレームを得るために、第１時間区間および第２時間区間を繰り返すことができる。第１時間区間および第２時間区間は、説明の便宜のために用いた用語に過ぎず、これによって本発明の実施形態が制限されるものではない。

実施形態によっては、複数のピクセルが検出回路の一部を共有することで、イメージセンサ１３００の面積をさらに減らすことができる。

図２は、本発明の一実施形態に係るイメージセンサの等価回路（ｅｑｕｉｖａｌｅｎｔ ｃｉｒｃｕｉｔ）の一部を示す図である。図２を参照すれば、４個のピクセルに対応する等価回路が示される。

ＲＳＴ信号はリセット動作を指示する信号であり、ＲＯＷ信号はアレイの行が選択されたことを知らせる信号である。ＴＲ１、ＴＲ２、ＴＲ３、およびＴＲ４信号は、伝達（ｔｒａｎｓｆｅｒ）動作を指示する信号である。

ＣＯＬノード（ｎｏｄｅ）は、アレイの列に対応するビットラインであり、ＡＮ＿ＢＬノードは、深さイメージを取得する動作においてＴＲ１、ＴＲ２、ＴＲ３、およびＴＲ４信号と相補的に制御することができる。

ピクセル２１０は、フォトダイオードＤ１、第１伝達トランジスタＮ１１、および第２伝達トランジスタＮ１２を含むことができる。ピクセル２２０は、フォトダイオードＤ２、第１伝達トランジスタＮ２１、および第２伝達トランジスタＮ２２を含むことができる。ピクセル２３０は、フォトダイオードＤ３、第１伝達トランジスタＮ３１、および第２伝達トランジスタＮ３２を含むことができる。ピクセル２４０は、フォトダイオードＤ４、第１伝達トランジスタＮ４１、および第２伝達トランジスタＮ４２を含むことができる。

４個のピクセル２１０、２２０、２３０、２４０は、リセットトランジスタＮ５１、ソースフォロア（Ｓｏｕｒｃｅ Ｆｏｌｌｏｗｅｒ）Ｎ６１、および選択トランジスタＮ６２を共有することができる。

ピクセル２１０の第１伝達トランジスタＮ１１は、ＴＲ１信号に基づいてフォトダイオードＤ１によって生成された電荷を浮遊拡散（Ｆｌｏａｔｉｎｇ Ｄｉｆｆｕｓｉｏｎ：ＦＤ）ノードに伝達することができる。このとき、第１伝達トランジスタＮ１１は、ＴＲ１信号に基づいてフォトダイオードＤ１およびＦＤノードを電気的に連結したり遮断したりできる。第１伝達トランジスタＮ１１は、電気シャッタのような機能を行うことができる。

ピクセル２１０のフォトダイオードＤ１は、光を感知することができる。フォトダイオードＤ１は、特定フィルタと結合して特定波長帯域の光を感知することができる。フォトダイオードＤ１は、感知された光に基づいて電子正孔対（Ｅｌｅｃｔｒｏｎ Ｈｏｌｅ Ｐａｉｒ：ＥＨＰ）を生成することができる。

第１伝達トランジスタＮ１１のゲート端子（ｇａｔｅ ｔｅｒｍｉｎａｌ）はＴＲ１信号に連結され、第１伝達トランジスタＮ１１のドレイン端子（ｄｒａｉｎ ｔｅｒｍｉｎａｌ）はフォトダイオードＤ１に連結され、第１伝達トランジスタＮ１１のソース端子（ｓｏｕｒｃｅ ｔｅｒｍｉｎａｌ）はＦＤノードに連結される。

フォトダイオードＤ１は、一般的なフォトダイオード（ｎ＋／ｐｓｕｂ構造）であっても良いし、ＰＩＮ（Ｐｉｎｎｅｄ）フォトダイオード（ｐ＋／ｎ／ｐｓｕｂ構造）であっても良い。ＰＩＮフォトダイオードは、動作時にピン電圧（ｐｉｎｎｉｎｇ ｖｏｌｔａｇｅ）を保持することができ、暗電流（Ｄａｒｋ Ｃｕｒｒｅｎｔ）を減らすことができる。

ピクセル２２０のフォトダイオードＤ２は、感知された光に基づいてＥＨＰを生成することができる。ピクセル２２０の第１伝達トランジスタＮ２１は、ＴＲ２信号に基づいてフォトダイオードＤ２によって生成された電荷をＦＤノードに伝達することができる。このとき、第１伝達トランジスタＮ２１は、ＴＲ２信号に基づいてフォトダイオードＤ２およびＦＤノードを電気的に連結したり遮断したりできる。

ピクセル２２０の第１伝達トランジスタＮ２１のゲート端子はＴＲ２信号に連結され、第１伝達トランジスタＮ２１のドレイン端子はフォトダイオードＤ２に連結され、第１伝達トランジスタＮ２１のソース端子はＦＤノードに連結される。

ピクセル２３０のフォトダイオードＤ３は、感知された光に基づいてＥＨＰを生成することができる。ピクセル２３０の第１伝達トランジスタＮ３１は、ＴＲ３信号に基づいてフォトダイオードＤ３によって生成された電荷をＦＤノードに伝達することができる。このとき、第１伝達トランジスタＮ３１は、ＴＲ３信号に基づいてフォトダイオードＤ３およびＦＤノードを電気的に連結したり遮断したりできる。

ピクセル２３０の第１伝達トランジスタＮ３１のゲート端子はＴＲ３信号に連結され、第１伝達トランジスタＮ３１のドレイン端子はフォトダイオードＤ２に連結され、第１伝達トランジスタＮ３１のソース端子はＦＤノードに連結される。

ピクセル２４０のフォトダイオードＤ４は、感知された光に基づいてＥＨＰを生成することができる。ピクセル２４０の第１伝達トランジスタＮ４１は、ＴＲ４信号に基づいてフォトダイオードＤ４によって生成された電荷をＦＤノードに伝達することができる。このとき、第１伝達トランジスタＮ４１は、ＴＲ４信号に基づいてフォトダイオードＤ４およびＦＤノードを電気的に連結したり遮断したりできる。

ピクセル２４０の第１伝達トランジスタＮ４１のゲート端子はＴＲ４信号に連結され、第１伝達トランジスタＮ４１のドレイン端子はフォトダイオードＤ４に連結され、第１伝達トランジスタＮ４１のソース端子はＦＤノードに連結される。

ソースフォロアＮ６１のゲート端子はＦＤノードに連結され、ソースフォロアＮ６１のドレイン端子は電源（ｐｏｗｅｒ）ＶＤＤに連結され、ソースフォロアＮ６１のソース端子は選択トランジスタＮ６２のドレイン端子に連結される。

ソースフォロアＮ６１のソース端子の電圧は、ＦＤノードの電圧に基づいて決定することができる。ＦＤノードの電圧は、ピクセル２１０、２２０、２３０、２４０のうちの少なくとも１つ以上から伝達された電荷の量によって決定することができる。

選択トランジスタＮ６２のゲート端子は行制御信号ＲＯＷに連結され、選択トランジスタＮ６２のドレイン端子はソースフォロアＮ６１のソース端子に連結され、選択トランジスタＮ６２のソース端子はＣＯＬノード（＝ビットライン）に連結される。

行制御信号ＲＯＷは、ピクセル２１０、２２０、２３０、２４０によって共有されるＦＤノードが選択されたことを知らせる機能を行うことができる。行制御信号ＲＯＷが活動的になれば、ソースフォロアＮ６１および選択トランジスタＮ６２は、ＦＤノードの電圧に基づいてビットラインを駆動（ｄｒｉｖｅ）することができる。

リセットトランジスタＮ５１のゲート端子はＲＳＴ信号に連結され、リセットトランジスタＮ５１のドレイン端子は電源ＶＤＤに連結され、リセットトランジスタＮ５１のソース端子はＦＤノードに連結される。

ＦＤノードの電圧に基づいたピクセル情報検出過程が実行された後にＲＳＴ信号が活性化（ａｃｔｉｖａｔｅ）されれば、リセットトランジスタＮ５１は、ＦＤノードの電圧を電源ＶＤＤにリセットすることができる。

深さイメージを取得するための過程は次のとおりである。イメージセンサが深さイメージを取得する深さフレームに対応する時間区間を第２時間区間とすることは上述したとおりである。

ピクセル２１０、２２０、２３０、２４０は、感知された光に基づいて生成された電荷をＦＤノードに伝達することができる。このとき、ＴＲ１、ＴＲ２、ＴＲ３、およびＴＲ４信号は同時に活性化されることができる。

説明の便宜上、ＴＲ１、ＴＲ２、ＴＲ３、およびＴＲ４信号が活性化された時間区間を活性（ａｃｔｉｖｅ）時間区間とする。反対に、ＴＲ１、ＴＲ２、ＴＲ３、およびＴＲ４信号が非活性化された時間区間を非活性（ｉｎａｃｔｉｖｅ）時間区間とする。活性時間区間および非活性時間区間は、深さフレームに対応する時間区間に含まれる。

イメージセンサは、物体とイメージセンサとの間の距離情報を得るために赤外線を照射（ｉｒｒａｄｉａｔｅ）することができる。イメージセンサは周期的に赤外線を照射し、照射しない動作を１回以上実行することができる。

イメージセンサは、赤外線を照射する時間区間が活性時間区間となす位相差を０度、９０度、１８０度などに設定して深さイメージを得ることができる。例えば、図５に示すように、イメージセンサは、赤外線を照射する時間区間を活性時間区間と一致させ、赤外線を照射しない時間区間を非活性時間区間と一致させることができる。このとき、イメージセンサは、反射した赤外線を感知して第１情報を取得することができる。第１情報を取得した後、イメージセンサは、赤外線を照射する時間区間を非活性時間区間と一致させ（このとき、赤外線を照射する時間区間は、活性時間区間とは１８０度の位相差を有する）、赤外線を照射しない時間区間を活性時間区間と一致させることができる。このとき、イメージセンサは、反射した赤外線を感知して第２情報を取得することができる。イメージセンサは、第１情報および第２情報に基づいて深さイメージを取得することができる。このような方式を間接深さイメージ（ｉｎｄｉｒｅｃｔ ｄｅｐｔｈ ｉｍａｇｅ）生成方法と言うことができる。

フォトダイオードＤ１、Ｄ２、Ｄ３、およびＤ４は反射した赤外線を感知し、感知された赤外線に基づいてＥＨＰを生成することができる。ピクセル２１０、２２０、２３０、２４０の第１伝達トランジスタＮ１１、Ｎ２１、Ｎ３１、Ｎ４１は、フォトダイオードＤ１、Ｄ２、Ｄ３、Ｄ４によって、生成された電荷を活性時間区間の間にＦＤノードに伝達することができる。ピクセル２１０、２２０、２３０、２４０の第２伝達トランジスタＮ１２、Ｎ２２、Ｎ３２、Ｎ４２は、フォトダイオードＤ１、Ｄ２、Ｄ３、Ｄ４によって、生成された電荷を非活性時間区間の間にＡＮ＿ＢＬノードに伝達することができる。イメージセンサは、非活性時間区間の間にＡＮ＿ＢＬノードの電圧を電源電圧ＶＤＤとして保持することができる。

反射した赤外線によって生成されたＥＨＰのうちの一部は活性時間区間の間にＦＤノードに伝達され、残りは非活性時間区間の間にＡＮ＿ＢＬノードに伝達されることができる。赤外線が照射された時点と反射した赤外線が感知された時点との差を飛行時間（ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ：ＴＯＦ）と言い、反射した赤外線によって生成されたＥＨＰの量のうち活性時間区間の間にＦＤノードに伝達される量の割合は、ＴＯＦに相応する量であり得る。

イメージセンサは、非活性時間区間の間に感知された赤外線によって生成されたＥＨＰをＡＮ＿ＢＬノードに伝達することができる。このとき、ＡＮ＿ＢＬノードは、複数のピクセルに対して共有することができる。ＡＮ＿ＢＬノードは、深さイメージ生成に用いられないＥＨＰのシンク経路（ｓｉｎｋ ｐａｔｈ）として機能することができる。

第２伝達トランジスタＮ１２、Ｎ２２、Ｎ３２、Ｎ４２は、非活性時間区間の間に深さイメージ生成に用いられないＥＨＰをシンクまたはダンプ（ｄｕｍｐ）する機能を実行することで、第１伝達トランジスタＮ１１、Ｎ２１、Ｎ３１、Ｎ４１よりも小さいサイズを有することができる。

イメージセンサは、深さイメージを取得する間、４個のピクセル２１０、２２０、２３０、２４０によって生成された電荷をＦＤノードに格納することで、フォトダイオードＤ１、Ｄ２、Ｄ３、Ｄ４の低い赤外線感度にもかかわらず、深さイメージの感度およびＳＮＲを高めることができる。

実施形態によっては、イメージセンサは、赤外線を活性時間区間よりも極めて短い時間区間の間に照射し、反射した赤外線を感知して深さイメージを得ることができる。このとき、イメージセンサは、反射した赤外線を感知し、感知された赤外線によって電荷を生成することができる。生成された電荷は、すぐにＦＤノードおよびビットラインを経由して出力されることができる。イメージセンサは、ビットラインに電圧の変化が生じた時点および赤外線が照射された時点の間の差に関する情報を、時間デジタル変換器（ｔｉｍｅ ｔｏ ｄｉｇｉｔａｌ ｃｏｎｖｅｒｔｅｒ）などを用いて直接的に得ることができる。イメージセンサは、得られた時点差情報に基づいてＴＯＦを得ることができる。このように、付加的な計算過程を経ずに深さイメージを得ることができる方法を直接深さイメージ（ｄｉｒｅｃｔ ｄｅｐｔｈ ｉｍａｇｅ）生成方法と言うことができる。

イメージセンサは、赤外線を照射する動作を行わず、ピクセル２１０、２２０、２３０、２４０を用いてカラーイメージを得ることができる。

イメージセンサは、ピクセル２１０を用いて赤色映像を得ることができる。赤色映像を取得する時間区間の間にＴＲ１信号は活性化され、ＴＲ２、ＴＲ３、ＴＲ４信号は非活性化されることができる。このとき、フォトダイオードＤ１は、赤色および赤外線を感知することができるフィルタと結合することができる。

イメージセンサは、ピクセル２２０を用いて緑色映像１を得ることができる。緑色映像１を取得する時間区間の間にＴＲ２信号は活性化され、ＴＲ１、ＴＲ３、ＴＲ４信号は非活性化されることができる。このとき、フォトダイオードＤ２は、緑色および赤外線を感知することができるフィルタと結合することができる。

イメージセンサは、ピクセル２３０を用いて緑色映像２を得ることができる。緑色映像２を取得する時間区間の間にＴＲ３信号は活性化され、ＴＲ１、ＴＲ２、ＴＲ４信号は非活性化されることができる。このとき、フォトダイオードＤ３は、緑色および赤外線を感知することができるフィルタと結合することができる。

イメージセンサは、ピクセル２４０を用いて青色映像を得ることができる。青色映像を取得する時間区間の間にＴＲ４信号は活性化され、ＴＲ１、ＴＲ２、ＴＲ３信号は非活性化されることができる。このとき、フォトダイオードＤ４は、青色および赤外線を感知することができるフィルタと結合することができる。

イメージセンサは、カラーイメージを得る間に、第２伝達トランジスタＮ１２、Ｎ２２、Ｎ３２、Ｎ４２を用いてブルーミング（ｂｌｏｏｍｉｎｇ）現象を防ぐことができる。ブルーミング現象は、光が極めて強い場合に生ずることがある。

イメージセンサのピクセルそれぞれは、第１伝達トランジスタおよび第２伝達トランジスタを含み、イメージセンサの４個のピクセルは、リセットトランジスタおよび２個の選択駆動トランジスタを共有することができる。したがって、ピクセルそれぞれは、２．７５個のトランジスタを含むと見なすことができる。

実施形態によっては、イメージセンサは、深さイメージを生成するために特定帯域の光を照射し、照射された光が物体によって反射すれば、反射した光を感知することができる。深さイメージを生成するために照射される光は赤外線に限定されるものではなく、ピクセルと結合するフィルタの特性に基づいて決定することができる。

図２では、４個のピクセルが１つのＦＤノードおよびトランジスタを共有する構造が示されたが、実施形態によっては、１つのＦＤノードを共有するピクセルの個数を深さイメージの空間解像度によって決定することができる。

フォトダイオードＤ１によって生成された電荷がＦＤノードに伝達されるためには、トランジスタＮ１１のドレイン端子（フォトダイオードＤ１に連結）およびＦＤノードの間の電位差が保持されなければならない。フォトダイオードＤ１によって生成された電荷がＦＤノードに伝達される過程において、Ｎ１１のドレイン端子の電圧およびＦＤノードの電圧が変化すれば、フォトダイオードＤ１によって生成されたすべての電荷がＦＤノードに伝達されない場合がある。このような理由により、フォトダイオードＤ１の感度が低くなることがある。

フォトダイオードＤ１がＰＩＮフォトダイオードである場合に、フォトダイオードＤ１の電圧は、光量によってＰＩＮ電圧以下として決定されるため、ＦＤノードの電圧に比べて低いことがある。したがって、フォトダイオードＤ１がＰＩＮＤフォトダイオードである場合に、フォトダイオードＤ１によって生成された電荷は、ＴＲ１が活性化される間にすべてＦＤノードに伝達することができる。この場合に、フォトダイオードＤ１の感度を高めることができる。

図３は、図２の等価回路に対応する半導体素子の一例の一部を示す断面図である。図３を参照すれば、図２のフォトダイオードＤ１は、Ｐ＋／Ｎ−／Ｐ−ｓｕｂｓｔｒａｔｅの構造を有するＰＩＮフォトダイオードである。

図３を参照すれば、図２のトランジスタＮ１１のゲート端子はＴＲ信号に連結され、トランジスタＮ１１のソース端子はＦＤノードに連結されることができる。

図３を参照すれば、図２のリセットトランジスタＮ５１のゲート端子はＲＳＴ信号に連結され、Ｎ５１のドレイン端子は電源ＶＤＤに連結され、Ｎ５１のソース端子はＦＤノードに連結されることができる。

図４は、本発明の他の実施形態に係る光源およびイメージセンサを含むイメージング装置の制御方法を示す図である。図４を参照すれば、制御方法は、画素情報をリセットする（Ｓ４１０）。

リセットステップＳ４１０の後、カラーフレームに対応する時間区間の間、赤外線を照射しない（Ｓ４２０）。

赤外線を照射せずに感知された光に基づいて可視光線情報Ａを取得する（Ｓ４３０）。可視光線情報Ａを取得するステップＳ４３０は、上述したように、赤外線による雑音を除去する適切な後処理過程を含むことができる。

ステップＳ４１０〜ステップＳ４３０は、上述した第１時間区間の間に実行することができ、ステップＳ４３０で取得した可視光線情報Ａに基づいてカラーイメージを生成する（Ｓ４７０）。

可視光線情報Ａを取得した後、イメージング装置の光源は、特定周波数に変調された赤外線を照射し（Ｓ４４０）、物体によって反射した赤外線情報Ｂ１を取得する（Ｓ４５１）。このとき、ステップＳ４５１は、ステップＳ４４０と０度の位相差を有するパルスによって実行することができる。

ステップＳ４５１が実行された後、イメージング装置の光源は、特定周波数に変調された赤外線を照射し（Ｓ４５２）、反射した赤外線情報Ｂ２を取得する（Ｓ４５３）。このとき、ステップＳ４５３は、ステップＳ４５２と１８０度の位相差を有するパルスによって実行することができる。

反射した赤外線情報Ｂ１、Ｂ２に基づいて深さ情報を生成する（Ｓ４５４）。深さ情報を生成するステップＳ４５４は、上述したように、可視光線および光源から照射されない赤外線による雑音を除去する過程を含むことができる。

ステップＳ４４０〜ステップＳ４５４は、第２時間区間の間に実行することができ、ステップＳ４５４で生成された深さ情報に基づいて深さイメージを生成する（Ｓ４６０）。

ステップＳ４６０およびステップＳ４７０は、第２時間区間の間に実行することもできるし、次の映像フレームの第１時間区間の間に実行することもできる。

可視光線情報Ａを取得するステップＳ４１０〜ステップＳ４３０および／または反射した赤外線情報Ｂ１、Ｂ２を生成するステップＳ４４０〜ステップＳ４５４は繰り返し実行することができ、繰り返し実行された値の平均を計算して可視光線情報Ａおよび／または反射した赤外線情報Ｂ１、Ｂ２として用いることができる。

図５は、図２のイメージセンサの動作の一例を示すタイミング図である。図５を参照すれば、イメージセンサは、カラーイメージを得る前にＲＳＴ、ＴＲ１、ＴＲ２、ＴＲ３、およびＴＲ４を活性化してピクセル２１０、２２０、２３０、２４０それぞれをリセットする。

イメージセンサは、積分時間（ｉｎｔｅｇｒａｔｉｏｎ ｔｉｍｅ）Ｔ_{ｉｎｔ＿ｃｏｌｏｒ}間、光によって生じた電荷をフォトダイオードＤ１、Ｄ２、Ｄ３、Ｄ４それぞれの寄生容量（ｐａｒａｓｉｔｉｃ ｃａｐａｃｉｔａｎｃｅ）に格納することができる。

Ｔ_{ｉｎｔ＿ｃｏｌｏｒ}が終了した後、カラー取得時間Ｔ_{ｒｅａｄ＿ｃｏｌｏｒ}を開始することができる。Ｔ_{ｉｎｔ＿ｃｏｌｏｒ}およびＴ_{ｒｅａｄ＿ｃｏｌｏｒ}は、第１時間区間（カラーフレームに対応する時間区間）を形成することができる。

イメージセンサは、Ｔ_{ｉｎｔ＿ｃｏｌｏｒ}後、ＲＯＷ信号およびＲＳＴ信号を活性化してＦＤノードをリセットすることができる。イメージセンサは、このときのＦＤノードの電圧Ｖ_{ｒｓｔ＿ｃｏｌｏｒ}１を検出することができる。Ｖ_{ｒｓｔ＿ｃｏｌｏｒ}１は、リセットされたＦＤノードのオフセット電圧であって、雑音による影響を除去したカラー情報を得るために用いることができる。

イメージセンサは、Ｖ_{ｒｓｔ＿ｃｏｌｏｒ}１を検出した後、ＴＲ１信号を活性化してフォトダイオードＤ１の寄生容量に格納された電荷をＦＤノードに伝達することができる。イメージセンサは、このときのＦＤノードの電圧Ｖ_{ｓｉｇ＿ｃｏｌｏｒ}１を検出することができる。Ｄ１が赤色フィルタと結合した場合、電圧Ｖ_{ｓｉｇ＿ｃｏｌｏｒ}１は、赤色映像に対応する原データ（ｒａｗ ｄａｔａ）であり得る。

イメージセンサは、Ｖ_{ｓｉｇ＿ｃｏｌｏｒ}１を検出した後、ＲＳＴ信号を活性化してＦＤノードをリセットすることができる。イメージセンサは、このときのＦＤノードの電圧Ｖ_{ｒｓｔ＿ｃｏｌｏｒ}２を検出することができる。Ｖ_{ｒｓｔ＿ｃｏｌｏｒ}２は、さらに他のオフセット電圧であり得る。

イメージセンサは、Ｖ_{ｒｓｔ＿ｃｏｌｏｒ}２を検出した後、ＴＲ２信号を活性化してフォトダイオードＤ２の寄生容量に格納された電荷をＦＤノードに伝達することができる。イメージセンサは、このときのＦＤノードの電圧Ｖ_{ｓｉｇ＿ｃｏｌｏｒ}２を検出することができる。Ｄ２が緑色フィルタと結合した場合に、電圧Ｖ_{ｓｉｇ＿ｃｏｌｏｒ}（２は、緑色映像に対応する原データであり得る。

イメージセンサは、Ｖ_{ｓｉｇ＿ｃｏｌｏｒ}２を検出した後、ＲＳＴ信号を活性化してＦＤノードをリセットすることができる。イメージセンサは、このときのＦＤノードの電圧Ｖ_{ｒｓｔ＿ｃｏｌｏｒ}３を検出することができる。Ｖ_{ｒｓｔ＿ｃｏｌｏｒ}３は、さらに他のオフセット電圧であり得る。

イメージセンサは、Ｖ_{ｒｓｔ＿ｃｏｌｏｒ}３を検出した後、ＴＲ３信号を活性化してフォトダイオードＤ３の寄生容量に格納された電荷をＦＤノードに伝達することができる。イメージセンサは、このときのＦＤノードの電圧Ｖ_{ｓｉｇ＿ｃｏｌｏｒ}３を検出することができる。Ｄ３が緑色フィルタと結合した場合、電圧Ｖ_{ｓｉｇ＿ｃｏｌｏｒ}３は、緑色映像に対応するさらに他の原データであり得る。

イメージセンサは、Ｖ_{ｓｉｇ＿ｃｏｌｏｒ}３を検出した後、ＲＳＴ信号を活性化してＦＤノードをリセットすることができる。イメージセンサは、このときのＦＤノードの電圧Ｖ_{ｒｓｔ＿ｃｏｌｏｒ}４を検出することができる。Ｖ_{ｒｓｔ＿ｃｏｌｏｒ}４は、さらに他のオフセット電圧であり得る。

イメージセンサは、Ｖ_{ｒｓｔ＿ｃｏｌｏｒ}４を検出した後、ＴＲ４信号を活性化してフォトダイオードＤ４の寄生容量に格納された電荷をＦＤノードに伝達することができる。イメージセンサは、このときのＦＤノードの電圧Ｖ_{ｓｉｇ＿ｃｏｌｏｒ}４を検出することができる。Ｄ４が青色フィルタと結合した場合、電圧Ｖ_{ｓｉｇ＿ｃｏｌｏｒ}４は、青色映像に対応する原データであり得る。

イメージセンサは、検出されたＶ_{ｒｓｔ＿ｃｏｌｏｒ}１およびＶ_{ｓｉｇ＿ｃｏｌｏｒ}１に相関二重サンプリング（ｃｏｒｒｅｌａｔｅｄ ｄｏｕｂｌｉｎｇ ｓａｍｐｌｉｎｇ）を実行し、検出されたＶ_{ｒｓｔ＿ｃｏｌｏｒ}１およびＶ_{ｓｉｇ＿ｃｏｌｏｒ}１の差を計算することができる。イメージセンサは、計算された差から赤色映像を得ることができる。

同様に、イメージセンサは、検出されたＶ_{ｒｓｔ＿ｃｏｌｏｒ}２およびＶ_{ｓｉｇ＿ｃｏｌｏｒ}２に相関二重サンプリングを実行し、検出されたＶ_{ｒｓｔ＿ｃｏｌｏｒ}２およびＶ_{ｓｉｇ＿ｃｏｌｏｒ}２の差を計算することができる。また、イメージセンサは、検出されたＶ_{ｒｓｔ＿ｃｏｌｏｒ}３およびＶ_{ｓｉｇ＿ｃｏｌｏｒ}３に相関二重サンプリングを実行し、検出されたＶ_{ｒｓｔ＿ｃｏｌｏｒ}３およびＶ_{ｓｉｇ＿ｃｏｌｏｒ}３の差を計算することができる。イメージセンサは、計算された差に基づいて緑色映像を得ることができる。

イメージセンサは、検出されたＶ_{ｒｓｔ＿ｃｏｌｏｒ}４およびＶ_{ｓｉｇ＿ｃｏｌｏｒ}４に相関二重サンプリングを実行し、検出されたＶ_{ｒｓｔ＿ｃｏｌｏｒ}４およびＶ_{ｓｉｇ＿ｃｏｌｏｒ}４の差を計算することができる。イメージセンサは、計算された差から青色映像を得ることができる。

イメージセンサは、相関二重サンプリングを実行することで、ピクセルそれぞれのトランジスタの偏差に起因する固定パターンノイズ（ｆｉｘｅｄ ｐａｔｔｅｒｎ ｎｏｉｓｅ）または１／ｆノイズなどを除去することができる。イメージセンサは、Ｔ_{ｒｅａｄ＿ｃｏｌｏｒ}時間区間の間にＰＩＮフォトダイオードのＰＩＮ電圧に基づいてブルーミング現象が起きないように、ＡＮ＿ＢＬノードの電圧を最適化した電圧で保持することができる。

カラーイメージを得た後に深さイメージを得るためには、変調された周波数の赤外線パルスを照射して反射して戻ってきた赤外線を検出する過程が必要である。深さフレームに対応する過程は、第１測定過程と第２測定過程を含むことができる。第１測定過程は、次のように実行することができる。まず、イメージセンサは、時間区間Ｔ_{ｉｎｔ＿ｄｅｐｔｈ１}の間に変調された赤外線パルスと同じ位相を有するようにＴＲ信号ＴＲ１、ＴＲ２、ＴＲ３、ＴＲ４を活性化し、反射した赤外線によって発生した電荷をＦＤノードに格納することができる。このとき、４個のピクセル２１０、２２０、２３０、２４０は、１つのピクセルのように機能することができる。第１測定過程に対応する時間区間は、図５で時間区間Ｔ_{ｉｎｔ＿ｄｅｐｔｈ１}および時間区間Ｔ_{ｒｅａｄ＿ｄｅｐｔｈ１}として表示される。時間区間Ｔ_{ｒｅａｄ＿ｄｅｐｔｈ１}の間に、イメージセンサは、ＦＤノードをリセットすると同時に、時間区間Ｔ_{ｉｎｔ＿ｄｅｐｔｈ１}の間に測定された深さ値を処理して第１測定過程に対応する深さ情報を生成することができる。一般的なフォトダイオードは、赤外線に対する感度が可視光線に対する感度よりも極めて低いため、これを解決するために、イメージセンサは、４個のフォトダイオードＤ１、Ｄ２、Ｄ３、Ｄ４で生成された電荷を１つのＦＤノードに伝達することで、４倍向上した感度を実現することができる。

イメージセンサは、赤外線が照射されない時間にはＴＲ信号ＴＲ１、ＴＲ２、ＴＲ３、ＴＲ４を非活性化し、ＡＮ＿ＢＬノードの電圧を相対的に高く保持することができる。赤外線が照射されない間に生成された電荷は、第２伝達トランジスタＮ１２、Ｎ２２、Ｎ３２、Ｎ４２を経由してＡＮ＿ＢＬノードに放電され、ＦＤノードに伝達されない。イメージセンサは、赤外線が照射される間にＡＮ＿ＢＬノードの電圧を相対的に低く保持し、赤外線によって生成された電荷がＡＮ＿ＢＬノードに放電されないようにできる。赤外線が照射される間に反射した赤外線によって生成された電荷は、すべてＦＤノードに伝達することができる。赤外線パルスの周波数は、数ＭＨｚ〜数十ＭＨｚと極めて速いため、照射される時間が極めて短く、その時間内にブルーミングが起こる確率は極めて低いため、イメージセンサは赤外線を照射する間にＡＮ＿ＢＬノードの電圧を十分に低く設定することができる。さらに、発生した電荷の量が極めて少ないため、イメージセンサは、電荷をＦＤノードに伝達する過程をＴ_{ｉｎｔ＿ｄｅｐｔｈ１}間にＮ回実行することができる。イメージセンサは、Ｎ回実行された伝達過程を介してＦＤノードに電荷を蓄積することができる。イメージセンサは、Ｔ_{ｉｎｔ＿ｄｅｐｔｈ１}後にＦＤノードの電圧を検出し、ＦＤノードおよびフォトダイオードＤ１、Ｄ２、Ｄ３、Ｄ４それぞれをリセットすることができる。

第２測定過程は、次のように実行することができる。イメージセンサは、時間区間Ｔ_{ｉｎｔ＿ｄｅｐｔｈ２}の間に変調された赤外線パルスと１８０度との位相差を有するようにＴＲ信号ＴＲ１、ＴＲ２、ＴＲ３、ＴＲ４を活性化し、反射した赤外線によって発生した電荷をＦＤノードに格納することができる。イメージセンサは、このような動作をＴ_{ｉｎｔ＿ｄｅｐｔｈ２}の間にＮ回実行することができる。

第２測定過程に対応する時間区間は、図５で時間区間Ｔ_{ｉｎｔ＿ｄｅｐｔｈ２}および時間区間Ｔ_{ｒｅａｄ＿ｄｅｐｔｈ２}として表示される。時間区間Ｔ_{ｒｅａｄ＿ｄｅｐｔｈ２}の間、イメージセンサは、ＦＤノードをリセットすると同時に、時間区間Ｔ_{ｉｎｔ＿ｄｅｐｔｈ２}の間に測定された深さ値を処理して第２測定過程に対応する深さ情報を生成することができる。

イメージセンサは、第１測定過程で変調した赤外線パルスと０度の位相差を有するようにＴＲ信号を制御してＦＤノードの電圧を検出し、第２測定過程で変調した赤外線パルスと１８０度（実施形態によっては９０度も可能）の位相差を有するようにＴＲ信号を制御してＦＤノードの電圧を検出することができる。イメージセンサは、第１測定過程および第２測定過程を実行することで、ＦＤノードの電圧を２回検出し、それぞれの深さ情報を生成することができる。イメージセンサは、第１測定過程に対応する深さ情報および第２測定過程に対応する深さ情報に基づいて物体の反射度が距離測定に及ぼす影響を除去して深さイメージを生成することができる。

図６は、図５の動作の一部を詳細に示す図である。図６を参照すれば、波形（ｗａｖｅｆｏｒｍ）６１０は、反射した赤外線を示す。

波形６２０は、Ｔ_{ｉｎｔ＿ｄｅｐｔｈ１}の間に印加されるＴＲ信号を示す。

波形６３０は、Ｔ_{ｉｎｔ＿ｄｅｐｔｈ２}の間に印加されるＴＲ信号を示す。

Ｔ_ｄｅｐは、赤外線が照射される時間区間を示す。斜線部分は、反射した赤外線によって生成された電荷のうちＦＤノードに伝達される量を示す。

Ｔ_ＴＯＦは、照射された赤外線が物体によって反射し、反射した赤外線がイメージセンサによって感知されるまでの時間を示す。

Ｔ_{ｉｎｔ＿ｄｅｐｔｈ１}間に実行される動作を第１測定過程とし、Ｔ_{ｉｎｔ＿ｄｅｐｔｈ２}間に実行される動作を第２測定過程とすれば、イメージセンサは、第１測定過程ではＴ_ｄｅｐ−Ｔ_ＴＯＦ間の電荷をＦＤノードに伝達することができ、第２測定過程ではＴ_ＴＯＦ間の電荷をＦＤノードに伝達することができる。

フォトダイオードＤ１は、赤外線だけではなく赤色光線も感知することができ、フォトダイオードＤ２およびＤ３は、赤外線だけではなく緑色光線も感知することができ、フォトダイオードＤ４は、赤外線だけではなく青色光線も感知することができる。したがって、第１測定過程の各パルスによってＦＤノードに格納される電荷Ｑ_ｄｅｐ１は、下記の式（１）のように表される。

Ｑ_ｄｅｐ１＝Ｔ_ｄｅｐ×（ｉ_ｒ＋ｉ_ｇ１＋ｉ_ｇ２＋ｉ_ｂ）＋（Ｔ_ｄｅｐ−Ｔ_ＴＯＦ）×ｉ_ｉｒ （１）

ここで、ｉ_ｒはフォトダイオードＤ１によって生成される光電流（ｐｈｏｔｏｃｕｒｒｅｎｔ）を示し、ｉ_ｇ１はフォトダイオードＤ２によって生成される光電流を示し、ｉ_ｇ２はフォトダイオードＤ３によって生成される光電流を示し、ｉ_ｂはフォトダイオードＤ４によって生成される光電流を示す。ｉ_ｉｒは、フォトダイオードＤ１、Ｄ２、Ｄ３、Ｄ４によって生成される光電流を示す。

第２測定過程の各パルスによってＦＤノードに格納される電荷Ｑ_ｄｅｐ２は、下記の式（２）のように表される。

Ｑ_ｄｅｐ２＝Ｔ_ｄｅｐ×（ｉ_ｒ＋ｉ_ｇ１＋ｉ_ｇ２＋ｉ_ｂ）＋Ｔ_ＴＯＦｘｉ_ｉｒ （２）
イメージセンサは、Ｔ_{ｒｅａｄ＿ｃｏｌｏｒ}時間区間の間に取得したカラーイメージ情報を用いて可視光線による影響を除去することができる。カラー取得時に格納された電荷Ｑ_ｃｏｌは、下記の式（３）のように表される。

Ｑ_ｃｏｌ＝Ｔ_ｃｏｌ×（ｉ_ｒ＋ｉ_ｇ１＋ｉ_ｇ２＋ｉ_ｂ） （３）
ここで、Ｔ_ｃｏｌはカラー積分時間（ｃｏｌｏｒ ｉｎｔｅｇｒａｔｉｏｎ ｔｉｍｅ）であり、Ｔ_ｄｅｐおよびＴ_ｃｏｌ間には一定の比例関係が成立するため、この関係を下記の式（４）のように表すことができる。

Ｔ_ｄｅｐ＝ｋ×Ｔ_ｃｏｌ （４）
ここで、ｋは比例定数である。

上記した式（１）、式（２）、式（３）、式（４）を組み合わせることで、下記の式（５）を得ることができる。

上記した式（５）を変形すれば、下記の式（６）を得ることができる。

イメージセンサは、第１測定過程および第２測定過程で得られた電荷情報を用いて反射した赤外線のＴＯＦを計算することができ、ＴＯＦから物体およびイメージセンサの間の距離情報を計算することができる。

図７は、図２のイメージセンサの動作の他の例を示すタイミング図である。図７の実施形態では、直接方式の深さイメージ生成方法およびこの方法のためのタイミング図が示される。

図７を参照すれば、イメージセンサは、カラーイメージ情報を取得する前にＲＳＴ信号を活性化してＦＤノードの電圧をリセットすることができる。

直接方式は、照射した光と反射した光との時間差を時間デジタル変換器などで直接測定して距離を計算することができる。直接方式のためには、反射した光がセンサに到逹した後すぐに信号を感知できなければならないため、イメージセンサは極めて感度が高いアバランシェフォトダイオード（Ａｖａｌａｎｃｈｅ ｐｈｏｔｏｄｉｏｄｅ：ＡＰＤ）を用いることができる。実施形態によっては、イメージセンサは、ガイガモード（Ｇｅｉｇｅｒ ｍｏｄｅ）で動作するＡＰＤを用いることができるが、ガイガモードでは利得（ｇａｉｎ）が無限大に近くなるため、感度を極めて高めることができる。このようなフォトダイオードをシングルフォトンアバランシェダイオード（Ｓｉｎｇｌｅ ｐｈｏｔｏｎ ａｖａｌａｎｃｈｅ ｄｉｏｄｅ：ＳＰＡＤ）と言う。ＳＰＡＤでは利得が極めて大きいため、フォトン１つが入ってきてもダイオードの信号が飽和（ｓａｔｕｒａｔｉｏｎ）することがある。イメージセンサは、飽和した信号を読み取るために特別な読み出し（ｒｅａｄｏｕｔ）回路を必要とする場合がある。読み出し回路は、ピクセルのアウトプット（ｏｕｔｐｕｔ）をパルス形態で提供することができる。

イメージセンサは、特定周波数の光を照射しない状態でピクセルそれぞれから出力されるパルスの個数をカウントすることでカラー情報を取得することができる。イメージセンサは、Ｔ_{ｉｎｔ＿ｃｏｌｏｒ}時間区間の間にカウントされたピクセル出力個数に基づいてカラー情報を取得することができる。ピクセル出力信号は、ＳＰＡＤに可視光線または赤外線が反応したときにピクセルから出力されるパルスを示す。パルスの個数は光の強度に比例するため、イメージセンサは、パルスの個数に基づいてカラーイメージを計算することができる。

イメージセンサは、Ｔ_{ｄｅｐｔｈ}間に照射された特定周波数の光と反射した特定周波数の光との時間差に基づいてＴＯＦを求めることができる。

時間デジタル変換器（ＴＤＣ）は、特定周波数の光が照射された後から時間の経過に応じて１ずつ増加する出力を提供することができる。反射した光によって生成されたピクセルアウトプットが出力される瞬間にＴＤＣの値が停止する。イメージセンサは、停止したＴＤＣの値を読み取ることができる。イメージセンサがＴＤＣの値を読み取った後にＴＤＣはリセットされる。

イメージセンサは、ＴＤＣの測定された値ｉ_１に基づいてＴＯＦ_１を計算することができる。同様に、イメージセンサは、ＴＤＣの測定された値ｉ_ｍに基づいてＴＯＦ_ｍを計算することができる。

このような過程は極めて短時間で実行されるため、イメージセンサは、ｍ回ＴＯＦ測定を繰り返した後にＴＯＦ_１〜ＴＯＦ_ｍの平均値を採用したり、ＴＯＦ_１〜ＴＯＦ_ｍのうちで最も頻繁に測定された値をＴＯＦとして選択したりできる。

図８は、本発明の一実施形態に係るイメージセンサ８００の等価回路の一部分を示す図である。図８を参照すれば、フォトダイオードＤ１、トランジスタＮ１１、およびトランジスタＮ１２は第１ピクセルを形成する。フォトダイオードＤ２、トランジスタＮ２１、およびトランジスタＮ２２は第２ピクセルを形成し、フォトダイオードＤ３、トランジスタＮ３１、およびトランジスタＮ３２は第３ピクセルを形成し、フォトダイオードＤ４、トランジスタＮ４１、およびトランジスタＮ４２は第４ピクセルを形成する。

４個のピクセルはＦＤノードを共有し、リセットトランジスタＮ５１、演算増幅器（ｏｐｅｒａｔｉｏｎａｌ ａｍｐｌｉｆｉｅｒ）８１０およびフィードバック（ｆｅｅｄｂａｃｋ）コンデンサＣ１を共有する。

リセットトランジスタＮ５１は、ＲＳＴ信号によってＦＤノードの電圧をリセットすることができる。演算増幅器８１０およびフィードバックコンデンサＣ１は、ネガティブフィードバックループ（ｎｅｇａｔｉｖｅ ｆｅｅｄｂａｃｋ ｌｏｏｐ）を形成することができる。ネガティブフィードバックループは、フォトダイオードＤ１、Ｄ２、Ｄ３、Ｄ４によって生成された電荷をすべてフィードバックコンデンサＣ１に伝達することができる。

図８の実施形態では、フォトダイオードＤ１、Ｄ２、Ｄ３、Ｄ４は、ＰＩＮフォトダイオードではなくても感度の劣化がない場合がある。したがって、イメージセンサは、ネガティブフィードバックループを用いることで、ＰＩＮフォトダイオードを形成するための特別な工程を必要としない場合もある。イメージセンサは、特別な工程を必要としないため、製造費用を減らすことができる。さらに、イメージセンサは、ネガティブフィードバックループを形成する演算増幅器８１０およびフィードバックコンデンサＣ１を複数のピクセルが共有するようにできるため、ピクセルの大きさを減らすことができる。

図９は、本発明の一実施形態に係るイメージセンサに用いられるフィルタの例を示す図である。図９を参照すれば、Ｂｌｕｅ＋ＩＲフィルタ９１０は、４００ｎｍ〜５００ｎｍの波長（ｗａｖｅｌｅｎｇｔｈ）を有する青色光および８００ｎｍ〜９００ｎｍの波長を有する赤外線（ＩＲ）が透過することができるフィルタである。

Ｇｒｅｅｎ＋ＩＲフィルタ９２０は、５００ｎｍ〜６００ｎｍの波長を有する緑色光および８００ｎｍ〜９００ｎｍの波長を有する赤外線が透過することができるフィルタである。

Ｒｅｄ＋ＩＲフィルタ９３０は、６００ｎｍ〜７００ｎｍの波長を有する赤色光および８００ｎｍ〜９００ｎｍの波長を有する赤外線が透過することができるフィルタである。

イメージセンサは、Ｂｌｕｅ＋ＩＲフィルタ９１０、Ｇｒｅｅｎ＋ＩＲフィルタ９２０、およびＲｅｄ＋ＩＲフィルタ９３０を組み合わせてＲ、Ｇ、Ｂのカラーイメージを生成し、ＩＲを用いて深さイメージを生成することができる。

Ｌフィルタ９４０は、４００ｎｍ〜９００ｎｍの波長を有する光が透過することができるフィルタである。Ｍフィルタ９５０は、５００ｎｍ〜９００ｎｍの波長を有する光が透過することができるフィルタである。Ｎフィルタ９６０は、６００ｎｍ〜９００ｎｍの波長を有する光が透過することができるフィルタである。Ｌフィルタ９４０、Ｍフィルタ９５０、およびＮフィルタ９６０の特性は、「Ａ２．０−μｍ Ｐｉｘｅｌ Ｐｉｔｃｈ ＭＯＳ Ｉｍａｇｅ Ｓｅｎｓｏｒ Ｗｉｔｈ １．５ Ｔｒａｎｓｉｓｔｏｒ／Ｐｉｘｅｌ ａｎｄ ａｎ Ａｍｏｒｐｈｏｕｓ Ｓｉ Ｃｏｌｏｒ Ｆｉｌｔｅｒ」，Ｍ．Ｋａｓａｎｏ，ＩＳＳＣＣ ２００５，ｐｐ．３４８−３４９．に紹介されている。

イメージセンサは、Ｌフィルタ９４０、Ｍフィルタ９５０、およびＮフィルタ９６０を組み合わせて光を検出した後、マトリックス演算によってＲ、Ｇ、Ｂ、ＩＲの値を抽出することもできる。

図１０は、本発明の一実施形態に係るイメージセンサに用いられるフィルタの他の例を示す図である。図１０を参照すれば、赤紫色（Ｍｇ）、青緑色（Ｃｙ）、黄色（Ｙｅ）、緑色（Ｇ）のフィルタそれぞれの特性が示される。

Ｍｇフィルタ１０１０は、４００ｎｍ〜５００ｎｍの波長を有する青色光および６００ｎｍ〜７００ｎｍの波長を有する赤色光が透過することができるフィルタであって、赤紫色フィルタであり得る。

Ｃｙフィルタ１０２０は、４００ｎｍ〜５００ｎｍの波長を有する青色光および５００ｎｍ〜６００ｎｍの波長を有する緑色光が透過することができるフィルタであって、深緑色フィルタであり得る。

Ｙｅフィルタ１０３０は、５００ｎｍ〜６００ｎｍの波長を有する緑色光および６００ｎｍ〜７００ｎｍの波長を有する赤色光が透過することができるフィルタであって、黄色フィルタであり得る。

Ｇフィルタ１０４０は、５００ｎｍ〜６００ｎｍの波長を有する緑色光が透過することができるフィルタである。

イメージセンサは、Ｍｇフィルタ１０１０、Ｃｙフィルタ１０２０、Ｙｅフィルタ１０３０、およびＧフィルタ１０４０を組み合わせてカラーイメージを生成することができる。イメージセンサは、深さイメージ生成のために緑色光を照射し、反射した緑色光を感知して距離情報を得ることができる。このとき、イメージセンサは、Ｍｇフィルタ１０１０を除外したＣｙフィルタ１０２０、Ｙｅフィルタ１０３０、およびＧフィルタ１０４０を用いて深さイメージを生成することができる。

図１１は、本発明の一実施形態に係るイメージセンサに用いられるフィルタの他の例を示す図である。図１１を参照すれば、Ｍｏｎｏ１１１０、Ｂｌｕｅ１１２０、Ｇｒｅｅｎ１１３０、およびＲｅｄ１１４０の特性が示される。図１１は、Ｐｏｉｎｔ Ｇｒｅｙ（Ｆｉｒｅｆｌｙ ＭＶ）のデジタルカメラに用いられるフィルタの特性を示す。

Ｂｌｕｅ１１２０特性は、可視光線の青色光（ｂｌｕｅ ｌｉｇｈｔ）帯域および赤外線帯域の光を通過させることができる。Ｇｒｅｅｎ１１３０特性は、可視光線の緑光帯域および赤外線帯域の光を通過させることができる。Ｒｅｄ１１４０特性は、可視光線の赤色光帯域および赤外線帯域の光を通過させることができる。イメージセンサは、８５０ｎｍの波長を有する赤外線を用いて深さイメージを得ることができる。

図１２は、本発明の一実施形態に係るイメージセンサに用いられるフィルタの他の例を示す図である。図１２を参照すれば、「Ａ ２．０−μｍ Ｐｉｘｅｌ Ｐｉｔｃｈ ＭＯＳ Ｉｍａｇｅ Ｓｅｎｓｏｒ Ｗｉｔｈ １．５ Ｔｒａｎｓｉｓｔｏｒ／Ｐｉｘｅｌ ａｎｄ ａｎ Ａｍｏｒｐｈｏｕｓ Ｓｉ Ｃｏｌｏｒ Ｆｉｌｔｅｒ」，Ｍ．Ｋａｓａｎｏ，ＩＳＳＣＣ ２００５，ｐｐ．３４８−３４９．に紹介されたフィルタの他の例が示される。

イメージセンサは、Ｚ、Ｙ、Ｗフィルタを通過した光によって生成された電荷量に基づいてＲ、Ｇ、Ｂ情報を計算することができる。このような計算過程は、正規化された（ｎｏｒｍａｌｉｚｅｄ）フィルタ特性をＲ、Ｇ、Ｂ特性に変換する過程として一般化することができる。

本発明の一実施形態に係るイメージセンサは、ピクセルの個数の増加なくカラーイメージおよび深さイメージを得ることができる装置および方法を提供することができる。したがって、イメージセンサは、ピクセルの空間解像度を増加させることができる。

イメージセンサは、深さイメージを得るために赤外線を用いることもできるし、緑色光などの特定周波数／波長の光を用いることもできる。

イメージセンサは、間接方式によって深さイメージを得ることもできるし、直接方式によって深さイメージを得ることもできる。イメージセンサは、ＰＩＮフォトダイオードを用いて実現することもできるし、一般的なフォトダイオードを用いて実現することもできる。

イメージセンサは、複数のピクセルがＦＤノードおよび検出回路を共有する構造を採択して曲線因子（ｆｉｌｌ ｆａｃｔｏｒ）を減らすことができる。ＦＤノードおよび検出回路を共有する複数のピクセルの個数は、空間解像度に基づいて決定することができる。

なお、本発明に係るイメージセンサ制御方法は、コンピュータにより実現される多様な動作を実行するためのプログラム命令を含むコンピュータ読取可能な記録媒体を含む。当該記録媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含むこともでき、記録媒体およびプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知であり使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。また、記録媒体は、プログラム命令、データ構造などを保存する信号を送信する搬送波を含む光または金属線、導波管などの送信媒体でもある。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードを含む。前記したハードウェア要素は、本発明の動作を実行するために一以上のソフトウェアモジュールとして作動するように構成することができ、その逆もできる。

本明細書では、相補型ＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：ＣＭＯＳ）で実現されるイメージセンサの実施形態を主に記載したが、本発明の実施形態は電荷結合素子（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：ＣＣＤ）を用いて実現される場合にも適用することができる。

本発明の実施形態は、デジタルカメラ（ｄｉｇｉｔａｌ ｃａｍｅｒａ）、カムコーダ（ｃａｍｃｏｒｄｅｒ）、携帯用通信装置に付属するカメラ、閉鎖回路テレビ（ＣＣＴＶ）などのイメージング装置に適用することができる。

上述したように、本発明の好ましい実施形態を参照して説明したが、該当の技術分野において熟練した当業者にとっては、特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で、本発明を多様に修正および変更させることができることを理解することができるであろう。すなわち、本発明の技術的範囲は、特許請求の範囲に基づいて定められ、発明を実施するための形態により制限されるものではない。

１１０：第１カラーフレーム
１２０：第１深さフレーム
１３０：第２カラーフレーム
１４０：第２深さフレーム

Claims (79)

1. 複数のピクセルを含み、前記複数のピクセルのうちの少なくとも１つのピクセルからカラー値および深さ値を得るイメージセンサ。
2. 前記少なくとも１つのピクセルは最小限、互いに隣接しない第１波長バンド（ｗａｖｅｌｅｎｇｔｈ ｂａｎｄ）および第２波長バンドを帯域通過させる請求項１に記載のイメージセンサ。
3. 前記少なくとも１つのピクセルは、第１ピクセルおよび第２ピクセルを含み、前記第１ピクセルは最小限、第１波長バンドおよび第２波長バンドを帯域通過させ、前記第２ピクセルは最小限、第２波長バンドおよび第３波長バンドを通過させる（ただし、前記第１波長バンドと前記第３波長バンドは相違する）請求項１に記載のイメージセンサ。
4. 第１時間区間の間に前記少なくとも１つのピクセルから前記カラー値を得て、第２時間区間の間に前記少なくとも１つのピクセルから前記深さ値を得る請求項１に記載のイメージセンサ。
5. 光源から前記第２時間区間の間に選択的に照射された光によって反射した反射光を用いて前記深さ値を得る請求項４に記載のイメージセンサ。
6. 前記複数のピクセルがそれぞれのカラー値およびそれぞれの深さ値の取得に用いられる請求項１に記載のイメージセンサ。
7. 光源と、
   複数のピクセルを含み、前記複数のピクセルのうちの少なくとも１つのピクセルからカラー値および深さ値を得るイメージセンサと、
   を含むイメージング装置。
8. 前記少なくとも１つのピクセルは最小限、互いに隣接しない第１波長バンドおよび第２波長バンドを帯域通過させる請求項７に記載のイメージング装置。
9. 前記少なくとも１つのピクセルは、第１ピクセルおよび第２ピクセルを含み、前記第１ピクセルは最小限、第１波長バンドおよび第２波長バンドを帯域通過させ、前記第２ピクセルは最小限、第２波長バンドおよび第３波長バンドを通過させる（ただし、前記第１波長バンドと前記第３波長バンドは相違する）請求項５に記載のイメージング装置。
10. 第１時間区間の間に前記少なくとも１つのピクセルから前記カラー値を得て、第２時間区間の間に前記少なくとも１つのピクセルから前記深さ値を得る請求項７に記載のイメージング装置。
11. 前記光源は前記第２時間区間の間に選択的に光を照射する請求項１０に記載のイメージング装置。
12. 前記照射された光は非可視光線である請求項１１に記載のイメージング装置。
13. 前記照射された光は赤外線である請求項１２に記載のイメージング装置。
14. 前記少なくとも１つのピクセルは、前記第１時間区間の間に第１光成分を感知し、前記第２時間区間の間に第２光成分を感知する請求項１０に記載のイメージング装置。
15. 前記第１時間区間の間に感知された前記第１光成分に基づいて前記カラー値を得て、前記第２時間区間の間に感知された前記第２光成分に基づいて前記深さ値を得る請求項１４に記載のイメージング装置。
16. 前記複数のピクセルがそれぞれのカラー値およびそれぞれの深さ値の取得に用いられる請求項７に記載のイメージング装置。
17. 複数のピクセルを含み、
    前記複数のピクセルそれぞれは、
    光検出エレメントと、
    可視光成分を前記光検出エレメントに選択的に帯域通過させ、非可視光成分を前記光検出エレメントに帯域通過させるフィルタと、
    を含むイメージセンサ。
18. 前記光検出エレメントはフォトダイオードである請求項１７に記載のイメージセンサ。
19. 前記非可視光成分は赤外線である請求項１７に記載のイメージセンサ。
20. 前記複数のピクセルのうちの少なくとも１つのピクセルは、赤色光成分および非可視光成分を帯域通過させるフィルタを含む請求項１７に記載のイメージセンサ。
21. 前記複数のピクセルのうちの少なくとも１つのピクセルは、緑色光成分および非可視光成分を帯域通過させるフィルタを含む請求項１３に記載のイメージセンサ。
22. 前記複数のピクセルのうちの少なくとも１つのピクセルは、青色光成分および非可視光成分を帯域通過させるフィルタを含む請求項１７に記載のイメージセンサ。
23. 前記複数のピクセルのうちの少なくとも１つのピクセルは、青緑色光成分および非可視光成分を帯域通過させるフィルタを含む請求項１７に記載のイメージセンサ。
24. 前記複数のピクセルのうちの少なくとも１つのピクセルは、赤紫色光成分および非可視光成分を帯域通過させるフィルタを含む請求項１７に記載のイメージセンサ。
25. 前記複数のピクセルのうちの少なくとも１つのピクセルは、黄色光成分および非可視光成分を帯域通過させるフィルタを含む請求項１７に記載のイメージセンサ。
26. 前記複数のピクセルそれぞれが含むフィルタの面積は同じである請求項１７に記載のイメージセンサ。
27. 前記複数のピクセルは、繰り返される２×２ピクセルグループのアレイを含む請求項１７に記載のイメージセンサ。
28. 前記繰り返される２×２ピクセルグループの少なくとも１つの２×２ピクセルグループのアレイは、赤色ピクセル、青色ピクセル、および２つの緑色ピクセルを含む請求項２７に記載のイメージセンサ。
29. 前記繰り返される２×２ピクセルグループの少なくとも１つの２×２ピクセルグループのアレイは、青緑色ピクセル、赤紫色ピクセルエレメント、黄色ピクセル、および緑色ピクセルを含む請求項２７に記載のイメージセンサ。
30. 前記複数のピクセルそれぞれは、
    前記光検出エレメントを浮遊拡散ノードと連結する第１伝達部と、
    前記浮遊拡散ノードの電圧および行制御信号に基づいてビットラインの電圧を制御する選択駆動部と、
    前記光検出エレメントをシンクラインと連結する第２伝達部と、
    を備える請求項１７に記載のイメージセンサ。
31. 前記複数のピクセルのうちの少なくとも２つのピクセルは、それぞれの第１伝達部および共通の浮遊拡散ノードを含み、前記少なくとも２つのピクセルは、選択的に個々に（ｓｅｌｅｃｔｉｖｅｌｙ ｓｅｐａｒａｔｅｌｙ）対応するそれぞれの光検出エレメントを前記浮遊拡散ノードに連結し、共通で（ｃｏｌｌｅｃｔｉｖｅｌｙ）前記対応する光検出エレメントを前記浮遊拡散ノードに連結する請求項３０に記載のイメージセンサ。
32. 非可視光成分を生成する光源と、
    複数のピクセルと、
    を含み、
    前記複数のピクセルそれぞれは、
    光検出エレメントと、
    可視光成分を前記光検出エレメントに選択的に帯域通過させ、非可視光成分を前記光検出エレメントに帯域通過させるフィルタと、
    を含むイメージング装置。
33. 前記複数のピクセルそれぞれは、
    前記可視光成分に基づいてカラー値を得て、前記非可視光成分に基づいて深さ値を得る請求項３２に記載のイメージング装置。
34. 前記複数のピクセルから得られた前記カラー値を組み合わせてカラーイメージを得て、前記複数のピクセルから得られた前記深さ値を組み合わせて深さイメージを得る請求項３３に記載のイメージング装置。
35. 前記複数のピクセルそれぞれは、
    第１時間区間の間に前記カラー値を得て、第２時間区間の間に前記深さ値を得る請求項３３に記載のイメージング装置。
36. 前記光源は、
    前記第２時間区間の間に選択的に前記非可視光成分を生成する請求項３５に記載のイメージング装置。
37. 少なくとも１つのピクセルを含み、
    前記少なくとも１つのピクセルは、
    光検出エレメントを浮遊拡散ノードと連結する第１伝達部と、
    前記浮遊拡散ノードの電圧および行制御信号に基づいてビットラインの電圧を制御する駆動部と、
    前記光検出エレメントをシンクラインと連結する第２伝達部と、
    を備えるイメージセンサ。
38. 前記浮遊拡散ノードは、選択的に、前記少なくとも１つのピクセルの前記第１伝達部またはイメージセンサの他のピクセルの第１伝達部に電気的に連結される請求項３７に記載のイメージング装置。
39. 前記少なくとも１つのピクセルおよび前記他のピクセルは、選択的に個々に対応するそれぞれの光検出エレメントを前記浮遊拡散ノードに連結し、共通で前記少なくとも１つのピクセルの前記対応する光検出エレメントを前記浮遊拡散ノードに連結する請求項３８に記載のイメージング装置。
40. 前記第１伝達部は、活性時間区間の間に前記光検出エレメントによって生成された電荷を前記浮遊拡散ノードに伝達し、非活性時間区間の間に前記光検出エレメントおよび前記浮遊拡散ノードの間を電気的に遮断する請求項３７に記載のイメージセンサ。
41. 前記第２伝達部は、
    前記活性時間区間の間に前記光検出エレメントおよび前記シンクラインの間を電気的に遮断し、前記非活性時間区間の間に前記光検出エレメントによって生成された電荷を前記シンクラインに伝達する請求項４０に記載のイメージセンサ。
42. 前記第２伝達部はトランジスタであり、
    前記トランジスタのゲート端子およびソース端子は前記シンクラインに連結され、前記トランジスタのドレイン端子は前記光検出エレメントに連結される請求項４０に記載のイメージセンサ。
43. 前記第１伝達部は、
    前記活性時間区間の間、物体と前記少なくとも１つのピクセルの間の距離に相応する正の電荷を前記浮遊拡散ノードに伝達する請求項４０に記載のイメージセンサ。
44. 前記少なくとも１つのピクセルは、
    リセット制御信号によって前記浮遊拡散ノードの電圧をリセットするリセットトランジスタ、
    をさらに備える請求項３７に記載のイメージセンサ。
45. 前記選択駆動部は、
    駆動トランジスタと、
    選択トランジスタと、
    を備え、
    前記駆動トランジスタのゲート端子は前記浮遊拡散ノードに連結され、前記駆動トランジスタのドレイン端子は電源に連結され、前記駆動トランジスタのソース端子は前記選択トランジスタのドレイン端子に連結され、
    前記選択トランジスタのゲート端子は前記行制御信号に連結され、前記選択トランジスタのソース端子は前記ビットラインに連結される請求項３７に記載のイメージセンサ。
46. 前記選択駆動部は、
    入力端子は前記浮遊拡散ノードに連結され、負の利得を有する増幅器と、
    前記増幅器の入力端子および出力端子に連結されるコンデンサと、
    リセット制御信号によって前記増幅器の入力端子および出力端子の間の電位差をリセットするリセットトランジスタと、
    選択トランジスタと、
    を備え、
    前記選択トランジスタのゲート端子は前記行制御信号に連結され、前記選択トランジスタのドレイン端子は前記増幅器の出力端子に連結され、前記選択トランジスタのソース端子は前記ビットラインに連結される請求項３７に記載のイメージセンサ。
47. ４個のピクセルが１つの浮遊拡散ノードを共有する請求項３７に記載のイメージセンサ。
48. イメージセンサのピクセルを用いて第１時間区間の間に第１光成分を感知するステップと、
    前記イメージセンサの前記ピクセルを用いて第２時間区間の間に第２光成分を感知するステップ（ただし、前記第１光成分は、前記第２光成分と相違する特徴を有する）と、
    を含むイメージング方法。
49. 前記第１光成分を感知するステップは、前記第１光成分の強度（ｉｎｔｅｎｓｉｔｙ）を測定するステップを含み、前記第２光成分を感知するステップは、前記第２光成分のＴＯＦ（Ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ）を測定するステップを含む請求項４８に記載のイメージング方法。
50. 前記第１光成分は可視光成分であり、前記第２光成分は非可視光成分である請求項４８に記載のイメージング方法。
51. 前記第２光成分は赤外線である請求項５０に記載のイメージング方法。
52. 前記第１時間区間の間に感知された前記第１光成分に基づいて前記ピクセルのカラー値を生成するステップと、
    前記第２時間区間の間に感知された前記第２光成分に基づいて前記ピクセルの深さ値を生成するステップと、
    をさらに含む請求項４８に記載のイメージング方法。
53. イメージセンサ内の共に配置された（ｃｏ−ｌｏｃａｔｅｄ）複数のピクセルを用いて第１時間区間の間に第１光成分を感知するステップと、
    前記第１時間区間以後に第２光成分を照射するステップ（ただし、前記第１光成分は、前記第２光成分と相違する特徴を有する）と、
    前記イメージセンサの前記複数のピクセルを用いて前記第２光成分が物体によって反射した反射光を第２時間区間の間に感知するステップと、
    前記感知された反射光から前記物体の深さイメージを得るステップと、
    を含むイメージング方法。
54. 前記第１光成分を感知するステップは、前記第１光成分の強度を測定するステップを含み、前記第２光成分を感知するステップは、前記第２光成分のＴＯＦを測定するステップを含む請求項５３に記載のイメージング方法。
55. 前記第１光成分は可視光成分であり、前記第２光成分は非可視光成分である請求項５３に記載のイメージング方法。
56. 前記第２光成分は赤外線である請求項５５に記載のイメージング方法。
57. 前記第１時間区間の間に感知された前記第１光成分に基づいて前記物体のカラーイメージを生成するステップ、
    をさらに含む請求項５３に記載のイメージング方法。
58. 前記物体のカラーイメージを生成するステップは、
    前記イメージセンサの前記複数のピクセルそれぞれを用いて感知された前記第１光成分に基づいて前記共に配置された複数のピクセルそれぞれのカラー値を生成するステップと、
    前記複数のピクセルそれぞれのカラー値を組み合わせて前記物体のカラーイメージを生成するステップと、
    を含む請求項５７に記載のイメージング方法。
59. 前記物体のカラーイメージを得るステップは、
    前記第１時間区間の間に感知された前記第１光成分に基づいて第１感知情報を生成するステップと、
    前記第１感知情報に対して前記第１光成分以外の他の光成分の影響によって発生した雑音を除去するステップと、
    を含む請求項５７に記載のイメージング方法。
60. 前記第１光成分以外の他の光成分は第２光成分である請求項５９に記載のイメージング方法。
61. 前記物体の深さイメージを生成するステップは、
    前記イメージセンサの前記複数のピクセルそれぞれを用いて感知された前記反射光に基づいて前記複数のピクセルそれぞれの深さ値を生成するステップと、
    前記複数のピクセルそれぞれの深さ値を組み合わせて前記物体の深さイメージを生成するステップと、
    を含む請求項５３に記載のイメージング方法。
62. 前記物体の深さイメージを生成するステップは、
    前記第２時間区間の間に感知された前記第２光成分に基づいて第２感知情報を生成するステップと、
    前記第２感知情報に対して前記第２光成分以外の他の光成分の影響によって発生した雑音を除去するステップと、
    を含む請求項５３に記載のイメージング方法。
63. 前記第２光成分以外の他の光成分は前記第１光成分である請求項６２に記載のイメージング方法。
64. 前記物体の深さイメージを生成するステップは、
    前記第２光成分を照射するステップおよび前記反射光を前記第２時間区間の間に感知するステップが閾値回数だけ繰り返して実行された後に実行される請求項５３に記載のイメージング方法。
65. 前記反射光を前記第２時間区間の間に感知するステップは、
    前記第２時間区間の活性時間区間の間に前記感知された反射光によって生成された電荷に関連する情報をビットラインに伝達するステップと、
    前記第２時間区間の非活性時間区間の間に前記感知された反射光によって生成された電荷を放電するステップと、
    を含む請求項５３に記載のイメージング方法。
66. 少なくとも１つのピクセルをイメージセンサで構成し、前記少なくとも１つのピクセルは、光検出エレメントおよびバンドパスフィルタを含ませるステップを含むように構成し、
    前記少なくとも１つのピクセルは、
    前記光検出エレメントを浮遊拡散ノードに連結させる第１伝達部と、
    前記浮遊拡散ノードの電圧および行制御信号に基づいてビットラインの電圧を制御する駆動部と、
    前記光検出エレメントをシンクラインと連結する第２伝達部と、
    を含むように構成するイメージセンサ製造方法。
67. 前記浮遊拡散ノードは、選択的に、前記少なくとも１つのピクセルの前記第１伝達部および前記イメージセンサの他のピクセルの第２伝達部に電気的に連結されるようにさらに構成する請求項６６に記載のイメージセンサ製造方法。
68. 前記少なくとも１つのピクセルおよび前記他のピクセルは、選択的に個々に、１つの対応する光検出エレメントを前記浮遊拡散ノードに連結し、前記少なくとも１つのピクセルおよび前記他のピクセルの前記対応する光検出エレメントを前記浮遊拡散ノードに共通に連結されるようにさらに構成する請求項６７に記載のイメージセンサ製造方法。
69. 前記第１伝達部は、前記光検出エレメントによって生成された電荷を特定の活性時間周期（ｄｅｆｉｎｅｄ ａｃｔｉｖｅ ｔｉｍｅ ｐｅｒｉｏｄ）の間に前記浮遊拡散ノードに伝達し、特定の非活性時間周期（ｄｅｆｉｎｅｄ ｉｎａｃｔｉｖｅ ｔｉｍｅ ｐｅｒｉｏｄ）の間に前記光検出エレメントと前記浮遊拡散ノードの間の連結を断絶するようにさらに構成する請求項６６に記載のイメージセンサ製造方法。
70. 前記第２伝達部は、前記活性時間周期の間に前記光検出エレメントと前記シンクラインの間の連結を断絶し、前記光検出エレメントによって生成された電荷を前記非活性時間周期の間に前記シンクラインに伝達するようにさらに構成する請求項６９に記載のイメージセンサ製造方法。
71. 前記第２伝達部は、ゲート端子（ｇａｔｅ ｔｅｒｍｉｎａｌ）およびソース端子（ｓｏｕｒｃｅ ｔｅｒｍｉｎａｌ）が前記シンクラインに連結され、ドレイン端子（ｄｒａｉｎ ｔｅｒｍｉｎａｌ）が前記光検出エレメントに連結されるトランジスタとなるようにさらに構成される請求項６９に記載のイメージセンサ製造方法。
72. 前記第１伝達部は、前記少なくとも１つのピクセルによって感知された光に対応する蓄積電荷（ａｃｃｕｍｕｌａｔｅｄ ｃｈａｒｇｅ）を前記活性時間周期の間に前記浮遊拡散ノードに伝達するようにさらに構成する請求項６９に記載のイメージセンサ製造方法。
73. 前記少なくとも１つのピクセルがリセットトランジスタ（ｒｅｓｅｔ ｔｒａｎｓｉｓｔｏｒ）およびリセット制御線（ｒｅｓｅｔ ｃｏｎｔｒｏｌ ｌｉｎｅ）をさらに含むようにさらに構成する（ただし、前記リセットトランジスタは、前記リセット制御線のリセット制御信号に対応して前記浮遊拡散ノードの電圧をリセットする）請求項６６に記載のイメージセンサ製造方法。
74. 前記駆動部が駆動トランジスタ（ｄｒｉｖｉｎｄ ｔｒａｎｓｉｓｔｏｒ）および選択トランジスタ（ｓｅｌｅｃｔｉｖｅ ｔｒａｎｓｉｓｔｏｒ）をさらに含むように構成され、
    前記駆動トランジスタのゲート端子は、前記浮遊拡散ノードに連結され、前記駆動トランジスタのドレイン端子は電源に連結され、前記駆動トランジスタのソース端子は、前記選択トランジスタのドレイン端子に連結され、
    前記選択トランジスタのゲート端子は行信号線（ｒｏｗ ｓｉｇｎａｌ ｌｉｎｅ）に連結され、前記選択トランジスタのソース端子は前記ビットライン信号線に連結される請求項６６に記載のイメージセンサ製造方法。
75. 前記駆動部は、
    負の利得（ｎｅｇａｔｉｖｅ ｇａｉｎ）を有する増幅器（ａｍｐｌｉｆｉｅｒ）と、
    前記浮遊拡散ノードに連結された入力端子と、
    前記入力端子および前記増幅器の出力端子に連結されたキャパシタ（ｃａｐａｃｉｔｏｒ）と、
    リセット信号に対応して、前記入力端子および前記増幅器の前記出力端子の間の電圧差をリセットするリセットトランジスタと、
    を含むように構成され、
    前記駆動部は、ゲート端子が前記行信号線に連結され、ドレイン端子が前記増幅器の前記出力端子に連結され、ソース端子が前記ビットライン信号線に連結された、選択トランジスタを含むように構成する請求項６６に記載のイメージセンサ製造方法。
76. 前記イメージセンサは、複数のピクセルグループを含むように構成し、
    前記複数のピクセルグループのうち、１つのピクセルグループは単一の浮遊拡散ノードを共有し、前記１つのピクセルグループは、前記１つのグループを構成するピクセルそれぞれから蓄積された電荷を選択的に前記単一浮遊拡散ノードに共通または分割して伝達するようにさらに構成する請求項６６に記載のイメージセンサ製造方法。
77. 前記イメージング方法を実行する少なくとも１つの処理装置を制御するコンピュータ読み取り可能なコード（ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｃｏｄｅ）を含む請求項４８に記載のコンピュータ読み取り可能な記録媒体。
78. 前記イメージング方法を実行する少なくとも１つの処理装置を制御するコンピュータ読み取り可能なコードを含む請求項５３に記載のコンピュータ読み取り可能な記録媒体。
79. 前記イメージセンサ製造方法を実行する少なくとも１つの処理装置を制御するコンピュータ読み取り可能なコードを含む請求項４８に記載のコンピュータ読み取り可能な記録媒体。

Images