JP2005175392A - 固体撮像装置およびそれを利用した撮像システム - Google Patents

固体撮像装置およびそれを利用した撮像システム Download PDF

Info

Publication number
JP2005175392A
JP2005175392A JP2003416947A JP2003416947A JP2005175392A JP 2005175392 A JP2005175392 A JP 2005175392A JP 2003416947 A JP2003416947 A JP 2003416947A JP 2003416947 A JP2003416947 A JP 2003416947A JP 2005175392 A JP2005175392 A JP 2005175392A
Authority
JP
Japan
Prior art keywords
transistor
subject
pixels
read
depth information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003416947A
Other languages
English (en)
Other versions
JP3906202B2 (ja
Inventor
Hiroaki Ishiwatari
宏明 石渡
Nagataka Tanaka
長孝 田中
Yoshitaka Egawa
佳孝 江川
Hiroki Miura
浩樹 三浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2003416947A priority Critical patent/JP3906202B2/ja
Publication of JP2005175392A publication Critical patent/JP2005175392A/ja
Application granted granted Critical
Publication of JP3906202B2 publication Critical patent/JP3906202B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

【課題】本発明は、被写体の三次元カラー画像を撮像可能なビデオカメラに用いられるCMOSイメージセンサにおいて、被写体の二次元カラー画像と被写体の奥行き値とを1チップにより容易に取得できるようにすることを最も主要な特徴としている。
【解決手段】たとえば、半導体基板上にRGB画像取得用画素とは独立して配置されるDepth情報取得用画素13において、LED非発光時の電荷(外光成分)を転送/蓄積するための第1のリード用トランジスタ13aおよび第1の蓄積用トランジスタ13cと、LED発光時の電荷(LED成分+外光成分)を転送/蓄積するための第2のリード用トランジスタ13bおよび第2の蓄積用トランジスタ13dとが、1つのフォトダイオードPD2に対して並列に接続されてなる構成となっている。
【選択図】 図3

Description

本発明は、固体撮像装置およびそれを利用した撮像システムに関するもので、特に、被写体の三次元カラー画像を撮像可能なビデオ(デジタルムービー)カメラ、および、それに用いられるCMOS(Complementary Metal Oxide Semiconductor)イメージセンサに関する。
従来、光学系により結像された光学像を電気信号に変換するための光電変換セル(画素)のいくつかを、オートフォーカス(AF)のための測距などに利用するようにした固体撮像装置が提案されている(たとえば、特許文献1参照)。これは、二次元的に配列された複数の光電変換セルのうち、一部のセルについて、マイクロレンズの中心に対し、遮光膜の開口のピッチを上側または下側にずらして形成する。つまり、フォーカスがずれた状態で被写体を撮像した場合に、信号のピークの位置が上方向または下方向にずれる二種類の測距用画素を構成する。このような測距用画素を、通常の撮像用画素に混在させて配置することにより、1チップによって、被写体の二次元カラー画像(光学像)の撮像と被写体までの距離情報の取得とを可能にしたものである。
特開2000−156823
上記した構成の固体撮像装置は、たとえば、2画素×2画素を1単位とする撮像用画素のうちの1つを、距離情報を得るための測距用画素として構成し、その測距用画素からの信号を読み出すことによって、AFのための測距を可能にしたものである。すなわち、この固体撮像装置の場合、1チップにより、被写体の二次元カラー画像の撮像と距離情報の取得とが可能となっている。しかしながら、この固体撮像装置では、立体画像である被写体の三次元カラー画像を撮像することはできない。
上記したように、従来においては、1チップによって被写体の二次元カラー画像の撮像と距離情報の取得とが可能な固体撮像装置が提案されているものの、近年、被写体の色情報付きの三次元画像(被写体の三次元カラー画像)を1チップにより撮像することが可能な固体撮像装置およびそれを利用した撮像システムの開発が望まれていた。
本発明の目的は、1チップにより被写体の三次元カラー画像を撮像することが可能な固体撮像装置およびそれを利用した撮像システムを提供することにある。
本願発明の一態様によれば、半導体基板上に、n画素×(n+m)画素を1単位として設けられ、被写体の二次元カラー画像を撮像する複数の撮像用画素と、前記半導体基板上に、前記複数の撮像用画素とは独立して設けられ、前記被写体の奥行き値を取得するための、少なくとも1つの奥行き情報取得用画素と、前記半導体基板上に設けられ、前記被写体に光を照射した際の、前記少なくとも1つの奥行き情報取得用画素の出力と、前記被写体に光を照射しない際の、前記少なくとも1つの奥行き情報取得用画素の出力との差分により、前記被写体の奥行き値を算出する差分回路とを具備し、前記少なくとも1つの奥行き情報取得用画素が、前記被写体の光学像を電気信号として蓄積する第1の光電変換蓄積部と、前記第1の光電変換蓄積部に蓄積された前記電気信号を読み出す第1および第2のリード用トランジスタと、前記第1のリード用トランジスタによって前記第1の光電変換蓄積部より読み出された、前記被写体に光を照射しない際の、前記電気信号を蓄積するための第1の電荷蓄積部と、前記第2のリード用トランジスタによって前記第1の光電変換蓄積部より読み出された、前記被写体に光を照射した際の、前記電気信号を蓄積するための第2の電荷蓄積部と、前記第1および第2の電荷蓄積部に共通に接続された出力用トランジスタとを備えてなることを特徴とする固体撮像装置が提供される。
また、本願発明の一態様によれば、被写体に光を照射するための光源と、半導体基板上に、n画素×(n+m)画素を1単位として設けられ、前記被写体の二次元カラー画像を撮像する複数の撮像用画素と、前記半導体基板上に、前記複数の撮像用画素とは独立して設けられ、前記被写体の奥行き値を取得するための、少なくとも1つの奥行き情報取得用画素と、前記半導体基板上に設けられ、前記被写体に前記光源からの光を照射した際の、前記少なくとも1つの奥行き情報取得用画素の出力と、前記被写体に前記光源からの光を照射しない際の、前記少なくとも1つの奥行き情報取得用画素の出力との差分により、前記被写体の奥行き値を算出する差分回路と、前記複数の撮像用画素によって撮像された前記被写体の二次元カラー画像と前記差分回路により算出された前記被写体の奥行き値とを合成し、前記被写体の三次元カラー画像を得る合成回路とを具備し、前記少なくとも1つの奥行き情報取得用画素が、前記被写体の光学像を電気信号として蓄積する第1の光電変換蓄積部と、前記第1の光電変換蓄積部に蓄積された前記電気信号を読み出す第1および第2のリード用トランジスタと、前記第1のリード用トランジスタによって前記第1の光電変換蓄積部より読み出された、前記被写体に前記光源からの光を照射しない際の、前記電気信号を蓄積するための第1の電荷蓄積部と、前記第2のリード用トランジスタによって前記第1の光電変換蓄積部より読み出された、前記被写体に前記光源からの光を照射した際の、前記電気信号を蓄積するための第2の電荷蓄積部と、前記第1および第2の電荷蓄積部に共通に接続された出力用トランジスタとを備えてなることを特徴とする撮像システムが提供される。
上記の構成とした場合、1チップ上に、被写体の奥行き値(三次元画像)を取得するための少なくとも1つの奥行き情報取得用画素を、n画素×(n+m)画素を1単位とする、被写体の二次元カラー画像を撮像するための通常の撮像用画素とは独立して配置できるようになる。これにより、被写体の二次元カラー画像と三次元画像(距離情報をもった被写体の二次元画像)とを、1チップによって撮像することが可能となるものである。
特に、奥行き情報取得用画素の小面積化とともに、撮像時における外光の変化の影響を最小限に抑えることが可能となるものである。
この発明によれば、被写体の二次元カラー画像と三次元画像とを1チップによって撮像できるようになる結果、1チップにより被写体の三次元カラー画像を撮像することが可能な固体撮像装置およびそれを利用した撮像システムを提供できる。
以下、本発明の実施の形態について図面を参照して説明する。
[実施形態]
図1は、この発明の一実施形態にしたがった、CMOSイメージセンサ(固体撮像装置)の基本構成を示すものである。ここでは、n画素×(n+m)画素からなる1単位分の撮像用画素の数を“4(この場合、n=2,m=0)”とし、その4つの撮像用画素と少なくとも1つの奥行き情報取得用画素とによって、1つの単位繰り返しセル構造が構成されている場合を例に説明する。
このCMOSイメージセンサ10の場合、たとえば、半導体基板11上に4つの単位繰り返しセル構造が二次元状に配置されている。各単位繰り返しセル構造は、被写体の色情報付きの二次元画像、つまり二次元カラー画像(以下、RGB画像と称する)取得用の4つの画素12と、三次元画像(距離情報をもった被写体の二次元画像)である、上記被写体の奥行き値(以下、Depth情報と称する)取得用の少なくとも1つの画素13とを有している。
すなわち、上記RGB画像取得用画素12および上記Depth情報取得用画素13は、上記半導体基板11の垂直方向に対して交互に配置されている。本実施形態の場合、上記RGB画像取得用画素12が2ライン配置された後、上記Depth情報取得用画素13が1ライン配置されている。さらに、上記RGB画像取得用画素12が2ライン配置された後、上記Depth情報取得用画素13が1ライン配置されている。また、上記半導体基板11の水平方向(各ライン)に対しては、上記RGB画像取得用画素12が4つずつ(2単位分)、上記Depth情報取得用画素13が2つずつ(2単位分)配置されている。このように、上記Depth情報取得用画素13は、1チップ上に上記RGB画像取得用画素12と独立して配置され、かつ、上記RGB画像取得用画素12のほぼ4倍の面積を有して形成されている。
上記半導体基板11上の、上記RGB画像取得用画素12および上記Depth情報取得用画素13が配置された画素領域の左側には、Vレジスタである、RGB画像用垂直レジスタ(RGB画素レジスタ)14、Depth情報用垂直レジスタ(MP画素レジスタ)15、および、電子シャッタ用レジスタ16が配置されている。上記RGB画像用垂直レジスタ14は、ラインごとに、上記RGB画像取得用画素12を駆動するための第1の垂直駆動回路であり、リセット信号(RESET_RGB)、アドレス信号(ADRES_RGB)、および、リード信号(READ_RGB)を生成する。上記Depth情報用垂直レジスタ15は、ラインごとに、上記Depth情報取得用画素13を駆動するための第2の垂直駆動回路であり、リセット信号(RESET_D)、アドレス信号(ADRES_D)、第1,第2のリード信号(READ1_D,READ2_D)、第1,第2の蓄積信号(CCD1_D,CCD2_D)、および、アウトプットゲート信号(OG_D)を生成する。上記電子シャッタ用レジスタ16は、後述する電子シャッタ動作を制御するためのシャッタ制御信号を生成し、ラインごとに設けられたマルチプレクサ17に出力するものである。
上記マルチプレクサ17は、上記電子シャッタ用レジスタ16からの上記シャッタ制御信号と上記RGB画像用垂直レジスタ14からの上記リード信号(READ_RGB)との論理和出力(OR)を、それぞれ、上記RGB画像取得用画素12に供給するものである。すなわち、通常の読み出し動作を行う場合、上記リード信号(READ_RGB)がハイ(H)となる。これにより、上記マルチプレクサ17の出力(OR)がハイ(H)になって、対応する上記RGB画像取得用画素12のリード用トランジスタのゲートがハイ(オン)になる。その際、上記シャッタ制御信号はロウ(L)である。これに対し、通常の電子シャッタ用に読み出し動作を行う場合には、上記シャッタ制御信号がハイ(H)になる。これにより、上記マルチプレクサ17の出力(OR)がハイ(H)になって、対応する上記RGB画像取得用画素12のリード用トランジスタのゲートがハイ(オン)になる。その際、上記リード信号(READ_RGB)はロウ(L)である。
一方、上記半導体基板11上の、上記画素領域の下側には水平レジスタ18が配置されている。この水平レジスタ18は、上記RGB画像取得用画素12および上記Depth情報取得用画素13の各出力をコントロールするための第1の水平駆動回路である。上記水平レジスタ18には、SIG選択駆動用トランジスタ19および差分回路20を介して、出力信号線である垂直信号線(SIG)21の一端がそれぞれ接続されている。なお、上記垂直信号線21の他端は、上記画素領域の上側において、それぞれ、負荷(LOAD)用トランジスタ22を介して接地されている。
さらに、上記半導体基板11上には、増幅回路(AMP.)23、A/D(アナログ・デジタル)変換回路24、出力回路25、および、タイミング発生回路26が配設されている。上記増幅回路23は上記SIG選択駆動用トランジスタ19の各ドレインに共通に接続されて、上記差分回路20の各出力を増幅する。上記A/D変換回路24は、上記増幅回路23の増幅出力をアナログ信号からデジタル信号に変換する。上記出力回路25は、上記A/D変換器24の出力(RGB画像またはDepth情報)を、CMOSイメージセンサ10の外部に出力する。上記タイミング発生回路26は、上記RGB画像用垂直レジスタ14、上記Depth情報用垂直レジスタ15、上記電子シャッタ用レジスタ16、上記水平レジスタ18、上記A/D変換回路24、および、上記出力回路25をそれぞれ制御する。
ここで、上記RGB画像取得用画素12は、それぞれ、RGBベイヤー配列のカラーフィルタ、および、マイクロレンズ(図示していない)を有している。本実施形態の場合、たとえば図1に示したように、各単位繰り返しセル構造のうち、1つのRGB画像取得用画素12には“R”色フィルタが、他の1つのRGB画像取得用画素12には“B”色フィルタが、残りの2つのRGB画像取得用画素12には“G”色フィルタが、それぞれ割り当てられている。
一方、上記Depth情報取得用画素13は、それぞれ、上記カラーフィルタと同じ高さの透明樹脂、および、複数(この場合、4つ)のマイクロレンズを有している。つまり、同じ径のマイクロレンズを用いることで、マイクロレンズの焦点位置を均一にすることができる。
図2は、上記したRGB画像取得用画素12の構成の具体例を示すものである。ここでは、1つの単位繰り返しセル構造における4つのRGB画像取得用画素12を例に示している。図2に示すように、上記RGB画像取得用画素12は、それぞれ、フォトダイオード(第2の光電変換蓄積部)PD1、第3のリード用トランジスタ(READ Tr)12a、第2のリセット用トランジスタ(RESET Tr)12b、第2の選択用トランジスタとしてのアドレス用トランジスタ(ADDRESS Tr)12c、および、第2の増幅用トランジスタ(AMP Tr)12dを有して構成されている。
つまり、各RGB画像取得用画素12の上記フォトダイオードPD1には、上記リード用トランジスタ12aのソースが接続されている。このリード用トランジスタ12aのゲートは、上記マルチプレクサ17の出力(OR)用の配線に接続されている。また、上記リード用トランジスタ12aのドレインは、上記増幅用トランジスタ12dのゲート(制御電極)、および、上記リセット用トランジスタ12bのソースに接続されている。上記リセット用トランジスタ12bのドレインには電源電圧(たとえば、VDD)が供給されるとともに、ゲートが上記リセット信号(RESET_RGB)用の配線に接続されている。これにより、検出部(Detection Node)DN1の電位が、上記リセット用トランジスタ12bによって、ある電圧にあらかじめ設定(リセット)されるようになっている。
また、上記増幅用トランジスタ12dは、ソースが上記垂直信号線21に接続されるとともに、ドレインが上記アドレス用トランジスタ12cのソースに接続されている。このアドレス用トランジスタ12cのドレインには電源電圧が供給されるとともに、ゲートが上記アドレス信号(ADRES_RGB)用の配線に接続されている。
次に、上記したRGB画像取得用画素12の駆動方法(通常の読み出し動作)について簡単に説明する。たとえば、上記リセット信号(RESET_RGB)をハイ(H)にして、上記リセット用トランジスタ12bのゲートをオンさせる。これにより、上記検出部DN1の電位がある電圧に設定される。この後、上記リード信号(READ_RGB)をハイ(H)にすることによって、上記マルチプレクサ17の出力(OR)をハイ(H)にして、上記リード用トランジスタ12aのゲートをオンにする(その際、上記シャッタ制御信号はロウ(L))。すると、蓄積期間内に上記フォトダイオードPD1において光電変換されて蓄積された信号電荷(電気信号)が、上記検出部DN1に読み出される。この後、上記アドレス信号(ADRES_RGB)用の配線が選択的に活性化(H)されて、読み出しのラインが選択される。これにより、上記負荷用トランジスタ22と上記増幅用トランジスタ12dとからなるソースフォロワ回路によって、その読み出しのラインに対応する、上記増幅用トランジスタ12dのゲートの電位に応じた電圧が、上記垂直信号線21に出力される。
図3は、上記したDepth情報取得用画素13の構成の具体例を示すものである。ここでは、1つの単位繰り返しセル構造における1つのDepth情報取得用画素13を例に示している。図3に示すように、上記Depth情報取得用画素13は、フォトダイオード(第1の光電変換蓄積部)PD2、第1,第2のリード用トランジスタ(READ1 Tr,READ2 Tr)13a,13b、第1,第2の電荷蓄積部としての蓄積用トランジスタ(CCD1,CCD2)13c,13d、出力用トランジスタ(OG Tr)13e、第1のリセット用トランジスタ(RESET Tr)13f、第1の選択用トランジスタとしてのアドレス用トランジスタ(ADDRESS Tr)13g、および、第1の増幅用トランジスタ(AMP Tr)13hを有して構成されている。
つまり、Depth情報取得用画素13の上記フォトダイオードPD2には、上記第1,第2のリード用トランジスタ13a,13bの各ソースが共通に接続されている。上記第1のリード用トランジスタ13aのゲートは、上記第1のリード信号(READ1_D)用の配線に接続されている。また、上記第1のリード用トランジスタ13aのドレインは、上記第1の蓄積用トランジスタ13cのソースに接続されている。上記第1の蓄積用トランジスタ13cのゲートは、上記第1の蓄積信号(CCD1_D)用の配線に接続されている。上記第2のリード用トランジスタ13bのゲートは、上記第2のリード信号(READ2_D)用の配線に接続されている。また、上記第2のリード用トランジスタ13bのドレインは、上記第2の蓄積用トランジスタ13dのソースに接続されている。上記第2の蓄積用トランジスタ13dのゲートは、上記第2の蓄積信号(CCD2_D)用の配線に接続されている。
上記第1,第2の蓄積用トランジスタ13c,13dの各ドレインは、上記出力用トランジスタ13eのソースに共通に接続されている。この出力用トランジスタ13eのゲートは、上記アウトプットゲート信号(OG_D)用の配線に接続されている。上記出力用トランジスタ13eのドレインは、上記増幅用トランジスタ13hのゲート(制御電極)、および、上記リセット用トランジスタ13fのソースに接続されている。上記リセット用トランジスタ13fのドレインには電源電圧(たとえば、VDD)が供給されるとともに、ゲートが上記リセット信号(RESET_D)用の配線に接続されている。これにより、検出部DN2の電位が、上記リセット用トランジスタ13fによって、ある電圧にあらかじめ設定(リセット)されるようになっている。
また、上記増幅用トランジスタ13hは、ソースが上記垂直信号線21に接続されるとともに、ドレインが上記アドレス用トランジスタ13gのソースに接続されている。このアドレス用トランジスタ13gのドレインには電源電圧が供給されるとともに、ゲートが上記アドレス信号(ADRES_D)用の配線に接続されている。
このように、上記Depth情報取得画素13は、上記RGB画像取得用画素12と比較して、上記第2のリード用トランジスタ13b、第1,第2の蓄積用トランジスタ13c,13d、および、上記出力用トランジスタ13eの分だけ回路の構成要素が増える。そこで、現実のレイアウトを考え、上記Depth情報取得用画素13の面積を、上記RGB画像取得用画素12の面積の約4倍としている。上記Depth情報取得用画素13の面積を大きくすることは、上記Depth情報取得用画素13の光感度を確保するためにも重要である。
なお、上記垂直信号線21には、上述したように、上記RGB画像取得用画素12のみが接続される第1の信号線と、上記RGB画像取得用画素12および上記Depth情報取得用画素13が接続される第2の信号線とがある。上記第1,第2の信号線は交互に配設されている。
図4は、上記Depth情報取得用画素13のレイアウト例を示すものである。なお、同図(a)は一部を透過して示す平面図であり、同図(b)は図(a)の4b−4b線に沿う断面図、同図(c)は図(a)の4c−4c線に沿う断面図である。
本実施形態の場合、上記Depth情報取得用画素13は、たとえばp型の上記半導体基板11の表面部に、n導電型の上記フォトダイオードPD2が形成されている。このフォトダイオードPD2は、上記RGB画像取得用画素12のフォトダイオードPD1よりも広い面積を有して形成されている。すなわち、フォトダイオードPD2としては、たとえばLED(Light Emitting Diode)発光時の電気信号とLED非発光時の電気信号とを蓄積できるようにするために、上記フォトダイオードPD1の電荷蓄積量(面積)よりも大きくすることが望ましい。
また、上記Depth情報取得用画素13には、1つのフォトダイオードPD2に対して、2つのCCD(Charge Coupled Device)部、つまり上記第1,第2のリード用トランジスタ13a,13bおよび上記第1,第2の蓄積用トランジスタ13c,13dが並列に設けられている。上記第1のリード用トランジスタ13aは、たとえばLED非発光期間における上記フォトダイオードPD2からの電荷を蓄積するための、n- 導電型のストレージ(Strage)部13a-1を有している。上記第2のリード用トランジスタ13bは、たとえばLED発光期間における上記フォトダイオードPD2からの電荷を蓄積するための、n- 導電型のストレージ(Strage)部13b-1を有している。上記ストレージ部13a-1,13b-1は、上記第1,第2のリード用トランジスタ13a,13bのゲートの直下、および、上記第1,第2のリード用トランジスタ13a,13bのゲートと上記第1,第2の蓄積用トランジスタ13c,13dのゲートとの相互間をそれぞれ含む、上記半導体基板11の表面部に所定の深さを有して設けられている。
一方、上記第1の蓄積用トランジスタ13cは、上記第1のリード用トランジスタ13aからの電荷を蓄積するための、n- 導電型のストレージ(Strage)部13c-1を有している。上記第2の蓄積用トランジスタ13dは、上記第2のリード用トランジスタ13bからの電荷を蓄積するための、n- 導電型のストレージ(Strage)部13d-1を有している。上記ストレージ部13c-1,13d-1は、上記第1,第2の蓄積用トランジスタ13c,13dのゲートの直下、および、上記第1,第2の蓄積用トランジスタ13c,13dのゲートと上記出力用トランジスタ13eのゲートとの相互間をそれぞれ含む、上記半導体基板11の表面部に所定の深さを有して設けられている。
このように、上記Depth情報取得用画素13を、上記RGB画像取得用画素12よりも大きくすることによって、上記フォトダイオードPD2の面積は大きくなる。しかも、上記CCD部、つまり増加した分の回路の構成要素(第2のリード用トランジスタ13b、第1,第2の蓄積用トランジスタ13c,13d、および、上記出力用トランジスタ13eなど)を、上記Depth情報取得画素13内に形成することが可能となる。
なお、本実施形態の場合、上記ストレージ部13c-1,13d-1は、それぞれに蓄積可能な電荷量が、上記フォトダイオードPD2に蓄積可能な電荷量よりも大きく、たとえばN倍以上になるように構成されている。これにより、LED非発光時の上記ストレージ部13c-1での電荷の蓄積とLED発光時の上記ストレージ部13d-1での電荷の蓄積とを、1フレーム内において、少なくともN回は繰り返すことが可能となる。この場合、蛍光灯などの外光が変化する環境下において、上記Depth情報を取得する場合にも、外光の変化による影響を最小限に抑えることが可能となるものである。
しかも、上記フォトダイオードPD2に対して、上記第1,第2のリード用トランジスタ13a,13bおよび上記第1,第2の蓄積用トランジスタ13c,13dを並列に配置することにより、それらを直列に配置するようにした場合に比べ、上記Depth情報取得用画素13の面積は小さくなる。
次に、上記したDepth情報取得画素13の駆動方法について簡単に説明する。まず、たとえばLEDの非発光期間内に、フォトダイオードPD2において光電変換されて蓄積された信号電荷を、第1の蓄積用トランジスタ13cに転送する場合について説明する。この場合、最初に第1の蓄積信号(CCD1_D)をハイ(H)にして、第1の蓄積用トランジスタ13cのゲートをオンにする。その状態で、第1のリード信号(READ1_D)をハイ(H)にして、第1のリード用トランジスタ13aのゲートをオンにする。これにより、上記フォトダイオードPD2に蓄積された上記信号電荷は、上記第1のリード用トランジスタ13aに送られ、そのストレージ部13a-1に蓄積される。続いて、上記第1のリード信号(READ1_D)をロウ(L)にして、上記第1のリード用トランジスタ13aのゲートをオフにする。すると、上記ストレージ部13a-1に蓄積された電荷は、上記第1の蓄積用トランジスタ13cに送られ、そのストレージ部13c-1に蓄積される。これにより、LEDの非発光期間において光電変換された信号電荷は、上記第1の蓄積用トランジスタ13cのストレージ部13c-1で保持される。
今度は、たとえばLEDの発光期間内に、フォトダイオードPD2において光電変換されて蓄積された信号電荷を、第2の蓄積用トランジスタ13dに転送する場合について説明する。この場合、最初に第2の蓄積信号(CCD2_D)をハイ(H)にして、第2の蓄積用トランジスタ13dのゲートをオンにする。その状態で、第2のリード信号(READ2_D)をハイ(H)にして、上記第2のリード用トランジスタ13bのゲートをオンにする。これにより、上記フォトダイオードPD2に蓄積された上記信号電荷は、上記第2のリード用トランジスタ13bに送られ、そのストレージ部13b-1に蓄積される。続いて、上記第2のリード信号(READ2_D)をロウ(L)にして、上記第2のリード用トランジスタ13bのゲートをオフにする。すると、上記ストレージ部13b-1に蓄積された電荷は、上記第2の蓄積用トランジスタ13dに送られ、そのストレージ部13d-1に蓄積される。これにより、LEDの発光期間において光電変換された信号電荷は、上記第2の蓄積用トランジスタ13dのストレージ部13d-1で保持される。
上記第1の蓄積用トランジスタ13cのストレージ部13c-1で保持されている電荷は、上記第1の蓄積信号(CCD1_D)をロウ(L)にし、上記第1の蓄積用トランジスタ13cのゲートをオフすることにより、上記出力用トランジスタ13eを介して、上記検出部DN2に読み出される。同様に、上記第2の蓄積用トランジスタ13dのストレージ部13d-1で保持されている電荷は、上記第2の蓄積信号(CCD2_D)をロウ(L)にし、上記第2の蓄積用トランジスタ13dのゲートをオフすることにより、上記出力用トランジスタ13eを介して、上記検出部DN2に読み出される。
上記検出部DN2に読み出された電荷は、上記増幅用トランジスタ13hのゲートの電位を変化させる。この後、上記アドレス信号(ADRES_D)用の配線が選択的に活性化されて、読み出しのラインが選択される。これにより、上記負荷用トランジスタ22と上記増幅用トランジスタ13hとからなるソースフォロワ回路によって、その読み出しのラインに対応する、上記増幅用トランジスタ13hのゲートの電位に応じた電圧が、上記垂直信号線21に出力される。
図5は、上記した差分回路20の構成例を示すものである。ここでは、1つの単位繰り返しセル構造に対応して、1つの演算部が設けられてなる場合を例に示している。本実施形態の場合、たとえば図5に示すように、上記垂直信号線21のうち、上記Depth情報取得用画素13が接続される上記垂直信号線21にのみ演算部20Aが設けられている。上記演算部20Aは、それぞれ、2つのトランジスタ20a,20bと1つの差動アンプ20cとから構成されている。つまり、上記Depth情報取得用画素13が接続される上記垂直信号線21には、それぞれ、上記トランジスタ20aのソースおよび上記トランジスタ20bのソースが接続されている。上記トランジスタ20aのドレインは、上記差動アンプ20cの非反転入力端に接続されている。上記トランジスタ20aのゲートは、差分算出用レジスタ(図示していない)によって制御される、外光成分+LED成分蓄積用の信号線27に接続されている。上記トランジスタ20bのドレインは、上記差動アンプ20cの反転入力端に接続されている。上記トランジスタ20bのゲートは、上記差分算出用レジスタにより制御される、外光成分蓄積用の信号線28に接続されている。
この差分回路20の各演算部20Aによって、上記垂直信号線21に現れるLED発光期間内およびLED非発光期間内の各信号(上記増幅用トランジスタ13hのゲートの電圧に応じた電圧)の差分が求められる。こうすることによって、LEDの光照射による被写体からの反射光より反射成分のみを取り出すことができる。
一般に、反射光の強さは被写体までの距離の二乗に反比例する。そこで、この関係を用いて、被写体までのDepth情報(奥行き値)を取得する。そして、このDepth情報を、上記RGB画像取得用画素12の各出力から得られるRGB画像(二次元カラー画像)と合成する。これにより、被写体の三次元カラー画像(被写体の色情報付きの三次元画像)を得ることが可能になる。
図6は、上記のCMOSイメージセンサ10が適用されるビデオカメラ(撮像システム)の構成例を示すものである。このビデオカメラ1は、被写体2に光を照射する光源としてのLED3、上記被写体2からの反射光が光学系4により光学像として結像される上記CMOSイメージセンサ10、および、上記LED3や上記CMOSイメージセンサ10を制御するCPU(Central Processing Unit)5を備えている。また、上記CPU5には、たとえば、被写体の三次元カラー画像を表示するための液晶パネルなどからなる表示部8、および、メモリカードや磁気テープなどの記録媒体に被写体の三次元カラー画像を記録するための記録部9が接続されている。
なお、このビデオカメラ1では、上記CPU5につながるフォトダイオード6によって、蛍光灯7の発光タイミング(発光周波数)を検出するようになっている。
次に、上記した構成のビデオカメラ1を例に、上記Depth情報取得用画素13の駆動方法について、図7〜図25を参照して説明する。なお、図7,図8はタイミングチャートであり、図9〜図25は上記Depth情報取得用画素13での信号電荷の転送状態を示す図である。また、図9〜図25において、各図(a)はCCD1(外光成分の蓄積)側を、各図(b)はCCD2(LED成分+外光成分の蓄積)側を、それぞれ示している。
たとえば、図7に示した時刻t1では、第1のリード信号(READ1_D)をハイ(H)にすることにより、Depth情報取得用画素13のフォトダイオードPD2に蓄積されている、実際には使用しない信号電荷(無効成分)が、第1のリード用トランジスタ13aのストレージ部13a-1に蓄積される(図9(a)参照)。
図7に示した時刻t2では、第2のリード信号(READ2_D)をハイ(H)にすることにより、Depth情報取得用画素13のフォトダイオードPD2に蓄積されている、実際には使用しない信号電荷(無効成分)が、第2のリード用トランジスタ13bのストレージ部13b-1に蓄積される(図10(b)参照)。なお、第2のリード信号(READ2_D)がロウ(L)に変化した時点から、Depth情報取得用画素13のフォトダイオードPD2での信号電荷の蓄積が開始される。
図7に示した時刻t3では、第1のリード用トランジスタ13aのストレージ部13a-1に蓄積されている信号電荷、および、第2のリード用トランジスタ13bのストレージ部13b-1に蓄積されている信号電荷の、第1,第2の蓄積用トランジスタ13c,13dへの転送が行われる。すなわち、時刻t2において、第1のリード信号(READ1_D)をロウ(L)にすることにより、第1のリード用トランジスタ13aのストレージ部13a-1に蓄積されている、実際には使用しない信号電荷(無効成分)が、第1の蓄積用トランジスタ13cのストレージ部13c-1に蓄積される(図11(a)参照)。同様に、第2のリード信号(READ2_D)をロウ(L)にすることにより、第2のリード用トランジスタ13bのストレージ部13b-1に蓄積されている、実際には使用しない信号電荷(無効成分)が、第2の蓄積用トランジスタ13dのストレージ部13d-1に蓄積される(図11(b)参照)。
図7に示した時刻t4では、第1のリード信号(READ1_D)をハイ(H)にすることにより、Depth情報取得用画素13のフォトダイオードPD2に蓄積されている信号電荷(外光成分)が、第1のリード用トランジスタ13aのストレージ部13a-1に蓄積される(図12(a)参照)。また、この時刻t4では、第1の蓄積信号(CCD1_D)がハイ(H)に設定されている。このため、第1のリード用トランジスタ13aのストレージ部13a-1に蓄積されている信号電荷は、第1のリード信号(READ1_D)がロウ(L)に変化する際に、第1の蓄積用トランジスタ13cのストレージ部13c-1に蓄積される。なお、第1のリード信号(READ1_D)がロウ(L)に変化した時点から、Depth情報取得用画素13のフォトダイオードPD2での信号電荷の蓄積が開始される。
図7に示した時刻t5では、Depth情報取得用画素13のフォトダイオードPD2に、LED3の発光期間における信号電荷(LED成分+外光成分)の蓄積が開始される(図13(a),(b)参照)。
図7に示した時刻t6では、第2のリード信号(READ2_D)をハイ(H)にすることにより、Depth情報取得用画素13のフォトダイオードPD2に蓄積されている、上記LED3の発光期間における信号電荷(LED成分+外光成分)が、第2のリード用トランジスタ13bのストレージ部13b-1に蓄積される(図14(b)参照)。
図7に示した時刻t7では、第2のリード信号(READ2_D)をロウ(L)にすることにより、第2のリード用トランジスタ13bのストレージ部13b-1に蓄積されている、上記LED3の発光期間における信号電荷(LED成分+外光成分)が、第2の蓄積用トランジスタ13dのストレージ部13d-1に蓄積される(図15(b)参照)。
図8に示した時刻t8では、上記LED3の非発光期間における信号電荷(外光成分)を検出部DN2に転送する前に、上記検出部DN2の電位のリセットが行われる。すなわち、リセット信号(RESET_D)がハイ(H)になって、リセット用トランジスタ13fのゲートがオンされることにより、上記検出部DN2の電位のリセットが行われる(図16(a),(b)参照)。
図8に示した時刻t9では、リセット信号(RESET_D)がロウ(L)に設定されることにより、上記検出部DN2の電位のリセットが終了される(図17(a),(b)参照)。
図8に示した時刻t10では、第1の蓄積信号(CCD1_D)がロウ(L)に設定されることにより、第1の蓄積用トランジスタ13cのストレージ部13c-1に蓄積されている、上記LED3の非発光期間における信号電荷(外光成分)が、出力用トランジスタ13eを介して、上記検出部DN2に送られる(図18(a)参照)。なお、上記出力用トランジスタ13eのゲート電圧は、一定のDC電圧(たとえば、(1/2)・VDD)に設定されている。
図8に示した時刻t11では、第1の蓄積信号(CCD1_D)がロウ(L)に設定されることにより、第1の蓄積用トランジスタ13cのストレージ部13c-1に蓄積されている、上記LED3の非発光期間における信号電荷(外光成分)の、上記検出部DN2への転送動作が終了される(図19(a),(b)参照)。この状態で、上記増幅用トランジスタ13hと上記負荷用トランジスタ22とをソースフォロワ回路として動作させることにより、上記LED3の非発光期間における信号電荷が、上記垂直信号線21に出力される。
図8に示した時刻t12では、上記LED3の発光期間における信号電荷(LED成分+外光成分)を検出部DN2に転送する前に、上記検出部DN2の電位のリセットが行われる。すなわち、リセット信号(RESET_D)がハイ(H)になって、リセット用トランジスタ13fのゲートがオンされることにより、上記検出部DN2の電位のリセットが行われる(図20(a),(b)参照)。
図8に示した時刻t13では、リセット信号(RESET_D)がロウ(L)に設定されることにより、上記検出部DN2の電位のリセットが終了される(図21(a),(b)参照)。
図8に示した時刻t14では、第2の蓄積信号(CCD2_D)がロウ(L)に設定されることにより、第2の蓄積用トランジスタ13dのストレージ部13d-1に蓄積されている、上記LED3の発光期間における信号電荷(LED成分+外光成分)が、出力用トランジスタ13eを介して、上記検出部DN2に送られる(図22(b)参照)。
図8に示した時刻t15では、第2の蓄積信号(CCD2_D)がロウ(L)に設定されることにより、第2の蓄積用トランジスタ13dのストレージ部13d-1に蓄積されている、上記LED3の発光期間における信号電荷(LED成分+外光成分)の、上記検出部DN2への転送動作が終了される(図23(a),(b)参照)。この状態で、上記増幅用トランジスタ13hと上記負荷用トランジスタ22とをソースフォロワ回路として動作させることにより、上記LED3の発光期間における信号電荷が、上記垂直信号線21に出力される。
図8に示した時刻t16では、リセット信号(RESET_D)がハイ(H)に設定されることにより、リセット用トランジスタ13fのゲートがオンされて、上記検出部DN2の電位がリセットされる(図24(a),(b)参照)。
図8に示した時刻t17では、リセット信号(RESET_D)がロウ(L)に設定されることにより、上記検出部DN2の電位のリセットが終了される(図25(a),(b)参照)。
このようにして、上記LED3の非発光期間における信号電荷および上記LED3の発光期間における信号電荷が、それぞれ上記垂直信号線21に出力される。これにより、上記差分回路20において、上記LED3の光照射による被写体2からの反射成分のみが取り出される。そして、この反射成分より導き出される上記被写体2までのDepth情報(奥行き値)を、たとえば上記CPU5において、上記RGB画像取得用画素12の各出力から得られるRGB画像(色情報付きの二次元画像)と合成する。その結果、被写体の三次元カラー画像(被写体の色情報付きの三次元画像)が得られる。
特に、1フレーム内において、上記したLED3の発光/非発光期間における信号電荷の転送を、1回ではなく、複数回繰り返すようにする。つまり、上記LED3の発光/非発光期間における信号電荷の蓄積を繰り返し行うとともに、その都度、CCD部への信号電荷の転送を行うようにする。こうすることにより、たとえば上記蛍光灯7がもつフリッカの影響を最小限に抑えることが可能となる。
上記したように、2画素×2画素を1単位とする、被写体の二次元カラー画像を撮像するための通常のRGB画像取得用画素とは独立して、被写体の奥行き値を取得するためのDepth情報取得用画素を1チップ上に配置するようにしている。これにより、原理的に光軸ズレをなくすことができるとともに、被写体の奥行き値を取得するための画素の光感度を十分に確保することが可能となる。したがって、メカニカルな装置などを必要とすることなく、被写体の奥行き値を高解像度により取得することが可能となる結果、被写体の三次元カラー画像を容易に取得できるようになるものである。
なお、本実施形態のビデオカメラを実現するにあたっては、白色LEDなどの可視波長全般にわたって光を発する光源を選定するとよい。白色LEDは、少なくとも赤、緑、青の三色の光を発する。したがって、上記被写体の色が赤であろうが、緑であろうが、青であろうが、上記被写体は光源からの光を確実に反射するので、Depth情報を問題なく取得することが可能となる。
ここで、図26は、図1のIIXVI−IIXVI線に沿う上記画素領域の断面構造を示すものである。光源に白色LEDを選定する場合、たとえば図26に示すように、上記Depth情報取得用画素13のフォトダイオードPD2上には、赤や緑や青のカラーフィルタ31を設けないことが望ましい。上記フォトダイオードPD2上にもカラーフィルタ31を設けるようにした場合、たとえ白色LEDを光源として用いたとしても、カラーフィルタ31の分光のせいで被写体2からの反射光がフォトダイオードPD2に届かなくなる。
通常、マイクロレンズ32は上記カラーフィルタ31の上部に形成される。上記Depth情報取得用画素13の上部だけカラーフィルタ31が存在しないと、マイクロレンズ32の下部の平坦性が悪くなり、マイクロレンズ32の形成が難しくなる問題がある。さらに、マイクロレンズ32の焦点位置が変わってしまうという問題点もある。このような場合、たとえば図26に示すように、上記フォトダイオードPD2の上部にはカラーフィルタ31を形成する変わりに、上記カラーフィルタ31とほぼ同じ高さの透明樹脂33を埋め込む。このようにして、マイクロレンズ32の下部の平坦性を良くするとともに、マイクロレンズ32の焦点位置を均一にすることが望ましい。
また、本実施形態の場合、RGB画像取得用画素12のフォトダイオードPD1に対して、Depth情報取得用画素13のフォトダイオードPD2の面積が大きくなっている。これにより、Depth情報取得用画素13の光感度を高くすることができる。Depth情報取得用画素13の光感度が高ければ高いほど、上記LED3の明るさを低く設定できる。つまり、カメラ全体の低消費電力化の面で有利となる。
特に、本実施形態のように、Depth情報取得用画素13の面積をRGB画像取得用画素12の面積の4倍とした場合には、Depth情報取得用画素13のフォトダイオードPD2の上部に4つのマイクロレンズ32を配置すると良い。これにより、マイクロレンズ32の焦点位置を均一にすることが容易に可能となる。
また、2画素×2画素を1単位とする場合に限らず、たとえば2画素×4画素または2画素×8画素などをそれぞれ1単位とする、CMOSイメージセンサにも同様に適用できる。
その他、本願発明は、上記(各)実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、上記(各)実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。たとえば、(各)実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題(の少なくとも1つ)が解決でき、発明の効果の欄で述べられている効果(の少なくとも1つ)が得られる場合には、その構成要件が削除された構成が発明として抽出され得る。
なお、請求項の記載に関連して、本発明はさらに次の態様をとり得る。
(1) 前記第1および第2の電荷蓄積部は、それぞれに蓄積可能な電荷量が、前記第1の光電変換蓄積部に蓄積可能な電荷量よりも大きいことを特徴とする固体撮像装置。
(2) 前記少なくとも1つの奥行き情報取得用画素は、さらに、前記出力用トランジスタに転送された前記電気信号を増幅する第1の増幅用トランジスタと、前記第1の増幅用トランジスタの制御電極の電位に応じた出力を出力信号線に出力させるための第1の選択用トランジスタと、前記第1の増幅用トランジスタの制御電極の電位をリセットする第1のリセット用トランジスタとを備えることを特徴とする撮像システム。
(3) 前記複数の撮像用画素は、それぞれ、前記被写体の光学像を電気信号として蓄積する第2の光電変換蓄積部と、前記第2の光電変換蓄積部に蓄積された前記電気信号を読み出す第3のリード用トランジスタと、前記第3のリード用トランジスタによって前記第2の光電変換蓄積部より読み出された前記電気信号を増幅する第2の増幅用トランジスタと、前記第2の増幅用トランジスタの制御電極の電位に応じた出力を出力信号線に出力させるための第2の選択用トランジスタと、前記第2の増幅用トランジスタの制御電極の電位をリセットする第2のリセット用トランジスタとを備えてなることを特徴とする撮像システム。
(4) 前記第1および第2の電荷蓄積部は、それぞれに蓄積可能な電荷量が、前記第1の光電変換蓄積部に蓄積可能な電荷量よりも大きく、前記第1の電荷蓄積部には、その都度、前記被写体に前記光源からの光を照射しない際の電気信号が、前記第2の電荷蓄積部には、その都度、前記被写体に前記光源からの光を照射した際の電気信号が、それぞれ蓄積されることを特徴とする撮像システム。
(5) 前記半導体基板上には、前記複数の撮像用画素が前記n画素×(n+m)画素を1単位として水平方向に配置され、かつ、前記n画素×(n+m)画素を1単位とする前記複数の撮像用画素および前記少なくとも1つの奥行き情報取得用画素が垂直方向に交互に配置されるとともに、さらに、前記垂直方向に交互に配置された、前記複数の撮像用画素を選択的に駆動する第1の垂直駆動回路と、前記垂直方向に交互に配置された、前記少なくとも1つの奥行き情報取得用画素を選択的に駆動する第2の垂直駆動回路と、前記水平方向に配置された、前記複数の撮像用画素を選択的に駆動する第1の水平駆動回路と、前記第1,第2の垂直駆動回路および前記第1の水平駆動回路を制御するタイミング回路とが設けられていることを特徴とする撮像システム。
本発明の一実施形態にしたがった、CMOSイメージセンサの概略を示す構成図。 図1に示したCMOSイメージセンサにおける、RGB画像取得用画素の構成例を示す回路図。 図1に示したCMOSイメージセンサにおける、Depth情報取得用画素の構成例を示す回路図。 図1に示したCMOSイメージセンサにおける、Depth情報取得用画素のレイアウト例を示す図。 図1に示したCMOSイメージセンサにおける、差分回路の構成例を示す回路図。 図1に示したCMOSイメージセンサを、ビデオカメラに適用した場合を例に示す構成図。 図6に示したビデオカメラを例に、Depth情報取得用画素の駆動方法について説明するために示すタイミングチャート。 図6に示したビデオカメラを例に、Depth情報取得用画素の駆動方法について説明するために示すタイミングチャート。 Depth情報取得用画素13の駆動方法を説明するために示す図。 Depth情報取得用画素13の駆動方法を説明するために示す図。 Depth情報取得用画素13の駆動方法を説明するために示す図。 Depth情報取得用画素13の駆動方法を説明するために示す図。 Depth情報取得用画素13の駆動方法を説明するために示す図。 Depth情報取得用画素13の駆動方法を説明するために示す図。 Depth情報取得用画素13の駆動方法を説明するために示す図。 Depth情報取得用画素13の駆動方法を説明するために示す図。 Depth情報取得用画素13の駆動方法を説明するために示す図。 Depth情報取得用画素13の駆動方法を説明するために示す図。 Depth情報取得用画素13の駆動方法を説明するために示す図。 Depth情報取得用画素13の駆動方法を説明するために示す図。 Depth情報取得用画素13の駆動方法を説明するために示す図。 Depth情報取得用画素13の駆動方法を説明するために示す図。 Depth情報取得用画素13の駆動方法を説明するために示す図。 Depth情報取得用画素13の駆動方法を説明するために示す図。 Depth情報取得用画素13の駆動方法を説明するために示す図。 図1のIIXVI − IIXVI線に沿う、画素領域の断面図。
符号の説明
1…ビデオカメラ(撮像システム)、2…被写体、3…LED、4…光学系、5…CPU、6…フォトダイオード、7…蛍光灯、8…表示部、9…記録部、10…CMOSイメージセンサ(固体撮像装置)、11…半導体基板(P型)、12…RGB画像取得用画素(撮像用画素)、12a…リード用トランジスタ、12b…リセット用トランジスタ、12c…アドレス用トランジスタ、12d…増幅用トランジスタ、13…Depth情報取得用画素(奥行き情報取得用画素)、13a…第1のリード用トランジスタ、13a-1…ストレージ部、13b…第2のリード用トランジスタ、13b-1…ストレージ部、13c…第1の蓄積用トランジスタ、13c-1…ストレージ部、13d…第2の蓄積用トランジスタ、13d-1…ストレージ部、13e…出力用トランジスタ、13f…リセット用トランジスタ、13g…アドレス用トランジスタ、13h…増幅用トランジスタ、14…RGB画像用垂直レジスタ、15…Depth情報用垂直レジスタ、16…電子シャッタ用レジスタ、17…マルチプレクサ、18…水平レジスタ、19…SIG選択駆動用トランジスタ、20…差分回路、20A…演算部、20a,20b…トランジスタ、20c…差動アンプ、21…垂直信号線(SIG)、22…負荷(LOAD)用トランジスタ、23…増幅回路、24…A/D変換回路、25…出力回路、26…タイミング発生回路、27…信号線(外光+LED成分蓄積用)、28…信号線(外光成分蓄積用)、31…カラーフィルタ、32…マイクロレンズ、33…透明樹脂、PD1…フォトダイオード(RGB画像取得用)、PD2…フォトダイオード(Depth情報取得用)、DN1…検出部(RGB画像取得用)、DN2…検出部(Depth情報取得用)。

Claims (5)

  1. 半導体基板上に、n画素×(n+m)画素を1単位として設けられ、被写体の二次元カラー画像を撮像する複数の撮像用画素と、
    前記半導体基板上に、前記複数の撮像用画素とは独立して設けられ、前記被写体の奥行き値を取得するための、少なくとも1つの奥行き情報取得用画素と、
    前記半導体基板上に設けられ、前記被写体に光を照射した際の、前記少なくとも1つの奥行き情報取得用画素の出力と、前記被写体に光を照射しない際の、前記少なくとも1つの奥行き情報取得用画素の出力との差分により、前記被写体の奥行き値を算出する差分回路と
    を具備し、
    前記少なくとも1つの奥行き情報取得用画素が、
    前記被写体の光学像を電気信号として蓄積する第1の光電変換蓄積部と、
    前記第1の光電変換蓄積部に蓄積された前記電気信号を読み出す第1および第2のリード用トランジスタと、
    前記第1のリード用トランジスタによって前記第1の光電変換蓄積部より読み出された、前記被写体に光を照射しない際の、前記電気信号を蓄積するための第1の電荷蓄積部と、
    前記第2のリード用トランジスタによって前記第1の光電変換蓄積部より読み出された、前記被写体に光を照射した際の、前記電気信号を蓄積するための第2の電荷蓄積部と、
    前記第1および第2の電荷蓄積部に共通に接続された出力用トランジスタと
    を備えてなることを特徴とする固体撮像装置。
  2. 前記少なくとも1つの奥行き情報取得用画素は、
    さらに、
    前記出力用トランジスタに転送された前記電気信号を増幅する第1の増幅用トランジスタと、
    前記第1の増幅用トランジスタの制御電極の電位に応じた出力を出力信号線に出力させるための第1の選択用トランジスタと、
    前記第1の増幅用トランジスタの制御電極の電位をリセットする第1のリセット用トランジスタと
    を備えることを特徴とする請求項1に記載の固体撮像装置。
  3. 前記複数の撮像用画素は、
    それぞれ、
    前記被写体の光学像を電気信号として蓄積する第2の光電変換蓄積部と、
    前記第2の光電変換蓄積部に蓄積された前記電気信号を読み出す第3のリード用トランジスタと、
    前記第3のリード用トランジスタによって前記第2の光電変換蓄積部より読み出された前記電気信号を増幅する第2の増幅用トランジスタと、
    前記第2の増幅用トランジスタの制御電極の電位に応じた出力を出力信号線に出力させるための第2の選択用トランジスタと、
    前記第2の増幅用トランジスタの制御電極の電位をリセットする第2のリセット用トランジスタと
    を備えてなることを特徴とする請求項1に記載の固体撮像装置。
  4. 前記半導体基板上には、前記複数の撮像用画素が前記n画素×(n+m)画素を1単位として水平方向に配置され、かつ、前記n画素×(n+m)画素を1単位とする前記複数の撮像用画素および前記少なくとも1つの奥行き情報取得用画素が垂直方向に交互に配置されるとともに、
    さらに、
    前記垂直方向に交互に配置された、前記複数の撮像用画素を選択的に駆動する第1の垂直駆動回路と、
    前記垂直方向に交互に配置された、前記少なくとも1つの奥行き情報取得用画素を選択的に駆動する第2の垂直駆動回路と、
    前記水平方向に配置された、前記複数の撮像用画素を選択的に駆動する第1の水平駆動回路と、
    前記第1,第2の垂直駆動回路および前記第1の水平駆動回路を制御するタイミング回路と
    が設けられていることを特徴とする請求項1に記載の固体撮像装置。
  5. 被写体に光を照射するための光源と、
    半導体基板上に、n画素×(n+m)画素を1単位として設けられ、前記被写体の二次元カラー画像を撮像する複数の撮像用画素と、
    前記半導体基板上に、前記複数の撮像用画素とは独立して設けられ、前記被写体の奥行き値を取得するための、少なくとも1つの奥行き情報取得用画素と、
    前記半導体基板上に設けられ、前記被写体に前記光源からの光を照射した際の、前記少なくとも1つの奥行き情報取得用画素の出力と、前記被写体に前記光源からの光を照射しない際の、前記少なくとも1つの奥行き情報取得用画素の出力との差分により、前記被写体の奥行き値を算出する差分回路と、
    前記複数の撮像用画素によって撮像された前記被写体の二次元カラー画像と前記差分回路により算出された前記被写体の奥行き値とを合成し、前記被写体の三次元カラー画像を得る合成回路と
    を具備し、
    前記少なくとも1つの奥行き情報取得用画素が、
    前記被写体の光学像を電気信号として蓄積する第1の光電変換蓄積部と、
    前記第1の光電変換蓄積部に蓄積された前記電気信号を読み出す第1および第2のリード用トランジスタと、
    前記第1のリード用トランジスタによって前記第1の光電変換蓄積部より読み出された、前記被写体に前記光源からの光を照射しない際の、前記電気信号を蓄積するための第1の電荷蓄積部と、
    前記第2のリード用トランジスタによって前記第1の光電変換蓄積部より読み出された、前記被写体に前記光源からの光を照射した際の、前記電気信号を蓄積するための第2の電荷蓄積部と、
    前記第1および第2の電荷蓄積部に共通に接続された出力用トランジスタと
    を備えてなることを特徴とする撮像システム。
JP2003416947A 2003-12-15 2003-12-15 固体撮像装置およびそれを利用した撮像システム Expired - Fee Related JP3906202B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003416947A JP3906202B2 (ja) 2003-12-15 2003-12-15 固体撮像装置およびそれを利用した撮像システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003416947A JP3906202B2 (ja) 2003-12-15 2003-12-15 固体撮像装置およびそれを利用した撮像システム

Publications (2)

Publication Number Publication Date
JP2005175392A true JP2005175392A (ja) 2005-06-30
JP3906202B2 JP3906202B2 (ja) 2007-04-18

Family

ID=34736007

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003416947A Expired - Fee Related JP3906202B2 (ja) 2003-12-15 2003-12-15 固体撮像装置およびそれを利用した撮像システム

Country Status (1)

Country Link
JP (1) JP3906202B2 (ja)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007103590A (ja) * 2005-10-03 2007-04-19 Nikon Corp 撮像素子、焦点検出装置、および、撮像システム
KR100755669B1 (ko) 2006-03-17 2007-09-05 삼성전자주식회사 일시적 신호 저장부를 포함하는 반도체 소자
JP2008098976A (ja) * 2006-10-12 2008-04-24 Stanley Electric Co Ltd 固体撮像素子
JP2008177738A (ja) * 2007-01-17 2008-07-31 Casio Comput Co Ltd 撮像装置及び撮像素子
JP2009049973A (ja) * 2007-08-17 2009-03-05 Samsung Electro-Mechanics Co Ltd Cmosイメージセンサパッケージ
JP2010041720A (ja) * 2008-08-06 2010-02-18 Samsung Electronics Co Ltd 立体イメージセンサのピクセルアレイ
JP2010081609A (ja) * 2008-09-25 2010-04-08 Samsung Electronics Co Ltd 立体イメージセンサ
JP2012080517A (ja) * 2010-10-01 2012-04-19 Young Wee Jay イメージ獲得ユニット、方法及び連関付けられた制御ユニット{imageacquisitionunit、acquisitionmethodandassociatedcontrolunit}
US8169496B2 (en) 2007-03-29 2012-05-01 Kabushiki Kaisha Toshiba Image processing system and image acquisition method
US8344306B2 (en) 2008-07-25 2013-01-01 Samsung Electronics Co., Ltd. Imaging method and apparatus
KR20130011692A (ko) * 2011-07-22 2013-01-30 삼성전자주식회사 깊이 영상과 컬러 영상을 획득하는 픽셀 구조를 가진 이미지 센서
EP2634595A1 (en) * 2012-03-01 2013-09-04 Omnivision Technologies, Inc. Circuit configuration and method for time of flight sensor
EP2247093A3 (en) * 2009-04-30 2015-06-03 Omnivision Technologies, Inc. Image sensor with global shutter
WO2015190616A1 (en) * 2014-06-11 2015-12-17 Olympus Corporation Image sensor for depth estimation
EP3053096A4 (en) * 2013-10-04 2017-04-12 Icclarity, Inc. A method to use array sensors to measure multiple types of data at full resolution of the sensor
WO2017094830A1 (ja) * 2015-12-04 2017-06-08 キヤノン株式会社 撮像装置の駆動方法
CN110650278A (zh) * 2019-10-12 2020-01-03 Oppo广东移动通信有限公司 一种图像传感器、摄像头模组及电子设备
CN113574408A (zh) * 2019-03-27 2021-10-29 松下知识产权经营株式会社 固体摄像装置
US11721713B2 (en) 2021-04-09 2023-08-08 Samsung Electronics Co., Ltd. Image sensors

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5925713B2 (ja) 2013-02-26 2016-05-25 株式会社東芝 固体撮像装置

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007103590A (ja) * 2005-10-03 2007-04-19 Nikon Corp 撮像素子、焦点検出装置、および、撮像システム
US7728898B2 (en) 2006-03-17 2010-06-01 Samsung Electronics Co., Ltd. Semiconductor device having temporary signal storage unit
KR100755669B1 (ko) 2006-03-17 2007-09-05 삼성전자주식회사 일시적 신호 저장부를 포함하는 반도체 소자
JP2008098976A (ja) * 2006-10-12 2008-04-24 Stanley Electric Co Ltd 固体撮像素子
JP2008177738A (ja) * 2007-01-17 2008-07-31 Casio Comput Co Ltd 撮像装置及び撮像素子
US8169496B2 (en) 2007-03-29 2012-05-01 Kabushiki Kaisha Toshiba Image processing system and image acquisition method
US8723980B2 (en) 2007-03-29 2014-05-13 Kabushiki Kaisha Toshiba Image processing system and image acquisition method
JP2009049973A (ja) * 2007-08-17 2009-03-05 Samsung Electro-Mechanics Co Ltd Cmosイメージセンサパッケージ
US8633431B2 (en) 2008-07-25 2014-01-21 Samsung Electronics Co., Ltd. Image method and apparatus
US8344306B2 (en) 2008-07-25 2013-01-01 Samsung Electronics Co., Ltd. Imaging method and apparatus
KR101467509B1 (ko) * 2008-07-25 2014-12-01 삼성전자주식회사 이미지 센서 및 이미지 센서 동작 방법
JP2010041720A (ja) * 2008-08-06 2010-02-18 Samsung Electronics Co Ltd 立体イメージセンサのピクセルアレイ
JP2010081609A (ja) * 2008-09-25 2010-04-08 Samsung Electronics Co Ltd 立体イメージセンサ
US8300088B2 (en) 2008-09-25 2012-10-30 Samsung Electronics Co., Ltd. Three dimensional image sensor
KR101484111B1 (ko) * 2008-09-25 2015-01-19 삼성전자주식회사 입체 이미지 센서
EP2247093A3 (en) * 2009-04-30 2015-06-03 Omnivision Technologies, Inc. Image sensor with global shutter
JP2012080517A (ja) * 2010-10-01 2012-04-19 Young Wee Jay イメージ獲得ユニット、方法及び連関付けられた制御ユニット{imageacquisitionunit、acquisitionmethodandassociatedcontrolunit}
KR20130011692A (ko) * 2011-07-22 2013-01-30 삼성전자주식회사 깊이 영상과 컬러 영상을 획득하는 픽셀 구조를 가진 이미지 센서
JP2013183460A (ja) * 2012-03-01 2013-09-12 Omnivision Technologies Inc 飛行時間センサのための回路構成及び方法
EP2634595A1 (en) * 2012-03-01 2013-09-04 Omnivision Technologies, Inc. Circuit configuration and method for time of flight sensor
KR101465318B1 (ko) * 2012-03-01 2014-12-04 옴니비전 테크놀러지즈 인코포레이티드 비행 시간 센서를 위한 회로 구성 및 방법
US8686367B2 (en) 2012-03-01 2014-04-01 Omnivision Technologies, Inc. Circuit configuration and method for time of flight sensor
EP3053096A4 (en) * 2013-10-04 2017-04-12 Icclarity, Inc. A method to use array sensors to measure multiple types of data at full resolution of the sensor
WO2015190616A1 (en) * 2014-06-11 2015-12-17 Olympus Corporation Image sensor for depth estimation
US9383548B2 (en) 2014-06-11 2016-07-05 Olympus Corporation Image sensor for depth estimation
JP2017519440A (ja) * 2014-06-11 2017-07-13 オリンパス株式会社 深度推定のための画像センサ
WO2017094830A1 (ja) * 2015-12-04 2017-06-08 キヤノン株式会社 撮像装置の駆動方法
CN108370425A (zh) * 2015-12-04 2018-08-03 佳能株式会社 摄像装置的驱动方法
CN113574408A (zh) * 2019-03-27 2021-10-29 松下知识产权经营株式会社 固体摄像装置
CN110650278A (zh) * 2019-10-12 2020-01-03 Oppo广东移动通信有限公司 一种图像传感器、摄像头模组及电子设备
US11721713B2 (en) 2021-04-09 2023-08-08 Samsung Electronics Co., Ltd. Image sensors

Also Published As

Publication number Publication date
JP3906202B2 (ja) 2007-04-18

Similar Documents

Publication Publication Date Title
JP3906202B2 (ja) 固体撮像装置およびそれを利用した撮像システム
US20240006427A1 (en) Imaging device and imaging system
TWI382756B (zh) A solid-state imaging device, a driving method of a solid-state imaging device, and an imaging device
KR101945051B1 (ko) 전자 기기 및 전자 기기의 구동 방법
JP5458582B2 (ja) 固体撮像装置、固体撮像装置の駆動方法および電子機器
TW201911855A (zh) 具有堆疊基板的光感測器的偵測電路
JP4691930B2 (ja) 物理情報取得方法および物理情報取得装置、並びに物理量分布検知の半導体装置、プログラム、および撮像モジュール
TW201911547A (zh) 光學感測器的像素以及光學感測器的操作方法
JP4609092B2 (ja) 物理情報取得方法および物理情報取得装置
US9871985B2 (en) Solid-state image pickup device and electronic apparatus including a solid-state image pickup device having high and low sensitivity pixels
TW201515467A (zh) 固體攝像元件及其驅動方法、及電子機器
JP2006050443A (ja) 撮像装置
KR20110014089A (ko) 고체 촬상 장치, 고체 촬상 장치의 아날로그-디지털 변환 방법 및 전자기기
JP2006352843A (ja) 撮像装置及び制御方法
JP2012119349A (ja) 固体撮像装置とその駆動方法、及び電子機器
KR20090086074A (ko) 이미지 센서 및 카메라
KR20180113506A (ko) 고체 촬상 장치, 고체 촬상 장치의 구동 방법, 및, 전자 기기
JP5187039B2 (ja) 固体撮像装置及びこれを用いた電子カメラ
JP2001024948A (ja) 固体撮像装置及びそれを用いた撮像システム
JP2006165663A (ja) 撮像装置、デジタルカメラ、及びカラー画像データ生成方法
JP4057996B2 (ja) 固体撮像装置およびそれを利用した撮像システム
JP2002125239A (ja) 撮像装置
JP2009188650A (ja) 撮像装置
JP4232485B2 (ja) 読出アドレス制御方法および装置、並びに半導体システムおよび撮像デバイス
JP6579186B2 (ja) 撮像素子及び撮像装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061013

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070115

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110119

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120119

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130119

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130119

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140119

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees