JP2013236170A - 固体撮像装置および車載制御装置 - Google Patents
固体撮像装置および車載制御装置 Download PDFInfo
- Publication number
- JP2013236170A JP2013236170A JP2012106052A JP2012106052A JP2013236170A JP 2013236170 A JP2013236170 A JP 2013236170A JP 2012106052 A JP2012106052 A JP 2012106052A JP 2012106052 A JP2012106052 A JP 2012106052A JP 2013236170 A JP2013236170 A JP 2013236170A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- signal
- output
- state imaging
- capacitor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
【課題】各画素の画素信号とともに種々の画像特徴量を出力する。
【解決手段】CDS回路3は、スイッチにより接続/切り離し可能な2つのキャパシタを備え、画素から与えられるリセット電位と信号電位との差分に応じた画素信号を一方のキャパシタに生成した後、その電荷の一部を他方のキャパシタに分配して2つの独立した画素信号を生成する。平均回路19は、各CDS回路3の他方のキャパシタの一端を共通に接続しており、平均値信号を生成する。照度検出部24は、各画素行の平均値信号を加算して、画素アレイ2の受光面の照度を出力する。
【選択図】図1
【解決手段】CDS回路3は、スイッチにより接続/切り離し可能な2つのキャパシタを備え、画素から与えられるリセット電位と信号電位との差分に応じた画素信号を一方のキャパシタに生成した後、その電荷の一部を他方のキャパシタに分配して2つの独立した画素信号を生成する。平均回路19は、各CDS回路3の他方のキャパシタの一端を共通に接続しており、平均値信号を生成する。照度検出部24は、各画素行の平均値信号を加算して、画素アレイ2の受光面の照度を出力する。
【選択図】図1
Description
本発明は、固体撮像装置およびこれを用いた車載制御装置に関する。
車両には、運転者の操作負担を軽減するために、オートライト装置、オートワイパ装置、オートエアコン装置などが搭載されている。オートライト装置は、周囲の明るさに応じてライトを自動点灯/自動消灯するもので、周囲の明るさを検出する照度センサが必要である。オートワイパ装置は、降雨時にワイパの払拭動作を自動で行うもので、ウィンドシールドに付着した雨滴を検出する雨滴センサが必要である。オートエアコン装置は、車室内で日射を受ける位置に吹き出される空調風の温度や風量を制御するため、日射方位を検出する日射センサが必要である。
従来、こうした画像特徴量(照度、雨滴、日射)を検出するセンサにはCCDカメラなどが用いられてきた。特許文献1には、CCDカメラから出力される画像データの画素当たりの照度変化量に基づいて雨滴の輪郭を検出する方法が記載されている。この雨滴検出方法は、雨滴検出領域の画面照度(ヒストグラムのピーク値または画面の全画素データの平均値)を算出し、画素当たりの照度変化量を画面照度に基づいて算出した閾値によって識別して雨滴の輪郭を検出している。
従来、画素当たりの照度変化量や画面照度の算出は画像処理により行われているので計算量が多くなる。このため、高速プロセッサや大容量メモリなどのハードウェア資源が必要となる。また、画像特徴量(照度、雨滴、日射)を検出する各種センサは何れも固体撮像装置を用いているが、検出する画像特徴量が異なるため、従来は別々の検出装置として設けられていた。
本発明は上記事情に鑑みてなされたもので、その目的は、各画素の画素信号とともに種々の画像特徴量を出力可能な固体撮像装置およびこれを用いた車載制御装置を提供することにある。
本発明に係る固体撮像装置は、
光電変換素子(PD)、電荷蓄積部(FD)、前記光電変換素子から前記電荷蓄積部に電荷を転送する電荷転送部(M1)、電荷状態をリセットするリセット部(M2)および前記電荷蓄積部の電荷に基づく電位を出力する出力部(13)を有する画素(P)が行列状に配置されてなる画素アレイ(2)と、
前記画素アレイの画素列ごとに設けられ、同じ画素列に属する画素の出力部が共通に接続された垂直信号線(11)と第1出力ノード(14)との間に設けられた第1キャパシタ(Cc)、一端が第2出力ノード(15)に接続された第2キャパシタ(Csh)、前記第1出力ノードと前記第2出力ノードとの間に設けられた第1スイッチ(Msh)、および前記第1出力ノードから引き出される第1出力ライン(16)に設けられた第2スイッチ(Mr2)を備えたCDS回路(3)と、
前記画素列ごとに設けられた各CDS回路の第1出力ラインを共通に接続し、その共通接続ノード(22)に生成される平均値信号を出力する特徴量演算回路(7)と、
前記各CDS回路の第1スイッチをオン、第2スイッチをオフした状態で、前記リセット部により画素の電荷状態をリセットして当該画素からリセット電位が出力されているときと、前記電荷転送部により前記光電変換素子から前記電荷蓄積部に電荷を転送して当該画素から信号電位が出力されているときとで前記CDS回路に与える基準電位の状態を相違させることにより、これらリセット電位と信号電位との差分に応じた画素信号を前記第2キャパシタに生成し、その後、前記第1スイッチをオフして前記第1キャパシタの電荷を初期化してから前記第1スイッチをオンして前記第2キャパシタの電荷の一部を前記第1キャパシタに分配し、前記第1スイッチをオフ、第2スイッチをオンすることにより前記画素信号の平均値信号を生成する制御部(18)とを備えたことを特徴とする。
光電変換素子(PD)、電荷蓄積部(FD)、前記光電変換素子から前記電荷蓄積部に電荷を転送する電荷転送部(M1)、電荷状態をリセットするリセット部(M2)および前記電荷蓄積部の電荷に基づく電位を出力する出力部(13)を有する画素(P)が行列状に配置されてなる画素アレイ(2)と、
前記画素アレイの画素列ごとに設けられ、同じ画素列に属する画素の出力部が共通に接続された垂直信号線(11)と第1出力ノード(14)との間に設けられた第1キャパシタ(Cc)、一端が第2出力ノード(15)に接続された第2キャパシタ(Csh)、前記第1出力ノードと前記第2出力ノードとの間に設けられた第1スイッチ(Msh)、および前記第1出力ノードから引き出される第1出力ライン(16)に設けられた第2スイッチ(Mr2)を備えたCDS回路(3)と、
前記画素列ごとに設けられた各CDS回路の第1出力ラインを共通に接続し、その共通接続ノード(22)に生成される平均値信号を出力する特徴量演算回路(7)と、
前記各CDS回路の第1スイッチをオン、第2スイッチをオフした状態で、前記リセット部により画素の電荷状態をリセットして当該画素からリセット電位が出力されているときと、前記電荷転送部により前記光電変換素子から前記電荷蓄積部に電荷を転送して当該画素から信号電位が出力されているときとで前記CDS回路に与える基準電位の状態を相違させることにより、これらリセット電位と信号電位との差分に応じた画素信号を前記第2キャパシタに生成し、その後、前記第1スイッチをオフして前記第1キャパシタの電荷を初期化してから前記第1スイッチをオンして前記第2キャパシタの電荷の一部を前記第1キャパシタに分配し、前記第1スイッチをオフ、第2スイッチをオンすることにより前記画素信号の平均値信号を生成する制御部(18)とを備えたことを特徴とする。
本手段のCDS回路は、第1スイッチを介して接続可能な第1キャパシタと第2キャパシタを備えている。この構成によれば、リセット電位と信号電位との差分に応じた画素信号を第2キャパシタに生成した後、第2キャパシタの電荷の一部を第1キャパシタに分配することにより、第1出力ノードからも画素信号を出力可能となる。特徴量演算回路は、画素列ごとに設けられた各CDS回路の第1出力ラインを共通に接続している。従って、電荷の分配後、各CDS回路の第1出力ラインに設けられた第2スイッチをオンすれば、共通接続ノードに画素信号の平均値信号が生成される。
本手段によれば、高速プロセッサや大容量メモリなどのハードウェア資源を追加することなく、CDS回路を利用して画像特徴量である平均値信号を容易に生成することができる。また、第1出力ノードの画素信号を用いて平均値信号を生成するので、この平均値信号と第2出力ノードの画素信号とを並行して出力することができる。特徴量演算回路は、第2出力ノードの画素信号を順次入力して、2つの画素信号の絶対値差分信号、入力された画素信号のうち最大値をとる画素位置を示す最大位置信号などの種々の画像特徴量を出力することができる。
本発明に係る車載制御装置は、車両のウィンドシールド(28)を通して外光が画素アレイ(2)の受光面に入射されるようにウィンドシールド近傍に取り付けられた固体撮像装置(1)を備えている。さらに、固体撮像装置の照度検出部(24)で検出された画素アレイの受光面の照度に基づいて車両のライトを自動点灯および/または自動消灯するオートライト装置(29)、固体撮像装置の雨滴検出部(25)で検出された画素アレイの受光面に映る雨滴の量に基づいて車両用ワイパの払拭動作を自動で行うオートワイパ装置(30)、または固体撮像装置の日射検出部(26)で検出された画素アレイの受光面への日射方位に基づいて車室内への空調風の吹出状態を自動制御する車両用空調装置(31)を備えている。本手段によれば、これらの車載制御装置の間で固体撮像装置を共通化できる。
(第1の実施形態)
以下、第1の実施形態について図1ないし図7を参照しながら説明する。
図1に示すCMOSイメージセンサ1(固体撮像装置)は、画素PがM行N列に行列状に配置されてなる画素アレイ2、CDS回路3、垂直走査回路4、水平走査回路5、タイミング制御部6、特徴量演算回路7、ゲインコントロールアンプ8a、8b、8c、8d(以下、GCAと称す)、A/Dコンバータ9、出力データ処理部10を備えて構成されている。画素アレイ2には画素列ごとに垂直信号線11が配線されている。同じ画素列に属する画素Pは、当該画素列に対し設けられた垂直信号線11に接続されている。なお、簡易表記のため、画素P、CDS回路3などでは内部ノードをドットで示している。
以下、第1の実施形態について図1ないし図7を参照しながら説明する。
図1に示すCMOSイメージセンサ1(固体撮像装置)は、画素PがM行N列に行列状に配置されてなる画素アレイ2、CDS回路3、垂直走査回路4、水平走査回路5、タイミング制御部6、特徴量演算回路7、ゲインコントロールアンプ8a、8b、8c、8d(以下、GCAと称す)、A/Dコンバータ9、出力データ処理部10を備えて構成されている。画素アレイ2には画素列ごとに垂直信号線11が配線されている。同じ画素列に属する画素Pは、当該画素列に対し設けられた垂直信号線11に接続されている。なお、簡易表記のため、画素P、CDS回路3などでは内部ノードをドットで示している。
画素Pは、図2に示すようにフォトダイオードPD(光電変換素子)、静電容量をもつフローティングディフュージョンFD(電荷蓄積部)、転送トランジスタM1(電荷転送部)、リセットトランジスタM2(リセット部)、増幅トランジスタM3および選択トランジスタM4から構成されている。これらのトランジスタM1〜M4は、例えばNチャネル型のMOSトランジスタから構成されている。
転送トランジスタM1は、フォトダイオードPDのカソードとフローティングディフュージョンFDとの間に接続されている。転送トランジスタM1は、Hレベルの転送信号φTrnが与えられると、フォトダイオードPDで光電変換されて蓄積された電荷をフローティングディフュージョンFDに転送する。
リセットトランジスタM2は、リセット電圧線12とフローティングディフュージョンFDとの間に接続されている。転送トランジスタM1がオンしている時にHレベルのリセット信号φRstが与えられると、リセットトランジスタM2は、フォトダイオードPDとフローティングディフュージョンFDの電荷状態をリセットする。
増幅トランジスタM3は、フローティングディフュージョンFDの電位をゲート電位とするソースフォロアの接続形態を持つ。選択トランジスタM4は、増幅トランジスタM3と垂直信号線11との間に接続されており、Hレベルの選択信号φSelが与えられるとオンする。これら増幅トランジスタM3と選択トランジスタM4により出力部13が構成されている。出力部13は、Hレベルの選択信号φSelに従ってフローティングディフュージョンFDの蓄積電荷に基づく電位(リセット電位/信号電位)を出力する。
通常のCMOSイメージセンサでは、リセット電位は一定ではなく、画素ごとまたはフレームごとに揺らぐ(kT/Cノイズ)。CDS回路3(相関二重サンプリング回路)は、この画素に生じるリセットノイズ、増幅トランジスタM3のしきい値のばらつきなどの画素固有の固定パターンノイズを除去するノイズ除去回路である。本実施形態のCDS回路3は、ノイズ除去機能のみならず、特徴量演算回路7とともに種々の画素特徴量(平均値信号、絶対値差分信号、最大位置信号)を生成する機能を有している。
図3は、CDS回路3の構成を示している。垂直信号線11とノード14(第1出力ノード)との間にはキャパシタCc(第1キャパシタ)が接続されている。ノード15(第2出力ノード)とグランドとの間にはキャパシタCsh(第2キャパシタ)が接続されている。これらキャパシタCcとCshは、互いに等しい容量値を持つように構成されている。ノード14、15の間には、信号φSHをゲート信号とするMOSトランジスタMsh(第1スイッチ)が接続されている。
垂直信号線11とグランドとの間に接続されたMOSトランジスタMbは、画素Pを構成する増幅トランジスタM3の負荷トランジスタであり、ゲートにバイアス電圧Vbが与えられている。MOSトランジスタMcは、クランプ電圧Vr(基準電位に相当)を持つ電圧線とノード14との間に接続されており、信号φCをゲート信号とする。MOSトランジスタMcは、画素Pから出力されるリセット電位と信号電位の差分に応じた画素信号を生成する際に用いられる。
MOSトランジスタMr1、Mr2、Mr3、Mr4は、それぞれ信号φR1、φM、φR2、φR2をゲート信号とし、少なくともキャパシタCc、Cshの電荷をゼロに初期化するときにオンされる。加えて、MOSトランジスタMr1は、キャパシタCshの電荷の一部をキャパシタCcに分配して平均値信号を得る際にもオンされる。また、ノード14から引き出される出力ライン16(第1出力ライン)に設けられたMOSトランジスタMr2(第2スイッチ)は、キャパシタCcの電荷を特徴量演算回路7に取り出す際にもオンされる。
MOSトランジスタMaはソースフォロアの接続形態を持ち、そのゲートとノード15との間の出力ライン17(第2出力ライン)にはMOSトランジスタMy(第3スイッチ)が接続されている。MOSトランジスタMyは、画素列ごとに与えられる信号φYn(n=1、2、…、N)をゲート信号とする。これらMOSトランジスタMa、Myは、ノード15の電位を特徴量演算回路7に取り出す際に用いられる。
図1に示す垂直走査回路4は、シフトレジスタ、アドレスデコーダ等によって構成されており、各行ごとに上記リセット信号φRst、転送信号φTrnおよび選択信号φSelを出力する。水平走査回路5は、シフトレジスタ、アドレスデコーダ等によって構成されており、CDS回路3と特徴量演算回路7に対し、信号φY1〜φYn、φC、φSH、φM、φR1、φR2、φR3、φDiff、φD、φRs、φMax、φRmを出力する。
タイミング制御部6は、基準クロックに基づいて垂直走査回路4と水平走査回路5に対し、画素P、CDS回路3、特徴量演算回路7、A/Dコンバータ9および出力データ処理部10の動作タイミングを指令する。垂直走査回路4と水平走査回路5とタイミング制御部6は、制御部18を構成している。
特徴量演算回路7は、平均回路19、差分回路20およびWinner-Take-All回路21(以下、WTA回路と称す)から構成されている。出力データ処理部10も、WTA回路21に関連して特徴量演算回路7の一部の機能を担っている。平均回路19は、入力された全ての画素列の画素信号に基づいてその平均値信号を出力する。平均回路19は、図4に示すようにコモンライン22(共通接続ノード)を有している。コモンライン22には、画素列ごとに設けられた各CDS回路3の出力ライン16が共通に接続されている。MOSトランジスタMeは、コモンライン22に生成された平均値信号を出力するように、ソースフォロアの接続形態を有している。コモンライン22とグランドとの間には、信号φR3をゲート信号とするリセット用のMOSトランジスタMr5が接続されている。
差分回路20は、CDS回路3の出力ライン17から順次出力される2つの画素信号の絶対値差分信号を出力する。差分回路20は、図5に示すように、入力電圧と基準電圧Vrefとの差電圧に応じた電荷を蓄積するキャパシタCdを備えている。入力端とキャパシタCdの一端との間には、信号φDiffをゲート信号とするMOSトランジスタMfが接続されている。キャパシタCdの他端(ノード23)と基準電圧Vrefを持つ電圧線との間には、信号φDをゲート信号とするMOSトランジスタMdが接続されている。MOSトランジスタMgは、ノード23の電圧をゲート電圧とするソースフォロアの接続形態を有しており、そのソースとグランドとの間にはキャパシタCo1が接続されている。信号φRsをゲート信号とするMOSトランジスタMr6、Mr7、Mr8は、キャパシタCd、Co1の電荷をゼロに初期化するときにオンされる。
WTA回路21は、各画素列に対応してCDS回路3の出力ライン17から順次出力される画素信号のうちの最大値を出力する。WTA回路21は、図6に示すように、ソースフォロアの接続形態を持つMOSトランジスタMhを備えている。入力電圧は、信号φMaxをゲート信号とするMOSトランジスタMmを介してMOSトランジスタMhのゲートに与えられる。MOSトランジスタMhのソースとグランドとの間にはキャパシタCo2が接続されている。信号φRmをゲート信号とするMOSトランジスタMr9は、キャパシタCo2の電荷をゼロに初期化するときにオンされる。なお、CDS回路3および特徴量演算回路7を構成する各MOSトランジスタも、例えばNチャネル型のMOSトランジスタから構成されている。
図1に示すように、各画素列のCDS回路3の出力ライン17から出力される画素信号は、GCA8aを介してA/Dコンバータ9に入力される。平均回路19、差分回路20、WTA回路21から出力される平均値信号、絶対値差分信号、最大値信号は、それぞれGCA8b、8c、8dを介してA/Dコンバータ9に入力される。A/Dコンバータ9は、タイミング制御部6からのA/D開始信号に基づいて各信号をA/D変換し、A/D変換値を出力データ処理部10に出力する。
出力データ処理部10は、照度検出部24、雨滴検出部25および日射検出部26を備えており、加算回路をはじめとするロジック回路により構成されている。照度検出部24は、平均回路19から順次出力される全ての画素行についての平均値信号を加算して、画素アレイ2の受光面の照度を検出する。雨滴検出部25は、各画素行について差分回路20から順次出力される全ての隣接する画素同士の絶対値差分信号を加算するとともに、当該加算値を全ての画素行について加算することにより、画素アレイ2の受光面に映る雨滴の量を検出する。
日射検出部26は、画素アレイ2を構成する全ての画素を対象として、WTA回路21から出力される最大値信号が増加した時の画素の位置を検出する。そして、WTA回路21に全ての画素信号を入力された後、最大値信号が最後に増加した時の画素の位置を最大位置信号として出力する。レンズ等を通して外部光が入射される画素アレイ2の受光面のうち、画素信号の最大位置に対応する方位を日射方位として検出する。
次に、本実施形態の作用を説明する。図7は、第1行目の画素行についてのCDS回路3と特徴量演算回路7のタイミングチャートである。期間1〜期間4は画素(1,1)〜画素(1,N)の画素信号の生成期間、期間5〜期間7は画素(1,1)〜画素(1,N)の平均値信号の生成期間、期間8〜期間11は画素(1,1)と画素(1,2)との絶対値差分信号および画素(1,1)と画素(1,2)を対象とする最大値信号の生成期間である。
期間1は、画素P、CDS回路3および特徴量演算回路7のリセット期間である。制御部18は、画素Pの転送トランジスタM1とリセットトランジスタM2をオンして、フォトダイオードPDとフローティングディフュージョンFDの電荷状態をリセット電圧線12の電圧VDDでリセットする。一方、CDS回路3と特徴量演算回路7を構成するトランジスタのうちMOSトランジスタMc、Mdを除くすべてのトランジスタをオンして、キャパシタCc、Csh、Cd、Co1、Co2の電荷をゼロに初期化する。
期間2は、フォトダイオードPDの露光期間である。制御部18は、転送トランジスタM1をオフし、リセットトランジスタM2を引き続きオンしてフローティングディフュージョンFDをリセットする。この期間では、CDS回路3と特徴量演算回路7を構成する全てのトランジスタをオフする。
期間3は、フォトダイオードPDの露光期間であるとともに、画素Pからリセット電位を読み出す期間である。制御部18は、画素PのリセットトランジスタM2をオフし、選択トランジスタM4をオンする。これにより、画素Pは、リセットされたフローティングディフュージョンFDの電荷に基づくリセット電位を出力する。一方、制御部18は、CDS回路3のMOSトランジスタMshをオンしてキャパシタCcとCshを接続し、MOSトランジスタMcをオンしてノード14にクランプ電圧Vrを与える。この時、キャパシタCcにはクランプ電圧Vrとリセット電位との差電圧が印加され、キャパシタCshにはクランプ電圧Vrが印加される。
期間4は、画素Pから信号電位を読み出して画素信号を生成する期間である。制御部18は、画素Pの選択トランジスタM4をオンしたまま転送トランジスタM1をオンする。これにより、画素Pは、フォトダイオードPDの電荷が転送されたフローティングディフュージョンFDの電荷に基づく信号電位を出力する。一方、制御部18は、CDS回路3のMOSトランジスタMcをオフして、ノード14に与える基準電位の状態を期間3とは相違させる。
その結果、画素Pから出力されるリセット電位と信号電位の差電圧をVsigとして、ノード14、15の電圧Vout1(キャパシタCshの電圧)は(1)式のようになる。
Vout1=Vr−(Cc/(Cc+Csh))Vsig …(1)
キャパシタCcとCshの容量値は等しいので、(1)式は(2)式のようになる。
Vout1=Vr−Vsig/2 …(2)
すなわち、キャパシタCshには、リセット電位と信号電位の差分に比例し、画素固有の固定パターンノイズが除去された画素信号が生成される。クランプ電圧Vrは、電圧Voutが正の値となるように適宜決定すればよい。
Vout1=Vr−(Cc/(Cc+Csh))Vsig …(1)
キャパシタCcとCshの容量値は等しいので、(1)式は(2)式のようになる。
Vout1=Vr−Vsig/2 …(2)
すなわち、キャパシタCshには、リセット電位と信号電位の差分に比例し、画素固有の固定パターンノイズが除去された画素信号が生成される。クランプ電圧Vrは、電圧Voutが正の値となるように適宜決定すればよい。
期間5は、キャパシタCshからキャパシタCcに電荷を分配する前の準備として、キャパシタCcの電荷をゼロにリセットする期間である。制御部18は、CDS回路3のMOSトランジスタMshをオフした後、MOSトランジスタMr1、Mr2、Mr5をオンする。
期間6は、キャパシタCshからキャパシタCcに電荷を分配する期間である。制御部18は、MOSトランジスタMr1をオンしたまま、MOSトランジスタMr2、Mr5をオフしてからMOSトランジスタMshをオンする。キャパシタCcとCshの容量値は等しいので、電荷は等分配され、ノード14、15の電圧Vout1(キャパシタCc、Cshの電圧)は(3)式のようになる。MOSトランジスタMaを介したCDS回路3の出力電圧Vout2は、MOSトランジスタのしきい値電圧をVthとして(4)式のようになる。
Vout1=(Vr−Vsig/2)/2 …(3)
Vout2=(Vr−Vsig/2)/2−Vth …(4)
Vout1=(Vr−Vsig/2)/2 …(3)
Vout2=(Vr−Vsig/2)/2−Vth …(4)
期間7は、各画素列の画素信号の平均値信号を生成する期間である。制御部18は、MOSトランジスタMshをオフしてキャパシタCshの電荷を保存した後、MOSトランジスタMr2をオンする。これにより、平均回路19のコモンライン22を介して、全ての画素列のCDS回路3のキャパシタCcが並列に接続され、コモンライン22に平均電圧が生成される。平均回路19は、この平均電圧からMOSトランジスタのしきい値電圧Vthだけ低い電圧、すなわち全ての画素列の画素信号の平均値信号を出力する。
期間8は、差分回路20とWTA回路21に、第1列目のCDS回路3の出力電圧V1を入力する期間である。制御部18は、第1列目のCDS回路3のMOSトランジスタMyをオンするとともに、差分回路20のMOSトランジスタMf、MdおよびWTA回路21のMOSトランジスタMmをオンする。これにより、差分回路20のキャパシタCdは、V1−Vrefの電圧に充電される。また、WTA回路21は、V1−Vthの電圧を出力する。
期間9は、差分回路20とWTA回路21に、第2列目のCDS回路3の出力電圧V2を入力する期間である。制御部18は、差分回路20のMOSトランジスタMdをオフした後、第2列目のCDS回路3のMOSトランジスタMyをオンする。これにより、ノード23の電圧はV2−V1+Vrefとなり、差分回路20はV2−V1+Vref−Vthの電圧を出力する。この電圧は、未だ最終的な絶対値差分電圧ではない。一方、WTA回路21は、V2>V1のときにはV2−Vthの電圧を出力し、V2≦V1のときには期間8で出力したV1−Vthの電圧を保持する。
期間10、11は、差分回路20に対し期間8、9とは逆順で出力電圧V2、V1を入力する期間である。WTA回路21への出力電圧V1、V2の入力は不要である。期間10において、制御部18は、第2列目のCDS回路3のMOSトランジスタMyを引き続きオンするとともに、MOSトランジスタMdをオンする。このとき、キャパシタCdはV2−Vrefの電圧に充電される。
期間11において、制御部18は、MOSトランジスタMdをオフした後、第1列目のCDS回路3のMOSトランジスタMyをオンする。これにより、ノード23の電圧はV1−V2+Vrefとなる。期間9におけるノード23の電圧がV2−V1+Vrefだったので、V1−V2+Vref>V2−V1+Vrefの場合すなわちV1>V2の場合に限り、差分回路20はV1−V2+Vref−Vthの電圧を出力する。従って、期間11における差分回路20は、以下のようにV1とV2の最終的な絶対値差分電圧を出力する。
V1<V2のとき:V2−V1+Vref−Vth
V1>V2のとき:V1−V2+Vref−Vth
V1<V2のとき:V2−V1+Vref−Vth
V1>V2のとき:V1−V2+Vref−Vth
図7には示していないが、期間12以降は画素列を1ずつ進めながら期間8〜期間11の処理が繰り返される。例えば、期間12〜期間15では、画素(1,2)と画素(1,3)との絶対値差分信号および画素(1,1)から画素(1,3)を対象とする最大値信号が生成され、期間16〜19では、画素(1,3)と画素(1,4)との絶対値差分信号および画素(1,1)から画素(1,4)を対象とする最大値信号が生成される。
こうして出力された画素信号、平均値信号、絶対値差分信号および最大位置信号は、それぞれGCA8a、8b、8c、8dで適切なゲインにより増幅された後、A/Dコンバータ9でA/D変換されて出力データ処理部10に与えられる。
照度は、画素アレイ2の受光面における平均的な明るさである。このため、照度検出部24は、各画素列の平均値信号を全ての画素行について加算して照度を求める。雨滴の量は、画素アレイ2の受光面に映る雨滴の輪郭(エッジ)の量に応じた値となる。このため、雨滴検出部25は、各画素行について全ての隣接する画素同士の絶対値差分信号を加算し、それをさらに全ての画素行について加算して雨滴の量を求める。日射方位は、画素アレイ2の受光面において入射光が最大となる画素位置に対応した方位である。日射検出部26は、各画面において、WTA回路21から出力される最大値信号(日射の強さ)が最後に増加した画素位置を最大位置信号とする。
以上説明したように、本実施形態のCDS回路3は、MOSトランジスタMshを介して接続/切り離し可能なキャパシタCc、Cshを備えている。画素Pからリセット電位が出力されているときと信号電位が出力されているときとでノード14に印加される基準電位の状態を相違させることにより、リセット電位と信号電位との差分に応じた画素信号がキャパシタCshに生成される。制御部18は、キャパシタCshに画素信号を生成した後、キャパシタCshの電荷の一部をキャパシタCcに分配してMOSトランジスタMshをオフするので、キャパシタCcに生成された画素信号とキャパシタCshに生成された画素信号を別々に利用可能となる。
画素列ごとに設けられたCDS回路3の出力ライン16は、MOSトランジスタMr2を介して特徴量演算回路7の平均回路19のコモンライン22に共通に接続されている。制御部18は、キャパシタCcに画素信号を分配してMOSトランジスタMshをオフした後、MOSトランジスタMr2をオンすることにより、平均回路19から画素信号の平均値信号を出力することができる。
この場合、平均値信号を画素行分だけ加算すれば受光面全体の照度が得られるので、高速プロセッサや大容量メモリなどからなるハードウェア資源を用いた画像処理が不要になる。また、画素信号の生成とほぼ同時に平均値信号が得られる。このため、外部に対し画素信号と平均値信号を並行して出力することができる。
キャパシタCcとCshの容量値は等しいので、CDS回路3がMOSトランジスタMaを介して出力する画素信号のレベルと、平均回路19がMOSトランジスタMeを介して出力する平均値信号のレベルは、同じレベル基準を持っている。すなわち、CDS回路3が出力する画素信号の平均電圧が、平均回路19が出力する平均値信号の電圧に一致する。従って、GCA8a、8b相互のゲイン調節が不要になる。
特徴量演算回路7は、平均回路19の他に、各画素列のCDS回路3から画素信号を順次選択的に入力して絶対値差分信号および最大位置信号を求める差分回路20およびWTA回路21を備えている。従って、本実施形態のCMOSイメージセンサ1は、画素ごとの明るさ(画素信号)に加え、照度、雨滴の量、日射方位、日射の強さなどの画像特徴量を出力することができる。これにより、外部に設けた処理回路による画素信号の処理負担が大幅に軽減される。
(第2の実施形態)
次に、第1の実施形態で説明したCMOSイメージセンサ1を車載制御装置に適用した第2の実施形態について図8および図9を参照しながら説明する。図9に示すように、車両27の車室内においてウィンドシールド28の上隅部近傍であってワイパの払拭領域内には、外光がウィンドシールド28を通して画素アレイ2の受光面に入射するようにCMOSイメージセンサ1が取り付けられている。
次に、第1の実施形態で説明したCMOSイメージセンサ1を車載制御装置に適用した第2の実施形態について図8および図9を参照しながら説明する。図9に示すように、車両27の車室内においてウィンドシールド28の上隅部近傍であってワイパの払拭領域内には、外光がウィンドシールド28を通して画素アレイ2の受光面に入射するようにCMOSイメージセンサ1が取り付けられている。
図8に示すように、CMOSイメージセンサ1は、ライトECU29、ワイパ制御装置30、エアコンECU31と組み合わされて、それぞれ車載制御装置32、33、34を構成している。これらの装置は、CAN(Controller Area Network)などの通信プロトコルに基づく車内LANで接続されており、照度、雨滴の量、日射方位、日射の強さなどの画像特徴量を送受信することができる。
ライトECU29(オートライト装置)は、CMOSイメージセンサ1の照度検出部24で検出された画素アレイ2の受光面の照度に基づいて、車両27のヘッドライト、テールランプ等のランプ35を自動点灯および/または自動消灯する。ワイパ制御装置30(オートワイパ装置)は、CMOSイメージセンサ1の雨滴検出部25で検出された雨滴の量に基づいて、ワイパモータ36の駆動を制御してワイパの払拭動作を自動調節する。
エアコンECU31(車両用空調装置)は、CMOSイメージセンサ1の日射検出部26で検出された画素アレイ2の受光面への日射方位に基づいて、ブロアモータ37の駆動を制御して車室内への空調風の吹出状態を自動制御する。これにより、車室内で日射を受ける位置に吹き出される空調風の風量を増やすことができる。なお、コンプレッサモータの駆動を制御して空調風の温度を制御してもよい。
本実施形態によれば、これまで別々の固体撮像装置(例えばCCDカメラ)を用いていた複数の車載制御装置が、1つのCMOSイメージセンサ1を共用化することができる。これにより、ウィンドシールド28近傍に設けるセンサの数を低減でき、車載制御システムの簡素化を図ることができる。
(その他の実施形態)
以上、本発明の好適な実施形態について説明したが、本発明は上述した実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲内で種々の変形、拡張を行うことができる。
以上、本発明の好適な実施形態について説明したが、本発明は上述した実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲内で種々の変形、拡張を行うことができる。
差分回路20およびWTA回路21は、それぞれ必要に応じて設ければよい。
平均回路19は、全ての画素列の画素信号を対象として平均値信号を生成したが、一部の画素列を対象として画素信号の平均値信号を生成する構成としてもよい。
平均回路19は、全ての画素列の画素信号を対象として平均値信号を生成したが、一部の画素列を対象として画素信号の平均値信号を生成する構成としてもよい。
制御部18は、WTA回路21に画素アレイ2の一部の画素の画素信号を入力し、その中の最大位置信号を生成してもよい。
出力データ処理部10を構成する照度検出部24、雨滴検出部25、日射検出部26は、それぞれ必要に応じて設ければよい。また、これらをCMOSイメージセンサ1の外部に設けてもよい。
出力データ処理部10を構成する照度検出部24、雨滴検出部25、日射検出部26は、それぞれ必要に応じて設ければよい。また、これらをCMOSイメージセンサ1の外部に設けてもよい。
照度検出部24と雨滴検出部25は、加算処理をした後で除算処理(シフト処理)を行ってもよい。
キャパシタCcとCshの容量値が異なる場合には、GCA8a、8bのゲインを変更することにより相互のゲイン調節を行えばよい。例えば、GCA8a、8bのゲインをキャパシタCcとCshの比率に応じたゲインとすればよい。また、一定電圧(Vth)だけレベルシフトした上でキャパシタCcとCshの比率に応じたゲインとしてもよい。
キャパシタCcとCshの容量値が異なる場合には、GCA8a、8bのゲインを変更することにより相互のゲイン調節を行えばよい。例えば、GCA8a、8bのゲインをキャパシタCcとCshの比率に応じたゲインとすればよい。また、一定電圧(Vth)だけレベルシフトした上でキャパシタCcとCshの比率に応じたゲインとしてもよい。
日射検出部26は、WTA回路21で生成される最大値信号を出力してもよい。この最大値信号は日射の強さを表している。そこで、エアコンECU31は、最大値信号に基づいて車室内への空調風の吹出状態(風量、温度等)を自動制御してもよい。
白黒画像を例に説明したが、カラー画像を対象とする場合には、例えば以下のように構成すればよい。R画素、G画素、B画素ごとに別々にまたはR画素、G画素、B画素の全てについて平均値信号を求め、その平均値信号を用いて照度を検出すればよい。R画素、G画素、B画素ごとに絶対値差分信号を生成し、それらをR画素、G画素、B画素ごとにまたは全ての画素について加算する。この加算値に基づいて雨滴の量を検出すればよい。R画素、G画素、B画素ごとに個別に最大位置信号を生成し、これら最大位置信号の少なくとも1つを用いて日射方位を検出すればよい。
図面中、1はCMOSイメージセンサ(固体撮像装置)、2は画素アレイ、3はCDS回路、7は特徴量演算回路、11は垂直信号線、13は出力部、14はノード(第1出力ノード)、15はノード(第2出力ノード)、16は出力ライン(第1出力ライン)、17は出力ライン(第2出力ライン)、18は制御部、22はコモンライン(共通接続ノード)、24は照度検出部、25は雨滴検出部、26は日射検出部、28はウィンドシールド、29はライトECU(オートライト装置)、30はワイパ制御装置(オートワイパ装置)、31はエアコンECU(車両用空調装置)、32、33、34は車載制御装置、Pは画素、PDはフォトダイオード(光電変換素子)、FDはフローティングディフュージョン(電荷蓄積部)、M1は転送トランジスタ(電荷転送部)、M2はリセットトランジスタ(リセット部)、Ccはキャパシタ(第1キャパシタ)、Cshはキャパシタ(第2キャパシタ)、MshはMOSトランジスタ(第1スイッチ)、Mr2はMOSトランジスタ(第2スイッチ)、MyはMOSトランジスタ(第3スイッチ)である。
Claims (12)
- 光電変換素子(PD)、電荷蓄積部(FD)、前記光電変換素子から前記電荷蓄積部に電荷を転送する電荷転送部(M1)、電荷状態をリセットするリセット部(M2)および前記電荷蓄積部の電荷に基づく電位を出力する出力部(13)を有する画素(P)が行列状に配置されてなる画素アレイ(2)と、
前記画素アレイの画素列ごとに設けられ、同じ画素列に属する画素の出力部が共通に接続された垂直信号線(11)と第1出力ノード(14)との間に設けられた第1キャパシタ(Cc)、一端が第2出力ノード(15)に接続された第2キャパシタ(Csh)、前記第1出力ノードと前記第2出力ノードとの間に設けられた第1スイッチ(Msh)、および前記第1出力ノードから引き出される第1出力ライン(16)に設けられた第2スイッチ(Mr2)を備えたCDS回路(3)と、
前記画素列ごとに設けられた各CDS回路の第1出力ラインを共通に接続し、その共通接続ノード(22)に生成される平均値信号を出力する特徴量演算回路(7)と、
前記各CDS回路の第1スイッチをオン、第2スイッチをオフした状態で、前記リセット部により画素の電荷状態をリセットして当該画素からリセット電位が出力されているときと、前記電荷転送部により前記光電変換素子から前記電荷蓄積部に電荷を転送して当該画素から信号電位が出力されているときとで前記CDS回路に与える基準電位の状態を相違させることにより、これらリセット電位と信号電位との差分に応じた画素信号を前記第2キャパシタに生成し、その後、前記第1スイッチをオフして前記第1キャパシタの電荷を初期化してから前記第1スイッチをオンして前記第2キャパシタの電荷の一部を前記第1キャパシタに分配し、前記第1スイッチをオフ、第2スイッチをオンすることにより前記画素信号の平均値信号を生成する制御部(18)とを備えたことを特徴とする固体撮像装置。 - 前記第1キャパシタと前記第2キャパシタの容量値が等しいことを特徴とする請求項1記載の固体撮像装置。
- 前記制御部は、前記画素アレイの画素行ごとに、全ての画素列の画素信号の平均値信号を生成し、それを各画素列の画素信号とともに出力することを特徴とする請求項1または2記載の固体撮像装置。
- 前記画素アレイの全ての画素行について出力された前記画素信号の平均値信号を加算し、前記画素アレイの受光面の照度を検出する照度検出部(24)を備えたことを特徴とする請求項3記載の固体撮像装置。
- 前記CDS回路は、前記第2出力ノードから引き出される第2出力ライン(17)に第3スイッチ(My)を備え、
前記特徴量演算回路は、前記画素列ごとに設けられた各CDS回路の第2出力ラインから出力される画素信号を入力し、入力された2つの画素信号の絶対値差分信号を出力するとともに、入力された画素信号のうち最大値をとる画素位置を示す最大位置信号を出力するように構成され、
前記制御部は、前記第2キャパシタに画素信号を生成した後、前記各CDS回路の第3スイッチを順次選択的にオンして前記絶対値差分信号と前記最大位置信号を生成することを特徴とする請求項1ないし4の何れかに記載の固体撮像装置。 - 前記CDS回路は、前記第2出力ノードから引き出される第2出力ライン(17)に第3スイッチ(My)を備え、
前記特徴量演算回路は、前記画素列ごとに設けられた各CDS回路の第2出力ラインから出力される画素信号を入力し、入力された2つの画素信号の絶対値差分信号を出力するように構成され、
前記制御部は、前記第2キャパシタに画素信号を生成した後、前記各CDS回路の第3スイッチを順次選択的にオンして前記絶対値差分信号を生成することを特徴とする請求項1ないし4の何れかに記載の固体撮像装置。 - 前記CDS回路は、前記第2出力ノードから引き出される第2出力ライン(17)に第3スイッチ(My)を備え、
前記特徴量演算回路は、前記画素列ごとに設けられた各CDS回路の第2出力ラインから出力される画素信号を入力し、入力された画素信号のうち最大値をとる画素位置を示す最大位置信号を出力するように構成され、
前記制御部は、前記第2キャパシタに画素信号を生成した後、前記各CDS回路の第3スイッチを順次選択的にオンして前記最大位置信号を生成することを特徴とする請求項1ないし4の何れかに記載の固体撮像装置。 - 前記制御部は、前記画素アレイの画素行ごとに、前記各画素列のCDS回路の第3スイッチを順次オンしながら隣接する画素同士の絶対値差分信号を生成し、
各画素行について前記隣接する画素同士の絶対値差分信号を加算するとともに当該加算値を各画素行について加算することにより、前記画素アレイの受光面に映る雨滴の量を検出する雨滴検出部(25)を備えたことを特徴とする請求項5または6記載の固体撮像装置。 - 前記制御部は、前記画素アレイの画素行ごとに前記各画素列のCDS回路の第3スイッチを順次オンし、その動作を各画素行について継続して行うことにより最大位置信号を生成し、
前記最大位置信号に基づいて前記画素アレイの受光面への日射方位を検出する日射検出部(26)を備えたことを特徴とする請求項5または7記載の固体撮像装置。 - 車両のウィンドシールド(28)を通して外光が画素アレイ(2)の受光面に入射されるようにウィンドシールド近傍に取り付けられた請求項4記載の固体撮像装置(1)と、
この固体撮像装置の照度検出部(24)で検出された前記画素アレイの受光面の照度に基づいて車両のライトを自動点灯および/または自動消灯するオートライト装置(29)とを備えたことを特徴とする車載制御装置。 - 車両のウィンドシールド(28)を通して外光が画素アレイ(2)の受光面に入射されるようにウィンドシールド近傍に取り付けられた請求項8記載の固体撮像装置(1)と、
この固体撮像装置の雨滴検出部(25)で検出された前記画素アレイの受光面に映る雨滴の量に基づいて車両用ワイパの払拭動作を自動で行うオートワイパ装置(30)とを備えたことを特徴とする車載制御装置。 - 車両のウィンドシールド(28)を通して外光が画素アレイ(2)の受光面に入射されるようにウィンドシールド近傍に取り付けられた請求項9記載の固体撮像装置(1)と、
この固体撮像装置の日射検出部(26)で検出された前記画素アレイの受光面への日射方位に基づいて車室内への空調風の吹出状態を自動制御する車両用空調装置(31)とを備えたことを特徴とする車載制御装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012106052A JP2013236170A (ja) | 2012-05-07 | 2012-05-07 | 固体撮像装置および車載制御装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012106052A JP2013236170A (ja) | 2012-05-07 | 2012-05-07 | 固体撮像装置および車載制御装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013236170A true JP2013236170A (ja) | 2013-11-21 |
Family
ID=49761959
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012106052A Pending JP2013236170A (ja) | 2012-05-07 | 2012-05-07 | 固体撮像装置および車載制御装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013236170A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101750419B1 (ko) | 2016-11-29 | 2017-06-23 | 주식회사 오디텍 | 차량용 통합 센서 |
CN107333074A (zh) * | 2016-04-29 | 2017-11-07 | 江苏思特威电子科技有限公司 | 成像装置及其成像方法 |
CN107370968A (zh) * | 2016-05-11 | 2017-11-21 | 江苏思特威电子科技有限公司 | 双相关采样 |
CN107370969A (zh) * | 2016-05-11 | 2017-11-21 | 江苏思特威电子科技有限公司 | 成像装置 |
CN109685035A (zh) * | 2019-01-04 | 2019-04-26 | 深圳英飞拓科技股份有限公司 | 一种用于摄像机雨刷的自动触发方法 |
-
2012
- 2012-05-07 JP JP2012106052A patent/JP2013236170A/ja active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107333074A (zh) * | 2016-04-29 | 2017-11-07 | 江苏思特威电子科技有限公司 | 成像装置及其成像方法 |
CN107333074B (zh) * | 2016-04-29 | 2020-03-27 | 思特威(上海)电子科技有限公司 | 成像装置、成像方法及图像传感器读取方法 |
CN107370968A (zh) * | 2016-05-11 | 2017-11-21 | 江苏思特威电子科技有限公司 | 双相关采样 |
CN107370969A (zh) * | 2016-05-11 | 2017-11-21 | 江苏思特威电子科技有限公司 | 成像装置 |
CN107370968B (zh) * | 2016-05-11 | 2020-09-04 | 思特威(上海)电子科技有限公司 | 成像装置及其成像方法 |
CN107370969B (zh) * | 2016-05-11 | 2020-10-02 | 思特威(上海)电子科技有限公司 | 成像装置 |
KR101750419B1 (ko) | 2016-11-29 | 2017-06-23 | 주식회사 오디텍 | 차량용 통합 센서 |
CN109685035A (zh) * | 2019-01-04 | 2019-04-26 | 深圳英飞拓科技股份有限公司 | 一种用于摄像机雨刷的自动触发方法 |
CN109685035B (zh) * | 2019-01-04 | 2022-02-15 | 深圳英飞拓科技股份有限公司 | 一种用于摄像机雨刷的自动触发方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110537366B (zh) | 固态摄像装置 | |
US10504949B2 (en) | Solid-state imaging device, method of driving solid-state imaging device, imaging system, and movable object | |
JP7046551B2 (ja) | 固体撮像装置及び撮像システム | |
US11115608B2 (en) | Imaging device, imaging system, and drive method of imaging device | |
JP7439325B2 (ja) | 撮像装置及び撮像システム | |
US20230188867A1 (en) | Solid-state imaging element | |
TWI797250B (zh) | 固體攝像裝置 | |
JP2021019268A (ja) | 光電変換装置及び撮像システム | |
JP2013236170A (ja) | 固体撮像装置および車載制御装置 | |
US10979647B2 (en) | Imaging device and imaging system | |
JP2017184185A (ja) | 撮像装置、撮像システム、および、移動体 | |
CN110875337B (zh) | 光电转换设备、摄像系统、移动体以及可堆叠半导体设备 | |
US11451725B2 (en) | Solid-state imaging element, imaging apparatus, and method for controlling solid-state imaging element | |
US20230326940A1 (en) | Imaging device and electronic apparatus | |
JP7297546B2 (ja) | 光電変換装置、撮像システム、移動体、および積層用の半導体基板 | |
CN115516850A (zh) | 成像装置和电子设备 | |
WO2023162471A1 (ja) | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 | |
JP2021082934A (ja) | 撮像装置及び撮像システム | |
WO2023062935A1 (ja) | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 | |
WO2023276199A1 (ja) | 固体撮像素子、電子機器、および、固体撮像素子の制御方法 | |
WO2023166854A1 (ja) | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 | |
WO2019039311A1 (ja) | 固体撮像素子、撮像装置、および、電子機器 | |
WO2023166848A1 (ja) | 撮像装置、画像処理装置および撮像装置の制御方法 | |
WO2023171109A1 (ja) | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 | |
WO2023007772A1 (ja) | 固体撮像素子 |