JP2022017124A - 撮像装置および撮像方法 - Google Patents
撮像装置および撮像方法 Download PDFInfo
- Publication number
- JP2022017124A JP2022017124A JP2020120251A JP2020120251A JP2022017124A JP 2022017124 A JP2022017124 A JP 2022017124A JP 2020120251 A JP2020120251 A JP 2020120251A JP 2020120251 A JP2020120251 A JP 2020120251A JP 2022017124 A JP2022017124 A JP 2022017124A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- unit
- signal
- period
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
【課題】画質を高めることができる撮像装置を得る。【解決手段】本開示の一実施の形態に係る撮像装置は、受光量に応じた画素信号を生成する受光画素と、画素信号に基づいて、受光量に応じた画素値を生成する画素値生成部と、画素信号の傾斜を検出する傾斜検出部と、傾斜検出部により検出された画素信号の傾斜に基づいて画素値を補正する補正部とを備える。【選択図】図3
Description
本開示は、被写体を撮像する撮像装置および撮像方法に関する。
一般に、撮像装置では、フォトダイオードを含む受光画素がマトリクス状に配置され、各受光画素が、受光量に応じた電気信号を生成する。特許文献1には、演算処理により、暗電流成分を抑制することができる撮像装置が開示されている。
撮像装置では、撮像画像の画質が高いことが望まれており、さらなる画質の向上が期待されている。
画質を高めることができる撮像装置および撮像方法を提供することが望ましい。
本開示の一実施の形態における撮像装置は、受光画素と、画素値生成部と、傾斜検出部と、補正部とを備えている。受光画素は、受光量に応じた画素信号を生成するように構成される。画素値生成部は、画素信号に基づいて、受光量に応じた画素値を生成するように構成される。傾斜検出部は、画素信号の傾斜を検出するように構成される。補正部は、傾斜検出部により検出された画素信号の傾斜に基づいて画素値を補正するように構成される。
本開示の一実施の形態における撮像方法は、受光量に応じた画素信号を生成することと、画素信号に基づいて、受光量に応じた画素値を生成することと、画素信号の傾斜を検出することと、検出された画素信号の傾斜に基づいて画素値を補正することとを含む。
本開示の一実施の形態における撮像装置および撮像方法では、受光量に応じた画素信号が生成され、その画素信号に基づいて、受光量に応じた画素値が生成される。また、画素信号の傾斜が検出され、その検出結果に基づいて画素値が補正される。
以下、本開示の実施の形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
1.実施の形態
2.撮像装置の使用例
3.移動体への応用例
1.実施の形態
2.撮像装置の使用例
3.移動体への応用例
<1.第1の実施の形態>
[構成例]
図1は、一実施の形態に係る撮像装置(撮像装置1)の一構成例を表すものである。なお、本開示の実施の形態に係る撮像方法は、本実施の形態により具現化されるので、併せて説明する。撮像装置1は、画素アレイ11と、駆動部12と、読出部20と、撮像制御部13と、信号処理部15とを備えている。
[構成例]
図1は、一実施の形態に係る撮像装置(撮像装置1)の一構成例を表すものである。なお、本開示の実施の形態に係る撮像方法は、本実施の形態により具現化されるので、併せて説明する。撮像装置1は、画素アレイ11と、駆動部12と、読出部20と、撮像制御部13と、信号処理部15とを備えている。
画素アレイ11は、マトリックス状に配置された複数の受光画素Pを有している。受光画素Pは、受光量に応じた画素電圧Vpixを生成するように構成される。
図2は、受光画素Pの一構成例を表すものである。画素アレイ11は、複数の制御線TRGLと、複数の制御線RSTLと、複数の制御線SELLと、複数の信号線VSLとを有している。制御線TRGLは、水平方向(図2における横方向)に延伸し、一端が駆動部12に接続される。この制御線TRGLには、駆動部12により制御信号STRGが供給される。制御線RSTLは、水平方向に延伸し、一端が駆動部12に接続される。この制御線RSTLには、駆動部12により制御信号SRSTが供給される。制御線SELLは、水平方向に延伸し、一端が駆動部12に接続される。この制御線SELLには、駆動部12により制御信号SSELが供給される。信号線VSLは、垂直方向(図2における縦方向)に延伸し、一端が読出部20に接続される。この信号線VSLは、受光画素Pが生成した信号SIGを読出部20に伝える。水平方向(図1,2において横方向)に並設された1行分の複数の受光画素Pは、画素ラインLを構成する。
受光画素Pは、フォトダイオードPDと、トランジスタTRGと、フローティングディフュージョンFDと、トランジスタRST,AMP,SELとを有している。トランジスタTRG,RST,AMP,SELは、この例ではN型のMOS(Metal Oxide Semiconductor)トランジスタである。
フォトダイオードPDは、受光量に応じた量の電荷を生成し、生成した電荷を内部に蓄積する光電変換素子である。フォトダイオードPDのアノードは接地され、カソードはトランジスタTRGのソースに接続される。
トランジスタTRGのゲートは制御線TRGLに接続され、ソースはフォトダイオードPDのカソードに接続され、ドレインはフローティングディフュージョンFDに接続される。
フローティングディフュージョンFDは、フォトダイオードPDからトランジスタTRGを介して転送された電荷を蓄積するように構成される。フローティングディフュージョンFDは、例えば、半導体基板の表面に形成された拡散層を用いて構成される。図2では、フローティングディフュージョンFDを、容量素子のシンボルを用いて示している。
トランジスタRSTのゲートは制御線RSTLに接続され、ドレインには電源電圧VDDが供給され、ソースはフローティングディフュージョンFDに接続される。
トランジスタAMPのゲートはフローティングディフュージョンFDに接続され、ドレインには電源電圧VDDが供給され、ソースはトランジスタSELのドレインに接続される。
トランジスタSELのゲートは制御線SELLに接続され、ドレインはトランジスタAMPのソースに接続され、ソースは信号線VSLに接続される。
この構成により、受光画素Pでは、例えば制御信号STRG,SRSTに基づいてトランジスタTRG,RSTがオン状態になることにより、フォトダイオードPDに蓄積された電荷が排出される。そして、これらのトランジスタTRG,RSTがオフ状態になることにより、蓄積期間が開始され、フォトダイオードPDに、受光量に応じた量の電荷が蓄積される。そして、蓄積期間が終了した後に、受光画素Pは、リセット電圧Vresetおよび画素電圧Vpixを含む信号SIGを、信号線VSLに出力する。具体的には、まず、制御信号SSELに基づいてトランジスタSELがオン状態になることにより、受光画素Pが信号線VSLと電気的に接続される。これにより、トランジスタAMPは、読出部20の定電流源21(後述)に接続され、いわゆるソースフォロワとして動作する。そして、受光画素Pは、後述するように、トランジスタRSTがオン状態になることによりフローティングディフュージョンFDの電圧がリセットされた後のP相(Pre-charge相)期間TPにおいて、その時のフローティングディフュージョンFDの電圧に応じた電圧をリセット電圧Vresetとして出力する。また、受光画素Pは、トランジスタTRGがオン状態になることによりフォトダイオードPDからフローティングディフュージョンFDへ電荷が転送された後のD相(Data相)期間TDにおいて、その時のフローティングディフュージョンFDの電圧に応じた電圧を画素電圧Vpixとして出力する。画素電圧Vpixとリセット電圧Vresetとの差電圧は、蓄積期間における受光画素Pの受光量に対応する。このようにして、受光画素Pは、これらのリセット電圧Vresetおよび画素電圧Vpixを含む信号SIGを、信号線VSLに出力するようになっている。
駆動部12(図1)は、撮像制御部13からの指示に基づいて、画素ラインL単位で、画素アレイ11における複数の受光画素Pを順次駆動するように構成される。具体的には、駆動部12は、画素アレイ11における複数の制御線TRGLに複数の制御信号STRGをそれぞれ供給し、複数の制御線RSTLに複数の制御信号SRSTをそれぞれ供給し、複数の制御線SELLに複数の制御信号SSELをそれぞれ供給することにより、画素ラインL単位で画素アレイ11における複数の受光画素Pを駆動するようになっている。
読出部20は、撮像制御部13からの指示に基づいて、画素アレイ11から信号線VSLを介して供給された信号SIGに基づいてAD変換を行うことにより、画像データDT0を生成するように構成される。また、読出部20は、撮像制御部13からの指示に基づいて、この信号SIGにおける電圧の傾斜を検出することにより、傾斜データDSを生成する処理をも行うようになっている。
図3は、読出部20の一構成例を表すものである。なお、図3には、読出部20に加え、撮像制御部13をも描いている。読出部20は、複数の定電流源21と、複数の傾斜検出部30と、複数のAD(Analog to Digital)変換部ADCAと、複数のスイッチ部25と、複数のAD変換部ADCBと、複数のスイッチ部28とを有している。複数の定電流源21は、複数の信号線VSLに対応してそれぞれ設けられる。同様に、複数の傾斜検出部30、複数のAD変換部ADCA、複数のスイッチ部25、複数のAD変換部ADCB、および複数のスイッチ部28もまた、複数の信号線VSLに対応してそれぞれ設けられる。以下に、ある1つの信号線VSLに対応する定電流源21、傾斜検出部30、AD変換部ADCA、スイッチ部25、AD変換部ADCB、およびスイッチ部28について説明する。
定電流源21は、対応する信号線VSLに所定の電流を流すように構成される。定電流源21の一端は、対応する信号線VSLに接続され、他端は接地される。
傾斜検出部30は、対応する信号線VSLにおける信号SIGの電圧の傾斜を検出することにより、信号SIGの電圧の傾斜に応じた電圧を有する傾斜信号SSを生成するように構成される。撮像装置1では、後述するように、この傾斜検出部30の検出結果に基づいて、受光画素Pにおける受光量に応じた信号値(画素値VAL)を補正するようになっている。
すなわち、撮像装置1では、例えば、ある受光画素P(受光画素P1)の隣の受光画素P(受光画素P2)における受光量が多く、その受光画素P2におけるフォトダイオードPDに飽和量を超えた電荷が生じた場合に、その電荷が、受光画素P1のフローティングディフュージョンFDに漏れる場合があり得る。この場合には、この受光画素P1に係る信号値(画素値VAL)は、実際の値よりも大きくなってしまう。この現象は、しばしばブルーミングと呼ばれる。よって、撮像装置1では、後述するように、演算処理により、受光画素P1における画素値VALを補正することにより、このブルーミングに起因する成分を除去する。傾斜検出部30は、このような補正を行うために、信号線VSLにおける信号SIGの電圧の傾斜を検出するようになっている。
図4は、傾斜検出部30の一構成例を表すものである。なお、図4には、傾斜検出部30に加え、定電流源21およびAD変換部ADCAをも描いている。傾斜検出部30は、スイッチ31,32と、容量素子33と、スイッチ34,35と、演算増幅器36と、抵抗素子37とを有している。
スイッチ31は、制御信号CSWに基づいてオンオフするように構成され、一端は信号線VSLに接続され、他端はスイッチ32の一端および容量素子33の一端に接続される。スイッチ32は、制御信号CSWに基づいてオンオフするように構成され、一端はスイッチ31の他端および容量素子33の一端に接続され、他端は接地される。スイッチ31,32は、例えばMOSトランジスタを用いて構成される。
容量素子33の一端はスイッチ31の他端およびスイッチ32の一端に接続され、他端はスイッチ34,35の一端に接続される。
スイッチ34は、制御信号CSWに基づいてオンオフするように構成され、一端は容量素子33の他端およびスイッチ35の一端に接続され、他端は接地される。スイッチ35は、制御信号CSWに基づいてオンオフするように構成され、一端は容量素子33の他端およびスイッチ34の一端に接続され、他端は演算増幅器36の負入力端子および抵抗素子37の一端に接続される。スイッチ34,35は、例えばMOSトランジスタを用いて構成される。
演算増幅器36の正入力端子は接地され、負入力端子はスイッチ35の他端および抵抗素子37の一端に接続され、出力端子は抵抗素子37の他端に接続されるとともに、後段のAD変換部ADCAに接続される。
抵抗素子37の一端はスイッチ35の他端および演算増幅器36の負入力端子に接続され、他端は演算増幅器36の出力端子に接続されるとともに、後段のAD変換部ADCAに接続される。
図5A,5Bは、傾斜検出部30の動作状態を表すものであり、図5Aは、傾斜検出部30が検出動作を行う状態Sonを示し、図5Bは、傾斜検出部30が検出動作を停止する状態Soffを示す。図5A,5Bでは、スイッチ31,32,34,35を、オン状態であるかオフ状態であるかに応じたシンボルで示している。
状態Sonでは、図5Aに示したように、スイッチ31,35は、制御信号CSWに基づいてオン状態になり、スイッチ32,34は、制御信号CSWに基づいてオフ状態になる。これにより、傾斜検出部30は、信号線VSLに電気的に接続される。この状態Sonでは、容量素子33、抵抗素子37、および演算増幅器36が、微分回路を構成し、この微分回路が、信号線VSLにおける信号SIGの電圧の傾斜に応じた電圧を生成する。このようにして、傾斜検出部30は、信号SIGの電圧の傾斜に応じた電圧を傾斜信号SSとして出力する。
状態Soffでは、図5Bに示したように、スイッチ31,35は、制御信号CSWに基づいてオフ状態になり、スイッチ32,34は、制御信号CSWに基づいてオン状態になる。これにより、傾斜検出部30は、信号線VSLから電気的に切り離され、信号線VSLからみた傾斜検出部30の入力インピーダンスが十分に高くなる。傾斜検出部30は、接地レベル(0V)の電圧を傾斜信号SSとして出力する。
このように、傾斜検出部30は、スイッチ31,32,34,35がオンオフすることにより、いわゆるスイッチトキャパシタ回路として動作する。そして、傾斜検出部30は、状態Sonにおいて、微分回路として動作することにより、信号線VSLにおける信号SIGの傾斜に応じた電圧を傾斜信号SSとして出力するようになっている。
AD変換部ADCA(図3)は、対応する傾斜検出部30から出力された傾斜信号SSに基づいてAD変換を行うように構成される。AD変換部ADCAは、比較回路23と、カウンタ24とを有している。
比較回路23は、撮像制御部13の参照信号生成部14A(後述)から供給された参照信号REFAおよび傾斜検出部30から供給された傾斜信号SSに基づいて、比較動作を行うことにより信号CPAを生成するように構成される。参照信号REFAは、後述するように、AD変換部ADCAがAD変換を行う期間(検出期間TS)において、時間の経過に応じて電圧レベルが徐々に変化する、いわゆるランプ波形を有する。比較回路23は、このような参照信号REFAの電圧と傾斜信号SSの電圧とを比較することにより信号CPAを生成するようになっている。
カウンタ24は、比較回路23から供給された信号CPA、および撮像制御部13から供給された制御信号CTLAに基づいて、撮像制御部13から供給されたクロック信号CLKAのパルスをカウントするカウント動作を行うように構成される。具体的には、カウンタ24は、検出期間TSにおいて、信号CPAが遷移するまでクロック信号CLKAのパルスをカウントすることによりカウント値CNTSを生成し、このカウント値CNTSを、複数のビットを有するデジタルコードとして出力するようになっている。
スイッチ部25は、撮像制御部13から供給された制御信号CAに基づいて、オン状態になることにより、カウンタ24により生成された、カウント値CNTSを示すデジタルコードをバスBUSAに供給するように構成される。バスBUSAは、複数の配線を有し、複数ビットを有するデジタルコードを伝えるように構成される。複数のスイッチ部25は、制御信号CAに基づいて、順次オン状態になる。これにより、読出部20は、複数のAD変換部ADCAにより生成された複数のデジタルコードを、バスBUSAを介して、順次、傾斜データDSとして出力するようになっている。
AD変換部ADCBは、対応する信号線VSLにおける信号SIGに基づいてAD変換を行うように構成される。AD変換部ADCBは、比較回路26と、カウンタ27とを有している。
比較回路26は、撮像制御部13の参照信号生成部14B(後述)から供給された参照信号REFBおよび受光画素Pから信号線VSLを介して供給された信号SIGに基づいて、比較動作を行うことにより信号CPBを生成するように構成される。参照信号REFBは、後述するように、AD変換部ADCBがAD変換を行う2つの期間(P相期間TPおよびD相期間TD)において、時間の経過に応じて電圧レベルが徐々に変化する、いわゆるランプ波形を有する。比較回路26は、撮像制御部13から供給された制御信号AZに基づいて動作点を設定し、その後に比較動作を行う。そして、比較回路26は、P相期間TPにおいて、参照信号REFBの電圧と、信号SIGに含まれるリセット電圧Vresetとを比較し、D相期間TDにおいて、参照信号REFBの電圧と、信号SIGに含まれる画素電圧Vpixとを比較するようになっている。
カウンタ27は、比較回路26から供給された信号CPB、および撮像制御部13から供給された制御信号CTLBに基づいて、撮像制御部13から供給されたクロック信号CLKBのパルスをカウントするカウント動作を行うように構成される。具体的には、カウンタ27は、P相期間TPにおいて、信号CPBが遷移するまでクロック信号CLKBのパルスをカウントすることによりカウント値CNTPを生成し、このカウント値CNTPを、複数のビットを有するデジタルコードとして出力する。また、カウンタ27は、D相期間TDにおいて、信号CPBが遷移するまでクロック信号CLKBのパルスをカウントすることによりカウント値CNTDを生成し、このカウント値CNTDを、複数のビットを有するデジタルコードとして出力するようになっている。
スイッチ部28は、撮像制御部13から供給された制御信号CBに基づいて、オン状態になることにより、カウンタ27により生成された、カウント値CNTPを示すデジタルコード、およびカウント値CNTDを示すデジタルコードをバスBUSBに供給するように構成される。バスBUSBは、複数の配線を有し、複数ビットを有するデジタルコードを伝えるように構成される。複数のスイッチ部28は、制御信号CBに基づいて、順次オン状態になる。これにより、読出部20は、複数のAD変換部ADCBにより生成された複数のデジタルコードを、バスBUSBを介して、順次、画像データDT0として出力するようになっている。
撮像制御部13(図1)は、駆動部12、読出部20、および信号処理部15に制御信号を供給し、これらの回路の動作を制御することにより、撮像装置1の動作を制御するように構成される。具体的には、撮像制御部13は、駆動部12に対して制御信号を供給することにより、駆動部12が、画素ラインL単位で、画素アレイ11における複数の受光画素Pを順次駆動するように制御する。また、撮像制御部13は、読出部20に対して制御信号を供給することにより、読出部20が、信号SIGに基づいてAD変換を行うことにより傾斜データDSおよび画像データDT0を生成するように制御する。また、撮像制御部13は、信号処理部15に対して制御信号を供給することにより、信号処理部15の動作を制御するようになっている。撮像制御部13は、参照信号生成部14A,14Bを有している。
参照信号生成部14Aは、参照信号REFAを生成するように構成される。参照信号REFAは、AD変換部ADCAがAD変換を行う期間(検出期間TS)において、時間の経過に応じて電圧レベルが徐々に変化する、いわゆるランプ波形を有する。参照信号生成部14Aは、この参照信号REFAを、読出部20のAD変換部ADCAに供給するようになっている。
参照信号生成部14Bは、参照信号REFBを生成するように構成される。参照信号REFBは、AD変換部ADCBがAD変換を行う2つの期間(P相期間TPおよびD相期間TD)において、時間の経過に応じて電圧レベルが徐々に変化する、いわゆるランプ波形を有する。参照信号生成部14Bは、この参照信号REFBを、読出部20のAD変換部ADCBに供給するようになっている。
信号処理部15は、画像データDT0、傾斜データDS、および撮像制御部13からの指示に基づいて、所定の画像処理を行うことにより画像データDTを生成するように構成される。信号処理部15は、CDS(CDS;Correlated Double Sampling)処理部16と、補正部17とを有している。
CDS処理部16は、画像データDT0に含まれる、P相期間TPにおいて得られたカウント値CNTPおよびD相期間TDにおいて得られたカウント値CNTDに基づいて、相関2重サンプリングの原理を利用して、画素値VALを生成するように構成される。
補正部17は、画像データDT0および傾斜データDSに基づいて、画素値VALを補正することにより、画素値VALに含まれるブルーミングに起因する成分を除去するように構成される。
ここで、受光画素Pは、本開示における「受光画素」の一具体例に対応する。信号SIGは、本開示における「画素信号」の一具体例に対応する。AD変換部ADCBおよびCDS処理部16は、本開示における「画素値生成部」の一具体例に対応する。画素値VALは、本開示における「画素値」の一具体例に対応する。補正部17は、本開示における「補正部」の一具体例に対応する。参照信号REFBは、本開示における「参照信号」の一具体例に対応する。比較回路26は、本開示における「比較回路」の一具体例に対応する。カウンタ27は、本開示における「タイミング検出部」の一具体例に対応する。検出期間TSは、本開示における「第1の期間」の一具体例に対応する。P相期間TPおよびD相期間TDは、本開示における「第2の期間」の一具体例に対応する。スイッチ31は、本開示における「スイッチ」の一具体例に対応する。容量素子33、抵抗素子37、および演算増幅器36は、本開示における「微分回路」の一具体例に対応する。AD変換部ADCAは、本開示における「第1の変換部」の一具体例に対応する。カウント値CNTSは、本開示における「第1のデジタル値」の一具体例に対応する。AD変換部ADCBは、本開示における「第2の変換部」の一具体例に対応する。カウント値CNTP,CNTDは、本開示における「第2のデジタル値」の一具体例に対応する。フォトダイオードPDは、本開示における「受光素子」の一具体例に対応する。フローティングディフュージョンFDは、本開示における「蓄積素子」の一具体例に対応する。トランジスタTRGは、本開示における「転送トランジスタ」の一具体例に対応する。トランジスタRSTは、本開示における「リセット」の一具体例に対応する。トランジスタAMP,SELは、本開示における「出力部」の一具体例に対応する。駆動部12は、本開示における「制御部」の一具体例に対応する。
[動作および作用]
続いて、本実施の形態の撮像装置1の動作および作用について説明する。
続いて、本実施の形態の撮像装置1の動作および作用について説明する。
(全体動作概要)
まず、図1,3を参照して、撮像装置1の全体動作概要を説明する。駆動部12は、撮像制御部13からの指示に基づいて、画素ラインL単位で、画素アレイ11における複数の受光画素Pを順次駆動する。受光画素Pは、P相期間TPにおいて、リセット電圧Vresetを信号SIGとして出力し、D相期間TDにおいて、受光量に応じた画素電圧Vpixを信号SIGとして出力する。参照信号生成部14Aは参照信号REFAを生成し、参照信号生成部14Bは参照信号REFBを生成する。
まず、図1,3を参照して、撮像装置1の全体動作概要を説明する。駆動部12は、撮像制御部13からの指示に基づいて、画素ラインL単位で、画素アレイ11における複数の受光画素Pを順次駆動する。受光画素Pは、P相期間TPにおいて、リセット電圧Vresetを信号SIGとして出力し、D相期間TDにおいて、受光量に応じた画素電圧Vpixを信号SIGとして出力する。参照信号生成部14Aは参照信号REFAを生成し、参照信号生成部14Bは参照信号REFBを生成する。
読出部20は、画素アレイ11から信号線VSLを介して供給された信号SIG、および撮像制御部13からの指示に基づいて、傾斜データDSおよび画像データDT0を生成する。具体的には、読出部20において、傾斜検出部30は、検出期間TSにおいて、信号SIGの電圧の傾斜を検出することにより、信号SIGの電圧の傾斜に応じた電圧を傾斜信号SSとして出力する。AD変換部ADCAは、この傾斜信号SSに基づいてAD変換を行うことによりカウント値CNTSを生成し、このカウント値CNTSを、複数のビットを有するデジタルコードとして出力する。読出部20は、複数のAD変換部ADCAにより生成された、カウント値CNTSを含む複数のデジタルコードを、バスBUSAを介して、順次、傾斜データDSとして出力する。AD変換部ADCBは、信号SIGに基づいて、P相期間TPにおいてAD変換を行うことによりカウント値CNTPを生成し、このカウント値CNTPを、複数のビットを有するデジタルコードとして出力する。また、AD変換部ADCBは、信号SIGに基づいて、D相期間TDにおいてAD変換を行うことによりカウント値CNTDを生成し、このカウント値CNTDを、複数のビットを有するデジタルコードとして出力する。読出部20は、複数のAD変換部ADCBにより生成された、カウント値CNTPを含む複数のデジタルコード、およびカウント値CNTDを含む複数のデジタルコードを、バスBUSBを介して、順次、画像データDT0として出力する。
信号処理部15は、画像データDT0、傾斜データDS、および撮像制御部13からの指示に基づいて、所定の画像処理を行うことにより画像データDTを生成する。具体的には、CDS処理部16は、画像データDT0に含まれる、P相期間TPにおいて得られたカウント値CNTPおよびD相期間TDにおいて得られたカウント値CNTDに基づいて、相関2重サンプリングの原理を利用して、画素値VALを生成する。補正部17は、画像データDT0および傾斜データDSに基づいて、画素値VALを補正することにより、画素値VALに含まれるブルーミングに起因する成分を除去する。
(詳細動作)
次に、撮像装置1の詳細動作について説明する。画素アレイ11における複数の受光画素P(図2)のそれぞれでは、制御信号STRG,SRSTに基づいて、トランジスタTRG,RSTがオン状態になることにより、フォトダイオードPDに蓄積された電荷が排出される。そして、これらのトランジスタTRG,RSTがオフ状態になることにより、蓄積期間が開始され、フォトダイオードPDに、受光量に応じた量の電荷が蓄積される。そして、蓄積期間が終了した後に、読出部20は、受光画素Pが出力した、リセット電圧Vresetおよび画素電圧Vpixを含む信号SIGに基づいてAD変換を行う。以下に、ある着目した受光画素PについてのAD変換について詳細に説明する。まず、ブルーミングが生じていない場合について説明し、その後に、ブルーミングが生じている場合について説明する。
次に、撮像装置1の詳細動作について説明する。画素アレイ11における複数の受光画素P(図2)のそれぞれでは、制御信号STRG,SRSTに基づいて、トランジスタTRG,RSTがオン状態になることにより、フォトダイオードPDに蓄積された電荷が排出される。そして、これらのトランジスタTRG,RSTがオフ状態になることにより、蓄積期間が開始され、フォトダイオードPDに、受光量に応じた量の電荷が蓄積される。そして、蓄積期間が終了した後に、読出部20は、受光画素Pが出力した、リセット電圧Vresetおよび画素電圧Vpixを含む信号SIGに基づいてAD変換を行う。以下に、ある着目した受光画素PについてのAD変換について詳細に説明する。まず、ブルーミングが生じていない場合について説明し、その後に、ブルーミングが生じている場合について説明する。
(ブルーミングが生じていない場合の動作について)
図6は、ブルーミングが生じていない場合における撮像装置1の一動作例を表すものであり、(A)は制御信号SSELの波形を示し、(B)は制御信号SRSTの波形を示し、(C)は制御信号STRGの波形を示し、(D)は制御信号AZの波形を示し、(E)は参照信号REFBの波形を示し、(F)は信号SIGの波形を示し、(G)は制御信号CSWの波形を示し、(H)は参照信号REFAの波形を示し、(I)は傾斜信号SSの波形を示し、(J)はクロック信号CLKAの波形を示し、(K)は信号CPAの波形を示し、(L)はクロック信号CLKBの波形を示し、(M)は信号CPBの波形を示す。
図6は、ブルーミングが生じていない場合における撮像装置1の一動作例を表すものであり、(A)は制御信号SSELの波形を示し、(B)は制御信号SRSTの波形を示し、(C)は制御信号STRGの波形を示し、(D)は制御信号AZの波形を示し、(E)は参照信号REFBの波形を示し、(F)は信号SIGの波形を示し、(G)は制御信号CSWの波形を示し、(H)は参照信号REFAの波形を示し、(I)は傾斜信号SSの波形を示し、(J)はクロック信号CLKAの波形を示し、(K)は信号CPAの波形を示し、(L)はクロック信号CLKBの波形を示し、(M)は信号CPBの波形を示す。
まず、タイミングt11において、水平期間Hが開始すると、駆動部12は、制御信号SSELの電圧を低レベルから高レベルに変化させる(図6(A))。これにより、受光画素Pでは、トランジスタSELがオン状態になり、受光画素Pが信号線VSLと電気的に接続される。また、このタイミングt11において、駆動部12は、制御信号SRSTの電圧を低レベルから高レベルに変化させる(図6(B))。これにより、受光画素Pでは、トランジスタRSTがオン状態になり、フローティングディフュージョンFDの電圧が電源電圧VDDに設定される(リセット動作)。そして、受光画素Pは、このときのフローティングディフュージョンFDの電圧に対応する電圧(リセット電圧Vreset)を出力する。このようにして、信号SIGの電圧がリセット電圧Vresetになる(図6(F))。そして、このタイミングt11から所定の長さの時間が経過した後に、駆動部12は、制御信号SRSTの電圧を高レベルから低レベルに変化させる(図6(B))。これにより、トランジスタRSTはオフ状態になり、リセット動作は終了する。
また、このタイミングt11において、撮像制御部13は、制御信号AZの電圧を低レベルから高レベルに変化させる(図6(D))。これにより、比較回路26は、動作点を設定し、参照信号REFBの電圧が、信号SIGの電圧(リセット電圧Vreset)と同じ電圧に設定される。
次に、タイミングt12において、撮像制御部13は、制御信号AZの電圧を高レベルから低レベルに変化させる(図6(D))。これにより、比較回路26は、動作点の設定を終了する。
また、このタイミングt12において、参照信号生成部14Bは、参照信号REFBの電圧を電圧V1にする(図6(E))。これにより、参照信号REFBの電圧が信号SIGの電圧より高くなるので、比較回路26は、信号CPBの電圧を低レベルから高レベルに変化させる(図6(M))。
また、このタイミングt12において、撮像制御部13は、制御信号CSWの電圧を低レベルから高レベルに変化させる(図6(G))。これにより、傾斜検出部30の動作状態が、状態Soff(図5B)から状態Son(図5A)に変化する。そして、傾斜検出部30は、信号SIGの電圧の傾斜に応じた電圧を傾斜信号SSとして出力する(図6(I))。この例では、ブルーミングが生じていないので、信号SIGの電圧の傾斜値は“0”(ゼロ)である。よって、傾斜検出部30は、0Vの傾斜信号SSを出力する。
次に、タイミングt13~t15の期間(検出期間TS)において、AD変換部ADCAは、傾斜信号SSに基づいてAD変換を行う。具体的には、まず、タイミングt13において、参照信号生成部14Aは、参照信号REFAの電圧を電圧V3から所定の変化度合いで低下させ始める(図6(H))。また、このタイミングt13において、撮像制御部13は、クロック信号CLKAの生成を開始する(図6(J))。AD変換部ADCAのカウンタ24は、カウント動作を行うことにより、このクロック信号CLKAのパルスをカウントする。
そして、タイミングt14において、参照信号REFAの電圧が傾斜信号SSの電圧を下回る(図6(H),(I))。これにより、AD変換部ADCAの比較回路23は、信号CPAの電圧を高レベルから低レベルに変化させる(図6(K))。AD変換部ADCAのカウンタ24は、この信号CPAの遷移に基づいて、カウント動作を停止する。これにより、カウンタ24のカウント値(カウント値CNTS)は保持される。このカウント値CNTSは、傾斜信号SSの電圧(この例では0V)に応じた値であり、信号SIGの電圧の傾斜に応じた値である。
次に、タイミングt15において、撮像制御部13は、検出期間TSの終了に伴い、クロック信号CLKAの生成を停止する(図6(J))。また、参照信号生成部14Aは、このタイミングt15において、参照信号REFAの電圧を電圧V3に設定する(図6(H))。これにより、参照信号REFAの電圧が傾斜信号SSの電圧より高くなるので、比較回路23は、信号CPAの電圧を低レベルから高レベルに変化させる(図6(K))。そして、このタイミングt15以降の期間において、読出部20は、カウンタ24のカウント値CNTSを、傾斜データDSとして、信号処理部15に供給する。そして、その後、カウンタ24は、撮像制御部13から供給された制御信号CTLAに基づいて、カウント値をリセットする。
次に、タイミングt16において、撮像制御部13は、制御信号CSWの電圧を高レベルから低レベルに変化させる(図6(G))。これにより、傾斜検出部30の動作状態が、状態Son(図5A)から状態Soff(図5B)に変化し、傾斜検出部30は、検出動作を停止する。
そして、タイミングt16~t18の期間(P相期間TP)において、AD変換部ADCBは、信号SIGに基づいてAD変換を行う。具体的には、まず、タイミングt16において、参照信号生成部14Bは、参照信号REFBの電圧を電圧V1から所定の変化度合いで低下させ始める(図6(E))。また、このタイミングt16において、撮像制御部13は、クロック信号CLKBの生成を開始する(図6(L))。AD変換部ADCBのカウンタ27は、カウント動作を行うことにより、このクロック信号CLKBのパルスをカウントする。
そして、タイミングt17において、参照信号REFBの電圧が信号SIGの電圧(リセット電圧Vreset)を下回る(図6(E),(F))。これにより、AD変換部ADCBの比較回路26は、信号CPBの電圧を高レベルから低レベルに変化させる(図6(M))。AD変換部ADCBのカウンタ27は、この信号CPBの遷移に基づいて、カウント動作を停止する。これにより、カウンタ27のカウント値(カウント値CNTP)は保持される。このカウント値CNTPは、リセット電圧Vresetに応じた値である。
次に、タイミングt18において、撮像制御部13は、P相期間TPの終了に伴い、クロック信号CLKBの生成を停止する(図6(L))。また、参照信号生成部14Bは、このタイミングt18において、参照信号REFBの電圧を電圧V1に設定する(図6(E))。これにより、参照信号REFBの電圧が信号SIGの電圧(リセット電圧Vreset)より高くなるので、比較回路26は、信号CPBの電圧を低レベルから高レベルに変化させる(図6(M))。そして、このタイミングt18以降の期間において、読出部20は、カウンタ27のカウント値CNTPを、画像データDT0として、信号処理部15に供給する。そして、その後、カウンタ27は、撮像制御部13から供給された制御信号CTLBに基づいて、カウント値をリセットする。
次に、タイミングt19において、駆動部12は、制御信号STRGの電圧を低レベルから高レベルに変化させる(図6(C))。これにより、受光画素Pでは、トランジスタTRGがオン状態になり、フォトダイオードPDで発生した電荷がフローティングディフュージョンFDに転送される(電荷転送動作)。そして、受光画素Pは、このときのフローティングディフュージョンFDの電圧に対応する電圧(画素電圧Vpix)を出力する。このようにして、信号SIGの電圧が画素電圧Vpixになる(図6(F))。そして、このタイミングt19から所定の長さの時間が経過した後に、駆動部12は、制御信号STRGの電圧を高レベルから低レベルに変化させる(図6(C))。これにより、トランジスタTRGはオフ状態になり、電荷転送動作は終了する。
そして、タイミングt20~t22の期間(D相期間TD)において、AD変換部ADCBは、信号SIGに基づいてAD変換を行う。具体的には、まず、タイミングt16において、参照信号生成部14Bは、参照信号REFBの電圧を電圧V1から所定の変化度合いで低下させ始める(図6(E))。また、このタイミングt16において、撮像制御部13は、クロック信号CLKBの生成を開始する(図6(L))。AD変換部ADCBのカウンタ27は、カウント動作を行うことにより、このクロック信号CLKBのパルスをカウントする。
そして、タイミングt21において、参照信号REFBの電圧が信号SIGの電圧(画素電圧Vpix)を下回る(図6(E),(F))。これにより、AD変換部ADCBの比較回路26は、信号CPBの電圧を高レベルから低レベルに変化させる(図6(M))。AD変換部ADCBのカウンタ27は、この信号CPBの遷移に基づいて、カウント動作を停止する。これにより、カウンタ27のカウント値(カウント値CNTD)は保持される。このカウント値CNTDは、画素電圧Vpixに応じた値である。
次に、タイミングt22において、撮像制御部13は、D相期間TDの終了に伴い、クロック信号CLKBの生成を停止する(図6(L))。また、参照信号生成部14Bは、このタイミングt22において、参照信号REFBの電圧を電圧V2に設定する(図6(E))。そして、このタイミングt22以降の期間において、読出部20は、カウンタ27のカウント値CNTDを、画像データDT0として、信号処理部15に供給する。そして、その後、カウンタ27は、撮像制御部13から供給された制御信号CTLBに基づいて、カウント値をリセットする。
次に、タイミングt23において、駆動部12は、制御信号SSELの電圧を高レベルから低レベルに変化させる(図6(A))。これにより、受光画素Pでは、トランジスタSELがオフ状態になり、受光画素Pが信号線VSLから電気的に切り離される。
このようにして、読出部20は、カウント値CNTSを含む傾斜データDS、およびカウント値CNTP,CNTDを含む画像データDT0を信号処理部15に供給する。信号処理部15のCDS処理部16は、画像データDT0に含まれるカウント値CNTP,CNTDに基づいて、相関2重サンプリングの原理を利用して、画素値VALを生成する。具体的には、CDS処理部16は、例えば、カウント値CNTDからカウント値CNTPを減算することにより、画素値VALを生成する。
そして、補正部17は、画像データDT0および傾斜データDSに基づいて、画素値VALを補正することにより、ブルーミングに起因する成分を除去する。この例では、ブルーミングが生じていないので、画素値VALには、ブルーミングに起因する成分は含まれていない。このように、信号処理部15は、所定の処理を行うことにより、画像データDTを生成する。
(ブルーミングが生じている場合の動作について)
図7は、ブルーミングが生じている場合における撮像装置1の一動作例を表すものである。この例では、説明の便宜上、着目した受光画素Pにおける受光量を“0”(ゼロ)にしている。
図7は、ブルーミングが生じている場合における撮像装置1の一動作例を表すものである。この例では、説明の便宜上、着目した受光画素Pにおける受光量を“0”(ゼロ)にしている。
この例では、着目した受光画素Pの隣の受光画素Pの受光量が多いため、この受光画素PのフォトダイオードPDから、着目した受光画素PのフローティングディフュージョンFDに電荷が連続的に漏れている。フローティングディフュージョンFDの電圧は、漏れ込んだ電荷に応じて連続的に低下する。よって、この着目した受光画素Pから出力された信号SIGの電圧は、図7(F)に示したように、比較回路26が制御信号AZに基づいて動作点の設定を終了したタイミングt12以降において、リセット電圧Vresetから一次関数的に低下する。すなわち、ブルーミングが生じていない場合(図6)には、信号SIGの電圧はリセット電圧Vresetに維持されるが、ブルーミングが生じている場合(図7)には、信号SIGの電圧はリセット電圧Vresetから一次関数的に低下する。
タイミングt12~t16の期間において、傾斜検出部30は、この信号SIGの電圧の傾斜を検出することにより、0Vより高い、信号SIGの電圧の傾斜に応じた電圧を、傾斜信号SSとして出力する(図7(I))。傾斜信号SSは、図8に示したように、信号SIGの電圧の傾斜が大きいほど高くなる。そして、タイミングt13~t15の期間(検出期間TS)において、AD変換部ADCAは、この傾斜信号SSに基づいてAD変換を行うことにより、カウント値CNTSを生成する(図7(K))。このカウント値CNTSは、傾斜信号SSの電圧に応じた値であり、信号SIGの電圧の傾斜に応じた値である。
そして、タイミングt16~t18の期間(P相期間TP)において、AD変換部ADCBは、信号SIGに基づいてAD変換を行うことにより、カウント値CNTPを生成する(図7(M))。このP相期間TPでは、信号SIGの電圧は、リセット電圧Vresetの成分と、ブルーミングに起因する成分を含んでいる(図7(F))。このブルーミングに起因する成分により、信号SIGの電圧は一次関数的に低下するので、参照信号REFBの電圧が信号SIGの電圧を下回るタイミングは、信号SIGの傾斜がない場合(図6)に比べ遅くなる(図7(E),(F))。AD変換を行うことにより得られたカウント値CNTPは、リセット電圧Vreset、および信号SIGの電圧の傾斜に応じた値である。
そして、タイミングt19から所定の長さの期間において、駆動部12は制御信号STRGを高レベルにする(図7(C))。これにより、受光画素Pでは、トランジスタTRGがオン状態になる。この例では、受光画素Pにおける受光量は“0”(ゼロ)であるので、フォトダイオードPDからフローティングディフュージョンFDに転送される電荷はほとんどない。よって、信号SIGの電圧はほとんど変化せず、引き続き、一次関数的に低下し続ける(図7(F))。
そして、タイミングt20~t22の期間(D相期間TD)において、AD変換部ADCBは、信号SIGに基づいてAD変換を行うことにより、カウント値CNTDを生成する(図7(M))。このD相期間TDでは、信号SIGの電圧は、画素電圧Vpixの成分と、ブルーミングに起因する成分を含んでいる(図7(F))。なお、この例では、受光画素Pにおける受光量は“0”(ゼロ)であるので、画素電圧Vpixはリセット電圧Vresetと等しい。このブルーミングに起因する成分により、信号SIGの電圧は一次関数的に低下するので、参照信号REFBの電圧が信号SIGの電圧を下回るタイミングは、信号SIGの傾斜がない場合(図6)に比べ遅くなる(図7(E),(F))。AD変換を行うことにより得られたカウント値CNTDは、画素電圧Vpix、および信号SIGの電圧の傾斜に応じた値である。
読出部20は、カウント値CNTSを含む傾斜データDS、およびカウント値CNTP,CNTDを含む画像データDT0を信号処理部15に供給する。信号処理部15のCDS処理部16は、例えば、カウント値CNTDからカウント値CNTPを減算することにより、画素値VALを生成する。そして、補正部17は、画像データDT0および傾斜データDSに基づいて、画素値VALを補正することにより、ブルーミングに起因する成分を除去する。以下に、補正部17の処理について詳細に説明する。
図9は、補正部17の処理の一例を表すものである。
まず、補正部17は、傾斜データDSに含まれるカウント値CNTSに基づいて、信号SIGの電圧の傾斜値SLを算出する(ステップS101)。すなわち、このカウント値CNTSは、傾斜信号SSの電圧に応じた値であり、信号SIGの電圧の傾斜に応じた値である。よって、補正部17は、このカウント値CNTSに基づいて、信号SIGの電圧の傾斜値SLを算出する。
次に、補正部17は、ステップS101において算出した傾斜値SL、および画像データDT0に含まれるカウント値CNTP,CNTDに基づいて、画素値VALの補正値ΔVALを算出する(ステップS102)。
図10は、ステップS102の処理の一例を表すものであり、(A)は波形を示し、(B)は(A)において符号W1で示した部分を示す。図10(A)に示した参照信号REFBおよび信号SIGの波形は、図7に示した参照信号REFB(図7(E))および信号SIG(図7(F))に示した波形と同様である。
図10に示したように、P相期間TPにおいて、参照信号REFBの電圧が信号SIGの電圧を下回るタイミングt37において、信号SIGの電圧は、ブルーミングがない場合に比べて電圧ΔVPだけ低い。また、D相期間TDにおいて、参照信号REFBの電圧が信号SIGの電圧を下回るタイミングt41において、信号SIGの電圧は、ブルーミングがない場合に比べて電圧ΔVDだけ低い。よって、画素値VALには、この電圧ΔVPと電圧ΔVDとの差電圧ΔV(=ΔVD-ΔVP)に応じた値が、ブルーミングに起因する成分として含まれている。よって、このステップS102では、補正部17は、この差電圧ΔVを算出することにより、ブルーミングに起因する成分である補正値ΔVALを算出する。
この例では、補正部17は、カウント値CNTPに基づいてタイミングt16とタイミングt37との間の時間tAを算出する。カウント値CNTPは、タイミングt16からタイミングt37までのクロック信号CLKBのパルスの数であるので、補正部17は、カウント値CNTP、およびクロック信号CLKBの周期に基づいて時間tAを算出することができる。
また、補正部17は、カウント値CNTDに基づいてタイミングt20とタイミングt41との間の時間tBを算出する。カウント値CNTDは、タイミングt20からタイミングt41までのクロック信号CLKBのパルスの数であるので、補正部17は、カウント値CNTD、およびクロック信号CLKBの周期に基づいて時間tBを算出することができる。
時間tCは、P相期間TPが開始されるタイミングt16と、D相期間TDが開始されるタイミングt20との間の時間である。この時間tCは、撮像装置1に予め記憶されている。
補正部17は、これらの時間tA,tB、tCに基づいて、以下の式を用いて、タイミングt37とタイミングt41との間の時間tDを算出することができる。
tD = tB + tC - tA
そして、補正部17は、この時間tDと、ステップS101において算出した信号SIGの傾斜値SLに基づいて、以下の式を用いて、差電圧ΔVを算出することができる。
ΔV = tD × SL
tD = tB + tC - tA
そして、補正部17は、この時間tDと、ステップS101において算出した信号SIGの傾斜値SLに基づいて、以下の式を用いて、差電圧ΔVを算出することができる。
ΔV = tD × SL
そして、補正部17は、この差電圧ΔVを補正値ΔVALに変換する。すなわち、補正部17は、電圧を基準とした値を画素値を基準とした値に変換する。このようにして、補正部17は、傾斜値SL、およびカウント値CNTP,CNTDに基づいて、画素値VALの補正値ΔVALを算出する。
次に、補正部17は、補正値ΔVALを用いて、画素値VALを補正する(ステップS103)。具体的には、補正部17は、画素値VALから補正値ΔVALを減算することにより、画素値VALを補正する。以上で、この処理は終了する。
以上は、着目した受光画素Pにおける受光量が“0”(ゼロ)である場合について説明した。次に、着目した受光画素Pにおける受光量が“0”(ゼロ)でない場合について説明する。
図11は、ブルーミングが生じており、着目した受光画素Pにおける受光量が“0”(ゼロ)でな場合における、撮像装置1の一動作例を表すものである。
図7に示した例と同様に、タイミングt12~t16の期間において、傾斜検出部30は、この信号SIGの電圧の傾斜を検出することにより、0Vより高い、信号SIGの電圧の傾斜に応じた電圧を、傾斜信号SSとして出力する(図11(I))。そして、タイミングt13~t15の期間(検出期間TS)において、AD変換部ADCAは、この傾斜信号SSに基づいてAD変換を行うことにより、カウント値CNTSを生成する(図11(K))。
そして、タイミングt16~t18の期間(P相期間TP)において、AD変換部ADCBは、信号SIGに基づいてAD変換を行うことにより、カウント値CNTPを生成する(図11(M))。
そして、タイミングt19から所定の長さの期間において、駆動部12は制御信号STRGを高レベルにする(図11(C))。これにより、受光画素Pでは、トランジスタTRGがオン状態になり、フォトダイオードPDで発生した電荷がフローティングディフュージョンFDに転送される(電荷転送動作)。そして、受光画素Pは、このときのフローティングディフュージョンFDの電圧に対応する電圧を出力する。これにより、信号SIGの電圧は大きく低下する(図11(F))。そして、その後も、信号SIGの電圧は、引き続き、タイミングt19より前と同じ度合いで一次関数的に低下し続ける。
そして、タイミングt20~t22の期間(D相期間TD)において、AD変換部ADCBは、信号SIGに基づいてAD変換を行うことにより、カウント値CNTDを生成する(図11(M))。
信号処理部15のCDS処理部16は、例えば、カウント値CNTDからカウント値CNTPを減算することにより、画素値VALを生成する。そして、補正部17は、画像データDT0および傾斜データDSに基づいて、画素値VALを補正することにより、ブルーミングに起因する成分を除去する。以下に、図9を再度参照して、補正部17の動作について詳細に説明する。
まず、補正部17は、図9に示したように、傾斜データDSに含まれるカウント値CNTSに基づいて、信号SIGの電圧の傾斜値SLを算出し(ステップS101)、ステップS101において算出した傾斜値SL、およびカウント値CNTP,CNTDに基づいて、画素値VALの補正値ΔVALを算出する(ステップS102)。
図12は、ステップS102の処理の一例を表すものであり、(A)は波形を示し、(B)は(A)において符号W2で示した部分を示す。図12(A)に示した参照信号REFBおよび信号SIGの波形は、図11に示した参照信号REFB(図11(E))および信号SIG(図11(F))に示した波形と同様である。
受光量が“0”である場合(図7,10)と同様に、補正部17は、カウント値CNTPに基づいてタイミングt16とタイミングt57との間の時間tAを算出し、カウント値CNTDに基づいてタイミングt20とタイミングt61との間の時間tBを算出する。時間tCは、P相期間TPが開始されるタイミングt16と、D相期間TDが開始されるタイミングt20との間の時間である。
補正部17は、これらの時間tA,tB、tCに基づいて、タイミングt37とタイミングt41との間の時間tDを算出する。そして、補正部17は、この時間tDと、ステップS101において算出した信号SIGの傾斜値SLに基づいて、差電圧ΔVを算出する。そして、補正部17は、この差電圧ΔVを補正値ΔVALに変換する。このようにして、補正部17は、傾斜値SL、およびカウント値CNTP,CNTDに基づいて、画素値VALの補正値ΔVALを算出する。
次に、補正部17は、補正値ΔVALを用いて、画素値VALを補正する(ステップS103)。
このように、撮像装置1では、受光画素Pから供給された信号SIGの電圧の傾斜を検出し、その検出結果に基づいて画素値VALを補正するようにした。これにより、撮像装置1では、ブルーミングが生じた場合に、画素値VALに含まれる、ブルーミングに起因する成分を除去することができるので、撮像画像の画質を高めることができる。すなわち、例えば、ある受光画素P(受光画素P1)の隣の受光画素P(受光画素P2)における受光量が多く、その受光画素P2におけるフォトダイオードPDに飽和量を超えた電荷が生じた場合に、その電荷が、受光画素P1のフローティングディフュージョンFDに漏れる場合があり得る。この場合には、この受光画素P1における受光量に応じた画素値VALは、実際の値よりも大きくなってしまう。一方、撮像装置1では、信号SIGの電圧の傾斜に基づいて、画素値VALを補正するようにした。これにより、画素値VALに含まれる、ブルーミングに起因成分を除去することができる。その結果、撮像装置1では、撮像画像の画質を高めることができる。
また、撮像装置1では、信号SIGの電圧の傾斜を検出する傾斜検出部30を設けるようにしたので、フレームレートを低下させることなく、撮像画像の画質を高めることができる。すなわち、例えば、P相期間TPやD相期間TDをそれぞれ複数回設け、その複数回分のカウント値に基づいて傾斜を検出するようにした場合には、追加したP相期間TPやD相期間TDの分だけ水平期間Hの時間が長くなり、その結果フレームレートが低下してしまう。撮像装置1では、傾斜検出部30が、信号SIGの電圧の傾斜を検出するようにしたので、フレームレートの低下を抑えつつ撮像画像の画質を高めることができる。
[効果]
以上のように本実施の形態では、受光画素から供給された信号の電圧の傾斜を検出し、その検出結果に基づいて画素値を補正するようにしたので、撮像画像の画質を高めることができる。
以上のように本実施の形態では、受光画素から供給された信号の電圧の傾斜を検出し、その検出結果に基づいて画素値を補正するようにしたので、撮像画像の画質を高めることができる。
本実施の形態では、受光画素から供給された信号の電圧の傾斜を検出する傾斜検出部を設けるようにしたので、撮像画像の画質を高めることができる。
[変形例1]
上記実施の形態では、参照信号生成部14Aは、検出期間TSにおいて、時間の経過に応じて電圧レベルが徐々に低下する参照信号REFAを生成したが、これに限定されるものではない。これに代えて、例えば、参照信号生成部14Aは、検出期間TSにおいて、時間の経過に応じて電圧レベルが徐々に上昇する参照信号REFAを生成してもよい。
上記実施の形態では、参照信号生成部14Aは、検出期間TSにおいて、時間の経過に応じて電圧レベルが徐々に低下する参照信号REFAを生成したが、これに限定されるものではない。これに代えて、例えば、参照信号生成部14Aは、検出期間TSにおいて、時間の経過に応じて電圧レベルが徐々に上昇する参照信号REFAを生成してもよい。
[変形例2]
上記実施の形態では、2つの参照信号生成部14A,14Bを設けたが、これに限定されるものではない。これに代えて、例えば、図13,14に示す撮像装置1Bのように、1つの参照信号生成部を設けてもよい。この撮像装置1Bは、撮像制御部13Bを備えている。撮像制御部13Bは、参照信号生成部14を有している。参照信号生成部14は、参照信号REFを生成するように構成される。参照信号REFは、AD変換部ADCAがAD変換を行う期間(検出期間TS)、およびAD変換部ADCBがAD変換を行う2つの期間(P相期間TPおよびD相期間TD)において、時間の経過に応じて電圧レベルが徐々に変化する、いわゆるランプ波形を有する。参照信号生成部14は、図14に示したように、この参照信号REFを、読出部20のAD変換部ADCA,ADCBに供給するようになっている。
上記実施の形態では、2つの参照信号生成部14A,14Bを設けたが、これに限定されるものではない。これに代えて、例えば、図13,14に示す撮像装置1Bのように、1つの参照信号生成部を設けてもよい。この撮像装置1Bは、撮像制御部13Bを備えている。撮像制御部13Bは、参照信号生成部14を有している。参照信号生成部14は、参照信号REFを生成するように構成される。参照信号REFは、AD変換部ADCAがAD変換を行う期間(検出期間TS)、およびAD変換部ADCBがAD変換を行う2つの期間(P相期間TPおよびD相期間TD)において、時間の経過に応じて電圧レベルが徐々に変化する、いわゆるランプ波形を有する。参照信号生成部14は、図14に示したように、この参照信号REFを、読出部20のAD変換部ADCA,ADCBに供給するようになっている。
[変形例3]
上記実施の形態では、複数のAD変換部ADCAおよび複数のAD変換部ADCBを設けたが、これに限定されるものではない。これに代えて、例えば、複数のAD変換部ADCAを省き、AD変換部ADCBが、傾斜信号SSおよび信号SIGに基づいて、時分割的にAD変換を行うようにしてもよい。以下に、本変形例に係る撮像装置1Cについて、詳細に説明する。撮像装置1Cは、読出部20Cと、撮像制御部13Cとを備えている。
上記実施の形態では、複数のAD変換部ADCAおよび複数のAD変換部ADCBを設けたが、これに限定されるものではない。これに代えて、例えば、複数のAD変換部ADCAを省き、AD変換部ADCBが、傾斜信号SSおよび信号SIGに基づいて、時分割的にAD変換を行うようにしてもよい。以下に、本変形例に係る撮像装置1Cについて、詳細に説明する。撮像装置1Cは、読出部20Cと、撮像制御部13Cとを備えている。
図15は、読出部20Cの一構成例を表すものである。読出部20Cは、複数の定電流源21と、複数の傾斜検出部30と、複数のスイッチ45と、複数のAD変換部ADCBと、複数のスイッチ部28とを有している。複数のスイッチ45は、複数の信号線VSLに対応してそれぞれ設けられる。
複数のスイッチ45は、制御信号SWに基づいて、対応する信号線VSLを介して供給された信号SIGと、対応する傾斜検出部30から供給された傾斜信号SSのうちの一方を選択し、選択された信号を、対応するAD変換部ADCBに供給するように構成される。AD変換部ADCBは、スイッチ45が傾斜信号SSを選択した場合には、この傾斜信号SSに基づいてAD変換を行い、スイッチ45が信号SIGを選択した場合には、この信号SIGに基づいてAD変換を行うようになっている。ここで、AD変換部ADCBは、本開示における「変換部」の一具体例に対応する。
これにより、読出部20Cは、検出期間TSにおいて、複数のAD変換部ADCBにより生成された、カウント値CNTSを含む複数のデジタルコードを、バスBUSBを介して、順次、傾斜データDSとして出力する。また、読出部20Cは、P相期間TPおよびD相期間TDにおいて、複数のAD変換部ADCBにより生成された、カウント値CNTPを含む複数のデジタルコード、およびカウント値CNTDを含む複数のデジタルコードを、バスBUSBを介して、順次、画像データDT0として出力するようになっている。
撮像制御部13Cは、スイッチ45に制御信号SWを供給することにより、検出期間TSを含む期間において、スイッチ45が傾斜信号SSを選択し、P相期間TPおよびD相期間TDを含む期間においてスイッチ45が信号SIGを選択するように、スイッチ45の動作を制御するように構成される。撮像制御部13Cは、参照信号生成部14を有している。参照信号生成部14は、参照信号REFを生成するように構成される。参照信号REFは、AD変換部ADCAがAD変換を行う期間(検出期間TS)、およびAD変換部ADCBがAD変換を行う2つの期間(P相期間TPおよびD相期間TD)において、時間の経過に応じて電圧レベルが徐々に変化する、いわゆるランプ波形を有する。参照信号生成部14は、この参照信号REFを、読出部20のAD変換部ADCBに供給するようになっている。
これにより、撮像装置1Cでは、読出部20Cの回路面積を抑えることができ、上記実施の形態に係る撮像装置1と比べて、チップサイズを小さくすることができる。
[変形例4]
上記実施の形態では、信号SIGの電圧の傾斜値SLに基づいて画素値VALの補正値ΔVALを算出し、この補正値ΔVALを用いて画素値VALを補正したが、これに限定されるものではない。さらに、例えば、その傾斜値SLの絶対値が所定のしきい値THより大きい場合には、画素値VALを所定の値に設定してもよい。以下に、本変形例に係る撮像装置1Dについて詳細に説明する。
上記実施の形態では、信号SIGの電圧の傾斜値SLに基づいて画素値VALの補正値ΔVALを算出し、この補正値ΔVALを用いて画素値VALを補正したが、これに限定されるものではない。さらに、例えば、その傾斜値SLの絶対値が所定のしきい値THより大きい場合には、画素値VALを所定の値に設定してもよい。以下に、本変形例に係る撮像装置1Dについて詳細に説明する。
図16は、撮像装置1Dの一構成例を表すものである。撮像装置1Dは、信号処理部15Dを備えている。信号処理部15Dは、比較部18Dと、補正部17Dとを有している。
比較部18Dは、傾斜値SLの絶対値と所定のしきい値THとを比較するように構成される。このしきい値THは、例えば、読出部20におけるAD変換部ADCBが正常に動作するような値に設定することができる。すなわち、隣の受光画素Pから着目した受光画素Pに多くの電荷が流れ込む場合には、信号SIGの電圧の傾斜が大きくなる。この場合には、例えば、信号SIGの電圧が低くなりすぎて、AD変換部ADCBの動作レンジを外れてしまい、AD変換部ADCBが正常に動作できないおそれがある。よって、しきい値THは、このAD変換部ADCBが正常に動作するような値に設定されることが望ましい。
補正部17Dは、画像データDT0および傾斜データDSに基づいて、画素値VALを補正することにより、画素値VALに含まれるブルーミングに起因する成分を除去するように構成される。また、補正部17Dは、比較部18Dにおいて、傾斜値SLの絶対値が所定のしきい値THより大きいと判定された場合に、画素値VALを所定の値に設定するようになっている。
図17は、補正部17Dおよび比較部18Dの一動作例を表すものである。
まず、補正部17Dは、傾斜データDSに含まれるカウント値CNTSに基づいて、信号SIGの電圧の傾斜値SLを算出する(ステップS101)。
次に、比較部18Dは、傾斜値SLの絶対値が所定のしきい値THより大きいかどうかを判定する(ステップS202)。
ステップS202において、傾斜値SLの絶対値が所定のしきい値THより大きくない場合(ステップS202において“N”)には、補正部17Dは、ステップS101において算出した傾斜値SL、およびカウント値CNTP,CNTDに基づいて、画素値VALの補正値ΔVALを算出する(ステップS102)。そして、補正部17Dは、補正値ΔVALを用いて、画素値VALを補正する(ステップS103)。
ステップS202において、傾斜値SLの絶対値が所定のしきい値THより大きい場合(ステップS202において“Y”)には、補正部17Dは、画素値VALを所定の値に設定する(ステップS204)。所定の値は、例えば、画素値VALがとり得る値の最大値にすることができる。
以上で、この処理は終了する。
これにより、撮像装置1Dでは、例えば、着目した受光画素Pの隣の受光画素Pの受光量が非常に多く、この受光画素Pから多くの電荷が流れ込んだ場合には、信号SIGの電圧の傾斜値SLの絶対値が所定のしきい値THを超えるので、画素値VALが所定の値に設定される。これにより、信号SIGがAD変換部ADCBの動作レンジを外れてしまい、AD変換部ADCBが正常な動作を行うことができない場合でも、このAD変換部ADCBの処理結果に基づく異常な画素値VALが画像データDTとして出力されることがないので、撮像画像の画質を高めることができる。
[変形例5]
上記実施の形態では、複数の受光画素PのそれぞれがフローティングディフュージョンFDを有するようにしたが、これに限定されるものではない。これに代えて、例えば、複数の受光画素Pが1つのフローティングディフュージョンFDを有するようにしてもよい。以下に、本変形例に係る撮像装置1Eについて、詳細に説明する。
上記実施の形態では、複数の受光画素PのそれぞれがフローティングディフュージョンFDを有するようにしたが、これに限定されるものではない。これに代えて、例えば、複数の受光画素Pが1つのフローティングディフュージョンFDを有するようにしてもよい。以下に、本変形例に係る撮像装置1Eについて、詳細に説明する。
図18は、本変形例に係る撮像装置1Eの一構成例を表すものである。撮像装置1Eは、画素アレイ11Eを備えている。画素アレイ11Eは、複数の受光画素Pは、2行2列で配置された4つの受光画素Pを単位(画素ユニットU)として配置されている。
図19は、画素ユニットUの一構成例を表すものである。画素アレイ11Eは、複数の制御線TRGL1と、複数の制御線TRGL2と、複数の制御線TRGL3と、複数の制御線TRGL4と、複数の制御線RSTLと、複数の制御線SELLと、複数の信号線VSLとを有している。
画素ユニットUは、4つのフォトダイオードPD(フォトダイオードPD1~PD4)と、4つのトランジスタTRG(トランジスタTRG1~TRG4)と、フローティングディフュージョンFDと、トランジスタRST,AMP,SELとを有している。フォトダイオードPD1、トランジスタTRG1、フローティングディフュージョンFD、トランジスタRST,AMP,SELは、1つの受光画素P(受光画素P1)を構成し、フォトダイオードPD2、トランジスタTRG2、フローティングディフュージョンFD、トランジスタRST,AMP,SELは、1つの受光画素P(受光画素P2)を構成し、フォトダイオードPD3、トランジスタTRG3、フローティングディフュージョンFD、トランジスタRST,AMP,SELは、1つの受光画素P(受光画素P3)を構成し、フォトダイオードPD4、トランジスタTRG4、フローティングディフュージョンFD、トランジスタRST,AMP,SELは、1つの受光画素P(受光画素P4)を構成する。
この構成により、画素ユニットUでは、例えばトランジスタTRG1,RSTがオン状態になることにより、フォトダイオードPD1に蓄積された電荷が排出される。そして、これらのトランジスタTRG1,RSTがオフ状態になることにより、蓄積期間が開始され、フォトダイオードPD1に、受光量に応じた量の電荷が蓄積される。そして、蓄積期間が終了した後に、このフォトダイオードPD1を含む受光画素P1は、リセット電圧Vresetおよび画素電圧Vpixを含む信号SIGを、信号線VSLに出力する。他の3つの受光画素P2~P4についても同様である。
例えば、フローティングディフュージョンFDが受光画素P1のフローティングディフュージョンFDとして動作している場合において、フォトダイオードPD2の受光量が多く、このフォトダイオードPD2に飽和量を超えた電荷が生じた場合に、その電荷が、フローティングディフュージョンFDに漏れる場合があり得る。この場合には、この受光画素P1に係る信号値(画素値VAL)は、実際の値よりも大きくなってしまう。撮像装置1Eでは、演算処理により、受光画素P1における画素値VALを補正することにより、このブルーミングに起因する成分を除去することができる。
[その他の変形例]
また、これらの変形例のうちの2以上を組み合わせてもよい。
また、これらの変形例のうちの2以上を組み合わせてもよい。
<2.撮像装置の使用例>
図20は、上記実施の形態に係る撮像装置1の使用例を表すものである。上述した撮像装置1は、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
図20は、上記実施の形態に係る撮像装置1の使用例を表すものである。上述した撮像装置1は、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、テレビジョンや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、テレビジョンや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
<3.移動体への応用例>
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図21は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図21に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(interface)12053が図示されている。
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図21の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図22は、撮像部12031の設置位置の例を示す図である。
図22では、車両12100は、撮像部12031として、撮像部12101,12102,12103,12104,12105を有する。
撮像部12101,12102,12103,12104,12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102,12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。撮像部12101及び12105で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図22には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部12031に適用され得る。これにより、車両制御システム12000では、撮像部12031により得られた撮像画像の画質を高めることができる。その結果、車両制御システム12000では、車両の衝突回避あるいは衝突緩和機能、車間距離に基づく追従走行機能、車速維持走行機能、車両の衝突警告機能、車両のレーン逸脱警告機能等を、高い精度で実現できる。
以上、実施の形態および変形例、ならびにそれらの具体的な応用例を挙げて本技術を説明したが、本技術はこれらの実施の形態等には限定されず、種々の変形が可能である。
例えば、上記の実施の形態では、傾斜信号SSと参照信号REFAとを比較することによりAD変換を行うようにしたが、これに限定されるものではなく、傾斜信号SSの電圧をデジタル値に変換することができれば、どのような方法を用いてもよい。
例えば、上記の実施の形態では、図2に示したような構成の受光画素Pを構成したが、これに限定されるものではなく、様々な構成の受光画素を用いることができる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
なお、本技術は以下のような構成とすることができる。以下の構成の本技術によれば、撮像画像の画質を高めることができる。
(1)受光量に応じた画素信号を生成する受光画素と、
前記画素信号に基づいて、前記受光量に応じた画素値を生成する画素値生成部と、
前記画素信号の傾斜を検出する傾斜検出部と、
前記傾斜検出部により検出された前記画素信号の前記傾斜に基づいて前記画素値を補正する補正部と
を備えた撮像装置。
(2)前記画素値生成部は、
ランプ波形を有する参照信号と前記画素信号とを比較する比較回路と、
前記比較回路の出力信号が遷移した遷移タイミングを検出するタイミング検出部と
を有し、
前記補正部は、前記傾斜および前記遷移タイミングに基づいて補正値を算出し、前記補正値に基づいて前記画素値を補正する
前記(1)に記載の撮像装置。
(3)前記補正部は、前記画素信号の前記傾斜の傾斜値が所定の傾斜値を超えている場合に、前記画素値を所定の値に設定することにより、前記画素値を補正する
前記(1)または(2)に記載の撮像装置。
(4)前記傾斜検出部は、第1の期間において、前記画素信号の前記傾斜を検出し、
前記画素値生成部は、前記第1の期間とは異なる第2の期間において前記画素信号の信号レベルを検出することにより、前記画素値を生成する
前記(1)から(3)のいずれかに記載の撮像装置。
(5)前記第1の期間は、前記第2の期間よりも前に位置する
前記(4)に記載の撮像装置。
(6)前記傾斜検出部は、
前記第1の期間においてオン状態になることにより前記画素信号を伝え、前記第2の期間においてオフ状態になるスイッチを有し、
前記第1の期間において、前記スイッチを介して供給された前記画素信号の前記傾斜を検出する
前記(4)または(5)に記載の撮像装置。
(7)前記傾斜検出部は、前記画素信号の前記傾斜を検出する微分回路を有する
前記(1)から(6)のいずれかに記載の撮像装置。
(8)AD変換を行うことにより、前記傾斜検出部により検出された前記傾斜に応じた第1のデジタル値を生成する第1の変換部をさらに備え、
前記補正部は、前記第1のデジタル値に基づいて前記画素値を補正し、
前記画素値生成部は、前記画素信号に基づいて、AD変換を行うことにより第2のデジタル値を生成する第2の変換部を有し、前記第2のデジタル値に基づいて前記画素値を生成する
前記(1)から(7)のいずれかに記載の撮像装置。
(9)前記画素値生成部は、AD変換を行うことにより、前記傾斜検出部により検出された前記傾斜に応じた第1のデジタル値を生成するとともに、前記画素信号に基づいて、AD変換を行うことにより第2のデジタル値を生成する変換部を有し、
前記画素値生成部は、前記第2のデジタル値に基づいて前記画素値を生成する
前記補正部は、前記第1のデジタル値に基づいて前記画素値を補正する
前記(1)から(7)のいずれかに記載の撮像装置。
(10)前記受光画素は、
前記受光量に応じた電荷を生成する受光素子と、
前記受光素子により生成された前記電荷を蓄積する蓄積素子と、
オン状態になることにより、前記受光素子により生成された前記電荷を前記蓄積素子に転送する転送トランジスタと、
オン状態になることにより、前記蓄積素子における電圧をリセットするリセットトランジスタと、
前記蓄積素子における電圧に応じた前記画素信号を出力する出力部と
を有する
前記(1)から(9)のいずれかに記載の撮像装置。
(11)前記受光画素の動作を制御する制御部をさらに備え、
前記制御部は、
第3の期間において、前記転送トランジスタをオフ状態にするとともに、前記リセットトランジスタをオン状態にし、
前記第3の期間の後に第4の期間において、前記転送トランジスタおよび前記リセットトランジスタをオフ状態にし、
前記傾斜検出部は、前記第4の期間のうちの第1のサブ期間において、前記画素信号の前記傾斜を検出する
前記(10)に記載の撮像装置。
(12)前記制御部は、
前記第4の期間の後の第5の期間において、前記転送トランジスタをオン状態にするとともに前記リセットトランジスタをオフ状態にし、
前記第5の期間の後の第6の期間において、前記転送トランジスタおよび前記リセットトランジスタをオフ状態にし、
前記画素値生成部は、前記第4の期間のうちの前記第1のサブ期間より後の第2のサブ期間、および前記第6の期間において、前記画素信号の信号レベルを検出することにより、前記画素値を生成する
前記(11)に記載の撮像装置。
(13)受光量に応じた画素信号を生成することと、
前記画素信号に基づいて、前記受光量に応じた画素値を生成することと、
前記画素信号の傾斜を検出することと、
検出された前記画素信号の前記傾斜に基づいて前記画素値を補正することと
を含む撮像方法。
前記画素信号に基づいて、前記受光量に応じた画素値を生成する画素値生成部と、
前記画素信号の傾斜を検出する傾斜検出部と、
前記傾斜検出部により検出された前記画素信号の前記傾斜に基づいて前記画素値を補正する補正部と
を備えた撮像装置。
(2)前記画素値生成部は、
ランプ波形を有する参照信号と前記画素信号とを比較する比較回路と、
前記比較回路の出力信号が遷移した遷移タイミングを検出するタイミング検出部と
を有し、
前記補正部は、前記傾斜および前記遷移タイミングに基づいて補正値を算出し、前記補正値に基づいて前記画素値を補正する
前記(1)に記載の撮像装置。
(3)前記補正部は、前記画素信号の前記傾斜の傾斜値が所定の傾斜値を超えている場合に、前記画素値を所定の値に設定することにより、前記画素値を補正する
前記(1)または(2)に記載の撮像装置。
(4)前記傾斜検出部は、第1の期間において、前記画素信号の前記傾斜を検出し、
前記画素値生成部は、前記第1の期間とは異なる第2の期間において前記画素信号の信号レベルを検出することにより、前記画素値を生成する
前記(1)から(3)のいずれかに記載の撮像装置。
(5)前記第1の期間は、前記第2の期間よりも前に位置する
前記(4)に記載の撮像装置。
(6)前記傾斜検出部は、
前記第1の期間においてオン状態になることにより前記画素信号を伝え、前記第2の期間においてオフ状態になるスイッチを有し、
前記第1の期間において、前記スイッチを介して供給された前記画素信号の前記傾斜を検出する
前記(4)または(5)に記載の撮像装置。
(7)前記傾斜検出部は、前記画素信号の前記傾斜を検出する微分回路を有する
前記(1)から(6)のいずれかに記載の撮像装置。
(8)AD変換を行うことにより、前記傾斜検出部により検出された前記傾斜に応じた第1のデジタル値を生成する第1の変換部をさらに備え、
前記補正部は、前記第1のデジタル値に基づいて前記画素値を補正し、
前記画素値生成部は、前記画素信号に基づいて、AD変換を行うことにより第2のデジタル値を生成する第2の変換部を有し、前記第2のデジタル値に基づいて前記画素値を生成する
前記(1)から(7)のいずれかに記載の撮像装置。
(9)前記画素値生成部は、AD変換を行うことにより、前記傾斜検出部により検出された前記傾斜に応じた第1のデジタル値を生成するとともに、前記画素信号に基づいて、AD変換を行うことにより第2のデジタル値を生成する変換部を有し、
前記画素値生成部は、前記第2のデジタル値に基づいて前記画素値を生成する
前記補正部は、前記第1のデジタル値に基づいて前記画素値を補正する
前記(1)から(7)のいずれかに記載の撮像装置。
(10)前記受光画素は、
前記受光量に応じた電荷を生成する受光素子と、
前記受光素子により生成された前記電荷を蓄積する蓄積素子と、
オン状態になることにより、前記受光素子により生成された前記電荷を前記蓄積素子に転送する転送トランジスタと、
オン状態になることにより、前記蓄積素子における電圧をリセットするリセットトランジスタと、
前記蓄積素子における電圧に応じた前記画素信号を出力する出力部と
を有する
前記(1)から(9)のいずれかに記載の撮像装置。
(11)前記受光画素の動作を制御する制御部をさらに備え、
前記制御部は、
第3の期間において、前記転送トランジスタをオフ状態にするとともに、前記リセットトランジスタをオン状態にし、
前記第3の期間の後に第4の期間において、前記転送トランジスタおよび前記リセットトランジスタをオフ状態にし、
前記傾斜検出部は、前記第4の期間のうちの第1のサブ期間において、前記画素信号の前記傾斜を検出する
前記(10)に記載の撮像装置。
(12)前記制御部は、
前記第4の期間の後の第5の期間において、前記転送トランジスタをオン状態にするとともに前記リセットトランジスタをオフ状態にし、
前記第5の期間の後の第6の期間において、前記転送トランジスタおよび前記リセットトランジスタをオフ状態にし、
前記画素値生成部は、前記第4の期間のうちの前記第1のサブ期間より後の第2のサブ期間、および前記第6の期間において、前記画素信号の信号レベルを検出することにより、前記画素値を生成する
前記(11)に記載の撮像装置。
(13)受光量に応じた画素信号を生成することと、
前記画素信号に基づいて、前記受光量に応じた画素値を生成することと、
前記画素信号の傾斜を検出することと、
検出された前記画素信号の前記傾斜に基づいて前記画素値を補正することと
を含む撮像方法。
1,1B,1D,1E…撮像装置、11,11E…画素アレイ、12…駆動部、13,13B,13C…撮像制御部、14,14A,14B…参照信号生成部、15,15D…信号処理部、16…CDS処理部、17…補正部、18D…比較部、20,20C…読出部、21…定電流源、23…比較回路、24…カウンタ、25…スイッチ部、26…比較回路、27…カウンタ、28…スイッチ部、30…傾斜検出部、31,32,34、35…スイッチ、33…容量素子、36…演算増幅器、37…抵抗素子、45…スイッチ、ADCA,ADCB…AD変換部、AMP,RST,SEL,TRG…トランジスタ、AZ,CA,CB,CSW,CTLA,CTLB…制御信号、BUSA,BUSB…バス、CLKA,CLKB…クロック信号、CNTD,CNTP,CNTS…カウント値、DS…傾斜データ、DT,DT0…画像データ、FD…フローティングディフュージョン、P…受光画素、PD,PD1~PD4…フォトダイオード、REF,REFA,REFB…参照信号、RSTL,SELL,TRGL,TRGL1~TRGL4…制御線、SIG…信号、SL…傾斜値、Son,Soff…状態、SRST,SSEL,STRG…制御信号、SS…傾斜信号、TD…D相期間、TH…しきい値、TP…P相期間、TS…検出期間、U…画素ユニット、VAL…画素値、Vpix…画素電圧、Vreset…リセット電圧、VSL…信号線、ΔV…差電圧、ΔVAL…補正値。
Claims (13)
- 受光量に応じた画素信号を生成する受光画素と、
前記画素信号に基づいて、前記受光量に応じた画素値生成する画素値生成部と、
前記画素信号の傾斜を検出する傾斜検出部と、
前記傾斜検出部により検出された前記画素信号の前記傾斜に基づいて前記画素値を補正する補正部と
を備えた撮像装置。 - 前記画素値生成部は、
ランプ波形を有する参照信号と前記画素信号とを比較する比較回路と、
前記比較回路の出力信号が遷移した遷移タイミングを検出するタイミング検出部と
を有し、
前記補正部は、前記傾斜および前記遷移タイミングに基づいて補正値を算出し、前記補正値に基づいて前記画素値を補正する
請求項1に記載の撮像装置。 - 前記補正部は、前記画素信号の前記傾斜の傾斜値が所定の傾斜値を超えている場合に、前記画素値を所定の値に設定することにより、前記画素値を補正する
請求項1に記載の撮像装置。 - 前記傾斜検出部は、第1の期間において、前記画素信号の前記傾斜を検出し、
前記画素値生成部は、前記第1の期間とは異なる第2の期間において前記画素信号の信号レベルを検出することにより、前記画素値を生成する
請求項1に記載の撮像装置。 - 前記第1の期間は、前記第2の期間よりも前に位置する
請求項4に記載の撮像装置。 - 前記傾斜検出部は、
前記第1の期間においてオン状態になることにより前記画素信号を伝え、前記第2の期間においてオフ状態になるスイッチを有し、
前記第1の期間において、前記スイッチを介して供給された前記画素信号の前記傾斜を検出する
請求項4に記載の撮像装置。 - 前記傾斜検出部は、前記画素信号の前記傾斜を検出する微分回路を有する
請求項1に記載の撮像装置。 - AD変換を行うことにより、前記傾斜検出部により検出された前記傾斜に応じた第1のデジタル値を生成する第1の変換部をさらに備え、
前記補正部は、前記第1のデジタル値に基づいて前記画素値を補正し、
前記画素値生成部は、前記画素信号に基づいて、AD変換を行うことにより第2のデジタル値を生成する第2の変換部を有し、前記第2のデジタル値に基づいて前記画素値を生成する
請求項1に記載の撮像装置。 - 前記画素値生成部は、AD変換を行うことにより、前記傾斜検出部により検出された前記傾斜に応じた第1のデジタル値を生成するとともに、前記画素信号に基づいて、AD変換を行うことにより第2のデジタル値を生成する変換部を有し、
前記画素値生成部は、前記第2のデジタル値に基づいて前記画素値を生成する
前記補正部は、前記第1のデジタル値に基づいて前記画素値を補正する
請求項1に記載の撮像装置。 - 前記受光画素は、
前記受光量に応じた電荷を生成する受光素子と、
前記受光素子により生成された前記電荷を蓄積する蓄積素子と、
オン状態になることにより、前記受光素子により生成された前記電荷を前記蓄積素子に転送する転送トランジスタと、
オン状態になることにより、前記蓄積素子における電圧をリセットするリセットトランジスタと、
前記蓄積素子における電圧に応じた前記画素信号を出力する出力部と
を有する
請求項1に記載の撮像装置。 - 前記受光画素の動作を制御する制御部をさらに備え、
前記制御部は、
第3の期間において、前記転送トランジスタをオフ状態にするとともに、前記リセットトランジスタをオン状態にし、
前記第3の期間の後に第4の期間において、前記転送トランジスタおよび前記リセットトランジスタをオフ状態にし、
前記傾斜検出部は、前記第4の期間のうちの第1のサブ期間において、前記画素信号の前記傾斜を検出する
請求項10に記載の撮像装置。 - 前記制御部は、
前記第4の期間の後の第5の期間において、前記転送トランジスタをオン状態にするとともに前記リセットトランジスタをオフ状態にし、
前記第5の期間の後の第6の期間において、前記転送トランジスタおよび前記リセットトランジスタをオフ状態にし、
前記画素値生成部は、前記第4の期間のうちの前記第1のサブ期間より後の第2のサブ期間、および前記第6の期間において、前記画素信号の信号レベルを検出することにより、前記画素値を生成する
請求項11に記載の撮像装置。 - 受光量に応じた画素信号を生成することと、
前記画素信号に基づいて、前記受光量に応じた画素値を生成することと、
前記画素信号の傾斜を検出することと、
検出された前記画素信号の前記傾斜に基づいて前記画素値を補正することと
を含む撮像方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020120251A JP2022017124A (ja) | 2020-07-13 | 2020-07-13 | 撮像装置および撮像方法 |
PCT/JP2021/022321 WO2022014222A1 (ja) | 2020-07-13 | 2021-06-11 | 撮像装置および撮像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020120251A JP2022017124A (ja) | 2020-07-13 | 2020-07-13 | 撮像装置および撮像方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022017124A true JP2022017124A (ja) | 2022-01-25 |
Family
ID=79555411
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020120251A Pending JP2022017124A (ja) | 2020-07-13 | 2020-07-13 | 撮像装置および撮像方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2022017124A (ja) |
WO (1) | WO2022014222A1 (ja) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004040508A (ja) * | 2002-07-03 | 2004-02-05 | Sony Corp | 固体撮像装置の検査方法、検査装置および検査プログラム |
JP5013812B2 (ja) * | 2006-10-26 | 2012-08-29 | キヤノン株式会社 | 撮像装置及び補正方法 |
JP2013038504A (ja) * | 2011-08-04 | 2013-02-21 | Sony Corp | 撮像装置、および画像処理方法、並びにプログラム |
-
2020
- 2020-07-13 JP JP2020120251A patent/JP2022017124A/ja active Pending
-
2021
- 2021-06-11 WO PCT/JP2021/022321 patent/WO2022014222A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2022014222A1 (ja) | 2022-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113396579B (zh) | 事件信号检测传感器和控制方法 | |
WO2018190126A1 (ja) | 固体撮像装置、及び電子機器 | |
JP2022028982A (ja) | 固体撮像装置、信号処理チップ、および、電子機器 | |
KR102493027B1 (ko) | 촬상 소자 및 그 구동 방법, 그리고 전자 기기 | |
WO2019193801A1 (ja) | 固体撮像素子、電子機器および固体撮像素子の制御方法 | |
WO2018139187A1 (ja) | 固体撮像装置およびその駆動方法、並びに電子機器 | |
US11381773B2 (en) | Imaging device | |
US20220128690A1 (en) | Light receiving device, histogram generating method, and distance measuring system | |
US11889212B2 (en) | Comparator and imaging device | |
US20230217135A1 (en) | Imaging device | |
WO2022014222A1 (ja) | 撮像装置および撮像方法 | |
US20240089637A1 (en) | Imaging apparatus | |
WO2022054494A1 (ja) | 光検出装置 | |
US20230336894A1 (en) | Imaging device and electronic apparatus | |
US11575852B2 (en) | Imaging device | |
US11997407B2 (en) | Photodetection device | |
WO2022230279A1 (ja) | 撮像装置 | |
US20230254604A1 (en) | Photodetection device and electronic apparatus | |
WO2022215334A1 (ja) | 撮像装置およびアナログデジタル変換回路 | |
US20230232128A1 (en) | Photodetection device and electronic apparatus | |
EP4063914A1 (en) | Ranging device and ranging method | |
WO2022024615A1 (ja) | 撮像装置およびその駆動方法 |