JP2020088481A - 固体撮像素子、および、撮像装置 - Google Patents

固体撮像素子、および、撮像装置 Download PDF

Info

Publication number
JP2020088481A
JP2020088481A JP2018216590A JP2018216590A JP2020088481A JP 2020088481 A JP2020088481 A JP 2020088481A JP 2018216590 A JP2018216590 A JP 2018216590A JP 2018216590 A JP2018216590 A JP 2018216590A JP 2020088481 A JP2020088481 A JP 2020088481A
Authority
JP
Japan
Prior art keywords
signal
analog
digital
column
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018216590A
Other languages
English (en)
Inventor
篤親 丹羽
Atsumi Niwa
篤親 丹羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2018216590A priority Critical patent/JP2020088481A/ja
Priority to CN201980054348.XA priority patent/CN112585954B/zh
Priority to PCT/JP2019/040379 priority patent/WO2020105313A1/ja
Priority to KR1020217003720A priority patent/KR20210090156A/ko
Priority to US17/057,379 priority patent/US11375149B2/en
Priority to DE112019005786.3T priority patent/DE112019005786T5/de
Publication of JP2020088481A publication Critical patent/JP2020088481A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array

Abstract

【課題】アドレスイベントの有無を検出する固体撮像素子において、画像を撮像する際の消費電力を低減する。【解決手段】固体撮像素子は、複数の画素と、アナログデジタル変換部とを具備する。この固体撮像素子において、複数の画素のそれぞれは、光電変換によりアナログ信号を生成する。また、固体撮像素子において、アナログデジタル変換部は、複数の画素のうち入射光量の変化量が所定範囲外である画素のアナログ信号をデジタル信号に変換する。【選択図】図13

Description

本技術は、固体撮像素子、および、撮像装置に関する。詳しくは、入射光の光量を閾値と比較する固体撮像素子、および、撮像装置に関する。
従来より、垂直同期信号などの同期信号に同期して画像データ(フレーム)を撮像する同期型の固体撮像素子が撮像装置などにおいて用いられている。この一般的な同期型の固体撮像素子では、同期信号の周期(例えば、1/60秒)ごとにしか画像データを取得することができないため、交通やロボットなどに関する分野において、より高速な処理が要求された場合に対応することが困難になる。そこで、アドレスイベントの有無を画素毎に検出する非同期型の固体撮像素子が提案されている(例えば、特許文献1参照。)。ここで、アドレスイベントは、ある画素アドレスにおいて、画素の光量が変動して、その変動量が閾値を超えた旨を意味する。このアドレスイベントは、画素の光量が変動して変動量が所定の上限を超えた旨を示すオンイベントと、その変動量が所定の下限を下回った旨を示すオフイベントとからなる。非同期型の固体撮像素子では、1ビットのオンイベントの検出結果と1ビットのオフイベントの検出結果とからなる2ビットのデータが画素毎に生成される。このように、画素毎にアドレスイベントの有無を検出する固体撮像素子は、DVS(Dynamic Vision Sensor)と呼ばれる。
特表2017−535999号公報
上述の非同期型の固体撮像素子(DVS)では、同期型の固体撮像素子よりも遥かに高速にデータが生成される。しかしながら、画像認識などにおいては、アドレスイベントの有無に検出に加えて、画素毎に3ビット以上の高画質の画像データが要求されることがあり、画素毎に2ビットからなるデータを生成する上述のDVSでは、その要求を満たすことができない。アドレスイベントの有無を検出しつつ、より高画質の画像を撮像するには、同期型の固体撮像素子と同様の回路をDVSに追加すればよいが、その分、消費電力が増大してしまうため、好ましくない。
本技術はこのような状況に鑑みて生み出されたものであり、アドレスイベントの有無を検出する固体撮像素子において、さらに画像を撮像することを目的とする。
本技術は、上述の問題点を解消するためになされたものであり、その第1の側面は、それぞれが光電変換によりアナログ信号を生成する複数の画素と、上記複数の画素のうち入射光量の変化量が所定範囲外である画素の上記アナログ信号をデジタル信号に変換するアナログデジタル変換部とを具備する固体撮像素子である。これにより、アドレスイベントの生じた画素のアナログ信号がデジタル信号に変換されるという作用をもたらす。
また、この第1の側面において、上記アナログデジタル変換部は、上記複数の画素のそれぞれの上記アナログ信号のうち上記変化量が上記所定範囲外である画素の上記アナログ信号を選択する選択部と、上記選択されたアナログ信号を上記デジタル信号に変換するアナログデジタル変換器とを備えてもよい。これにより、選択部により選択されたアナログ信号がデジタル信号に変換されるという作用をもたらす。
また、この第1の側面において、上記複数の画素は、所定方向に配列された所定数の列に設けられ、上記アナログデジタル変換部は、上記列ごとに一定数のアナログデジタル変換器を備え、上記アナログデジタル変換器は、上記複数の画素のうち対応する上記列に属する画素の上記変化量が上記所定範囲外である場合には上記画素の上記アナログ信号を上記デジタル信号に変換してもよい。これにより、列ごとに配置されたアナログデジタル変換器によりアナログ信号がデジタル信号に変換されるという作用をもたらす。
また、この第1の側面において、上記複数の画素は、所定方向に配列された所定数の列に設けられ、上記アナログデジタル変換部は、上記所定数の列の一部に接続された第1のアナログデジタル変換部と、上記所定数の列の残りに接続された第2のアナログデジタル変換部とを備えてもよい。これにより、第1および第2のアナログデジタル変換部によって並列にアナログ信号をデジタル信号に変換されるという作用をもたらす。
また、この第1の側面において、上記第1および第2のアナログデジタル変換部のそれぞれは、対応する上記列の上記アナログ信号のうち上記変化量が上記所定範囲外である列の上記アナログ信号を選択する選択部と、上記選択されたアナログ信号を上記デジタル信号に変換するアナログデジタル変換器とを備えてもよい。これにより、第1および第2のアナログデジタル変換部のそれぞれにおいて、選択されたアナログ信号がデジタル信号に変換されるという作用をもたらす。
また、この第1の側面において、上記第1および第2のアナログデジタル変換部のそれぞれは、対応する上記列ごとに一定数のアナログデジタル変換器を備え、上記アナログデジタル変換器は、上記複数の画素のうち対応する上記列に属する画素の上記変化量が上記所定範囲外である場合には上記画素の上記アナログ信号を上記デジタル信号に変換してもよい。これにより、第1および第2のアナログデジタル変換部のそれぞれにおいて、列ごとに配置されたアナログデジタル変換器によりアナログ信号がデジタル信号に変換されるという作用をもたらす。
また、この第1の側面において、上記複数の画素のそれぞれは、上記アナログ信号を生成する画素信号生成部と、上記変化量の絶対値が所定の閾値を超えるか否かを検出して当該検出結果に基づいて所定のイネーブル信号を生成する検出部とを備え、上記アナログデジタル変換部は、上記イネーブル信号に従って上記アナログ信号を上記デジタル信号に変換してもよい。これにより、画素からのイネーブル信号に従ってアナログ信号がデジタル信号に変換されるという作用をもたらす。
また、この第1の側面において、所定方向に垂直な方向に配列された所定数の行のそれぞれからの第1のリクエストを調停する行アービタをさらに具備し、上記複数の画素は、上記所定数の行に配列され、上記複数の画素のそれぞれは、上記変化量が上記所定範囲外である場合には上記第1のリクエストを送信してもよい。これにより、行のそれぞれのリクエストが調停されるという作用をもたらす。
また、この第1の側面において、上記所定方向に配列された所定数の列のそれぞれからの第2のリクエストを調停する列アービタをさらに具備し、上記複数の画素のそれぞれは、上記行アービタの調停結果に基づいて上記第2のリクエストを送信してもよい。これにより、列のそれぞれのリクエストが調停されるという作用をもたらす。
また、この第1の側面において、上記列アービタは、上記第2のリクエストに基づいて所定のイネーブル信号を生成し、上記アナログデジタル変換部は、上記イネーブル信号に従って上記アナログ信号を上記デジタル信号に変換してもよい。これにより、列アービタからのイネーブル信号に従ってアナログ信号がデジタル信号に変換されるという作用をもたらす。
また、本技術の第2の側面は、それぞれが光電変換によりアナログ信号を生成する複数の画素と、上記複数の画素のうち入射光量の絶対値が所定範囲外である画素の上記アナログ信号をデジタル信号に変換するアナログデジタル変換部と、上記デジタル信号を処理する信号処理部とを具備する撮像装置である。これにより、アドレスイベントの生じた画素のアナログ信号がデジタル信号に変換され、そのデジタル信号が処理されるという作用をもたらす。
本技術の第1の実施の形態における撮像装置の一構成例を示すブロック図である。 本技術の第1の実施の形態における固体撮像素子の積層構造の一例を示す図である。 本技術の第1の実施の形態における固体撮像素子の一構成例を示すブロック図である。 本技術の第1の実施の形態における画素の一構成例を示すブロック図である。 本技術の第1の実施の形態における画素アレイ部の一構成例を示す平面図である。 本技術の第1の実施の形態におけるアドレスイベント検出部の一構成例を示すブロック図である。 本技術の第1の実施の形態における電流電圧変換部の一構成例を示す回路図である。 本技術の第1の実施の形態における減算器および量子化器の一構成例を示す回路図である。 本技術の第1の実施の形態における転送部の一構成例を示す回路図である。 本技術の第1の実施の形態におけるカラムADC(Analog to Digital Converter)の一構成例を示すブロック図である。 本技術の第1の実施の形態におけるAD変換部の一構成例を示すブロック図である。 本技術の第1の実施の形態における制御回路の一構成例を示すブロック図である。 本技術の第1の実施の形態における読出し制御を説明するための図である。 本技術の第1の実施の形態における固体撮像素子の動作の一例を示すタイミングチャートである。 本技術の第1の実施の形態における固体撮像素子の動作の一例を示すフローチャートである。 本技術の第2の実施の形態における画素アレイ部およびカラムADCの一構成例を示すブロック図である。 本技術の第2の実施の形態におけるAD変換部の一構成例を示すブロック図である。 本技術の第3の実施の形態における固体撮像素子の一構成例を示すブロック図である。 本技術の第3の実施の形態における画素アレイ部および下側カラムADCの一構成例を示すブロック図である。 本技術の第4の実施の形態における画素アレイ部および下側カラムADCの一構成例を示すブロック図である。 本技術の第5の実施の形態における固体撮像素子の一構成例を示すブロック図である。 本技術の第5の実施の形態の変形例における画素およびXアービタの一構成例を示すブロック図である。 車両制御システムの概略的な構成例を示すブロック図である。 撮像部の設置位置の一例を示す説明図である。
以下、本技術を実施するための形態(以下、実施の形態と称する)について説明する。説明は以下の順序により行う。
1.第1の実施の形態(アドレスイベントが生じた画素の画素信号を読み出す例)
2.第2の実施の形態(アドレスイベントが生じた2行の画素信号を並列に読み出す例)
3.第3の実施の形態(アドレスイベントの生じた画素の画素信号を上側および下側のカラムADCが並列に読み出す例)
4.第4の実施の形態(上側および下側のカラムADCに2列ごとにADCを配置し、アドレスイベントの生じた画素の画素信号を読み出す例)
5.第5の実施の形態(Xアービタを配置し、アドレスイベントが生じた画素の画素信号を読み出す例)
6.移動体への応用例
<1.第1の実施の形態>
[撮像装置の構成例]
図1は、本技術の第1の実施の形態における撮像装置100の一構成例を示すブロック図である。この撮像装置100は、撮像レンズ110、固体撮像素子200、記録部120および制御部130を備える。撮像装置100としては、産業用ロボットに搭載されるカメラや、車載カメラなどが想定される。
撮像レンズ110は、入射光を集光して固体撮像素子200に導くものである。固体撮像素子200は、アドレスイベントの有無を検出しつつ、入射光を光電変換して画像データを撮像するものである。この固体撮像素子200は、撮像した画像データに対して、画像認識処理などの所定の信号処理を画像データに対して実行し、その処理結果を示すデータを記録部120に信号線209を介して出力する。
記録部120は、固体撮像素子200からのデータを記録するものである。制御部130は、固体撮像素子200を制御して画像データを撮像させるものである。
[固体撮像素子の構成例]
図2は、本技術の第1の実施の形態における固体撮像素子200の積層構造の一例を示す図である。この固体撮像素子200は、検出チップ202と、その検出チップ202に積層された受光チップ201とを備える。これらのチップは、ビアなどの接続部を介して電気的に接続される。なお、ビアの他、Cu−Cu接合やバンプにより接続することもできる。
図3は、本技術の第1の実施の形態における固体撮像素子200の一構成例を示すブロック図である。この固体撮像素子200は、駆動回路211、信号処理部212、Yアービタ213、カラムADC220および画素アレイ部300を備える。
画素アレイ部300には、複数の画素310が二次元格子状に配列される。以下、水平方向に配列された画素の集合を「行」と称し、行に垂直な方向に配列された画素の集合を「列」と称する。
画素310は、光電変換によりアナログ信号を画素信号として生成するものである。また、画素310は、入射光量の変化量が所定の閾値を超えたか否かにより、アドレスイベントの有無を検出する。そして、アドレスイベントが生じた際に画素310は、リクエストをYアービタ213に出力する。そして、リクエストに対する応答を受け取ると画素310は、アドレスイベントの検出結果を示す検出信号を駆動回路211およびカラムADC220に送信する。
駆動回路211は、画素310のそれぞれを駆動して画素信号をカラムADC220に出力させるものである。
Yアービタ213は、複数の行からのリクエストを調停し、調停結果に基づいて応答を返すものである。なお、Yアービタ213は、特許請求の範囲に記載の行アービタの一例である。
カラムADC220は、列ごとに、その列からのアナログの画素信号をデジタル信号に変換するものである。このカラムADC220は、デジタル信号を信号処理部212に供給する。
信号処理部212は、カラムADC220からのデジタル信号と、画素310からの検出信号とに対し、CDS(Correlated Double Sampling)処理や画像認識処理などの所定の信号処理を実行するものである。この信号処理部212は、処理結果を示すデータを信号線209を介して記録部120に供給する。
[画素の構成例]
図4は、本技術の第1の実施の形態における画素310の一構成例を示すブロック図である。この画素310は、画素信号生成部320、受光部330およびアドレスイベント検出部400を備える。
受光部330は、入射光を光電変換して光電流を生成するものである。この受光部330は、転送トランジスタ331、OFG(OverFlow Gate)トランジスタ332および光電変換素子333を備える。転送トランジスタ331およびOFGトランジスタ332として、例えば、N型のMOS(Metal-Oxide-Semiconductor)トランジスタが用いられる。
画素信号生成部320は、光電流に応じた電圧のアナログ信号を画素信号Vsigとして生成するものである。この画素信号生成部320は、リセットトランジスタ321、増幅トランジスタ322、選択トランジスタ323および浮遊拡散層324を備える。リセットトランジスタ321、増幅トランジスタ322および選択トランジスタ323として、例えば、N型のMOSトランジスタが用いられる。
また、光電変換素子333のそれぞれは、受光チップ201に配置される。光電変換素子333以外の素子の全ては、検出チップ202に配置される。なお、受光チップ201および検出チップ202のそれぞれに配置する素子は、この構成に限定されない。例えば、転送トランジスタ331やOFGトランジスタ332、あるいは、アドレスイベント検出部400の一部などをさらに受光チップ201に配置することもできる。
光電変換素子333は、入射光を光電変換して電荷を生成するものである。転送トランジスタ331は、駆動回路211からの転送信号TRGに従って光電変換素子333から浮遊拡散層324へ電荷を転送するものである。OFGトランジスタ332は、駆動回路211からの制御信号OFGに従って光電変換素子333により生成された光電流をアドレスイベント検出部400に流すものである。
浮遊拡散層324は、電荷を蓄積して、その電荷の量に応じた電圧を生成するものである。リセットトランジスタ321は、駆動回路211からのリセット信号RSTに従って浮遊拡散層324の電荷量を初期化するものである。増幅トランジスタ322は、浮遊拡散層324の電圧を増幅するものである。選択トランジスタ323は、駆動回路211からの選択信号SELに従って、増幅された電圧の信号を画素信号Vsigとして垂直信号線308を介してカラムADC220へ出力するものである。
アドレスイベント検出部400は、受光部330の光電流の変化量が所定の閾値を超えたか否かにより、アドレスイベントの有無を検出するものである。このアドレスイベントは、例えば、入射光量に応じた光電流の変化量が上限の閾値を超えた旨を示すオンイベントと、その変化量が下限の閾値を下回った旨を示すオフイベントとからなる。言い換えれば、アドレスイベントは、入射光量の変化量が下限から上限までの所定の範囲外であるときに検出される。また、アドレスイベントの検出信号は、例えば、オンイベントの検出結果を示す1ビットと、オフイベントの検出結果を示す1ビットからなる。なお、アドレスイベント検出部400は、オンイベントのみを検出することもできる。
アドレスイベント検出部400は、アドレスイベントが生じた際に、Yアービタ213へ、検出信号の送信を要求するリクエストを送信する。そして、Yアービタ213から、リクエストに対する応答を受け取るとアドレスイベント検出部400は、検出信号DET+およびDET−を駆動回路211およびカラムADC220へ送信する。ここで、検出信号DET+は、オンイベントの有無の検出結果を示す信号であり、例えば、検出信号線306を介してカラムADC220へ送信される。また、検出信号DET−は、オフイベントの有無の検出結果を示す信号であり、例えば、検出信号線307を介してカラムADC220へ送信される。
また、選択信号SELに同期してアドレスイベント検出部400は、カラムイネーブル信号ColENをイネーブルに設定し、その信号をイネーブル信号線309を介してカラムADC220へ送信する。ここで、カラムイネーブル信号ColENは、対応する列の画素信号に対するAD(Analog to Digital)変換を有効または無効にするための信号である。なお、アドレスイベント検出部400は、特許請求の範囲に記載の検出部の一例である。
駆動回路211は、ある行でアドレスイベントが検出されると、その行を選択信号SEL等により駆動する。駆動された行内の画素310のそれぞれは、画素信号Vsigを生成してカラムADC220へ送信する。また、駆動された行のうちアドレスイベントを検出した画素310は、イネーブルに設定したカラムイネーブル信号ColENをカラムADC220へ送信する。一方、アドレスイベントを検出していない画素310のカラムイネーブル信号ColENは、ディセーブルに設定される。
図5は、本技術の第1の実施の形態における画素アレイ部300の一構成例を示す平面図である。同図に例示するように、画素アレイ部300には、検出信号線306および307と、垂直信号線308と、イネーブル信号線309との4本が列方向に沿って列ごとに配線される。画素310のそれぞれは、対応する列の検出信号線306および307と、垂直信号線308と、イネーブル信号線309とに接続される。
[アドレスイベント検出部の構成例]
図6は、本技術の第1の実施の形態におけるアドレスイベント検出部400の一構成例を示すブロック図である。このアドレスイベント検出部400は、電流電圧変換部410、バッファ420、減算器430、量子化器440および転送部450を備える。
電流電圧変換部410は、受光部330からの光電流を、その対数の電圧信号に変換するものである。この電流電圧変換部410は、電圧信号をバッファ420に供給する。
バッファ420は、電流電圧変換部410からの電圧信号を減算器430に出力するものである。このバッファ420により、後段を駆動する駆動力を向上させることができる。また、バッファ420により、後段のスイッチング動作に伴うノイズのアイソレーションを確保することができる。
減算器430は、駆動回路211からの行駆動信号に従ってバッファ420からの電圧信号のレベルを低下させるものである。この減算器430は、低下後の電圧信号を量子化器440に供給する。
量子化器440は、減算器430からの電圧信号をデジタル信号に量子化して検出信号として転送部450に出力するものである。
転送部450は、量子化器440からの検出信号を信号処理部212等に転送するものである。この転送部450は、アドレスイベントが検出された際に、検出信号の送信を要求するリクエストをYアービタ213に送信する。そして、転送部450は、リクエストに対する応答をYアービタ213から受け取ると、検出信号DET+およびDET−を駆動回路211およびカラムADC220に供給する。また、選択信号SELが送信された際に転送部450は、イネーブルに設定したカラムイネーブル信号ColENをカラムADC220へ送信する。
[電流電圧変換部の構成例]
図7は、本技術の第1の実施の形態における電流電圧変換部410の一構成例を示す回路図である。この電流電圧変換部410は、N型トランジスタ411および413とP型トランジスタ412とを備える。これらのトランジスタとして、例えば、MOSトランジスタが用いられる。
N型トランジスタ411のソースは、受光部330に接続され、ドレインは電源端子に接続される。P型トランジスタ412およびN型トランジスタ413は、電源端子と接地端子との間において、直列に接続される。また、P型トランジスタ412およびN型トランジスタ413の接続点は、N型トランジスタ411のゲートとバッファ420の入力端子とに接続される。また、P型トランジスタ412のゲートには、所定のバイアス電圧Vbiasが印加される。
N型トランジスタ411および413のドレインは電源側に接続されており、このような回路はソースフォロワと呼ばれる。これらのループ状に接続された2つのソースフォロワにより、受光部330からの光電流は、その対数の電圧信号に変換される。また、P型トランジスタ412は、一定の電流をN型トランジスタ413に供給する。
[減算器および量子化器の構成例]
図8は、本技術の第1の実施の形態における減算器430および量子化器440の一構成例を示す回路図である。減算器430は、コンデンサ431および433と、インバータ432と、スイッチ434とを備える。また、量子化器440は、コンパレータ441および442を備える。
コンデンサ431の一端は、バッファ420の出力端子に接続され、他端は、インバータ432の入力端子に接続される。コンデンサ433は、インバータ432に並列に接続される。スイッチ434は、コンデンサ433の両端を接続する経路を駆動回路211からのオートゼロ信号AZに従って開閉するものである。
インバータ432は、コンデンサ431を介して入力された電圧信号を反転するものである。このインバータ432は反転した信号をコンパレータ441の非反転入力端子(+)に出力する。
スイッチ434をオンした際にコンデンサ431のバッファ420側に電圧信号Vinitが入力され、その逆側は仮想接地端子となる。この仮想接地端子の電位を便宜上、ゼロとする。このとき、コンデンサ431に蓄積されている電位Qinitは、コンデンサ431の容量をC1とすると、次の式により表される。一方、コンデンサ433の両端は、短絡されているため、その蓄積電荷はゼロとなる。
init=C1×Vinit ・・・式1
次に、スイッチ434がオフされて、コンデンサ431のバッファ420側の電圧が変化してVafterになった場合を考えると、コンデンサ431に蓄積される電荷Qafterは、次の式により表される。
after=C1×Vafter ・・・式2
一方、コンデンサ433に蓄積される電荷Q2は、出力電圧をVoutとすると、次の式により表される。
Q2=−C2×Vout ・・・式3
このとき、コンデンサ431および433の総電荷量は変化しないため、次の式が成立する。
init=Qafter+Q2 ・・・式4
式4に式1乃至式3を代入して変形すると、次の式が得られる。
out=−(C1/C2)×(Vafter−Vinit) ・・・式5
式5は、電圧信号の減算動作を表し、減算結果の利得はC1/C2となる。通常、利得を最大化することが望まれるため、C1を大きく、C2を小さく設計することが好ましい。一方、C2が小さすぎると、kTCノイズが増大し、ノイズ特性が悪化するおそれがあるため、C2の容量削減は、ノイズを許容することができる範囲に制限される。また、画素ブロックごとに減算器430を含むアドレスイベント検出部400が搭載されるため、容量C1やC2には、面積上の制約がある。これらを考慮して、容量C1およびC2の値が決定される。
コンパレータ441は、減算器430からの電圧信号と、反転入力端子(−)に印加された上限電圧Vbonとを比較するものである。ここで、上限電圧Vbonは、上限閾値を示す電圧である。コンパレータ441は、比較結果COMP+を転送部450に出力する。コンパレータ441により、オンイベントが生じた場合にハイレベルの比較結果COMP+が出力され、オンイベントが無い場合にローレベルの比較結果COMP+が出力される。
コンパレータ442は、減算器430からの電圧信号と、反転入力端子(−)に印加された下限電圧Vboffとを比較するものである。ここで、下限電圧Vboffは、下限閾値を示す電圧である。コンパレータ442は、比較結果COMP−を転送部450に出力する。コンパレータ442により、オフイベントが生じた場合にハイレベルの比較結果COMP−が出力され、オフイベントが無い場合にローレベルの比較結果COMP−が出力される。
[転送部の構成例]
図9は、本技術の第1の実施の形態における転送部450の一構成例を示す回路図である。この転送部450は、AND(論理積)ゲート451および453と、OR(論理和)ゲート452と、フリップフロップ454および455とを備える。
ANDゲート451は、量子化器440の比較結果COMP+と、Yアービタ213からの応答AckYとの論理積を検出信号DET+としてカラムADC220に出力するものである。このANDゲート451により、オンイベントが生じた場合にハイレベルの検出信号DET+が出力され、オンイベントが無い場合にローレベルの検出信号DET+が出力される。
ORゲート452は、量子化器440の比較結果COMP+と比較結果COMP−との論理和をリクエストReqYとしてYアービタ213に出力するものである。ORゲート452により、アドレスイベントが生じた場合にハイレベルのリクエストReqYが出力され、アドレスイベントの無い場合にローレベルのリクエストReqYが出力される。また、リクエストReqYの反転値がフリップフロップ454の入力端子Dに入力される。
ANDゲート453は、量子化器440の比較結果COMP−と、Yアービタ213からの応答AckYとの論理積を検出信号DET−としてカラムADC220に出力するものである。このANDゲート453により、オフイベントが生じた場合にハイレベルの検出信号DET−が出力され、オフイベントが無い場合にローレベルの検出信号DET−が出力される。
フリップフロップ454は、応答AckYに同期してリクエストReqYの反転値を保持するものである。このフリップフロップ454は、保持値を内部信号ColEN'としてフリップフロップ455の入力端子Dに出力する。
フリップフロップ455は、駆動回路211からの選択信号SELに同期して、内部信号ColEN'を保持するものである。このフリップフロップ455は、保持値をカラムイネーブル信号ColENとしてカラムADC220に出力する。
[カラムADCの構成例]
図10は、本技術の第1の実施の形態におけるカラムADC220の一構成例を示すブロック図である。このカラムADC220には、K(Kは、2以上の整数)列ごとに、AD変換部230が配置される。例えば、2列ごとにAD変換部230が設けられる。この場合、列数を2M(Mは、整数)とすると、AD変換部230の個数は、Mである。
AD変換部230は、対応する2列の少なくとも一方からのアナログの画素信号をデジタル信号に変換するものである。
[AD変換部の構成例]
図11は、本技術の第1の実施の形態におけるAD変換部230の一構成例を示すブロック図である。このAD変換部230は、マルチプレクサ231、ADC232および制御回路240を備える。AD変換部230に対応する2列を2m−1(mは、1乃至Mの整数)列および2m列とする。
マルチプレクサ231は、制御回路240からの制御信号に従って、2m−1列の画素信号Vsig2m−1と、2m列の画素信号Vsig2mとの一方を選択して画素信号VsigSELとしてADC232に出力するものである。マルチプレクサ231には、制御信号として、切替信号SWおよびマルチプレクサイネーブル信号MuxENが入力される。なお、マルチプレクサ231は、特許請求の範囲に記載の選択部の一例である。
ADC232は、画素信号VsigSELをデジタル信号Doutに変換するものである。このADC232は、比較器233およびカウンタ234を備える。なお、ADC232は、特許請求の範囲に記載のアナログデジタル変換器の一例である。
比較器233は、制御回路240からのコンパレータイネーブル信号CompENに従って、所定の参照信号RMPと、画素信号VsigSELとを比較するものである。参照信号RMPとして、例えば、スロープ状に変化するランプ信号が用いられる。また、コンパレータイネーブル信号CompENは、比較器233の比較動作を有効または無効にするための信号である。比較器233は、比較結果VCOをカウンタ234に供給する。
カウンタ234は、制御回路240からのカウンタイネーブル信号CntENに従って、比較結果VCOが反転するまでの期間に亘って、クロック信号CLKに同期して計数値を計数するものである。カウンタイネーブル信号CntENは、カウンタ234の計数動作を有効または無効にするための信号である。このカウンタ234は、計数値を示すデジタル信号Doutを信号処理部212に出力する。
制御回路240は、2m−1列および2m列のそれぞれのカラムイネーブル信号ColEN2m−1およびColEN2mに従ってマルチプレクサ231およびADC232を制御するものである。制御内容の詳細については後述する。
また、各列の検出信号DET+およびDET−は、AD変換部230を介して信号処理部212へ出力される。
なお、比較器233およびカウンタ234からなるシングルスロープ型のADCをADC232として用いているが、この構成に限定されない。例えば、デルタシグマ型のADCをADC232として用いることもできる。
図12は、本技術の第1の実施の形態における制御回路240の一構成例を示すブロック図である。この制御回路240は、OR(論理和)ゲート241、レベルシフタ242、AND(論理積)ゲート243、デマルチプレクサ244および切替制御部245を備える。
ORゲート241は、カラムイネーブル信号ColEN2m−1およびColEN2mと、エクストライネーブル信号ExtENとの論理和をレベルシフタ242およびANDゲート243へ出力するものである。エクストライネーブル信号ExtENは、アドレスイベントの有無に関わらず、AD変換を有効にする旨を指示する信号であり、ユーザ操作などに従って設定される。例えば、有効にする際にエクストライネーブル信号ExtENにハイレベルが設定され、無効にする際にローレベルが設定される。
レベルシフタ242は、ORゲート241の出力信号の電圧を変換するものである。変換後の信号は、デマルチプレクサ244に入力される。
ANDゲート243は、ORゲート241の出力信号と、ブロック制御信号Crtl1との論理積をカウンタイネーブル信号CntENとしてカウンタ234に出力するものである。ブロック制御信号Crtl1は、アドレスイベントの有無に関わらず、カウンタ234を無効にするための信号である。例えば、アドレスイベントの有無に関わらず、カウンタ234を無効にする場合にブロック制御信号Crtl1にローレベルが設定され、そうでない場合にハイレベルが設定される。
デマルチプレクサ244は、ブロック制御信号Crtl2に従って、レベルシフタ242の出力信号をマルチプレクサ231および比較器233に分配するものである。ブロック制御信号Crtl2は、アドレスイベントの有無に関わらず、マルチプレクサ231および比較器233の少なくとも一方を無効にするための信号である。
例えば、アドレスイベントの有無に関わらず、マルチプレクサ231のみを無効にする際には2進数で「10」がブロック制御信号Crtl2に設定される。この際にレベルシフタ242の出力信号は、コンパレータイネーブル信号CompENとして比較器233へ出力される。比較器233のみを無効にする際には2進数で「01」がブロック制御信号Crtl2に設定される。この際にレベルシフタ242の出力信号は、マルチプレクサイネーブル信号MuxENとしてマルチプレクサ231へ出力される。また、マルチプレクサ231および比較器233の両方を無効にする際には、「00」が設定され、それ以外の場合に「11」が設定される。「11」が設定された際にレベルシフタ242の出力信号はマルチプレクサ231および比較器233の両方に出力される。
切替制御部245は、カラムイネーブル信号ColEN2m−1およびColEN2mに基づいてマルチプレクサ231が出力する画素信号を切り替えるものである。一方のみにイネーブルが設定された場合に切替制御部245は、そのイネーブルの列の画素信号を切替信号SWによりマルチプレクサ231に選択させる。2列の両方にイネーブルが設定された場合に切替制御部245は、一方の列の画素信号を切替信号SWによりマルチプレクサ231に選択させ、次に他方の列の画素信号を選択させる。
図13は、本技術の第1の実施の形態における読出し制御を説明するための図である。同図におけるaおよびbは、2m−1列および2m列の一方でのみ、アドレスイベントが生じた際の読出し制御を説明するための図である。同図におけるcは、2m−1列および2m列の両方でアドレスイベントが生じた際の読出し制御を説明するための図である。
2m−1列および2m列のうち一方でアドレスイベントが生じ、他方ではアドレスイベントが無い場合、アドレスイベントが生じた列の画素310のみがイネーブルのカラムイネーブル信号ColENを送信する。一方、アドレスイベントが無い列のカラムイネーブル信号ColENはディセーブルに設定される。
この場合にカラムADC220内の制御回路240は、切替信号SWにより、イネーブルの列をマルチプレクサ231に選択させる。例えば、2m−1列がイネーブルである場合に制御回路240は、同図におけるaに例示するように、切替信号SWにより、その列をマルチプレクサ231に選択させる。一方、2m列がイネーブルである場合に制御回路240は、同図におけるbに例示するように、その列をマルチプレクサ231に選択させる。
また、制御回路240は、一定のAD変換期間に亘って、コンパレータイネーブル信号CompENおよびカウンタイネーブル信号CntENにより、ADC232をイネーブルに設定する。
2m−1列および2m列の両方でアドレスイベントが生じた場合、各列の画素310は、イネーブルのカラムイネーブル信号ColENを送信する。この場合に制御回路240は、同図におけるcに例示するように2m−1列および2m列の一方をマルチプレクサ231に選択させ、次に他方を選択させる。また、制御回路240は、2m−1列および2m列のAD変換期間に亘って、ADC232をイネーブルに設定する。なお、カラムADC220は、特許請求の範囲に記載のアナログデジタル変換部の一例である。
また、2m−1列および2m列の両方がディセーブルである場合に制御回路240は、ADC232をディセーブルに設定する。
上述したように、AD変換部230は、アドレスイベントが生じた行内の画素310のうち、アドレスイベントが生じた画素310の画素信号のみをAD変換し、残りの画素はAD変換しない。これにより、アドレスイベントの生じた行内の全ての画素信号をAD変換する場合と比較して、消費電力を削減することができる。
[固体撮像素子の動作例]
図14は、本技術の第1の実施の形態における固体撮像素子200の動作の一例を示すタイミングチャートである。タイミングT0において駆動回路211は、制御信号OFGをハイレベルにして、OFGトランジスタ332を駆動する。これにより、アドレスイベントの有無の検出が開始される。
タイミングT1において、アドレスイベント(オンイベントなど)が生じると、画素310は、ハイレベルのリクエストReqYをYアービタ213に送信する。
タイミングT1の直後のタイミングT2において、Yアービタ213は、リクエストReqYをリクエストReqY'として保持する。また、Yアービタ213は、リクエストを調停し、応答AckYを返したものとする。この応答AckYを受け取った画素310は、例えば、ハイレベルの検出信号DET+を出力する。また、画素310は、リクエストReqYを反転し、内部信号ColEN'としてフリップフロップ455に保持する。
検出信号DET+を受け取った駆動回路211は、タイミングT3においてハイレベルのオートゼロ信号AZを供給してアドレスイベント検出部400を初期化する。続いて、駆動回路211は、タイミングT4において制御信号OFGをローレベルにするとともに、ハイレベルのリセット信号RSTおよびTRGを供給する。これにより、露光が開始される。
駆動回路211は、水平同期信号XHSに同期した露光終了の直前のタイミングT5において、ハイレベルのリセット信号RSTを供給して浮遊拡散層324を初期化する。そして、タイミングT6において駆動回路211は、ハイレベルの選択信号SELを供給する。その選択信号SELに同期して画素310は、ハイレベルのカラムイネーブル信号ColENを供給する。これにより、リセットレベルがAD変換される。ここで、リセットレベルは、浮遊拡散層324を初期化した際の画素信号のレベルである。
次いでタイミングT7において駆動回路211は、ハイレベルの転送信号TRGを供給して電荷を浮遊拡散層324へ転送させる。これにより、信号レベルがAD変換される。ここで、信号レベルは、露光終了時の画素信号のレベルである。
図15は、本技術の第1の実施の形態における固体撮像素子200の動作の一例を示すフローチャートである。この動作は、例えば、アドレスイベントの検出および撮像を行うためのアプリケーションが実行されたときに開始される。固体撮像素子200は、アドレスイベントの有無を検出し(ステップS901)、アドレスイベントが発生したか否かを判断する(ステップS902)。アドレスイベントが発生した場合(ステップS902:Yes)、カラムADC220は、アドレスイベントのあった画素310の画素信号のみをAD変換する(ステップS903)。
アドレスイベントが発生しなかった場合(ステップS902:No)、または、ステップS903の後に固体撮像素子200は、ステップS901以降を繰り返し実行する。
このように、本技術の第1の実施の形態によれば、入射光量の変化量が下限から上限までの範囲外である(すなわち、アドレスイベントが生じた)画素310の画素信号をAD変換するため、AD変換の回数を最小限にすることができる。すなわち、ある行に着目すると、その行内の複数の画素のいずれかにおいてアドレスイベントが生じた場合に、その画素の画素信号のみがAD変換される。これにより、行内の全画素の画素信号をAD変換する場合と比較して、撮像する際のAD変換に要する消費電力を削減することができる。このため、アドレスイベントの有無を検出しつつ、高画質の画像を撮像することが容易となる。
<2.第2の実施の形態>
上述の第1の実施の形態では、2m−1列および2m列の両方でアドレスイベントが生じた場合に、マルチプレクサ231により1列ずつ順に選択して画素信号をAD変換していた。しかし、この制御方法では、1列ずつ順にAD変換するため、1列のみをAD変換する場合よりもAD変換(すなわち、読出し)の速度が低下してしまう。この第2の実施の形態の固体撮像素子200は、マルチプレクサ231を用いずに複数の画素信号を並列に読み出す点において第1の実施の形態と異なる。
図16は、本技術の第2の実施の形態における画素アレイ部300およびカラムADC220の一構成例を示すブロック図である。この第2の実施の形態の画素アレイ部300には、列ごとに、検出信号線302、303、306および307と、垂直信号線304および308と、イネーブル信号線305および309とが配線される。行数を2N(Nは、整数)として2n(nは、1乃至Nの整数)行の画素310は、検出信号線306および307と、垂直信号線308と、イネーブル信号線309とに接続される。一方、2n−1行の画素310は、検出信号線302および303と、垂直信号線304と、イネーブル信号線305とに接続される。
また、カラムADC220において、列ごとにAD変換部230が2つ配置される。2つのAD変換部230の一方は、対応する列の2n行の画素信号をAD変換し、他方は、2n−1行をAD変換する。
図17は、本技術の第2の実施の形態におけるAD変換部230の一構成例を示すブロック図である。この第2の実施の形態のAD変換部230は、マルチプレクサ231および制御回路240が配置されない点において第1の実施の形態と異なる。
第2の実施の形態のADC232は、対応する列のカラムイネーブル信号ColENに従って、対応する列の画素信号VsigをAD変換する。
図16および図17に例示した構成により、2m−1列および2m列の両方でアドレスイベントが生じた場合に、2m−1列のAD変換部230と2m列のAD変換部230とが並列にAD変換を行うことができる。また、2n−1行および2n列の両方でアドレスイベントが生じた場合に、2n−1行に対応するAD変換部230と2n行に対応するAD変換部230とが並列にAD変換を行う。
なお、列ごとにAD変換部230を2つ配置しているが、列ごとにAD変換部230を1つ配置する構成であってもよい。また、列ごとに、AD変換部230を3つ以上配置し、3行以上を並列にAD変換する構成であってもよい。
このように、本技術の第2の実施の形態によれば、列ごとに2つのAD変換部230が2n−1行および2n行の画素信号を並列にAD変換するため、1行ずつAD変換する場合と比較してAD変換(読出し)の速度を向上させることができる。
<3.第3の実施の形態>
上述の第2の実施の形態では、カラムADC220に全てのAD変換部230を配置していたが、画素数が多くなるほど、カラムADC220の回路規模が増大してしまう。この第3の実施の形態の固体撮像素子200は、上側カラムADCと下側カラムADCとに、複数のAD変換部230を分散して配置した点において第2の実施の形態と異なる。
図18は、本技術の第3の実施の形態における固体撮像素子200の一構成例を示すブロック図である。この第3の実施の形態の固体撮像素子200には、カラムADC220の代わりに、上側カラムADC221および下側カラムADC222が配置され、信号処理部212の代わりに上側信号処理部214および下側信号処理部215が配置される。
上側カラムADC221は、2n行の画素信号をAD変換し、上側信号処理部214は、その行のデジタル信号および検出信号を処理する。一方、下側カラムADC222は、2n−1行の画素信号をAD変換し、下側信号処理部215は、その行のデジタル信号および検出信号を処理する。
図19は、本技術の第3の実施の形態における画素アレイ部300および下側カラムADC222の一構成例を示すブロック図である。この第3の実施の形態の画素アレイ部300の構成は、第2の実施の形態と同様である。ただし、2n行の画素310は、上側カラムADC221に接続され、2n−1行の画素310は、下側カラムADC222に接続される。
下側カラムADC222には、列ごとにAD変換部230が配置される。第3の実施の形態のAD変換部230の構成は、マルチプレクサ231の無い第2の実施の形態と同様である。上側カラムADC221内にも同様に、列ごとにAD変換部230が配置される。
図18および図19に例示した構成により、2n−1行および2n列の両方でアドレスイベントが生じた場合に、上側カラムADC221と下側カラムADC222とが並列にAD変換を行うことができる。なお、上側カラムADC221は、特許請求の範囲に記載の第1のアナログデジタル変換部の一例であり、下側カラムADC222は、特許請求の範囲に記載の第2のアナログデジタル変換部の一例である。
このように、本技術の第3の実施の形態によれば、上側カラムADC221と下側カラムADC222とに2N個のAD変換部230を分散して配置したため、カラムADC当たりの回路規模を削減することができる。
<4.第4の実施の形態>
上述の第3の実施の形態では、上側カラムADC221と下側カラムADC222とのそれぞれにおいて、列ごとにAD変換部230を配置していたが、画素数が多くなるほど、カラムADCのそれぞれの回路規模が増大してしまう。この第4の実施の形態の固体撮像素子200は、上側カラムADC221と下側カラムADC222とのそれぞれにおいて、2列ごとにAD変換部230を配置した点において第3の実施の形態と異なる。
図20は、本技術の第4の実施の形態における画素アレイ部300および下側カラムADC222の一構成例を示すブロック図である。この第4の実施の形態の画素アレイ部300には、第1の実施の形態と同様に列ごとに4本の信号線が配線される。また、列数を4Mとして、4m列および4m−2列は、上側カラムADC221に接続され、4m−1列および4m−3列は、下側カラムADC222に接続される。
第4の実施の形態の下側カラムADC222には、接続された計2M列に対し、K列ごとにAD変換部230が配置される。Kが「2」である場合、M個のAD変換部230が配置される。また、第4の実施の形態のAD変換部230の構成は、マルチプレクサ231を設けた第1の実施の形態と同様である。第4の実施の形態の上側カラムADC221内にも同様に、2列ごとにAD変換部230が配置される。
このように、本技術の第4の実施の形態によれば、2列ごとにAD変換部230を配置したため、列ごとにAD変換部230を配置する場合と比較して、上側カラムADC221および下側カラムADC222のそれぞれの回路規模を削減することができる。
<5.第5の実施の形態>
上述の第1の実施の形態では、固体撮像素子200内のYアービタ213は、複数の行からのリクエストを調停していたが、複数の列からのリクエストは調整していなかった。この構成では、行内の複数の画素で略同時にアドレスイベントが生じた場合に、それらの画素の検出信号が略同時に信号処理部212へ出力され、信号処理部212の処理負荷が大きくなる。この第5の実施の形態の固体撮像素子200は、Xアービタが、複数の列からのリクエストを調整する点において第1の実施の形態と異なる。
図21は、本技術の第5の実施の形態における固体撮像素子200の一構成例を示すブロック図である。この第5の実施の形態の固体撮像素子200は、Xアービタ216をさらに備える点において第1の実施の形態と異なる。
Xアービタ216は、複数の列のそれぞれからのリクエストを調停し、調停結果に基づいて応答を返すものである。複数の列のリクエストの調停により、行内の複数の画素で略同時にアドレスイベントが生じた場合に、それらの画素の検出信号を順にカラムADC220に供給させることができる。なお、Xアービタ216は、特許請求の範囲に記載の列アービタの一例である。
第5の実施の形態の画素310は、アドレスイベントを検出するとYアービタ213へリクエストを送信し、Yアービタ213から応答を受け取ると、Xアービタ216へリクエストを送信する。そして、画素310は、Xアービタ216から応答を受け取ると検出信号を出力する。
なお、第5の実施の形態の固体撮像素子200に、第2乃至第4の実施の形態の構成を適用することもできる。
このように、本技術の第5の実施の形態によれば、Xアービタ216が、複数の列のそれぞれからのリクエストを調停するため、行内の複数の画素で略同時にアドレスイベントが生じた場合に、それらの画素の検出信号を順に供給することができる。
[変形例]
上述の第5の実施の形態では、画素310がカラムイネーブル信号ColENを生成していた。しかし、この構成では、カラムイネーブル信号ColENを生成するための回路(ORゲート452や、フリップフロップ454および455など)を画素毎に配置する必要があるため、その分、画素アレイ部300の回路規模が増大する。この第5の実施の形態の変形例の固体撮像素子200は、画素310の代わりにXアービタ216がカラムイネーブル信号ColENを生成する点において第5の実施の形態と異なる。
図22は、本技術の第5の実施の形態の変形例における画素310およびXアービタ216の一構成例を示すブロック図である。この第5の実施の形態の変形例の画素310においてアドレスイベント検出部400は、カラムイネーブル信号ColENを生成しない。代わりにXアービタ216が、アドレスイベントの生じた列のカラムイネーブル信号ColENを生成してカラムADC220に供給する。
なお、第5の実施の形態の変形例の固体撮像素子200に、第2乃至第4の実施の形態の構成を適用することもできる。
このように、本技術の第5の実施の形態の変形例では、Xアービタ216がカラムイネーブル信号ColENを生成するため、画素310内に、カラムイネーブル信号ColENを生成するための回路を配置する必要が無くなる。これにより、画素310の回路規模を削減することができる。
<6.移動体への応用例>
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図23は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図23に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(interface)12053が図示されている。
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図23の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図24は、撮像部12031の設置位置の例を示す図である。
図24では、撮像部12031として、撮像部12101,12102,12103,12104,12105を有する。
撮像部12101,12102,12103,12104,12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102,12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部12105は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図24には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部12031に適用され得る。具体的には、図1の撮像装置100は、撮像部12031に適用することができる。撮像部12031に本開示に係る技術を適用することにより、撮像部12031の消費電力を削減することができるため、車両制御システム全体の消費電力を低減することができる。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、CD(Compact Disc)、MD(MiniDisc)、DVD(Digital Versatile Disc)、メモリカード、ブルーレイディスク(Blu-ray(登録商標)Disc)等を用いることができる。
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
なお、本技術は以下のような構成もとることができる。
(1)それぞれが光電変換によりアナログ信号を生成する複数の画素と、
前記複数の画素のうち入射光量の変化量が所定範囲外である画素の前記アナログ信号をデジタル信号に変換するアナログデジタル変換部と
を具備する固体撮像素子。
(2)前記アナログデジタル変換部は、
前記複数の画素のそれぞれの前記アナログ信号のうち前記変化量が前記所定範囲外である画素の前記アナログ信号を選択する選択部と、
前記選択されたアナログ信号を前記デジタル信号に変換するアナログデジタル変換器と
を備える前記(1)記載の固体撮像素子。
(3)前記複数の画素は、所定方向に配列された所定数の列に設けられ、
前記アナログデジタル変換部は、前記列ごとに一定数のアナログデジタル変換器を備え、
前記アナログデジタル変換器は、前記複数の画素のうち対応する前記列に属する画素の前記変化量が前記所定範囲外である場合には前記画素の前記アナログ信号を前記デジタル信号に変換する
前記(1)記載の固体撮像素子。
(4)前記複数の画素は、所定方向に配列された所定数の列に設けられ、
前記アナログデジタル変換部は、
前記所定数の列の一部に接続された第1のアナログデジタル変換部と、
前記所定数の列の残りに接続された第2のアナログデジタル変換部と
を備える前記(1)記載の固体撮像素子。
(5)前記第1および第2のアナログデジタル変換部のそれぞれは、
対応する前記列の前記アナログ信号のうち前記変化量が前記所定範囲外である列の前記アナログ信号を選択する選択部と、
前記選択されたアナログ信号を前記デジタル信号に変換するアナログデジタル変換器と
を備える前記(4)記載の固体撮像素子。
(6)前記第1および第2のアナログデジタル変換部のそれぞれは、対応する前記列ごとに一定数のアナログデジタル変換器を備え、
前記アナログデジタル変換器は、前記複数の画素のうち対応する前記列に属する画素の前記変化量が前記所定範囲外である場合には前記画素の前記アナログ信号を前記デジタル信号に変換する
前記(4)記載の固体撮像素子。
(7)前記複数の画素のそれぞれは、
前記アナログ信号を生成する画素信号生成部と、
前記変化量の絶対値が所定の閾値を超えるか否かを検出して当該検出結果に基づいて所定のイネーブル信号を生成する検出部と
を備え、
前記アナログデジタル変換部は、前記イネーブル信号に従って前記アナログ信号を前記デジタル信号に変換する
前記(1)から(6)のいずれかに記載の固体撮像素子。
(8)所定方向に垂直な方向に配列された所定数の行のそれぞれからの第1のリクエストを調停する行アービタをさらに具備し、
前記複数の画素は、前記所定数の行に配列され、
前記複数の画素のそれぞれは、前記変化量が前記所定範囲外である場合には前記第1のリクエストを送信する
前記(1)から(6)のいずれかに記載の固体撮像素子。
(9)前記所定方向に配列された所定数の列のそれぞれからの第2のリクエストを調停する列アービタをさらに具備し、
前記複数の画素のそれぞれは、前記行アービタの調停結果に基づいて前記第2のリクエストを送信する
前記(8)のいずれかに記載の固体撮像素子。
(10)前記列アービタは、前記第2のリクエストに基づいて所定のイネーブル信号を生成し、
前記アナログデジタル変換部は、前記イネーブル信号に従って前記アナログ信号を前記デジタル信号に変換する
前記(9)記載の固体撮像素子。
(11)それぞれが光電変換によりアナログ信号を生成する複数の画素と、
前記複数の画素のうち入射光量の絶対値が所定範囲外である画素の前記アナログ信号をデジタル信号に変換するアナログデジタル変換部と、
前記デジタル信号を処理する信号処理部と
を具備する撮像装置。
100 撮像装置
110 撮像レンズ
120 記録部
130 制御部
200 固体撮像素子
201 受光チップ
202 検出チップ
211 駆動回路
212 信号処理部
213 Yアービタ
214 上側信号処理部
215 下側信号処理部
216 Xアービタ
220 カラムADC
221 上側カラムADC
222 下側カラムADC
230 AD変換部
231 マルチプレクサ
232 ADC
233 比較器
234 カウンタ
240 制御回路
241、452 OR(論理和)ゲート
242 レベルシフタ
243、451、453 AND(論理積)ゲート
244 デマルチプレクサ
245 切替制御部
300 画素アレイ部
310 画素
320 画素信号生成部
321 リセットトランジスタ
322 増幅トランジスタ
323 選択トランジスタ
324 浮遊拡散層
330 受光部
331 転送トランジスタ
332 OFGトランジスタ
333 光電変換素子
400 アドレスイベント検出部
410 電流電圧変換部
411、413 N型トランジスタ
412 P型トランジスタ
420 バッファ
430 減算器
431、433 コンデンサ
432 インバータ
434 スイッチ
440 量子化器
441、442 コンパレータ
450 転送部
454、455 フリップフロップ
12031 撮像部

Claims (11)

  1. それぞれが光電変換によりアナログ信号を生成する複数の画素と、
    前記複数の画素のうち入射光量の変化量が所定範囲外である画素の前記アナログ信号をデジタル信号に変換するアナログデジタル変換部と
    を具備する固体撮像素子。
  2. 前記アナログデジタル変換部は、
    前記複数の画素のそれぞれの前記アナログ信号のうち前記変化量が前記所定範囲外である画素の前記アナログ信号を選択する選択部と、
    前記選択されたアナログ信号を前記デジタル信号に変換するアナログデジタル変換器と
    を備える請求項1記載の固体撮像素子。
  3. 前記複数の画素は、所定方向に配列された所定数の列に設けられ、
    前記アナログデジタル変換部は、前記列ごとに一定数のアナログデジタル変換器を備え、
    前記アナログデジタル変換器は、前記複数の画素のうち対応する前記列に属する画素の前記変化量が前記所定範囲外である場合には前記画素の前記アナログ信号を前記デジタル信号に変換する
    請求項1記載の固体撮像素子。
  4. 前記複数の画素は、所定方向に配列された所定数の列に設けられ、
    前記アナログデジタル変換部は、
    前記所定数の列の一部に接続された第1のアナログデジタル変換部と、
    前記所定数の列の残りに接続された第2のアナログデジタル変換部と
    を備える請求項1記載の固体撮像素子。
  5. 前記第1および第2のアナログデジタル変換部のそれぞれは、
    対応する前記列の前記アナログ信号のうち前記変化量が前記所定範囲外である列の前記アナログ信号を選択する選択部と、
    前記選択されたアナログ信号を前記デジタル信号に変換するアナログデジタル変換器と
    を備える請求項4記載の固体撮像素子。
  6. 前記第1および第2のアナログデジタル変換部のそれぞれは、対応する前記列ごとに一定数のアナログデジタル変換器を備え、
    前記アナログデジタル変換器は、前記複数の画素のうち対応する前記列に属する画素の前記変化量が前記所定範囲外である場合には前記画素の前記アナログ信号を前記デジタル信号に変換する
    請求項4記載の固体撮像素子。
  7. 前記複数の画素のそれぞれは、
    前記アナログ信号を生成する画素信号生成部と、
    前記変化量の絶対値が所定の閾値を超えるか否かを検出して当該検出結果に基づいて所定のイネーブル信号を生成する検出部と
    を備え、
    前記アナログデジタル変換部は、前記イネーブル信号に従って前記アナログ信号を前記デジタル信号に変換する
    請求項1記載の固体撮像素子。
  8. 所定方向に垂直な方向に配列された所定数の行のそれぞれからの第1のリクエストを調停する行アービタをさらに具備し、
    前記複数の画素は、前記所定数の行に配列され、
    前記複数の画素のそれぞれは、前記変化量が前記所定範囲外である場合には前記第1のリクエストを送信する
    請求項1記載の固体撮像素子。
  9. 前記所定方向に配列された所定数の列のそれぞれからの第2のリクエストを調停する列アービタをさらに具備し、
    前記複数の画素のそれぞれは、前記行アービタの調停結果に基づいて前記第2のリクエストを送信する
    請求項8記載の固体撮像素子。
  10. 前記列アービタは、前記第2のリクエストに基づいて所定のイネーブル信号を生成し、
    前記アナログデジタル変換部は、前記イネーブル信号に従って前記アナログ信号を前記デジタル信号に変換する
    請求項9記載の固体撮像素子。
  11. それぞれが光電変換によりアナログ信号を生成する複数の画素と、
    前記複数の画素のうち入射光量の絶対値が所定範囲外である画素の前記アナログ信号をデジタル信号に変換するアナログデジタル変換部と、
    前記デジタル信号を処理する信号処理部と
    を具備する撮像装置。
JP2018216590A 2018-11-19 2018-11-19 固体撮像素子、および、撮像装置 Pending JP2020088481A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2018216590A JP2020088481A (ja) 2018-11-19 2018-11-19 固体撮像素子、および、撮像装置
CN201980054348.XA CN112585954B (zh) 2018-11-19 2019-10-15 固态成像元件与成像装置
PCT/JP2019/040379 WO2020105313A1 (ja) 2018-11-19 2019-10-15 固体撮像素子、および、撮像装置
KR1020217003720A KR20210090156A (ko) 2018-11-19 2019-10-15 고체 촬상 소자 및 촬상 장치
US17/057,379 US11375149B2 (en) 2018-11-19 2019-10-15 Solid-state image sensor and imaging device
DE112019005786.3T DE112019005786T5 (de) 2018-11-19 2019-10-15 Festkörper-bildsensor und bildgebungsvorrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018216590A JP2020088481A (ja) 2018-11-19 2018-11-19 固体撮像素子、および、撮像装置

Publications (1)

Publication Number Publication Date
JP2020088481A true JP2020088481A (ja) 2020-06-04

Family

ID=70773187

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018216590A Pending JP2020088481A (ja) 2018-11-19 2018-11-19 固体撮像素子、および、撮像装置

Country Status (6)

Country Link
US (1) US11375149B2 (ja)
JP (1) JP2020088481A (ja)
KR (1) KR20210090156A (ja)
CN (1) CN112585954B (ja)
DE (1) DE112019005786T5 (ja)
WO (1) WO2020105313A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021256095A1 (ja) * 2020-06-18 2021-12-23 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び撮像方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230173210A (ko) * 2018-06-27 2023-12-26 프로페시 복수의 슈퍼-픽셀(super-pixel)들을 포함하는 이미지 센서
US20230362503A1 (en) * 2020-10-28 2023-11-09 Sony Semiconductor Solutions Corporation Solid imaging device and electronic device
US11430828B2 (en) * 2020-12-17 2022-08-30 Omnivision Technologies, Inc. Event driven pixel for spatial information extraction
CN115473521B (zh) * 2022-11-02 2023-01-24 深圳大学 基于新颖仲裁器的超低功耗强物理不可克隆函数电路结构

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6660989B2 (en) * 2001-07-11 2003-12-09 Texas Instruments Incorporated CMOS imager having asynchronous pixel readout in order of pixel illumination
JP4107269B2 (ja) * 2004-02-23 2008-06-25 ソニー株式会社 固体撮像装置
JP5251778B2 (ja) * 2009-08-03 2013-07-31 ソニー株式会社 固体撮像装置、固体撮像装置のアナログ−デジタル変換方法および電子機器
JP2012165168A (ja) * 2011-02-07 2012-08-30 Sony Corp 半導体装置、物理情報取得装置、及び、信号読出し方法
US9628738B2 (en) * 2013-01-31 2017-04-18 Nanyang Technological University Motion detection image sensors and methods for controlling a motion detection image sensor
US10249660B2 (en) * 2013-06-11 2019-04-02 Rambus Inc. Split-gate conditional-reset image sensor
US9986179B2 (en) * 2014-09-30 2018-05-29 Qualcomm Incorporated Sensor architecture using frame-based and event-based hybrid scheme
JP2018011141A (ja) * 2016-07-12 2018-01-18 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
WO2018198691A1 (ja) * 2017-04-25 2018-11-01 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP7023685B2 (ja) * 2017-11-30 2022-02-22 キヤノン株式会社 撮像装置、撮像システム、移動体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021256095A1 (ja) * 2020-06-18 2021-12-23 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び撮像方法

Also Published As

Publication number Publication date
US11375149B2 (en) 2022-06-28
DE112019005786T5 (de) 2021-09-02
CN112585954B (zh) 2023-12-22
KR20210090156A (ko) 2021-07-19
US20210195130A1 (en) 2021-06-24
WO2020105313A1 (ja) 2020-05-28
CN112585954A (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
US11659304B2 (en) Solid-state imaging element, imaging device, and control method of solid-state imaging element
US11832013B2 (en) Solid-state image sensor, imaging device, and method of controlling solid-state image sensor
US11523079B2 (en) Solid-state imaging element and imaging device
WO2020105313A1 (ja) 固体撮像素子、および、撮像装置
US11582416B2 (en) Solid-state image sensor, imaging device, and method of controlling solid-state image sensor
JP7181868B2 (ja) アナログデジタル変換器、固体撮像素子、および、アナログデジタル変換器の制御方法
WO2020158583A1 (ja) 固体撮像装置及び撮像装置
US20210385402A1 (en) Solid-state image sensor
WO2020110537A1 (ja) 固体撮像素子、および、撮像装置
WO2020110484A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP2020127186A (ja) 固体撮像装置及び撮像装置
WO2020105301A1 (ja) 固体撮像素子、および、撮像装置
CN117957854A (en) Solid-state image sensor, imaging apparatus, and control method of solid-state image sensor
KR20240056647A (ko) 고체 촬상 소자, 촬상 장치 및 고체 촬상 소자의 제어 방법
KR20240056646A (ko) 고체 촬상 소자, 촬상 장치 및 고체 촬상 소자의 제어 방법