JP2022156089A - 撮像素子及び撮像装置 - Google Patents

Abstract

【課題】対象物の動きをイベントとして検出する撮像素子における光源のフリッカに基づくイベントの検出を削減する。【解決手段】撮像素子は、輝度変化検出部と、リクエスト生成部とを有する。その撮像素子が有する輝度変化検出部は、入射光の輝度の同一方向の変化を複数の閾値に基づいて検出する。その撮像素子が有するリクエスト生成部は、その撮像素子が有する輝度変化検出部におけるその検出の結果の転送を要求するリクエストを生成する。【選択図】図５

Description

本開示は、撮像素子及び撮像装置に関する。

入射光の光電変換を行う光電変換部を備える画素が２次元行列状に配置された画素アレイ部を有する撮像素子において、所定の輝度変化を検出した画素のみを選択して当該輝度変化の信号の読出しを行う撮像素子が使用されている。このような輝度の変化は対象物の動きに起因するものであり、輝度の変化を検出した画素のみを選択して読出しを行うことにより、動く被写体を高いフレームレートで検出することができる。このような撮像素子は、ＥＶＳ（Event-based Vision Sensor）と称される。

このＥＶＳにおける画素は、入射光の輝度変化をイベントとして検出し、イベントが発生した旨を表す信号を制御回路に伝達する。この制御回路は、調停回路と称され、複数の画素から出力された信号の調停を行い、イベントを読み出す画素を決定する。しかし、ＬＥＤや蛍光灯等の点滅する光源を撮像した場合、照明装置のフリッカによりイベントが過剰に生成される。このイベントは、光源の動きに伴うイベントではないため、被写体の動きに伴うイベントの読出しに支障を来すこととなる。

このような、不要なイベントを生成する画素を異常画素として検出し、無効に設定する撮像素子が提案されている（例えば、特許文献１参照）。この従来技術では、イベントの有無を画素毎に検出する検出モードと画素毎に異常か否かを判定する異常判定モードとを有する。この異常判定モードにおいてフリッカ光源からの入射光を受光して不要なイベントを検出する画素の判定を行い、異常な画素として記録する。この異常な画素におけるイベントの検出が停止される。

特開２０２０－０８８７２３号公報

しかしながら、上記の従来技術では、異常と判定されるまでは、画素のイベントが検出されるため、フリッカによるイベントの検出が困難という問題がある。

そこで、本開示では、光源のフリッカに基づくイベントの検出を削減する撮像素子及び撮像装置を提案する。

本開示の撮像素子は、輝度変化検出部と、リクエスト生成部とを有する。輝度変化検出部は、入射光の輝度の同一方向の変化を複数の閾値に基づいて検出する。リクエスト生成部は、上記輝度変化検出部における検出の結果の転送を要求するリクエストを生成する。

本開示の実施形態に係る撮像装置の構成例を示すブロック図である。 本開示の実施形態に係る撮像素子の構成例を示すブロック図である。 本開示の第１の実施形態に係る画素の構成例を示す図である。 本開示の実施形態に係る信号生成回路の構成例を示す図である。 本開示の第１の実施形態に係る輝度変化検出部の構成例を示す図である。 本開示の第１の実施形態に係るリクエスト生成部の構成例を示す図である。 本開示の第１の実施形態に係るリクエストの生成の一例を示す図である。 本開示の第１の実施形態に係るアービタの調停の一例を示す図である。 本開示の第２の実施形態に係るリクエストの生成の一例を示す図である。 本開示の第３の実施形態に係る輝度変化検出部の構成例を示す図である。 本開示の第４の実施形態に係る輝度変化検出部の構成例を示す図である。 本開示の第５の実施形態に係る画素の構成例を示す図である。 本開示の第５の実施形態に係る画素アレイ部の構成例を示す図である。 本開示の第５の実施形態に係る画素アレイ部の構成例を示す図である。 本開示の第６の実施形態に係る閾値電圧生成部５０の構成例を示す図である。 本開示の第６の実施形態に係る閾値電圧生成部５０の構成例を示す図である。

以下に、本開示の実施形態について図面に基づいて詳細に説明する。説明は、以下の順に行う。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
１．第１の実施形態
２．第２の実施形態
３．第３の実施形態
４．第４の実施形態
５．第５の実施形態
６．第６の実施形態

（１．第１の実施形態）
［撮像装置の構成］
図１は、本開示の実施形態に係る撮像装置の構成例を示すブロック図である。同図は、撮像装置１の構成例を表す図である。

実施形態に係る撮像装置１は、撮像レンズ５と、撮像素子２と、記録部３と、制御部４とを備える。この撮像装置１としては、ウェアラブルデバイスに搭載されるカメラや、車載カメラなどが想定される。

撮像レンズ５は、光学系の一例であり、被写体からの入射光を取り込んで撮像素子２の撮像面上に結像させる。

撮像素子２は、ＥＶＳ（Event-based Vision Sensor）とも呼称され、複数の画素のそれぞれについて、輝度の変化量の絶対値が閾値を超えた旨をアドレスイベントとして検出する。このイベントは、たとえば、輝度の上昇量が上昇方向の閾値を超えた旨を示すオンイベントと、輝度の低下量が低下方向の閾値を下回った旨を示すオフイベントとを含む。

そして、撮像素子２は、イベントの検出結果を示す検出信号を画素毎に生成する。それぞれの検出信号は、オンイベントの有無を示す検出信号と、オフイベントの有無を示す検出信号とを含む。

撮像素子２は、検出信号からなる画像データに対し、画像認識処理などの所定の信号処理を実行し、その処理後のデータを記録部３に信号線６を介して出力する。

記録部３は、撮像素子２からのデータを記録する。制御部４は、撮像素子２を制御して、かかる撮像素子２に画像データを撮像させる。

［撮像素子の構成］
図２は、本開示の実施形態に係る撮像素子の構成例を示すブロック図である。同図は、撮像素子２の構成例を表すブロック図である。同図の撮像素子２は、画素アレイ部１０と、制御回路２０と、アービタ３０と、信号処理部４０と、閾値電圧生成部５０とを備える。

画素アレイ部１０は、複数の画素１００が配置されて構成されたものである。同図の画素アレイ部１０は、画素１００が２次元行列状に配置される例を表したものである。画素１００は、入射光の光電変換を行う光電変換部を備え、光電変換に基づく光電流の変化量に基づいてイベントの検出を行う。

イベントを検出した画素１００は、イベントの検出信号を後述する制御回路２０および信号処理部４０に対して出力する。制御回路２０は、検出信号を出力した画素１００に対して制御信号を出力し、画素１００において検出されたイベントをリセットさせる。また、信号処理部４０は、検出信号に対して所定の信号処理を行う。

この検出信号の出力に先立ち、画素１００は、後述するアービタ３０に対して検出信号の出力を要求するリクエストを送出する。アービタ３０は、リクエストを送出した画素１００を選択してリクエストに対する応答を出力する。この応答は、検出信号の出力を許可するものである。

制御回路２０は、画素アレイ部１０のそれぞれの画素１００における画素アドレスイベントのリセットを制御する回路である。この制御回路２０は、後述する画素１００に配置された微分回路１３０をリセットする制御信号を出力する。画素１００と制御回路２０との間は信号線１１により接続される。画素１００からのイベントの検出信号および制御回路２０からの制御信号は、信号線１１により伝達される。

アービタ３０は、リクエストを送出した画素１００を選択するものである。上述のように、アドレスイベントを検出した画素１００は、検出信号を制御回路２０および信号処理部４０に出力する。この制御信号の供給は、１つの画素１００に対して独占的に行う必要がある。複数の画素１００における検出信号の出力の際の衝突を防ぐためである。そこで、アービタ３０が画素アドレスイベントを検出した複数の画素１００の調停を行う。具体的には、アービタ３０は、リクエストを送出した画素１００のうちの１つを選択し、この選択した画素１００に対して応答を返す。この応答は、選択の結果を表す。画素１００とアービタ３０との間は信号線１２により接続される。画素１００からのリクエスト及びアービタ３０からの応答は、信号線１２により伝達される。

アービタ３０は、複数の画素１００からリクエストが送出された際は、リクエストが送出された順に画素１００を選択することができる。この際、アービタ３０は、特定の画素１００に対して優先的な選択を行うことができる。例えば、アービタ３０は、後述する高い優先度が設定されたリクエストを送出した画素１００を優先して選択することができる。

信号処理部４０は、画素１００からの検出信号に対して所定の信号処理を行うものである。例えば、信号処理部４０は、かかる検出信号を画像信号として２次元行列状に配列し、画素１００毎に２ビットの情報を有する画像データを生成することができる。また、信号処理部４０は、生成した画像データに対して画像認識処理などの信号処理を行うことができる。画素１００と信号処理部４０との間は信号線１３により接続される。画素１００からの検出信号は、信号線１３により伝達される。

閾値電圧生成部５０は、前述の閾値に相当する電圧である閾値電圧を生成するものである。この閾値電圧生成部５０は、生成した閾値電圧を画素１００に供給する。

［画素の構成］
図３は、本開示の第１の実施形態に係る画素の構成例を示す図である。同図は、画素１００の構成例を表す図である。同図の画素１００は、光電変換部１１０と、電流電圧変換回路１２０と、微分回路１３０と、輝度変化検出部１４０と、リクエスト生成部１６０とを備える。

光電変換部１１０は、入射光の光電変換を行うものである。この光電変換部１１０は、フォトダイオードにより構成することができる。この光電変換により入射光の輝度に応じた電荷が生成される。この光電変換部１１０に電圧を印加することにより、生成された電荷に応じた電流である光電流を外部の回路に供給することができる。

電流電圧変換回路１２０は、光電変換部１１０からの光電流を電圧信号に変換するものである。また、この変換の際、電流電圧変換回路１２０は、電圧信号の対数圧縮を行う。変換後の電圧信号は、微分回路１３０に対して出力される。電流電圧変換回路１２０の構成の詳細については後述する。

微分回路１３０は、電流電圧変換回路１２０から出力される電圧信号の変化分を抽出するとともに変化分を積算して電圧信号の変化量に応じた信号を生成するものである。この信号は、入射光の輝度の変化に応じた信号に相当する。この信号を光信号と称する。微分回路１３０は、生成した光信号を信号線１０１を介して輝度変化検出部１４０に出力する。また、微分回路１３０は、制御回路２０から制御信号が入力される。この制御信号は、上述の電圧信号の変化量を検出する回路をリセットする信号である。微分回路１３０の構成の詳細については後述する。なお、電流電圧変換回路１２０及び微分回路１３０は、特許請求の範囲に記載の信号発生回路の一例である。

輝度変化検出部１４０は、入射光の輝度変化を検出するものである。同図の輝度変化検出部１４０は、微分回路１３０から出力された光信号の変化を閾値電圧生成部５０から供給された閾値電圧に基づいて検出する。検出結果は、リクエスト生成部１６０に出力される。輝度変化検出部１４０の構成の詳細については後述する。

リクエスト生成部１６０は、輝度変化検出部１４０における輝度変化の検出結果の転送を要求するリクエストを生成し、アービタ３０に対して出力するものである。また、リクエスト生成部１６０は、リクエストに対する応答がアービタ３０から出力されると、輝度変化の検出信号を信号処理部４０および制御回路２０に対して出力する。

［信号生成回路の構成］
図４は、本開示の実施形態に係る信号生成回路の構成例を示す図である。同図は、電流電圧変換回路１２０及び微分回路１３０の構成例を表す回路図である。なお、同図には、光電変換部１１０をさらに記載した。

同図の電流電圧変換回路１２０は、ＭＯＳトランジスタ１２１乃至１２３を備える。同図においてＶｄｄは、電源を供給する電源線Ｖｄｄを表す。Ｖｂ１は、バイアス電圧を供給する信号線Ｖｂ１を表す。ＭＯＳトランジスタ１２１及び１２３には、ｎチャネルＭＯＳトランジスタを使用することができる。ＭＯＳトランジスタ１２２には、ｐチャネルＭＯＳトランジスタを使用することができる。

光電変換部１１０のアノードは接地され、カソードはＭＯＳトランジスタ１２１のソースおよびＭＯＳトランジスタ１２３のゲートに接続される。ＭＯＳトランジスタ１２１及びＭＯＳトランジスタ１２２のドレインは電源線Ｖｄｄに接続され、ＭＯＳトランジスタ１２２のゲートは信号線Ｖｂ１に接続される。ＭＯＳトランジスタ１２３のソースは接地され、ドレインはＭＯＳトランジスタ１２１のゲート、ＭＯＳトランジスタ１２２のドレインおよび電流電圧変換回路１２０の出力信号線に接続される。この出力信号線には、微分回路１３０のキャパシタの一端が接続される。

ＭＯＳトランジスタ１２１は、光電変換部１１０に電流を供給するＭＯＳトランジスタである。光電変換部１１０には、入射光に応じたシンク電流（光電流）が流れる。ＭＯＳトランジスタ１２１は、このシンク電流を供給する。この際、ＭＯＳトランジスタ１２１のゲートは、後述するＭＯＳトランジスタ１２３の出力電圧により駆動され、光電変換部１１０のシンク電流に等しいソース電流を出力する。ＭＯＳトランジスタのゲートソース間電圧Ｖｇｓがソース電流に応じた電圧となるため、ＭＯＳトランジスタ１２１のソース電圧は、光電変換部１１０の電流に応じた電圧となる。これにより、光電変換部１１０の光電流が電圧信号に変換される。

ＭＯＳトランジスタ１２３は、ＭＯＳトランジスタ１２１のソース電圧を増幅するＭＯＳトランジスタである。また、ＭＯＳトランジスタ１２２は、ＭＯＳトランジスタ１２３の定電流負荷を構成する。ＭＯＳトランジスタ１２３のドレインには、増幅された電圧信号が出力される。この電圧信号は、信号線１２９に出力されるとともに、ＭＯＳトランジスタ１２１のゲートに帰還される。ＭＯＳトランジスタ１２１のＶｇｓがしきい値電圧以下の場合には、Ｖｇｓの変化に対してソース電流は指数関数状に変化する。このため、ＭＯＳトランジスタ１２１のゲートに帰還されるＭＯＳトランジスタ１２３の出力電圧は、ＭＯＳトランジスタ１２１のソース電流と等しい光電変換部１１０の光電流が対数圧縮された電圧信号となる。
［微分回路の構成］
同図の微分回路１３０は、キャパシタ１３１及び１３２と、ＭＯＳトランジスタ１３３及び１３４と、定電流回路１３５とを備える。ＭＯＳトランジスタ１３３及び１３４にはｐチャネルＭＯＳトランジスタを使用することができる。

前述のようにキャパシタ１３１の一端には電流電圧変換回路１２０の出力が接続され、キャパシタ１３１の他の一端は、ＭＯＳトランジスタ１３３のゲート、ＭＯＳトランジスタ１３４のドレインおよびキャパシタ１３２の一端に接続される。キャパシタ１３２の他の一端は、ＭＯＳトランジスタ１３３のドレイン、ＭＯＳトランジスタ１３４のドレイン、定電流回路１３５のシンク側端子及び信号線１０１に接続される。ＭＯＳトランジスタ１３３のソースは電源線Ｖｄｄに接続され、ＭＯＳトランジスタ１３４のゲートは信号線１０５に接続される。定電流回路１３５のシンク側端子は、接地される。

キャパシタ１３１は、結合キャパシタに相当する。このキャパシタ１３１は、電流電圧変換回路１２０の出力電圧のうちの直流分を阻止し、交流分のみを通過させる。また、電流電圧変換回路１２０の出力電圧の変化に基づく電流がキャパシタ１３１を介してＭＯＳトランジスタ１３３のゲートに供給される。電流電圧変換回路１２０の出力電圧の交流分は、光電流の変化分に相当する。ＭＯＳトランジスタ１３３及び定電流回路１３５は、反転増幅回路を構成する。なお、ＭＯＳトランジスタ５２２は、定電流負荷を構成する。ＭＯＳトランジスタ１３３のゲートにはキャパシタ１３１を介して電流電圧変換回路１２０出力電圧の変化分が入力され、ＭＯＳトランジスタ１３３により反転増幅されてドレインに出力される。このため、キャパシタ１３２には電流電圧変換回路１２０の出力電圧の変化に基づく電流が流れ、キャパシタ１３２が充放電される。すなわち、電流電圧変換回路１２０の出力電圧の変化分が積算（積分）される。信号線１０１には、電流電圧変換回路１２０が出力する電圧信号の変化量に応じた信号である光信号が出力される。

ＭＯＳトランジスタ１３４は、微分回路１３０をリセットするものである。このＭＯＳトランジスタ１３４を導通させることにより、キャパシタ１３２の両端が短絡される。積算された電流電圧変換回路１２０の出力電圧の変化分が放電されてリセットされる。このリセットにより、微分回路１３０の出力電圧は、例えば、電源線Ｖｄｄと接地線との中点の電圧になる。

［輝度変化検出部の構成］
図５は、本開示の第１の実施形態に係る輝度変化検出部の構成例を示す図である。同図は、輝度変化検出部１４０の構成例を表す回路図である。同図の輝度変化検出部１４０は、判定回路１４１、１４２及び１４３を備える。なお、同図には、リクエスト生成部１６０を更に記載した。

また、輝度変化検出部１４０には、閾値電圧生成部５０からの信号線１４が接続される。同図の信号線１４は、信号線ＶｂｈＡ、信号線ＶｂｈＢ及び信号線Ｖｂｌが含まれる。これらの信号線は、閾値電圧生成部５０が生成した閾値電圧を伝達する信号線である。信号線ＶｂｈＡ、信号線ＶｂｈＢ及び信号線Ｖｂｌにより供給される閾値電圧をそれぞれＶｂｈＡ、ＶｂｈＢ及びＶｂｌと記載する。

ＶｂｈＡ及びＶｂｈＢは、リセット時の微分回路１３０の出力電圧より高い電圧の閾値電圧である。このため、ＶｂｈＡ及びＶｂｈＢは、微分回路１３０の出力電圧に対する上昇方向の閾値電圧となる。すなわち、ＶｂｈＡ及びＶｂｈＢは、入射光の輝度が上昇する方向の閾値を構成する。なお、ＶｂｈＢは、ＶｂｈＡより高い電圧の閾値電圧を想定する。

一方、Ｖｂｌは、リセット時の微分回路１３０の出力電圧より低い電圧の閾値電圧である。このため、Ｖｂｌは、微分回路１３０の出力電圧に対する低下方向の閾値電圧となる。すなわち、Ｖｂｌは、入射光の輝度が低下する方向の閾値を構成する。

判定回路１４１は、ＭＯＳトランジスタ１５０及びＭＯＳトランジスタ１５３を備える。ＭＯＳトランジスタ１５０及び１５３には、それぞれｐチャネルＭＯＳトランジスタ及びｎチャネルＭＯＳトランジスタを使用することができる。ＭＯＳトランジスタ１５０のソースは電源線Ｖｄｄに接続され、ゲートは信号線１０１に接続される。ＭＯＳトランジスタ１５３のソースは接地され、ゲートは信号線ＶｂｈＡに接続される。ＭＯＳトランジスタ１５３のドレインは、ＭＯＳトランジスタ１５０のドレイン及び信号線ＶｉｎＡに接続される。信号線ＶｉｎＡは、判定回路１４１の出力信号線である。

判定回路１４１は、コンパレータを構成する。具体的には、判定回路１４１は、閾値電圧ＶｂｈＡがゲートに印加されたＭＯＳトランジスタ１５３のドレインと微分回路１３０の出力電圧がゲートに印加されたＭＯＳトランジスタ１５０のドレインとが接続される。判定回路１４１の出力は、ＭＯＳトランジスタ１５３のシンク側のドレイン電流とＭＯＳトランジスタ１５０のソース側のドレイン電流との大小関係に応じて変化する。

微分回路１３０の出力電圧がＶｂｈＡ、具体的には、電源電圧ＶｄｄからＶｂｈＡを減算した電圧より低い場合、ＭＯＳトランジスタ１５０のソース電流の方がＭＯＳトランジスタ１５３のシンク電流より小さくなる。このため、出力電圧（信号線ＶｉｎＡの電圧）は、Ｌレベルとなる。一方、微分回路１３０の出力電圧がＶｂｈＡ（電源電圧ＶｄｄからＶｂｈＡを減算した電圧）より高くなると、ＭＯＳトランジスタ１５３のシンク電流の方がＭＯＳトランジスタ１５０のソース電流より小さくなる。このため、出力電圧は、Ｈレベルに移行する。このように、判定回路１４１は、微分回路１３０の出力電圧と閾値電圧ＶｂｈＡとを比較し、入射光の輝度が上昇する方向の変化を検出する。

判定回路１４２は、ＭＯＳトランジスタ１５１及び１５４を備える。また、ＭＯＳトランジスタ１５４のゲートには信号線ＶｂｈＢが接続され、出力の信号線として信号線ＶｉｎＢが接続される。これ以外の構成は判定回路１４１と同様であるため、説明を省略する。判定回路１４２は、微分回路１３０の出力電圧と閾値電圧ＶｂｈＢとを比較する。ＶｂｈＢはＶｂｈＡより高い電圧であるため、判定回路１４２は、判定回路１４１よりも大きな輝度の変化量を検出する。

判定回路１４３は、ＭＯＳトランジスタ１５２及び１５５を備え、ＭＯＳトランジスタ１５５のゲートには信号線Ｖｂｌが接続され、出力の信号線として信号線ＶｉｎＤが接続される。される。これ以外の構成は判定回路１４１と同様であるため、説明を省略する。判定回路１４３は、微分回路１３０の出力電圧と閾値電圧Ｖｂｌとを比較する。微分回路１３０の出力電圧がＶｂｌ、具体的には、電源線ＶｄｄからＶｂｌを減算した電圧より高い場合、出力電圧（信号線ＶｉｎＤの電圧）は、Ｈレベルとなる。一方、微分回路１３０の出力電圧がＶｂｌ（電源電圧ＶｄｄからＶｂｌを減算した電圧）より低くなると、出力電圧は、Ｌレベルに移行する。このように、判定回路１４３は、微分回路１３０の出力電圧と閾値電圧Ｖｂｌとを比較し、入射光の輝度が低下する方向の変化を検出する。

判定回路１４１及び１４２の出力がオンイベント検出信号に相当し、判定回路１４３の出力がオフイベント検出信号に相当する。なお、判定回路１４３は、特許請求の範囲に記載の第２の輝度変化検出部の一例である。

同図のリクエスト生成部１６０は、第１のリクエスト生成部１６１及び第２のリクエスト生成部１６２を備える。第１のリクエスト生成部１６１には、輝度変化検出部１４０からの信号線ＶｉｎＡ及びＶｉｎＢが接続され、判定回路１４１及び１４２の輝度変化検出の結果が入力される。第１のリクエスト生成部１６１は、入射光の輝度の上昇方向の変化に基づくリクエストを生成し、アービタ３０に対して出力する。

第２のリクエスト生成部１６２には、輝度変化検出部１４０からの信号線ＶｉｎＤが接続され、判定回路１４３の輝度変化検出の結果が入力される。第２のリクエスト生成部１６２は、入射光の輝度の低下方向の変化に基づくリクエストを生成し、アービタ３０に対して出力する。

［リクエスト生成部の構成］
図６Ａは、本開示の第１の実施形態に係るリクエスト生成部の構成例を示す図である。同図は、第１のリクエスト生成部１６１の構成例を表す図である。同図の第１のリクエスト生成部１６１は、信号線ＶｉｎＡ及びＶｉｎＢを介して供給される判定回路１４１及び１４２の輝度変化の検出結果が入力される。また、第１のリクエスト生成部１６１は、これらの検出結果に基づいて２種類のリクエストを生成し、信号線ＲＥＱｓｔｒｅｎｇｔｈ及び信号線ＲＥＱｗｅａｋを介してアービタ３０に出力する。

図６Ｂは、本開示の第１の実施形態に係るリクエストの生成の一例を示す図である。同図は、第１のリクエスト生成部１６１におけるリクエストの生成の一例を表す図であり、輝度変化の検出結果に基づくリクエストの生成の一例を表す真理値表である。

同図の「輝度変化」は、輝度変化検出部１４０における輝度変化の検出結果を表す。「判定回路１４１」及び「判定回路１４２」は、この輝度変化に対応する輝度変化検出部１４０の出力を表す。「リクエスト」は、輝度変化の検出結果に基づいて決定されるリクエストの強度を表す。「ＲＥＱｓｔｒｅｎｇｔｈ」及び「ＲＥＱｗｅａｋ」は、リクエストの強度に基づいて生成されるリクエストを表す。

判定回路１４１及び１４２の出力が共にＬレベルの場合は、輝度変化が検出されない場合に該当する。この場合、第１のリクエスト生成部１６１は、リクエストを生成しない。

判定回路１４１の出力がＨレベルかつ判定回路１４２の出力がＬレベルの場合は、検出された輝度の変化が比較的小さい場合に該当する。この場合、第１のリクエスト生成部１６１は、対象物の動きに伴う輝度の変化と判断し、強いリクエスト（リクエスト強）を生成する。第１のリクエスト生成部１６１は、信号線ＲＥＱｓｔｒｅｎｇｔｈにＨレベルの信号を出力する。この信号は、強いリクエストを表す。

判定回路１４１及び判定回路１４２の出力が共にＨレベルの場合は、大きな輝度の変化を検出した場合に該当する。この場合、第１のリクエスト生成部１６１は、フリッカに伴う輝度の変化と判断し、弱いリクエスト（リクエスト弱）を生成する。第１のリクエスト生成部１６１は、信号線ＲＥＱｗｅａｋにＨレベルの信号を出力する。この信号は、弱いリクエストを表す。

このように、輝度変化検出部１４０は、入射光の輝度変化に応じて異なるリクエストを生成する。強いリクエストは優先度が高いリクエストに相当し、弱いリクエストは優先度が低いリクエストに相当する。

［アービタの調停］
図７は、本開示の第１の実施形態に係るアービタの調停の一例を示す図である。同図は、アービタ３０によるリクエストの調停例を表すフローチャート図である。まず、アービタ３０は、リクエスト強を出力する画素１００が存在するか否かを判断する（ステップＳ１０１）。その結果、リクエスト強を出力する画素１００が存在する場合には（ステップＳ１０１，Ｙｅｓ）、アービタ３０は、対象画素１００に応答を送出し（ステップＳ１０２）、ステップＳ１０１の処理に戻る。

一方、リクエスト強を出力する画素１００が存在しない場合には（ステップＳ１０１，Ｎｏ）、アービタ３０は、リクエスト弱を出力する画素１００が存在するか否かを判断する（ステップＳ１０３）。その結果、リクエスト弱を出力する画素１００が存在する場合には（ステップＳ１０３，Ｙｅｓ）、アービタ３０は、対象画素１００に応答を送出し（ステップＳ１０４）、ステップＳ１０１の処理に戻る。一方、リクエスト弱を出力する画素１００が存在しない場合には（ステップＳ１０３，Ｎｏ）、アービタ３０は、処理を終了する。

このように、アービタ３０は、強いリクエストを生成する画素１００を優先する調停を行う。これにより、強いリクエストを生成した画素１００は、優先的に輝度変化の検出信号を信号処理部４０及び制御回路２０に対して出力することができる。

このように、本開示の第１の実施形態の撮像素子２は、入射光の輝度変化を複数の閾値に基づいて検出する。これにより、入射光の輝度変化が対象物の動き伴う輝度の変化であるか及びフリッカによる輝度の変化であるかを判断することができる。このフリッカによる輝度の変化に基づくイベントの優先度を低くすることができ、不要なイベントの検出を低減することができる。

（２．第２の実施形態）
上述の第１の実施形態の撮像素子２は、フリッカによる輝度の変化を検出していた。これに対し、本開示の第２の実施形態の撮像素子２は、ノイズによる輝度の変化を検出する点で、上述の第１の実施形態と異なる。

図８は、本開示の第２の実施形態に係るリクエストの生成の一例を示す図である。同図は、図６Ｂと同様に、第１のリクエスト生成部１６１におけるリクエストの生成の一例を表す図である。同図のリクエストの生成は、リクエストの強度の設定が図６Ｂと異なる。

検出された輝度の変化が比較的小さい場合、すなわち判定回路１４１の出力がＨレベルかつ判定回路１４２の出力がＬレベルの場合は、第１のリクエスト生成部１６１は、ノイズに伴う輝度の変化と判断し、弱いリクエスト（リクエスト弱）を生成する。第１のリクエスト生成部１６１は、信号線ＲＥＱｗｅａｋにＨレベルの信号を出力する。

判定回路１４１及び判定回路１４２の出力が共にＨレベルの場合、第１のリクエスト生成部１６１は、対象物の動きに伴う輝度の変化と判断し、強いリクエスト（リクエスト強）を生成する。第１のリクエスト生成部１６１は、信号線ＲＥＱｓｔｒｅｎｇｔｈにＨレベルの信号を出力する。

このように生成されたリクエストに基づいて、アービタ３０によるリクエストの調停が行われる。ノイズによる輝度と判断されるリクエストに対して低い優先度が設定される。

これ以外の撮像素子２の構成は本開示の第１の実施形態における撮像素子２の構成と同様であるため、説明を省略する。

このように、本開示の第２の実施形態の撮像素子２は、入射光の輝度変化を複数の閾値に基づいて検出する。これにより、入射光の輝度変化がノイズによる輝度であるかを判断することができる。このノイズによる輝度の変化に基づくイベントの優先度を低くすることができ、不要なイベントの検出を低減することができる。

（３．第３の実施形態）
上述の第１の実施形態の撮像素子２は、入射光の輝度の上昇方向の変化を複数の閾値に基づいて検出していた。これに対し、本開示の第３の実施形態の撮像素子２は、入射光の輝度の低下方向の変化も複数の閾値に基づいて判断する点で、上述の第１の実施形態と異なる。

［輝度変化検出部の構成］
図９は、本開示の第３の実施形態に係る輝度変化検出部の構成例を示す図である。同図は、図５と同様に、輝度変化検出部１４０の構成例を表す回路図である。同図の輝度変化検出部１４０は、判定回路１４４を更に備え、信号線１４に信号線ＶｂｌＡ及びＶｂｌＢが含まれる点で、図５の輝度変化検出部１４０と異なる。

信号線ＶｂｌＡ及び信号線ＶｂｌＢ及び信号線Ｖｂｌにより供給される閾値電圧をそれぞれＶｂｌＡ及びＶｂｌＢと記載する。これらは、閾値電圧生成部５０が生成する閾値電圧である。ＶｂｌＡ及びＶｂｌＢは、リセット時の微分回路１３０の出力電圧より低い電圧の閾値電圧である。このため、ＶｂｌＡ及びＶｂｌＢは、微分回路１３０の出力電圧に対する低下方向の閾値電圧となる。すなわち、ＶｂｌＡ及びＶｂｌＢは、入射光の輝度が低下する方向の閾値を構成する。なお、ＶｂｌＢはＶｂｌＡより低い電圧の閾値電圧である。また、同図の判定回路１４３には、信号線ＶｂｌＡが接続され、閾値電圧ＶｂｌＡが供給される。

判定回路１４４は、ＭＯＳトランジスタ１５６及び１５７を備える。また、ＭＯＳトランジスタ１５７のゲートには信号線ＶｂｌＢが接続され、出力の信号線として信号線ＶｉｎＥが接続される。これ以外の構成は判定回路１４１と同様であるため、説明を省略する。判定回路１４４は、微分回路１３０の出力電圧と閾値電圧ＶｂｌＢとを比較する。ＶｂｌＢはＶｂｌＡより低い電圧であるため、判定回路１４４は、判定回路１４３よりも大きな輝度の低下方向の変化量を検出する。

同図の第２のリクエスト生成部１６２は、輝度変化検出部１４０からの信号線ＶｉｎＤ及びＶｉｎＥが接続され、判定回路１４３及び１４５の輝度変化検出の結果が入力される。第２のリクエスト生成部１６２は、入射光の輝度の低下方向の変化に基づくリクエストを生成し、アービタ３０に対して出力する。

これ以外の撮像素子２の構成は本開示の第１の実施形態における撮像素子２の構成と同様であるため、説明を省略する。

このように、本開示の第３の実施形態の撮像素子２は、入射光の輝度の上昇方向及び低下方向の変化を複数の閾値に基づいて検出する。これにより、入射光の輝度の上昇方向及び低下方向の変化に基づいてノイズを検出することができる。

（４．第４の実施形態）
上述の第１の実施形態の撮像素子２は、入射光の輝度の上昇方向の変化を２種類の閾値に基づいて検出していた。これに対し、本開示の第４の実施形態の撮像素子２は、入射光の輝度の上昇方向の変化を３つ以上の閾値に基づいて検出する点で、上述の第１の実施形態と異なる。

［輝度変化検出部の構成］
図１０は、本開示の第４の実施形態に係る輝度変化検出部の構成例を示す図である。同図は、図５と同様に、輝度変化検出部１４０の構成例を表す回路図である。同図の輝度変化検出部１４０は、判定回路１４５を更に備え、信号線１４に信号線ＶｂｈＣが含まれる点で、図５の輝度変化検出部１４０と異なる。

信号線ＶｂｈＣにより供給される閾値電圧をＶｂｈＣと記載する。ＶｂｈＣは、閾値電圧生成部５０が生成する閾値電圧である。ＶｂｈＣは、リセット時の微分回路１３０の出力電圧より高い電圧の閾値電圧である。このため、ＶｂｈＣは、微分回路１３０の出力電圧に対する上昇方向の閾値電圧となる。すなわち、ＶｂｌＣは、入射光の輝度が上昇する方向の閾値を構成する。なお、ＶｂｈＣは、ＶｂｈＢより低い電圧の閾値電圧である。また、同図の判定回路１４５には、信号線ＶｂｈＣが接続され、閾値電圧ＶｂｈＣが供給される。

判定回路１４５は、ＭＯＳトランジスタ１５８及び１５９を備える。また、ＭＯＳトランジスタ１５９のゲートには信号線ＶｂｈＣが接続され、出力の信号線として信号線ＶｉｎＣが接続される。これ以外の構成は判定回路１４１と同様であるため、説明を省略する。判定回路１４５は、微分回路１３０の出力電圧と閾値電圧ＶｂｈＣとを比較する。ＶｂｈＣはＶｂｈＢより低い電圧であるため、判定回路１４５は、判定回路１４２よりも小さな輝度の上昇方向の変化量を検出する。

同図の第１のリクエスト生成部１６１は、輝度変化検出部１４０からの信号線ＶｉｎＡＶｉｎＢ及びＶｉｎＣが接続され、判定回路１４１、１４２及び１４５の輝度変化検出の結果が入力される。第１のリクエスト生成部１６１は、例えば、判定回路１４１及び１４２の検出結果に基づいてフリッカによる輝度の変化に対するリクエストの優先度を低くすることができる。また、第１のリクエスト生成部１６１は、判定回路１４２及び１４５の検出結果に基づいてノイズによる輝度の変化に対するリクエストの優先度を低くすることもできる。

これ以外の撮像素子２の構成は本開示の第１の実施形態における撮像素子２の構成と同様であるため、説明を省略する。

このように、本開示の第４の実施形態の撮像素子２は、入射光の輝度の上昇方向の変化を３つ以上の閾値に基づいて検出する。

（５．第５の実施形態）
上述の第１の実施形態の撮像素子２は、画素１００毎に、複数の判定回路１４１及び１４２を備えていた。これに対し、本開示の第５の実施形態の撮像素子２は、判定回路１４１及び１４２を複数の画素１００に分散して配置する点で、上述の第１の実施形態と異なる。

［画素の構成］
図１１は、本開示の第５の実施形態に係る画素の構成例を示す図である。同図は、図３と同様に、画素（画素１００ａ及び１００ｂ）の構成例を表す図である。同図の画素１００ａ及び画素１００ｂは、判定回路１４１及び１４２が分散されて配置される点で、図３の画素１００と異なる。

同図の画素１００ａは輝度変化検出部１４０に判定回路１４１が配置され、同図の画素１００ｂは輝度変化検出部１４０に判定回路１４２が配置される。また、画素１００ａ及び画素１００ｂに対して共通にリクエストを生成するリクエスト生成部１６０が配置される。このリクエスト生成部１６０には、画素１００ａからの信号線ＶｉｎＡと画素１００ｂからの信号線ＶｉｎＢとが配線される。リクエスト生成部１６０は、画素１００ａの判定回路１４１における閾値電圧ＶｂｈＡに基づく検出結果と画素１００ｂの判定回路１４２にける閾値電圧ＶｂｈＢに基づく検出結果とに基づいてフリッカのリクエストの優先度を設定することができる。また、リクエスト生成部１６０は、画素１００ａの検出結果に基づいて対象物の動きに基づく輝度の変化によるリクエストを生成することができる。

［画素アレイ部の構成］
図１２Ａ及び１２Ｂは、本開示の第５の実施形態に係る画素アレイ部の構成例を示す図である。同図は、画素アレイ部１０における画素１００ａ及び１００ｂの配置例を表す図である。

図１２Ａは、画素１００ａ及び１００ｂが行及び列方向に交互に配置される例を表したものである。なお、同図の点線は、共通のリクエスト生成部１６０に接続される画素の範囲を表したものである。

図１２Ｂは、２行２列の４つの画素において３つの画素１００ａ及び１つの画素１００ｂが配置される例を表したものである。２行２列の画素毎にリクエスト生成部１６０を配置することができる。

これ以外の撮像素子２の構成は本開示の第１の実施形態における撮像素子２の構成と同様であるため、説明を省略する。

このように、本開示の第５の実施形態の撮像素子２は、判定回路１４１等を複数の画素１００に分散されて配置することにより、画素１００の構成を簡略化することができる。

（６．第６の実施形態）
上述の第１の実施形態の撮像素子２は、閾値電圧生成部５０が閾値電圧を生成していた。これに対し、本開示の第６の実施形態の撮像素子２は、閾値電圧生成部５０が閾値転圧を調整する点で、上述の第１の実施形態と異なる。
［画素アレイ部の構成］
図１３Ａ及び１３Ｂは、本開示の第６の実施形態に係る閾値電圧生成部５０の構成例を示す図である。

図１３Ａは、照度計測部６０を備える閾値電圧生成部５０の例を表した図である。照度計測部６０は、撮像素子２の周囲の照度を計測して閾値電圧生成部５０に出力するものである。

図１３Ａの閾値電圧生成部５０は、照度計測部６０からの照度に基づいて閾値電圧を調整する。例えば、閾値電圧生成部５０は、照度に対して閾値、例えば、低照度（Ｌ１）及び高照度（Ｌ２）の２つの照度を設定することができる。更に閾値電圧生成部５０は、照度計測部６０からの照度がＬ１未満の場合、Ｌ１以上Ｌ２未満の場合及びＬ２以上の場合の３つの場合についてＶｉｎＡ及びＶｂｈＢの値を調整することができる。

これにより、屋外での使用や移動しながら撮像する場合において、照度情報から対象部との明るさの変化に基づく輝度の変化とフリッカよる輝度の変化とを判別することができる。照度に基づいて閾値電圧を調整することにより、環境光が変化した場合であってもフリッカに基づく輝度の変化を検出することができる。

図１３Ｂの閾値電圧生成部５０は、リクエスト強計数部５１と、リクエスト弱計数部５２と、比較部５３及び５４と、電圧生成部５５及び５６とを備える。

リクエスト強計数部５１は、所定の期間のリクエスト強の個数を計数し、比較部５３に対して出力するものである。また、リクエスト弱計数部５２は、所定の期間のリクエスト弱の個数を計数し、比較部５４に対して出力するものである。

比較部５３は、リクエスト強イベント目標数とリクエスト強の個数とを比較し、比較結果を電圧生成部５５に対して出力するものである。比較部５４は、リクエスト弱イベント目標数とリクエスト弱の個数とを比較し、比較結果を電圧生成部５６に対して出力するものである。

電圧生成部５５は、比較部５３からの比較結果に応じた閾値電圧を生成するものである。また、電圧生成部５６は、比較部５４からの比較結果に応じた閾値電圧を生成するものである。

比較部５３及び電圧生成部５５は、リクエスト強の個数をリクエスト強イベント目標数に収束するように帰還制御を行い、閾値電圧を調整する。同様に、比較部５４及び電圧生成部５６は、リクエスト弱の個数をリクエスト弱イベント目標数に収束するように帰還制御を行い、閾値電圧を調整する。

これにより、想定外の光源のフリッカやその他のイベント過剰につながる要因に対応することが可能になる。

なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

なお、本技術は以下のような構成も取ることができる。
（１）
入射光の輝度の同一方向の変化を複数の閾値に基づいて検出する輝度変化検出部と、
前記輝度変化検出部における検出の結果の転送を要求するリクエストを生成するリクエスト生成部と
を有する撮像素子。
（２）
前記輝度変化検出部は、前記輝度が上昇する方向の変化を検出する
前記（１）に記載の撮像素子。
（３）
前記入射光の輝度が低下する方向の変化を検出する第２の輝度変化検出部
を更に有し、
前記リクエスト生成部は、前記輝度変化検出部及び前記第２の輝度変化検出部における前記検出の結果の転送を要求する
前記（２）に記載の撮像素子。
（４）
前記第２の輝度変化検出部は、複数の閾値に基づいて前記変化を検出する
前記（３）に記載の撮像素子。
（５）
前記リクエスト生成部は、前記検出の結果に応じて異なる優先度の前記リクエストを生成する
前記（１）から（４）の何れかに記載の撮像素子。
（６）
前記優先度に応じて前記リクエストの調停を行うアービタを更に有する
前記（５）に記載の撮像素子。
（７）
前記入射光の光電変換を行う光電変換部及び前記光電変換に基づく光電流の変化に応じた光信号を生成する信号生成回路を備える画素を更に有し、
前記輝度変化検出部は、前記生成された光信号と前記閾値とに基づいて前記入射光の輝度の変化を検出する
前記（１）から（６）の何れかに記載の撮像素子。
（８）
前記輝度変化検出部は、前記複数の閾値のそれぞれに基づいて前記入射光の輝度の同一の方向の変化を検出する複数の判定回路を備え、
前記複数の判定回路は、それぞれ異なる前記画素に配置された前記信号生成回路により生成される光信号に基づいて前記入射光の輝度変化を検出し、
前記リクエスト生成部は、前記複数の判定回路の検出結果に基づいて前記リクエストを生成する
前記（７）に記載の撮像素子。
（９）
前記閾値に応じた電圧である閾値電圧を生成して前記輝度変化検出部に供給する閾値電圧生成部を更に有し、
前記輝度変化検出部は、前記生成された閾値電圧に基づいて前記入射光の輝度変化を検出する
前記（１）から（８）の何れかに記載の撮像素子。
（１０）
前記閾値電圧生成部は、周囲の照度に応じて前記閾値電圧を調整する
前記（９）に記載の撮像素子。
（１１）
前記閾値電圧生成部は、前記生成されたリクエスト数に応じて前記閾値電圧を調整する
前記（９）に記載の撮像素子。
（１２）
入射光の輝度の同一方向の変化を複数の閾値に基づいて検出する輝度変化検出部と、
前記輝度変化検出部における検出の結果の転送を要求するリクエストを生成するリクエスト生成部と、
前記検出の結果を処理する信号処理部と
を有する撮像装置。

１ 撮像装置
２ 撮像素子
１０ 画素アレイ部
２０ 制御回路
３０ アービタ
４０ 信号処理部
５０ 閾値電圧生成部
１００、１００ａ、１００ｂ 画素
１１０ 光電変換部
１２０ 電流電圧変換回路
１３０ 微分回路
１４０ 輝度変化検出部
１４１～１４５ 判定回路
１６０ リクエスト生成部
１６１ 第１のリクエスト生成部
１６２ 第２のリクエスト生成部

Claims (12)

1. 入射光の輝度の同一方向の変化を複数の閾値に基づいて検出する輝度変化検出部と、
   前記輝度変化検出部における検出の結果の転送を要求するリクエストを生成するリクエスト生成部と
   を有する撮像素子。
2. 前記輝度変化検出部は、前記輝度が上昇する方向の変化を検出する
   請求項１に記載の撮像素子。
3. 前記入射光の輝度が低下する方向の変化を検出する第２の輝度変化検出部
   を更に有し、
   前記リクエスト生成部は、前記輝度変化検出部及び前記第２の輝度変化検出部における前記検出の結果の転送を要求する
   請求項２に記載の撮像素子。
4. 前記第２の輝度変化検出部は、複数の閾値に基づいて前記変化を検出する
   請求項３に記載の撮像素子。
5. 前記リクエスト生成部は、前記検出の結果に応じて異なる優先度の前記リクエストを生成する
   請求項１に記載の撮像素子。
6. 前記優先度に応じて前記リクエストの調停を行うアービタを更に有する
   請求項５に記載の撮像素子。
7. 前記入射光の光電変換を行う光電変換部及び前記光電変換に基づく光電流の変化に応じた光信号を生成する信号生成回路を備える画素を更に有し、
   前記輝度変化検出部は、前記生成された光信号と前記閾値とに基づいて前記入射光の輝度の変化を検出する
   請求項１に記載の撮像素子。
8. 前記輝度変化検出部は、前記複数の閾値のそれぞれに基づいて前記入射光の輝度の同一の方向の変化を検出する複数の判定回路を備え、
   前記複数の判定回路は、それぞれ異なる前記画素に配置された前記信号生成回路により生成される光信号に基づいて前記入射光の輝度変化を検出し、
   前記リクエスト生成部は、前記複数の判定回路の検出結果に基づいて前記リクエストを生成する
   請求項７に記載の撮像素子。
9. 前記閾値に応じた電圧である閾値電圧を生成して前記輝度変化検出部に供給する閾値電圧生成部を更に有し、
   前記輝度変化検出部は、前記生成された閾値電圧に基づいて前記入射光の輝度変化を検出する
   請求項１に記載の撮像素子。
10. 前記閾値電圧生成部は、周囲の照度に応じて前記閾値電圧を調整する
    請求項９に記載の撮像素子。
11. 前記閾値電圧生成部は、前記生成されたリクエストの数に応じて前記閾値電圧を調整する
    請求項９に記載の撮像素子。
12. 入射光の輝度の同一方向の変化を複数の閾値に基づいて検出する輝度変化検出部と、
    前記輝度変化検出部における検出の結果の転送を要求するリクエストを生成するリクエスト生成部と、
    前記検出の結果を処理する信号処理部と
    を有する撮像装置。

Images