JP2022067623A - 光電変換素子、光電変換素子の制御方法、および情報処理装置。 - Google Patents

Abstract

【課題】 フォトンカウント型センサを用いてアドレスイベント信号を検出する光電変換素子を提供する。
【解決手段】 上記課題を解決する本発明にかかる光電変換素子は、光子の入射に応じて信号を出力する変換手段を備えた画素であって、前記画素から出力された前記信号を計測する第１の計測手段と、前記第１の計測手段によって計測された前記信号が第１の閾値を満たすまでに要した時間を計測する第２の計測手段と、過去の前記第２の計測手段の計測結果を第１の時間として記憶する第１の記憶手段と、前記第１の記憶手段によって記憶された前記第１の時間と、前記第２の計測手段によって計測された第２の時間と、を比較する比較手段と、を有することを特徴とする。
【選択図】 図５

Description

本発明は、光電変換素子に関するものである。

アバランシェフォトダイオード（以下、ＡＰＤ）に到来する光子の数をデジタル的に計数し、その計数値を光電変換されたデジタル信号として画素から出力する光電変換素子（以下、フォトンカウント型センサ）が知られている（特許文献１参照）。

米国特許９２１０３５０号明細書

本発明が解決しようとする課題は、フォトンカウント型センサを用いてアドレスイベント信号を検出することである。

上記課題を解決する本発明にかかる光電変換素子は、光子の入射に応じて信号を出力する変換手段を備えた画素であって、前記画素から出力された前記信号を計測する第１の計測手段と、前記第１の計測手段によって計測された前記信号が第１の閾値を満たすまでに要した時間を計測する第２の計測手段と、過去の前記第２の計測手段の計測結果を第１の時間として記憶する第１の記憶手段と、前記第１の記憶手段によって記憶された前記第１の時間と、前記第２の計測手段によって計測された第２の時間と、を比較する比較手段と、を有することを特徴とする。

フォトンカウント型センサを用いてアドレスイベント信号を検出することができる。

光電変換素子を含む情報処理装置の機能構成例を示すブロック図 実施形態１の光電変換素子の積層構造の一例を示す図 実施形態１の素子中のセンサチップの一例を示す図 実施形態１の素子中の回路チップの一例を示す図 実施形態１の画素の一例を示す図 実施形態１の素子の駆動方法を説明するタイミングチャート 実施形態２の画素の一例を示す図 情報処理装置が実行する処理を説明するフローチャート 情報処理装置のハードウェア構成の一例を示したブロック図

以下、図を用いて、本発明の実施形態における光電変換素子について説明する。その際、全ての図において同一の機能を有するものは同一の数字を付け、その繰り返しの説明は省略する。

＜実施形態１＞
＜情報処理装置＞
図１は、本実施形態に係る光電変換素子を備える情報処理装置１０００の機能構成例である。情報処理装置１０００は、受光レンズ１０００１、光電変換素子１００、制御部１００２、記憶部１００３、画像処理部１００４、表示部１００５、解析処理部１００６、取得部１００７、を有する。情報処理装置１０００は、具体的には撮像装置や計測装置である。受光レンズ１００１は、入射光を受光し、光電変換素子１００に結像する。光電変換素子１００は、受光した入射光に応じた信号を出力する。詳細は後述する。制御部１００２は、受光レンズ１００１のフォーカスの駆動や絞りの駆動、光電変換素子１００の駆動等の制御を行う。記憶部１００３は、例えば、光電変換素子１００によって出力された信号や、画像処理部１００４によって処理された画像データを記憶する。また、情報処理装置に係る各種設定を記憶する。光電変換素子１００によって出力された信号に基づいて画像データを処理する。画像処理部１００４は、画像の各画素に信号や計測された時間に応じた画素値を決定し、画像データを生成する。なお、光電変換素子１００からのアドレスイベント信号を、画像処理部１００４によって画像データに変換して使用する情報処理装置の例を示したが、情報処理装置１０００は必ずしも画像データを生成しなくてもよい。表示部１００５は、画像処理部１００４によって生成された画像や各種情報を表示する。なお、記憶部１００３や表示部１００５といった機能は情報処理装置の外部にあってもよい。また、図示しない他の機能構成の例として、ユーザが撮像等の各種指示を入力するための操作部や、画像表示以外の出力として例えば動画の音声を出力する音声出力部等があってもよい。解析処理部１００６は、光電変換素子によって出力されたアドレスイベント信号に基づいて所定の解析処理を実行する。具体的には、被写体検知や、動体検知等である。詳細な処理は後述する。取得部１００７は、光電変換素子１００からのアドレスイベント信号を取得する。

図２は、本実施形態に係る光電変換素子の構成例を示す図である。光電変換素子１００は、センサチップ１１と、回路チップ２１の２枚のチップが積層され、且つ電気的に接続されることにより構成される。センサチップ１１は、画素領域１２を含む。回路チップ２１は、画素領域１２で検出された信号を処理する画素回路領域２２と、画素回路領域２２から信号を読み出すための読出し回路領域２３を含む。

＜画素基板＞
図３は、センサチップ１１の構成例を示す図である。センサチップ１１の画素領域１２は、二次元状に複数配置された画素１０１を含む。画素１０１は、アバランシェフォトダイオード（ＡＰＤ）を含む光電変換部１０２を備える。図３には、第０行から第５行までの６行と、第０列から第５列までの６列に配された３６個の画素１０１を、行番号及び列番号を示す符号とともに示している。例えば、第１行、第４列に配された単位画素１１には、「Ｐ１４」の符号を付している。なお、画素領域１２を成す画素アレイの行数及び列数は、特に限定されるものではない。

＜回路基板＞
図４は、回路チップ２１の構成例を示す図である。回路チップ２１は、画素回路領域２２と読出し回路領域２３とを含む。画素回路領域２２は、センサチップ１１の各々の画素１０３に対応して、二次元状に複数配置された信号処理部１０３を含む。図４には、第０行から第５行までの６行と、第０列から第５列までの６列に配された３６個の信号処理部１０３を、行番号及び列番号を示す符号とともに示している。例えば、第１行、第４列に配された信号処理部１０３には、「Ｓ１４」の符号を付している。なお、画素回路領域２２を成す信号処理部アレイの行数及び列数は、特に限定されるものではない。読出し回路領域２３は、垂直調停回路１１０と、列回路１１２と、水平読み出し回路１１１と、信号出力回路１１７とを含む。

＜垂直調停回路＞
画素回路領域２２の信号処理部アレイの各行には、第１の方向（図４において横方向）に延在して、リクエスト信号出力線１１４ＶＲＥＱおよび、応答入力線１１５ＶＡＣＴが配されている。リクエスト信号出力線１１４ＶＲＥＱおよび、応答入力線１１５ＶＡＣＴは、第１の方向に並ぶ信号処理部１０３にそれぞれ接続され、信号線を成している。リクエスト信号出力線１１４ＶＲＥＱおよび、応答入力線１１５ＶＡＣＴの延在する第１の方向は、行方向或いは水平方向と表記することがある。なお、図４には、制御線ＶＲＥＱ、ＶＡＣＴを、行番号を示す符号とともに表している。例えば、第１行のリクエスト信号線には、「ＶＲＥＱ［１］」の符号を付している。

各行の制御線ＶＲＥＱおよび、ＶＡＣＴは、垂直調停回路１１０に接続されている。垂直調停回路１１０は、信号処理部１０３を駆動するための制御信号を、リクエスト信号出力線１１４ＶＲＥＱおよび、応答入力線１１５ＶＡＣＴを介して信号処理部１０３に供給する。

信号処理部１０３は、アドレスイベントデータの出力を要求するリクエスト信号を、リクエスト信号出力線１１４ＶＲＥＱを介して、垂直調停回路１１０に出力する。垂直調停回路１１０では、各々の画素の信号処理部１０３からのリクエストを調停し、アドレスイベントデータの出力の許可または不許可を表す応答を、応答入力線１１５ＶＡＣＴを介して、信号処理部１０３に返す。

＜信号出力＞
画素回路領域２２の信号処理部アレイの各列には、第１の方向と交差する第２の方向（図４において縦方向）に延在して、信号線１１６が配されている。信号線１１６は、第２の方向に並ぶ信号処理部１０３にそれぞれ接続され、共通の信号線を成している。信号線１１６の延在する第２の方向は、列方向或いは垂直方向と表記することがある。なお、図４には、信号線１１６を、列番号を示す符号とともに表している。例えば、第４列の信号線１１６には、「ＰＯＵＴ４」の符号を付している。

各々の信号処理部１０３は、垂直調停回路１１０からの出力の許可応答を受けて、信号処理部１０３からのアドレスイベントデータを、信号線１１６を介して、列回路１１２に出力する。列回路１１２は、画素回路部領域２２の信号処理部アレイの各列に対応してそれぞれ設けられており、対応する列の信号線１１６に接続されている。列回路１１２は、対応する列の信号線１１６を介して信号処理部１０３から読み出された信号を保持するラッチ機能を備える。

＜水平読み出し＞
水平読み出し回路１１１は、列回路１１２から信号を読み出すための制御信号を列回路１１２に供給し、各列の列回路１１２から、アドレスイベントデータを受け取る。信号出力回路１１７は、各々の画素で計測したアドレスイベントデータを出力信号ＳＯＵＴとして出力する。アドレスイベントデータとは、イベントとしての単位時間当たりの光子の入射数の変化が発生した単位画素の座標情報、および単位時間当たりの光子の入射数の変化が発生した時間情報が含まれる。その他、単位時間当たりの光子の入射数の変化の極性（正負）を含ませることができる。アドレスイベントデータの計数方法については後述する。アドレスイベントデータを用いることで、ロボットや車の制御などの高速な処理が要求されるユースケースにおいて、従来の同期型の光電変換素子では対応できなかった、高速な処理への対応が可能となる。（ＳＰＡＤの微小な輝度変化のメリットは後述）
＜画素部＞
図５は、図３の画素１０１及び図４の信号処理部１０３の等価回路及びブロック図の一例である。

センサチップ１１における画素１０１は、光電変換部であるＡＰＤ２０１を含む。ＡＰＤ２０１に光が入射されると、光電変換により入射光に応じた電荷対が生成される。ＡＰＤ２０１のアノードには、電圧ＶＬ（第１電圧）が供給される。また、ＡＰＤ２０１のカソードには、アノードに供給される電圧ＶＬよりも高い電圧ＶＨ（第２電圧）が供給される。アノードとカソードには、ＡＰＤ２０１がアバランシェ増倍動作をするような逆バイアス電圧が供給される。このような電圧を供給した状態とすることで、入射光によって生じた電荷がアバランシェ増倍を起こし、アバランシェ電流が発生する。

センサチップ２１における信号処理部１０３は、クエンチ素子２０２、波形整形部２１０、第１のカウンタ回路２１１、第２のカウンタ回路２１２、第１の判定回路２１３、メモリ２１４、比較器２１５、第２の判定回路２１６、応答回路２１７、選択回路２１８を含む。

クエンチ素子２０２は、電圧ＶＨを供給する電源とＡＰＤ２０１に接続される。クエンチ素子２０２は、ＡＰＤ２０１で生じたアバランシェ電流の変化を電圧信号に置き換える機能を有する。クエンチ素子２０２は、アバランシェ増倍による信号増倍時に負荷回路（クエンチ回路）として機能し、ＡＰＤ２０１に供給する電圧を抑制して、アバランシェ増倍を抑制する働きを持つ（クエンチ動作）。

波形整形部２１０は、光子検出時に得られるＡＰＤ２０１のカソードの電位変化を整形して、パルス信号を出力する。波形整形部２１０は、例えば、インバータ回路やバッファ回路が用いられる。

＜画素カウンタ部＞
第１のカウンタ回路２１１は、波形整形部２１０から出力されたパルス信号（画素からの出力信号）をカウントする。即ち、第１のカウンタ回路２１１は、各々のＡＰＤに入射した光子の数を計数するカウンタ回路である。また、第１のカウンタ回路２１１は、第１の判定回路２１３からのリセット信号を受けて、カウンタ値をリセットする。

一方、第２のカウンタ回路２１２は、センサ外部から供給されるクロック（あるいはそのクロックを用いてセンサ内で生成されるクロック）を用いて、第１のカウンタ回路２１１で光子をカウントした時間をカウントする。即ち、第２のカウンタ回路２１２は、時間－デジタル変換回路Ｔｉｍｅ ｔｏ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ：以下、ＴＤＣ）である。なお、第２のカウンタ回路２１２の出力は、時間（秒）として出力してもよいし、クロック数を出力してもよい。

第１の判定回路２１３は、第１のカウンタ回路２１１で計数した光子の数が、第１の閾値に達した場合に、第１のカウンタ回路２１１のカウント値をリセットする。また、後述する比較器２１５での比較が終了した後、第２のカウンタ回路２１２でのカウンタ値（第２の時間計数値）をメモリ２１４に上書きし、第２のカウンタ回路２１２のカウント値もリセットする。即ち、第１の判定回路は、ＡＰＤに入射した光子の数が第１の閾値に達するたびに、光子の数をカウントする第１のカウンタ回路と、光子が入射した時間をカウントする第２のカウンタ回路をリセットする役割を有している。

メモリ２１４には、過去の第２のカウンタ回路２１２のカウンタ値（第１の時間計数値）が記憶されており、第２のカウンタ回路２１２のカウント値のリセット毎に、メモリ２１４のカウンタ値が上書きされる。比較器２１５では、現在の第２のカウンタ回路２１２のカウンタ値（第２の時間計数値）と、過去の第２のカウンタ回路２１２のカウンタ値（第１の時間計数値）の差分のカウント値２１９を求める。すなわち、比較器２１５は、第１のカウント回路において計測された光子の数がＮ回目に閾値を超えるのに要した第１の時間と、同様に光子の数がＮ＋１回目に閾値を超えるのに要した第２の時間との比較結果に応じて所定の信号（例えば差分のカウント値）を出力する。なお、比較器２１５は、第１のカウンタ回路のカウンタ値と第２のカウンタ回路のカウンタ値との比を用いて輝度の変化を検出してもよい。

＜周辺回路との連携＞
第２の判定回路２１６では、差分のカウント値２１９が第２の閾値以上の場合に、リクエスト信号出力線１１８ＶＲＥＱを介して、垂直調停回路１１０にリクエスト信号を送る。そして、応答回路２１７は、垂直調停回路１１０から、応答入力線１１９ＶＡＣＴを介し、アドレスイベントデータの出力の許可または不許可を表す応答を受ける。一方、差分のカウント値２１９が第２の閾値未満の場合には、リクエスト信号を送付しない。

応答回路２１７が出力の許可を表す応答を受けると、選択回路２１８は、制御信号ＶＳＥＬにより、メモリ２１４と信号線１１３との接続を切り替える。これにより、第１のメモリ３１４に保持されている第２のカウンタ回路２１２のカウンタ値（第２の時間計数値）が、列回路１１２に出力される。

＜まとめ＞
比較器２１５によって算出された差分のカウンタ値２１９は、第２のカウンタ値がリセットされた時間の間隔である。前述したように、ＡＰＤに入射した光子の数が第１の閾値に達した時に、第２のカウンタ値がリセットされるため、差分のカウンタ値は、入射した光子の数が第１の閾値に達した時間の間隔である。即ち、差分のカウンタ値２１８は、光子の入射頻度の逆数に相当する。従って、光電変換素子１００は、「光子の入射頻度の変化」、すなわち輝度の変化を計測する機能を有している。

そして、第２の判定回路２１６を用いて、入射した光子の数が第１の閾値に達した時間の間隔の差異が、第２の閾値以上の場合のみ、アドレスイベントデータを出力している。即ち、入射頻度の差異が大きい場合には入射頻度を出力し、差異が小さい場合には入射頻度を出力しない、光電変換素子となっている。以上のような構成とすることで、画素アドレスごとに、輝度の変化をアドレスイベントとしてリアルタイムに検出する非同期型の光電変換素子が実現できる。このように、ＤＶＳをフォトンカウント型で実現することで、光子１個レベルの変化のアドレスイベントを検出することや、アドレスイベントの検出条件をより細かく設定することが可能になる。

＜タイミングチャート＞
図６は、光電変換素子１００を用いてアドレスイベントを検出するための駆動方法を説明するタイミングチャートである。図６は、第１の閾値、第２の閾値とも４カウントである場合を示した。２５０はクロック、２５１は第１のカウンタ回路によって光子が検出されたタイミング、２１１は第１のカウンタ回路のカウント値、２１４はメモリに保存されている第２のカウンタ回路のカウンタ値を示している。

第１の時間Ｔ０において、第１のカウンタ回路２１１での光子のカウントを開始する。この際、メモリ２１４にはその前のタイミングで第２のカウンタ回路で計数された第１の時間カウント値が記憶されている。（図６では、初期の時間カウント値として第１の時間Ｔ０＝１０が記憶されているとする）
第１のカウンタ回路２１１で光子のカウントを開始した後、第２の時間Ｔ１で、第１のカウンタ回路２１１のカウント値が第１の閾値＝４に達する。第２の時間Ｔ１は第２のカウンタ回路２１２でカウントされており、図６では、第２のカウンタ回路でカウントした時間カウント値がＴ１＝８の場合を示している。第１の判定回路２１３は、第１のカウンタ回路２１１のカウント値が第１の閾値＝４に達したことを判定し、第１のカウンタ回路２１１をリセットする。

それと同時に、比較器２１５は、Ｔ１とＴ０の差分のカウンタ値ΔＴ１＝２を求める。第２の判定回路２１６は、ΔＴ１＝２カウントと、第２の閾値＝４カウントを比較する。時刻Ｔ１においては、ΔＴ１は第２の閾値未満であるため、Ｔ１は出力されない。比較器２１５による判定が完了したら、第２のカウンタ回路２１２でカウントした時間カウント値Ｔ１を、メモリ２１４に書き込み、第２のカウンタ回路２１２のカウント値をリセットする。

続いて、時刻Ｔ１から光子のカウントを再開する。光子のカウントを開始した後、再び時刻Ｔ２で、第１のカウンタ回路２１１のカウント値が第１の閾値＝４に達する。図５では時間カウント値Ｔ２＝１６の場合を示した。時刻Ｔ１の場合と同様に、第１の判定回路２１３は、第１のカウンタ回路２１１のリセットを行い、比較器２１５によってＴ２とＴ１の差分のカウンタ値ΔＴ２＝６カウントを求める。時刻Ｔ２においては、ΔＴ２は第２の閾値以上であるため、Ｔ２を出力するためのリクエスト信号を、垂直調停回路１１０に送信する。そして、垂直調停回路１１０からの応答信号を受けて、第２のカウンタ回路２１２の時間カウント値Ｔ２を、列回路１１２に出力する。

＜フォトンカウント型のメリット＞
従来の光電変換素子では、輝度の変化をフォトダイオードに入射する光量の変化を、アナログ信号のまま検出しているため、光子１個レベルの輝度の変化を計測することは困難である。一方、本実施形態の光電変換素子は、光子の数をカウントする第１のカウント回路２１１と、時間をカウントする第２のカウンタ回路２１２を用いて、輝度の変化を計測している。そのため、光子１個レベルの輝度変化を検出することが可能になる。具体的には、第１の閾値を１に設定することで、光子１個レベルの輝度変化を検出することができる。光子１個レベルの輝度変化を検出することで、夜間などの暗視状態においても、アドレスイベント信号を取得することができる。

更に、本実施形態の光電変換素子では、比較器２１５と第２の判定回路２１６を用いて、輝度の変化の有無を判定している。アドレスイベントの検出条件は第２の閾値によって、デジタル信号で設定できるため、本実施形態の光電変換素子は、アドレスイベントの検出条件を細かく設定することが可能になる。アドレスイベントの検出条件を細かく設定することで、シーンに応じて、フォトンショットノイズによる輝度変化を除去し、必要なアドレスイベント情報のみを取得することができる。具体的には、大きい輝度変化のみをとらえたい場合には、閾値を大きく設定し、小さい輝度変化もとらえたい場合には、閾値を小さく設定すればよい。

＜バリエーション１：フォトンカウント＞
図５では、フォトンカウントを実現する光電変換部としてＡＰＤを用いた場合を示したが、別の方式の光電変換部を用いてもよい。例えば、参考文献１に開示されている、ＱＩＳ（Ｑｕａｎｔａ Ｉｍａｇｅ Ｓｅｎｓｏｒ）のように、読み出しノイズを０．５電子以下程度に抑えた光電変換部を用いて、フォトンカウントを実現してもよい。但し、図５のようにＡＰＤを用いたほうが、読み出しノイズが少ない。（参考文献１：Ｊｉａｊｕ Ｍａ，ｅｔ．ａｌ，”Ｐｈｏｔｏｎ－ｎｕｍｂｅｒ－ｒｅｓｏｌｖｉｎｇ ｍｅｇａｐｉｘｅｌ ｉｍａｇｅ ｓｅｎｓｏｒ ａｔ ｒｏｏｍ ｔｅｍｐｅｒａｔｕｒｅ ｗｉｔｈｏｕｔ ａｖａｌａｎｃｈｅ ｇａｉｎ”，Ｏｐｔｉｃａ，２０１７）
＜バリエーション２：第１の閾値＞
第１の閾値は、第１のカウンタ回路の飽和ビット数に等しい値にするのが好ましい。具体的には、第１のカウンタ回路の最上位ビットが１になったときに、第１のカウント値と第２のカウント値をリセットするように構成すればよい。

第１の閾値が小さいほど、差分のカウンタ値２１９の変化の有無を判定する頻度が高くなり、輝度の変化を瞬間的にとらえられるため、好ましい。一方、第１の閾値が大きいほど、多くの光子数で光子の入射頻度を推定することになるため、推定精度が上がり、輝度の変化を正確に計測できるため、好ましい。従って、第１の閾値を、ユースケースや被写体等によって適切に変更可能なように構成していると、更に好ましい。

ＤＶＳは大きく分けて二つのメリットがある。一つは、車載などの高速な現象をとらえられることであり、もう一つは、駐車場などの定点監視のように、輝度の変化がない場合の出力を出さないことでデータ量を削減できることである。前者のように、高速な現象をとらえたい場合には、第１の閾値を小さく設定し、輝度の変化を瞬間的にとらえられるようにしたほうが好ましい。一方、後者のように、輝度の変化がない場合の出力を抑えたい場合には、第１の閾値を大きく設定し、輝度の変化を正確に計測することで、輝度変化がないときの出力を確実に抑えるほうが好ましい。

＜バリエーション：第２の閾値＞
差分のカウンタ値２１９を出力するかどうかを判定する第２の閾値は、固定の値であってもよいし、時間的に変更可能であってもよい。差分のカウンタ値２１８は、光子の入射頻度の逆数に相当するため、差分のカウンタ値２１９によって、第２の閾値を変更したほうが好ましい。具体的には、第１のカウント値及び第２のカウント値がリセットされるたびに、第２の閾値が差分のカウンタ値２１９に反比例するように、変更するほうが好ましい。このような構成とするとこで、輝度の変化ΔＬの、元々の輝度Ｌに対する割合（ΔＬ／Ｌ）が一定となるように、第２の閾値を決定することができる。また、第２の閾値を、画素毎に変更可能なように構成しておくと、更に好ましい。画素によって光子の入射頻度は異なるため、ΔＬ／Ｌを一定にするためには、第２の閾値を、画素毎に変更できるようにしておく必要がある。

第２の閾値は、差分のカウンタ値が増加した場合と、差分のカウンタ値が減少した場合で、別々の閾値を持つように構成されていてもよい。別々の閾値を持つことで、輝度の増加のみを選択的に検出したり、輝度の減少のみ選択的に検出したりすることができる。

＜バリエーション：フォトンカウントがない場合は画素値を出力＞
光子の入射頻度が極端に小さい場合には、第１のカウンタ回路のカウント値が第１の閾値に達するまでの時間が長くなってしまい、アドレスイベントの検出頻度が下がってしまう恐れがある。そこで、第２のカウンタ回路のカウント値が第３の閾値に経過しても、第１のカウンタ回路のカウント値が第１の閾値に達しない場合、その時点での第１のカウンタ回路のカウント値を出力する構成とする方が好ましい。具体的には、第２のカウンタ回路のカウント値が第３の閾値に達した時に、第１のカウンタ回路のカウント値が第１の閾値以上であるか第１の閾値未満であるかを判定する、第３の判定回路を設ける。更に、第３の判定回路をリクエスト信号線、応答入力線、選択回路、列回路に接続する。このような構成とすることで、光子の入射頻度が小さい場合にも、アドレスイベントの有無を検出することができる。

＜バリエーション：周辺回路＞
図４では、各々の画素のアドレスイベントを、垂直調停回路と水平読み出し回路を用いて読み出す場合を示したが、それ以外の構成としてもよい。具体的には、センサチップ１１、回路チップ２１に、更にメモリチップ３１を追加した３層構成とし、各々の画素で計測した時間カウント値を画素毎にメモリチップに転送し、メモリチップ内のメモリにいったん保持した後、メモリチップから順次出力してもよい。

＜バリエーション：アドレスイベント信号を用いた解析処理＞
上記に説明した光電変換素子によって出力されたアドレスイベント信号に基づいて各種解析処理を実行する情報処理装置について説明する。図９は、情報処理装置のハードウェア構成例を示したブロック図である。ＣＰＵ１１００は、メモリ１２００に格納されたＯＳやその他プログラムを読みだして実行し、接続された各構成を制御して、各種処理の演算や論理判断などを行う。ＣＰＵ１１００が実行する処理には、実施形態の情報処理が含まれる。メモリ１２００は、ハードディスクドライブや外部記憶装置などであり、実施形態の情報処理にかかるプログラムや各種データを記憶する。図８は、本実施形態で説明した光電変換素子によって出力されたアドレスイベント信号を取得して、各種解析処理を実行する情報処理装置によって実行される処理を説明したフローチャートである。図８のフローチャートに示した処理は、コンピュータである図９のＣＰＵ１１００によりメモリ１２００に格納されているコンピュータプログラムに従って実行される。以下の説明では、各工程（ステップ）について先頭にＳを付けて表記することで、工程（ステップ）の表記を省略する。Ｓ８０１では、取得部１００７が、光電変換素子１００によって検出されたアドレスイベント信号を取得する。Ｓ８０２では、解析処理部１００６が、取得されたアドレスイベント信号に基づいて所定の解析処理を実行する。解析処理は、例えば、動体検知や振動検出等の各種解析処理である。Ｓ８３０では、解析処理部１００６が、アドレスイベント信号の解析結果を出力する。例えば、動体検知であれば、動体が検出された時間や場所を表示できるような画像データを生成して、表示部に出力する。

また、アドレスイベント信号を入力として、制御信号を出力するような学習済みニューラルネットワークを備え、アドレスイベント信号から後処理に利用するデータを学習するような構成にしてもよい。例えば、アドレスイベント信号を、そのまま機械学習用の認識信号として使用し、被写体検出や被写体の分類等の解析処理を行ってもよい。また、アドレスイベント信号から被写体の動きベクトルを算出した結果を制御部１００２に出力し、被写体の防振、追尾、動きの予測、動きの解析などに使用してもよい。更に、アドレスイベントの時間的な変化から、点滅する光源の周波数を解析することで、位置推定に使用してもよいし、振動物体の故障解析に用いてもよい。

＜バリエーション：輝度出力＞
以上では、第２の判定回路２１６を用いて、入射した光子の数が第１の閾値に達した時間の間隔の差異が、第２の閾値以上の場合に、第２のカウンタ値を出力していた。但し、第２のカウント値のほかに、被写体の明るさ情報も出力したほうが更に好ましい。

具体的には、入射した光子の数が第１の閾値に達した時間の間隔の差異が、第２の閾値以上であった場合に、一度第２のカウンタをリセットする。その後、再度、入射した光子の数が第１の閾値に達した時間の間隔の差異が、第２の閾値以上になるまでの第２のカウント値を記憶する第１のメモリ部２２０および、第１のカウンタをリセットした回数を記憶する第２のメモリ部２２１を有していればよい。

例えば、第１のカウンタをリセットした回数がＣ、第２のカウント値がＴ、第１の閾値がＮの場合、被写体の輝度Ｌは以下のように表現できる。
Ｌ＝Ｋ（Ｃ×Ｎ／Ｔ）
但し、Ｋは任意の係数である。

このようにすることで、光強度の変化をトリガとして画素値を取得することができる。その結果、例えば手振れの影響を低減した画像や、被写体が動き出した瞬間の画像を取得することが可能となる。

＜実施形態２＞
実施形態２の光電変換素子３００は、実施形態１に示す光電変換素子１００に対し、信号処理部の構成のみが異なる。図７は、光電変換素子３００の画素及び信号処理部３０１の等価回路及びブロック図の一例である。画素部の構成は、図５に示す光電変換素子１００と同じであるため、説明を省略する。

信号処理部３０１は、図５に示す信号処理部１０３と同様に、クエンチ素子３０２、波形整形部３１０、第１のカウンタ回路３１１、第２のカウンタ回路３１２、第１の判定回路３１３、第２の判定回路３１６、応答回路３１７、選択回路３１８を含む。また、第１のメモリ３１４、第１の比較器３１５に加えて、第２のメモリ３２４、第２の比較器３２５を有している。このような構成とすることで、明るさの「変化の度合い」をアドレスイベントとして検出することができる。「明るさの変化」は輝度の１次微分であるため、「明るさの変化の度合い」は輝度の２次微分に相当する。輝度の２次微分をアドレスイベントとすることで、例えば一様に明るさが変化する物体の異常を検知するなど、異常現象のみを検出することができる。

クエンチ素子３０２、波形整形部３１０、第１のカウンタ回路３１１、第２のカウンタ回路３１２の役割と構成は図５と同様であるため省略する。

第１の判定回路３１３は、第１のカウンタ回路３１１で計数した光子の数が、第１の閾値に達した場合に、第１のカウンタ回路３１１のカウント値をリセットする。また、後述する第１の比較器３１５での比較が終了した後、第２のカウンタ回路３１２でのカウンタ値（第２の時間計数値）を第１のメモリ３１４に上書きし、第２のカウンタ回路３１２のカウント値もリセットする。

第１のメモリ３１４には、過去の第２のカウンタ回路３１２のカウンタ値（第１の時間計数値）が保存されており、第２のカウンタ回路３１２のカウント値のリセット毎に、第１のメモリ３１４のカウンタ値が上書きされる。第１の比較器３１５では、現在の第２のカウンタ回路３１２のカウンタ値（第２の時間計数値）と、過去の第２のカウンタ回路３１２のカウンタ値（第１の時間計数値）の差分のカウント値３１９を求める。

第２のメモリには、過去の差分のカウント値３２９（第１の差分計数値）が保存されており、第２のカウンタ回路３１２のカウント値のリセット毎に、第２のメモリ３２４のカウンタ値が上書きされる。第２の比較器３２５では、現在の差分のカウンタ値（第２の差分計数値）と、過去の差分のカウンタ値（第１の差分計数値）の差分のカウント値３３９を求める。

第２の判定回路３１６では、差分のカウント値３３９が第４の閾値以上の場合に、リクエスト信号出力線を介して、垂直調停回路にリクエスト信号を送る。そして、応答回路３１７は、垂直調停回路から、応答入力線を介し、アドレスイベントデータの出力の許可または不許可を表す応答を受ける。

応答回路３１７が出力の許可を表す応答を受けると、選択回路３１８は、第２のメモリ３２４と信号線との接続を切り替える。これにより、第２のメモリ３２４に保持されている差分のカウント値３３９が、列回路に出力される。

＜まとめ＞
差分のカウンタ値３３９は、第２のカウンタ値がリセットされた時間の間隔の差分である。従って、差分のカウンタ値３３９は、光子の入射頻度の変化の度合いに相当する。従って、本発明の光電変換素子１００は、輝度の２次微分を計測している。以上のような構成とすることで、画素アドレスごとに、輝度の２次微分をアドレスイベントとしてリアルタイムに検出する非同期型の光電変換素子が実現できる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１ センサチップ
２１ 回路チップ
１０１ 画素
１０３ 信号処理部
２０１ アバランシェフォトダイオード
２０２ クエンチ素子
２１０ 波形整形部
２１１ 第１のカウンタ回路
２１２ 第２のカウンタ回路
２１３ 第１の判定回路
２１４ メモリ
２１５ 比較器
２１６ 第２の判定回路
２１７ 応答回路
２１８ 選択回路

Claims (22)

1. 光子の入射に応じて信号を出力する画素を備えた光電変換素子であって、
   前記画素から出力された前記信号を計測する第１の計測手段と、
   前記第１の計測手段によって計測された前記信号が第１の閾値に至るまでに要した時間を計測する第２の計測手段と、
   第１の時点における前記第２の計測手段の計測結果を第１の時間として記憶する第１の記憶手段と、
   前記第１の記憶手段によって記憶された前記第１の時間と、前記第１の時点よりも後の第２の時点において前記第２の計測手段によって計測された第２の時間と、を比較する比較手段と、
   前記比較手段による比較結果に応じた信号を出力する出力手段と、を有することを特徴とする光電変換素子。
2. 前記出力手段は、前記第１の時間と前記第２の時間との差が第２の閾値より大きい場合に前記信号を出力することを特徴とする請求項１に記載の光電変換素子。
3. 前記出力手段は、前記第２の時間と前記第１の時間の差が前記第２の閾値以上の場合には前記第２の時間を出力し、前記第２の閾値未満の場合には前記第２の時間を出力しないことを特徴とする、請求項２に記載の光電変換素子。
4. 前記第２の閾値が変更可能なように構成されていることを特徴とする、請求項３に記載の光電変換素子。
5. 前記第２の閾値が画素毎に変更可能なように構成されていることを特徴とする、請求項３または４に記載の光電変換素子。
6. 前記第２の閾値が、前記第２の時間が前記第１の時間よりも大きい場合と、前記第２の時間が前記第１の時間よりも小さい場合とで、異なることを特徴とする請求項３から５のいずれか１項に記載の光電変換素子。
7. 前記第１の計測手段は、前記画素から出力された光子の数を計測することを特徴とする請求項１乃至６のいずれか１項に記載の光電変換素子。
8. アバランシェフォトダイオードで構成された変換手段を更に有することを特徴とする請求項１から７のいずれか１項に記載の光電変換素子。
9. 前記第１の閾値が、前記第１の計測手段の飽和ビット数に等しいことを特徴とする、請求項１から８のいずれか１項に記載の光電変換素子。
10. 前記第１の閾値が、変更可能なように構成されていることを特徴とする、請求項１から９のいずれか１項に記載の光電変換素子。
11. 前記第２の計測手段は、前記第１の時間が予め設定された第３の閾値に達した場合は前記第２の計測手段による計測をリセットすることを特徴とする請求項１から１０のいずれか１項に記載の光電変換素子。
12. 前記比較手段は、前記第２の計測手段による計測結果が前記第３の閾値に達した場合は、前記第１の計測手段の計測結果を出力することを特徴とする、請求項１１に記載の光電変換素子。
13. 前記比較手段による比較結果に基づいて、前記第２の時間と前記第１の時間との差を記憶する第２の記憶手段を、更に有することを特徴とする、請求項１から１２のいずれか１項に記載の光電変換素子。
14. 前記比較手段は、さらに、前記第２の記憶手段によって記憶された時間の差と、前記第２の計測手段による計測結果と前記第１の記憶手段によって記憶された時間との差と、を比較することを特徴とする請求項１３に記載の光電変換素子。
15. 前記第１の計測手段による前記信号の計測結果が前記第１の閾値を越えた場合に前記第１の計測手段による計測をリセットする判定手段を更に有することを特徴とする請求項１から１４のいずれか１項に記載の光電変換素子。
16. 前記判定手段は、前記第１の計測手段の計測結果が前記第１の閾値を満たした場合に、前記第２の計測手段による前記第１の時間の計測結果を前記第１の記憶手段に出力し、さらに前記第２の計測手段の計測結果を前記第１の時間をリセットすることを特徴とする請求項１５に記載の光電変換素子。
17. 前記判定手段は、前記第１の計測手段による計測をリセットした回数に基づいて、被写体の輝度を出力することを特徴とする請求項１５または１６に記載の光電変換素子。
18. 前記第２の計測手段は、クロック数を計測することによって、前記第１の計測手段によって計測された前記信号が前記第１の閾値に至るまでに要した時間を計測することを特徴とする請求項１に記載の情報処理装置。
19. 請求項１から１７のいずれか１項に記載の光電変換素子を備えた情報処理装置であって、
    前記光電変換素子によって出力された前記信号を取得する取得手段と、
    前記取得された信号に基づいて所定の解析処理を行う解析手段と、を有することを特徴とする情報処理装置。
20. 光子の入射に応じて信号を出力する画素を備えた光電変換素子の制御方法であって、
    前記画素から出力された前記信号を計測する第１の計測工程と、
    前記第１の計測工程によって計測された前記信号が第１の閾値に至るまでに要した時間を計測する第２の計測工程と、
    第１の時点における前記第２の計測工程の計測結果を第１の時間として記憶する第１の記憶工程と、
    前記第１の記憶工程によって記憶された前記第１の時間と、前記第１の時点よりも後の第２の時点において前記第２の計測工程によって計測された第２の時間と、を比較する比較工程と、
    前記比較工程における比較結果に応じた信号を出力する出力工程と、を有することを特徴とする制御方法。
21. 請求項２０に記載の制御方法をコンピュータに実行させるためのプログラム。
22. 請求項２０に記載の制御方法をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images