JP2023076773A - 物体認識システム及び電子機器 - Google Patents

Abstract

【課題】より高速に認識処理を行うことができる物体認識システム及び電子機器を提供する。【解決手段】本開示の物体認識システムは、画素の輝度変化が所定の閾値を超えたことをイベントとして検出するイベント検出センサ、及び、スパイキングニューラルネットワークを備える。そして、スパイキングニューラルネットワークは、イベント検出センサの検出結果に基づいて、認識対象の物体の認識処理を実行する。また、本開示の電子機器は、上記の構成の物体認識システムを有する。【選択図】 図１

Description

本開示は、物体認識システム及び電子機器に関する。

物体認識システムにおいて、物体を画像認識するセンサとして、例えば、ＤＶＳ(Dynamic Vision Sensor)と呼ばれる非同期型の撮像装置が用いられている（例えば、特許文献１参照）。非同期型の撮像装置は、入射光を光電変換する画素の輝度変化が所定の閾値を超えたことをイベントとして検出することができる。従って、この種の非同期型の撮像装置については、イベント検出センサと言うこともできる。

ＷＯ-Ａ１-２０１９／０８７４７１

上記のイベント検出センサでは、非同期型の撮像装置であることで、垂直同期信号等の同期信号に同期して撮像を行う同期型の撮像装置よりも高速にイベントを検出することができる。しかし、インタフェースや処理速度等の関係上、非同期で逐次出力されるイベント情報を、例えば、３０フレーム／秒の画像にフレーム化して出力しているのが現状である。そのため、イベント検出センサの場合、高速にイベント検出を行うことができるものの、フレーム化処理を行っていることによって、認識処理に時間がかかることになる。

そこで、本開示は、より高速に認識処理を行うことができる物体認識システム、及び、当該物体認識システムを有する電子機器を提供することを目的とする。

上記の目的を達成するための本開示の物体認識システムは、
画素の輝度変化が所定の閾値を超えたことをイベントとして検出するイベント検出センサ、及び、
スパイキングニューラルネットワーク、
を備え、
スパイキングニューラルネットワークは、イベント検出センサの検出結果に基づいて、認識対象の物体の認識処理を実行する。

また、上記の目的を達成するための本開示の電子機器は、上記の構成の物体認識システムを有する。

図１Ａは、スパイキングニューラルネットワークを用いたアナログ処理の物体認識システムを示すブロック図であり、図１Ｂは、スパイキングニューラルネットワークを用いたデジタル処理の物体認識システムを示すブロック図である。 図２は、実施例１に係る物体認識システムのシステム構成の一例を示すブロック図である。 図３は、非同期型の撮像装置から成るイベント検出センサの構成の一例を示すブロック図である。 図４は、回路構成例１に係る画素の回路構成を示す回路図である。 図５は、回路構成例２に係る画素の回路構成を示す回路図である。 図６は、回路構成例３に係る画素の回路構成を示す回路図である。 図７は、回路構成例４に係る画素の回路構成を示す回路図である。 図８は、同期型の撮像装置から成るイベント検出センサの構成の一例を示すブロック図である。 図９は、画像センサの一例であるＣＭＯＳ型イメージセンサの構成の概略を示すブロック図である。 図１０は、画像センサにおける画素の回路構成の一例を示す回路図である。 図１１は、ＴｏＦ方式の測距センサの構成の一例を示すブロック図である。 図１２は、測距センサにおける光検出部の構成の一例を示すブロック図である。 図１３は、光検出部における画素の回路構成の一例を示す回路図である。 図１４は、ＴｏＦ方式の測距センサにおける距離の算出について説明するためのタイミング波形図である。 図１５は、実施例１に係る物体認識システムにおける認識処理の一例の流れを示すフローチャートである。 図１６は、実施例２に係る物体認識システムのシステム構成の一例を示すブロック図である。 図１７は、実施例２に係る物体認識システムにおける認識処理の一例の流れを示すフローチャートである。 図１８は、実施例３に係る物体認識システムのシステム構成の一例を示すブロック図である。 図１９は、実施例３に係る物体認識システムにおける認識処理の一例の流れを示すフローチャートである。 図２０は、実施例４に係る物体認識システムのシステム構成の一例を示すブロック図である。 図２１は、実施例４に係る物体認識システムにおける認識処理の一例の流れを示すフローチャートである。 図２２は、実施例５に係るイベント検出センサの閾値制御の一例の流れを示すフローチャートである。 図２３は、実施例６に係るイベント検出センサの閾値制御の一例の流れを示すフローチャートである。 図２４は、実施例７に係るイベント検出センサの閾値制御の一例の流れを示すフローチャートである。 図２５は、実施例８に係る物体認識システムのシステム構成の一例を示すブロック図である。 図２６は、実施例８に係る物体認識システムにおける認識処理の一例の流れを示すフローチャートである。 図２７Ａ及び図２７Ｂは、実施例９に係るＯＮ画素及びＯＦＦ画素の画素配置例（その１）を示す図である。 図２８Ａ及び図２８Ｂは、実施例９に係るＯＮ画素及びＯＦＦ画素の画素配置例（その２）を示す図である。 図２９Ａは、実施例１０に係るＤＶＳセンサ及びＴｏＦセンサのセンサ配置例を示す図であり、図２９Ｂは、実施例１０に係るＤＶＳセンサ及びＲＧＢセンサのセンサ配置例を示す図である。 図３０は、本開示の電子機器の一例であるスマートフォンを正面側から見た外観図である。

以下、本開示の技術を実施するための形態（以下、「実施形態」と記述する）について図面を用いて詳細に説明する。本開示の技術は実施形態に限定されるものではない。以下の説明において、同一要素又は同一機能を有する要素には同一符号を用いることとし、重複する説明は省略する。尚、説明は以下の順序で行う。
１．本開示の物体認識システム及び電子機器、全般に関する説明
２．本開示の実施形態
２－１．実施例１（物体を検出する検出装置として複数のセンサを用いる例）
２－１－１．システム構成
２－１－２．非同期型の撮像装置から成るイベント検出センサの構成例
２－１－３．画素の回路構成例
２－１－３－１．回路構成例１
２－１－３－２．回路構成例２
２－１－３－３．回路構成例３
２－１－３－４．回路構成例４
２－１－４．同期型の撮像装置から成るイベント検出センサの構成例
２－１－５．画像センサの構成例
２－１－５－１．ＣＭＯＳ型イメージセンサの構成例
２－１－５－２．画素の回路構成例
２－１－６．測距センサの構成例
２－１－６－１．システム構成
２－１－６－２．光検出部の構成例
２－１－６－３．画素の回路構成例
２－１－７．実施例１に係る物体認識システムの認識処理例
２－２．実施例２（実施例１の変形例：イベント検出センサ、画像センサ、及び、測距センサに対してスパイキングニューラルネットワークを２つ設ける例）
２－２－１．システム構成
２－２－２．実施例２に係る物体認識システムの認識処理例
２－３．実施例３（実施例１の変形例：イベント検出センサ、画像センサ、及び、測距センサのそれぞれにスパイキングニューラルネットワークを設ける例）
２－３－１．システム構成
２－３－２．実施例３に係る物体認識システムの認識処理例
２－４．実施例４（スパイキングニューラルネットワークの他に、畳み込みニューラルネットワークを用いる例）
２－４－１．システム構成
２－４－２．実施例４に係る物体認識システムの認識処理例
２－５．実施例５（実施例４の変形例：イベント検出センサの閾値を制御する例）
２－６．実施例６（実施例４の変形例：イベント検出センサの特定の領域のイベントレートを制御する例）
２－７．実施例７（実施例４の変形例：イベント検出センサの特定の領域のイベントレート、並びに、画像センサ及び／又は測距センサのフレームレートを制御する例）
２－８．実施例８（測距センサ等で用いられる光源を制御する例）
２－８－１．システム構成
２－８－２．実施例８に係る物体認識システムの認識処理例
２－９．実施例９（イベント検出センサにおいて、ＯＮ画素とＯＦＦ画素とが混在する場合の画素配置例）
２－１０．実施例１０（ＤＶＳセンサ及びＲＧＢセンサ、並びに、ＤＶＳセンサ及びＴｏＦセンサが混在する場合のセンサ配置例）
３．変形例
４．本開示の電子機器（スマートフォンの例）
５．本開示がとることができる構成

＜本開示の物体認識システム及び電子機器、全般に関する説明＞
本開示の物体認識システム及び電子機器にあっては、イベント検出センサについて、非同期型の撮像装置から成る構成とすることができる。

上述した好ましい構成を含む本開示の物体認識システム及び電子機器にあっては、認識対象の物体の画像情報を取得する画像センサ、及び、認識対象の物体の三次元画像情報を取得する測距センサの少なくとも一方のセンサを有する構成とすることができる。画像センサについては、所定のフレームレートで撮像を行う同期型の撮像装置から成る構成とすることができる。測距センサについては、認識対象の物体に対して光を照射し、その照射光が認識対象の物体で反射されて戻ってまでの光の飛行時間を検出するＴｏＦ方式の測距装置から成る構成とすることができる。

また、上述した好ましい構成を含む本開示の物体認識システム及び電子機器にあっては、スパイキングニューラルネットワークについて、イベント検出センサから出力されるイベント情報に基づいて認識処理を行う第１のスパイキングニューラルネットワーク、並びに、画像センサから出力される画像情報、及び、測距センサから出力される三次元画像情報の少なくとも一方の情報に基づいて認識処理を行う第２のスパイキングニューラルネットワーク、から成る構成とすることができる。

あるいは又、上述した好ましい構成を含む本開示の物体認識システム及び電子機器にあっては、スパイキングニューラルネットワークについて、イベント検出センサから出力されるイベント情報に基づいて認識処理を行う第１のスパイキングニューラルネットワーク、画像センサから出力される画像情報に基づいて認識処理を行う第２のスパイキングニューラルネットワーク、及び、測距センサから出力される三次元画像情報に基づいて認識処理を行う第３のスパイキングニューラルネットワーク、から成る構成とすることができる。

また、上述した好ましい構成を含む本開示の物体認識システム及び電子機器にあっては、画像センサから出力される画像情報、及び、測距センサから出力される三次元画像情報の少なくとも一方の情報に基づいて認識処理を行う畳み込みニューラルネットワークを有する構成とすることができる。

また、上述した好ましい構成を含む本開示の物体認識システム及び電子機器にあっては、イベント検出センサにおいて、有意なイベント情報を出力した画素の周囲のイベント数に応じて、イベント検出センサのイベント検出閾値を制御する構成とすることができる。あるいは又、イベント検出センサにおいて、有意なイベント情報を出力した画素群を関心領域として設定し、関心領域の部分のイベントレートを上げる構成とすることができる。

また、上述した好ましい構成を含む本開示の物体認識システム及び電子機器にあっては、イベント検出センサにおいて、有意なイベント情報を出力した画素群を関心領域として設定し、関心領域の部分のイベントレートを上げるとともに、画像センサ及び測距センサの少なくとも一方のフレームレートを上げる構成とすることができる。

また、上述した好ましい構成を含む本開示の物体認識システム及び電子機器にあっては、認識対象の物体に光を照射する光源を有し、イベント検出センサにおいて、有意なイベント情報を出力した画素群を関心領域として設定し、関心領域の部分のイベントレートを上げるとともに、関心領域の部分に光を照射するように光源を制御する構成とすることができる。

＜本開示の実施形態＞
本開示の実施形態に係る物体認識システムは、認識対象の物体について、画像認識でよく使われる深層学習（ディープラーニング）の手法の一つであり、通常のニューラルネットワークよりも、緻密に神経細胞をモデリングしたスパイキングニューラルネットワーク（ＳＮＮ：Spiking Neural Networks）を用いて認識処理を行うことを特徴としている。スパイキングニューラルネットワークは、発火頻度ではなく、ニューロンの内部電位に注目したモデルであって、アナログ量をパルスタイミングで表現する。また、スパイキングニューラルネットワークは、非同期動作なので、高速処理が可能である。

スパイキングニューラルネットワークを用いた物体認識システムとしては、図１Ａに示すアナログ処理、及び、図１Ｂに示すデジタル処理を例示することができる。スパイキングニューラルネットワーク１には、認識対象の物体を検出する検出装置から、物体に関する情報が入力される。ここでは、認識対象の物体を検出する検出装置として、非同期型の撮像装置の一例であるイベント検出センサ２を用いる場合を例に挙げて説明する。イベント検出センサ２は、画素の輝度変化が所定の閾値（イベント検出閾値）を超えたことをイベントとして検出する。

図１Ａに示すアナログ処理の場合には、イベント検出センサ２から、アナログ処理対応のスパイキングニューラルネットワーク１に対して、認識対象の物体の座標点を同定するＸ-Ｙアドレス情報が、アナログのイベント情報として入力される。アナログ処理対応のスパイキングニューラルネットワーク１は、イベント情報が入ってきた順番で時間情報を取得し、Ｘ-Ｙアドレス情報及び時間情報に基づいて、物体検知、物体認識等の認識結果を出力する。

図１Ｂに示すデジタル処理の場合には、イベント検出センサ２から、デジタル処理対応のスパイキングニューラルネットワーク１に対して、Ｘ-Ｙアドレス情報、及び、イベントが発生した相対的な時刻を表すタイムスタンプがデジタルのイベント情報として入力される。デジタル処理対応のスパイキングニューラルネットワーク１は、Ｘ-Ｙアドレス情報及びタイムスタンプに基づいて、物体検知、物体認識等の認識結果を出力する。

本実施形態に係る物体認識システムによれば、スパイキングニューラルネットワーク１を用いて物体検知、物体認識等の認識処理を行うようにしていることから、イベント検出センサ２側でフレーム化処理を行う必要がなく、しかも、スパイキングニューラルネットワーク１が、高速処理が可能であるため、より高速に認識処理を行うことができる。

以下に、本実施形態に係る物体認識システムの具体的な実施例について説明する。

≪実施例１≫
実施例１は、認識対象の物体を検出する検出装置として複数のセンサを用いる物体認識システムの例である。実施例１に係る物体認識システムのシステム構成の一例を図２に示す。

［システム構成］
図２に示すように、実施例１に係る物体認識システムは、認識処理を行うスパイキングニューラルネットワーク１の他に、認識対象の物体を検出する検出装置として、例えば、イベント検出センサ２、画像センサ３、及び、測距センサ４の３つのセンサを備え、更に、システム制御部５及びアプリケーションプロセッサ６を備えている。

イベント検出センサ２は、ＤＶＳと呼ばれるセンサであり、入射光を光電変換する画素の輝度変化が所定の閾値（イベント検出閾値）を超えたことをイベントとして検出し、イベント情報をスパイキングニューラルネットワーク１に供給する。イベント検出センサ２としては、例えば、非同期型の撮像装置を用いることができる。但し、非同期型の撮像装置に限られるものではなく、同期型の撮像装置を用いることもできる。

画像センサ３は、垂直同期信号等の同期信号に同期して撮像を行う同期型の撮像装置である。すなわち、画像センサ３は、所定のフレームレート、例えば、固定のフレームレートで撮像を行う撮像装置であり、撮像した画像情報をスパイキングニューラルネットワーク１に供給する。画像センサ３としては、例えば、後述するＲＧＢセンサを用いることができる。

測距センサ４は、認識対象の物体（被写体）までの距離情報（距離画像情報）や、三次元画像情報（物体表面の奥行き情報／深度情報）を取得する測距装置であり、距離情報や三次元画像情報をスパイキングニューラルネットワーク１に供給する。測距センサ４としては、認識対象の物体（被写体）に対して光源から光を照射し、その照射光が認識対象の物体で反射されて光検出部に戻ってまでの光の飛行時間を検出するＴｏＦ（Time of Flight：光飛行時間）センサを用いることができる。

システム制御部５は、例えば、プロセッサから成り、スパイキングニューラルネットワーク１からの指示の下に、イベント検出センサ２、画像センサ３、及び、測距センサ４の制御を行う。イベント検出センサ２、画像センサ３、及び、測距センサ４で取得された認識対象の物体に関する情報は、スパイキングニューラルネットワーク１に供給される。

スパイキングニューラルネットワーク１は、先ず、システム制御部５を通して、イベント検出センサ２を起動し、動作状態とする。動作状態にあるイベント検出センサ２がイベントを検出し、イベント検出センサ２からイベント情報が出力されると、スパイキングニューラルネットワーク１は、イベント情報を受けて、システム制御部５を通して、画像センサ３及び／又は測距センサ４を起動する。

そして、スパイキングニューラルネットワーク１は、画像センサ３から出力される画像情報、及び／又は、測距センサ４から出力される三次元画像情報に基づいて、認識対象の物体の認識処理を行い、物体検知、物体認識等の認識結果を次段のアプリケーションプロセッサ６に供給する。

アプリケーションプロセッサ６は、スパイキングニューラルネットワーク１から供給される物体検知、物体認識等の認識結果を受けて、所定の処理、例えば、顔検出や顔認証等の処理を実行する。

以下に、イベント検出センサ２、画像センサ３、及び、測距センサ４の具体的な構成の一例について説明する。

［非同期型の撮像装置から成るイベント検出センサの構成例］
非同期型の撮像装置から成るイベント検出センサの構成の一例を図３に示す。イベント検出センサ２は、ＤＶＳセンサ部２０、ＤＶＳ制御部３０、及び、データ処理部４０から成る構成となっている。

ＤＶＳセンサ部２０は、複数の画素２１が行列状（アレイ状）に２次元配列されて成る画素アレイ部２２を有する。複数の画素２１のそれぞれは、光電変換素子２１０及びアドレスイベント検出部２１１を有し、光電変換素子２１０での光電変換によって生成される電気信号としての光電流に応じた電圧のアナログ信号を画素信号として生成し、出力する。また、複数の画素２１のそれぞれは、アドレスイベント検出部２１１において、入射光の輝度に応じた光電流に、所定の閾値を超える変化が生じたか否かによって、イベントの有無を検出する。換言すれば、複数の画素２１のそれぞれは、輝度変化が所定の閾値（イベント検出閾値）を超えたことをイベントとして検出する。

ＤＶＳセンサ部２０は、複数の画素２１が行列状に２次元配列されて成る画素アレイ部２２の他に、画素アレイ部２２の周辺回路部として、センサ制御部２３、Ｘアービタ部２４、Ｙアービタ部２５、及び、信号処理部２６を備えている。ここで、Ｘアービタ部２４のＸは、行列状配列の画素行を意味し、Ｙアービタ部２５のＹは、行列状配列の画素列を意味する。

複数の画素２１のそれぞれは、イベントを検出した際に、イベントの発生を表すイベントデータの出力を要求するリクエストをＸアービタ部２４及びＹアービタ部２５に出力する。そして、複数の画素２１のそれぞれは、イベントデータの出力の許可を表す応答をＸアービタ部２４及びＹアービタ部２５から受け取った場合、センサ制御部２３及び信号処理部２６に対してイベントデータを出力する。

センサ制御部２３は、画素アレイ部２２の各画素２１の駆動を行う。Ｘアービタ部２４及びＹアービタ部２５は、複数の画素２１のそれぞれから供給されるイベントデータの出力を要求するリクエストを調停し、その調停結果（即ち、イベントデータの出力の許可／不許可）に基づく応答、及び、イベント検出をリセットするリセット信号を画素２１に対して送信する。信号処理部２６は、画素アレイ部２２から出力されるイベントデータに対して所定の信号処理を実行し、信号処理後のイベントデータを出力する。

上記の構成のＤＶＳセンサ部２０は、ＤＶＳ制御部３０による制御の下に、入射光を光電変換する画素２１の輝度変化が所定の閾値を超えたことをイベントとして検出する。そして、ＤＶＳセンサ部２０によるイベント検出結果は、データ処理部４０に供給される。データ処理部４０は、ＤＶＳセンサ部２０から供給されるイベント検出結果を記憶する記憶部４０１、及び、記憶部４０１の記憶内容に基づくデータ生成を行うデータ生成部４０２から成り、データ処理結果を出力する。

上述したように、画素２１で生成される光電流の変化は、画素２１（即ち、光電変換素子２１０）に入射する光の光量変化（輝度変化）とも捉えることができる。従って、イベントは、所定の閾値を超える画素２１の光量変化（輝度変化）であるとも言うことができる。イベントの発生を表すイベントデータには、少なくとも、イベントとしての光量変化が発生した画素２１の位置を表す座標等の位置情報、即ち、Ｘ-Ｙアドレス情報が含まれる。イベントデータには、位置情報の他、光量変化の極性を含ませることができる。

画素２１からイベントが発生したタイミングで出力されるイベントデータの系列については、イベントデータどうしの間隔がイベントの発生時のまま維持されている限り、イベントデータは、イベントが発生した相対的な時刻を表す時刻情報を暗示的に含んでいるということができる。

但し、イベントデータがメモリに記憶されること等により、イベントデータどうしの間隔がイベントの発生時のまま維持されなくなると、イベントデータに暗示的に含まれる時刻情報が失われる。そのため、信号処理部２６は、イベントデータどうしの間隔がイベントの発生時のまま維持されなくなる前に、イベントデータに、タイムスタンプ等の、イベントが発生した相対的な時刻を表す時刻情報を含める。

［画素の回路構成例］
続いて、画素２１の具体的な回路構成例について説明する。画素２１は、輝度変化が所定の閾値を超えたことをイベントとして検出するイベント検出部２１１を有する。

画素２１は、光電流の変化量が所定の閾値を超えたか否かにより、イベントの発生の有無を検出する。イベントは、例えば、光電流の変化量が上限の閾値を超えた旨を示すオンイベント、及び、その変化量が下限の閾値を下回った旨を示すオフイベントから成る。また、イベントの発生を表すイベントデータ（イベント情報）は、例えば、オンイベントの検出結果を示す１ビット、及び、オフイベントの検出結果を示す１ビットから成る。尚、画素２１については、オンイベントのみについて検出する機能を有する構成とすることもできるし、オフイベントのみについて検出する機能を有する構成とすることもできる。

（回路構成例１）
回路構成例１は、コンパレータを１つ用いて、オンイベントの検出、及び、オフイベントの検出を時分割で行う例である。回路構成例１に係る画素２１の回路図を図４に示す。回路構成例１に係る画素２１は、光電変換素子２１０の他に、アドレスイベント検出部２１１として、受光回路２１２、メモリ容量２１３、コンパレータ２１４、リセット回路２１５、インバータ２１６、及び、出力回路２１７を有する回路構成となっている。

上記の回路構成の画素２１は、センサ制御部２３による制御の下に、オンイベント及びオフイベントの検出を行う。ここで、オンイベントとは、光電流の変化量が上限の閾値を超えた旨を示すイベントであり、オフイベントとは、光電流の変化量が下限の閾値を下回った旨を示すイベントである。

光電変換素子２１０は、第１電極（アノード電極）が受光回路２１２の入力端に接続され、第２電極（カソード電極）が基準電位ノードであるグランドノードに接続されており、入射光を光電変換して光の強度（光量）に応じた電荷量の電荷を生成する。また、光電変換素子２１０は、生成した電荷を光電流Ｉ_photoに変換する。

受光回路２１２は、光電変換素子２１０が検出した、光の強度（光量）に応じた光電流Ｉ_photoを電圧Ｖ_prに変換する。ここで、光の強度に対する電圧Ｖ_prの関係は、通常、対数の関係である。すなわち、受光回路２１２は、光電変換素子２１０の受光面に照射される光の強度に対応する光電流Ｉ_photoを、対数関数である電圧Ｖ_prに変換する。但し、光電流Ｉ_photoと電圧Ｖ_prとの関係は、対数の関係に限られるものではない。

受光回路２１２から出力される、光電流Ｉ_photoに応じた電圧Ｖ_prは、メモリ容量２１３を経た後、電圧Ｖ_diffとしてコンパレータ２１４の第１入力である反転（－）入力となる。コンパレータ２１４は、通常、差動対トランジスタによって構成される。コンパレータ２１４は、センサ制御部２３から与えられる閾値電圧Ｖ_bを第２入力である非反転（＋）入力とし、オンイベントの検出、及び、オフイベントの検出を時分割で行う。また、オンイベント／オフイベントの検出後は、リセット回路２１５によって、画素２１のリセットが行われる。

センサ制御部２３は、閾値電圧Ｖ_bとして、時分割で、オンイベントを検出する段階では電圧Ｖ_onを出力し、オフイベントを検出する段階では電圧Ｖ_offを出力し、リセットを行う段階では電圧Ｖ_resetを出力する。電圧Ｖ_resetは、電圧Ｖ_onと電圧Ｖ_offとの間の値、好ましくは、電圧Ｖ_onと電圧Ｖ_offとの中間の値に設定される。ここで、「中間の値」とは、厳密に中間の値である場合の他、実質的に中間の値である場合も含む意味であり、設計上あるいは製造上生ずる種々のばらつきの存在は許容される。

また、センサ制御部２３は、画素２１に対して、オンイベントを検出する段階ではＯｎ選択信号を出力し、オフイベントを検出する段階ではＯｆｆ選択信号を出力し、リセットを行う段階ではグローバルリセット信号を出力する。Ｏｎ選択信号は、インバータ２１６と出力回路２１７との間に設けられた選択スイッチＳＷ_onに対してその制御信号として与えられる。Ｏｆｆ選択信号は、コンパレータ２１４と出力回路２１７との間に設けられた選択スイッチＳＷ_offに対してその制御信号として与えられる。

コンパレータ２１４は、オンイベントを検出する段階では、電圧Ｖ_onと電圧Ｖ_diffとを比較し、電圧Ｖ_diffが電圧Ｖ_onを超えたとき、光電流Ｉ_photoの変化量が上限の閾値を超えた旨を示すオンイベント情報Ｏｎを比較結果として出力する。オンイベント情報Ｏｎは、インバータ２１６で反転された後、選択スイッチＳＷ_onを通して出力回路２１７に供給される。

コンパレータ２１４は、オフイベントを検出する段階では、電圧Ｖ_offと電圧Ｖ_diffとを比較し、電圧Ｖ_diffが電圧Ｖ_offを下回ったとき、光電流Ｉ_photoの変化量が下限の閾値を下回った旨を示すオフイベント情報Ｏｆｆを比較結果として出力する。オフイベント情報Ｏｆｆは、選択スイッチＳＷ_offを通して出力回路２１７に供給される。

リセット回路２１５は、リセットスイッチＳＷ_RS、２入力ＯＲ回路２１５１、及び、２入力ＡＮＤ回路２１５２を有する構成となっている。リセットスイッチＳＷ_RSは、コンパレータ２１４の反転（－）入力端子と出力端子との間に接続されており、オン（閉）状態となることで、反転入力端子と出力端子との間を選択的に短絡する。

ＯＲ回路２１５１は、選択スイッチＳＷ_onを経たオンイベント情報Ｏｎ、及び、選択スイッチＳＷ_offを経たオフイベント情報Ｏｆｆを２入力とする。ＡＮＤ回路２１５２は、ＯＲ回路２１５１の出力信号を一方の入力とし、センサ制御部２３から与えられるグローバルリセット信号を他方の入力とし、オンイベント情報Ｏｎ又はオフイベント情報Ｏｆｆのいずれかが検出され、グローバルリセット信号がアクティブ状態のときに、リセットスイッチＳＷ_RSをオン（閉）状態とする。

このように、ＡＮＤ回路２１５２の出力信号がアクティブ状態となることで、リセットスイッチＳＷ_RSは、コンパレータ２１４の反転入力端子と出力端子との間を短絡し、画素２１に対して、グローバルリセットを行う。これにより、イベントが検出された画素２１だけについてリセット動作が行われる。

出力回路２１７は、オフイベント出力トランジスタＮＭ₁、オンイベント出力トランジスタＮＭ₂、及び、電流源トランジスタＮＭ₃を有する構成となっている。オフイベント出力トランジスタＮＭ₁は、そのゲート部に、オフイベント情報Ｏｆｆを保持するためのメモリ（図示せず）を有している。このメモリは、オフイベント出力トランジスタＮＭ₁のゲート寄生容量から成る。

オフイベント出力トランジスタＮＭ₁と同様に、オンイベント出力トランジスタＮＭ₂は、そのゲート部に、オンイベント情報Ｏｎを保持するためのメモリ（図示せず）を有している。このメモリは、オンイベント出力トランジスタＮＭ₂のゲート寄生容量から成る。

読出し段階において、オフイベント出力トランジスタＮＭ₁のメモリに保持されたオフイベント情報Ｏｆｆ、及び、オンイベント出力トランジスタＮＭ₂のメモリに保持されたオンイベント情報Ｏｎは、センサ制御部２３から電流源トランジスタＮＭ₃のゲート電極に行選択信号が与えられることで、画素アレイ部２２の画素行毎に、出力ラインｎＲｘＯｆｆ及び出力ラインｎＲｘＯｎを通して信号処理部２６に転送される。

上述したように、回路構成例１に係る画素２１は、１つのコンパレータ２１４を用いて、センサ制御部２３による制御の下に、オンイベントの検出、及び、オフイベントの検出を時分割で行うイベント検出機能を有する構成となっている。

（回路構成例２）
回路構成例２は、コンパレータを２つ用いて、オンイベントの検出、及び、オフイベントの検出を並行して（同時に）行う例である。回路構成例２に係る画素２１の回路図を図５に示す。

図５に示すように、回路構成例２に係る画素２１は、オンイベントを検出するためのコンパレータ２１４Ａ、及び、オフイベントを検出するためのコンパレータ２１４Ｂを有する構成となっている。このように、２つのコンパレータ２１４Ａ及びコンパレータ２１４Ｂを用いてイベント検出を行うことで、オンイベントの検出動作とオフイベントの検出動作とを並行して実行することができる。その結果、オンイベント及びオフイベントの検出動作について、より速い動作を実現できる。

オンイベント検出用のコンパレータ２１４Ａは、通常、差動対トランジスタによって構成される。コンパレータ２１４Ａは、光電流Ｉ_photoに応じた電圧Ｖ_diffを第１入力である非反転（＋）入力とし、閾値電圧Ｖ_bとしての電圧Ｖ_onを第２入力である反転（－）入力とし、両者の比較結果としてオンイベント情報Ｏｎを出力する。オフイベント検出用のコンパレータ２１４Ｂも、通常、差動対トランジスタによって構成される。コンパレータ２１４Ｂは、光電流Ｉ_photoに応じた電圧Ｖ_diffを第１入力である反転入力とし、閾値電圧Ｖ_bとしての電圧Ｖ_offを第２入力である非反転入力とし、両者の比較結果としてオフイベント情報Ｏｆｆを出力する。

コンパレータ２１４Ａの出力端子と出力回路２１７のオンイベント出力トランジスタＮＭ₂のゲート電極との間には、選択スイッチＳＷ_onが接続されている。コンパレータ２１４Ｂの出力端子と出力回路２１７のオフイベント出力トランジスタＮＭ₁のゲート電極との間には、選択スイッチＳＷ_offが接続されている。選択スイッチＳＷ_on及び選択スイッチＳＷ_offは、センサ制御部２３から出力されるサンプル信号によりオン（閉）／オフ（開）制御が行われる。

コンパレータ２１４Ａの比較結果であるオンイベント情報Ｏｎは、選択スイッチＳＷ_onを介して、オンイベント出力トランジスタＮＭ₂のゲート部のメモリに保持される。オンイベント情報Ｏｎを保持するためのメモリは、オンイベント出力トランジスタＮＭ₂のゲート寄生容量から成る。コンパレータ２１４Ｂの比較結果であるオンイベントＯｆｆは、選択スイッチＳＷ_offを介して、オフイベント出力トランジスタＮＭ₁のゲート部のメモリに保持される。オンイベントＯｆｆを保持するためのメモリは、オフイベント出力トランジスタＮＭ₁のゲート寄生容量から成る。

オンイベント出力トランジスタＮＭ₂のメモリに保持されたオンイベント情報Ｏｎ、及び、オフイベント出力トランジスタＮＭ₁のメモリに保持されたオフイベント情報Ｏｆｆは、センサ制御部２３から電流源トランジスタＮＭ₃のゲート電極に行選択信号が与えられることで、画素アレイ部２２の画素行毎に、出力ラインｎＲｘＯｎ及び出力ラインｎＲｘＯｆｆを通して信号処理部２６に転送される。

上述したように、回路構成例２に係る画素２１は、２つのコンパレータ２１４Ａ及びコンパレータ２１４Ｂを用いて、センサ制御部２３による制御の下に、オンイベントの検出と、オフイベントの検出とを並行して（同時に）行うイベント検出機能を有する構成となっている。

（回路構成例３）
回路構成例３は、オンイベントのみについて検出を行う例である。回路構成例３に係る画素２１の回路図を図６に示す。

回路構成例３に係る画素２１は、１つのコンパレータ２１４を有している。コンパレータ２１４は、光電流Ｉ_photoに応じた電圧Ｖ_diffを第１入力である反転（－）入力とし、センサ制御部５０から閾値電圧Ｖ_bとして与えられる電圧Ｖ_onを第２入力である非反転（＋）入力とし、両者を比較することによってオンイベント情報Ｏｎを比較結果として出力する。ここで、コンパレータ２１４を構成する差動対トランジスタとしてＮ型トランジスタを用いることで、回路構成例１（図４参照）で用いていたインバータ２１６を不要とすることができる。

コンパレータ２１４の比較結果であるオンイベント情報Ｏｎは、オンイベント出力トランジスタＮＭ₂のゲート部のメモリに保持される。オンイベント情報Ｏｎを保持するためのメモリは、オンイベント出力トランジスタＮＭ₂のゲート寄生容量から成る。オンイベント出力トランジスタＮＭ₂のメモリに保持されたオンイベント情報Ｏｎは、センサ制御部２３から電流源トランジスタＮＭ₃のゲート電極に行選択信号が与えられることで、画素アレイ部２２の画素行毎に、出力ラインｎＲｘＯｎを通して信号処理部２６に転送される。

上述したように、回路構成例３に係る画素２１は、１つのコンパレータ２１４を用いて、センサ制御部２３による制御の下に、オンイベント情報Ｏｎのみについて検出を行うイベント検出機能を有する構成となっている。

（回路構成例４）
回路構成例４は、オフイベントのみの検出を行う例である。回路構成例４に係る画素２１の回路図を図７に示す。

回路構成例４に係る画素２１は、１つのコンパレータ２１４を有している。コンパレータ２１４は、光電流Ｉ_photoに応じた電圧Ｖ_diffを第１入力である反転（－）入力とし、センサ制御部２３から閾値電圧Ｖ_bとして与えられる電圧Ｖ_offを第２入力である非反転（＋）入力とし、両者を比較することによってオフイベント情報Ｏｆｆを比較結果として出力する。コンパレータ２１４を構成する差動対トランジスタとしては、Ｐ型トランジスタを用いることができる。

コンパレータ２１４の比較結果であるオフイベント情報Ｏｆｆは、オフイベント出力トランジスタＮＭ₁のゲート部のメモリに保持される。オフイベント情報Ｏｆｆを保持するメモリは、オフイベント出力トランジスタＮＭ₁のゲート寄生容量から成る。オフイベント出力トランジスタＮＭ₁のメモリに保持されたオフイベント情報Ｏｆｆは、センサ制御部２３から電流源トランジスタＮＭ₃のゲート電極に行選択信号が与えられることで、画素アレイ部２２の画素行毎に、出力ラインｎＲｘＯｆｆを通して信号処理部２６に転送される。

上述したように、回路構成例４に係る画素２１は、１つのコンパレータ２１４を用いて、センサ制御部２３による制御の下に、オフイベント情報Ｏｆｆのみについて検出を行うイベント検出機能を有する構成となっている。尚、図１０の回路構成では、ＡＮＤ回路２１５２の出力信号でリセットスイッチＳＷ_RSを制御するしているが、グローバルリセット信号で直接リセットスイッチＳＷ_RSを制御する構成とすることもできる。

［同期型の撮像装置から成るイベント検出センサの構成例］
以上では、イベント検出センサ２として非同期型の撮像装置を用いる場合を例に挙げて説明したが、イベント検出センサ２としては、非同期型の撮像装置に限らず、同期型（スキャン型）の撮像装置を用いることもできる。

図８は、同期型の撮像装置から成るイベント検出センサの構成の一例を示すブロック図である。図３に示す非同期型の撮像装置から成るイベント検出センサ２との対比すると、同期型の撮像装置から成るイベント検出センサ２におけるＤＶＳセンサ部２０は、Ｘアービタ部２４及びＹアービタ部２５に代えて、カラム処理部２７及び行選択部２８を備える構成となっている。

また、センサ制御部２３及び行選択部２８は、外部から供給される垂直同期信号ＶＤや水平同期信号ＨＤなどの同期信号に同期して、画素アレイ部２２の各画素２１を走査する制御を行う。センサ制御部２３及び行選択部２８による走査の下に、イベントを検出した画素２１は、イベントデータを信号処理部２６に対して出力する。また、イベントを検出した画素２１は、光電変換によって生成されるアナログの画素信号をカラム処理部２７に対して出力する。

カラム処理部２７は、例えば、画素アレイ部２２の画素列毎に設けられたアナログ－デジタル変換器の集合から成るアナログ－デジタル変換部を有する。アナログ－デジタル変換器としては、例えば、シングルスロープ型アナログ－デジタル変換器、逐次比較型アナログ－デジタル変換器、デルタ－シグマ変調型（ΔΣ変調型）アナログ－デジタル変換器などを例示することができる。

カラム処理部２７では、画素アレイ部２２の画素列毎に、その列の画素２１から出力されるアナログの画素信号をデジタル信号に変換する処理が行われる。カラム処理部２７では、デジタル化した画素信号に対して、ＣＤＳ（Correlated Double Sampling）処理を行うこともできる。

上述したように、同期型（スキャン型）の撮像装置から成るイベント検出センサ２においては、垂直同期信号ＶＤや水平同期信号ＨＤなどの同期信号に同期して画素アレイ部２２の各画素２１を走査することで、イベント検出及び撮像が行われる。

［画像センサの構成例］
次に、本実施形態に係る物体認識システムにおける画像センサ３の基本的な構成について説明する。ここでは、画像センサ３として、Ｘ－Ｙアドレス方式の画像センサの一種であるＣＭＯＳ型イメージセンサを例に挙げて説明する。ＣＭＯＳ型イメージセンサは、ＣＭＯＳプロセスを応用して、又は、部分的に使用して作製されたイメージセンサである。但し、画像センサ３としては、ＣＭＯＳ型イメージセンサに限られるものではない。

（ＣＭＯＳ型イメージセンサの構成例）
図９は、本実施形態に係る物体認識システムにおける画像センサ３の一例であるＣＭＯＳ型イメージセンサの構成の概略を示すブロック図である。

本例に係る画像センサ３は、受光部（光電変換部）を含む画素２１が行方向及び列方向に、即ち、行列状に２次元配置されて成る画素アレイ部２２、及び、当該画素アレイ部２２の周辺回路部を有する構成となっている。ここで、行方向とは、画素行の画素２１の配列方向を言い、列方向とは、画素列の画素２１の配列方向を言う。画素２１は、光電変換を行うことにより、受光した光量に応じた光電荷を生成し、蓄積する。

本例に係る画像センサ３は、画素アレイ部３２の各画素３１に、例えば、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）の各色フィルタが組み込まれたＲＧＢセンサである。但し、画像センサ３は、ＲＧＢセンサに限られるものではない。

画素アレイ部３２の周辺回路部は、例えば、行選択部３３、定電流源部３４、アナログ－デジタル変換部３５、水平転送走査部３６、信号処理部３７、及び、タイミング制御部３８等によって構成されている。

画素アレイ部３２において、行列状の画素配列に対し、画素行毎に画素駆動線ＤＬ（ＤＬ₁～ＤＬ_m）が行方向に沿って配線されている。また、画素列毎に垂直信号線ＶＬ（ＶＬ₁～ＶＬ_n）が列方向に沿って配線されている。画素駆動線ＤＬは、画素３１から信号を読み出す際の駆動を行うための駆動信号を伝送する。図９では、画素駆動線ＤＬについて１本の配線として図示しているが、１本に限られるものではない。画素駆動線ＤＬの一端は、行選択部３３の各行に対応した出力端に接続されている。

以下に、画素アレイ部３２の周辺回路部の各回路部、即ち、行選択部３３、定電流源部３４、アナログ－デジタル変換部３５、水平転送走査部３６、信号処理部３７、及び、タイミング制御部３８について説明する。

行選択部３３は、シフトレジスタやアドレスデコーダなどによって構成され、画素アレイ部３２の各画素３１の選択に際して、画素行の走査や画素行のアドレスを制御する。この行選択部３３は、その具体的な構成については図示を省略するが、一般的に、読出し走査系と掃出し走査系の２つの走査系を有する構成となっている。

読出し走査系は、画素３１から画素信号を読み出すために、画素アレイ部３２の各画素３１を行単位で順に選択走査する。画素３１から読み出される画素信号はアナログ信号である。掃出し走査系は、読出し走査系によって読出し走査が行われる読出し行に対して、その読出し走査よりもシャッタスピードの時間分だけ先行して掃出し走査を行う。

この掃出し走査系による掃出し走査により、読出し行の画素３１の受光部（光電変換部）から不要な電荷が掃き出されることによって当該受光部がリセットされる。そして、この掃出し走査系による不要電荷の掃き出す（リセットする）ことにより、所謂、電子シャッタ動作が行われる。ここで、電子シャッタ動作とは、受光部の光電荷を捨てて、新たに露光を開始する（光電荷の蓄積を開始する）動作のことを言う。

定電流源部３４は、画素列毎に垂直信号線ＶＬ₁～ＶＬ_nの各々に接続された、例えばＭＯＳトランジスタから成る複数の電流源Ｉ（図１０参照）を備えており、行選択部３３によって選択走査された画素行の各画素３１に対し、垂直信号線ＶＬ₁～ＶＬ_nの各々を通してバイアス電流を供給する。

アナログ－デジタル変換部３５は、画素アレイ部３２の画素列に対応して設けられた（例えば、画素列毎に設けられた）複数のアナログ－デジタル変換器の集合から成る。アナログ－デジタル変換部３５は、画素列毎に垂直信号線ＶＬ₁～ＶＬ_nの各々を通して出力されるアナログの画素信号を、デジタル信号に変換する列並列型のアナログ－デジタル変換部である。

列並列アナログ－デジタル変換部３５におけるアナログ－デジタル変換器としては、例えば、参照信号比較型のアナログ－デジタル変換器の一例であるシングルスロープ型のアナログ－デジタル変換器を用いることができる。但し、アナログ－デジタル変換器としては、シングルスロープ型のアナログ－デジタル変換器に限られるものではなく、逐次比較型のアナログ－デジタル変換器やデルタ－シグマ変調型（ΔΣ変調型）のアナログ－デジタル変換器などを用いることができる。

この列並列アナログ－デジタル変換部３５におけるアナログ－デジタル変換器の例については、先述したイベント検出センサ２のカラム処理部２７（図８参照）を構成するアナログ－デジタル変換部におけるアナログ－デジタル変換器においても同様である。

水平転送走査部３６は、シフトレジスタやアドレスデコーダなどによって構成され、画素アレイ部３２の各画素３１の信号の読出しに際して、画素列の走査や画素列のアドレスを制御する。この水平転送走査部３６による制御の下に、アナログ－デジタル変換部３５でデジタル信号に変換された画素信号が画素列単位で水平転送線（水平出力線）３９に読み出される。

信号処理部３７は、水平転送線３９を通して供給されるデジタルの画素信号に対して、所定の信号処理を行い、２次元の画像データを生成する。例えば、信号処理部３７は、縦線欠陥、点欠陥の補正、又は、信号のクランプを行ったり、パラレル－シリアル変換、圧縮、符号化、加算、平均、及び、間欠動作などデジタル信号処理を行ったりする。信号処理部３７は、生成した画像データを、本画像センサ３の出力信号として後段の装置に出力する。

タイミング制御部３８は、外部から供給される垂直同期信号ＶＤや水平同期信号ＨＤ、更には、マスタークロックＭＣＫ（図示せず）等に基づいて、各種のタイミング信号、クロック信号、及び、制御信号等を生成する。そして、タイミング制御部３８は、これら生成した信号を基に、行選択部３３、定電流源部３４、アナログ－デジタル変換部３５、水平転送走査部３６、及び、信号処理部３７等の駆動制御を行う。

このタイミング制御部３８による制御の下に、本画像センサ３では、垂直同期信号ＶＤ等の同期信号に同期して撮像が行われる。すなわち、本画像センサ３は、所定のフレームレート、例えば、固定のフレームレートで撮像を行う同期型の撮像装置である。

（画素の回路構成例）
図１０は、画像センサ３における画素アレイ部３２の画素３１の回路構成の一例を示す回路図である。

画素３１は、光電変換素子として、例えば、フォトダイオード３１１を有している。画素３１は、フォトダイオード３１１の他に、転送トランジスタ３１２、リセットトランジスタ３１３、増幅トランジスタ３１４、及び、選択トランジスタ３１５を有する画素構成となっている。

尚、ここでは、転送トランジスタ３１２、リセットトランジスタ３１３、増幅トランジスタ３１４、及び、選択トランジスタ３１５の４つのトランジスタとして、例えばＮ型のＭＯＳトランジスタを用いているが、ここで例示した４つのトランジスタ３１２～３１５の導電型の組み合わせは一例に過ぎず、これらの組み合わせに限られるものではない。

この画素３１に対して、先述した画素駆動線ＤＬとして、複数の画素駆動線が同一画素行の各画素３１に対して共通に配線されている。これら複数の画素駆動線は、行選択部３３の各画素行に対応した出力端に画素行単位で接続されている。行選択部３３は、複数の画素駆動線に対して転送信号ＴＲＧ、リセット信号ＲＳＴ、及び、選択信号ＳＥＬを適宜出力する。

フォトダイオード３１１は、アノード電極が低電位側電源(例えば、グランド)に接続されており、受光した光をその光量に応じた電荷量の光電荷（ここでは、光電子）に光電変換してその光電荷を蓄積する。フォトダイオード３１１のカソード電極は、転送トランジスタ３１２を介して増幅トランジスタ３１４のゲート電極と電気的に接続されている。ここで、増幅トランジスタ３１４のゲート電極が電気的に繋がった領域は、フローティングディフュージョン（浮遊拡散領域／不純物拡散領域）ＦＤである。フローティングディフュージョンＦＤは、電荷を電圧に変換する電荷電圧変換部である。

転送トランジスタ３１２のゲート電極には、高レベル（例えば、Ｖ_DDレベル）がアクティブとなる転送信号ＴＲＧが行選択部３３から与えられる。転送トランジスタ３１２は、転送信号ＴＲＧに応答してオン状態となることにより、フォトダイオード３１１で光電変換され、当該フォトダイオード３１１に蓄積された光電荷をフローティングディフュージョンＦＤに転送する。

リセットトランジスタ３１３は、電源電圧Ｖ_DDの電源ラインとフローティングディフュージョンＦＤとの間に接続されている。リセットトランジスタ３１３のゲート電極には、高レベルがアクティブとなるリセット信号ＲＳＴが行選択部３３から与えられる。リセットトランジスタ３１３は、リセット信号ＲＳＴに応答してオン状態となり、フローティングディフュージョンＦＤの電荷を電源電圧Ｖ_DDのノードに捨てることによってフローティングディフュージョンＦＤをリセットする。

増幅トランジスタ３１４は、ゲート電極がフローティングディフュージョンＦＤに接続され、ドレイン電極が電源電圧Ｖ_DDの電源ラインに接続されている。増幅トランジスタ３１４は、フォトダイオード３１１での光電変換によって得られる信号を読み出すソースフォロワの入力部となる。増幅トランジスタ３１４は、ソース電極が選択トランジスタ３１５を介して垂直信号線ＶＬに接続される。そして、増幅トランジスタ３１４と、垂直信号線ＶＬの一端に接続される電流源Ｉとは、フローティングディフュージョンＦＤの電圧を垂直信号線ＶＬの電位に変換するソースフォロワを構成している。

選択トランジスタ３１５は、ドレイン電極が増幅トランジスタ３１４のソース電極に接続され、ソース電極が垂直信号線ＶＬに接続されている。選択トランジスタ３１５のゲート電極には、高レベルがアクティブとなる選択信号ＳＥＬが行選択部３３から与えられる。選択トランジスタ３１５は、選択信号ＳＥＬに応答してオン状態となることにより、画素３１を選択状態として増幅トランジスタ３１４から出力される信号を垂直信号線ＶＬに伝達する。

尚、ここでは、画素３１の画素回路として、転送トランジスタ３１２、リセットトランジスタ３１３、増幅トランジスタ３１４、及び、選択トランジスタ３１５から成る、即ち４つのトランジスタ（Ｔｒ）から成る４Ｔｒ構成を例に挙げたが、これに限られるものではない。例えば、選択トランジスタ３１５を省略し、増幅トランジスタ３１４に選択トランジスタ３１５の機能を持たせる３Ｔｒ構成とすることもできるし、必要に応じて、トランジスタの数を増やした５Ｔｒ以上の構成とすることもできる。

［測距センサの構成例］
次に、本実施形態に係る物体認識システムにおける測距センサ４の基本的な構成について説明する。測距センサ４は、例えば、認識対象の物体（被写体）に対して光を照射し、その照射光が被写体で反射されて戻ってまでの光の飛行時間を検出することにより、被写体までの距離を測定するＴｏＦ方式の測距装置（ＴｏＦセンサ）から成る。

（システム構成）
図１１は、本実施形態に係る物体認識システムにおけるＴｏＦ方式の測距センサの構成の一例を示すブロック図である。

本例に係る測距センサ４は、光源４１及び光検出部４２の他に、光検出部４２が出力する信号値に基づいて露光制御を行うＡＥ（Automatic Exposure：自動露光）制御部４３、及び、測距部４４を備えている。そして、本例に係る測距センサ４は、光検出部４２の画素毎に距離情報を検出し、高精度な距離画像（Ｄｅｐｔｈ Ｍａｐ：深度マップ）を撮像フレームの単位で取得することができる。

本例に係る測距センサ４は、間接（Indirect）ＴｏＦ方式の測距センサである。間接ＴｏＦ方式の測距センサ４は、光源４１から発した所定の周期のパルス光が測定対象物（被写体）で反射し、その反射光を光検出部４２が受光した際の周期を検出する。そして、発光の周期と受光の周期との位相差から光飛行時間を計測することで、測定対象物までの距離を測定する。

光源４１は、ＡＥ制御部４３による制御の下に、オン／オフ動作を所定の周期で繰り返すことによって測定対象物に向けて光を照射する。光源４１の照射光としては、例えば、８５０ｎｍ付近の近赤外光が利用されることが多い。光検出部４２は、光源４１からの照射光が測定対象物で反射されて戻ってくる光を受光し、画素毎に距離情報を検出する。光検出部４２からは、画素毎に検出した距離情報を含む現フレームのＲＡＷ画像データ、及び、発光・露光設定情報が出力され、ＡＥ制御部４３及び測距部４４に供給される。

ＡＥ制御部４３は、次フレーム発光・露光条件計算部４３１及び次フレーム発光・露光制御部４３２を有する構成となっている。次フレーム発光・露光条件計算部４３１は、光検出部４２から供給される現フレームのＲＡＷ画像データ、及び、発光・露光設定情報に基づいて、次フレームの発光・露光条件を計算する。次フレームの発光・露光条件は、次フレームの距離画像を取得する際の光源４１の発光時間や発光強度、及び、光検出部４２の露光時間である。次フレーム発光・露光制御部４３２は、次フレーム発光・露光条件計算部４３１で算出された次フレームの発光・露光条件に基づいて、次フレームの光源４１の発光時間や発光強度、及び、光検出部４２の露光時間を制御する。

測距部４４は、距離画像を計算する距離画像計算部４４１を有する構成となっている。距離画像計算部４４１は、光検出部４２の画素毎に検出した距離情報を含む現フレームのＲＡＷ画像データを用いて計算を行うことによって距離画像を算出し、被写体の奥行き情報である深度、及び、光検出部４２の受光情報である信頼値の各情報を含む距離画像情報として測距センサ４外へ出力する。ここで、距離画像とは、例えば、画素毎に検出した距離情報に基づく距離値（深度／奥行きの値）がそれぞれ画素に反映された画像である。

（光検出部の構成例）
ここで、光検出部４２の具体的な構成例について図１２を用いて説明する。図１２は、光検出部４２の構成の一例を示すブロック図である。

光検出部４２は、センサチップ４２１、及び、当該センサチップ４２１に対して積層された回路チップ４２２を含む積層チップ構造を有している。この積層チップ構造において、センサチップ４２１と回路チップ４２２とは、ビア（ＶＩＡ）やＣｕ－Ｃｕ接合などの接続部（図示せず）を通して電気的に接続される。尚、図１２では、センサチップ４２１の配線と回路チップ４２２の配線とが、上記の接続部を介して電気的に接続された状態を図示している。

センサチップ４２１上には、画素アレイ部４２３が形成されている。画素アレイ部４２３は、センサチップ４２１上に２次元のグリッドパターンで行列状（アレイ状）に配置された複数の画素４２４を含んでいる。画素アレイ部４２３において、複数の画素４２４はそれぞれ、入射光（例えば、近赤外光）を受光し、光電変換を行ってアナログ画素信号を出力する。画素アレイ部４２３には、画素列毎に、２本の垂直信号線ＶＳＬ₁，ＶＳＬ₂が配線されている。画素アレイ部４２３の画素列の数をＭ（Ｍは、整数）とすると、合計で（２×Ｍ）本の垂直信号線ＶＳＬが画素アレイ部４２３に配線されている。

複数の画素４２４はそれぞれ、第１のタップＡ及び第２のタップＢ（その詳細については後述する）を有している。２本の垂直信号線ＶＳＬ₁，ＶＳＬ₂のうち、垂直信号線ＶＳＬ₁には、対応する画素列の画素４２４の第１のタップＡの電荷に基づくアナログの画素信号ＡＩＮ_P1が出力される。また、垂直信号線ＶＳＬ₂には、対応する画素列の画素４２４の第２のタップＢの電荷に基づくアナログの画素信号ＡＩＮ_P2が出力される。アナログの画素信号ＡＩＮ_P1，ＡＩＮ_P2については後述する。

回路チップ４２２上には、行選択部４２５、カラム処理部４２６、出力回路部４２７、及び、タイミング制御部４２８が配置されている。行選択部４２５は、画素アレイ部４２３の各画素４２４を画素行の単位で駆動し、画素信号ＡＩＮ_P1，ＡＩＮ_P2を出力させる。行選択部４２５による駆動の下に、選択行の画素４２４から出力されたアナログの画素信号ＡＩＮ_P1，ＡＩＮ_P2は、２本の垂直信号線ＶＳＬ₁，ＶＳＬ₂を通してカラム処理部４２６に供給される。

カラム処理部４２６は、画素アレイ部４２３の画素列に対応して、例えば、画素列毎に設けられた複数のアナログ－デジタル変換器（ＡＤＣ）４２９を有する構成となっている。アナログ－デジタル変換器４２９は、垂直信号線ＶＳＬ₁，ＶＳＬ₂を通して供給されるアナログの画素信号ＡＩＮ_P1，ＡＩＮ_P2に対して、アナログ－デジタル変換処理を施し、出力回路部４２７に出力する。出力回路部４２７は、カラム処理部４２６から出力されるデジタル化された画素信号ＡＩＮ_P1，ＡＩＮ_P2に対してＣＤＳ（Correlated Double Sampling：相関二重サンプリング）処理などを実行し、回路チップ４２２外へ出力する。

タイミング制御部４２８は、各種のタイミング信号、クロック信号、及び、制御信号等を生成し、これらの信号を基に、行選択部４２５、カラム処理部４２６、及び、出力回路部４２７等の駆動制御を行う。

（画素の回路構成例）
図１３は、光検出部４２における画素４２４の回路構成の一例を示す回路図である。

本例に係る画素４２４は、光電変換素子として、例えば、フォトダイオード３４１を有している。画素４２４は、フォトダイオード３４１の他、オーバーフロートランジスタ３４２、２つの転送トランジスタ３４３，３４４、２つのリセットトランジスタ３４５，３４６、２つの浮遊拡散層３４７，３４８、２つの増幅トランジスタ３４９、３５０、及び、２つの選択トランジスタ３５１，３５２を有する構成となっている。２つの浮遊拡散層３４７，３４８は、先述した図３に示す第１，第２のタップＡ，Ｂ（以下、単に、「タップＡ，Ｂ」と記述する場合がある）に相当する。

フォトダイオード３４１は、受光した光を光電変換して電荷を生成する。フォトダイオード３４１については、例えば、基板裏面側から照射される光を取り込む裏面照射型の画素構造とすることができる。但し、画素構造については、裏面照射型の画素構造に限られるものではなく、基板表面側から照射される光を取り込む表面照射型の画素構造とすることもできる。

オーバーフロートランジスタ３４２は、フォトダイオード３４１のカソード電極と電源電圧Ｖ_DDの電源ラインとの間に接続されており、フォトダイオード３４１をリセットする機能を持つ。具体的には、オーバーフロートランジスタ３４２は、行選択部３５から供給されるオーバーフローゲート信号ＯＦＧに応答して導通状態になることで、フォトダイオード３４１の電荷をシーケンシャルに電源電圧Ｖ_DDの電源ラインに排出する。

２つの転送トランジスタ３４３，３４４は、フォトダイオード３４１のカソード電極と２つの浮遊拡散層３４７，３４８（タップＡ，Ｂ）のそれぞれとの間に接続されている。そして、転送トランジスタ３４３，３４４は、行選択部３５から供給される転送信号ＴＲＧに応答して導通状態になることで、フォトダイオード３４１で生成された電荷を、浮遊拡散層３４７，３４８にそれぞれシーケンシャルに転送する。

第１，第２のタップＡ，Ｂに相当する浮遊拡散層３４７，３４８は、フォトダイオード３４１から転送された電荷を蓄積し、その電荷量に応じた電圧値の電圧信号に変換し、アナログの画素信号ＡＩＮ_P1，ＡＩＮ_P2を生成する。

２つのリセットトランジスタ３４５，３４６は、２つの浮遊拡散層３４７，３４８のそれぞれと電源電圧Ｖ_DDの電源ラインとの間に接続されている。そして、リセットトランジスタ３４５，３４６は、行選択部３５から供給されるリセット信号ＲＳＴに応答して導通状態になることで、浮遊拡散層３４７，３４８のそれぞれから電荷を引き抜いて、電荷量を初期化する。

２つの増幅トランジスタ３４９、３５０は、電源電圧Ｖ_DDの電源ラインと２つの選択トランジスタ３５１，３５２のそれぞれとの間に接続されており、浮遊拡散層３４７，３４８のそれぞれで電荷から電圧に変換された電圧信号をそれぞれ増幅する。

２つの選択トランジスタ３５１，３５２は、２つの増幅トランジスタ３４９、３５０のそれぞれと垂直信号線ＶＳＬ₁，ＶＳＬ₂のそれぞれとの間に接続されている。そして、選択トランジスタ３５１，３５２は、行選択部３５から供給される選択信号ＳＥＬに応答して導通状態になることで、増幅トランジスタ３４９、３５０のそれぞれで増幅された電圧信号を、アナログの画素信号ＡＩＮ_P1，ＡＩＮ_P2として２本の垂直信号線ＶＳＬ₁，ＶＳＬ₂に出力する。

２本の垂直信号線ＶＳＬ₁，ＶＳＬ₂は、画素列毎に、カラム処理部４２６内の１つのアナログ－デジタル変換器４２９の入力端に接続されており、画素列毎に画素４２４から出力されるアナログの画素信号ＡＩＮ_P1，ＡＩＮ_P2をアナログ－デジタル変換器４２９に伝送する。

尚、画素４２４の回路構成については、光電変換によってアナログの画素信号ＡＩＮ_P1，ＡＩＮ_P2を生成することができる回路構成であれば、図１３に例示した回路構成に限定されるものではない。

ここで、ＴｏＦ方式による距離の算出について図１４を用いて説明する。図１４は、ＴｏＦ方式の測距センサ４における距離の算出について説明するためのタイミング波形図である。ＴｏＦ方式の測距センサ４における光源４１及び光検出部４２は、図１４のタイミング波形図に示すタイミングで動作する。

光源４１は、ＡＥ制御部４３による制御の下に、所定の期間、例えば、パルス発光時間Ｔ_pの期間だけ、測定対象物に対して光を照射する。光源４１から発せられた照射光は、測定対象物で反射されて戻ってくる。この反射光（active光）が、フォトダイオード３４１によって受光される。測定対象物への照射光の照射が開始されてから、フォトダイオード３４１が反射光を受光する時間、即ち、光飛行時間は、測距センサ４から測定対象物までの距離に応じた時間となる。

図１３において、フォトダイオード３４１は、照射光の照射が開始された時点から、パルス発光時間Ｔ_pの期間だけ、測定対象物からの反射光を受光する。このとき、フォトダイオード３４１が受光する光には、測定対象物に照射された光が、当該測定対象物で反射されて戻ってくる反射光（active光）の他に、物体や大気などで反射・散乱された環境光（ambient光）も含まれている。

１回の受光の際に、フォトダイオード３４１で光電変換された電荷が、タップＡ（浮遊拡散層３４７）に転送され、蓄積される。そして、タップＡから、浮遊拡散層３４７に蓄積した電荷量に応じた電圧値の信号ｎ₀が取得される。タップＡの蓄積タイミングが終了した時点で、フォトダイオード３４１で光電変換された電荷が、タップＢ（浮遊拡散層３４８）に転送され、蓄積される。そして、タップＢから、浮遊拡散層３４８に蓄積した電荷量に応じた電圧値の信号ｎ₁が取得される。

このように、タップＡ及びタップＢに対して、蓄積タイミングの位相を１８０度異ならせた駆動（位相を全く逆にした駆動）が行われることで、信号ｎ₀及び信号ｎ₁がそれぞれ取得される。そして、このような駆動が複数回繰り返され、信号ｎ₀及び信号ｎ₁の蓄積、積算が行われることで、蓄積信号Ｎ₀及び蓄積信号Ｎ₁がそれぞれ取得される。

例えば、１つの画素４２４について、１つのフェーズに２回受光が行われ、タップＡ及びタップＢに４回ずつ、即ち、０度、９０度、１８０度、２７０度の信号が蓄積される。このようにして取得した蓄積信号Ｎ₀及び蓄積信号Ｎ₁を基に、測距センサ４から測定対象物までの距離Ｄが算出される。

蓄積信号Ｎ₀及び蓄積信号Ｎ₁には、測定対象物で反射されて戻ってくる反射光（active光）の成分の他に、物体や大気などで反射・散乱された環境光（ambient光）の成分も含まれている。従って、上述した動作では、この環境光（ambient光）の成分の影響を除き、反射光（active光）の成分を残すため、環境光に基づく信号ｎ₂に関しても蓄積、積算が行われ、環境光成分についての蓄積信号Ｎ₂が取得される。

このようにして取得された、環境光成分を含む蓄積信号Ｎ₀及び蓄積信号Ｎ₁、並びに、環境光成分についての蓄積信号Ｎ₂を用いて、以下の式（１）及び式（２）に基づく演算処理により、測距センサ４から測定対象物までの距離Ｄを算出することができる。

式（１）及び式（２）において、Ｄは測距センサ４から測定対象物までの距離を表し、ｃは光速を表し、Ｔ_pはパルス発光時間を表している。

図１１に示した距離画像計算部４４１は、環境光成分を含む蓄積信号Ｎ₀及び蓄積信号Ｎ₁、並びに、環境光成分についての蓄積信号Ｎ₂を用いて、光検出部４２から出力される、上記した式（１）及び式（２）に基づく演算処理により、測距センサ４から測定対象物までの距離Ｄを算出し、距離画像情報として出力する。距離画像情報としては、例えば、距離Ｄに応じた濃度の色で色付けされた画像情報を例示することができる。尚、ここでは、算出した距離Ｄを距離画像情報として出力するとしたが、算出した距離Ｄをそのまま距離情報として出力するようにしてもよい。

以上、実施例１に係る物体認識システムにおけるイベント検出センサ２、画像センサ３、及び、測距センサ４の構成について、具体例を挙げて説明したが、この具体例については、後述する各実施例におけるイベント検出センサ、画像センサ、及び、測距センサの構成についても同様である。

また、実施例１に係る物体認識システムでは、イベント検出センサ２の他に、画像センサ３及び測距センサ４を共に備える構成としたが、この構成に限られるものではなく、画像センサ３及び測距センサ４のいずれか一方を備える構成であってもよい。すなわち、イベント検出センサ２の他に、画像センサ３及び測距センサ４の少なくとも一方（画像センサ３及び又は測距センサ４）備える構成であってもよい。この点については、後述する各実施例においても同様である。

［実施例１に係る物体認識システムにおける認識処理例］
続いて、実施例１に係る物体認識システムにおいて、スパイキングニューラルネットワーク１による制御の下に実行される認識処理の一例の流れについて、図１５のフローチャートを用いて説明する。

スパイキングニューラルネットワーク１は、動作状態にあるイベント検出センサ２から出力されるイベント情報（例えば、Ｘ-Ｙアドレス情報）を取得し（ステップＳ１１）、次いで、取得したイベント情報を処理し（ステップＳ１２）、次いで、イベント情報の処理結果を基に、認識対象の物体の動き検出を行う（ステップＳ１３）。

次に、スパイキングニューラルネットワーク１は、システム制御部５を通して、画像センサ３及び／又は測距センサ４を起動し（ステップＳ１４）、次いで、画像センサ３から出力される画像情報、及び／又は、測距センサ４から出力される深度情報等の三次元画像情報を取得する（ステップＳ１５）。次に、スパイキングニューラルネットワーク１は、画像センサ３から取得した画像情報、及び／又は、測距センサ４から取得した三次元画像情報に基づいて、認識対象の物体の認識処理を行う（ステップＳ１６）。

≪実施例２≫
実施例２は、実施例１の変形例であり、イベント検出センサ、画像センサ、及び、測距センサに対してスパイキングニューラルネットワークを２つ設ける例である。実施例２に係る物体認識システムのシステム構成の一例を図１６に示す。

［システム構成］
図１６に示すように、実施例２に係る物体認識システムは、イベント検出センサ２、画像センサ３、及び、測距センサ４の３つのセンサに対して、スパイキングニューラルネットワークが２つ、即ち、第１のスパイキングニューラルネットワーク１Ａ及び第２のスパイキングニューラルネットワーク１Ｂが設けられた構成となっている。

第１のスパイキングニューラルネットワーク１Ａは、イベント検出センサ２から出力されるイベント情報に基づいて認識処理を行う。第２のスパイキングニューラルネットワーク１Ｂは、画像センサ３から出力される画像情報、及び／又は、測距センサ４から出力される深度情報等の三次元画像情報に基づいて認識処理を行う。

このように、イベント検出センサ２からのイベント情報を基に認識処理を行う第１のスパイキングニューラルネットワーク１Ａと、画像センサ３からの画像情報、及び／又は、測距センサ４からの三次元画像情報を基に認識処理を行う第２のスパイキングニューラルネットワーク１Ｂとを分けて設けることで、第２のスパイキングニューラルネットワーク１Ｂがデジタル処理対応であるのに対して、第１のスパイキングニューラルネットワーク１Ａをアナログ処理対応とすることができる。

すなわち、実施例１に係る物体認識システムの場合には、イベント検出センサ２から出力されるイベント情報がデジタル情報である制約があるが、実施例２に係る物体認識システムの場合には、その制約が無く、イベント検出センサ２から出力されるイベント情報をデジタル情報とすることもできるし、アナログ情報とすることもできる。

［実施例２に係る物体認識システムにおける認識処理例］
続いて、実施例２に係る物体認識システムにおいて、第１のスパイキングニューラルネットワーク１Ａ及び第２のスパイキングニューラルネットワーク１Ｂによる制御の下に実行される認識処理の一例の流れについて、図１７のフローチャートを用いて説明する。

第１のスパイキングニューラルネットワーク１Ａは、動作状態にあるイベント検出センサ２から出力されるイベント情報（例えば、Ｘ-Ｙアドレス情報）を取得し（ステップＳ２１）、次いで、取得したイベント情報を処理し（ステップＳ２２）、次いで、イベント情報の処理結果を基に、有意なイベント情報を認識し（ステップＳ２３）、次いで、第１のスパイキングニューラルネットワーク１Ａは、システム制御部５を通して、画像センサ３及び／又は測距センサ４を起動する（ステップＳ２４）。

次に、第２のスパイキングニューラルネットワーク１Ｂは、画像センサ３から出力される画像情報、及び／又は、測距センサ４から出力される深度情報等の三次元画像情報を取得し（ステップＳ２５）、次いで、画像センサ３から取得した画像情報、及び／又は、測距センサ４から取得した三次元画像情報に基づいて、認識対象の物体の認識処理を行う（ステップＳ２６）。

≪実施例３≫
実施例３は、実施例１の変形例であり、イベント検出センサ、画像センサ、及び、測距センサのそれぞれにスパイキングニューラルネットワークを設ける例である。実施例３に係る物体認識システムのシステム構成の一例を図１８に示す。

［システム構成］
図１８に示すように、実施例３に係る物体認識システムは、イベント検出センサ２、画像センサ３、及び、測距センサ４のそれぞれに個別に、第１のスパイキングニューラルネットワーク１Ａ、第２のスパイキングニューラルネットワーク１Ｂ、及び、第３のスパイキングニューラルネットワーク１Ｃが設けられた構成となっている。

第１のスパイキングニューラルネットワーク１Ａは、イベント検出センサ２から出力されるイベント情報に基づいて認識処理を行う。第２のスパイキングニューラルネットワーク１Ｂは、画像センサ３から出力される画像情報に基づいて認識処理を行う。第３のスパイキングニューラルネットワーク１Ｃは、測距センサ４から出力される深度情報等の三次元画像情報に基づいて認識処理を行う。

このように、イベント検出センサ２、画像センサ３、及び、測距センサ４のそれぞれに個別に、第１のスパイキングニューラルネットワーク１Ａ、第２のスパイキングニューラルネットワーク１Ｂ、及び、第３のスパイキングニューラルネットワーク１Ｃを設けることで、各ネットワーク（１Ａ，１Ｂ，１Ｃ）の構成を、イベント検出センサ２からのイベント情報の処理、画像センサ３からの画像情報の処理、測距センサ４からの三次元画像情報の処理のそれぞれの処理に最適な構成にすることができる。

また、実施例２に係る物体認識システムの場合と同様に、イベント検出センサ２から出力されるイベント情報がデジタル情報である制約がないため、当該イベント情報をデジタル情報とすることもできるし、アナログ情報とすることもできる。

［実施例３に係る物体認識システムにおける認識処理例］
続いて、実施例３に係る物体認識システムにおいて、第１のスパイキングニューラルネットワーク１Ａ、第２のスパイキングニューラルネットワーク１Ｂ、及び、第３のスパイキングニューラルネットワーク１Ｃによる制御の下に実行される認識処理の一例の流れについて、図１９のフローチャートを用いて説明する。

第１のスパイキングニューラルネットワーク１Ａは、動作状態にあるイベント検出センサ２から出力されるイベント情報（例えば、Ｘ-Ｙアドレス情報）を取得し（ステップＳ３１）、次いで、取得したイベント情報を処理し（ステップＳ３２）、次いで、イベント情報の処理結果を基に、有意なイベント情報を認識する（ステップＳ３３）。

次に、第１のスパイキングニューラルネットワーク１Ａは、システム制御部５を通して、画像センサ３及び／又は測距センサ４を起動する（ステップＳ３４）。次に、第２のスパイキングニューラルネットワーク１Ｂ、及び／又は、第３のスパイキングニューラルネットワーク１Ｃは、画像センサ３から出力される画像情報、及び／又は、測距センサ４から出力される深度情報等の三次元画像情報を取得し（ステップＳ３５）、次いで、画像センサ３から取得した画像情報、及び／又は、測距センサ４から取得した三次元画像情報に基づいて、認識対象の物体の認識処理を行う（ステップＳ３６）。

≪実施例４≫
実施例４は、スパイキングニューラルネットワークの他に、畳み込みニューラルネットワークを用いる例である。畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Networks）は、何段もの深い層を持つニューラルネットワークであり、特に、画像認識の分野で優れた性能を発揮するネットワークである。実施例４に係る物体認識システムのシステム構成の一例を図２０に示す。

［システム構成］
図２０に示すように、実施例４に係る物体認識システムは、認識処理を行うニューラルネットワークとして、スパイキングニューラルネットワーク１の他に、畳み込みニューラルネットワーク７が設けられた構成となっている。

スパイキングニューラルネットワーク１は、イベント検出センサ２から出力されるイベント情報に基づいて認識処理を行い、畳み込みニューラルネットワーク７は、画像センサ３から出力される画像情報、及び／又は、測距センサ４から出力される深度情報等の三次元画像情報に基づいて認識処理を行う。

このように、画像センサ３からの画像情報、及び／又は、測距センサ４からの三次元画像情報に基づく認識処理を、畳み込みニューラルネットワーク７を用いて行う実施例４に係る物体認識システムにおいても、スパイキングニューラルネットワーク１Ｂを用いて行う実施例２に係る物体認識システムと同様の作用、効果を得ることができる。

［実施例４に係る物体認識システムにおける認識処理例］
続いて、実施例４に係る物体認識システムにおいて、スパイキングニューラルネットワーク１及び畳み込みニューラルネットワーク７による制御の下に実行される認識処理の一例の流れについて、図２１のフローチャートを用いて説明する。

スパイキングニューラルネットワーク１は、動作状態にあるイベント検出センサ２から出力されるイベント情報（例えば、Ｘ-Ｙアドレス情報）を取得し（ステップＳ４１）、次いで、取得したイベント情報を処理し（ステップＳ４２）、次いで、イベント情報の処理結果を基に、有意なイベント情報を認識する（ステップＳ４３）。

次に、スパイキングニューラルネットワーク１は、システム制御部５を通して、画像センサ３及び／又は測距センサ４を起動する（ステップＳ４４）。次に、畳み込みニューラルネットワーク７は、画像センサ３から出力される画像情報、及び／又は、測距センサ４から出力される深度情報等の三次元画像情報を取得し（ステップＳ４５）、次いで、画像センサ３から取得した画像情報、及び／又は、測距センサ４から取得した三次元画像情報に基づいて、認識対象の物体の認識処理を行う（ステップＳ４６）。

≪実施例５≫
実施例５は、実施例４の変形例であり、イベント検出センサ２の閾値（イベント検出閾値）を制御する例である。図２２は、実施例５に係るイベント検出センサ２の閾値制御の一例の流れを示すフローチャートである。

スパイキングニューラルネットワーク１は、動作状態にあるイベント検出センサ２から出力されるイベント情報（例えば、Ｘ-Ｙアドレス情報）を取得し（ステップＳ５１）、次いで、取得したイベント情報を処理し（ステップＳ５２）、次いで、イベント情報の処理結果を基に、有意なイベント情報を見つけたか否かを判断する（ステップＳ５３）。

スパイキングニューラルネットワーク１は、有意なイベント情報が見つからない場合は（Ｓ５３のＮＯ）、ステップＳ５１に戻り、有意なイベント情報を見つけた場合は（Ｓ５３のＹＥＳ）、有意なイベント情報を出力した画素の周囲のイベント数が所定の閾値よりも少ないか否かを判断する（ステップＳ５４）。

スパイキングニューラルネットワーク１は、有意なイベント情報を出力した画素の周囲のイベント数が所定の閾値よりも少ないと判断した場合は（Ｓ５４のＹＥＳ）、システム制御部５を通して、イベント検出センサ２のイベント検出閾値を下げる制御を行い（ステップＳ５５）、しかる後、ステップＳ５４に戻る。

スパイキングニューラルネットワーク１は、有意なイベント情報を出力した画素の周囲のイベント数が所定の閾値よりも少なくないと判断した場合は（Ｓ５４のＮＯ）、続いて、有意なイベント情報を出力した画素の周囲のイベント数が所定の閾値よりも多いか否かを判断し（ステップＳ５６）、所定の閾値よりも多いと判断した場合は（Ｓ５６のＹＥＳ）、システム制御部５を通して、イベント検出センサ２のイベント検出閾値を上げる制御を行い（ステップＳ５７）、しかる後、ステップＳ５６に戻る。次に、スパイキングニューラルネットワーク１は、システム制御部５を通して、画像センサ３及び／又は測距センサ４を起動する（ステップＳ５８）。

次に、畳み込みニューラルネットワーク７は、画像センサ３から出力される画像情報、及び／又は、測距センサ４から出力される三次元画像情報を取得し（ステップＳ５９）、次いで、画像センサ３から取得した画像情報、及び／又は、測距センサ４から取得した三次元画像情報に基づいて、認識対象の物体の認識処理を行う（ステップＳ６０）。

尚、上述した実施例５に係るイベント検出閾値の制御例については、畳み込みニューラルネットワーク７を用いる実施例４に係る物体認識システムの制御例として説明したが、畳み込みニューラルネットワーク７に代えて第２のスパイキングニューラルネットワーク１Ｂを用いる実施例２に係る物体認識システムの制御例とすることもできる。この場合は、ステップＳ５９及びステップＳ６０の各処理は、第２のスパイキングニューラルネットワーク１Ｂによる処理となる。

≪実施例６≫
実施例６は、実施例４の変形例であり、イベント検出センサ２の特定の領域のイベントレートを制御する例である。図２３は、実施例６に係るイベント検出センサ２の閾値制御の一例の流れを示すフローチャートである。

スパイキングニューラルネットワーク１は、動作状態にあるイベント検出センサ２から出力されるイベント情報（例えば、Ｘ-Ｙアドレス情報）を取得し（ステップＳ６１）、次いで、取得したイベント情報を処理し（ステップＳ６２）、次いで、イベント情報の処理結果を基に、有意なイベント情報を見つけたか否かを判断する（ステップＳ６３）。

スパイキングニューラルネットワーク１は、有意なイベント情報が見つからない場合は（Ｓ６３のＮＯ）、ステップＳ６１に戻り、有意なイベント情報を見つけた場合は（Ｓ６３のＹＥＳ）、有意なイベント情報を出力した画素群の領域（特定の領域）を、関心領域（ＲＯＩ：Region Of Interest）として設定する（ステップＳ６４）。

次に、スパイキングニューラルネットワーク１は、システム制御部５を通して、ＲＯＩの部分のイベントレート（イベント検出頻度）を上げることで感度を向上させ（ステップＳ６５）、次いで、システム制御部５を通して、画像センサ３及び／又は測距センサ４を起動する（ステップＳ６６）。

次に、畳み込みニューラルネットワーク７は、画像センサ３から出力される画像情報、及び／又は、測距センサ４から出力される三次元画像情報を取得し（ステップＳ６７）、次いで、画像センサ３から取得した画像情報、及び／又は、測距センサ４から取得した三次元画像情報に基づいて、認識対象の物体の認識処理を行う（ステップＳ６８）。

尚、上述した実施例６に係るイベントレートの制御例については、畳み込みニューラルネットワーク７を用いる実施例４に係る物体認識システムの制御例として説明したが、畳み込みニューラルネットワーク７に代えて第２のスパイキングニューラルネットワーク１Ｂを用いる実施例２に係る物体認識システムの制御例とすることもできる。この場合は、ステップＳ６７及びステップＳ６８の各処理は、第２のスパイキングニューラルネットワーク１Ｂによる処理となる。

また、上述した実施例６に係るイベントレートの制御例では、イベント検出センサ２が非同期型の撮像装置から成る場合を想定したが、同期型（スキャン型）の撮像装置から成る場合は、ステップＳ６５の処理において、特定の領域（ＲＯＩ）のスキャンレートを上げることで、感度を向上させることができる。

≪実施例７≫
実施例７は、実施例４の変形例であり、イベント検出センサ２の特定の領域のイベントレート、並びに、画像センサ３及び／又は測距センサ４のフレームレートを制御する例である。図２４は、実施例６に係るイベント検出センサ２の閾値制御の一例の流れを示すフローチャートである。

スパイキングニューラルネットワーク１は、動作状態にあるイベント検出センサ２から出力されるイベント情報（例えば、Ｘ-Ｙアドレス情報）を取得し（ステップＳ７１）、次いで、取得したイベント情報を処理し（ステップＳ７２）、次いで、イベント情報の処理結果を基に、有意なイベント情報を見つけたか否かを判断する（ステップＳ７３）。

スパイキングニューラルネットワーク１は、有意なイベント情報が見つからない場合は（Ｓ７３のＮＯ）、ステップＳ７１に戻り、有意なイベント情報を見つけた場合は（Ｓ７３のＹＥＳ）、有意なイベント情報を出力した画素群の領域（特定の領域）を、関心領域（ＲＯＩ）として設定する（ステップＳ７４）。

次に、スパイキングニューラルネットワーク１は、システム制御部５を通して、ＲＯＩの部分のイベントレート（イベント検出頻度）を上げることで感度を向上させ（ステップＳ７５）、次いで、システム制御部５を通して、画像センサ３及び／又は測距センサ４を起動し（ステップＳ７６）、次いで、画像センサ３及び／又は測距センサ４のフレームレートを上げる（ステップＳ７７）。

次に、畳み込みニューラルネットワーク７は、画像センサ３から出力される画像情報、及び／又は、測距センサ４から出力される三次元画像情報を取得し（ステップＳ７８）、次いで、画像センサ３から取得した画像情報、及び／又は、測距センサ４から取得した三次元画像情報に基づいて、認識対象の物体の認識処理を行う（ステップＳ７９）。

尚、上述した実施例６に係るイベントレートの制御例については、畳み込みニューラルネットワーク７を用いる実施例４に係る物体認識システムの制御例として説明したが、畳み込みニューラルネットワーク７に代えて第２のスパイキングニューラルネットワーク１Ｂを用いる実施例２に係る物体認識システムの制御例とすることもできる。この場合は、ステップＳ７８及びステップＳ７９の各処理は、第２のスパイキングニューラルネットワーク１Ｂによる処理となる。

また、上述した実施例６に係るイベントレートの制御例では、イベント検出センサ２が非同期型の撮像装置から成る場合を想定したが、同期型（スキャン型）の撮像装置から成る場合は、ステップＳ６５の処理において、特定の領域（ＲＯＩ）のスキャンレートを上げることで、感度を向上させることができる。

≪実施例８≫
実施例８は、測距センサ４等で用いられる光源を制御する例である。実施例８に係る物体認識システムのシステム構成の一例を図２５に示す。

［システム構成］
図２５に示すように、実施例８に係る物体認識システムは、光源８を備え、スパイキングニューラルネットワーク１による制御の下に、システム制御部５を通して光源８を制御する構成となっている。光源８は、例えば、ＴｏＦ方式の測距センサ４で用いられる光源４１（図１１参照）に相当する。

スパイキングニューラルネットワーク１は、例えば、イベント検出センサ２からのイベント情報を受け、被写体を検知したとき、画像センサ３及び／又は測距センサ４によって被写体の特定の領域の情報を取得すべく、当該特定の領域を照射するように光源８を制御する。一例として、被写体が人間の顔のとき、例えば顔認証のために、スパイキングニューラルネットワーク１は、顔の部分を照射するように光源８を制御する。

［実施例８に係る物体認識システムにおける認識処理例］
続いて、実施例８に係る物体認識システムにおいて、スパイキングニューラルネットワーク１及び畳み込みニューラルネットワーク７による制御の下に実行される認識処理の一例の流れについて、図２６のフローチャートを用いて説明する。

スパイキングニューラルネットワーク１は、動作状態にあるイベント検出センサ２から出力されるイベント情報（例えば、Ｘ-Ｙアドレス情報）を取得し（ステップＳ８１）、次いで、取得したイベント情報を処理し（ステップＳ８２）、次いで、イベント情報の処理結果を基に、有意なイベント情報を見つけたか否かを判断する（ステップＳ８３）。

スパイキングニューラルネットワーク１は、有意なイベント情報が見つからない場合は（Ｓ８３のＮＯ）、ステップＳ８１に戻り、有意なイベント情報を見つけた場合は（Ｓ８３のＹＥＳ）、有意なイベント情報を出力した画素群の領域（特定の領域）を、関心領域（ＲＯＩ）として設定する（ステップＳ８４）。

次に、スパイキングニューラルネットワーク１は、システム制御部５を通して、ＲＯＩの部分のイベントレート（イベント検出頻度）を上げることで感度を向上させる（ステップＳ８５）。次に、スパイキングニューラルネットワーク１は、ＲＯＩの部分に光を集中的に照射するように、システム制御部５を通して光源８を制御し（ステップＳ８６）、次いで、システム制御部５を通して、画像センサ３及び／又は測距センサ４を起動する（ステップＳ８７）。

次に、畳み込みニューラルネットワーク７は、画像センサ３から出力される画像情報、及び／又は、測距センサ４から出力される三次元画像情報を取得し（ステップＳ８８）、次いで、画像センサ３から取得した画像情報、及び／又は、測距センサ４から取得した三次元画像情報に基づいて、認識対象の物体の認識処理を行う（ステップＳ８９）。

尚、上記の実施例８に係る物体認識システムでは、実施例４に係る物体認識システムと同様に、畳み込みニューラルネットワーク７を用いる構成となっているが、実施例２に係る物体認識システムと同様に、スパイキングニューラルネットワーク１Ｂとすることもできる。この場合は、図２６に示す制御例において、ステップＳ８８及びステップＳ８９の各処理は、スパイキングニューラルネットワーク１Ｂによる処理となる。

≪実施例９≫
実施例９は、イベント検出センサ２において、画素アレイ部２２内にＯＮ画素とＯＦＦ画素とが混在する場合の画素配置例である。ここで、「ＯＮ画素」は、図６に示す回路構成例３に係る画素２１、即ち、オンイベントのみを検出する機能を有する第１の画素である。また、「ＯＦＦ画素」は、図７に示す回路構成例４に係る画素２１、即ち、オフイベントのみを検出する機能を有する第２の画素である。

実施例９に係るＯＮ画素及びＯＦＦ画素の画素配置例（その１）を図２７Ａ及び図２７Ｂに示し、画素配置例（その２）を図２８Ａ、図２８Ｂに示す。ここでは、図面の簡略化のために、Ｘ方向（行方向／水平方向）４画素×Ｙ方向（列方向／垂直方向）４画素の計１６画素分の画素配置（画素配列）を図示している。

図２７Ａに示す画素配置は、Ｘ方向及びＹ方向共に、ＯＮ画素とＯＦＦ画素とが交互に配置された構成となっている。図２７Ｂに示す画素配置は、Ｘ方向２画素×Ｙ方向２画素の計４画素をブロック（単位）とし、Ｘ方向及びＹ方向共に、ＯＮ画素のブロックとＯＦＦ画素のブロックとが交互に配置された構成となっている。

図２８Ａに示す画素配置は、計１６画素のうち、真ん中の４画素をＯＦＦ画素とし、その周りの１２画素をＯＮ画素とした配置構成となっている。図２８Ｂに示す画素配置は、計１６画素の画素配置において、奇数列及び偶数行の各画素をＯＮ画素とし、残りの画素をＯＦＦ画素とした配置構成となっている。

尚、ここで例示したＯＮ画素及びＯＦＦ画素の画素配置は一例であって、これらの画素配置に限られるものではない。

≪実施例１０≫
実施例１０は、イベント検出センサ２の一例であるＤＶＳセンサ、画像センサ３の一例であるＲＧＢセンサ、及び、測距センサ４の一例であるＴｏＦセンサが混在する場合のセンサ配置例である。

ＤＶＳセンサ及びＴｏＦセンサが混在する場合のセンサ配置例を図２９Ａに示し、ＤＶＳセンサ及びＲＧＢセンサが混在する場合のセンサ配置例を図２９Ｂに示す。ここでは、図面の簡略化のために、Ｘ方向４センサ×Ｙ方向４センサの計１６センサ分のセンサ配置を図示している。

図２９Ａに示すセンサ配置は、計１６分のセンサ領域を４等分し、４センサ分の領域を単位としてＤＶＳセンサを市松模様に配置し、残りの４センサ分の領域に、１センサ分の領域を単位としてＴｏＦセンサを配置した構成となっている。

図２９Ｂに示すセンサ配置は、計１６分のセンサ領域を４等分し、４センサ分の領域を単位としてＤＶＳセンサを市松模様に配置し、残りの４センサ分の領域にＲＧＢセンサを配置した構成となっている。ＲＧＢセンサについては、１センサ分の領域を単位として、Ｇ（緑色）フィルタを市松模様に配置し、残りの２センサ分の領域にＲ（赤色）フィルタ及びＢ（青色）フィルタを配置した構成となっている。

＜変形例＞
以上、本開示の技術について、好ましい実施形態に基づき説明したが、本開示の技術は当該実施形態に限定されるものではない。上記の各実施形態において説明した測距装置の構成、構造は例示であり、適宜、変更することができる。

＜本開示の電子機器＞
以上説明した本開示の物体認識システムは、例えば、顔認証機能を備える種々の電子機器に搭載される顔認証システム（三次元画像取得システム）として用いることができる。顔認証機能を備える電子機器としては、例えば、スマートフォン、タブレット、パーソナルコンピュータ等のモバイル機器を例示することができる。

但し、本開示の物体認識システムを用いることができる電子機器としては、上記のモバイル機器に限定されるものではなく、物体を認識する機能を備える種々の装置に用いることができる。モバイル機器以外としては、一例として、車両の運転者を見守り、運転者の居眠りや脇見運転等を防止する目的で車内に装備されるドライバーモニタに適用することができる。以下に、本開示の物体認識システムを用いる電子機器としてスマートフォンを例示する。

［スマートフォンの例］
本開示の電子機器の一例に係るスマートフォンについて、正面側から見た外観図を図３０に示す。本例に係るスマートフォン１００は、筐体１１０の正面側に表示部１２０を備えている。このスマートフォン１００に対して、先述した本開示の実施形態に係る物体認識システムを搭載して用いることができる。

具体的には、筐体１１０の内部に、スパイキングニューラルネットワーク１、システム制御部５、及び、アプリケーションプロセッサ６を収納し、例えば、表示部１２０の上方に、イベント検出センサ２、画像センサ３、及び、測距センサ４を配置するようにする。但し、イベント検出センサ２、画像センサ３、及び、測距センサ４の配置例は、一例であって、この配置例に限られるものではない。

上述したように、本例に係るスマートフォン１００は、本開示の実施形態に係る物体認識システムを搭載することによって作製される。そして、本例に係るに係るスマートフォン１００は、より高速に認識処理を行うことができる、本開示の実施形態に係る物体認識システムを搭載することにより、高速に認識処理を行うことが可能な顔認証機能を備えることができる。

＜本開示がとることができる構成＞
尚、本開示は、以下のような構成をとることもできる。

≪Ａ．物体認識システム≫
［Ａ－１］画素の輝度変化が所定の閾値を超えたことをイベントとして検出するイベント検出センサ、及び、
スパイキングニューラルネットワーク、
を備え、
スパイキングニューラルネットワークは、イベント検出センサの検出結果に基づいて、認識対象の物体の認識処理を実行する、
物体認識システム。
［Ａ－２］イベント検出センサは、非同期型の撮像装置から成る、
上記［Ａ－１］に記載の物体認識システム。
［Ａ－３］認識対象の物体の画像情報を取得する画像センサ、及び、認識対象の物体の三次元画像情報を取得する測距センサの少なくとも一方のセンサを有する、
上記［Ａ－１］又は上記［Ａ－２］に記載の物体認識システム。
［Ａ－４］画像センサは、所定のフレームレートで撮像を行う同期型の撮像装置から成る、
上記［Ａ－３］に記載の物体認識システム。
［Ａ－５］測距センサは、認識対象の物体に対して光を照射し、その照射光が認識対象の物体で反射されて戻ってまでの光の飛行時間を検出するＴｏＦ方式の測距装置から成る、
上記［Ａ－３］に記載の物体認識システム。
［Ａ－６］スパイキングニューラルネットワークは、
イベント検出センサから出力されるイベント情報に基づいて認識処理を行う第１のスパイキングニューラルネットワーク、並びに、
画像センサから出力される画像情報、及び、測距センサから出力される三次元画像情報の少なくとも一方の情報に基づいて認識処理を行う第２のスパイキングニューラルネットワーク、
から成る、
上記［Ａ－３］に記載の物体認識システム。
［Ａ－７］スパイキングニューラルネットワークは、
イベント検出センサから出力されるイベント情報に基づいて認識処理を行う第１のスパイキングニューラルネットワーク、
画像センサから出力される画像情報に基づいて認識処理を行う第２のスパイキングニューラルネットワーク、及び、
測距センサから出力される三次元画像情報に基づいて認識処理を行う第３のスパイキングニューラルネットワーク、
から成る、
上記［Ａ－３］に記載の物体認識システム。
［Ａ－８］画像センサから出力される画像情報、及び、測距センサから出力される三次元画像情報の少なくとも一方の情報に基づいて認識処理を行う畳み込みニューラルネットワークを有する、
上記［Ａ－３］に記載の物体認識システム。
［Ａ－９］イベント検出センサにおいて、有意なイベント情報を出力した画素の周囲のイベント数に応じて、イベント検出センサのイベント検出閾値を制御する、
上記［Ａ－１］乃至上記［Ａ－９］のいずれかに記載の物体認識システム。
［Ａ－１０］イベント検出センサにおいて、有意なイベント情報を出力した画素群を関心領域として設定し、関心領域の部分のイベントレートを上げる、
請求項１乃至請求項９のいずれか１項に記載の物体認識システム。
［Ａ－１１］イベント検出センサにおいて、有意なイベント情報を出力した画素群を関心領域として設定し、関心領域の部分のイベントレートを上げるとともに、
画像センサ及び測距センサの少なくとも一方のフレームレートを上げる、
上記［Ａ－１］乃至上記［Ａ－９］のいずれかに記載の物体認識システム。
［Ａ－１２］認識対象の物体に光を照射する光源を有し、
イベント検出センサにおいて、有意なイベント情報を出力した画素群を関心領域として設定し、関心領域の部分のイベントレートを上げるとともに、
関心領域の部分に光を照射するように光源を制御する、
上記［Ａ－１］乃至上記［Ａ－９］のいずれかに記載の物体認識システム。

≪Ｂ．電子機器≫
［Ｂ－１］画素の輝度変化が所定の閾値を超えたことをイベントとして検出するイベント検出センサ、及び、
スパイキングニューラルネットワーク、
を備え、
スパイキングニューラルネットワークは、イベント検出センサの検出結果に基づいて、認識対象の物体の認識処理を実行する、
物体認識システムを有する電子機器。
［Ｂ－２］イベント検出センサは、非同期型の撮像装置から成る、
上記［Ｂ－１］に記載の電子機器。
［Ｂ－３］認識対象の物体の画像情報を取得する画像センサ、及び、認識対象の物体の三次元画像情報を取得する測距センサの少なくとも一方のセンサを有する、
上記［Ｂ－１］又は上記［Ｂ－２］に記載の電子機器。
［Ｂ－４］画像センサは、所定のフレームレートで撮像を行う同期型の撮像装置から成る、
上記［Ｂ－３］に記載の電子機器。
［Ｂ－５］測距センサは、認識対象の物体に対して光を照射し、その照射光が認識対象の物体で反射されて戻ってまでの光の飛行時間を検出するＴｏＦ方式の測距装置から成る、
上記［Ｂ－３］に記載の電子機器。
［Ｂ－６］スパイキングニューラルネットワークは、
イベント検出センサから出力されるイベント情報に基づいて認識処理を行う第１のスパイキングニューラルネットワーク、並びに、
画像センサから出力される画像情報、及び、測距センサから出力される三次元画像情報の少なくとも一方の情報に基づいて認識処理を行う第２のスパイキングニューラルネットワーク、
から成る、
上記［Ｂ－３］に記載の電子機器。
［Ｂ－７］スパイキングニューラルネットワークは、
イベント検出センサから出力されるイベント情報に基づいて認識処理を行う第１のスパイキングニューラルネットワーク、
画像センサから出力される画像情報に基づいて認識処理を行う第２のスパイキングニューラルネットワーク、及び、
測距センサから出力される三次元画像情報に基づいて認識処理を行う第３のスパイキングニューラルネットワーク、
から成る、
上記［Ｂ－３］に記載の電子機器。
［Ｂ－８］画像センサから出力される画像情報、及び、測距センサから出力される三次元画像情報の少なくとも一方の情報に基づいて認識処理を行う畳み込みニューラルネットワークを有する、
上記［Ｂ－３］に記載の電子機器。
［Ｂ－９］イベント検出センサにおいて、有意なイベント情報を出力した画素の周囲のイベント数に応じて、イベント検出センサのイベント検出閾値を制御する、
上記［Ｂ－１］乃至上記［Ｂ－９］のいずれかに記載の電子機器。
［Ｂ－１０］イベント検出センサにおいて、有意なイベント情報を出力した画素群を関心領域として設定し、関心領域の部分のイベントレートを上げる、
請求項１乃至請求項９のいずれか１項に記載の電子機器。
［Ｂ－１１］イベント検出センサにおいて、有意なイベント情報を出力した画素群を関心領域として設定し、関心領域の部分のイベントレートを上げるとともに、
画像センサ及び測距センサの少なくとも一方のフレームレートを上げる、
上記［Ｂ－１］乃至上記［Ｂ－９］のいずれかに記載の電子機器。
［Ｂ－１２］認識対象の物体に光を照射する光源を有し、
イベント検出センサにおいて、有意なイベント情報を出力した画素群を関心領域として設定し、関心領域の部分のイベントレートを上げるとともに、
関心領域の部分に光を照射するように光源を制御する、
上記［Ｂ－１］乃至上記［Ｂ－９］のいずれかに記載の電子機器。

１（１Ａ，１Ｂ，１Ｃ）・・・スパイキングニューラルネットワーク（ＳＮＮ）、２・・・イベント検出センサ（ＤＶＳ）、３・・・画像センサ（ＲＧＢセンサ）、４・・・測距センサ（ＴｏＦセンサ）、５・・・システム制御部、６・・・アプリケーションプロセッサ、７・・・畳み込みニューラルネットワーク（ＣＮＮ）、８・・・光源

Claims (13)

1. 画素の輝度変化が所定の閾値を超えたことをイベントとして検出するイベント検出センサ、及び、
   スパイキングニューラルネットワーク、
   を備え、
   スパイキングニューラルネットワークは、イベント検出センサの検出結果に基づいて、認識対象の物体の認識処理を実行する、
   物体認識システム。
2. イベント検出センサは、非同期型の撮像装置から成る、
   請求項１に記載の物体認識システム。
3. 認識対象の物体の画像情報を取得する画像センサ、及び、認識対象の物体の三次元画像情報を取得する測距センサの少なくとも一方のセンサを有する、
   請求項１に記載の物体認識システム。
4. 画像センサは、所定のフレームレートで撮像を行う同期型の撮像装置から成る、
   請求項３に記載の物体認識システム。
5. 測距センサは、認識対象の物体に対して光を照射し、その照射光が認識対象の物体で反射されて戻ってまでの光の飛行時間を検出するＴｏＦ方式の測距装置から成る、
   請求項３に記載の物体認識システム。
6. スパイキングニューラルネットワークは、
   イベント検出センサから出力されるイベント情報に基づいて認識処理を行う第１のスパイキングニューラルネットワーク、並びに、
   画像センサから出力される画像情報、及び、測距センサから出力される三次元画像情報の少なくとも一方の情報に基づいて認識処理を行う第２のスパイキングニューラルネットワーク、
   から成る、
   請求項３に記載の物体認識システム。
7. スパイキングニューラルネットワークは、
   イベント検出センサから出力されるイベント情報に基づいて認識処理を行う第１のスパイキングニューラルネットワーク、
   画像センサから出力される画像情報に基づいて認識処理を行う第２のスパイキングニューラルネットワーク、及び、
   測距センサから出力される三次元画像情報に基づいて認識処理を行う第３のスパイキングニューラルネットワーク、
   から成る、
   請求項３に記載の物体認識システム。
8. 画像センサから出力される画像情報、及び、測距センサから出力される三次元画像情報の少なくとも一方の情報に基づいて認識処理を行う畳み込みニューラルネットワークを有する、
   請求項３に記載の物体認識システム。
9. イベント検出センサにおいて、有意なイベント情報を出力した画素の周囲のイベント数に応じて、イベント検出センサのイベント検出閾値を制御する、
   請求項１に記載の物体認識システム。
10. イベント検出センサにおいて、有意なイベント情報を出力した画素群を関心領域として設定し、関心領域の部分のイベントレートを上げる、
    請求項１に記載の物体認識システム。
11. イベント検出センサにおいて、有意なイベント情報を出力した画素群を関心領域として設定し、関心領域の部分のイベントレートを上げるとともに、
    画像センサ及び測距センサの少なくとも一方のフレームレートを上げる、
    請求項１に記載の物体認識システム。
12. 認識対象の物体に光を照射する光源を有し、
    イベント検出センサにおいて、有意なイベント情報を出力した画素群を関心領域として設定し、関心領域の部分のイベントレートを上げるとともに、
    関心領域の部分に光を照射するように光源を制御する、
    請求項１に記載の物体認識システム。
13. 画素の輝度変化が所定の閾値を超えたことをイベントとして検出するイベント検出センサ、及び、
    スパイキングニューラルネットワーク、
    を備え、
    スパイキングニューラルネットワークは、イベント検出センサの検出結果に基づいて、認識対象の物体の認識処理を実行する、
    物体認識システムを有する電子機器。

Images