JP2020161993A - 撮像システム及び物体認識システム - Google Patents

Abstract

【課題】雨や雪などの悪天候の影響を受けることなく、イベントの物体認識を精度よく行うことができる撮像システム、及び物体認識システムを提供する。【解決手段】撮像システム１Ａは、イベントを検出するイベント検出装置１０、及び、イベント検出装置１０を制御する制御部３０を備える。制御部３０は、車外情報に基づいて、イベント検出装置１０によるイベント検出の検出感度を制御する。また、物体認識システムは、イベントを検出するイベント検出装置１０、車外情報に基づいて、イベント検出装置１０によるイベント検出の検出感度を制御する制御部３０、及び、イベント検出装置から出力されるイベント信号に基づいて、イベントの物体認識を行う認識処理部を備える。【選択図】図１

Description

本開示は、撮像システム及び物体認識システムに関する。

イベントドリブン方式の撮像装置の一つとして、ＤＶＳ(Dynamic Vision Sensor)と呼ばれる非同期型の撮像装置がある。非同期型の撮像装置は、入射光を光電変換する画素の輝度変化が所定の閾値を超えたことをイベントとして検出することができる。従って、この種の非同期型の撮像装置については、イベント検出装置と言うこともできる。従来、イベント検出装置は、車両に搭載されて、走行路面をモニタリングするイベントベース視覚センサとして用いられている（例えば、特許文献１参照）。

特開２０１３−７９９３７号公報

ところで、イベント検出装置を車両等の移動体に搭載した場合、雨や雪などの悪天候時には、多数の水滴等の発生をイベントとして検出してしまうことがある。そして、このとき検出した水滴等のベントが、本来、イベント検出装置でイベントとして検出したい物体（車や歩行者等）のノイズとなってしまうことがあり、物体認識の精度の低下の一因となる可能性がある。

本開示は、雨や雪などの悪天候の影響を受けることなく、イベントの物体認識を精度よく行うことができる撮像システム、及び、当該撮像システムを用いる物体認識システムを提供することを目的とする。

上記の目的を達成するための本開示の撮像システムは、
イベントを検出するイベント検出装置、及び、
イベント検出装置を制御する制御部を備える。
そして、制御部は、車外情報に基づいて、イベント検出装置によるイベント検出の検出感度を制御する。

また、上記の目的を達成するための本開示の物体認識システムは、
イベントを検出するイベント検出装置、
車外情報に基づいて、イベント検出装置によるイベント検出の検出感度を制御する制御部、及び、
イベント検出装置から出力されるイベント信号に基づいて、イベント検出装置の画角内の物体認識を行う認識処理部を備える。

図１は、本開示の第１実施形態に係る撮像システムのシステム構成の一例を示すブロック図である。 図２は、第１実施形態に係る撮像システムにおけるイベント検出装置の構成の一例を示すブロック図である。 図３は、イベント検出装置における画素アレイ部の構成の一例を示すブロック図である。 図４は、イベント検出装置における画素の回路構成の一例を示す回路図である。 図５は、イベント検出装置の画素におけるイベント検出部の回路構成の一例を示すブロック図である。 図６は、イベント検出部における電流電圧変換部の構成の一例を示す回路図である。 図７は、イベント検出部における減算部及び量子化部の構成の一例を示す回路図である。 図８は、イベント検出装置の積層型のチップ構造の概略を示す分解斜視図である。 図９は、実施例１に係るイベント検出処理の一例を示すフローチャートである。 図１０は、電流電圧変換部の第１の回路構成の等価回路図である。 図１１は、電流電圧変換部の第２の回路構成の等価回路図である。 図１２は、実施例２に係るイベント検出処理の一例を示すフローチャートである。 図１３は、第１実施形態に係る物体認識システムのシステム構成の一例を示すブロック図である。 図１４は、実施例３に係るイベント検出処理の一例を示すフローチャートである。 図１５は、イベント検出装置のみを用いて物体認識処理を行う具体例を示すフローチャートである。 図１６は、本開示の第２実施形態に係る撮像システムのシステム構成の一例を示すブロック図である。 図１７は、第２実施形態に係る撮像システムにおける撮像装置の一例であるＣＭＯＳ型イメージセンサの構成の概略を示すブロック図である。 図１８は、撮像装置における画素の回路構成の一例を示す回路図である。 図１９は、撮像装置の平置型のチップ構造の概略を示す平面図である。 図２０は、撮像装置の積層型のチップ構造の概略を示す平面図である。 図２１は、第２実施形態に係る物体認識システムのシステム構成の一例を示すブロック図である。 図２２は、実施例４に係るイベント検出処理の一例を示すフローチャートである。 図２３は、イベント検出装置及び撮像装置を用いて物体認識処理を行う具体例を示すフローチャートである。 図２４は、実施例５に係るイベント検出処理の一例を示すフローチャートである。 図２５は、実施例６に係るイベント検出処理の一例を示すフローチャートである。 図２６Ａは、イベントとして検出したい物体が複数存在する様子を示す図であり、図２６Ｂは、水滴が多く付着、又は、全く付着しない様子を示す図である。 図２７は、実施例７に係るイベント検出処理の一例を示すフローチャートである。 図２８は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。 図２９は、車両制御システムにおける撮像部の設置位置の例を示す図である。

以下、本開示に係る技術を実施するための形態（以下、「実施形態」と記述する）について図面を用いて詳細に説明する。本開示に係る技術は実施形態に限定されるものではない。以下の説明において、同一要素又は同一機能を有する要素には同一符号を用いることとし、重複する説明は省略する。尚、説明は以下の順序で行う。
１．本開示の撮像システム及び物体認識システム、全般に関する説明
２．本開示の第１実施形態
２−１．第１実施形態に係る撮像システムの構成例
２−２．イベント検出装置の構成例
２−２−１．画素アレイ部の構成例
２−２−２．画素の構成例
２−２−３．イベント検出部の構成例
２−２−３−１．電流電圧変換部の構成例
２−２−３−２．減算部及び量子化部の構成例
２−２−４．チップ構造の構成例
２−２−５．実施例１（雨量計の測定値を基にイベント検出閾値を制御する例）
２−２−６．実施例２（雨量計の測定値とノイズ情報とを併用して、イベント検出閾値を制御する例）
２−５．第１実施形態に係る物体認識システムの構成例
２−５−１．実施例３（物体認識結果をイベント検出閾値に反映させる例）
３．本開示の第２実施形態
３−１．第２実施形態に係る撮像システムの構成例
３−２．撮像装置の構成例
３−２−１．ＣＭＯＳ型イメージセンサの構成例
３−２−２．画素の構成例
３−２−３．チップ構造の構成例
３−２−３−１．平置型のチップ構造（所謂、平置構造）
３−２−３−２．積層型のチップ構造（所謂、積層構造）
３−３．第２実施形態に係る物体認識システムの構成例
３−３−１．実施例４（物体認識結果をイベント検出閾値に反映させる例）
３−３−２．実施例５（雨量計の測定値とノイズ情報とを併用して、イベント検出閾値を制御する例）
３−３−３．実施例６（イベント検出閾値の制御の前後に物体認識処理を２回実行する例）
３−３−４．実施例７（領域別にイベント検出閾値の制御を行う例）
４．変形例
５．本開示に係る技術の適用例
５−１．移動体への応用例
６．本開示がとることができる構成

≪本開示の撮像システム及び物体認識システム、全般に関する説明≫
本開示の撮像システム及び物体認識システムにあっては、イベント検出装置について、入射光を光電変換する画素の輝度変化が検出閾値を超えたことをイベントとして検出するイベント検出部を有する構成とすることができる。そして、本開示の撮像システムについては、移動体に搭載して用いることが好ましい。

更に、上述した好ましい構成を含む本開示の撮像システム及び物体認識システムにあっては、制御部について、車外情報に基づいて、イベント検出部の検出閾値を制御する、具体的には、車外情報が悪天候を示す情報であるとき、イベント検出部の検出閾値を上げる制御を行う構成とすることができる。また、制御部について、イベント検出部の検出閾値を上げた後、天候が回復したことを示す車外情報を受けたときは、イベント検出部の検出閾値を下げる、又は、初期設定値に戻す制御を行う構成とすることができる。

更に、上述した好ましい構成を含む本開示の撮像システム及び物体認識システムにあっては、イベント検出部について、画素の光電流を、光電流に対応する電圧に変換する電流電圧変換部を有する構成とし、電流電圧変換部について、トランジスタがカスケード接続された回路構成と、カスケード接続されてない回路構成とに切り替えが可能な構成とすることができる。このとき、制御部について、車外情報に基づいて、電流電圧変換部の回路構成を切り替えることにより、イベント検出部の検出閾値を制御する構成とすることができる。

また、上述した好ましい構成を含む本開示の撮像システム及び物体認識システムにあっては、イベント検出部について、第１の容量素子及び第２の容量素子を含み、画素の光電流に対応する電圧について、異なるタイミングどうしの電圧の差信号を求める減算部を有する構成とすることができる。このとき、制御部について、車外情報に基づいて、減算部の第１の容量素子と第２の容量素子との容量比を変えることにより、イベント検出部の検出閾値を制御する構成とすることができる。

また、上述した好ましい構成を含む本開示の撮像システム及び物体認識システムにあっては、イベント検出部について、減算部からの差信号を閾値電圧と比較することによってデジタル信号に量子化する量子化部を有する構成とすることができる。このとき、制御部について、車外情報に基づいて、量子化部の閾値電圧を調整することにより、イベント検出部の検出閾値を制御する構成とすることができる。

更に、上述した好ましい構成を含む本開示の撮像システム及び物体認識システムにあっては、制御部について、車外情報、及び、イベント検出装置が検出したイベント数に基づいて、イベント検出の検出感度を制御する構成とすることができる。

また、本開示の物体認識システムにあっては、制御部について、イベント検出部の検出閾値を、イベント検出装置の画角内の物体を認識できる範囲まで上げる制御を行う構成とし、認識処理部について、画角内において物体として検知できるエリアが所定の閾値以上のとき物体と認識する構成とすることができる。

更に、上述した好ましい構成を含む本開示の物体認識システムにあっては、固定のフレームレートで撮像を行う同期型の撮像装置を備える構成とすることができる。

更に、上述した好ましい構成を含む本開示の物体認識システムにあっては、認識処理部について、イベント検出装置によって物体を検知できないときは、撮像装置の情報を用いて物体を検知し、画角内において物体として検知できるエリアが所定の閾値以上のとき物体と認識する構成とすることができる。また、認識処理部について、画角に占める物体の領域が一定の割合以上であるとき認識成功とし、一定の割合未満のとき認識失敗とする構成とすることができる。

更に、上述した好ましい構成を含む本開示の物体認識システムにあっては、制御部について、車外情報が悪天候を示す情報で、かつ、イベント検出装置が検出したイベント数が所定の閾値以上のとき、イベント検出部の検出閾値を上げる制御を行う構成とすることができる。そして、制御部について、イベント検出部の検出閾値を上げた後、認識処理部による認識結果が成功で、かつ、天候が回復したことを示す車外情報を受けたとき、イベント検出部の検出閾値を下げる、又は、初期設定値に戻す制御を行う構成とすることができる。

また、上述した好ましい構成を含む本開示の物体認識システムにあっては、制御部について、車外情報が悪天候を示す情報で、かつ、認識処理部による認識結果が失敗のとき、イベント検出部の検出閾値を上げる制御を行う構成とすることができる。そして、制御部について、イベント検出部の検出閾値を上げた後、認識処理部による認識結果が成功で、かつ、天候が回復したことを示す車外情報を受けたとき、イベント検出部の検出閾値を下げる、又は、初期設定値に戻す制御を行う構成とすることができる。

≪本開示の第１実施形態≫
＜第１実施形態に係る撮像システムの構成例＞
図１は、本開示の第１実施形態に係る撮像システムのシステム構成の一例を示すブロック図である。

図１に示すように、第１実施形態に係る撮像システム１Ａは、イベント検出装置１０、制御部３０、データ処理部４０、及び、画像記録部５０を有する構成となっている。第１実施形態に係る撮像システム１Ａは、車両等の移動体に搭載して用いることができる。

車両に搭載して用いる場合を例に挙げると、車両の所定の位置、例えば、車両のフロントノーズ、サイドミラー、リアバンパ、バックドア、及び、車室内のフロントガラスの上部のうちの少なくとも一つの位置に、撮像システム１Ａを配置して用いることになる。本開示に係る技術（即ち、第１実施形態に係る撮像システム１Ａ）の適用例の詳細については後述する。

イベント検出装置１０としては、入射光を光電変換する画素の輝度変化が所定の検出閾値を超えたことをイベントとして検出するＤＶＳと呼ばれる非同期型の撮像装置を用いることができる。非同期型の撮像装置は、垂直同期信号に同期して撮像を行う同期型の撮像装置に対して、垂直同期信号に非同期でイベントを検出する撮像装置である。非同期型の撮像装置から成るイベント検出装置１０の詳細については後述する。

制御部３０は、例えばプロセッサ（ＣＰＵ）によって構成され、外部から与えられる車外情報に基づいて、イベント検出装置１０のイベント検出の検出感度の制御を行う。外部から与えられる車外情報としては、雨、雪、霰、雹などの現在の天候情報を取得するための環境センサの情報を例示することができる。

環境センサは、例えば、雨量を計測する雨量計、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び、降雪を検出する雪センサのうちの少なくとも一つであってよい。環境センサは、例えば、車両のフロントノーズ、サイドミラー、リアバンパ、バックドア、及び、車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。

ここでは、制御部３０に与えられる車外情報として、上記の環境センサの情報を例示したが、環境センサの情報に限られるものではない。車外情報としては、環境センサの情報の他に、ワイパーの作動の有無の情報や、インターネットやＧＰＳ（Global Positioning System）によって取得できる天候情報などであってもよい。

データ処理部４０は、制御部３０による制御の下に、イベント検出装置１０から出力される、イベントの発生を表すイベント信号（イベントデータ）に対して所定のデータ処理を行う。制御部３０は、このデータ処理部４０を通して、イベント検出装置１０がイベントを検出したことを知ることができる。画像記録部５０は、データ処理部４０で処理された画像データを記録する。

＜イベント検出装置の構成例＞
図２は、上記の構成の第１実施形態に係る撮像システム１Ａにおけるイベント検出装置１０の構成の一例を示すブロック図である。

図２に示すように、イベント検出装置１０は、複数の画素１１が行列状（アレイ状）に２次元配列されて成る画素アレイ部１２を有する。複数の画素１１のそれぞれは、光電変換によって生成される電気信号としての光電流に応じた電圧のアナログ信号を画素信号として生成する。また、複数の画素１１のそれぞれは、入射光の輝度に応じた光電流に、所定の検出閾値を超える変化が生じたか否かによって、イベントの有無を検出する。換言すれば、複数の画素１１のそれぞれは、輝度変化が所定の閾値を超えたことをイベントとして検出する。

イベント検出装置１０は、画素アレイ部１２の他に、画素アレイ部１２の周辺回路部として、駆動部１３、アービタ部（調停部）１４、カラム処理部１５、及び、信号処理部１６を備えている。

複数の画素１１のそれぞれは、イベントを検出した際に、イベントの発生を表すイベントデータの出力を要求するリクエストをアービタ部１４に出力する。そして、複数の画素１１のそれぞれは、イベントデータの出力の許可を表す応答をアービタ部１４から受け取った場合、駆動部１３及び信号処理部１６に対してイベントデータを出力する。また、イベントを検出した画素１１は、光電変換によって生成されるアナログの画素信号をカラム処理部１５に対して出力する。

駆動部１３は、画素アレイ部１２の各画素１１を駆動する。例えば、駆動部１３は、イベントを検出し、イベントデータを出力した画素１１を駆動し、当該画素１１のアナログの画素信号を、カラム処理部１５へ出力させる。

アービタ部１４は、複数の画素１１のそれぞれから供給されるイベントデータの出力を要求するリクエストを調停し、その調停結果（イベントデータの出力の許可／不許可）に基づく応答、及び、イベント検出をリセットするリセット信号を画素１１に送信する。

カラム処理部１５は、例えば、画素アレイ部１２の画素列毎に設けられたアナログ−デジタル変換器の集合から成るアナログ−デジタル変換部を有する。アナログ−デジタル変換器としては、例えば、シングルスロープ型のアナログ−デジタル変換器を例示することができる。

カラム処理部１５では、画素アレイ部１２の画素列毎に、その列の画素１１から出力されるアナログの画素信号をデジタル信号に変換する処理が行われる。カラム処理部１５では、デジタル化した画素信号に対して、ＣＤＳ（Correlated Double Sampling）処理を行うこともできる。

信号処理部１６は、カラム処理部１５から供給されるデジタル化された画素信号や、画素アレイ部１２から出力されるイベントデータに対して所定の信号処理を実行し、信号処理後のイベントデータ及び画素信号を出力する。

上述したように、画素１１で生成される光電流の変化は、画素１１に入射する光の光量変化（輝度変化）とも捉えることができる。従って、イベントは、所定の閾値を超える画素１１の光量変化（輝度変化）であるとも言うことができる。イベントの発生を表すイベントデータには、少なくとも、イベントとしての光量変化が発生した画素１１の位置を表す座標等の位置情報が含まれる。イベントデータには、位置情報の他、光量変化の極性を含ませることができる。

画素１１からイベントが発生したタイミングで出力されるイベントデータの系列については、イベントデータどうしの間隔がイベントの発生時のまま維持されている限り、イベントデータは、イベントが発生した相対的な時刻を表す時刻情報を暗示的に含んでいるということができる。但し、イベントデータがメモリに記憶されること等により、イベントデータどうしの間隔がイベントの発生時のまま維持されなくなると、イベントデータに暗示的に含まれる時刻情報が失われる。そのため、信号処理部１６は、イベントデータどうしの間隔がイベントの発生時のまま維持されなくなる前に、イベントデータに、タイムスタンプ等の、イベントが発生した相対的な時刻を表す時刻情報を含める。

［画素アレイ部の構成例］
図３は、イベント検出装置１０における画素アレイ部１２の構成の一例を示すブロック図である。

複数の画素１１が行列状に２次元配列されて成る画素アレイ部１２において、複数の画素１１のそれぞれは、受光部６１、画素信号生成部６２、及び、イベント検出部６３を有する構成となっている。

上記の構成の画素１１において、受光部６１は、入射光を光電変換して光電流を生成する。そして、受光部６１は、駆動部１３（図２参照）の制御に従って、画素信号生成部３２及びイベント検出部６３のいずれかに、入射光を光電変換して生成した光電流に応じた電圧の信号を供給する。

画素信号生成部６２は、受光部６１から供給される光電流に応じた電圧の信号を、アナログの画素信号ＳＩＧとして生成する。そして、画素信号生成部６２は、生成したアナログの画素信号ＳＩＧを、画素アレイ部１２の画素列毎に配線された垂直信号線ＶＳＬを介してカラム処理部１５（図２参照）に供給する。

イベント検出部６３は、受光部６１のそれぞれからの光電流の変化量が所定の検出閾値を超えたか否かにより、イベントの発生の有無を検出する。イベントは、例えば、光電流の変化量が上限の閾値を超えた旨を示すオンイベント、及び、その変化量が下限の閾値を下回った旨を示すオフイベントから成る。また、イベントの発生を表すイベントデータは、例えば、オンイベントの検出結果を示す１ビット、及び、オフイベントの検出結果を示す１ビットから成る。尚、イベント検出部６３については、オンイベントのみを検出する構成とすることもできる。

イベント検出部６３は、イベントが発生した際に、イベントの発生を表すイベントデータの出力を要求するリクエストをアービタ部１４（図２参照）に出力する。そして、イベント検出部６３は、リクエストに対する応答をアービタ部１４から受け取った場合、駆動部１３及び信号処理部１６に対してイベントデータを出力する。

［画素の回路構成例］
図４は、イベント検出装置１０における画素アレイ部１２の画素１１の回路構成の一例を示す回路図である。

上述したように、複数の画素１１のそれぞれは、受光部６１、画素信号生成部６２、及び、イベント検出部６３を有する構成となっている。

上記の構成の画素１１において、受光部６１は、受光素子（光電変換素子）６１１、転送トランジスタ６１２、及び、転送トランジスタ６１３を有する構成となっている。転送トランジスタ６１２及び転送トランジスタ６１３としては、例えば、Ｎ型のＭＯＳ（Metal Oxide Semiconductor）トランジスタを用いることができる。転送トランジスタ６１２及び転送トランジスタ６１３は、互いに直列に接続されている。

受光素子６１１は、転送トランジスタ６１２と転送トランジスタ６１３との共通接続ノードＮ₁とグランドとの間に接続されており、入射光を光電変換して入射光の光量に応じた電荷量の電荷を生成する。

転送トランジスタ６１２のゲート電極には、図２に示す駆動部１３から転送信号ＴＲＧが供給される。転送トランジスタ６１２は、転送信号ＴＲＧに応答してオン状態になることにより、受光素子６１１で光電変換されて生成された電気信号を画素信号生成部６２に供給する。

転送トランジスタ６１３のゲート電極には、駆動部１３から制御信号ＯＦＧが供給される。転送トランジスタ６１３は、制御信号ＯＦＧに応答してオン状態になることにより、受光素子６１１で光電変換されて生成された電気信号をイベント検出部６３に供給する。イベント検出部６３に供給される電気信号は、電荷からなる光電流である。

画素信号生成部６２は、リセットトランジスタ６２１、増幅トランジスタ６２２、選択トランジスタ６２３、及び、浮遊拡散層６２４を有する構成となっている。リセットトランジスタ６２１、増幅トランジスタ６２２、及び、選択トランジスタ６２３としては、例えば、Ｎ型のＭＯＳトランジスタを用いることができる。

画素信号生成部６２には、受光部６１の受光素子６１１で光電変換された電荷が、転送トランジスタ６１２によって供給される。受光部６１から供給される電荷は、浮遊拡散層６２４に蓄積される。浮遊拡散層６２４は、蓄積した電荷を、その電荷量に応じた電圧値の電圧信号を生成する。すなわち、浮遊拡散層６２４は、電荷を電圧に変換する電荷電圧変換部である。

リセットトランジスタ６２１は、電源電圧Ｖ_DDの電源ラインと浮遊拡散層６２４との間に接続されている。リセットトランジスタ６２１のゲート電極には、駆動部１３からリセット信号ＲＳＴが供給される。リセットトランジスタ６２１は、リセット信号ＲＳＴに応答してオン状態になることにより、浮遊拡散層６２４の初期化（リセット）を行う。

増幅トランジスタ６２２は、電源電圧Ｖ_DDの電源ラインと垂直信号線ＶＳＬとの間に、選択トランジスタ６２３と直列に接続されている。増幅トランジスタ６２２は、浮遊拡散層６２４で電荷電圧変換された電圧信号を増幅する。

選択トランジスタ６２３のゲート電極には、駆動部１３から選択信号ＳＥＬが供給される。選択トランジスタ６２３は、選択信号ＳＥＬに応答してオン状態になることにより、増幅トランジスタ６２２によって増幅された電圧信号を、アナログの画素信号ＳＩＧとして垂直信号線ＶＳＬを介してカラム処理部１５（図２参照）へ出力する。

上記の構成の画素１１が２次元配置されて成る画素アレイ部１２を有するイベント検出装置１０において、駆動部１３は、図１に示す制御部３０によって、イベント検出の開始が指示される。そして、イベント検出の開始が指示されると、駆動部１３は、受光部６１の転送トランジスタ６１３に制御信号ＯＦＧを供給することによって当該転送トランジスタ６１３を駆動し、受光素子６１１で生成された電荷に応じた光電流をイベント検出部６３に供給させる。

そして、ある画素１１においてイベントが検出されると、駆動部１３は、その画素１１の転送トランジスタ６１３をオフ状態にしてイベント検出部６３への光電流の供給を停止させる。次いで、駆動部１３は、転送トランジスタ６１２に転送信号ＴＲＧを供給することによって当該転送トランジスタ６１２を駆動して、受光素子６１１で光電変換された電荷を浮遊拡散層６２４に転送させる。

このようにして、上記の構成の画素１１が２次元配置されて成る画素アレイ部１２を有するイベント検出装置１０は、イベントが検出された画素１１の画素信号のみをカラム処理部１５に出力する。これにより、イベントの有無に関わらず、全画素の画素信号を出力する場合と比較して、イベント検出装置１０の消費電力や、画像処理の処理量を低減することができる。

尚、ここで例示した画素１１の構成は一例であって、この構成例に限定されるものではない。例えば、画素信号を出力する必要がない場合には、画素信号生成部６２を備えない画素構成とすることもできる。この画素構成の場合は、受光部６１において、転送トランジスタ６１２を省略すればよい。また、図２のカラム処理部１５がアナログ−デジタル変換機能の持たない構成とすることができる。画素信号を出力しない画素構成とすることにより、イベント検出装置１０の規模の抑制を図ることができる。

［イベント検出部の構成例］
図５は、イベント検出装置１０の画素１１におけるイベント検出部６３の回路構成の一例を示すブロック図である。

図５に示すように、本例に係るイベント検出部６３は、電流電圧変換部６３１、バッファ６３２、減算部６３３、量子化部６３４、及び、転送部６３５を有する構成となっている。

電流電圧変換部６３１は、画素１１の受光部６３から供給される光電流を、当該光電流の対数の電圧信号（以下、「光電圧」と記述する場合がある）に変換し、バッファ６３２に供給する。バッファ６３２は、電流電圧変換部６３１から供給される光電圧をバッファリングして減算部６３３に供給する。

減算部６３３は、現在の光電圧と、現在と微小時間だけ異なる光電圧との差を演算し、その差に対応する差信号を量子化部６３４に供給する。量子化部６３４は、減算部６３３から供給される差信号をデジタル信号に量子化し、差信号のデジタル値を転送部６３５に供給する。

転送部６３５は、量子化部６３４から差信号のデジタル値が供給されると、イベントデータの送信を要求するリクエストをアービタ部１４に供給する。そして、転送部６３５は、リクエストに対する応答、即ち、イベントデータの出力を許可する旨の応答をアービタ部１４から受け取ると、量子化部６３４から供給される差信号のデジタル値に応じて、イベントデータを、駆動部１３及び信号処理部１６に供給する。

続いて、イベント検出部６３における電流電圧変換部６３１、減算部６３３、及び、量子化部６３４の構成例について説明する。

（電流電圧変換部の構成例）
図６は、イベント検出部６３における電流電圧変換部６３１の構成の一例を示す回路図である。

図６に示すように、本例に係る電流電圧変換部６３１は、トランジスタ６３１１、トランジスタ６３１２、トランジスタ６３１３、トランジスタ６３１４、及び、トランジスタ６３１５、並びに、スイッチ素子ＳＷ₁、スイッチ素子ＳＷ₂、スイッチ素子ＳＷ₃、及び、スイッチ素子ＳＷ₄を有する回路構成となっている。トランジスタ６３１１トランジスタ６３１３、トランジスタ６３１４、及び、トランジスタ６３１５としては、Ｎ型のＭＯＳトランジスタを用いることができ、トランジスタ６３１２としては、Ｐ型のＭＯＳトランジスタを用いることができる。

トランジスタ６３１１とトランジスタ６３１４とは、電源電圧Ｖ_DDの電源ラインと信号入力線Ｌとの間に直列に接続されている。トランジスタ６３１２、トランジスタ６３１５、及び、トランジスタ６３１３は、電源電圧Ｖ_DDの電源ラインとグランドとの間に直列に接続されている。そして、トランジスタ６３１２及びトランジスタ６３１５の共通接続ノードＮ₂には、トランジスタ６３１１のゲート電極と、図５に示すバッファ６３２の入力端子とが接続されている。

トランジスタ６３１２のゲート電極には、所定のバイアス電圧Ｖ_biasが印加される。これにより、トランジスタ６３１２は、一定の電流をトランジスタ６３１３に供給する。トランジスタ６３１３のゲート電極には、信号入力線Ｌを通して、受光部６１から光電流が入力される。トランジスタ６３１１のドレイン電極は、電源電圧Ｖ_DDの電源ラインに接続されており、ソースフォロワ構成となっている。

トランジスタ６３１１及びトランジスタ６３１４の共通接続ノードＮ₃と信号入力線Ｌとの間には、スイッチ素子ＳＷ₁が接続されている。すなわち、スイッチ素子ＳＷ₁は、トランジスタ６３１４に対して並列に接続されている。トランジスタ６３１１及びトランジスタ６３１４の共通接続ノードＮ₃とトランジスタ６３１５のゲート電極との間には、スイッチ素子ＳＷ₂が接続されている。

トランジスタ６３１２及びトランジスタ６３１５の共通接続ノードＮ₂と、トランジスタ６３１５及びトランジスタ６３１３の共通接続ノードＮ₄との間には、スイッチ素子ＳＷ₃が接続されている。すなわち、スイッチ素子ＳＷ₃は、トランジスタ６３１５に対して並列に接続されている。トランジスタ６３１４のゲート電極とトランジスタ６３１５及びトランジスタ６３１３の共通接続ノードＮ₄との間には、スイッチ素子ＳＷ₄が接続されている。

トランジスタ６３１３のゲート電極は、トランジスタ６３１４を介して、ソースフォロワ構成のトランジスタ６３１１のソース電極に接続されている。そして、ソースフォロワ構成のトランジスタ６３１１及びトランジスタ６３１３により、受光部６１からの光電流は、当該光電流の対数に対応する光電圧に変換される。

上記の構成の電流電圧変換部６３１は、スイッチ素子ＳＷ₁、スイッチ素子ＳＷ₂、スイッチ素子ＳＷ₃、及び、スイッチ素子ＳＷ₄のオン（閉）／オフ（開）制御により、トランジスタがカスケード接続された回路構成と、カスケード接続されてない回路構成とに切り替えが可能である。そして、この回路構成の切り替えにより、イベント検出部６３の検出閾値、即ち、イベント検出装置１０によるイベント検出の検出感度を制御することができる。電流電圧変換部６３１の回路構成の切り替えの詳細については後述する。

（減算部及び量子化部の構成例）
図７は、イベント検出部６３における減算部６３３及び量子化部６３４の構成の一例を示す回路図である。

・減算部の構成例
本例に係る減算部６３３は、第１の容量素子としての容量素子６３３１、オペアンプ６３３２、第２の容量素子としての容量素子６３３３、及び、スイッチ素子６３３４を有する構成となっている。

容量素子６３３１の一端は、図５に示すバッファ６３２の出力端子に接続され、容量素子６３３１の他端は、オペアンプ６３３２の入力端子に接続されている。これにより、オペアンプ６３３２の入力端子に、バッファ６３２から供給される光電圧が、容量素子６３３１を介して入力される。

容量素子６３３３は、オペアンプ６３３２に対して並列に接続されている。スイッチ素子６３３４は、容量素子６３３３の両端間に接続されている。スイッチ素子６３３４には当該スイッチ素子６３３４を開閉する制御信号として、図２に示すアービタ部１４からリセット信号が供給される。スイッチ素子６３３４は、リセット信号に応じて、容量素子６３３３の両端を接続する経路を開閉する。

上記の構成の減算部６３３において、スイッチ素子６３３４をオン（閉）状態とした際に、容量素子６３３１のバッファ６３２側の端子に入力される光電圧をＶ_initとする。容量素子６３３１のバッファ６３２側の端子に光電圧Ｖ_initが入力されたとき、その逆側の端子は仮想接地端子となる。この仮想接地端子の電位を、便宜上、ゼロとする。このとき、容量素子６３３１の容量値をＣ₁とすると、容量素子６３３１に蓄積されている電荷Ｑ_initは、次式（１）により表される。
Ｑ_init＝Ｃ₁×Ｖ_init ・・・（１）

また、スイッチ素子６３３４をオン状態である場合には、容量素子６３３３の両端は短絡されているため、容量素子６３３３に蓄積される電荷はゼロとなる。その後、スイッチ素子６３３４がオフ（開）状態となる。スイッチ素子６３３４がオフ状態の場合の、容量素子６３３１のバッファ６３２側の端子の光電圧をＶ_afterと表すこととする。スイッチ素子６３３４がオフ状態になった場合に容量素子６３３１に蓄積される電荷Ｑ_afterは、次式（２）により表される。
Ｑ_after＝Ｃ₁×Ｖ_after ・・・（２）

容量素子６３３３の容量値をＣ₂と表すとともに、オペアンプ６３３２の出力電圧をＶ_outと表すこととすると、容量素子６３３３に蓄積される電荷Ｑ₂は、次式（３）により表される。
Ｑ₂＝−Ｃ₂×Ｖ_out ・・・（３）

スイッチ素子６３３４がオフする前後で、容量素子６３３１の電荷量と容量素子６３３３の電荷量とを合わせた総電荷量は変化しないため、次の式（４）が成立する。
Ｑ_init＝Ｑ_after＋Ｑ₂ ・・・（４）

式（４）に式（１）乃至式（３）を代入すると、次式（５）が得られる。
Ｖ_out＝−（Ｃ₁／Ｃ₂）×（Ｖ_after−Ｖ_init） ・・・（５）

式（５）によれば、減算部６３３では、光電圧Ｖ_initと光電圧Ｖ_afterとの減算、即ち、光電圧Ｖ_initと光電圧Ｖ_afterとの差（Ｖ_init−Ｖ_after）に対応する差信号Ｖ_outの算出が行われる。また、式（５）によれば、減算部６３３の減算の利得はＣ₁／Ｃ₂となる。通常、減算部６３３の減算の利得を最大化することが望まれるため、容量素子６３３１の容量値Ｃ₁を大きく、容量素子６３３３の容量値Ｃ₂を小さく設計することが好ましい。

一方、容量素子６３３３の容量値Ｃ₂が小さすぎると、ｋＴＣノイズが増大し、ノイズ特性が悪化するおそれがあるため、容量素子６３３３の容量値Ｃ₂の容量削減は、ノイズを許容することができる範囲に制限される。また、画素１１毎に減算部６３３を含むイベント検出部６３が搭載されるため、容量素子６３３１や容量素子６３３３には、面積上の制約がある。これらを考慮して、容量素子６３３１の容量値Ｃ₁及び容量素子６３３３の容量値Ｃ₂が決定される。

上記の構成の減算部６３３において、第１の容量素子である容量素子６３３１、及び、第２の容量素子である容量素子６３３３として、容量値が可変な可変容量素子を用いることができる。そして、容量素子６３３１と容量素子６３３３との容量比（Ｃ₁／Ｃ₂）を変えることにより、イベント検出部６３の検出閾値、即ち、イベント検出装置１０によるイベント検出の検出感度を制御することができる。

・量子化部の構成例
図７において、量子化部６３４は、コンパレータ６３４１を有する構成となっている。コンパレータ６３４１は、減算部４３０からの差信号（即ち、オペアンプ６３３２の出力信号）を非反転（＋）入力とし、所定の閾値電圧Ｖ_thを反転（−）入力としている。そして、コンパレータ６３４１は、減算部４３０からの差信号Ｖ_outと所定の閾値電圧Ｖ_thとを比較し、比較結果を表す、高レベル又は低レベルを、差信号Ｖ_outの量子化値として、図５に示す転送部６３５に出力する。

上記の構成の量子化部６３４において、閾値電圧Ｖ_thが可変な構成とすることができる。そして、量子化部６３４の閾値電圧Ｖ_thを調整することにより、イベント検出部６３の検出閾値、即ち、イベント検出装置１０によるイベント検出の検出感度を制御することができる。

転送部６３５は、量子化部６３４からの差信号Ｖ_outの量子化値から、イベントとしての光量変化（輝度変化）が発生したと認められる場合、即ち、差信号Ｖ_outが所定の閾値電圧Ｖ_thよりも大きい（又は、小さい）場合に、イベントの発生を表す、例えば高レベルのイベントデータを、図２の信号処理部１６に出力する。

図２において、信号処理部１６は、転送部６３５から供給されるイベントデータに、そのイベントデータが表すイベントを検出した画素１１の位置情報、及び、イベントが発生した時刻を表す時刻情報、更には、必要に応じて、イベントとしての光量変化の極性情報を含めて出力する。

イベントを検出した画素１１の位置情報、イベントが発生した時刻を表す時刻情報、及び、イベントとしての光量変化の極性情報を含むイベントデータのデータ形式としては、例えば、ＡＥＲ（Address Event Representation）と呼ばれるデータ形式を採用することができる。

尚、画素１１では、カラーフィルタ等の所定の光を透過する光学フィルタを設けること等によって、入射光として、任意の光を受光することができる。例えば、画素１１において、入射光として、可視光を受光する場合、イベントデータは、視認することができる被写体が映る画像における画素値の変化の発生を表す。また、例えば、画素１１において、入射光として、測距のための赤外線やミリ波等を受光する場合、イベントデータは、被写体までの距離の変化の発生を表す。更に、例えば、画素１１において、入射光として、温度の測定のための赤外線を受光する場合、イベントデータは、被写体の温度の変化の発生を表す。本実施形態では、画素１１において、入射光として、可視光を受光することとする。

［チップ構造の構成例］
以上説明したイベント検出装置１０のチップ（半導体集積回路）構造としては、例えば、積層型のチップ構造を採ることができる。図８は、イベント検出装置１０の積層型のチップ構造の概略を示す分解斜視図である。

図８に示すように、積層型のチップ構造、所謂、積層構造は、第１のチップである受光チップ１０１、及び、第２のチップである検出チップ１０２の少なくとも２つのチップが積層された構造となっている。そして、図４に示す画素１１の回路構成において、受光素子６１１のそれぞれが受光チップ１０１上に配置され、受光素子６１１以外の素子の全てや、画素１１の他の回路部分の素子などが検出チップ１０２上に配置される。受光チップ１０１と検出チップ１０２とは、ビア（ＶＩＡ）、Ｃｕ−Ｃｕ接合、バンプなどの接続部を介して電気的に接続される。

尚、ここでは、受光素子６１１を受光チップ１０１に配置し、受光素子６１１以外の素子や画素１１の他の回路部分の素子などを検出チップ１０２に配置する構成例を例示したが、この構成例に限られるものではない。

例えば、図４に示す画素１１の回路構成において、受光部６１の各素子を受光チップ１０１に配置し、受光部６１以外の素子や画素１１の他の回路部分の素子などを検出チップ１０２に配置する構成とすることができる。また、受光部６１の各素子、及び、画素信号生成部６２のリセットトランジスタ６２１、浮遊拡散層６２４を受光チップ１０１に配置し、それ以外の素子を検出チップ１０２に配置する構成とすることができる。更には、イベント検出部６３を構成する素子の一部を、受光部６１の各素子などと共に受光チップ１０１に配置する構成とすることができる。

以下に、上記の構成の第１実施形態に係る撮像システム１Ａにおいて実行される、イベント検出の処理の具体的な実施例について説明する。以下で説明するイベント検出は、基本的に、撮像システム１の制御部３０による制御の下に実行されることとする。この点については、後述する各実施例においても同様である。

［実施例１］
実施例１は、第１実施形態に係る撮像システム１Ａにおいて、車外情報を与える環境センサとして、雨量を計測する雨量計を用い、雨量計の測定値を基に、イベント検出部６３の検出閾値（以下、単に「イベント検出閾値」と記述する場合がある）を制御する例である。実施例１に係るイベント検出処理の流れの一例を図９のフローチャートに示す。

制御部３０は、イベント検出部６３の検出閾値として所定の初期設定値を設定し、イベント検出装置１０による撮影を行う（ステップＳ１１）。イベント検出閾値については、先述した電流電圧変換部６３１の回路構成、減算部６３３における容量素子６３３１と容量素子６３３３との容量比、あるいは、量子化部６３４における閾値電圧Ｖ_thによって設定することができる。この点については、後述する実施例においても同様である。

イベント検出装置１０によって撮影している状態において、制御部３０は、車外情報として与えられる雨量計の測定値を取得し（ステップＳ１２）、次いで、雨量計の測定値が所定の閾値以上か否かを判断する（ステップＳ１３）。所定の閾値以上でなければ（Ｓ１３のＮＯ）、ステップＳ１１に戻ってイベント検出装置１０による撮影を継続する。

制御部３０は、雨量計の測定値が所定の閾値以上であれば（Ｓ１３のＹＥＳ）、イベント検出部６３の検出閾値を、例えば一定値上げる制御を行う（ステップＳ１４）。イベント検出部６３の検出閾値を上げるということは、イベント検出装置１０のイベント検出の検出感度（イベント検出装置１０のゲイン）を下げるということである。イベント検出閾値の制御の具体例については後述する。

雨量計の測定値が所定の閾値以上ということは、雨量が多いということである。雨量が多い状況下では、イベント検出装置１０が多数の水滴（雨粒）等の発生をイベントとして検出する場合がある。この場合、イベントとして検出した水滴（雨粒）等が、本来、イベント検出装置１０でイベントとして検出したい物体（車や歩行者等）のノイズとなってしまい、物体認識の精度の低下を招く可能性がある。

そこで、制御部３０は、イベント検出部６３の検出閾値を上げるという制御を行うことで、イベント検出装置１０のイベント検出の検出感度（イベント検出装置１０のゲイン）を、水滴等の発生をノイズとして検出しないような感度に変更する制御を行う。イベント検出の検出閾値を上げた後も、イベント検出装置１０による撮影が継続され、イベント検出装置１０では、制御部３０によって変更された検出感度の下でイベントの検出処理が行われる。

制御部３０は再び、雨量計の測定値を取得し（ステップＳ１５）、次いで、雨量計の測定値が所定の閾値未満になったか否かを判断し（ステップＳ１６）、まだ所定の閾値以上であれば（Ｓ１６のＮＯ）、ステップＳ１５に戻って雨量計の測定値を取得を繰り返して実行する。そして、制御部３０は、雨量計の測定値が所定の閾値未満になった場合は（Ｓ１６のＹＥＳ）、例えば、雨が上がったものと判断し、イベント検出閾値を所定値だけ下げる、又は、初期設定値に戻す制御を行う（ステップＳ１７）。

イベント検出閾値を下げる、又は、初期設定値に戻す制御を行った後、制御部３０は、イベント検出装置１０による撮影の終了か否かを判断し（ステップＳ１８）、終了でなければ（Ｓ１８のＮＯ）、ステップＳ１１に戻って、上述した一連の処理を繰り返して実行する。制御部３０は、イベント検出装置１０による撮影の終了であれば（Ｓ１８のＹＥＳ）、イベント検出のための一連の処理を終了する。

（イベント検出閾値の制御について）
ここで、ステップＳ１４又はステップＳ１７の処理で行われるイベント検出閾値の制御の具体例について説明する。イベント検出装置１０のゲインを決めるイベント検出閾値については、電流電圧変換部６３１の回路構成、減算部６３３における容量素子６３３１と容量素子６３３３との容量比、あるいは、量子化部６３４における閾値電圧Ｖ_thを変えることによって制御することができる。

ここで、電流電圧変換部６３１の回路構成を変えることによる、イベント検出閾値の制御について具体的に説明する。

図６に示す構成の電流電圧変換部６３１では、信号入力線Ｌを通して、受光部６１から供給される光電流が、当該光電流の対数に対応する光電圧に変換される。そして、光電圧は、トランジスタ６３１２及びトランジスタ６３１５の共通接続ノードＮ₂からバッファ６３２へ出力される。

電流電圧変換部６３１で、スイッチ素子ＳＷ₁及びスイッチ素子ＳＷ₃がオン状態になる場合、又は、オフ状態になる場合のそれぞれにおいて、スイッチ素子ＳＷ₂及びスイッチ素子ＳＷ₄がオン状態又はオフ状態になることで、イベント検出部６３の検出閾値が変更される。

スイッチ素子ＳＷ₁及びスイッチ素子ＳＷ₃がオン状態で、スイッチ素子ＳＷ₂及びスイッチ素子ＳＷ₄がオフ状態の場合の電流電圧変換部６３１の実質的な回路構成を第１の回路構成として図１０に示す。

また、スイッチ素子ＳＷ₁及びスイッチ素子ＳＷ₃がオフ状態で、スイッチ素子ＳＷ₂及びスイッチ素子ＳＷ₄がオン状態の場合の電流電圧変換部６３１の実質的な回路構成を第２の回路構成として図１１に示す。

スイッチ素子ＳＷ₁及びスイッチ素子ＳＷ₃がオン状態で、スイッチ素子ＳＷ₂及びスイッチ素子ＳＷ₄がオフ状態の第１の回路構成の場合、電流電圧変換部６３１は、図１０に示すように、トランジスタ６３１１及びトランジスタ６３１４がカスケード接続されず、かつ、トランジスタ６３１３及びトランジスタ６３１５がカスケード接続されない回路構成となる。

スイッチ素子ＳＷ₁及びスイッチ素子ＳＷ₃がオフ状態で、スイッチ素子ＳＷ₂及びスイッチ素子ＳＷ₄がオン状態の第２の回路構成の場合、電流電圧変換部６３１は、図１１に示すように、トランジスタ６３１１及びトランジスタ６３１４がカスケード接続され、かつ、トランジスタ６３１３及びトランジスタ６３１５がカスケード接続された回路構成となる。

ここで、例えば、トランジスタ６３１１及びトランジスタ６３１３、並びに、トランジスタ６３１４及びトランジスタ６３１５が、同一の仕様の電界効果トランジスタから成るものとする。すると、図１１に示す第２の回路構成の場合のイベント検出部６３のゲイン（イベント検出閾値）は、図１０に示す第１の回路構成の場合の約２倍となる。

従って、図９の実施例１に係るイベント検出処理でのステップＳ１４の処理において、電流電圧変換部６３１の回路構成を、図１１に示す第２の回路構成から、図１０に示す第１の回路構成に切り替えることで、イベント検出閾値、即ち、イベント検出の検出感度を下げることができる。

尚、図６に示す構成の電流電圧変換部６３１では、トランジスタを２段のカスケード接続にする回路構成を例示したが、２段のカスケード接続に限定されるものではなく、３段以上のカスケード接続の回路構成にすることもできる。

ここでは、イベント検出閾値の制御について、電流電圧変換部６３１の回路構成を切り替える場合を例に挙げて説明したが、減算部６３３における容量素子６３３１と容量素子６３３３との容量比、又は、量子化部６３４における閾値電圧Ｖ_thを変えることによってもイベント検出閾値を制御することができる。

具体的には、図７に示す構成の減算部６３３において、第１の容量素子である容量素子６３３１と第２の容量素子である容量素子６３３３との容量比（Ｃ₁／Ｃ₂）を変えることにより、イベント検出閾値を制御することができる。また、図７に示す構成の量子化部６３４において、コンパレータ６３４１の反転（−）入力となる閾値電圧Ｖ_thをを調整することにより、イベント検出閾値を制御することができる。

［実施例２］
実施例２は、第１実施形態に係る撮像システム１Ａにおいて、雨量計の測定値とノイズ情報とを併用して、イベント検出閾値を制御する例である。実施例２に係るイベント検出処理の流れの一例を図１２のフローチャートに示す。

制御部３０は、イベント検出閾値として所定の初期設定値を設定し、イベント検出装置１０による撮影を行う（ステップＳ２１）。イベント検出装置１０によって撮影している状態において、制御部３０は、車外情報として与えられる雨量計の測定値を取得し（ステップＳ２２）、次いで、雨量計の測定値が所定の閾値以上か否かを判断する（ステップＳ２３）。所定の閾値以上でなければ（Ｓ２３のＮＯ）、ステップＳ２１に戻ってイベント検出装置１０による撮影を継続する。

制御部３０は、雨量計の測定値が所定の閾値以上であれば（Ｓ２３のＹＥＳ）、続いて、面内におけるイベント数（イベント検出数）が所定の閾値以上か否かを判断し（ステップＳ２４）、面内におけるイベント数が閾値以上でなければ（Ｓ２４のＮＯ）、ステップＳ２１に戻ってイベント検出装置１０による撮影を継続する。ここで、「面内」とは、イベント検出装置１０の画角に対応する撮影エリア内、又は、当該撮影エリア内の特定のエリア内をいう。

制御部３０は、面内におけるイベント数が閾値以上であれば（Ｓ２４のＹＥＳ）、イベント検出部６３の検出閾値を、例えば一定値上げる制御を行う（ステップＳ２５）。すなわち、雨量計の測定値が閾値以上で、かつ、面内におけるイベント数が閾値以上の場合、雨量が多く、しかも、多数の水滴等の発生が、本来、イベント検出装置１０でイベントとして検出したい物体（車や歩行者等）のノイズとなる可能性が高いと判断する。

そこで、制御部３０は、イベント検出部６３の検出閾値を上げるという制御を行うことで（ステップＳ２５）、イベント検出の検出感度（イベント検出装置１０のゲイン）を、水滴等の発生をノイズとして検出しないような感度に変更する。イベント検出閾値を上げた後も、イベント検出装置１０による撮影が継続され、イベント検出装置１０では、制御部３０によって変更された検出感度の下でイベントの検出処理が行われる。

制御部３０は再び、雨量計の測定値を取得し（ステップＳ２６）、次いで、雨量計の測定値が所定の閾値未満になったか否かを判断し（ステップＳ２７）、まだ所定の閾値以上であれば（Ｓ２７のＮＯ）、ステップＳ２６に戻って雨量計の測定値を取得を繰り返して実行する。そして、制御部３０は、雨量計の測定値が所定の閾値未満になったと判断した場合は（Ｓ２７のＹＥＳ）、イベント検出閾値を所定値だけ下げる、又は、初期設定値に戻す制御を行う（ステップＳ２８）。

イベント検出閾値を下げる、又は、初期設定値に戻す制御を行った後、制御部３０は、イベント検出装置１０による撮影の終了か否かを判断し（ステップＳ２９）、終了でなければ（Ｓ２９のＮＯ）、ステップＳ２１に戻って、上述した一連の処理を繰り返して実行する。制御部３０は、イベント検出装置１０による撮影の終了であれば（Ｓ２９のＹＥＳ）、イベント検出のための一連の処理を終了する。

＜第１実施形態に係る物体認識システムの構成例＞
次に、上記の構成の第１実施形態に係る撮像システム１Ａを用いて物体認識を行う、第１実施形態に係る物体認識システムについて説明する。第１実施形態に係る物体認識システムは、第１実施形態に係る撮像システム１Ａと同様に、車両等の移動体に搭載されてイベントの物体認識に用いることができる。

図１３は、第１実施形態に係る物体認識システムのシステム構成の一例を示すブロック図である。

図１３に示すように、第１実施形態に係る物体認識システム２Ａは、図１に示した第１実施形態に係る撮像システム１Ａにおけるイベント検出装置１０、制御部３０、データ処理部４０、及び、画像記録部５０に加えて、認識処理部６０を有する構成となっている。イベント検出装置１０、制御部３０、データ処理部４０、及び、画像記録部５０の詳細については、前述した通りである。

上記の構成の第１実施形態に係る物体認識システム２Ａにおいて、データ処理部４０で処理されたイベントデータは、認識処理部６０に供給される。認識処理部６０は、データ処理部４０から供給されるイベントデータに基づいて、イベントの物体認識の処理を行う。認識処理部６０での物体認識には、周知のパターン認識技術、例えば、教師データとして与えられる画像の特徴点と、撮影した被写体画像の特徴点とを比較することによって画像認識を行う技術を用いることができる。

［実施例３］
実施例３は、第１実施形態に係る物体認識システム２Ａにおいて、物体認識結果をイベント検出閾値の制御に反映させる例である。実施例３に係るイベント検出処理の流れの一例を図１４のフローチャートに示す。

制御部３０は、イベント検出閾値として所定の初期設定値を設定し、イベント検出装置１０による撮影を行う（ステップＳ３１）。イベント検出装置１０によって撮影している状態において、制御部３０は、車外情報として与えられる雨量計の測定値を取得し（ステップＳ３２）、次いで、雨量計の測定値が所定の閾値以上か否かを判断する（ステップＳ３３）。所定の閾値以上でなければ（Ｓ３３のＮＯ）、ステップＳ３１に戻ってイベント検出装置１０による撮影を継続する。

制御部３０は、雨量計の測定値が所定の閾値以上であれば（Ｓ３３のＹＥＳ）、イベント検出閾値を上げる制御を行い（ステップＳ３４）、イベント検出の検出感度を、水滴等の発生をノイズとして検出しないような感度に変更する。イベント検出閾値を上げた後も、イベント検出装置１０による撮影が継続され、イベント検出装置１０では、制御部３０によって変更された検出感度の下でイベントの検出が行われる。

次に、制御部３０は、イベント検出装置１０から出力されるイベントの発生を表すイベントデータに基づいて物体認識処理を行い（ステップＳ３５）、次いで、物体認識が成功か否かを判断する（ステップＳ３６）。ステップＳ３５の物体認識処理の具体例については後述する。物体認識が成功か否かについては、例えば、画角に占める車の領域が一定の割合以上であるか否かによって判断することができる。

制御部３０は、物体認識が失敗であれば（Ｓ３６のＮＯ）、ステップＳ３４に戻ってイベント検出閾値を上げる制御を行う。すなわち、ステップＳ３４→ステップＳ３５→ステップＳ３６→ステップＳ３４のループ処理により、物体を認識できる範囲までイベント検出閾値を上げる制御が行われることになる。イベント検出閾値を上げることで、水滴等によるノイズの影響を軽減することができる。

制御部３０は、物体認識が成功であれば（Ｓ３６のＹＥＳ）、雨量計の測定値を取得し（ステップＳ３７）、次いで、雨量計の測定値が所定の閾値未満になったか否かを判断し（ステップＳ３８）、まだ所定の閾値以上であれば（Ｓ３８のＮＯ）、ステップＳ３７に戻って雨量計の測定値を取得を繰り返して実行する。そして、制御部３０は、雨量計の測定値が所定の閾値未満になったと判断した場合は（Ｓ３８のＹＥＳ）、イベント検出閾値を所定値だけ下げる、又は、初期設定値に戻す制御を行う（ステップＳ３９）。

イベント検出閾値を下げる、又は、初期設定値に戻す制御を行った後、制御部３０は、イベント検出装置１０による撮影の終了か否かを判断し（ステップＳ４０）、終了でなければ（Ｓ４０のＮＯ）、ステップＳ４１に戻って、上述した一連の処理を繰り返して実行する。制御部３０は、イベント検出装置１０による撮影の終了であれば（Ｓ４０のＹＥＳ）、イベント検出のための一連の処理を終了する。

図１５は、ステップＳ３５の物体認識処理の具体例の処理の一例を示すフローチャートである。

制御部３０は、イベント検出装置１０の情報（例えば、イベントの発生を表すイベントデータ）を用いて物体、例えば車を検知し（ステップＳ４１）、次いで、画角内において車として検知できるエリアを特定する処理を行う（ステップＳ４２）。次に、制御部３０は、車として検知できるエリアが、所定の閾値以上であるか否かを判断し（ステップＳ４３）、所定の閾値未満であれば（Ｓ４３のＮＯ）、ステップＳ４２の処理に戻り、所定の閾値以上であれば（Ｓ４３のＹＥＳ）、車（物体）として認識し、図１４のフローに戻り、ステップＳ３６の処理に移行する。

尚、上述した実施例３では、雨量計の測定値に基づいてイベント検出閾値を制御する実施例１に対して、物体認識結果をイベント検出閾値の制御に反映させる技術を適用した場合を例示したが、雨量計の測定値とノイズ情報とを併用して、イベント検出閾値を制御する実施例２に対しても、同様に適用することができる。

≪本開示の第２実施形態≫
＜第２実施形態に係る撮像システムの構成例＞
図１６は、本開示の第２実施形態に係る撮像システムのシステム構成の一例を示すブロック図である。

図１６に示すように、本開示の第２実施形態に係る撮像システム１Ｂは、イベント検出装置１０、撮像装置２０、制御部３０、データ処理部４０、及び、画像記録部５０を有する構成となっている。イベント検出装置１０、制御部３０、データ処理部４０、及び、画像記録部５０については、第１実施形態に係る撮像システム１Ａにおいて説明した通りである。

撮像装置２０は、垂直同期信号に同期して固定のフレームレートで撮像を行い、フレーム形式の画像データを出力する同期型の撮像装置を用いることができる。同期型の撮像装置としては、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサや、ＣＣＤ（Charge Coupled Device）型イメージセンサ等を例示することができる。

＜撮像装置の構成例＞
第２実施形態に係る撮像システム１Ｂにおける撮像装置２０の基本的な構成について説明する。ここでは、撮像装置２０として、Ｘ−Ｙアドレス方式の撮像装置の一種であるＣＭＯＳ型イメージセンサを例に挙げて説明する。ＣＭＯＳ型イメージセンサは、ＣＭＯＳプロセスを応用して、又は、部分的に使用して作製されたイメージセンサである。但し、撮像装置２０としては、ＣＭＯＳ型イメージセンサに限られるものではない。

［ＣＭＯＳ型イメージセンサの構成例］
図１７は、本開示の第２実施形態に係る撮像システム１Ｂにおける撮像装置２０の一例であるＣＭＯＳイメージセンサの構成の概略を示すブロック図である。

本例に係る撮像装置２０は、受光部（光電変換部）を含む画素２１が行方向及び列方向に、即ち、行列状に２次元配置されて成る画素アレイ部２２、及び、当該画素アレイ部２２の周辺回路部を有する構成となっている。ここで、行方向とは、画素行の画素２１の配列方向を言い、列方向とは、画素列の画素２１の配列方向を言う。画素２１は、光電変換を行うことにより、受光した光量に応じた光電荷を生成し、蓄積する。

本例に係る撮像装置２０は、画素アレイ部２２の各画素２１に、例えば、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）の各色フィルタが組み込まれたＲＧＢセンサである。但し、撮像装置２０は、ＲＧＢセンサに限られるものではない。

画素アレイ部２２の周辺回路部は、例えば、行選択部２３、定電流源部２４、アナログ−デジタル変換部２５、水平転送走査部２６、信号処理部２７、及び、タイミング制御部２８等によって構成されている。

画素アレイ部２２において、行列状の画素配列に対し、画素行毎に画素駆動線３１₁〜３１_m（以下、総称して「画素駆動線３１」と記述する場合がある）が行方向に沿って配線されている。また、画素列毎に垂直信号線３２₁〜３２_n（以下、総称して「垂直信号線３２」と記述する場合がある）が列方向に沿って配線されている。画素駆動線３１は、画素２１から信号を読み出す際の駆動を行うための駆動信号を伝送する。図１では、画素駆動線３１について１本の配線として図示しているが、１本に限られるものではない。画素駆動線３１の一端は、行選択部２３の各行に対応した出力端に接続されている。

以下に、画素アレイ部２２の周辺回路部の各回路部、即ち、行選択部２３、定電流源部２４、アナログ−デジタル変換部２５、水平転送走査部２６、信号処理部２７、及び、タイミング制御部２８について説明する。

行選択部２３は、シフトレジスタやアドレスデコーダなどによって構成され、画素アレイ部２２の各画素２１の選択に際して、画素行の走査や画素行のアドレスを制御する。この行選択部２３は、その具体的な構成については図示を省略するが、一般的に、読出し走査系と掃出し走査系の２つの走査系を有する構成となっている。

読出し走査系は、画素２１から画素信号を読み出すために、画素アレイ部２２の各画素２１を行単位で順に選択走査する。画素２１から読み出される画素信号はアナログ信号である。掃出し走査系は、読出し走査系によって読出し走査が行われる読出し行に対して、その読出し走査よりもシャッタスピードの時間分だけ先行して掃出し走査を行う。

この掃出し走査系による掃出し走査により、読出し行の画素２１の受光部（光電変換部）から不要な電荷が掃き出されることによって当該受光部がリセットされる。そして、この掃出し走査系による不要電荷の掃き出す（リセットする）ことにより、所謂、電子シャッタ動作が行われる。ここで、電子シャッタ動作とは、受光部の光電荷を捨てて、新たに露光を開始する（光電荷の蓄積を開始する）動作のことを言う。

定電流源部２４は、画素列毎に垂直信号線３２₁〜３２_nの各々に接続された、例えばＭＯＳトランジスタから成る複数の電流源Ｉ（図１８参照）を備えており、行選択部２３によって選択走査された画素行の各画素２１に対し、垂直信号線３２₁〜３２_nの各々を通してバイアス電流を供給する。

アナログ−デジタル変換部２５は、画素アレイ部２２の画素列に対応して設けられた（例えば、画素列毎に設けられた）複数のアナログ−デジタル変換器の集合から成る。アナログ−デジタル変換部２５は、画素列毎に垂直信号線３２₁〜３２_nの各々を通して出力されるアナログの画素信号を、デジタル信号に変換する列並列型のアナログ−デジタル変換部である。

列並列アナログ−デジタル変換部２５におけるアナログ−デジタル変換器としては、例えば、参照信号比較型のアナログ−デジタル変換器の一例であるシングルスロープ型のアナログ−デジタル変換器を用いることができる。但し、アナログ−デジタル変換器としては、シングルスロープ型のアナログ−デジタル変換器に限られるものではなく、逐次比較型のアナログ−デジタル変換器やデルタ−シグマ変調型（ΔΣ変調型）のアナログ−デジタル変換器などを用いることができる。

この列並列アナログ−デジタル変換部２５におけるアナログ−デジタル変換器の例については、先述したイベント検出装置１０のカラム処理部１５（図２参照）を構成するアナログ−デジタル変換部におけるアナログ−デジタル変換器においても同様である。

水平転送走査部２６は、シフトレジスタやアドレスデコーダなどによって構成され、画素アレイ部２２の各画素２１の信号の読出しに際して、画素列の走査や画素列のアドレスを制御する。この水平転送走査部２６による制御の下に、アナログ−デジタル変換部２５でデジタル信号に変換された画素信号が画素列単位で水平転送線（水平出力線）２９に読み出される。

信号処理部２７は、水平転送線２９を通して供給されるデジタルの画素信号に対して、所定の信号処理を行い、２次元の画像データを生成する。例えば、信号処理部２７は、縦線欠陥、点欠陥の補正、又は、信号のクランプを行ったり、パラレル−シリアル変換、圧縮、符号化、加算、平均、及び、間欠動作などデジタル信号処理を行ったりする。信号処理部２７は、生成した画像データを、本撮像装置２０の出力信号として後段の装置に出力する。

タイミング制御部２８は、外部から供給される垂直同期信号ＶＤや水平同期信号ＨＤ、更には、マスタークロックＭＣＫ（図示せず）等に基づいて、各種のタイミング信号、クロック信号、及び、制御信号等を生成する。そして、タイミング制御部２８は、これら生成した信号を基に、行選択部２３、定電流源部２４、アナログ−デジタル変換部２５、水平転送走査部２６、及び、信号処理部２７等の駆動制御を行う。

このタイミング制御部２８による制御の下に、本撮像装置２０では、垂直同期信号ＶＤ等の同期信号に同期して撮像が行われる。すなわち、本撮像装置２０は、固定のフレームレートで撮像を行う同期型の撮像装置である。

［画素の回路構成例］
図１８は、撮像装置２０における画素アレイ部２２の画素２１の回路構成の一例を示す回路図である。

画素２１は、受光部（光電変換部）として、例えば、フォトダイオード２１１を有している。画素２１は、フォトダイオード２１１の他に、転送トランジスタ２１２、リセットトランジスタ２１３、増幅トランジスタ２１４、及び、選択トランジスタ２１５を有する画素構成となっている。

尚、ここでは、転送トランジスタ２１２、リセットトランジスタ２１３、増幅トランジスタ２１４、及び、選択トランジスタ２１５の４つのトランジスタとして、例えばＮ型のＭＯＳトランジスタを用いているが、ここで例示した４つのトランジスタ２１２〜２１５の導電型の組み合わせは一例に過ぎず、これらの組み合わせに限られるものではない。

この画素２１に対して、先述した画素駆動線３１として、複数の画素駆動線が同一画素行の各画素２１に対して共通に配線されている。これら複数の画素駆動線は、行選択部２３の各画素行に対応した出力端に画素行単位で接続されている。行選択部２３は、複数の画素駆動線に対して転送信号ＴＲＧ、リセット信号ＲＳＴ、及び、選択信号ＳＥＬを適宜出力する。

フォトダイオード２１１は、アノード電極が低電位側電源(例えば、グランド)に接続されており、受光した光をその光量に応じた電荷量の光電荷（ここでは、光電子）に光電変換してその光電荷を蓄積する。フォトダイオード２１１のカソード電極は、転送トランジスタ２１２を介して増幅トランジスタ２１４のゲート電極と電気的に接続されている。ここで、増幅トランジスタ２１４のゲート電極が電気的に繋がった領域は、フローティングディフュージョン（浮遊拡散領域／不純物拡散領域）ＦＤである。フローティングディフュージョンＦＤは、電荷を電圧に変換する電荷電圧変換部である。

転送トランジスタ２１２のゲート電極には、高レベル（例えば、Ｖ_DDレベル）がアクティブとなる転送信号ＴＲＧが行選択部２３から与えられる。転送トランジスタ２１２は、転送信号ＴＲＧに応答してオン状態となることにより、フォトダイオード２１１で光電変換され、当該フォトダイオード２１１に蓄積された光電荷をフローティングディフュージョンＦＤに転送する。

リセットトランジスタ２１３は、電源電圧Ｖ_DDの電源ラインとフローティングディフュージョンＦＤとの間に接続されている。リセットトランジスタ２１３のゲート電極には、高レベルがアクティブとなるリセット信号ＲＳＴが行選択部２３から与えられる。リセットトランジスタ２１３は、リセット信号ＲＳＴに応答してオン状態となり、フローティングディフュージョンＦＤの電荷を電源電圧Ｖ_DDのノードに捨てることによってフローティングディフュージョンＦＤをリセットする。

増幅トランジスタ２１４は、ゲート電極がフローティングディフュージョンＦＤに接続され、ドレイン電極が電源電圧Ｖ_DDの電源ラインに接続されている。増幅トランジスタ２１４は、フォトダイオード２１１での光電変換によって得られる信号を読み出すソースフォロワの入力部となる。増幅トランジスタ２１４は、ソース電極が選択トランジスタ２１５を介して垂直信号線３２に接続される。そして、増幅トランジスタ２１４と、垂直信号線３２の一端に接続される電流源Ｉとは、フローティングディフュージョンＦＤの電圧を垂直信号線３２の電位に変換するソースフォロワを構成している。

選択トランジスタ２１５は、ドレイン電極が増幅トランジスタ２１４のソース電極に接続され、ソース電極が垂直信号線３２に接続されている。選択トランジスタ２１５のゲート電極には、高レベルがアクティブとなる選択信号ＳＥＬが行選択部２３から与えられる。選択トランジスタ２１５は、選択信号ＳＥＬに応答してオン状態となることにより、画素２１を選択状態として増幅トランジスタ２１４から出力される信号を垂直信号線３２に伝達する。

尚、ここでは、画素２１の画素回路として、転送トランジスタ２１２、リセットトランジスタ２１３、増幅トランジスタ２１４、及び、選択トランジスタ２１５から成る、即ち４つのトランジスタ（Ｔｒ）から成る４Ｔｒ構成を例に挙げたが、これに限られるものではない。例えば、選択トランジスタ２１５を省略し、増幅トランジスタ２１４に選択トランジスタ２５の機能を持たせる３Ｔｒ構成とすることもできるし、必要に応じて、トランジスタの数を増やした５Ｔｒ以上の構成とすることもできる。

［チップ構造の構成例］
上記の構成の撮像装置２０のチップ（半導体集積回路）構造としては、平置型のチップ構造及び積層型のチップ構造を例示することができる。平置型のチップ構造及び積層型のチップ構造のいずれの撮像装置２０においても、画素２１について、配線層が配される側の基板面を表面（正面）とするとき、表面側から照射される光を取り込む表面照射型の画素構造とすることもできるし、その反対側の裏面側から照射される光を取り込む裏面照射型の画素構造とすることができる。以下に、平置型のチップ構造及び積層型のチップ構造について説明する。

（平置型のチップ構造）
図１９は、撮像装置２０の平置型のチップ構造の概略を示す平面図である。

図１９に示すように、平置型のチップ構造（所謂、平置構造）は、画素２１が行列状に配置されて成る画素アレイ部２２と同じ半導体基板２０１上に、画素アレイ部２２の周辺の回路部分を形成した構造となっている。具体的には、画素アレイ部２２と同じ半導体基板２０１上に、行選択部２３、定電流源部２４、アナログ−デジタル変換部２５、水平転送走査部２６、信号処理部２７、及び、タイミング制御部２８等が形成されている。

（積層型のチップ構造）
図２０は、撮像装置２０の積層型のチップ構造の概略を示す分解斜視図である。

図２０に示すように、積層型のチップ構造（所謂、積層構造）は、第１半導体基板２０２及び第２半導体基板２０３の少なくとも２つの半導体基板が積層された構造となっている。この積層構造において、画素アレイ部２２は、１層目の第１半導体基板２０２に形成される。また、行選択部２３、定電流源部２４、アナログ−デジタル変換部２５、水平転送走査部２６、信号処理部２７、及び、タイミング制御部２８等の回路部分は、２層目の第２半導体基板２０３に形成される。そして、１層目の第１半導体基板２０２と２層目の第２半導体基板２０３とは、ビア（ＶＩＡ）やＣｕ−Ｃｕ接合などの接続部３３Ａ，３３Ｂを通して電気的に接続される。

この積層構造の撮像装置２０によれば、１層目の第１半導体基板２０２には画素２１の作製に適したプロセスを適用でき、２層目の第２半導体基板２０３には回路部分の作製に適したプロセスを適用できるため、撮像装置２０の製造に当たって、プロセスの最適化を図ることができる。特に、回路部分の作製に当たっては、先端プロセスの適用が可能になる。

尚、ここでは、第１半導体基板２０２及び第２半導体基板２０３が積層されて成る２層構造の積層構造を例示したが、積層構造としては、２層構造に限られるものではなく、３層以上の構造とすることもできる。そして、３層以上の積層構造の場合、行選択部２３、定電流源部２４、アナログ−デジタル変換部２５、水平転送走査部２６、及び、信号処理部２７等の回路部分については、２層目以降の半導体基板に分散して形成することができる。

＜第２実施形態に係る物体認識システムのシステム構成例＞
次に、上記の構成の第２実施形態に係る撮像システム１Ｂを用いて物体認識を行う、第２実施形態に係る物体認識システムについて説明する。第２実施形態に係る物体認識システムは、第２実施形態に係る撮像システム１Ｂと同様に、車両等の移動体に搭載されてイベントの物体認識に用いることができる。

図２１は、第２実施形態に係る物体認識システムのシステム構成の一例を示すブロック図である。

図２１に示すように、第２実施形態に係る物体認識システム２Ｂは、図１６に示した第２実施形態に係る撮像システム１Ｂにおけるイベント検出装置１０、撮像装置２０、制御部３０、データ処理部４０、及び、画像記録部５０に加えて、認識処理部６０を有する構成となっている。イベント検出装置１０、撮像装置２０、制御部３０、データ処理部４０、及び、画像記録部５０の詳細については、前述した通りである。

上記の構成の第２実施形態に係る物体認識システム２Ｂにおいて、イベント検出装置１０から出力されるイベントデータ、及び、撮像装置２０から出力される画像データは、データ処理部４０で所定のデータ処理が施された後、認識処理部６０に供給される。認識処理部６０は、データ処理部４０から供給されるイベントデータ、又は、画像データに基づいて、イベントの物体認識の処理を行う。認識処理部６０での物体認識には、周知のパターン認識技術、例えば、教師データとして与えられる画像の特徴点と、撮影した被写体画像の特徴点とを比較することによって画像認識を行う技術を用いることができる。

以下に、上記の構成の第２実施形態に係る物体認識システム２Ｂにおいて実行される、イベント検出の具体的な処理の実施例について説明する。第２実施形態に係る物体認識システム２Ｂでは、イベント検出装置１０から出力されるイベントデータ、及び、撮像装置２０から出力される画像データに基づいて、車等の物体についての物体認識の処理が行われる。

因みに、非同期型の撮像装置から成るイベント検出装置１０では、イベント検出部６３を有する画素構成がとられる。そのため、イベント検出装置１０は、同期型の撮像装置２０に比べて画素サイズが大きくならざるを得ないため、固定のフレームレートで撮像を行う撮像装置２０に比べて解像度が低い。一方、同期型の撮像装置から成る撮像装置２０は、非同期型の撮像装置に比べて解像度に優れている。

［実施例４］
実施例４は、第２実施形態に係る物体認識システム２Ｂにおいて、物体認識結果をイベント検出閾値の制御に反映させる例である。実施例４に係るイベント検出処理の流れの一例を図２２のフローチャートに示す。

制御部３０は、イベント検出閾値として所定の初期設定値を設定し、イベント検出装置１０による撮影を行う（ステップＳ５１）。イベント検出装置１０によって撮影している状態において、制御部３０は、車外情報として与えられる雨量計の測定値を取得し（ステップＳ５２）、次いで、雨量計の測定値が所定の閾値以上か否かを判断する（ステップＳ５３）。所定の閾値以上でなければ（Ｓ５３のＮＯ）、ステップＳ５１に戻ってイベント検出装置１０による撮影を継続する。

制御部３０は、雨量計の測定値が所定の閾値以上であれば（Ｓ５３のＹＥＳ）、イベント検出閾値を上げる制御を行い（ステップＳ５４）、イベント検出の検出感度を、水滴等の発生をノイズとして検出しないような感度に変更する。イベント検出閾値を上げた後も、イベント検出装置１０による撮影が継続され、イベント検出装置１０では、制御部３０によって変更された検出感度でイベントの検出が行われる。

次に、制御部３０は、画角に占める車の領域が一定割合以上であるか否かを判断するための物体認識処理を行い（ステップＳ５５）、次いで、物体認識が成功か否かを判断し（ステップＳ５６）、失敗であれば（Ｓ５６のＮＯ）、ステップＳ５４に戻ってイベント検出閾値を上げる制御を行う。すなわち、ステップＳ５４→ステップＳ５５→ステップＳ５６→ステップＳ５４のループ処理により、物体を認識できる範囲までイベント検出閾値を上げる制御が行われることになる。イベント検出閾値を上げることで、水滴等によるノイズの影響を軽減することができる。ステップＳ５５の物体認識処理の具体例については後述する。

制御部３０は、物体認識が成功であれば（Ｓ５６のＹＥＳ）、雨量計の測定値を取得し（ステップＳ５７）、次いで、雨量計の測定値が所定の閾値未満になったか否かを判断し（ステップＳ５８）、まだ所定の閾値以上であれば（Ｓ５８のＮＯ）、ステップＳ５７に戻って雨量計の測定値の取得を繰り返して実行する。そして、制御部３０は、雨量計の測定値が所定の閾値未満になり、天候が回復したと判断した場合には（Ｓ５８のＹＥＳ）、イベント検出閾値を下げる、又は、初期設定値に戻す制御を行う（ステップＳ５９）。

イベント検出閾値を下げる、又は、初期設定値に戻す制御を行った後、制御部３０は、イベント検出装置１０による撮影の終了か否かを判断し（ステップＳ６０）、終了でなければ（Ｓ６０のＮＯ）、ステップＳ５１に戻って、上述した一連の処理を繰り返して実行する。制御部３０は、イベント検出装置１０による撮影の終了であれば（Ｓ６０のＹＥＳ）、イベント検出のための一連の処理を終了する。

図２３は、ステップＳ５５の物体認識処理の具体的な処理の一例を示すフローチャートである。

制御部３０は、非同期型の撮像装置から成るイベント検出装置１０の情報のみで物体、例えば車を検知することが可能か否かを判断し（ステップＳ６１）、可能であれば（Ｓ６１のＹＥＳ）、イベント検出装置１０の情報（例えば、イベントの発生を表すイベントデータ）を用いて物体、例えば車を検知する（ステップＳ６２）。

次に、制御部３０は、画角内において車として検知できるエリアを特定する（ステップＳ６３）。制御部３０は、イベント検出装置１０のみで車を検知することが不可能であれば（Ｓ６１のＮＯ）、イベント検出装置１０の情報、及び、イベント検出装置１０に比べて解像度に優れている撮像装置２０の情報を用いて車を検知し（ステップＳ６４）、しかる後、ステップＳ６３の処理に移行する。

次に、制御部３０は、車として検知できるエリアが、所定の閾値以上であるか否かを判断し（ステップＳ６５）、所定の閾値未満であれば（Ｓ６５のＮＯ）、ステップＳ６３の処理に戻り、所定の閾値以上であれば（Ｓ６５のＹＥＳ）、車（物体）として認識し、図２２のフローに戻り、ステップＳ５６の処理に移行する。

上述したように、物体認識処理において、イベント検出装置１０のみで車を検知することができない場合には、非同期型の撮像装置に比べて解像度に優れている撮像装置２０を併用することにより、例えば雨天などの悪天候の場合でも、より高い精度で物体認識処理を行うことができる。

［実施例５］
実施例５は、第２実施形態に係る物体認識システム２Ｂにおいて、雨量計の測定値とノイズ情報とを併用して、イベント検出閾値を制御する例である。実施例５に係るイベント検出処理の流れの一例を図２４のフローチャートに示す。

制御部３０は、イベント検出閾値として所定の初期設定値を設定し、イベント検出装置１０による撮影を行う（ステップＳ７１）。イベント検出装置１０によって撮影している状態において、制御部３０は、車外情報として与えられる雨量計の測定値を取得し（ステップＳ７２）、次いで、雨量計の測定値が所定の閾値以上か否かを判断する（ステップＳ７３）。所定の閾値以上でなければ（Ｓ７３のＮＯ）、ステップＳ７１に戻ってイベント検出装置１０による撮影を継続する。

制御部３０は、雨量計の測定値が所定の閾値以上であれば（Ｓ７３のＹＥＳ）、続いて、例えばフロントガラスの面内におけるイベント数（イベント検出数）が所定の閾値以上か否かを判断し（ステップＳ７４）、面内におけるイベント数が閾値以上でなければ（Ｓ７４のＮＯ）、ステップＳ７１に戻ってイベント検出装置１０による撮影を継続する。

制御部３０は、面内におけるイベント数が閾値以上であれば（Ｓ７４のＹＥＳ）、イベント検出閾値を上げる制御を行う（ステップＳ７５）。すなわち、雨量計の測定値が閾値以上で、かつ、面内におけるイベント数が閾値以上の場合、雨量が多く、しかも、多数の水滴等の発生が、本来、イベント検出装置１０でイベントとして検出したい物体（車や歩行者等）のノイズとなる可能性が高いと判断する。

そこで、制御部３０は、イベント検出閾値を上げるという制御を行うことで（ステップＳ７５）、イベント検出の検出感度を、水滴等の発生をノイズとして検出しないような感度に変更する。イベント検出閾値を上げた後も、イベント検出装置１０による撮影が継続され、イベント検出装置１０では、制御部３０によって変更された検出感度でイベントの検出処理が行われる。

次に、制御部３０は、物体認識処理（図２３の物体認識処理）を行い（ステップＳ７６）、次いで、物体認識が成功か否かを判断し（ステップＳ７７）、物体認識が失敗、即ち、画角に占める車の領域が一定割合未満であれば（Ｓ７７のＮＯ）、ステップＳ７５に戻ってイベント検出閾値を上げる制御を行う。すなわち、ステップＳ７５→ステップＳ７６→ステップＳ７７→ステップＳ７５のループ処理により、物体を認識できる範囲までイベント検出閾値を上げる制御が行われることになる。イベント検出閾値を上げることで、水滴等によるノイズの影響を軽減することができる。

制御部３０は、物体認識が成功、即ち、画角に占める車の領域が一定割合以上であれば（Ｓ７７のＹＥＳ）、雨量計の測定値を取得し（ステップＳ７８）、次いで、雨量計の測定値が所定の閾値未満になったか否かを判断し（ステップＳ７９）、まだ所定の閾値以上であれば（Ｓ７９のＮＯ）、ステップＳ７８に戻って雨量計の測定値の取得を繰り返して実行する。そして、制御部３０は、雨量計の測定値が所定の閾値未満になり、天候が回復したと判断した場合には（Ｓ７９のＹＥＳ）、イベント検出閾値を下げる、又は、初期設定値に戻す制御を行う（ステップＳ８０）。

イベント検出閾値を下げる、又は、初期設定値に戻す制御を行った後、制御部３０は、イベント検出装置１０による撮影の終了か否かを判断し（ステップＳ８１）、終了でなければ（Ｓ８１のＮＯ）、ステップＳ７１に戻って、上述した一連の処理を繰り返して実行する。制御部３０は、イベント検出装置１０による撮影の終了であれば（Ｓ８１のＹＥＳ）、イベント検出のための一連の処理を終了する。

［実施例６］
実施例６は、第２実施形態に係る物体認識システム２Ｂにおいて、イベント検出閾値の制御の前後に物体認識処理を２回実行する例である。実施例６に係るイベント検出処理の流れの一例を図２５のフローチャートに示す。

制御部３０は、イベント検出閾値として所定の初期設定値を設定し、イベント検出装置１０による撮影を行う（ステップＳ９１）。イベント検出装置１０によって撮影している状態において、制御部３０は、車外情報として与えられる雨量計の測定値を取得し（ステップＳ９２）、次いで、雨量計の測定値が所定の閾値以上か否かを判断する（ステップＳ９３）。所定の閾値以上でなければ（Ｓ９３のＮＯ）、ステップＳ９１に戻ってイベント検出装置１０による撮影を継続する。

制御部３０は、雨量計の測定値が所定の閾値以上であれば（Ｓ９３のＹＥＳ）、物体認識処理（図２３の物体認識処理）を実行し（ステップＳ９５）、物体認識が成功、即ち、画角に占める車の領域が一定割合以上であれば（Ｓ９５のＮＯ）、雨量が多い状況でも、物体認識が可能であると判断し、ステップＳ９１に戻って上述した処理を繰り返して実行する。

制御部３０は、物体認識が失敗であれば（Ｓ９５のＹＥＳ）、雨量が多いため物体認識を行うことが困難であると判断し、イベント検出閾値を上げる制御を行う（ステップＳ９６）。イベント検出閾値を上げた後も、イベント検出装置１０による撮影が継続され、イベント検出装置１０では、制御部３０によって変更された検出感度でイベントの検出処理が行われる。

制御部３０は、イベント検出閾値を上げた後再度、物体認識処理（図２３の物体認識処理）を行い（ステップＳ９７）、次いで、物体認識が成功か否かを判断し（ステップＳ９８）、物体認識が失敗、即ち、画角に占める車の領域が一定割合未満であれば（Ｓ９８のＮＯ）、ステップＳ９６に戻ってイベント検出閾値を上げる制御を行う。すなわち、ステップＳ９６→ステップＳ９７→ステップＳ９８→ステップＳ９６のループ処理により、物体を認識できる範囲までイベント検出閾値を上げる制御が行われることになる。イベント検出閾値を上げることで、水滴等によるノイズの影響を軽減することができる。

制御部３０は、物体認識が成功であれば（Ｓ９８のＹＥＳ）、雨量計の測定値を取得し（ステップＳ９９）、次いで、雨量計の測定値が所定の閾値未満になったか否かを判断し（ステップＳ１００）、まだ所定の閾値以上であれば（Ｓ１００のＮＯ）、ステップＳ９９に戻って雨量計の測定値の取得を繰り返して実行する。そして、制御部３０は、雨量計の測定値が所定の閾値未満になり、天候が回復したと判断した場合には（Ｓ１００のＹＥＳ）、イベント検出閾値を下げる、又は、初期設定値に戻す制御を行う（ステップＳ１０１）。

イベント検出閾値を下げる、又は、初期設定値に戻す制御を行った後、制御部３０は、イベント検出装置１０による撮影の終了か否かを判断し（ステップＳ１０２）、終了でなければ（Ｓ１０２のＮＯ）、ステップＳ９１に戻って、上述した一連の処理を繰り返して実行する。制御部３０は、イベント検出装置１０による撮影の終了であれば（Ｓ１０２のＹＥＳ）、イベント検出のための一連の処理を終了する。

［実施例７］
車の走行中に、イベント検出装置１０でイベントとして検出したい物体が複数存在する場合や、雨天走行中に、フロントガラスの領域によって水滴が多く付着したり、全く水滴が付着しなかったりする場合がある。イベントとして検出したい物体が複数存在する場合様子を図２６Ａに示し、水滴が多く付着したり、全く水滴が付着しなかったりする場合の様子を図２６Ｂに示す。

図２６Ａには、イベントを検出する領域を、前方を走行する車を含む領域Ａ、走行方向の左側を歩く歩行者を含む領域Ｂ、及び、走行方向の左側を走行するバイクを含む領域Ｃの３つの領域に分けた場合を例示している。図２６Ｂには、フロントガラスに水滴が多く付着した領域Ａ、水滴が少なめに付着した領域Ｂ、及び、付着した水滴が極めて少ない、又は、水滴が全く付着しない領域Ｃの３つの領域に分けた場合を例示している。

実施例７は、図２６Ａや図２６Ｂに示す状況下において、領域別にイベント検出閾値の制御を行う例である。実施例７に係るイベント検出処理の流れの一例を図２７のフローチャートに示す。

例えば、図２１に示す第２実施形態に係る物体認識システム２Ｂにおいて、制御部３０は、先ず、領域を判別する処理を行う（ステップＳ１１１）。ステップＳ１１１の領域判別処理において、図２６Ａの車を含む領域Ａ、歩行者を含む領域Ｂ、及び、バイクを含む領域Ｃの判別は、例えば、周知のパターン認識技術、例えば、教師データとして与えられる画像の特徴点と、撮影した被写体画像の特徴点とを比較することによって画像認識を行う技術を用いて行うことができる。また、図２６Ｂの水滴が多く付着した領域Ａ、水滴が少なめに付着した領域Ｂ、及び、付着した水滴が極めて少ない領域Ｃの判別は、例えば、イベント検出装置１０によって水滴をイベントとして検出するイベント数に基づいて行うことができる。

次に、制御部３０は、ステップＳ１１１での領域判別処理の結果を基に、イベント検出の対象とする領域を決める（ステップＳ１１２）。そして、制御部３０は、領域Ａの場合、領域Ａに対応したイベント検出処理を実行し（ステップＳ１１３）、領域Ｂの場合、領域Ｂに対応したイベント検出処理を実行し（ステップＳ１１４）、領域Ｃの場合、領域Ｃに対応したイベント検出処理を実行する（ステップＳ１１５）。

ステップＳ１１３、ステップＳ１１４、及び、ステップＳ１１５のイベント検出処理には、例えば、先述した実施例４乃至実施例６に係るイベント検出処理を適用することができる。ここで、例えば、図２６Ｂの水滴が多く付着した領域Ａ、水滴が少なめに付着した領域Ｂ、及び、付着した水滴が極めて少ない領域Ｃのイベント検出閾値の制御について説明する。この場合、例えば、イベント検出閾値の初期設定値を、領域Ａ／Ｂ／Ｃに対応した値に設定することで、各領域に対応したイベント検出閾値の制御を行えることになる。その結果、例えば、水滴が多く付着した領域Ａに含まれる、車、歩行者、バイク等の物体の認識精度を上げることができる。尚、イベント検出処理の他の例として、先述した実施例４乃至実施例６に係るイベント検出処理おいて、悪天候か否かの判別を行った後に、領域判別処理を行うようにすることもできる。

≪変形例≫
以上、本開示に係る技術について、好ましい実施形態に基づき説明したが、本開示に係る技術は当該実施形態に限定されるものではない。上記の実施形態において説明した撮像システム及び物体認識システムの構成、構造は例示であっ、変更することができる。例えば、上記の実施形態では、受光部６１毎に画素信号生成部６２を設けて画素１１を構成するとしたが、複数の受光部３１を単位としてブロック化し、各画素ブロックに画素信号生成部６２を１つずつ設けて、当該画素信号生成部６２を画素ブロック内の複数の受光部６１を共有する構成とすることもできる。

≪本開示に係る技術の適用例≫
本開示に係る技術は、様々な製品に適用することができる。以下に、より具体的な適用例について説明する。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される撮像システムや物体認識システムとして実現されてもよい。

＜移動体＞
図２８は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図２８に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２８では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。

駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

ここで、図２９は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

尚、図２９には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

図２８に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global System of Mobile communications）、ＷｉＭＡＸ、ＬＴＥ（Long Term Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。

専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。尚、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。尚、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２８の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

尚、図２８に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部７９１０，７９１２，７９１４，７９１６，７９１８等に適用され得る。具体的には、これらの撮像部に対して、本開示の撮像システムを適用することができる。本開示の撮像システムは、雨や雪などの悪天候の影響を受けることなく、イベントの物体認識を精度よく行うことができるため、安全な車両走行の実現に寄与することが可能となる。

≪本開示がとることができる構成≫
尚、本開示は、以下のような構成をとることもできる。

＜Ａ．撮像システム＞
［Ａ−１］イベントを検出するイベント検出装置、及び、
イベント検出装置を制御する制御部を備え、
制御部は、車外情報に基づいて、イベント検出装置によるイベント検出の検出感度を制御する、
撮像システム。
［Ａ−２］イベント検出装置は、入射光を光電変換する画素の輝度変化が検出閾値を超えたことをイベントとして検出するイベント検出部を有する、
上記［Ａ−１］に記載の撮像システム。
［Ａ−３］移動体に搭載されて用いられる、
上記［Ａ−２］に記載の撮像システム。
［Ａ−４］制御部は、車外情報に基づいて、イベント検出部の検出閾値を制御する、
上記［Ａ−３］に記載の撮像システム。
［Ａ−５］制御部は、車外情報が悪天候を示す情報であるとき、イベント検出部の検出閾値を上げる制御を行う、
上記［Ａ−４］に記載の撮像システム。
［Ａ−６］制御部は、イベント検出部の検出閾値を上げた後、天候が回復したことを示す車外情報を受けたときは、イベント検出部の検出閾値を下げる、又は、初期設定値に戻す制御を行う、
上記［Ａ−５］に記載の撮像システム。
［Ａ−７］イベント検出部は、画素の光電流を、光電流に対応する電圧に変換する電流電圧変換部を有し、
電流電圧変換部は、トランジスタがカスケード接続された回路構成と、カスケード接続されてない回路構成とに切り替えが可能であり、
制御部は、車外情報に基づいて、電流電圧変換部の回路構成を切り替えることにより、イベント検出部の検出閾値を制御する、
上記［Ａ−４］乃至上記［Ａ−６］のいずれかに記載の撮像システム。
［Ａ−８］イベント検出部は、第１の容量素子及び第２の容量素子を含み、画素の光電流に対応する電圧について、異なるタイミングどうしの電圧の差信号を求める減算部を有し、
制御部は、車外情報に基づいて、減算部の第１の容量素子と第２の容量素子との容量比を変えることにより、イベント検出部の検出閾値を制御する、
上記［Ａ−４］乃至上記［Ａ−６］のいずれかに記載の撮像システム。
［Ａ−９］イベント検出部は、減算部からの差信号を閾値電圧と比較することによってデジタル信号に量子化する量子化部を有し、
制御部は、車外情報に基づいて、量子化部の閾値電圧を調整することにより、イベント検出部の検出閾値を制御する、
上記［Ａ−８］に記載の撮像システム。
［Ａ−１０］制御部は、車外情報、及び、イベント検出装置が検出したイベント数に基づいて、イベント検出の検出感度を制御する、
上記［Ａ−１］乃至上記［Ａ−９］のいずれかに記載の撮像システム。

＜Ｂ．物体認識システム＞
［Ｂ−１］イベントを検出するイベント検出装置、
車外情報に基づいて、イベント検出装置によるイベント検出の検出感度を制御する制御部、及び、
イベント検出装置から出力されるイベント信号に基づいて、イベント検出装置の画角内の物体認識を行う認識処理部を備える、
物体認識システム。
［Ｂ−２］制御部は、イベント検出部の検出閾値を、イベント検出装置の画角内の物体を認識できる範囲まで上げる制御を行う、
上記［Ｂ−１］に記載の撮像システム。
［Ｂ−３］認識処理部は、画角内において物体として検知できるエリアが所定の閾値以上のとき物体と認識する、
上記［Ｂ−１］に記載の物体認識システム。
［Ｂ−４］固定のフレームレートで撮像を行う同期型の撮像装置を備える、
上記［Ｂ−１］に記載の物体認識システム。
［Ｂ−５］認識処理部は、イベント検出装置によって物体を検知できないときは、撮像装置の情報を用いて物体を検知し、画角内において物体として検知できるエリアが所定の閾値以上のとき物体と認識する、
上記［Ｂ−４］に記載の物体認識システム。
［Ｂ−６］認識処理部は、画角に占める物体の領域が一定の割合以上であるとき認識成功とし、一定の割合未満のとき認識失敗とする、
上記［Ｂ−４］又は上記［Ｂ−５］に記載の物体認識システム。
［Ｂ−７］制御部は、車外情報が悪天候を示す情報で、かつ、イベント検出装置が検出したイベント数が所定の閾値以上のとき、イベント検出部の検出閾値を上げる制御を行う、
上記［Ｂ−４］乃至上記［Ｂ−６］のいずれかに記載の物体認識システム。
［Ｂ−８］制御部は、イベント検出部の検出閾値を上げた後、認識処理部による認識結果が成功で、かつ、天候が回復したことを示す車外情報を受けたとき、イベント検出部の検出閾値を下げる、又は、初期設定値に戻す制御を行う、
上記［Ｂ−７］に記載の物体認識システム。
［Ｂ−９］制御部は、車外情報が悪天候を示す情報で、かつ、認識処理部による認識結果が失敗のとき、イベント検出部の検出閾値を上げる制御を行う、
上記［Ｂ−４］乃至上記［Ｂ−６］のいずれかに記載の物体認識システム。
［Ｂ−１０］制御部は、イベント検出部の検出閾値を上げた後、認識処理部による認識結果が成功で、かつ、天候が回復したことを示す車外情報を受けたとき、イベント検出部の検出閾値を下げる、又は、初期設定値に戻す制御を行う、
上記［Ｂ−９］に記載の物体認識システム。

１Ａ・・・第１実施形態に係る撮像システム、１Ｂ・・・第２実施形態に係る撮像システム、２Ａ・・・第１実施形態に係る物体認識システム、２Ｂ・・・第２実施形態に係る物体認識システム、１０・・・イベント検出装置、１１・・・画素、１２・・・画素アレイ部、１３・・・駆動部、１４・・・アービタ部（調停部）、１５・・・カラム処理部、１６・・・信号処理部、２０・・・撮像装置、２１・・・画素、２２・・・画素アレイ部、２３・・・行選択部、２４・・・定電流源部、２５・・・アナログ−デジタル変換部、２６・・・水平転送走査部、２７・・・信号処理部、２８・・・タイミング制御部、３０・・・制御部、４０・・・データ処理部、５０・・・画像記録部、６０・・・認識処理部、６１・・・受光部、６２・・・画素信号生成部、６３・・・イベント検出部、

Claims (20)

1. イベントを検出するイベント検出装置、及び、
   イベント検出装置を制御する制御部を備え、
   制御部は、車外情報に基づいて、イベント検出装置によるイベント検出の検出感度を制御する、
   撮像システム。
2. イベント検出装置は、入射光を光電変換する画素の輝度変化が検出閾値を超えたことをイベントとして検出するイベント検出部を有する、
   請求項１に記載の撮像システム。
3. 移動体に搭載されて用いられる、
   請求項２に記載の撮像システム。
4. 制御部は、車外情報に基づいて、イベント検出部の検出閾値を制御する、
   請求項３に記載の撮像システム。
5. 制御部は、車外情報が悪天候を示す情報であるとき、イベント検出部の検出閾値を上げる制御を行う、
   請求項４に記載の撮像システム。
6. 制御部は、イベント検出部の検出閾値を上げた後、天候が回復したことを示す車外情報を受けたときは、イベント検出部の検出閾値を下げる、又は、初期設定値に戻す制御を行う、
   請求項５に記載の撮像システム。
7. イベント検出部は、画素の光電流を、光電流に対応する電圧に変換する電流電圧変換部を有し、
   電流電圧変換部は、トランジスタがカスケード接続された回路構成と、カスケード接続されてない回路構成とに切り替えが可能であり、
   制御部は、車外情報に基づいて、電流電圧変換部の回路構成を切り替えることにより、イベント検出部の検出閾値を制御する、
   請求項４に記載の撮像システム。
8. イベント検出部は、第１の容量素子及び第２の容量素子を含み、画素の光電流に対応する電圧について、異なるタイミングどうしの電圧の差信号を求める減算部を有し、
   制御部は、車外情報に基づいて、減算部の第１の容量素子と第２の容量素子との容量比を変えることにより、イベント検出部の検出閾値を制御する、
   請求項４に記載の撮像システム。
9. イベント検出部は、減算部からの差信号を閾値電圧と比較することによってデジタル信号に量子化する量子化部を有し、
   制御部は、車外情報に基づいて、量子化部の閾値電圧を調整することにより、イベント検出部の検出閾値を制御する、
   請求項８に記載の撮像システム。
10. 制御部は、車外情報、及び、イベント検出装置が検出したイベント数に基づいて、イベント検出の検出感度を制御する、
    請求項１に記載の撮像システム。
11. イベントを検出するイベント検出装置、
    車外情報に基づいて、イベント検出装置によるイベント検出の検出感度を制御する制御部、及び、
    イベント検出装置から出力されるイベント信号に基づいて、イベント検出装置の画角内の物体認識を行う認識処理部を備える、
    物体認識システム。
12. 制御部は、イベント検出部の検出閾値を、イベント検出装置の画角内の物体を認識できる範囲まで上げる制御を行う、
    請求項１１に記載の撮像システム。
13. 認識処理部は、画角内において物体として検知できるエリアが所定の閾値以上のとき物体と認識する、
    請求項１１に記載の物体認識システム。
14. 固定のフレームレートで撮像を行う同期型の撮像装置を備える、
    請求項１１に記載の物体認識システム。
15. 認識処理部は、イベント検出装置によって物体を検知できないときは、撮像装置の情報を用いて物体を検知し、画角内において物体として検知できるエリアが所定の閾値以上のとき物体と認識する、
    請求項１４に記載の物体認識システム。
16. 認識処理部は、画角に占める物体の領域が一定の割合以上であるとき認識成功とし、一定の割合未満のとき認識失敗とする、
    請求項１４に記載の物体認識システム。
17. 制御部は、車外情報が悪天候を示す情報で、かつ、イベント検出装置が検出したイベント数が所定の閾値以上のとき、イベント検出部の検出閾値を上げる制御を行う、
    請求項１４に記載の物体認識システム。
18. 制御部は、イベント検出部の検出閾値を上げた後、認識処理部による認識結果が成功で、かつ、天候が回復したことを示す車外情報を受けたとき、イベント検出部の検出閾値を下げる、又は、初期設定値に戻す制御を行う、
    請求項１７に記載の物体認識システム。
19. 制御部は、車外情報が悪天候を示す情報で、かつ、認識処理部による認識結果が失敗のとき、イベント検出部の検出閾値を上げる制御を行う、
    請求項１４に記載の物体認識システム。
20. 制御部は、イベント検出部の検出閾値を上げた後、認識処理部による認識結果が成功で、かつ、天候が回復したことを示す車外情報を受けたとき、イベント検出部の検出閾値を下げる、又は、初期設定値に戻す制御を行う、
    請求項１９に記載の物体認識システム。

Images