JP2022036354A - データ処理装置、データ処理方法、及び、プログラム - Google Patents

Abstract

【課題】適切なフレームデータを得る。
【解決手段】フレームデータ生成部において、第１のフレーム生成開始時から第１のフレーム生成終了時までの第１の蓄積時間で発生した、光電変換を行って電気信号を生成する画素の電気信号の変化であるイベントデータに基づく第１のフレームデータと、第２のフレーム生成開始時から第２のフレーム生成終了時までの第２の蓄積時間で発生したイベントデータに基づく第２のフレームデータとが生成される。第１のフレーム生成開始時と第2のフレーム生成開始時までの第１のフレーム期間が設定されフレームデータ生成部に供給される。本技術は、例えば、DVS(Dynamic Vision Sensor)が出力するイベントデータから、フレームデータを生成する場合に適用することができる。
【選択図】図１１

Description

本技術は、データ処理装置、データ処理方法、及び、プログラムに関し、特に、例えば、画素の電気信号の変化であるイベントの発生を表すイベントデータに応じて、フレーム形式の画像データであるフレームデータを生成するにあたり、適切なフレームデータを得ることができるようにするデータ処理装置、データ処理方法、及び、プログラムに関する。

画素の輝度変化をイベントとして、イベントが発生した場合に、イベントの発生を表すイベントデータを出力するイメージセンサが提案されている。ここで、垂直同期信号に同期して撮像を行い、フレーム形式の画像データであるフレームデータを出力するイメージセンサは、同期型のイメージセンサということができる。これに対して、イベントデータを出力するイメージセンサは、イベントデータを、垂直同期信号に同期して出力するわけではないので、非同期型のイメージセンサということができる。非同期型のイメージセンサは、例えば、DVS(Dynamic Vision Sensor)と呼ばれる。

DVSが出力するイベントデータについては、そのままでは、既存の画像処理に用いることが困難であるため、イベントデータは、フレームデータに変換されてから、画像処理に用いられる。イベントデータをフレームデータに変換する方法、すなわち、イベントデータに応じてフレームデータを生成する方法としては、特定の時間に亘るイベントデータをフレームに集約する方法や、特定の数のイベントデータをフレームに集約する方法が提案されている（例えば、特許文献１を参照）。

特表2017-530467号公報

イベントデータに応じて、フレーム形式の画像データであるフレームデータを生成するにあたっては、その後に行われる画像処理等にとって適切なフレームデータを得ることが要請される。

本技術は、このような状況に鑑みてなされたものであり、適切なフレームデータを得ることができるようにするものである。

本技術の第１のデータ処理装置は、第１のフレーム生成開始時から第１のフレーム生成終了時までの第１の蓄積時間で発生した、光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントデータに基づく第１のフレームデータと、第２のフレーム生成開始時から第２のフレーム生成終了時までの第２の蓄積時間で発生したイベントデータに基づく第２のフレームデータとを生成するフレームデータ生成部と、第１のフレーム生成開始時と第2のフレーム生成開始時までの第１のフレーム期間を設定し前記フレームデータ生成部に供給するフレーム期間設定部とを備えるデータ処理装置である。

本技術の第１のデータ処理装置においては、第１のフレーム生成開始時から第１のフレーム生成終了時までの第１の蓄積時間で発生した、光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントデータに基づく第１のフレームデータと、第２のフレーム生成開始時から第２のフレーム生成終了時までの第２の蓄積時間で発生したイベントデータに基づく第２のフレームデータとが生成される。また、第１のフレーム生成開始時と第2のフレーム生成開始時までの第１のフレーム期間が設定され前記フレームデータ生成部に供給される。

本技術の第２のデータ処理装置又は第１のプログラムは、フレーム生成開始時からフレーム生成終了時までの蓄積時間で発生した、光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントデータに基づいてフレームデータを生成するフレームデータ生成部と、第１のフレームデータのフレームデータ生成開始時と、第１のフレームデータと連続して生成される第２のフレームデータのフレームデータ生成開始時との間隔であるフレーム期間を設定し前記フレームデータ生成部に供給するフレーム期間設定部とを備えるデータ処理装置、又は、そのようなデータ処理装置として、コンピュータを機能させるためのプログラムである。

本技術の第１のデータ処理方法は、フレームデータ生成部が、フレーム生成開始時からフレーム生成終了時までの蓄積時間で発生した、光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントデータに基づいてフレームデータを生成することと、第１のフレームデータのフレームデータ生成開始時と、前記第１のフレームデータと連続して生成される第２のフレームデータのフレームデータ生成開始時との間隔であるフレーム期間を設定し前記フレームデータ生成部に供給することとを含むデータ処理方法である。

本技術の第２のデータ処理装置、第１のデータ処理方法、及び、第１のプログラムにおいては、フレーム生成開始時からフレーム生成終了時までの蓄積時間で発生した、光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントデータに基づいてフレームデータが生成される。また、第１のフレームデータのフレームデータ生成開始時と、前記第１のフレームデータと連続して生成される第２のフレームデータのフレームデータ生成開始時との間隔であるフレーム期間が設定され前記フレームデータ生成部に供給される。

本技術の第３のデータ処理装置又は第２のプログラムは、第１のフレーム生成開始時から第１のフレーム生成終了時までの第１の蓄積時間で発生した、光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントデータに基づく第１のフレームデータと、第２のフレーム生成開始時から第２のフレーム生成終了時までの第２の蓄積時間で発生した前記イベントデータに基づく第２のフレームデータとを、第１の蓄積時間と第２の蓄積時間が重畳するように生成するフレームデータ生成部を備えるデータ処理装置、又は、そのようなデータ処理装置として、コンピュータを機能させるためのプログラムである。

本技術の第２のデータ処理方法は、第１のフレーム生成開始時から第１のフレーム生成終了時までの第１の蓄積時間で発生した、光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントデータに基づく第１のフレームデータと、第２のフレーム生成開始時から２のフレーム生成終了時までの第２の蓄積時間で発生した前記イベントデータに基づく第２のフレームデータとを、第１の蓄積時間と第２の蓄積時間が重畳するように生成することを含むデータ処理方法である。

本技術の第３のデータ処理装置、第２のデータ処理方法、及び、第２のプログラムにおいては、第１のフレーム生成開始時から第１のフレーム生成終了時までの第１の蓄積時間で発生した、光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントデータに基づく第１のフレームデータと、第２のフレーム生成開始時から２のフレーム生成終了時までの第２の蓄積時間で発生した前記イベントデータに基づく第２のフレームデータとが、第１の蓄積時間と第２の蓄積時間が重畳するように生成される。

本技術の第４のデータ処理装置は、フレーム生成開始時からフレーム生成終了時までの蓄積時間で発生した、光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントデータに基づいてフレームデータを生成し、単位時間当たりの前記イベントデータの数に応じて、単位時間当たりの前記フレームデータの生成数が変化するデータ処理装置である。

本技術の第４のデータ処理装置においては、フレーム生成開始時からフレーム生成終了時までの蓄積時間で発生した、光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントデータに基づいてフレームデータが生成される。単位時間当たりの前記イベントデータの数に応じて、単位時間当たりの前記フレームデータの生成数は変化する。

本技術の第５のデータ処理装置は、光電変換を行って電気信号を生成する画素を有し、前記画素の前記電気信号の変化であるイベントの発生を表すイベントデータを生成するイベント生成部と、フレーム生成開始時からフレーム生成終了時までの蓄積時間で発生した前記イベントデータに基づいてフレームデータを生成するフレームデータ生成部と、第１のフレームデータのフレームデータ生成開始時と、前記第１のフレームデータと連続して生成される第２のフレームデータのフレームデータ生成開始時との間隔であるフレーム期間を設定し前記フレームデータ生成部に供給するフレーム期間設定部とを備えるデータ処理部を備えるデータ処理装置である。

本技術の第３のデータ処理方法は、光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントの発生を表すイベントデータを生成することと、フレーム生成開始時からフレーム生成終了時までの蓄積時間で発生した前記イベントデータに基づいてフレームデータを生成することと、第１のフレームデータのフレームデータ生成開始時と、前記第１のフレームデータと連続して生成される第２のフレームデータのフレームデータ生成開始時との間隔であるフレーム期間を設定し前記フレームデータ生成部に供給することとを含むデータ処理方法である。

本技術の第５のデータ処理装置及び第３のデータ処理方法においては、フレームデータ生成部において、光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントの発生を表すイベントデータが生成され、フレーム生成開始時からフレーム生成終了時までの蓄積時間で発生した前記イベントデータに基づいてフレームデータが生成される。また、第１のフレームデータのフレームデータ生成開始時と、前記第１のフレームデータと連続して生成される第２のフレームデータのフレームデータ生成開始時との間隔であるフレーム期間が設定され前記フレームデータ生成部に供給される。

データ処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。また、データ処理装置は、１チップの半導体チップやモジュールとして構成することができる。

プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、頒布することができる。

本技術を適用したデータ処理チップの一実施の形態の構成例を示す図である。 データ処理チップの動作を説明するフローチャートである。 イベント生成部２１の構成例を示すブロック図である。 画素アレイ部３１の構成例を示すブロック図である。 画素５１の構成例を示す回路図である。 イベント検出部５２の構成例を示すブロック図である。 電流電圧変換部７１の構成例を示す回路図である。 減算部７３及び量子化部７４の構成例を示す回路図である。 データ処理部２２の構成例を示すブロック図である。 イベント生成部２１が出力するイベントデータの概要を説明する図である。 イベントデータに応じてフレームデータを生成する方法の概要を説明する図である。 フレーム幅及びフレーム間隔の第１の設定方法を示す図である。 フレーム幅及びフレーム間隔の第２の設定方法を示す図である。 フレーム幅及びフレーム間隔の第３の設定方法を示す図である。 データ生成部１１３の構成例を示すブロック図である。 メモリ制御部１２２によるメモリ１２１の制御の例を説明する図である。 データ処理部２２の処理の例を説明するフローチャートである。 データ生成部１１３が行うデータ生成処理の例を説明するフローチャートである。 フレーム幅及びフレーム間隔の第４の設定方法を示す図である。 フレーム幅及びフレーム間隔の第５の設定方法を示す図である。 フレーム幅及びフレーム間隔の第６の設定方法を示す図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。 フレーム間隔及びフレーム幅を設定する設定方法の一覧を示す図である。 フレームデータのフレーム全体に１つのフレーム幅が設定される場合に生成されるフレームデータの例を示す図である。 フレームを分割領域に分割する分割の仕方の例を示す図である。 分割領域ごとにフレーム幅が設定される場合に生成されるフレームデータの例を示す図である。 分割領域ごとにフレーム幅としてのイベントデータ数を設定する場合の設定方法の例を示すフローチャートである。 評価値Fの例を示す図である。

＜本技術を適用したデータ処理チップの一実施の形態＞

図１は、本技術を適用したデータ処理チップの一実施の形態の構成例を示す図である。

データ処理チップは、１チップの半導体チップであり、複数のダイ（基板）としてのセンサダイ（基板）１１とロジックダイ１２とが積層されて構成される。なお、データ処理チップは、１個のダイで構成することもできるし、３個以上のダイを積層して構成することもできる。

図１のデータ処理チップにおいて、センサダイ１１には、イベント生成部２１（としての回路）が構成され、ロジックダイ１２には、データ処理部２２が構成されている。なお、イベント生成部２１については、その一部を、ロジックダイ１２に構成することができる。また、データ処理部２２については、その一部を、センサダイ１１に構成することができる。

イベント生成部２１は、入射光の光電変換を行って電気信号を生成する画素を有し、画素の電気信号の変化であるイベントの発生を表すイベントデータを生成する。イベント生成部２１は、イベントデータを、データ処理部２２に供給する。すなわち、イベント生成部２１は、例えば、同期型のイメージセンサと同様に、画素において、入射光の光電変換を行って電気信号を生成する撮像を行うが、フレーム形式の画像データを生成するのではなく、又は、フレーム形式の画像データを生成するとともに、画素の電気信号の変化であるイベントの発生を表すイベントデータを生成する。

データ処理部２２は、イベント生成部２１からのイベントデータに応じてデータ処理を行い、そのデータ処理の結果であるデータ処理結果を出力する。

図２は、図１のデータ処理チップの動作を説明するフローチャートである。

ステップＳ１において、イベント生成部２１は、イベントとしての画素の電気信号の変化が発生すると、イベントデータを生成し、データ処理部２２に供給する。

ステップＳ２において、データ処理部２２は、イベント生成部２１からのイベントデータに応じて、イベントデータをフレームデータに変換する、すなわち、フレームデータを生成する等のデータ処理を行い、データ処理結果を出力する。

＜イベント生成部２１の構成例＞

図３は、図１のイベント生成部２１の構成例を示すブロック図である。

イベント生成部２１は、画素アレイ部３１、駆動部３２、アービタ３３、及び、出力部３４を備える。

画素アレイ部３１には、複数の画素が二次元格子状に配列される。また、画素アレイ部３１は、それぞれが所定数の画素からなる複数の画素ブロックに分割される。以下、水平方向に配列された画素または画素ブロックの集合を「行」と称し、行に垂直な方向に配列された画素または画素ブロックの集合を「列」と称する。

画素ブロックは、画素の光電変換によって生成される電気信号としての光電流に所定の閾値を超える変化が発生した場合に、その光電流の変化をイベントとして検出する。イベントが検出された場合、画素ブロックは、イベントの発生を表すイベントデータの出力を要求するリクエストをアービタ３３に出力する。

駆動部３２は、画素アレイ部３１に制御信号を供給することにより、画素アレイ部３１を駆動する。

アービタ３３は、画素アレイ部３１を構成する画素ブロックからのリクエストを調停し、イベントデータの出力の許可又は不許可を表す応答を画素ブロックに返す。イベントデータの出力の許可を表す応答を受け取った画素ブロックは、イベントデータを出力部３４に出力する。

出力部３４は、画素アレイ部３１を構成する画素ブロックが出力するイベントデータに必要な処理を施し、データ処理部２２（図１）に供給する。

ここで、画素の電気信号としての光電流の変化は、画素の輝度変化とも捉えることができるので、イベントは、画素の輝度変化（閾値を超える輝度変化）であるともいうことができる。

イベントの発生を表すイベントデータには、少なくとも、イベントとしての輝度変化が発生した画素ブロックの位置を表す位置情報（座標等）が含まれる。その他、イベントデータには、輝度変化の極性（正負）を含ませることができる。

画素ブロックからイベントが発生したタイミングで出力されるイベントデータの系列については、イベントデータどうしの間隔がイベントの発生時のまま維持されている限り、イベントデータは、イベントが発生した（相対的な）時刻を表す時刻情報を暗示的に含んでいるということができる。但し、イベントデータがメモリに記憶されること等により、イベントデータどうしの間隔がイベントの発生時のまま維持されなくなると、イベントデータに暗示的に含まれる時刻情報が失われる。そのため、出力部３４は、イベントデータどうしの間隔がイベントの発生時のまま維持されなくなる前に、イベントデータに、タイムスタンプ等の、イベントが発生した（相対的な）時刻を表す時刻情報を含める。イベントデータに時刻情報を含める処理は、イベントデータに暗示的に含まれる時刻情報が失われる前であれば、出力部３４以外の任意のブロックで行うことができる。

＜画素アレイ部３１の構成例＞

図４は、図３の画素アレイ部３１の構成例を示すブロック図である。

画素アレイ部３１は、複数の画素ブロック４１を有する。画素ブロック４１は、Ｉ行×Ｊ列（Ｉ及びＪは整数）に配列された複数（Ｉ×Ｊ個）の画素５１と、イベント検出部５２とを備える。画素ブロック４１内の複数の画素５１は、イベント検出部５２を共有している。

画素５１は、被写体からの入射光を受光し、光電変換して電気信号としての光電流を生成する。画素５１は、駆動部３２の制御に従って、光電流を、イベント検出部５２に供給する。

イベント検出部５２は、画素５１のそれぞれからの光電流の所定の閾値を超える変化を、イベントとして検出する。イベント検出部５２は、イベントを検出した場合、イベントの発生を表すイベントデータの出力を要求するリクエストを、アービタ３３に供給する。そして、イベント検出部５２は、リクエストに対して、イベントデータの出力を許可する旨の応答を、アービタ３３から受け取ると、イベントデータを、出力部３４に出力する。

＜画素５１の構成例＞

図５は、図４の画素５１の構成例を示す回路図である。

画素５１は、光電変換素子６１及び転送トランジスタ６２を備える。

光電変換素子６１は、例えば、PD(Photodiode)で構成され、入射光を受光し、光電変換して電荷を生成する。

転送トランジスタ６２は、例えば、N(Negative)型のMOS(Metal-Oxide-Semiconductor) FET(Field Effect Transistor)で構成される。画素ブロック４１を構成するＩ×Ｊ個の画素５１のうちのｎ番目の画素５１を構成する転送トランジスタ６２は、駆動部３２（図３）から供給される制御信号ＴＲＧｎに従ってオン／オフする。転送トランジスタ６２がオンすることにより、光電変換素子６１で生成された電荷は、光電流として、イベント検出部５２に転送（供給）される。

画素ブロック４１を構成するＩ×Ｊ個の画素５１は、ノード６０を介して、その画素ブロック４１を構成するイベント検出部５２に接続されている。したがって、画素５１（の光電変換素子６１）で生成された光電流は、ノード６０を介して、イベント検出部５２に供給される。その結果、イベント検出部５２には、画素ブロック４１内のすべての画素５１の光電流の和が供給される。

イベント検出部５２は、駆動部３２（図３）からの制御信号としての行駆動信号に従って駆動し、イベントとしての画素５１から供給される光電流（の和）の変化を検出する。イベント検出部５２は、イベントとしての光電流の変化、すなわち、輝度変化を検出すると、イベントの発生を表すイベントデータを出力する。

ここで、イベント検出部５２では、イベントが検出された場合に、画素５１から供給される光電流に対応する電圧を、画素５１に入射した入射光に対応する画素信号として、イベントデータとは別に出力することができる。画素信号の出力については、複数の画素５１の転送トランジスタ６２を同時にオンにすることにより、その複数の画素５１の画素信号の和を出力することができる。また、画素ブロック４１を構成する画素５１の転送トランジスタ６２を順次にオンにすることにより、画素５１ごとの画素信号を出力することができる。画素５１の画素信号を出力する場合には、その画素信号をAD変換するAD変換部が、イベント生成部２１に設けられる。

図４に示したように、画素ブロック４１を複数の画素５１で構成し、その複数の画素５１で、イベント検出部５２を共有する場合には、１個の画素５１に対して、１個のイベント検出部５２を設ける場合に比較して、イベント検出部５２の数を少なくすることができる。したがって、画素アレイ部３１の規模を抑制することができる。

なお、画素ブロック４１は、複数の画素５１ではなく、１個の画素５１で構成することができる。

＜イベント検出部５２の構成例＞

図６は、図４のイベント検出部５２の構成例を示すブロック図である。

イベント検出部５２は、電流電圧変換部７１、バッファ７２、減算部７３、量子化部７４、及び、転送部７５を備える。

電流電圧変換部７１は、画素５１からの光電流（の和）を、その光電流の対数に対応する電圧（以下、光電圧ともいう）に変換し、バッファ７２に供給する。

バッファ７２は、電流電圧変換部７１からの光電圧をバッファリング（補正）し、減算部７３に供給する。

減算部７３は、駆動部３２からの制御信号としての行駆動信号に従ったタイミングで、現在の光電圧と、現在と微小時間だけ異なるタイミングの光電圧との差を演算し、その差に対応する差信号を、量子化部７４に供給する。

量子化部７４は、減算部７３からの差信号をディジタル信号に量子化し、差信号の量子化値を、転送部７５に供給する。

転送部７５は、量子化部７４からの差信号の量子化値に応じて、イベントデータを、出力部３４に転送（出力）する。すなわち、転送部７５は、イベントデータの出力を要求するリクエストを、アービタ３３に供給する。そして、転送部７５は、リクエストに対して、イベントデータの出力を許可する旨の応答をアービタ３３から受け取ると、イベントデータを、出力部３４に出力する。

＜電流電圧変換部７１の構成例＞

図７は、図６の電流電圧変換部７１の構成例を示す回路図である。

電流電圧変換部７１は、トランジスタ８１ないし８３で構成される。トランジスタ８１及び８３としては、例えば、Ｎ型のMOS FETを採用することができ、トランジスタ８２としては、例えば、Ｐ型のMOS FETを採用することができる。

トランジスタ８１のソースは、トランジスタ８３のゲートと接続され、トランジスタ８１のソースとトランジスタ８３のゲートとの接続点には、画素５１からの光電流が供給される。トランジスタ８１のドレインは、電源VDDに接続され、そのゲートは、トランジスタ８３のドレインに接続される。

トランジスタ８２のソースは、電源VDDに接続され、そのドレインは、トランジスタ８１のゲートとトランジスタ８３のドレインとの接続点に接続される。トランジスタ８２のゲートには、所定のバイアス電圧Ｖ ｂｉａｓが印加される。トランジスタ８２は、一定の電流をトランジスタ８３に供給する。

トランジスタ８３のソースは接地される。

電流電圧変換部７１において、トランジスタ８１は電源VDD側に接続されており、ソースフォロアになっている。ソースフォロアになっているトランジスタ８１と、そのトランジスタ８１のソースにゲートが接続されたトランジスタ８３とより、画素５１からの光電流は、その光電流の対数に対応する光電圧に変換される。

光電圧は、トランジスタ８１のゲートとトランジスタ８３のドレインとの接続点から、バッファ７２（図６）に供給される。

＜減算部７３及び量子化部７４の構成例＞

図８は、図６の減算部７３及び量子化部７４の構成例を示す回路図である。

減算部７３は、コンデンサ９１、オペアンプ９２、コンデンサ９３、及び、スイッチ９４を備える。量子化部７４は、コンパレータ１０１を備える。

コンデンサ９１の一端は、バッファ７２（図６）の出力端子に接続され、他端は、オペアンプ９２の入力端子に接続される。

オペアンプ９２の出力端子は、コンパレータ１０１の非反転入力端子（＋）に接続される。

コンデンサ９３の一端は、オペアンプ９２の入力端子に接続され、他端は、オペアンプ９２の出力端子に接続される。

スイッチ９４は、コンデンサ９３の両端の接続をオン／オフするように、コンデンサ９３に接続される。スイッチ９４は、駆動部３２からの制御信号としての行駆動信号に従ってオン／オフすることにより、コンデンサ９３の両端の接続をオン／オフする。

コンデンサ９１とオペアンプ９２との接続点は、仮想接地になっており、この仮想接地の電位を便宜上、ゼロとする。

スイッチ９４をオンした際のコンデンサ９１のバッファ７２（図６）側の光電圧をＶｉｎｉｔとするとともに、コンデンサ９１の容量をＣ１とすると、スイッチ９４がオンである場合にコンデンサ９１に蓄積される電荷Ｑｉｎｉｔは、次の式により表される。一方、コンデンサ９３の両端は、スイッチ９４がオンになっている場合には、短絡されるため、コンデンサ９３に蓄積される電荷はゼロとなる。

Ｑｉｎｉｔ＝Ｃ１×Ｖｉｎｉｔ
・・・（１）

その後、スイッチ９４がオフになり、その場合の、コンデンサ９１のバッファ７２（図６）側の光電圧を、Ｖａｆｔｅｒとすると、コンデンサ９１に蓄積される電荷Ｑａｆｔｅｒは、次の式により表される。

Ｑａｆｔｅｒ＝Ｃ１×Ｖａｆｔｅｒ
・・・（２）

一方、コンデンサ９３の容量をＣ２とするとともに、オペアンプ９２の出力電圧をＶｏｕｔとすると、コンデンサ９３に蓄積される電荷Ｑ２は、次の式により表される。

Ｑ２＝－Ｃ２×Ｖｏｕｔ
・・・（３）

スイッチ９４がオフする前後で、コンデンサ９１の電荷とコンデンサ９３の電荷とを合わせた総電荷量は変化しないため、次の式が成立する。

Ｑｉｎｉｔ＝Ｑａｆｔｅｒ＋Ｑ２
・・・（４）

式（４）に式（１）ないし式（３）を代入して変形すると、次の式が得られる。

Ｖｏｕｔ＝－（Ｃ１／Ｃ２）×（Ｖａｆｔｅｒ－Ｖｉｎｉｔ）
・・・（５）

式（５）によれば、減算部７３では、光電圧Ｖａｆｔｅｒ及びＶｉｎｉｔの減算、すなわち、光電圧ＶａｆｔｅｒとＶｉｎｉｔとの差Ｖａｆｔｅｒ－Ｖｉｎｉｔに対応する差信号（Ｖｏｕｔ）の算出が行われる。式（５）によれば、減算部７３の減算のゲインはＣ１／Ｃ２となる。通常、ゲインを最大化することが望まれるため、Ｃ１を大きく、Ｃ２を小さく設計することが好ましい。一方、Ｃ２が小さすぎると、ｋＴＣノイズが増大し、ノイズ特性が悪化するおそれがあるため、Ｃ２の容量削減は、ノイズを許容することができる範囲に制限される。また、画素ブロック４１ごとに減算部７３を含むイベント検出部５２が搭載されるため、容量Ｃ１やＣ２には、面積上の制約がある。これらを考慮して、容量Ｃ１及びＣ２の値が決定される。

コンパレータ１０１は、減算部７３からの差信号と、反転入力端子（－）に印加された所定の閾値電圧Ｖｔｈとを比較する。コンパレータ１０１は、差信号と閾値電圧Ｖｔｈとの比較結果を表す、例えば、H(High)レベル又はL(Low)レベルを、差信号の量子化値として、転送部７５に出力する。

転送部７５は、量子化部７４からの差信号の量子化値に応じて、イベントとしての輝度変化が発生したと認められる場合、すなわち、差信号（Ｖｏｕｔ）が閾値電圧Ｖｔｈより大である場合に、イベントの発生を表すイベントデータを、出力部３４に出力する。

出力部３４は、転送部７５からのイベントデータに、そのイベントデータが表すイベントが発生した画素５１（を有する画素ブロック４１）の位置情報、及び、イベントが発生した時刻を表す時刻情報、さらには、必要に応じて、イベントとしての輝度変化の極性を含めて出力する。

イベントが発生した画素５１の位置情報、イベントが発生した時刻を表す時刻情報、イベントとしての輝度変化の極性を含むイベントデータのデータ形式としては、例えば、AER(Address Event Representation)と呼ばれるデータ形式を採用することができる。

なお、イベント検出部５２全体のゲインＡは、電流電圧変換部７１ のゲインをＣＧ_logとし、バッファ７２のゲインを「１」とすると、次の式により表される。

Ａ＝ＣＧ_logＣ１／Ｃ２（Σｉ_photo＿ｎ）
・・・（６）

ｉ_photo＿ｎは、画素ブロック４１を構成するＩ×Ｊ個の画素５１のうちのｎ番目の画素５１の光電流を表す。式（６）のΣは、ｎを、１からＩ×Ｊまでの整数についてとるサメーションを表す。

なお、画素５１では、カラーフィルタ等の所定の光を透過するフィルタを設けること等により、入射光として、任意の光を受光することができる。例えば、画素５１において、入射光として、可視光を受光する場合、イベントデータは、視認することができる被写体が映る画像における画素値の変化の発生を表す。また、例えば、画素５１において、入射光として、測距のための赤外線やミリ波等を受光する場合、イベントデータは、被写体までの距離の変化の発生を表す。さらに、例えば、画素５１において、入射光として、温度の測定のための赤外線を受光する場合、イベントデータは、被写体の温度の変化の発生を表す。本実施の形態では、画素５１において、入射光として、可視光を受光することとする。

＜データ処理部２２の構成例＞

図９は、図１のデータ処理部２２の構成例を示すブロック図である。

図９において、データ処理部２２は、フレーム間隔設定部１１１、フレーム幅設定部１１２、データ生成部１１３、及び、画像処理部１１４を有する。

フレーム間隔設定部１１１は、例えば、ユーザの操作等に応じて、フレーム間隔を設定し、データ生成部１１３に供給する。フレーム間隔とは、イベントデータに応じて生成されるフレームデータのフレームの間隔を表し、フレーム間隔は、時間、又は、イベントデータの数により指定して設定することができる。ここで、フレーム間隔設定部１１１で設定されたフレーム間隔を、設定フレーム間隔ともいう。

フレーム幅設定部１１２は、例えば、ユーザの操作等に応じて、フレーム幅を設定し、データ生成部１１３に供給する。フレーム幅とは、１フレームのフレームデータの生成に用いるイベントデータの時間幅を表し、フレーム幅は、フレーム間隔と同様に、時間、又は、イベントデータの数により指定して設定することができる。ここで、フレーム幅設定部１１２で設定されたフレーム幅を、設定フレーム幅ともいう。

データ生成部１１３は、イベント生成部２１からデータ処理部２２に出力されるイベントデータに応じて、フレーム形式の画像データであるフレームデータを生成することにより、イベントデータをフレームデータに変換し、画像処理部１１４に供給する。

データ生成部１１３は、フレーム間隔設定部１１１からの設定フレーム間隔、及び、フレーム幅設定部１１２からの設定フレーム幅に応じて、フレームデータを生成する。

すなわち、データ生成部１１３は、設定フレーム間隔ごとに、設定フレーム間隔の先頭から設定フレーム幅内のイベントデータに応じて、フレームデータを生成する。

画像処理部１１４は、データ生成部１１３から供給されるフレームデータを用いた画像処理、例えば、フレームデータを対象とした認識処理等を行い、画像処理の処理結果（画像処理結果）を、データ処理結果として出力する。

画像処理部１１４としては、フレームデータを扱うことができる任意の装置を採用することができる。例えば、ニューラルネットワークにより画像認識を行う装置や、ディスプレイとビューワとしてのソフトウエアとで構成される画像表示装置等を、画像処理部１１４として採用することができる。

なお、フレーム幅としては、あらかじめ決められた値を採用することができる。この場合、データ処理部２２は、フレーム幅設定部１１２を設けずに構成することができる。

また、画像処理部１１４において、フレームデータを対象とした認識処理が行われ、その認識処理の認識結果の信頼度が得られる場合には、図９において点線で示すように、画像処理部１１４から認識結果の信頼度を、フレーム間隔設定部１１１及びフレーム幅設定部１１２に供給（フィードバック）することができる。この場合、フレーム間隔設定部１１１及びフレーム幅設定部１１２では、認識結果の信頼度に応じて、フレーム間隔及びフレーム幅を設定することができる。

すなわち、フレーム間隔設定部１１１及びフレーム幅設定部１１２では、最初に、２通りのデフォルトのフレーム間隔及びフレーム幅を設定することができる。そして、フレーム間隔設定部１１１及びフレーム幅設定部１１２では、２通りのデフォルトのフレーム間隔及びフレーム幅に応じて生成されるフレームデータを対象として画像処理部１１４が認識処理を行うことにより得られる２通りの認識結果の信頼度の変化から、勾配法等の探索アルゴリズムに従って、認識結果の信頼度を向上させる新たなフレーム間隔及びフレーム幅を設定することができる。

フレーム間隔設定部１１１及びフレーム幅設定部１１２では、新たなフレーム間隔及びフレーム幅に対して得られる認識結果の信頼度の変化から、認識結果の信頼度を向上させる、さらに新たなフレーム間隔及びフレーム幅を設定することを、認識結果の信頼度が最大（極大）になるまで繰り返すことができる。

フレーム間隔設定部１１１及びフレーム幅設定部１１２では、以上のように、画像処理部１１４で行われる画像処理の処理結果（画像処理結果）に応じて、フレーム間隔及びフレーム幅を設定することができる。

なお、図９において、データ生成部１１３は、第１のフレーム生成開始時から第１のフレーム生成終了時までの第１の蓄積時間で発生した、光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントデータに基づく第１のフレームデータと、第２のフレーム生成開始時から第２のフレーム生成終了時までの第２の蓄積時間で発生したイベントデータに基づく第２のフレームデータとを生成するフレームデータ生成部として機能するということができる。第１の蓄積時間や第２の蓄積時間とは、フレーム幅である。

フレーム間隔設定部１１１は、第１のフレーム生成開始時と第2のフレーム生成開始時までの第１のフレーム期間を設定しフレームデータ生成部に供給するフレーム期間設定部として機能するということができる。第１のフレーム期間とは、フレーム間隔である。

前記フレームデータ生成部としてのデータ生成部１１３は、第３のフレーム生成開始時から第３のフレーム生成終了時までの第３の蓄積時間で発生したイベントデータに基づく第３のフレームデータをさらに生成することができる。前記フレーム期間設定部としてのフレーム間隔設定部１１１は、前記第１のフレーム期間と、第２のフレーム生成開始時と第３のフレーム生成開始時までの第２のフレーム期間とが異なるように設定することができる。第２のフレーム期間とは、フレーム間隔である。

フレーム幅設定部１１２は、前記第1の蓄積時間と前記第２の蓄積時間を設定し前記フレームデータ生成部としてのデータ生成部１１３に供給する蓄積時間設定部として機能する。

前記蓄積時間設定部としてのフレーム幅設定部１１２は、前記第1の蓄積時間と前記第２の蓄積時間とが異なるように設定することができる。

データ生成部１１３は、フレーム生成開始時からフレーム生成終了時までの蓄積時間で発生した、光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントデータに基づいてフレームデータを生成するフレームデータ生成部として機能するということができる。蓄積時間とは、フレーム幅である。

フレーム間隔設定部１１１は、第１のフレームデータのフレームデータ生成開始時と、第１のフレームデータと連続して生成される第２のフレームデータのフレームデータ生成開始時との間隔であるフレーム期間を設定し前記フレームデータ生成部に供給するフレーム期間設定部として機能するということができる。フレーム期間とは、フレーム間隔である。

前記フレーム期間設定部としてのフレーム間隔設定部１１１は、前記フレーム期間を、時間で設定することができる。

フレーム期間が、時間で設定される場合、前記蓄積時間設定部としてのフレーム幅設定部１１２は、前記蓄積時間を、時間で設定すること、又は、前記蓄積時間を、前記イベントデータの数に応じて設定することができる。さらに、前記蓄積時間を時間で設定することと、前記イベントデータの数に応じて設定することとを切り替えることができる。

前記フレーム期間設定部としてのフレーム間隔設定部１１１は、前記フレーム期間を、前記イベントデータの数に応じて設定することができる。

フレーム期間が、イベントデータの数に応じて設定される場合、前記蓄積時間設定部としてのフレーム幅設定部１１２は、前記蓄積時間を、時間で設定すること、又は、前記蓄積時間を、前記イベントデータの数に応じて設定することができる。さらに、前記蓄積時間を時間で設定することと、前記イベントデータの数に応じて設定することとを切り替えることができる。

データ生成部１１３は、第１のフレーム生成開始時から第１のフレーム生成終了時までの第１の蓄積時間で発生した、光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントデータに基づく第１のフレームデータと、第２のフレーム生成開始時から第２のフレーム生成終了時までの第２の蓄積時間で発生した前記イベントデータに基づく第２のフレームデータとを、第１の蓄積時間と第２の蓄積時間が重畳するように生成するフレームデータ生成部として機能するということができる。第１の蓄積時間と第２の蓄積時間が重畳するとは、後述する重複領域が生じることである。

フレーム期間を、イベントデータの数に応じて設定する場合、単位時間（例えば、１秒等）当たりの前記イベントデータの数に応じて、単位時間当たりのフレームデータの生成数（データ生成部１１３で生成されるフレームデータのフレーム数）が変化する。単位時間当たりの前記イベントデータの数が多いほど、単位時間当たりの前記フレームデータの生成数が多くなる。

データ生成部１１３は、フレーム生成開始時からフレーム生成終了時までの蓄積時間で発生した前記イベントデータに基づいてフレームデータを生成するフレームデータ生成部として機能するということができる。フレーム間隔設定部１１１は、第１のフレームデータのフレームデータ生成開始時と、前記第１のフレームデータと連続して生成される第２のフレームデータのフレームデータ生成開始時との間隔であるフレーム期間を設定し前記フレームデータ生成部に供給するフレーム期間設定部として機能するということができる。

後述するように、前記蓄積時間設定部としてのフレーム幅設定部１１２は、前記フレームデータのフレームを複数の領域に分割した分割領域の単位で、前記蓄積時間を設定することができる。例えば、前記蓄積時間設定部は、前記蓄積時間の適切さを表す評価値に応じて、前記蓄積時間を設定することができる。より具体的には、前記蓄積時間設定部は、前記蓄積時間内の前記イベントデータに応じて生成される前記フレームデータを用いて求められる前記評価値に応じて、前記蓄積時間を設定することができる。

＜イベントデータに応じたフレームデータの生成＞

図１０は、図１のイベント生成部２１が出力するイベントデータの概要を説明する図である。

イベント生成部２１（の出力部３４）は、例えば、図９で説明したように、イベントが発生した時刻を表す時刻情報（以下、イベントの時刻ともいう）t_i、イベントが発生した画素５１の位置情報（以下、イベントの位置ともいう）としての座標(x_i, y_i)、及び、イベントとしての輝度変化の極性p_iを含むイベントデータを出力する。

イベントデータは、垂直同期信号に同期して、フレーム周期で出力されるフレーム形式の画像データ（フレームデータ）と異なり、イベントの発生ごとに出力される。そのため、イベントデータについては、そのままでは、フレームデータに対応する画像を表示するプロジェクタ等のディスプレイで、画像を表示することや、識別器（分類器）に入力して画像処理に用いることができない。イベントデータは、フレームデータに変換する必要がある。

ここで、図１０のイベントデータにおいて、あるイベントの時刻t_iと、そのイベントに隣接するイベントの時刻ｔ_i+1との間隔は、一定であるとは限らない。すなわち、イベントの時刻t_iとｔ_i+1とは、同一の時刻であることもあるし、異なる時刻であることもある。但し、イベントの時刻t_i及びｔ_i+1については、式t_i<=ｔ_i+1で表される関係があることとする。

図１１は、イベントデータに応じてフレームデータを生成する方法の概要を説明する図である。

図１１では、x軸、y軸、及び、時間軸tで構成される３次元空間において、イベントデータとしての点が、そのイベントデータに含まれるイベントの時刻t、及び、イベントの位置（としての座標）(x, y)にプロットされている。

すなわち、イベントデータに含まれるイベントの時刻t、及び、イベントの位置(x, y)で表される３次元空間上の位置(x, y, t)を、イベントの時空間位置ということとすると、図１１では、イベントデータが、イベントの時空間位置(x, y, t)に、点としてプロットされている。

データ生成部１１３は、例えば、ユーザの操作等によってフレームデータの生成が指示された時刻や、データ処理チップの電源がオンにされた時刻等の所定の時刻を、フレームデータの生成を開始する生成開始時刻として、イベントデータに応じたフレームデータの生成を開始する。

いま、生成開始時刻から、設定フレーム間隔ごとの、時間軸t方向に、設定フレーム幅の直方体をフレームボリュームということとする。フレームボリュームのx軸方向及びy軸方向のサイズは、例えば、画素ブロック４１、又は、画素５１のx軸方向及びy軸方向の個数に等しい。

データ生成部１１３は、設定フレーム間隔ごとに、設定フレーム間隔の先頭から設定フレーム幅のフレームボリューム内のイベントデータに応じて、１フレームのフレームデータを生成する。

フレームデータの生成は、例えば、イベントデータに含まれるイベントの位置(x, y)のフレームの画素（の画素値）を白色に、フレームの他の位置の画素をグレー等の所定の色にセットすることで行われる。

その他、フレームデータの生成は、イベントデータに含まれる極性を考慮して行うことができる。例えば、極性が正である場合には、画素を白色にセットし、極性が負である場合には、画素を黒色にセットすることができる。さらに、図５で説明したように、イベント検出部５２において、イベントデータを出力するとともに、画素５１の画素信号を出力する場合には、イベントデータに応じ、画素５１の画素信号を用いて、フレームデータを生成することができる。すなわち、イベントデータに含まれるイベントの位置(x, y)のフレームの画素を、その位置(x, y)の画素５１の画素信号にセットするとともに、フレームの他の位置の画素をグレー等の所定の色にセットすることで、フレームデータを生成することができる。

なお、フレームボリューム内には、イベントの時刻tが異なるが、イベントの位置(x, y)が同一のイベントデータが複数存在する場合がある。この場合、例えば、イベントの時刻tが最も新しい又は古いイベントデータを優先させることができる。また、イベントデータが極性を含む場合には、イベントの時刻tが異なるが、イベントの位置(x, y)が同一の複数のイベントデータの極性を加算し、その加算により得られる加算値に応じた画素値を、イベントの位置(x, y)の画素にセットすることができる。

ここで、フレーム幅とフレーム間隔とが同一である場合、フレームボリュームは、隙間なく接した状態となる。また、フレーム間隔がフレーム幅より大である場合、フレームボリュームは、隙間を空けて並んだ状態となる。フレーム幅がフレーム間隔より大である場合、フレームボリュームは、一部が重複する形で並んだ状態となる。

図１２は、フレーム幅及びフレーム間隔の第１の設定方法を示す図である。

図１２では、横軸をイベントの時刻tとするとともに、縦軸をイベントの位置(x, y)として、イベントデータがプロットされている。

第１の設定方法では、フレーム幅及びフレーム間隔が、時間による指定により、同一の時間であって、比較的短時間に設定される。

第１の設定方法では、フレーム間隔が短時間であるため、フレームレートの大きいフレームデータを得ることができる。フレームデータのフレームレートが、再生のフレームレート（例えば、30fps(Frame Per Second)等）より大であれば、フレームデータに対応する画像の再生は、スロー再生になる。

第１の設定方法では、フレーム幅が、短時間のフレーム間隔と同一であるため、フレームボリュームがいわば薄くなり、フレームボリュームに含まれるイベントデータの数が少なくなりやすい。そして、そのような数が少ないイベントデータに応じて生成されるフレームデータに対応する画像は、被写体が明確に現れない（見にくい）画像となりやすく、さらに、そのような画像を対象として画像認識が行われる場合には、十分な認識性能が得られないことがある。

図１３は、フレーム幅及びフレーム間隔の第２の設定方法を示す図である。

図１３では、図１２と同様に、横軸をイベントの時刻tとするとともに、縦軸をイベントの位置(x, y)として、イベントデータがプロットされている。

第２の設定方法では、フレーム幅及びフレーム間隔が、時間による指定により、同一の時間に設定される。但し、第２の設定方法では、フレーム幅及びフレーム間隔は、第１の設定方法よりも長時間に設定される。

第２の設定方法では、フレーム間隔が、第１の設定方法よりも長時間であるため、イベントデータから生成されるフレームデータのフレームレートは、第１の設定方法よりも小さくなる。フレームデータのフレームレートが、再生のフレームレートより小であれば、フレームデータに対応する画像の再生は、早送り再生になる。

第２の設定方法では、フレーム幅が、長時間のフレーム間隔と同一であるため、フレームボリュームがいわば厚くなり、フレームボリュームに含まれるイベントデータの数として、ある程度多くの数が確保されやすくなる。そして、そのような数が多いイベントデータに応じて生成されるフレームデータに対応する画像は、被写体が明確に現れる画像となる。

但し、第２の設定方法では、被写体の動きが激しい場合には、フレームデータに対応する画像は、動きぼけが目立ち、被写体の細かな動きを認識しにくい画像になりやすい。さらに、第２の設定方法では、フレーム間隔が長時間で、フレームデータのフレームレートが小さくなるため、フレームデータに対応する画像に映る被写体の動きが、いわゆるカクカクした状態になることや、フレームデータに対応する画像を対象とした画像認識において、動体（動きのある被写体）の認識性能が十分に得られないことがある。

図１４は、フレーム幅及びフレーム間隔の第３の設定方法を示す図である。

図１４では、図１２と同様に、横軸をイベントの時刻tとするとともに、縦軸をイベントの位置(x, y)として、イベントデータがプロットされている。

ここで、図１４では、フレームボリュームとしての矩形が重なって見にくくなることを避けるため、フレームボリュームとしての矩形をやや傾けて図示してある。図１４において、フレームボリュームとしての矩形を傾けてあるのは、図が見にくくなることを避けることを目的としており、実際に、フレームボリュームが傾いているのではない。さらに、図１４において、フレームボリュームとしての矩形には、太線の矩形と細線の矩形とがあるが、これも、図が見にくくなることを避けることを目的としており、太線の矩形で表されるフレームボリュームと、細線の矩形で表されるフレームボリュームとの間に、違いはない。

第３の設定方法では、フレーム幅及びフレーム間隔が、時間による指定により、個別の時間に設定される。

図１４のＡは、フレーム幅がフレーム間隔よりも長い時間に設定される場合のフレーム間隔及びフレーム幅の設定の例を示している。図１４のＢは、フレーム幅がフレーム間隔よりも短い時間に設定される場合のフレーム間隔及びフレーム幅の設定の例を示している。

図１４のＡでは、フレーム間隔が、第１の設定方法のように短時間に設定され、フレーム幅が、第２の設定方法のように長時間に設定されている。

図１４のＡでは、フレーム幅が、第２の設定方法と同様に、長時間であるため、フレームボリュームに含まれるイベントデータの数として、ある程度多くの数が確保されやすくなる。そして、そのような数が多いイベントデータに応じて生成されるフレームデータに対応する画像は、被写体が明確に現れ、視認性の高い画像となる。

さらに、図１４のＡでは、フレーム間隔が、第１の設定方法と同様に、短時間であるため、フレームデータのフレームレートとして、ある程度の高フレームレートを確保することができる。したがって、フレームデータに対応する画像として、動きの速い被写体（動体）の動きがスムースに映る画像を得ることができる。

以上のように、第３の設定方法では、フレーム幅及びフレーム間隔を、異なる時間に、独立に設定することで、適切なフレームデータを得ることができる。すなわち、例えば、視認性が高く、動きがスムースな画像となるフレームデータを得ることができる。したがって、そのようなフレームデータに対応する画像を対象に画像認識を行う場合には、十分な認識性能を得ることができる。

なお、図１４のＡでは、フレーム幅がフレーム間隔よりも長い時間に設定されるので、あるフレームの（フレームデータの生成に用いられる）フレームボリュームと、次のフレームのフレームボリュームとは、一部が重複した重複領域を有する。

この場合、データ生成部１１３（図９）では、隣接する２つのフレームについては、いずれも、その２つのフレームのフレームボリュームの重複領域内のイベントデータに応じて、フレームデータが生成される。したがって、隣接する２つのフレームについては、重複領域内の同一のイベントデータを共有するフレームデータが生成される、ということができる。

また、このことは、あるf番目のフレームの次のf+1番目のフレームについて、前のｆ番目のフレームのフレームデータの生成に用いられた重複領域内のイベントデータを再利用して、フレームデータが生成されると捉えることもできる。

図１４のＢでは、フレーム間隔が、フレーム幅よりも長時間に設定されている（フレーム幅が、フレーム間隔よりも短時間に設定されている）。

フレーム間隔を、フレーム幅よりも長時間に設定することは、例えば、イベントの発生頻度が小さい場合に有効である。すなわち、フレーム間隔を、フレーム幅よりも長時間に設定することにより、同じようなシーンが映るフレームが長時間続くようなフレームデータが生成されることを抑制することができる。

＜データ生成部１１３の構成例＞

図１５は、図９のデータ生成部１１３の構成例を示すブロック図である。

図１５において、データ生成部１１３は、メモリ１２１、メモリ制御部１２２、フレームデータ生成部１２３、及び、取得部１２４を有する。

メモリ１２１には、イベント生成部２１からのイベントデータが供給される。メモリ１２１は、イベント生成部２１からのイベントデータを記憶する。なお、メモリ１２１は、その記憶領域に、イベントデータを順次記憶していき、記憶領域のすべてに、イベントデータを記憶した後は、最古のイベントデータに上書きする形で、最新のイベントデータを記憶する。

メモリ制御部１２２は、メモリ１２１からのイベントデータの読み出し等を制御する。メモリ制御部１２２は、例えば、取得部１２４から供給される設定フレーム間隔及び設定フレーム幅に応じて、メモリ１２１を制御することにより、フレームボリューム内のイベントデータを、メモリ１２１から読み出し、フレームデータ生成部１２３に供給する。

フレームデータ生成部１２３は、メモリ制御部１２２から供給されるフレームボリューム内のイベントデータに応じて、１フレームのフレームデータを生成し、画像処理部１１４（図９）に供給する。

取得部１２４は、フレーム間隔設定部１１１から設定フレーム間隔を取得するとともに、フレーム幅設定部１１２から設定フレーム幅を取得する。そして、取得部１２４は、設定フレーム間隔及び設定フレーム幅を、メモリ制御部１２２に供給する。

図１６は、メモリ制御部１２２によるメモリ１２１の制御の例を説明する図である。

メモリ１２１は、イベント生成部２１からのイベントデータを順次（時系列に）記憶していく。

メモリ制御部１２２は、例えば、メモリ１２１に最初に記憶されたイベントデータのイベントの時刻t₀から、設定フレーム幅としての時間内に、イベントの時刻tが含まれるイベントデータを、１フレーム目のフレームボリューム内のイベントデータとして、メモリ１２１から読み出す。

図１６では、イベントの時刻t₀のイベントデータから、イベントの時刻t₈のイベントデータまでが、１フレーム目のフレームボリューム内のイベントデータとして、メモリ１２１から読み出され、そのイベントデータに応じて、フレームデータが生成されている。

メモリ制御部１２２は、１フレーム目のフレームボリューム内のイベントデータとしてのイベントの時刻t₀のイベントデータから、イベントの時刻t₈のイベントデータまでを、メモリ１２１から読み出した後、メモリ１２１の記憶領域のうちの、１フレーム目のフレームボリュームの先頭（設定フレーム間隔の先頭）の時刻から設定フレーム間隔だけ後の時刻の直前までの時間内に、イベントの時刻tが含まれるイベントデータの記憶領域を解放する。

図１６では、メモリ１２１において、イベントの時刻t₀のイベントデータから、イベントの時刻t₅のイベントデータまでの記憶領域が解放されている。メモリ１２１において解放された記憶領域は、新たなイベントデータを記憶することができる。図１６では、イベントの時刻t₀のイベントデータから、イベントの時刻t₃のイベントデータまでが記憶されていた記憶領域に、イベントの時刻t₁₀のイベントデータから、イベントの時刻t₁₃のイベントデータまでが、上書きする形で記憶されている。

その後、メモリ制御部１２２は、メモリ１２１から直前にイベントデータが読み出されたフレームボリュームの先頭の時刻から設定フレーム間隔だけ後の時刻を、２フレーム目のフレームボリュームの先頭として、その先頭から、設定フレーム幅としての時間内に、イベントの時刻tが含まれるイベントデータを、２フレーム目のフレームボリューム内のイベントデータとして、メモリ１２１から読み出す。

図１６では、イベントの時刻t₆のイベントデータから、イベントの時刻t₁₀のイベントデータまでが、２フレーム目のフレームボリューム内のイベントデータとして、メモリ１２１から読み出され、そのイベントデータに応じて、フレームデータが生成されている。

以下、同様にして、３フレーム目以降のイベントデータが読み出される。

＜データ処理部２２の処理＞

図１７は、図９のデータ処理部２２の処理の例を説明するフローチャートである。

ステップＳ１１において、フレーム間隔設定部１１１は、フレーム間隔を設定し、データ生成部１１３に供給するとともに、フレーム幅設定部１１２は、フレーム幅を設定し、データ生成部１１３に供給して、処理は、ステップＳ１２に進む。

ステップＳ１２では、データ生成部１１３は、フレーム間隔設定部１１１からのフレーム間隔（設定フレーム間隔）、及び、フレーム幅設定部１１２からのフレーム幅（設定フレーム幅）、並びに、イベント生成部２１（図１）からのイベントデータに応じて、フレームデータを生成するデータ生成処理を行い、処理は、ステップＳ１３に進む。

ステップＳ１３では、画像処理部１１４は、ステップＳ１２で行われたデータ生成処理で得られるフレームデータを用いて、画像処理を行う。

図１８は、図１７のステップＳ１２でデータ生成部１１３が行うデータ生成処理の例を説明するフローチャートである。

データ生成部１１３（図１５）では、ステップＳ２１において、メモリ１２１が、イベント生成部２１からのイベントデータを順次記憶する。

一方、データ生成部１１３は、ステップＳ３１において、取得部１２４が、フレーム間隔設定部１１１で設定された設定フレーム間隔St、及び、フレーム幅設定部１１２で設定された設定フレーム幅Itを取得し、メモリ制御部１２２に供給して、処理は、ステップＳ３２に進む。

ステップＳ３２では、メモリ制御部１２２は、フレームボリューム（フレーム間隔）の先頭の時刻（を表す変数）Tを0にセットし、処理は、ステップＳ３３に進む。

ステップＳ３３では、メモリ制御部１２２は、イベントの時刻tが、式t<Tを満たすイベントデータが記憶されているメモリ１２１の記憶領域（メモリ領域）を解放し、処理は、ステップＳ３４に進む。メモリ１２１において解放された記憶領域には、ステップＳ２１でのイベントデータの記憶が可能になる。

ステップＳ３４では、メモリ制御部１２２は、イベントの時刻tが、式T<=t<T+Itを満たすイベントデータを、１フレームのフレームボリューム内のイベントデータとして、メモリ１２１から読み出し、フレームデータ生成部１２３に供給する。

フレームデータ生成部１２３は、メモリ制御部１２２からのフレームボリューム内のイベントデータに応じて、フレームデータを生成し、画像処理部１１４に供給して、処理は、ステップＳ３４からステップＳ３５に進む。

ステップＳ３５では、メモリ制御部１２２は、時刻Tを、T+Stに更新する。そして、処理は、ステップＳ３５からステップＳ３３に戻り、以下、同様の処理が繰り返される。

＜フレーム間隔及びフレーム幅のイベントデータの数による指定＞

図１９は、フレーム幅及びフレーム間隔の第４の設定方法を示す図である。

図１９では、図１２と同様に、横軸をイベントの時刻tとするとともに、縦軸をイベントの位置(x, y)として、イベントデータがプロットされている。

第４の設定方法では、フレーム間隔が、時間による指定により設定され、フレーム幅が、イベントデータの数による指定により設定される。

第４の設定方法では、フレーム間隔が、時間により指定されるため、フレーム間隔は、一定の時間となり、したがって、フレームデータのフレームレートは、一定のフレームレートとなる。

但し、第４の設定方法では、フレーム幅が、イベントデータの数により指定されるため、フレーム幅は、イベントの発生頻度に応じた不定の時間となる。すなわち、フレーム幅が、イベントデータの数により指定された場合、フレームボリューム内のイベントデータの数が、指定された数になるときのフレームボリュームの時間軸t方向の幅が、設定フレーム幅として扱われる。

したがって、第４の設定方法では、イベントデータの発生頻度が小である場合、フレーム幅としての時間は大になる。一方、イベントデータの発生頻度が大である場合、フレーム幅としての時間は小になる。

第４の設定方法では、フレームボリューム内のイベントデータの数が、指定された数になるまで待って、その指定された数のイベントデータに応じて、１フレームのフレームデータが生成される。

したがって、例えば、動体が、画面の左右の一方から他方に移動するようなシーンについては、動体が画面内を動いている間は、その動体の動きによって、短時間に、多数のイベントが発生し、動いている動体が画像に現れるフレームデータが生成される。

一方、動体が画面内に存在しない状態では、イベントがあまり発生しないため、フレームボリューム内のイベントデータの数が、指定された数になるまでには、長時間を要する。動体が画面内に存在しない状態で発生するイベント（のほとんど）は、例えば、背景の僅かな動きに起因するイベントになる。したがって、動体が画面内に存在しない状態では、長時間に亘って、背景の動きに起因するイベントが、指定された数まで発生するのを待って、フレームデータが生成される。

この場合、フレームデータに対応する画像には、僅かに動く背景が映る。

したがって、第４の設定方法によれば、動体が画面内を動いている間は、短い露光時間で撮像を行い、動体が画面内に存在しない間は、長い露光時間で撮像を行うといったような、イベントの発生頻度に応じて、露光時間が適応的に調整されるAE(Automatic Exposure)の機能を実現することができる。

なお、第３の設定方法及び第４の設定方法のように、フレーム間隔が、時間による指定により設定される場合において、フレーム幅を、第３の設定方法のように、時間による指定により設定するか、又は、第４の設定方法のように、イベントデータの数による指定により設定するかは、適応的に切り替えることができる。

すなわち、フレーム幅を、時間による指定により設定するか、又は、イベントデータの数による指定により設定するかは、例えば、ユーザの操作に応じて切り替えることができる。

また、フレーム幅を、時間による指定により設定するか、又は、イベントデータの数による指定により設定するかは、その他、例えば、所定の一定時間内のイベントの発生頻度、すなわち、イベントデータの数に応じて切り替えることができる。

ここで、フレーム幅を、イベントデータの数による指定により設定する場合には、イベントデータの数が、指定された数になるまで、フレームデータが生成されない。したがって、イベント発生頻度が極端に低い状態が続くと、フレームデータが、長時間生成されない事態が生じる。そこで、所定の一定時間内のイベントの発生頻度があらかじめ設定された閾値を下回る場合には、フレーム幅の設定を、時間による指定により行うことに切り替えることができる。一方、所定の一定時間内のイベントの発生頻度があらかじめ設定された閾値以上である場合には、フレーム幅の設定を、イベントデータの数による指定により行うことに切り替えることができる。

図２０は、フレーム幅及びフレーム間隔の第５の設定方法を示す図である。

図２０では、図１２と同様に、横軸をイベントの時刻tとするとともに、縦軸をイベントの位置(x, y)として、イベントデータがプロットされている。

第５の設定方法では、フレーム幅が、時間による指定により設定され、フレーム間隔が、イベントデータの数による指定により設定される。

第５の設定方法では、フレーム幅が、時間により指定されるため、フレーム幅は、一定の時間となる。

但し、第５の設定方法では、フレーム間隔が、イベントデータの数により指定されるため、フレーム間隔は、イベントの発生頻度に応じた不定の時間となる。すなわち、フレーム間隔が、イベントデータの数により指定された場合、フレームボリュームの先頭から次のフレームボリュームの先頭までのイベントデータの数が、指定された数になるときのフレームボリュームの先頭から次のフレームボリュームの先頭までの時間が、設定フレーム間隔として扱われる。

したがって、第５の設定方法では、イベントデータの発生頻度が小である場合、フレーム間隔としての時間は大になる。一方、イベントデータの発生頻度が大である場合、フレーム間隔としての時間は小になる。

第５の設定方法では、直前のフレームボリュームの先頭からのイベントデータの数が、指定された数になるタイミングを、最新のフレームボリュームの先頭として、その最新のフレームボリューム内のイベントデータに応じて、１フレームのフレームデータが生成される。

したがって、例えば、動体が、画面の左右の一方から他方に移動するようなシーンについては、動体が画面内を動いている間は、その動体の動きによって、短時間に、多数のイベントが発生し、フレームデータが生成される頻度が大になる。その結果、フレームデータのフレームレートは大になる。

一方、動体が画面内に存在しない状態では、イベントがあまり発生しないため、指定された数のイベントデータが発生するまでには、長時間を要する。したがって、動体が画面内に存在しない状態では、フレームデータが生成される頻度が小になり、その結果、フレームデータのフレームレートは小になる。

したがって、第５の設定方法によれば、動体が画面内を動いている間は、フレームデータのフレームレートが大になり、動体が画面内に存在しない間は、フレームデータのフレームレートが小になるといったような、イベントの発生頻度に応じて、フレームデータのフレームレートが適応的に調整される機能を実現することができる。

このようなフレームデータのフレームレートの適応的な調整によれば、動体が画面内に存在する場合には、フレームデータのフレームレートが大になるので、連写が行われているかのような状態になる。

なお、第５の設定方法で得られるフレームデータを、一定のフレームレートで再生する場合には、動体が画面内を動いているシーンでは、フレームデータに対応する画像の再生は、スロー再生になる。一方、動体が画面内に存在しないシーンでは、フレームデータに対応する画像の再生は、早送り再生になる。

図２１は、フレーム幅及びフレーム間隔の第６の設定方法を示す図である。

図２１では、図１２と同様に、横軸をイベントの時刻tとするとともに、縦軸をイベントの位置(x, y)として、イベントデータがプロットされている。

第６の設定方法では、フレーム間隔及びフレーム幅が、いずれも、イベントデータの数による指定により設定される。

第６の設定方法では、フレーム間隔及びフレーム幅が、イベントデータの数により指定されるため、フレーム間隔及びフレーム幅は、第５の設定方法及び第４の設定方法とそれぞれ同様に、イベントの発生頻度に応じた不定の時間となる。すなわち、イベントの発生頻度が大であれば、フレーム間隔及びフレーム幅としての時間は短時間になり、イベントの発生頻度が小であれば、フレーム間隔及びフレーム幅としての時間は長時間になる。

したがって、第６の設定方法によれば、第５の設定方法と同様に、動体が画面内を動いている間は、フレームデータのフレームレートが大になり、動体が画面内に存在しない間は、フレームデータのフレームレートが小になるといったような、イベントの発生頻度に応じて、フレームデータのフレームレートが適応的に調整される機能を実現することができる。

さらに、第６の設定方法によれば、第４の設定方法と同様に、動体が画面内を動いている間は、短い露光時間で撮像を行い、動体が画面内に存在しない間は、長い露光時間で撮像を行うといったような、イベントの発生頻度に応じて、露光時間が適応的に調整されるAEの機能を実現することができる。

なお、第５の設定方法及び第６の設定方法のように、フレーム間隔が、イベントデータの数による指定により設定される場合において、フレーム幅を、第５の設定方法のように、時間による指定により設定するか、又は、第６の設定方法のように、イベントデータの数による指定により設定するかは、適応的に切り替えることができる。

すなわち、フレーム幅を、時間による指定により設定するか、又は、イベントデータの数による指定により設定するかは、例えば、図２０で説明したように、ユーザの操作や、所定の一定時間内のイベントの発生頻度等に応じて切り替えることができる。

また、フレーム間隔を、第３の設定方法及び第４の設定方法のように、時間による指定により設定するか、又は、第５の設定方法及び第６の設定方法のように、イベントデータの数による指定により設定するかは、適応的に切り替えることができる。

すなわち、フレーム間隔を、時間による指定により設定するか、又は、イベントデータの数による指定により設定するかは、例えば、ユーザの操作に応じて切り替えることができる。

また、フレーム間隔を、時間による指定により設定するか、又は、イベントデータの数による指定により設定するかは、その他、例えば、フレームデータのフレームレートやデータ処理部２２の消費電力に応じて切り替えることができる。

ここで、フレーム間隔を、イベントデータの数による指定により設定する場合には、フレームデータのフレームレートが変わるため、データ処理部２２（図１）の消費電力や、フレームデータの記憶に必要な記憶容量、画像処理部１１４（図９）でフレームデータを対象として行われる画像処理の負荷が変化する。

そこで、データ処理部２２の消費電力を計測し、その消費電力が閾値を超える場合には、フレーム間隔の設定を、時間による指定により行うことに切り替えることができる。一方、データ処理部２２の消費電力が閾値以下である場合には、フレーム間隔の設定を、イベントデータの数による指定により行うことに切り替えることができる。これにより、データ処理部２２の消費電力の増大を抑制することができる。

その他、フレーム間隔を、時間による指定により設定するか、又は、イベントデータの数による指定により設定するかは、フレームデータの記憶に必要な記憶容量や、画像処理部１１４でフレームデータを対象として行われる画像処理の負荷等に応じて切り替えることができる。

＜本技術を適用したコンピュータの説明＞

次に、データ処理部２２の一連の処理は、ハードウエアにより行うこともできるし、ソフトウエアにより行うこともできる。一連の処理をソフトウエアによって行う場合には、そのソフトウエアを構成するプログラムが、マイクロコンピュータ等のコンピュータ等にインストールされる。

図２２は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。

プログラムは、コンピュータに内蔵されている記録媒体としてのROM９０３に予め記録しておくことができる。

あるいはまた、プログラムは、リムーバブル記録媒体に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードしてインストールすることができる。

コンピュータは、CPU(Central Processing Unit)９０２を内蔵しており、CPU９０２には、バス９０１を介して、ROM９０３及びRAM９０４が接続されている。

CPU９０２は、ROM(Read Only Memory)９０３に格納されているプログラムを実行する。

これにより、CPU９０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。

ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

＜移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

図２３は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２３に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２３の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

図２４は、撮像部１２０３１の設置位置の例を示す図である。

図２４では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。

撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図２４には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１に適用され得る。具体的には、図１のデータ処理チップは、撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、適切なフレームデータを得て、そのフレームデータの画像処理により、適切な運転支援を行うことができる。

＜フレーム間隔及びフレーム幅を設定する設定方法の一覧＞

図２５は、フレーム間隔及びフレーム幅を設定する設定方法の一覧を示す図である。

図２５を参照して、本技術のフレーム間隔及びフレーム幅の設定方法について、再度説明する。

第３の設定方法（図１４）では、フレーム間隔及びフレーム幅が、それぞれ、時間で（時間による指定により）設定される。第４の設定方法（図１９）では、フレーム間隔が、時間で設定され、フレーム幅が、イベントデータ数で（イベントデータの数による指定により）設定される。第５の設定方法（図２０）では、フレーム間隔が、イベントデータ数で設定され、フレーム幅が、時間で設定される。第６の設定方法（図２１）では、フレーム間隔及びフレーム幅が、それぞれ、イベントデータ数で設定される。

＜フレームデータのフレーム全体に１つのフレーム幅が設定される場合に生成されるフレームデータの例＞

図２６は、フレームデータのフレーム全体に１つのフレーム幅が設定される場合に生成されるフレームデータの例を示す図である。

図２６では、イベントの発生頻度を表すイベントレートが高い被写体（例えば、高速で移動している被写体）と、イベントレートが低い被写体（例えば、極めて低速で、又は、ほぼ静止している被写体）とが混在する。フレーム全体に、１つのフレーム幅が設定される場合には、イベントレートが高い被写体と、イベントレートが低い被写体とが混在すると、フレームボリュームには、イベントレートが高い被写体によるイベントデータが多く含まれ、イベントレートが低い被写体によるイベントデータがあまり含まれない状態になる。

フレームボリュームに含まれるイベントデータが多すぎる被写体については、フレームデータに対応する画像において、被写体の輪郭がぶれて現れることがある。一方、フレームボリュームに含まれるイベントデータが少なすぎる被写体については、フレームデータに対応する画像において、被写体の輪郭が鮮明に現れず、被写体の視認性が低下することがある。さらに、そのような画像を対象として画像認識が行われる場合には、十分な認識性能が得られないことがある。

そこで、フレーム幅は、フレームデータのフレームを複数の領域に分割した分割領域の単位で設定することができる。

＜分割領域の単位でのフレーム幅の設定＞

図２７は、フレームを分割領域に分割する分割の仕方の例を示す図である。

フレームは、例えば、横方向に等分するように、4個の分割領域に分割することができる。また、フレームは、横方向及び縦方向に等分するように、横×縦が4×4個の分割領域に分割することができる。フレームは、その他の方法で、分割領域に分割することができる。また、フレームは、サイズが異なる複数の分割領域に分割することができる。

フレーム幅は、分割領域ごとに設定することができる。

図２８は、分割領域ごとにフレーム幅が設定される場合に生成されるフレームデータの例を示す図である。

図２８では、図２６と同様に、イベントレートが高い被写体と、イベントレートが低い被写体とが混在する。そして、図２８では、イベントレートが高い被写体が映る分割領域には、フレーム幅として、例えば、所定時間より短い時間が設定されている。また、イベントレートが低い被写体が映る分割領域には、フレーム幅として、例えば、所定時間より長い時間が設定されている。

その結果、図２８では、イベントレートが高い被写体と、イベントレートが低い被写体とについて、イベントデータが、それほど差のない数で、フレームボリュームに含まれる。これにより、フレームデータに対応する画像において、イベントレートが高い被写体、及び、イベントレートが低い被写体のいずれについても、被写体の輪郭が鮮明に現れる。

したがって、フレームデータに対応する画像に映る被写体の視認性を向上させることができる。さらに、フレームデータに対応する画像を対象として画像認識が行われる場合には、十分な認識性能を得ることができる。なお、フレーム幅を、イベントデータ数で設定する場合には、例えば、イベントレートが高い被写体が映る分割領域、及び、イベントレートが低い被写体が映る分割領域のいずれにも、同一の、適切なイベントデータ数、すなわち、例えば、被写体の輪郭が鮮明に現れるイベントデータ数を、フレーム幅として設定することができる。この場合、イベントレートが高い被写体が映る分割領域については、フレーム幅としての時間は、イベントレートが低い被写体が映る分割領域についてのフレーム幅としての時間よりも短くなり、イベントレートが低い被写体が映る分割領域については、フレーム幅としての時間は、イベントレートが高い被写体が映る分割領域についてのフレーム幅としての時間よりも短くなる。

図２９は、分割領域ごとにフレーム幅としてのイベントデータ数を設定する場合の設定方法の例を示すフローチャートである。

ここで、フレーム幅としてのイベントデータ数を設定しようとする分割領域を、注目領域ともいう。図２９は、注目領域のフレーム幅の設定方法を示すフローチャートである。

注目領域のフレーム幅は、そのフレーム幅の適切さを表す評価値Fに応じて設定することができる。注目領域について、評価値Fは、注目領域のフレーム幅のフレームボリューム内のイベントデータに応じて生成される注目領域のフレームデータ（に対応する画像）に応じて求めることができる。

注目領域のフレーム幅の設定では、ステップＳ１０１において、フレーム幅設定部１１２（図９）は、変数p，q，rを初期値としての0にセットし、処理は、ステップＳ１０２に進む。

pは、フレーム幅としてのイベントデータ数の候補を表す変数であり、qは、フレーム幅としてのイベントデータの数を表す変数である。ｒは、変数pが表すフレーム幅の適切さを表す評価値F、すなわち、イベントデータ数の候補（を表す変数）pを、フレーム幅（としてのイベントデータ数）とすることの適切さを表す評価値Fの閾値を表す変数である。

ステップＳ１０２では、フレーム幅設定部１１２は、変数pが、あらかじめ決められたフレーム幅としてのイベントデータ数の最大値である閾値p_maxより大きいかどうかを判定する。ステップＳ１０２において、変数pが閾値p_maxより大きくないと判定された場合、処理は、ステップＳ１０３に進む。

ステップＳ１０３では、フレーム幅設定部１１２は、変数p、すなわち、フレーム幅としてのイベントデータ数の候補pを、仮のフレーム幅pに設定し、その仮のフレーム幅pのフレームボリューム内のイベントデータに応じて生成される注目領域の各画素の画素値としてのフレームデータI(x,y)を用いて、評価値Fを求め、処理は、ステップＳ１０４に進む。I(x,y)は、注目領域内の位置(x,y)の画素の画素値を表す。

ステップＳ１０４では、フレーム幅設定部１１２は、評価値Fが、閾値（を表す変数）rより大きいかどうかを判定する。ステップＳ１０４において、評価値Fが閾値rより大きくないと判定された場合、処理は、ステップＳ１０５をスキップして、ステップＳ１０６に進む。

また、ステップＳ１０４において、評価値Fが閾値rより大きいと判定された場合、処理は、ステップＳ１０５に進む。ステップＳ１０５では、フレーム幅設定部１１２は、変数qを、仮のフレーム幅pに更新するとともに、閾値rを、評価値Fに更新し、処理は、ステップＳ１０６に進む。

ステップＳ１０６では、フレーム幅設定部１１２は、変数pを、あらかじめ決められた値δpだけインクリメントする。そして、処理は、ステップＳ１０６からステップＳ１０２に戻り、以下、同様の処理が繰り返される。

その後、ステップＳ１０２において、変数pが閾値p_maxより大きいと判定された場合、処理は、ステップＳ１０７に進む。ステップＳ１０７では、フレーム幅設定部１１２は、注目領域のフレーム幅として、変数qを設定し、処理は、終了する。

なお、図２９では、イベントデータ数により指定されるフレーム幅を、分割領域ごとに設定する設定方法を説明したが、図２９の設定方法は、時間により指定されるフレーム幅を、分割領域ごとに設定する場合にも適用することができる。時間により指定されるフレーム幅を、分割領域ごとに設定する場合には、図２９において、変数pは、フレーム幅としての時間の候補を表し、変数qは、フレーム幅としての時間を表す。また、p_maxは、あらかじめ決められたフレーム幅としての時間の最大値を表す。

図３０は、評価値Fの例を示す図である。

図３０において、横軸は、フレーム幅としてのイベントデータ数又は時間を表し、縦軸は、評価値Fを表す。

評価値Fとしては、例えば、図３０に示すように、注目領域のフレーム幅としてのイベントデータ数又は時間が適切な値である場合に値がより大きくなる関数を採用することができる。

注目領域のフレーム幅としてのイベントデータ数が適切な数である場合とは、注目領域において、イベントデータ数が少なすぎるために、被写体の輪郭が十分に現れていない状態でもなく、かつ、イベントデータ数が多すぎるために、被写体の輪郭がぶれる状態でもない、被写体の輪郭が鮮明に現れる状態を意味する。

評価値Fとしては、例えば、注目領域に、１画素又は複数画素の幅の線が存在する場合に大きくなる値（関数）を採用することができる。具体的には、評価値Fとしては、以下のような値を採用することができる。

行列A_X及びA_Yを、式（７）で表すこととする。

・・・（７）

また、f_X(x,y)及びf_Y(x,y)を、式（８）で表すこととする。

・・・（８）
f_X(x,y)及びf_Y(x,y)は、それぞれ、縦方向及び横方向に、１画素の幅の線が存在すると絶対値が大きくなる。評価値Fは、例えば、式（９）で表すことができる。

・・・（９）

式（９）のサメーションは、注目領域内の画素についてとられる。

なお、行列A_X及びA_Yの各要素の値は、式（７）に限定されるものではない。さらに、行列A_X及びA_Yの要素数及び構成（サイズ）は、横×縦が3×3の要素に限定されるものではない。さらに、評価値Fは、式（９）に示したように、f_X(x,y)及びf_Y(x,y)それぞれの自乗の和の平方根のサメーションをとった値に限定されるものではない。例えば、評価値Fとしては、式（１０）に示すように、f_X(x,y)及びf_Y(x,y)それぞれの自乗の和のサメーションをとった値を採用することができる。また、評価値Fは、例えば、式（１１）に示すように、f_X(x,y)及びf_Y(x,y)そのものを加算してサメーションをとることや、式（１２）に示すように、f_X(x,y)及びf_Y(x,y)のうちの大きい方を選択してサメーションをとること等により求めることができる。その他、評価値Fは、イベントデータに応じて生成されるフレームデータに対応する画像として、所望の画像（線幅等）が得られるときに最大値（又は最小値）をとるように設計することができる。

・・・（１０）

・・・（１１）

・・・（１２）

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

なお、本技術は、以下の構成をとることができる。

＜１＞
第１のフレーム生成開始時から第１のフレーム生成終了時までの第１の蓄積時間で発生した、光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントデータに基づく第１のフレームデータと、第２のフレーム生成開始時から第２のフレーム生成終了時までの第２の蓄積時間で発生したイベントデータに基づく第２のフレームデータとを生成するフレームデータ生成部と、
第１のフレーム生成開始時と第2のフレーム生成開始時までの第１のフレーム期間を設定し前記フレームデータ生成部に供給するフレーム期間設定部と
を備えるデータ処理装置。
＜２＞
前記フレームデータ生成部は、
第３のフレーム生成開始時から第３のフレーム生成終了時までの第３の蓄積時間で発生したイベントデータに基づく第３のフレームデータをさらに生成し、
前記フレーム期間設定部は、
前記第１のフレーム期間と、第２のフレーム生成開始時と第３のフレーム生成開始時までの第２のフレーム期間とが異なるように設定する
＜１＞に記載のデータ処理装置。
＜３＞
前記第1の蓄積時間と前記第２の蓄積時間を設定し前記フレームデータ生成部に供給する蓄積時間設定部をさらに備える
＜１＞又は＜２＞に記載のデータ処理装置。
＜４＞
前記蓄積時間設定部は、
前記第1の蓄積時間と前記第２の蓄積時間とが異なるように設定する
＜３＞に記載のデータ処理装置。
＜５＞
フレーム生成開始時からフレーム生成終了時までの蓄積時間で発生した、光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントデータに基づいてフレームデータを生成するフレームデータ生成部と、
第１のフレームデータのフレームデータ生成開始時と、第１のフレームデータと連続して生成される第２のフレームデータのフレームデータ生成開始時との間隔であるフレーム期間を設定し前記フレームデータ生成部に供給するフレーム期間設定部と
を備えるデータ処理装置。
＜６＞
前記蓄積時間を設定し前記フレームデータ生成部に供給する蓄積時間設定部をさらに備える
＜５＞に記載のデータ処理装置。
＜７＞
前記フレーム期間設定部は、前記フレーム期間を、時間で設定する
＜５＞又は＜６＞に記載のデータ処理装置。
＜８＞
前記蓄積時間設定部は、前記蓄積時間を、時間で設定する
＜６＞に記載のデータ処理装置。
＜９＞
前記蓄積時間設定部は、前記蓄積時間を、前記イベントデータの数に応じて設定する
＜６＞に記載のデータ処理装置。
＜１０＞
前記蓄積時間設定部は、前記蓄積時間を時間で設定することと、前記イベントデータの数に応じて設定することとを切り替える
＜６＞に記載のデータ処理装置。
＜１１＞
前記フレーム期間設定部は、前記フレーム期間を、前記イベントデータの数に応じて設定する
＜５＞に記載のデータ処理装置。
＜１２＞
前記蓄積時間を設定し前記フレームデータ生成部に供給する蓄積時間設定部をさらに備え、
前記蓄積時間設定部は、前記蓄積時間を、時間で設定する
＜１１＞に記載のデータ処理装置。
＜１３＞
前記蓄積時間を設定し前記フレームデータ生成部に供給する蓄積時間設定部をさらに備え、
前記蓄積時間設定部は、前記蓄積時間を、前記イベントデータの数に応じて設定する
＜１１＞に記載のデータ処理装置。
＜１４＞
前記蓄積時間を設定し前記フレームデータ生成部に供給する蓄積時間設定部をさらに備え、
前記蓄積時間設定部は、前記蓄積時間を時間で設定することと、前記イベントデータの数に応じて設定することとを切り替える
＜１１＞に記載のデータ処理装置。
＜１５＞
前記フレーム期間設定部は、前記フレーム期間を時間で設定することと、前記イベントデータの数に応じて設定することとを切り替える
＜５＞又は＜６＞に記載のデータ処理装置。
＜１６＞
フレームデータ生成部が、フレーム生成開始時からフレーム生成終了時までの蓄積時間で発生した、光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントデータに基づいてフレームデータを生成することと、
第１のフレームデータのフレームデータ生成開始時と、前記第１のフレームデータと連続して生成される第２のフレームデータのフレームデータ生成開始時との間隔であるフレーム期間を設定し前記フレームデータ生成部に供給することと
を含むデータ処理方法。
＜１７＞
フレーム生成開始時からフレーム生成終了時までの蓄積時間で発生した、光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントデータに基づいてフレームデータを生成するフレームデータ生成部と、
第１のフレームデータのフレームデータ生成開始時と、前記第１のフレームデータと連続して生成される第２のフレームデータのフレームデータ生成開始時との間隔であるフレーム期間を設定し前記フレームデータ生成部に供給するフレーム期間設定部と
して、コンピューターを機能させるためのプログラム。
＜１８＞
第１のフレーム生成開始時から第１のフレーム生成終了時までの第１の蓄積時間で発生した、光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントデータに基づく第１のフレームデータと、第２のフレーム生成開始時から第２のフレーム生成終了時までの第２の蓄積時間で発生した前記イベントデータに基づく第２のフレームデータとを、
第１の蓄積時間と第２の蓄積時間が重畳するように生成するフレームデータ生成部
を備えるデータ処理装置。
＜１９＞
第１のフレーム生成開始時から第１のフレーム生成終了時までの第１の蓄積時間で発生した、光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントデータに基づく第１のフレームデータと、第２のフレーム生成開始時から２のフレーム生成終了時までの第２の蓄積時間で発生した前記イベントデータに基づく第２のフレームデータとを、
第１の蓄積時間と第２の蓄積時間が重畳するように生成する
ことを含むデータ処理方法。
＜２０＞
第１のフレーム生成開始時から第１のフレーム生成終了時までの第１の蓄積時間で発生した、光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントデータに基づく第１のフレームデータと、第２のフレーム生成開始時から２のフレーム生成終了時までの第２の蓄積時間で発生した前記イベントデータに基づく第２のフレームデータとを、
第１の蓄積時間と第２の蓄積時間が重畳するように生成するフレームデータ生成部
として、コンピューターを機能させるためのプログラム。
＜２１＞
フレーム生成開始時からフレーム生成終了時までの蓄積時間で発生した、光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントデータに基づいてフレームデータを生成し、
単位時間当たりの前記イベントデータの数に応じて、単位時間当たりの前記フレームデータの生成数が変化する
データ処理装置。
＜２２＞
単位時間当たりの前記イベントデータの数が多いほど、単位時間当たりの前記フレームデータの生成数が多い
＜２１＞に記載のデータ処理装置。
＜２３＞
光電変換を行って電気信号を生成する画素を有し、前記画素の前記電気信号の変化であるイベントの発生を表すイベントデータを生成するイベント生成部と、
フレーム生成開始時からフレーム生成終了時までの蓄積時間で発生した前記イベントデータに基づいてフレームデータを生成するフレームデータ生成部と、
第１のフレームデータのフレームデータ生成開始時と、前記第１のフレームデータと連続して生成される第２のフレームデータのフレームデータ生成開始時との間隔であるフレーム期間を設定し前記フレームデータ生成部に供給するフレーム期間設定部と
を備えるデータ処理部
を備えるデータ処理装置。
＜２４＞
前記フレームデータを用いて、画像処理を行う画像処理部をさらに備える
＜２３＞に記載のデータ処理装置。
＜２５＞
前記画像処理部は、前記フレームデータを対象とした認識処理を行う
＜２４＞に記載のデータ処理装置。
＜２６＞
複数のダイが積層された半導体チップで構成される
＜２３＞ないし＜２５＞のいずれかに記載のデータ処理装置。
＜２７＞
光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントの発生を表すイベントデータを生成することと、
フレームデータ生成部が、フレーム生成開始時からフレーム生成終了時までの蓄積時間で発生した前記イベントデータに基づいてフレームデータを生成することと、
第１のフレームデータのフレームデータ生成開始時と、前記第１のフレームデータと連続して生成される第２のフレームデータのフレームデータ生成開始時との間隔であるフレーム期間を設定し前記フレームデータ生成部に供給することと
を含むデータ処理方法。
＜２８＞
前記蓄積時間設定部は、前記フレームデータのフレームを複数の領域に分割した分割領域の単位で、前記蓄積時間を設定する
＜６＞、＜８＞、＜９＞、＜１２＞、又は、＜１３＞に記載のデータ処理装置。
＜２９＞
前記蓄積時間設定部は、前記蓄積時間の適切さを表す評価値に応じて、前記蓄積時間を設定する
＜２８＞に記載のデータ処理装置。
＜３０＞
前記蓄積時間設定部は、前記蓄積時間内の前記イベントデータに応じて生成される前記フレームデータを用いて求められる前記評価値に応じて、前記蓄積時間を設定する
＜２９＞に記載のデータ処理装置。

＜Ａ１＞
フレームの間隔を表すフレーム間隔を設定するフレーム間隔設定部と、
光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントの発生を表すイベントデータに応じて、前記フレーム間隔の、フレーム形式の画像データであるフレームデータを生成するデータ生成部と
を備えるデータ処理装置。
＜Ａ２＞
前記フレームデータの生成に用いる前記イベントデータの時間幅を表すフレーム幅を設定するフレーム幅設定部をさらに備え、
前記データ生成部は、前記フレーム間隔の先頭から前記フレーム幅内の前記イベントデータに応じて、前記フレームデータを生成する
＜Ａ１＞に記載のデータ処理装置。
＜Ａ３＞
前記フレーム間隔設定部は、前記フレーム間隔を、時間で設定する
＜Ａ２＞に記載のデータ処理装置。
＜Ａ４＞
前記フレーム幅設定部は、前記フレーム幅を、時間で設定する
＜Ａ２＞又は＜Ａ３＞に記載のデータ処理装置。
＜Ａ５＞
前記フレーム幅設定部は、前記フレーム幅を、前記イベントデータの数で設定する
＜Ａ２＞又は＜Ａ３＞に記載のデータ処理装置。
＜Ａ６＞
前記フレーム幅設定部は、前記フレーム幅を時間で設定することと、前記イベントデータの数で設定することとを切り替える
＜Ａ３＞に記載のデータ処理装置。
＜Ａ７＞
前記フレーム間隔設定部は、前記フレーム間隔を、前記イベントデータの数で設定する
＜Ａ２＞に記載のデータ処理装置。
＜Ａ８＞
前記フレーム幅設定部は、前記フレーム幅を、時間で設定する
＜Ａ２＞又は＜Ａ７＞に記載のデータ処理装置。
＜Ａ９＞
前記フレーム幅設定部は、前記フレーム幅を、前記イベントデータの数で設定する
＜Ａ２＞又は＜Ａ７＞に記載のデータ処理装置。
＜Ａ１０＞
前記フレーム幅設定部は、前記フレーム幅を時間で設定することと、前記イベントデータの数で設定することとを切り替える
＜Ａ７＞に記載のデータ処理装置。
＜Ａ１１＞
前記フレーム間隔設定部は、前記フレーム間隔を時間で設定することと、前記イベントデータの数で設定することとを切り替える
＜Ａ１＞又は＜Ａ２＞に記載のデータ処理装置。
＜Ａ１２＞
フレームの間隔を表すフレーム間隔を設定することと、
光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントの発生を表すイベントデータに応じて、前記フレーム間隔の、フレーム形式の画像データであるフレームデータを生成することと
を含むデータ処理方法。
＜Ａ１３＞
フレームの間隔を表すフレーム間隔を設定するフレーム間隔設定部と、
光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントの発生を表すイベントデータに応じて、前記フレーム間隔の、フレーム形式の画像データであるフレームデータを生成するデータ生成部と
して、コンピュータを機能させるためのプログラム。
＜Ａ１４＞
光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントの発生を表すイベントデータに応じて、隣接するフレームで同一の前記イベントデータを共有する、フレーム形式の画像データであるフレームデータを生成するデータ生成部
を備えるデータ処理装置。
＜Ａ１５＞
光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントの発生を表すイベントデータに応じて、隣接するフレームで同一の前記イベントデータを共有する、フレーム形式の画像データであるフレームデータを生成すること
を含むデータ処理方法。
＜Ａ１６＞
光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントの発生を表すイベントデータに応じて、隣接するフレームで同一の前記イベントデータを共有する、フレーム形式の画像データであるフレームデータを生成するデータ生成部
として、コンピュータを機能させるためのプログラム。
＜Ａ１７＞
光電変換を行って電気信号を生成する画素を有し、前記画素の前記電気信号の変化であるイベントの発生を表すイベントデータを生成するイベント生成部と、
フレームの間隔を表すフレーム間隔を設定するフレーム間隔設定部と、
前記イベントデータに応じて、前記フレーム間隔の、フレーム形式の画像データであるフレームデータを生成するデータ生成部と
を備えるデータ処理装置。
＜Ａ１８＞
前記フレームデータを用いて、画像処理を行う画像処理部をさらに備える
＜Ａ１７＞に記載のデータ処理装置。
＜Ａ１９＞
前記画像処理部は、前記フレームデータを対象とした認識処理を行う
＜Ａ１８＞に記載のデータ処理装置。
＜Ａ２０＞
複数のダイが積層された半導体チップで構成される
＜Ａ１７＞ないし＜Ａ１９＞のいずれかに記載のデータ処理装置。
＜Ａ２１＞
光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントの発生を表すイベントデータを生成することと、
フレームの間隔を表すフレーム間隔を設定することと、
前記イベントデータに応じて、前記フレーム間隔の、フレーム形式の画像データであるフレームデータを生成することと
を含むデータ処理方法。
＜Ａ２２＞
前記フレーム幅設定部は、前記フレームデータのフレームを複数の領域に分割した分割領域の単位で、前記フレーム幅を設定する
＜Ａ４＞、＜Ａ５＞、＜Ａ８＞、又は、＜Ａ９＞に記載のデータ処理装置。
＜Ａ２３＞
前記フレーム幅設定部は、前記フレーム幅の適切さを表す評価値に応じて、前記フレーム幅を設定する
＜Ａ２２＞に記載のデータ処理装置。
＜Ａ２４＞
前記フレーム幅設定部は、前記フレーム幅内の前記イベントデータに応じて生成される前記フレームデータを用いて求められる前記評価値に応じて、前記フレーム幅を設定する
＜Ａ２３＞に記載のデータ処理装置。

１１ センサダイ， １２ ロジックダイ， ２１ イベント生成部， ２２ データ処理部， ３１ 画素アレイ部， ３２ 駆動部， ３３ アービタ， ３４ 出力部，
４１ 画素ブロック， ５１ 画素， ５２ イベント検出部， ６０ ノード， ６１ 光電変換素子， ６２ 転送トランジスタ， ７１ 電流電圧変換部， ７２ バッファ， ７３ 減算部， ７４ 量子化部， ７５ 転送部， ８１ないし８３ トランジスタ， ９１ コンデンサ， ９２ オペアンプ， ９３ コンデンサ， ９４ スイッチ， １０１ コンパレータ， １１１ フレーム間隔設定部， １１２ フレーム幅設定部， １１３ データ生成部， １１４ 画像処理部， １２１ メモリ， １２２
メモリ制御部， １２３ フレームデータ生成部， １２４ 取得部， ９０１ バス， ９０２ CPU， ９０３ ROM， ９０４ RAM

したがって、フレームデータに対応する画像に映る被写体の視認性を向上させることができる。さらに、フレームデータに対応する画像を対象として画像認識が行われる場合には、十分な認識性能を得ることができる。なお、フレーム幅を、イベントデータ数で設定する場合には、例えば、イベントレートが高い被写体が映る分割領域、及び、イベントレートが低い被写体が映る分割領域のいずれにも、同一の、適切なイベントデータ数、すなわち、例えば、被写体の輪郭が鮮明に現れるイベントデータ数を、フレーム幅として設定することができる。この場合、イベントレートが高い被写体が映る分割領域については、フレーム幅としての時間は、イベントレートが低い被写体が映る分割領域についてのフレーム幅としての時間よりも短くなり、イベントレートが低い被写体が映る分割領域については、フレーム幅としての時間は、イベントレートが高い被写体が映る分割領域についてのフレーム幅としての時間よりも長くなる。

Claims (30)

1. 第１のフレーム生成開始時から第１のフレーム生成終了時までの第１の蓄積時間で発生した、光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントデータに基づく第１のフレームデータと、第２のフレーム生成開始時から第２のフレーム生成終了時までの第２の蓄積時間で発生したイベントデータに基づく第２のフレームデータとを生成するフレームデータ生成部と、
   第１のフレーム生成開始時と第2のフレーム生成開始時までの第１のフレーム期間を設定し前記フレームデータ生成部に供給するフレーム期間設定部と
   を備えるデータ処理装置。
2. 前記フレームデータ生成部は、
   第３のフレーム生成開始時から第３のフレーム生成終了時までの第３の蓄積時間で発生したイベントデータに基づく第３のフレームデータをさらに生成し、
   前記フレーム期間設定部は、
   前記第１のフレーム期間と、第２のフレーム生成開始時と第３のフレーム生成開始時までの第２のフレーム期間とが異なるように設定する
   請求項１に記載のデータ処理装置。
3. 前記第1の蓄積時間と前記第２の蓄積時間を設定し前記フレームデータ生成部に供給する蓄積時間設定部をさらに備える
   請求項１に記載のデータ処理装置。
4. 前記蓄積時間設定部は、
   前記第1の蓄積時間と前記第２の蓄積時間とが異なるように設定する
   請求項３に記載のデータ処理装置。
5. フレーム生成開始時からフレーム生成終了時までの蓄積時間で発生した、光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントデータに基づいてフレームデータを生成するフレームデータ生成部と、
   第１のフレームデータのフレームデータ生成開始時と、第１のフレームデータと連続して生成される第２のフレームデータのフレームデータ生成開始時との間隔であるフレーム期間を設定し前記フレームデータ生成部に供給するフレーム期間設定部と
   を備えるデータ処理装置。
6. 前記蓄積時間を設定し前記フレームデータ生成部に供給する蓄積時間設定部をさらに備える
   請求項５に記載のデータ処理装置。
7. 前記フレーム期間設定部は、前記フレーム期間を、時間で設定する
   請求項５に記載のデータ処理装置。
8. 前記蓄積時間設定部は、前記蓄積時間を、時間で設定する
   請求項６に記載のデータ処理装置。
9. 前記蓄積時間設定部は、前記蓄積時間を、前記イベントデータの数に応じて設定する
   請求項６に記載のデータ処理装置。
10. 前記蓄積時間設定部は、前記蓄積時間を時間で設定することと、前記イベントデータの数に応じて設定することとを切り替える
    請求項６に記載のデータ処理装置。
11. 前記フレーム期間設定部は、前記フレーム期間を、前記イベントデータの数に応じて設定する
    請求項５に記載のデータ処理装置。
12. 前記蓄積時間を設定し前記フレームデータ生成部に供給する蓄積時間設定部をさらに備え、
    前記蓄積時間設定部は、前記蓄積時間を、時間で設定する
    請求項１１に記載のデータ処理装置。
13. 前記蓄積時間を設定し前記フレームデータ生成部に供給する蓄積時間設定部をさらに備え、
    前記蓄積時間設定部は、前記蓄積時間を、前記イベントデータの数に応じて設定する
    請求項１１に記載のデータ処理装置。
14. 前記蓄積時間を設定し前記フレームデータ生成部に供給する蓄積時間設定部をさらに備え、
    前記蓄積時間設定部は、前記蓄積時間を時間で設定することと、前記イベントデータの数に応じて設定することとを切り替える
    請求項１１に記載のデータ処理装置。
15. 前記フレーム期間設定部は、前記フレーム期間を時間で設定することと、前記イベントデータの数に応じて設定することとを切り替える
    請求項５に記載のデータ処理装置。
16. フレームデータ生成部が、フレーム生成開始時からフレーム生成終了時までの蓄積時間で発生した、光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントデータに基づいてフレームデータを生成することと、
    第１のフレームデータのフレームデータ生成開始時と、前記第１のフレームデータと連続して生成される第２のフレームデータのフレームデータ生成開始時との間隔であるフレーム期間を設定し前記フレームデータ生成部に供給することと
    を含むデータ処理方法。
17. フレーム生成開始時からフレーム生成終了時までの蓄積時間で発生した、光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントデータに基づいてフレームデータを生成するフレームデータ生成部と、
    第１のフレームデータのフレームデータ生成開始時と、前記第１のフレームデータと連続して生成される第２のフレームデータのフレームデータ生成開始時との間隔であるフレーム期間を設定し前記フレームデータ生成部に供給するフレーム期間設定部と
    して、コンピューターを機能させるためのプログラム。
18. 第１のフレーム生成開始時から第１のフレーム生成終了時までの第１の蓄積時間で発生した、光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントデータに基づく第１のフレームデータと、第２のフレーム生成開始時から第２のフレーム生成終了時までの第２の蓄積時間で発生した前記イベントデータに基づく第２のフレームデータとを、
    第１の蓄積時間と第２の蓄積時間が重畳するように生成するフレームデータ生成部
    を備えるデータ処理装置。
19. 第１のフレーム生成開始時から第１のフレーム生成終了時までの第１の蓄積時間で発生した、光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントデータに基づく第１のフレームデータと、第２のフレーム生成開始時から２のフレーム生成終了時までの第２の蓄積時間で発生した前記イベントデータに基づく第２のフレームデータとを、
    第１の蓄積時間と第２の蓄積時間が重畳するように生成する
    ことを含むデータ処理方法。
20. 第１のフレーム生成開始時から第１のフレーム生成終了時までの第１の蓄積時間で発生した、光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントデータに基づく第１のフレームデータと、第２のフレーム生成開始時から２のフレーム生成終了時までの第２の蓄積時間で発生した前記イベントデータに基づく第２のフレームデータとを、
    第１の蓄積時間と第２の蓄積時間が重畳するように生成するフレームデータ生成部
    として、コンピューターを機能させるためのプログラム。
21. フレーム生成開始時からフレーム生成終了時までの蓄積時間で発生した、光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントデータに基づいてフレームデータを生成し、
    単位時間当たりの前記イベントデータの数に応じて、単位時間当たりの前記フレームデータの生成数が変化する
    データ処理装置。
22. 単位時間当たりの前記イベントデータの数が多いほど、単位時間当たりの前記フレームデータの生成数が多い
    請求項２１に記載のデータ処理装置。
23. 光電変換を行って電気信号を生成する画素を有し、前記画素の前記電気信号の変化であるイベントの発生を表すイベントデータを生成するイベント生成部と、
    フレーム生成開始時からフレーム生成終了時までの蓄積時間で発生した前記イベントデータに基づいてフレームデータを生成するフレームデータ生成部と、
    第１のフレームデータのフレームデータ生成開始時と、前記第１のフレームデータと連続して生成される第２のフレームデータのフレームデータ生成開始時との間隔であるフレーム期間を設定し前記フレームデータ生成部に供給するフレーム期間設定部と
    を備えるデータ処理部
    を備えるデータ処理装置。
24. 前記フレームデータを用いて、画像処理を行う画像処理部をさらに備える
    請求項２３に記載のデータ処理装置。
25. 前記画像処理部は、前記フレームデータを対象とした認識処理を行う
    請求項２４に記載のデータ処理装置。
26. 複数のダイが積層された半導体チップで構成される
    請求項２３に記載のデータ処理装置。
27. 光電変換を行って電気信号を生成する画素の前記電気信号の変化であるイベントの発生を表すイベントデータを生成することと、
    フレームデータ生成部が、フレーム生成開始時からフレーム生成終了時までの蓄積時間で発生した前記イベントデータに基づいてフレームデータを生成することと、
    第１のフレームデータのフレームデータ生成開始時と、前記第１のフレームデータと連続して生成される第２のフレームデータのフレームデータ生成開始時との間隔であるフレーム期間を設定し前記フレームデータ生成部に供給することと
    を含むデータ処理方法。
28. 前記蓄積時間設定部は、前記フレームデータのフレームを複数の領域に分割した分割領域の単位で、前記蓄積時間を設定する
    請求項６、請求項８、請求項９、請求項１２、又は、請求項１３に記載のデータ処理装置。
29. 前記蓄積時間設定部は、前記蓄積時間の適切さを表す評価値に応じて、前記蓄積時間を設定する
    請求項２８に記載のデータ処理装置。
30. 前記蓄積時間設定部は、前記蓄積時間内の前記イベントデータに応じて生成される前記フレームデータを用いて求められる前記評価値に応じて、前記蓄積時間を設定する
    請求項２９に記載のデータ処理装置。

Images