JP2022076241A - 情報処理装置、情報処理方法およびプログラム - Google Patents

Abstract

【課題】 アドレスイベント信号を逆再生する場合に、視認性を向上できる。【解決手段】 輝度の変化が発生した画素のアドレスと時刻とを示すアドレスイベント信号を取得する取得手段と、前記アドレスイベント信号に基づいて、輝度の変化が発生した少なくとも１つ以上の画素の位置と、輝度の変化の方向と、を示す時系列の画像を生成する生成手段と、を有し、前記生成手段は、時系列を逆転させて前記画像を表示する場合は、輝度の変化の方向を逆転させた画像を生成することを特徴とする。【選択図】 図１

Description

本発明は、イベントベースセンサの表示に関する。

画素ごとの輝度の変化をアドレスイベント信号としてリアルタイムに出力するイベントベースセンサが知られている（特許文献１参照）。

特開２０１９－１３４２７１号公報

本発明が解決しようとする課題は、アドレスイベント信号を逆再生する場合に、視認性を向上させることである。

本発明にかかる情報処理装置は、前記アドレスイベント信号に基づいて、輝度の変化が発生した少なくとも１つ以上の画素の位置と、輝度の変化の方向と、を示す時系列の画像を生成する生成手段と、を有し、
前記生成手段は、時系列を逆転させて前記画像を表示する場合は、輝度の変化の方向を逆転させた画像を生成することを特徴とする。

アドレスイベント信号を逆再生する場合に、視認性を向上できる。

情報処理装置のハードウェア構成例を示すブロック図 情報処理装置の機能構成例を示すブロック図 イベントベースセンサの構成例を示す図 表示の一例を示す図 表示の一例を示す図 表示の一例を示す図 表示の一例を示す図 表示の一例を示す図 表示の一例を示す図 情報処理装置が実行する処理を説明するフローチャート ユーザーインターフェースの一例を示す図

以下、図を用いて、本発明の実施形態における情報処理装置について説明する。その際、全ての図において同一の機能を有するものは同一の数字を付け、その繰り返しの説明は省略する。

＜実施形態１＞
イベントベースセンサを用いた情報処理装置において、輝度の変化が発生した画素のアドレスと時刻とを示すアドレスイベント信号から生成された画像の表示について説明する。特に、イベントが発生した画素の座標（ＸＹ）と、輝度の変化が発生した時間（Ｔ）を示す軸（Ｔ）から構成される３次元座標空間を用いて表示する方法（以下、ＸＹＴ表示と呼ぶ）を説明する。

＜情報処理装置＞
情報処理装置のハードウェア構成の一例を示したブロック図を図１に示す。図１において、情報処理装置１００は、結像光学系１０１０、光電変換素子１０１１からなるイベントベースセンサ１０１、ＣＰＵ１０１１、メモリ１０３から成る。イベントベースセンサ１０１は、受光した入射光に応じたアドレスイベント信号を出力する。結像光学系１０１０は、具体的には受光レンズであって、入射光を受光し、光電変換素子１０１１に結像する。光電変換素子１０１１は、具体的にはＳＰＡＤセンサやＣＭＯＳセンサであって、受光した入射光に応じたアドレスイベント信号を出力する。ＣＰＵ１０１１は、メモリ１０３に格納されたＯＳやその他プログラムを読みだして実行し、接続された各構成を制御して、各種処理の演算や論理判断などを行う。ＣＰＵ１０１１が実行する処理には、本実施形態にかかる情報処理が含まれる。また、ＣＰＵ１０１１は、結像光学系１０１０のフォーカスの駆動や絞りの駆動、光電変換素子１０１１の駆動等の制御を行う。メモリ１０３は、例えば、ハードディスクドライブや外部記憶装置などであり、実施形態の情報処理にかかるプログラムや各種データを記憶する。表示部１０４は、各種情報やアドレスイベント信号からＸＹＴ表示を行う。

次に、図２を用いて、本実施形態にかかる情報処理装置の機能構成例を説明する。情報処理装置１００は、イベントベースセンサ１０１、取得部２０１、画像生成部２０２、表示制御部２０３、表示部１０４、ユーザーインターフェース１０５を有する。イベントベースセンサ１０１は、受光した入射光に応じたアドレスイベント信号を出力する。より具体的には、イベントベースセンサ１０１は、輝度の変化が発生した画素のアドレスと時刻を示すアドレスイベント信号を出力する。取得部２０１は、イベントベースセンサによって出力されたアドレスイベント信号を取得する。アドレスイベント信号には、所定の時間範囲において輝度の変化が発生した画素（または画素の集合）の位置と、輝度の変化の方向および輝度の変化（イベント）が発生した時刻についての情報を含む。画像生成部２０２は、取得されたアドレスイベント信号に基づいて、所定の時間範囲において輝度の変化が発生した少なくとも１つ以上の画素の位置と、輝度の変化の方向と、を示す時系列の画像を生成する。すなわち、画像生成部２０２は、アドレスイベント信号からＸＹＴ画像を生成する。表示制御部２０３は、時系列を逆転させて画像を表示する場合は、生成された画像の輝度の変化の方向を逆転させて表示させる。表示部１０４は、時系列を逆転させて前記画像を表示する場合は、該輝度の変化の方向を逆転させた画像を表示する。例えば、表示部１０４は情報処理装置の外部にある装置であってもよく、例えばディスプレイ等の表示装置やプロジェクター等の投影装置であってもよい。ユーザーインターフェース１０５は、ユーザーによって入力された撮像や表示等の各種指示を受け付ける。なお、表示部１０４や操作部１０５は情報処理装置と異なる外部装置によって構成されていてもよい。また、情報処理装置の機能構成はここに挙げた構成以外も含んでよい。

＜イベントベースセンサ＞
本実施形態にかかるイベントベースセンサの一例を説明する。イベントベースセンサは、入射した光子の数をカウントし、カウントした光子の数が所定の閾値を超えたタイミングを判定する。またイベントベースセンサは、光子の数が第１の閾値以上になるまでの所要時間（クロック数）を計測しており、その所要時間を比較することによって輝度の変化を検出する。具体的には、前回計測された所要時間をＴ０、最新の所要時間をＴとしたとき、差分Ｔ-Ｔ０が第２の閾値以上の場合は、マイナス方向の輝度の変化を検出する。差分Ｔ０-Ｔが第２の閾値以上の場合は、プラス方向の輝度の変化を検出する。そして、TとT0の差分が第２の閾値未満であれば輝度の変化を検出しない。なお、第２の閾値はゼロ以上の値で、予め設定された値や他のパラメータに応じて設定される値を用いる。以下に、詳細な構成を説明する。図３（ａ）は、光電変換素子１０１１の構成例を示す図である。光電変換素子１０１１は、画素部１１０と周辺回路１２０から構成される。周辺回路１２０は、垂直調停回路１２１、水平読み出し回路１２２を備える。

図３ｂは、イベントベースセンサを構成する各画素部の構成例を示す図である。画素部１１０は、光電変換部１１１、画素カウンタ１１２、時間カウンタ１１３、第１の判定回路１１４、メモリ１１５、比較器１１６、第２の判定回路１１７、応答回路１１８、選択回路１１９を備える。

光電変換部１１１は、ガイガーモードで動作するアバランシェフォトダイオード（ＳＰＡＤ）を備えており、光電変換部１１１に入射した光子の数を、画素カウンタ１１２でカウントするように構成される。時間カウンタ１１３では、光子が光電変換部１１１に入射した時間をカウントしている。ＳＰＡＤを用いてイベントベースセンサを構成することによって、光子１個レベルの輝度変化を検出することができる。光子１個レベルの輝度変化を検出することで、夜間などの暗視状態においても、アドレスイベント信号を取得することができる。

画素カウンタ１１２でカウントした光子の数が第１の閾値に達すると、第１の判定回路１１４によって、時間カウンタ１１３での時間のカウントを止める。メモリ１１５には、過去の時間カウンタ１１３のカウント値が記憶されており、比較器１１６を用いて、現在の時間カウンタ１１３のカウント値と、過去の時間カウンタ１１３のカウント値の差分のカウント値を求める。

第２の判定回路１１７は、差分のカウント値が第２の閾値以上の場合に、応答回路１１８を介して垂直調停回路１２１に、リクエスト信号を送る。応答回路１１８は、垂直調停回路１２１から、アドレスイベントデータの出力の許可または不許可を表す応答を受ける。差分のカウント値が第２の閾値未満の場合には、リクエスト信号を送付しない。

応答回路１１８が出力の許可を表す応答を受けると、選択回路１１９により時間カウンタ回路１１３のカウント値が、水平出力回路１２２に出力される。水平出力回路１２２は、受け取ったカウント値を出力信号として光電変換素子１０１１から検知部１０３に出力する。

比較器１１６によって算出された差分のカウント値は、光子の入射頻度の逆数に相当するため、本発明の光電変換素子１０１１は、「光子の入射頻度の変化」、すなわち輝度の変化を計測する機能を有している。また、第２の判定回路１１７を用いて、入射した光子の数が第１の閾値に達した時間の間隔の差異が、第２の閾値以上の場合のみ、アドレスイベントを出力している。即ち、入射頻度の差異が大きい場合には入射頻度を出力し、差異が小さい場合には入射頻度を出力しない、光電変換素子となっている。以上のような構成とすることで、画素アドレスごとに、輝度の変化をアドレスイベントとしてリアルタイムに検出する非同期型の光電変換素子が実現できる。

＜光電変換素子のバリエーション＞
以上では、光電変換部にＳＰＡＤを用い、光子が入射した時間を計測することで、光子の入射頻度の変化を検出する光電変換素子を使用する場合を示した。しかし、輝度の変化をアドレスイベントとしてリアルタイムに検出する非同期型の光電変換素子であれば、図２の構成でなくてもよい。例えば、特許文献１に記載されているように、輝度の変化を電圧変化として検出する光電変換素子を使用してもよい。

＜画像生成部＞
画像生成部２０２では、取得されたアドレスイベント信号に基づいて、所定の時間範囲において輝度の変化が発生した少なくとも１つ以上の画素の位置と、輝度の変化の方向と、を示す時系列の画像を生成する。具体的には、イベントベースセンサによって検出された輝度変化の情報を、表示部１０４が表示しやすいラスタースキャンのフォーマットに並び替える。すなわち、画像生成部２０２は、時間軸を示すＴ軸（第１の軸）と空間に関するＸＹ軸（第２の軸）とによって構成された座標空間にアドレスイベント信号を変換することによってＸＹＺ画像を生成する。

前述したように、光電変換素子１０１１からの信号出力順序は、光電変換素子１０１１内の垂直調停回路１２１によって制御されており、閾値以上の輝度の変化が生じた順番に（時系列に）出力している。そのため、一般的なＣＭＯＳイメージセンサなどの同期型の光電変換素子と異なり、画素の出力順序がラスタースキャンのフレームフォーマットにはなっていない。そこで、画像生成部２０２では、特定の時間範囲の間に、光電変換素子１０１１から出力された信号を、いったんメモリに蓄積したのち、信号を画素アドレス毎に並び替えてラスタースキャンのフレームフォーマットに変換する。この変換を複数繰り返すことで、フレーム画像（ＸＹ画像）を時間方向（Ｔ方向）に複数枚持つ、という形式のＸＹＴ画像を生成することができる。

なお、特定の時間範囲は、現象をリアルタイムで表示したい場合には、表示部１０４のリフレッシュレートの逆数とすればよい。また、高速な被写体の変化をスローモーションで表示したい場合は、表示したいスピードに応じて特定の時間を短くすればよい。また、ユーザーからの指定を、ユーザーインターフェース１０５を介して入力して設定してもよい。

＜表示部＞
表示部１０４では、輝度変化のあった画素の座標と時間を３次元的に表示する。図４（ａ）は、表示部１０４によって表示されたＸＹＴ画像の例である。白は、輝度がプラス方向に変化したこと、黒は輝度がマイナス方向に変化したこと、灰は輝度の変化がない（もしくは閾値未満）であることを示している。

＜フローチャート＞
以上に説明したアドレスイベント信号の表示を行うために情報処理装置１００が実行する処理を説明する。図１０は、情報処理装置１００が実行する処理を説明するフローチャートである。図１０のフローチャートに示した処理は、コンピュータであるＣＰＵ１０２によりメモリ１０３に格納されているコンピュータプログラムに従って実行される。以下の説明では、各工程（ステップ）について先頭にＳを付けて表記することで、工程（ステップ）の表記を省略する。ただし、情報処理装置１００はこのフローチャートで説明するすべてのステップを必ずしも行わなくても良い。

Ｓ１００１では、情報処理装置１００が、各種設定を初期化する。例えば、輝度の変化の発生数を計測する際の時間範囲を設定する。また、フォトンカウントノイズに応じて閾値を設定する。例えば、監視領域に何も動体がない状態で輝度の変化を計測した結果を取得し、アドレスイベント信号が観測された値を取得する。このとき観測されたアドレスイベント信号はノイズである可能性が高いため、そのノイズの発生数を閾値として設定する。閾値の設定方法はこれ以外の方法であってもよい。任意の値をユーザーによって設定してもよい。次に、Ｓ１００２では、取得部２０１が、イベントベースセンサによって出力されたアドレスイベント信号を取得する。このアドレスイベント信号には、輝度の変化が発生した画素のアドレス、輝度の変化の方向、輝度の変化が発生した時刻を特定可能な時刻情報が含まれる。Ｓ１００３では、表示制御部２０３が、アドレスイベント信号の表示方法について、時系列に表示するか、時系列を逆転させて表示するかを判断する。ここではユーザーによって操作部１０５に入力された表示方法が時系列であるか否かに基づいて判断する。なお、表示方法の判断については、予め設定された表示方法に従ってもよい。例えば、所定時間ごとに時系列を順方向と逆方向で切り替えてもよい。表示制御部２０３が時系列に表示させる場合は、Ｓ１００４に進み、時系列の逆方向に表示させる場合は、Ｓ１００５に進む。Ｓ１００４では、画像生成部２０２が、アドレスイベント信号に基づいて、輝度の変化が発生した少なくとも１つ以上の画素の位置と、輝度の変化の方向と、を示す時系列の画像を生成する。ここでは、時系列を逆転させて画像を表示するため、取得したアドレスイベント信号が示す輝度の変化の方向を逆転させた画像を生成する。画像生成部２０２は、アドレスイベント信号がある程度蓄積されたら、各画素について特定の時間範囲における輝度の変化を積算する。輝度の変化がある場合はプラス方向ないしマイナス方向の方向と、変化量が求められる。時系列を逆方向に表示させる場合は、輝度の変化量はそのままにして、輝度の変化の方向をプラス方向ならマイナス方向、マイナス方向ならプラス方向に変換して画像を生成する。Ｓ１００５では、画像生成部２０２が、アドレスイベント信号に基づいて、輝度の変化が発生した少なくとも１つ以上の画素の位置と、輝度の変化の方向と、を示す時系列の画像を生成する。ここでは、表示を時間軸の順方向にするため、輝度の変化の方向はそのままで画像を生成する。Ｓ１００６では、表示制御部２０３が、生成された画像を設定された時系列で表示部に表示させる。Ｓ１００７では、情報処理装置１００が、処理を終了するか否かを判定する。ユーザーの終了指示に基づいて、終了を判定してもよいし、予め設定された処理対象をすべて処理したか否かで判定してもよい。終了しない場合はＳ１００２に戻る。

＜ユーザーインターフェース＞
ユーザーインターフェース１０５は、ユーザーが情報処理装置１００の制御を行う部分である。具体的には、図４（ｂ）のようにＸＹＴ画像の俯瞰方向を切り替えたり、ＸＹＴ画像の各々の軸の縮尺を拡大縮小したり、ＸＹＴ画像の一部を切り出して表示したりする機能を有する。また、特に、本発明では、ユーザーインターフェース１０５は、表示部１０４に表示されるＸＹＴ画像の再生方向を、順方向（時間が進む方向）と逆方向（時間が戻る方向）に切り替える機能を備えている。図１１にユーザーインターフェースの一例を図示する。Ｇ１１００は、グラフィックユーザーインタフェース（ＧＵＩ）である。ユーザーはＧＵＩの画面の表示を確認し、タッチパネルや各種入力装置を用いてアドレスイベント信号の表示方法を操作できる。また、画面に「再生中」「逆再生中」であることを表示して、ユーザーにどのような表示方法で画像を表示しているのか明示する。Ｇ１１０１は、本実施形態にかかるアドレスイベント信号に基づいた画像を表示する画面である。ここでは、ＸＹＴ軸の三次元座標空間上にアドレスイベント信号をプロットしているが、各軸を回転させて表示しても、各時点において生成された画像を表示してもよい。Ｇ１１０２は、時間軸を視点の反対側または手前側に変更するためのボタンである。Ｇ１１０３は、空間軸ＸＹ軸を回転させるためのボタンである。Ｇ１１０４は、生成画像を再生する速度を調整するためのボタンである。Ｇ１１０５は、各種設定を初期化するためのボタンである。Ｇ１１０６は、表示されている画像の時間範囲を指定するためのＵＩである。ユーザーは矢印を操作することによって、画像を生成する開始点と終了点を指定できる。Ｇ１１０７は、逆再生ボタンである。時間軸を逆行させて画像を表示する際に選択される。Ｇ１１０８は一時停止ボタンである。Ｇ１１０９は、再生ボタンである。時間軸の順方向に画像を表示する際に選択される。ＧＵＩはここで説明した形態に限らない。なお、表示部１０４やインターフェース１０５は、ネットワークケーブルや無線伝送などによって情報処理装置１００と接続された外部機器に設けられていてもよい。

＜効果＞
本実施形態にかかる情報処理装置では、ＸＹＴ画像を逆方向に再生する際に、画素毎の輝度変化を逆転して表示している。このような表示を用いることで、高速で周期的に動く被写体の異常発生を検知するユースケースにおいて、発生している現象をユーザーが正しく認識できる可能性を向上させることができる。例えば、図９（ｃ）は、順方向再生画像である図９（ｂ）の各々のフレーム画像を、逆方向に並べ替えた画像である。図９（ｂ）の座標１０３０が、時刻Ｔ０では黒で表示されていることから、時刻Ｔでは輝度がマイナスに変化していることがわかる。即ち、実際に生じている輝度の変化を逆方向に再生すると、時刻Ｔでは輝度が閾値以上プラス方向に変化する、という表示になるはずである。しかしながら、図９（ｃ）では時刻Ｔ０で座標１０３０が黒で表示されていることから、輝度が閾値以上マイナスに変化した、という現象が表示されている。即ち、図９（ｂ）で表現されている輝度変化を、正しく逆方向に再生できていない。したがって、時系列に画像を再生した場合と、時系列を逆再生で画像を見た場合とで、ある画素で発生した輝度の変化の方向が同じ向きに見えるため、逆再生時には本来発生した変化とは異なる現象が表示されてしまう。

一方、図４は、本実施形態にかかる順方向再生画像と、逆方向再生画像である。図５（ａ）は、図９（ｂ）と同じく、図９（ａ）のＸＹＴ画像をＹ＝０で切った断面を示しており、図５（ｂ）は、図５（ａ）で表現されている順方向の再生画像を、本実施形態の方法を用いて逆方向再生画像に変換したものである。

本実施形態にかかる逆方向再生画像である図５（ｂ）では、図５（ａ）の各々のフレームの画素の輝度変化の方向を、逆転して表示している。即ち、図５（ａ）において白と表現されている画素は図５（ｂ）では黒に、図５（ａ）において黒と表現されている画素は図５（ｂ）では白に、各々変換して表示している。

図９（ｂ）の座標１０３０に相当する、図５（ａ）の座標１３０に着目する。図５（ａ）と図９（ｂ）は同じ再生画像であるため、図５（ａ）の座標１３０は、時刻Ｔ０では黒で表示されており、時刻Ｔ０では輝度がマイナスに変化していることがわかる。即ち、実際に生じている輝度の変化を逆方向に再生すると、時刻Ｔでは輝度がプラス方向に変化する、という表示になるはずである。一方、図５（ｂ）の座標１３０は時刻Ｔ０において白で表示されているため、時刻Ｔ０では輝度がプラスに変化している、という表示になっている。即ち、図５（ｂ）の逆方向再生画像は、図５（ａ）の順方向再生画像を、正しく逆方向に再生できている。

＜再生方向の表示＞
順方向再生を行っているか、逆方向再生を行っているかを、文字情報などで表示部に表示すると、更に好ましい。

＜ユースケース＞
イベントベースセンサを用いた情報処理装置によって、工場での組み立てロボットなど、高速で周期的に動く被写体の異常発生を検知する場合が考えられる。このようなユースケースにおいては、ユーザーがＸＹＴ画像を視認することで、被写体の周期的な動きが乱れている部分など、異常が発生している可能性がある時間帯を特定する。次に、異常が発生している可能性がある時間帯を詳しく解析するために、ＸＹＴ画像を順方向（時間が進む方向）や逆方向（時間が戻る方向）に繰り返し再生しながら、異常の有無やその原因を特定する。このように、ＸＹＴ画像を逆方向に再生する際に、画素毎の輝度変化を逆転して表示している。このような表示を用いることで、高速で周期的に動く被写体の異常発生を検知するユースケースにおいて、発生している現象をユーザーが正しく認識できる可能性を向上させることができる。

＜実施形態２＞＜逆方向再生時には表示を変える＞
実施形態２に示す情報処理装置１００は、逆方向再生時に表示されるＸＹＴ画像が異なる。具体的には、順方向再生時に適したＸＹＴ画像の表示と、逆方向再生時に適したＸＹＴ画像の表示が異なるため、逆方向再生時には、順方向再生時とは異なるＸＹＴ画像の表示を行っている。

＜時間軸に関する視点の変更＞
時間軸を示す第１の軸と空間に関する第２の軸とによって構成された座標空間にアドレスイベント信号をプロットした画像を表示させる場合、表示方法に応じて原点と軸の位置を変えてもよい。図６に、図４（ａ）のＸＹＴ画像を、逆方向再生した画像の表示を示す。図６（ａ）は、図４（ａ）と同じ視点から見たＸＹＴ画像であり、図６（ｂ）は、Ｔ軸（時間軸）に関して、図６（ａ）とは座標の原点をＴ軸の方向が逆になるように変更したＸＹＴ画像である。図を見てわかるように、図４（ａ）、図６（ａ）では、過去が手前側、未来が奥側に表示されているのに対し、図６（ｂ）では、過去が奥側、未来が手前側に表示されている。

逆方向再生を行う場合には、未来に生じた現象の異常を、過去にさかのぼって推定していく、といった使い方をする場合が多い。そのため、逆方向再生時には、図６（ａ）のように、過去が手前側に表示されたＸＹＴ画像よりも、図６（ｂ）のように、未来が手前側に表示されたＸＹＴ画像を表示するほうが好ましい。従って、実施形態２に示す情報処理装置１００では、逆方向再生時には、時間軸に関して順方向再生時とは反対側に、視点を変更したＸＹＴ画像を表示している。このように、逆方向再生時に、順方向再生時とは異なるＸＹＴ画像を表示することで、ユーザーにとって視認性が向上する。

＜空間軸に関する視点の変更＞
なお、時間軸に加えて空間軸（Ｘ軸とＹ軸）に関して、順方向再生時とは反対側に視点を変更しても、逆方向再生時に、過去を奥側、未来を手前側にした表示を行うこともできる。但し、空間軸に関しては視点を変更せず、時間軸に関してのみ、視点を反対側にしたほうが良い。なぜなら、順方向再生時のＸＹＴ画像と、逆方向再生時のＸＹＴ画像の対応が容易になるため、順方向再生と逆方向再生を繰り返しながら、異常の原因を推定するときに、違和感のない表示ができるためである。

＜ＸＹＴ画像からの切り出し＞
また、ＸＹＴ画像から、一部を切り出して表示したい、というユースケースも考えられる。例えば、ＸＹＴ画像から特定の時刻付近で前後とは異なる現象が発生している、ということが推測できた場合、特定の時刻近傍の範囲内だけ抜きだして表示したい、という場合がある。この際の表示方法として、二つの方法が考えられる。一つは、ある時点における空間方向の２次元座標空間に輝度の変化の分布情報を表示するフレームフォーマット（ＸＹ画像）を、特定の時間にわたって更新し続ける、所謂通常の動画像表示である。もう一つは、ＸＹＴ画像から特定の時間を切り出し、ＸＹＴ表示された画像空間内に、輝度変化の情報を表すプロットを付加していく表示方法（以下、プロット付加ＸＹＴ動画像）である。

実施形態２に示す情報処理装置１００では、各々の表示方法について、順方向再生時と、逆方向再生時で、各々に適した表示を行う。以下で説明を行う。なお、以下では切り出す特定の期間を、時刻Ｔ１（開始時点；第１の時点）から時刻Ｔ２（終了時点；第２の時点）であるとする。

＜フレームフォーマット画像＞
画像生成部２０２は、ある時点において特定の時間範囲で積算された各画素の輝度の変化を分布情報として、Ｘ軸およびＹ軸によって構成される２次元座標空間にプロットしたフレームフォーマット画像を生成する。更に、表示制御部２０３は、複数の時点におけるフレームフォーマット図７（ａ）は、図６（ａ）の順方向再生画像から生成したフレームフォーマット画像、図７（ｂ）は、図６（ａ）の逆方向再生画像から生成したフレームフォーマット画像である。なお、図７は説明のために、順方向、逆方向、各々の再生時に、被写体が動く方向を矢印で表現している。図７より分かるように、逆方向再生画像の一部を切り出したフレームフォーマット画像は、順方向再生画像から生成したフレームフォーマット画像に対し、画素毎の輝度変化を逆転して表示している。

即ち、逆方向再生画像から生成したフレームフォーマット画像は、逆方向ＸＹＴ再生画像と同様に、画素毎の輝度変化が逆転して表示されている。これにより、全体的な被写体の動きを俯瞰するためのＸＹＴ画像と、その一部の詳細情報を表示したフレームフォーマット画像に表示されている画素毎の輝度変化の状態が一致するため、ユーザーが発生している現象を認識しやすくなり、好ましい。

＜未来削除表示＞
時間軸を示す第１の軸と空間に関する第２の軸とによって構成された座標空間に、前記特定の期間に含まれる複数の時点において輝度の変化が発生した画素をプロットしたプロット画像を生成する。生成されたプロット画像は、表示制御部２０３によって、所定の順で表示される。時系列を逆転させてプロット画像を表示させる場合は、特定の期間において生成されたプロット画像をすべて表示してから、各時点で生成されたプロット画像を第２の時点から第１の時点の順に削除するようにして逆再生する。時系列でプロット画像を表示させる場合は、各時点で生成されたプロット画像を第１の時点から第２の時点の順に重畳して表示させる。図８（ａ）は、図４（ａ）の順方向再生画像から生成したプロット付加ＸＹＴ動画像、図８（ｂ）は、図６（ａ）の逆方向再生画像から生成したプロット付加ＸＹＴ動画像である。図８（ａ）、（ｂ）は各々、動画像を表現するために、プロットが付加される様子を、時系列で模式的に表現している。

図８（ａ）は、時刻Ｔ１から、輝度変化情報がＸＹＴ空間上にプロットとして徐々に付加され、最終的に時刻Ｔ２では、時刻Ｔ１から時刻Ｔ２の特定時間内で生じた輝度変化を、すべてＸＹＴ画像上に表示されている、という動画像である。即ち、過去に生じた輝度変化に対して、未来に生じた輝度変化を徐々に重畳する、という動画像となっている。このようなプロット付加ＸＹＴ動画像を用いることで、注目する時刻で生じていた現象と、それよりも過去に生じた現象との因果関係が把握しやすくなるため、好ましい。

一方、図８（ｂ）は、時刻Ｔ２から時刻Ｔ１に生じた輝度変化情報がすべてＸＹＴ画像上に表示された状態から開始し、未来から過去にさかのぼるときに、未来で生じていた輝度変化情報のプロットを、徐々に削除していく、という動画像である。即ち、特定の時間内で生じたすべての輝度変化を重畳した画像に対し、現在の時刻よりも未来で生じていた輝度変化を徐々に削除する、という動画像となっている。このようなプロット付加ＸＹＴ動画像を用いることで、逆方向再生時に、注目する時刻で生じていた現象と、それよりも過去に生じた現象との因果関係が把握しやすくなるため、好ましい。

即ち、順方向再生時には、過去の輝度変化情報に対して未来の輝度変化情報を徐々に追加して表示し、逆方向再生時には、過去の輝度変化情報を残したまま、未来の輝度変化情報を徐々に削除して表示する。このような構成とすることで、注目する時刻で生じていた現象と、それよりも過去に生じた現象との因果関係が把握しやすくなるため、好ましい。

＜未来削除表示の際の視点について＞
図８（ｂ）のように、現在の時刻よりも未来で生じていた輝度変化を徐々に削除する、という動画像の場合、過去を奥側、手前を未来側に表示するのが好ましい。一方、図８（ｃ）のように、未来に生じた輝度変化に対して、過去に生じた輝度変化を徐々に追加して表示する、という動画像の場合は、過去を手前側、未来を奥側に表示するのが好ましい。即ち、逆方向再生時に、過去の輝度変化情報を残したまま、未来の輝度変化情報を徐々に削除して表示する場合と、未来に生じた輝度変化に対して、過去に生じた輝度変化を徐々に追加して表示する場合とで、時間軸に関して視点を反対側に変更するほうが好ましい。

＜過去追加表示＞
図８（ｂ）では、注目する時刻で生じていた現象と、それよりも過去に生じた現象との因果関係が把握しやすくなるため、現在の時刻よりも未来で生じていた輝度変化を徐々に削除する、という動画像を表示する例を示した。しかしながら、注目する時刻よりも未来に生じた現象の原因を過去にさかのぼって探したい、というユースケースも考えられる。この場合には、図８（ｃ）のように、時刻Ｔ２から、輝度変化情報がＸＹＴ空間上にプロットとして徐々に付加され、最終的に時刻Ｔ１では、時刻Ｔ２から時刻Ｔ１の特定時間内で生じた輝度変化を、すべてＸＹＴ画像上に表示されている、という動画像を表示するほうが好ましい。即ち、未来に生じた輝度変化に対して、過去に生じた輝度変化を徐々に追加して表示する、という動画像とする方が良い。

＜その他の実施形態＞
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、データ通信用のネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、そのプログラムをコンピュータが読み取り可能な記録媒体に記録して提供してもよい。

１００ 情報処理装置
１０１ イベントベースセンサ
２０１ 取得部
２０２ 画像生成部
２０３ 表示制御部
１０４ 表示部
１０５ 操作部

Claims (16)

1. 輝度の変化が発生した画素のアドレスと時刻とを示すアドレスイベント信号を取得する取得手段と、
   前記アドレスイベント信号に基づいて、輝度の変化が発生した少なくとも１つ以上の画素の位置と、輝度の変化の方向と、を示す時系列の画像を生成する生成手段と、を有し、
   前記生成手段は、時系列を逆転させて前記画像を表示する場合は、輝度の変化の方向を逆転させた画像を生成することを特徴とする情報処理装置。
2. 前記生成手段は、時系列をそのまま前記画像を表示する場合は、該輝度の変化の方向をそのまま画像を生成することを特徴とする請求項１に記載の情報処理装置。
3. 前記生成手段は、時間軸を示す第１の軸と空間に関する第２の軸とによって構成された座標空間に前記アドレスイベント信号を変換することによって前記画像を生成することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記生成手段は、時系列を逆転させて前記生成された画像を表示させる場合は、前記第１の軸の原点を反対側にした前記画像を生成することを特徴とする請求項３に記載の情報処理装置。
5. 前記生成手段は、時系列を逆転させて前記生成された画像を表示させる場合は、前記第２の軸の原点をそのままにした前記画像を生成することを特徴とする請求項３または４に記載の情報処理装置。
6. 開始時点である第１の時点から終了時点である第２の時点までの特定の期間において出力された前記アドレスイベント信号に基づいて前記生成された画像の表示方法を制御する制御手段を更に有することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記制御手段は、時系列を逆転させて前記生成された画像を表示させる場合と、時系列のまま前記生成された画像を表示させる場合と、で異なる画像を表示させることを特徴とする請求項６に記載の情報処理装置。
8. 前記生成手段は、前記アドレスイベント信号に基づいて、空間に関する第２の軸で構成される２次元座標空間に各時点における各画素の輝度の変化を示すフレームフォーマット画像を生成し、
   前記制御手段は、前記特定の期間に含まれる複数の時点における前記フレームフォーマット画像を重畳して表示することを特徴とする請求項６または７に記載の情報処理装置。
9. 前記生成手段は、時間軸を示す第１の軸と空間に関する第２の軸とによって構成された座標空間に、前記特定の期間に含まれる複数の時点において輝度の変化が発生した画素を表示するプロット画像を生成し、
   前記制御手段は、前記特定の期間に含まれる複数の時点における前記生成されたプロット画像を所定の順で表示することを特徴とする請求項６または７に記載の情報処理装置。
10. 前記制御手段は、時系列を逆転させて前記プロット画像を表示させる場合は、前記特定の期間において前記生成されたプロット画像をすべて表示してから、各時点で前記生成されたプロット画像を前記第２の時点から第１の時点の順に削除することを特徴とする請求項９に記載の情報処理装置。
11. 前記制御手段は、時間軸を示す第１の軸の原点を反対側にして表示させることを特徴とする請求項１０に記載の情報処理装置。
12. 前記制御手段は、時系列で前記プロット画像を表示させる場合は、各時点で前記生成されたプロット画像を前記第１の時点から第２の時点の順に重畳して表示させることを特徴とする請求項９に記載の情報処理装置。
13. 前記制御手段は、時系列を逆転させて前記プロット画像を表示させる場合は、各時点で前記生成されたプロット画像を前記第２の時点から第１の時点の順に重畳して表示させることを特徴とする請求項９に記載の情報処理装置。
14. 前記取得手段は、入射した光子の数に応じて信号を出力するイベントベースセンサに基づいて前記アドレスイベント信号を取得することを特徴とする請求項１乃至１２のいずれか１項に記載の情報処理装置。
15. コンピュータを、請求項１乃至１４のいずれか１項に記載の情報処理装置が有する各手段として機能させるためのプログラム。
16. 輝度の変化が発生した画素のアドレスと時刻とを示すアドレスイベント信号を取得する取得工程と、
    前記アドレスイベント信号に基づいて、所定の時間範囲において発生した、少なくとも１つ以上の画素における輝度の変化と該輝度の変化の方向とを示す時系列の画像を生成する生成工程と、を有し、
    前記生成工程は、時系列を逆転させて前記画像を表示する場合は、該輝度の変化の方向を逆転させた画像を生成することを特徴とする情報処理方法。

Images