JP2014002744A - イベントベースイメージ処理装置及びその装置を用いた方法 - Google Patents

Abstract

【課題】イメージに含まれた複数のピクセルそれぞれで非同期的にイベント情報を生成するイベントベースイメージセンサを用いて光流を生成し、その際、光流生成のためにイメージ情報をアップデートする時間を短縮し、必要な演算時間又はメモリ空間を著しく削減できるイベントベースイメージ処理装置を提供する。
【解決手段】複数のイメージピクセルそれぞれで予め決定されたイベントが発生したか否かを検出してイベント信号を出力するセンサ、出力されたイベント信号に対応する少なくとも１つのピクセルとイベント信号が出力された時間をマッピングさせることによってタイムスタンプ情報を生成するタイムスタンプ部及び出力されたイベント信号に反応してタイムスタンプ情報に基づいて光流を生成する光流生成部を含む。
【選択図】 図１

Description

下記の実施形態はイベントベース（ｅｖｅｎｔ−ｂａｓｅｄ）イメージ処理装置及びその装置を用いた方法に関する。

イメージプロセシング（ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ）は、幅広くは入出力が映像である全ての形態の情報処理を示し、例えば、写真や動画を処理する作業などを含む。大部分の映像処理方式は画像を２次元信号と見なし、標準的な信号処理方式を適用する方法を用いる。

イメージセンサは、イメージプロセシングのための入力データをセンシングする装置として、例えば、半導体素子の製造技術を用いて集積回路化された光電変換素子などを含む。

イメージセンサには、ファクシミリやコピー機に用いられるラインイメージセンサ（１次元イメージセンサ）とテレビカメラやデジタルカメラに用いられるアレイイメージセンサ（２次元イメージセンサ）がある。

ラインイメージセンサは、光を検出して電荷を発生させる光ダイオードを一列に配置したものである。ラインイメージセンサは面積を有する領域の静止（ｓｔｉｌｌ）画面を取得するために、対象物（文書や写真）をセンサラインと直角方向にスキャンする。

アレイイメージセンサは光ダイオードを２次元に配列したものであり、一回に画面全体のイメージを取得できるので、ビデオのような動画向けに用いられる。

本発明の目的は、イメージに含まれた複数のピクセルそれぞれで非同期的にイベント情報を生成するイベントベースイメージセンサを用いて光流を生成する技術を提供することにある。

また、本発明の目的は、光流生成のためにイメージ情報をアップデートする時間を短縮する技術を提供することにある。

それだけでなく、本発明の目的は、光流を生成するために必要な演算時間又はメモリ空間を削減できる技術を提供することにある。

本発明の一側面に係るイベントベースイメージ処理装置は、複数のイメージピクセルそれぞれで予め決定されたイベントが発生したか否かを検出し、前記検出に反応してイベント信号を出力するセンサと、前記イベント信号に対応する少なくとも１つのピクセルと前記イベント信号が出力された時間をマッピングさせることによってタイムスタンプ情報を生成するタイムスタンプ部と、前記イベント信号の出力に反応して前記タイムスタンプ情報に基づいて光流を生成する光流生成部と、を備える。

このとき、前記センサは、前記複数のイメージピクセルのうち、前記予め決定されたイベントが発生した一部のピクセルそれぞれに対応するイベント信号を非同期的に出力してもよい。

また、前記光流は、前記少なくとも１つのピクセルの速度ベクトルを含んでもよい。
ここで、前記光流生成部は、前記イベント信号の出力に反応して、前記複数のイメージピクセルのうち前記少なくとも１つのピクセル及び前記少なくとも１つのピクセルに隣接する周辺ピクセルそれぞれの速度ベクトルを非同期的に算出する部分算出部と、予め決定された周期ごとに、前記複数のイメージピクセルの速度ベクトルを算出する全体算出部の少なくとも１つを含んでもよい。

また、前記光流生成部は、前記少なくとも１つのピクセルの周辺ピクセルを取得する周辺ピクセル取得部と、前記タイムスタンプ情報を用いて前記少なくとも１つのピクセルと前記周辺ピクセルとの間の時間差に関連する情報を算出する時間差算出部と、前記少なくとも１つのピクセルと前記周辺ピクセルとの間の距離差に関連する情報を算出する距離差算出部と、前記時間差に関連する情報と前記距離差に関連する情報に基づいて前記光流を算出する光流算出部とを備えてもよい。

また、前記時間差算出部は、前記少なくとも１つのピクセルと前記周辺ピクセルとの間の時間差が予め決定されたウィンドウ範囲外にある場合、前記時間差に関連する情報を０と算出してもよい。

また、前記距離差に関連する情報は、前記少なくとも１つのピクセルと前記周辺ピクセルとの間のピクセル距離の逆数を含んでもよい。

また、前記光流算出部は、前記光流を算出するために前記時間差に関連する情報と前記距離差に関連する情報を用いて前記少なくとも１つのピクセルに対応する２次元ベクトルＡを算出し、前記２次元ベクトルＡを前記２次元ベクトルＡ自身の内積値に割り算してもよい。

また、前記イベントベースイメージ処理装置は、前記光流に基づいてユーザインタフェースのための情報を算出する演算部をさらに備えてもよい。

また、前記ユーザインタフェースのための情報は、前記センサが位置するセンサ平面と平行する平面で前記複数のイメージピクセルに含まれた物体がｘ軸方向に動く第１速度と、前記平行する平面で前記物体がｙ軸方向に動く第２速度と、前記物体が前記平行する平面と垂直方向に動く第３速度と、前記平行する平面で前記物体が円形に回転する第４速度の少なくとも１つを含んでもよい。

また、前記演算部は、前記光流に基づいて前記第１速度及び前記第２速度を算出する平面速度演算部と、前記光流に基づいて前記光流の中心を算出する光流中心演算部と、前記光流と前記光流の中心に基づいて前記第３速度を算出するＺ軸速度演算部と、前記光流と前記光流の中心に基づいて前記第４速度を算出する角速度演算部とを備えてもよい。

また、前記平面速度演算部は、前記第１速度及び前記第２速度を算出するために前記光流に対して平均値演算を行ってもよい。

また、前記光流中心演算部は、前記光流の中心を算出するために前記少なくとも１つのピクセルの位置と前記光流に含まれる前記少なくとも１つのピクセルの速度ベクトルの大きさを用いて重さの重心演算を行ってもよい。

また、前記Ｚ軸速度演算部は、前記第３速度を算出するために前記光流の中心と前記少なくとも１つのピクセルの位置を用いて前記少なくとも１つのピクセルに対応する第１ベクトルを生成し、前記第１ベクトルと前記光流に含まれる前記少なくとも１つのピクセルの速度ベクトルを用いて内積演算を行ってもよい。

また、前記角速度演算部は、前記第４速度を算出するために前記光流の中心と前記少なくとも１つのピクセルの位置を用いて前記少なくとも１つのピクセルに対応する第１ベクトルを生成し、前記第１ベクトルと前記光流に含まれる前記少なくとも１つのピクセルの速度ベクトルを用いて外積演算を行ってもよい。

また、前記タイムスタンプ情報は、前記複数のイメージピクセルそれぞれで前記予め決定されたイベントが最近発生した時間に関連する情報を含んでもよい。

また、前記予め決定されたイベントは、単位時間に予め決定された数値以上に明るくなる場合発生するイベントと、前記単位時間に前記予め決定された数値以上に暗くなる場合発生するイベントと、の少なくとも１つを含んでもよい。

本発明の他の一実施形態に係るイベントベースイメージ処理方法は、複数のイメージピクセルそれぞれで予め決定されたイベントが発生したか否かを検出するセンサからイベント信号を受信するステップと、前記イベント信号の受信に反応して前記イベント信号に対応する少なくとも１つのピクセルと前記イベント信号が出力された時間をマッピングさせることによってタイムスタンプ情報を生成するステップと、前記タイムスタンプ情報に基づいて前記少なくとも１つのピクセルの速度ベクトルを含む光流を生成するステップとを含む。

ここで、前記光流を生成するステップは、前記少なくとも１つのピクセルの周辺ピクセルを取得するステップと、前記タイムスタンプ情報を用いて前記少なくとも１つのピクセルと前記周辺ピクセルとの間の時間差に関連する情報を算出するステップと、前記タイムスタンプ情報を用いて前記少なくとも１つのピクセルと前記周辺ピクセルとの間の距離差に関連する情報を算出するステップと、前記時間差に関連する情報と前記距離差に関連する情報に基づいて前記光流を算出するステップとを含んでもよい。

また、イベントベースイメージ処理方法は、前記光流に基づいてユーザインタフェースのための情報を演算するステップをさらに含み、前記ユーザインタフェースのための情報は、前記センサが位置するセンサ平面と平行する平面で前記複数のイメージピクセルに含まれた物体がｘ軸方向に動く第１速度と、前記平行する平面で前記物体がｙ軸方向に動く第２速度と、前記物体が前記平行する平面と垂直方向に動く第３速度と、前記平行する平面で前記物体が円形に回転する第４速度の少なくとも１つを含んでもよい。

前記演算するステップは、前記光流に基づいて前記第１速度及び前記第２速度を算出するステップと、前記光流に基づいて前記光流の中心を算出するステップと、前記光流と前記光流の中心に基づいて前記第３速度を算出するステップと、前記光流と前記光流の中心に基づいて前記第４速度を算出するステップとを含んでもよい。

本発明の実施形態によると、複数のイメージピクセルそれぞれで予め決定されたイベントが発生したか否かを検出するので、イメージに含まれた複数のピクセルそれぞれで非同期的にイベント情報を生成するイベントベースイメージセンサを用いて光流を生成する技術を提供できる。

本発明によると、光流生成のためにイメージ情報をアップデートする時間を短縮する技術を提供できる。

本発明によると、光流を生成するために必要な演算時間又はメモリ空間を削減する技術を提供できる。

一実施形態に係るイベントベースイメージ処理装置を示すブロック図である。 （ａ）は、一実施形態に係るタイムスタンプ情報を説明するための図であり、（ｂ）は、一実施形態に係るタイムスタンプ情報を説明するための図である。 一実施形態に係るイベントベースイメージ処理装置に含まれた光流生成部を示すブロック図である。 一実施形態に係る光流生成部によって生成された光流を説明するための図である。 （ａ）は、一実施形態に係るイベントベースイメージ処理装置に含まれた演算部を示すブロック図であり、（ｂ）は、一実施形態に係る演算部によって生成されたユーザインタフェースのための情報を説明するための図である。 一実施形態に係る光流の中心を演算する方法を説明するための図である。 一実施形態に係るＺ軸速度と角速度を演算する方法を説明するための図である。 一実施形態に係るイベントベースイメージ処理方法を示すブロック図である。

以下、実施形態を添付する図面を参照しながら詳細に説明する。

図１は、一実施形態に係るイベントベースイメージ処理装置を示すブロック図である。

図１を参照すると、一実施形態に係るイベントベースイメージ処理装置１００は、センサ１１０、タイムスタンプ部１２０及び光流生成部１３０を備える。

センサ１１０は、時間の流れに応じてイメージデータを連続的に入力される。ここで、センサ１１０は、入力されたイメージデータに含まれた複数のイメージピクセルそれぞれで予め決定されたイベントが発生したか否かを検出する。以下、単数のピクセル又は複数のピクセルは、それぞれ単数のイメージピクセル又は複数のイメージピクセルを含む。

ここで、予め決定されたイベントは、単位時間に予め決定された数値以上に明るくなる場合に発生するイベント（以下、「明るくなるイベント」と称する）、又は単位時間に予め決定された数値以上に暗くなる場合に発生するイベント（以下、「暗くなるイベント」と称する）のうち少なくとも１つを含む。

例えば、センサ１１０は、連続的に入力されるイメージデータに含まれた複数のピクセルそれぞれで各ピクセルの明度に関連するイベントが発生したか否かを検出する。

これによって、イベントベースイメージ処理装置１００は、予め決定されたイベント（例えば、各ピクセルの明度に関連するイベント）が発生したピクセルのみを対象にイメージプロセシングすることによって、フレームごとに全てのピクセルに対してイメージプロセシングを行う方式に比べて演算量を大幅減少させ得る。

さらに、センサ１１０は、予め決定されたイベントの発生を検出した場合、これに反応してイベント信号を出力する。ここで、イベント信号は、予め決定されたイベントに基づいた非同期的な信号であり、予め決定されたイベントが発生した少なくとも１つのピクセルに関連する情報を含む。

センサ１１０は、複数のイメージピクセルのうち予め決定されたイベントが発生した一部のピクセルに限って当該ピクセルそれぞれに対応するイベント信号を非同期的に出力する。

例えば、（３，１０）位置の第１ピクセルと（２０，２０）位置の第２ピクセルが予め決定された数値以上に明るくなったことを検出した場合、センサ１１０は、第１ピクセルの位置と第２ピクセルの位置を含むイベント信号を出力する。

また、タイムスタンプ部１２０は、センサ１１０から出力されたイベント信号を受信する。

タイムスタンプ部１２０は、イベント信号に対応する少なくとも１つのピクセルとイベント信号が出力された時間をマッピングさせることによって、タイムスタンプ（ｔｉｍｅ ｓｔａｍｐ）情報を生成する。

より具体的には、タイムスタンプ部１２０は、受信されたイベント信号に含まれた情報（例えば、予め決定されたイベントが発生した少なくとも１つのピクセルに関連する情報）を用いて該当するピクセルに新しいイベントが発生した時間を格納する。

例えば、タイムスタンプ部１２０は、受信されたイベント信号に基づいて複数のピクセルそれぞれに新しいイベントが発生した時間を格納する。

従って、タイムスタンプ部１２０によって生成されるタイムスタンプ情報は、複数のピクセルそれぞれで予め決定されたイベントが最近発生した時間に関連する情報を含んでもよい。

一実施形態によれば、タイムスタンプ部１２０は、複数のピクセルそれぞれで予め決定されたイベントが最近発生した時間に関連する情報のみを保持する。例えば、タイムスタンプ部１２０は、受信されたイベント信号に含まれた情報（例えば、予め決定されたイベントが発生した少なくとも１つのピクセルに関連する情報）に基づいて、該当するピクセルに既に格納されていた時間を新しいイベントが発生した時間に更新してもよい。

一実施形態に係るタイムスタンプ部１２０は、ソフトウェア、ハードウェア、又は、ソフトウェアとハードウェアの組合で実現されてもよい。例えば、タイムスタンプ部１２０は、プロセッサ、メモリ、ハードウェア加速器（Ｈａｒｄｗａｒｅ Ａｃｃｅｌｅｒａｔｏｒ、ＨＷＡ）、ＦＰＧＡ、又はその組合などで実現されてもよい。

従って、一実施形態に係るイベントベースイメージ処理装置１００は、時間の流れに応じて発生したイベントのヒストリーを考慮せず、各ピクセルで最後に発生したイベントに関連する情報のみを用いてイメージプロセシングを行う。これによって、イベントベースイメージ処理装置１００は少ないメモリや演算量をもってイメージプロセシングを行う技術を提供できる。

タイムスタンプ部１２０によって生成されるタイムスタンプ情報に関連する詳細な事項は図２（ａ）及び図２（ｂ）を参照して後述する。

また、光流生成部１３０は、センサ１１０から出力されるイベント信号に反応してタイムスタンプ部１２０によって生成されるタイムスタンプ情報に基づいて光流（ｏｐｔｉｃａｌ ｆｌｏｗ）を生成する。

一実施形態に係る光流生成部１３０は、ソフトウェア、ハードウェア、又は、ソフトウェアとハードウェアの組合わせで実現される。例えば、光流生成部１３０は、プロセッサ、メモリ、ハードウェア加速器（Ｈａｒｄｗａｒｅ Ａｃｃｅｌｅｒａｔｏｒ、ＨＷＡ）、ＦＰＧＡ、又は、その組合わせなどで実現される。

ここで、光流は、新しいイベントが発生した少なくとも１つのピクセルの速度ベクトルを含む。例えば、光流は、複数のピクセルのうち予め決定されたイベントが発生した少なくとも１つのピクセルの速度ベクトルを含む。

ここで、それぞれの速度ベクトルは、複数のピクセルで構成される２次元平面上で特定の方向と特定の大きさを有する２次元ベクトルであり、それぞれの速度ベクトルの開始位置は該当するピクセルの位置である。

例えば、カメラを用いて時間的に連続した映像を取得する時、物体に対してカメラの位置を移動するか、又はカメラに対して物体が移動すれば、イメージ内の各ピクセルの明るさが変化するが、光流はこのようなイメージ内の明暗の移動を２次元ベクトルの形態で含む。

光流生成部１２０の構造及び光流生成部１２０がタイムスタンプ情報から光流を生成する動作に関する詳細な事項は図３を参照して後述する。

図２（ａ）及び図２（ｂ）は、一実施形態に係るタイムスタンプ情報を説明するための図である。

図２（ａ）を参照すると、一実施形態に係るタイムスタンプ情報２００は、複数のイメージピクセルそれぞれに対応する時間情報を格納する。

図１を参照して上述したように、タイムスタンプ情報２００は、各ピクセルで予め決定されたイベントが最近発生した時間に関連する情報のみを保持する。

例えば、（ｉ、ｊ）位置のピクセル２１０で予め決定されたイベントが最近発生した時間はＴ（ｉ、ｊ）であり、（ｉ、ｊ＋１）位置のピクセル２２０で予め決定されたイベントが最近発生した時間はＴ（ｉ、ｊ＋１）である。

図１に示すタイムスタンプ部１２０は、センサ１１０から送信されたイベント信号に基づいてタイムスタンプ情報２００をアップデートする。この場合、タイムスタンプ部１２０は、全てのピクセルに対しアップデートを行うことなく、予め決定されたイベントが発生したピクセルについてのみアップデートを行う。

一実施形態に係るセンサ１１０は、マイクロ秒（μｓ）単位で予め決定されたイベントが発生したか否かを検出する。この場合、タイムスタンプ部１２０は、マイクロ秒（μｓ）単位で新しいイベントが発生した時間をピクセルごとに格納する。

図２（ｂ）を参照すると、一実施形態に係るイベントベースイメージ処理装置は、光流を生成するためにタイムスタンプ情報を用いて少なくとも１つのピクセルの速度ベクトルを算出する。

例えば、（ｉ、ｊ）位置のピクセル２１０で予め決定されたイベントが発生した後、（ｉ＋１、ｊ＋１）位置のピクセル２３０で予め決定されたイベントが発生した場合を仮定する。この場合、（ｉ、ｊ）位置のピクセル２１０は時間Ｔ（ｉ、ｊ）を格納し、（ｉ＋１、ｊ＋１）位置のピクセル２３０はＴ（ｉ、ｊ）よりも大きい数値を有する時間Ｔ（ｉ＋１、ｊ＋１）を格納する。

ここで、イベントベースイメージ処理装置は、タイムスタンプ情報２００を用いてピクセル２１０の位置で開始点を有する２次元ベクトル

（図示せず）を算出する。

より具体的には、イベントベースイメージ処理装置は、タイムスタンプ情報２００から２次元ベクトル （図示せず）を算出するための時間差及び位置差を抽出する。ここで、時間差は、時間Ｔ（ｉ＋１、ｊ＋１）と時間Ｔ（ｉ、ｊ）間の時間差であって、スカラー量 Δｔ （図示せず）で表わされる。また、位置差異はピクセル２３０とピクセル２１０との間の位置差であって、２次元ベクトル

２４０で表わされる。

イベントベースイメージ処理装置は、数式（１）を用いて２次元ベクトル

（図示せず）を算出する。
（以下、簡略のため、ベクトル「Ａ」、及び後出のベクトル「Ｂ」、「Ｖ」、「ｐ（Ｐ）」などは、文字の上のベクトル矢印「→」を省いて、これを単に「Ａ」、「Ｂ」、「Ｖ」、「ｐ（Ｐ）」とも表現する。）

さらに、イベントベースイメージ処理装置は、前述した方式と同様に、他のピクセルの位置に開始点を有する２次元ベクトルＡを算出する。イベントベースイメージ処理装置は、このような２次元ベクトルのセットを含む光流を出力する。

図３は、一実施形態に係るイベントベースイメージ処理装置に含まれた光流生成部を示すブロック図である。

図３を参照すると、一実施形態に係る光流生成部３００は、周辺ピクセル取得部３１０、時間差算出部３２０、距離差算出部３３０及び光流算出部３４０を備える。

図３に示されたモジュールそれぞれは、ソフトウェア、ハードウェア、又はソフトウェアとハードウェアの組合わせで実現され得る。例えば、光流生成部３００は、周辺ピクセル取得部３１０、時間差算出部３２０、距離差算出部３３０及び光流算出部３４０それぞれは、プロセッサ、メモリ、ハードウェア加速器（Ｈａｒｄｗａｒｅ Ａｃｃｅｌｅｒａｔｏｒ、ＨＷＡ）、ＦＰＧＡ、又は、この組合わせなどで実現される。

周辺ピクセル取得部３１０は、予め決定されたイベントが発生されたピクセルを中心に複数の周辺ピクセルを取得する。

例えば、周辺ピクセル取得部３１０は、予め決定されたイベントが発生したピクセルと直接的に隣接する８個の周辺ピクセルを取得する。他の実施形態によれば、周辺ピクセル取得部３１０は、予め決定されたイベントが発生したピクセルと直接的に隣接する８個の周辺ピクセルだけではなく、８個の周辺ピクセルを取り囲む１６個の周辺ピクセルをさらに取得する。

また、時間差算出部３２０は、図２（ａ）、（ｂ）に示すタイムスタンプ情報２００を用いて予め決定されたイベントが発生した少なくとも１つのピクセルとその周辺ピクセルとの間の時間差に関連する情報を算出する。

より具体的には、時間差算出部３２０は、新しいイベントが発生したピクセルとその周辺ピクセルとの間の時間差を算出する。例えば、図２（ａ）、（ｂ）に示すピクセル２１０で新しいイベントが発生した場合を仮定する。時間差算出部３２０は、ピクセル２１０に格納された時間Ｔ（ｉ、ｊ）と周辺ピクセル２２０に格納された時間Ｔ（ｉ、ｊ＋１）の差を算出する。

この場合、ピクセル２１０に格納された時間Ｔ（ｉ、ｊ）は新しいイベントの発生に反応して図１に示すタイムスタンプ部１２０によって値が更新された状態であるため、Ｔ（ｉ、ｊ）−Ｔ（ｉ、ｊ＋１）は０よりも大きいか同じ値になる（ピクセル２２０でも同時にイベントが発生した場合、Ｔ（ｉ、ｊ）−Ｔ（ｉ、ｊ＋１）が０になる）。

時間差算出部３２０は、周辺ピクセル取得部３１０によって取得された複数の周辺ピクセルそれぞれで前述した時間差を算出する。

さらに、時間差算出部３２０は、算出された時間差が予め決定されたウィンドウ範囲（例えば、０．１秒）外にある場合、算出された時間差の代わりに０を出力する。

言い換えれば、時間差算出部３２０は、算出された時間差が予め決定されたウィンドウ範囲（例えば、０．１秒）外にある場合、算出された時間差を無意味な情報として取り扱ってもよい。

これによって、光流生成部３００は、光流に含まれる各ピクセルの速度ベクトルにノイズとして作用する要素を除去する。

また、距離差算出部３３０は、予め決定されたイベントが発生した少なくとも１つのピクセルとその周辺ピクセルとの間の距離差に関連する情報を算出する。

より具体的には、距離差算出部３３０は、新しいイベントが発生したピクセルとその周辺ピクセルとの間のピクセル距離の逆数を算出する。ここで、ピクセル距離は、複数のイメージピクセル間の一般化された距離（隣接ピクセル間の距離を１として基準化された距離）である。例えば、図２（ａ）に示すピクセル２１０とピクセル２２０との間のピクセル距離は１である。

距離差算出部３３０は、周辺ピクセル取得部３１０によって取得された複数の周辺ピクセルそれぞれで前述したピクセル距離の逆数を算出する。

また、光流算出部３４０は、時間差算出部３２０によって算出された時間差に関連する情報と距離差算出部３３０によって算出された距離差に関連する情報に基づいて光流を算出する。

より具体的には、光流算出部３４０は光流を算出するため、時間差に関連する情報と距離差に関連する情報を用いて予め決定されたイベントが発生した少なくとも１つのピクセルに対応する２次元ベクトルＡを算出し、２次元ベクトルＡを２次元ベクトルＡ自身の内積値で割り算する。

例えば、光流算出部３４０は、予め決定されたイベントが発生したピクセルの周辺ピクセルそれぞれに対応する時間差に関連する情報と距離差に関連する情報とを乗算する。続いて、光流算出部３４０は、周辺ピクセルにそれぞれ対応する乗算結果を合計して２次元ベクトルＢを算出する。
ここで、２次元ベクトルＢの次元は「時間／距離」となる。

光流算出部３４０は、２次元ベクトルＡを２次元ベクトルＡ自身の内積値で割ることによって光流に含まれる速度ベクトルＶを算出する。ここで、速度ベクトルＶの次元は「距離／時間」となる。

光流算出部３４０は、予め決定されたイベントが発生したピクセルそれぞれで前述した速度ベクトルＶを算出することで、ピクセルそれぞれの速度ベクトルを含む光流を生成する。

上述したように、時間差算出部３２０は、イベントが発生したピクセルとその周辺ピクセルとの間の時間差が予め決定されたウィンドウ範囲外にある場合０を出力する。もし、イベントが発生したピクセルとその周辺ピクセルの全ての時間差が予め決定されたウィンドウ範囲外にある場合、光流算出部３４０で算出される２次元ベクトルＡは０となる。

この場合、光流算出部３４０は、速度ベクトルＶの値として算出される無限大の代わりに０を出力する。

図示していないが、光流生成部３００は、部分算出部及び全体算出部のうち少なくとも１つを含んでもよい。

ここで、部分算出部はイベント信号の出力に反応し、全体イメージピクセルのうちイベント信号が出力された一部のピクセル及びその周辺ピクセルに限って非同期的に光流を新しく算出する。例えば、部分算出部は、全体イメージピクセルのうち、イベント信号に対応する少なくとも１つのピクセル及び当該ピクセルに隣接する周辺ピクセルに係わる速度ベクトルを算出する。

また、全体算出部は、予め決定された周期ごとに全体イメージピクセルに対して光流を新しく算出する。例えば、全体算出部は、予め決定された周期が経過したか否かを判断し、予め決定された周期が経過した場合に全体イメージピクセルに係わる速度ベクトルを一括的に算出する。

部分算出部及び全体算出部には、図３を参照して記述された事項がそのまま適用されることから詳細な説明は省略する。

図４は、一実施形態に係る光流生成部によって生成された光流を説明するための図である。

例えば、円筒形の中心部の周辺に位置する８個の棒が同じ速力を有して反時計回りに回転すると仮定する。この場合、一実施形態に係るイベントベースイメージ処理装置は、８個の棒の回転運動による光流を生成する。

より具体的には、グラフ４１０を参照すると、図１に示すセンサ１１０は、円筒形の中心部周辺に位置する８個の棒が反時計回りに回転する場合に明るくなるイベントを検出してイベント信号を出力する。言い換えれば、センサ１１０は、反時計回りに回転する８個の棒によってイメージ内の複数のピクセルの明暗が予め決定された数値以上に明るくなることを検出し、イベント信号を出力する。

光流生成部は、図３を参照して上述したように、該当のピクセル（明暗が予め決定された数値以上に明るくなったピクセル）それぞれに対応する速度ベクトルＶを算出する。

グラフ４２０は、２次元ベクトルである速度ベクトルＶからｘ軸成分のみを抽出した結果を説明するための図である。

より具体的には、グラフ４２０は、該当のピクセル（明暗が予め決定された数値以上に明るくなったピクセル）それぞれのｘ軸速度ベクトルＶｘの大きさを明るさにより表示したグラフである。

例えば、８個の棒が反時計回りに回転している場合、下方に位置する棒４２１のＶｘが最も大きい値を有する。従って、棒４２１が最も明るく表示される。

また、グラフ４３０は、２次元ベクトルの速度ベクトルＶからｙ軸成分のみを抽出した結果を説明するための図である。

より具体的には、グラフ４３０は、該当するピクセル（例えば、明暗が予め決定された数値以上に明るくなったピクセル）それぞれのｙ軸速度ベクトルＶｙの大きさを明るさにより表示したグラフである。

例えば、８個の棒が反時計回りに回転している場合、右側に位置する棒４３１のＶｙが最も大きい値を有する。従って、棒４３１が最も明るく表示される。

図５（ａ）は、一実施形態に係るイベントベースイメージ処理装置に含まれた演算部を示すブロック図である。

図５（ａ）を参照すると、一実施形態に係るイベントベースイメージ処理装置は演算部５００をさらに備える。

演算部５００は、光流生成部によって生成された光流に基づいてユーザインタフェースのための情報を演算する。

図５（ｂ）を参照すると、ユーザインタフェースのための情報は、センサ５５１が位置するセンサ平面５５０と平行する平面５６０で複数のイメージピクセルに含まれた物体がｘ軸方向５６２に動く第１速度Ｖｘ、平行する平面５６０で物体がｙ軸方向５６１に動く第２速度Ｖｙ、物体が平行する平面５６０と垂直方向５６３に動く第３速度Ｖｚ、又は平行する平面５６０で物体が反時計回り５６４に回転する第４速度ｗのうち少なくとも１つを含む。

他の実施形態に係る演算部５００は、物体は移動することなくカメラが動く場合にもユーザインタフェースのための情報を生成する。この場合、当該分野で通常の技術を有する者であれば、前述の事項から簡単な演算（例えば、結果値の符号を変更する演算）を介して物体は移動することなくカメラが動く場合のユーザインタフェースのための情報を生成するよう実施形態を変形できるであろう。

ここで図５（ａ）を参照すると、、演算部５００は、平面速度演算部５１０、光流中心演算部５２０、Ｚ軸速度演算部５３０及び角速度演算部５４０を備える。

平面速度演算部５１０は、光流に基づいて第１速度Ｖｘと第２速度Ｖｙを算出する。より具体的には、平面速度演算部５１０は、第１速度Ｖｘと第２速度Ｖｙを算出するために、光流に対して平均値演算を行う。

上述したように、光流は、予め決定されたイベントが発生した少なくとも１つのピクセルに係わる速度ベクトルを含む。平面速度演算部５１０は、該、少なくとも１つのピクセルに係わる速度ベクトルを含む全てのピクセルに係わる速度ベクトルの和を算出することで光流に対して平均値演算を行う。

ここで、少なくとも１つのピクセルの速度ベクトルそれぞれは２次元ベクトルであるので、光流の平均も２次元ベクトルである。平面速度演算部５１０は、算出された光流の平均からｘ軸成分とｙ軸成分を分離することによって、第１速度Ｖｘと第２速度Ｖｙを算出する。

また、光流中心演算部５２０は、光流に基づいて光流の中心を演算する。より具体的に、光流中心演算部５２０は、光流の中心位置座標を算出するために予め決定されたイベントが発生した少なくとも１つのピクセルの位置と光流に含まれる当該ピクセルの速度ベクトルの大きさを用いて重心演算を行う。

例えば、図６を参照すると、予め決定されたイベントが発生したピクセルがピクセル６１０、ピクセル６２０、ピクセル６３０、及びピクセル６４０である場合を仮定する。ここで、光流生成部によって生成された光流は、ピクセル６１０、ピクセル６２０、ピクセル６３０及びピクセル６４０それぞれに対応する速度ベクトルＶ１（６１５）、速度ベクトルＶ２（６２５）、速度ベクトルＶ３（６３５）、及び速度ベクトルＶ４（６４５）を含む。

光流中心演算部５２０は、ピクセル６１０、ピクセル６２０、ピクセル６３０及びピクセル６４０それぞれの位置（ｘ軸ピクセル座標とｙ軸ピクセル座標）と速度ベクトルＶ１（６１５）、速度ベクトルＶ２（６２５）、速度ベクトルＶ３（６３５）及び速度ベクトルＶ４（６４５）それぞれの大きさ（ｘ軸方向大きさとｙ軸方向大きさ）を数式（２）に代入し、光流の中心ｃ（６５０）を算出する。

また、Ｚ軸速度演算部５３０は、光流と光流の中心に基づいて第３速度Ｖｚを演算する。

より具体的には、Ｚ軸速度演算部５３０は、予め決定されたイベントが発生した少なくとも１つのピクセルの位置と光流の中心を用いて該当するピクセルに対応する第１ベクトルを生成する。さらに、Ｚ軸速度演算部５３０は、光流に含まれる当該ピクセルの速度ベクトルと第１ベクトルを用いて内積演算を行うことによって、第３速度Ｖｚを演算する。

例えば、図７を参照すると、図５（ａ）に示す光流中心演算部５２０によって演算された光流の中心がｃ（７１０）であり、予め決定されたイベントが発生したピクセルのうちｉ番目のピクセルをピクセル７２０とする。

Ｚ軸速度演算部５３０は、ｃ（７１０）の位置とピクセル７２０の位置を用いて第１ベクトルｐｉ（７１５）を生成する。さらに、Ｚ軸速度演算部５３０は、第１ベクトルｐｉ（７１５）とｉ番目のピクセルの速度ベクトルＶｉ（７２５）を数式（３）に代入し、第３速度Ｖｚを算出する。

ここで、「・」は内積を表わす。

図５（ｂ）を参照すると、物体がセンサ５５１に近くなる方向５６３に移動中である場合、Ｚ軸速度演算部５３０によって演算されたＶｚは正（＋）の値を有する。反対に、物体がセンサ５５１から遠ざかる方向に移動中である場合、Ｖｚは負（−）の値を有する。

また、角速度演算部５４０は、光流と光流の中心に基づいて第４速度ｗを演算する。

より具体的には、角速度演算部５４０は、予め決定されたイベントが発生した少なくとも１つのピクセルの位置と光流の中心を用いて該当するピクセルに対応する第１ベクトルを生成する。さらに、角速度演算部５４０は、光流に含まれる当該ピクセルの速度ベクトルと第１ベクトルを用いて外積演算を行うことによって第４速度ｗを算出する。

例えば、図７を参照すると、図５（ａ）に示す光流中心演算部５２０によって演算された光流の中心がｃ（７１０）であり、予め決定されたイベントが発生したピクセルのうちｉ番目のピクセルをピクセル７２０とする。

角速度演算部５４０は、ｃ（７１０）の位置とピクセル７２０の位置を用いて第１ベクトル７１５を生成する。さらに、角速度演算部５４０は、第１ベクトルｐｉ（７１５）とｉ番目のピクセルの速度ベクトル７２５を数式（４）に代入し、第４速度ｗを算出する。

ここで、「×」は外積を表わす。

図５（ｂ）を参照すると、物体が反時計回り５６４に回転中である場合、角速度演算部５４０によって演算されたｗは正（＋）の値を有する。反対に、物体が時計方向に回転中である場合、角速度演算部５４０によって演算されたｗは負（−）の値を有する。

一実施形態に係るイベントベースイメージ処理装置は、イベントベースイメージセンサを用いる技術的な特徴を含む。イベントベースイメージセンサは、イメージに含まれた複数のピクセルそれぞれで非同期的（ａｓｙｎｃｈｒｏｎｏｕｓｌｙ）にイベント情報を生成する。

例えば、イベントベースイメージセンサは複数のピクセルのうち、予め決定されたイベントが発生したピクセルに対してのみイベント情報を生成する。これによって、一実施形態に係るイベントベースイメージ処理装置は、光流生成のためにイメージ情報をアップデートする時間を短縮できる。

例えば、イベントベースイメージ処理装置は、フレームごとにイメージ全体をスキャンする必要がなく、予め決定されたイベントが発生したピクセルに対してのみタイムスタンプをアップデートする。これによって、一実施形態に係るイベントベースイメージ処理装置は、光流を生成するために必要な演算時間又はメモリ空間を著しく減少させる技術を提供できる。

図８は、一実施形態に係るイベントベースイメージ処理方法を示すブロック図である。

図８を参照すると、一実施形態に係るイベントベースイメージ処理方法は、イベントを受信するステップＳ８１０、タイムスタンプ情報を生成するステップＳ８２０、光流を生成するステップＳ８３０、及びユーザインタフェースのための情報を演算するステップＳ８４０を含む。

イベントを受信するステップＳ８１０は、複数のイメージピクセルそれぞれで予め決定されたイベントが発生したか否かを検出するセンサからイベント信号を受信する。タイムスタンプ情報を生成するステップＳ８２０は、イベント信号の受信に反応してイベント信号に対応する少なくとも１つのピクセルとイベント信号が出力された時間をマッピングさせることによって、タイムスタンプ情報を生成する。光流を生成するステップＳ８３０は、タイムスタンプ情報に基づいて少なくとも１つのピクセルの速度ベクトルを含む光流を生成する。ユーザインタフェースのための情報を演算するステップＳ８４０は、光流に基づいてユーザインタフェースのための情報を演算する。

図８に示された各ステップには、図１〜図７を参照して記述した事項がそのまま適用できるので、より詳細な説明は省略する。

本発明の以上の実施形態に係る方法は、多様なコンピュータ手段を介して様々な処理を実行するプログラム命令の形態で実現され、コンピュータ読取可能な記録媒体に記録される。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などのうちの１つ又はその組合せを含む。媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されるか、又は、コンピュータソフトウェア分野の技術を有する当業者にとって公知、且つ、使用可能である。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、光ディスクのような光磁気媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。

上述したように、本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から多様な修正及び変形が可能であろう。

従って、本発明の範囲は、開示された実施形態に限定されず、本発明の特許請求の範囲だけではなく該特許請求の範囲と均等なものなどによって定められるべきである。

１００ イベントベースイメージ処理装置
１１０ センサ
１２０ タイムスタンプ部
１３０ 光流生成部
２００ タイムスタンプ情報
２１０、２２０、２３０ （ｉ、ｊ）位置、（ｉ、ｊ＋１）位置、（ｉ＋１、ｊ＋１）位置のピクセル
２４０ ２次元ベクトル

３００ 光流生成部
３１０ 周辺ピクセル取得部
３２０ 時間差算出部
３３０ 距離差算出部
３４０ 光流算出部
４１０、４２０、４３０ グラフ
４２１，４３１ 棒
５００ 演算部
５５０、５５１ センサ平面、センサ
５６０ センサ平面と平行する平面
５６１、５６２、５６３、５６４ ｙ軸方向、ｘ軸方向、垂直方向、反時計回り
５１０ 平面速度演算部
５２０ 光流中心演算部
５３０ Ｚ軸速度演算部
５４０ 角速度演算部
６１０、６２０、６３０、６４０ （予め決定されたイベントが発生した）ピクセル
６１５、６２５、６３５、６４５ 速度ベクトルＶ１、Ｖ２、Ｖ３、Ｖ４
７１０ 光流の中心ｃ
７１５ 第１ベクトルｐｉ
７２０ （予め決定されたイベントが発生したピクセルのうちｉ番目の）ピクセル
７２５ ｉ番目のピクセルの速度ベクトルＶｉ

Claims (29)

1. 複数のイメージピクセルそれぞれで予め決定されたイベントが発生したか否かを検出し、前記検出に反応してイベント信号を出力するセンサと、
   前記イベント信号に対応する少なくとも１つのピクセルと前記イベント信号が出力された時間をマッピングさせることによってタイムスタンプ情報を生成するタイムスタンプ部と、
   前記イベント信号の出力に反応して前記タイムスタンプ情報に基づいて光流を生成する光流生成部と、
   を備えることを特徴とするイベントベースイメージ処理装置。
2. 前記センサは、前記複数のイメージピクセルのうち、前記予め決定されたイベントが発生した一部のピクセルそれぞれに対応するイベント信号を非同期的に出力することを特徴とする請求項１に記載のイベントベースイメージ処理装置。
3. 前記光流は、前記少なくとも１つのピクセルの速度ベクトルを含むことを特徴とする請求項１に記載のイベントベースイメージ処理装置。
4. 前記光流生成部は、
   前記イベント信号の出力に反応して、前記複数のイメージピクセルのうち前記少なくとも１つのピクセル及び前記少なくとも１つのピクセルに隣接する周辺ピクセルそれぞれの速度ベクトルを非同期的に算出する部分算出部と、
   予め決定された周期ごとに、前記複数のイメージピクセルの速度ベクトルを算出する全体算出部と、
   の少なくとも１つを含むことを特徴とする請求項１に記載のイベントベースイメージ処理装置。
5. 前記光流生成部は、
   前記少なくとも１つのピクセルの周辺ピクセルを取得する周辺ピクセル取得部と、
   前記タイムスタンプ情報を用いて前記少なくとも１つのピクセルと前記周辺ピクセルとの間の時間差に関連する情報を算出する時間差算出部と、
   前記少なくとも１つのピクセルと前記周辺ピクセルとの間の距離差に関連する情報を算出する距離差算出部と、
   前記時間差に関連する情報と前記距離差に関連する情報に基づいて前記光流を算出する光流算出部と、
   を備えることを特徴とする請求項１に記載のイベントベースイメージ処理装置。
6. 前記時間差算出部は、前記少なくとも１つのピクセルと前記周辺ピクセルとの間の時間差が予め決定されたウィンドウ範囲外にある場合、前記時間差に関連する情報を０と算出することを特徴とする請求項５に記載のイベントベースイメージ処理装置。
7. 前記距離差に関連する情報は、前記少なくとも１つのピクセルと前記周辺ピクセルとの間のピクセル距離の逆数を含むことを特徴とする請求項５に記載のイベントベースイメージ処理装置。
8. 前記光流算出部は、前記光流を算出するために前記時間差に関連する情報と前記距離差に関連する情報を用いて前記少なくとも１つのピクセルに対応する２次元ベクトルＡを算出し、前記２次元ベクトルＡを前記２次元ベクトルＡ自身の内積値で割り算することを特徴とする請求項５に記載のイベントベースイメージ処理装置。
9. 前記光流に基づいてユーザインタフェースのための情報を算出する演算部をさらに備えることを特徴とする請求項１に記載のイベントベースイメージ処理装置。
10. 前記ユーザインタフェースのための情報は、
    前記センサが位置するセンサ平面と平行する平面で前記複数のイメージピクセルに含まれた物体がｘ軸方向に動く第１速度と、
    前記平行する平面で前記物体がｙ軸方向に動く第２速度と、
    前記物体が前記平行する平面と垂直方向に動く第３速度と、
    前記平行する平面で前記物体が円形に回転する第４速度と、
    の少なくとも１つを含むことを特徴とする請求項９に記載のイベントベースイメージ処理装置。
11. 前記演算部は、
    前記光流に基づいて前記第１速度及び前記第２速度を算出する平面速度演算部と、
    前記光流に基づいて前記光流の中心を算出する光流中心演算部と、
    前記光流と前記光流の中心に基づいて前記第３速度を演算するＺ軸速度演算部と、
    前記光流と前記光流の中心に基づいて前記第４速度を演算する角速度演算部と、
    を備えることを特徴とする請求項１０に記載のイベントベースイメージ処理装置。
12. 前記平面速度演算部は、前記第１速度及び前記第２速度を算出するために前記光流に対して平均値演算を行うことを特徴とする請求項１０に記載のイベントベースイメージ処理装置。
13. 前記光流中心演算部は、前記光流の中心を算出するために前記少なくとも１つのピクセルの位置と前記光流に含まれる前記少なくとも１つのピクセルの速度ベクトルの大きさを用いて重心演算を行うことを特徴とする請求項１０に記載のイベントベースイメージ処理装置。
14. 前記Ｚ軸速度演算部は、前記第３速度を算出するために前記光流の中心と前記少なくとも１つのピクセルの位置を用いて前記少なくとも１つのピクセルに対応する第１ベクトルを生成し、前記第１ベクトルと前記光流に含まれる前記少なくとも１つのピクセルの速度ベクトルを用いて内積演算を行うことを特徴とする請求項１０に記載のイベントベースイメージ処理装置。
15. 前記角速度演算部は、前記第４速度を算出するために前記光流の中心と前記少なくとも１つのピクセルの位置を用いて前記少なくとも１つのピクセルに対応する第１ベクトルを生成し、前記第１ベクトルと前記光流に含まれる前記少なくとも１つのピクセルの速度ベクトルを用いて外積演算を行うことを特徴とする請求項１０に記載のイベントベースイメージ処理装置。
16. 前記タイムスタンプ情報は、前記複数のイメージピクセルそれぞれで前記予め決定されたイベントが最近発生した時間に関連する情報を含むことを特徴とする請求項１に記載のイベントベースイメージ処理装置。
17. 前記予め決定されたイベントは、単位時間に予め決定された数値以上に明るくなる場合発生するイベントと、
    前記単位時間に前記予め決定された数値以上に暗くなる場合発生するイベントと、
    の少なくとも１つを含むことを特徴とする請求項１に記載のイベントベースイメージ処理装置。
18. 複数のイメージピクセルそれぞれで予め決定されたイベントが発生したか否かを検出するセンサからイベント信号を受信するステップと、
    前記イベント信号の受信に反応して前記イベント信号に対応する少なくとも１つのピクセルと前記イベント信号が出力された時間をマッピングさせることによってタイムスタンプ情報を生成するステップと、
    前記タイムスタンプ情報に基づいて前記少なくとも１つのピクセルの速度ベクトルを含む光流を生成するステップと、
    を含むことを特徴とするイベントベースイメージ処理方法。
19. 前記光流を生成するステップは、
    前記少なくとも１つのピクセルの周辺ピクセルを取得するステップと、
    前記タイムスタンプ情報を用いて前記少なくとも１つのピクセルと前記周辺ピクセルとの間の時間差に関連する情報を算出するステップと、
    前記タイムスタンプ情報を用いて前記少なくとも１つのピクセルと前記周辺ピクセルとの間の距離差に関連する情報を算出するステップと、
    前記時間差に関連する情報と前記距離差に関連する情報に基づいて前記光流を算出するステップと、
    を含むことを特徴とする請求項１８に記載のイベントベースイメージ処理方法。
20. 前記光流に基づいてユーザインタフェースのための情報を演算するステップをさらに含み、
    前記ユーザインタフェースのための情報は、
    前記センサが位置するセンサ平面と平行する平面で前記複数のイメージピクセルに含まれた物体がｘ軸方向に動く第１速度と、
    前記平行する平面で前記物体がｙ軸方向に動く第２速度と、
    前記物体が前記平行する平面と垂直方向に動く第３速度と、
    前記平行する平面で前記物体が円形に回転する第４速度と、
    の少なくとも１つを含むことを特徴とする請求項１８に記載のイベントベースイメージ処理方法。
21. 前記演算するステップは、
    前記光流に基づいて前記第１速度及び前記第２速度を算出するステップと、
    前記光流に基づいて前記光流の中心を算出するステップと、
    前記光流と前記光流の中心に基づいて前記第３速度を算出するステップと、
    前記光流と前記光流の中心に基づいて前記第４速度を算出するステップと、
    を含むことを特徴とする請求項２０に記載のイベントベースイメージ処理方法。
22. 請求項１８乃至請求項２１のいずれか１項に記載の方法を実行させるためのプログラムが記録されたコンピュータで読み出し可能な記録媒体。
23. イメージプロセッサにおいて、
    複数のピクセルを含む入力イメージデータを受信し、前記複数のピクセルそれぞれの明るさの変化が予め決定された値よりも大きいか否かを検出し、前記複数のピクセルのうち前記明るさの変化が前記予め決定された値よりも大きい少なくとも１つのピクセルそれぞれに対応するそれぞれの信号を出力するセンサと、
    前記それぞれの信号を受信し、前記それぞれの信号に基づいて前記少なくとも１つのピクセルそれぞれを前記明るさの変化が発生したそれぞれの時間にマッピングする情報を生成するタイムスタンパーと、
    前記タイムスタンパーによって生成された前記情報に基づいて光流を生成する光流生成部と、
    を備えることを特徴とするイメージプロセッサ。
24. 前記タイムスタンパーは前記情報を格納し、前記センサから新しい信号を受信する場合に前記情報を更新して既に格納された情報は廃棄することを特徴とする請求項２３に記載のイメージプロセッサ。
25. 前記センサは、前記明るさの変化を検出するためにマイクロ秒当たり一回ずつセンシング動作を行うことを特徴とする請求項２４に記載のイメージプロセッサ。
26. 前記光流は、前記少なくとも１つのピクセルそれぞれの速度ベクトルを含むことを特徴とする請求項２３に記載のイメージプロセッサ。
27. 前記少なくとも１つのピクセルのうちいずれか１つのピクセルの速度ベクトルは、前記いずれか１つのピクセルと隣接する隣接ピクセルに関連する情報を用いて算出されることを特徴とする請求項２６に記載のイメージプロセッサ。
28. 前記隣接ピクセルに関連する情報は、前記いずれか１つのピクセルと前記隣接ピクセルそれぞれの間の距離を含むことを特徴とする請求項２７に記載のイメージプロセッサ。
29. 前記隣接ピクセルに関連する情報は、前記いずれか１つのピクセルと前記隣接ピクセルそれぞれの間の時間差を含むことを特徴とする請求項２７に記載のイメージプロセッサ。
    

Images