JP2021048456A - 画像処理装置 - Google Patents

Abstract

【課題】イベントカメラにより得られたデータをメインメモリへ転送する際のデータ転送量を削減することが可能な画像処理装置を提供する。【解決手段】実施形態の画像処理装置は、複数の画素を所定の走査順に走査することにより、輝度の変化が検出された画素毎に、画素位置を示す２次元のアドレス値と、輝度変化量と、を含む画素データを取得するカメラと併用される装置であって、アドレス値取得部と、走査距離算出部と、バイナリデータ生成部と、を有する。アドレス値取得部は、２次元のアドレス値を変換して１次元のアドレス値を取得する。走査距離算出部は、１次元のアドレス値に基づき、第１の画素から第２の画素までの走査距離を算出する。バイナリデータ生成部は、走査距離の算出結果に応じて異なるビット数を有するビット列と、輝度変化量を表すビット列と、を含むバイナリデータを生成する。【選択図】図１

Description

本発明の実施形態は、画像処理装置に関する。

被写体の動き検出に利用可能な技術として、例えば、当該被写体において明るさの変化が生じた領域に対応する画素毎の輝度の変化を示すデータを出力する一方で、当該被写体において明るさの変化が生じなかった領域に対応する画素群のデータを出力しないように構成されたイベントカメラ（Ｅｖｅｎｔ Ｂａｓｅｄ Ｃａｍｅｒａ）に係る技術が近年提案されている。

前述のイベントカメラは、被写体の動きに応じて得られたデータを従来のカメラよりも高速に出力することができるという利点を有している反面、当該データをＤＲＡＭ等のメインメモリへ転送する際のデータ転送量が当該被写体の動きの大きさに応じて増大してしまうおそれがあるという問題点を有している。

日本国特許第６２６６９４６号公報

植中太紀他：「光量変化検出センサーを対象とした物体追跡アルゴリズムの高精度化」（２０１７）

実施形態は、イベントカメラにより得られたデータをメインメモリへ転送する際のデータ転送量を削減することが可能な画像処理装置を提供することを目的とする。

実施形態の画像処理装置は、イメージセンサのセンサ面に格子状に配置された複数の画素を所定の走査順に走査することにより、被写体における輝度の変化が検出された画素毎に、前記センサ面における画素位置を示す２次元のアドレス値と、輝度変化量と、を含む画素データを取得するように構成されたカメラと併用される装置であって、アドレス値取得部と、走査距離算出部と、バイナリデータ生成部と、を有して構成されている。前記アドレス値取得部は、前記画素データに含まれる前記２次元のアドレス値に対し、前記所定の走査順及び前記センサ面における画素数に基づいて設定された所定の変換処理を適用することにより、１次元のアドレス値を取得する。前記走査距離算出部は、前記アドレス値取得部により取得された前記１次元のアドレス値に基づき、前記複数の画素のうち、第１のタイミングにおいて輝度の変化が検出された第１の画素から、前記第１のタイミングより後の第２のタイミングにおいて輝度の変化が検出された第２の画素までの走査距離を算出する。前記バイナリデータ生成部は、前記走査距離算出部による前記走査距離の算出結果に応じて異なるビット数を有するビット列と、前記輝度変化量を表すビット列と、を含むバイナリデータを生成して出力する。

実施形態に係る画像処理装置を含む画像処理システムの構成の一例を示す図。 実施形態に係る画像処理システムにおける画素データの流れを模式的に示す図。 実施形態に係る画像処理装置において行われる処理の具体例を説明するためのフローチャート。 実施形態に係る画像処理装置において行われる処理により得られるラスタアドレス値及び走査距離の一例を示す図。 実施形態に係る画像処理装置において行われる処理の具体例を説明するためのフローチャート。 図５のフローチャートに含まれる一部の処理の具体例を説明するためのフローチャート。 図５のフローチャートに含まれる一部の処理の具体例を説明するためのフローチャート。 図５のフローチャートに含まれる一部の処理の具体例を説明するためのフローチャート。 イメージセンサのセンサ面に配置された各画素をブロックラスタスキャン順に走査した場合の例を説明するための図。

以下、実施形態について、図面を参照しつつ説明を行う。

図１から図８は、実施形態に係るものである。

画像処理システム１０１は、例えば、図１に示すように、イベントカメラ１と、画像処理装置２と、を有して構成されている。図１は、実施形態に係る画像処理装置を含む画像処理システムの構成の一例を示す図である。

イベントカメラ１は、複数の画素をセンサ面に格子状に配置したイメージセンサ（図示省略）を有して構成されている。

イベントカメラ１は、例えば、イメージセンサのセンサ面に配置された各画素をラスタスキャン順に（左から右かつ上から下の順に）走査することにより、被写体において明るさの変化が生じた領域に対応する画素毎の輝度の変化を検出するとともに、当該検出した画素毎の輝度の変化を示す画素データを取得するように構成されている。また、イベントカメラ１は、前述のように取得した画素データを画像処理装置２へ順次出力するように構成されている。また、イベントカメラ１は、被写体のうちの明るさの変化が生じなかった領域に対応する画素群（イメージセンサに含まれる各画素のうちの輝度の変化が検出されなかった画素群）については、画素データを取得（及び画像処理装置２へ出力）しないように構成されている。

具体的には、イベントカメラ１は、例えば、イメージセンサに含まれる各画素のうちの輝度の変化が検出された一の画素の画素データとして、当該イメージセンサのセンサ面の水平方向における当該一の画素の位置を示す情報に相当する座標値Ｘと、当該センサ面の垂直方向における当該一の画素の位置を示す情報に相当する座標値Ｙと、当該一の画素における輝度の変化の検出タイミングを特定可能な情報に相当する時刻ｔと、当該一の画素において生じた輝度の変化の大きさを示す情報に相当する輝度変化量ΔＬと、を含むデータを取得するように構成されている。

すなわち、イベントカメラ１は、イメージセンサのセンサ面に格子状に配置された複数の画素を所定の走査順に（ラスタスキャン順に）走査することにより、被写体における輝度の変化が検出された画素毎に、当該センサ面における画素位置を示す２次元のアドレス値に相当する座標値（Ｘ，Ｙ）と、輝度変化量ΔＬと、を含む画素データを取得するように構成されている。

画像処理装置２は、例えば、図１に示すように、ＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）メモリ２１と、エンコーダ部２２と、ストリームバッファ２３と、メモリコントローラ２４と、ＤＲＡＭ２５と、ＣＰＵ２６と、ハードウェアエンジン２７と、を有して構成されている。

ＦＩＦＯメモリ２１は、イベントカメラ１から順次出力される画素データを時系列にかつ所定のデータ数に達するまで記録することができるように構成されている。また、ＦＩＦＯメモリ２１は、イベントカメラ１から出力される最新の画素データを記録するための動作と、時系列に記録されている所定のデータ数の画素データ群のうちの最古の画素データをエンコーダ部２２へ出力するための動作と、を併せて行うように構成されている。

エンコーダ部２２は、例えば、エンコーダ回路を有して構成されている。また、エンコーダ部２２は、イベントカメラ１に設けられたイメージセンサの画素数等に基づき、ＦＩＦＯメモリ２１から順次出力される画素データ各々に対して符号化処理を施すとともに、当該符号化処理の処理結果として得られたバイナリデータをストリームバッファ２３へ順次出力するように構成されている。また、エンコーダ部２２は、アドレス値取得部２２Ａとしての機能と、走査距離算出部２２Ｂとしての機能と、バイナリデータ生成部２２Ｃとしての機能と、を有して構成されている。なお、エンコーダ部２２により行われる符号化処理の具体例、及び、エンコーダ部２２の各機能については、後程説明する。また、本実施形態においては、エンコーダ部２２の各機能が、例えば、図示しないメモリ等の記憶媒体から読み込んだプログラムを実行することにより実現されるものであってもよい。

以上に述べた構成によれば、例えば、画素データＰＸ０、ＰＸ１、ＰＸ２及びＰＸ３の４つの画素データがこの順番で取得及び出力されるとともに、ＦＩＦＯメモリ２１が３つの画素データを記録可能な容量を有している場合には、当該４つの画素データの流れを図２のように表すことができる。図２は、実施形態に係る画像処理システムにおける画素データの流れを模式的に示す図である。

画素データＰＸ０は、画素データＰＸ３がＦＩＦＯメモリ２１に記録されたタイミングにおいてエンコーダ部２２へ出力された後、エンコーダ部２２の符号化処理によりバイナリデータに変換される。また、画素データＰＸ１は、画素データＰＸ３の次の画素データＰＸ４が記録されるまでの期間において、ＦＩＦＯメモリ２１により保持される。また、画素データＰＸ２は、画素データＰＸ４の次の画素データＰＸ５が記録されるまでの期間において、ＦＩＦＯメモリ２１により保持される。また、画素データＰＸ３は、画素データＰＸ５の次の画素データＰＸ６が記録されるまでの期間において、ＦＩＦＯメモリ２１により保持される。

ストリームバッファ２３は、エンコーダ部２２から順次出力されるバイナリデータを一時的に格納することができるように構成されている。

メモリコントローラ２４は、ストリームバッファ２３に格納されたバイナリデータを読み込むとともに、当該読み込んだバイナリデータをＤＲＡＭ２５に順次書き込むための動作を行うように構成されている。

ＤＲＡＭ２５には、メモリコントローラ２４の動作に応じたバイナリデータが順次書き込まれるように構成されている。また、ＤＲＡＭ２５は、ＣＰＵ２６と、ハードウェアエンジン２７と、によるデータの読み書きを行うことが可能なメインメモリとして構成されている。

ＣＰＵ２６は、ＤＲＡＭ２５に書き込まれたバイナリデータをＤＲＡＭ２５に対する書き込みが行われた順序と同じ順序で読み込むように構成されている。また、ＣＰＵ２６は、ＤＲＡＭ２５から読み込んだバイナリデータに対して復号化処理を施すことにより、ＦＩＦＯメモリ２１からエンコーダ部２２へ出力される画素データに含まれるデータと同様のデータを取得するように構成されている。すなわち、ＣＰＵ２６は、ＤＲＡＭ２５から読み込んだバイナリデータに対して復号化処理を施すことにより画素データを取得するデコーダ部としての機能を有して構成されている。なお、ＣＰＵ２６により行われる復号化処理の具体例については、後程説明する。また、本実施形態においては、ＣＰＵ２６の機能が、例えば、図示しないメモリ等の記憶媒体から読み込んだプログラムを実行することにより実現されるものであってもよい

ＣＰＵ２６は、イベントカメラ１に設けられたイメージセンサの画素数と同数の画素を含む１つの（１フレーム分の）画像に相当する画像データがＤＲＡＭ２５に格納されているか否かを検出するための動作を行うように構成されている。

ＣＰＵ２６は、ＤＲＡＭ２５に画像データが格納されていないことを検出した場合、ＤＲＡＭ２５から読み込んだバイナリデータを復号化して得られた画素データを用いて新規の画像データを生成するとともに、当該生成した新規の画像データをＤＲＡＭ２５に書き込むための動作を行うように構成されている。

ＣＰＵ２６は、ＤＲＡＭ２５に画像データが格納されていることを検出した場合、ＤＲＡＭ２５から既存の画像データを読み込むとともに、ＤＲＡＭ２５から読み込んだバイナリデータを復号化して得られた画素データに含まれる輝度変化量ΔＬを当該既存の画像データに対して適用することにより更新用の画像データを生成するように構成されている。また、ＣＰＵ２６は、前述のように生成した更新用の画像データをＤＲＡＭ２５に書き込むための動作を行うように構成されている。

なお、本実施形態においては、ＣＰＵ２６の代わりに、ＣＰＵ２６と同様の機能を有するＤＳＰ（デジタルシグナルプロセッサ）が画像処理装置２に設けられていてもよい。

続いて、本実施形態の作用について説明する。

イベントカメラ１は、イメージセンサのセンサ面に配置された各画素をラスタスキャン順に走査することにより、例えば、時刻ｔ０において、当該イメージセンサに含まれる各画素のうちの輝度の変化が検出された画素Ｐ０に対応する画素データＰＤ０を取得するとともに、当該取得した画素データＰＤ０を画像処理装置２へ出力する。また、イベントカメラ１は、イメージセンサのセンサ面に配置された各画素をラスタスキャン順に走査することにより、例えば、時刻ｔ０の次の時刻ｔ１において、当該イメージセンサに含まれる各画素のうちの輝度の変化が検出された画素Ｐ１に対応する画素データＰＤ１を取得するとともに、当該取得した画素データＰＤ１を画像処理装置２へ出力する。

ＦＩＦＯメモリ２１は、イベントカメラ１から出力される画素データＰＤ０及びＰＤ１を時系列に記録する。また、ＦＩＦＯメモリ２１は、イベントカメラ１から出力される画素データを順次記録するための動作を行いつつ、画素データＰＤ０及びＰＤ１をエンコーダ部２２へ順次出力するための動作を行う。

エンコーダ部２２は、イベントカメラ１に設けられたイメージセンサの画素数等に基づき、ＦＩＦＯメモリ２１から出力される画素データＰＤ０に対して符号化処理を施すとともに、当該符号化処理の処理結果として得られたバイナリデータＢＤ０をストリームバッファ２３へ出力する。また、エンコーダ部２２は、イベントカメラ１に設けられたイメージセンサの画素数等に基づき、ＦＩＦＯメモリ２１から出力される画素データＰＤ１に対して符号化処理を施すとともに、当該符号化処理の処理結果として得られたバイナリデータＢＤ１をストリームバッファ２３へ出力する。

ここで、本実施形態のエンコーダ部２２により行われる処理の具体例について、図３を参照しつつ説明する。図３は、実施形態に係る画像処理装置において行われる処理の具体例を説明するためのフローチャートである。

なお、以降においては、画素Ｐ０の座標値Ｘ０及びＹ０と、当該画素Ｐ０における輝度変化量ΔＬ０と、が画素データＰＤ０に含まれているものとして説明を行う。また、以降においては、画素Ｐ１の座標値Ｘ１及びＹ１と、当該画素Ｐ１における輝度変化量ΔＬ１と、が画素データＰＤ１に含まれているものとして説明を行う。また、以降においては、画素データＰＤ０に対応するバイナリデータＢＤ０がストリームバッファ２３へ出力された後に、画素データＰＤ１に対応するバイナリデータＢＤ１の生成が行われる場合を例に挙げて説明する。また、以降においては、イベントカメラ１に設けられたイメージセンサのセンサ面における水平方向の画素数ＰＷと、当該センサ面における垂直方向の画素数ＰＨと、がそれぞれ既知の値であるものとして説明を行う。また、以降においては、輝度変化量ΔＬが、８ビットの（所定のビット数の）二進数として表されるものとして説明を行う。また、以降においては、イベントカメラ１のイメージセンサに含まれる各画素をラスタスキャン順に１回ずつ走査する際に必要な時間を１フレーム期間と称するものとする。

エンコーダ部２２は、画素データＰＤ１に含まれる座標値Ｘ１及びＹ１を下記数式（１）に適用することにより、当該画素データＰＤ１が取得された画素のラスタアドレス値ＲＡを取得するための処理を行う（図３のステップＳ１）。

ＲＡ＝Ｙ１×ＰＷ＋Ｘ１ …（１）

上記数式（１）においては、０以上かつ（ＰＷ−１）以下の範囲に属する十進数の値が座標値Ｘ１として適用される。また、上記数式（１）においては、０以上かつ（ＰＨ−１）以下の範囲に属する十進数の値が座標値Ｙ１として適用される。そのため、上記数式（１）を用いて算出されるラスタアドレス値ＲＡは、０以上かつ（ＰＷ−１）×（ＰＨ−１）以下の範囲に属している。また、上記数式（１）を用いて算出されるラスタアドレス値ＲＡは、イベントカメラ１におけるイメージセンサのセンサ面に配置された各画素に対してラスタスキャン順に割り当てられた値に相当するとともに、画素データＰＤ１が取得された一の画素の位置を表す１次元の値に相当する。

すなわち、エンコーダ部２２は、アドレス値取得部２２Ａとしての機能を具備し、画素データＰＤ１に含まれる座標値（Ｘ１，Ｙ１）に対し、ラスタスキャン順及び画素数ＰＷに基づいて設定された所定の変換処理（上記数式（１））を適用することにより、１次元のアドレス値（ラスタアドレス値ＲＡ）を取得するように構成されている。

エンコーダ部２２は、画素データＰＤ１の次にＦＩＦＯメモリ２１から出力される画素データにおけるラスタアドレス値を算出するまでの間、図３のステップＳ１の処理により算出したラスタアドレス値ＲＡを保持する。

エンコーダ部２２は、図３のステップＳ１の処理により算出したラスタアドレス値ＲＡを下記数式（２）に適用して走査距離ＤＡを算出するための処理を行う（図３のステップＳ２）。なお、下記数式（２）のＰＡは、画素データＰＤ０に含まれる座標値Ｘ０及びＹ０に対して上記数式（１）を適用することにより得られたラスタアドレス値を表している。

ＤＡ＝ＲＡ−ＰＡ …（２）

上記数式（２）を用いて算出される走査距離ＤＡは、イベントカメラ１のイメージセンサに含まれる各画素のうち、第１のタイミングにおいて輝度の変化が検出された第１の画素から、当該第１のタイミングの次の第２のタイミングにおいて輝度の変化が検出された第２の画素までの区間をラスタスキャン順に一画素ずつ辿った場合の距離を表している。そのため、画素データＰＤ０及びＰＤ１が互いに異なる１フレーム期間で取得された場合には、上記数式（２）を用いて算出される走査距離ＤＡが０以下の値になり得る。

すなわち、エンコーダ部２２は、走査距離算出部２２Ｂとしての機能を具備し、ラスタアドレス値ＲＡ及びＰＡに基づき、時刻ｔ０において輝度の変化が検出された画素Ｐ０から、当該時刻ｔ０の次の時刻ｔ１において輝度の変化が検出された画素Ｐ１までの走査距離ＤＡを算出するように構成されている。

エンコーダ部２２は、図３のステップＳ２の処理により算出した走査距離ＤＡが０以下であるか否かに係る判定処理を行う（図３のステップＳ３）。

エンコーダ部２２は、図３のステップＳ２の処理により算出した走査距離ＤＡが０より大きいとの判定結果を得た（Ｓ３：ＮＯ）場合に、後述の図３のステップＳ６の処理を続けて行う。

エンコーダ部２２は、図３のステップＳ２の処理により算出した走査距離ＤＡが０以下であるとの判定結果を得た（Ｓ３：ＹＥＳ）場合に、当該走査距離ＤＡを破棄するとともに、図３のステップＳ１の処理により算出したラスタアドレス値ＲＡを下記数式（３）に適用して走査距離ＤＡを再算出するための処理を行う（図３のステップＳ４）。

ＤＡ＝ＲＡ＋１ …（３）

エンコーダ部２２は、図３のステップＳ４の処理を行った後、所定のビット列を有するエスケープコードを生成してストリームバッファ２３へ出力するエスケープ処理をさらに行う（図３のステップＳ５）。

なお、以降においては、前述のエスケープコードとして、ビット値「１」と、連続する８個のビット値「０」と、を並べた９ビットのビット列「１００００００００」が生成されるものとして説明を行う。

エンコーダ部２２は、図３のステップＳ２またはステップＳ４の処理により算出した走査距離ＤＡが１より大きいか否かに係る判定処理を行う（図３のステップＳ６）。

エンコーダ部２２は、図３のステップＳ２またはステップＳ４の処理により算出した走査距離ＤＡが１より大きいとの判定結果を得た（Ｓ６：ＹＥＳ）場合に、後述の図３のステップＳ７の処理を続けて行う。また、エンコーダ部２２は、図３のステップＳ２またはステップＳ４の処理により算出した走査距離ＤＡが１以下であるとの判定結果を得た（Ｓ６：ＮＯ）場合に、後述の図３のステップＳ１０の処理を続けて行う。

ここで、本実施形態によれば、例えば、ＰＷ＝１９２０かつＰＨ＝１０８０である場合において、イベントカメラ１から出力される画素データに含まれる座標値（Ｘ，Ｙ）に応じ、図４に示すようなラスタアドレス値ＲＡ及び走査距離ＤＡが取得される。なお、図４の各走査距離ＤＡのうち、括弧が付されていないものは図３のステップＳ２の処理により算出された値を表し、括弧が付されているものは図３のステップＳ４の処理により再算出された値を表している。図４は、実施形態に係る画像処理装置において行われる処理により得られるラスタアドレス値及び走査距離の一例を示す図である。

図４に示した例によれば、１フレーム期間Ｆ１の最初に取得された画素データと、当該１フレーム期間Ｆ１の次の１フレーム期間Ｆ２の最初に取得された画素データと、当該１フレーム期間Ｆ２の次の１フレーム期間Ｆ３の最初に取得された画素データと、において、図３のステップＳ４の処理による走査距離ＤＡの再算出が行われる。

エンコーダ部２２は、走査距離ＤＡをＮビットの二進数として表すことができるか否かに応じ、当該Ｎビットに対して追加する追加ビット数Ｔを設定する処理を行う（図３のステップＳ７）。なお、本実施形態においては、例えば、Ｎ＝１８に設定されていればよい。

具体的には、エンコーダ部２２は、例えば、走査距離ＤＡが２^N未満の値である場合には、追加ビット数Ｔを０に設定する。また、エンコーダ部２２は、例えば、走査距離ＤＡが２^N以上の値である場合には、２^N≦ＤＡ＜２^Mの関係を満たす最小のビット数Ｍからビット数Ｎを減じて得られた値を追加ビット数Ｔとして設定する。

エンコーダ部２２は、図３のステップＳ７の処理により設定した追加ビット数Ｔに基づき、後述の図３のステップＳ９においてバイナリデータを生成する際に先頭部分に付与されるヘッダＨＡのデータを生成するための処理を行う（図３のステップＳ８）。

具体的には、エンコーダ部２２は、ヘッダＨＡとして、連続するＴ個のビット値「０」と、２ビットのビット列「０１」と、をこの順番で並べたビット列を生成する。そのため、エンコーダ部２２は、例えば、Ｔ＝０の場合には、２ビットのビット列「０１」をヘッダＨＡとして生成する。また、エンコーダ部２２は、例えば、Ｔ＝３の場合には、連続する３個のビット値「０」と、２ビットのビット列「０１」と、をこの順番で並べた５ビットのビット列「００００１」をヘッダＨＡとして生成する。

エンコーダ部２２は、画素データＰＤ１に対応するバイナリデータＢＤ１として、図３のステップＳ８の処理により生成したヘッダＨＡを表す（Ｔ＋２）ビットのビット列と、走査距離ＤＡを表す（Ｎ＋Ｔ）ビットのビット列と、輝度変化量ΔＬ１を表す８ビットのビット列と、をこの順番で並べたデータを生成し（図３のステップＳ９）、当該生成したデータをストリームバッファ２３へ出力する処理を行う。

具体的には、エンコーダ部２２は、例えば、Ｎ＝１８かつＴ＝０の場合には、ヘッダＨＡを表す２ビットのビット列「０１」と、走査距離ＤＡを表す１８ビットのビット列と、輝度変化量ΔＬ１を表す８ビットのビット列と、をこの順番で並べたバイナリデータＢＤ１を生成し、当該生成したバイナリデータＢＤ１をストリームバッファ２３へ出力する。

また、エンコーダ部２２は、例えば、Ｎ＝１８かつＴ＝３の場合には、ヘッダＨＡを表す５ビットのビット列「００００１」と、走査距離ＤＡを表す２１ビットのビット列と、輝度変化量ΔＬ１を表す８ビットのビット列と、をこの順番で並べたバイナリデータＢＤ１を生成し、当該生成したバイナリデータＢＤ１をストリームバッファ２３へ出力する。

エンコーダ部２２は、後述の図３のステップＳ１１においてバイナリデータを生成する際に先頭部分に付与されるヘッダＨＡのデータを（二進数の）「１」に設定するための処理を行う（図３のステップＳ１０）。

エンコーダ部２２は、画素データＰＤ１に対応するバイナリデータＢＤ１として、図３のステップＳ１０の処理により設定したヘッダＨＡを表すビット値「１」と、輝度変化量ΔＬ１を表す８ビットのビット列と、をこの順番で並べたデータを生成し（図３のステップＳ１１）、当該生成したデータをストリームバッファ２３へ出力する処理を行う。

すなわち、図３のステップＳ６、ステップＳ１０及びステップＳ１１の処理によれば、画素データＰＤ０及び画素データＰＤ１の２つのデータにおいて互いに隣接するラスタアドレス値が取得された場合には、走査距離ＤＡを表すデータを含まないバイナリデータＢＤ１がストリームバッファ２３へ出力される。また、図３のステップＳ６〜ステップＳ１１の処理によれば、エンコーダ部２２は、バイナリデータ生成部２２Ｃとしての機能を具備し、走査距離ＤＡの算出結果に応じて異なるビット数を有するビット列と、輝度変化量ΔＬ１を表すビット列と、を含むバイナリデータＢＤ１を生成して出力するように構成されている。

メモリコントローラ２４は、ストリームバッファ２３に格納されたバイナリデータを読み込むとともに、当該読み込んだバイナリデータをＤＲＡＭ２５に順次書き込むための動作を行う。そして、このようなメモリコントローラ２４の動作によれば、バイナリデータＢＤ１を含む複数のデータがＤＲＡＭ２５に順次書き込まれる。

ＣＰＵ２６は、ＤＲＡＭ２５に書き込まれたバイナリデータをＤＲＡＭ２５に対する書き込みが行われた順序と同じ順序で読み込む。また、ＣＰＵ２６は、ＤＲＡＭ２５から読み込んだバイナリデータに対して復号化処理を施すことにより、ＦＩＦＯメモリ２１からエンコーダ部２２へ出力される画素データに含まれるデータと同様のデータを取得する。

ここで、本実施形態のＣＰＵ２６により行われる処理の具体例について、図５等を参照しつつ説明する。図５は、実施形態に係る画像処理装置において行われる処理の具体例を説明するためのフローチャートである。

なお、以降においては、ＤＲＡＭ２５に画像データが格納されているものとして説明する。また、以降においては、エンコーダ部２２の処理において用いられたビット数Ｎ及び画素数ＰＷが、ＣＰＵ２６の処理において既知の値として用いられるものとして説明する。また、以降においては、ＣＰＵ２６によるバイナリデータに対する処理に応じ、当該バイナリデータの先頭ビットが当該バイナリデータに含まれる各ビットの並び順に入れ替わるものとして説明する。また、以降においては、ＣＰＵ２６の処理により、画素データＰＤ１に含まれるデータと同様のデータが取得（復元）される場合を主な例として挙げつつ説明する。

ＣＰＵ２６は、ＤＲＡＭ２５からバイナリデータ及び画像データを読み込んだ（図５のステップＳ３１）後、例えば、図６に示すとともに以下に述べる処理を行うことにより、走査距離ＤＡの表現に用いられたビット数Ｋを特定する（図５のステップＳ３２）。図６は、図５のフローチャートに含まれる一部の処理の具体例を説明するためのフローチャートである。

具体的には、ＣＰＵ２６は、ビット数Ｋの初期値をＮ−１に設定した（図６のステップＳ５１）後、現在処理対象となっているバイナリデータの先頭ビットのビット値ＭＳＢを取得する処理（図６のステップＳ５２）と、当該バイナリデータを１ビット分シフトする処理（図６のステップＳ５３）と、当該ビット値ＭＳＢが「１」であるか否かを判定する処理（図６のステップＳ５４）と、を連続的に行う。

そして、ＣＰＵ２６は、ビット値ＭＳＢが「１」ではないとの判定結果を得た場合（Ｓ５４：ＮＯ）に、現在保持しているビット数Ｋの値に１を加えた（図６のステップＳ５５）後、図６のステップＳ５２からステップＳ５４までの処理を再度行う。

また、ＣＰＵ２６は、ビット値ＭＳＢが「１」であるとの判定結果を得た場合（Ｓ５４：ＹＥＳ）に、現在保持しているビット数Ｋを走査距離ＤＡの表現に用いられたビット数として特定する。

ＣＰＵ２６は、図５のステップＳ３２の処理を経て得られたビット数Ｋ及びバイナリデータに基づき、例えば、図７に示すとともに以下に述べる処理を行うことにより、十進数の走査距離ＤＡを取得する（図５のステップＳ３３）。図７は、図５のフローチャートに含まれる一部の処理の具体例を説明するためのフローチャートである。

具体的には、ＣＰＵ２６は、図５のステップＳ３２の処理を経て得られたビット数Ｋがビット数Ｎ未満であるか否かを判定する処理（図７のステップＳ６１）を行う。

そして、ＣＰＵ２６は、図５のステップＳ３２の処理を経て得られたビット数Ｋがビット数Ｎ未満であるとの判定結果を得た場合（Ｓ６１：ＹＥＳ）に、十進数の走査距離ＤＡとして１を取得する（図７のステップＳ６２）。

また、ＣＰＵ２６は、図５のステップＳ３２の処理を経て得られたビット数Ｋがビット数Ｎ以上であるとの判定結果を得た場合（Ｓ６１：ＮＯ）に、現在処理対象となっているバイナリデータの先頭からＫビット分のビット値を読み込む処理（図７のステップＳ６３）と、当該読み込んだＫビット分のビット値に応じた十進数の走査距離ＤＡを取得する処理（図７のステップＳ６４）と、当該バイナリデータを１ビット分シフトする処理（図７のステップＳ６５）と、を連続的に行う。

ＣＰＵ２６は、図５のステップＳ３３の処理を経て得られたバイナリデータに基づき、例えば、図８に示すとともに以下に述べる処理を行うことにより、十進数の輝度変化量ΔＬ１を取得する（図５のステップＳ３４）。図８は、図５のフローチャートに含まれる一部の処理の具体例を説明するためのフローチャートである。

具体的には、ＣＰＵ２６は、現在処理対象となっているバイナリデータの先頭から８ビット分のビット値を読み込む処理（図８のステップＳ７１）と、当該読み込んだ８ビット分のビット値に応じた十進数の輝度変化量ΔＬ１を取得する処理（図８のステップＳ７２）と、当該バイナリデータを１ビット分シフトする処理（図８のステップＳ７３）と、を連続的に行う。

ＣＰＵ２６は、図５のステップＳ３４の処理を経て得られた輝度変化量ΔＬ１が０とは異なる値であるか否かを判定する処理（図５のステップＳ３５）を行う。

そして、ＣＰＵ２６は、図５のステップＳ３４の処理を経て得られた輝度変化量ΔＬ１が０とは異なる値であるとの判定結果を得た場合（Ｓ３５：ＹＥＳ）に、後述の図５のステップＳ３６の処理を続けて行う。また、ＣＰＵ２６は、図５のステップＳ３４の処理を経て得られた輝度変化量ΔＬ１が０であるとの判定結果を得た場合（Ｓ３５：ＮＯ）に、十進数のラスタアドレス値ＲＡとして−１を取得した（図５のステップＳ３９）後、後述の図５のステップＳ４０の処理を続けて行う。

ここで、本実施形態においては、輝度変化量ΔＬ≠０の場合に限り、イベントカメラ１から画像処理装置２へ画素データが出力される。

そのため、例えば、図５のステップＳ３４の処理を経て得られた輝度変化量ΔＬ１が図５のステップＳ３５の条件を満たす場合には、図５のステップＳ３３の処理を経て得られた走査距離ＤＡと、当該輝度変化量ΔＬ１と、が画素データＰＤ１に含まれているデータと同じ値であることが特定される。

また、例えば、図５のステップＳ３４の処理を経て得られた輝度変化量ΔＬ１が図５のステップＳ３５の条件を満たさない場合には、図５のステップＳ３３の処理を経て得られた走査距離ＤＡが図３のステップＳ５のエスケープ処理により生成されたエスケープコードにおける先頭のビット値「１」に対応する値であること、及び、当該輝度変化量ΔＬ１が当該ビット値「１」の直後に位置する８ビットのビット列「００００００００」に対応する値であることがそれぞれ特定される。

ＣＰＵ２６は、図５のステップＳ３３の処理を経て得られた走査距離ＤＡと、画素データＰＤ１の１つ前の画素データＰＤ０に対応するラスタアドレス値ＰＡと、を上記数式（２）に適用することにより、当該画素データＰＤ１に対応する十進数のラスタアドレス値ＲＡを取得する（図５のステップＳ３６）。

なお、本実施形態のＣＰＵ２６は、次のラスタアドレス値を取得するまでの間、図５のステップＳ３６またはステップＳ３９の処理により取得したラスタアドレス値ＲＡを保持するものとする。

ＣＰＵ２６は、図５のステップＳ３６の処理を経て得られたラスタアドレス値ＲＡと、画素数ＰＷと、に基づき、画素データＰＤ１に対応する座標値Ｘ１及びＹ１を取得する（図５のステップＳ３７）。

具体的には、ＣＰＵ２６は、ラスタアドレス値ＲＡを画素数ＰＷで除する演算により得られる商の値を座標値Ｙ１として取得するとともに、当該演算により得られる剰余の値を座標値Ｘ１として取得する。

ＣＰＵ２６は、ＤＲＡＭ２５から読み込んだ画像データに含まれる各画素の中から、図５のステップＳ３７の処理を経て得られた座標値Ｘ１及びＹ１に対応する画素Ｐ１を特定する。また、ＣＰＵ２６は、図５のステップＳ３４の処理を経て得られた輝度変化量ΔＬ１を画素Ｐ１の輝度値に対して適用した（図５のステップＳ３８）後、後述の図５のステップＳ４０の処理を続けて行う。

ＣＰＵ２６は、図５のステップＳ３１において読み込んだバイナリデータの中に未処理のバイナリデータがあるか否かを判定する（図５のステップＳ４０）。

ＣＰＵ２６は、図５のステップＳ３１において読み込んだバイナリデータの中に未処理のバイナリデータがあるとの判定結果を得た場合（Ｓ４０：ＹＥＳ）に、当該未処理のバイナリデータを用いて図５のステップＳ３２以降の処理を再度行う。

ＣＰＵ２６は、図５のステップＳ３１において読み込んだバイナリデータの中に未処理のバイナリデータがないとの判定結果を得た場合（Ｓ４０：ＮＯ）に、図５の一連の処理を一旦終了する。そして、ＣＰＵ２６は、例えば、図５のステップＳ４０の処理が終了してから一定時間が経過した際に、図５の一連の処理を再度行う。

以上に述べたように、本実施形態によれば、イベントカメラ１から出力される画素データに含まれる座標値（Ｘ，Ｙ）に応じ、ラスタアドレス値ＲＡ及び走査距離ＤＡが算出されるようにしている。また、以上に述べたように、本実施形態によれば、走査距離ＤＡが１である場合に、当該走査距離ＤＡを表すデータがエンコーダ部２２から出力されないようにしている。そのため、本実施形態によれば、例えば、イベントカメラ１から出力される座標値（Ｘ，Ｙ）を単に二進数に変換したデータがＤＲＡＭ２５へ転送される場合に比べ、ＤＲＡＭ２５へ転送されるデータ転送量を低減させることができる。従って、本実施形態によれば、イベントカメラにより得られたデータをメインメモリへ転送する際のデータ転送量を削減することができる。

なお、本実施形態によれば、イベントカメラ１が、イメージセンサのセンサ面に配置された各画素を、ラスタスキャン順とは異なる走査順に走査するように構成されていてもよい。このような構成に応じた本実施形態の変形例に係る処理等について、以下に説明する。なお、以降においては、既述の動作等を適用可能な部分に関する具体的な説明を適宜省略するものとする。

イベントカメラ１は、イメージセンサのセンサ面に配置された各画素をブロックラスタスキャン順に走査することにより、例えば、時刻ｔ８において、当該イメージセンサに含まれる各画素のうちの輝度の変化が検出された画素Ｐ８に対応する画素データＰＤ８を取得するとともに、当該取得した画素データＰＤ８を画像処理装置２へ出力する。また、イベントカメラ１は、イメージセンサのセンサ面に配置された各画素をブロックラスタスキャン順に走査することにより、例えば、時刻ｔ８の次の時刻ｔ９において、当該イメージセンサに含まれる各画素のうちの輝度の変化が検出された画素Ｐ９に対応する画素データＰＤ９を取得するとともに、当該取得した画素データＰＤ９を画像処理装置２へ出力する。画素データＰ８及びＰＤ９は、例えば、後述の図９に示すような走査方法で取得される画素データに含まれている。

前述のブロックラスタスキャン順は、例えば、イベントカメラ１におけるイメージセンサのセンサ面に配置された各画素を２^c×２^cのサイズを有するＺ（Ｚ≧２）個の矩形のブロックに分割した状態において、当該Ｚ個のブロックを走査する際の順番と、当該Ｚ個のブロックのうちの一のブロックに含まれる２^c×２^c個の画素を走査する際の順番と、がそれぞれラスタスキャン順に設定された走査順として表される。そのため、前述のブロックラスタスキャン順によれば、イベントカメラ１におけるイメージセンサのセンサ面に配置された各画素が、例えば、図９に示すような順番で走査される。なお、前述のブロックラスタスキャン順においては、図９に示すように、Ｚ個のブロックを走査する際の順番に応じたブロック番号がブロック毎に予め付与されているものとする。また、前述のブロックラスタスキャン順においては、図９に示すように、Ｚ個のブロックのうちの一のブロックに含まれる２^c×２^c個の画素を走査する際の順番に応じた画素番号が画素毎に予め付与されているものとする。図９は、イベントカメラにおけるイメージセンサのセンサ面に配置された各画素をブロックラスタスキャン順に走査した場合の例を説明するための図である。

画素データＰＤ８には、Ｚ個のブロックのうちの画素Ｐ８が属する一のブロックの位置を特定可能なブロック番号Ｂ８（１≦Ｂ８≦Ｚ）と、当該一のブロックにおける画素Ｐ８の位置を特定可能な画素番号Ｉ８（１≦Ｉ８≦２^c×２^c）と、当該画素Ｐ８において生じた輝度の変化の大きさを示す情報に相当する輝度変化量ΔＬ８と、が含まれている。また、画素データＰＤ９には、Ｚ個のブロックのうちの画素Ｐ９が属する一のブロックの位置を特定可能なブロック番号Ｂ９（１≦Ｂ９≦Ｚ）と、当該一のブロックにおける画素Ｐ９の位置を特定可能な画素番号Ｉ９（１≦Ｉ９≦２^c×２^c）と、当該画素Ｐ９において生じた輝度の変化の大きさを示す情報に相当する輝度変化量ΔＬ９と、が含まれている。

すなわち、本変形例においては、被写体における輝度の変化が検出された画素Ｐ８の画素位置を示す２次元のアドレス値として、ブロック番号Ｂ８及び画素番号Ｉ８が取得される。また、本変形例においては、被写体における輝度の変化が検出された画素Ｐ９の画素位置を示す２次元のアドレス値として、ブロック番号Ｂ９及び画素番号Ｉ９が取得される。

エンコーダ部２２は、図３のステップＳ１に代わる処理として、画素データＰＤ８に含まれるブロック番号Ｂ８及び画素番号Ｉ８を下記数式（４）に適用することにより、画素Ｐ８の位置を表す１次元のアドレス値に相当するブロックラスタアドレス値ＳＡ８を取得するための処理を行う。また、エンコーダ部２２は、図３のステップＳ１に代わる処理として、画素データＰＤ９に含まれるブロック番号Ｂ９及び画素番号Ｉ９を下記数式（５）に適用することにより、画素Ｐ９の位置を表す１次元のアドレス値に相当するブロックラスタアドレス値ＳＡ９を取得するための処理を行う。

ＳＡ８＝｛（Ｂ８−１）×２^c×２^c｝＋Ｉ８ …（４）
ＳＡ９＝｛（Ｂ９−１）×２^c×２^c｝＋Ｉ９ …（５）

エンコーダ部２２は、図３のステップＳ２に代わる処理として、図３のステップＳ１により算出したブロックラスタアドレス値ＳＡ８及びＳＡ９を下記数式（６）に適用して走査距離ＤＢを算出するための処理を行う。

ＤＢ＝ＳＡ９−ＳＡ８ …（６）

上記数式（６）を用いて算出される走査距離ＤＢは、イベントカメラ１のイメージセンサに含まれる各画素のうち、第１のタイミングにおいて輝度の変化が検出された第１の画素から、当該第１のタイミングの次の第２のタイミングにおいて輝度の変化が検出された第２の画素までの区間をブロックラスタスキャン順に一画素ずつ辿った場合の距離を表している。

エンコーダ部２２は、上記数式（６）により算出した走査距離ＤＢを走査距離ＤＡの代わりに用い、図３のステップＳ３以降の処理と同様の処理を行う。

本変形例に係る処理によれば、例えば、輝度の変化が生じた被写体のサイズがＺ個のブロックのうちの一のブロック内に収まるサイズであるような場合に、図３のステップＳ７の処理により設定される追加ビット数Ｔを０にすることができる。そのため、本変形例に係る処理によれば、ブロックラスタスキャン順に走査される各ブロックのサイズ及び個数を適切に設定することにより、上記数式（２）により算出される走査距離ＤＡを用いて処理を行った場合に比べ、ＤＲＡＭ２５へ転送されるデータ転送量をさらに低減させることができる。

本発明の実施形態を説明したが、これらの実施形態は、例として示したものであり、本発明の範囲を限定することは意図していない。これら新規の実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ イベントカメラ
２ 画像処理装置
２１ ＦＩＦＯメモリ
２２ エンコーダ部
２３ ストリームバッファ
２４ メモリコントローラ
２５ ＤＲＡＭ
２６ ＣＰＵ
２７ ハードウェアエンジン
１０１ 画像処理システム

Claims (8)

1. イメージセンサのセンサ面に格子状に配置された複数の画素を所定の走査順に走査することにより、被写体における輝度の変化が検出された画素毎に、前記センサ面における画素位置を示す２次元のアドレス値と、輝度変化量と、を含む画素データを取得するように構成されたカメラと併用される画像処理装置であって、
   前記画素データに含まれる前記２次元のアドレス値に対し、前記所定の走査順及び前記センサ面における画素数に基づいて設定された所定の変換処理を適用することにより、１次元のアドレス値を取得するアドレス値取得部と、
   前記アドレス値取得部により取得された前記１次元のアドレス値に基づき、前記複数の画素のうち、第１のタイミングにおいて輝度の変化が検出された第１の画素から、前記第１のタイミングより後の第２のタイミングにおいて輝度の変化が検出された第２の画素までの走査距離を算出する走査距離算出部と、
   前記走査距離算出部による前記走査距離の算出結果に応じて異なるビット数を有するビット列と、前記輝度変化量を表すビット列と、を含むバイナリデータを生成して出力するバイナリデータ生成部と、
   を有することを特徴とする画像処理装置。
2. 前記走査距離算出部は、前記第２の画素に対応する第２の画素データに含まれる前記２次元のアドレス値に対して前記所定の変換処理を適用することにより得られた前記１次元のアドレス値に相当する第２のアドレス値から、前記第１の画素に対応する第１の画素データに含まれる前記２次元のアドレス値に対して前記所定の変換処理を適用することにより得られた前記１次元のアドレス値に相当する第１のアドレス値を減じる第１の計算を行うことにより、前記走査距離を算出する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記走査距離算出部は、前記第１の計算を行って得られた前記走査距離の算出結果が０以下の値である場合に、前記第２のアドレス値に対して１を加える第２の計算を行うことにより、前記走査処理を再算出する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記バイナリデータ生成部は、前記第１の計算または前記第２の計算を行って得られた前記走査距離の算出結果が１である場合に、前記第２の画素データに対応する前記バイナリデータとして、ヘッダを表すビット値「１」と、前記輝度変化量を表す所定のビット数のビット列と、をこの順番で並べたデータを生成する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記バイナリデータ生成部は、前記第１の計算または前記第２の計算を行って得られた前記走査距離の算出結果が１より大きい場合に、前記走査距離をＮビットの二進数として表すことができるか否かに応じ、前記Ｎビットに対して追加する追加ビット数Ｔを設定するとともに、連続するＴ個のビット値「０」と、２ビットのビット列「０１」と、をこの順番で並べたヘッダを生成する
   ことを特徴とする請求項３に記載の画像処理装置。
6. 前記バイナリデータ生成部は、前記第２の画素データに対応する前記バイナリデータとして、前記ヘッダを表す（Ｔ＋２）ビットのビット列と、前記走査距離を表す（Ｎ＋Ｔ）ビットのビット列と、前記輝度変化量を表す所定のビット数のビット列と、をこの順番で並べたデータを生成する
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記所定の走査順がラスタスキャン順である
   ことを特徴とする請求項１に記載の画像処理装置。
8. 前記所定の走査順がブロックラスタスキャン順である
   ことを特徴とする請求項１に記載の画像処理装置。

Images