JP2022159253A

JP2022159253A - フレームカメラへのイベントカメラの画素ごとの登録の方法

Info

Publication number: JP2022159253A
Application number: JP2022061595A
Authority: JP
Inventors: ペローネ，ダニエル; Perrone Daniele; マンダーシャイト，ジャック; Manderschied Jacques; ヴァレンテ，ステファン; Valente Stephane
Original assignee: Prophesee SA
Current assignee: Prophesee SA
Priority date: 2021-04-02
Filing date: 2022-04-01
Publication date: 2022-10-17
Also published as: CN115205346A; KR20220137558A; EP4068207A1; US20220329771A1

Abstract

【課題】イベントベースカメラによって画素イベントストリームに提供された画素をフレームベースカメラによって提供された画像内の画素に登録する方法、ステレオカメラ装置及びプログラムを提供する。【解決手段】ステレオカメラ装置は、フレームベースカメラＦＭＣから取得した各画像フレームを、画像フレームの１つ以上から第１の点行列を画像フレームの取得期間と関連付けて生成することと、取得期間中に生成された画素イベントストリームを取得することと、第１の点行列の取得期間中に生じる画素イベントストリームの画素イベントから第２の点行列を生成することと、第１の点行列及び第２の点行列の点の少なくとも一部に適用される相関スコアリング関数を計算することと、相関スコアリング関数を最大化することで、第２の点行列に関連する第１の点行列の点の深度により、第１の点行列における第２の点行列の点のそれぞれの位置を推定することと、を含む。【選択図】図２

Description

本開示は、ステレオ対応付けを使用した、カメラから異なる距離にある物体を示すシーンの存在下での、フレームベースカメラへのイベントベースカメラの画素ごとの登録のための方法および装置に関する。

イベントベースカメラは、従来のフレームベースカメラの画像センサのようにシャッターを使用して画像またはフレームを取り込まないが、視覚センサの各画素が独立して非同期的に動作するように輝度の局所的な変化に応答し、輝度の相対的な変化が生じるとそれらを報告し、そうでなければ沈黙している視覚センサを含む。

画像登録は、同じシーンを見ている２つのカメラによって撮像された物体間の画素ごとのマッピングまたはリンクを確立するプロセスである。そのような登録は、センサが２つの別個のカメラに組み込まれる場合に必要とされる。したがって、２つのカメラは、必然的に異なるそれぞれの視点を有する。カメラが異なる視点から見る物体のシーン深度（単数または複数）は視差（ｐａｒａｌｌａｘ）をもたらし、これは、カメラセンサの焦点面に投影される画像物体における視差（ｄｉｓｐａｒｉｔｙ）をもたらす。

そのような登録は、イベントを使用した画像および動画の改善、またはイベントノイズ除去などのイベント強調のために行われる。そのような登録はまた、シーンの３Ｄ情報を必要とする任意の用途に使用される深度または視差マップを生成するために行われる。同じタイプのフレームベースまたはイベントベースの２つ以上のカメラを含む３Ｄ推定のための解決策が存在する。

伝統的なステレオビジョンでは、互いに離隔しかつ水平に整列した２つのカメラが使用されて、人間の両眼視と同様に、シーンの２つの異なる視界の画像を得る。これらの２つの画像において撮像された物体を相関させることによって、相対的な深度情報を、対応する画像点の水平座標の差を符号化する視差マップの形態で得ることができる。視差マップの値は、対応する画素位置でのシーン深度に反比例する。

人間が２つの画像を比較するためには、画像を立体視装置で重ね合わせ、右のカメラからの画像を観察者の右目に、左のカメラからの画像を左目に見せなければならない。コンピュータビジョンシステムでは、いくつかの前処理ステップが行われ得る：
１．樽型歪みおよび接線歪みが除去されるように、各画像の歪みが取り除かれる。これにより、観察された画像は理想的なピンホールカメラの投影と確実に一致する。
２．各画像は、画像対の比較を可能とするために共通の平面に投影され、これは画像の平行化として知られている。
３．２つの画像を比較する情報測度が最小化される。これは、２つの画像内の特徴の位置の最良の推定を与え、視差マップを作成する。
４．任意選択で、視差マップが３Ｄ点群に投影されて深度マップを形成する。カメラの投影パラメータを使用することによって、既知のスケールでの測定値を提供するように点群を計算することができる。

２つのフレームベースカメラ間の登録を行うための多くの解決策がすでに存在する。これらの解決策は、両眼視の原理を使用してデュアルカメラシステムから深度情報を取り出すために開発されてきた（［１］、［２］、［３］、［４］、［５］）。これらの解決策はしばしば、以下のステップを必要とする：
カメラの較正：このプロセスは、オフラインで行われ、カメラシステムを熟知している必要がある。
カメラの平行化：このプロセスは、対応する画素の検索がセンサの画素行に沿って行われるようにカメラの視点を修正する。カメラの平行化が行われない場合、検索を、画素当たりのエピポーラ曲線を計算することによって依然として行うことができ、これはセンサの画素行に沿わない。したがって、平行化アルゴリズムは、効率が低下する。
マッチング：マッチングはしばしば、画素間の測光距離の最小化を試みる最適化アルゴリズムを含み、シフト（視差とも呼ばれる）を画素間で滑らかに変化させる正規化項をさらに有する。

２つのイベントベースカメラ間の登録をおこなうために、測光的マッチングの代わりに時間的マッチングを使用することが可能であることが、［６、１４］に示されている。

カメラから来る信号の異なる性質のため、ステレオ法として一般に知られているこれらの方法を、１つのフレームベースカメラと１つのイベントベースカメラとを組み合わせるカメラ対に容易に一般化することはできない。フレームベースカメラの画素の２Ｄアレイは、定期的にサンプリングされる時間間隔で入射光の強度（または色強度）を測定して２Ｄ画像を生成する一方で、イベントベースカメラは、２Ｄ画像を生成しないが、離散イベントのストリームを生成し、イベントは、入射光の相対的な輝度変化が検出されるとすぐに非同期的に生成される。

加えて、イベントベースカメラは、フレームベースカメラと異なる（典型的には低い）空間分解能を有し得る。したがって、イベントベースカメラの１つの画素が、例えば、フレームベースカメラの多くの画素に対応し得るため、２つのカメラ間のマッピングは全単射になることができない。

いくつかのフレームベースカメラは、グローバルシャッターを使用する場合のように単一の瞬間にシーン全体のスナップショットを取得するのではなく、むしろシーンにわたって素早く垂直または水平に走査することによって各フレームを取り込むローリングシャッターセンサを有する。一般に、ローリングシャッターセンサの１つの画素行またはいくつかの画素行の１つの群が、単一の瞬間に走査され、センサの複数の画素行または画素行の複数の群は、異なる瞬間に走査される。明示的に処理されない場合、ローリングシャッターは、［５］に示されるように、ステレオシステムで推定される深度を偏らせ得る。

したがって、イベントベースセンサからの画素イベントとフレームベースセンサからの画像との間の画素ごとの登録を確立することが望ましい場合がある。また、フレームベースカメラがローリングシャッターセンサを有する場合にも対処することが望ましい場合がある。

イベントベースカメラによって画素イベントストリームに提供された画素を、フレームベースカメラによって提供された画像内の画素に登録するための方法が記載される。方法は、フレームベースカメラから画像フレームを取得することであって、各画像フレームは、露光期間を使用して生成される、取得することと、画像フレームの１つ以上から第１の点行列を生成することであって、第１の点行列は、画像フレームの取得期間と関連付けられる、生成することと、取得期間中に生成された画素イベントストリームを取得することと、第１の点行列の取得期間中に生じる画素イベントストリームの画素イベントから第２の点行列を生成することと、第１および第２の点行列の点の少なくとも一部に適用される相関スコアリング関数を計算することと、相関スコアリング関数を最大化することによって、第２の点行列に関連する第１の点行列の点の深度により、第１の点行列における第２の点行列の点のそれぞれの位置を推定することとを含み得る。

実施形態によれば、方法は、第１の画像分解能で第１の点行列を共通の画像平面に投影することによって得られる、平行化された第１の点行列を生成することと、第１の画像分解能で第２の点行列を共通の画像平面に投影することによって得られる、平行化された第２の点行列を生成することであって、第２の点行列の点のそれぞれの位置の推定は、平行化された第１および第２の点行列から行われる、生成することとをさらに含む。

実施形態によれば、第１の点行列における第２の点行列の点の位置は、隣接する点の少なくとも１つのパッチの視差マップもしくは深度マップによって表されるか、または画像フレームの１つに基づいて修正された画像を生成するのに使用される。

実施形態によれば、方法は、視差もしくは深度マップを生成および非平行化すること、または修正された画像をフレームベースもしくはイベントベースカメラの画像平面に非平行化することをさらに含む。

実施形態によれば、相関スコアリング関数は、第１および第２の点行列の結合から生じる結合された点行列の隣接する点の少なくとも１つのパッチの滑らかさを評価する。

実施形態によれば、相関スコアリング関数は、以下の関数：結合された点行列の２Ｄ勾配のノルム、結合された点行列の局所パッチの分散、ならびに第１および第２の点行列に適用される相互相関関数の１つである。

実施形態によれば、方法は、第１の点行列の露光期間中に生じる画素イベントストリームからの画素イベントを積分することによって第３の点行列を生成することと、第３の点行列を平行化して、画像フレームの分解能で第３の点行列の点を共通の画像平面に投影することと、視差マップで規定される点変換を適用して平行化された第３の点行列の点を変換することによって、変換された点行列を生成することと、変換された点行列を非平行化して、変換された画像をフレームベースカメラの画像平面に投影することと、第１の点行列を生成するのに使用された画像フレームの１つを非平行化された変換された点行列と結合して、ぶれ除去された画像を得ることとをさらに含む。

実施形態によれば、第１の点行列は、フレームベースカメラから取得された画像フレームの１つであり、第２の点行列は、第１の点行列の露光期間中に生じる画素イベントストリームからの画素イベントを積分することによって生成される。

実施形態によれば、第２または第３の点行列は、ぶれ除去された画像を得るために画像フレームの１つに乗じられる補正点行列であり、ぶれ除去された画像は、画像フレームのフレームレートで生成されるか、または画像フレームの２つの連続する画像フレームの間の間隔で生成されて、画像フレームのフレームレートより高いフレームレートでスローモーション動画ストリームを提供する。

実施形態によれば、第１の点行列は、フレームベースカメラから取得された２つの連続する画像フレームの比を計算することによって生成され、第２の点行列は、２つの連続する画像フレームに対応する瞬間によって区切られた期間中に生じる画素イベントストリームからの画素イベントを積分することによって生成される。

実施形態によれば、相関スコアリング関数は、以下の関数：第１および第２の点行列の隣接する点の少なくとも１つのパッチに適用される相互相関関数、第１および第２の点行列の隣接する点の少なくとも１つのパッチに適用される点ごとの絶対差の和、ならびに第１および第２の点行列の隣接する点の少なくとも１つのパッチに適用される点ごとの平方差の和の１つである。

実施形態によれば、第１の点行列の点は、フレームベースカメラから取得された２つの連続する画像フレーム内の対応する画素間で行われる比較に基づいて決定される二進値を有し、第２の点行列の点は、２つの連続する画像フレームに対応する瞬間によって区切られた期間中のイベントストリームの対応する画素での少なくとも１つのイベントの存在に応じて、０または１に設定される二進値を有する。

実施形態によれば、スコアリング関数は、第１および第２の点行列の隣接する点のパッチに適用される論理演算を使用して、第１の点行列と第２の点行列との間の類似度を評価する。

実施形態はまた、フレームベースカメラ、イベントベースカメラ、ならびにフレームベースカメラおよびイベントベースカメラによって提供される信号を受信および処理するプロセッサを含むステレオカメラ装置に関し得、プロセッサは、上に定義されたような方法のステップを実装するように構成される。

実施形態はまた、コンピュータの内部メモリに直接ロード可能であり、コンピュータによって実行されると、上に定義されたような方法のステップを実装するようにコンピュータを構成するコード部分を含む、コンピュータプログラム製品に関し得る。

本開示の方法および／または装置は、以下の図面および記載を参照しながらより良く理解され得る。非限定的かつ非網羅的な記載が、以下の図面とともに提供される。図中、同様の符号は、特に指定のない限り異なる図を通して同様の部分を指し得る。

実施形態に係るステレオカメラシステムのブロック図である。実施形態に係る、フレームベースカメラへのイベントベースカメラの画素ごとの登録のための方法のステップを示すブロック図である。理想および現実の画素信号、補正信号、ならびに現実の信号および補正信号の合成の時変曲線をそれぞれ示す。理想および現実の画素信号、補正信号、ならびに現実の信号および補正信号の合成の時変曲線をそれぞれ示す。理想および現実の画素信号、補正信号、ならびに現実の信号および補正信号の合成の時変曲線をそれぞれ示す。ローリングシャッターカメラおよびグローバルシャッターカメラでの積分または露光期間を示すブロック図である。他の実施形態に係る、フレームベースカメラへのイベントベースカメラの画素ごとの登録のための方法のステップを示すブロック図である。他の実施形態に係る、フレームベースカメラへのイベントベースカメラの画素ごとの登録のための方法のステップを示すブロック図である。

図１は、フレームベースカメラＦＭＣ、イベントベースカメラＥＶＣ、およびカメラＦＭＣ、ＥＶＣによって提供される信号を受信および処理するプロセッサＰＲＣを含むステレオカメラ装置ＳＶＳを示す。フレームベースカメラＦＭＣおよびイベントベースカメラＥＶＣは、カメラＦＭＣ、ＥＶＣから異なる距離にある物体を含む同じシーンを観察する。フレームベースカメラＦＭＣは、シーンの画像フレームを取り込みかつ生成する。カメラＦＭＣによって生成された画像フレームは、グレースケールであってもよく、またはＲＧＢ画像などのカラー画像であってもよい。イベントベースカメラＥＶＣは、シーンの中で検出され、画像フレームの取得中に取り込まれた動いている物体に関連する非同期イベントのストリームを生成する。フレームベースカメラＦＭＣおよびイベントベースカメラＥＶＣの各々は、それぞれの指示方向ｚ１、ｚ２、およびそれぞれの画像平面（Ｏ１，ｘ１，ｙ１）、（Ｏ２，ｘ２，ｙ２）を有するようにカメラシステムＳＶＳに組み込まれる。点Ｏ１、Ｏ２は、カメラＦＭＣ、ＥＶＣのセンサのそれぞれの中心（または左上隅）に位置してよい。点Ｏ１、Ｏ２は、互いから距離ｄｘで離隔している。指示方向ｚ１、ｚ２は、必ずしも同じではない。同じことが、画像平面（Ｏ１，ｘ１，ｙ１）、（Ｏ２，ｘ２，ｙ２）の軸ｘ１、ｘ２および軸ｙ１、ｙ２にも当てはまる。加えて、イベントベース視覚センサは、典型的にはフレームベースセンサより低い分解能を有し、カメラＦＭＣおよびＥＶＣのそれぞれの画像平面にシーンの焦点を合わせるレンズは、それら自体の歪みを有し得る。

以下では、フレームベースカメラＦＭＣによって提供されたフレームの画素とイベントベースカメラＥＶＣによって提供された画素イベントとの間の画素ごとの登録のための異なる方法が開示される。そのような登録は、特に、カメラＦＭＣ、ＥＶＣの各々がそれ自体の視点を有し、観察されたシーンにおける物体の深度がいくらかの視差（ｐａｒａｌｌａｘ）をもたらし、これがカメラＦＭＣ、ＥＶＣのセンサにそれぞれ結像される画像物体間の視差（ｄｉｓｐａｒｉｔｙ）またはシフトをもたらすため、必要とされる。

登録の第１の重要な要素は、カメラＥＶＣからのイベントとカメラＦＭＣからのフレームとの間の正確な同期であり、カメラＦＭＣは１つの画像フレームを３３ｍｓのフレーム期間で生成し得るが、カメラＥＶＣは１秒当たり１．２・１０^９のイベント、すなわち、フレーム期間中に４・１０^７のイベントを提供し得ることが分かっている。

実施形態によれば、カメラＦＭＣ、ＥＶＣのクロックは、カメラＦＭＣ、ＥＶＣの一方から他方のカメラに送信される同期信号を使用して同期される。そのような同期信号は、典型的にはカメラＦＭＣによって提供される、フラッシュをトリガして露光時間の開始を記録するフラッシュ信号であってよい。カメラＦＭＣがグローバルシャッターセンサを有する場合、カメラＦＭＣからの各画像フレームの露光時間も、プロセッサＰＲＣに送信される。カメラＦＭＣがローリングシャッターセンサを有する場合、第１の行の露光時間、および第１の行の露光の開始時間に対する画像センサの最終行の露光の開始時間が、プロセッサＰＲＣに送信される。

登録の第２の重要な要素は、画像フレームおよびイベントの画素間のステレオマッチング距離を決定することである。実施形態によれば、マッチングは、画像フレームＩと、画像フレームＩの露光期間中に生じるイベントのセットＥとの間で決定される。フレームＩの露光期間内では、観察されたシーンにおける著しい深度変化は存在しないと想定され、その結果、画像フレームＩとイベントのセットＥとの間のマッピングは一定である。

図２は、プロセッサＰＲＣによって実装することができる、画素ごとの登録のための方法の実施形態のステップＳ０１～Ｓ０８を示す。登録は、フレームベースカメラＦＭＣによって提供されたフレームの画素とイベントベースカメラＥＶＣによって提供された画素イベントとの間で行われる。カメラＦＭＣは、瞬間ｆで画像フレームＩを生成し、ここでＩ（ｘ１，ｙ１）は、露光時間Ｔに係る、カメラＦＭＣの画像平面（Ｏ１，ｘ１，ｙ１）の画素の画素座標である（図１を参照）。カメラＥＶＣは、［ｘ２，ｙ２，ｔ０，σ］で示される画素イベントを生成し、ここで（ｘ２，ｙ２）は、カメラＥＶＣの画像平面（Ｏ２，ｘ２，ｙ２）の画素の画素座標であり、ｔ０は、イベントの時間であり、σは、輝度変化が対数輝度変化閾値ｃに対して正である場合は＋１に等しく、負の場合は－１に等しい極性である。輝度閾値ｃは、正および負の極性について異なる値を有し得るが、この可能性は、明確にするために省略されることに留意されたい。

ステップＳ０１で、画像フレームＩが平行化されて、Ｗ×Ｈ画素の所与のサイズを有する平行化された画像ＲＩを生成し、フレームＩの画素は、共通の画像平面（Ｏ，ｘ，ｙ）に投影される。平行化計算は、線形変換、軸ｘ１、ｙ１、およびｚ１の周りの回転、画像サイズＷ×Ｈを得るためのスケーリング変換、ならびに画像の歪みを補正するための他の変換を含み得る。これらの変換を規定するパラメータのいくつかを、較正によって得ることができる。

ステップＳ０１と並行して、ステップＳ０２で、点行列ＪがカメラＦＭＣの画像平面（Ｏ２，ｘ２，ｙ２）に構築される。ステップＳ０２は、瞬間ｆおよび露光期間の持続時間Ｔを使用して行われる。

潜在的にぶれた画像Ｉと対応するイベントとの間の関係は、以下の方程式：

によって表され得、式中、

であり、
Ｉ（ｘ１，ｙ１，［ｆ－Ｔ／２，ｆ＋Ｔ／２］）は、ｆ－Ｔ／２に開始し、ｆ＋Ｔ／２に終了する露光期間で、画像平面（Ｏ１，ｘ１，ｙ１）にカメラＦＭＣによって生成された画像Ｉの座標（ｘ１，ｙ１）での画素値であり、
Ｉ_ｓは、時間ｈで取られた仮想の瞬間露光期間での画像フレームであり、
ｈは、時間間隔［ｆ－Ｔ／２，ｆ＋Ｔ／２］の中にあるように制約されない任意の時間であり、
ｅｖ（ｘ２，ｙ２，ｓ）は、時間ｓの連続関数であり、カメラＥＶＣの画像平面（Ｏ２，ｘ２，ｙ２）の画素（ｘ，ｙ）から受信され、時間ｔ０にトリガされ、対数輝度閾値ｃを有し、輝度変化が正の場合は極性σ＝＋１であり、負の場合はσ＝－１である、イベント［ｘ２，ｙ２，ｔ０，σ］が存在する場合に受信されるイベントストリームｅｖ（ｘ２，ｙ２，ｓ）＝σ δ_ｔ０（ｘ２，ｙ２，ｓ）を表し、δ_ｔ０は、画素座標（ｘ２，ｙ２）および時間ｓの関数として変化するインパルスまたはディラック関数であり、ｅｖ（ｘ２，ｙ２，ｔ０）＝σである時間ｓ＝ｔ０を除いてゼロに等しく、
ｍ（ｘ１，ｙ１，ｐ）＝（ｘ２，ｙ２）は、フレームベースカメラＦＭＣによって提供されたフレーム内の画像平面（Ｏ１，ｘ１，ｙ１）の座標（ｘ１，ｙ１）の各画素を、イベントベースカメラＥＶＣの画像平面（Ｏ２，ｘ２，ｙ２）にマッピングする変換であり、
ｐは、１つの画素について規定され、決定されるｐの１つの値について達成されるようなマッピングを行うのに必要なパラメータである。

輝度閾値ｃは、正および負の極性について異なる値を有し得るが、この可能性は、明確にするために省略される。

マッピング関数ｍは、理論上、フレームベースカメラＦＭＣの座標平面（Ｏ１，ｘ１，ｙ１）からイベントベースカメラＥＶＣの座標平面（Ｏ２，ｘ２，ｙ２）への任意のマッピングであり得る。しかしながら、広く使用されているピンホールカメラモデル（［１０］の６章を参照）および薄レンズ仮定（［１１］の３章を参照）の下で制約される。実際には、マッピング関数ｍは、（［１２］のようなモデルを使用して）レンズ歪みを考慮および除去する。［１３］に開示されたアルゴリズムによれば、画像の平行化は、カメラの点が他のカメラに同じ垂直座標ｙで見出され得ることを確実にすることができる。平行化は、ホモグラフィＲ_ＦおよびＲ_Ｅを、それぞれカメラＦＭＣおよびカメラＥＶＣからの各カメラ画像に適用する。変換ｍを、以下の方程式：
ｍ（ｘ，ｙ，ｐ）＝ｄｉｓｔ_Ｅ（Ｒ_Ｅ ^－１（Ｒ_Ｆｄｉｓｔ_Ｆ ^－１（［ｘ，ｙ］^Ｔ）＋（［ｐ，０］^Ｔ）））
によって、座標（ｘ，ｙ）の画素について規定することができ、式中、ｄｉｓｔ_Ｅおよびｄｉｓｔ_Ｆ ^－１はそれぞれ、完全なピンホール投影モデルから逸脱するカメラレンズ歪みをモデル化する、カメラＥＶＣの順歪み関数およびカメラＦＭＣの逆歪み関数であり、［ｘ，ｙ］^Ｔは、ベクトル［ｘ，ｙ］の転置を表し、ｐは、座標をイベントに合わせるのに必要なパラメータである。文献では、ｐ＝ｄ（ｘ，ｙ）は、「視差マップ」と呼ばれ、平行化されたカメラシステムにおける水平シフトに対応する。そのような関数を、典型的にはカメラの較正手順から得ることができる。

方程式（１）を、以下のように書くことができる：

ｈは任意の時間であるため、方程式（３）および（４）は、画像Ｉおよび点行列Ｊを結合することによって、時間ｆで取られた露光期間Ｔでの画像Ｉ（ｘ１，ｙ１，［ｆ－Ｔ／２，ｆ＋Ｔ／２］）から任意の時間ｈにおける瞬間露光期間での画像Ｉ_ｓ（ｘ１，ｙ１，ｈ）を生成するのに使用され得る。

方程式（３）および（４）により、各ぶれたフレームＩについて単一のぶれ除去された画像Ｉｓを提供して、フレームベースカメラからの初期の動画ストリームと同じフレームレートを有するぶれ除去された動画ストリームを提供することが可能である。実施形態によれば、方程式（３）および（４）は、ｈの値を変化させることによって複数回適用されて、連続する画像フレームＩの各対の間の複数の画像を得て、画像フレームＩのものより高いフレームレートでスローモーション動画ストリームを提供する。

画像Ｊは、ステップＳ０２で、画像平面（Ｏ１，ｘ１，ｙ１）において上記方程式（４）を使用して計算される。

ステップＳ０３で、点行列Ｊは平行化されて、Ｗ×Ｈ点の所与のサイズを有し、座標（ｘ，ｙ）の点が共通の画像平面（Ｏ１，ｘ，ｙ）内に特定される、平行化された点行列ＲＪを提供する。ステップＳ０１およびステップＳ０３での画像の平行化は、平行化された画像ＲＩおよび平行化された点行列ＲＪが同じ焦点距離を有するように見えるように行われる。

画像Ｉは、フレームベースカメラＦＭＣによって操作される露光時間中に観察されたシーンの中の動いている物体のため、ぶれている場合がある。ぶれを、方程式（３）を使用して、フレームベース露光期間Ｔ中にイベント［ｘ２，ｙ２，ｔ０，σ］のストリームによって記録された輝度変化を積分することによって補正することができる。

点行列ＲＪの点ＲＪ（ｘ，ｙ，ｈ，ｐ）は、平行化された画像ＲＩに適用されるぶれ除去補正信号を表す。パラメータｐが正しい場合、画像ＲＩ（ｘ，ｙ）内の点ＲＪ（ｘ，ｙ，ｈ，ｐ）の位置は適切に評価されて、ぶれ除去された画像Ｉｓを生成することになり、ぶれ除去された画像は、非エッジ画素の滑らかな強度勾配とともに鮮鋭なエッジを有することになる。滑らかさは、すぐ近くにある色またはグレーレベルの類似度の尺度となる。

しかしながら、フレームベースカメラＦＭＣの露光期間の持続時間Ｔが十分に短い場合、画像フレームＩはぶれず、点行列１／ＲＪ（ｘ，ｙ，ｈ，ｐ）の鮮鋭なエッジと同様の鮮鋭なエッジを有することがある。空間的整合が、画像Ｉ（ｘ，ｙ）と点行列ＲＪ（ｘ，ｙ，ｈ，ｐ）との間で正しい場合、不整合により二重エッジまたはゴーストエッジを有するのと対照的に、鮮鋭な構造は一致することになり、画像Ｉｓの全体の滑らかさは保存されることになる。Ｉｓの滑らかさの測定は、画像Ｉの画素とイベントベースカメラＥＶＣからのイベントとの間の空間的整合を検証することができることがわかる。

図３Ａ、３Ｂ、３Ｃは、実施形態に係る、空間的整合の目的を説明するための、画像ＩおよびＩｓ内の画素の線の値の曲線Ｃ１～Ｃ５を示す。図３Ａでは、曲線Ｃ１、Ｃ２は、得る画像Ｉｓおよびぶれた画像Ｉ内の画素の対応する線をそれぞれ示す。画素の線は、画像Ｉｓ（Ｃ１）において画像Ｉ（Ｃ２）より鮮鋭であるように見える。図３Ｂは、画像Ｉの鮮鋭度を改善し、画像Ｉｓを得るように規定される点行列１／Ｊの点の対応する線を表す曲線Ｃ３を示す。曲線Ｃ３は、図３Ｂの例では、画像Ｉにおけるぶれた信号Ｃ２による、画像Ｉｓにおける鮮鋭な信号Ｃ１の各画素での除算の結果に対応する。図３Ｃは、それぞれ画像Ｉと画像Ｉｓとの間の空間的整合が正しい場合および正しくない場合の、推定される画像Ｉｓ内の画素の対応する線の曲線Ｃ４、Ｃ５を示す。曲線Ｃ５は、空間的な不整合またはずれが二重／ゴーストエッジをもたらし、したがって再構成された信号の滑らかさを減少させることを示す。したがって、目的は、隣接する画素の少なくとも１つのパッチの各画素についてＲＩ（ｘ，ｙ）／ＲＪ（ｘ，ｙ，ｈ，ｐ）の滑らかさを最大化することによってパラメータｐを推定することである。

ステップＳ０４で、滑らかさは、以下の関数Ｆに適用される選択されたスコアリング関数Ｓ（ｘ，ｙ，ｐ）を使用して評価される：
Ｆ（ｘ，ｙ，ｐ）＝ＲＩ（ｘ，ｙ）／ＲＪ（ｘ，ｙ，ｈ，ｐ）

ステップＳ０５で、パラメータｐは、隣接する画素の少なくとも１つのパッチについて所与の視差範囲内でスコアリング関数Ｓを最大化または最小化することによって推定される。求められる推定パラメータｐは、画素（ｘ，ｙ）ごとに変化するか、または同じ変換値を有する隣接する画素の少なくとも１つのパッチについて計算されるかのいずれかであり得る。

以下のようないくつかのスコアリング関数を、滑らかさを最大化するために使用することができる：
－最小化される、Ｆ（ｘ，ｙ，ｐ）の２Ｄ勾配のＬ１またはＬ２ノルム：

－最大化される、Ｆ（ｘ，ｙ，ｐ）の局所パッチの分散、
－信号間の最良の類似度を見出すように最大化される、画像ＲＩ（ｘ，ｙ）と点行列１／ＲＪ（ｘ，ｙ，ｐ）との間の相互相関関数。

関数Ｆ、分散、または相互相関関数は、対数関数によってあらかじめ変換され得る。また、スコアリング関数Ｓは、例えば、変換写像の勾配のＬ１ノルムを重み付けすることによって、変換場を滑らかに変化させる正規化項を有し得る。

実施形態によれば、変換場の滑らかさは、セミグローバルマッチング（Ｓｅｍｉ－ＧｌｏｂａｌＭａｔｃｈｉｎｇ）アルゴリズム［１］のコスト集約法を使用し、相互情報量基準を、関数Ｆ（ｘ，ｙ，ｐ）の２Ｄ勾配のＬ１もしくはＬ２ノルム、または局所パッチの分散、または画像ＲＩ（ｘ，ｙ）および点行列１／ＲＪ（ｘ，ｙ，ｈ，ｐ）のパッチ間の相互相関測定で置き換えるすることによって強化され得る。

別の実施形態によれば、例えば対数関数などの別の関数が、画像ＲＩ（ｘ，ｙ）および点行列ＲＪ（ｘ，ｙ，ｐ）に適用され、その結果、それらの関係はｌｏｇ（Ｉ）－ｌｏｇ（Ｊ）＝ｌｏｇ（Ｉ_ｓ）になる。対数関数の使用は、１つの除算を取り除くことによって、最良の変換ｍ（ｘ，ｙ，ｐ）を求める時に、滑らかさを最大化するための計算を軽くし得る。

滑らかさを最大化するための上で開示された方法は、反復的に適用され得、そこでは、パラメータｐの近似値がまず使用され、前の反復に適用されたコスト関数の結果を使用して反復的に精細化される。

別の実施形態によれば、パラメータｐは、正解の多くの例またはいくつかの鮮鋭度キューから学習される関数を使用して決定される。

ステップＳ０１、Ｓ０３は、ステレオフレーム平行化機構を使用して画像Ｉおよび点行列Ｊの両方を中間分解能Ｗ×Ｈに導き、これは、好ましくは、パラメータｐまたは変換写像ｍ（ｘ，ｙ，ｐ）の計算においてより少ない計算を有する（より小さい）イベントベースビジュアルＥＶＳの分解能である。さらに小さい分解能が、より高速の処理のために選択され得る。

平行化ステップＳ０１およびＳ０３は任意選択であることに注目する。画像Ｉおよび点行列Ｊが平行化される場合、変換写像ｍ（ｘ，ｙ，ｐ）をｍ（ｘ，ｙ，ｄ（ｘ，ｙ））＝ｄｉｓｔ_Ｅ（Ｒ_Ｅ ^－１（Ｒ_Ｆｄｉｓｔ_Ｆ ^－１（［ｘ，ｙ］^Ｔ）＋（［ｄ（ｘ，ｙ），０］^Ｔ）））のように書くことができ、パラメータｐ＝ｄ（ｘ，ｙ）は、ｘ軸に沿った視差またはシフトを表す。

画像Ｉおよび点行列Ｊが平行化されない場合、視差は、もはや（ｘ座標に沿って）水平ではなく、変換ｍ（ｘ，ｙ，ｐ）をｍ（ｘ，ｙ，ｄ_ｘ（ｘ，ｙ），ｄ_ｙ（ｘ，ｙ））＝ｄｉｓｔ_Ｅ（ｄｉｓｔ_Ｆ ^－１（［ｘ，ｙ］^Ｔ）＋（［ｄ_ｘ（ｘ，ｙ），ｄ_ｙ（ｘ，ｙ）］^Ｔ）））のように書くことができ、式中、ｄ_ｘ（ｘ，ｙ）およびｄ_ｙ（ｘ，ｙ）は、ｘ方向およびｙ方向の座標（ｘ，ｙ）の画素の視差の成分である。各画素位置での視差値のセットは、視差マップを形成する。

実施形態によれば、画素で結像された物体の深度は、センサ上でのその視差に反比例するため、推定された視差マップまたはパラメータｐは、カメラＥＶＣによって提供された一部またはすべての画素イベントについて深度マップを決定するのに使用される。座標（ｘ，ｙ）の画素の深度を、以下の方程式：
ｄ（ｘ，ｙ）＝ｄｘ・ｆｌ／ｚ（５）
を使用して計算することができ、式中、ｄｘは、カメラＦＭＣ、ＥＶＣの平行化された画像平面の原点Ｏ１、Ｏ２間の距離［Ｏ１，Ｏ２］であり、ｆｌは、平行化後のカメラの焦点距離であり、ｚは、座標（ｘ，ｙ）の画素によって撮像され物体の深度である。このようにして得られた視差または深度マップは、座標平面（Ｏ１，ｘ，ｙ）上に規定される。視差または深度マップは、非平行化されて座標平面（Ｏ１，ｘ１，ｙ１）または（Ｏ２，ｘ２，ｙ２）上に規定され得る。深度マップは、カメラＦＭＣによって提供されたフレーム内の動いている物体の深度を与える。

実施形態によれば、ステップＳ０６～Ｓ０８が、ステップＳ０５の後に行われる。ステップＳ０６で、点行列ＲＪは、ステップＳ０５で推定されたパラメータｐを使用して、点行列ＲＪの各点ＲＪ（ｘ，ｙ，ｈ，ｐ）に以下の方程式：ＲＪ’（ｘ，ｙ，ｈ）＝ＲＪ（ｍ（ｘ，ｙ，ｐ），ｈ）を適用することによって補正される。ここで、変換ｍ（ｘ，ｙ，ｐ）が必ずしも整数を提供しないことに注目すべきである。したがって、ステップＳ０６は、整数座標を有する画素値を得るために、ｍ（ｘ，ｙ，ｐ）によって変換された画素間の補間計算をもたらし得る。

ステップＳ０７で、ステップＳ０６で得られた点行列ＲＪ’は、オーバーサンプリングされてフレームベースカメラＦＭＣの分解能に戻り、画像平面（Ｏ１，ｘ１，ｙ１）上の非平行化された点行列Ｊ’を得る。したがって、点行列Ｊ’は、カメラＦＭＣの画像平面上に規定される。ステップＳ０８で、ぶれ除去された画像Ｉｓが、方程式（３）を画像Ｉのすべての画素および点行列Ｊ’の点に適用することによって計算され、Ｊ’は、ぶれ除去信号を表す。したがって、ぶれ除去された画像Ｉｓの各画素は、以下のように計算される：
Ｉｓ（ｘ１，ｙ１，ｈ，ｐ）＝Ｉ（ｘ１，ｙ１）／Ｊ’（ｘ１，ｙ１，ｈ，ｐ）

ローリングシャッターフレームベースカメラの場合、点行列Ｊは、ステップＳ０２で以下の方程式：

によって計算され、式中、Ｅｓ（ｘ１，ｙ１）およびＥｅ（ｘ１，ｙ１）は、フレームＩの座標（ｘ１，ｙ１）の画素の露光期間の開始および終了をそれぞれ与える関数である。関数Ｅｓは、フレームＩの第１の行または列での露光期間の開始の時間ｔｓ、およびフレームＩの２つの連続する行または列の露光期間の開始の間のずれに対応するローリングシャッタースキューＲｓを使用して計算され得る（図４）。

図４は、垂直ローリングシャッターセンサの露光タイミングを示す。ローリングシャッターセンサの画素の各行Ｒ０，Ｒ１，…Ｒｎは、図４に長方形ＲＥで示される、同じ持続時間Ｔｒの露光期間中ずっと露光される。各行Ｒ０～Ｒｎの露光期間ＲＥの開始は、前の行と比較してローリングシャッタースキューＲｓだけずれる。対照的に、グローバルシャッターセンサの画素行の露光期間は、図４に単一の中央の長方形ＧＥで示されるように、すべて同一である。グローバルシャッターセンサの露光期間の持続時間Ｔは、行露光期間の持続時間Ｔｒと同じかまたは異なっていてよい。

センサが、上から下に開始する垂直ローリングシャッターを有し、ｙ座標が０（センサの頂部）から高さ－１（センサの底部または最終行）に変化する場合、関数Ｅｓ（ｘ，ｙ）を、Ｅｓ（ｘ，ｙ）＝ｔｓ＋ｙ・Ｒｓのように計算することができる。関数Ｅｓ（ｘ，ｙ）は、同じ行にあるすべての画素で同じ値を有する。関数Ｅｅ（ｘ，ｙ）を、Ｅｅ（ｘ，ｙ）＝Ｅｓ（ｘ，ｙ）＋Ｔｒのように計算することができ、式中、Ｔｒは、画像Ｉの１つの行の露光期間の持続時間である。あるいは、関数Ｅｅを、Ｅｅ（ｘ，ｙ）＝ｔｅ＋ｙ・Ｒｓのように計算することもでき、ｔｅは、フレームＩの第１の行での露光期間の終了の時間である。

点行列Ｊは、露光期間Ｔ中に生じる画素イベントに対応する点についてのみ規定されることが注目され得る。他の点は規定されず、任意の値、例えば０または最も近い規定点の値に設定され得る。

図２の方法は、フレームの露光時間Ｔが、露光時間内に十分なイベント（例えば、３つ以上のイベント）が記録されるのに十分に長い場合に効率的であるように思われる。実際には、少数のイベントしか記録されない場合、フレームベースカメラＦＭＣによって記録された画像Ｉとマッチングする十分なイベントが存在しないことがある。この場合、またはより一般的な場合、フレーム露光期間Ｔの外で生じるイベントを登録することが望ましく、イベントによって記録された輝度変化の積分は、以下の方程式：
Ｉ（ｘ１，ｙ１，ｆ＋Ｆ）＝Ｉ（ｘ１，ｙ１，ｆ）ｅ^{ｃ・ＩＮＴ（ｘ１，ｙ１，ｆ，ｆ＋Ｆ，ｐ）} （７）
または

に示されるように、２つの連続する画像フレームＩ（ｘ１，ｙ１，ｆ）およびＩ（ｘ１，ｙ１，ｆ＋Ｆ）の間の差として近似され得、式中、Ｉ（ｘ１，ｙ１，ｆ）は、時間ｆで生成された画像フレームＩ（ｆ）の画素であり、Ｉ（ｘ１，ｙ１，ｆ＋Ｆ）は、連続する時間ｆ＋ＦでカメラＦＭＣによって生成された別の画像フレームＩ（ｆ＋Ｆ）の画素であり、Ｆは、フレーム期間の持続時間である。方程式（７）または（８）は再び、固有の未知の変数が画素パラメータｐである、フレームとイベントとの間の関係を確立する。

図５は、プロセッサＰＲＣによって実装することができる、フレームベースカメラＦＭＣによって提供されたフレームの画素とイベントベースカメラＥＶＣによって提供された画素イベントとの間の画素ごとの登録のための方法の、別の実施形態のステップＳ１１～Ｓ１６を示す。ステップＳ１１では、フレームベースカメラＦＭＣによって提供された２つの連続する画像フレームＩ（ｆ）およびＩ（ｆ＋Ｆ）が処理されて、以下のような各時間ｆについての点行列Ｒ：

を計算し、式中、（ｘ１，ｙ１）は、カメラＦＭＣの画像平面（Ｏ１，ｘ１，ｙ１）の点の座標である。次いで、ステップＳ１２で、点行列Ｒは平行化されて、Ｗ×Ｈ点の所与のサイズを有し、点が共通の画像平面（Ｏ１，ｘ，ｙ）内に特定される、平行化された点行列ＲＲを提供する。

ステップＳ１３およびＳ１４は、ステップＳ１１およびＳ１２と並行して行われ得る。ステップＳ１３で、点行列Ｋが、カメラＥＶＣによって生成されたイベントストリーム［ｘ２，ｙ２，ｔ０，σ］から、カメラＥＶＣの画像平面（Ｏ２，ｘ２，ｙ２）に構築される。ステップＳ１３は、瞬間ｆおよびカメラＦＭＣによって提供されるフレーム期間Ｆを使用して行われ、点行列Ｋは、以下の方程式：
Ｋ（ｘ１，ｙ１，ｐ）＝ｅ^{ｃ・ＩＮＴ（ｘ１，ｙ１，ｆ，ｆ＋Ｆ，ｐ）} （１０）
を使用して計算され、ＩＮＴ（ｘ１，ｙ１，ｆ，ｆ＋Ｆ，ｐ）は、方程式（２）によって規定される。点行列Ｋの点は、フレーム期間Ｆ中に生じる、カメラＥＶＣによって提供されたイベントストリームからの画素イベントによって記録された輝度比の変化を表す。次いで、ステップＳ１４で、点行列Ｋは平行化されて、Ｗ×Ｈ点の所与のサイズを有し、点が共通の画像平面（Ｏ１，ｘ，ｙ）内に特定される、平行化された点行列ＲＫを提供する。

ステップＳ１５で、画像ＲＲと点行列ＲＫとを比較するスコアリング関数Ｓ（ＲＲ（ｘ，ｙ），ＲＫ（ｘ，ｙ，ｐ））が評価される。スコアリング関数Ｓは、点行列ＲＲおよびＲＫの隣接する点のパッチ間の相関を、それらの値の点ごとの積を合計するか、またはそれらの点ごとの絶対差もしくは平方差を合計することによって、評価することができる。

別の例によれば、スコアリング関数を、以下の関数Ｆ’：
Ｆ’（ｘ，ｙ，ｐ）＝ＲＲ（ｘ，ｙ）／ＲＫ（ｘ，ｙ，ｐ）
に適用することができ、式中、パラメータｐの値は、隣接する点の少なくとも１つのパッチの各点について、Ｆ’（ｘ，ｙ，ｐ）が１にできるだけ近くなるように推定される。

ステップＳ１６で、パラメータｐが、平行化された点行列ＲＲおよびＲＫの隣接する点の１つ以上のパッチの各点について推定される。この操作は、点行列ＲＲおよびＲＫの点の間の相関を評価する場合、スコアリング関数Ｓを最大化することによって行われ得る。点の間の相関は、両方の点行列の隣接する点のパッチ間の絶対差または平方差の和を計算することによって評価され得る。この場合、計算された差の和が小さい時に相関が高い。

図２の方法のように、パラメータｐは、例えばカメラＦＭＣによって提供されたフレーム内に存在する動いている物体の１つ以上の画素パッチについて、またはすべての画像画素について、視差または深度マップを計算するのに使用され得る。次いで、視差または深度マップは、イベントベースカメラＥＶＣの画像平面（Ｏ２，ｘ２，ｙ２）の寸法を有する視差または深度マップに非平行化され得る。非平行化操作はまた、フレームベースカメラＦＭＣの画像平面（Ｏ１，ｘ１，ｙ１）の寸法に行われてもよい。

フレームカメラＦＭＣがローリングシャッターセンサを使用する場合、方程式（１０）は、以下：
Ｋ（ｘ１，ｙ１，ｐ）＝ｅ^{ｃ・ＩＮＴ（ｘ１，ｙ１，Ｅｅ（ｘ１，ｙ１），ＥｓＦ（ｘ１，ｙ１），ｐ）} （１１）
になり、式中、Ｅｅ（ｘ１，ｙ１）およびＥｓＦ（ｘ１，ｙ１）は、第１のフレーム内の画素（ｘ１，ｙ１）の露光期間の終了、および第２のフレーム内の画素（ｘ１，ｙ１）の露光期間の開始をそれぞれ与える関数である。

図６は、プロセッサＰＲＣによって実装することができる、フレームベースカメラＦＭＣによって提供されたフレームの画素とイベントベースカメラＥＶＣによって提供された画素イベントとの間の画素ごとの登録のための方法の、別の実施形態のステップＳ２１～Ｓ２６を示す。図６の方法は、図２および図５の方法に対して非常に低い計算の複雑さを有する利点を示す。ステップＳ２１では、フレームベースカメラＦＭＣによって提供された２つの連続する画像フレームＩ（ｘ１，ｙ１，ｆ）およびＩ（ｘ１，ｙ１，ｆ＋Ｆ）が処理されて、以下のように規定される二値点行列ＢＦ：

を計算し、式中、条件Ｃ１は、以下のように規定される：
Ｃ１：Ｉ（ｘ１，ｙ１，ｆ＋Ｆ）＞ｅ^ｃ・Ｉ（ｘ１，ｙ１，ｆ）またはＩ（ｘ１，ｙ１，ｆ＋Ｆ）＜ｅ^－ｃ・Ｉ（ｘ１，ｙ１，ｆ）

したがって、画像Ｉ（ｆ）およびＩ（ｆ＋ｆ）内の同じ座標（ｘ１，ｙ１）の対応する画素の比較時に、対数領域で輝度変化が生じた場合、点行列ＢＦの座標（ｘ１，ｙ１）の点の値は１に設定され、そうでない場合は０に設定される。二値点行列ＢＦは、カメラＦＭＣの画像平面（Ｏ１，ｘ１，ｙ１）で計算される。次いで、ステップＳ２２で、点行列ＢＦは平行化されて、Ｗ×Ｈ点の所与のサイズを有し、点が共通の画像平面（Ｏ，ｘ，ｙ）内に特定される、平行化された点行列ＲＢＦを提供する。原点Ｏは、点Ｏ１と一致するように選択され得る。

ステップＳ２３およびＳ２４は、ステップＳ２１およびＳ２２と並行して行われ得る。ステップＳ２３で、二値点行列ＢＥが、カメラＥＶＣによって生成されたイベントストリーム［ｘ２，ｙ２，ｔ０，σ］から、カメラＥＶＣの画像平面（Ｏ２，ｘ２，ｙ２）に構築される。ステップＳ２３は、瞬間ｆおよびカメラＦＭＣによって提供されるフレーム期間Ｆを使用して行われ、点行列ＢＥは、以下の方程式：

を使用して計算され、式中、条件Ｃ２は、画素（ｘ２，ｙ２）のイベントが時間ｆと時間ｆ＋Ｆとの間でカメラＥＶＣから受信される場合に真であり、パラメータｐは、ｍ（ｘ１，ｙ１，ｐ）＝（ｘ２，ｙ２）であるように決定される。したがって、時間ｆと時間ｆ＋Ｆとの間の輝度変化により、少なくとも１つのイベントがカメラＥＶＣによって生成された場合、点行列ＢＥの座標（ｘ２，ｙ２）の点の値は１に設定され、そうでない場合は０に設定される。

次いで、ステップＳ２４で、点行列ＢＥは平行化されて、Ｗ×Ｈ点の所与のサイズを有し、点が共通の画像平面（Ｏ，ｘ，ｙ）内に特定される、平行化された点行列ＲＢＥを提供する。実施形態によれば、平行化は、得られた平行化された点行列ＲＢＥの点が０または１のいずれかに留まるような方法で行われる。

ステップＳ２５で、点行列ＲＢＦと点行列ＲＢＥとの間の相関が、選択されたスコアリング関数Ｓ（ＲＢＦ（ｘ，ｙ），ＲＢＥ（ｘ，ｙ，ｐ））を使用して評価される。

一例によれば、スコアリング関数Ｓは、以下の関数Ｆ１：
Ｆ１（ｘ，ｙ，ｐ）＝ＲＢＦ（ｘ，ｙ）－ＲＢＥ（ｘ，ｙ，ｐ）
に適用され、各点の値ＲＢＦ（ｘ，ｙ）またはＲＢＥ（ｘ，ｙ，ｐ）は、０または１のいずれかに等しい。その場合、スコアリング関数Ｓは、隣接する点の１つ以上のパッチにわたるＦ１の絶対値または平方値の和であり得る。したがって、スコアリング関数Ｓ（Ｆ１）は、点行列ＲＢＦと点行列ＲＢＥとの間の非相関を推定し、隣接する点の少なくとも１つのパッチについて最小化されるべきである。

別の例によれば、スコアリング関数Ｓは、以下の関数Ｆ２：
Ｆ２（ｘ，ｙ，ｐ）＝ＲＢＦ（ｘ，ｙ）（ＡＮＤ）ＲＢＥ（ｘ，ｙ，ｐ）
に適用される。スコアリング関数Ｓは、点の１つ以上のパッチにわたる、１に等しいＦ２の値の数に等しくなり得る。この場合、スコアリング関数Ｓ（Ｆ２）は、点行列ＲＢＦと点行列ＲＢＥとの間の相関を推定し、隣接する点の少なくとも１つのパッチについて最大化されるべきである。

ステップＳ２６で、パラメータｐが、平行化された点行列ＲＢＦおよびＲＢＥの隣接する点の１つ以上のパッチにわたって推定される。この操作は、スコアリング関数Ｓ（Ｆ１）を最小化するか、またはスコアリング関数Ｓ（Ｆ２）を最大化することによって行われ得る。

図２の方法のように、パラメータｐは、例えばカメラＦＭＣによって提供されたフレーム内に存在する動いている物体の１つ以上の画素パッチについて、またはすべての画像画素について、視差マップｄ（ｘ，ｙ）または深度マップを計算するのに使用され得る。次いで、視差または深度マップは、イベントベースカメラＥＶＣの画像平面（Ｏ２，ｘ２，ｙ２）またはカメラＦＭＣの画像フレームの寸法に対する画像平面（Ｏ１，ｘ１，ｙ１）における視差または深度マップに非平行化され得る。

ステップＳ０２、Ｓ０３、およびＳ０５～Ｓ０８は、ステップＳ１６またはＳ２６の後に行われて、画像フレームＩのぶれを除去し得る。

図５および図６の方法は、対応するフレームの露光期間中に生じるイベントを考慮しないが、２つのフレーム間で生じるすべてのイベントを考慮することに注目すべきである。

本明細書に記載された説明は、様々な実施形態の構造の一般的な理解を提供することを意図する。これらの説明は、そこに記載された構造または方法を利用する装置、プロセッサ、およびシステムの要素および特徴のすべての完全な記載として機能することを意図していない。多くの他の実施形態またはそれらの組み合わせが、開示された実施形態と組み合わせて本開示を検討すると当業者には明らかになり得る。他の実施形態を利用し、本開示から導き出すことができ、その結果、本開示の範囲を逸脱することなく構造的および論理的な置き換えおよび変更を行うことができる。

これに関して、図２、図５、および図６に開示された方法は、完全な点行列ＲＪ、ＲＫ、またはＲＢＥについてすべての点の位置（ｘ，ｙ）を計算することなく行われ得る。加えて、ステップＳ０６で点行列ＲＪ’の点を計算するために（図２）、または深度マップを計算するために、すべての画素位置（ｘ，ｙ）および視差マップを保存する必要はない。

さらに、本開示および説明は、限定的ではなく例示的なものと見なされるべきであり、添付の特許請求の範囲は、記載の真の趣旨および範囲内にあるすべてのそのような修正、強化、および他の実施形態を含めることを意図する。したがって、以下の特許請求の範囲は、特許請求の範囲およびそれらの均等物の最も広い許容される解釈によって決定されるべきであり、前述の記載によって制限または限定されないものとする。

引用文献
[1] H. Hirschmuller, "Stereo processing by semiglobal matching and mutual information". IEEE Transactions on Pattern Analysis and Machine Intelligence, 30(2): 328-341 (2007)
[2] G. Van Meerbergen, M. Vergauwen, M. Pollefeys et al. "A Hierarchical Symmetric Stereo Algorithm Using Dynamic Programming", International Journal of Computer Vision, 47, 275-285 (2002).
[3] Jian Sun, Nan-Ning Zheng and Heung-Yeung Shum, "Stereo matching using belief propagation," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 25, no. 7, pp. 787-800, July 2003
[4] Y. Boykov, O. Veksler and R. Zabih, "Fast approximate energy minimization via graph cuts," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 23, no. 11, pp. 1222-1239, Nov. 2001
[5] O. Saurer, K. Koser, J. Bouguet and M. Pollefeys, "Rolling Shutter Stereo," IEEE International Conference on Computer Vision, Sydney, NSW, pp. 465-472 (2013)
[6] P. Rogister, R. Benosman, S. Ieng, P. Lichtsteiner and T. Delbruck, "Asynchronous Event-Based Binocular Stereo Matching," IEEE Transactions on Neural Networks and Learning Systems, vol. 23, no. 2, pp. 347-353, Feb. 2012
[7] L. Pan, R. Hartley, C. Scheerlinck, M. Liu, X. Yu and Y. Dai, "High Frame Rate Video Reconstruction based on an Event Camera," IEEE Transactions on Pattern Analysis and Machine Intelligence (2020)
[8] G. Gallego, M. Gehrig and D. Scaramuzza, "Focus Is All You Need: Loss Functions for Event-Based Vision," IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Long Beach, CA, USA, 2019, pp. 12272-12281 (2019)
[9] D. Perrone, P. Favaro, “A Logarithmic Image Prior for Blind Deconvolution”, Int J Comput Vis 117, 159-172 (2016)
[10] R. Hartley and A. Zisserman, "Multiple View Geometry in Computer Vision" (2nd. ed.), 2003, Cambridge University Press, USA.
[11] Y. Ma, S. Soatto, J. Koseck, and S. Shankar Sastry, "An Invitation to 3-D Vision: From Images to Geometric Models", 2010, Springer Publishing Co., Inc.
[12] J. Weng, P. Cohen, and M. Herniou, "Camera calibration with distortion models and accuracy evaluation", IEEE Transactions on Pattern Analysis and Machine Intelligence, 14(10):965-980, Oct. 1992
[13] M. Pollefeys, R. Koch, L. Van Gool, "A simple and efficient rectification method for general motion", Proc. International Conference on Computer Vision, 496-501, (1999), Retrieved 2011-01-19
[14] R. Benosman, S. Sio-Hoi Ieng, P. Rogister and C. Posch, "Asynchronous Event-Based Hebbian Epipolar Geometry", in IEEE Transactions on Neural Networks, vol. 22, no. 11, pp. 1723-1734, Nov. 2011

Claims

イベントベースカメラ（ＥＶＣ）によって画素イベントストリーム（［ｘ２，ｙ２，ｔ０，σ］）に提供された画素を、フレームベースカメラ（ＦＭＣ）によって提供された画像内の画素に登録するための方法であって、前記方法は、
フレームベースカメラから画像フレーム（Ｉ）を取得することであって、各画像フレームは、露光期間（Ｔ）を使用して生成される、取得することと、
前記画像フレームの１つ以上から第１の点行列（Ｉ，Ｒ，ＢＦ）を生成することであって、前記第１の点行列は、前記画像フレームの取得期間（Ｔ，Ｆ）と関連付けられる、生成することと、
前記取得期間中に生成された画素イベントストリームを取得することと、
前記第１の点行列の前記取得期間中に生じる前記画素イベントストリームの画素イベントから第２の点行列（Ｊ，Ｋ，ＢＥ）を生成することと、
前記第１および第２の点行列の点の少なくとも一部に適用される相関スコアリング関数（Ｓ）を計算することと、
前記相関スコアリング関数を最大化することによって、前記第２の点行列に関連する前記第１の点行列の前記点の深度により、前記第１の点行列における前記第２の点行列の点のそれぞれの位置（ｘ，ｙ）を推定することと
を含む、方法。
第１の画像分解能で前記第１の点行列を共通の画像平面に投影することによって得られる、平行化された第１の点行列を生成することと、
前記第１の画像分解能で前記第２の点行列を前記共通の画像平面に投影することによって得られる、平行化された第２の点行列を生成することであって、前記第２の点行列の点のそれぞれの位置の前記推定は、前記平行化された第１および第２の点行列から行われる、生成することと
をさらに含む、請求項１に記載の方法。
前記第１の点行列における前記第２の点行列の点の前記位置は、隣接する点の少なくとも１つのパッチの視差マップもしくは深度マップによって表されるか、または前記画像フレーム（Ｉ）の１つに基づいて修正された画像（Ｉｓ）を生成するのに使用される、請求項１または請求項２に記載の方法。
前記視差もしくは深度マップ（ＲＤ）を生成および非平行化すること、または前記修正された画像（Ｉｓ）を前記フレームベースもしくはイベントベースカメラ（ＦＭＣ、ＥＶＣ）の画像平面に非平行化することをさらに含む、請求項３に記載の方法。
前記相関スコアリング関数（Ｓ）は、前記第１および第２の点行列（ＲＩ、ＲＪ）の結合から生じる結合された点行列の隣接する点の少なくとも１つのパッチの滑らかさを評価する、請求項１～４の１項に記載の方法。
前記相関スコアリング関数（Ｓ）は、以下の関数：
前記結合された点行列の２Ｄ勾配のノルム、
前記結合された点行列の局所パッチの分散、ならびに
前記第１および第２の点行列に適用される相互相関関数
の１つである、請求項５に記載の方法。
前記第１の点行列の前記露光期間（Ｔ）中に生じる前記画素イベントストリームからの画素イベント（［ｘ２，ｙ２，ｔ０，σ］）を積分することによって第３の点行列（Ｊ）を生成することと、
前記第３の点行列を平行化して、前記画像フレーム（Ｉ）の分解能で前記第３の点行列の点を前記共通の画像平面に投影することと、
視差マップ（ｐ）で規定される点変換を適用して前記平行化された第３の点行列（ＲＪ）の点を変換することによって、変換された点行列（ＲＪ’）を生成することと、
前記変換された点行列を非平行化して、変換された画像を前記フレームベースカメラ（ＦＭＣ）の画像平面（Ｏ１，ｘ１，ｙ１）に投影することと、
前記第１の点行列を生成するのに使用された前記画像フレーム（Ｉ）の１つを前記非平行化された変換された点行列と結合して、ぶれ除去された画像（Ｉｓ）を得ることと
をさらに含む、請求項１～６に記載の方法。
前記第１の点行列は、前記フレームベースカメラ（ＦＭＣ）から取得された前記画像フレーム（Ｉ）の１つであり、前記第２の点行列（Ｊ）は、前記第１の点行列の露光期間中に生じる前記画素イベントストリームからの画素イベントを積分することによって生成される、請求項１～７の１項に記載の方法。
前記第２または第３の点行列（Ｊ）は、ぶれ除去された画像（Ｉｓ）を得るために前記画像フレーム（Ｉ）の１つに乗じられる補正点行列であり、前記ぶれ除去された画像は、前記画像フレームのフレームレートで生成されるか、または前記画像フレームの２つの連続する画像フレームの間の間隔で生成されて、前記画像フレームの前記フレームレートより高いフレームレートでスローモーション動画ストリームを提供する、請求項８に記載の方法。
前記第１の点行列（Ｒ）は、前記フレームベースカメラ（ＦＭＣ）から取得された２つの連続する画像フレーム（Ｉ）の比を計算することによって生成され、前記第２の点行列（Ｋ）は、前記２つの連続する画像フレームに対応する瞬間（ｆ，ｆ＋Ｆ）によって区切られた期間（Ｆ）中に生じる前記画素イベントストリームからの画素イベント（［ｘ２，ｙ２，ｔ０，σ］）を積分することによって生成される、請求項１～７の１項に記載の方法。
前記相関スコアリング関数（Ｓ）は、以下の関数：
前記第１および第２の点行列の隣接する点の少なくとも１つのパッチに適用される相互相関関数、
前記第１および第２の点行列の隣接する点の少なくとも１つのパッチに適用される点ごとの絶対差の和、ならびに
前記第１および第２の点行列の隣接する点の少なくとも１つのパッチに適用される点ごとの平方差の和
の１つである、請求項１０に記載の方法。
前記第１の点行列（ＢＦ）の前記点は、前記フレームベースカメラ（ＦＭＣ）から取得された２つの連続する画像フレーム（Ｉ）内の対応する画素間で行われる比較に基づいて決定される二進値を有し、前記第２の点行列（ＢＥ）の前記点は、前記２つの連続する画像フレームに対応する瞬間（ｆ，ｆ＋Ｆ）によって区切られた期間中のイベントストリームの対応する画素での少なくとも１つのイベント（［ｘ２，ｙ２，ｔ０，σ］）の存在に応じて、０または１に設定される二進値を有する、請求項１～７の１項に記載の方法。
前記スコアリング関数（Ｓ）は、前記第１および第２の点行列の隣接する点のパッチに適用される論理演算（ＡＮＤ）を使用して、前記第１の点行列（ＢＦ）と前記第２の点行列（ＢＥ）との間の類似度を評価する、請求項１２に記載の方法。
フレームベースカメラ（ＦＭＣ）、イベントベースカメラ（ＥＶＣ）、ならびに前記フレームベースカメラおよび前記イベントベースカメラによって提供される信号を受信および処理するプロセッサ（ＰＲＣ）を含むステレオカメラ装置であって、前記プロセッサは、請求項１～１３の１項に記載の方法のステップを実装するように構成される、ステレオカメラ装置。
コンピュータの内部メモリに直接ロード可能であり、コンピュータによって実行されると、請求項１～１４の１項に記載の方法のステップを実装するように前記コンピュータを構成するコード部分を含む、コンピュータプログラム製品。