JP2015510171A - 衝突時間を演算することを可能にする方法と装置、並びにコンピュータプログラム、コンピュータ可読媒体、及びコンピュータ - Google Patents

Abstract

画像検知回路と少なくとも部分的に画像検知回路に向かって又はこれから離れるように相対移動する物体との間の衝突時間の演算を可能にする方法及び装置が提供される。

Description

本明細書の実施形態は、方法及び装置に関する。具体的には、本明細書の実施形態は、画像検知回路と少なくとも部分的に画像検知回路に向う又はこれから離れるように相対移動する物体との間において衝突までの又は衝突からの時間を演算することができる方法に関する。

画像検知に基づいて衝突時間を演算する利用可能な従来の最新技術による方法は、いずれも、複雑な演算及び大量データの処理を必要としており、且つ、従って、少なくとも多くの用途において十分な速度で衝突までの時間を演算できるように、複雑なハードウェアを更に必要としている。この結果、従来の方法は、費用を所要し、且つ、しばしば、多くの状況において実装及び使用するための十分な費用効率性を有していない。

従って、既存の最新技術による解決策よりも費用効率の優れた方式で、但し、依然として匹敵する速度で、実現可能な衝突時間の演算を可能にすることが本明細書の実施形態の目的である。

第１の態様によれば、この目的は、請求項１に記載の方法によって実現される。第２の態様によれば、この目的は、請求項１４に記載の装置によって実現される。

個々の画像点ｉにおけるフレームの数などの演算された持続時間値ｆ（ｉ）は、撮像されたシーンが、シーケンスの全体を通じて、この画像点において、どれだけ静止状態にあったのかに関する尺度となる。相対移動する物体は、画像フレームのシーケンスによって撮像されることから、これは、例えば、画像内の消失点（focus of expansion）に対応している静的な物体の部分においては、大きな持続時間値となり、且つ、消失点から遠く離れた画像点においては、相対的に小さな持続時間値となるものと予想可能である。衝突時間に関する情報が持続時間値内に符号化されており、且つ、これを衝突時間の演算に使用可能であることが判明している。演算された持続時間値は、画像位置に対応する位置と共にアレイ又はマトリックス内に保存されてもよく、この場合に、それぞれの位置は、１つの持続時間値を保存し、この持続時間値は、例えば、わずかに数ビット長であってもよい整数計数値と同程度に単純なものである。従って、光学フロー検知に基づいた衝突時間演算のための従来の方法と比べて、大幅なデータ量の低減が実現され、且つ、相対的に単純な操作によって演算することが可能であり、この場合に、低減されたデータは、依然として、対象の情報を収容しており、且つ、衝突時間の演算に使用することができる。

又、操作が独立的に画像位置に対して実行されると共に局所的極値点が局所的データとのみ関係していることに起因し、演算は、並行して実行可能であり、且つ、従って、例えば、ＳＩＭＤ（Single Instruction Multiple Data）型のプロセッサなどのハードウェアアーキテクチャにおける実装に非常に適していることも理解されよう。又、従って、本明細書の実施形態は、画像検知回路上において直接的に又はこれとの緊密な関連において、或いは、場合によっては、例えば、全体的な複雑性が相対的に小さく、且つ、従って、更に複雑な最新技術による解決策と比べて低費用で提供可能であるＮＳＩＰ（Near Sensor Image Processing）型のプロセッサやＦＰＡ（Focal Plane Array）型の画像プロセッサ上のシングル検知要素との緊密な関連において、処理能力を有する並列アーキテクチャにおける実装に特に適していることも理解されよう。本明細書の実施形態は、最新技術による解決策以上の速度で、衝突までの時間のデータの提供と、このデータを使用した衝突までの時間の後続の演算と、を依然として可能にすることが更に示されている。

添付の概略図面を参照し、本明細書の実施形態の例について更に詳細に説明する。

概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。

本明細書の実施形態に関する説明の一環として、図１及び図２を参照し、まず、背景の節において示した問題点について更に説明することとする。

図１（ａ）は、センサに向って移動するそのヘッドライトを有する自動車の（夜間の）図を示している。図１（ｂ）は、Ｔ秒のインターバルで取得された２つの画像を示している。ヘッドライトの間の及び自動車までの絶対距離が不明であるにも拘らず、以下において理解されるように、衝突時間を依然として推定することができる。従って、画像の各部分の動き推定を対象としている。この例においては、ヘッドライトは、容易に認識可能な特徴である。但し、通常は、シーンが更に複雑であり、且つ、従来の特徴に基づいた技法は、結果的に複数の画像において見出されるいくつかの特徴をペア化させるべく、対応性の問題を解決するステップを含むことになろう。これは、光学フローによって空間的及び時間的の両面において高密度の計測を実行することにより、除去することができる。時間ｄｔにおいて近接している画像を使用することにより、且つ、画像データが「弁別可能」となるように高解像度を仮定することにより、光学フロー式を使用することが可能であり、光学フロー式は、時間ｄｔにおいて距離（ｄｘ、ｄｙ）だけ移動する画像特徴は、その強度Ｉを変化させないと単純に仮定しており、その結果、次式が得られることになり、

ここで、
ｕ＝ｄｘ／ｄｔ （２）
及び
ｖ＝ｄｙ／ｄｔ （３）
は、画像面内における水平及び垂直の動き成分である。フローベクトルとも呼ばれるこれらの動き成分を演算するには、少なくとも２つのピクセルの特徴エリアを考慮する必要がある。光学フロー場は、多数の情報（基本的に、１動きベクトル／ピクセル）を付与し、これらの情報は、動きの大部分が、静的なシーン内において移動するカメラによって生成される自己移動であると見なされる場合には、不要である。３Ｄ空間内における回転していない物体の動きは、６つのパラメータのみによって規定することが可能であり、従って、すべての動きデータを、このような６つのパラメータの組に纏めることができる。実際には、未知のスケールファクタに起因し、最後のものについてなんらかの特定の値を仮定することにより、５つのパラメータのみを推定することができる。

光学フロー場は、自己移動パラメータに関係した強力な内部構造を有する。例えば、フロー場内には、シーン内の衝突点に対応する「消失」点（ＦＯＥ）（即ち、衝突が発生する位置）が存在することになる。ＦＯＥを中心としたフローベクトルのサイズは、単純な方式によって自己移動パラメータに関係付けられる。例えば、カメラが動きと同一の方向を観察している際には、即ち、視準線が動きベクトルと平行である際（正面像）には、図２に示されているように、画像内のラインに沿ってフローベクトルの長さにわたって、画像の各エッジに向かって異なる符号を伴って（理想的な場合には）線形で増大する消失点においてゼロになるベクトル場が存在することになる。これらのラインのスロープは、±ｋであり、且つ、この関数は、次式のように記述され、

ここで、ｄは、点とＦＯＥとの間の距離である。但し、光学フローからカメラと物体の間の絶対速度差を算出することは不可能である。その理由は、カメラが室内において壁に向かって低速で移動している場合と戦闘機が超音速で山に向かって移動している場合を弁別することができないからである。但し、衝突までの時間は、依然として、演算することができる。これは、自動車の例に戻った場合に理解可能である。自動車は、図１（ａ）に示されているように、一定の速度ｖにおいてカメラに向かって移動している。ヘッドライトの間の距離をＤと仮定する。図１（ｂ）に示されているＴの時間インターバルで取得された自動車の２つの写真から、以下の関係が得られ、

ここで、ｄ１及びｄ２は、投影された画像内におけるヘッドライトの間の距離であり、ｆは、センサの（ピンホール）カメラの焦点距離であり、且つ、Ｓは、第１画像内における自動車までの距離である。

この結果、衝突までの時間は、次式のようになることがわかる。

画像内の動きは、ＦＯＥからの距離に比例することが判明している。画像内のヘッドライトの位置がＦＯＥを中心として対称であるとすると、２つの画像内のヘッドライトの位置の差は、次式によって表現することも可能であり、
ｐ_１ｘ−ｐ_０ｘ＝ｋ・ｐ_０ｘ （８）
従って、次式が得られ、
ｄ_２＝ｐ_１０−ｐ_１１＝ｐ_００（１＋ｋ）−ｐ_０１（１＋ｋ）＝ｄ_１（１＋ｋ） （９）
これは、以下の式を意味している。

及び

従って、衝突までの時間は、スロープｋのみを含む係数によって乗算された露光の間の時間インターバルＴである。これは、当然のことながら、自動車の例において有効であるのみならず、センサに向って又はセンサから離れるように移動しているシーン点が存在するすべての状況において有効である。

以下、図３に示されているフローチャートを参照し、画像検知回路と少なくとも部分的に画像検知回路に向って又はこれから離れるように相対移動する物体との間の衝突時間の演算を可能にする本明細書の実施形態について説明することとする。その後、本明細書の実施形態を更に説明すると共にそれらの実施形態及びその利益の理解度を向上させるべく、異なる更に具体的な且つ詳細な実施形態について説明すると共に結果を評価することとする。

動作３０１
この動作においては、画像検知回路によって検知された画像フレームのシーケンスの個々の画像フレームと関連する画像データを受け取っており、これらの画像フレームは、前記物体を撮像している。

この結果、相対移動に起因して画像内に変化を引き起こす物体を撮像した画像のシーケンスが存在することになる。物体は、離れる又は接近する方向において移動していることになる。接近している場合には、衝突時間とは、衝突までの時間である。離れるように移動している場合には、衝突時間とは、衝突からの時間である。相対移動とは、移動しているのが画像検知回路であってもよく、且つ、物体が、静止状態にあるか又は同様に動いていること、又は、画像回路が静止状態にあり、且つ、物体が移動していることを意味している。

シーケンスの画像フレームは、画像検知回路によってサンプリングされると即座に、１つずつ受け取ってもよく、或いは、画像フレームの１つ又は複数のグループとして受け取ってもよい。グループ内の又はシーケンス全体内の個々の画像フレームは、リアルタイム用途の場合には、捕捉又はサンプリングされた後に、すぐに又は可能な限り即座に、受け取ってもよい。

動作３０２
この動作においては、複数の画像位置のうちのそれぞれについて、画像フレームのシーケンス内の連続的に発生する局所的極値点の最大持続時間を示す個々の持続時間値が演算される。

局所的極値点ＬＥＰ（Local Extreme Point）は、その画像位置の画像データ値が、画像位置に隣接するすべての又は少なくとも２つのピクセル位置の対応する画像データの値との関係において、最大値及び／又は最小値である際に、画像位置に存在する。従って、２つの隣接するピクセルが同一のフレーム内においてＬＥＰであることは絶対にできない。１次元画像フレーム内において、画像位置におけるＬＥＰは、その２つの隣接する、即ち、最も近接した近隣の、ピクセル位置との関係において判定されることになる。２次元画像フレーム内においては、画像位置におけるＬＥＰは、通常、その４つ又は８つの隣接ピクセル位置との関係において検討されることになる。画像データ値の一例は、強度値であるが、例えば、どのような画像検知回路が使用されるのか、ノイズの状態、どのような種類の物体をどのような環境において捕捉する必要があるのか、及び照明条件などの観点において所与の状況において最良であると考えられるものに応じて、その他の種類の画像データを使用してもよい。ＬＥＰは、通常、ＬＥＰの画像フレームのみからの画像データに基づいて判定される。

ピクセルは、それぞれの画像フレーム内における最小のピクチャ要素として定義される。それぞれの画像フレームは、ピクセルから形成されており、それぞれのピクセルは、ピクセル位置と関連付けられている。従って、シーケンスの異なる画像フレーム内においては、同一のピクセル位置に異なる画像データが存在してもよい。物体は相対移動していることから、特定のピクセル位置における画像データは、画像フレームの間において変化するものと予想される。

画像位置は、通常、ピクセル位置に対応している。本明細書においては、画像位置は、一般に、前記複数の画像位置の一部である画像位置を意味している。複数の画像位置がそれぞれの画像フレームのピクセル位置と関係する方法については、別途、後述する。理解を促進するべく、以下においては、特記されていない限り、画像位置とピクセル位置の間には、対応性が存在しており、且つ、前記複数の画像位置は、それぞれの画像フレーム内のすべてのピクセル位置と同義であると仮定してもよいが、これは、すべての実施形態に当て嵌まらない場合もある。

又、シーケンスの一部であってもよい画像フレームの数と、その一部として選択するべき数に対して影響を及ぼすものについても、別途、後述する。

従って、換言すれば、この動作においては、複数の画像位置の画像位置ごとに、結果的にいずれの画像位置がシーケンスのすべての画像フレーム内において同一であるのか、並びに、シーケンス内において連続的に後続している、即ち、互いに直接的に後続しているＬＥＰの数がチェックされ、且つ、このような「最大連続ＬＥＰシーケンス」の最長持続時間が演算される。従って、すべての画像位置について演算された最長持続時間を示す１つの持続時間値が存在することになる。ＬＥＰが見出されない場合には、持続時間は、０であることに留意する必要があり、且つ、この場合の処理については、更に後述する。

連続的に発生するＬＥＰを見出すためには、まず、これらを識別する必要があり、且つ、次いで、計数する必要があり、この場合に、識別は、隣接するピクセル位置の画像データとのなんらかの比較を伴うことが理解できよう。ＬＥＰの上述の説明から、識別並びに計数は、周知の動作を利用することにより、多数の異なる方法で実行することができるが、使用する１つ又は複数の動作は、例えば、この動作を実行することになるハードウェアなどの実装形態によって左右されることになることが容易に理解されよう。当業者であれば、このステップを実行するための適切な動作を選択することができよう。上述の詳細な実施形態との関連において、具体的なハードウェア上における具体的な例を以下に提供することとする。但し、一般に、通常のコンピュータ上のものなどの画像を処理することができるすべてのプロセッサを、このステップを実行するように、容易にプログラムすることもできる。

持続時間値は、前記シーケンス内の連続的に発生する局所的極値点の最大数であってもよく、これは、持続時間に含まれているＬＥＰが連続的な画像フレーム内に存在する時点以降の持続時間に対応している。持続時間値の別の例は、時間値である。但し、フレームは、通常、既知のサンプルレートにおいて捕捉又は検知されることから、フレームの数を持続時間値として計数及び使用することが便利又は更に効率的であろう。但し、すべての画像フレームが、時間スタンプと関連付けられている場合には、この代わりに、「最大連続ＬＥＰシーケンス」の最初の画像フレームと最後の画像フレームとの間の時間スタンプの差を持続時間値として使用することができよう。

理解度を向上させるべく、画像フレームのシーケンス１とシーケンス２という２つのシーケンスを概略的に示す図４を参照されたい。それぞれの垂直ラインは、画像フレームに対応しており、且つ、それぞれの水平ラインは、結果的にそれぞれのシーケンス内の画像フレームについて同一である画像位置に対応している。ｉ１、ｉ２、及びｉ３という３つの画像位置が示されている。画像位置と画像フレームとの間の交差点には、円がプロットされており、これにより、個々の画像フレーム内の画像位置を表している。塗りつぶされた（黒色）円は、ＬＥＰが存在する位置を表しており、且つ、塗りつぶされていない（透明な）円は、ＬＥＰを有していない位置である。画像位置ｉ１、ｉ２、及びｉ３が、隣接するピクセル位置に対応していると仮定することにより、同一のフレーム内の隣接するピクセル位置には、ＬＥＰが存在できないことに留意されたい。シーケンス１及びシーケンス２のそれぞれのシーケンス内の連続的に発生するＬＥＰの最大持続時間を表す最大持続時間値（ここでは、画像フレームの最大数）が、黒色の正方形によってマーキングされている。従って、８つの画像フレームを有するシーケンス１においては、持続時間値は、画像位置ｉ１については、２フレームであり、画像位置ｉ２について、０フレームであり、且つ、画像位置ｉ３については、４フレームである。

個々の画像点Ｉにおけるフレームの数などの演算された持続時間値ｆ（ｉ）は、撮像されたシーンが、シーケンスの全体を通じて、この画像点において、どれだけ静止状態に留まっていたのかに関する尺度になることが理解できよう。相対移動する物体は、画像フレームのシーケンスによって撮像されることから、これは、例えば、画像内の消失点に対応する静的な物体部分においては、大きな持続時間値となり、且つ、消失点から遠く離れた画像点においては、相対的に小さな持続時間値になるものと予想可能である。以下、これを数学的に利用する方法と、衝突時間に関する情報を持続時間値から抽出できることと、を示すこととする。

演算された持続時間値は、画像位置に対応した位置を有するアレイ又はマトリックス内に保存してもよく、この場合に、それぞれの位置は、例えば、１つの持続時間値を保存し、この持続時間値は、わずかに数ビット長であってもよい整数計数値と同程度に単純なものであることが更に理解できよう。従って、光学フロー検知に基づいた衝突時間計算用の従来の方法と比べて、大幅なデータ量の低減が実現されており、且つ、相対的に簡単な操作によって算出することが可能であり、この場合に、低減されたデータは、依然として、対象の情報を含んでおり、且つ、衝突時間の演算のために使用可能である。

又、動作が独立的に画像位置に対して実行されると共にＬＥＰが局所的データにのみ関係していることに起因し、演算は、並行して実行可能であり、且つ、従って、例えば、ＳＩＭＤ（Single Instruction Multiple Data）型のプロセッサなどのハードウェアアーキテクチャにおける実装に非常に適していることも理解されたい。又、従って、本明細書の実施形態は、特に、画像検知回路上において直接的に又はこれとの緊密な関連において、或いは、場合によっては、例えば、ＮＳＩＰ（Near Sensor Image Processing）型のプロセッサ又はＦＰＡ（Focal Plane Array）型の画像プロセッサ上のシングル検知要素との緊密な関連において、処理能力を有する並列アーキテクチャにおける実装に特に適していることも理解されたい。以下、本明細書の実施形態を実装してもよいアーキテクチャについて更に説明し、且つ、ＮＳＩＰ型のプロセッサ上における実装形態の詳細な例を付与することとする。

演算された持続時間値は、その内部において符号化された情報を抽出及び／又は利用する更なる処理のために出力されてもよく、或いは、任意選択により、以下の動作について記述されているように、本明細書の実施形態に従って更に処理されてもよい。

動作３０３
任意選択の動作であるこの動作においては、演算された持続時間値ｆ（ｉ）の合計Σｆ（ｉ）が演算されている。以下には、この合計が単独で対象の情報を符号化してもよく、且つ、この合計を使用して衝突時間を演算できることが示されている。合計は、更に圧縮されたデータの組を表し、且つ、これも、単純な操作によって実現される。通常、上述のものなどの並列アーキテクチャは、個々の並列処理要素からの結果を合計する可能性を提供している。

いくつかの実施形態においては、合計を演算する前に、ゼロである任意の演算された持続時間値を近隣の画像位置からの非ゼロの持続時間値によって置換してもよい。この理由については、以下の詳細な実施形態との関連において説明することとする。

演算された合計は、その内部において符号化された情報を抽出及び／又は利用する更なる処理のために出力されてもよく、或いは、任意選択により、以下の動作について記述されているように、本明細書の実施形態に従って更に処理されてもよい。

動作３０４
任意選択の動作であるこの動作においては、スケールファクタｃによって乗算された合計Σｆ（ｉ）の逆数に基づいて、スロープ値ｋが演算されている。前記スロープ値ｋは、次式に対応しており、

ここで、ｃは、前記スケールファクタであり、且つΣｆ（ｉ）は、持続時間値ｆ（ｉ）の前記合計である。いくつかの実施形態においては、スケールファクタｃは、次式に対応しており、

ここで、ｉは、前記複数の画像位置の個々の画像位置である。いくつかの実施形態においては、例えば、有効な（非ゼロの）持続時間値の密度が低い場合には、スロープ値ｋは、代わりに、直接的にｉに応じてｆ（ｉ）値のラインをフィッティングすることにより、算出することが可能であり、且つ、この場合には、ｋは、このラインのスロープとして付与される。

このｃは、通常、物体の正面像（frontal view）が存在する際に、即ち、物体が、物体を撮像している画像検知回路に向って又はこれから離れるようにまっすぐに移動している際に、ｋを演算するために使用される。

演算されたスロープ値ｋは、その内部において符号化された情報を抽出及び／又は利用する更なる処理のために出力されてもよく、或いは、任意選択により、以下の動作について記述されているように、本明細書の実施形態に従って更に処理されてもよい。

動作３０５
任意選択の動作であるこの動作においては、前記複数の画像位置の中心画像位置ｉ_{Ｃｅｎｔｒｅ}との関係における演算された最大持続時間値ｆ（ｉ）のうちの最大持続時間値の画像位置ｉ_ｍａｘのオフセットを示すオフセット値δが演算されている（オフセットの例は、図１６に示されており、これは、以下において更に参照される）。次いで、オフセットは、いくつかの実施形態においては、スケールファクタｃを判定するべく使用され、この場合に、スケールファクタｃは、次式に対応しており、

ここで、ｉは、前記複数の画像位置の個々の画像位置であり、且つ、δは、前記オフセット値である。

上述のようにオフセットを考慮したｃは、通常、物体の非正面像が存在している際に、即ち、物体が、物体を撮像している画像検知回路に向って部分的に又はこれから部分的に離れるように移動している際に、ｋを演算するべく使用される。或いは、換言すれば、画像検知回路が相対的な移動の方向とは異なる角度において観察している際に、使用される。

動作３０４及び動作３０５において上述したｃを演算する様々な方法から、相対的な移動方向が既定されている場合には、スケールファクタｃを同様に既定してもよく、且つ、持続時間値及び合計を演算する目的とは無関係に、正面像及び非正面像の両方について一定であるものと見なしてもよいと結論付けることができる。所与のセンサと、センサのすべてのピクセル位置に対応してもよい使用される複数の画像位置に関する知識について、ｃを既定することが可能であり、且つ、ｋを演算する際に定数として使用することができる。従って、このような状況においては、合計を十分な尺度として使用してもよく、その理由は、衝突時間を明示的に実際に演算する必要性を伴うことなしに、衝突時間の観点において、異なる演算された合計が有することになる意味を学習してもよいからである。

相応して、相対的な移動方向が事前に判明しておらず、且つ、ｃが、まず、上述の動作３０５において説明した演算された持続時間値からオフセットを演算することにより、演算される場合にも、ｋ値を十分な尺度として使用してもよく、その理由は、衝突時間を明示的に実際に演算する必要性を伴うことなしに、衝突時間の観点において、異なるｋ値が有することになる意味を学習してもよいからである。

動作３０６
任意選択の動作であるこの動作においては、演算されたスロープ値ｋを使用することにより、衝突時間が演算されており、この場合に、衝突時間Ｔ_Ｉは、次式に対応しており、

ここで、ｋは、演算されたスロープ値であり、Ｔは、画像フレームのサンプル周期である。サンプル周期は、例えば、図４に示されているように、シーケンス内の連続した画像フレームの間の時間周期Ｔに対応している。この式は、上述の式（１１）に対応している。

演算された衝突時間ＴＩは、そのいくつかが後述されている異なる用途における更なる使用のために出力されてもよい。

次に、図５を参照すれば、動作３０２において上述した図４に示されているものとの比較において、画像フレームの異なるシーケンスが互いに関係してもよい方式の別の例が示されている。

図４と同様に、それぞれの垂直ラインは、画像フレームに対応しており、且つ、それぞれの水平ラインは、結果的にそれぞれのシーケンス内の画像フレームについて同一である画像位置に対応している。３つの画像位置ｉ１、ｉ２、及びｉ３が示されている。画像位置と画像フレームの交差点には、円がプロットされており、これにより、個々の画像フレーム内の画像位置を表している。塗りつぶされた（黒色）円は、ＬＥＰが存在している位置を表しており、且つ、塗りつぶされていない（透明な）円は、ＬＥＰを有していない位置である。画像位置ｉ１、ｉ２、及びｉ３が、隣接するピクセル位置に対応していると仮定することにより、同一の画像フレーム内の隣接するピクセル位置には、ＬＥＰが存在できないことに留意されたい。図４においては、まず、上述の図３との関連において説明した動作による演算のために、Ｎ個のフレームのシーケンス１を使用しており、この結果、第１衝突時間Ｔ１を得ている。次いで、シーケンス１の画像フレームを破棄し、且つ、代わりに、上述の図３との関連において説明した動作による新しい演算のために、シーケンス１に後続するＮ個のフレームのシーケンス２を使用しており、この結果、第２の衝突時間Ｔ２を得ている。

図５においては、この代わりに、シーケンス２は、新しい画像フレームを加算すると共に最も古い画像フレームを除去することにより、以前のシーケンス１に基づいたものになっている。即ち、一度に１つの画像フレームを移動させるＮフレーム長のウィンドウにより、シーケンスの画像フレームを判定している。この結果、新しい情報が、それぞれのフレームごとに加算され、且つ、結果的に、上述の図３との関連において説明した動作による新しい演算が得られることになる。例えば、図５に示されているように、新しい演算された衝突時間Ｔ２は、１画像フレームサンプル周期Ｔだけ遅れて、以前に演算された衝突時間Ｔ１に後続してもよい。例えば、シーケンス２内の連続的に発生するＬＥＰの最大持続時間を表す最大持続時間値（ここでは、画像フレームの最大数）が、図４のシーケンス２との比較のために、黒色の正方形によってマーキングされている。図５を参照した別の例として、シーケンス１の画像位置［ｉ１，ｉ２，ｉ３］の持続時間値アレイは、［２，１，４］であり、シーケンス２の場合には、［２，０，５］である。

シーケンスの一部として選択するべき画像フレームの、即ち、サンプルの、数Ｎは、ケースごとに変化してもよい。所与の状況において、実装のためのハードウェアの要件及び知識や物体の予想される運動及びタイプなどの観点において、当業者は、それぞれのシーケンスにおいて使用するべき適切な数のサンプルを選択することができると共に／又は、一般的な試験を使用することにより、見出すことができるであろう。いくつかの実施形態においては、一定の数を使用してもよく、その他の実施形態においては、以前の演算からの及び／又はその他の情報源からのフィードバックに基づいて、数を選択してもよい。ガイドラインとして、以前の１つ又は複数の衝突演算が、物体が近接していることを又は高速で接近していることを示している場合には、相対的に低い精度という犠牲を払って新しい演算値を相対的に高速で提供するべく、相対的に小さな数のサンプルを使用してもよい。１つ又は複数の以前の衝突演算が、物体が近接していないと共に／又は、低速で接近していることを示している場合には、精度を増大させるべく、相対的に大きな数のサンプルを使用してもよい。

次に、図６及び図７を使用し、複数の画像位置がピクセル位置と関係してもよい方式について更に説明することとする。複数の画像位置とピクセル位置との間に直接的な対応性が存在している場合については、既に説明済みである。いくつかの実施形態においては、複数の画像位置は、すべてのピクセル位置のサブセット（部分集合）に対応している。これが図６及び図７の両方の例に示されている。図６においては、すべての第２ピクセル位置ｉ_ｐが、持続時間値が上述のように演算される複数の位置の一部となるように、画像位置ｉとして選択されている。いくつかの実施形態においては、複数の画像位置ｉは、すべてのピクセル位置ｉ_ｐの間において、或いは、少なくとも対象のエリアＡＩ内のすべてのピクセル位置ｉ_ｐの間において、均一に分散されている。すべてのピクセルの間における均一な分布は、図６に示されており、且つ、対象のエリア内の均一な分布は、図７に示されている。対象の図示のエリアは、分割された視野に対応している。対象のエリアは、全体ピクセルエリアの任意のサブエリアであってもよく、通常は、物体が運動することが判明している、或いは、なんらかの理由により、演算用の使用に望ましい、エリアである。当然のことながら、これらが、すべてのピクセル位置のサブセットである際には、複数の画像位置について、すべてではない第２ピクセル位置を選択することができる。

次に図８を参照されたい。図３及び関係する動作との関連において上述した本明細書の実施形態は、動作を実行するためのソフトウェアを有する、コンピュータの内部メモリに読み込み可能である、コンピュータプログラム製品によって実装されてもよい。例えば、コンピュータプログラム製品は、ハードドライブ又はその他のストレージ手段１７３上に保存された実行可能ファイル１７３であってもよく、且つ、このストレージ手段から、インターネットなどのネットワークを介して取得可能であってもよく、且つ、コンピュータ１７６にダウンロードされてもよく、このコンピュータは、実行用のコンピュータ又は保存用の中間コンピュータであってもよい。又、コンピュータプログラム製品は、更なる例を挙げれば、メモリスティック１７１内に、或いは、ＣＤ又はＤＶＤなどのディスク１７２内に、保存されてもよい。又、メモリスティック１７１及びディスク１７２は、プログラムが記録されたコンピュータ可読媒体の例でもあり、この場合に、プログラムは、図３との関連において上述した動作をコンピュータに実行させるように構成されている。

次に、本明細書の実施形態について更に説明すると共にこれらの実施形態及びその利益に関する理解度を向上させるべく、更に具体的且つ詳細な実施形態について説明すると共に結果について評価することとする。

まず、ＮＳＩＰの概念が（この場合にも）導入されており、その理由は、この概念が詳細な実施形態について使用されることになるからである。ＮＳＩＰは、ほとんど３０年も前に初めて発表された概念であり、この場合には、光学センサアレイ及び特定の低レベルの処理ユニットが、ハイブリッドアナログ−デジタル装置として緊密に統合されている。その低い全体的な複雑性にも拘らず、最新技術による解決策に負けない高速で、多数の画像処理動作を実行することができる。図９は、ＮＳＩＰ概念の第１の商用実装形態のアーキテクチャであるＬＡＰＰ１１００チップを示している。これは、ピクセル当たりに１つずつである１２８個のプロセッサスライスから構成されている。光検知回路以外に、それぞれのスライスは、小さな演算ユニット（ＧＬＵ、ＮＬＵ、ＰＬＵ）と、１４ビットのストレージと、を収容していた。画像データをシフトレジスタから読み出すことができたが、１２８ビットのライン画像内において、１つ又は複数の設定ビット（Ｇｌｏｂａｌ−ＯＲ）又は設定ビットの合計数（ＣＯＵＮＴ）の発生について試験することもできた。オンボードのＡ／Ｄコンバータは、存在していなかった。この代わりに、Ａ／Ｄ変換が用途の一部である場合には、いくつかの異なる原理のうちの１つを使用することにより、Ａ／Ｄ変換をソフトウェアで実装しなければならなかった。最も単純なものは、それぞれのＣＭＯＳフォトダイオードが露光した際に示すほぼ線形の放電を利用することに基づいたものであった。次いで、演算ユニットと共に、選択された数のレジスタを使用し、それぞれのピクセルごとに、フォトダイオードが予め定義されたレベルに到達した際に、計数を停止させる並列カウンタを実装した。非常に早い段階で、Ａ／Ｄ変換が多くの場合に不要であることが判明した。それぞれのピクセルにおいて利用可能であるスモールビットプロセッサとの組合せにおいてピクセル読出し回路を利用することにより、特定の特徴に関するフィルタリングや適応型の閾値処理の実行などの多くのタスクを容易に実行することができた。この後に、これらの経験をＮＳＩＰ（Near Sensor Image Processing）という名称で要約し、且つ、発表した。同一の原理に基づいた２Ｄチップを構築し、且つ、１０００００フレーム／秒を十分に上回るレートにおいて画像を処理可能であることを示した。この時点において、実際的な最大解像度は、０．８μｍのＣＭＯＳプロセスを使用することにより、１２８＊１２８ピクセルであった。現在では、更に高いピクセル計数とそれぞれのピクセルにおける更に複雑な回路の両方が可能である。

図１０は、基本的な光検知部分を示している。コンデンサ（ｂ）は、フォトダイオードの固有静電容量を表している。スイッチ（ａ）がオンである際に、ダイオードは、そのフル値にまで事前充電される。スイッチがターンオフされ、且つ、ダイオードが、光誘発電流に起因して放電するのに伴って、比較器（ｄ）の入力上の電圧が減少する。なんらかのレベルにおいて、この電圧は、基準電圧（ｅ）を超過し、且つ、出力（ｆ）がその論理値を切り替える。次いで、出力がビットシリアル演算論理ユニット（ｇ）内において処理される。それぞれのピクセルにおいて利用可能なスモールビットプロセッサとの組合せにおいてピクセル読出し回路を利用することにより、特定の特徴に関するフィルタリング、ヒストグラム処理、又は適応型の閾値処理の実行などの多くのタスクを実行することができる。この概念は、当然のことながら、大きなダイナミックレンジと、非常に大きなフレームレートと、を付与する。

ＮＳＩＰアーキテクチャのプロセッサ部分について説明する際には、このプロセッサ部分を、そのセンサ部分内のピクセルの数に等しいワード長Ｎを有する単一のプロセッサとして見なすことが便利である。プロセッサの主要部分は、サイズＮのレジスタワードを収容するレジスタファイルである。第２の重要なレジスタは、アキュムレータＡである。ＮＳＩＰの後の実装形態は、特定のタイプの処理を機能強化するために、更なるレジスタを収容しているが、本発明者らは、本明細書における目的のために、これらを考慮することはしない。単純な演算は、ＡＮＤやＯＲなどの「点演算」である。これらは、通常、レジスタＲｉとアキュムレータとの間において適用され、これにより、新しい結果を保持するようにアキュムレータを変更する。非常に有用な種類の演算は、「ローカル演算」であり、この場合には、ローレベルのフィルタリング動作を形成するべく、３要素テンプレートがレジスタに対して同時に適用される。このような演算の１次元の例が、演算「（０１ｘ）Ｒ１」であり、これは、テンプレート（０１ｘ）をワード内のそれぞれの位置と比較し、且つ、テンプレートがフィットしている場合には、論理１を、且つ、フィットしていない場合には、論理０を生成する。この特定のテンプレートは、その左側が０であり、且つ、右側が１又は０であってもよい（即ち、「関係ない」）状態で、ビット位置自体が、値１を有することをチェックしている。この特定のローカル演算子は、ＬＥＰを見出すために有用であると後から判明することになる強度画像内におけるエッジの検出及びこれに類似した動作において、有用である。

第３の種類の演算は、グローバル演算である。これらは、レジスタ内の最も左の又は最も右の１を見出す又は特定の位置からすべてのビットをゼロ化する又は連続したゼロビットのグループを設定するなどの多数の異なる目的のために使用される。グローバル演算は、いずれも、２つの入力レジスタをオペランドとして使用するマーキング演算から導出される。第１レジスタ内の設定ビットは、第２レジスタ内の物体に対するポインタとして見なされる。物体は、接続された１の組である。指し示された物体は、維持され、且つ、結果に対して転送されることになる。

上述の演算が利用可能である状態で、従来のローレベルの画像処理タスクの大部分を実装することができる。命令が、外部又はチップ内部のシーケンサ又はマイクロプロセッサから、（通常は）１６ビットバス上において、一度に１つずつ発行される。処理済みの画像は、同一バス上において読み出されてもよいが、ほとんどの場合に、画像特徴の位置、最大強度値、第１次モーメントなどのなんらかの特定のスカラー値を演算することで十分である）。この理由から、ＮＳＩＰアーキテクチャは、計数状態ＣＯＵＮＴをも含んでおり、これは、アキュムレータ内の設定ビットの数と、レジスタ内の１つ又は複数のビットが設定されているかどうかを示すｇｌｏｂａｌ−ＯＲと、を常に反映することになる。状態情報に起因し、ＮＳＩＰを使用する用途の大部分は、チップから画像を読み出す必要がなくなり、これにより、アプリケーションが相当に高速化される。一例として、ｂ個のＣＯＵＮＴ演算及びＣＯＮＮＴ結果の適切なスケーリング及び合計のみを使用することにより、プロセッサ内においてｂビットによってそれぞれが表されているすべての値ｆ（ｉ）の合計を見出すことができる。

上述のＮＳＩＰアーキテクチャ上において本明細書の実施形態を実装する際に、この特定の実施形態においては、まず、ＬＥＰを抽出する。ＬＥＰを抽出するための最も簡単な動作の１つは、３×１の近隣部分内の局所的最小値を見出すというものである。これは、中心ピクセルが、両方のその隣接部と比べて、低い強度を有する場合には、このピクセルがＬＥＰであることを意味している。本発明者らは、ＮＳＩＰの概念を使用していることから、本発明者らは、大きなダイナミックレンジを有することになり、この結果、明るい領域と暗い領域の両方において局所的最小値を見出すことになる。これは、上述の基本的なＮＳＩＰの動作のうちの１つである。

シミュレーションである図１２において、標準画像からの１つの列が取得され、且つ、ＬＥＰがマーキングされており、即ち、これが、局所的な３×１の近隣部分である。ＮＳＩＰ演算は、（１０１）として定義され、これは、中心ピクセルが閾値を超えておらず、且つ、その２つの最も近接した隣接部が、いずれも、閾値を超えていることを意味している。これは、局所的最小点に対応している。黒色の点によって示されているＬＥＰを更に良好に示すべく、画像の一部分が拡大されている。この行は、５１２個のピクセルから構成されている。この特定のケースにおいては、この行に沿って、ほとんど７０個のＬＥＰが存在している。

ＬＥＰは、保存され、且つ、次の画像及びそのＬＥＰと比較される。図１３は、（１次元）画像のシーケンス内のＬＥＰに対して発生する内容を示している。ここでは、Ｙ軸は、時間を表しており、これは、カメラが物体に向って相対的に低速で移動していることを意味している。この場合には、本発明者らは、１５０個の１次元フレームを捕捉した。図２に従って、エッジに近接したＬＥＰは、ほとんど静止状態にある行の中心に位置したＬＥＰと比べて、高速で移動していることがわかる。速度推定は、ラインのスロープに基づいており、これらのラインは、図１３に示されているように、それぞれのＬＥＰから生成されている。スロープの値を算出するべく、本発明者らは、最大値がピクセル内に留まる時間を使用する。これは、ＬＥＰが１つのピクセル内にある際にフレーム数を計数することにより、実行される。この値は、ＬＥＰが２つの連続したフレーム間において移動する部分的距離に反比例している。これらの値ｆ（ｉ）の合計は、上述のように、ＣＯＵＮＴ関数を使用することにより、容易に抽出することができる。例えば、持続時間値を演算するためにＭ個の画像フレームのシーケンスに対応するＭ＝５０個のフレームを取得することにより、それぞれのビットスライスプロセッサを使用し、結果的に持続時間値に対応している可能なＬＥＰの最長のランを計数する。これは、図１３の最初の５０本のラインに対応することになる。図１４は、ランの長さがアレイに沿って変化する方式を、即ち、５０個のフレームのシーケンスの持続時間値ｆ（ｉ）が画像位置ｉに沿って変化する方式を、示している。単位は、フレーム／ピクセルであり、即ち、ＬＥＰを１ピクセルだけ移動させるために必要とされるフレームの数である。

図１５に示されている望ましい関数は、逆数であり、且つ、ピクセル／フレームという単位を有しており、即ち、以前のフレーム以降にＬＥＰが移動したピクセル（又は、むしろ、サプピクセル）の数である。曲線のスロープは、図３との関連において上述したスロープ値ｋに対応している。参考として、図１５には、本明細書の実施形態に従って提供された結果的に得られた演算されたスロープ値ｋがプロットされている。

次に、特定の実施形態と、図１５のスロープ値ｋが持続時間値ｆ（ｉ）から実現される方式と、を参照し、図３との関連において先程提示した式について更に説明することとする。

相対速度を算出するべく、本発明者らは、センサ内の距離をピクセルを単位として表現することとする。１次元センサは、ｗ［ｍ］の物理的サイズを有するＮ個のピクセルを有する。従って、センサ面内の距離ｄは、ｐ個のピクセルに対応しており、この場合に、次式のとおりである。

センサに沿って、本発明者らは、ここで、それぞれの画像位置ｉについて持続時間値に対応する関数ｆ（ｉ）を有しており、これは、本発明者らが求めようとしているスロープを有するラインの逆数である。この関数は、次式のように表現することが可能であり、

ここで、∧は、ランダム変数、即ち、ノイズであり、平均がゼロとなるものと仮定されている。

従って、次式が得られる。

これは、図３との関連において上述したものに対応するという次の推定をもたらす。

ここで、分子ｃは、結果的に前述のスケールファクタｃに対応している。これは、事前に算出可能な定数として見なしてもよく、且つ、分母は、特定の実施形態においては、結果的に上述の持続時間値の合計に対応しているＣＯＵＮＴネットワークからの出力である。ここまでの部分においては、本発明者らは、原点を最も左側のピクセルに配置していた。原点をＦＯＥ点に移動させることが更に自然である。正面像の動きの場合には、ｆ（ｉ）が対称であることから、本発明者らは、次式を得る。

従って、式（４）と同様に、本発明者らは、この代わりに、次式を使用する。

これは、定数ｃが絶対値によって生成される限り、本発明者らが、ＦＯＥの両側のラン長のすべてを合計することができることを意味している。ｋの値を知ることにより、本発明者らは、ここで、式（１１）を使用することにより、衝突時間を得ることが可能であり、これは、自動車の場合のみならず、任意の可視物体の場合に機能する。

ｘ位置が、消失点に近接している際には、本発明者らは、正しい情報を得ることにならず、その理由は、正しい値が無限大となるからである。従って、本発明者らは、中心領域においては、０であり、且つ、外部においては、１であるフィルタｈ（ｘ）を使用することとする。

この関数は、図９に示されている１つのレジスタ内に保存され、且つ、乗算は、単純なＡＮＤ演算である。これは、式（１９）の一定の合計ｃを次式のように書き換えることができることを意味している。

通常、多数のノイズを含んでいる中心からの情報を省略することにより、本発明者らは、ｋの相対的に良好な推定値を取得し、この推定値は、図１５に示されているスロープｋを有するラインに対応している。

発生しうる別の課題は、アレイの有効な部分に沿ってゼロであるいくつかの位置が存在する場合がある、即ち、これらの位置には、ＬＥＰが存在しないというものである。式（１５）から、本発明者らは、ｆ（ｉ）内にいくつかのゼロが存在する場合には、ｋの推定値が相対的に大きくなることを理解している。これを回避するべく、本発明者らは、図１６に示されているように、本発明者らが「真」のＬＥＰ又は別の伝播されたＬＥＰに遭遇する時点まで、ＬＥＰを左及び右に伝播させることができる。

カメラが動きとは異なる角度で観察している場合には、垂直の動きに対して追加された横断方向の成分が存在することになる。これは、固定点上に突出しているシーン内の点に向って移動する代わりに、図１７に示されているように、カメラが、距離Δだけ離れたところに配置された衝突点に向って進んでいることを意味している。このような横断方向の速度成分が付与された場合に、ＬＥＰの移動を示す画像は、横断方向の速度が付与された状態で、図１８のように見えることになる。本発明者らは、この場合には、新しいＦＯＥ位置に対応する、図１９に示された、関数ｆ（ｉ）の最大値ｉ_ｍａｘの位置を推定することができる。図１９には、ｉ_ｍａｘとｉ_{ｃｅｎｔｒｅ}との間のオフセットδのみならず、中心画像位置ｉ_{ｃｅｎｔｒｅ}も示されている。ＮＳＩＰプロセッサ上において実装された特定の実施形態の場合においてこれを実行する方法については、Astroem A, Forchheimer R, 及びEklund J-E, “Global Feature Extraction Operations for Near-Sensor Image Processing”, IEEE Trans, Image Processing, ５，１，１０２−１１０（１９９６）に記述されている。図２０には、対応するｆ（ｉ）の逆関数が、相応して、図１５と同様に、従って、ここでは、非正面像の状況において、スロープ値ｋを有するように描かれたラインと共に示されている。

中心点からの最大値の変位に応じて、いくつかの異なるマスクｈ（ｉ）を使用してもよい。定数ｃは、こちらも変位に依存する予め算出されたアレイによって表されてもよい。ｋの値の演算は、上述のものと類似した経路を辿る。画像面内におけるＦＯＥの変位δは、以前の結果を次式に変更する。

これは、ｃが、変位δの関数であることを意味しており、これは、以下に示されているように算出することができる。

これは、上記の図３との関連において記述したスロープ値ｋに対応しており、且つ、図２０にプロットされているｋ値でもあることがわかる。

上述のように、絶対速度又は物体までの距離の知識を伴うことなしに衝突時間を演算することができる。その代わりに、本発明者らは、次式を得る。
ｖ_ｙ＝Ｓ／Ｔ_ｌ （２２）

横断方向の速度は、同一の理由から、その絶対値に対して演算することができない。その代わりに、これは、次式のように定義され、
ｖ_ｘ＝Δ／Ｔ_ｌ （２３）
ここで、Δは、図１７に示されている距離である。これは、次式のように書き換えることができる。

本発明者らは、ここで、以下のように、横断方向速度と物体に向かう速度との間の比率を演算することできる。

これは、センサ幅、センサ解像度、及び焦点距離から導出されたカメラ定数によって乗算されたＦＯＥの変位が２つの動き成分の間の比率を付与することを意味している。従って、視準線と動きベクトルとの間のオフセット角φは、次式によって付与される。
ｔａｎ（α）＝Ｃ_{ｃａｍｅｒａ}・δ （２６）

次に、更に具体的な実施形態の場合と同様にＮＳＩＰアーキテクチャを使用することによって本明細書の実施形態を実装した際の可能な性能について説明することとする。ＮＳＩＰのケースにおいて実行するべき様々なステップを検討することにより、ＬＥＰの抽出は、単一の命令／露光で実行可能であることを見出すことができる。それぞれのプロセッサスライスにおいて持続時間値に対応する単一のＬＥＰの最長のランの検出は、ランが蓄積されると共に予め得られた最長ラインと比較されるＳＩＭＤの実装形態に基づいている。新しいランが収集された際には常に、そのランは、以前の最長ランを置換するか、又は廃棄される。これには１８ｂ個のサイクルが必要であると示すことが可能であり、ここで、ｂは、結果を保存するために使用されるビット数である。図１４に示されている結果を得るべく、５０回の露光、即ち、５０個の画像フレームが使用されており、これは、ｂが６に等しいことを意味している。これは、１０８サイクル／露光に対応している。従って、最短時間インターバルＴは、２．５μｓであり、且つ、新しいｋ値が、約５０００サイクルの後に、或いは、４０ＭＨｚのクロックサイクルが付与された場合には、８ｋＨｚのレートで、利用可能となる。上述のノイズ抑圧フィルタを含むことにより、約３０〜６０サイクル／露光が追加されることになる。

この「バッチ指向」の方法の一代替肢は、結果的に図５との関連において上述した状況に対応している最後の５０回の露光をラウンドロビン方式で保存し、且つ、それぞれの露光の後にｋ値演算を実行するというものである。この結果、演算されたｋ値と一致するように露光の間のインターバルが増大することになる。或いは、この代わりに、最長ランの計算を連続的に実行することによって５０回の露光のすべてをメモリ内に維持するニーズを除去すると共に演算時間をも低減できるように、時間スタンプを露光と関連付けることもできる。要すれば、最近のＮＳＩＰ設計の場合には、１０ｍｍ２未満のサイズのチップにより、約１００ｋＨｚのレートで、ｋ値と、従って、衝突時間推定値と、を出力できるようになるというのが妥当なところであろう。

従って、ＮＳＩＰ（Near-Sensor Image Processing）の概念又は上述の焦点面アレイの概念などのこれに類似したものを有する本明細書の実施形態を使用することにより、視覚に基づいた衝突時間センサの実装形態を、多くの用途に適しうる小さく且つ潜在的に低廉な装置とすることができる。明らかな用途の１つは、自動車産業における衝突回避である。このようなシステムは、衝突のリスクが存在することを運転者に警告するために使用することができる。又、このようなシステムは、衝突が不可避である際に、実際の衝突の前に安全装置に警告するために使用することもできる。

又、本明細書の実施形態の実装は、小さく且つ低廉な装置に関するものであってもよく、且つ、理解されるように、電力効率に優れたものにすることも可能であることから、これらの装置は、小さな自己給電型ユニットにおける使用において特に興味深いであろう。例えば、本明細書の実施形態は、例えば、人工昆虫を含む小さな無人車両などのガイダンス制御用の装置において実装されてもよい。このような車両のガイダンス制御の場合には、本明細書の実施形態を実装した２つのセンサ（眼）を使用してもよく、且つ、２つのセンサの持続時間値ｆ（ｉ）の値の合計を使用し、車両を制御すると共に安定化させてもよい。物体との衝突を回避するために、これらの値は、可能な限り大きなものであることを要する。従って、本明細書の実施形態は、例えば、自動車産業などにおける衝突回避又は警告のために、且つ、通常は小さな無人車両におけるガイダンス制御のために、使用されてもよい。

次に、図２１に示されている概略ブロックダイアグラムを参照し、本明細書の実施形態について更に説明することとする。画像検知回路と少なくとも部分的に画像検知回路図に向って又はこれから離れるように相対移動する物体との間の衝突時間の演算を可能にするために、図３との関連において上述した動作を実行するべく、図２１に概略的に示されている装置２１００が提供されてもよい。装置２１００は、受取りポート２１２０を有する。受取りポートは、前記画像検知回路によって検知された画像フレームのシーケンス１．．Ｎの個々の画像フレームと関連付けられたデータを撮像するように構成されており、且つ、これらの画像フレームは、前記物体を撮像している。参考までに、且つ、理解度を向上させるべく、図２１には、画像検知回路及び物体が画像検知回路２１４０及び物体２１５０として示されている。受取りポートは、画像データを受け取ることができる物理的又は仮想的な任意のポートであってもよい。

装置は、複数の画像位置のそれぞれの画像位置ｉについて、画像フレームの前記シーケンス１．．Ｎ内の連続的に発生する局所的極値点の最大持続時間を示す個々の最大持続時間値ｆ（ｉ）を演算するように構成された第１演算回路２２１１を更に有する。装置２２１１は、特定のプログラムコードを実行するように構成された汎用コンピュータであってもよく、且つ、その場合には、演算回路は、コンピュータのＣＰＵ及びＲＡＭに対応してもよく、或いは、ＳＩＭＤアーキテクチャに基づいたものなどの本明細書の実施形態の相対的に効率的な実装のための相対的に専用であるハードウェアを有するコンピュータであってもよい。第１演算回路は、演算要素２２１１−１〜２２１１−Ｋを有してもよく、これらの演算要素のそれぞれは、１つの画像位置又は画像位置のグループの持続時間値ｆ（ｉ）を演算するように構成されてもよい。

装置は、持続時間値ｆ（ｉ）の合計Σｆ（ｉ）を演算するように構成された第２演算回路２１１２を更に有してもよい。

装置は、スケールファクタｃによって乗算された合計の逆数１／Σｆ（ｉ）に基づいてスロープ値ｋを演算するように構成された第３演算回路２１１３を更に有してもよく、この場合に、スロープ値ｋは、次式に対応しており、

ここで、ｃは、前記スケールファクタであり、且つ、Σｆ（ｉ）は、前記持続時間値ｆ（ｉ）の合計である。

いくつかの実施形態においては、スケールファクタｃは、次式に対応しており、

ここで、ｉは、前記複数の画像位置の個々の画像位置である。

装置２１００は、前記複数の画像位置の中心画像位置ｉ_{Ｃｅｎｔｒｅ}との関係において演算された最大持続時間値ｆ（ｉ）のうちの最大持続時間値の画像位置ｉ_ｍａｘのオフセットを示すオフセット値δを演算するように構成された第４演算回路２１１４を更に有してもよく、この場合に、スケールファクタ（ｃ）は、次式に対応しており、

ここで、ｉは、前記複数の画像位置の個々の画像位置であり、且つ、δは、前記オフセット値である。

装置２１００は、演算されたスロープ値（ｋ）を使用することにより、衝突時間を演算するように構成された第５演算回路２１１５を更に有してもよく、この場合に、衝突時間（Ｔ_Ｉ）は、次式に対応しており、

ここで、ｋは、演算されたスロープ値であり、Ｔは、画像フレームのサンプル周期である。演算回路のうちの１つ又は複数は、１つであると共に同一である演算回路によって実装されてもよく、例えば、第１及び第２演算回路は、例えば、ＳＩＭＤ又はＮＳＩＰ型のプロセッサなどの共通的な物理回路として実装されてもよく、且つ／又は、第３、第４、及び第５回路は、例えば、汎用ＣＰＵなどの別の共通的な物理回路として実装されてもよい。

装置２１００は、演算された最大持続時間値ｆ（ｉ）及び／又は持続時間値ｆ（ｉ）の演算された合計Σｆ（ｉ）及び／又は演算されたスロープ値ｋ及び／又は演算された衝突時間Ｔ１を出力するように構成された出力ポート２２３０を更に有してもよく、或いは、これらのうちの１つ又は複数は、装置２１００内において内部的に更に使用されてもよい。即ち、装置２１００は、図３との関連において上述したものに対応する結果的に得られた演算された値を処理するように構成されてもよい。

当業者は、上述の受取りポート、第１演算回路２１１１、演算要素２１１１−１〜２１１１−Ｋ、第２演算回路２１１２、第３演算回路２１１３、第４演算回路２１１４、第５演算回路２１１５、及び出力ポート２２３０は、アナログ及びデジタル回路の組合せを、且つ／又は、１つ又は複数のプロセッサによって実装された際に上述のように稼働する、例えば、メモリ（図示せず）内に保存されたソフトウェア及び／又はファームウェアを有するように構成された１つ又は複数のプロセッサを、意味してもよいことを理解するであろう。これらのプロセッサのうちの１つ又は複数、並びに、その他のハードウェアは、単一の特定用途向け集積回路（ＡＳＩＣ：Application-Specific Integrated Circuit）又はいくつかのプロセッサ内に含まれてよく、且つ、個別にパッケージ化されるか又はシステムオンチップ（ＳｏＣ）内に組み立てられるかを問わず、様々なデジタルハードウェアをいくつかの別個のコンポーネントの間において分散させてもよい。

次に、図２２に示されている概略ブロックダイアグラムを参照し、本明細書の実施形態について更に説明することとする。画像検知回路と少なくとも部分的に画像検知回路に向って又はこれから離れるように相対移動する物体との間の衝突時間の演算を可能にするために、図３との関連において上述した動作を実行するべく、図２２に概略的に示されている装置２２００が提供されてもよい。装置２２００は、上述の装置２１００に対応してもよいが、シーケンスの画像フレームを検知するように構成された画像検知回路を更に有する。過剰な細部によって曖昧にすることのないように、図２２においては、第１演算回路２１１１、演算要素２１１１−１〜２１１１−Ｋ、第２演算回路２１１２、第３演算回路２１１３、第４演算回路２１１４、第５演算回路２１１５が唯一の演算回路２２１０として示されている。

次に、図２３に示されている概略ブロックダイアグラムを参照し、本明細書の実施形態について更に説明することとする。画像検知回路と少なくとも部分的に画像検知回路に向って又はこれから離れるように相対移動する物体との間の衝突時間ＴＩの演算を可能にするために、図３との関連において上述した動作を実行するべく、図２３に概略的に示されている装置２３００が提供されてもよい。装置２３００は、上述の装置２２００に対応してもよい。更には、ここでは、２３４０である画像検知回路は、検知要素２３４１−１〜２３４１−Ｋ１を有しており、これらの検知要素のそれぞれは、ピクセル位置ｉｐと関連付けられており、且つ、光を捕捉するように構成されている。それぞれの検知要素は、捕捉された光に応答して、ピクセルに対応した局所的画像データを提供するように更に構成されている。又、例えば、その一部分が第１演算回路２１１１及び／又は第２演算回路２１１２に対応している演算回路２３１０は、演算要素２３１１−１〜２３１１−Ｋ２を有する。それぞれの演算要素は、１つの検知要素又は検知要素のグループと関連付けられており、且つ、これにより、１つ又は複数のピクセル位置にも対応している。複数の画像位置ｉのうちの１つに対応する１つ又は複数のピクセル位置と関連付けられた演算要素は、１つ又は複数の関連付けられた検知要素から局所的な画像データに基づいて個々の持続時間値ｆ（ｉ）を演算するように構成されている。検知要素の数Ｋ１は、演算要素の数Ｋ２に対応してもよいが、それぞれの演算要素が複数の検知要素からの画像を処理するように、演算要素よりも大きな数の検知要素を有することもできる。

画像検知回路２３４０と、少なくともその一部分が演算要素を有する演算回路２３１０と、は、ＮＳＩＰ回路２３１０に対応しており、ＮＳＩＰ回路は、例えば、更に詳細な実施形態との関連において上述したアーキテクチャであってもよく、或いは、別のＮＳＩＰ又はＦＰＡアーキテクチャであってもよい。この場合に、ここでは２３２０である受取りポートは、検知要素がその上部において画像データを演算要素に対して供給する個々の物理的なインターフェイスに対応してもよい。

衝突時間からのスロープ
物体の表面のスロープ角βを演算するための本明細書の実施形態の第２のタイプであって、物体は、少なくとも部分的に、前記物体を撮像する画像検知回路に向って又はこれから離れるように相対移動しており、且つ、前記表面は、前記画像検知回路と対向している、第２のタイプについて、図２４に示されているフローチャートを参照して説明することとする。

動作２４０１
この動作においては、画像検知回路によって検知された画像フレームを使用することにより、画像検知回路と物体との間の第１衝突時間Ｔ１及び第２衝突時間Ｔ２が演算されている。第１衝突時間は、前記画像検知回路の分割された視野の第１視野Ａに基づいて演算され、且つ、第２衝突時間は、分割された視野の第２視野Ｂに基づいて演算される。

動作２４０２
この動作においては、スロープ角が、演算された第１衝突時間、第２衝突時間、及び視野と関連する開放角（２＊α）に基づいて演算されている。演算されたスロープ角βは、次式に対応してもよく、

ここで、βは、スロープ角であり、Ｔ１は、第１衝突時間であり、Ｔ２は、第２衝突時間であり、且つ、αは、開放角の半分である。第１衝突時間Ｔ１及び第２衝突時間Ｔ２の演算は、並行して実行されてもよい。第１衝突時間Ｔ１及び第２衝突時間Ｔ２の演算は、少なくとも部分的に、図３との関連において上述した本明細書の実施形態に従って、実行されてもよい。

次に、図８を再度参照されたい。図２４との関連において上述した本明細書の実施形態の第２のタイプ及び関係する動作は、動作を実行するソフトウェアを有するコンピュータの内部メモリに読み込み可能であるコンピュータプログラム製品によって実装されてもよい。例えば、コンピュータプログラム製品は、ハードドライブ又はその他のストレージ手段１７３上に保存された実行可能ファイル１７３であってもよく、且つ、これらのストレージ手段から、インターネットなどのネットワークを介して取得可能であってもよく、且つ、コンピュータ１７６にダウンロードされてもよく、コンピュータは、実行用のコンピュータであってもよく、或いは、ストレージ用の中間コンピュータであってもよい。又、コンピュータプログラム製品は、いくつかの更なる例を挙げれば、メモリスティック１７１内に、或いは、ＣＤやＤＶＤなどのディスク１７２内に、保存されてもよい。又、メモリスティック１７１及びディスク１７２は、コンピュータ可読媒体の例でもあり、コンピュータ可読媒体は、その上部に記録されたプログラムを有し、この場合に、プログラムは、コンピュータに図２４との関連において上述した動作を実行させるように構成されている。

図２４との関連において上述した動作について更に十分に理解するために、図２５を参照し、更に詳細に説明することとする。

衝突時間を使用する際に、本発明者らは、物体までの絶対距離Ｈ０を取得することなく、且つ、速度の絶対値ｖ０も取得しない。本発明者らが取得するものは、以下の比率である。
Ｔ_ｌ＝Ｈ_０／ｖ_０ （２７）
上述のように、これは、カメラが、物体に近接しており、且つ、低速で移動しているのか、或いは、カメラが、遠く離れた状態で、物体に向って高速で移動しているのか、を本発明者らが弁別できないことを意味している。但し、物体が面であるものと仮定することにより、物体が、接近するカメラとの関係において、どれだけ傾斜しているのかを算出することができる。本発明者らは、視野を、図２５にＡ及びＢとして示されている２つの部分に分割する。本発明者らは、２つの部分のＴＴＩであるＴ１及びＴ２を連続的に計測する。以下のことが判明し、
Ｄ_１＝ｖ_０・Ｔ_１・ｔａｎ（α’） （２８）
及び
Ｄ_２＝ｖ_０・Ｔ_２・ｔａｎ（α’） （２９）
ここで、αは、視野のそれぞれの部分の開放角であり、α’は、次式に規定されているように、センサの半分に対応した角度である。

小さなαの場合には、これは、次式に対応している。

物体のスロープβは、ここで、次式のように表現することができる。
（Ｄ_１＋Ｄ_２）・ｔａｎ（β）＝ｖ_０・（Ｔ_２−Ｔ_１） （３２）
そして、これは、次式のように単純化することができる。

これは、スロープのタンジェントが、２つの視野及び開放角αからのＴ１及びＴ２という２つのＴＴＩ値のみに依存していることを意味している。

次に、図２６に示されている概略ブロックダイアグラムを参照し、本明細書の実施形態についてさらに説明することとする。少なくとも部分的に、物体を撮像する画像検知回路に向って又はこれから離れるように相対的に移動する前記物体の表面のスロープ角を演算するために、図２４との関連において上述した動作を実行するべく、図２６に概略的に示されている装置２６００が提供されてもよい。装置は、画像検知回路によって検知された画像フレームを使用することにより、画像検知回路と物体との間の第１衝突時間Ｔ１及び第２衝突時間Ｔ２を演算するように構成された第１演算回路２６１１を有しており、第１衝突時間は、前記画像検知回路の分割された視野の第１視野Ａに基づいて演算され、且つ、第２衝突時間Ｔ２は、分割された視野の第２視野に基づいて演算される。装置は、演算された第１衝突時間Ｔ１、第２衝突時間Ｔ２、及び視野と関連付けられた個々の開放角２＊αに基づいてスロープ角を演算するように構成された第２演算回路２６１２を更に有する。演算は、上述のように実行されてもよい。

第１及び第２演算回路は、１つの共通的な演算回路２６１０に含まれてもよい。

参考として、且つ、理解度を向上させるために、図２６には、画像検知回路及び物体が画像検知回路２６４０及び物体２６５０として示されている。画像検知回路２６４０は、装置２６００の外部において示されているが、いくつかの実施形態においては、これは、この代わりに、装置２６００内に含まれてもよい。例えば、第１演算回路２６１１は、第１演算回路内において内部的に個々の衝突時間を提供するように構成された上述の装置２２００又は２３００を有する。又、衝突時間値の提供用の検知された画像フレームに基づく任意のその他の種類の衝突時間提供装置を使用することもできる。

装置２６００は、受取りポート２６２０を有してもよい。受取りポートは、前記画像検知回路によって検知された画像フレームと関連付けられた画像データを受け取るように構成されてもよく、且つ、これらの画像フレームは、前記物体を撮像している。これは、画像検知回路２６４０が装置２６００の外部に位置している場合に該当しよう。このような状況においては、第１演算回路は、更に、衝突時間の提供のために、図２１との関連において上述した第１、第２、第３、及び第５演算回路２１１１、２１１２、２１１３、及び２１１５（並びに、更に、第４演算回路２１１４）を有してもよい。

従って、装置２６００は、第１衝突時間Ｔ１及び／又は第２衝突時間Ｔ２を提供するように構成された上述の装置２１００、２３００又は２２００を、或いは、これらの回路を、有してもよい。但し、検知された画像フレームから衝突時間を提供するその他の手段を使用してもよいことに留意されたい。

ロボットが視覚によってスロープ角を識別することを可能にするべく、装置２６００を有するロボットを提供してもよい。

衝突時間からのステレオ
次に、図２７に示されているフローチャートを参照し、少なくとも部分的に、物体を撮像する第１及び第２画像検知回路のペアに向って又はこれから離れるように相対移動する前記物体に対する絶対速度ｖ０及び／又は絶対距離Ｈ０を演算するための本明細書の実施形態の第３のタイプについて説明することとする。

動作２７０１
任意選択の動作であるこの動作においては、

動作２７０２
この動作においては、

動作２７０３
この動作においては、

動作２７０４
この動作においては、

次に図８を再度参照されたい。図２７及び関係する動作との関連において上述した本明細書の実施形態の第２のタイプは、動作を実行するためのソフトウェアを有するコンピュータの内部メモリに読み込み可能であるコンピュータプログラム製品によって実装されてもよい。例えば、コンピュータプログラム製品は、ハードドライブ又はその他のストレージ手段１７３上に保存された実行可能ファイル１７３であってもよく、且つ、このストレージ手段から、インターネットなどのネットワークを介して取得可能であってもよく、且つ、コンピュータ１７６にダウンロードされてもよく、コンピュータは、実行用のコンピュータであってもよく、或いは、ストレージ用の中間コンピュータであってもよい。又、コンピュータプログラム製品は、いくつかの更なる例を挙げれば、メモリスティック１７１内に、或いは、ＣＤ又はＤＶＤなどのディスク１７２内に、保存されてもよい。又、メモリスティック１７１及びディスク１７２は、コンピュータ可読媒体の例であり、コンピュータ可読媒体は、その上部に記録されたプログラムを有し、この場合に、プログラムは、コンピュータに図２７との関連において上述した動作を実行させるように構成されている。

図２７との関連において上述した動作を更に十分に理解するために、図２８及び図２９を参照し、更に詳細に説明することとする。

２つのカメラがステレオペアとして機能している際に、深さ情報を実現することができる。これは、特徴点を一方のカメラから他方のものへ相関させることに基づいている。このような動作は、演算需要とデータ転送の両方の観点において複雑である。ここでは、図９に示されているように、本発明者らが、特定の距離Ｄにおいて、Ｃ１及びＣ２という２つのＴＴＩカメラを使用しているものと仮定しよう。βが非ゼロである場合に、本発明者らは、次式を得る。

ここで、ｖ０は、絶対速度であり、Ｔ１及びＴ２は、図８と同一の設定を使用することによるＣ１内の２つの視野のＴＴＩであり、且つ、Ｔ３は、第２カメラＣ２のＴＴＩである。

ここで、本発明者らは、次式のように絶対速度を表現することができる。

そして、ｔａｎ（β）の値を挿入することにより、本発明者らは、次式を得る。

絶対距離は、次式のとおりである。

これは、次式に簡素化することができる。

これらの式は、βの非ゼロの値の場合に有効である。Ｔ１＝Ｔ２である場合には、本発明者らは、深さ情報を取得することができない。

興味深い特徴は、本発明者らが、２つのセンサからの画像を相関させることなしに、深さ情報を取得できるという点にある。本発明者らがＴＴＩ値を取得する自律的システムが付与された場合に、本発明者らは、左又は右にわずかに回転することによって非ゼロの角度βを得ることができる。図２９は、本発明者らが方向ＡからＢに回転して非ゼロの角度βを取得している例を示している。

次に、図３０に示されている概略ブロックダイアグラムを参照し、本明細書の実施形態について更に説明することとする。少なくとも部分的に、物体を撮像する第１及び第２画像検知回路のペアに向かって又はこれから離れるように相対移動する前記物体に対する絶対速度ｖ０及び／又は絶対距離Ｈ０を演算するために、図２７との関連において上述した動作を実行するべく、図３０に概略的に示されている装置３０００が提供されてもよい。

衝突時間からの形状
次に、図３１に示されているフローチャートを参照し、少なくとも部分的に、物体を撮像する画像検知回路に向かって又はこれから離れるように相対移動する前記物体の形状を判定するための第４のタイプの本明細書の実施形態について説明することとする。

動作３１０１
この動作においては、

動作３１０２
この動作においては、

動作３１０３
この動作においては、

動作３１０４
この動作においては、

次に図８を再度参照されたい。図３１及び関係する動作との関連において上述した本明細書の実施形態の第４のタイプは、動作を実行するソフトウェアを有するコンピュータの内部メモリに読み込み可能であるコンピュータプログラム製品によって実装されてもよい。例えば、コンピュータプログラム製品は、ハードドライブ又はその他のストレージ手段１７３上に保存された実行可能ファイル１７３であってもよく、且つ、このストレージ手段から、インターネットなどのネットワークから取得可能であってもよく、且つ、コンピュータ１７６にダウンロードされてもよく、コンピュータは、実行用のコンピュータであってもよく、或いは、ストレージ用の中間コンピュータであってもよい。又、コンピュータプログラム製品は、いくつかの更なる例を挙げれば、メモリスティック１７１内に、或いは、ＣＤやＤＶＤなどのディスク１７２内に、保存されてもよい。又、メモリスティック１７１及びディスク１７２は、コンピュータ可読媒体の例であり、コンピュータ可読媒体は、その上部に記録されたプログラムを有し、この場合に、プログラムは、コンピュータに図３１との関連において上述した動作を実行させるように構成されている。

図３１との関連において上述した動作について更に十分に理解するために、図３２〜図３４を参照し、更に詳細に説明することとする。

Ｘからの形状は、画像処理における一般的な課題である。一例は、シェーディングからの形状であり、この場合には、表面は、均一な反射を有するものと仮定されており、且つ、強度の変動を使用して深さ情報を得ることができる。

図３２は、時間に伴う４つの異なる形状（上部行）及びそれらの対応するＴＴＩ信号を示している。これらの場合には、簡潔性を目的として、本発明者らは、センサの半分のみを使用している。上部行の破線は、基準距離、即ち、衝突点までの距離を表している。下部行の破線は、本発明者らが衝突点と同一の距離に平坦な表面を有する場合のＴＴＩ信号を表している。下部部分の実線は、上部表面からのＴＴＩ信号を表している。

図３３は、特定時点における表面を示している。点Ｃは、本発明者らがＴ１においてＴＴＩを算出する際に本発明者らが観察しうる最も右側の点である。点Ｂは、次のＴＴＩ演算であるＴ２における最も右側の点である。点Ａは、画像の中心である。ΔＴ２１は、Ｔ１とＴ２との間の差であるセグメントのＴＴＩである。角度αｍは、レンズの開口である。
ここで、本発明者らは、Ｔ２、角度、消失セグメント、及び（２）からの２つのサンプルの間の時間Ｔｄの観点において、次のようにＴ１を表現することができる。

２つのＴＴＩの間の差は、次式のように表現することができる。

従って、２つのＴＴＩ値の間の差は、サンプリング時間に、差分セグメントのＴＴＩと第２ＴＴＩ値の間の差を加えたものである。この差は、ＴＴＩ値Ｔ２がＴ１に対応した位置において占めている視野に対応する係数により、重み付けされる。本発明者らが垂直面に向かって進んでいる場合には、ΔＴ２１及びＴ２は等しく、差Ｉであり、当然のことながら、これは、Ｔｄである。

ＴＴＩの２次導関数を示す図３４は、図３２と同一のＴＴＩ関数と、（２０）におけるその対応する微分と、を示している。

本発明者らは、本発明者らが既知の値Ｔｄを差から減算した際に、（２０）における微分からの出力を調査することができる。

この差が、負である場合には、本発明者らは、図３４のケースＡ又はＢを得ることになり、さもなければ、本発明者らは、ケースＣ又はＤを得る。本発明者らが、式（２１）の傾向を調査する場合には、即ち、２次導関数を実行する際には、本発明者らは、ＡとＢの間及びＣとＤの間を弁別することができる。

本発明者らは、以上において、センサ近接画像処理（ＮＳＩＰ：Near-Sensor Image Processing）の概念における衝突までの時間を使用したロボット視覚用のいくつかの新しいアルゴリズムを提示した。第１に、本発明者らは、本発明者らが物体に対する絶対速度又は距離を知っていない場合にも、カメラが接近している物体の垂直面に対する角度を演算できることを示した。この場合に、本発明者らは、視野を右視野と左視野に分割するための方法を使用した。２つの側のＴＴＩ値の差は、スロープを演算するために十分なものである。次に、本発明者らは、２つのカメラ設定を使用することにより、絶対距離及び絶対速度を取得可能であることを示した。ステレオカメラシステムが絶対距離を演算できるということは、既知の事実である。このアルゴリズムの興味深い部分は、２つのカメラの間における任意のピクセル又は物体の相関を必要としていないという点にある。この演算が実行可能となるために、本発明者らは、物体が垂直面に対して非ゼロの角度を有することを必要としている。例えば、自律型ロボット視覚の用途においては、深さを得るべく、カメラをわずかに左又は右に回転させることができる。

「含む（comprise）」又は「含んでいる（comprising）」という用語を使用する際には、非限定的なものとして、即ち、「少なくとも〜から構成されている」を意味するものとして、解釈されたい。

本明細書の実施形態は、上述の好適な実施形態に限定されるものではない。様々な代替形態、変更形態、及び均等物が使用されてもよい。従って、上述の実施形態は、添付の特許請求の範囲によって定義されている本発明の範囲を限定するものと解釈してはならない。

概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。 概略図である。

動作２７０１
任意選択の動作であるこの動作においては、第１及び第２画像検知回路のペアが、非ゼロのスロープ角を実現するように、回転及び／又は傾斜させられてもよい。即ち、それゆえ、第１及び第２画像検知回路のペアに対して非ゼロのスロープ角を有する面で、物体は第１及び第２画像検知回路のペアに面している。これは、少なくとも第１及び第２画像検知回路のペアに対してゼロのスロープ角を有する面で、物体が第１及び第２画像検知回路のペアに面している場合になされてもよい。

動作２７０２
この動作においては、第１画像検知回路と物体の間の第１衝突時間Ｔ１と第２衝突時間Ｔ２が、第１画像検知回路によって検知された画像フレームを用いて、演算される。第１衝突時間Ｔ１は、前記第１画像検知回路の分割された視野の第１視野Ａに基づいて演算される。第２衝突時間Ｔ２は、分割された視野の第２視野Ｂに基づいて演算される。

動作２７０３
この動作においては、第２画像検知回路と前記物体の間の第３衝突時間Ｔ３は、第２画像検知回路によって検知された画像フレームを用いて、演算される。

動作２７０４
この動作においては、前記絶対速度ｖ０及び／又は絶対距離Ｈ０は、第１衝突時間Ｔ１、第２衝突時間Ｔ２、第３衝突時間Ｔ３、第１及び第２画像検知回路を隔てている距離Ｄ、及び前記視野と関連付けられた開放角２＊αに基づいて演算される。

本発明者らは、以上において、センサ近接画像処理（ＮＳＩＰ：Near-Sensor Image Processing）の概念における衝突までの時間を使用したロボット視覚用のいくつかの新しいアルゴリズムを提示した。第１に、本発明者らは、本発明者らが物体に対する絶対速度又は距離を知っていない場合にも、カメラが接近している物体の垂直面に対する角度を演算できることを示した。この場合に、本発明者らは、視野を右視野と左視野に分割するための方法を使用した。２つの側のＴＴＩ値の差は、スロープを演算するために十分なものである。次に、本発明者らは、２つのカメラ設定を使用することにより、絶対距離及び絶対速度を取得可能であることを示した。ステレオカメラシステムが絶対距離を演算できるということは、既知の事実である。このアルゴリズムの興味深い部分は、２つのカメラの間における任意のピクセル又は物体の相関を必要としていないという点にある。この演算が実行可能となるために、本発明者らは、物体が垂直面に対して非ゼロの角度を有することを必要としている。例えば、自律型ロボット視覚の用途においては、深さを得るべく、カメラをわずかに左又は右に回転させることができる。

「含む（comprise）」又は「含んでいる（comprising）」という用語を使用する際には、非限定的なものとして、即ち、「少なくとも〜から構成されている」を意味するものとして、解釈されたい。

本明細書の実施形態は、上述の好適な実施形態に限定されるものではない。様々な代替形態、変更形態、及び均等物が使用されてもよい。従って、上述の実施形態は、添付の特許請求の範囲によって定義されている本発明の範囲を限定するものと解釈してはならない。

なお本明細書から、特許請求の範囲に記載された発明のほか、以下の発明群の概念を導き出すことができる。

方法としての第２発明
少なくとも部分的に、物体を撮像する画像検知回路２６４０に向かって又はこの画像検知回路２６４０から離れるように相対移動する物体２６５０の表面であって、前記画像検知回路と対向している表面のスロープ角βを演算する方法であって、
− 前記画像検知回路によって検知された画像フレームを使用することにより、前記画像検知回路と前記物体との間の第１衝突時間Ｔ１及び第２衝突時間Ｔ２を演算するステップ２４０１であって、前記第１衝突時間は、前記画像検知回路の分割された視野の第１視野Ａに基づいて演算され、且つ、前記第２衝突時間は、前記分割された視野の第２視野Ｂに基づいて演算される、ステップ２４０１と、
− 前記演算された第１衝突時間、前記第２衝突時間、及び前記視野と関連付けられた開放角２＊αに基づいて前記スロープ角を演算するステップ２４０２と、
を有する方法。

この第２発明の好適な態様は以下の通りである。
（１）前記演算されたスロープ角βは、

に対応し、βは前記スロープ角であり、Ｔ１は前記第１衝突時間であり、Ｔ２は前記第２衝突時間であり、且つ、αは前記開放角の半分である、第２発明としての方法。
（２）前記第１衝突時間Ｔ１及び前記第２衝突時間Ｔ２の前記演算は、並行して実行される、第２発明としての方法。
（３）前記第１衝突時間Ｔ１及び前記第２衝突時間Ｔ２の前記演算は、請求項１〜１０のいずれか一項に記載の方法に従って実行される、第２発明としての方法。

また、この方法に関係する発明群には次のようなものがある。
第２発明としての方法を実行するソフトウェアを有するコンピュータの内部メモリに読み込み可能なコンピュータプログラム。
プログラムが記録されたコンピュータ可読媒体であって、前記プログラムは、前記プログラムが前記コンピュータに読み込まれた際に前記コンピュータに、第２発明としての方法を実行させるように構成されている、コンピュータ可読媒体。
第２発明としての方法を実行するように構成されたコンピュータ。

装置としての第２発明
少なくとも部分的に、物体を撮像する画像検知回路に向かって又はこの画像検知回路から離れるように相対移動する前記物体の表面であって、前記画像検知回路と対向している表面のスロープ角を演算する装置２６００であって、
前記画像検知回路によって検知された画像フレームを使用することにより、前記画像検知回路と前記物体との間の第１衝突時間Ｔ１及び第２衝突時間Ｔ２を演算するように構成された第１演算回路２６１１であって、前記第１衝突時間は、前記画像検知回路の分割された視野の第１視野に基づいて演算され、且つ、前記第２衝突時間は、前記分割された視野の第２視野に基づいて演算される、第１演算回路２６１１と、
前記演算された第１衝突時間Ｔ１、前記第２衝突時間Ｔ２、及び前記視野と関連付けられた個々の開放角２＊αに基づいて前記スロープ角を演算するように構成された第２演算回路２６１２と、
を有する装置。

この装置に関する好適な態様は以下の通りである。
（１）前記第１衝突時間Ｔ１及び前記第２衝突時間Ｔ２の前記演算に関与するように構成された請求項１４〜２５のいずれか一項に記載の装置を有する、第２発明としての装置。
（２）第２発明としての装置を有するロボット。

方法としての第３発明
少なくとも部分的に、物体を撮像する第１及び第２画像検知回路３０４１、３０４２のペア３０４０に向かって又はこのペア３０４０から離れるように相対移動する前記物体３０５０に対する絶対距離ｖ０及び／又は絶対距離Ｈ０を演算する方法であって、
− 前記第１画像検知回路によって検知された画像フレームを使用することにより、前記第１画像検知回路と前記物体との間の第１衝突時間Ｔ１及び第２衝突時間Ｔ２を演算するステップ２７０２であって、前記第１衝突時間は、前記第１画像検知回路の分割された視野の第１視野Ａに基づいて演算され、且つ、前記第２衝突時間は、前記分割された視野の第２視野に基づいて演算される、ステップと、
− 前記第２画像検知回路によって検知された画像フレームを使用することにより、前記第２画像検知回路と前記物体との間の第３衝突時間を演算するステップ２７０３と、
− 前記第１衝突時間Ｔ１、前記第２衝突時間Ｔ２、前記第３衝突時間Ｔ３、前記第１及び第２画像検知回路を隔てている距離Ｄ、及び前記視野と関連付けられた開放角２＊αに基づいて前記絶対速度ｖ０及び／又は前記絶対距離Ｈ０を演算するステップ２７０４と、
を有する方法。

この第３発明の好適な態様は以下の通りである。
（１）前記第１衝突時間Ｔ１及び前記第２衝突時間Ｔ２及び／又は前記第３衝突時間Ｔ３の前記演算は、並行して実行される、第３発明としての方法。
（２）前記演算された絶対速度は、

に対応し、ｖ０は前記絶対速度であり、Ｄは前記第１及び第２画像検知回路を隔てている距離であり、αは前記開放角の半分であり、Ｔ１は前記第１衝突時間であり、Ｔ２は前記第２衝突時間であり、且つ、Ｔ３は前記第３衝突時間である、第３発明としての方法。
（３）前記演算された絶対距離は、

に対応し、Ｈ０は前記絶対距離であり、Ｄは前記第１及び第２画像検知回路を隔てている距離であり、αは前記開放角の半分であり、Ｔ１は前記第１衝突時間であり、Ｔ２は前記第２衝突時間であり、且つ、Ｔ３は前記第３衝突時間である、第３発明としての方法。
（４）前記第１衝突時間Ｔ１及び前記第２衝突時間Ｔ２及び／又は前記第３衝突時間Ｔ３の前記演算は、請求項１〜１０のいずれか一項に記載の方法に従って実行される、第３発明としての方法。
（５）少なくとも、前記画像検知回路のペアとの関係においてゼロのスロープ角を有する表面によって前記物体が前記画像検知回路のペアと対向している際に、前記画像検知回路のペアとの関係において前記表面の非ゼロのスロープ角が結果的に得られるように、前記画像検知回路のペアを回転及び／又は傾斜させるステップ２７０１を更に有する、第３発明としての方法。

また、この方法に関係する発明群には次のようなものがある。
第３発明としての方法を実行するソフトウェアを有するコンピュータの内部メモリに読み込み可能であるコンピュータプログラム。
プログラムが記録されたコンピュータ可読媒体であって、前記プログラムは、前記プログラムが前記コンピュータに読み込まれた際に前記コンピュータに第３発明としての方法を実行させるように構成されている、コンピュータ可読媒体。
第３発明としての方法を実行するように構成されたコンピュータ。

装置としての第３発明
少なくとも部分的に、物体を撮像する第１及び第２画像検知回路３０４１、３０４２のペア３０４０に向かって又はこのペア３０４０から離れるように相対移動する前記物体に対する絶対速度ｖ０及び／又は絶対距離Ｈ０を演算する装置３０００であって、
前記第１画像検知回路によって検知された画像フレームを使用することにより、前記第１画像検知回路と前記物体との間の第１衝突時間Ｔ１及び第２衝突時間Ｔ２を演算するように構成された第１演算回路３０１１であって、前記第１衝突時間は、前記第１検知回路の分割された視野の第１視野に基づいて演算され、且つ、前記第２衝突時間は、前記分割された視野の第２視野に基づいて演算される、第１演算回路３０１１と、
前記第２画像検知回路によって検知された画像フレームを使用することにより、前記第２画像検知回路と前記物体との間の第３衝突時間を演算するように構成された第２演算回路３０１２と、
前記第１衝突時間Ｔ１、前記第２衝突時間Ｔ２、前記第３衝突時間Ｔ３、前記第１及び第２画像検知回路を隔てている距離Ｄ、及び前記視野と関連付けられた開放角２＊αに基づいて前記絶対速度ｖ０及び／又は前記絶対距離Ｈ０を演算するように構成された第３演算回路３０１３と、
を有する装置。

この装置に関する好適な態様は以下の通りである。
（１）少なくとも前記画像検知回路のペアとの関係においてゼロのスロープ角を有する表面によって前記物体が前記画像検知回路のペアと対向している際に、前記画像検知回路のペアとの関係において前記表面の非ゼロのスロープ角が結果的に得られるように構成された回転及び／又は傾斜制御回路３０１４を更に有する、第３発明としての装置。
（２）前記第１衝突時間Ｔ１及び前記第２衝突時間Ｔ２の前記演算及び／又は前記第３衝突時間Ｔ３の前記演算に関与するように構成された請求項１４〜２５のいずれか一項に記載の１つ又は複数の装置を有する、第３発明としての装置。

また、この装置に関係する発明群には次のようなものがある。
第３発明としての装置を有するロボット。

Claims (58)

1. 画像検知回路（２１４０）と少なくとも部分的に前記画像検知回路に向かって又は前記画像検知回路から離れるように相対移動する物体（２１５０）との間の衝突時間を演算することを可能にする方法であって、
   − 前記画像検知回路によって検知された画像フレームであって前記物体を撮像している画像フレームのシーケンス（１．．Ｎ）の個々の画像フレームと関連付けられた画像データを受け取るステップ（３０１）と、
   − 複数の画像位置のそれぞれの画像位置（ｉ）ごとに、前記画像フレームのシーケンス（１．．Ｎ）内の連続的に発生する局所的極値点の最大持続時間を示す個々の持続時間値（ｆ（ｉ））を演算するステップ（３０２）と、
   を有する方法。
2. 前記持続時間値は、前記シーケンス内の連続的に発生する局所的極値点の最大数である請求項１に記載の方法。
3. − 前記持続時間値（ｆ（ｉ））の合計（Σｆ（ｉ））を演算するステップ（３０３）を更に有する請求項１又は２に記載の方法。
4. − スケールファクタ（ｃ）によって乗算された前記合計の逆数（１／Σｆ（ｉ））に基づいてスロープ値（ｋ）を演算するステップ（３０４）であって、ここで前記スロープ値（ｋ）が、
   

   

   に対応し、ｃは前記スケールファクタであり、且つ、Σｆ（ｉ）は前記持続時間値（ｆ（ｉ））の前記合計である、演算ステップ、又は、
   − ｉに応じて前記ｆ（ｉ）値のラインをフィッティングすることにより、このラインのスロープに対応するスロープ値（ｋ）を演算するステップ、
   を更に有する請求項３に記載の方法。
5. 前記スケールファクタ（ｃ）は、
   

   

   に対応し、ｉは前記複数の画像位置の個々の画像位置である請求項４に記載の方法。
6. − 前記複数の画像位置の中心画像位置（ｉ_{ｃｅｎｔｒｅ}）との関係において前記演算された最大持続時間値（ｆ（ｉ））のうちの最大持続時間値の画像位置（ｉ_ｍａｘ）のオフセットを示すオフセット値（δ）を演算するステップ（３０５）を更に有し、
   ここで、前記スケールファクタ（ｃ）は、
   

   

   に対応し、ｉは前記複数の画像位置の個々の画像位置であり、且つ、δは前記オフセット値である請求項４に記載の方法。
7. − 前記演算されたスロープ値（ｋ）を使用することによって前記衝突時間を演算するステップ（３０６）を更に有し、
   ここで、前記衝突時間（Ｔ_Ｉ）は、
   

   

   に対応し、ｋは前記演算されたスロープ値であり、Ｔは前記画像フレームのサンプル周期である請求項４〜６のいずれか一項に記載の方法。
8. 前記複数の画像位置は、すべてのピクセル位置のサブセットに対応している請求項１〜７のいずれか一項に記載の方法。
9. 前記複数の画像位置は、すべてのピクセル位置の間において、又は、少なくとも対象のエリア内のすべてのピクセル位置の間において、均一に分散されている請求項１〜８のいずれか一項に記載の方法。
10. 前記複数の画像位置のそれぞれの画像位置は、個々のピクセル位置と関連付けられている請求項１〜９のいずれか一項に記載の方法。
11. 請求項１〜１０のいずれか一項に記載の方法を実行するソフトウェアを有するコンピュータ（１７６）の内部メモリに読み込み可能であるコンピュータプログラム製品（１７３）。
12. プログラムが記録されたコンピュータ可読媒体（１７１、１７２）であって、
    前記プログラムは、前記プログラムが前記コンピュータに読み込まれた際に請求項１〜１０のいずれか一項に記載の方法を前記コンピュータに実行させるように構成されているコンピュータ可読媒体。
13. 請求項１〜１０のいずれか一項に記載の方法を実行するように構成されたコンピュータ（１７６）。
14. 画像検知回路（２１４０）と少なくとも部分的に前記画像検知回路に向かって又は前記画像検知回路から離れるように相対移動する物体（２１５０）との間の衝突時間を演算することを可能にする装置（２１）であって、
    前記画像検知回路によって検知された画像フレームであって前記物体を撮像している画像フレームのシーケンス（１．．Ｎ）の個々の画像フレームと関連付けられたデータを撮像するように構成された受取りポート（２１２０）と、
    複数の画像位置のそれぞれの画像位置（ｉ）ごとに、前記画像フレームのシーケンス（１．．Ｎ）内にて連続的に発生する局所的極値点の最大持続時間を示す個々の最大持続時間値（ｆ（ｉ））を演算するように構成された第１演算回路（２１１１）と、
    を有する装置（２１）。
15. 前記持続時間値は、前記シーケンス内の連続的に発生する局所的極値点の最大数である請求項１４に記載の装置。
16. 前記持続時間値（ｆ（ｉ））の合計（Σｆ（ｉ））を演算するように構成された第２演算回路（２１１２）を更に有する請求項１４又は１５に記載の装置。
17. スケールファクタ（ｃ）によって乗算された前記合計の逆数（１／Σｆ（ｉ））に基づいてスロープ値（ｋ）を演算するように構成された第３演算回路（２１１３）を更に有し、
    ここで、前記スロープ（ｋ）は、
    

    

    に対応し、ｃは前記スケールファクタであり、且つ、Σｆ（ｉ）は前記持続時間値（ｆ（ｉ））の前記合計である請求項１６に記載の装置。
18. 前記スケールファクタ（ｃ）は、
    

    

    に対応し、ｉは前記複数の画像位置の個々の画像位置である請求項１７に記載の装置。
19. 前記複数の画像位置の中心画像位置（ｉ_{ｃｅｎｔｒｅ}）との関係において前記演算された最大持続時間値（ｆ（ｉ））のうちの最大持続時間値の画像位置（ｉ_ｍａｘ）のオフセットを示すオフセット値（δ）を演算するように構成された第４演算回路（２１１４）を更に有し、
    ここで、前記スケールファクタ（ｃ）は、
    

    

    に対応し、ｉは前記複数の画像位置の個々の画像位置であり、且つ、δは前記オフセット値である請求項１７に記載の装置。
20. 前記演算されたスロープ値（ｋ）を使用することによって前記衝突時間を演算するように構成された第５演算回路（２１１５）を更に有し、
    ここで、前記衝突時間（Ｔ_Ｉ）は、
    

    

    に対応し、ｋは演算されたスロープ値であり、且つ、Ｔは前記画像フレームのサンプル周期である請求項１７〜１９のいずれか一項に記載の装置。
21. 前記複数の画像位置は、すべてのピクセル位置のサブセットに対応している請求項１７〜２０のいずれか一項に記載の装置。
22. 前記複数の画像位置は、すべてのピクセル位置の間において、又は、少なくとも対象エリア内のすべてのピクセル位置の間において、均一に分散されている請求項１４〜２１のいずれか一項に記載の装置。
23. 前記複数の画像位置のそれぞれの画像位置は、個々のピクセル位置と関連付けられている請求項１４〜２２のいずれか一項に記載の装置。
24. 前記シーケンスの前記画像フレームを検知するように構成された前記画像検知回路（２１４０）を更に有する請求項１４〜２３のいずれか一項に記載の装置。
25. 前記画像検知回路（２１４０）は、検知要素（２３４１−１〜２３４１−Ｋ１）を有し、これら検知要素のそれぞれは、ピクセル位置と関連付けられ、且つ、光を捕捉するように構成されており、それぞれの検知要素は、捕捉された光に応答して、ピクセルに対応した局所的画像データを提供するように更に構成されており、前記第１演算回路（２１１１）は、演算要素（２１１１−１〜２１１１−Ｋ）を有し、それぞれの演算要素は、１つの検知要素又は検知要素のグループと関連付けられ、且つ、これにより、１つ又は複数のピクセル位置にも対応しており、前記複数の画像位置の１つに対応する１つ又は複数のピクセル位置と関連付けられた演算要素は、前記関連付けられた１つ又は複数の検知要素からの局所的画像データに基づいて前記個々の持続時間値（ｆ（ｉ））を演算するように構成されている請求項２４に記載の装置。
26. 少なくとも部分的に、物体を撮像する画像検知回路（２６４０）に向かって又はこの画像検知回路（２６４０）から離れるように相対移動する物体（２６５０）の表面であって、前記画像検知回路と対向している表面のスロープ角（β）を演算する方法であって、
    − 前記画像検知回路によって検知された画像フレームを使用することにより、前記画像検知回路と前記物体との間の第１衝突時間（Ｔ１）及び第２衝突時間（Ｔ２）を演算するステップ（２４０１）であって、前記第１衝突時間は、前記画像検知回路の分割された視野の第１視野（Ａ）に基づいて演算され、且つ、前記第２衝突時間は、前記分割された視野の第２視野（Ｂ）に基づいて演算される、ステップ（２４０１）と、
    − 前記演算された第１衝突時間、前記第２衝突時間、及び前記視野と関連付けられた開放角（２＊α）に基づいて前記スロープ角を演算するステップ（２４０２）と、
    を有する方法。
27. 前記演算されたスロープ角（β）は、
    

    

    に対応し、βは前記スロープ角であり、Ｔ１は前記第１衝突時間であり、Ｔ２は前記第２衝突時間であり、且つ、αは前記開放角の半分である請求項２６に記載の方法。
28. 前記第１衝突時間（Ｔ１）及び前記第２衝突時間（Ｔ２）の前記演算は、並行して実行される請求項２６又は２７に記載の方法。
29. 前記第１衝突時間（Ｔ１）及び前記第２衝突時間（Ｔ２）の前記演算は、請求項１〜１０のいずれか一項に記載の方法に従って実行される請求項２６〜２８のいずれか一項に記載の方法。
30. 請求項２６〜２９のいずれか一項に記載の方法を実行するソフトウェアを有するコンピュータの内部メモリに読み込み可能なコンピュータプログラム製品。
31. プログラムが記録されたコンピュータ可読媒体であって、
    前記プログラムは、前記プログラムが前記コンピュータに読み込まれた際に前記コンピュータに請求項２６〜２９のいずれか一項に記載の方法を実行させるように構成されている、コンピュータ可読媒体。
32. 請求項２６〜２９のいずれか一項に記載の方法を実行するように構成されたコンピュータ。
33. 少なくとも部分的に、物体を撮像する画像検知回路に向かって又はこの画像検知回路から離れるように相対移動する前記物体の表面であって、前記画像検知回路と対向している表面のスロープ角を演算する装置（２６００）であって、
    前記画像検知回路によって検知された画像フレームを使用することにより、前記画像検知回路と前記物体との間の第１衝突時間（Ｔ１）及び第２衝突時間（Ｔ２）を演算するように構成された第１演算回路（２６１１）であって、前記第１衝突時間は、前記画像検知回路の分割された視野の第１視野に基づいて演算され、且つ、前記第２衝突時間は、前記分割された視野の第２視野に基づいて演算される、第１演算回路（２６１１）と、
    前記演算された第１衝突時間（Ｔ１）、前記第２衝突時間（Ｔ２）、及び前記視野と関連付けられた個々の開放角（２＊α）に基づいて前記スロープ角を演算するように構成された第２演算回路（２６１２）と、
    を有する装置。
34. 前記第１衝突時間（Ｔ１）及び前記第２衝突時間（Ｔ２）の前記演算に関与するように構成された請求項１４〜２５のいずれか一項に記載の装置を有する請求項３３に記載の装置。
35. 請求項３３又は３４に記載の装置を有するロボット。
36. 少なくとも部分的に、物体を撮像する第１及び第２画像検知回路（３０４１、３０４２）のペア（３０４０）に向かって又はこのペア（３０４０）から離れるように相対移動する前記物体（３０５０）に対する絶対距離（ｖ０）及び／又は絶対距離（Ｈ０）を演算する方法であって、
    − 前記第１画像検知回路によって検知された画像フレームを使用することにより、前記第１画像検知回路と前記物体との間の第１衝突時間（Ｔ１）及び第２衝突時間（Ｔ２）を演算するステップ（２７０２）であって、前記第１衝突時間は、前記第１画像検知回路の分割された視野の第１視野（Ａ）に基づいて演算され、且つ、前記第２衝突時間は、前記分割された視野の第２視野に基づいて演算される、ステップと、
    − 前記第２画像検知回路によって検知された画像フレームを使用することにより、前記第２画像検知回路と前記物体との間の第３衝突時間を演算するステップ（２７０３）と、
    − 前記第１衝突時間（Ｔ１）、前記第２衝突時間（Ｔ２）、前記第３衝突時間（Ｔ３）、前記第１及び第２画像検知回路を隔てている距離（Ｄ）、及び前記視野と関連付けられた開放角（２＊α）に基づいて前記絶対速度（ｖ０）及び／又は前記絶対距離（Ｈ０）を演算するステップ（２７０４）と、
    を有する方法。
37. 前記第１衝突時間（Ｔ１）及び前記第２衝突時間（Ｔ２）及び／又は前記第３衝突時間（Ｔ３）の前記演算は、並行して実行される請求項３６に記載の方法。
38. 前記演算された絶対速度は、
    

    

    に対応し、ｖ０は前記絶対速度であり、Ｄは前記第１及び第２画像検知回路を隔てている距離であり、αは前記開放角の半分であり、Ｔ１は前記第１衝突時間であり、Ｔ２は前記第２衝突時間であり、且つ、Ｔ３は前記第３衝突時間である請求項３６又は３７に記載の方法。
39. 前記演算された絶対距離は、
    

    

    に対応し、Ｈ０は前記絶対距離であり、Ｄは前記第１及び第２画像検知回路を隔てている距離であり、αは前記開放角の半分であり、Ｔ１は前記第１衝突時間であり、Ｔ２は前記第２衝突時間であり、且つ、Ｔ３は前記第３衝突時間である請求項３６〜３８のいずれか一項に記載の方法。
40. 前記第１衝突時間（Ｔ１）及び前記第２衝突時間（Ｔ２）及び／又は前記第３衝突時間（Ｔ３）の前記演算は、請求項１〜１０のいずれか一項に記載の方法に従って実行される請求項３６〜３９のいずれか一項に記載の方法。
41. − 少なくとも、前記画像検知回路のペアとの関係においてゼロのスロープ角を有する表面によって前記物体が前記画像検知回路のペアと対向している際に、前記画像検知回路のペアとの関係において前記表面の非ゼロのスロープ角が結果的に得られるように、前記画像検知回路のペアを回転及び／又は傾斜させるステップ（２７０１）を更に有する請求項３６〜４０のいずれか一項に記載の方法。
42. 請求項３６〜４１のいずれか一項に記載の方法を実行するソフトウェアを有するコンピュータの内部メモリに読み込み可能であるコンピュータプログラム製品。
43. プログラムが記録されたコンピュータ可読媒体であって、
    前記プログラムは、前記プログラムが前記コンピュータに読み込まれた際に前記コンピュータに請求項３６〜４１のいずれか一項に記載の方法を実行させるように構成されている、コンピュータ可読媒体。
44. 請求項３６〜４１のいずれか一項に記載の方法を実行するように構成されたコンピュータ。
45. 少なくとも部分的に、物体を撮像する第１及び第２画像検知回路（３０４１、３０４２）のペア（３０４０）に向かって又はこのペア（３０４０）から離れるように相対移動する前記物体に対する絶対速度（ｖ０）及び／又は絶対距離（Ｈ０）を演算する装置（３０００）であって、
    前記第１画像検知回路によって検知された画像フレームを使用することにより、前記第１画像検知回路と前記物体との間の第１衝突時間（Ｔ１）及び第２衝突時間（Ｔ２）を演算するように構成された第１演算回路（３０１１）であって、前記第１衝突時間は、前記第１検知回路の分割された視野の第１視野に基づいて演算され、且つ、前記第２衝突時間は、前記分割された視野の第２視野に基づいて演算される、第１演算回路（３０１１）と、
    前記第２画像検知回路によって検知された画像フレームを使用することにより、前記第２画像検知回路と前記物体との間の第３衝突時間を演算するように構成された第２演算回路（３０１２）と、
    前記第１衝突時間（Ｔ１）、前記第２衝突時間（Ｔ２）、前記第３衝突時間（Ｔ３）、前記第１及び第２画像検知回路を隔てている距離（Ｄ）、及び前記視野と関連付けられた開放角（２＊α）に基づいて前記絶対速度（ｖ０）及び／又は前記絶対距離（Ｈ０）を演算するように構成された第３演算回路（３０１３）と、
    を有する装置。
46. 少なくとも前記画像検知回路のペアとの関係においてゼロのスロープ角を有する表面によって前記物体が前記画像検知回路のペアと対向している際に、前記画像検知回路のペアとの関係において前記表面の非ゼロのスロープ角が結果的に得られるように構成された回転及び／又は傾斜制御回路（３０１４）を更に有する請求項４５に記載の装置。
47. 前記第１衝突時間（Ｔ１）及び前記第２衝突時間（Ｔ２）の前記演算及び／又は前記第３衝突時間（Ｔ３）の前記演算に関与するように構成された請求項１４〜２５のいずれか一項に記載の１つ又は複数の装置を有する請求項４５又は４６に記載の装置。
48. 請求項４５〜４７のいずれか一項に記載の装置を有するロボット。
49. 少なくとも部分的に、物体を撮像する画像検知回路に向かって又はこの画像検知回路から離れるように相対移動する前記物体の形状を判定する方法であって、
    − 連続的に検知されたフレームを分離する検知周期（Ｔｄ）を有する前記画像検知回路によって検知された画像フレームを使用することにより、前記画像検知回路と前記物体との間の第１衝突時間（Ｔ１）を演算するステップ（３１０３）と、
    − 連続的に検知されたフレームを分離する前記検知周期（Ｔｄ）を有する前記画像検知回路によって検知された画像フレームを使用することにより、前記画像検知回路と前記物体との間の第２衝突時間（Ｔ２）を演算するステップ（３１０２）と、
    − 前記検知周期（Ｔｄ）に加算された前記衝突時間（Ｔ１）と前記第２衝突時間（Ｔ２）との間の差を演算するステップ（３１０４）と、
    − 前記差に基づいて前記物体の前記形状を判定するステップと、
    を有する方法。
50. 前記形状は、前記差の符号に基づいて判定される請求項４９に記載の方法。
51. 前記形状は、既定の形状のグループから判定される請求項４９又は５０に記載の方法。
52. 前記第１衝突時間（Ｔ１）及び／又は前記第２衝突時間（Ｔ２）の前記演算は、請求項１〜１０のいずれか一項に記載の方法に従って実行される請求項４９〜５１のいずれか一項に記載の方法。
53. 請求項４９〜５２のいずれか一項に記載の方法を実行するソフトウェアを有するコンピュータの内部メモリに読み込み可能であるコンピュータプログラム製品。
54. プログラムが記録されたコンピュータ可読媒体であって、
    前記プログラムは、前記プログラムが前記コンピュータに読み込まれた際に前記コンピュータに請求項４９〜５２のいずれか一項に記載に方法を実行させるように構成されている、コンピュータ可読媒体。
55. 請求項４９〜５２のいずれか一項に記載の方法を実行するように構成されたコンピュータ。
56. 少なくとも部分的に、物体を撮像する画像検知回路に向かって又はこれから離れるように相対移動する前記物体の形状を判定する装置であって、
    連続的に検知されたフレームを隔てている検知周期（Ｔｄ）を有する前記画像検知回路によって検知された画像フレームを使用することにより、前記画像検知回路と前記物体との間の第１衝突時間（Ｔ１）を演算するように構成された第１演算回路と、
    連続的に検知されたフレームを隔てている前記検知周期（Ｔｄ）を有する前記画像検知回路によって検知された画像フレームを使用することにより、前記画像検知回路と前記物体との間の第２衝突時間（Ｔ２）を演算するように構成された第２演算回路と、
    前記検知周期（Ｔｄ）に加算された前記衝突時間（Ｔ１）と前記第２衝突時間（Ｔ２）との間の差を演算するように構成された第３演算回路と、
    前記差に基づいて前記物体の前記形状を判定するように構成された判定回路と
    を有する装置。
57. 前記第１衝突時間（Ｔ１）及び／又は前記第２衝突時間（Ｔ２）の前記演算に関与するように構成された請求項１４〜２５のいずれか一項に記載の装置を有する請求項５６に記載の装置。
58. 請求項５６又は５７に記載の装置を有するロボット。

Images