JP2003515827A - 輸送手段の動きのパスに沿って記録された連続イメージを使用して、移動する輸送手段のエゴモーションを予測するためのシステムおよび方法 - Google Patents
輸送手段の動きのパスに沿って記録された連続イメージを使用して、移動する輸送手段のエゴモーションを予測するためのシステムおよび方法Info
- Publication number
- JP2003515827A JP2003515827A JP2001540712A JP2001540712A JP2003515827A JP 2003515827 A JP2003515827 A JP 2003515827A JP 2001540712 A JP2001540712 A JP 2001540712A JP 2001540712 A JP2001540712 A JP 2001540712A JP 2003515827 A JP2003515827 A JP 2003515827A
- Authority
- JP
- Japan
- Prior art keywords
- image
- equation
- vehicle
- motion
- road
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
- G01S5/163—Determination of attitude
Abstract
(57)【要約】
【課題】 輸送手段の動きのパスに沿って記録された連続記録イメージを使用してエゴモーションを予測するための新しく、かつ、改善したシステムおよび方法を提供すること。
【解決手段】 エゴモーション予測システム１２は、イメージ情報レシーバであるカメラ１０およびプロセッサ１４を含んでいる。カメラ１３は、輸送手段１０が道路１１に沿って移動するとき記録される、一連の少なくとも２つのイメージに関連するイメージ情報を受け取るように構成されている。また、プロセッサ１４は、イメージレシーバによって受け取られたイメージ情報を処理し、例えば連続するイメージの間における、その輸送手段の前方向の平行移動および垂直軸に関する回転を含めた輸送手段のエゴモーション予測を生成するように構成されている。
Description
【発明の詳細な説明】
【０００１】
（発明の分野）
本発明は、主に移動する輸送手段のエゴモーション（または「セルフモーショ
ン」つまり「それ自体の動き」）を予測するためのシステムおよび方法の分野に
関し、より具体的には、輸送手段の動きのパスに沿って記録された連続記録イメ
ージを使用してエゴモーションを予測するシステムおよび方法に関する。 【０００２】 （発明の背景） 道路と相対的な輸送手段のエゴ（「セルフ」）モーションの正確な予測は、自
律ドライブおよびコンピュータビジョンベースのドライブ補助における重要な要
素である。機械的センサに代えて、コンピュータビジョン技術を使用してドライ
ブ中の補助を提供すれば、機械的なセンサに必要とされるような較正を必要とす
ることなく、輸送手段の動きの予測に使用するために記録された情報を、障害物
の検出、車線の識別等にも使用できるようになる。これは費用および保守の手間
を軽減することになる。 【０００３】 輸送手段のエゴモーションの予測には、いくつかの問題点が存在する。通常、
道路は、特徴点があったとしても、非常にわずかである。また、車線のマーク等
の道路において最も顕著な特徴となるものは、一般的に線形の構造を有している
。これに対し、他の乗物、建物、木等に関連付けられるような背景イメージの構
造は、一般的に多くの特徴点を有する。これが、イメージベースまたは光学フロ
ーベースの予測を困難にすることになる。これに加えて、エゴモーション予測に
関して記録される代表的なイメージには、エゴモーションの予測に役立たないか
、あるいは、予測の低下をもたらす可能性のある大量の「外れ値」情報が含まれ
ている。例えば、道路等の固定構造と相対的なエゴモーションの予測においては
、道路と相対的に移動する物体、例えば、移動する他の輸送手段、さらには作動
中のワイパーのイメージが、エゴモーション予測に関する誤った情報に寄与する
。これに加えて、雨滴、グレア等のイメージの質を低下させる条件も正確なエゴ
モーションの予測を難しくしている。 【０００４】 （発明の要約） 本発明は、輸送手段の動きのパスに沿って記録された連続記録イメージを使用
してエゴモーションを予測するための新しく、かつ、改善したシステムおよび方
法を提供する。 【０００５】 簡単に述べると、本発明は、道路に沿って移動する輸送手段のエゴモーション
に関する予測を生成するためのエゴモーション判定システムを提供する。このエ
ゴモーション判定システムは、イメージ情報レシーバおよびプロセッサを含んで
いる。イメージ情報レシーバは、輸送手段が道路に沿って移動するとき記録され
る、一連の少なくとも２つのイメージに関連するイメージ情報を受け取るように
構成されている。また、プロセッサは、イメージレシーバによって受け取られた
イメージ情報を処理し、例えば、連続するイメージの間における、その輸送手段
の前方向の平行移動および垂直軸に関する回転を含めた輸送手段のエゴモーショ
ン予測を生成するように構成されている。 【０００６】 輸送手段のエゴモーションの予測を生成するためのいくつかの方法を開示する
。 【０００７】 本発明は、添付する特許請求の範囲に詳細に示されている。上記およびその他
の本発明の利点は、添付図面とともに以下の説明を参照することによってより良
好に理解されることになるであろう。 【０００８】 （例示のための実施態様の詳細な説明） 図１は、本発明に従って構成されたエゴモーション予測システム１２を含み、
道路１１の上を移動する輸送手段１０を概略的に示す。輸送手段１０は、道路１
１の上を移動することができる任意の種類の輸送手段１０とすることが可能であ
り、輸送手段１０には、限定する意図ではないが、自動車、トラック、バス等が
含まれる。エゴモーション予測システム１２は、カメラ１３およびエゴモーショ
ン予測システムプロセッサ１４を含む。カメラ１３は、輸送手段１０に搭載され
ており、好ましくは前方、すなわち、輸送手段が通常に移動する方向にあり、道
路の上を当該輸送手段が移動するときの連続するイメージを記録する。好ましく
は、カメラ１３が各イメージを記録するとき、エゴモーション予測システムプロ
セッサ１４にイメージを提供する。一方、エゴモーション予測システムプロセッ
サ１４は、連続イメージから獲得した情報を、可能性としては当該輸送手段の速
度計（個別には図示していない）からの情報といった、その他の情報とともに処
理し、道路１１と相対的な輸送手段のエゴモーション（またはセルフモーション
、つまり「それ自体の動き」）を判定する。エゴモーション予測システムプロセ
ッサ１４は、輸送手段１１内または輸送手段１１上に搭載され、その一部を形成
することもある。エゴモーション予測システムプロセッサ１４によって生成され
るエゴモーション予測は、多くのものに関して使用することができる。エゴモー
ション予測は、障害物および車線の検出に限られず、輸送手段による自律運転、
可能性としては例えば、グローバルポジショニングシステム（「ＧＰＳ」）から
の位置情報や当業者であれば周知の各種の情報発信源からの道路地図情報を用い
た自律運転等を含んでいる。輸送手段１０のエゴモーションの判定においてエゴ
モーション予測システムプロセッサ１４によって実行されるオペレーションにつ
いて、図２および３に示すフローチャートとの関連から説明する。 【０００９】 先に進む前に、図１に示したエゴモーション予測システムプロセッサ１４によ
って実行されるオペレーションの背景知識を説明することが有用であると考えら
れる。一般に、２つのイメージΨおよびΨ’の間において、エゴモーション予測
システムプロセッサ１４は、輸送手段１０に備え付けられたカメラ１３の平行移
動ｔ＝（ｔｘ，ｔｙ，ｔｚ）Ｔおよび回転ｗ＝（ｗｘ，ｗｙ，ｗｚ）Ｔ（ただし
、「Ｔ」は転置演算を表し、ｔｉはそれぞれ「Ｘ」、「Ｙ」および「Ｚ」軸に沿
った平行移動を表し、ｗｉはそれぞれの軸に関する回転を表す）を決定しようと
試みる。カメラ１３は、輸送手段１０に固定されていることから、カメラ１３の
平行移動および回転は、輸送手段１０の平行移動および回転に従う。この場合、
点ｐ＝（ｘ，ｙ）Ｔ（ただし、「ｘ」および「ｙ」は、イメージ内の点または特
徴となるものの座標とする）、すなわち、点Ｐ＝（Ｘ，Ｙ，Ｚ）Ｔ（だたし、「
Ｘ」、「Ｙ」および「Ｚ」は３次元空間におけるその点の座標とする）の投影と
なる点に関するフローベクトル、すなわち、３次元空間における同一点のイメー
ジΨ内の点からイメージΨ’内の点への動きを示すベクトルは、次の（１）式で
示される成分（ｕ，ｖ）を有する。 【００１０】 【数１】 【００１１】 ただし、式（１）における「×」は行列のクロス積を表し、各記号は次の式（
２）により与えられる値を有する。 【００１２】 【数２】 【００１３】 ここで、「ｆ」は、カメラ１３の焦点距離であり、既知であることを前提とし
ている。輸送手段１０が移動する道路は、平面としてモデリングされている。平
面上の点に関する式は次の式（３）に示すようになる。 【００１４】 【数３】 【００１５】 ここで、「Ｘ」軸および「Ｙ」軸は、イメージ平面の水平軸「ｘ」および垂直
軸「ｙ」にそれぞれ対応し、「Ｚ」軸は、イメージ平面に対して垂直になる。カ
メラ１３は、道路に対応するイメージの量を多くし、かつ、その他の特徴となる
もの、例えば、他の交通、建物、木等に対応するイメージの量を少なくするため
に、わずかに下方を向くように傾けられている。この場合、イメージΨおよびΨ
’が、これらのイメージのｚ軸が道路の平面と平行になるように修正されること
になるが、これについては以下に述べる。 【００１６】 式（３）を「Ｚ」で割ると次の式（４）が得られる。 【００１７】 【数４】 【００１８】 ここで、ａ＝Ａ／ｆ、ｂ＝Ｂ／ｆ、かつ、ｃ＝Ｃである。この式（４）を式（
１）に代入することによって、次の式（５）が求まる。 【００１９】 【数５】 【００２０】 この式（５）を展開すると、次の式（６）および（７）が得られる。 【００２１】 【数６】 【００２２】 【数７】 【００２３】 式（６）および（７）は、次の式（８）および（９）によって与えられる平面
と相対的に移動するカメラ１３に関する８パラメータモデルの特殊な場合（「較
正されたカメラ１３」の場合）である。 【００２４】 【数８】 【００２５】 【数９】 【００２６】 フローベクトル（ｕ，ｖ）が与えられれば、パラメータαｉ（ｉ＝１，．．．
，８）が求まり、これらからモーションパラメータｔおよびｗを求めることがで
きる。 【００２７】 式（１）〜（９）に関して説明した上記の方法との関連から１つの問題、すな
わち、決定しなければならない多数のパラメータαｉを前提とすることから、外
れ値を除去するための満足のいく方法を案出することが困難であるという問題が
生じる。この問題は、比較的多数の光学フローベクトル（ｕ，ｖ）を、これらの
パラメータ値の決定に使用する必要があるという事実に起因する。すなわち、こ
れらに対応する数の点が両方のイメージ内に必要となるという事実に起因する。
これに加え、Ｘ軸およびＹ軸に関する回転に起因した光学フローと、Ｘ軸および
Ｚ軸に沿った平行移動に起因した光学フローとのそれぞれの差異を判断すること
も困難である。 【００２８】 したがって、モーションパラメータの数を最少に減らすことが望ましい。道路
に沿った輸送手段１０の動きは、輸送手段１０が前方または後方に移動するとき
には、Ｚ軸に沿った平行移動に拘束され、輸送手段１０のパスが直線コースから
外れるときには、Ｘ軸およびＹ軸に関する回転に拘束されるものとしてモデリン
グ可能である。この場合、式（５）は、次の式（１０）のような形に変形される
。 【００２９】 【数１０】 【００３０】 イメージを修正し、道路の平面とカメラ１３のＸＺ平面が平行になること、す
なわち、カメラ１３の光軸が道路の平面と平行であるかのようなイメージが保証
されれば、式（１０）においてａ＝０、ｃ＝０となり、次の式（１１）が得られ
る。 【００３１】 【数１１】 【００３２】 イメージを修正するためには、カメラ１３の較正を行う必要が生じる。カメラ
１３の較正およびイメージの修正を行う方法については後述する。 【００３３】 式（１１）には、イメージΨおよびΨ’の少なくともいくつかの部分にある点
に関連付けられたフローベクトル（ｕ，ｖ）から決定されることになる３つのモ
ーションパラメータ、すなわち、ｔｚ（Ｚ軸に沿った平行移動）、ｗｘ（Ｘ軸に
関する回転）およびｗｙ（Ｙ軸に関する回転）が存在する。イメージΨおよびΨ
’内の対応する点を見つけること、すなわち、３次元空間におけるそれぞれのイ
メージ内の同一点の投影である点を見つけることは、次の式（１２）により表さ
れる「測光上の拘束」に基づいて行われる。 【００３４】 【数１２】 【００３５】 基本的にこの式は、それぞれのイメージ内への３次元空間における同一点の投
影である、イメージΨ内の点ｐ＝（ｘ，ｙ）ＴおよびイメージΨ’内の点ｐ＝（
ｘ＋ｕδｔ，ｙ＋ｖδｔ）の放射照度または輝度が同じであることを示している
。実際には、ノイズがあることから正確には式（１２）は成立しない。仮に、す
べての点について、ノイズがゼロ平均ガウスノイズとしてモデリングされるとす
れば、式（１２）は、次の式（１３）のように整理され、最大尤度が求められる
ことになる。 【００３６】 【数１３】 【００３７】 式（１３）は、演算集約的となる可能性があり、またこの式の使用に代えて、
式（１１）内に織り込まれた幾何学的拘束と、式（１２）に織り込まれた測光上
の拘束を組み合わせることによって、２つのイメージから直接、モーションパラ
メータｔｚ、ｗｘおよびｗｙを決定することができる。その演算においては、２
つの連続するイメージΨおよびΨ’を前提として、次の式（１４）により表され
る確率、すなわち、２つのイメージが与えられたときの輸送手段１０の動きがｍ
＾＝（ｔｚ，ｗｘ，ｗｙ）である確率を決定することが目標となる。 【００３８】 【数１４】 【００３９】 式（１４）を最大にする動きｍ＾が、２つのイメージΨおよびΨ’間における
カメラ１３の動きの予測であり、したがって、２つのイメージ間における輸送手
段１０の動きの予測となる。 【００４０】 ベイズの規則によれば、次の式（１５）が得られる。 【００４１】 【数１５】 【００４２】 ここでＰ（Ψ’｜Ψ，ｍ＾）は、イメージΨが与えられたとき、動きｍ＾がイ
メージΨ’をもたらす確率であり、Ｐ（ｍ＾）は、その動きがｍ＾であるアプリ
オリな確率であり、かつ、Ｐ（Ψ’）は、そのイメージがΨ’であるアプリオリ
な確率である。ここでは、Ｐ（ｍ＾）、つまり、動きがｍ＾である確率が、直前
の動きの予測、言い換えると「ｉ−１番目」のイメージと「ｉ番目」のイメージ
の間に生成される動きの予測の近傍の小さな領域Ｍ＾において一様であることが
仮定される。ここで認識されるであろうが、イメージΨおよびΨ’が記録される
時間間隔が充分に短いときには、この仮定が妥当性を持つ。さらに、式（１５）
において、分母Ｐ（Ψ’）が動きｍ＾に依存しないこと、したがって、当該分母
が最大値のサーチに影響しないことが認識されるであろう。 【００４３】 イメージΨが与えられたとき、動きｍ＾がイメージΨ’をもたらす確率Ｐ（Ψ
’｜Ψ，ｍ＾）は、ねじられたイメージΨ＾’を生成するために、動きｍ＾に従
ってイメージΨ’をねじることによって決定されるとともに、ねじられたイメー
ジΨ＾’とイメージΨにおいて、道路の投影と考えられるイメージ内の対応する
断片Ｒ、すなわち、領域Ｒの差異の平方の合計（「ＳＳＤ」）を求めることによ
って決定される。 【００４４】 【数１６】 【００４５】 式（１６）において「Ｎ」は領域Ｒ内の点の数を表す。ここで認識されるであ
ろうが、イメージΨおよびΨ’がそれぞれ時間「ｔ」および「ｔ＋δｔ」におい
て記録されるとき、ねじられたイメージΨ＾’は、動きがｍ＾の場合に時間「ｔ
」において記録されたであろうと仮定したイメージを表すことになる。ＳＳＤ評
価基準（式（１６））を使用すると、Ｐ（Ψ’｜Ψ，ｍ＾）、すなわち、イメー
ジΨおよび動きｍ＾がイメージΨ’をもたらす確率は、次の式（１７）の確率密
度関数によって与えられる。 【００４６】 【数１７】 【００４７】 ここで「ｃ」は正規化ファクタであり、「σ」はゼロ平均ガウス関数としてモ
デリングされるノイズの分散である。Ｐ（ｍ＾）、すなわち、その動きがｍ＾で
ある確率が直前の動きの予測近傍の小さい領域Ｍ＾内において一様であると仮定
されることから、イメージΨの断片に関する最大尤度の動きｍ＾を見つける問題
は、ｍ＾∈Ｍ＾に関して次の式（１８）の確率密度関数の最大値を見つけること
に帰着する。 【００４８】 【数１８】 【００４９】 エゴモーション予測システムプロセッサ１４が予測を生成することになる動き
が道路と相対的な輸送手段１０の平行移動および回転の動きであることから、エ
ゴモーション予測システムプロセッサ１４において、道路の投影を包むイメージ
ΨおよびΨ’の領域だけを考慮し、イメージのその他の領域を無視することが望
ましい。しかしながら、ここで注意したいことは、２つのイメージΨおよびΨ’
内において、道路を投影するイメージの領域または断片のセットＲが既知でない
ということである。これに適合させるため、式（１８）で定義される関数を最大
にする試みに代えて、イメージを断片のセットＷｉに分割し、かつ、それぞれの
断片に関して式（１６）および（１８）を使用して、それぞれの断片に関して確
率密度Ｐ（ｍ＾｜Ｗｉ，Ｗｉ’）を生成することができる。イメージΨおよびΨ
’のペア全体にわたる確率密度は、次の式（１９）のようになる。 【００５０】 【数１９】 【００５１】 ここで、λｉおよびαｉは、重みづけ関数であり、これらの値は、一般に「ｉ
番目」の断片が道路の投影であることの信頼度を反映する。１つの断片に関する
勾配強度βｉの値は、その断片が基本構造（ｔｅｘｔｕｒｅ）を含む程度を反映
する。したがって、勾配強度βｉの値は、輸送手段のエゴモーションの判定にお
いて使用するための有用な情報を含む可能性の高さを反映する。式（１９）が最
大となる動きｍ＾∈Ｍ＾は、イメージΨおよびΨ’が記録された地点の間におけ
る輸送手段１０の実際の平行移動および回転の動きに対応するものと見なされる
。 【００５２】 個々の「ｉ番目」の断片に関する重みづけ関数λｉは、それぞれのイメージΨ
およびΨ’からの断片ＷｉおよびＷｉ’を使用して生成される。道路ではない断
片ＷｉおよびＷｉ’に関する重みづけ関数λｉの値の決定においては、式（１１
）内に反映されている動きのモデルが良好に適合しない。これに代えて、断片の
別の動きを使用すれば、より良好に適合させることができる。さらに、これに加
えて、道路表面上を移動する平面のイメージの人工産物、例えば、影の移動のた
めに、式（１８）の最大が初期予測からはるかに離れたところに現れることがあ
る。したがって、「ｉ番目」の断片ＷｉおよびＷｉ’に関する重みづけ関数λｉ の値は、初期予測近傍の局部的な領域（Ｍ＾）内における動きのモデルを使用し
た最適適合度と、大きなサーチ領域「Ｌ」にわたる任意の動きのモデルを使用し
た最適適合度との比に対応する。つまり、それは、「ｉ番目」の断片内のすべて
の点にわたるＳＳＤをＳｉ（）で表すとき、すべてのｍ＾∈Ｍ＾に関して、次の
式（２０）： 【００５３】 【数２０】 【００５４】 が、局部的なサーチ領域における最適適合度の値であり、かつ、すべてのｍ＾
∈Ｌに関して、次の式（２１）： 【００５５】 【数２１】 【００５６】 が、すべての可能性のあるイメージの動きに関する最適適合度の値であるとす
れば、λｉは、次の式（２２）によって表される。 【００５７】 【数２２】 【００５８】 一般に、Ｐ２（式（２１））に関する値の生成は、演算集約的なものとなり得
る。式（２１）によるＰ２の生成を回避するために、選択した多数の点について
、イメージΨ内の断片と、イメージΨ’内の対応する位置にある断片とのＳＳＤ
と同様に、イメージΨ内の断片と、イメージΨ’内の対応する位置にある断片の
周囲の水平および垂直に平行移動された複数の断片との複数のＳＳＤ’を使用す
ることによって、各断片に関するＰ２の値を予測することができる。つまり、イ
メージΨ内の断片が、ｐ（ａ，ｂ）を中心とする複数の点ｐ（ｘ，ｙ）（つまり
、点ｐは、ｐ（ａ−α，ｂ−β）から点ｐ（ａ＋α，ｂ＋β）まで存在し、かつ
、断片が（２α＋１）×（２β＋１）の大きさを有する（ただしαおよびβは整
数））で構成される場合、Ｐ２は、ｐ（ａ，ｂ）を中心とする複数の点ｐ（ｘ，
ｙ）で構成されるイメージΨ’内の同一サイズの断片とのＳＳＤと同様に、イメ
ージΨ内の断片と、中心点がｐ（ａ−δ，ｂ−δ）からｐ（ａ＋δ，ｂ＋δ）ま
で存在する点ｐを中心とするイメージΨ’内の同一サイズの断片、すなわち、合
計で（２δ＋１）２個のイメージΨ’内の複数の断片との複数のＳＳＤ’を使用
して生成される。イメージΨ’内の各断片は、可能性のあるイメージの動きの１
つとして考えることができる。一実施形態においては、δに７が選択される。こ
の場合、Ｐ２の値を生成するために、Ψ’内の２２５個の断片についてＳＳＤが
生成されることになる。 【００５９】 重みづけ関数λｉと異なり、それぞれの「ｉ番目の」断片に関する重みづけ関
数αｉは、断片ＷｉおよびイメージΨ’からの断片Ｗｉ’だけを使用して生成さ
れる。一般に３次元空間においては、直線に関して３つの支配的な方向があるこ
と、すなわち、（ｉ）建物、自動車およびその他の道路表面から上に延びる物体
等に関する垂直ライン、（ｉｉ）道路の方向とほぼ平行になる水平ラインおよび
（ｉｉｉ）道路の方向とほぼ直交する水平ラインがあることを認識する必要があ
る。イメージΨ’においては、垂直ライン（つまり、タイプ（ｉ）のライン）お
よび道路の方向とほぼ直交する水平ライン（つまり、タイプ（ｉｉｉ）のライン
）が、それぞれイメージΨ’内の垂直および水平のラインとして投影される。こ
れに対して、道路の方向とほぼ平行になる水平ライン（つまり、タイプ（ｉｉ）
のライン）は、共通の点、すなわち、消尽点を通るラインとしてイメージΨ’内
に現れる。ここで、イメージΨ’内の、道路の投影となる断片Ｗｉ’においては
、タイプ（ｉｉ）およびタイプ（ｉｉｉ）のラインが支配的となることに注意す
る必要がある。これに対して自動車等の障害物の投影となる断片Ｗ’においては
、タイプ（ｉ）およびタイプ（ｉｉｉ）のラインが支配的となる。一方、例えば
、建物、フェンス等の投影となる断片Ｗ’においては、タイプ（ｉ）およびタイ
プ（ｉｉ）のラインが支配的となる。 【００６０】 したがって、断片Ｗｉに関する重みづけ関数αｉの値は、タイプ（ｉｉ）およ
びタイプ（ｉｉｉ）のラインの投影を含み、かつ、タイプ（ｉ）およびタイプ（
ｉｉｉ）あるいはタイプ（ｉ）およびタイプ（ｉｉ）のラインの投影を含まない
と見なされる程度を反映することになる。一般的に、断片を通るラインがある場
合には、その方向を、断片Ｗｉ内の各種の点における輝度の勾配との関連から判
定することができる。断片Ｗｉ’内の、勾配（Ｉｘ，Ｉｙ）が選択されたしきい
値を超える各点は、ライン上またはその近傍にあると考えられ、そのラインの方
向は、勾配の方向と直交する。このように、これらの点について、これらに関連
付けられるラインの方向を、そのラインがタイプ（ｉ）、（ｉｉ）および（ｉｉ
ｉ）のいずれであるかによらず、判定することが可能になる。したがって、イメ
ージΨ’内の各断片Ｗｉ’について、３つの合計Ｓｎ ｉ（ｎ＝ｉ、ｉｉまたはｉ
ｉｉ）が生成され、それぞれは、個々のタイプのラインに関連付けられた、その
断片内の点の勾配の大きさの合計に対応し、かつ、その大きさは、Ｇ＝（Ｉｘ ２ ＋Ｉｙ ２）０．５に対応する。イメージΨ’内の断片Ｗｉ’については、次のよ
うな判断が行われる。 【００６１】 （ａ）合計Ｓｉｉ ｉおよびＳｉｉｉ ｉがともに大きく、かつ、合計Ｓｉ ｉより
著しく大きい場合には、道路の投影である。なぜなら、これらの合計は、この断
片が、道路の方向と平行および／またはそれに直交する水平の１または複数のラ
インに関連付けられており、垂直のラインに関連付けられていないことを示すか
らである。 【００６２】 （ｂ）合計Ｓｉ ｉおよびＳｉｉｉ ｉがともに大きく、かつ、合計Ｓｉｉ ｉより
著しく大きい場合には、障害物、つまり、一般には輸送手段のパス上の物体の投
影である。なぜなら、これらの合計は、この断片が、垂直および／または道路の
方向と直交する水平の１または複数のラインに関連付けられており、道路の方向
と平行な水平のラインに関連付けられていないことを示すからである。 【００６３】 （ｃ）合計Ｓｉ ｉおよびＳｉｉ ｉがともに大きく、かつ、合計Ｓｉｉｉ ｉより
著しく大きい場合には、輸送手段のパスの側方にある物体の投影である。なぜな
ら、これらの合計は、この断片が、垂直および／または道路の方向と平行な１ま
たは複数のラインに関連付けられていることを示すからである。 【００６４】 重みづけ関数αｉは、断片Ｗｉが道路の投影である（上記の（ａ）のケース）
と見なされる程度に基づいて断片に割り当てられる。 【００６５】 ここで認識されるであろうが、断片Ｗｉ’に関して、合計Ｓｉｉ ｉが比較的大
きく、その断片が道路の方向と平行な水平のラインに関連付けられるが、合計Ｓ ｉ ｉ およびＳｉｉｉ ｉがともに比較的小さく、その断片が垂直または道路の方向
と直交する水平のラインとは関連付けられていないことが示される場合、その断
片に関して生成された合計のセットから、その断片が道路の投影であるか（上記
の（ａ）のケース）あるいはその輸送手段のパスの側方の物体の投影であるか（
上記の（ｃ）のケース）を一般には判定できない。しかしながら、断片が垂直の
ラインと関連付けられないことから、一般的にそれが障害物の投影である（上記
の（ｂ）のケース）と見なされることはない。この場合、その断片に隣接する断
片を参照することによって、その断片が道路の投影であるか（上記の（ａ）のケ
ース）あるいはその輸送手段のパスの側方の物体の投影であるか（上記の（ｃ）
のケース）に関する予測が行われる。 【００６６】 前述したように、１つの断片に関する勾配強度βｉの値は、その断片が基本構
造を含む程度を反映し、したがって、輸送手段のエゴモーションの判定において
使用するための有用な情報を含む可能性の高さを反映する。この勾配強度βｉは
、次の式（２３）に対応する。 【００６７】 【数２３】 【００６８】 比較的一様な断片については、ＳＳＤの値Ｓｉ（ｍ＾）がすべての動きに関し
て比較的低くなり、その場合にはβｉの値も比較的低くなる。これに対して、基
本構造を伴う断片については、ほとんどの動きに関してＳＳＤの値が比較的高く
なり、その場合にはβｉの値も比較的高くなる。 【００６９】 以上を背景知識として、エゴモーション予測システムプロセッサ１４によって
実行されるオペレーションについて、図２に示したフローチャートを参照して次
に説明する。図２に関して、ここではエゴモーション予測システムプロセッサ１
４がすでにイメージΨを有しており、イメージΨが記録されたロケーションまで
の平行移動および回転の動きの判定に関連してそれが使用されていることを前提
とする。図２を参照すると、エゴモーション予測システムプロセッサ１４は、イ
メージΨ’を受け取った後（ステップ１００）、カメラ１３の較正オペレーショ
ン（後述する）中に提供された情報に従ってイメージを修正し、その光軸を道路
によって定義される平面と平行にする（ステップ１０１）。これに加えて、エゴ
モーション予測システムプロセッサ１４は、以前の動きの予測を使用し、かつ、
可能性としては利用可能なものがあれば他のセンサからの情報を使用して平行移
動および回転に関する初期予測を生成する（ステップ１０２）。例えば、エゴモ
ーション予測システムプロセッサ１４は、輸送手段１０の速度計からの情報をは
じめ、イメージΨが記録された時刻と、イメージΨ’が記録された時刻との間の
時間間隔を、初期予測の生成に使用する。一般的に時間間隔は固定であり、連続
するイメージΨおよびΨ’のペアのそれぞれに関して同一であることが好ましい
。エゴモーション予測システムプロセッサ１４は、初期予測を生成した後、その
初期予測を使用してイメージΨ’をイメージΨに向けてねじることにより、ねじ
られたイメージΨ＾’を生成する（ステップ１０３）。 【００７０】 エゴモーション予測システムプロセッサ１４は、ねじられたイメージΨ＾’を
生成した後（ステップ１０３）、イメージΨおよびねじられたイメージΨ＾’を
断片に分割し、２つのイメージΨおよびΨ＾’内の対応する断片の各ペアに関し
て、重みづけ関数λｉを生成する。このオペレーションにおいて、エゴモーショ
ン予測システムプロセッサ１４は、イメージΨ内の１つの断片を選択して（ステ
ップ１０４）、Ｐ２（ステップ１０５）、Ｐ１（式（２０））（ステップ１０６
）およびλｉ（式（２２））（ステップ１０７）に関する値を上述したように生
成する。これに加えてエゴモーション予測システムプロセッサ１４は、βｉ（式
（２３））およびαｉの値を生成することができる（ステップ１０８）。エゴモ
ーション予測システムプロセッサ１４は、選択した断片に関してステップ１０５
〜１０８を実行した後、イメージΨ内のすべての断片を処理したかどうかを判定
し（ステップ１０９）、残っている断片がある場合、ステップ１０４に戻り、別
の断片を選択してそれらに関連してステップ１０５〜１０９を実行する。 【００７１】 エゴモーション予測システムプロセッサ１４は、イメージΨ内の各断片に関連
してステップ１０４〜１０９を実行する。イメージΨ内のすべての断片に関連し
てステップ１０４〜１０９を実行した後、エゴモーション予測システムプロセッ
サ１４は、ステップ１０９からステップ１１０に進み、式（１９）によって与え
られる値を最大にする動きｍ＾をサーチする（ステップ１１０）。この動きｍ＾
は、平行移動ｔｚおよび回転ｗｘ、ｗｙのパラメータに関する値を含み、これら
が、イメージΨが記録された時点と、イメージΨ’が記録された時点の間におけ
る輸送手段１０の動きの予測を構成することになる。エゴモーション予測システ
ムプロセッサ１４は、上記オペレーションを、連続するイメージΨおよびΨ’の
ペアに関連して実施することにより、輸送手段１０の動きを予測することができ
る。 【００７２】 ステップ１０６（Ｐ１に関する値の生成）およびステップ１１０（式（１９）
によって与えられる値を最大にする動きｍ＾の判定）の実行において、エゴモー
ション予測システムプロセッサ１４は、初期予測の近傍の選択した立方体形状の
領域に限定される勾配降下法を実行することができる。 【００７３】 エゴモーション予測システムプロセッサ１４は、それぞれの新しいイメージΨ
’に関する初期予測の決定（ステップ１０２）において、以前に受け取ったイメ
ージに関して生成済みの動きの予測を使用することができる。これに加えて、領
域Ｍ＾のサイズを適応的に調整することができる。 【００７４】 輸送手段１０のエゴモーションを判定するための第２の方法について、図３を
参照して説明する。図２に関連して説明した方法と同様に、ここでは、輸送手段
１０の移動する道路によって表される平面と垂直になるようにイメージが修正さ
れており、かつ、それらの水平（「ｘ」）軸が道路によって表される平面と平行
になっているものと仮定する。まず、背景知識について述べるが、その場合にお
ける平面の式（２４） 【００７５】 【数２４】 【００７６】 （式（３）参照）は、次の式（２５）のように整理される。 【００７７】 【数２５】 【００７８】 ここで、Ｙ＝１／｜Ｂ｜は、道路からカメラ１３の光軸（あるいは、より詳し
く言えばＺ軸）までの高さである。３次元空間における点Ｐ（Ｘ，Ｙ，Ｚ）の投
影であるイメージ内の点ｐ（ｘ，ｙ）について、ｙ＝ｆ（Ｙ／Ｚ）であり、式（
２５）は次の式（２６）のようになる。 【００７９】 【数２６】 【００８０】 各点について、輝度の拘束が、次の式（２７）で与えられる。 【００８１】 【数２７】 【００８２】 ただし、ＩｘおよびＩｙは、イメージ内の各点（ｘ，ｙ）における輝度の空間
的勾配のそれぞれ水平および垂直成分であり、Ｉｔは、輝度の時間的勾配である
。これに加えて、フローベクトルの成分（ｕ，ｖ）に関する式（式（１）参照）
を、次の式（２８）のように表すことができる。 【００８３】 【数２８】 【００８４】 ここで［ｗ］ｘは、スキュー対称行列であり、この場合には次の式（２９）が
得られる。 【００８５】 【数２９】 【００８６】 ただしＳは、次の式（３０）により表される。 【００８７】 【数３０】 【００８８】 平面に拘束される動きについては、式（２９）を次の式（３１）のように整理
することができる。 【００８９】 【数３１】 【００９０】 イメージが修正されることから、式（２６）が成立する。これに加えて、回転
の動きが、垂直軸（「Ｙ」）軸に関して生じるように拘束されることから、ｗｘ ＝ｗｚ＝０である。したがって、式（３１）は次の式（３２）に対応することに
なる。 【００９１】 【数３２】 【００９２】 式（３２）を展開し、式（３０）を適用すると、次の式（３３）が得られる。 【００９３】 【数３３】 【００９４】 一般に、輸送手段１０の回転（ｗｙ）に起因して生じるフローベクトルの垂直
成分の部分ｕｗＹは、「Ｘ」軸に沿った平行移動（ｔｘ）に起因して生じる部分
ｕｔＸより大きく、これらの部分は非常に異なる形を持つことになる。「Ｘ」軸
に沿った平行移動に起因して生じる部分ｕｔＸは、イメージが記録された時間の
間において輸送手段１０の移動した距離に依存し、イメージの底に向かう点に関
するものの方が、より上の点に関するものより大きくなる。この場合、ｕｗＹお
よびｕｔＸに関する式は、それぞれ次の式（３４）および（３５）のようになる
。 【００９５】 【数３４】 【００９６】 【数３５】 【００９７】 垂直「Ｙ」軸に関する小さな回転に関して、回転角ｗｙが次の式（３６）のよ
うに近似されることから、式（３７）が得られる。 【００９８】 【数３６】 【００９９】 【数３７】 【０１００】 ここで認識されるであろうが、ｔｙ、すなわち、垂直方向における平行移動ｔ
の成分に関する値およびｗｘおよびｗｚ、すなわち、回転ｗのＸ成分およびＺ成
分に関する値は、すべてゼロになる。したがって、エゴモーション予測システム
プロセッサ１４は、新しいイメージΨ’を受け取った後に、ｔ１およびｔ３、す
なわち、前方（Ｚ軸に沿った）方向および側方（Ｘ軸に沿った）方向の平行移動
ｔの成分およびｗｙ、すなわち、垂直（Ｙ）軸に関する回転の成分を決定する。
このオペレーションにおいて、エゴモーション予測システムプロセッサ１４は、
動きに関する初期予測を生成し（図３のステップ１５０）、その初期予測を使用
してねじられたイメージΨ＾’を生成する（ステップ１５１）。エゴモーション
予測システムプロセッサ１４は、初期予測の生成（ステップ１５０）に関して、
例えば、輸送手段１０の速度計からの情報を含め、多数の情報発信源からの情報
を使用することができる。その後、エゴモーション予測システムプロセッサ１４
は、イメージΨおよびΨ＾’を断片に分割し（ステップ１５２）、道路のイメー
ジを含んでいる可能性がある断片を決定する（ステップ１５３）。道路のイメー
ジを含んでいる可能性がある断片の決定（参照ステップ１５３）において、エゴ
モーション予測システムプロセッサ１４は、イメージΨおよびΨ＾’内の対応す
る断片に関するＳＳＤを生成し（式（１６））、ねじられたイメージΨ＾’内に
おいて、道路のイメージを含む断片として、比較的高いＳＳＤ値を伴う断片を決
定する。その後、エゴモーション予測システムプロセッサ１４は、ステップ１５
３において決定した断片を使用し、次の式（３８）の形のコスト関数を最小化す
る（ステップ１５４）。 【０１０１】 【数３８】 【０１０２】 ここで、Ｗ１およびＷ２は、重みづけ行列であり、基本的に先験的確率（ｐｒ
ｉｏｒｓ）における信頼度または滑らかさの値を示す。この式（３８）は、カル
マンフィルタの形式で形式化され、「ｐ」の値は、Ｌ１またはＬ２のノルムが使
用されるかどうかに基づき、１か２を選択することができる。 【０１０３】 上述したように、図２および図３に関連して説明した上記の方法について、エ
ゴモーション予測システムプロセッサ１４は、最初にカメラ１３からイメージを
受け取ったときにその修正を行っている。上記の説明において、イメージＩおよ
びＩ’は、エゴモーション予測システムプロセッサ１４によって修正されたもの
としてのイメージである。カメラ１３から受け取ったときにイメージを修正する
ためには、カメラ１３を、前述したような輸送手段１０の動きの予測において使
用するためのイメージの記録に関連した使用に先行する較正オペレーションの間
に較正する必要がある。較正の間に実行されるオペレーションの説明に入る前に
、不適切な較正の影響について考察しておくことが有用であろう。例えば、輸送
手段が直線の道路を走行しており、かつ、カメラの光軸が動きの方向に整列して
いる場合においては、連続して記録されるイメージのフローフィールドが、それ
ぞれのイメージの中心、すなわち、イメージの直線座標系の原点（ｘ，ｙ）＝（
０，０）に位置する拡大焦点を伴う拡大フィールドになる。これに対して、カメ
ラが３次元空間において垂直（「Ｙ」）軸に関してわずかな回転を伴って輸送手
段に搭載されている場合には、拡大の焦点がイメージの水平（「ｘ」）軸に沿っ
て変位する。この場合、式（１１）によって定義される動きのモデルがフローフ
ィールドを処理できなくなるが、前方の平行移動および垂直（「Ｙ」）軸に関す
る回転速度ｗｙによって良好に近似される。 【０１０４】 つまり、３次元空間における垂直（「Ｙ」）軸に関するカメラの向きの誤差は
、回転の予測におけるバイアスを生じさせる。この場合には直線パスではなく、
曲線パスが予測されることになる。同様に、３次元空間における水平（「Ｘ」）
軸に関するカメラの向きの誤差は、上下動予測におけるバイアスをもたらす。こ
れらの観察に基づくと、輸送手段が直線道路を走行中に、カメラに一連のイメー
ジを記録させることによって較正オペレーションを実行することができる。図２
または図３に関連して説明したように、輸送手段のエゴモーションが予測され、
そのエゴモーションを直線パスに調整する較正パラメータが予測される。 【０１０５】 本発明は、多数の利点を提供する。具体的には、本発明は、輸送手段１０に搭
載されたカメラ１３によって記録される一連のイメージであって、少なくとも部
分的に道路の投影を含む一連のイメージから道路上の輸送手段１０のエゴモーシ
ョンを判定するための装置を提供し、機械的なセンサ、すなわち、輸送手段１０
に通常に備えられておらず、備えられるとすればそのコストおよび維持費が増加
することになるセンサを必要としない。 【０１０６】 本発明に従ったシステムは、その全体または一部を、専用ハードウエアまたは
汎用コンピュータシステム、あるいは、これらの任意の組み合わせで構成するこ
とが可能であり、かつ、その任意の部分が、適切なプログラムによってコントロ
ール可能であることが認識されるであろう。任意のプログラムは、従来の形態に
従って上記システムの全体または一部を構成し、あるいは、上記システムに記憶
される可能性を有し、また、上記プログラムが全体または部分において、ネット
ワークまたはその他の情報を転送するための手段を介して、従来の形態に従って
上記システムに提供されることもある。これに加えて、上記システムに直接接続
されるか、あるいは、ネットワークまたはその他の情報を転送するための手段を
介して、従来の形態に従って上記システムに情報を転送することができるオペレ
ータ入力エレメント（図示せず）を使用して、オペレータによって提供される情
報を用いて上記システムの操作および／またはコントロールが行われ得ることも
認識されるであろう。 【０１０７】 以上の説明は、本発明の具体的な実施形態に過ぎない。しかしながら、本発明
の利点の一部またはすべての達成を伴って、本発明に対して各種の変形および修
正を加え得ることも認識されるであろう。本発明の真の精神および範囲に帰する
、これらのおよびその他の変形および修正をカバーすることが添付する特許請求
の範囲の目的である。 【０１０８】 新しく、かつ、米国特許証によって保護されることが望ましい発明を特許請求
の範囲に記載した。 【図面の簡単な説明】 【図１】 本発明に従って構成されるエゴモーション予測システムを含めて道路を移動す
る輸送手段を図示した概要図である。 【図２】 １つの方法に従った輸送手段のエゴモーションの判定において、エゴモーショ
ン予測システムによって実行されるオペレーションを図示したフローチャートで
ある。 【図３】 第２の方法に従った輸送手段のエゴモーションの判定において、エゴモーショ
ン予測システムによって実行されるオペレーションを図示したフローチャートで
ある。
ン」つまり「それ自体の動き」）を予測するためのシステムおよび方法の分野に
関し、より具体的には、輸送手段の動きのパスに沿って記録された連続記録イメ
ージを使用してエゴモーションを予測するシステムおよび方法に関する。 【０００２】 （発明の背景） 道路と相対的な輸送手段のエゴ（「セルフ」）モーションの正確な予測は、自
律ドライブおよびコンピュータビジョンベースのドライブ補助における重要な要
素である。機械的センサに代えて、コンピュータビジョン技術を使用してドライ
ブ中の補助を提供すれば、機械的なセンサに必要とされるような較正を必要とす
ることなく、輸送手段の動きの予測に使用するために記録された情報を、障害物
の検出、車線の識別等にも使用できるようになる。これは費用および保守の手間
を軽減することになる。 【０００３】 輸送手段のエゴモーションの予測には、いくつかの問題点が存在する。通常、
道路は、特徴点があったとしても、非常にわずかである。また、車線のマーク等
の道路において最も顕著な特徴となるものは、一般的に線形の構造を有している
。これに対し、他の乗物、建物、木等に関連付けられるような背景イメージの構
造は、一般的に多くの特徴点を有する。これが、イメージベースまたは光学フロ
ーベースの予測を困難にすることになる。これに加えて、エゴモーション予測に
関して記録される代表的なイメージには、エゴモーションの予測に役立たないか
、あるいは、予測の低下をもたらす可能性のある大量の「外れ値」情報が含まれ
ている。例えば、道路等の固定構造と相対的なエゴモーションの予測においては
、道路と相対的に移動する物体、例えば、移動する他の輸送手段、さらには作動
中のワイパーのイメージが、エゴモーション予測に関する誤った情報に寄与する
。これに加えて、雨滴、グレア等のイメージの質を低下させる条件も正確なエゴ
モーションの予測を難しくしている。 【０００４】 （発明の要約） 本発明は、輸送手段の動きのパスに沿って記録された連続記録イメージを使用
してエゴモーションを予測するための新しく、かつ、改善したシステムおよび方
法を提供する。 【０００５】 簡単に述べると、本発明は、道路に沿って移動する輸送手段のエゴモーション
に関する予測を生成するためのエゴモーション判定システムを提供する。このエ
ゴモーション判定システムは、イメージ情報レシーバおよびプロセッサを含んで
いる。イメージ情報レシーバは、輸送手段が道路に沿って移動するとき記録され
る、一連の少なくとも２つのイメージに関連するイメージ情報を受け取るように
構成されている。また、プロセッサは、イメージレシーバによって受け取られた
イメージ情報を処理し、例えば、連続するイメージの間における、その輸送手段
の前方向の平行移動および垂直軸に関する回転を含めた輸送手段のエゴモーショ
ン予測を生成するように構成されている。 【０００６】 輸送手段のエゴモーションの予測を生成するためのいくつかの方法を開示する
。 【０００７】 本発明は、添付する特許請求の範囲に詳細に示されている。上記およびその他
の本発明の利点は、添付図面とともに以下の説明を参照することによってより良
好に理解されることになるであろう。 【０００８】 （例示のための実施態様の詳細な説明） 図１は、本発明に従って構成されたエゴモーション予測システム１２を含み、
道路１１の上を移動する輸送手段１０を概略的に示す。輸送手段１０は、道路１
１の上を移動することができる任意の種類の輸送手段１０とすることが可能であ
り、輸送手段１０には、限定する意図ではないが、自動車、トラック、バス等が
含まれる。エゴモーション予測システム１２は、カメラ１３およびエゴモーショ
ン予測システムプロセッサ１４を含む。カメラ１３は、輸送手段１０に搭載され
ており、好ましくは前方、すなわち、輸送手段が通常に移動する方向にあり、道
路の上を当該輸送手段が移動するときの連続するイメージを記録する。好ましく
は、カメラ１３が各イメージを記録するとき、エゴモーション予測システムプロ
セッサ１４にイメージを提供する。一方、エゴモーション予測システムプロセッ
サ１４は、連続イメージから獲得した情報を、可能性としては当該輸送手段の速
度計（個別には図示していない）からの情報といった、その他の情報とともに処
理し、道路１１と相対的な輸送手段のエゴモーション（またはセルフモーション
、つまり「それ自体の動き」）を判定する。エゴモーション予測システムプロセ
ッサ１４は、輸送手段１１内または輸送手段１１上に搭載され、その一部を形成
することもある。エゴモーション予測システムプロセッサ１４によって生成され
るエゴモーション予測は、多くのものに関して使用することができる。エゴモー
ション予測は、障害物および車線の検出に限られず、輸送手段による自律運転、
可能性としては例えば、グローバルポジショニングシステム（「ＧＰＳ」）から
の位置情報や当業者であれば周知の各種の情報発信源からの道路地図情報を用い
た自律運転等を含んでいる。輸送手段１０のエゴモーションの判定においてエゴ
モーション予測システムプロセッサ１４によって実行されるオペレーションにつ
いて、図２および３に示すフローチャートとの関連から説明する。 【０００９】 先に進む前に、図１に示したエゴモーション予測システムプロセッサ１４によ
って実行されるオペレーションの背景知識を説明することが有用であると考えら
れる。一般に、２つのイメージΨおよびΨ’の間において、エゴモーション予測
システムプロセッサ１４は、輸送手段１０に備え付けられたカメラ１３の平行移
動ｔ＝（ｔｘ，ｔｙ，ｔｚ）Ｔおよび回転ｗ＝（ｗｘ，ｗｙ，ｗｚ）Ｔ（ただし
、「Ｔ」は転置演算を表し、ｔｉはそれぞれ「Ｘ」、「Ｙ」および「Ｚ」軸に沿
った平行移動を表し、ｗｉはそれぞれの軸に関する回転を表す）を決定しようと
試みる。カメラ１３は、輸送手段１０に固定されていることから、カメラ１３の
平行移動および回転は、輸送手段１０の平行移動および回転に従う。この場合、
点ｐ＝（ｘ，ｙ）Ｔ（ただし、「ｘ」および「ｙ」は、イメージ内の点または特
徴となるものの座標とする）、すなわち、点Ｐ＝（Ｘ，Ｙ，Ｚ）Ｔ（だたし、「
Ｘ」、「Ｙ」および「Ｚ」は３次元空間におけるその点の座標とする）の投影と
なる点に関するフローベクトル、すなわち、３次元空間における同一点のイメー
ジΨ内の点からイメージΨ’内の点への動きを示すベクトルは、次の（１）式で
示される成分（ｕ，ｖ）を有する。 【００１０】 【数１】 【００１１】 ただし、式（１）における「×」は行列のクロス積を表し、各記号は次の式（
２）により与えられる値を有する。 【００１２】 【数２】 【００１３】 ここで、「ｆ」は、カメラ１３の焦点距離であり、既知であることを前提とし
ている。輸送手段１０が移動する道路は、平面としてモデリングされている。平
面上の点に関する式は次の式（３）に示すようになる。 【００１４】 【数３】 【００１５】 ここで、「Ｘ」軸および「Ｙ」軸は、イメージ平面の水平軸「ｘ」および垂直
軸「ｙ」にそれぞれ対応し、「Ｚ」軸は、イメージ平面に対して垂直になる。カ
メラ１３は、道路に対応するイメージの量を多くし、かつ、その他の特徴となる
もの、例えば、他の交通、建物、木等に対応するイメージの量を少なくするため
に、わずかに下方を向くように傾けられている。この場合、イメージΨおよびΨ
’が、これらのイメージのｚ軸が道路の平面と平行になるように修正されること
になるが、これについては以下に述べる。 【００１６】 式（３）を「Ｚ」で割ると次の式（４）が得られる。 【００１７】 【数４】 【００１８】 ここで、ａ＝Ａ／ｆ、ｂ＝Ｂ／ｆ、かつ、ｃ＝Ｃである。この式（４）を式（
１）に代入することによって、次の式（５）が求まる。 【００１９】 【数５】 【００２０】 この式（５）を展開すると、次の式（６）および（７）が得られる。 【００２１】 【数６】 【００２２】 【数７】 【００２３】 式（６）および（７）は、次の式（８）および（９）によって与えられる平面
と相対的に移動するカメラ１３に関する８パラメータモデルの特殊な場合（「較
正されたカメラ１３」の場合）である。 【００２４】 【数８】 【００２５】 【数９】 【００２６】 フローベクトル（ｕ，ｖ）が与えられれば、パラメータαｉ（ｉ＝１，．．．
，８）が求まり、これらからモーションパラメータｔおよびｗを求めることがで
きる。 【００２７】 式（１）〜（９）に関して説明した上記の方法との関連から１つの問題、すな
わち、決定しなければならない多数のパラメータαｉを前提とすることから、外
れ値を除去するための満足のいく方法を案出することが困難であるという問題が
生じる。この問題は、比較的多数の光学フローベクトル（ｕ，ｖ）を、これらの
パラメータ値の決定に使用する必要があるという事実に起因する。すなわち、こ
れらに対応する数の点が両方のイメージ内に必要となるという事実に起因する。
これに加え、Ｘ軸およびＹ軸に関する回転に起因した光学フローと、Ｘ軸および
Ｚ軸に沿った平行移動に起因した光学フローとのそれぞれの差異を判断すること
も困難である。 【００２８】 したがって、モーションパラメータの数を最少に減らすことが望ましい。道路
に沿った輸送手段１０の動きは、輸送手段１０が前方または後方に移動するとき
には、Ｚ軸に沿った平行移動に拘束され、輸送手段１０のパスが直線コースから
外れるときには、Ｘ軸およびＹ軸に関する回転に拘束されるものとしてモデリン
グ可能である。この場合、式（５）は、次の式（１０）のような形に変形される
。 【００２９】 【数１０】 【００３０】 イメージを修正し、道路の平面とカメラ１３のＸＺ平面が平行になること、す
なわち、カメラ１３の光軸が道路の平面と平行であるかのようなイメージが保証
されれば、式（１０）においてａ＝０、ｃ＝０となり、次の式（１１）が得られ
る。 【００３１】 【数１１】 【００３２】 イメージを修正するためには、カメラ１３の較正を行う必要が生じる。カメラ
１３の較正およびイメージの修正を行う方法については後述する。 【００３３】 式（１１）には、イメージΨおよびΨ’の少なくともいくつかの部分にある点
に関連付けられたフローベクトル（ｕ，ｖ）から決定されることになる３つのモ
ーションパラメータ、すなわち、ｔｚ（Ｚ軸に沿った平行移動）、ｗｘ（Ｘ軸に
関する回転）およびｗｙ（Ｙ軸に関する回転）が存在する。イメージΨおよびΨ
’内の対応する点を見つけること、すなわち、３次元空間におけるそれぞれのイ
メージ内の同一点の投影である点を見つけることは、次の式（１２）により表さ
れる「測光上の拘束」に基づいて行われる。 【００３４】 【数１２】 【００３５】 基本的にこの式は、それぞれのイメージ内への３次元空間における同一点の投
影である、イメージΨ内の点ｐ＝（ｘ，ｙ）ＴおよびイメージΨ’内の点ｐ＝（
ｘ＋ｕδｔ，ｙ＋ｖδｔ）の放射照度または輝度が同じであることを示している
。実際には、ノイズがあることから正確には式（１２）は成立しない。仮に、す
べての点について、ノイズがゼロ平均ガウスノイズとしてモデリングされるとす
れば、式（１２）は、次の式（１３）のように整理され、最大尤度が求められる
ことになる。 【００３６】 【数１３】 【００３７】 式（１３）は、演算集約的となる可能性があり、またこの式の使用に代えて、
式（１１）内に織り込まれた幾何学的拘束と、式（１２）に織り込まれた測光上
の拘束を組み合わせることによって、２つのイメージから直接、モーションパラ
メータｔｚ、ｗｘおよびｗｙを決定することができる。その演算においては、２
つの連続するイメージΨおよびΨ’を前提として、次の式（１４）により表され
る確率、すなわち、２つのイメージが与えられたときの輸送手段１０の動きがｍ
＾＝（ｔｚ，ｗｘ，ｗｙ）である確率を決定することが目標となる。 【００３８】 【数１４】 【００３９】 式（１４）を最大にする動きｍ＾が、２つのイメージΨおよびΨ’間における
カメラ１３の動きの予測であり、したがって、２つのイメージ間における輸送手
段１０の動きの予測となる。 【００４０】 ベイズの規則によれば、次の式（１５）が得られる。 【００４１】 【数１５】 【００４２】 ここでＰ（Ψ’｜Ψ，ｍ＾）は、イメージΨが与えられたとき、動きｍ＾がイ
メージΨ’をもたらす確率であり、Ｐ（ｍ＾）は、その動きがｍ＾であるアプリ
オリな確率であり、かつ、Ｐ（Ψ’）は、そのイメージがΨ’であるアプリオリ
な確率である。ここでは、Ｐ（ｍ＾）、つまり、動きがｍ＾である確率が、直前
の動きの予測、言い換えると「ｉ−１番目」のイメージと「ｉ番目」のイメージ
の間に生成される動きの予測の近傍の小さな領域Ｍ＾において一様であることが
仮定される。ここで認識されるであろうが、イメージΨおよびΨ’が記録される
時間間隔が充分に短いときには、この仮定が妥当性を持つ。さらに、式（１５）
において、分母Ｐ（Ψ’）が動きｍ＾に依存しないこと、したがって、当該分母
が最大値のサーチに影響しないことが認識されるであろう。 【００４３】 イメージΨが与えられたとき、動きｍ＾がイメージΨ’をもたらす確率Ｐ（Ψ
’｜Ψ，ｍ＾）は、ねじられたイメージΨ＾’を生成するために、動きｍ＾に従
ってイメージΨ’をねじることによって決定されるとともに、ねじられたイメー
ジΨ＾’とイメージΨにおいて、道路の投影と考えられるイメージ内の対応する
断片Ｒ、すなわち、領域Ｒの差異の平方の合計（「ＳＳＤ」）を求めることによ
って決定される。 【００４４】 【数１６】 【００４５】 式（１６）において「Ｎ」は領域Ｒ内の点の数を表す。ここで認識されるであ
ろうが、イメージΨおよびΨ’がそれぞれ時間「ｔ」および「ｔ＋δｔ」におい
て記録されるとき、ねじられたイメージΨ＾’は、動きがｍ＾の場合に時間「ｔ
」において記録されたであろうと仮定したイメージを表すことになる。ＳＳＤ評
価基準（式（１６））を使用すると、Ｐ（Ψ’｜Ψ，ｍ＾）、すなわち、イメー
ジΨおよび動きｍ＾がイメージΨ’をもたらす確率は、次の式（１７）の確率密
度関数によって与えられる。 【００４６】 【数１７】 【００４７】 ここで「ｃ」は正規化ファクタであり、「σ」はゼロ平均ガウス関数としてモ
デリングされるノイズの分散である。Ｐ（ｍ＾）、すなわち、その動きがｍ＾で
ある確率が直前の動きの予測近傍の小さい領域Ｍ＾内において一様であると仮定
されることから、イメージΨの断片に関する最大尤度の動きｍ＾を見つける問題
は、ｍ＾∈Ｍ＾に関して次の式（１８）の確率密度関数の最大値を見つけること
に帰着する。 【００４８】 【数１８】 【００４９】 エゴモーション予測システムプロセッサ１４が予測を生成することになる動き
が道路と相対的な輸送手段１０の平行移動および回転の動きであることから、エ
ゴモーション予測システムプロセッサ１４において、道路の投影を包むイメージ
ΨおよびΨ’の領域だけを考慮し、イメージのその他の領域を無視することが望
ましい。しかしながら、ここで注意したいことは、２つのイメージΨおよびΨ’
内において、道路を投影するイメージの領域または断片のセットＲが既知でない
ということである。これに適合させるため、式（１８）で定義される関数を最大
にする試みに代えて、イメージを断片のセットＷｉに分割し、かつ、それぞれの
断片に関して式（１６）および（１８）を使用して、それぞれの断片に関して確
率密度Ｐ（ｍ＾｜Ｗｉ，Ｗｉ’）を生成することができる。イメージΨおよびΨ
’のペア全体にわたる確率密度は、次の式（１９）のようになる。 【００５０】 【数１９】 【００５１】 ここで、λｉおよびαｉは、重みづけ関数であり、これらの値は、一般に「ｉ
番目」の断片が道路の投影であることの信頼度を反映する。１つの断片に関する
勾配強度βｉの値は、その断片が基本構造（ｔｅｘｔｕｒｅ）を含む程度を反映
する。したがって、勾配強度βｉの値は、輸送手段のエゴモーションの判定にお
いて使用するための有用な情報を含む可能性の高さを反映する。式（１９）が最
大となる動きｍ＾∈Ｍ＾は、イメージΨおよびΨ’が記録された地点の間におけ
る輸送手段１０の実際の平行移動および回転の動きに対応するものと見なされる
。 【００５２】 個々の「ｉ番目」の断片に関する重みづけ関数λｉは、それぞれのイメージΨ
およびΨ’からの断片ＷｉおよびＷｉ’を使用して生成される。道路ではない断
片ＷｉおよびＷｉ’に関する重みづけ関数λｉの値の決定においては、式（１１
）内に反映されている動きのモデルが良好に適合しない。これに代えて、断片の
別の動きを使用すれば、より良好に適合させることができる。さらに、これに加
えて、道路表面上を移動する平面のイメージの人工産物、例えば、影の移動のた
めに、式（１８）の最大が初期予測からはるかに離れたところに現れることがあ
る。したがって、「ｉ番目」の断片ＷｉおよびＷｉ’に関する重みづけ関数λｉ の値は、初期予測近傍の局部的な領域（Ｍ＾）内における動きのモデルを使用し
た最適適合度と、大きなサーチ領域「Ｌ」にわたる任意の動きのモデルを使用し
た最適適合度との比に対応する。つまり、それは、「ｉ番目」の断片内のすべて
の点にわたるＳＳＤをＳｉ（）で表すとき、すべてのｍ＾∈Ｍ＾に関して、次の
式（２０）： 【００５３】 【数２０】 【００５４】 が、局部的なサーチ領域における最適適合度の値であり、かつ、すべてのｍ＾
∈Ｌに関して、次の式（２１）： 【００５５】 【数２１】 【００５６】 が、すべての可能性のあるイメージの動きに関する最適適合度の値であるとす
れば、λｉは、次の式（２２）によって表される。 【００５７】 【数２２】 【００５８】 一般に、Ｐ２（式（２１））に関する値の生成は、演算集約的なものとなり得
る。式（２１）によるＰ２の生成を回避するために、選択した多数の点について
、イメージΨ内の断片と、イメージΨ’内の対応する位置にある断片とのＳＳＤ
と同様に、イメージΨ内の断片と、イメージΨ’内の対応する位置にある断片の
周囲の水平および垂直に平行移動された複数の断片との複数のＳＳＤ’を使用す
ることによって、各断片に関するＰ２の値を予測することができる。つまり、イ
メージΨ内の断片が、ｐ（ａ，ｂ）を中心とする複数の点ｐ（ｘ，ｙ）（つまり
、点ｐは、ｐ（ａ−α，ｂ−β）から点ｐ（ａ＋α，ｂ＋β）まで存在し、かつ
、断片が（２α＋１）×（２β＋１）の大きさを有する（ただしαおよびβは整
数））で構成される場合、Ｐ２は、ｐ（ａ，ｂ）を中心とする複数の点ｐ（ｘ，
ｙ）で構成されるイメージΨ’内の同一サイズの断片とのＳＳＤと同様に、イメ
ージΨ内の断片と、中心点がｐ（ａ−δ，ｂ−δ）からｐ（ａ＋δ，ｂ＋δ）ま
で存在する点ｐを中心とするイメージΨ’内の同一サイズの断片、すなわち、合
計で（２δ＋１）２個のイメージΨ’内の複数の断片との複数のＳＳＤ’を使用
して生成される。イメージΨ’内の各断片は、可能性のあるイメージの動きの１
つとして考えることができる。一実施形態においては、δに７が選択される。こ
の場合、Ｐ２の値を生成するために、Ψ’内の２２５個の断片についてＳＳＤが
生成されることになる。 【００５９】 重みづけ関数λｉと異なり、それぞれの「ｉ番目の」断片に関する重みづけ関
数αｉは、断片ＷｉおよびイメージΨ’からの断片Ｗｉ’だけを使用して生成さ
れる。一般に３次元空間においては、直線に関して３つの支配的な方向があるこ
と、すなわち、（ｉ）建物、自動車およびその他の道路表面から上に延びる物体
等に関する垂直ライン、（ｉｉ）道路の方向とほぼ平行になる水平ラインおよび
（ｉｉｉ）道路の方向とほぼ直交する水平ラインがあることを認識する必要があ
る。イメージΨ’においては、垂直ライン（つまり、タイプ（ｉ）のライン）お
よび道路の方向とほぼ直交する水平ライン（つまり、タイプ（ｉｉｉ）のライン
）が、それぞれイメージΨ’内の垂直および水平のラインとして投影される。こ
れに対して、道路の方向とほぼ平行になる水平ライン（つまり、タイプ（ｉｉ）
のライン）は、共通の点、すなわち、消尽点を通るラインとしてイメージΨ’内
に現れる。ここで、イメージΨ’内の、道路の投影となる断片Ｗｉ’においては
、タイプ（ｉｉ）およびタイプ（ｉｉｉ）のラインが支配的となることに注意す
る必要がある。これに対して自動車等の障害物の投影となる断片Ｗ’においては
、タイプ（ｉ）およびタイプ（ｉｉｉ）のラインが支配的となる。一方、例えば
、建物、フェンス等の投影となる断片Ｗ’においては、タイプ（ｉ）およびタイ
プ（ｉｉ）のラインが支配的となる。 【００６０】 したがって、断片Ｗｉに関する重みづけ関数αｉの値は、タイプ（ｉｉ）およ
びタイプ（ｉｉｉ）のラインの投影を含み、かつ、タイプ（ｉ）およびタイプ（
ｉｉｉ）あるいはタイプ（ｉ）およびタイプ（ｉｉ）のラインの投影を含まない
と見なされる程度を反映することになる。一般的に、断片を通るラインがある場
合には、その方向を、断片Ｗｉ内の各種の点における輝度の勾配との関連から判
定することができる。断片Ｗｉ’内の、勾配（Ｉｘ，Ｉｙ）が選択されたしきい
値を超える各点は、ライン上またはその近傍にあると考えられ、そのラインの方
向は、勾配の方向と直交する。このように、これらの点について、これらに関連
付けられるラインの方向を、そのラインがタイプ（ｉ）、（ｉｉ）および（ｉｉ
ｉ）のいずれであるかによらず、判定することが可能になる。したがって、イメ
ージΨ’内の各断片Ｗｉ’について、３つの合計Ｓｎ ｉ（ｎ＝ｉ、ｉｉまたはｉ
ｉｉ）が生成され、それぞれは、個々のタイプのラインに関連付けられた、その
断片内の点の勾配の大きさの合計に対応し、かつ、その大きさは、Ｇ＝（Ｉｘ ２ ＋Ｉｙ ２）０．５に対応する。イメージΨ’内の断片Ｗｉ’については、次のよ
うな判断が行われる。 【００６１】 （ａ）合計Ｓｉｉ ｉおよびＳｉｉｉ ｉがともに大きく、かつ、合計Ｓｉ ｉより
著しく大きい場合には、道路の投影である。なぜなら、これらの合計は、この断
片が、道路の方向と平行および／またはそれに直交する水平の１または複数のラ
インに関連付けられており、垂直のラインに関連付けられていないことを示すか
らである。 【００６２】 （ｂ）合計Ｓｉ ｉおよびＳｉｉｉ ｉがともに大きく、かつ、合計Ｓｉｉ ｉより
著しく大きい場合には、障害物、つまり、一般には輸送手段のパス上の物体の投
影である。なぜなら、これらの合計は、この断片が、垂直および／または道路の
方向と直交する水平の１または複数のラインに関連付けられており、道路の方向
と平行な水平のラインに関連付けられていないことを示すからである。 【００６３】 （ｃ）合計Ｓｉ ｉおよびＳｉｉ ｉがともに大きく、かつ、合計Ｓｉｉｉ ｉより
著しく大きい場合には、輸送手段のパスの側方にある物体の投影である。なぜな
ら、これらの合計は、この断片が、垂直および／または道路の方向と平行な１ま
たは複数のラインに関連付けられていることを示すからである。 【００６４】 重みづけ関数αｉは、断片Ｗｉが道路の投影である（上記の（ａ）のケース）
と見なされる程度に基づいて断片に割り当てられる。 【００６５】 ここで認識されるであろうが、断片Ｗｉ’に関して、合計Ｓｉｉ ｉが比較的大
きく、その断片が道路の方向と平行な水平のラインに関連付けられるが、合計Ｓ ｉ ｉ およびＳｉｉｉ ｉがともに比較的小さく、その断片が垂直または道路の方向
と直交する水平のラインとは関連付けられていないことが示される場合、その断
片に関して生成された合計のセットから、その断片が道路の投影であるか（上記
の（ａ）のケース）あるいはその輸送手段のパスの側方の物体の投影であるか（
上記の（ｃ）のケース）を一般には判定できない。しかしながら、断片が垂直の
ラインと関連付けられないことから、一般的にそれが障害物の投影である（上記
の（ｂ）のケース）と見なされることはない。この場合、その断片に隣接する断
片を参照することによって、その断片が道路の投影であるか（上記の（ａ）のケ
ース）あるいはその輸送手段のパスの側方の物体の投影であるか（上記の（ｃ）
のケース）に関する予測が行われる。 【００６６】 前述したように、１つの断片に関する勾配強度βｉの値は、その断片が基本構
造を含む程度を反映し、したがって、輸送手段のエゴモーションの判定において
使用するための有用な情報を含む可能性の高さを反映する。この勾配強度βｉは
、次の式（２３）に対応する。 【００６７】 【数２３】 【００６８】 比較的一様な断片については、ＳＳＤの値Ｓｉ（ｍ＾）がすべての動きに関し
て比較的低くなり、その場合にはβｉの値も比較的低くなる。これに対して、基
本構造を伴う断片については、ほとんどの動きに関してＳＳＤの値が比較的高く
なり、その場合にはβｉの値も比較的高くなる。 【００６９】 以上を背景知識として、エゴモーション予測システムプロセッサ１４によって
実行されるオペレーションについて、図２に示したフローチャートを参照して次
に説明する。図２に関して、ここではエゴモーション予測システムプロセッサ１
４がすでにイメージΨを有しており、イメージΨが記録されたロケーションまで
の平行移動および回転の動きの判定に関連してそれが使用されていることを前提
とする。図２を参照すると、エゴモーション予測システムプロセッサ１４は、イ
メージΨ’を受け取った後（ステップ１００）、カメラ１３の較正オペレーショ
ン（後述する）中に提供された情報に従ってイメージを修正し、その光軸を道路
によって定義される平面と平行にする（ステップ１０１）。これに加えて、エゴ
モーション予測システムプロセッサ１４は、以前の動きの予測を使用し、かつ、
可能性としては利用可能なものがあれば他のセンサからの情報を使用して平行移
動および回転に関する初期予測を生成する（ステップ１０２）。例えば、エゴモ
ーション予測システムプロセッサ１４は、輸送手段１０の速度計からの情報をは
じめ、イメージΨが記録された時刻と、イメージΨ’が記録された時刻との間の
時間間隔を、初期予測の生成に使用する。一般的に時間間隔は固定であり、連続
するイメージΨおよびΨ’のペアのそれぞれに関して同一であることが好ましい
。エゴモーション予測システムプロセッサ１４は、初期予測を生成した後、その
初期予測を使用してイメージΨ’をイメージΨに向けてねじることにより、ねじ
られたイメージΨ＾’を生成する（ステップ１０３）。 【００７０】 エゴモーション予測システムプロセッサ１４は、ねじられたイメージΨ＾’を
生成した後（ステップ１０３）、イメージΨおよびねじられたイメージΨ＾’を
断片に分割し、２つのイメージΨおよびΨ＾’内の対応する断片の各ペアに関し
て、重みづけ関数λｉを生成する。このオペレーションにおいて、エゴモーショ
ン予測システムプロセッサ１４は、イメージΨ内の１つの断片を選択して（ステ
ップ１０４）、Ｐ２（ステップ１０５）、Ｐ１（式（２０））（ステップ１０６
）およびλｉ（式（２２））（ステップ１０７）に関する値を上述したように生
成する。これに加えてエゴモーション予測システムプロセッサ１４は、βｉ（式
（２３））およびαｉの値を生成することができる（ステップ１０８）。エゴモ
ーション予測システムプロセッサ１４は、選択した断片に関してステップ１０５
〜１０８を実行した後、イメージΨ内のすべての断片を処理したかどうかを判定
し（ステップ１０９）、残っている断片がある場合、ステップ１０４に戻り、別
の断片を選択してそれらに関連してステップ１０５〜１０９を実行する。 【００７１】 エゴモーション予測システムプロセッサ１４は、イメージΨ内の各断片に関連
してステップ１０４〜１０９を実行する。イメージΨ内のすべての断片に関連し
てステップ１０４〜１０９を実行した後、エゴモーション予測システムプロセッ
サ１４は、ステップ１０９からステップ１１０に進み、式（１９）によって与え
られる値を最大にする動きｍ＾をサーチする（ステップ１１０）。この動きｍ＾
は、平行移動ｔｚおよび回転ｗｘ、ｗｙのパラメータに関する値を含み、これら
が、イメージΨが記録された時点と、イメージΨ’が記録された時点の間におけ
る輸送手段１０の動きの予測を構成することになる。エゴモーション予測システ
ムプロセッサ１４は、上記オペレーションを、連続するイメージΨおよびΨ’の
ペアに関連して実施することにより、輸送手段１０の動きを予測することができ
る。 【００７２】 ステップ１０６（Ｐ１に関する値の生成）およびステップ１１０（式（１９）
によって与えられる値を最大にする動きｍ＾の判定）の実行において、エゴモー
ション予測システムプロセッサ１４は、初期予測の近傍の選択した立方体形状の
領域に限定される勾配降下法を実行することができる。 【００７３】 エゴモーション予測システムプロセッサ１４は、それぞれの新しいイメージΨ
’に関する初期予測の決定（ステップ１０２）において、以前に受け取ったイメ
ージに関して生成済みの動きの予測を使用することができる。これに加えて、領
域Ｍ＾のサイズを適応的に調整することができる。 【００７４】 輸送手段１０のエゴモーションを判定するための第２の方法について、図３を
参照して説明する。図２に関連して説明した方法と同様に、ここでは、輸送手段
１０の移動する道路によって表される平面と垂直になるようにイメージが修正さ
れており、かつ、それらの水平（「ｘ」）軸が道路によって表される平面と平行
になっているものと仮定する。まず、背景知識について述べるが、その場合にお
ける平面の式（２４） 【００７５】 【数２４】 【００７６】 （式（３）参照）は、次の式（２５）のように整理される。 【００７７】 【数２５】 【００７８】 ここで、Ｙ＝１／｜Ｂ｜は、道路からカメラ１３の光軸（あるいは、より詳し
く言えばＺ軸）までの高さである。３次元空間における点Ｐ（Ｘ，Ｙ，Ｚ）の投
影であるイメージ内の点ｐ（ｘ，ｙ）について、ｙ＝ｆ（Ｙ／Ｚ）であり、式（
２５）は次の式（２６）のようになる。 【００７９】 【数２６】 【００８０】 各点について、輝度の拘束が、次の式（２７）で与えられる。 【００８１】 【数２７】 【００８２】 ただし、ＩｘおよびＩｙは、イメージ内の各点（ｘ，ｙ）における輝度の空間
的勾配のそれぞれ水平および垂直成分であり、Ｉｔは、輝度の時間的勾配である
。これに加えて、フローベクトルの成分（ｕ，ｖ）に関する式（式（１）参照）
を、次の式（２８）のように表すことができる。 【００８３】 【数２８】 【００８４】 ここで［ｗ］ｘは、スキュー対称行列であり、この場合には次の式（２９）が
得られる。 【００８５】 【数２９】 【００８６】 ただしＳは、次の式（３０）により表される。 【００８７】 【数３０】 【００８８】 平面に拘束される動きについては、式（２９）を次の式（３１）のように整理
することができる。 【００８９】 【数３１】 【００９０】 イメージが修正されることから、式（２６）が成立する。これに加えて、回転
の動きが、垂直軸（「Ｙ」）軸に関して生じるように拘束されることから、ｗｘ ＝ｗｚ＝０である。したがって、式（３１）は次の式（３２）に対応することに
なる。 【００９１】 【数３２】 【００９２】 式（３２）を展開し、式（３０）を適用すると、次の式（３３）が得られる。 【００９３】 【数３３】 【００９４】 一般に、輸送手段１０の回転（ｗｙ）に起因して生じるフローベクトルの垂直
成分の部分ｕｗＹは、「Ｘ」軸に沿った平行移動（ｔｘ）に起因して生じる部分
ｕｔＸより大きく、これらの部分は非常に異なる形を持つことになる。「Ｘ」軸
に沿った平行移動に起因して生じる部分ｕｔＸは、イメージが記録された時間の
間において輸送手段１０の移動した距離に依存し、イメージの底に向かう点に関
するものの方が、より上の点に関するものより大きくなる。この場合、ｕｗＹお
よびｕｔＸに関する式は、それぞれ次の式（３４）および（３５）のようになる
。 【００９５】 【数３４】 【００９６】 【数３５】 【００９７】 垂直「Ｙ」軸に関する小さな回転に関して、回転角ｗｙが次の式（３６）のよ
うに近似されることから、式（３７）が得られる。 【００９８】 【数３６】 【００９９】 【数３７】 【０１００】 ここで認識されるであろうが、ｔｙ、すなわち、垂直方向における平行移動ｔ
の成分に関する値およびｗｘおよびｗｚ、すなわち、回転ｗのＸ成分およびＺ成
分に関する値は、すべてゼロになる。したがって、エゴモーション予測システム
プロセッサ１４は、新しいイメージΨ’を受け取った後に、ｔ１およびｔ３、す
なわち、前方（Ｚ軸に沿った）方向および側方（Ｘ軸に沿った）方向の平行移動
ｔの成分およびｗｙ、すなわち、垂直（Ｙ）軸に関する回転の成分を決定する。
このオペレーションにおいて、エゴモーション予測システムプロセッサ１４は、
動きに関する初期予測を生成し（図３のステップ１５０）、その初期予測を使用
してねじられたイメージΨ＾’を生成する（ステップ１５１）。エゴモーション
予測システムプロセッサ１４は、初期予測の生成（ステップ１５０）に関して、
例えば、輸送手段１０の速度計からの情報を含め、多数の情報発信源からの情報
を使用することができる。その後、エゴモーション予測システムプロセッサ１４
は、イメージΨおよびΨ＾’を断片に分割し（ステップ１５２）、道路のイメー
ジを含んでいる可能性がある断片を決定する（ステップ１５３）。道路のイメー
ジを含んでいる可能性がある断片の決定（参照ステップ１５３）において、エゴ
モーション予測システムプロセッサ１４は、イメージΨおよびΨ＾’内の対応す
る断片に関するＳＳＤを生成し（式（１６））、ねじられたイメージΨ＾’内に
おいて、道路のイメージを含む断片として、比較的高いＳＳＤ値を伴う断片を決
定する。その後、エゴモーション予測システムプロセッサ１４は、ステップ１５
３において決定した断片を使用し、次の式（３８）の形のコスト関数を最小化す
る（ステップ１５４）。 【０１０１】 【数３８】 【０１０２】 ここで、Ｗ１およびＷ２は、重みづけ行列であり、基本的に先験的確率（ｐｒ
ｉｏｒｓ）における信頼度または滑らかさの値を示す。この式（３８）は、カル
マンフィルタの形式で形式化され、「ｐ」の値は、Ｌ１またはＬ２のノルムが使
用されるかどうかに基づき、１か２を選択することができる。 【０１０３】 上述したように、図２および図３に関連して説明した上記の方法について、エ
ゴモーション予測システムプロセッサ１４は、最初にカメラ１３からイメージを
受け取ったときにその修正を行っている。上記の説明において、イメージＩおよ
びＩ’は、エゴモーション予測システムプロセッサ１４によって修正されたもの
としてのイメージである。カメラ１３から受け取ったときにイメージを修正する
ためには、カメラ１３を、前述したような輸送手段１０の動きの予測において使
用するためのイメージの記録に関連した使用に先行する較正オペレーションの間
に較正する必要がある。較正の間に実行されるオペレーションの説明に入る前に
、不適切な較正の影響について考察しておくことが有用であろう。例えば、輸送
手段が直線の道路を走行しており、かつ、カメラの光軸が動きの方向に整列して
いる場合においては、連続して記録されるイメージのフローフィールドが、それ
ぞれのイメージの中心、すなわち、イメージの直線座標系の原点（ｘ，ｙ）＝（
０，０）に位置する拡大焦点を伴う拡大フィールドになる。これに対して、カメ
ラが３次元空間において垂直（「Ｙ」）軸に関してわずかな回転を伴って輸送手
段に搭載されている場合には、拡大の焦点がイメージの水平（「ｘ」）軸に沿っ
て変位する。この場合、式（１１）によって定義される動きのモデルがフローフ
ィールドを処理できなくなるが、前方の平行移動および垂直（「Ｙ」）軸に関す
る回転速度ｗｙによって良好に近似される。 【０１０４】 つまり、３次元空間における垂直（「Ｙ」）軸に関するカメラの向きの誤差は
、回転の予測におけるバイアスを生じさせる。この場合には直線パスではなく、
曲線パスが予測されることになる。同様に、３次元空間における水平（「Ｘ」）
軸に関するカメラの向きの誤差は、上下動予測におけるバイアスをもたらす。こ
れらの観察に基づくと、輸送手段が直線道路を走行中に、カメラに一連のイメー
ジを記録させることによって較正オペレーションを実行することができる。図２
または図３に関連して説明したように、輸送手段のエゴモーションが予測され、
そのエゴモーションを直線パスに調整する較正パラメータが予測される。 【０１０５】 本発明は、多数の利点を提供する。具体的には、本発明は、輸送手段１０に搭
載されたカメラ１３によって記録される一連のイメージであって、少なくとも部
分的に道路の投影を含む一連のイメージから道路上の輸送手段１０のエゴモーシ
ョンを判定するための装置を提供し、機械的なセンサ、すなわち、輸送手段１０
に通常に備えられておらず、備えられるとすればそのコストおよび維持費が増加
することになるセンサを必要としない。 【０１０６】 本発明に従ったシステムは、その全体または一部を、専用ハードウエアまたは
汎用コンピュータシステム、あるいは、これらの任意の組み合わせで構成するこ
とが可能であり、かつ、その任意の部分が、適切なプログラムによってコントロ
ール可能であることが認識されるであろう。任意のプログラムは、従来の形態に
従って上記システムの全体または一部を構成し、あるいは、上記システムに記憶
される可能性を有し、また、上記プログラムが全体または部分において、ネット
ワークまたはその他の情報を転送するための手段を介して、従来の形態に従って
上記システムに提供されることもある。これに加えて、上記システムに直接接続
されるか、あるいは、ネットワークまたはその他の情報を転送するための手段を
介して、従来の形態に従って上記システムに情報を転送することができるオペレ
ータ入力エレメント（図示せず）を使用して、オペレータによって提供される情
報を用いて上記システムの操作および／またはコントロールが行われ得ることも
認識されるであろう。 【０１０７】 以上の説明は、本発明の具体的な実施形態に過ぎない。しかしながら、本発明
の利点の一部またはすべての達成を伴って、本発明に対して各種の変形および修
正を加え得ることも認識されるであろう。本発明の真の精神および範囲に帰する
、これらのおよびその他の変形および修正をカバーすることが添付する特許請求
の範囲の目的である。 【０１０８】 新しく、かつ、米国特許証によって保護されることが望ましい発明を特許請求
の範囲に記載した。 【図面の簡単な説明】 【図１】 本発明に従って構成されるエゴモーション予測システムを含めて道路を移動す
る輸送手段を図示した概要図である。 【図２】 １つの方法に従った輸送手段のエゴモーションの判定において、エゴモーショ
ン予測システムによって実行されるオペレーションを図示したフローチャートで
ある。 【図３】 第２の方法に従った輸送手段のエゴモーションの判定において、エゴモーショ
ン予測システムによって実行されるオペレーションを図示したフローチャートで
ある。
─────────────────────────────────────────────────────
フロントページの続き
(81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ，
ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ
Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ，ＴＲ)，ＯＡ(ＢＦ
，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，
ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，Ｇ
Ｍ，ＫＥ，ＬＳ，ＭＷ，ＭＺ，ＳＤ，ＳＬ，ＳＺ，ＴＺ
，ＵＧ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，
ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＥ，ＡＬ，ＡＭ，ＡＴ，
ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，Ｃ
Ｈ，ＣＮ，ＣＲ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＤＭ，ＥＥ
，ＥＳ，ＦＩ，ＧＢ，ＧＤ，ＧＥ，ＧＨ，ＧＭ，ＨＲ，
ＨＵ，ＩＤ，ＩＬ，ＩＮ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，Ｋ
Ｐ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ
，ＬＶ，ＭＡ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，
ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，Ｓ
Ｇ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＴＺ
，ＵＡ，ＵＧ，ＵＺ，ＶＮ，ＹＵ，ＺＡ，ＺＷ
(72)発明者 マノ オフェル
イスラエル モディーン 71700 ナハル
ソレックロード ３ アパートメント ５
Ｆターム(参考） 5B057 AA16 BA02 DA20 DB02 DB09
DC08 DC32
5H180 AA01 CC04 LL01
5L096 AA06 BA04 CA04 DA02 EA27
FA33 FA66 FA67 GA19 GA30
HA04
Claims (1)
- 【特許請求の範囲】 【請求項１】 道路に沿って移動する輸送手段のエゴモーションに関する予
測を生成するためのエゴモーション判定システムにおいて、 Ａ．前記輸送手段が道路に沿って移動するとき記録される、一連の少なくとも
２つのイメージに関連するイメージ情報を受け取るように構成されたイメージ情
報レシーバと、 Ｂ．前記イメージレシーバによって受け取られたイメージ情報を処理し、前記
輸送手段のエゴモーション予測を生成するように構成されたプロセッサと、 を含むことを特徴とするシステム。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16758799P | 1999-11-26 | 1999-11-26 | |
| US23016600P | 2000-09-01 | 2000-09-01 | |
| US60/230,166 | 2000-09-01 | ||
| US60/167,587 | 2000-09-01 | ||
| PCT/US2000/032143 WO2001039120A2 (en) | 1999-11-26 | 2000-11-27 | System and method for estimating ego-motion of a moving vehicle using successive images recorded along the vehicle's path of motion |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003515827A true JP2003515827A (ja) | 2003-05-07 |
Family
ID=26863299
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001540712A Pending JP2003515827A (ja) | 1999-11-26 | 2000-11-27 | 輸送手段の動きのパスに沿って記録された連続イメージを使用して、移動する輸送手段のエゴモーションを予測するためのシステムおよび方法 |
Country Status (5)
| Country | Link |
|---|---|
| EP (1) | EP1257971A4 (ja) |
| JP (1) | JP2003515827A (ja) |
| AU (1) | AU1793301A (ja) |
| CA (1) | CA2392652A1 (ja) |
| WO (1) | WO2001039120A2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7542834B2 (en) | 2003-10-17 | 2009-06-02 | Panasonic Corporation | Mobile unit motion calculating method, apparatus and navigation system |
| JP2010535385A (ja) * | 2007-08-22 | 2010-11-18 | ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハー | オプティカルフロー、運動学及び深さ情報を使用して、物体の適切な運動を推定する方法 |
| US8866901B2 (en) | 2010-01-15 | 2014-10-21 | Honda Elesys Co., Ltd. | Motion calculation device and motion calculation method |
| JP2020024667A (ja) * | 2018-08-07 | 2020-02-13 | 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． | 自体運動推定方法及び装置 |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5877897A (en) | 1993-02-26 | 1999-03-02 | Donnelly Corporation | Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array |
| US6822563B2 (en) | 1997-09-22 | 2004-11-23 | Donnelly Corporation | Vehicle imaging system with accessory control |
| US7655894B2 (en) | 1996-03-25 | 2010-02-02 | Donnelly Corporation | Vehicular image sensing system |
| AU2003225228A1 (en) | 2002-05-03 | 2003-11-17 | Donnelly Corporation | Object detection system for vehicle |
| JP4319928B2 (ja) | 2004-03-09 | 2009-08-26 | 株式会社デンソー | 車両状態検知システムおよび車両状態検知方法 |
| US7526103B2 (en) | 2004-04-15 | 2009-04-28 | Donnelly Corporation | Imaging system for vehicle |
| GB0516403D0 (en) * | 2005-08-10 | 2005-09-14 | Trw Ltd | Method and apparatus for determining motion of a vehicle |
| US7972045B2 (en) | 2006-08-11 | 2011-07-05 | Donnelly Corporation | Automatic headlamp control system |
| CN101419711B (zh) * | 2008-12-15 | 2012-05-30 | 东软集团股份有限公司 | 一种估计车辆自运动参数的方法和装置 |
| US10163220B2 (en) | 2015-08-27 | 2018-12-25 | Hrl Laboratories, Llc | Efficient hybrid method for ego-motion from videos captured using an aerial camera |
| US9566986B1 (en) | 2015-09-25 | 2017-02-14 | International Business Machines Corporation | Controlling driving modes of self-driving vehicles |
| CN106611512B (zh) * | 2015-10-23 | 2020-02-07 | 杭州海康威视数字技术股份有限公司 | 前车起步的处理方法、装置和系统 |
| WO2017209886A2 (en) * | 2016-05-02 | 2017-12-07 | Hrl Laboratories, Llc | An efficient hybrid method for ego-motion from videos captured using an aerial camera |
| CN108605113B (zh) * | 2016-05-02 | 2020-09-15 | 赫尔实验室有限公司 | 用于自运动补偿的方法、系统和非暂时性计算机可读介质 |
| CN112802210B (zh) * | 2021-03-22 | 2021-08-10 | 成都宜泊信息科技有限公司 | 停车费缴纳方法、系统、电子设备及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1091795A (ja) * | 1996-09-12 | 1998-04-10 | Toshiba Corp | 移動物体検出装置及び移動物体検出方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5036474A (en) * | 1989-03-31 | 1991-07-30 | Honeywell Inc. | Motion detection and tracking from a mobile platform |
| US4969036A (en) * | 1989-03-31 | 1990-11-06 | Bir Bhanu | System for computing the self-motion of moving images devices |
| US5257209A (en) * | 1990-06-26 | 1993-10-26 | Texas Instruments Incorporated | Optical flow computation for moving sensors |
| US5259040A (en) * | 1991-10-04 | 1993-11-02 | David Sarnoff Research Center, Inc. | Method for determining sensor motion and scene structure and image processing system therefor |
| EP0986252B1 (en) * | 1993-06-04 | 2006-03-08 | Sarnoff Corporation | System and method for electronic image stabilization |
| US5473364A (en) * | 1994-06-03 | 1995-12-05 | David Sarnoff Research Center, Inc. | Video technique for indicating moving objects from a movable platform |
| US5777690A (en) * | 1995-01-20 | 1998-07-07 | Kabushiki Kaisha Toshiba | Device and method for detection of moving obstacles |
| US5751838A (en) * | 1996-01-26 | 1998-05-12 | Nec Research Institute, Inc. | Correction of camera motion between two image frames |
-
2000
- 2000-11-27 CA CA002392652A patent/CA2392652A1/en not_active Abandoned
- 2000-11-27 AU AU17933/01A patent/AU1793301A/en not_active Abandoned
- 2000-11-27 WO PCT/US2000/032143 patent/WO2001039120A2/en not_active Application Discontinuation
- 2000-11-27 EP EP00980706A patent/EP1257971A4/en not_active Withdrawn
- 2000-11-27 JP JP2001540712A patent/JP2003515827A/ja active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1091795A (ja) * | 1996-09-12 | 1998-04-10 | Toshiba Corp | 移動物体検出装置及び移動物体検出方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7542834B2 (en) | 2003-10-17 | 2009-06-02 | Panasonic Corporation | Mobile unit motion calculating method, apparatus and navigation system |
| JP2010535385A (ja) * | 2007-08-22 | 2010-11-18 | ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハー | オプティカルフロー、運動学及び深さ情報を使用して、物体の適切な運動を推定する方法 |
| US8866901B2 (en) | 2010-01-15 | 2014-10-21 | Honda Elesys Co., Ltd. | Motion calculation device and motion calculation method |
| JP2020024667A (ja) * | 2018-08-07 | 2020-02-13 | 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． | 自体運動推定方法及び装置 |
| JP7290271B2 (ja) | 2018-08-07 | 2023-06-13 | 三星電子株式会社 | 自体運動推定方法及び装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| AU1793301A (en) | 2001-06-04 |
| WO2001039120A2 (en) | 2001-05-31 |
| WO2001039120A3 (en) | 2001-10-04 |
| EP1257971A2 (en) | 2002-11-20 |
| CA2392652A1 (en) | 2001-05-31 |
| EP1257971A4 (en) | 2005-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6704621B1 (en) | System and method for estimating ego-motion of a moving vehicle using successive images recorded along the vehicle's path of motion | |
| US10445928B2 (en) | Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types | |
| JP2003515827A (ja) | 輸送手段の動きのパスに沿って記録された連続イメージを使用して、移動する輸送手段のエゴモーションを予測するためのシステムおよび方法 | |
| CN112292711B (zh) | 关联lidar数据和图像数据 | |
| US11585662B2 (en) | Laser scanner with real-time, online ego-motion estimation | |
| US11719788B2 (en) | Signal processing apparatus, signal processing method, and program | |
| US10872431B2 (en) | Estimating distance to an object using a sequence of images recorded by a monocular camera | |
| JP7351293B2 (ja) | 信号処理装置、および信号処理方法、プログラム、並びに移動体 | |
| US10192113B1 (en) | Quadocular sensor design in autonomous platforms | |
| US10496104B1 (en) | Positional awareness with quadocular sensor in autonomous platforms | |
| US10757395B2 (en) | Camera parameter set calculation method, recording medium, and camera parameter set calculation apparatus | |
| CA2569209C (en) | Image-augmented inertial navigation system (iains) and method | |
| US7542834B2 (en) | Mobile unit motion calculating method, apparatus and navigation system | |
| US20190311485A1 (en) | Method for Evaluating Image Data of a Vehicle Camera | |
| CN110497901A (zh) | 一种基于机器人vslam技术的泊车位自动搜索方法和系统 | |
| WO2021072710A1 (zh) | 移动物体的点云融合方法、系统及计算机存储介质 | |
| US20210010814A1 (en) | Robust localization | |
| US20210374904A1 (en) | Depth-guided video inpainting for autonomous driving | |
| JP6552448B2 (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム | |
| JP2022546483A (ja) | 車両の軌道を決定する方法および装置 | |
| KR20210141668A (ko) | 서로 상대적으로 움직이는 복수의 정형 객체의 검출, 3d 재구성 및 추적 | |
| US20210148707A1 (en) | Location-estimating device and computer program for location estimation | |
| EP1727089A2 (en) | System and method for estimating ego-motion of a moving vehicle using successive images recorded along the vehicle's path of motion | |
| CN116892949A (zh) | 地上物检测装置、地上物检测方法以及地上物检测用计算机程序 | |
| JP2001243456A (ja) | 障害物検出装置及び障害物検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070221 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090924 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100428 |