JP2003527680A - 輸送手段の動きに対して障害物を検出し、連続したイメージを用いて障害物との接触までの時間を決定するシステムおよび方法 - Google Patents
輸送手段の動きに対して障害物を検出し、連続したイメージを用いて障害物との接触までの時間を決定するシステムおよび方法Info
- Publication number
- JP2003527680A JP2003527680A JP2001540612A JP2001540612A JP2003527680A JP 2003527680 A JP2003527680 A JP 2003527680A JP 2001540612 A JP2001540612 A JP 2001540612A JP 2001540612 A JP2001540612 A JP 2001540612A JP 2003527680 A JP2003527680 A JP 2003527680A
- Authority
- JP
- Japan
- Prior art keywords
- obstacle
- contact
- time
- vehicle
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
- B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
- G01S5/163—Determination of attitude
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Image Processing (AREA)
- Radar Systems Or Details Thereof (AREA)
- Complex Calculations (AREA)
- Image Analysis (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
(57)【要約】
道路に沿って移動する輸送手段と障害物の接触までの時間に関する予測を生成するための接触までの時間予測決定システムが開示されている。この接触までの時間予測決定システムは、イメージ・レシーバおよびプロセッサを包含している。イメージ・レシーバは、輸送手段が道路に沿って移動するとき記録される、一連の少なくとも２つのイメージに関連するイメージ情報を受け取るべく構成されている。プロセッサは、イメージ・レシーバによって受け取られたイメージ情報を処理し、輸送手段の障害物との接触までの時間予測を生成するべく構成されている。
Description
【発明の詳細な説明】
【０００１】
（援用記載）
２０００年１１月２６日に、Ｇｉｄｅｏｎ Ｐ．Ｓｔｅｉｎ（ギデオン Ｐ．
ステイン）、Ｏｆｅｒ Ｍａｎｏ（オファー・マノ）およびＡｍｎｏｎ Ｓｈａ
ｓｈｕａ（アムノン・シャシュア）の名において出願され、本件出願の譲り受け
人に譲渡された「Ｓｙｓｔｅｍ Ａｎｄ Ｍｅｔｈｏｄ Ｆｏｒ Ｅｓｔｉｍａ
ｔｉｎｇ Ｅｇｏ−Ｍｏｔｉｏｎ Ｏｆ Ａ Ｍｏｖｉｎｇ Ｖｅｈｉｃｌｅ
Ｕｓｉｎｇ Ｓｕｃｃｅｓｓｉｖｅ Ｉｍａｇｅｓ Ｒｅｃｏｒｄｅｄ Ａｌｏ
ｎｇ Ｔｈｅ Ｖｅｈｉｃｌｅ’ｓ Ｐａｔｈ Ｏｆ Ｍｏｔｉｏｎ（輸送手段
の動きのパスに沿って記録された連続イメージを使用して、移動する輸送手段の
エゴモーションを予測するためのシステムおよび方法）」（以下「ステイン特許
出願」と言う）を参照して本件出願に援用する。 【０００２】 （発明の分野） 本発明は、概して移動する輸送手段と障害物の接触までの時間を予測するため
のシステムおよび方法の分野に関し、より詳細に述べれば、輸送手段の動きのパ
スに沿って記録された連続記録イメージを使用して接触までの時間を予測するシ
ステムおよび方法に関する。 【０００３】 （発明の背景） 輸送手段と障害物の間における接触までの時間の正確な予測は、自律ドライブ
およびコンピュータ・ビジョン‐ベースのドライブ補助における重要な要素であ
る。機械的センサに代えて、コンピュータ・ビジョン・テクニックを使用してド
ライブ中の補助を提供することは、機械的なセンサに必要とされるような較正を
必要とすることなく、輸送手段の動きの予測において使用するために記録された
情報を、車線等の識別を行うエゴモーションの予測にも使用できるようにする。
これは、接触までの時間の予測を提供するために備えられる装置のコストおよび
それに必要になると考えられる保守を軽減する。 【０００４】 （発明の要約） 本発明は、輸送手段の動きのパスに沿って記録された連続記録イメージを使用
して輸送手段が障害物と接触するまでの時間を予測するための新規で、かつ向上
したシステムおよび方法を提供する。 【０００５】 簡単に述べると、本発明は、道路に沿って移動する輸送手段と障害物の接触ま
での時間に関する予測を生成するための接触までの時間予測決定システムを提供
する。この接触までの時間予測決定システムは、イメージ・レシーバおよびプロ
セッサを包含している。イメージ・レシーバは、輸送手段が道路に沿って移動す
るとき記録される、一連の少なくとも２つのイメージに関連するイメージ情報を
受け取るべく構成されている。プロセッサは、イメージ・レシーバによって受け
取られたイメージ情報を処理し、輸送手段と障害物との接触までの時間予測を生
成するべく構成されている。 【０００６】 本発明は、付随する特許請求の範囲に詳細に示されている。上記の、およびそ
のほかの本発明の利点は、添付図面とともに以下の説明を参照することによって
より良好に理解されることになろう。 【０００７】 （例示のための実施態様の詳細な説明） 道路１１の上を移動する輸送手段１０を、本発明に従って構成された接触まで
の時間予測システム１２とともに図１に示す。輸送手段１０は、道路１１の上を
移動することができる任意の種類の輸送手段１０とすることが可能であり、それ
には、限定する意図ではないが、自動車、トラック、バス等が含まれる。接触ま
での時間予測システム１２は、カメラ１３およびプロセッサ１４を含む。カメラ
１３は、輸送手段１０に搭載されており、好ましくは前方、すなわち輸送手段が
通常に移動する方向を向いており、道路の上を当該輸送手段が移動するときの連
続するイメージを記録する。好ましくはカメラ１３が各イメージを記録するとき
、プロセッサ１４にイメージを提供する。一方、プロセッサ１４は、連続イメー
ジから獲得した情報を、可能性としては当該輸送手段の速度計（個別には図示し
ていない）からの情報等といったそのほかの情報とともに処理し、参照番号１５
を用いて包括的に明示されている１ないしは複数の障害物がある場合には、輸送
手段１０とそれとの接触までの時間に対応する接触までの時間の値を予測する。
プロセッサ１４はまた、輸送手段１１上またはその中にマウントされ、その一部
を形成することもある。プロセッサ１４によって生成される接触までの時間予測
は、多くのものに関して使用することができ、限定する意図ではないが、それに
は輸送手段による自律ドライブ、衝突回避における補助の提供等が含まれる。接
触までの時間の予測において、プロセッサ１４によって実行されるオペレーショ
ンを、図３に示したフローチャートとの関連から説明する。 【０００８】 先に進む前に、ここで、輸送手段１０の動きに対して接触する可能性のある障
害物の検出、および障害物が存在する場合の、輸送手段１０と個々の障害物の間
の接触までの時間の検出において、図１に示した衝突検出および接触までの時間
予測プロセッサ１４によって実行されるオペレーションに関するバックグラウン
ドを提供することが役立つと考えられる。概して、プロセッサ１４によって実行
されるオペレーションは、２段階、すなわち障害物検出段階および接触までの時
間予測段階に分けることができる。ここで認識されようが、これらの段階が各種
の障害物に関連してオーバーラップすることがあり、プロセッサ１４が新しい障
害物の検出を試みる障害物検出段階にある一方で、それがすでに検出済みの障害
物との接触までの時間を検出する段階、すなわち接触までの時間予測段階にある
ということもあり得る。 【０００９】 障害物検出段階の間においては、２つの一般的なオペレーションが実行される
。第１に、連続するイメージΨ、Ψ’、．．．、の間において道路削除オペレー
タが使用されて、道路の投影を包含するイメージの部分が識別される。ここで、
道路の投影を包含するとして識別されたイメージの部分は無視される。そして、
障害物検出オペレータが使用され、道路の投影を包含する部分を除くイメージの
部分が分析され、障害物が識別される。これらの障害物が識別された後、接触ま
での時間予測段階の間に、識別された障害物に関する接触までの時間予測が生成
される。接触までの時間予測は、輸送手段１０と障害物が互いに近づきつつある
か、離れて行くか、あるいは一定の間隔を維持しているかを示す。すなわち、特
定の障害物までの接触までの時間予測が正であれば、輸送手段１０とその障害物
は互いに近づきつつあり、予測が無限大であれば間隔が一定であり、予測が負で
あれば輸送手段１０と障害物が互いに離れて行くことになる。 【００１０】 ここで認識されようが、特定のイメージのペアΨおよびΨ’に関して生成され
る接触までの時間予測は、あとの方のイメージΨ’が記録された時点における接
触までの時間に関しての予測を与える。しかしながら、ここでの説明における、
生成された接触までの時間予測は、輸送手段１０および障害物の動きが一定に保
たれるとした場合には、それらが接触するか否かについての可能性を決定する上
で役立つと見られる情報は考慮されない。たとえば、エゴモーション情報（これ
は、たとえばステイン特許出願に説明されている方法を使用して生成されること
により提供することができる）および道路の形状ならびに期待される輸送手段の
パスに関する情報が、輸送手段と障害物の接触の可能性の有無を決定する上で役
立つと見られる。仮に、たとえば、障害物が輸送手段１０と同一の車線内にあり
、かつ接触までの時間予測が正であって、輸送手段１０と障害物の間の間隔が減
少していることが示されているときには、輸送手段の動きが変更されない限り輸
送手段１０が障害物に接触する可能性があるものとされる。それに加えて、それ
と同じ情報を使用し、速度の変更、車線の変更といった接触の回避のためのスト
ラテジ、あるいは当業者に周知のほかのストラテジを開発することもできる。 【００１１】 前述したように、障害物検出段階の間に、障害物の識別を容易にするために道
路検出オペレータおよび障害物検出オペレータが使用される。障害物の識別にお
いて障害物検出オペレータを単独で使用することも可能であるが、道路が障害物
ではないことから、また通常は道路の投影が一般に個々のイメージΨおよびΨ’
の比較的大きな部分を構成することから、障害物検出オペレータの適用において
は、これらの部分を無視することができる。道路検出オペレータは、まず、イメ
ージΨおよびΨ＾’を対応する領域「Ｒ」に分割し、次の式（１）で示される値
「Ｑ」を生成するが、それにおいてΨ＾’は、イメージΨが記録された時間と、
イメージΨ’が記録された時間の間における予測された輸送手段の動きを使用し
てイメージΨに向けてねじられたイメージΨ’である。 【００１２】 【数１】 【００１３】 ねじられたイメージΨ＾’の生成に使用される予測された動きは、イメージΨ
が記録された時点と、イメージΨ’が記録された時点の間における輸送手段１０
の平行移動ならびに回転を包含し、たとえば速度計によって提供されるような輸
送手段の速度を基礎とする初期予測、あるいはステイン特許出願に説明されてい
るように生成される予測された動きとすることができる。ここで認識されようが
、ねじられたイメージΨ＾’は、概してイメージΨが記録された時点におけるど
のようなイメージとなるかという予測を反映する。これは、道路の投影となる領
域に関して保持されるが、そのほかの領域に関しては必ずしも保持されず、特に
垂直の広がりを有する領域、つまり障害物のケースとなる領域に関しては保持さ
れない。したがって、選択された域値より「Ｑ」値が低いイメージΨおよびΨ＾
’内の領域は道路が投影された領域であると見なされ、そのほかの領域は道路が
投影された領域とは見なされない。同様に、道路が投影された領域であると見な
されたイメージΨ＾’内の領域に向けてねじられたイメージΨ’内の領域につい
ても、道路が投影された領域であると見なされ、Ψ’内のそのほかの領域は道路
の投影でないと見なされる。 【００１４】 道路検出オペレータが使用されてイメージΨおよびΨ’内の道路の投影でない
領域が識別された後、障害物検出オペレータを使用してこれらの領域が処理され
、これらの領域内における障害物が検出される。概して、道路または構成部分、
道路上のマーク等のアーティファクト、道路表面上に落とされた影等は、すべて
が水平の広がりを有するに過ぎないが、これらとは異なり、障害物は、水平の広
がりだけでなく垂直の広がりを有することが認識されよう。つまり、２つの連続
するイメージΨおよびΨ’の間において、道路表面上のマーク、道路表面上に落
とされた影等は、イメージの水平軸に沿っての広がりを呈示するが、垂直軸に沿
っての広がりは、ほとんどもしくはまったく呈示しない。これに対して、垂直の
広がりを有する障害物は、イメージの水平軸に沿っての広がりと同様に垂直軸に
沿ってもより一様な広がりを呈示する。 【００１５】 この観察に基づいて、障害物検出段階においては、２つのフィルタ、すなわち
道路フィルタおよび障害物フィルタを用いてイメージが処理される。道路フィル
タは、イメージΨおよびΨ’上の道路および関連付けされるアーティファクトの
部分を取り除き、障害物を残す。障害物の投影となるΨおよびΨ’の間の断片の
アフィン変換は、当該障害物に関する「広がりの焦点」（「ＦＯＥ」）の周囲に
おいて概して一様なスケーリングを示す。つまり、障害物のＦＯＥがイメージΨ
内のポイントｐＦＯＥ（ｘ０，ｙ０）にある場合には、その障害物上のポイント
Ｐ（Ｘ，Ｙ，Ｚ）の投影、すなわちイメージΨ内のポイントｐ（ｘ，ｙ）への投
影のモーション・ベクトル（ｕ，ｖ）が、次の式（２）および（３）によって表
される成分を有する。 【００１６】 【数２】 【００１７】 【数３】 【００１８】 これにおいて「ｓ」は、一様なスケーリングを反映する定数である。モーショ
ン・ベクトルの成分は、イメージΨ内の投影ｐ（ｘ，ｙ）とイメージΨ’内の投
影ｐ’（ｘ’，ｙ’）の間の３次元空間におけるポイントＰ（Ｘ，Ｙ，Ｚ）の投
影の水平および垂直の動きを表している。ＦＯＥの座標が未知の場合においても
、モーション・ベクトルが一様なスケーリングを示し、さらに次の式（４）およ
び（５）に示される平行移動を反映する。 【００１９】 【数４】 【００２０】 【数５】 【００２１】 これにおいてｘｆ＝−ｓｘ０、およびｙｆ＝−ｓｙ０である。ここで認識され
ようが、式（４）および（５）における「ｓｘ」項および「ｓｙ」項は、一様な
スケーリングを反映しており、ｘｆおよびｙｆの項は、平行移動を反映している
。このモーション・ベクトルに関して、「ｘ」および「ｙ」をイメージΨ内にお
ける３次元空間内のポイントを投影した座標とし、「ｘ’」および「ｙ’」をイ
メージΨ’内における３次元空間内の同一のポイントを投影した座標とするとき
、成分ｕ＝ｘ’−ｘおよびｖ＝ｙ’−ｙから次の式（６）が得られる。 【００２２】 【数６】 【００２３】 この式（６）を次の式（７）により表される一定輝度予測基準、すなわち 【００２４】 【数７】 【００２５】 に代入すると、次の式（８）が得られる。 【００２６】 【数８】 【００２７】 この式は、次の式（９）のように変形することができる。 【００２８】 【数９】 【００２９】 これにおいて、上付き文字「Ｔ」は、転置演算を表す。式（９）が成立するイ
メージΨおよびΨ’の領域が障害物を表すことになる。 【００３０】 障害物検出段階の間に１ないしは複数の障害物が検出された場合に、プロセッ
サ１４は、輸送手段１０とその障害物の接触までの時間の予測を生成することが
できる。接触までの時間は、輸送手段と障害物の間の距離を反映するが、多くの
場合において接触までの時間がより有用な測定量となることが認識されよう。カ
メラ１３のイメージ平面までの障害物の距離は、輸送手段１０までの障害物の距
離を反映しており、イメージΨが記録された時点Ｔ−ΔＴにおけるそれはＺ＋Δ
Ｚとなり、イメージΨ’が記録された時点ＴにおけるそれはＺとなる（ここでは
、値「ΔＴ」および「ΔＺ」がともに正であることに注意する必要がある）。輸
送手段１０と障害物の間の相対的な動きに変化がないとすれば、時間間隔Ｔ内に
障害物までの距離Ｚが閉じることになり、したがって接触までの時間がＴになる
。 【００３１】 プロセッサ１４は、イメージΨおよびΨ’内に記録された障害物があるとき、
そのスケーリングの比に関して、より具体的には垂直寸法のスケーリングに関し
て接触までの時間Ｔの予測を行う。イメージΨ内の障害物の垂直寸法は、次の式
（１０）によって与えられる。 【００３２】 【数１０】 【００３３】 これにおいて「Ｙ」は、３次元空間における障害物の高さを反映しており、「
ｆ」はカメラ１３の焦点距離である。３次元空間における障害物の高さ「Ｙ」は
イメージΨおよびΨ’が記録された時間の間に変化しないことから、同様に、イ
メージΨ’内の障害物の垂直寸法は、次の式（１１）によって与えられる。 【００３４】 【数１１】 【００３５】 これらのイメージ内の垂直寸法のスケーリング・ファクタまたは比「Ｓ」は、
次の式（１２）によって与えられる。 【００３６】 【数１２】 【００３７】 それに加えて、輸送手段１０と障害物の間の動きに変化がないことを前提とす
ると、イメージΨおよびΨ’が記録された時点の間の時間間隔内における輸送手
段１０と障害物の間の相対速度ΔＺ／ΔＴは、イメージΨ’が記録された時点と
輸送手段１０が障害物と接触することになる時点の間の時間間隔内における相対
速度Ｚ／Ｔに等しくなる。つまり次の式（１３）が成立する。 【００３８】 【数１３】 【００３９】 この式（１３）を変形すると、次の式（１４）が得られる。 【００４０】 【数１４】 【００４１】 式（１４）と式（１２）を組み合わせると、次の式（１５）が得られる。 【００４２】 【数１５】 【００４３】 この式（１５）を変形し、Ｔ、すなわち接触までの時間について解くと、次の
式（１６）が得られる。 【００４４】 【数１６】 【００４５】 ここで認識されようが、ΔＺがゼロでない正の値であれば、式（１２）からＳ
の値が１より大きくなり、式（１６）におけるファクタ１／（Ｓ−１）の値がゼ
ロより大きくなる。その場合においては、接触までの時間Ｔが正になる。ここで
認識されようが、輸送手段１０と障害物の間の距離が減少している場合にこれが
生じ得る。これに対して、比Ｓの値が１に等しいとき、すなわちこれは、イメー
ジΨ内の障害物の垂直寸法がイメージΨ’内の垂直寸法に等しいときに生じ得る
が、式（１６）におけるファクタ１／（Ｓ−１）の値が無限大になり、その場合
には接触までの時間Ｔもまた無限大になる。ここで認識されようが、これが生じ
るとき、輸送手段１０が動いているのであれば、障害物も輸送手段１０と同じ速
度で動いており、その場合には、輸送手段１０と障害物の間隔が一定になる。最
後に、比Ｓの値が１より小さいとき、すなわちこれは、イメージΨ内の障害物の
垂直寸法がイメージΨ’内の障害物の垂直寸法より大きいときに生じ得るが、式
（１６）におけるファクタ１／（Ｓ−１）の値が負になり、その場合には、接触
までの時間Ｔもまた負になる。ここで認識されようが、これが生じるときには、
障害物も移動しており、その速度は輸送手段１０より大きく、かつそれから離れ
る方向となる。式（１６）を用いてプロセッサ１４は、イメージΨおよびΨ’か
らの情報ならびに時間間隔ΔＴのみによって、つまり輸送手段１０と障害物の間
の実際の距離に関する情報をまったく必要とすることなく、接触までの時間の予
測を行い得ることが認識されるであろう。 【００４６】 すでに述べたが、上記のように生成される接触までの時間の値は、イメージΨ
’が記録された時点において輸送手段１０と障害物の間の間隔が減少しているレ
ートを実際に反映している。任意時点における輸送手段１０および障害物の特定
のポジションならびに有向速度（方向および速度を反映している）をはじめ、輸
送手段１０および障害物のサイズ、および主として水平寸法に応じて、輸送手段
と障害物が実際に接触することもあれば、接触しないこともある。これについて
図２Ａおよび２Ｂとの関連から説明する。図２Ａを参照すると、３車線を有する
カーブした道路２０の部分が略図的に示されており、そこには車線２１Ｃによっ
て表されている中央車線、車線２１Ｌによって表されている中央の左側の車線、
および車線２１Ｒによって表されている中央の右側の車線が含まれている。この
道路の曲率中心はＯにある。輸送手段１０は、中央車線２１Ｃを走行しており、
３つの車線すべてには他の輸送手段からなる障害物が走行している。説明を簡略
化するため、ここでは座標系が輸送手段１０とともに移動するものと考える。さ
らに、障害物がロケーションａ、ａ’、ａ”に存在するときの第１のイメージΨ
、障害物がロケーションｂ、ｂ’、ｂ”に存在するときの第２のイメージΨ”、
障害物がロケーションｃ、ｃ’、ｃ”に存在するときの第３のイメージΨ”’、
障害物がロケーションｄ、ｄ’、ｄ”に存在するときの第４のイメージΨ””等
々を含む一連のイメージが記録されるものと仮定する。この例においては、輸送
手段１０と３つの障害物すべての間の間隔が減少している。一連のイメージ内に
おけるこれら間隔およびそれぞれの障害物の水平座標のグラフ（ここで気付かれ
るであろうが、イメージ内のそれぞれの障害物の垂直座標は変化しない）を図２
Ｂに示し、車線２１Ｃ内の障害物との離隔を中黒の丸により、車線２１Ｌ内の障
害物との離隔を白抜きの丸により、車線２１Ｒ内の障害物との離隔をプラス記号
（「＋」）によりそれぞれ示している。図２Ｂにおいて輸送手段１０は、原点、
すなわち「ｘ座標」がゼロであり、Ｚ座標がゼロとなる点に位置すると考えるが
、輸送手段１０の水平寸法はゼロではなく、輸送手段によって定められる幅の水
平寸法の部分は、原点の左右に、当該輸送手段の幅に関連付けされた量だけ広が
ることを認識されよう。図２Ｂに示されるように、３つの障害物すべては、当初
、輸送手段１０に近づくが、輸送手段１０と、左および右の車線２１Ｌおよび２
１Ｒ内の障害物の間隔は、あるポイントから再び増加する。しかしながら、輸送
手段１０と同じ車線２１Ｃ内の障害物との間隔については、連続的に減少する。
イメージが記録される時間の間の間隔が一様であるとすると、車線２１Ｃ内の障
害物の投影の水平座標は、一様にゼロに近づくことになる。一方、残りの車線２
１Ｌおよび２１Ｒ内の障害物については、水平座標の変化が一様にならない。よ
って、連続するイメージにわたる輸送手段の投影の水平座標における数列の一様
性に関する情報を使用して、輸送手段が障害物と接触するか否かの可能性を決定
することができる。 【００４７】 以上のバックグラウンドに基づいて、接触までの時間の決定に関連してプロセ
ッサ１４によって実行されるオペレーションを、図３に示したフローチャートと
の関連から次に説明する。図３を参照すると、新しいイメージΨ’を受け取った
後、プロセッサ１４は、最初に、たとえばステイン特許出願に関して説明されて
いる方法を用いて輸送手段１０のエゴモーションを予測する（ステップ３００）
。予測されたエゴモーションおよび利用可能な場合には車線情報を使用し、プロ
セッサ１４は輸送手段の将来のパスの外挿を行い（ステップ３０１）、外挿した
将来のパスに沿って「危険ゾーン」を識別する（ステップ３０２）。ステップ３
０２の実行においてプロセッサ１４は、カメラの較正パラメータ、および、たと
えば道路のイメージに沿った不等辺四辺形領域を包含する危険ゾーンに基づいた
幾何学的な仮定を使用することができる。プロセッサ１４は、これらの部分に対
して道路検出オペレータ（ステップ３０３）および障害物検出オペレータ（ステ
ップ３０４）を適用して、外挿したパス内もしくはそれに近い障害物を識別する
。その後プロセッサ１４は、障害物検出オペレータの適用後に識別された障害物
があるか否かを決定し（ステップ３０５）、それがなければ、ステップ３００に
戻って次のイメージを受け取る。 【００４８】 これに対して、ステップ３０５においてプロセッサ１４が、１ないしは複数の
障害物がステップ３０４で識別されていると決定した場合には、プロセッサ１４
は、その後のいくつかのイメージΨ”、Ψ”’、Ψ””、．．．、を調べて、そ
れらのイメージが１ないしは複数の障害物のそれぞれの投影を含んでいるか否か
を決定する（ステップ３０６）。連続するイメージを通じて１つもしくは２つの
イメージ内において投影が検出された１ないしは複数の障害物の追跡は、その障
害物が実際に存在すること、およびそれがそれぞれのイメージ内のアーティファ
クトではないことの検証を提供する。続く所定数のイメージの内において投影が
記録された障害物があれば、それらについてプロセッサ１４は、それらの１ない
しは複数の障害物が検証済みであるか否かを決定し（ステップ３０７）、検証さ
れた障害物があれば、それらについてプロセッサ１４は、連続するイメージの間
の障害物に関するスケーリング・ファクタ「Ｓ」の値を決定する（ステップ３０
８）。スケーリング・ファクタの値の決定の後、プロセッサ１４は、その値およ
びΔＴの値を式（１６）に使用して接触までの時間Ｔを決定する（ステップ３０
９）。さらにその後、プロセッサは、その接触までの時間の値を、たとえばその
接触までの時間の値が正の場合に、輸送手段もしくはドライバに対する、たとえ
ば衝突回避の補助の提供に関連して使用することができる。前述したように、こ
の接触までの時間が正でなければ、輸送手段１０と障害物の接触はないことにな
る。 【００４９】 本発明は、多くの利点を提供する。詳細に述べれば、本発明は、連続記録され
た障害物のイメージから直接的に輸送手段１０と障害物の接触までの時間を予測
するための装置を提供し、それには取り付けおよび保守にコストがかさむ他の機
械的もしくは電気的なセンサを必要としない。 【００５０】 ここで、以上説明した接触までの時間予測システム１２に対して多くの改変お
よび改造を加え得ることを認識されるであろう。たとえば、イメージΨおよびΨ
’の間における障害物の垂直寸法のスケーリングを使用することに代えて、シス
テム１２は、水平寸法のスケーリング、もしくはその両方を使用することができ
る。 【００５１】 それに加えて、イメージΨおよびΨ’が、たとえばステイン特許出願に説明さ
れている内容に従って、好ましくはイメージ平面が道路の平面と垂直になるよう
に修正されることも認識されよう。 【００５２】 さらに、ここに説明したものに代えて、あるいはそれらに加えて道路検出フィ
ルタおよび障害物検出フィルタを使用できることも認識されるであろう。たとえ
ば、障害物の投影を含む断片を識別するために、前述のステイン特許出願に説明
されているようなフィルタを使用することができる。 【００５３】 ここで認識されようが、本発明に従ったシステムは、その全体もしくは一部を
、専用ハードウエアまたは汎用コンピュータ・システムから、あるいはそれらの
任意の組み合わせから構成することが可能であり、かつその任意の部分は、適切
なプログラムによってコントロール可能である。任意のプログラムは、従来の態
様に従ってシステムの全体もしくは一部を構成し、あるいはそれにストアされる
可能性を有し、またそれが全体もしくは部分において、ネットワークもしくはそ
のほかの、情報を転送するための手段を介して、従来の態様に従ってこのシステ
ムに提供されることもある。それに加えて、このシステムに直接接続されるか、
あるいはネットワークもしくはそのほかの情報を転送するための手段を介して、
従来の態様に従ってこのシステムに情報を転送することができるオペレータ入力
エレメント（図示せず）を使用して、オペレータによって提供される情報を用い
てこのシステムの処理および／またはコントロールが行われ得ることも認識され
よう。 【００５４】 以上の説明は、本発明の具体的な実施態様に過ぎない。しかしながら、本発明
の利点の一部ないしはすべての達成を伴って、本発明に対して各種の変形ならび
に改造を加え得ることも認識されるであろう。これらのおよびその他の変形なら
びに改造を、本発明の真の精神および範囲に帰するものとして、カバーすること
が願書に添付した特許請求の範囲の目的である。 【００５５】 新規で、かつ米国特許証によって保護されることが望ましい発明を特許請求の
範囲に記載した。 【図面の簡単な説明】 【図１】 本発明に従って構成される接触までの時間予測システムを含めて道路を移動す
る輸送手段を図示した概要図である。 【図２】 図２Ａと図２Ｂは、輸送手段と障害物の水平位置の関数、すなわち輸送手段が
障害物に接触する可能性を予測する上で有用な関数として一連のイメージ内にお
ける障害物の明確な水平面の動きを理解する上で役立つ説明図である。 【図３】 輸送手段と障害物の接触までの時間の予測において、接触までの時間予測シス
テムによって実行されるオペレーションを図示したフローチャートである。
ステイン）、Ｏｆｅｒ Ｍａｎｏ（オファー・マノ）およびＡｍｎｏｎ Ｓｈａ
ｓｈｕａ（アムノン・シャシュア）の名において出願され、本件出願の譲り受け
人に譲渡された「Ｓｙｓｔｅｍ Ａｎｄ Ｍｅｔｈｏｄ Ｆｏｒ Ｅｓｔｉｍａ
ｔｉｎｇ Ｅｇｏ−Ｍｏｔｉｏｎ Ｏｆ Ａ Ｍｏｖｉｎｇ Ｖｅｈｉｃｌｅ
Ｕｓｉｎｇ Ｓｕｃｃｅｓｓｉｖｅ Ｉｍａｇｅｓ Ｒｅｃｏｒｄｅｄ Ａｌｏ
ｎｇ Ｔｈｅ Ｖｅｈｉｃｌｅ’ｓ Ｐａｔｈ Ｏｆ Ｍｏｔｉｏｎ（輸送手段
の動きのパスに沿って記録された連続イメージを使用して、移動する輸送手段の
エゴモーションを予測するためのシステムおよび方法）」（以下「ステイン特許
出願」と言う）を参照して本件出願に援用する。 【０００２】 （発明の分野） 本発明は、概して移動する輸送手段と障害物の接触までの時間を予測するため
のシステムおよび方法の分野に関し、より詳細に述べれば、輸送手段の動きのパ
スに沿って記録された連続記録イメージを使用して接触までの時間を予測するシ
ステムおよび方法に関する。 【０００３】 （発明の背景） 輸送手段と障害物の間における接触までの時間の正確な予測は、自律ドライブ
およびコンピュータ・ビジョン‐ベースのドライブ補助における重要な要素であ
る。機械的センサに代えて、コンピュータ・ビジョン・テクニックを使用してド
ライブ中の補助を提供することは、機械的なセンサに必要とされるような較正を
必要とすることなく、輸送手段の動きの予測において使用するために記録された
情報を、車線等の識別を行うエゴモーションの予測にも使用できるようにする。
これは、接触までの時間の予測を提供するために備えられる装置のコストおよび
それに必要になると考えられる保守を軽減する。 【０００４】 （発明の要約） 本発明は、輸送手段の動きのパスに沿って記録された連続記録イメージを使用
して輸送手段が障害物と接触するまでの時間を予測するための新規で、かつ向上
したシステムおよび方法を提供する。 【０００５】 簡単に述べると、本発明は、道路に沿って移動する輸送手段と障害物の接触ま
での時間に関する予測を生成するための接触までの時間予測決定システムを提供
する。この接触までの時間予測決定システムは、イメージ・レシーバおよびプロ
セッサを包含している。イメージ・レシーバは、輸送手段が道路に沿って移動す
るとき記録される、一連の少なくとも２つのイメージに関連するイメージ情報を
受け取るべく構成されている。プロセッサは、イメージ・レシーバによって受け
取られたイメージ情報を処理し、輸送手段と障害物との接触までの時間予測を生
成するべく構成されている。 【０００６】 本発明は、付随する特許請求の範囲に詳細に示されている。上記の、およびそ
のほかの本発明の利点は、添付図面とともに以下の説明を参照することによって
より良好に理解されることになろう。 【０００７】 （例示のための実施態様の詳細な説明） 道路１１の上を移動する輸送手段１０を、本発明に従って構成された接触まで
の時間予測システム１２とともに図１に示す。輸送手段１０は、道路１１の上を
移動することができる任意の種類の輸送手段１０とすることが可能であり、それ
には、限定する意図ではないが、自動車、トラック、バス等が含まれる。接触ま
での時間予測システム１２は、カメラ１３およびプロセッサ１４を含む。カメラ
１３は、輸送手段１０に搭載されており、好ましくは前方、すなわち輸送手段が
通常に移動する方向を向いており、道路の上を当該輸送手段が移動するときの連
続するイメージを記録する。好ましくはカメラ１３が各イメージを記録するとき
、プロセッサ１４にイメージを提供する。一方、プロセッサ１４は、連続イメー
ジから獲得した情報を、可能性としては当該輸送手段の速度計（個別には図示し
ていない）からの情報等といったそのほかの情報とともに処理し、参照番号１５
を用いて包括的に明示されている１ないしは複数の障害物がある場合には、輸送
手段１０とそれとの接触までの時間に対応する接触までの時間の値を予測する。
プロセッサ１４はまた、輸送手段１１上またはその中にマウントされ、その一部
を形成することもある。プロセッサ１４によって生成される接触までの時間予測
は、多くのものに関して使用することができ、限定する意図ではないが、それに
は輸送手段による自律ドライブ、衝突回避における補助の提供等が含まれる。接
触までの時間の予測において、プロセッサ１４によって実行されるオペレーショ
ンを、図３に示したフローチャートとの関連から説明する。 【０００８】 先に進む前に、ここで、輸送手段１０の動きに対して接触する可能性のある障
害物の検出、および障害物が存在する場合の、輸送手段１０と個々の障害物の間
の接触までの時間の検出において、図１に示した衝突検出および接触までの時間
予測プロセッサ１４によって実行されるオペレーションに関するバックグラウン
ドを提供することが役立つと考えられる。概して、プロセッサ１４によって実行
されるオペレーションは、２段階、すなわち障害物検出段階および接触までの時
間予測段階に分けることができる。ここで認識されようが、これらの段階が各種
の障害物に関連してオーバーラップすることがあり、プロセッサ１４が新しい障
害物の検出を試みる障害物検出段階にある一方で、それがすでに検出済みの障害
物との接触までの時間を検出する段階、すなわち接触までの時間予測段階にある
ということもあり得る。 【０００９】 障害物検出段階の間においては、２つの一般的なオペレーションが実行される
。第１に、連続するイメージΨ、Ψ’、．．．、の間において道路削除オペレー
タが使用されて、道路の投影を包含するイメージの部分が識別される。ここで、
道路の投影を包含するとして識別されたイメージの部分は無視される。そして、
障害物検出オペレータが使用され、道路の投影を包含する部分を除くイメージの
部分が分析され、障害物が識別される。これらの障害物が識別された後、接触ま
での時間予測段階の間に、識別された障害物に関する接触までの時間予測が生成
される。接触までの時間予測は、輸送手段１０と障害物が互いに近づきつつある
か、離れて行くか、あるいは一定の間隔を維持しているかを示す。すなわち、特
定の障害物までの接触までの時間予測が正であれば、輸送手段１０とその障害物
は互いに近づきつつあり、予測が無限大であれば間隔が一定であり、予測が負で
あれば輸送手段１０と障害物が互いに離れて行くことになる。 【００１０】 ここで認識されようが、特定のイメージのペアΨおよびΨ’に関して生成され
る接触までの時間予測は、あとの方のイメージΨ’が記録された時点における接
触までの時間に関しての予測を与える。しかしながら、ここでの説明における、
生成された接触までの時間予測は、輸送手段１０および障害物の動きが一定に保
たれるとした場合には、それらが接触するか否かについての可能性を決定する上
で役立つと見られる情報は考慮されない。たとえば、エゴモーション情報（これ
は、たとえばステイン特許出願に説明されている方法を使用して生成されること
により提供することができる）および道路の形状ならびに期待される輸送手段の
パスに関する情報が、輸送手段と障害物の接触の可能性の有無を決定する上で役
立つと見られる。仮に、たとえば、障害物が輸送手段１０と同一の車線内にあり
、かつ接触までの時間予測が正であって、輸送手段１０と障害物の間の間隔が減
少していることが示されているときには、輸送手段の動きが変更されない限り輸
送手段１０が障害物に接触する可能性があるものとされる。それに加えて、それ
と同じ情報を使用し、速度の変更、車線の変更といった接触の回避のためのスト
ラテジ、あるいは当業者に周知のほかのストラテジを開発することもできる。 【００１１】 前述したように、障害物検出段階の間に、障害物の識別を容易にするために道
路検出オペレータおよび障害物検出オペレータが使用される。障害物の識別にお
いて障害物検出オペレータを単独で使用することも可能であるが、道路が障害物
ではないことから、また通常は道路の投影が一般に個々のイメージΨおよびΨ’
の比較的大きな部分を構成することから、障害物検出オペレータの適用において
は、これらの部分を無視することができる。道路検出オペレータは、まず、イメ
ージΨおよびΨ＾’を対応する領域「Ｒ」に分割し、次の式（１）で示される値
「Ｑ」を生成するが、それにおいてΨ＾’は、イメージΨが記録された時間と、
イメージΨ’が記録された時間の間における予測された輸送手段の動きを使用し
てイメージΨに向けてねじられたイメージΨ’である。 【００１２】 【数１】 【００１３】 ねじられたイメージΨ＾’の生成に使用される予測された動きは、イメージΨ
が記録された時点と、イメージΨ’が記録された時点の間における輸送手段１０
の平行移動ならびに回転を包含し、たとえば速度計によって提供されるような輸
送手段の速度を基礎とする初期予測、あるいはステイン特許出願に説明されてい
るように生成される予測された動きとすることができる。ここで認識されようが
、ねじられたイメージΨ＾’は、概してイメージΨが記録された時点におけるど
のようなイメージとなるかという予測を反映する。これは、道路の投影となる領
域に関して保持されるが、そのほかの領域に関しては必ずしも保持されず、特に
垂直の広がりを有する領域、つまり障害物のケースとなる領域に関しては保持さ
れない。したがって、選択された域値より「Ｑ」値が低いイメージΨおよびΨ＾
’内の領域は道路が投影された領域であると見なされ、そのほかの領域は道路が
投影された領域とは見なされない。同様に、道路が投影された領域であると見な
されたイメージΨ＾’内の領域に向けてねじられたイメージΨ’内の領域につい
ても、道路が投影された領域であると見なされ、Ψ’内のそのほかの領域は道路
の投影でないと見なされる。 【００１４】 道路検出オペレータが使用されてイメージΨおよびΨ’内の道路の投影でない
領域が識別された後、障害物検出オペレータを使用してこれらの領域が処理され
、これらの領域内における障害物が検出される。概して、道路または構成部分、
道路上のマーク等のアーティファクト、道路表面上に落とされた影等は、すべて
が水平の広がりを有するに過ぎないが、これらとは異なり、障害物は、水平の広
がりだけでなく垂直の広がりを有することが認識されよう。つまり、２つの連続
するイメージΨおよびΨ’の間において、道路表面上のマーク、道路表面上に落
とされた影等は、イメージの水平軸に沿っての広がりを呈示するが、垂直軸に沿
っての広がりは、ほとんどもしくはまったく呈示しない。これに対して、垂直の
広がりを有する障害物は、イメージの水平軸に沿っての広がりと同様に垂直軸に
沿ってもより一様な広がりを呈示する。 【００１５】 この観察に基づいて、障害物検出段階においては、２つのフィルタ、すなわち
道路フィルタおよび障害物フィルタを用いてイメージが処理される。道路フィル
タは、イメージΨおよびΨ’上の道路および関連付けされるアーティファクトの
部分を取り除き、障害物を残す。障害物の投影となるΨおよびΨ’の間の断片の
アフィン変換は、当該障害物に関する「広がりの焦点」（「ＦＯＥ」）の周囲に
おいて概して一様なスケーリングを示す。つまり、障害物のＦＯＥがイメージΨ
内のポイントｐＦＯＥ（ｘ０，ｙ０）にある場合には、その障害物上のポイント
Ｐ（Ｘ，Ｙ，Ｚ）の投影、すなわちイメージΨ内のポイントｐ（ｘ，ｙ）への投
影のモーション・ベクトル（ｕ，ｖ）が、次の式（２）および（３）によって表
される成分を有する。 【００１６】 【数２】 【００１７】 【数３】 【００１８】 これにおいて「ｓ」は、一様なスケーリングを反映する定数である。モーショ
ン・ベクトルの成分は、イメージΨ内の投影ｐ（ｘ，ｙ）とイメージΨ’内の投
影ｐ’（ｘ’，ｙ’）の間の３次元空間におけるポイントＰ（Ｘ，Ｙ，Ｚ）の投
影の水平および垂直の動きを表している。ＦＯＥの座標が未知の場合においても
、モーション・ベクトルが一様なスケーリングを示し、さらに次の式（４）およ
び（５）に示される平行移動を反映する。 【００１９】 【数４】 【００２０】 【数５】 【００２１】 これにおいてｘｆ＝−ｓｘ０、およびｙｆ＝−ｓｙ０である。ここで認識され
ようが、式（４）および（５）における「ｓｘ」項および「ｓｙ」項は、一様な
スケーリングを反映しており、ｘｆおよびｙｆの項は、平行移動を反映している
。このモーション・ベクトルに関して、「ｘ」および「ｙ」をイメージΨ内にお
ける３次元空間内のポイントを投影した座標とし、「ｘ’」および「ｙ’」をイ
メージΨ’内における３次元空間内の同一のポイントを投影した座標とするとき
、成分ｕ＝ｘ’−ｘおよびｖ＝ｙ’−ｙから次の式（６）が得られる。 【００２２】 【数６】 【００２３】 この式（６）を次の式（７）により表される一定輝度予測基準、すなわち 【００２４】 【数７】 【００２５】 に代入すると、次の式（８）が得られる。 【００２６】 【数８】 【００２７】 この式は、次の式（９）のように変形することができる。 【００２８】 【数９】 【００２９】 これにおいて、上付き文字「Ｔ」は、転置演算を表す。式（９）が成立するイ
メージΨおよびΨ’の領域が障害物を表すことになる。 【００３０】 障害物検出段階の間に１ないしは複数の障害物が検出された場合に、プロセッ
サ１４は、輸送手段１０とその障害物の接触までの時間の予測を生成することが
できる。接触までの時間は、輸送手段と障害物の間の距離を反映するが、多くの
場合において接触までの時間がより有用な測定量となることが認識されよう。カ
メラ１３のイメージ平面までの障害物の距離は、輸送手段１０までの障害物の距
離を反映しており、イメージΨが記録された時点Ｔ−ΔＴにおけるそれはＺ＋Δ
Ｚとなり、イメージΨ’が記録された時点ＴにおけるそれはＺとなる（ここでは
、値「ΔＴ」および「ΔＺ」がともに正であることに注意する必要がある）。輸
送手段１０と障害物の間の相対的な動きに変化がないとすれば、時間間隔Ｔ内に
障害物までの距離Ｚが閉じることになり、したがって接触までの時間がＴになる
。 【００３１】 プロセッサ１４は、イメージΨおよびΨ’内に記録された障害物があるとき、
そのスケーリングの比に関して、より具体的には垂直寸法のスケーリングに関し
て接触までの時間Ｔの予測を行う。イメージΨ内の障害物の垂直寸法は、次の式
（１０）によって与えられる。 【００３２】 【数１０】 【００３３】 これにおいて「Ｙ」は、３次元空間における障害物の高さを反映しており、「
ｆ」はカメラ１３の焦点距離である。３次元空間における障害物の高さ「Ｙ」は
イメージΨおよびΨ’が記録された時間の間に変化しないことから、同様に、イ
メージΨ’内の障害物の垂直寸法は、次の式（１１）によって与えられる。 【００３４】 【数１１】 【００３５】 これらのイメージ内の垂直寸法のスケーリング・ファクタまたは比「Ｓ」は、
次の式（１２）によって与えられる。 【００３６】 【数１２】 【００３７】 それに加えて、輸送手段１０と障害物の間の動きに変化がないことを前提とす
ると、イメージΨおよびΨ’が記録された時点の間の時間間隔内における輸送手
段１０と障害物の間の相対速度ΔＺ／ΔＴは、イメージΨ’が記録された時点と
輸送手段１０が障害物と接触することになる時点の間の時間間隔内における相対
速度Ｚ／Ｔに等しくなる。つまり次の式（１３）が成立する。 【００３８】 【数１３】 【００３９】 この式（１３）を変形すると、次の式（１４）が得られる。 【００４０】 【数１４】 【００４１】 式（１４）と式（１２）を組み合わせると、次の式（１５）が得られる。 【００４２】 【数１５】 【００４３】 この式（１５）を変形し、Ｔ、すなわち接触までの時間について解くと、次の
式（１６）が得られる。 【００４４】 【数１６】 【００４５】 ここで認識されようが、ΔＺがゼロでない正の値であれば、式（１２）からＳ
の値が１より大きくなり、式（１６）におけるファクタ１／（Ｓ−１）の値がゼ
ロより大きくなる。その場合においては、接触までの時間Ｔが正になる。ここで
認識されようが、輸送手段１０と障害物の間の距離が減少している場合にこれが
生じ得る。これに対して、比Ｓの値が１に等しいとき、すなわちこれは、イメー
ジΨ内の障害物の垂直寸法がイメージΨ’内の垂直寸法に等しいときに生じ得る
が、式（１６）におけるファクタ１／（Ｓ−１）の値が無限大になり、その場合
には接触までの時間Ｔもまた無限大になる。ここで認識されようが、これが生じ
るとき、輸送手段１０が動いているのであれば、障害物も輸送手段１０と同じ速
度で動いており、その場合には、輸送手段１０と障害物の間隔が一定になる。最
後に、比Ｓの値が１より小さいとき、すなわちこれは、イメージΨ内の障害物の
垂直寸法がイメージΨ’内の障害物の垂直寸法より大きいときに生じ得るが、式
（１６）におけるファクタ１／（Ｓ−１）の値が負になり、その場合には、接触
までの時間Ｔもまた負になる。ここで認識されようが、これが生じるときには、
障害物も移動しており、その速度は輸送手段１０より大きく、かつそれから離れ
る方向となる。式（１６）を用いてプロセッサ１４は、イメージΨおよびΨ’か
らの情報ならびに時間間隔ΔＴのみによって、つまり輸送手段１０と障害物の間
の実際の距離に関する情報をまったく必要とすることなく、接触までの時間の予
測を行い得ることが認識されるであろう。 【００４６】 すでに述べたが、上記のように生成される接触までの時間の値は、イメージΨ
’が記録された時点において輸送手段１０と障害物の間の間隔が減少しているレ
ートを実際に反映している。任意時点における輸送手段１０および障害物の特定
のポジションならびに有向速度（方向および速度を反映している）をはじめ、輸
送手段１０および障害物のサイズ、および主として水平寸法に応じて、輸送手段
と障害物が実際に接触することもあれば、接触しないこともある。これについて
図２Ａおよび２Ｂとの関連から説明する。図２Ａを参照すると、３車線を有する
カーブした道路２０の部分が略図的に示されており、そこには車線２１Ｃによっ
て表されている中央車線、車線２１Ｌによって表されている中央の左側の車線、
および車線２１Ｒによって表されている中央の右側の車線が含まれている。この
道路の曲率中心はＯにある。輸送手段１０は、中央車線２１Ｃを走行しており、
３つの車線すべてには他の輸送手段からなる障害物が走行している。説明を簡略
化するため、ここでは座標系が輸送手段１０とともに移動するものと考える。さ
らに、障害物がロケーションａ、ａ’、ａ”に存在するときの第１のイメージΨ
、障害物がロケーションｂ、ｂ’、ｂ”に存在するときの第２のイメージΨ”、
障害物がロケーションｃ、ｃ’、ｃ”に存在するときの第３のイメージΨ”’、
障害物がロケーションｄ、ｄ’、ｄ”に存在するときの第４のイメージΨ””等
々を含む一連のイメージが記録されるものと仮定する。この例においては、輸送
手段１０と３つの障害物すべての間の間隔が減少している。一連のイメージ内に
おけるこれら間隔およびそれぞれの障害物の水平座標のグラフ（ここで気付かれ
るであろうが、イメージ内のそれぞれの障害物の垂直座標は変化しない）を図２
Ｂに示し、車線２１Ｃ内の障害物との離隔を中黒の丸により、車線２１Ｌ内の障
害物との離隔を白抜きの丸により、車線２１Ｒ内の障害物との離隔をプラス記号
（「＋」）によりそれぞれ示している。図２Ｂにおいて輸送手段１０は、原点、
すなわち「ｘ座標」がゼロであり、Ｚ座標がゼロとなる点に位置すると考えるが
、輸送手段１０の水平寸法はゼロではなく、輸送手段によって定められる幅の水
平寸法の部分は、原点の左右に、当該輸送手段の幅に関連付けされた量だけ広が
ることを認識されよう。図２Ｂに示されるように、３つの障害物すべては、当初
、輸送手段１０に近づくが、輸送手段１０と、左および右の車線２１Ｌおよび２
１Ｒ内の障害物の間隔は、あるポイントから再び増加する。しかしながら、輸送
手段１０と同じ車線２１Ｃ内の障害物との間隔については、連続的に減少する。
イメージが記録される時間の間の間隔が一様であるとすると、車線２１Ｃ内の障
害物の投影の水平座標は、一様にゼロに近づくことになる。一方、残りの車線２
１Ｌおよび２１Ｒ内の障害物については、水平座標の変化が一様にならない。よ
って、連続するイメージにわたる輸送手段の投影の水平座標における数列の一様
性に関する情報を使用して、輸送手段が障害物と接触するか否かの可能性を決定
することができる。 【００４７】 以上のバックグラウンドに基づいて、接触までの時間の決定に関連してプロセ
ッサ１４によって実行されるオペレーションを、図３に示したフローチャートと
の関連から次に説明する。図３を参照すると、新しいイメージΨ’を受け取った
後、プロセッサ１４は、最初に、たとえばステイン特許出願に関して説明されて
いる方法を用いて輸送手段１０のエゴモーションを予測する（ステップ３００）
。予測されたエゴモーションおよび利用可能な場合には車線情報を使用し、プロ
セッサ１４は輸送手段の将来のパスの外挿を行い（ステップ３０１）、外挿した
将来のパスに沿って「危険ゾーン」を識別する（ステップ３０２）。ステップ３
０２の実行においてプロセッサ１４は、カメラの較正パラメータ、および、たと
えば道路のイメージに沿った不等辺四辺形領域を包含する危険ゾーンに基づいた
幾何学的な仮定を使用することができる。プロセッサ１４は、これらの部分に対
して道路検出オペレータ（ステップ３０３）および障害物検出オペレータ（ステ
ップ３０４）を適用して、外挿したパス内もしくはそれに近い障害物を識別する
。その後プロセッサ１４は、障害物検出オペレータの適用後に識別された障害物
があるか否かを決定し（ステップ３０５）、それがなければ、ステップ３００に
戻って次のイメージを受け取る。 【００４８】 これに対して、ステップ３０５においてプロセッサ１４が、１ないしは複数の
障害物がステップ３０４で識別されていると決定した場合には、プロセッサ１４
は、その後のいくつかのイメージΨ”、Ψ”’、Ψ””、．．．、を調べて、そ
れらのイメージが１ないしは複数の障害物のそれぞれの投影を含んでいるか否か
を決定する（ステップ３０６）。連続するイメージを通じて１つもしくは２つの
イメージ内において投影が検出された１ないしは複数の障害物の追跡は、その障
害物が実際に存在すること、およびそれがそれぞれのイメージ内のアーティファ
クトではないことの検証を提供する。続く所定数のイメージの内において投影が
記録された障害物があれば、それらについてプロセッサ１４は、それらの１ない
しは複数の障害物が検証済みであるか否かを決定し（ステップ３０７）、検証さ
れた障害物があれば、それらについてプロセッサ１４は、連続するイメージの間
の障害物に関するスケーリング・ファクタ「Ｓ」の値を決定する（ステップ３０
８）。スケーリング・ファクタの値の決定の後、プロセッサ１４は、その値およ
びΔＴの値を式（１６）に使用して接触までの時間Ｔを決定する（ステップ３０
９）。さらにその後、プロセッサは、その接触までの時間の値を、たとえばその
接触までの時間の値が正の場合に、輸送手段もしくはドライバに対する、たとえ
ば衝突回避の補助の提供に関連して使用することができる。前述したように、こ
の接触までの時間が正でなければ、輸送手段１０と障害物の接触はないことにな
る。 【００４９】 本発明は、多くの利点を提供する。詳細に述べれば、本発明は、連続記録され
た障害物のイメージから直接的に輸送手段１０と障害物の接触までの時間を予測
するための装置を提供し、それには取り付けおよび保守にコストがかさむ他の機
械的もしくは電気的なセンサを必要としない。 【００５０】 ここで、以上説明した接触までの時間予測システム１２に対して多くの改変お
よび改造を加え得ることを認識されるであろう。たとえば、イメージΨおよびΨ
’の間における障害物の垂直寸法のスケーリングを使用することに代えて、シス
テム１２は、水平寸法のスケーリング、もしくはその両方を使用することができ
る。 【００５１】 それに加えて、イメージΨおよびΨ’が、たとえばステイン特許出願に説明さ
れている内容に従って、好ましくはイメージ平面が道路の平面と垂直になるよう
に修正されることも認識されよう。 【００５２】 さらに、ここに説明したものに代えて、あるいはそれらに加えて道路検出フィ
ルタおよび障害物検出フィルタを使用できることも認識されるであろう。たとえ
ば、障害物の投影を含む断片を識別するために、前述のステイン特許出願に説明
されているようなフィルタを使用することができる。 【００５３】 ここで認識されようが、本発明に従ったシステムは、その全体もしくは一部を
、専用ハードウエアまたは汎用コンピュータ・システムから、あるいはそれらの
任意の組み合わせから構成することが可能であり、かつその任意の部分は、適切
なプログラムによってコントロール可能である。任意のプログラムは、従来の態
様に従ってシステムの全体もしくは一部を構成し、あるいはそれにストアされる
可能性を有し、またそれが全体もしくは部分において、ネットワークもしくはそ
のほかの、情報を転送するための手段を介して、従来の態様に従ってこのシステ
ムに提供されることもある。それに加えて、このシステムに直接接続されるか、
あるいはネットワークもしくはそのほかの情報を転送するための手段を介して、
従来の態様に従ってこのシステムに情報を転送することができるオペレータ入力
エレメント（図示せず）を使用して、オペレータによって提供される情報を用い
てこのシステムの処理および／またはコントロールが行われ得ることも認識され
よう。 【００５４】 以上の説明は、本発明の具体的な実施態様に過ぎない。しかしながら、本発明
の利点の一部ないしはすべての達成を伴って、本発明に対して各種の変形ならび
に改造を加え得ることも認識されるであろう。これらのおよびその他の変形なら
びに改造を、本発明の真の精神および範囲に帰するものとして、カバーすること
が願書に添付した特許請求の範囲の目的である。 【００５５】 新規で、かつ米国特許証によって保護されることが望ましい発明を特許請求の
範囲に記載した。 【図面の簡単な説明】 【図１】 本発明に従って構成される接触までの時間予測システムを含めて道路を移動す
る輸送手段を図示した概要図である。 【図２】 図２Ａと図２Ｂは、輸送手段と障害物の水平位置の関数、すなわち輸送手段が
障害物に接触する可能性を予測する上で有用な関数として一連のイメージ内にお
ける障害物の明確な水平面の動きを理解する上で役立つ説明図である。 【図３】 輸送手段と障害物の接触までの時間の予測において、接触までの時間予測シス
テムによって実行されるオペレーションを図示したフローチャートである。
─────────────────────────────────────────────────────
フロントページの続き
(81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ，
ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ
Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ，ＴＲ)，ＯＡ(ＢＦ
，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，
ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，Ｇ
Ｍ，ＫＥ，ＬＳ，ＭＷ，ＭＺ，ＳＤ，ＳＬ，ＳＺ，ＴＺ
，ＵＧ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，
ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＥ，ＡＬ，ＡＭ，ＡＴ，
ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，Ｃ
Ｈ，ＣＮ，ＣＲ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＤＭ，ＥＥ
，ＥＳ，ＦＩ，ＧＢ，ＧＤ，ＧＥ，ＧＨ，ＧＭ，ＨＲ，
ＨＵ，ＩＤ，ＩＬ，ＩＮ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，Ｋ
Ｐ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ
，ＬＶ，ＭＡ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，
ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，Ｓ
Ｇ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＴＺ
，ＵＡ，ＵＧ，ＵＺ，ＶＮ，ＹＵ，ＺＡ，ＺＷ
Claims (1)
- 【特許請求の範囲】 【請求項１】 道路に沿って移動する輸送手段と障害物の接触までの時間に
関する予測を生成するための時間予測決定システムにおいて、 Ａ．前記輸送手段が道路に沿って移動するとき記録される、一連の少なくとも
２つのイメージに関連するイメージ情報を受け取るべく構成されたイメージ・レ
シーバと、 Ｂ．前記イメージ・レシーバによって受け取られたイメージ情報を処理し、前
記輸送手段の障害物との接触までの時間予測を生成するべく構成されたプロセッ
サと、 を含むことを特徴とするシステム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16758799P | 1999-11-26 | 1999-11-26 | |
| US60/167,587 | 2000-09-01 | ||
| PCT/US2000/032144 WO2001039018A1 (en) | 1999-11-26 | 2000-11-27 | System and method for detecting obstacles to vehicle motion |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003527680A true JP2003527680A (ja) | 2003-09-16 |
| JP2003527680A5 JP2003527680A5 (ja) | 2005-06-02 |
Family
ID=22607973
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001540612A Pending JP2003527680A (ja) | 1999-11-26 | 2000-11-27 | 輸送手段の動きに対して障害物を検出し、連続したイメージを用いて障害物との接触までの時間を決定するシステムおよび方法 |
Country Status (8)
| Country | Link |
|---|---|
| EP (1) | EP1236126B1 (ja) |
| JP (1) | JP2003527680A (ja) |
| AT (1) | ATE307370T1 (ja) |
| AU (1) | AU1927101A (ja) |
| CA (1) | CA2392578A1 (ja) |
| DE (1) | DE60023339T2 (ja) |
| ES (1) | ES2250218T3 (ja) |
| WO (1) | WO2001039018A1 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5877897A (en) | 1993-02-26 | 1999-03-02 | Donnelly Corporation | Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array |
| US6822563B2 (en) | 1997-09-22 | 2004-11-23 | Donnelly Corporation | Vehicle imaging system with accessory control |
| US7655894B2 (en) | 1996-03-25 | 2010-02-02 | Donnelly Corporation | Vehicular image sensing system |
| WO2003093857A2 (en) | 2002-05-03 | 2003-11-13 | Donnelly Corporation | Object detection system for vehicle |
| EP1741079B1 (en) | 2004-04-08 | 2008-05-21 | Mobileye Technologies Limited | Collision warning system |
| US7526103B2 (en) | 2004-04-15 | 2009-04-28 | Donnelly Corporation | Imaging system for vehicle |
| EP1717778B1 (en) * | 2005-04-29 | 2007-07-11 | Ford Global Technologies, LLC | Method and system for forward collision avoidance in an automotive vehicle |
| JP4970926B2 (ja) | 2006-01-16 | 2012-07-11 | 本田技研工業株式会社 | 車両周辺監視装置 |
| WO2008024639A2 (en) | 2006-08-11 | 2008-02-28 | Donnelly Corporation | Automatic headlamp control system |
| DE102009043705A1 (de) | 2009-10-01 | 2011-04-07 | Silicon Micro Sensors Gmbh | Verfahren und Kamerasystem zur Erzeugung von Bildern zur Übermittlung an eine externe Steuereinheit |
| EP2463843B1 (en) | 2010-12-07 | 2015-07-29 | Mobileye Vision Technologies Ltd. | Method and system for forward collision warning |
| US9233659B2 (en) | 2011-04-27 | 2016-01-12 | Mobileye Vision Technologies Ltd. | Pedestrian collision warning system |
| US9566986B1 (en) | 2015-09-25 | 2017-02-14 | International Business Machines Corporation | Controlling driving modes of self-driving vehicles |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5515448A (en) * | 1992-07-28 | 1996-05-07 | Yazaki Corporation | Distance measuring apparatus of a target tracking type |
| JP2863381B2 (ja) * | 1992-09-25 | 1999-03-03 | 矢崎総業株式会社 | 車両用監視方法 |
| US5529138A (en) * | 1993-01-22 | 1996-06-25 | Shaw; David C. H. | Vehicle collision avoidance system |
| JP3287117B2 (ja) * | 1994-07-05 | 2002-05-27 | 株式会社日立製作所 | 撮像装置を用いた車両用の環境認識装置 |
| US5642093A (en) * | 1995-01-27 | 1997-06-24 | Fuji Jukogyo Kabushiki Kaisha | Warning system for vehicle |
| KR960032262A (ko) * | 1995-02-09 | 1996-09-17 | 배순훈 | 차량의 주행 안전 시스템 |
| JPH11353565A (ja) * | 1998-06-09 | 1999-12-24 | Yazaki Corp | 車両用衝突警報方法及び装置 |
-
2000
- 2000-11-27 CA CA002392578A patent/CA2392578A1/en not_active Abandoned
- 2000-11-27 JP JP2001540612A patent/JP2003527680A/ja active Pending
- 2000-11-27 AU AU19271/01A patent/AU1927101A/en not_active Abandoned
- 2000-11-27 AT AT00982211T patent/ATE307370T1/de not_active IP Right Cessation
- 2000-11-27 DE DE60023339T patent/DE60023339T2/de not_active Expired - Lifetime
- 2000-11-27 ES ES00982211T patent/ES2250218T3/es not_active Expired - Lifetime
- 2000-11-27 EP EP00982211A patent/EP1236126B1/en not_active Expired - Lifetime
- 2000-11-27 WO PCT/US2000/032144 patent/WO2001039018A1/en active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| EP1236126A1 (en) | 2002-09-04 |
| ES2250218T3 (es) | 2006-04-16 |
| CA2392578A1 (en) | 2001-05-31 |
| WO2001039018A1 (en) | 2001-05-31 |
| DE60023339T2 (de) | 2006-06-29 |
| AU1927101A (en) | 2001-06-04 |
| DE60023339D1 (de) | 2006-03-02 |
| EP1236126B1 (en) | 2005-10-19 |
| ATE307370T1 (de) | 2005-11-15 |
| EP1236126A4 (en) | 2004-04-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7327855B1 (en) | Vision-based highway overhead structure detection system | |
| US7113867B1 (en) | System and method for detecting obstacles to vehicle motion and determining time to contact therewith using sequences of images | |
| JP6587000B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
| JP3904988B2 (ja) | 画像処理装置およびその方法 | |
| CN106991389B (zh) | 确定道路边沿的装置和方法 | |
| JP3463858B2 (ja) | 周辺監視装置及び方法 | |
| US6888622B2 (en) | Method for determining object type of reflective object on track | |
| US6670912B2 (en) | Method for detecting stationary object located above road | |
| Jung et al. | A lane departure warning system using lateral offset with uncalibrated camera | |
| Fossati et al. | Real-time vehicle tracking for driving assistance | |
| Wang et al. | Overtaking vehicle detection using dynamic and quasi-static background modeling | |
| Paetzold et al. | Road recognition in urban environment | |
| JP2002352225A (ja) | 障害物検出装置及びその方法 | |
| JP2003527680A (ja) | 輸送手段の動きに対して障害物を検出し、連続したイメージを用いて障害物との接触までの時間を決定するシステムおよび方法 | |
| JP2003084064A (ja) | 前方車両の認識装置及び認識方法 | |
| JP2003067752A (ja) | 車両周辺監視装置 | |
| KR19980701568A (ko) | 이미지 시퀀스내의 객체의 움직임을 검출하기 위한 방법 및 장치(method and apparatus for detecting object movement within an image sequence) | |
| JP2000090243A (ja) | 周辺監視装置及び方法 | |
| JPH11252587A (ja) | 物体追跡装置 | |
| WO2017130640A1 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
| CN106326866B (zh) | 车辆碰撞的预警方法及装置 | |
| CN111937036A (zh) | 用于处理传感器数据的方法、设备和具有指令的计算机可读存储介质 | |
| JP2000011133A (ja) | 移動物体検出装置及びその方法 | |
| JP2014106731A (ja) | 車載画像処理装置 | |
| Sehestedt et al. | Efficient lane detection and tracking in urban environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070221 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090805 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100113 |