JP2003502745A - 相当の距離までの道路車両の付近にある物体の検出方法 - Google Patents

相当の距離までの道路車両の付近にある物体の検出方法

Info

Publication number
JP2003502745A
JP2003502745A JP2001503136A JP2001503136A JP2003502745A JP 2003502745 A JP2003502745 A JP 2003502745A JP 2001503136 A JP2001503136 A JP 2001503136A JP 2001503136 A JP2001503136 A JP 2001503136A JP 2003502745 A JP2003502745 A JP 2003502745A
Authority
JP
Japan
Prior art keywords
distance
determined
vehicle
image
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001503136A
Other languages
English (en)
Inventor
クネーペル カールステン
レーゲンスブルガー ウーヴェ
Original Assignee
ダイムラークライスラー・アクチェンゲゼルシャフト
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ダイムラークライスラー・アクチェンゲゼルシャフト filed Critical ダイムラークライスラー・アクチェンゲゼルシャフト
Publication of JP2003502745A publication Critical patent/JP2003502745A/ja
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/14—Adaptive cruise control
    • B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/307—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

(57)【要約】 本発明は、道路車両の付近であって相当の距離までの範囲にある物体の検出方法に関し、移動中または静止している車両から１つ以上の物体までの距離が、ステレオ画像処理を用いた距離に基づく画像のセグメント化によって算出され、検出された物体の特性がセグメント化された画像領域における物体の認識によって決定される。そして、隆起した物体および／または平たい物体の画像領域が決定され、隆起した物体および／または平たい物体は、予め定められた基準に基づいて３次元点を組合せる（クラスタ化する）ことによって検出され、隆起した物体は、類似した距離の値を有するという特徴によって決定され、平たい物体は、類似した高さの値を有するという特徴によって決定される。

Description

【発明の詳細な説明】
【０００１】 本発明は、特許請求項１に示される包括的な特徴による、相当の距離までの道
路車両の付近にある物体の検出方法に関する。
【０００２】 道路交通において自動車の運転者を補助するために、危険であると予測される
道路交通における状況を検出するのに適した運転者補助システムが開発されてき
た。このような運転者補助システムは、運転者の挙動に基づき運転者に警告を発
することができたり、または車両の操作に介入することができる。本発明は、運
転の安全性を増大し、運転者を単調な運転作業から開放し、その結果、運転に関
してさらに便利になるようにするものである。
【０００３】 現在、安全性を増大するシステムには信頼性を大いに必要とするため、市場で
入手可能なシステムは、著しく便利なシステムになっている。その例には、駐車
補助および知的クルーズコントロールシステムが挙げられる。安全性を増大する
運転者補助システムは、絶えず増大する周囲の交通状況を記録し、それを考慮す
ることが求められる。
【０００４】 欧州特許第０ ５５８ ０２７ Ｂ１号は、車両間の距離を記録するための装
置を開示している。この装置の場合には、１組のイメージセンサが、物体の画像
を作成し、運転者に対して表示する。このような画像の１つの領域が、ウィンド
ウにさらに分割される。運転車両から個々のウィンドウに位置する物体までの距
離が記録される。この場合には、距離は、異なるウィンドウにある異なるイメー
ジセンサによって記録された画像情報の２つの項目を比較することによって算出
される。決定された距離情報に基づき、個々の物体が決定される。関連画像領域
を分割するグリッドが用いられ、記録されるべき物体を囲み、さらなる画像情報
を供給する。この画像情報の対称性が決定され、前を走行している車両の存在が
、対称中心線の水平移動の安定性のレベルおよび時間全体にわたる距離の安定性
の第２のレベルを決定することによって予測される。
【０００５】 この既知の記録装置は、移動中の車両の前方に位置する車両を記録および認識
するために用いられる。しかし、対称中心線の簡単な記録が、十分な安定性で実
現されるため、近い領域に限って、物体の確実な認識が実現される。遠い領域の
場合には、画像の解像度が低く、その結果として物体の確定が不正確となるため
、この対称性の簡単な記録だけでは十分でない。
【０００６】 しかし、特に、誤った反応および危険な反応につながり得る誤った情報を運転
者に提供しないようにするためには、確実な物体認識に高い必要条件を設定しな
ければならない。知的システムの場合、車両自体が、誤った情報に基づいて、交
通の危険を示すような状況で反応を示さなければならない。たとえば、実際の走
行方向およびその逆方向において、相当の距離の車両の正確な車線を認識する場
合には、確実な情報が不可欠である。
【０００７】 関心のあるパターンの認識に関して、ドイツ特許第４２ １１ １７１ Ａ１
号は、訓練型（trained）分類ネットワークによるブロックごとの連続画像認識
によって、関心のある全体パターンからの小さな抽出物の 相互関係を適用する
方法を提供している。
【０００８】 ドイツ特許第４３ ０８ ７７６ Ｃ２号は、道路上の１つの車線、すなわち
のびている白線によって規定される上記の車線を越えて走行している車両の周辺
の外側空間を監視するための装置を開示している。画像処理によって、白線の部
分からの３次元位置情報を用いて、道路コースが決定される。白線からの３次元
位置情報を利用することによって、白線が３次元物体から分離される。それぞれ
の部分に関して、可能な物体の垂直範囲が決定される。その結果、自動車、自動
二輪、歩行者などの関心がある３次元物体の座標が、車両の座標系において規定
される。さらに、いずれの物体を気にすべきかを決定することができる。
【０００９】 ドイツ特許第４３ ０８ ７７６ Ｃ２号に記載されている車両の周辺の外部
空間を監視するための手順には、膨大な計算が必要とされる。この道路コースに
ある物体の位置を決定するために、常に、道路の記録された領域のコースを決定
する必要がある。限定された容量の計算能力のみが自動車で利用可能であるため
、このような監視装置は実用にあまり適していない。さらに、既知の監視装置は
、すべての道路のコースに見つかるわけではない白い境界線の存在を常に参照し
なければならない。
【００１０】 本発明の目的は、物体、特に、道路車両の前方および／または後方の車両、お
よびその道路車両に対するその車両の位置に基づく状況に関する関連事項を確実
に記録することができる、相当の距離までの道路車両の付近にある物体の検出方
法を明確に提供することにある。
【００１１】 本発明によれば、この目的は、特許請求項１の特徴によって実現されている。
従属請求項は、本発明の主題の有利な発展に関する。
【００１２】 したがって、道路車両の付近であって相当の距離までにある物体の検出方法が
提供され、移動中または静止している車両から１つ以上の物体までの距離が、ス
テレオ画像処理を用いて、距離に基づく画像のセグメント化によって算出され、
検出された物体の特性がそのセグメント化された画像領域における物体の認識に
よって決定される。
【００１３】 検出された物体の特性を決定するのは、特定の車両に対する関連性を明確にし
、状況の理解に寄与するようにするためである。
【００１４】 検出は、前方または後方に対して実行できることが好ましく、たとえば、前方
の車両からの距離制御をし、または後方空間の監視をして、渋滞を警告するため
に用いられる。この場合には、重要な観点は、検出された物体のその状況への関
連性または潜在的な危険が特定の車両までの距離および決定された相対速度から
決定されることである。
【００１５】 光センサまたはカメラを具備しているステレオ装置によって記録されているス
テレオ画像の組を評価する代わりに、原則として、異なる出所の個々に記録され
た画像であっても、距離を決定するために用いることができる。
【００１６】 基本的な概念によれば、隆起した物体および／または平たい物体の画像領域が
決定される。隆起した物体および／または平たい物体は、所定の基準に基づき、
３次元点を組合せることによって検出される。組合せはまた、クラスタ化を意味
する。この場合には、この隆起した物体は、類似の距離の値を有するという特徴
によって決定され、平たい物体は、類似の高さの値を有するという特徴によって
決定される。この手順によって、物体は、それらの距離に関してだけでなく、特
定の特徴に関しても確実であると認識され、評価されることができる。したがっ
て、隆起した物体と平たい物体との識別をたやすく行うことができる。
【００１７】 類似の距離の値および／または類似の高さの特徴は、クラスタを形成するため
に組合せられる。隆起した物体と平たい物体のこのような識別は、確実な物体認
識、たとえば他の自動車の認識および路面表示との識別のためにきわめて重要で
ある。今日では、現代の自動車に適切な程度の高い計算能力を実現することがで
きるため、距離決定およびクラスタ化によるこの種の画像のセグメント化を確実
かつ迅速に実行することができる。
【００１８】 検出された隆起した物体は、具体的には、道路車両、案内標識、橋の支柱、街
灯柱などである可能性があるのに対し、検出される平たい物体は、具体的には、
路面表示、縁石、ガードレールなどの境界である可能性がある。このように、た
とえば、特定の車線の道路車両の位置を簡素な方法で決定することができる。
【００１９】 さらに、その状況に対する検出された物体の関連性を決定するために、検出さ
れる物体の相互に対するおよび移動中の車両に対する相対位置および相対速度を
知っていることは好都合である。このため、距離測定が評価され、正確な車線の
物体の関連性が決定される。
【００２０】 画像のセグメント化中、記録される物体の顕著な特徴に関して、記録されたペ
アのステレオ画像のうちの１つを走査する。次に、１組のステレオ画像の１つの
ステレオ画像における個々の特徴を、同時に記録されたその１組のステレオ画像
の他のステレオ画像における同一の対応する特徴と比較し、生じる差異を評価す
ることによる相互関係の方法によって、その顕著な特徴までの距離を決定する。
【００２１】 画素領域におけるこの顕著な特徴までの距離を決定することによって、現実の
世界の３次元点が測定装置の座標系に対して決定される。したがって、３次元点
からこのように得られる情報は、車両、路面表示、ガードレールなどの異なる物
体から決定される。
【００２２】 物体認識のために、物体が仮定され、それが物体モデルとの比較によって立証
される。
【００２３】 このように、物体認識のために、予め決定され、かつ認識対象である物体の統
計によって立証された２次元特徴に基づいて、セグメント化された画像領域が走
査されてもよく、検出された物体が、特定の物体の種類の分類のためにニューラ
ルネットワークを用いることによって比較されてもよい。このようにして、確実
な物体認識が実行される。
【００２４】 関連する物体の動的挙動を評価するために、時間全体にわたって関連する物体
の位置を追求することができ、問題の車両に関する距離および横方向の位置を決
定することができる。決定された物体の動的挙動の知識があってはじめて、運転
者または車両の実際の反応が可能である。したがって、運転の「予測」モードが
促進される。
【００２５】 さらに、この追跡によって、既知であるように、突発的に生じる実体のない物
体が抑制され、全体の認識性能を向上させることができる。このようにして、こ
れらが単純時間追跡によって局所的な整合性を検査されていれば、画像における
分類対象である抽出画像領域の数を削減することができる。全時間にわたって検
出される物体を追跡することによる、距離、相対速度、相対加速度などの物体の
特性は、たとえばカルマンフィルタを用いることによって、測定雑音を取り除く
ことができる。
【００２６】 遠隔領域では、上述のステレオ画像に基づく対処法のほかに、原則としてレー
ダおよび／または赤外線信号に基づく物体認識法もまた可能である。
【００２７】 本発明のさらなる利点、特徴および詳細に関しては、添付の図面と共に以下の
説明を用いることによってより明らかになる。
【００２８】 以下の本文において、ステレオ画像処理による画像のセグメント化について述
べられ、処理中に隆起した物体が検出される。これは、類似の距離を有する個々
の特徴をクラスタ化することによって実行される。次に、車両認識方法が提供さ
れ、この方法を用いてセグメント化された画像領域における道路車両が認識され
る。このため、車両の典型的な特徴が抽出され、次にニューラルネットワークに
よる内部の車両モデル表示と比較される。基本的な手順が図１に概略的に示され
ている。
【００２９】 類似の手段および類似の手順の使用により、モノ画像処理も原則として可能で
ある。
【００３０】 道路と比較すると、道路車両が隆起しているという特性が、ここに示された画
像のセグメント化の方法に用いられる。このため、ステレオカメラシステムが利
用され、このシステムによって道路車両のカメラ画像に生じる顕著な特徴の距離
を決定することができる。この情報によって、隆起した物体に関する提示が可能
となる。今日、車両で利用可能な計算力が絶えず増大していることにより、ペア
のステレオ画像の実時間解析を実現することができる。
【００３１】 また、記録された道路車両が位置するのがいずれの車線であるかについて確実
に決定することもできる。次に、特定の車両に対するその車両の位置に基づき、
その状況に対するこの記録された道路車両の関連性について提示することができ
る。したがって、それによって運転者および／または特定の車両が反応すること
ができる。
【００３２】 車両に適したレーダシステムは、車線の関連性に関して十分な横方向の解像度
を提供するわけではなく、赤外線システムは、解像度および範囲に問題があり、
超音波は一般に、近い領域に用いられるが、原則として、ステレオカメラシステ
ムの代わりに、またはステレオカメラシステムと組合せてこれらのシステムを利
用することも考えられる。
【００３３】 平行カメラ装置が用いられる場合の距離決定の原理が、ピンホールカメラモデ
ルに基づいて、図２に示されている。現実領域の点Ｐが、投影中心を経て各カメ
ラのセンサ面の上に投影される。ｕ0およびｕ1は、投影中心からの偏差を示して
いる。これらの差、すなわち Δｕ＝ｕ0−ｕ1 は、差異Δｕを意味する。三角法およびカメラ装置のサイズ（焦点距離ｆおよび
底幅ｂ）によって、距離ｄを算出することができる。
【数１】 式中、ｂは底幅、ｆは焦点距離、ｄは点Ｐまでの距離を示している。ｕ0および
ｕ1は、センサ面への点Ｐの投影距離である。
【００３４】 画像のセグメント化における第１の処理ステップにおいて、顕著な特徴の探索
がペアのステレオ画像のうちの１つにおいて実行される。モニタまたは別の表示
装置上の対応するディスプレイ（図示せず）が、調査目的のためだけに設けられ
てもよい。顕著な特徴は、たとえば、道路車両の場合には確実に生じるエッジに
よって供給される。選択されたエッジの位置は、第２の処理ステップにおいて相
関がとられる対象である画像領域を規定し、たとえば、モニタディスプレイにお
ける矩形のフレームによって示されてもよい。
【００３５】 モニタ上に表示される特徴の距離を決定するために、それぞれの前記差異が、
同時に記録された第２のステレオ画像との比較によって決定される。このために
、探索が、対応する画像における相互相関（cross correlation）によって、そ
れぞれの矩形の画像領域において行われる。
【００３６】 図３は、相互相関による対応探索の原理を明確にするための概略図を示してい
る。
【００３７】 カメラの平行配置のために、垂直方向における探索領域は、エピポーラ線、図
３に示されている事例では個々の線に制限されている。水平方向において、対応
する探索領域は、許容差異に基づく対応する画像に規定される。
【００３８】 相関関数としてＫＫＦＭＦ（局所的な平均０の正規化相互相関関数）を用いる
ことによって、たとえば、異なる太陽放射線またはカメラの異なる制御の結果と
して生じるペアの画像における明度の差は、相関値にわずかな影響を及ぼすだけ
である。
【００３９】 ＫＫＦＭＦによる相関係数は、以下のように算出される：
【数２】 値
【数３】 および
【数４】 は、矩形の画像領域Ｆ（ｉ，ｊ）およびＰr（ｘ＋ｉ，ｙ＋ｊ）からの平均が０
となるグレー値を示している。正規化のため、ＫＫＦＭＦによる結果は、区間［
−１，１］の中に移動する。値１はペアが一致していることを示しており、対応
して、値−１は逆の一致を示している。
【００４０】 画像のセグメント化における最後の処理ステップにおいて、類似の距離の値を
有する特徴の組合せ（クラスタ形成）が行われる（図１参照）。隆起した物体で
あることを確実にするために、形成されたクラスタの相対高さは、一定の最小高
さと比較される。この場合に、隆起した物体は類似の距離の値を有するという特
徴によって決定され、平たい物体は類似の高さの値を有するという特徴によって
決定される。
【００４１】 調査目的のために、結果として生じるクラスタが、観測された場面の実際のモ
ニタディスプレイ（図示せず）にフレームとして挿入され得る。さらに、セグメ
ント化された画像領域に属する距離は、そのフレームに数値で指定されてもよい
。
【００４２】 車両に加えて、案内標識、道路の縁などの他の隆起した物体もまた、セグメン
ト化される。誤った物体の仮説を除くために、この検出された画像領域の中でス
テレオ画像に基づく物体のセグメント化を行うプロセスの後に、２次元物体認識
が行われる。
【００４３】 以下の本文において、今度は、２次元特徴抽出および車両認識について説明す
る。これらの処理ステップは、図１に示されるものと同様である。
【００４４】 道路車両は、対称性のほか、たとえば、エッジおよびコーナーなどの画像面に
おける顕著な特徴を有する。これらの特徴は、探索のために経験に基づいて決定
されており、道路車両の認識は、車両モデルとの直接比較によって実行される。
本願明細書に示される方法では、探索は、次にニューラルネットワークによる内
部の車両モデル表示と比較される車両の統計によって立証された２次元特徴に基
づいて行われる。図４は、ニューラルネットワークによる評価中の２次元特徴抽
出の原理を明確にするための概略図を示している。
【００４５】 道路車両の顕著でかつ統計によって立証された２次元特徴を決定するために、
さまざまな場面の自動車を示す５０枚の画像のデータセットが、基準として用い
られた。以下に説明する方法を用いることによって、使用される場面でしばしば
生じるような複数の９×９の大きさの典型的なパターンの決定が行われた（以下
では比較パターンと呼ぶ）。
【００４６】 この比較パターンは、一般に車両の特定の位置で生じる。たとえば、特徴は、
車両の低い方の領域で生じる可能性がある。これらの位置では、大部分の道路車
両は、類似の構造部分を呈する。これらは、たとえば、自動車の下の影、タイヤ
の縁のほか、ヘッドランプにある構造部分の層などである。
【００４７】 セグメント化された画像領域において、予め規定された比較パターンによって
決定される特徴を算出するために、探索ウィンドウが規定される。仮定した物体
の距離に応じて、整合するサイズの探索ウィンドウが規定され、比較パターンと
の相関がとられる。相関関数の局所最大を示す探索ウィンドウの位置によって、
図５に示されているような顕著な特徴を識別する。
【００４８】 この最大の座標と関連する比較パターンが、用いられるフィードフォワードネ
ットワークのための入力（の特徴）を提供する。これは、車両を識別する特徴の
典型的な組合せの発生に関して手が加えられている。
【００４９】 相当の距離で物体のステレオ画像に基づく追跡をするための本発明による実時
間の方法が、実際の道路場面で試行された。図６は、測定された接近中の車両か
らの距離データを示している。図６からわかるように、距離１００ｍで約±５０
ｃｍの測定の不正確さが生じる。
【００５０】 雑音がなく、かつ誤って決定された対応のために生じる測定誤差のあまりない
決定された距離データを維持するために、カルマンフィルタの利用が提案されて
いる。カルマンフィルタは、時間全体にわたって測定された値を考慮した結果と
してさらに有意なものとする。テキスチャの大きさおよび対称性の作用によって
２次元特徴抽出を拡張することにより、提案した方法をさらに改善できる可能性
がある。
【００５１】 要するに、本発明による方法を用いることによって、物体、具体的には移動中
の車両の前方および／または後方の道路車両の確実な距離決定および認識が相当
の距離まで可能である。
【図面の簡単な説明】
【図１】 本発明による方法のステップの概略図である。
【図２】 平行に配置された同一の焦点距離にあるカメラの場合の距離決定
の原理を明確にするための概略図である。
【図３】 相互相関（cross correlation）による対応探索の原理を明確に
するための概略図である。
【図４】 本発明によるニューラルネットワークによって評価する場合の２
次元特徴抽出の原理を明確にするための概略図である。
【図５】 座標の正規化の原理を明確にするための概略図である。
【図６】 接近中の車両の距離のプロファイルを示す図である。
【符号の説明】
Δｕ 投影中心からの偏差（ｕ0、ｕ1）の差異
【手続補正書】特許協力条約第３４条補正の翻訳文提出書
【提出日】平成１３年８月６日（２００１．８．６）
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の名称】 相当の距離までの道路車両の付近にある物体の検出方法
【特許請求の範囲】
【請求項６】 前記物体が、レーダおよび／または赤外線センサ、および／
または光センサもしくはカメラのステレオ装置もしくはモノ装置によって検出さ
れることを特徴とする請求項１乃至５のいずれか１項に記載の検出方法。
【発明の詳細な説明】
【０００１】 本発明は、特許請求項１に示される包括的な特徴による、相当の距離までの道
路車両の付近にある物体の検出方法に関する。
【０００２】 道路交通において自動車の運転者を補助するために、危険であると予測される
道路交通における状況を検出するのに適した運転者補助システムが開発されてき
た。このような運転者補助システムは、運転者の挙動に基づき運転者に警告を発
することができたり、または車両の操作に介入することができる。本発明は、運
転の安全性を増大し、運転者を単調な運転作業から開放し、その結果、運転に関
してさらに便利になるようにするものである。
【０００３】 現在、安全性を増大するシステムには信頼性を大いに必要とするため、市場で
入手可能なシステムは、著しく便利なシステムになっている。その例には、駐車
補助および知的クルーズコントロールシステムが挙げられる。安全性を増大する
運転者補助システムは、絶えず増大する周囲の交通状況を記録し、それを考慮す
ることが求められる。
【０００４】 欧州特許第０ ５５８ ０２７ Ｂ１号は、車両間の距離を記録するための装
置を開示している。この装置の場合には、１組のイメージセンサが、物体の画像
を作成し、運転者に対して表示する。このような画像の１つの領域が、ウィンド
ウにさらに分割される。運転車両から個々のウィンドウに位置する物体までの距
離が記録される。この場合には、距離は、異なるウィンドウにある異なるイメー
ジセンサによって記録された画像情報の２つの項目を比較することによって算出
される。決定された距離情報に基づき、個々の物体が決定される。関連画像領域
を分割するグリッドが用いられ、記録されるべき物体を囲み、さらなる画像情報
を供給する。この画像情報の対称性が決定され、前を走行している車両の存在が
、対称中心線の水平移動の安定性のレベルおよび時間全体にわたる距離の安定性
の第２のレベルを決定することによって予測される。
【０００５】 この既知の記録装置は、移動中の車両の前方に位置する車両を記録および認識
するために用いられる。しかし、対称中心線の簡単な記録が、十分な安定性で実
現されるため、近い領域に限って、物体の確実な認識が実現される。遠い領域の
場合には、画像の解像度が低く、その結果として物体の確定が不正確となるため
、この対称性の簡単な記録だけでは十分でない。
【０００６】 しかし、特に、誤った反応および危険な反応につながり得る誤った情報を運転
者に提供しないようにするためには、確実な物体認識に高い必要条件を設定しな
ければならない。知的システムの場合、車両自体が、誤った情報に基づいて、交
通の危険を示すような状況で反応を示さなければならない。たとえば、実際の走
行方向およびその逆方向において、相当の距離の車両の正確な車線を認識する場
合には、確実な情報が不可欠である。
【０００７】 関心のあるパターンの認識に関して、ドイツ特許第４２ １１ １７１ Ａ１
号は、訓練型（trained）分類ネットワークによるブロックごとの連続画像認識
によって、関心のある全体パターンからの小さな抽出物の 相互関係を適用
する方法を提供している。
【０００８】 ドイツ特許第４３ ０８ ７７６ Ｃ２号は、道路上の１つの車線、すなわち
のびている白線によって規定される上記の車線を越えて走行している車両の周辺
の外側空間を監視するための装置を開示している。画像処理によって、白線の部
分からの３次元位置情報を用いて、道路コースが決定される。白線からの３次元
位置情報を利用することによって、白線が３次元物体から分離される。それぞれ
の部分に関して、可能な物体の垂直範囲が決定される。その結果、自動車、自動
二輪、歩行者などの関心がある３次元物体の座標が、車両の座標系において規定
される。さらに、いずれの物体を気にすべきかを決定することができる。
【０００９】 ドイツ特許第４３ ０８ ７７６ Ｃ２号に記載されている車両の周辺の外部
空間を監視するための手順には、膨大な計算が必要とされる。この道路コースに
ある物体の位置を決定するために、常に、道路の記録された領域のコースを決定
する必要がある。限定された容量の計算能力のみが自動車で利用可能であるため
、このような監視装置は実用にあまり適していない。さらに、既知の監視装置は
、すべての道路のコースに見つかるわけではない白い境界線の存在を常に参照し
なければならない。
【００１０】 欧州特許第Ａ−０ ８７４ ３３１号には、距離画像を、車両から離れる方向 に、複数の領域に分割する実例が開示されている。この場合には、その個々の領 域における距離の値に関連するヒストグラムが作成され、これらのヒストグラム から個々の物体の距離を決定する。道路上での物体または他の車両との衝突また は接触の可能性が、物体または車両の位置およびサイズから決定される。特定の 車両に対する物体の相対速度は、物体を追跡することによって決定される。その 時の状況に対するその物体の関連性に関する確実な情報提示は、計算量の多い処 理の後でのみ可能であり、このことは、道路車両における実用的な適用に疑問を 投げかける。
【００１１】 本発明の目的は、物体、特に、道路車両の前方および／または後方の車両、お
よびその道路車両に対するその車両の位置に基づく状況に関する関連事項を確実
に記録することができる、相当の距離までの道路車両の付近にある物体の検出方
法を明確に提供することにある。
【００１２】 本発明によれば、この目的は、特許請求項１の特徴によって実現されている。
従属請求項は、本発明の主題の有利な発展に関する。
【００１３】 したがって、道路車両の付近であって相当の距離までにある物体の検出方法が
提供され、移動中または静止している車両から１つ以上の物体までの距離が、ス
テレオ画像処理を用いて、距離に基づく画像のセグメント化によって算出され、
検出された物体の特性がそのセグメント化された画像領域における物体の認識に
よって決定される。
【００１４】 検出された物体の特性を決定するのは、特定の車両に対する関連性を明確にし
、状況の理解に寄与するようにするためである。
【００１５】 検出は、前方または後方に対して実行できることが好ましく、たとえば、前方
の車両からの距離制御をし、または後方空間の監視をして、渋滞を警告するため
に用いられる。この場合には、重要な観点は、検出された物体のその状況への関
連性または潜在的な危険が特定の車両までの距離および決定された相対速度から
決定されることである。
【００１６】 光センサまたはカメラを具備しているステレオ装置によって記録されているス
テレオ画像の組を評価する代わりに、原則として、異なる出所の個々に記録され
た画像であっても、距離を決定するために用いることができる。
【００１７】 隆起した物体および／または平たい物体の画像領域が決定される。隆起した物
体および／または平たい物体は、所定の基準に基づき、３次元点を組合せること
によって検出される。組合せはまた、クラスタ化を意味する。この場合には、こ
の隆起した物体は、類似の距離の値を有するという特徴によって決定され、平た
い物体は、類似の高さの値を有するという特徴によって決定される。この手順に
よって、物体は、それらの距離に関してだけでなく、特定の特徴に関しても確実
であると認識され、評価されることができる。したがって、隆起した物体と平た
い物体との識別をたやすく行うことができる。
【００１８】 類似の距離の値および／または類似の高さの特徴は、クラスタを形成するため
に組合せられる。隆起した物体と平たい物体のこのような識別は、確実な物体認
識、たとえば他の自動車の認識および路面表示との識別のためにきわめて重要で
ある。今日では、現代の自動車に適切な程度の高い計算能力を実現することがで
きるため、距離決定およびクラスタ化によるこの種の画像のセグメント化を確実
かつ迅速に実行することができる。
【００１９】 関連する物体の動的挙動を評価するために、時間全体にわたって関連する物体
の位置を追求することができ、問題の車両に関する距離および横方向の位置を決
定することができる。決定された物体の動的挙動の知識があってはじめて、運転
者または車両の実際の反応が可能である。したがって、運転の「予測」モードが
促進される。
【００２０】 さらに、この追跡によって、既知であるように、突発的に生じる実体のない物
体が抑制され、全体の認識性能を向上させることができる。このようにして、こ
れらが単純時間追跡によって局所的な整合性を検査されていれば、画像における
分類対象である抽出画像領域の数を削減することができる。全時間にわたって検
出される物体を追跡することによる、距離、相対速度、相対加速度などの物体の
特性は、たとえばカルマンフィルタを用いることによって、測定雑音を取り除く
ことができる。
【００２１】 物体認識のために、物体が仮定され、それが物体モデルとの比較によって立証
される。
【００２２】 このように、物体認識のために、予め決定され、かつ認識対象である物体の統
計によって立証された２次元特徴に基づいて、セグメント化された画像領域が走
査されてもよく、検出された物体が、特定の物体の種類の分類のためにニューラ
ルネットワークを用いることによって比較されてもよい。このようにして、確実
な物体認識が実行される。
【００２３】 検出された隆起した物体は、具体的には、道路車両、案内標識、橋の支柱、街
灯柱などである可能性があるのに対し、検出される平たい物体は、具体的には、
路面表示、縁石、ガードレールなどの境界である可能性がある。このように、た
とえば、特定の車線の道路車両の位置を簡素な方法で決定することができる。
【００２４】 さらに、その状況に対する検出された物体の関連性を決定するために、検出さ
れる物体の相互に対するおよび移動中の車両に対する相対位置および相対速度を
知っていることは好都合である。このため、距離測定が評価され、正確な車線の
物体の関連性が決定される。
【００２５】 画像のセグメント化中、記録される物体の顕著な特徴に関して、記録されたペ
アのステレオ画像のうちの１つを走査する。次に、１組のステレオ画像の１つの
ステレオ画像における個々の特徴を、同時に記録されたその１組のステレオ画像
の他のステレオ画像における同一の対応する特徴と比較し、生じる差異を評価す
ることによる相互関係の方法によって、その顕著な特徴までの距離を決定する。
【００２６】 画素領域におけるこの顕著な特徴までの距離を決定することによって、現実の
世界の３次元点が測定装置の座標系に対して決定される。したがって、３次元点
からこのように得られる情報は、車両、路面表示、ガードレールなどの異なる物
体から決定される。
【００２７】 遠隔領域では、上述のステレオ画像に基づく対処法のほかに、原則としてレー
ダおよび／または赤外線信号に基づく物体認識法もまた可能である。
【００２８】 本発明のさらなる利点、特徴および詳細に関しては、添付の図面と共に以下の
説明を用いることによってより明らかになる。
【００２９】 以下の本文において、ステレオ画像処理による画像のセグメント化１について
述べられ、処理中に隆起した物体が検出される（２）。これは、類似の距離を有
する個々の特徴をクラスタ化３することによって実行される。次に、車両認識方
法５、６が提供され、この方法を用いてセグメント化された画像領域における道
路車両が認識される。このため、車両の典型的な特徴が抽出され（６）、次にニ
ューラルネットワーク８による内部の車両モデル表示と比較５される。基本的な
手順が図１に概略的に示されている。
【００３０】 類似の手段および類似の手順の使用により、モノ画像処理も原則として可能で
ある。
【００３１】 道路と比較すると、道路車両が隆起しているという特性が、ここに示された画
像のセグメント化の方法に用いられる。このため、ステレオカメラシステムが利
用され、このシステムによって道路車両のカメラ画像に生じる顕著な特徴の距離
を決定することができる。この情報によって、隆起した物体４に関する提示が可
能となる。今日、車両で利用可能な計算力が絶えず増大していることにより、ペ
アのステレオ画像の実時間解析を実現することができる。
【００３２】 また、記録された道路車両が位置するのがいずれの車線であるかについて確実
に決定することもできる。次に、特定の車両に対するその車両の位置に基づき、
その状況に対するこの記録された道路車両の関連性について提示することができ
る。したがって、それによって運転者および／または特定の車両が反応すること
ができる。
【００３３】 車両に適したレーダシステムは、車線の関連性に関して十分な横方向の解像度
を提供するわけではなく、赤外線システムは、解像度および範囲に問題があり、
超音波は一般に、近い領域に用いられるが、原則として、ステレオカメラシステ
ムの代わりに、またはステレオカメラシステムと組合せてこれらのシステムを利
用することも考えられる。
【００３４】 平行カメラ装置が用いられる場合の距離決定の原理が、ピンホールカメラモデ
ルに基づいて、図２に示されている。現実領域の点Ｐが、投影中心を経て各カメ
ラのセンサ面の上に投影される。ｕ0およびｕ1は、投影中心からの偏差を示して
いる。これらの差、すなわち Δｕ＝ｕ0−ｕ1 は、差異Δｕを意味する。三角法およびカメラ装置のサイズ（焦点距離ｆおよび
底幅ｂ）によって、距離ｄを算出することができる。
【数１】 式中、ｂは底幅、ｆは焦点距離、ｄは点Ｐまでの距離を示している。ｕ0および
ｕ1は、センサ面への点Ｐの投影距離である。
【００３５】 画像のセグメント化における第１の処理ステップにおいて、顕著な特徴の探索
がペアのステレオ画像のうちの１つにおいて実行される。モニタまたは別の表示
装置上の対応するディスプレイ（図示せず）が、調査目的のためだけに設けられ
てもよい。顕著な特徴は、たとえば、道路車両の場合には確実に生じるエッジに
よって供給される。選択されたエッジの位置は、第２の処理ステップにおいて相
関がとられる対象である画像領域を規定し、たとえば、モニタディスプレイにお
ける矩形のフレームによって示されてもよい。
【００３６】 モニタ上に表示される特徴の距離を決定するために、それぞれの前記差異が、
同時に記録された第２のステレオ画像との比較によって決定される。このために
、探索が、対応する画像における相互相関（cross correlation）によって、そ
れぞれの矩形の画像領域において行われる。図３は、相互相関１１による対応探
索の原理を明確にするための概略図を示している。
【００３７】 カメラの平行配置のために、垂直方向における探索領域は、エピポーラ線、図
３に示されている事例では個々の線に制限されている。水平方向において、対応
する探索領域は、許容差異に基づく対応する画像９、１０に規定される。
【００３８】 相関関数としてＫＫＦＭＦ（局所的な平均０の正規化相互相関関数）を用いる
ことによって、たとえば、異なる太陽放射線またはカメラの異なる制御の結果と
して生じるペアの画像９、１０における明度の差は、相関値にわずかな影響を及
ぼすだけである。
【００３９】 ＫＫＦＭＦによる相関係数は、以下のように算出される：
【数２】 値
【数３】 および
【数４】 は、矩形の画像領域Ｆ（ｉ，ｊ）およびＰr（ｘ＋ｉ，ｙ＋ｊ）からの平均が０
となるグレー値を示している。正規化のため、ＫＫＦＭＦによる結果は、区間［
−１，１］の中に移動する。値１はペアが一致していることを示しており、対応
して、値−１は逆の一致を示している。
【００４０】 画像のセグメント化における最後の処理ステップにおいて、類似の距離の値を
有する特徴の組合せ（クラスタ形成）が行われる（図１参照）。隆起した物体で
あることを確実にするために、形成されたクラスタの相対高さは、一定の最小高
さと比較される（２）。この場合に、隆起した物体は類似の距離の値を有すると
いう特徴によって決定され、平たい物体は類似の高さの値を有するという特徴に
よって決定される。
【００４１】 調査目的のために、結果として生じるクラスタが、観測された場面の実際のモ
ニタディスプレイ（図示せず）にフレームとして挿入され得る。さらに、セグメ
ント化された画像領域に属する距離は、そのフレームに数値で指定されてもよい
。
【００４２】 車両に加えて、案内標識、道路の縁などの他の隆起した物体もまた、セグメン
ト化される。誤った物体の仮説を除くために、この検出された画像領域の中でス
テレオ画像に基づく物体のセグメント化を行うプロセスの後に、２次元物体認識
が行われる。
【００４３】 以下の本文において、今度は、２次元特徴抽出および車両認識について説明す
る。これらの処理ステップは、図１に示されるものと同様である。
【００４４】 道路車両は、対称性のほか、たとえば、エッジおよびコーナーなどの画像面に
おける顕著な特徴を有する。これらの特徴は、探索のために経験に基づいて決定
されており、道路車両の認識は、車両モデルとの直接比較によって実行される。
本願明細書に示される方法では、探索は、次にニューラルネットワーク８による
内部の車両モデル表示と比較される車両の統計によって立証された２次元特徴７ に基づいて行われる。図４は、ニューラルネットワークによる評価中の２次元特
徴抽出の原理を明確にするための概略図を示している。
【００４５】 道路車両の顕著でかつ統計によって立証された２次元特徴７を決定するために
、さまざまな場面の自動車を示す５０枚の画像のデータセットが、基準として用
いられた。以下に説明する方法を用いることによって、使用される場面でしばし
ば生じるような複数の９×９の大きさの典型的なパターンの決定が行われた（以
下では比較パターンと呼ぶ）。
【００４６】 この比較パターンは、一般に車両の特定の位置で生じる。たとえば、特徴は、
車両の低い方の領域で生じる可能性がある。これらの位置では、大部分の道路車
両は、類似の構造部分を呈する。これらは、たとえば、自動車の下の影、タイヤ
の縁のほか、ヘッドランプにある構造部分の層などである。
【００４７】 セグメント化された画像領域において、予め規定された比較パターンによって
決定される特徴を算出するために、探索ウィンドウが規定される。仮定した物体
の距離に応じて、整合するサイズの探索ウィンドウが規定され、比較パターンと
の相関がとられる。相関関数の局所最大を示す探索ウィンドウの位置によって、
図５に示されているような顕著な特徴を識別する。
【００４８】 この最大の座標と関連する比較パターンが、用いられるフィードフォワードネ
ットワークのための入力（の特徴）を提供する。これは、車両を識別する特徴の
典型的な組合せの発生に関して手が加えられている。
【００４９】 相当の距離で物体のステレオ画像に基づく追跡をするための本発明による実時
間の方法が、実際の道路場面で試行された。図６は、測定された接近中の車両か
らの距離データを示している。図６からわかるように、距離１００ｍで約±５０
ｃｍの測定の不正確さが生じる。
【００５０】 雑音がなく、かつ誤って決定された対応のために生じる測定誤差のあまりない
決定された距離データを維持するために、カルマンフィルタの利用が提案されて
いる。カルマンフィルタは、時間全体にわたって測定された値を考慮した結果と
してさらに有意なものとする。テキスチャの大きさおよび対称性の作用によって
２次元特徴抽出を拡張することにより、提案した方法をさらに改善できる可能性
がある。
【００５１】 要するに、本発明による方法を用いることによって、物体、具体的には移動中
の車両の前方および／または後方の道路車両の確実な距離決定および認識が相当
の距離まで可能である。
【図面の簡単な説明】
【図１】 本発明による方法のステップの概略図である。
【図２】 平行に配置された同一の焦点距離にあるカメラの場合の距離決定
の原理を明確にするための概略図である。
【図３】 相互相関（cross correlation）による対応探索の原理を明確に
するための概略図である。
【図４】 本発明によるニューラルネットワークによって評価する場合の２
次元特徴抽出の原理を明確にするための概略図である。
【図５】 座標の正規化の原理を明確にするための概略図である。
【図６】 接近中の車両の距離のプロファイルを示す図である。
【符号の説明】 Δｕ 投影中心からの偏差（ｕ0、ｕ1）の差異 １ 画像のセグメント化 ２ 画像領域の決定 ３ クラスタ化 ４ 関連物体 ５ 車両モデルとの比較 ６、７特徴抽出 ８ ニューラルネットワーク ９、１０ １組のステレオ画像 １１ 相互相関
【手続補正２】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 7/00 １５０ Ｇ０８Ｇ 1/16 Ｃ Ｇ０８Ｇ 1/16 Ｇ０１Ｂ 11/24 Ａ Ｆターム(参考） 2F065 AA04 AA06 AA20 CC11 CC40 DD04 FF05 QQ24 QQ31 QQ33 QQ36 QQ38 2F112 AC03 AC06 BA03 BA06 CA05 FA03 FA35 FA45 5B057 AA16 CA08 CA13 CA16 DA11 DB02 DB09 DC33 5H180 AA01 BB19 CC02 CC04 CC14 LL01 LL02 5L096 AA06 BA04 CA05 FA34 FA66 HA11 JA11 MA07

Claims (9)

    【特許請求の範囲】
  1. 【請求項１】 道路車両の付近であって相当の距離までの範囲にある物体の
    検出方法であって、移動中または静止している車両から１つ以上の物体までの距
    離が、ステレオ画像処理を用いた距離に基づく画像のセグメント化によって算出
    され、前記検出された物体の特性が、前記セグメント化された画像領域における
    物体認識によって決定される検出方法において、 隆起した物体および／または平たい物体の画像領域が決定され、 隆起した物体および／または平たい物体が、予め定められた基準に基づいて３
    次元点を組合せる（クラスタ化する）ことによって検出され、前記隆起した物体
    は類似した距離の値を有するという特徴によって決定され、前記平たい物体は類
    似した高さの値を有するという特徴によって決定される ことを特徴とする検出方法。
  2. 【請求項２】 前記検出された隆起した物体が道路車両であり、および／ま
    たは前記検出された平たい物体が路面表示および境界であることを特徴とする請
    求項１に記載の検出方法。
  3. 【請求項３】 正確な車線の関連性および／または前記検出された物体の関
    連性を決定するために、前記検出された物体の、相互間のおよび前記移動中の車
    両に対する相対位置および相対速度が、前記距離の測定を評価することによって
    決定されることを特徴とする請求項１または２に記載の検出方法。
  4. 【請求項４】 記録されたペアのステレオ画像のうちの１つが、記録対象で
    ある物体の顕著な特徴に対して走査され、 前記顕著な特徴までの距離が、相互相関の方法によって、前記１組のステレオ
    画像の１つのステレオ画像におけるそれぞれの特徴を、同時に記録された前記１
    組のステレオ画像の他のステレオ画像における対応する特徴と比較し、生じる差
    異（Δｕ）を評価することによって決定される ことを特徴とする請求項１乃至３のいずれか１項に記載の検出方法。
  5. 【請求項５】 画素領域における前記顕著な特徴までの距離を決定すること
    によって、現実の世界の３次元点が測定装置の座標系において決定されることを
    特徴とする請求項１乃至４のいずれか１項に記載の検出方法。
  6. 【請求項６】 物体認識の目的のために、物体が仮定され、当該仮定が物体
    モデルとの比較によって立証されることを特徴とする請求項１乃至５のいずれか
    １項に記載の検出方法。
  7. 【請求項７】 物体認識の目的のために、前記セグメント化された画像領域
    が、認識対象である前記物体の予め決定され統計によって立証された２次元特徴
    に基づいて走査され、前記検出された物体に対し、物体の種類の分類のためのニ
    ューラルネットワークを用いることにより、前記比較がなされることを特徴とす
    る請求項１乃至６のいずれか１項に記載の検出方法。
  8. 【請求項８】 関連物体の動的挙動を評価するために、前記関連物体が、時
    間全体にわたって探知（追跡）され、前記特定の車両に対する前記関連物体の距
    離および横方向の位置が決定されることを特徴とする請求項１乃至７のいずれか
    １項に記載の検出方法。
  9. 【請求項９】 前記物体が、レーダおよび／または赤外線センサ、および／
    または光センサもしくはカメラのステレオ装置もしくはモノ装置によって検出さ
    れることを特徴とする請求項１乃至８のいずれか１項に記載の検出方法。
JP2001503136A 1999-06-11 2000-06-09 相当の距離までの道路車両の付近にある物体の検出方法 Pending JP2003502745A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE19926559.3 1999-06-11
DE19926559A DE19926559A1 (de) 1999-06-11 1999-06-11 Verfahren und Vorrichtung zur Detektion von Objekten im Umfeld eines Straßenfahrzeugs bis in große Entfernung
PCT/EP2000/005337 WO2000077736A1 (de) 1999-06-11 2000-06-09 Verfahren zur detektion von objekten im umfeld eines strassenfahrzeugs bis in grosse entfernung

Publications (1)

Publication Number Publication Date
JP2003502745A true JP2003502745A (ja) 2003-01-21

Family

ID=7910852

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001503136A Pending JP2003502745A (ja) 1999-06-11 2000-06-09 相当の距離までの道路車両の付近にある物体の検出方法

Country Status (6)

Country Link
US (1) US7046822B1 (ja)
EP (1) EP1192597B1 (ja)
JP (1) JP2003502745A (ja)
DE (2) DE19926559A1 (ja)
ES (1) ES2187476T3 (ja)
WO (1) WO2000077736A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7817848B2 (en) 2005-11-28 2010-10-19 Fujitsu Ten Limited Apparatus, method, and computer product for discriminating object
JP2012238244A (ja) * 2011-05-12 2012-12-06 Fuji Heavy Ind Ltd 環境認識装置および環境認識方法
JP2012238243A (ja) * 2011-05-12 2012-12-06 Fuji Heavy Ind Ltd 環境認識装置および環境認識方法
JP2013069045A (ja) * 2011-09-21 2013-04-18 Honda Elesys Co Ltd 画像認識装置、画像認識方法および画像認識プログラム
KR101299104B1 (ko) * 2009-09-08 2013-08-28 주식회사 만도 보행자 검출 장치 및 그 방법
CN104709288A (zh) * 2013-12-11 2015-06-17 沃尔沃汽车公司 对神经网络计算机进行编程的方法
JP2018512672A (ja) * 2015-04-01 2018-05-17 バイエリシエ・モトーレンウエルケ・アクチエンゲゼルシヤフト 駐車ゾーンを自動的に認識する方法及びシステム
US10436898B2 (en) 2013-12-26 2019-10-08 Hitachi, Ltd. Object recognition device
US10466709B2 (en) 2013-11-08 2019-11-05 Hitachi, Ltd. Autonomous driving vehicle and autonomous driving system

Families Citing this family (119)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002319091A (ja) * 2001-04-20 2002-10-31 Fuji Heavy Ind Ltd 後続車両認識装置
DE10148068A1 (de) * 2001-09-28 2003-04-10 Ibeo Automobile Sensor Gmbh Verfahren zur Erkennung und Verfolgung von Objekten
DE10141730B4 (de) * 2001-08-25 2009-09-03 Conti Temic Microelectronic Gmbh Verfahren zum Schutz lebender Objekte bei einem Zusammenstoß mit einem Fahrzeug sowie ein Fahrzeug mit einer Steuervorrichtung zur Durchführung des Verfahrens
EP1291674A3 (de) * 2001-09-03 2004-02-04 IBEO Automobile Sensor GmbH Verfahren zur Erkennung und Verfolgung von Objekten
DE10148063A1 (de) * 2001-09-28 2003-04-17 Ibeo Automobile Sensor Gmbh Verfahren zur Erkennung und Verfolgung von Objekten
DE10148060A1 (de) * 2001-09-28 2003-04-10 Ibeo Automobile Sensor Gmbh Verfahren zur Erkennung und Verfolgung von Objekten
DE10148064A1 (de) * 2001-09-28 2003-04-10 Ibeo Automobile Sensor Gmbh Verfahren zur Erkennung und Verfolgung von Objekten
DE10148071A1 (de) * 2001-09-28 2003-04-17 Ibeo Automobile Sensor Gmbh Verfahren zur Erkennung und Verfolgung von Objekten
US7423686B2 (en) * 2002-03-14 2008-09-09 Canon Kabushiki Kaisha Image pickup apparatus having auto-focus control and image pickup method
JP3938532B2 (ja) * 2002-09-05 2007-06-27 本田技研工業株式会社 車両制御装置、プログラム及び方法
DE10242808B4 (de) 2002-09-14 2018-09-06 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung von Hindernissen und/oder Verkehrsteilnehmern
DE10253510A1 (de) * 2002-11-16 2004-05-27 Robert Bosch Gmbh Vorrichtung und Verfahren zur Verbesserung der Sicht in einem Kraftfahrzeug
US7251346B2 (en) * 2002-11-19 2007-07-31 Honda Motor Co., Ltd. Moving object detection device, moving object detection method, and moving object detection program
DE10301634B4 (de) * 2003-01-17 2006-07-06 Daimlerchrysler Ag Lokal-adaptive Objekterkennung für digitales Bildmaterial
DE10307607A1 (de) * 2003-02-22 2004-09-09 Daimlerchrysler Ag Verteiltes Bildverarbeitungssystem für Kraftfahrzeuge
DE10310849B4 (de) * 2003-03-11 2009-01-02 Inb Vision Ag Verfahren zur photogrammmetrischen Abstands- und/oder Positionsbestimmung
DE10312546B3 (de) * 2003-03-21 2004-09-09 Audi Ag Kameravorrichtung für ein Fahrzeug und Verfahren zum Betreiben einer Kameravorrichtung
US7376262B2 (en) * 2003-08-04 2008-05-20 American Gnc Corporation Method of three dimensional positioning using feature matching
JP3941770B2 (ja) * 2003-10-28 2007-07-04 株式会社デンソー 衝突可能性判定装置
DE102004001555B4 (de) * 2004-01-10 2018-02-15 Robert Bosch Gmbh Verfahren und System für die Spurführung eines Fahrzeugs
JP4258385B2 (ja) * 2004-01-14 2009-04-30 株式会社デンソー 路面反射検出装置
WO2005090124A1 (de) 2004-02-20 2005-09-29 Daimlerchrysler Ag Bildverarbeitungssystem für kraftfahrzeuge
WO2005098782A1 (en) 2004-04-08 2005-10-20 Mobileye Technologies Limited Collision warning system
JP4532171B2 (ja) 2004-06-01 2010-08-25 富士重工業株式会社 立体物認識装置
WO2006014974A2 (en) 2004-07-26 2006-02-09 Automotive Systems Laboratory, Inc. Vulnerable road user protection system
JP2006221603A (ja) * 2004-08-09 2006-08-24 Toshiba Corp ３次元情報復元装置、３次元情報復元方法および３次元情報復元プログラム
US7974778B2 (en) * 2004-09-17 2011-07-05 Honda Motor Co., Ltd. Vehicular control object determination system and vehicular travel locus estimation system
US7248968B2 (en) 2004-10-29 2007-07-24 Deere & Company Obstacle detection using stereo vision
DE102004057296A1 (de) 2004-11-26 2006-06-08 Daimlerchrysler Ag Lane-Departure-Warning mit Unterscheidung zwischen Fahrbahnrandmarkierung und baulicher Begrenzung des Fahrbahnrandes
JP4328286B2 (ja) * 2004-12-14 2009-09-09 本田技研工業株式会社 顔領域推定装置、顔領域推定方法及び顔領域推定プログラム
US7639841B2 (en) * 2004-12-20 2009-12-29 Siemens Corporation System and method for on-road detection of a vehicle using knowledge fusion
US7620208B2 (en) * 2005-02-09 2009-11-17 Siemens Corporate Research, Inc. System and method for detecting features from images of vehicles
US7656432B2 (en) * 2005-03-30 2010-02-02 Hoya Corporation Method and apparatus for photographing moving object
DE102005020731A1 (de) * 2005-05-04 2006-11-09 Audi Ag Modelliervorrichtung und Verfahren zum Modellieren einer Umgebung eines Fahrzeugs
DE102005036782A1 (de) * 2005-08-02 2007-02-15 Magna Donnelly Gmbh & Co. Kg Verfahren zum Betrieb eines Bildauswertesystems zur Entfernungsmessung an einem Fahrzeug
US7623681B2 (en) * 2005-12-07 2009-11-24 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
TWI302879B (en) * 2006-05-12 2008-11-11 Univ Nat Chiao Tung Real-time nighttime vehicle detection and recognition system based on computer vision
DE102007040539B4 (de) * 2006-09-04 2014-03-27 Denso Corporation Fahrzeugsteuersystem
DE102006045417A1 (de) * 2006-09-26 2008-04-03 GM Global Technology Operations, Inc., Detroit Ortungseinrichtung für ein Kraftfahrzeug
DE102006055908A1 (de) * 2006-11-27 2008-05-29 Adc Automotive Distance Control Systems Gmbh Verfahren zur automatischen Fernlichtsteuerung
WO2008065717A1 (fr) * 2006-11-29 2008-06-05 Fujitsu Limited Système et procédé de détection de piéton
US8199975B2 (en) * 2006-12-12 2012-06-12 Cognex Corporation System and method for side vision detection of obstacles for vehicles
US7979199B2 (en) * 2007-01-10 2011-07-12 Honeywell International Inc. Method and system to automatically generate a clearance request to deviate from a flight plan
US8098889B2 (en) * 2007-01-18 2012-01-17 Siemens Corporation System and method for vehicle detection and tracking
DE102007050568A1 (de) * 2007-08-04 2009-02-05 Continental Teves Ag & Co. Ohg Verfahren und Einrichtung zur Objekterkennung in einem Bild
EP2037407B1 (de) * 2007-09-13 2014-07-23 Delphi Technologies, Inc. Verfahren zur Objekterfassung
AT505309B1 (de) * 2007-09-28 2008-12-15 Arc Austrian Res Centers Gmbh Verfahren zur feststellung von fahrzeugen
US9576217B2 (en) 2008-04-11 2017-02-21 Recognition Robotics System and method for visual recognition
US8150165B2 (en) * 2008-04-11 2012-04-03 Recognition Robotics, Inc. System and method for visual recognition
US8699754B2 (en) 2008-04-24 2014-04-15 GM Global Technology Operations LLC Clear path detection through road modeling
US8917904B2 (en) 2008-04-24 2014-12-23 GM Global Technology Operations LLC Vehicle clear path detection
US8803966B2 (en) 2008-04-24 2014-08-12 GM Global Technology Operations LLC Clear path detection using an example-based approach
JP5089545B2 (ja) * 2008-09-17 2012-12-05 日立オートモティブシステムズ株式会社 道路境界検出判断装置
DE102009016819B4 (de) * 2009-04-09 2011-12-15 Carl Zeiss Optronics Gmbh Verfahren zur Detektion wenigstens eines Objekts und/oder wenigstens einer Objektgruppe, Computerprogramm, Computerprogammprodukt, Stereokameraeinrichtung, aktiv Strahlung aussendendes Bildsensorsystem und Überwachungsvorrichtung
DE102009033124A1 (de) * 2009-07-15 2011-01-27 Audi Ag Verfahren zur Ermittlung eines Ein- oder Ausschervorgangs eines dem eigenen Kraftfahrzeug vorausfahrenden Fahrzeugs
JP5325765B2 (ja) * 2009-12-28 2013-10-23 日立オートモティブシステムズ株式会社 路肩検出装置及び路肩検出装置を用いた車両
DE102010018038B4 (de) * 2010-04-23 2023-08-10 Valeo Schalter Und Sensoren Gmbh Verfahren zum Warnen eines Fahrers eines Fahrzeugs vor der Anwesenheit von Objekten in einem Totwinkelbereich und entsprechende Fahrerassistenzeinrichtung
EP2602761A4 (en) * 2010-08-03 2017-11-01 Panasonic Intellectual Property Management Co., Ltd. Object detection device, object detection method, and program
US8395659B2 (en) 2010-08-26 2013-03-12 Honda Motor Co., Ltd. Moving obstacle detection using images
DE102011005780B4 (de) 2011-03-18 2022-06-02 Robert Bosch Gmbh Verfahren und Vorrichtung zur Bestimmung einer Entfernung zwischen einem Fahrzeug und einem Objekt
DE102011100820A1 (de) * 2011-05-07 2012-11-08 Connaught Electronics Ltd. Verfahren zum Detektieren eines Hindernisses in der Umgebung eines Kraftfahrzeugs, Fahrerassistenzeinrichtung und Kraftfahrzeug
DE102011101246A1 (de) 2011-05-11 2012-11-15 Conti Temic Microelectronic Gmbh Redudante objektdetektion für fahrerassistenzsysteme
DE102011054852A1 (de) * 2011-07-30 2013-01-31 Götting KG Verfahren zur Erfassung und Bewertung einer Ebene
JP5918982B2 (ja) * 2011-11-22 2016-05-18 キヤノン株式会社 撮像装置、再生装置、その制御方法、撮像システム、及びプログラム
DE102011087894A1 (de) * 2011-12-07 2013-06-13 Robert Bosch Gmbh Verfahren und Fahrzeugassistenzsystem zur aktiven Warnung und/oder zur Navigationshilfe zur Vermeidung einer Kollision eines Fahrzeugkarosserieteils und/oder eines Fahrzeugrades mit einem Objekt
US8768007B2 (en) 2012-03-26 2014-07-01 Tk Holdings Inc. Method of filtering an image
US8824733B2 (en) 2012-03-26 2014-09-02 Tk Holdings Inc. Range-cued object segmentation system and method
CN103390268B (zh) 2012-05-11 2016-11-23 株式会社理光 物体区域分割方法和装置
US8781721B2 (en) * 2012-06-06 2014-07-15 Google Inc. Obstacle evaluation technique
KR20140019501A (ko) * 2012-08-06 2014-02-17 현대자동차주식회사 장애물 인식을 위한 분류기의 생성방법
JP5937921B2 (ja) * 2012-08-09 2016-06-22 株式会社ブリヂストン 路面状態判別方法とその装置
DE102012020778B4 (de) 2012-10-23 2018-01-18 Audi Ag Verfahren zum Labeln einer Sequenz von in zeitlicher Abfolge aufgenommenen Bildern mit integrierter Qualitätsprüfung
WO2014070448A1 (en) 2012-10-31 2014-05-08 Tk Holdings, Inc. Vehicular path sensing system and method
WO2014152470A2 (en) 2013-03-15 2014-09-25 Tk Holdings, Inc. Path sensing using structured lighting
US9696420B2 (en) * 2013-04-09 2017-07-04 Ford Global Technologies, Llc Active park assist object detection
DE102013217915A1 (de) * 2013-09-09 2015-03-12 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Objekterkennung aus tiefenaufgelösten Bilddaten
DE102013021840A1 (de) * 2013-12-21 2015-06-25 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erzeugen eines Umgebungsmodells eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug
KR101582572B1 (ko) * 2013-12-24 2016-01-11 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량
US11244171B2 (en) * 2014-01-22 2022-02-08 Conduent Business Services Llc Video-based system for automated detection of double parking violations
US9830681B2 (en) * 2014-01-31 2017-11-28 Hover Inc. Multi-dimensional model dimensioning and scale error correction
JP6163453B2 (ja) 2014-05-19 2017-07-12 本田技研工業株式会社 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム
DE102014219422B4 (de) * 2014-09-25 2023-06-15 Continental Autonomous Mobility Germany GmbH Fahrerassistenzsystem für ein Fahrzeug und ein Verfahren zum Anpassen eines Bildbereichs eines Bildes für ein Fahrerassistenzsystem
US10026324B2 (en) 2014-11-04 2018-07-17 Honeywell International Inc. Systems and methods for enhanced adoptive validation of ATC clearance requests
JP2016197795A (ja) * 2015-04-03 2016-11-24 日立オートモティブシステムズ株式会社 撮像装置
JP2017045124A (ja) * 2015-08-24 2017-03-02 株式会社日本自動車部品総合研究所 視差検出装置
US10823950B2 (en) * 2016-01-07 2020-11-03 Digital Surigcals PTE. LTD. Camera system with balanced monocular cues for use in digital stereo microscopes
SE541846C2 (en) * 2016-02-10 2019-12-27 Scania Cv Ab Method and control unit for rear view
US10372976B2 (en) 2016-05-05 2019-08-06 Brunswick Corporation Person detection in a marine environment
DE102016008218A1 (de) * 2016-07-06 2018-01-11 Audi Ag Verfahren zum verbesserten Erkennen von Objekten durch ein Fahrerassistenzsystem
GB2562018A (en) * 2016-09-15 2018-11-07 Vivacity Labs Ltd A method and system for analyzing the movement of bodies in a traffic system
DE102016218853A1 (de) * 2016-09-29 2018-03-29 Conti Temic Microelectronic Gmbh Detektion und Validierung von Objekten aus Bildern einer Kamera
DE102016218849A1 (de) 2016-09-29 2018-03-29 Conti Temic Microelectronic Gmbh Detektion und Tracking von Objekten aus Bildern einer Kamera
DE102016218852A1 (de) 2016-09-29 2018-03-29 Conti Temic Microelectronic Gmbh Detektion von Objekten aus Bildern einer Kamera
US9989964B2 (en) * 2016-11-03 2018-06-05 Mitsubishi Electric Research Laboratories, Inc. System and method for controlling vehicle using neural network
DE102016225866B4 (de) * 2016-12-21 2023-03-16 Robert Bosch Gmbh Verfahren zum Betreiben einer Warneinrichtung eines Schienenfahrzeugs
US20180262739A1 (en) * 2017-03-10 2018-09-13 Denso International America, Inc. Object detection system
US10740627B2 (en) 2017-05-10 2020-08-11 Fotonation Limited Multi-camera vision system and method of monitoring
US10331960B2 (en) 2017-05-10 2019-06-25 Fotonation Limited Methods for detecting, identifying and displaying object information with a multi-camera vision system
US11615566B2 (en) 2017-05-10 2023-03-28 Fotonation Limited Multi-camera vehicle vision system and method
DE102017215718B4 (de) * 2017-09-07 2019-06-13 Audi Ag Verfahren zum Auswerten eines optischen Erscheinungsbildes in einer Fahrzeugumgebung und Fahrzeug
DE102017216802A1 (de) 2017-09-22 2019-03-28 Continental Teves Ag & Co. Ohg Verfahren und vorrichtung zum erkennen von fahrspuren, fahrerassistenzsystem und fahrzeug
JP7102800B2 (ja) * 2018-03-13 2022-07-20 富士通株式会社 評価プログラム、評価方法および評価装置
DE102018109680A1 (de) * 2018-04-23 2019-10-24 Connaught Electronics Ltd. Verfahren zum Unterscheiden von Fahrbahnmarkierungen und Bordsteinen durch parallele zweidimensionale und dreidimensionale Auswertung; Steuereinrichtung; Fahrassistenzsystem; sowie Computerprogrammprodukt
DE102018214875A1 (de) * 2018-08-31 2020-03-05 Audi Ag Verfahren und Anordnung zum Erzeugen einer Umgebungsrepräsentation eines Fahrzeugs und Fahrzeug mit einer solchen Anordnung
DE102018121602A1 (de) * 2018-09-05 2020-03-05 Valeo Schalter Und Sensoren Gmbh Verfahren zum Auswerten von mehreren Bildern einer Umgebung eines Kraftfahrzeugs; Steuereinrichtung; sowie Fahrerassistenzsystem
AT521845B1 (de) * 2018-09-26 2021-05-15 Waits Martin Verfahren zur Fokuseinstellung einer Filmkamera
SE1851450A1 (en) * 2018-11-23 2020-05-24 Scania Cv Ab Method, Computer Program, Control Unit for Detecting Faults in a Driver-Assistance System and Vehicle
EP3670283A1 (en) 2018-12-17 2020-06-24 Ningbo Geely Automobile Research & Development Co. Ltd. Follow that car
US11288814B2 (en) * 2019-07-15 2022-03-29 Mujin, Inc. System and method of object detection based on image data
DE102019216548A1 (de) * 2019-10-28 2021-04-29 DeepUp GmbH Verfahren und mobile Erfassungsvorrichtung zur Erfassung von Infrastrukturelementen eines unterirdischen Leitungsnetzwerks
DE102019218479A1 (de) * 2019-11-28 2021-06-02 Robert Bosch Gmbh Verfahren und Vorrichtung zur Klassifikation von Objekten auf einer Fahrbahn in einem Umfeld eines Fahrzeugs
CN113703015B (zh) * 2020-05-22 2024-05-03 阿里巴巴集团控股有限公司 数据处理方法、装置、设备及介质
DE102020208066B3 (de) * 2020-06-30 2021-12-23 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren Objekterkennung Computerprogramm, Speichermedium und Steuereinrichtung
US11782254B2 (en) * 2020-07-24 2023-10-10 United Scope LLC Digital microscopy system and graphical user interface
DE102021107904A1 (de) * 2021-03-29 2022-09-29 Conti Temic Microelectronic Gmbh Verfahren und System zur Bestimmung der Bodenebene mit einem künstlichen neuronalen Netz
KR102363691B1 (ko) * 2021-05-07 2022-02-17 (주)뉴빌리티 자율주행을 위한 객체 속도 추정 장치 및 방법
CN113362370B (zh) * 2021-08-09 2022-01-11 深圳市速腾聚创科技有限公司 目标对象的运动信息确定方法、装置、介质及终端
DE102022113001A1 (de) 2022-05-24 2023-11-30 Bayerische Motoren Werke Aktiengesellschaft Lichtassistenzsystem, Fahrzeug und Verfahren zum Steuern eines Scheinwerfers eines Fahrzeuges
US11645775B1 (en) * 2022-06-23 2023-05-09 Plusai, Inc. Methods and apparatus for depth estimation on a non-flat road with stereo-assisted monocular camera in a vehicle

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0744689A (ja) * 1993-08-02 1995-02-14 Mitsubishi Heavy Ind Ltd 車種判別装置
JPH07182484A (ja) * 1993-12-24 1995-07-21 Nissan Motor Co Ltd 移動車の前方認識装置ならびに車輌用走行制御装置
JPH08255245A (ja) * 1995-03-17 1996-10-01 Toshiba Corp ランドマーク認識装置およびランドマーク認識方法
JPH0981738A (ja) * 1995-09-12 1997-03-28 Toshiba Corp 画像認識装置及び方法
JPH09506454A (ja) * 1993-12-08 1997-06-24 ミネソタ マイニング アンド マニュファクチャリング カンパニー マシンビジョン分類及び追跡用の方法及び装置
JPH10187930A (ja) * 1996-12-19 1998-07-21 Hitachi Ltd 走行環境認識装置
JPH10285582A (ja) * 1997-04-04 1998-10-23 Fuji Heavy Ind Ltd 車外監視装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2800530B2 (ja) * 1992-02-28 1998-09-21 三菱電機株式会社 車間距離検出装置
EP0631683B1 (en) * 1992-03-20 2001-08-01 Commonwealth Scientific And Industrial Research Organisation An object monitoring system
JPH05265547A (ja) * 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
DE4211171C2 (de) * 1992-04-03 2003-03-20 Diehl Stiftung & Co Verfahren zum Erkennen von interessierenden Mustern
US5642093A (en) * 1995-01-27 1997-06-24 Fuji Jukogyo Kabushiki Kaisha Warning system for vehicle
JP3866328B2 (ja) * 1996-06-06 2007-01-10 富士重工業株式会社 車両周辺立体物認識装置
DE19636028C1 (de) * 1996-09-05 1997-11-20 Daimler Benz Ag Verfahren zur Stereobild-Objektdetektion
JP3516856B2 (ja) * 1998-01-30 2004-04-05 富士重工業株式会社 車外監視装置
US6266442B1 (en) * 1998-10-23 2001-07-24 Facet Technology Corp. Method and apparatus for identifying objects depicted in a videostream

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0744689A (ja) * 1993-08-02 1995-02-14 Mitsubishi Heavy Ind Ltd 車種判別装置
JPH09506454A (ja) * 1993-12-08 1997-06-24 ミネソタ マイニング アンド マニュファクチャリング カンパニー マシンビジョン分類及び追跡用の方法及び装置
JPH07182484A (ja) * 1993-12-24 1995-07-21 Nissan Motor Co Ltd 移動車の前方認識装置ならびに車輌用走行制御装置
JPH08255245A (ja) * 1995-03-17 1996-10-01 Toshiba Corp ランドマーク認識装置およびランドマーク認識方法
JPH0981738A (ja) * 1995-09-12 1997-03-28 Toshiba Corp 画像認識装置及び方法
JPH10187930A (ja) * 1996-12-19 1998-07-21 Hitachi Ltd 走行環境認識装置
JPH10285582A (ja) * 1997-04-04 1998-10-23 Fuji Heavy Ind Ltd 車外監視装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7817848B2 (en) 2005-11-28 2010-10-19 Fujitsu Ten Limited Apparatus, method, and computer product for discriminating object
KR101299104B1 (ko) * 2009-09-08 2013-08-28 주식회사 만도 보행자 검출 장치 및 그 방법
JP2012238244A (ja) * 2011-05-12 2012-12-06 Fuji Heavy Ind Ltd 環境認識装置および環境認識方法
JP2012238243A (ja) * 2011-05-12 2012-12-06 Fuji Heavy Ind Ltd 環境認識装置および環境認識方法
JP2013069045A (ja) * 2011-09-21 2013-04-18 Honda Elesys Co Ltd 画像認識装置、画像認識方法および画像認識プログラム
US10466709B2 (en) 2013-11-08 2019-11-05 Hitachi, Ltd. Autonomous driving vehicle and autonomous driving system
CN104709288A (zh) * 2013-12-11 2015-06-17 沃尔沃汽车公司 对神经网络计算机进行编程的方法
CN104709288B (zh) * 2013-12-11 2018-09-18 沃尔沃汽车公司 对神经网络计算机进行编程的方法
US10436898B2 (en) 2013-12-26 2019-10-08 Hitachi, Ltd. Object recognition device
JP2018512672A (ja) * 2015-04-01 2018-05-17 バイエリシエ・モトーレンウエルケ・アクチエンゲゼルシヤフト 駐車ゾーンを自動的に認識する方法及びシステム

Also Published As

Publication number Publication date
DE19926559A1 (de) 2000-12-21
US7046822B1 (en) 2006-05-16
EP1192597A1 (de) 2002-04-03
EP1192597B1 (de) 2002-12-18
WO2000077736A1 (de) 2000-12-21
DE50000984D1 (de) 2003-01-30
ES2187476T3 (es) 2003-06-16

Similar Documents

Publication Publication Date Title
JP2003502745A (ja) 相当の距離までの道路車両の付近にある物体の検出方法
JP6550881B2 (ja) 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
JP4650079B2 (ja) 物体検出装置、および方法
JP3596314B2 (ja) 物体端の位置計測装置および移動体の通行判断装置
JP4426535B2 (ja) 車両の周辺監視装置
US9892328B2 (en) Hazard detection from a camera in a scene with moving shadows
JP3822515B2 (ja) 障害物検知装置及びその方法
JP3463858B2 (ja) 周辺監視装置及び方法
EP2993654B1 (en) Method and system for forward collision warning
US7366325B2 (en) Moving object detection using low illumination depth capable computer vision
WO2016129403A1 (ja) 物体検知装置
Cualain et al. Automotive standards-grade lane departure warning system
US20050232463A1 (en) Method and apparatus for detecting a presence prior to collision
JP2015207281A (ja) 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
KR102536037B1 (ko) 차량의 주변 환경에 있는 물체와 관련된 정보를 결정하기 위한 방법 및 처리 유닛
WO2013129361A1 (ja) 立体物検出装置
KR101103526B1 (ko) 스테레오 카메라를 이용한 충돌회피 방법
JP2003084064A (ja) 前方車両の認識装置及び認識方法
JP2008304344A (ja) 物標検出装置
US10672141B2 (en) Device, method, system and computer-readable medium for determining collision target object rejection
JP2002024986A (ja) 歩行者検出装置
JPH10283462A (ja) 車外監視装置
JPWO2017145605A1 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
Janda et al. Road boundary detection for run-off road prevention based on the fusion of video and radar
JP2007249257A (ja) 移動体検出装置および移動体検出方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050419

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20050715

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20050725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051206

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060509