JP2003139858A - 車外監視装置 - Google Patents

車外監視装置

Info

Publication number
JP2003139858A
JP2003139858A JP2001338094A JP2001338094A JP2003139858A JP 2003139858 A JP2003139858 A JP 2003139858A JP 2001338094 A JP2001338094 A JP 2001338094A JP 2001338094 A JP2001338094 A JP 2001338094A JP 2003139858 A JP2003139858 A JP 2003139858A
Authority
JP
Japan
Prior art keywords
distance
distance data
dimensional object
laser
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001338094A
Other languages
English (en)
Other versions
JP3880837B2 (ja
Inventor
Hiroyuki Sekiguchi
弘幸 関口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Fuji Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Heavy Industries Ltd filed Critical Fuji Heavy Industries Ltd
Priority to JP2001338094A priority Critical patent/JP3880837B2/ja
Priority to EP02024447A priority patent/EP1308752A3/en
Priority to US10/285,504 priority patent/US6823261B2/en
Publication of JP2003139858A publication Critical patent/JP2003139858A/ja
Application granted granted Critical
Publication of JP3880837B2 publication Critical patent/JP3880837B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of Optical Distance (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

(57)【要約】 【課題】画像情報とレーザレーダ情報とを基に前方に存
在する立体物の認識を、不必要な処理を行うことなく素
早く正確に行う。 【解決手段】距離データ統合部5cはレーザ距離データ
と画像距離データを統合し、立体物検出処理部5dは、
40m未満と、40m以上とにおける特異点の削除を行
って、前回の立体物の検出結果に基づいた立体物のコー
ナ点・コーナ状立体物の検出を行い、グルーピング処理
を行い立体物を認識処理する。ここで、40m未満にお
ける特異点の削除は、自車からほぼ等距離の立体物の間
にある遠方の立体物を特異点として削除する。また、4
0m以上における特異点の削除は、レーザレーダで検出
した2つの距離データが、2m間隔以内の値で且つ距離
値の差が0.5m以内の場合、2つの距離データの間に
存在する2つの距離データより所定以上遠方の画像によ
る距離データを特異点とし削除する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像情報とレーザ
レーダ情報とを基に前方に存在する立体物と自車両との
距離を検出する車外監視装置に関する。
【0002】
【従来の技術】近年、自動車にTVカメラやレーザレー
ダ等を搭載して前方の車両や障害物を検知し、それらに
衝突する危険度を判定して運転者に警報を発したり、自
動的にブレーキを作動させて停止させる、或いは、先行
車との車間距離を安全に保つよう自動的に走行速度を増
減する等のASV(Advanced Safety Vehicle;先進安
全自動車)に係わる技術の開発が積極的に進められ、一
部実用化されている。
【0003】
【発明が解決しようとする課題】ところで、このような
技術では、立体物の認識をカメラからの画像による距離
データとレーザレーダからの距離データを統合して行う
場合、特に遠方の立体物を認識する際には、画像による
距離データとレーザレーダからの距離データのそれぞれ
の特性の違いにより、それぞれの測距差から1つの物体
を複数の異なる物体として誤認識してしまう可能性があ
る。例えば遠方の先行車両をレーザレーダで距離検出し
た場合、そのリフレクタを主に検出するのに対し、画像
で距離検出した場合は誤差が大きくなり、より遠方に立
体物があるように検出することがある。そして、このよ
うに距離データの差が大きく異なっていると、1つの物
体であるにもかかわらず、複数の立体物が存在するよう
に演算処理するため、演算処理時間が不必要に多くなっ
てしまうという問題が生じる。
【0004】本発明は上記事情に鑑みてなされたもの
で、画像情報とレーザレーダ情報とを基に前方に存在す
る立体物の認識を、不必要な処理を行うことなく素早く
正確に行うことが可能な車外監視装置を提供することを
目的としている。
【0005】
【課題を解決するための手段】上記目的を達成するため
請求項1記載の本発明による車外監視装置は、車両前方
の画像情報を基に前方に存在する立体物と自車両との距
離データを検出する画像距離検出手段と、車両前方への
レーザレーダ情報を基に前方に存在する立体物と自車両
との距離データを検出するレーザ距離検出手段と、上記
画像距離検出手段で検出した距離データと上記レーザ距
離検出手段で検出した距離データとに基づき、前方に存
在する立体物を認識する立体物認識手段を備えた車外監
視装置であって、上記立体物認識手段は、上記画像距離
検出手段で検出した距離データと上記レーザ距離検出手
段で検出した距離データとを統合し、水平方向に存在す
る上記レーザ距離検出手段で検出した2つの距離データ
が、予め設定した幅以内の値であり、且つ、距離値の差
が予め設定した距離値以内の場合、上記2つの距離デー
タの間に存在する該2つの距離データより所定以上遠方
の上記画像距離検出手段で検出した距離データを無効と
して立体物の認識を行うことを特徴としている。
【0006】すなわち、上記請求項1記載の車外監視装
置では、画像距離検出手段で車両前方の画像情報を基に
前方に存在する立体物と自車両との距離データを検出
し、レーザ距離検出手段で車両前方へのレーザレーダ情
報を基に前方に存在する立体物と自車両との距離データ
を検出し、立体物認識手段で画像距離検出手段で検出し
た距離データとレーザ距離検出手段で検出した距離デー
タとに基づき、前方に存在する立体物を認識する。この
際、立体物認識手段は、画像距離検出手段で検出した距
離データとレーザ距離検出手段で検出した距離データと
を統合し、水平方向に存在するレーザ距離検出手段で検
出した2つの距離データが、予め設定した幅以内の値で
あり、且つ、距離値の差が予め設定した距離値以内の場
合、2つの距離データの間に存在するこの2つの距離デ
ータより所定以上遠方の画像距離検出手段で検出した距
離データを無効として立体物の認識を行う。このため、
先行車両のリフレクタと見なせるレーザ距離検出手段で
検出した2つの距離データの間の不要な画像距離検出手
段で検出した距離データが処理から削除されるので、画
像情報とレーザレーダ情報とを基に前方に存在する立体
物の認識を、不必要な処理を行うことなく素早く正確に
行うことが可能となる。
【0007】また、請求項2記載の本発明による車外監
視装置は、請求項1記載の車外監視装置において、上記
立体物認識手段は、上記2つの距離データが予め設定し
た距離以上の距離データの際に、上記2つの距離データ
の間に存在する該2つの距離データより所定以上遠方の
上記画像距離検出手段で検出した距離データを無効とし
て立体物の認識を行うことを特徴とし、予め設定した距
離以上の距離データでは、先行車両をレーザレーダで距
離検出した場合、そのリフレクタを主に検出するため、
この点に着目し、請求項1の処理を遠方に存在する立体
物にのみ実行するようにして精度を向上させる。
【0008】更に、請求項3記載の本発明による車外監
視装置は、請求項1又は請求項2記載の車外監視装置に
おいて、上記立体物認識手段は、上記統合した距離デー
タが予め設定した距離未満の距離データの際には、該距
離データを基準とするサーベイエリアを予め設定し、上
記サーベイエリアより遠方に存在する距離データは無効
として立体物の認識を行うことを特徴とし、予め設定し
た距離未満の距離データでは、先行車両をレーザレーダ
で距離検出した場合、レーザレーダによる距離検出は画
像による距離検出と同様にリフレクタ以外も検出するた
め、画像距離検出手段で検出した距離データとレーザ距
離検出手段で検出した距離データの両方について無効な
データの削除を行う。
【0009】
【発明の実施の形態】以下、図面に基づいて本発明の実
施の形態を説明する。図1乃至図10は本発明の実施の
形態を示し、図1は車外監視装置を備えた車両用運転支
援装置の概略構成図、図2は車両用運転支援装置の機能
ブロック図、図3はCCDカメラによる距離データ検出
とレーザレーダによる距離データ検出の説明図、図4は
画像距離データの区分の説明図、図5は削除する特異点
の説明図、図6は前方監視プログラムのフローチャー
ト、図7は画像距離データとレーザ距離データとの統合
処理ルーチンのフローチャート、図8はグルーピングに
よる立体物検出処理ルーチンのフローチャート、図9は
40m以上における特異点の削除処理ルーチンのフロー
チャート、図10は距離データ診断処理ルーチンのフロ
ーチャートである。
【0010】図1において、符号1は自動車等の車両
(自車両)であり、この自車両1に、前方の立体物との
衝突、接触の可能性を判定し、必要に応じて警報を発す
る車両用運転支援装置(ADA装置)2が搭載されてい
る。尚、ADA装置2は、一般に、この衝突接触防止機
能の他に、車線逸脱防止等の機能も有しているが、本発
明の実施の形態では、衝突接触防止機能についてのみ説
明し、他の機能の説明は省略する。
【0011】ADA装置2は、ステレオ光学系として例
えば電荷結合素子(CCD)等の固体撮像素子を用いた
1組の(左右の)CCDカメラ3を有し、これら左右の
CCDカメラ3は、それぞれ車室内の天井前方に一定の
間隔をもって取り付けられ、車外の対象を異なる視点か
らステレオ撮像し、コントローラ5に入力する。
【0012】また、車両1のバンパ構造材の上部には、
レーザビームの投射・受光と左右方向への走査機能を有
する、レーザヘッドを備えたレーザ投光ユニット4が取
り付けられ、コントローラ5と接続されている。このレ
ーザ投光ユニット4からはレーザビームが水平に投射さ
れ、道路表面より高い位置にある立体物のみが検出され
ると共に、このレーザ投光ユニット4からのレーザビー
ムは左右方向に走査され、所定の走査範囲で一定の間隔
毎にレーザビームが投光・受光されて距離を検出する動
作が繰り返され、立体物の二次元分布が計測される。
【0013】本実施の形態の場合、例えば、図3に示す
ように、CCDカメラ3からは前方の左右26゜の範囲
の画像がコントローラ5に入力され、一方、レーザ投光
ユニット4では0.15度間隔で80方向の走査が行わ
れて前方の左右12゜の範囲のデータが0.1秒周期で
コントローラ5に出力される。
【0014】また、自車両1には、車速Vを検出する車
速センサ6と、舵角δを検出する舵角センサ7が設けら
れており、この車速Vと舵角δはコントローラ5に入力
される。
【0015】コントローラ5は、CCDカメラ3からの
画像、レーザ投光ユニット4による走査結果、車速V、
及び、舵角δが入力され、CCDカメラ3からの画像に
基づく前方立体物との距離と、レーザ投光ユニット4に
よる走査結果に基づく前方立体物との距離とをそれぞれ
独立して求め、これらの距離データを統合して、この統
合したデータを基に最終的に前方立体物との距離を求
め、自車両1との衝突危険性や接触可能性を判断し、必
要に応じてコンビネーションメータ8の衝突警報ランプ
8aを点灯させ警報を発するようになっている。また、
コントローラ5は、CCDカメラ3からの画像に基づく
前方立体物との距離の検出と、レーザ投光ユニット4に
よる走査結果に基づく前方立体物との距離の検出の状
態、すなわち、検出能力の低下を判定し、検出能力が低
下している場合にはコンビネーションメータ8の検出状
態表示ランプ8bを点灯させてドライバに報知する。
【0016】すなわち、コントローラ5は、車外監視装
置としての機能を備えて構成されており、図2に示すよ
うに、画像データ処理部5a、レーザ測距データ処理部
5b、距離データ統合部5c、立体物検出処理部5d、
距離データ診断部5e、及び、警報制御部5fを有して
構成されている。
【0017】画像データ処理部5aは、画像距離検出手
段として設けられており、CCDカメラ3からの画像
を、図4に示すように、左右方向に128等分に区分
し、これに対応した配列Czlnを設定する。そして、区
分毎に代表的な画素ずれ数を求め、この画素ずれ数から
立体物までの距離を算出し、画像距離データCzln[0~12
7]として保存する。例えば、Czln[3]は、区分番号3番
の距離データを示し、無効データの場合は999000
とされる。
【0018】レーザ測距データ処理部5bは、レーザ距
離検出手段として設けられており、レーザービームの投
光受光の所要時間から物体までの距離を計算し、また、
レーザビームを走査する方向から物体の二次元の位置
(全80区分)を計算してレーザ距離データLzln[0~7
9]として保存する。例えば、Lzln[3]は、区分番号3番
の距離データを示し、無効データの場合は999000
とされる。
【0019】距離データ統合部5cは、80区分のレー
ザ距離データLzln[0~79]を、128区分の画像距離デ
ータ座標に変換(レーザ距離データlzrzln[0~127])
し、この変換したレーザ距離データlzrzln[0~127]を画
像距離データCzln[0~127]と統合する。
【0020】レーザ距離データLzln[0~79]のレーザ距
離データlzrzln[0~127]への変換は、例えば、以下のよ
うにx座標、z座標を演算して実行する。 x座標=レーザ距離データ・sink[k-kv+50]+レーザヘッドx座標 …(1) z座標=レーザ距離データ+レーザヘッドz座標 …(2) ここで、sink[k]=sin((k-50)・0.155゜)のデータテー
ブルであり、k=(レーザヘッドの中心軸があるレーザ
区分番号)−(レーザの中心軸がある画像区分番号)
で、「50」はデータテーブルの中心の区分番号、0.
155はレーザの80区分の1ステップである。
【0021】また、変換したレーザ距離データlzrzln[0
~127]と画像距離データCzln[0~127]との統合は、以下
のように実行される。尚、 [fln]のflnは、0〜1
27の各区分を示す。
【0022】1.レーザ距離データlzrzln[fln]が有効
な場合でレーザ距離データlzrzln[fln]が遠方(20m
以上)の場合、最終的な距離データzln[fln]は、レーザ
距離データlzrzln[fln]とする。すなわち、zln[fln]=l
zrzln[fln]。
【0023】2.レーザ距離データlzrzln[fln]が有効
な場合でレーザ距離データlzrzln[fln]が中間距離(1
0m以上20m未満)の場合、画像距離データCzln[fl
n]が有効で、且つ、画像距離データCzln[fln]とレーザ
距離データlzrzln[fln]との差が所定値(例えば2.5
m)以内の場合は、最終的な距離データzln[fln]は、レ
ーザ距離データlzrzln[fln]と画像距離データCzln[fl
n]との平均値とする。すなわち、zln[fln]=(lzrzln[f
ln]+Czln[fln])/2。
【0024】3.レーザ距離データlzrzln[fln]が有効
な場合でレーザ距離データlzrzln[fln]が中間距離(1
0m以上20m未満)の場合、上記2以外の場合は、最
終的な距離データzln[fln]は、レーザ距離データlzrzln
[fln]とする。すなわち、zln[fln]=lzrzln[fln]。
【0025】4.レーザ距離データlzrzln[fln]が有効
な場合でレーザ距離データlzrzln[fln]が近距離(3m
以上10m未満)の場合、最終的な距離データzln[fln]
は、画像距離データCzln[fln]とする。すなわち、zln
[fln]=Czln[fln]。
【0026】5.レーザ距離データlzrzln[fln]が有効
な場合でレーザ距離データlzrzln[fln]が極近距離(3
m未満)の場合、最終的な距離データzln[fln]は、レー
ザ距離データlzrzln[fln]とする。すなわち、zln[fln]
=lzrzln[fln]。
【0027】6.レーザ距離データlzrzln[fln]が無効
な場合は、最終的な距離データzln[fln]は、画像距離デ
ータCzln[fln]とする。すなわち、zln[fln]=Czln[fl
n]。
【0028】すなわち、一般に、画像に基づく距離デー
タは、遠方では誤差が大きく近距離の場合は誤差が小さ
くなり、更に、極近距離ではリヤゲート越しに先の物体
を捉えてしまいやすい。また、レーザレーダに基づく距
離データは、遠方では比較的誤差が小さく近距離の場合
は誤差が大きくなる。このため、上述の1〜6のよう
に、予め、最終的に採用するデータを選別し、最終的に
正確な距離データが得られるようにするのである。
【0029】そして、画像距離データCzln[0~127]はzl
n1[0~127]として、また、変換したレーザ距離データlzr
zln[0~127]はzln2[0~127]として保管・出力され、更
に、統合された最終的な距離データzln[0~127]は立体物
検出処理部5dに出力される。
【0030】立体物検出処理部5dは、40m未満にお
ける特異点の削除と、40m以上における特異点の削除
を行って、前回の立体物の検出結果に基づいた立体物の
コーナ点・コーナ状立体物の検出を行って、最終的な距
離データzln[0~127]のグルーピング処理を行い立体物を
認識処理する。従って、距離データ統合部5cと、この
立体物検出処理部5dとで立体物認識手段が構成されて
いる。
【0031】立体物検出処理部5dは、具体的には、4
0m未満における特異点の削除は、立体物が複雑に混在
し、手前の立体物の間から遠方の立体物が見える状況等
において、自車からほぼ等距離の立体物の間にある遠方
の立体物を特異点として削除する。
【0032】すなわち、図5に示すように、40m未満
にある最終的な距離データzln[fln]を基準点P0(z
0,x0)として、以下の条件を全て満たす点を等距離
の点として定め、これら2点の間にある遠方の点を特異
点として削除する。尚、削除される点の距離データに
は、無効データと同じく999000が代入される。
【0033】図5の例では、基準点P0に対し、斜線部
内に存在する点P4,P5が基準点P0と等距離にある
点として認識される。この斜線部の領域は、z方向とx
方向が、例えば、以下のように設定される。 z方向:基準点±dz0(=z0・(164/409
6)+200)mm x方向:基準点+0.7m 従って、図5の例では、斜線の領域より遠方のP1,P
2が特異点として削除され、斜線の領域より前に位置す
るP3は削除されない。こうして、40m未満にある最
終的な距離データzln[fln]は、その距離データが、画像
に基づくデータ、或いは、レーザレーダに基づくデータ
にかかわらず、特異点の削除が行われ、データ処理の簡
素化が図られている。
【0034】また、40m以上における特異点の削除で
は、遠方の立体物を検出した場合、レーザレーダによる
距離データは、先行車両の左右のリフレクタを検出す
る。従って、左右のリフレクタ間にある画像の距離デー
タは、そのデータを特異点とし削除する。
【0035】例えば、最終的な距離データzln[0~127]
が、図4に示すように得られた場合、f1とf3とが以
下の条件を全て満足する場合、f1とf3とを先行車両
のリフレクタと判断する。
【0036】1.f1とf3がレーザレーダによる距離
データである。2.f1の値が40m以上である。3.
f1とf3の縦方向の差が±0.5m以内である。4.
f1とf3の横方向の間隔が2m以内である。
【0037】そして、f2が次の2つの条件を満足する
とき、f2の距離データを特異点として削除し、999
000を代入する。
【0038】1.f2が画像による距離データである。
2.f2がf1より遠方に存在する。
【0039】このように40m以上の距離データでは、
先行車両をレーザレーダで距離検出した場合、レーザレ
ーダによる距離検出では、先行車両のリフレクタを主に
検出するため、この点に着目し、レーザレーダによる距
離データの間に存在する、不要、或いは、誤差が大きい
と判断できる、より遠方の画像に基づく距離データを特
異点として削除することにより、立体物の認識を精度良
く速やかに行えるようにする。
【0040】そして、立体物検出処理部5dは、前回検
出されたコーナ状立体物のコーナ点を中心にサーベイエ
リアを設け、今回検出された上述の如く特異点を削除し
た最終的な距離データzln[0~127]を調べて、新たなコー
ナ点の有無を検出する。
【0041】その後、このデータのグルーピング処理、
すなわち、閾値を定めて、その閾値内にあるzln[fln]を
グループ化し、このグループ化したデータの傾き等から
側壁データの抽出を行い、グループ化されたデータの分
割と統合を行って、立体物ならびに側壁を検出する。こ
うして、検出された立体物情報は、距離データ診断部5
e、警報制御部5fに出力される。
【0042】距離データ診断部5eは、最終的に検出し
た立体物が、画像距離データCzln[0~127](zln1[0~12
7])と、変換したレーザ距離データlzrzln[0~127](zln
2[0~127])の両方で検出されているか判定し、画像距離
データzln1[0~127]で検出されていない場合は、画像測
距性能低下とし、コンビネーションメータ8の検出状態
表示ランプ8bを所定に点灯させてドライバに報知す
る。また、最終的に検出した立体物が、レーザ距離デー
タzln2[0~127]で検出されていない場合は、レーザ測距
性能低下としコンビネーションメータ8の検出状態表示
ランプ8bを所定に点灯させてドライバに報知する。
【0043】この測距性能の判定は、舵角が−10°〜
+10°で、車両が略直線路を走行する際に行われる。
これは、画像による距離検出では、ガードレールや側壁
を認識することができるが、レーザレーダによる距離検
出では、レーザビームが傾いて照射されるため反射せず
立体物を認識しづらいことを考慮したものである。
【0044】また、測距性能の判定を行う立体物のサー
ベイエリアは、レーザレーダと画像の視野が重なる部分
とし、判定に用いる立体物は、距離40〜70m前方に
存在する、幅50cm以上のものとする。ここで、距離
40〜70m前方に存在する立体物としたのは、これ以
上遠方の立体物をも対象とすると、画像による距離デー
タ及びレーザレーダによる距離データの誤差が大きくな
るためである。また、40m未満前方の立体物の距離デ
ータでは、測距性能の低下が極めて少なく判定を行えな
いためである。更に、立体物を幅50cm以上のものと
するのは、先行車両が複数存在する場合、画像では立体
物間の何も無い空間に立体物を誤認識することがあるた
めである。
【0045】そして、立体物に対して画像距離データzl
n1[0~127]が存在するか否か判定し、存在しない場合
は、画像無し立体物数n1にカウントし、同じく、立体
物に対してレーザ距離データzln2[0~127]が存在するか
否か判定し、存在しない場合は、レーザレーダ無し立体
物数n2にカウントする。こうして、対象とする立体物
の総数n0と画像無し立体物数n1とから画像の立体物
不検出率を演算し(=(n1/n0)・100%)、レ
ーザレーダの立体物不検出率を演算する(=(n2/n
0)・100%)。
【0046】そして、画像の立体物不検出率が、予め設
定する検出率閾値k6以上であれば、画像の能力判定タ
イマをインクリメントし、検出率閾値k6未満であれば
画像の能力判定タイマをデクリメントして、能力判定タ
イマの値が予め設定した出力閾値k1を超えた場合に画
像による測距能力低下と判定して検出状態表示ランプ8
bを所定に点灯させる。また、能力判定タイマの値が、
予め設定した解除閾値k2(<k1)以下となった際に
は検出状態表示ランプ8bの点灯を解除する。
【0047】同様に、レーザレーダの立体物不検出率
が、予め設定する検出率閾値k5以上であれば、レーザ
レーダの能力判定タイマをインクリメントし、検出率閾
値k5未満であればレーザレーダの能力判定タイマをデ
クリメントして、能力判定タイマの値が予め設定した出
力閾値k3を超えた場合にレーザレーダによる測距能力
低下と判定して検出状態表示ランプ8bを所定に点灯さ
せる。また、能力判定タイマの値が予め設定した解除閾
値k4(<k3)以下となった際には検出状態表示ラン
プ8bの点灯を解除する。
【0048】このように、最終的に検出された立体物を
対象として、これを検出する画像とレーザレーダのそれ
ぞれの距離データがあるか否かで、画像とレーザレーダ
の測距能力の低下を判定するようになっているので、画
像とレーザレーダの測距能力の低下を素早く正確に判定
することが可能になっている。
【0049】警報制御部5fは、立体物検出処理部5d
からの立体物情報や車速センサ6からの車速V等を基
に、自車線と隣接する左右の車線上に存在する他の自動
車や障害物等を抽出し、抽出した物体の位置と大きさ、
位置の時間変化による自車両1との相対速度等から、自
車両1との衝突の可能性や接触の可能性を判断し、その
結果を必要に応じて、コンビネーションメータ8の衝突
警報ランプ8aを点灯させ警報を発する。
【0050】次に、上述のコントローラ5で実行される
前方監視プログラムを図6以下図10のフローチャート
を用いて説明する。図6は前方監視プログラムの全体の
流れを示すフローチャートであり、ます、ステップ(以
下「S」と略称)101で必要なパラメータを読み込
む。
【0051】そして、S102に進み、画像からグルー
ピング用データ(画像距離データCzln[0~127])を作成
する。すなわち、CCDカメラ3からの画像を、図4に
示すように、左右128等分に区分し、これに対応した
配列Czlnを設定する。そして、区分毎に代表的な画素
ずれ数を求め、この画素ずれ数から立体物までの距離を
算出し、画像距離データCzln[0~127]として保存する。
例えば、Czln[3]は、区分番号3番の距離データを示
し、無効データの場合は999000とされる。
【0052】次いで、S103に進み、レーザ距離デー
タLzln[0~79]を作成する。すなわち、レーザービーム
の投光受光の所要時間から物体までの距離を計算し、ま
た、レーザビームを走査する方向から物体の二次元の位
置(全80区分)を計算してレーザ距離データLzln[0~
79]として保存する。例えば、Lzln[3]は、区分番号3
番の距離データを示し、無効データの場合は99900
0とされる。
【0053】その後、S104に進むと、図7のフロー
チャートに示す画像距離データとレーザ距離データとの
統合処理が実行される。
【0054】図7のフローチャートでは、まず、S20
1で、80区分のレーザ距離データLzln[0~79]を、1
28区分の画像距離データ座標に変換(レーザ距離デー
タlzrzln[0~127])することが行われる。このレーザ距
離データLzln[0~79]のレーザ距離データlzrzln[0~127]
への変換は、例えば、前記(1)式、(2)式により変
換される。
【0055】次いで、S202に進み、画像距離データ
Czln[0~127]はzln1[0~127]として、また、変換したレ
ーザ距離データlzrzln[0~127]はzln2[0~127]として保管
した後、S203に進む。
【0056】S203では、対象とする区分のレーザ距
離データlzrzln[fln]が有効か否か判定される。尚、以
下「fln」は、対象とするデータの区分を示し、後述の
S212に対応して0〜127の全128区分となって
いる。
【0057】このS203の判定の結果、レーザ距離デ
ータlzrzln[fln]が無効であれば、S204に進み、最
終的な距離データzln[fln]は、画像距離データCzln[fl
n]とする。すなわち、zln[fln]=Czln[fln]。
【0058】また、S203の判定の結果、レーザ距離
データlzrzln[fln]が有効であれば、S205に進み、
レーザ距離データlzrzln[fln]が遠方(20m以上)か
否か判定される。
【0059】そして、S205の判定の結果、レーザ距
離データlzrzln[fln]が遠方(20m以上)でなければ
S206に進み、レーザ距離データlzrzln[fln]が中間
距離(10m以上20m未満)か否か判定される。
【0060】S206の判定の結果、レーザ距離データ
lzrzln[fln]が中間距離(10m以上20m未満)でな
ければS207に進み、レーザ距離データlzrzln[fln]
が近距離(3m以上10m未満)か、或いは、レーザ距
離データlzrzln[fln]が極近距離(3m未満)か判定さ
れる。
【0061】上述のS205〜S207の判定におい
て、まず、S205でレーザ距離データlzrzln[fln]が
遠方(20m以上)と判定された場合は、S208に進
み、最終的な距離データzln[fln]は、遠方では比較的誤
差が小さいレーザ距離データlzrzln[fln]とする。すな
わち、zln[fln]=lzrzln[fln]。
【0062】また、上述のS205〜S207の判定に
おいて、S206で、レーザ距離データlzrzln[fln]が
中間距離(10m以上20m未満)と判定された場合
は、S209に進み、画像距離データCzln[fln]が有効
か否か判定され、画像距離データCzln[fln]が無効の場
合はS208に進み、最終的な距離データzln[fln]は、
レーザ距離データlzrzln[fln]とする。すなわち、zln[f
ln]=lzrzln[fln]。
【0063】また、S209で画像距離データCzln[fl
n]が有効である場合は、S210に進み、画像距離デー
タCzln[fln]とレーザ距離データlzrzln[fln]との差が
2.5m以内か否か判定し、2.5mより大きければS
208に進んで、最終的な距離データzln[fln]は、レー
ザ距離データlzrzln[fln]とする。すなわち、zln[fln]
=lzrzln[fln]。
【0064】また、S210で、画像距離データCzln
[fln]とレーザ距離データlzrzln[fln]との差が2.5m
以内の場合は、S211に進み、最終的な距離データzl
n[fln]は、レーザ距離データlzrzln[fln]と画像距離デ
ータCzln[fln]との平均値とする。すなわち、zln[fln]
=(lzrzln[fln]+Czln[fln])/2。
【0065】一方、上述のS205〜S207の判定に
おいて、S207で、レーザ距離データlzrzln[fln]が
近距離(3m以上10m未満)と判定された場合は、S
204に進み、最終的な距離データzln[fln]は、近距離
では比較的誤差の小さい画像距離データCzln[fln]とす
る。すなわち、zln[fln]=Czln[fln]。
【0066】また、S207で、レーザ距離データlzrz
ln[fln]が極近距離(3m未満)と判定された場合は、
S208に進み、最終的な距離データzln[fln]は、レー
ザ距離データlzrzln[fln]とする。すなわち、zln[fln]
=lzrzln[fln]。
【0067】こうして、S204、S208、或いは、
S211により最終的な距離データzln[fln]の設定を行
った後は、S212に進み、0〜127の全128区分
の対象とする区分のレーザ距離データlzrzln[fln]につ
いて、統合処理を完了したか否か判定し、完了していれ
ばルーチンを抜け、完了していないのであれば次の区分
について、上述のS203〜S211の処理を繰り返
す。
【0068】このように、本実施の形態の画像距離デー
タとレーザ距離データとの統合処理によれば、予め検出
した距離により誤差の少ないデータを優先して用いるよ
うにしているので、レーザレーダによる測距値と画像に
よる測距値との最適な統合を複雑な演算等することなく
素早く行って、前方の立体物データとして素早く出力す
ることが可能になっている。
【0069】上述のS104の画像距離データとレーザ
距離データとの統合処理を行った後は、S105に進
み、図8に示すグルーピングによる立体物の検出処理を
行う。
【0070】図8のフローチャートでは、まず、S30
1で、40m未満における特異点の削除を行う。すなわ
ち、立体物が複雑に混在し、手前の立体物の間から遠方
の立体物が見える状況等において、自車からほぼ等距離
の立体物の間にある遠方の立体物を特異点として削除す
る。図5に示すように、40m未満にある最終的な距離
データzln[fln]を基準点P0(z0,x0)として、以
下の条件を全て満たす点を等距離の点として定め、これ
ら2点の間にある遠方の点を特異点として削除する。
尚、削除される点の距離データには、無効データと同じ
く999000が代入される。こうして、40m未満に
ある最終的な距離データzln[fln]は、その距離データ
が、画像に基づくデータ、或いは、レーザレーダに基づ
くデータにかかわらず、特異点の削除が行われ、データ
処理の簡素化が図られている。
【0071】次いで、S302に進み、後述の図9に示
す40m以上における特異点の削除の処理を実行する。
【0072】次いで、S303に進み、前回検出された
コーナ状立体物のコーナ点を中心にサーベイエリアを設
け、今回検出された、S301とS302で特異点を削
除した最終的な距離データzln[0~127]を調べて、新たな
コーナ点の有無を検出する。
【0073】その後、S304に進んで、データのグル
ーピング処理、すなわち、閾値を定めて、その閾値内に
あるzln[fln]をグループ化し、このグループ化したデー
タの傾き等から側壁データの抽出を行い、グループ化さ
れたデータの分割と統合を行って、立体物ならびに側壁
を検出する。
【0074】上述のS302で実行される40m以上に
おける特異点の削除の処理は、図9のフローチャートで
示すように、まず、S401で対象とする区分の距離デ
ータzln[fls]は40m以上のデータで、且つ、この区分
のレーザ距離データlzrzln[fls]が有効であるか否か判
定される。尚、以下「fls」は、対象とするデータの区
分を示し、後述のS410に対応して0〜127の全1
28区分となっている。
【0075】そして、このS401での判定の結果、距
離データzln[fls]が40m未満、或いは、この区分のレ
ーザ距離データlzrzln[fls]が無効の少なくともどちら
かの場合はS410にジャンプして、0〜127の全1
28区分の対象とする区分の距離データzln[fls]につい
て、処理を完了したか否か判定し、完了していればルー
チンを抜け、完了していないのであれば次の区分につい
て、再びS401からの処理を行う。
【0076】S401での判定の結果、距離データzln
[fls]は40m以上のデータで、且つ、この区分のレー
ザ距離データlzrzln[fls]が有効であると判定した場合
はS402に進み、この区分のレーザ距離データlzrzln
[fls]を基準とするサーベイエリアの決定を行い、サー
ベイエリアのもう一方の端部の区分zln[fle]には、zln
[fls]から右方向に2m離れた位置に対応する区分が設
定される。
【0077】そして、S403に進み、zln[fls]からzl
n[fle]までの区分のサーベイエリアで、zln[fls]との距
離の差が0.5m以内(すなわち、|zln[fls]−zln[fl
n]|≦0.5m:「fln」は「fls」から「fle」までの
区分番号)で、且つ、そのレーザ距離データlzrzln[fl
n]が有効か否か判定される。
【0078】S403の判定の結果、上述の条件を満た
す場合は、S404に進み、その区分はzln[fls]と等距
離の同一立体物の区分と判定し、zln[fls]に対応する右
端の区分データzln[f0]として設定する。すなわち、f
0=fln。
【0079】そして、S404でzln[fls]に対応する右
端の区分データzln[f0]を設定した場合、或いは、S4
03で上述の条件を満たさないと判定された場合は、S
405に進み、「fls」から「fle」までの区分番号全て
に判定を完了したか否か判定し、判定を完了していなけ
れば再びS403に戻って、「fls」から「fle」までの
間で、次の区分についての判定を行なう。
【0080】こうして、S405で、「fls」から「fl
e」までの全区分についての判定が完了した場合、S4
06に進んで、zln[fls]に対応する右端の区分データzl
n[f0]が設定されたか否か判定される。この結果、右端
の区分データzln[f0]が設定されていない場合は、S4
10にジャンプし、0〜127の全128区分の対象と
する区分の距離データzln[fls]について、処理を完了し
たか否か判定し、完了していればルーチンを抜け、完了
していないのであれば次の区分について、再びS401
からの処理を行う。
【0081】また、S406でzln[fls]に対応する右端
の区分データzln[f0]が設定されたと判定された場合は
S407へと進む。S407では、「fls+1」から
「f0−1」までの区分(「fls」から「f0」までの
間の区分)のデータにおいて、距離データzln[fln]は、
zln[fls]+0.5mより遠方のデータで、且つ、そのレ
ーザ距離データlzrzln[fln]が無効か否か判定される。
【0082】そして、S407において、上述の条件を
満たす場合は、S408に進み、そのデータzln[fln]を
特異点として削除する。
【0083】S408で「fls」から「f0」までの間
の区分を特異点として削除し、或いは、S407で上述
の条件を満足しない場合はS409に進んで、「fls」
から「f0」までの間の区分の全てについて判定が完了
したか否か判定する。
【0084】そして、S409で、「fls」から「f
0」までの間の区分の全てについて判定が未だ完了して
いない場合は、「fls」から「f0」までの間の次の区
分についてS407からの判定を実行し、「fls」から
「f0」までの間の区分の全てについて判定が完了して
いる場合はS410に進み、0〜127の全128区分
の対象とする区分の距離データzln[fls]について、処理
を完了したか否か判定し、完了していればルーチンを抜
け、完了していないのであれば次の区分について、再び
S401からの処理を行う。
【0085】このように、本実施の形態によれば、40
m以上の距離データでは、先行車両をレーザレーダで距
離検出した場合、レーザレーダによる距離検出では、先
行車両のリフレクタを主に検出するため、この点に着目
し、レーザレーダによる距離データの間に存在する、不
要、或いは、誤差が大きいと判断できる、より遠方の画
像に基づく距離データを特異点として削除することによ
り、立体物の認識を精度良く速やかに行えるようにす
る。
【0086】上述の如く、S105で図8に示すグルー
ピングによる立体物の検出処理を行った後は、S106
に進み、図10に示す距離データの診断処理を行う。
【0087】図10のフローチャートでは、まず、S5
01で舵角が−10°〜10°で、車両が略直線路を走
行しているか否か判定され、舵角が−10°〜10°よ
り大きい場合は、診断処理は行わず、そのままルーチン
を抜ける。これは、画像による距離検出では、ガードレ
ールや側壁を認識することができるが、レーザレーダに
よる距離検出では、レーザビームが傾いて照射されるた
め反射せず立体物を認識しづらいため、診断処理の結果
が正確に得られない可能性があるためである。
【0088】S501の判定の結果、舵角が−10°〜
10°で、車両が略直線路を走行している場合は、S5
02へと進み、立体物の判定対象の総数n0、画像無し
立体物数n1、及び、レーザレーダ無し立体物数n2の
初期値を設定する。
【0089】そして、S503に進み、立体物が診断の
対象とする立体物であるか否か判定する。これは、レー
ザレーダと画像の視野が重なる部分の立体物であり、且
つ、距離40〜70m前方に存在する、幅50cm以上
の立体物であるか否かの判定で行う。
【0090】S503の判定の結果、上述の条件を満足
せず立体物が診断の対象とする立体物ではないと判定し
た場合はS510にジャンプし、その立体物は対象外と
決定する。
【0091】一方、S503の判定の結果、立体物が診
断の対象とする立体物である場合はS504へと進み、
立体物の判定対象の総数n0をカウントし(n0=n0
+1)、S505に進んで、立体物を形成するグルーピ
ングしたデータから、それに対応する画像距離データzl
n1(S202で保管したデータ)と、レーザ距離データ
zln2(S202で保管したデータ)を読み出す。
【0092】そして、S506に進み、その立体物に対
応する画像距離データzln1が有り、且つ、その立体物に
対応するレーザ距離データzln2が無いか判定し、この条
件を満たす場合はS507に進んで、レーザレーダ無し
立体物数n2をカウントする(n2=n2+1)。
【0093】また、S506での判定条件を満たさない
場合は、S508に進み、その立体物に対応する画像距
離データzln1が無く、且つ、その立体物に対応するレー
ザ距離データzln2が有るか否か判定し、この条件を満た
す場合はS509に進んで、画像無し立体物数n1をカ
ウントする(n1=n1+1)。
【0094】そして、S508の条件をも満足しない場
合、すなわち、その立体物に対応する画像距離データzl
n1もレーザ距離データzln2も無い場合、或いは、その立
体物に対応する画像距離データzln1もレーザ距離データ
zln2も有る場合はS510に進み、その立体物を診断対
象外とする。
【0095】S507、S509、或いは、S510の
処理を行った後は、S511に進み、全ての立体物につ
いて判定したか否か判定し、未だ全ての立体物に対して
判定を終了していない場合はS503へと戻り、上述の
処理を繰り返す。
【0096】全ての立体物について判定が終了している
場合は、S511からS512へと進み、対象とする立
体物の総数n0と画像無し立体物数n1とから画像の立
体物不検出率を演算し(=(n1/n0)・100
%)、レーザレーダの立体物不検出率を演算する(=
(n2/n0)・100%)。
【0097】次いで、S513に進み、画像の立体物不
検出率が、予め設定する検出率閾値k6以上であれば、
画像の能力判定タイマをインクリメントし、検出率閾値
k6未満であれば画像の能力判定タイマをデクリメント
する。同様に、レーザレーダの立体物不検出率が、予め
設定する検出率閾値k5以上であれば、レーザレーダの
能力判定タイマをインクリメントし、検出率閾値k5未
満であればレーザレーダの能力判定タイマをデクリメン
トする。
【0098】そして、S514に進み、画像の能力判定
タイマの値が予め設定した出力閾値k1を超えているか
判定し、出力閾値k1を超えている場合はS515に進
んで、画像による測距能力低下と判定して検出状態表示
ランプ8bを所定に点灯させる。また、S514で画像
の能力判定タイマの値が予め設定した解除閾値k2(<
k1)以下となっている際にはS515に進んで検出状
態表示ランプ8bの点灯を解除する。
【0099】また、S514に進むと、レーザレーダの
能力判定タイマの値が予め設定した出力閾値k3を超え
ているか判定し、出力閾値k3を超えている場合はS5
15に進んで、レーザレーダによる測距能力低下と判定
して検出状態表示ランプ8bを所定に点灯させる。ま
た、S514でレーザレーダの能力判定タイマの値が予
め設定した解除閾値k4(<k3)以下となっている際
にはS515に進んで検出状態表示ランプ8bの点灯を
解除する。
【0100】このように、本実施の形態によれば、最終
的に検出された立体物を対象として、これを検出する画
像とレーザレーダのそれぞれの距離データがあるか否か
で、画像とレーザレーダの測距能力の低下を判定するよ
うになっているので、画像とレーザレーダの測距能力の
低下を素早く正確に判定することが可能になっている。
尚、本実施の形態では、診断の対象とする立体物に対し
て、単に、画像距離データzln1、或いは、レーザ距離デ
ータzln2が存在するか否かで診断するようになっている
が、他の方法、例えば、診断の対象とする立体物と画像
距離データzln1との差と、診断の対象とする立体物とレ
ーザ距離データzln2との差を比較することでも簡単に診
断できる。
【0101】上述のS106の距離データ診断の処理を
行った後は、S107に進み、衝突・接触警報制御を行
う。すなわち、立体物検出処理部5dからの立体物情報
や車速センサ6からの車速V等を基に、自車線と隣接す
る左右の車線上に存在する他の自動車や障害物等を抽出
し、抽出した物体の位置と大きさ、位置の時間変化によ
る自車両1との相対速度等から、自車両1との衝突の可
能性や接触の可能性を判断し、その結果を必要に応じ
て、コンビネーションメータ8の衝突警報ランプ8aを
点灯させ警報を発する。
【0102】
【発明の効果】以上説明したように本発明によれば、画
像情報とレーザレーダ情報とを基に前方に存在する立体
物の認識を、不必要な処理を行うことなく素早く正確に
行うことが可能となる。
【図面の簡単な説明】
【図1】車外監視装置を備えた車両用運転支援装置の概
略構成図
【図2】車両用運転支援装置の機能ブロック図
【図3】CCDカメラによる距離データ検出とレーザレ
ーダによる距離データ検出の説明図
【図4】画像距離データの区分の説明図
【図5】削除する特異点の説明図
【図6】前方監視プログラムのフローチャート
【図7】画像距離データとレーザ距離データとの統合処
理ルーチンのフローチャート
【図8】グルーピングによる立体物検出処理ルーチンの
フローチャート
【図9】40m以上における特異点の削除処理ルーチン
のフローチャート
【図10】距離データ診断処理ルーチンのフローチャー
【符号の説明】
1 自車両 2 車両用運転支援装置 3 CCDカメラ 4 レーザ投光ユニット 5 コントローラ(車外監視装置) 5a 画像データ処理部(画像距離検出手段) 5b レーザ測距データ処理部(レーザ距離検出手段) 5c 距離データ統合部(立体物認識手段) 5d 立体物検出処理部(立体物認識手段) 5e 距離データ診断部 5f 警報制御部 8b 検出状態表示ランプ
フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G01S 17/93 G08G 1/16 C G08G 1/16 H04N 7/18 J H04N 7/18 B60R 11/02 C // B60R 11/02 11/04 11/04 G01S 17/88 A Fターム(参考) 2F112 AC03 AC06 BA05 BA06 CA05 FA03 FA45 3D020 BA04 BA20 BB01 BC02 BC04 BD05 BE03 5C054 AA05 CA04 CC03 CE12 CH01 EA01 FC15 FF06 HA30 5H180 AA01 CC03 CC04 CC14 LL00 LL01 LL04 LL08 5J084 AA02 AA05 AA10 AB01 AC02 AD01 AD05 BA03 BA11 BA34 BA49 CA65 CA67 DA01 DA07 EA05 EA22

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 車両前方の画像情報を基に前方に存在す
    る立体物と自車両との距離データを検出する画像距離検
    出手段と、 車両前方へのレーザレーダ情報を基に前方に存在する立
    体物と自車両との距離データを検出するレーザ距離検出
    手段と、 上記画像距離検出手段で検出した距離データと上記レー
    ザ距離検出手段で検出した距離データとに基づき、前方
    に存在する立体物を認識する立体物認識手段を備えた車
    外監視装置であって、 上記立体物認識手段は、上記画像距離検出手段で検出し
    た距離データと上記レーザ距離検出手段で検出した距離
    データとを統合し、水平方向に存在する上記レーザ距離
    検出手段で検出した2つの距離データが、予め設定した
    幅以内の値であり、且つ、距離値の差が予め設定した距
    離値以内の場合、上記2つの距離データの間に存在する
    該2つの距離データより所定以上遠方の上記画像距離検
    出手段で検出した距離データを無効として立体物の認識
    を行うことを特徴とする車外監視装置。
  2. 【請求項2】 上記立体物認識手段は、上記2つの距離
    データが予め設定した距離以上の距離データの際に、上
    記2つの距離データの間に存在する該2つの距離データ
    より所定以上遠方の上記画像距離検出手段で検出した距
    離データを無効として立体物の認識を行うことを特徴と
    する請求項1記載の車外監視装置。
  3. 【請求項3】 上記立体物認識手段は、上記統合した距
    離データが予め設定した距離未満の距離データの際に
    は、該距離データを基準とするサーベイエリアを予め設
    定し、上記サーベイエリアより遠方に存在する距離デー
    タは無効として立体物の認識を行うことを特徴とする請
    求項1又は請求項2記載の車外監視装置。
JP2001338094A 2001-11-02 2001-11-02 車外監視装置 Expired - Fee Related JP3880837B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2001338094A JP3880837B2 (ja) 2001-11-02 2001-11-02 車外監視装置
EP02024447A EP1308752A3 (en) 2001-11-02 2002-10-29 Monitoring system of the outside of a vehicle and method therefore
US10/285,504 US6823261B2 (en) 2001-11-02 2002-11-01 Monitor system of vehicle outside and the method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001338094A JP3880837B2 (ja) 2001-11-02 2001-11-02 車外監視装置

Publications (2)

Publication Number Publication Date
JP2003139858A true JP2003139858A (ja) 2003-05-14
JP3880837B2 JP3880837B2 (ja) 2007-02-14

Family

ID=19152636

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001338094A Expired - Fee Related JP3880837B2 (ja) 2001-11-02 2001-11-02 車外監視装置

Country Status (3)

Country Link
US (1) US6823261B2 (ja)
EP (1) EP1308752A3 (ja)
JP (1) JP3880837B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004347471A (ja) * 2003-05-22 2004-12-09 Fuji Heavy Ind Ltd 先行車両検出装置
WO2006123615A1 (ja) * 2005-05-19 2006-11-23 Olympus Corporation 距離計測装置、距離計測方法および距離計測プログラム
JP2009047498A (ja) * 2007-08-17 2009-03-05 Fujifilm Corp 立体撮像装置および立体撮像装置の制御方法並びにプログラム
JP2009047495A (ja) * 2007-08-17 2009-03-05 Fujifilm Corp 立体撮像装置および立体撮像装置の制御方法並びにプログラム
JP2009516157A (ja) * 2005-11-14 2009-04-16 ピルツ ゲーエムベーハー アンド コー.カーゲー 空間領域モニター装置および方法
JP2009243963A (ja) * 2008-03-28 2009-10-22 Toyota Motor Corp 物体検出装置
WO2009139364A1 (ja) * 2008-05-14 2009-11-19 株式会社日立製作所 車載用物体検知装置
JP2014145731A (ja) * 2013-01-30 2014-08-14 Toyota Motor Corp 物標検出装置及び物標検出方法
JP2021012133A (ja) * 2019-07-08 2021-02-04 株式会社リコー 測距装置、情報処理装置、測距方法、車載装置、移動体、測距システム

Families Citing this family (107)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5910854A (en) 1993-02-26 1999-06-08 Donnelly Corporation Electrochromic polymeric solid films, manufacturing electrochromic devices using such solid films, and processes for making such solid films and devices
US5877897A (en) 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
US6822563B2 (en) 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US5668663A (en) 1994-05-05 1997-09-16 Donnelly Corporation Electrochromic mirrors and devices
US6891563B2 (en) 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
US7655894B2 (en) 1996-03-25 2010-02-02 Donnelly Corporation Vehicular image sensing system
US8294975B2 (en) 1997-08-25 2012-10-23 Donnelly Corporation Automotive rearview mirror assembly
US6326613B1 (en) 1998-01-07 2001-12-04 Donnelly Corporation Vehicle interior mirror assembly adapted for containing a rain sensor
US6124886A (en) 1997-08-25 2000-09-26 Donnelly Corporation Modular rearview mirror assembly
US6172613B1 (en) 1998-02-18 2001-01-09 Donnelly Corporation Rearview mirror assembly incorporating vehicle information display
US8288711B2 (en) 1998-01-07 2012-10-16 Donnelly Corporation Interior rearview mirror system with forwardly-viewing camera and a control
US6445287B1 (en) 2000-02-28 2002-09-03 Donnelly Corporation Tire inflation assistance monitoring system
US6477464B2 (en) 2000-03-09 2002-11-05 Donnelly Corporation Complete mirror-based global-positioning system (GPS) navigation solution
US6693517B2 (en) 2000-04-21 2004-02-17 Donnelly Corporation Vehicle mirror assembly communicating wirelessly with vehicle accessories and occupants
US6329925B1 (en) 1999-11-24 2001-12-11 Donnelly Corporation Rearview mirror assembly with added feature modular display
WO2001064481A2 (en) 2000-03-02 2001-09-07 Donnelly Corporation Video mirror systems incorporating an accessory module
US7370983B2 (en) 2000-03-02 2008-05-13 Donnelly Corporation Interior mirror assembly with display
US7167796B2 (en) 2000-03-09 2007-01-23 Donnelly Corporation Vehicle navigation system for use with a telematics system
WO2007053710A2 (en) 2005-11-01 2007-05-10 Donnelly Corporation Interior rearview mirror with display
US7004593B2 (en) 2002-06-06 2006-02-28 Donnelly Corporation Interior rearview mirror system with compass
US7581859B2 (en) 2005-09-14 2009-09-01 Donnelly Corp. Display device for exterior rearview mirror
US7255451B2 (en) 2002-09-20 2007-08-14 Donnelly Corporation Electro-optic mirror cell
DE60220379T2 (de) 2001-01-23 2008-01-24 Donnelly Corp., Holland Verbessertes fahrzeugbeleuchtungssystem
JP2003121547A (ja) * 2001-10-18 2003-04-23 Fuji Heavy Ind Ltd 車外監視装置
US6918674B2 (en) 2002-05-03 2005-07-19 Donnelly Corporation Vehicle rearview mirror system
EP1504276B1 (en) 2002-05-03 2012-08-08 Donnelly Corporation Object detection system for vehicle
US7329013B2 (en) 2002-06-06 2008-02-12 Donnelly Corporation Interior rearview mirror system with compass
JP4176430B2 (ja) * 2002-09-18 2008-11-05 富士重工業株式会社 車外監視装置、及び、この車外監視装置を備えた走行制御装置
EP1543358A2 (en) 2002-09-20 2005-06-22 Donnelly Corporation Mirror reflective element assembly
US7310177B2 (en) 2002-09-20 2007-12-18 Donnelly Corporation Electro-optic reflective element assembly
JP3998601B2 (ja) * 2002-10-09 2007-10-31 富士通株式会社 パルスレーダ装置
JP3862015B2 (ja) * 2002-10-25 2006-12-27 オムロン株式会社 車載用レーダ装置
US7289037B2 (en) 2003-05-19 2007-10-30 Donnelly Corporation Mirror assembly for vehicle
JP2005025692A (ja) * 2003-07-04 2005-01-27 Suzuki Motor Corp 車両用情報提供装置
US7046190B2 (en) * 2003-07-25 2006-05-16 Raytheon Company Process for phase-derived range measurements
US20050024260A1 (en) * 2003-07-30 2005-02-03 Johnston Gary P. E-field monitor for broadband pulsed
US6906663B2 (en) * 2003-07-30 2005-06-14 The Boeing Company E-field monitor for pulsed signals
US6882302B1 (en) * 2003-09-22 2005-04-19 Rockwell Collins Enhanced adaptive weather thresholds for identification of hazards system and method
US7446924B2 (en) 2003-10-02 2008-11-04 Donnelly Corporation Mirror reflective element assembly including electronic component
US7038615B2 (en) * 2003-10-10 2006-05-02 Raytheon Company Efficient technique for estimating elevation angle when using a broad beam for search in a radar
US6977610B2 (en) * 2003-10-10 2005-12-20 Raytheon Company Multiple radar combining for increased range, radar sensitivity and angle accuracy
US7308341B2 (en) 2003-10-14 2007-12-11 Donnelly Corporation Vehicle communication system
JP4763250B2 (ja) * 2004-04-09 2011-08-31 株式会社デンソー 物体検出装置
US7526103B2 (en) 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
US7561720B2 (en) * 2004-04-30 2009-07-14 Visteon Global Technologies, Inc. Single camera system and method for range and lateral position measurement of a preceding vehicle
US7881496B2 (en) 2004-09-30 2011-02-01 Donnelly Corporation Vision system for vehicle
ES2429572T3 (es) 2004-12-01 2013-11-15 Zorg Industries (Hong Kong) Limited Sistema integrado de vehículos para la prevención de colisiones a baja velocidad
DE102005002636A1 (de) * 2005-01-12 2006-08-10 Valeo Schalter Und Sensoren Gmbh Verfahren und System zur Verarbeitung von Videodaten eines Kamerasystems
US7561721B2 (en) * 2005-02-02 2009-07-14 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
US7626749B2 (en) 2005-05-16 2009-12-01 Donnelly Corporation Vehicle mirror assembly with indicia at reflective element
US20070031008A1 (en) * 2005-08-02 2007-02-08 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
US7706978B2 (en) * 2005-09-02 2010-04-27 Delphi Technologies, Inc. Method for estimating unknown parameters for a vehicle object detection system
US7623681B2 (en) * 2005-12-07 2009-11-24 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
EP1991905B1 (en) 2006-03-09 2011-05-11 Gentex Corporation Vehicle rearview assembly including a high intensity display
US7972045B2 (en) 2006-08-11 2011-07-05 Donnelly Corporation Automatic headlamp control system
US20090005948A1 (en) * 2007-06-28 2009-01-01 Faroog Abdel-Kareem Ibrahim Low speed follow operation and control strategy
US8154418B2 (en) 2008-03-31 2012-04-10 Magna Mirrors Of America, Inc. Interior rearview mirror system
JP4557041B2 (ja) * 2008-04-18 2010-10-06 株式会社デンソー 車両用画像処理装置
US8755997B2 (en) * 2008-07-30 2014-06-17 Honeywell International Inc. Laser ranging process for road and obstacle detection in navigating an autonomous vehicle
US8452078B2 (en) * 2008-10-15 2013-05-28 Toyota Motor Engineering & Manufacturing North America System and method for object recognition and classification using a three-dimensional system with adaptive feature detectors
US9487144B2 (en) 2008-10-16 2016-11-08 Magna Mirrors Of America, Inc. Interior mirror assembly with display
US8364334B2 (en) * 2008-10-30 2013-01-29 Honeywell International Inc. System and method for navigating an autonomous vehicle using laser detection and ranging
US8044781B2 (en) * 2008-11-10 2011-10-25 Volkswagen Ag System and method for displaying a 3D vehicle surrounding with adjustable point of view including a distance sensor
US8687898B2 (en) * 2010-02-01 2014-04-01 Toyota Motor Engineering & Manufacturing North America System and method for object recognition based on three-dimensional adaptive feature detectors
DE102011010865A1 (de) * 2011-02-10 2012-03-08 Daimler Ag Fahrzeug mit einer Vorrichtung zur Erfassung einer Fahrzeugumgebung
JP2012183867A (ja) * 2011-03-03 2012-09-27 Fuji Heavy Ind Ltd 車両の運転支援装置
JP5580233B2 (ja) * 2011-03-22 2014-08-27 富士重工業株式会社 車外監視装置および車外監視方法
US8799201B2 (en) 2011-07-25 2014-08-05 Toyota Motor Engineering & Manufacturing North America, Inc. Method and system for tracking objects
US10457209B2 (en) 2012-02-22 2019-10-29 Magna Electronics Inc. Vehicle vision system with multi-paned view
US9319637B2 (en) 2012-03-27 2016-04-19 Magna Electronics Inc. Vehicle vision system with lens pollution detection
US8879139B2 (en) 2012-04-24 2014-11-04 Gentex Corporation Display mirror assembly
US9707896B2 (en) 2012-10-15 2017-07-18 Magna Electronics Inc. Vehicle camera lens dirt protection via air flow
US9445057B2 (en) 2013-02-20 2016-09-13 Magna Electronics Inc. Vehicle vision system with dirt detection
CN105074544A (zh) 2013-03-15 2015-11-18 金泰克斯公司 显示镜组件
JP6197388B2 (ja) * 2013-06-11 2017-09-20 富士通株式会社 距離測定装置、距離測定方法、およびプログラム
CN105555612B (zh) 2013-09-24 2018-06-01 金泰克斯公司 显示镜组件
US9835642B2 (en) * 2013-11-08 2017-12-05 The Johns Hopkins University High speed image processing device
US9511715B2 (en) 2014-01-31 2016-12-06 Gentex Corporation Backlighting assembly for display for reducing cross-hatching
US10705332B2 (en) 2014-03-21 2020-07-07 Gentex Corporation Tri-modal display mirror assembly
US9834146B2 (en) 2014-04-01 2017-12-05 Gentex Corporation Automatic display mirror assembly
WO2016044746A1 (en) 2014-09-19 2016-03-24 Gentex Corporation Rearview assembly
WO2016073848A1 (en) 2014-11-07 2016-05-12 Gentex Corporation Full display mirror actuator
WO2016077583A1 (en) 2014-11-13 2016-05-19 Gentex Corporation Rearview mirror system with a display
WO2016090126A2 (en) 2014-12-03 2016-06-09 Gentex Corporation Display mirror assembly
USD746744S1 (en) 2014-12-05 2016-01-05 Gentex Corporation Rearview device
US9744907B2 (en) 2014-12-29 2017-08-29 Gentex Corporation Vehicle vision system having adjustable displayed field of view
US9720278B2 (en) 2015-01-22 2017-08-01 Gentex Corporation Low cost optical film stack
US9995854B2 (en) 2015-04-20 2018-06-12 Gentex Corporation Rearview assembly with applique
EP3297870B1 (en) 2015-05-18 2020-02-05 Gentex Corporation Full display rearview device
KR102135427B1 (ko) 2015-06-22 2020-07-17 젠텍스 코포레이션 진폭-변조된 광의 깜박임을 보정하기 위해 스트리밍된 비디오 이미지를 처리하는 시스템 및 방법
CN104931956B (zh) * 2015-06-29 2017-04-05 中国船舶重工集团公司第七二四研究所 一种基于圆概率误差加权的多雷达分组协同定位处理方法
USD798207S1 (en) 2015-10-30 2017-09-26 Gentex Corporation Rearview mirror assembly
USD797627S1 (en) 2015-10-30 2017-09-19 Gentex Corporation Rearview mirror device
US9994156B2 (en) 2015-10-30 2018-06-12 Gentex Corporation Rearview device
EP3368374B1 (en) 2015-10-30 2023-12-27 Gentex Corporation Toggle paddle
USD800618S1 (en) 2015-11-02 2017-10-24 Gentex Corporation Toggle paddle for a rear view device
USD845851S1 (en) 2016-03-31 2019-04-16 Gentex Corporation Rearview device
USD817238S1 (en) 2016-04-29 2018-05-08 Gentex Corporation Rearview device
US10025138B2 (en) 2016-06-06 2018-07-17 Gentex Corporation Illuminating display with light gathering structure
CN106249251B (zh) * 2016-08-31 2019-08-30 深圳市速腾聚创科技有限公司 三维激光雷达系统
USD809984S1 (en) 2016-12-07 2018-02-13 Gentex Corporation Rearview assembly
USD854473S1 (en) 2016-12-16 2019-07-23 Gentex Corporation Rearview assembly
JP2020505802A (ja) 2016-12-30 2020-02-20 ジェンテックス コーポレイション オンデマンドスポッタービューを備えた全画面表示ミラー
WO2018170353A1 (en) 2017-03-17 2018-09-20 Gentex Corporation Dual display reverse camera system
DE102018122263B4 (de) * 2018-09-12 2021-03-18 Sick Ag Autonomes Fahrzeug
CN113496491B (zh) * 2020-03-19 2023-12-15 广州汽车集团股份有限公司 一种基于多线激光雷达的路面分割方法及装置
CN111694010B (zh) * 2020-05-27 2022-03-25 东南大学 一种基于视觉与激光雷达融合的路侧车辆识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06221815A (ja) * 1993-01-25 1994-08-12 Daihatsu Motor Co Ltd スキャンレーザレーダによる先行車両認識方法
JPH07129898A (ja) * 1993-11-05 1995-05-19 Toyota Central Res & Dev Lab Inc 障害物検出装置
JPH07318652A (ja) * 1994-05-26 1995-12-08 Nippondenso Co Ltd 車両用障害物認識装置
JP2000329852A (ja) * 1999-05-17 2000-11-30 Nissan Motor Co Ltd 障害物認識装置
JP2003121547A (ja) * 2001-10-18 2003-04-23 Fuji Heavy Ind Ltd 車外監視装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265547A (ja) * 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
JP3263699B2 (ja) * 1992-12-22 2002-03-04 三菱電機株式会社 走行環境監視装置
JP3212218B2 (ja) * 1994-05-26 2001-09-25 三菱電機株式会社 車両用障害物検出装置
JP3240835B2 (ja) * 1994-06-09 2001-12-25 株式会社日立製作所 車両用距離計測装置
JP3866328B2 (ja) * 1996-06-06 2007-01-10 富士重工業株式会社 車両周辺立体物認識装置
JP3805832B2 (ja) * 1996-07-10 2006-08-09 富士重工業株式会社 車両用運転支援装置
JP3866349B2 (ja) * 1996-12-27 2007-01-10 富士重工業株式会社 車両の衝突防止装置
JP3337197B2 (ja) * 1997-04-04 2002-10-21 富士重工業株式会社 車外監視装置
JP3880841B2 (ja) * 2001-11-15 2007-02-14 富士重工業株式会社 車外監視装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06221815A (ja) * 1993-01-25 1994-08-12 Daihatsu Motor Co Ltd スキャンレーザレーダによる先行車両認識方法
JPH07129898A (ja) * 1993-11-05 1995-05-19 Toyota Central Res & Dev Lab Inc 障害物検出装置
JPH07318652A (ja) * 1994-05-26 1995-12-08 Nippondenso Co Ltd 車両用障害物認識装置
JP2000329852A (ja) * 1999-05-17 2000-11-30 Nissan Motor Co Ltd 障害物認識装置
JP2003121547A (ja) * 2001-10-18 2003-04-23 Fuji Heavy Ind Ltd 車外監視装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004347471A (ja) * 2003-05-22 2004-12-09 Fuji Heavy Ind Ltd 先行車両検出装置
WO2006123615A1 (ja) * 2005-05-19 2006-11-23 Olympus Corporation 距離計測装置、距離計測方法および距離計測プログラム
JP2009516157A (ja) * 2005-11-14 2009-04-16 ピルツ ゲーエムベーハー アンド コー.カーゲー 空間領域モニター装置および方法
US8224032B2 (en) 2005-11-14 2012-07-17 Pilz Gmbh & Co. Kg Apparatus and method for monitoring a spatial area, in particular for safeguarding a hazardous area of an automatically operated installation
JP2009047498A (ja) * 2007-08-17 2009-03-05 Fujifilm Corp 立体撮像装置および立体撮像装置の制御方法並びにプログラム
JP2009047495A (ja) * 2007-08-17 2009-03-05 Fujifilm Corp 立体撮像装置および立体撮像装置の制御方法並びにプログラム
JP2009243963A (ja) * 2008-03-28 2009-10-22 Toyota Motor Corp 物体検出装置
WO2009139364A1 (ja) * 2008-05-14 2009-11-19 株式会社日立製作所 車載用物体検知装置
JP2009276200A (ja) * 2008-05-14 2009-11-26 Hitachi Ltd 車載用物体検知装置
JP2014145731A (ja) * 2013-01-30 2014-08-14 Toyota Motor Corp 物標検出装置及び物標検出方法
JP2021012133A (ja) * 2019-07-08 2021-02-04 株式会社リコー 測距装置、情報処理装置、測距方法、車載装置、移動体、測距システム
JP7298350B2 (ja) 2019-07-08 2023-06-27 株式会社リコー 測距装置、情報処理装置、測距方法、車載装置、移動体、測距システム

Also Published As

Publication number Publication date
US20030088361A1 (en) 2003-05-08
EP1308752A2 (en) 2003-05-07
US6823261B2 (en) 2004-11-23
EP1308752A3 (en) 2003-11-26
JP3880837B2 (ja) 2007-02-14

Similar Documents

Publication Publication Date Title
JP2003139858A (ja) 車外監視装置
JP2003121547A (ja) 車外監視装置
JP3880841B2 (ja) 車外監視装置
JP3349060B2 (ja) 車外監視装置
JP2646146B2 (ja) 車間距離制御装置
US6888447B2 (en) Obstacle detection device for vehicle and method thereof
JP3645177B2 (ja) 車両周辺監視装置
US20150292891A1 (en) Vehicle position estimation system
US20120239269A1 (en) Method for recognizing a turn-off maneuver
JP2010003254A (ja) 画像処理装置
JPH1069598A (ja) 車両の衝突防止装置
JP2006047057A (ja) 車外監視装置、及び、この車外監視装置を備えた走行制御装置
JP3822417B2 (ja) 車両周辺監視装置
JP3070277B2 (ja) 先行車両検出装置
JP6414539B2 (ja) 物体検出装置
JP4703963B2 (ja) 車外監視装置、及び、この車外監視装置を備えた走行制御装置
JP4376147B2 (ja) 障害物認識方法及び障害物認識装置
JPH05113482A (ja) 車載用追突防止装置
JP2007240316A (ja) 車載測距装置
US11914679B2 (en) Multispectral object-detection with thermal imaging
JP7298492B2 (ja) 車両用処理装置
WO2022102371A1 (ja) 物体検出装置、物体検出方法
JP4036159B2 (ja) 車両用相対速度演算装置
JP7401273B2 (ja) 移動体の制御装置及び方法
CN117970340A (zh) 障碍物确定方法、装置及车辆

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041101

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060403

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061108

R150 Certificate of patent or registration of utility model

Ref document number: 3880837

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091117

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101117

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111117

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121117

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121117

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131117

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees