JP2004271404A - Obstacle detector for vehicle - Google Patents

Obstacle detector for vehicle Download PDF

Info

Publication number
JP2004271404A
JP2004271404A JP2003064134A JP2003064134A JP2004271404A JP 2004271404 A JP2004271404 A JP 2004271404A JP 2003064134 A JP2003064134 A JP 2003064134A JP 2003064134 A JP2003064134 A JP 2003064134A JP 2004271404 A JP2004271404 A JP 2004271404A
Authority
JP
Japan
Prior art keywords
intensity
vehicle
reflection waveform
time
dirt
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003064134A
Other languages
Japanese (ja)
Other versions
JP4033005B2 (en
Inventor
Seiji Takeda
誠司 武田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2003064134A priority Critical patent/JP4033005B2/en
Publication of JP2004271404A publication Critical patent/JP2004271404A/en
Application granted granted Critical
Publication of JP4033005B2 publication Critical patent/JP4033005B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To detect fouling of a window cover by simple constitution. <P>SOLUTION: A laser beam is emitted from a radar part 16 to be reflected by a road face R, an area of a reflection waveform observed therein in the radar part 16 is calculated as an actual reflection waveform area, a waveform of the reflected beam from the road face when the fouling is not deposited on the projection window cover of the radar part 16 is estimated thereafter, and an ideal reflection waveform area of the estimated waveform is estimated in addition thereto. The deposition of the fouling on the projection window cover is detected when a value of the actual reflection waveform area exceeds a value of the ideal reflection waveform area by a prescribed value. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は、車両周囲の障害物の検出を行う車両用障害物検出装置に関する。
【0002】
【従来の技術】
【特許文献1】特開2001−318146号公報
従来、窓カバーを通してレーザ光を出射し、障害物等で反射したレーザ光を受光し、出射から受光までの時間等によって、障害物を検出する車両用障害物検出装置が知られている。このような車両用障害物検出装置においては、窓カバーに異物が付着すると障害物の検出精度が低下する。よって窓カバーに付着した異物を検出するため、たとえば窓カバーに光を照射する汚れ検出用の発光素子と、汚れ検出用の発光素子から照射した光のうち窓カバーによって反射した反射光を受光する受光素子とを備え、この受光素子によって受光した光量の変化を検出することによって異物を検出するものがある。さらに他の例として、汚れ検出用の発光素子から出射した光を一旦窓カバー内部から外部に通過させ、窓カバー内部から外部へ出射した光を再び窓カバー内部へ向けて反射させて、窓カバー外部から内部へ反射された光を受光素子にて受光し、受光素子にて受光する光量の変化によって異物を検出するものがある。このような車両用障害物検出装置として、たとえば特開2001−318146号記載のようなものがある。
【0003】
【発明が解決しようとする課題】
このような上記従来の車両用障害物検出装置のうち、前者の装置にあっては、たとえば窓カバーに水分を含んだ泥のような黒い汚れが付着した場合には、窓カバーからの反射光量が減少し、窓カバーに乾いた泥のような白い汚れが付着した場合には、窓カバーからの反射光量が増加するため、窓カバーからの反射光量だけでは正確に窓カバーの汚れを検出することが難しかった。
【0004】
さらに後者の装置にあっては、一旦窓カバー内部から外部に発光素子から光を出射し、窓カバー外部へ出射した光を再び窓カバー内部へ反射させている。この窓カバー外部から内部へ反射された光を用いて汚れの検出を行うため、白い汚れであっても黒い汚れであっても異物を検出することができるが、汚れ検出用の発光素子および受光素子を備えなければならず、コストアップの要因となるといった問題があった。
【0005】
そこで本発明はこのような問題点に鑑み、簡素な構成で窓カバーの汚れを検出することができる車両用障害物検出装置を提供することを目的とする。
【0006】
【課題を解決するための手段】
本発明は、少なくとも路面を含む所定の範囲に、窓カバーを介してレーザ光を出射するとともに、反射光を受光して障害物を検出する車両用障害物検出装置において、少なくとも車両のピッチング角を求める車両姿勢検出手段と、該車両姿勢検出手段によって検出されたピッチング角にもとづいて、路面からの反射光の強度と時間との関係を理想反射波形として推定する理想反射波形推定手段と、実際の路面からの反射光の強度と時間との関係を実反射波形として検出する実反射波形検出手段と、窓カバーの汚れを検出する汚れ検出手段とを備え、該汚れ検出手段は、理想反射波形と実反射波形とにもとづいて、窓カバーの汚れを検出するものとした。
【0007】
【発明の効果】
本発明によれば、理想反射波形推定手段によって車両のピッチング角にもとづく理想反射波形を推定し、実反射波形検出手段によって検出された実反射波形と、理想反射波形とにもとづいて窓カバーの汚れを検出する。これにより、汚れの種類に関係なく窓カバーの汚れの検出を、簡素な構成でより精度よく行うことができる。
【0008】
【発明の実施の形態】
次に本発明の実施の形態を実施例により説明する。
まず本発明における第一の実施例について説明する。
図1は、本発明における車両用障害物検出装置を車両に搭載した際の概略構成を示す図である。
車両前方の路面画像を取得する画像取得部101と、車両前方の立体物の検出を行うレーダ部16とが車両12に設置される。
画像取得部101は車両12からの熱や風雨の影響を受けない室内天井12aの前方中央部に、前方下方を指向して取り付けられ、フロントガラス12bを通して車両12前方の路面Rの画像を取得するようになっている。画像取得部101としては、高感度撮影が可能なCCD、またはCMOSカメラなどが好ましい。
【0009】
レーダ部16は車両12の前部に取り付けられ、先行車両にレーザ光を照射し、反射波が帰ってくるまでの時間より先行車両との車間距離を検出する。画像取得部101およびレーダ部16は、画像処理等を行う画像処理部14と接続されている。
さらに画像処理部14には、車両12の乗員に情報の提示を行う表示部214が接続されている。
【0010】
図2を用いて、画像処理部の詳細について説明する。
画像処理部14は、画像取得部101で取得した画像信号を記憶する画像メモリ102と、画像メモリ102に記憶された画像信号(以下、単に画像という)から各種の処理を行うプロセッサ103とを備えている。
画像取得部101において取得した画像は、一旦画像メモリ102に格納され、プロセッサ103により画像取得部101で取得した路面Rの画像から道路白線を検出して路面状態、およびこの道路に対する車両挙動を推定し、画像処理情報として出力する。この出力された画像処理情報はレーダ部16において利用され、さらに他の例として自動操舵装置や操舵アシスト装置等において利用される。
【0011】
プロセッサ103は、白線検出部104、車両進行方向推定部105、車両挙動推定部106および路面状態判定部107によって構成されている。
白線検出部104は、画像メモリ102に記憶された図3に示す画像Aから、同一面上を平行に走る2本のラインを検出するものである。また、同一面上に平行に走る2本のラインに限らず画像の特徴パターンについても認識する。
【0012】
白線検出部104は、たとえば画像の濃淡エッジから画像中の特徴パターンの位置を認識するもの、あるいは画像と任意の記憶している特徴パターンとを照合して認識するもの等を用いる。
白線検出部104は、認識した平行する2本のラインが道路上の車線境界線であるレーンマーク(白線)の場合、図3に示すような2本のラインL1、L2の画像A内における座標値を取得する。
【0013】
車両進行方向推定部105は、白線検出部104から得られた情報をもとに、検出された白線に対する自車両の向きを含む走行路曲率を推定する。図4に示すように、画像取得部101によって取得された画像Aにおいて画像上の左上の角を原点とし、横方向をX軸、縦方向をY軸とする。画像A内の車線境界線に対応する2本のラインL1、L2と、X軸方向に伸びてY=aによって表される直線Laとの交点を交点a1、a2とし、さらにラインL1、L2と、X軸方向に伸びてY=bによって表される直線Lbとの交点を交点b1、b2とする。
【0014】
交点a1、a2の幅を幅Xa、交点b1、b2の幅を幅Xbとして、幅Xa、Xbを2等分する中心線L12を算出する。画像取得部101は車両12の前後方向に平行に備えられているので、中心線L12とY軸との傾きが一定値以内であれば車両が直線路を車線に平行に走行していることとなる。この傾きは道路曲率がついている場合も傾いて見え、また、白線に対して車両が傾いて走行している場合も傾いて見える。この結果を画像処理部14は画像処理情報の一部として出力する。
【0015】
車両挙動推定部106は、白線検出部104において得られた情報をもとに、検出された白線を用いて路面Rに対する車両12のピッチング量を算出し、その算出結果を画像処理情報の一部として出力する。このピッチング量の算出には、たとえば特開2002−163641号に記載された方法を用いることができる。これは、車両の静止状態における一対の白線間隔を記憶しておき、記憶された白線間隔と、ピッチング時の白線間隔にもとづいて車両のピッチング量を算出するものである。
【0016】
たとえばピッチングセンターを中心に車両12の前部が持ち上がった場合は、ハの字形状に見えていた白線間隔の差がY軸原点方向に開いたように見え、その逆に車両前部が下がった場合は白線間隔の差がY軸原点方向に閉じたように見える。このように白線間隔の変化量よりピッチング量を検出することができる。
【0017】
路面状態判定部107は、白線検出部104から得られた情報をもとに、白線で囲まれた評価エリア内の画像評価を行い、たとえば路面の修復跡や車間距離確認用のマーキングがあるかどうかの判断を行う。
図5に示すように、白線検出部104が認識した画像A内において、車線境界線に対応する2本のラインL1、L2と、あらかじめ指定している特定エリアCとによって囲まれる評価エリアBに対して路面の評価が行われる。ここで特定エリアCは、レーダ部16が路面を走査する範囲を含むように設定する。
【0018】
また特定エリアCを設定する際に、特定エリアCを画像取得部101によって取得された画像A内の所定位置に固定してもよい。この場合は、車両挙動により路面を走査する距離が変化するので、その変化範囲を含む形で設定してもよい。また車両挙動推定部106により求められた車両のピッチング量より推定される路面走査範囲より、特定エリアCの範囲を変化させて設定してもよい。
評価エリアB内部の画像の評価方法としては、評価エリアB内のエッジ量をソベルフィルタなどを用いて算出し、その正負のエッジ量のそれぞれの合計や、エッジ量の2乗の合計などが一定値以下の場合に均一な路面と推定するなどの方法がある。
路面状態判定部107によって判定された路面状態についても、画像処理情報の一部として出力する。
【0019】
図6にレーダ部の詳細を示す。
レーダ部16のケース213に、投光窓221と受光窓222が設けられ、投光窓221には投光窓カバー201が取り付けられ、受光窓222には受光窓カバー202が取り付けられている。またレーダ部16の内部に赤外線波長域のレーザ発光素子(LD)206とレーザ発光素子206から送出されたレーザ光が先行車等に反射されて、レーダ部16に戻ってくるレーザ反射光を受光する受光素子(PD)205、レーザ発光素子206を駆動する駆動回路208、受光素子205からの微小な受光信号を増幅する増幅回路207、レーザ発光素子206から送出されるレーザ光を所定角度範囲に水平方向にn本のビーム、垂直方向にm本のビームとして走査するために上下左右に回転する反射ミラー203を所定の角度分解能(n本×m本)で回転させるためのステッピングモータ204、このステッピングモータ204を駆動するモータ駆動回路209を備える。
【0020】
またこれらの増幅回路207、駆動回路208およびモータ駆動回路209を制御するCPU210を備える。
CPU210は、増幅回路207や駆動回路208を操作することによってレーザ発光素子206からレーザ光を送出して、受光素子205によって受光される受光信号の強度を時間分解して記録し、前方車両と自車両との距離や相対速度を計算する。さらにこれらの計算結果と図示しない車速センサから入力される車速信号、および画像処理部14から得られた路面状態さらに車両挙動を画像処理情報から得て、車速信号から計算される自車速から先行車との急接近を判断して、急接近していると判断された場合には、自車両と先行車との距離データ等を含む警報信号を出力情報の一部として出力する。
【0021】
CPU210から出力される出力情報は表示部214や図示しない車両の制御部へ送信され、表示部214では車間距離や投光窓カバー201や受光窓カバー202の汚れの状態をインジケータで表示したり、警報をアラームで出力したりする。また制御部では、車両の加減速を行う際の処理に用いる。
【0022】
なお、受光窓カバー202には受光レンズが組み込まれており、このレンズで集光された光が受光素子205に入力される。また、図示していないが、レーザ発光素子206の前方には投光レンズが設けられており、レーザ発光素子206から送出されるレーザ光は所定の角度に広がったものである。
【0023】
また、レーザ発光素子206から送出されたレーザ光は、反射ミラー203にて所定の方向に屈折させたのち、再び投光窓カバー201に組み込まれた投光レンズにより所定の角度に細められているものとする。上記所定の角度は走査させたいエリア広さ、要求分解能、モータ性能、装置要求サイズ等の設計要因により決められるものである。この構造により、投光窓カバー201から投光されるレーザ光は一定の面積をもち、レーダ部16は汚れおよび雨に強い太いレーザ光を用いて車両前方を走査することが可能となる。
ただし、このレーザ光の強度分布はレーザダイオードの構造上図7の(a)に示すように、レーザ光が送出される範囲の中心部分がもっとも強度が強く、中心から離れるほど強度が弱くなる。図7の(b)は、図7の(a)のA−A断面におけるレーザ光の強度分布であり、中心部がもっとも強度が強い。
【0024】
車両前方を走査するレーザ光は、路面からの反射光を利用するために意図的に路面に向けて送出される。路面に照射されたレーザ光は路面を完全散乱面と仮定すると、観測されるレーザ光の強度はLambertの余弦則より、
I=Kd×Ii×cosα (1)
となる。ここでIは路面からの反射光の強さ、Kdは散乱反射率、Iiは路面への入射光の強さ、αは路面に対する法線と入射レーザ光のなす角(以下、入射角とする)である。
完全散乱面とは反射光を見た場合、どの方向から見ても輝度の等しい表面を言う、路面の表面はこの完全散乱面に近いものであるとする。
【0025】
図8のように車両12から最も手前で反射されるレーザ光の入射角をα1、最も遠方で反射されるレーザ光の入射角をα2とすると、レーザ光は一定の角度で広がって路面に入射するのでα1<α2である。よって、手前(車両に近い路面)で反射されるレーザ光の強度Ilと、遠方(車両から遠い路面)で反射されるレーザ光の強度I2とを比較すると、cosα1>cosα2となるのでKd×Iiが同じ場合、Il>I2となる。
また当然に、車両から近い路面に当たったレーザ光は早く受光窓カバー202に到達し、車両から遠方の路面に当たったレーザ光は遅く受光窓カバー202に到達する。
【0026】
Iiは図7のような分布になっているので、式(1)に代入すると、観測される路面からの反射光の強度と時間の関係は図9のようになる。
ここで式(1)におけるcosαは、レーザ光の路面への入射角αが車両から遠方へ行くに従って減少するので、路面Rに入射したレーザ光の強度が最大となる中心部からの反射が、必ずしも反射光の強度最大の地点と一致しているわけではなく、図9に示すように、観測される反射光のピークは、レーザ光の強度が最大となる中心部からの反射光を受光した時刻t’よりも前(図中左側)に発生する。
【0027】
路面にレーザ光が入射する角度αは車両挙動に依存しており、図10のように車両前部が持ち上がるようにピッチングした場合は、レーザ光はより遠くへ届き、また路面に照射される面積も広くなるので、路面からの反射光Eは図11に破線で示すように、ピッチング角が通常時における路面からの反射光F(実線)に比べて強度方向につぶれて時間方向に長くなる。逆に車両前部が下を向くようにピッチングした場合、路面からの反射光Gは図11に一点鎖線で示すように強度が高くなり反射波形の時間が短くなる。よって車両挙動が推定できると、路面からの反射光の波形を推定することができる。
【0028】
次に図12に示すように、汚れ10が投光窓カバー201上部に付着した場合を考える。この場合、遠方に届くレーザ光Lが減少するが、レーザ光Lの光束の中心部付近はほとんど汚れていないので反射光の強度観測をしても最大強度への影響は出にくい。よって投光窓カバー201の上部が汚れている場合に観測されるレーザ光の路面からの反射波形Hは図13に一点鎖線で示すように、最大値を迎えたあと減衰していく部分の落ち込みが、汚れが付着していないときに観測される路面からの反射波形Jと比べて急峻になる。逆に図12に示す汚れ20のように汚れが投光窓カバー201の下部に付着した場合は、路面からの反射波形Iは図13に破線で示すように、主に最大値を迎える部分以前の立ち上がりの部分が急峻になる。
このように路面反射波形と汚れの関係を考慮すると、路面反射波形の評価をして汚れを検知する場合、強度だけを用いて判断するよりも反射波形の面積を用いて汚れを判断するほうがより敏感に汚れを検出することが可能となる。
【0029】
以下に、反射波形の面積を用いて汚れを判断する場合について説明する。
路面から反射した反射波形面積の算出は、一定周期ごとに増幅回路207から出力される強度を積分することによって求める。このとき、車両挙動より予測される路面反射光が帰ってくることが期待される時間幅でのみ積分するようにすれば余計なノイズなどを含まなくなるので、より精度の高い反射波形の面積を算出することができる。
【0030】
路面反射光が帰ってくることが期待される時間とは、レーザ広がり角および車両ピッチング量より、レーダ部16から送出した所定の範囲で広がっているレーザ光の一番下端の部分が路面に反射して帰ってくる時間から、一番上端のレーザ光が反射して帰ってくるまで時間のことを言う。実際には、この時間にシステム誤差や遅れを見込み積分する時間を決定する。
【0031】
続いて、図14のフローチャートを用いて、レーダ16内のCPU210で行われる処理の流れを示す。なお本処理は、レーダ部16の起動時から所定時間(例えば100msec)ごとに繰り返し行われる。
ステップ301においてCPU210は、画像処理部14から出力された画像処理情報を用いて、車両12が直線路を走行中であり、かつ直進をしているかどうかの判断を行う。車両12が直線路を走行中でありかつ直進を行っている場合はステップ302へ進み、直線路を走行中でありかつ直進を行っていない場合は、投光窓カバー201の汚れを検出するための条件が整っていないと判断して処理を終了する。
【0032】
ステップ302において、画像処理情報を用いて路面反射が得られるエリアの路面が均一かどうか判定する。路面が均一でない場合は処理を終了する。
路面が均一である場合はステップ303において、画像処理情報内の車両挙動から、路面からの反射光の波形を推定し、さらにこの推定された路面反射光の波形の面積(以降、理想反射波形面積Zとする)を推定する。
次にステップ304において、受光素子205によって受信したレーザ光の実際の路面反射波形を観測し、ステップ305において、ステップ304にて観測された路面反射波形から、実際の反射波形の面積(以降、実反射波形面積W)を算出する。
【0033】
ステップ306において、ステップ303で推定した理想反射波形面積Zと、ステップ305で算出した実反射波形面積Wとの比較を行う。
この比較によって、理想反射波形面積Zから実反射波形面積Wを引いた値が、所定の割合α以内であるかどうかを判断する。理想反射波形面積Zから実反射波形面積Wを引いた値が、所定の割合α以内でない場合には、ステップ308において異常判定を行い、投光窓カバー201や受光窓カバー202に汚れが付着しているものとして、CPU210から異常を示す出力情報を出力する。
【0034】
一方ステップ306において、理想反射波形面積Zから実反射波形面積Wを引いた値が、所定の割合α以内である場合には、ステップ307において正常判定を行い、投光窓カバー201や受光窓カバー202に汚れが付着していないものとして、CPU210から正常を示す出力情報を出力する。なおステップ306における所定の割合αの値は実験によって求めるものである。
【0035】
表示部214は、出力情報の信号を受信し、インジケータ等を表示させることによって投光窓カバー201や受光窓カバー202に汚れが付着しているかどうかをドライバに知らせる。これにより車両のドライバは、投光窓カバー201や受光窓カバー202に汚れが付着していることを認識し、掃除等を行うことによりレーダ部16の正常機能を確保することができる。
なお本実施例において、投光窓カバー201および受光窓カバー202が本発明における窓カバーを構成する。また本実施例における車両挙動推定部106が本発明における車両姿勢検出手段を構成し、ステップ303が本発明における理想反射波形推定手段を構成する。またステップ304が本発明における実反射波形検出手段を構成し、ステップ306が本発明における汚れ検出手段を構成する。さらに画像取得部101が本発明における撮像手段を構成し、白線検出部104が本発明における車線境界線検出手段を構成する。また車両進行方向推定部105が本発明における直線検出手段を構成し、路面状態判定部107が本発明における路面状態検出手段を構成する。
【0036】
本実施例は以上のように構成され、画像処理情報内の車両挙動から、路面からの反射光の波形を推定し、この推定された波形の理想反射波形面積Zを推定する。さらに実際に観測された路面反射波形から、実反射波形面積Wを算出する。理想反射波形面積Zから実反射波形面積Wを引いた値が、所定の割合α以内でない場合に、投光窓カバー201や受光窓カバー202に汚れが付着しているものとして検出する。このように実反射波形面積と理想反射波形面積とを比較して投光窓カバー201や受光窓カバー202の汚れを検出することにより、より精度よく汚れの検出を行うことができる。また、前方の障害物の検出を行うレーダ部16のレーザ発光素子206を用いて、投光窓カバー201や受光窓カバー202の汚れの検出を行うことができるので、他の汚れ検出専用の発光素子等を備える必要がなく、簡素な構成で汚れの検出を行うことができる。
【0037】
さらに実際に観測された路面反射波形から、実反射波形面積を算出する際に、車両挙動より予測される路面反射光が帰ってくることが期待される時間幅のみについて時間積分を行う。これにより、余計なノイズ等を積分してしまうことがなくなり、より精度よく実反射波形面積を算出することができる。
【0038】
また車両のピッチング角を、たとえば自動操舵装置や操舵アシスト装置等で利用されている画像取得部で撮像された画像から検出した車線境界線(白線)を用いて算出することにより、ピッチング角を検出するための専用のセンサ等を用いる必要がなくなり、簡素な構成とすることができる。
車両が直線路を車線境界線に平行に走行していない場合は、車線境界線を正確に検出することができず、ピッチング角を正確に算出することができない可能性がある。よってこのような場合に、窓カバーとしての投光窓カバー201や受光窓カバー202の汚れ検出を行わないこととしたので、汚れ検出の精度を向上させることができる。
【0039】
また、路面が均一でない場合には適切な路面反射光を得ることができないので、路面が均一な場合にのみ汚れの検出を行うことにより、汚れ検出の精度を向上させることができる。
なお本実施例において、画像取得部101は車両前方を撮像するものとしたが、車両の後方を撮像するものであっても車両姿勢の検出は可能である。
【0040】
次に、本発明の第二の実施例について説明する。
なお第二の実施例は、上記第一の実施例におけるレーダ部16の処理内容を変更したものであり、他の構成および動作については第一の実施例と同じであり説明を省略する。
図15に、レーダ16内のCPU210で行われる処理の流れを示す。
ステップ401からステップ406については、第一の実施例における図14のステップ301からステップ306と同じであり説明を省略する。
ステップ406において、ステップ403で推定した理想反射波形面積Zと、ステップ405で算出した実反射波形面積Wとの比較を行う。
ステップ406において、理想反射波形面積Zから実反射波形面積Wを引いた値が、所定の割合α以内である場合には、ステップ407において正常判定を行い、投光窓カバー201や受光窓カバー202に汚れが付着していないものとして、CPU210から正常を示す出力情報を出力する。
【0041】
一方、理想反射波形面積Zから実反射波形面積Wを引いた値が、所定の割合α以内でない場合には、ステップ408において異常判定を行い、ステップ409において投光窓カバー201の汚れ部位の判定処理を行う。この汚れ部位の判定処理は、前回汚れの検出処理を行った際に汚れが付着していないものとして観測された反射波形と、ステップ408において異常と判定された反射波形とを比較するものである。
【0042】
図16の観測された反射波形に示すように、反射波の強度があらかじめ設定された判定強度となった時点から反射波の強度が最大となる時点までの時間をt1とし、反射波の強度が最大となる時点から、反射波の強度が減少して判定強度となる時点までの時間をt2とする。
【0043】
投光窓カバー201の下部が汚れているときは、図13に示すように正常時の反射波形と比べてt1の時間が短縮される、逆に上部が汚れている場合には、t2の時間が短縮される。このように、t1およびt2を用いて投光窓カバー201の上部が汚れているか、下部が汚れているかを判定することができる。なお、あらかじめ設定される判定強度は、反射波の最大強度から一定の割合以下となる強度を設定する。またt1およびt2を用いて判定を行う際の厳密な時間の判定基準は、実験によって求める。
【0044】
ステップ409において、投光窓カバー201の下部が汚れていると判定されると、ステップ410において、CPU210から投光窓カバー201の下部が汚れていることを示す出力情報を出力する。一方、ステップ409において投光窓カバー201の上部が汚れていると判定されると、ステップ411においてCPU210から投光窓カバー201の上部が汚れていることを示す出力情報を出力する。
表示部214は出力情報の信号を受信し、インジケータ等を表示させることによって、投光窓カバー201のどの部位に汚れが付着しているかを知らせる。車両のドライバはインジケータ等を見ることによって、投光窓カバー201のどの部位に汚れが付着しているかを認識することができる。
なお本実施例において、投光窓カバー201が本発明における窓カバーを構成する。
【0045】
本実施例は以上のように構成され、観測された反射波の強度があらかじめ設定された判定強度となった時点から反射波の強度が最大となる時点までの時間t1と、反射波の強度が最大となる時点から反射波の強度が減少して判定強度となる時点までの時間t2とを用い、t1およびt2と前回観測された投光窓カバー201に汚れが付着していないときの反射波形におけるt1およびt2とを比較することにより、投光窓カバー201の下部に汚れが付着している場合にはt1が短くなり、投光窓カバー201の上部に汚れが付着している場合にはt2が短くなる。このようにt1およびt2を用いることにより、容易に投光窓カバー201(窓カバー)の汚れの付着部位を検出することができる。
【0046】
なお上記各実施例において、レーダ部16をレーザ光を走査させる走査型レーザレーダとしたが、これに限定されず、所定の路面の範囲にレーザ光を照射する光軸固定式のレーザレーダであってもよい。
【図面の簡単な説明】
【図1】本発明における第一の実施例を示す図である。
【図2】画像処理部の構成を示す図である。
【図3】画像取得部によって撮像された画像中の車線境界線を示す図である。
【図4】画像取得部によって撮像された画像から車両方向を検出する要領を示す図である。
【図5】路面が均一であるかどうかを判断する評価エリアを示す図である。
【図6】レーダ部の構成を示す図である。
【図7】レーザ光の強度分布を示す図である。
【図8】レーザ光を路面に照射する際の照射範囲を示す図である。
【図9】観測される反射光を示す図である。
【図10】車両がピッチングした場合におけるレーザ光の照射範囲を示す図である。
【図11】車両がピッチングした場合に観測される反射光を示す図である。
【図12】投光窓カバーに汚れが付着した様子を示す図である。
【図13】投光窓カバーに汚れが付着した場合に観測される反射光を示す図である。
【図14】第一の実施例においてレーダ部で行われる汚れ検出処理の流れを示す図である。
【図15】第二の実施例においてレーダ部で行われる汚れ検出処理の流れを示す図である。
【図16】投光窓カバーの上部汚れまたは下部汚れの判断基準を示す図である。
【符号の説明】
1 車両用障害物検出装置
10、20 汚れ
12 車両
14 画像処理部
16 レーダ部
101 画像取得部
102 画像メモリ
103 プロセッサ
104 白線検出部
105 車両進行方向推定部
106 車両挙動推定部
107 路面状態判定部
201 投光窓カバー
202 受光窓カバー
203 反射ミラー
204 ステッピングモータ
205 受光素子
206 レーザ発光素子
210 CPU
B 評価エリアB
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a vehicle obstacle detection device that detects an obstacle around a vehicle.
[0002]
[Prior art]
[Patent Document 1] JP-A-2001-318146
2. Description of the Related Art Conventionally, there has been known an obstacle detecting device for a vehicle that emits laser light through a window cover, receives laser light reflected by an obstacle or the like, and detects an obstacle based on a time from emission to light reception. In such an obstacle detecting device for a vehicle, when foreign matter adheres to the window cover, the accuracy of detecting the obstacle is reduced. Therefore, in order to detect a foreign substance attached to the window cover, for example, a light emitting element for detecting dirt that irradiates light to the window cover and a light reflected by the window cover out of light emitted from the light emitting element for detecting dirt are received. There is a device that includes a light receiving element and detects a foreign substance by detecting a change in the amount of light received by the light receiving element. As still another example, the light emitted from the dirt detection light-emitting element is once passed from the inside of the window cover to the outside, and the light emitted from the inside of the window cover to the outside is reflected again toward the inside of the window cover, and the window cover is There is a type in which light reflected from the outside to the inside is received by a light receiving element, and a foreign substance is detected by a change in the amount of light received by the light receiving element. An example of such an obstacle detecting device for a vehicle is disclosed in Japanese Patent Application Laid-Open No. 2001-318146.
[0003]
[Problems to be solved by the invention]
Among the above-mentioned conventional obstacle detecting devices for vehicles, in the former device, for example, when black dirt such as mud containing water adheres to the window cover, the amount of light reflected from the window cover The amount of light reflected from the window cover increases when white dirt such as dry mud adheres to the window cover, and the dirt on the window cover can be accurately detected using only the amount of light reflected from the window cover. It was difficult.
[0004]
Further, in the latter device, light is once emitted from the light emitting element to the outside from the inside of the window cover, and the light emitted to the outside of the window cover is reflected again inside the window cover. Since dirt is detected using light reflected from the outside to the inside of the window cover, foreign matter can be detected regardless of whether the stain is white or black. There is a problem that the device must be provided, which causes an increase in cost.
[0005]
Accordingly, an object of the present invention is to provide a vehicle obstacle detection device capable of detecting dirt on a window cover with a simple configuration in view of such a problem.
[0006]
[Means for Solving the Problems]
The present invention provides an obstacle detection device for a vehicle that emits a laser beam through a window cover to a predetermined range including at least a road surface and receives reflected light to detect an obstacle. A vehicle attitude detecting means to be obtained; an ideal reflection waveform estimating means for estimating a relationship between the intensity of light reflected from the road surface and time as an ideal reflection waveform based on the pitching angle detected by the vehicle attitude detecting means; Real reflection waveform detection means for detecting the relationship between the intensity of the light reflected from the road surface and time as a real reflection waveform, and dirt detection means for detecting dirt on the window cover, the dirt detection means having an ideal reflection waveform and The stain on the window cover is detected based on the actual reflection waveform.
[0007]
【The invention's effect】
According to the present invention, the ideal reflection waveform estimating means estimates the ideal reflection waveform based on the pitching angle of the vehicle, and based on the actual reflection waveform detected by the actual reflection waveform detection means and the ideal reflection waveform, the window cover becomes dirty. Is detected. This makes it possible to more accurately detect the stain on the window cover with a simple configuration regardless of the kind of stain.
[0008]
BEST MODE FOR CARRYING OUT THE INVENTION
Next, embodiments of the present invention will be described with reference to examples.
First, a first embodiment of the present invention will be described.
FIG. 1 is a diagram showing a schematic configuration when the vehicle obstacle detection device according to the present invention is mounted on a vehicle.
An image acquisition unit 101 that acquires a road surface image ahead of the vehicle and a radar unit 16 that detects a three-dimensional object ahead of the vehicle are installed in the vehicle 12.
The image acquisition unit 101 is attached to the front center of the indoor ceiling 12a, which is not affected by heat or wind and rain from the vehicle 12, facing downward and forward, and acquires an image of the road surface R ahead of the vehicle 12 through the windshield 12b. It has become. As the image acquisition unit 101, a CCD or a CMOS camera capable of high-sensitivity imaging is preferable.
[0009]
The radar unit 16 is attached to the front of the vehicle 12, irradiates the preceding vehicle with laser light, and detects the inter-vehicle distance from the preceding vehicle based on the time until the reflected wave returns. The image acquisition unit 101 and the radar unit 16 are connected to an image processing unit 14 that performs image processing and the like.
Further, a display unit 214 for presenting information to the occupant of the vehicle 12 is connected to the image processing unit 14.
[0010]
The details of the image processing unit will be described with reference to FIG.
The image processing unit 14 includes an image memory 102 that stores the image signal acquired by the image acquisition unit 101, and a processor 103 that performs various processes from the image signal (hereinafter, simply referred to as an image) stored in the image memory 102. ing.
The image acquired by the image acquisition unit 101 is temporarily stored in the image memory 102, and the processor 103 detects a road white line from the image of the road surface R acquired by the image acquisition unit 101 to estimate a road surface state and a vehicle behavior with respect to the road. Then, it is output as image processing information. The output image processing information is used in the radar unit 16, and is used in an automatic steering device, a steering assist device, and the like as another example.
[0011]
The processor 103 includes a white line detection unit 104, a vehicle traveling direction estimation unit 105, a vehicle behavior estimation unit 106, and a road surface state determination unit 107.
The white line detection unit 104 detects two lines running in parallel on the same plane from the image A shown in FIG. 3 stored in the image memory 102. In addition, it recognizes not only two lines running in parallel on the same plane but also a feature pattern of an image.
[0012]
The white line detection unit 104 uses, for example, a unit that recognizes the position of a characteristic pattern in an image from the light and dark edges of the image, or a unit that recognizes an image by comparing it with an arbitrary stored characteristic pattern.
When the recognized two parallel lines are lane marks (white lines) that are lane boundaries on the road, the white line detection unit 104 determines the coordinates of the two lines L1 and L2 in the image A as illustrated in FIG. Get the value.
[0013]
The vehicle traveling direction estimating unit 105 estimates the travel road curvature including the direction of the own vehicle with respect to the detected white line based on the information obtained from the white line detecting unit 104. As shown in FIG. 4, in the image A acquired by the image acquisition unit 101, the upper left corner on the image is set as the origin, the horizontal direction is set as the X axis, and the vertical direction is set as the Y axis. Intersections between two lines L1 and L2 corresponding to lane boundaries in the image A and a straight line La extending in the X-axis direction and represented by Y = a are defined as intersections a1 and a2. , The intersections with the straight line Lb extending in the X-axis direction and represented by Y = b are defined as intersections b1 and b2.
[0014]
With the width of the intersections a1 and a2 as the width Xa and the width of the intersections b1 and b2 as the width Xb, a center line L12 that bisects the widths Xa and Xb is calculated. Since the image acquisition unit 101 is provided parallel to the front-rear direction of the vehicle 12, if the inclination between the center line L12 and the Y axis is within a certain value, the vehicle is traveling on a straight road parallel to the lane. Become. This inclination appears to be inclined even when the road has a curvature, and also appears to be inclined when the vehicle is traveling with an inclination to the white line. The image processing unit 14 outputs the result as a part of the image processing information.
[0015]
The vehicle behavior estimation unit 106 calculates the amount of pitching of the vehicle 12 with respect to the road surface R using the detected white line based on the information obtained by the white line detection unit 104, and uses the calculation result as a part of the image processing information. Is output as For the calculation of the pitching amount, for example, a method described in JP-A-2002-163641 can be used. In this method, a pair of white line intervals in a stationary state of a vehicle is stored, and the pitching amount of the vehicle is calculated based on the stored white line interval and the white line interval at the time of pitching.
[0016]
For example, when the front part of the vehicle 12 is lifted around the pitching center, the difference between the white line intervals that appeared in the shape of a square appears to be open toward the origin of the Y axis, and conversely, the front part of the vehicle has been lowered. In this case, it appears that the difference between the white line intervals is closed in the direction of the Y-axis origin. Thus, the pitching amount can be detected from the variation amount of the white line interval.
[0017]
The road surface state determination unit 107 performs image evaluation in the evaluation area surrounded by the white line based on the information obtained from the white line detection unit 104, for example, whether there is a repair mark on the road surface or a marking for confirming the distance between vehicles. Make a decision.
As shown in FIG. 5, in the image A recognized by the white line detection unit 104, an evaluation area B surrounded by two lines L1 and L2 corresponding to the lane boundary line and a specific area C specified in advance. The road surface is evaluated. Here, the specific area C is set so as to include a range in which the radar unit 16 scans the road surface.
[0018]
When the specific area C is set, the specific area C may be fixed to a predetermined position in the image A acquired by the image acquisition unit 101. In this case, since the distance for scanning the road surface changes depending on the behavior of the vehicle, the distance may be set to include the change range. Further, the range of the specific area C may be changed from the road surface scanning range estimated from the pitching amount of the vehicle obtained by the vehicle behavior estimation unit 106 and set.
As an evaluation method of the image inside the evaluation area B, the edge amount in the evaluation area B is calculated using a Sobel filter or the like, and the total of the positive and negative edge amounts and the total of the square of the edge amount are constant. If the value is equal to or less than the value, there is a method of estimating a uniform road surface.
The road surface state determined by the road surface state determination unit 107 is also output as a part of the image processing information.
[0019]
FIG. 6 shows details of the radar unit.
A light projecting window 221 and a light receiving window 222 are provided in a case 213 of the radar unit 16, a light projecting window cover 201 is attached to the light projecting window 221, and a light receiving window cover 202 is attached to the light receiving window 222. The laser light emitting element (LD) 206 in the infrared wavelength range and the laser light transmitted from the laser light emitting element 206 are reflected by a preceding vehicle or the like inside the radar unit 16 and receive the laser reflected light returning to the radar unit 16. Light receiving element (PD) 205, a driving circuit 208 for driving the laser light emitting element 206, an amplifying circuit 207 for amplifying a minute light receiving signal from the light receiving element 205, and a laser beam transmitted from the laser light emitting element 206 within a predetermined angle range. A stepping motor 204 for rotating a reflecting mirror 203 rotating up, down, left, and right at a predetermined angular resolution (n × m) in order to scan as n beams in the horizontal direction and m beams in the vertical direction. A motor drive circuit 209 for driving the stepping motor 204 is provided.
[0020]
Further, a CPU 210 for controlling the amplifying circuit 207, the driving circuit 208, and the motor driving circuit 209 is provided.
The CPU 210 emits laser light from the laser light emitting element 206 by operating the amplifier circuit 207 and the driving circuit 208, records the time-resolved intensity of the light receiving signal received by the light receiving element 205, and Calculate the distance to the vehicle and the relative speed. Further, these calculation results, a vehicle speed signal input from a vehicle speed sensor (not shown), the road surface state obtained from the image processing unit 14 and the vehicle behavior are obtained from the image processing information, and the preceding vehicle is calculated from the own vehicle speed calculated from the vehicle speed signal. When it is determined that the vehicle is suddenly approaching, an alarm signal including distance data between the host vehicle and the preceding vehicle is output as a part of the output information.
[0021]
Output information output from the CPU 210 is transmitted to the display unit 214 or a control unit of a vehicle (not shown), and the display unit 214 displays an inter-vehicle distance and a dirt state of the light emitting window cover 201 and the light receiving window cover 202 with an indicator, Outputs an alarm with an alarm. Further, the control unit uses the processing for accelerating and decelerating the vehicle.
[0022]
Note that a light receiving lens is incorporated in the light receiving window cover 202, and light collected by this lens is input to the light receiving element 205. Although not shown, a light projection lens is provided in front of the laser light emitting element 206, and the laser light emitted from the laser light emitting element 206 spreads at a predetermined angle.
[0023]
The laser light emitted from the laser light emitting element 206 is refracted in a predetermined direction by the reflection mirror 203, and is then narrowed again to a predetermined angle by the light emitting lens incorporated in the light emitting window cover 201. Shall be. The predetermined angle is determined by design factors such as the area to be scanned, required resolution, motor performance, and required size of the apparatus. With this structure, the laser light emitted from the light emission window cover 201 has a certain area, and the radar section 16 can scan the front of the vehicle using a thick laser light resistant to dirt and rain.
However, due to the structure of the laser diode, as shown in FIG. 7A, the intensity distribution of the laser light has the highest intensity at the center of the range where the laser light is transmitted, and the intensity decreases as the distance from the center increases. FIG. 7B shows the intensity distribution of the laser light in the AA section of FIG. 7A, where the intensity is the strongest at the center.
[0024]
The laser beam that scans the front of the vehicle is intentionally transmitted toward the road surface in order to use the reflected light from the road surface. Assuming that the road surface is a perfectly scattered surface, the intensity of the observed laser beam is calculated from Lambert's cosine law.
I = Kd × Ii × cosα (1)
It becomes. Here, I is the intensity of the reflected light from the road surface, Kd is the scattered reflectance, Ii is the intensity of the incident light on the road surface, and α is the angle between the normal to the road surface and the incident laser light (hereinafter referred to as the incident angle) ).
The perfect scattering surface refers to a surface having the same brightness when viewed from any direction when the reflected light is viewed. It is assumed that the road surface is close to the perfect scattering surface.
[0025]
As shown in FIG. 8, when the incident angle of the laser beam reflected from the vehicle 12 at the foreground is α1, and the incident angle of the laser beam reflected at the farthest is α2, the laser beam spreads at a certain angle and enters the road surface. Therefore, α1 <α2. Therefore, comparing the intensity I1 of the laser light reflected on the near side (road surface close to the vehicle) with the intensity I2 of the laser light reflected on the distant position (road surface far from the vehicle), cosα1> cosα2, and Kd × Ii. Are the same, Il> I2.
Naturally, the laser light hitting the road surface near the vehicle reaches the light receiving window cover 202 earlier, and the laser light hitting the road surface far from the vehicle reaches the light receiving window cover 202 later.
[0026]
Since Ii has a distribution as shown in FIG. 7, when it is substituted into Expression (1), the relationship between the intensity of reflected light from the observed road surface and time is as shown in FIG.
Here, cos α in equation (1) is such that the angle of incidence α of the laser light on the road surface decreases as the distance from the vehicle increases, so that the reflection from the center where the intensity of the laser light incident on the road surface R becomes maximum is: It does not necessarily coincide with the point where the intensity of the reflected light is maximum, and as shown in FIG. 9, the peak of the observed reflected light has received the reflected light from the central portion where the intensity of the laser light is maximum. It occurs before time t '(left side in the figure).
[0027]
The angle α at which the laser beam is incident on the road surface depends on the behavior of the vehicle. When the vehicle is pitched so that the front portion of the vehicle is lifted up as shown in FIG. 10, the laser beam reaches farther and the area irradiated on the road surface. Therefore, the pitching angle of the reflected light E from the road surface becomes longer in the time direction, as shown by the broken line in FIG. 11, as the pitching angle collapses in the intensity direction as compared with the reflected light F (solid line) from the road surface in the normal state. Conversely, when pitching is performed so that the front portion of the vehicle faces downward, the intensity of the reflected light G from the road surface is increased as indicated by the dashed line in FIG. 11, and the time of the reflected waveform is shortened. Therefore, when the vehicle behavior can be estimated, the waveform of the reflected light from the road surface can be estimated.
[0028]
Next, as shown in FIG. 12, consider a case where the dirt 10 adheres to the upper part of the light emitting window cover 201. In this case, the amount of the laser light L that reaches a distant place decreases, but the vicinity of the central portion of the light beam of the laser light L is hardly contaminated, so that even if the intensity of the reflected light is observed, it hardly affects the maximum intensity. Therefore, the reflected waveform H of the laser beam from the road surface observed when the upper part of the light-emitting window cover 201 is dirty, as shown by the one-dot chain line in FIG. Is steeper than the reflection waveform J from the road surface observed when no dirt is attached. Conversely, when dirt adheres to the lower part of the light emitting window cover 201 like dirt 20 shown in FIG. 12, the reflection waveform I from the road surface is mainly before the part reaching the maximum value as shown by the broken line in FIG. Rises sharply.
Considering the relationship between the road surface reflection waveform and dirt, when detecting road surface reflection waveforms and detecting dirt, it is better to judge dirt using the area of the reflection waveform than to judge using only intensity. Dirt can be detected sensitively.
[0029]
Hereinafter, a case in which contamination is determined using the area of the reflected waveform will be described.
The area of the reflected waveform reflected from the road surface is calculated by integrating the intensity output from the amplifier circuit 207 at regular intervals. At this time, if the road surface reflected light predicted from the vehicle behavior is integrated only in the time width expected to return, unnecessary noises and the like are not included, so the area of the reflected waveform with higher accuracy is calculated. can do.
[0030]
The time at which the road surface reflected light is expected to return is based on the laser divergence angle and the vehicle pitching amount, and the lowermost portion of the laser light, which is spread from the radar unit 16 within a predetermined range, is reflected on the road surface. It means the time from the time when the laser beam comes back to the time when the laser beam at the top end is reflected and returned. In practice, a time for integrating the system error and delay is determined.
[0031]
Subsequently, the flow of processing performed by the CPU 210 in the radar 16 will be described with reference to the flowchart of FIG. This process is repeatedly performed at predetermined time intervals (for example, 100 msec) from the time when the radar unit 16 is activated.
In step 301, the CPU 210 determines whether or not the vehicle 12 is traveling on a straight road and traveling straight, using the image processing information output from the image processing unit 14. If the vehicle 12 is traveling on a straight road and is traveling straight, the process proceeds to step 302. If the vehicle 12 is traveling on a straight road and is not traveling straight, the dirt on the light emitting window cover 201 is detected. It is determined that the condition is not satisfied, and the process ends.
[0032]
In step 302, it is determined whether the road surface in the area where the road surface reflection is obtained is uniform using the image processing information. If the road surface is not uniform, the process ends.
If the road surface is uniform, in step 303, the waveform of the reflected light from the road surface is estimated from the vehicle behavior in the image processing information, and the area of the estimated road reflected light waveform (hereinafter referred to as the ideal reflected waveform area) Z).
Next, in step 304, the actual road reflection waveform of the laser beam received by the light receiving element 205 is observed, and in step 305, the area of the actual reflection waveform (hereinafter, “real”) is calculated from the road reflection waveform observed in step 304. The reflection waveform area W) is calculated.
[0033]
In step 306, the ideal reflection waveform area Z estimated in step 303 is compared with the actual reflection waveform area W calculated in step 305.
By this comparison, it is determined whether or not a value obtained by subtracting the actual reflection waveform area W from the ideal reflection waveform area Z is within a predetermined ratio α. If the value obtained by subtracting the actual reflection waveform area W from the ideal reflection waveform area Z is not within the predetermined ratio α, an abnormality is determined in step 308, and the light emission window cover 201 and the light reception window cover 202 are contaminated. The CPU 210 outputs output information indicating an abnormality.
[0034]
On the other hand, in step 306, if the value obtained by subtracting the actual reflection waveform area W from the ideal reflection waveform area Z is within a predetermined ratio α, normality is determined in step 307, and the light emission window cover 201 and the light reception window cover are determined. Assuming that dirt is not attached to 202, output information indicating normality is output from CPU 210. Note that the value of the predetermined ratio α in step 306 is obtained by an experiment.
[0035]
The display unit 214 receives the output information signal and displays an indicator or the like to notify the driver whether or not dirt is attached to the light emitting window cover 201 and the light receiving window cover 202. This allows the driver of the vehicle to recognize that dirt has adhered to the light emitting window cover 201 and the light receiving window cover 202, and perform cleaning or the like to ensure the normal function of the radar unit 16.
In this embodiment, the light emitting window cover 201 and the light receiving window cover 202 constitute the window cover in the present invention. Further, the vehicle behavior estimating unit 106 in this embodiment constitutes a vehicle attitude detecting unit in the present invention, and step 303 constitutes an ideal reflection waveform estimating unit in the present invention. Step 304 constitutes the actual reflection waveform detecting means of the present invention, and step 306 constitutes the dirt detecting means of the present invention. Further, the image acquiring unit 101 constitutes an image pickup unit in the present invention, and the white line detecting unit 104 constitutes a lane boundary line detecting unit in the present invention. Further, the vehicle traveling direction estimating unit 105 constitutes a straight line detecting unit in the present invention, and the road surface state determining unit 107 constitutes a road surface state detecting unit in the present invention.
[0036]
This embodiment is configured as described above, and estimates the waveform of the reflected light from the road surface from the vehicle behavior in the image processing information, and estimates the ideal reflected waveform area Z of the estimated waveform. Further, the actual reflection waveform area W is calculated from the actually observed road surface reflection waveform. If the value obtained by subtracting the actual reflection waveform area W from the ideal reflection waveform area Z is not within the predetermined ratio α, it is detected that the light transmitting window cover 201 and the light receiving window cover 202 are dirty. As described above, by comparing the actual reflection waveform area with the ideal reflection waveform area and detecting the dirt on the light emitting window cover 201 and the light receiving window cover 202, the dirt can be detected with higher accuracy. Further, since the dirt on the light emitting window cover 201 and the light receiving window cover 202 can be detected by using the laser light emitting element 206 of the radar unit 16 which detects an obstacle in front, the light emission dedicated to other dirt detection can be performed. There is no need to provide an element or the like, and dirt can be detected with a simple configuration.
[0037]
Further, when calculating the actual reflected waveform area from the actually observed road reflected waveform, time integration is performed only for the time width in which the road reflected light predicted from the vehicle behavior is expected to return. As a result, unnecessary noise and the like are not integrated, and the actual reflected waveform area can be calculated more accurately.
[0038]
Further, the pitching angle of the vehicle is calculated by using a lane boundary (white line) detected from an image captured by an image acquisition unit used in an automatic steering device or a steering assist device, for example. It is not necessary to use a dedicated sensor or the like for performing the operation, and the configuration can be simplified.
If the vehicle is not traveling on a straight road parallel to the lane boundary, the lane boundary may not be detected accurately, and the pitching angle may not be calculated accurately. Accordingly, in such a case, since the light emission window cover 201 and the light reception window cover 202 serving as the window covers are not detected for dirt, the accuracy of the dirt detection can be improved.
[0039]
In addition, if the road surface is not uniform, it is not possible to obtain appropriate road surface reflected light. Therefore, by detecting dirt only when the road surface is uniform, the accuracy of dirt detection can be improved.
In the present embodiment, the image acquisition unit 101 captures an image of the front of the vehicle. However, even if it captures an image of the rear of the vehicle, it is possible to detect the vehicle attitude.
[0040]
Next, a second embodiment of the present invention will be described.
In the second embodiment, the processing content of the radar unit 16 in the first embodiment is changed, and the other configuration and operation are the same as those in the first embodiment, and the description is omitted.
FIG. 15 shows a flow of processing performed by the CPU 210 in the radar 16.
Steps 401 to 406 are the same as steps 301 to 306 in FIG. 14 in the first embodiment, and a description thereof will be omitted.
In step 406, the ideal reflection waveform area Z estimated in step 403 is compared with the actual reflection waveform area W calculated in step 405.
In step 406, if the value obtained by subtracting the actual reflection waveform area W from the ideal reflection waveform area Z is within a predetermined ratio α, normality is determined in step 407, and the light emitting window cover 201 and the light receiving window cover 202 are determined. The CPU 210 outputs output information indicating normality, assuming that there is no dirt on the CPU.
[0041]
On the other hand, if the value obtained by subtracting the actual reflection waveform area W from the ideal reflection waveform area Z is not within the predetermined ratio α, an abnormality determination is made in step 408, and in step 409, a determination of a stained portion of the light emitting window cover 201 is made. Perform processing. The stain portion determination process compares the reflection waveform observed as having no stain when the stain detection process was performed last time with the reflection waveform determined to be abnormal in step 408. .
[0042]
As shown in the observed reflected waveform of FIG. 16, the time from the time when the intensity of the reflected wave reaches a predetermined determination intensity to the time when the intensity of the reflected wave becomes maximum is t1, and the intensity of the reflected wave is t1. The time from the maximum point to the point in time at which the intensity of the reflected wave decreases and reaches the determination intensity is defined as t2.
[0043]
When the lower part of the light emitting window cover 201 is dirty, the time of t1 is shortened as compared with the reflection waveform in the normal state, as shown in FIG. Is shortened. Thus, it is possible to determine whether the upper part of the light emitting window cover 201 is dirty or the lower part is dirty using t1 and t2. In addition, the intensity | strength set as the predetermined intensity | strength below a fixed ratio from the maximum intensity | strength of a reflected wave is set. The strict criterion for determining the exact time when performing the determination using t1 and t2 is determined by experiment.
[0044]
If it is determined in step 409 that the lower part of the light emitting window cover 201 is dirty, in step 410, the CPU 210 outputs output information indicating that the lower part of the light emitting window cover 201 is dirty. On the other hand, if it is determined in step 409 that the upper part of the light emitting window cover 201 is dirty, in step 411, the CPU 210 outputs output information indicating that the upper part of the light emitting window cover 201 is dirty.
The display unit 214 receives the signal of the output information, and displays an indicator or the like to notify which part of the light emitting window cover 201 is stained. By looking at the indicator or the like, the driver of the vehicle can recognize which portion of the light emitting window cover 201 is stained.
In this embodiment, the light projecting window cover 201 constitutes the window cover in the present invention.
[0045]
The present embodiment is configured as described above, and the time t1 from the time when the intensity of the observed reflected wave reaches a predetermined determination intensity to the time when the intensity of the reflected wave becomes maximum, and the intensity of the reflected wave is Using the time t2 from the maximum time to the time when the intensity of the reflected wave decreases to reach the determination intensity, t1 and t2 and the reflection waveform when the light emission window cover 201 observed last time is free from dirt are observed. By comparing t1 and t2 in the above, t1 is shortened when dirt adheres to the lower part of the light emitting window cover 201, and when dirt adheres to the upper part of the light emitting window cover 201, t2 becomes shorter. By using t1 and t2 in this way, the spot on the light emitting window cover 201 (window cover) to which dirt adheres can be easily detected.
[0046]
In each of the above-described embodiments, the radar unit 16 is a scanning laser radar that scans a laser beam. However, the present invention is not limited to this, and a fixed optical axis type laser radar that irradiates a predetermined road surface with a laser beam is used. You may.
[Brief description of the drawings]
FIG. 1 is a diagram showing a first embodiment of the present invention.
FIG. 2 is a diagram illustrating a configuration of an image processing unit.
FIG. 3 is a diagram illustrating lane boundaries in an image captured by an image acquisition unit.
FIG. 4 is a diagram illustrating a procedure for detecting a vehicle direction from an image captured by an image acquisition unit.
FIG. 5 is a diagram showing an evaluation area for determining whether a road surface is uniform.
FIG. 6 is a diagram illustrating a configuration of a radar unit.
FIG. 7 is a diagram showing an intensity distribution of a laser beam.
FIG. 8 is a diagram showing an irradiation range when irradiating a road surface with laser light.
FIG. 9 is a view showing reflected light observed.
FIG. 10 is a diagram showing an irradiation range of laser light when the vehicle is pitched.
FIG. 11 is a diagram showing reflected light observed when the vehicle is pitched.
FIG. 12 is a view showing a state in which dirt adheres to the light emitting window cover.
FIG. 13 is a diagram showing reflected light observed when dirt adheres to the light emitting window cover.
FIG. 14 is a diagram illustrating a flow of a dirt detection process performed by the radar unit in the first embodiment.
FIG. 15 is a diagram illustrating a flow of a dirt detection process performed by the radar unit in the second embodiment.
FIG. 16 is a diagram showing a criterion for judging upper dirt or lower dirt of the light emitting window cover.
[Explanation of symbols]
1 Vehicle obstacle detection device
10, 20 dirt
12 vehicles
14 Image processing unit
16 Radar section
101 Image acquisition unit
102 Image memory
103 processor
104 White line detector
105 Vehicle traveling direction estimation unit
106 Vehicle behavior estimation unit
107 Road surface condition determination unit
201 floodlight window cover
202 Light receiving window cover
203 reflection mirror
204 stepping motor
205 light receiving element
206 laser light emitting device
210 CPU
B Evaluation area B

Claims (12)

少なくとも路面を含む所定の範囲に、窓カバーを介してレーザ光を出射するとともに、反射光を受光して障害物を検出する車両用障害物検出装置において、
少なくとも車両のピッチング角を求める車両姿勢検出手段と、
該車両姿勢検出手段によって検出されたピッチング角にもとづいて、路面からの反射光の強度と時間との関係を理想反射波形として推定する理想反射波形推定手段と、
実際の路面からの反射光の強度と時間との関係を実反射波形として検出する実反射波形検出手段と、
前記窓カバーの汚れを検出する汚れ検出手段とを備え、
該汚れ検出手段は、前記理想反射波形と前記実反射波形とにもとづいて、前記窓カバーの汚れを検出することを特徴とする車両用障害物検出装置。
In a vehicle obstacle detection device that emits laser light through a window cover to at least a predetermined range including a road surface and receives reflected light to detect an obstacle,
Vehicle attitude detecting means for determining at least the pitching angle of the vehicle,
Ideal reflection waveform estimating means for estimating the relationship between the intensity of reflected light from the road surface and time as an ideal reflection waveform based on the pitching angle detected by the vehicle attitude detection means;
Actual reflection waveform detection means for detecting the relationship between the intensity of reflected light from the actual road surface and time as an actual reflection waveform,
Dirt detection means for detecting dirt on the window cover,
The obstacle detecting device for a vehicle, wherein the dirt detecting means detects dirt on the window cover based on the ideal reflection waveform and the actual reflection waveform.
前記汚れ検出手段は、前記理想反射波形推定手段によって推定された理想反射波形の強度と時間の積の合計である理想反射波形面積と、前記実反射波形検出手段によって検出された実反射波形の強度と時間の積の合計である実反射波形面積とにもとづいて、前記窓カバーの汚れを検出することを特徴とする請求項1記載の車両用障害物検出装置。The dirt detection means includes an ideal reflection waveform area that is a sum of a product of the intensity of the ideal reflection waveform estimated by the ideal reflection waveform estimation means and time, and an intensity of the actual reflection waveform detected by the real reflection waveform detection means. 2. The obstacle detecting device for a vehicle according to claim 1, wherein the dirt on the window cover is detected based on a real reflection waveform area which is a sum of a product of the time and a time. 前記汚れ検出手段は、前記理想反射波形面積および前記実反射波形面積を、それぞれ前記理想反射波形推定手段によって推定された理想反射波形の強度、および前記実反射波形検出手段によって検出された実反射波形の強度を時間積分することによって算出することを特徴とする請求項2記載の車両用障害物検出装置。The dirt detection means calculates the ideal reflection waveform area and the real reflection waveform area by the intensity of the ideal reflection waveform estimated by the ideal reflection waveform estimation means, and the actual reflection waveform detected by the real reflection waveform detection means, respectively. 3. The obstacle detecting device for a vehicle according to claim 2, wherein the intensity is calculated by time integration. 前記汚れ検出手段は、反射光を受光すると予測される時間幅のみについて、前記時間積分を行うことを特徴とする請求項3記載の車両用障害物検出装置。The vehicle obstacle detection device according to claim 3, wherein the dirt detection means performs the time integration only for a time width predicted to receive the reflected light. 前記汚れ検出手段は、前記実反射波形面積が前記理想反射波形面積よりも所定値以上小さいときに前記窓カバーが汚れていると判断することを特徴とする請求項2、3または4記載の車両用障害物検出装置。5. The vehicle according to claim 2, wherein the dirt detecting means determines that the window cover is dirty when the actual reflection waveform area is smaller than the ideal reflection waveform area by a predetermined value or more. Obstacle detection device. 前記汚れ検出手段はさらに、
前記理想反射波形推定手段によって推定された理想反射波形と、前記実反射波形検出手段によって検出された実反射波形とを比較することによって、前記窓カバーの汚れの付着部位を検出することを特徴とする請求項1から5のいずれか1に記載の車両用障害物検出装置。
The dirt detection means further comprises:
Detecting a portion where the window cover is stained by comparing the ideal reflection waveform estimated by the ideal reflection waveform estimation unit with the actual reflection waveform detected by the actual reflection waveform detection unit. The vehicle obstacle detection device according to any one of claims 1 to 5, wherein
前記汚れ検出手段は、
前記理想反射波形推定手段によって推定された理想反射波形の強度が、第1の所定の強度以上となる時点から強度が最大となる時点までの時間と、強度が最大となる時点から第2の所定の強度以下となる時点までの時間と、
前記実反射波形検出手段によって検出された実反射波形の強度が、前記第1の所定の強度以上となる時点から強度が最大となる時点までの時間と、強度が最大となる時点から前記第2の所定の強度以下となる時点までの時間とにもとづいて、前記窓カバーの汚れの付着部位を検出することを特徴とする請求項6記載の車両用障害物検出装置。
The dirt detection means,
The time from when the intensity of the ideal reflection waveform estimated by the ideal reflection waveform estimating means becomes equal to or more than the first predetermined intensity to the time when the intensity becomes maximum, and from the time when the intensity becomes maximum to the second predetermined intensity Time until the intensity becomes less than or equal to
The time from the time when the intensity of the actual reflection waveform detected by the actual reflection waveform detecting means is equal to or higher than the first predetermined intensity to the time when the intensity is maximum, and the time when the intensity is maximum is the second time. 7. The vehicle obstacle detecting device according to claim 6, wherein a portion to which dirt is adhered to the window cover is detected based on a time until the intensity becomes equal to or less than a predetermined intensity.
前記汚れ検出手段は、
前記実反射波形検出手段によって検出された実反射波形の強度が前記第1の所定の強度以上となる時点から強度が最大となる時点までの時間が、前記理想反射波形推定手段によって推定された理想反射波形の強度が前記第1の所定の強度以上となる時点から強度が最大となる時点までの時間よりも短い場合に、前記窓カバーの下部に汚れが付着していると判定し、
前記実反射波形検出手段によって検出された実反射波形の強度が最大となる時点から前記第2の所定の強度以下となる時点までの時間が、前記理想反射波形推定手段によって推定された理想反射波形の強度が最大となる時点から前記第2の所定の強度以下となる時点までの時間よりも短い場合に、前記窓カバーの上部に汚れが付着していると判定することを特徴とする請求項7記載の車両用障害物検出装置。
The dirt detection means,
The time from the time when the intensity of the actual reflection waveform detected by the actual reflection waveform detection means becomes equal to or higher than the first predetermined intensity to the time when the intensity becomes maximum is the ideal time estimated by the ideal reflection waveform estimation means. When the intensity of the reflected waveform is shorter than the time from the time when the intensity is equal to or higher than the first predetermined intensity to the time when the intensity is maximum, it is determined that dirt is attached to the lower portion of the window cover,
The time from when the intensity of the actual reflection waveform detected by the actual reflection waveform detection means becomes maximum to when the intensity becomes equal to or less than the second predetermined intensity is the ideal reflection waveform estimated by the ideal reflection waveform estimation means. And determining that dirt has adhered to the upper portion of the window cover if the time is shorter than the time from when the intensity of the window cover becomes maximum to when the intensity becomes equal to or less than the second predetermined intensity. The vehicle obstacle detection device according to claim 7.
前記車両の前方または後方を撮像する撮像手段を備え、
前記車両姿勢検出手段は、前記撮像手段によって撮像された画像にもとづいて前記車両のピッチング角の検出を行うことを特徴とする請求項1から8のいずれか1に記載の車両用障害物検出装置。
An imaging unit for imaging the front or rear of the vehicle,
The vehicle obstacle detection device according to any one of claims 1 to 8, wherein the vehicle posture detection unit detects a pitching angle of the vehicle based on an image captured by the imaging unit. .
前記撮像手段によって撮像された画像内の車線境界線を検出する車線境界線検出手段を備え、
前記車両姿勢検出手段は、前記車線境界線検出手段によって検出された車線境界線にもとづいて前記車両のピッチング角の検出を行うことを特徴とする請求項9記載の車両用障害物検出装置。
A lane boundary detection unit that detects a lane boundary in an image captured by the imaging unit,
10. The vehicle obstacle detecting device according to claim 9, wherein the vehicle attitude detecting means detects the pitching angle of the vehicle based on the lane boundary detected by the lane boundary detecting means.
前記車両が直線路を車線境界線に平行に走行している直進状態であるかどうかを検出する直進検出手段を備え、
前記汚れ検出手段は、前記直進検出手段によって前記車両が直進状態であることが検出された場合に、前記窓カバーの汚れの検出または汚れの付着部位の検出を行うことを特徴とする請求項1から10いずれか1に記載の車両用障害物検出装置。
The vehicle further includes a straight traveling detecting unit that detects whether or not the vehicle is traveling straight on a straight road parallel to the lane boundary line.
2. The dirt detecting means detects dirt on the window cover or a dirt-attached part when the straight-ahead detecting means detects that the vehicle is in a straight-ahead state. 11. The vehicle obstacle detection device according to any one of items 1 to 10.
前記レーザ光が照射される路面が均一な反射面であることを検出する路面状態検出手段を備え、
前記汚れ検出手段は、前記路面状態検出手段によって前記路面が均一な反射面であることが検出されたときに、前記窓カバーの汚れの検出または汚れの付着部位の検出を行うことを特徴とする請求項1から11いずれか1に記載の車両用障害物検出装置。
Road surface condition detecting means for detecting that the road surface irradiated with the laser light is a uniform reflection surface,
The dirt detecting means detects the dirt on the window cover or detects a portion to which dirt is adhered when the road surface state detecting means detects that the road surface is a uniform reflecting surface. An obstacle detection device for a vehicle according to any one of claims 1 to 11.
JP2003064134A 2003-03-10 2003-03-10 Obstacle detection device for vehicle Expired - Fee Related JP4033005B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003064134A JP4033005B2 (en) 2003-03-10 2003-03-10 Obstacle detection device for vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003064134A JP4033005B2 (en) 2003-03-10 2003-03-10 Obstacle detection device for vehicle

Publications (2)

Publication Number Publication Date
JP2004271404A true JP2004271404A (en) 2004-09-30
JP4033005B2 JP4033005B2 (en) 2008-01-16

Family

ID=33125533

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003064134A Expired - Fee Related JP4033005B2 (en) 2003-03-10 2003-03-10 Obstacle detection device for vehicle

Country Status (1)

Country Link
JP (1) JP4033005B2 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005043201A (en) * 2003-07-22 2005-02-17 Omron Corp Radar device for vehicle
JP2009192526A (en) * 2008-01-16 2009-08-27 Ihi Corp Laser distance measuring device and shield object detection method therefor
WO2009116508A1 (en) * 2008-03-19 2009-09-24 株式会社安川電機 Shape measuring device and robot device with the same
WO2012081359A1 (en) * 2010-12-15 2012-06-21 本田技研工業株式会社 Lane recognition device
JP2012130781A (en) * 2005-12-02 2012-07-12 Irobot Corp Autonomous cleaning robot
JP2012192775A (en) * 2011-03-15 2012-10-11 Denso Corp Object detecting apparatus
JP2022538792A (en) * 2019-06-28 2022-09-06 ウェイモ エルエルシー Beam homogenization for occlusion resistance
US11525917B2 (en) 2018-07-26 2022-12-13 Fanuc Corporation Distance measuring apparatus which detects optical system abnormality
WO2023045424A1 (en) * 2021-09-23 2023-03-30 上海禾赛科技有限公司 Photomask contamination detection method and photomask contamination detection system for laser radar
WO2023112884A1 (en) * 2021-12-17 2023-06-22 パイオニア株式会社 Ranging device, determining device, determining method, and program

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57175266A (en) * 1981-04-21 1982-10-28 Nippon Denso Co Ltd Obstacle detector for car
JPH11109030A (en) * 1997-10-01 1999-04-23 Fujitsu Ten Ltd Onboard radar equipment
JP2002163641A (en) * 2000-11-22 2002-06-07 Nissan Motor Co Ltd Image processor for vehicle
JP2002257934A (en) * 2001-02-27 2002-09-11 Omron Corp Road surface condition detector for vehicle and range- finder for vehicle
JP2003042757A (en) * 2001-07-31 2003-02-13 Omron Corp Distance measuring instrument for vehicle

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57175266A (en) * 1981-04-21 1982-10-28 Nippon Denso Co Ltd Obstacle detector for car
JPH11109030A (en) * 1997-10-01 1999-04-23 Fujitsu Ten Ltd Onboard radar equipment
JP2002163641A (en) * 2000-11-22 2002-06-07 Nissan Motor Co Ltd Image processor for vehicle
JP2002257934A (en) * 2001-02-27 2002-09-11 Omron Corp Road surface condition detector for vehicle and range- finder for vehicle
JP2003042757A (en) * 2001-07-31 2003-02-13 Omron Corp Distance measuring instrument for vehicle

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005043201A (en) * 2003-07-22 2005-02-17 Omron Corp Radar device for vehicle
US7283212B2 (en) 2003-07-22 2007-10-16 Omron Corporation Vehicular radar device
JP2012130781A (en) * 2005-12-02 2012-07-12 Irobot Corp Autonomous cleaning robot
JP2009192526A (en) * 2008-01-16 2009-08-27 Ihi Corp Laser distance measuring device and shield object detection method therefor
WO2009116508A1 (en) * 2008-03-19 2009-09-24 株式会社安川電機 Shape measuring device and robot device with the same
US9080859B2 (en) 2008-03-19 2015-07-14 Kabushiki Kaisha Yaskawa Denki Shape measuring apparatus and robot apparatus including the same
JP5687712B2 (en) * 2010-12-15 2015-03-18 本田技研工業株式会社 Lane recognition device
JPWO2012081359A1 (en) * 2010-12-15 2014-05-22 本田技研工業株式会社 Lane recognition device
US9076046B2 (en) 2010-12-15 2015-07-07 Honda Motor Co., Ltd. Lane recognition device
WO2012081359A1 (en) * 2010-12-15 2012-06-21 本田技研工業株式会社 Lane recognition device
JP2012192775A (en) * 2011-03-15 2012-10-11 Denso Corp Object detecting apparatus
US11525917B2 (en) 2018-07-26 2022-12-13 Fanuc Corporation Distance measuring apparatus which detects optical system abnormality
JP2022538792A (en) * 2019-06-28 2022-09-06 ウェイモ エルエルシー Beam homogenization for occlusion resistance
JP7317149B2 (en) 2019-06-28 2023-07-28 ウェイモ エルエルシー Beam homogenization for occlusion resistance
US11789123B2 (en) 2019-06-28 2023-10-17 Waymo Llc Beam homogenization for occlusion resistance
WO2023045424A1 (en) * 2021-09-23 2023-03-30 上海禾赛科技有限公司 Photomask contamination detection method and photomask contamination detection system for laser radar
WO2023112884A1 (en) * 2021-12-17 2023-06-22 パイオニア株式会社 Ranging device, determining device, determining method, and program

Also Published As

Publication number Publication date
JP4033005B2 (en) 2008-01-16

Similar Documents

Publication Publication Date Title
JP3838418B2 (en) Ranging device for vehicles
JP4668838B2 (en) Raindrop detection device and wiper control device
US10300852B2 (en) Water depth estimation apparatus and method
US20120026318A1 (en) Camera system for detecting a state of a vehicle window pane
US20130103257A1 (en) Method and device for assisting a driver while driving a vehicle by detecting weather-related visibility limitations
JP4940458B2 (en) Object detection device
US20090213359A1 (en) Optical device for measuring moving speed of an object relative to a surface
JP2009173260A (en) Optical module for assistance system
JP2005195601A (en) System and method of detecting driving conditions for car
JP5632352B2 (en) Object detection device
JP2000147124A (en) On-vehicle radar device
JP2008068701A (en) Headlamp module
JPH10507428A (en) Sensor for visibility detection and fogging detection by rain
JP2008003959A (en) Communication system for vehicle
JP4033005B2 (en) Obstacle detection device for vehicle
JP2021517635A (en) Road surface monitoring systems and methods using infrared rays, automobiles
JP4321142B2 (en) Sign recognition device
JP5320880B2 (en) Distance measuring device, distance measuring method and vehicle
JP5901301B2 (en) Vehicle type identification system
JP3498532B2 (en) Vehicle shape discriminator
US7432490B2 (en) Method and apparatus for detecting an object in a motor vehicle environment
JPH06289138A (en) Obstacle detecting device
JPH01240811A (en) Distance discriminating apparatus for vehicle
EP3754376A1 (en) Lidar imaging apparatus for a motor vehicle
JP3218834B2 (en) Obstacle detection device for vehicles

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070710

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070905

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071002

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071015

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101102

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111102

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees