JP2005043375A - 車両周辺監視装置 - Google Patents

車両周辺監視装置 Download PDF

Info

Publication number
JP2005043375A
JP2005043375A JP2004256763A JP2004256763A JP2005043375A JP 2005043375 A JP2005043375 A JP 2005043375A JP 2004256763 A JP2004256763 A JP 2004256763A JP 2004256763 A JP2004256763 A JP 2004256763A JP 2005043375 A JP2005043375 A JP 2005043375A
Authority
JP
Japan
Prior art keywords
detection point
vehicle
point data
data
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004256763A
Other languages
English (en)
Other versions
JP3954053B2 (ja
Inventor
Moichi Okamura
茂一 岡村
Minoru Nishida
稔 西田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2004256763A priority Critical patent/JP3954053B2/ja
Publication of JP2005043375A publication Critical patent/JP2005043375A/ja
Application granted granted Critical
Publication of JP3954053B2 publication Critical patent/JP3954053B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

【課題】簡単な処理で物体追跡を実現し、広角化、高感度化により検出点数が増加しても効率よく物体を追跡することのできる車両周辺監視装置を得る。
【解決手段】レーダ手段100の検出結果から周辺物体の自車両に対する相対位置及び相対速度を出力する認識手段103は、検出点データを用いて物体位置を検出し、物体の位置データである物体位置データを算出する物体検出手段112と、過去に検出した各物体について、過去の物体位置データから今回検出されるべき位置を推定する物体位置推定手段115と、物体の推定位置のまわりに所定のウィンドウを設けるウィンドウ設定手段116と、ウィンドウ内に含まれる検出点データを用いて今回の物体位置データを求め、過去に検出した物体位置データを用いて、物体の相対速度を算出する物体追跡手段117とを備えている。
【選択図】図1

Description

この発明は、車間距離警報装置、車間距離制御装置、或いは後側方警報装置など、自車両周辺に存在する車両と自車両との距離をもとに警報を行ったり、車両を制御する装置において用いられる、自車両周辺に存在する車両や障害物を検出するための車両周辺監視装置に関するものであり、特に、高感度で広い水平視野角を持つ光式レーダ(レーザレーダ)を用いた場合には、最大の効果を発揮する車両周辺監視装置に関するものである。
自動車の予防安全装置として、自車周辺、特に前方に存在する車両までの距離(車間距離)を測定し、その車間距離が危険な状態になった場合に運転者に対し警報を発する車間距離警報装置、或いは車間距離が危険な状態にならないように自動的に速度を調節する車間距離制御装置が提案されている。そして、これら装置では、車間距離及びその変化量である相対速度を測定するために、スキャン式レーザレーダを用いた車両周辺監視装置がしばしば用いられている。
スキャン式レーザレーダは、車両周辺の所定角度にわたって送信波を掃引して、周辺物体によるその反射波を検出し、送信と検出の時間間隔から各照射方向における物体までの距離を測定するものである。そのため、周辺物体を検出するためには、各照射方向において測定した距離データから車両や障害物といった物体を測定空間上に再構成した後、それらの自車に対する相対位置、相対速度を算出することが必要となる。この種の従来装置例としては、以下の装置があげられる(例えば、特許文献1、2参照)。
まず、特許文献1に記載の装置では、反射波の検出結果に基づき障害物を所定の面積を有するブロックの集合として認識し、その重心位置を検出する。続いて、次回の掃引時にその障害物の重心が検出されるべき位置を推定し、その位置にブロックの集合として認識した障害物の重心を検出したとき、両障害物は同一の物体であると判断する。そして、同一の物体であると判断された物体の重心位置データの変化量と時間差から相対速度を算出している。
ところが、この種の装置では、障害物を所定の面積を有するブロックの集合として認識しているので、1つの障害物を定義するために必要な情報量が多くなり、処理が複雑になってしまう。このため、コンピュータなどの処理装置の負荷が増大していた。また、ガードレールなどの路側物も障害物として認識しているので、これらの路側物が存在する場合、一層、処理装置の負荷が増大していた。従って、これら装置では、障害物認識における処理速度や正確さを十分に向上させることができなかった。
そこで、特許文献2に記載の装置では、
1) 車両周辺の障害物を点として認識し、
2) 認識した点のうち近接するものを一体化し、
3) 一体化した点集合のうち、車両の前後方向に所定値未満の長さを有する集合を、車両の幅方向の長さのみを有する線分として認識し、
4) 過去の掃引で認識された線分について、今回、認識されるべき位置を推定し、その推定した位置に今回認識した線分がある場合には、それらを同一のものであると判断し、
5) 同一のものと判断された線分の位置データから相対速度を算出する、
という手順で周辺物体の検出を実現している。このようにすることで、1つの障害物を定義するために必要な情報量を削減し、ガードレールなどの路側物を障害物として認識することがない装置を実現している。
特開平5−180933号公報 特開平7−318652号公報
しかしながら、これらの従来装置は、現在車載用として実用化されているレーザレーダにおける、a)自車と同じ車線上に存在する車両、障害物を検出するために水平視野角は16度程度、b)主な検出対象は、車両後端に取り付けたリフレクタ、或いは路肩に設置されたデリニエータなどの高反射率体、という仕様を前提としたものである。このため、検出率向上及び割り込み車両検出等の目的のため、車体を検出できるほどに高感度化し、隣接車線車両を検出できるほどに水平視野角を広げたスキャン式レーザレーダを用いた場合、例えば特許文献2に記載の従来装置では、次のような課題があり、その適用が困難となる。
A) 過去の掃引で認識した線分と今回の掃引で認識した線分が同一であると判定するための方法が複雑なので、高感度化、広視野角化に伴い検出される線分の数が増え、同一であると判定するための組み合わせが多くなった場合に、非常に多くの処理時間を必要とする。すなわち、検出された線分の数が増えると、所定の周期で認識処理を行うことができなくなる。
B) また、この装置を実現する際には、装置に要求される処理能力を知るために線分の数が増えた場合の最大処理量を見積もることが必要となるが、従来装置ではあらゆる組み合わせを想定しなければならないので、この最大処理量を見積もることは非常に難しい。そのため、全ての状況下において、所定の周期で認識処理を行えることを保証できない。
この発明は、上述の従来技術における問題点を解決しようとするものであり、検出点データが増えても処理量がほとんど変わらず、最大処理時間を限定することができる、新規な物体検出及び追跡に関する方法を提案するものである。この発明は、特に、高感度且つ広い水平視野角のスキャン式レーザレーダ、或いは、将来実用化されるであろう、広視野角且つ高い角度分解能を持った電波レーダを用いた車両周辺監視装置を実現することを目的とするものである。
この発明による車両周辺監視装置は、自車両周辺の所定角度にわたり電磁波を掃引照射し、その電磁波が物体に反射した反射波を検出することで周辺物体までの距離と方向を出力するレーダ手段と、レーダ手段の検出結果に基づき、自車両周辺にある物体の自車両に対する相対位置及びその変化量である相対速度を出力する認識手段と、を備えた車両周辺監視装置において、認識手段は、レーダ手段により得られた検出点データを用いて物体位置を検出し、その物体の位置データである物体位置データを算出する物体検出手段と、過去に検出したそれぞれの物体について、過去の物体位置データから今回検出されるべき位置を推定する物体位置推定手段と、物体位置推定手段の出力する物体の推定位置のまわりに所定のウィンドウを設けるウィンドウ設定手段と、ウィンドウ設定手段により設定したウィンドウ内に含まれる検出点データを用いて今回の物体位置データを求め、過去に検出した物体位置データを用いて、その物体の自車に対する相対速度を算出する物体追跡手段と、を備えるものである。
この発明によれば、複雑で多くの組み合わせについて条件判定することなく、推定位置周りのウィンドウに含まれる検出点データを用いて、過去の物体に対応する今回の物体位置を求めることにより、非常に簡単な処理で物体追跡を実現することが可能であり、広角化、高感度化により検出点数が増加しても効率よく物体を追跡することができる。加えて、従来装置のように組み合わせを考慮する必要が無く、必要処理量の見積もりが簡単になる。
実施の形態1.
以下、この発明の実施の形態について添付図面により説明する。
図1は、この発明の実施の形態1に係る車両周辺監視装置の構成を表すブロック図である。図1において、この発明の車両周辺監視装置は、レーダ手段としてのスキャン式レーザレーダ100と、自車の車速を測定する車速センサ101と、自車のヨーレートを測定するヨーレートセンサ102と、マイクロコンピュータ等の演算装置、記憶装置等を有する認識手段としての電子制御ユニット103とを備える。
レーザレーダ100は、図11に示すように、車両前方の45度の角度範囲にわたり、0.15度刻みで掃引しながらレーザ光を照射し、周辺物体によるその反射波を検出し、照射と検出の時間間隔から各照射方向における物体までの距離を測定するものである。また、このレーザレーダ100は、受光素子としてアバランシェ・フォト・ダイオードを採用しているので、車体後部に取り付けられたリフレックスリフレクタのみならず、車体そのもの、側壁などの検出も可能である。このレーザレーダ100の測定結果である照射方向と距離データは、CAN通信により、電子制御ユニット103に出力される。
電子制御ユニット103は、レーザレーダ100の検出結果に基づき、自車両周辺にある物体の自車両に対する相対位置及びその変化量である相対速度を求める認識手段を構成する。また、電子制御ユニット103は、自車前方に存在する車両の位置や相対速度等の演算結果を、例えば車間距離警報装置などの外部装置104に出力する。
図2は、電子制御ユニット(認識手段)103の機能的構成を表す機能ブロック図であり、この図2に示すように、認識手段103は、検出点データ記憶手段111と、物体検出手段112と、縦列検出点判定手段113と、道路曲線上検出点判定手段114と、物体位置推定手段115と、ウィンドウ設定手段116と、物体追跡手段117とを備える。
検出点データ記憶手段111は、自車両の車幅方向をX軸、進行方向をY軸とするX−Y座標系をM×N個に分割した各小領域内に、レーダ手段が出力する、掃引照射した方向とその方向における検出距離からなるデータ対である検出点データがあるか否かを、各小領域に対応する要素からなる2次元配列に記憶する。また、検出点データ記憶手段111は、自車情報を用いて、検出点データのそれぞれが停止物を検出したデータである停止検出点データかそれ以外のデータである移動検出点データかを判定する停止検出点判定手段111aと、停止検出点判定手段111aの判定結果を用いて、自車両の車幅方向をX軸、進行方向をY軸とするX−Y座標系をM×N個に分割した各小領域に含まれる停止検出点データの有無を、各小領域に対応する要素からなる2次元配列に記憶する停止検出点データ記憶手段111bと、停止検出点判定手段111aの検出結果を用いて、自車両の車幅方向をX軸、進行方向をY軸とするX−Y座標系をM×N個に分割した各小領域に含まれる移動検出点データの有無を、各小領域に対応する要素からなる2次元配列に記憶する移動検出点データ記憶手段111cとを備える。
物体検出手段112は、検出点データ記憶手段111が、検出点データの有無を記憶した2次元配列の各要素に対して、J×K個(但し、J<N、K<M)の要素からなる2次元配列で表されるマスクを順次走査しながら積和演算を行い、その演算結果に基づき周辺に存在する物体の位置と大きさなどの属性を求める。また、物体検出手段112は、停止検出点データ記憶手段111bにより停止検出点データの有無を記憶した2次元配列の各要素に対して、J×K個(但し、J<N、K<M)の要素からなる2次元配列で表されるマスクを順次走査しながら積和演算を行い、その演算結果に基づき周辺に存在する停止物体の位置と大きさなどの属性を求める停止物体検出手段112aと、移動検出点データ記憶手段111cにより移動検出点データの有無を記憶した2次元配列の各要素に対して、J×K個(但し、J<N、K<M)の要素からなる2次元配列で表されるマスクを順次走査しながら積和演算を行い、その演算結果に基づき周辺に存在する移動物体の位置と大きさなどの属性を求める移動物体検出手段112bとを備える。
縦列検出点判定手段113は、各検出点データが自車両の進行方向に並んでいるデータである縦列検出点データか否かを判定する。この判定結果に基づき、検出点データ記憶手段111、停止検出点データ記憶手段111b、或いは移動検出点データ記憶手段111cは、その処理において、縦列検出点データを用いないものである。
道路曲線上検出点判定手段114は、各検出点データが道路曲線に沿って並んでいるデータである道路曲線上検出点データか否かを判定する。この判定結果に基づいて、検出点データ記憶手段111、停止検出点データ記憶手段111b、或いは移動検出点データ記憶手段111cは、その処理において、道路曲線上検出点データを用いないものである。
物体位置推定手段115は、過去に検出したそれぞれの物体について、過去の物体位置データから今回検出されるべき位置を推定する。
ウィンドウ設定手段116は、物体位置推定手段115の出力する物体の推定位置のまわりに所定のウィンドウを設ける。
物体追跡手段117は、ウィンドウ設定手段116により設定したウィンドウ内に含まれる検出点データを用いて今回の物体位置データを求め、過去に検出した物体位置データを用いて、その物体の自車に対する相対速度を算出する。また、物体追跡手段117は、停止検出点判定手段111aの判定結果を用いて、過去に検出された物体の相対速度と自車速度の差が所定値未満の場合には、ウィンドウ設定手段116により設定したウィンドウ内に含まれる停止検出点データを用い、相対速度と自車速度の差が所定値以上の場合には、設定したウィンドウ内に含まれる移動検出点データを用いて、今回の物体位置データを求め、過去に検出した物体位置データを用いて、その物体の自車に対する相対速度を算出する。
また、物体検出手段112は、物体追跡手段117における今回の処理で物体位置データの算出に用いた検出点データを使わない。
また、物体追跡手段117は、縦列検出点判定手段113或いは道路曲線上検出点判定手段114の判定結果に基づき、縦列検出点データ或いは道路曲線上検出点データを用いない。
尚、認識手段103の各機能、すなわち停止検出点判定手段111a、停止検出点データ記憶手段111b及び移動検出点データ記憶手段111cを含む検出点データ記憶手段、停止物体検出手段112a及び移動物体検出手段112bを含む物体検出手段112、縦列検出点判定手段113、道路曲線上検出点判定手段114、物体位置推定手段115、ウィンドウ設定手段116、物体追跡手段117等の機能は、電子制御ユニット103でソフトウェアを実行することにより実現するものである。
次に、電子制御ユニット103により実行されるソフトウェアの概略について説明する。図3は、この電子制御ユニット103で実行されるソフトウェアにおける全体の動作の流れを示すフローチャートである。電子制御ユニット(認識手段)103では、まずステップ201で、スキャン式レーザレーダ100が測定した検出点データ、すなわち照射方向と各照射方向における距離を、自車の車幅方向をX軸、進行方向をY軸とする座標系(自車座標系)上での(X、Y)データに変換して入力すると共に、車速センサ101が測定した自車速、ヨーレートセンサ102が測定した自車のヨーレートを入力する。
ステップ202は「過去の検出点データの座標変換処理」であり、過去に検出された検出点データを、今回の自車座標系で見たときの位置に座標変換する。
ステップ203は、停止検出点判定手段111aで行う「停止検出点判定処理」であり、全ての検出点データについて、それぞれが停止物を検出した停止検出点データであるか、それともそれ以外のデータすなわち移動物を検出した移動検出点データであるかを判定する。
ステップ204は、縦列検出点判定手段113で行われる「縦列検出点判定処理」であり、全ての検出点データについて、それぞれが車両の進行方向に並んでいる縦列検出点データであるか否かを判定する。
ステップ205は、縦列検出点判定手段113で行われる「道路曲線上検出点判定処理」であり、全ての検出点データについて、それぞれが道路の縦断曲線に沿って存在する道路曲線上検出点データであるか否かを判定する。
ステップ206は、物体追跡手段117で行われる「車両追跡処理」であり、過去に追跡に成功した車両或いは後述するステップ207の「移動車両検出処理」或いはステップ208の「停止車両検出処理」で検出された車両について今回の位置を推定し、その推定位置周辺にある検出点データから今回の車両位置を求め、さらに該車両の相対速度を算出する。
ステップ207は、移動検出点データ記憶手段111c及び物体検出手段112で行われる「移動車両検出処理」であり、ステップ202〜205の各「検出点判定」及び206の「車両追跡処理」における結果を踏まえて、今回新たに検出した移動車両の位置を求める。
ステップ208は、停止検出点データ記憶手段111b及び停止物体検出手段112aで行われる「停止車両検出処理」であり、ステップ207の「移動車両検出処理」とほぼ同じ方法で、停止車両の位置を求める。
ステップ209は「道路曲率の推定処理」で、自車速、ヨーレート、検出した移動車両の位置等から道路曲率を推定する。
ステップ210は「処理結果の出力処理」で、ステップ201〜209における処理により求められた移動車両の位置と相対速度、及び停止車両の位置を外部装置104に出力する。
上記ステップ201〜210の処理は、スキャン式レーザレーダ100からのデータ入力に同期して繰り返し実行される。以下、これらステップ202〜210における処理の詳細について、実行される順に説明する。
図3におけるステップ202の「過去の検出点データの座標変換」について説明する。この処理は、過去の検出点データを前回から移動した今回の自車の座標系からみた位置に変換するためのものである。図4は、この処理を示したフローチャートである。まず、ステップ301で、過去に検出された検出点データ(Xmi(j),Ymi(j))を読み込み、次にステップ302で、次式(1)のように変換する(図5参照)。
Figure 2005043375
続いて、ステップ303で変換後の位置を記憶し、ステップ304で記憶されている全ての検出点データについて変換が終了したか否かを判定し、終了している場合には、「過去の検出点データの座標変換処理」を終了する。
図3におけるステップ203の「停止検出点判定処理」について説明する。この処理では、"過去に検出した検出点データを今回の自車の座標系からみた位置に変換すると、停止物を検出した停止検出点データの場合には、これらは同じ位置で重なり合い、移動物を検出した移動検出点データの場合には、移動物の軌跡に沿った位置に並ぶ"という原理を用いて、各検出点データが停止検出点データであるか移動検出点データであるかを判定する。すなわち、変換後における過去の検出点データが、今回検出された検出点データ付近に多く存在すれば、その検出点データは停止検出点データであると判定する。
次に、ステップ203の「停止検出点判定処理」の詳細について、図6を用いて説明する。まず、ステップ501で、検出点の重なりを記憶するための2次元配列Mesh(m,n)(m=1〜M、n=1〜N)の全てをゼロクリアする。尚、この2次元配列Mesh(m,n)は、図6(a)に示すように、自車の座標系を大きさ(ΔX,ΔY)のメッシュに分割し、それぞれのメッシュ領域内に含まれる検出点データ数を記憶するためのものである。
次いで、ステップ502で、次式(2)、(3)によりメッシュの大きさ(ΔX,ΔY)を自車速に応じて設定する。
Δ X = ΔX0 (2)
Δ Y = (Vs×T0)/N (3)
(但し、算出したΔYがΔY0より小さい場合は、ΔY=ΔY0とする。)
ここで、Vsは自車速(m/s)であり、ΔX0、ΔY0、T0は予め設定した値である。これらの適当な値としては、ΔX0=0.25m、ΔY0=0.5m、T0=4.5sである。
このようにメッシュの大きさを変更することで、停止検出点データと判定する車速を自車速に応じて設定することができる。例えば、自車速100km/hで、N=50、処理周期が200msの場合、ΔYは2.5mとなり、200ms間の移動距離が2.5m以下もの、すなわち45km/h以下のものを停止検出点データと判定する。また、自車速50km/hで、N=50、処理周期が200msの場合、ΔYは1.25mとなり、22.5km/h以下のものを停止検出点データと判定する。
ステップ503、504では、過去の検出点データ(Xmi(j),Ymi(j))を含むメッシュ領域の番号(m,n)を次式(4)、(5)により算出し、Mesh(m,n)をインクリメントする。
m = Xmi(j)/ΔX+N/2 (4)
n = Ymi(j)/ΔY (5)
次に、ステップ506〜510で、今回検出された物体位置データを含むメッシュ領域の番号(m,n)を上式(4)、(5)により求め、その(m,n)で表されるMesh(m,n)の値が所定値以上の場合に、停止検出点データであると判定する。
図3におけるステップ204の「縦列検出点判定処理」について説明する。この処理は、ガードレール、側壁、車両側面を検出した検出点データは、距離(縦)方向に並んでいる(縦列をなしている)という事実を用いて、それぞれの検出点データがガードレール、側壁、車両側面等を検出した縦列検出点データであるか否かを判定するためのものである。
図7を用いて、ステップ204の「縦列検出点判定」における処理の詳細について説明する。まず、ステップ601で2次元配列Image(m,n)をゼロクリアする。この2次元配列Image(m,n)は、図7(a)に示すように、自車の座標系を大きさ(ΔX,ΔY)のメッシュに分割し、それぞれのメッシュ領域内に検出点データが1つでも含まれれば1、全く含まれなければ0という値を記憶するためのものである。そして、ステップ602では、メッシュの大きさであるΔX、ΔYを設定する。本実施の形態の場合、ΔX=0.25m、ΔY=2mとする。
続くステップ603、604、605では、今回の全ての検出点データ(Xi(0),Yi(0))について、それらを含むメッシュ領域の番号(m,n)を、次式(6)、(7)によりそれぞれ算出し、Image(m,n)に1を代入する。
m = Xi(0)/ΔX+M/2 (6)
n = Yi(0)/ΔY (7)
こうして得られた2次元配列Image(m,n)は、自車座標系において検出点データを展開した距離画像に相当する(図12参照)。
ステップ606では、図13に示すように、ステップ603〜605により得られた距離画像のX軸へ射影したヒストグラムXproj(m)を作成する。このようにヒストグラムを作成すると、例えば、直線路でレーザレーダ100が側壁を検出している場合、それを検出した検出点データは、縦方向に並んだ検出点群となり、これに相当する距離画像をX軸へ射影したヒストグラムで見ると、壁のある横位置Xのところにピークが出てくる。そこで、続くステップ607〜611では、それぞれの検出点データに対して、それが含まれるメッシュ番号mを式(6)で算出し、そのmにより指し示されるXproj(m)の値が所定値以上であれば、この検出点データを縦方向に並んでいる検出点データの1つであるとして縦列検出点データと判定する。一方、Xproj(m)の値が所定値未満であれば、この検出点データは縦列検出点データではないと判定する。
図3におけるステップ205の「道路曲線上検出点判定処理」について説明する。この処理は、ガードレール、側壁を検出した検出点データは、道路曲線に沿って並んでいるという事実を用いて、それぞれの検出点データがガードレール、側壁を検出した道路曲線上検出点データであるか否かを判定するためのものである。
道路曲率半径をR(m)、検出点データを(Xi(0),Yi(0))(m)、それぞれの検出点データの自車が走行している車線の中心からの距離をAi(m)とすると、次の式(8)のような関係が成り立つ。
Figure 2005043375
この式(8)をAiについて解くと、次の式(9)になる。
Figure 2005043375
このAiは車線中心からの距離であるから、1つのガードレールや側壁を検出して得られる複数の検出点データのAiは等しい値を持つことになる。そこで、後述する「道路曲率半径の推定処理」の出力する道路曲率半径Rを用いてそれぞれの検出点データ(Xi(0),Yi(0))を式(9)により(Ai、Yi(0))というデータ対に変換し、横軸に車線中心からの距離A、縦軸に距離Yをとった座標系に展開し、その後、A軸へ射影したヒストグラムを作成し、そのピーク付近にある検出点データは、道路曲線上検出点データであると判定する。
図8を用いて、この「道路曲線上検出点判定処理」の詳細について説明する。まず、ステップ701で2次元配列Image2(m,n)をゼロクリアする。この2次元配列Image2(m,n)は、図8(a)に示すように、横軸に車線中心からの距離A、縦軸に距離Yをとった座標系を大きさ(ΔA,ΔY)のメッシュに分割し、それぞれのメッシュ領域内に検出点データが1つでも含まれれば1、全く含まれなければ0という値を記憶するためのものである。そして、ステップ702では、メッシュの大きさであるΔA、ΔYを設定する。本実施の形態の場合、ΔA=0.25m、ΔY=2mとする。 続くステップ703、704、705では、今回の全ての検出点データから算出したデータ対(Ai(0), Yi(0))について、それらを含むメッシュ領域の番号(m,n)を、式(10)、(11)によりそれぞれ算出しImage2(m,n)に1を代入する。
m = Ai(0)/ΔA+N/2 (10)
n = Yi(0)/ΔY (11)
こうして得られた2次元配列Image2(m,n)は、横軸に車線中心からの距離A、縦軸に距離Yをとった座標系において検出点データから算出したデータ対(Ai(0),Yi(0))を展開した距離画像に相当する。
ステップ706では、図14に示すように、ステップ703〜705により得られた距離画像のA軸へ射影したヒストグラムAproj(m)を作成する。このようにヒストグラムを作成すると、例えば、曲線路でレーザレーダ100がガードレールを検出している場合、それを検出した検出点データは縦(Y)方向に並んだ検出点群となり、これに相当する距離画像をA軸へ射影したヒストグラムで見ると、壁のある横位置Aのところにピークが出てくる。そこで、続くステップ707〜711では、それぞれの検出点データに対して、それが含まれるメッシュ番号mを式(10)で算出し、そのmにより指し示されるAproj(m)の値が所定値以上であれば、道路曲線に沿って並んでいる検出点データの1つであるとして道路曲線上検出点データと判定する。一方、Aproj(m)の値が所定値未満であれば、道路曲線上検出点データではないと判定する。
図3におけるステップ206の「車両追跡処理」について説明する。この処理は、後述するステップ207の「移動車両検出処理」、ステップ208の「停止車両検出処理」によって前回検出された、或いは、これから説明するこの「車両追跡処理」によって追跡が成功した車両(認識車両)について、今回の位置を推定し、その推定位置周辺にウィンドウを設定し、ウィンドウ内に含まれる検出点データから前回の認識車両に対応する今回の車両位置を算出するものである。
図9を用いて、ステップ206の「車両追跡処理」における処理の詳細について説明する。まず、ステップ801で、前回の「移動車両検出処理」、「停止車両検出処理」で検出、或いはこの「車両追跡処理」で追跡に成功した車両データの有無を確認する。前回検出或いは追跡に成功した車両が無い場合には、この処理から抜ける。前回検出或いは追跡に成功した車両がある場合には、ステップ802でi=0として、ステップ803に進み、次式(12)、(13)を用いて、i番目の認識車両の今回検出されるべき位置を推定する。
Xpi = Xvi(1) + Vrxvi(1)×dT (12)
Ypi = Yvi(1) + Vryvi(1)×dT (13)
そして、ステップ804では、上式(12)、(13)を用いて推定した位置(推定位置)の周りにΔX=3.5m、ΔY=4mの大きさを持つウィンドウを設定する。続くステップ805では、今回の検出点データのうち、設定したウィンドウに含まれるものを検索する。そして、ステップ806で設定したウィンドウに含まれる検出点データ数を確認し、設定したウィンドウに複数の検出点データが含まれている場合には、ステップ807に進む。一方、設定したウィンドウ内に検出点データが全くない場合には、ステップ811に進む。
ステップ807では、含まれる検出点データ(Xi(0),Yi(0))を用いて、次式(14)、(15)により今回の車両位置(Xvi(0),Yvi(0))、車両の幅Wviを求める。そして、今回の車両位置(Xvi(0),Yvi(0))と前回の車両位置(Xvi(1),Yvi(1))から次式(16)により相対速度(Vrxvi(0),Vryvi(0))を求める。
Figure 2005043375
ステップ808では、検出回数Ndetiをインクリメントし、ロスト回数Nlostiをゼロクリアする。
ステップ809では、ステップ807で求めた相対速度Vryvi(0)に自車速度Vsを加えて先行車速度Vpを算出する。そして、その値が所定値(例えば5km/h)以下であれば、停止車両であると判定する。その後、ステップ810に進み、次の認識車両について処理するために、iをインクリメントする。
一方、ウィンドウ内に今回の検出点データが全くなくステップ806からステップ811に進んだ場合には、ステップ803で算出した推定位置を今回の認識車両の位置(Xvi(0),Yvi(0))とする。また、相対速度については、前回の相対速度(Vrxvi(1),Vryvi(1))をそのまま今回の相対速度(Vrxvi(0),Vryvi(0))として設定する。次にステップ812で、検出回数Ndetiをゼロクリアし、ロスト回数Nlostiをインクリメントし、ステップ810に進んで次の認識車両について処理するために、iをインクリメントする。
ステップ813で前回検出或いは追跡成功した認識車両全てについて上述の演算が終了したか否かを判定し、前回の認識車両全てについて処理が終わっている場合には、次のステップ814に進む。ステップ714では、ロスト回数Nlostiが2以上である認識車両のデータ登録を抹消し、「車両追跡処理」を終了する。
次に、図10を用いて、ステップ207の「移動車両検出処理」における処理の詳細について説明する。まず、ステップ901で今回の検出点データを2次元配列Image3(m,n)に展開する。具体的には、今回の全ての検出点データ(Xi(0),Yi(0))のうち、ステップ203〜205の処理により、移動検出点データである、且つ、縦列検出点データでない、且つ道路曲線上検出点データでない、と判定されたものに対して、次式(17)、(18)を用いてそれぞれの検出点データに対応するメッシュ番号(m,n)を求め、対応するImage3(m,n)を1にする。尚、本実施の形態では、ΔX=0.25m、ΔY=2mとする。
m = Xi(0)/ΔX+M/2 (17)
n = Yi(0)/ΔY (18)
次いで、ステップ902で、マスク処理を行う。マスク処理とは、次式(19)で表現されるような予め設定された数値列をステップ901で作成したImage3の全ての要素について走査し、次式(20)で表される積和演算を行い、その結果を2次元配列Image4(m,n)に格納するものである(図15参照)。
Figure 2005043375
ステップ903〜913では、ステップ902で作成したImage4(m,n)を基にして車両の存在する概算位置を算出し、その概算位置の周りにウィンドウを設定する。そして、そのウィンドウ内に含まれる今回の検出点データ(Xi(0),Yi(0))を用いて、詳細位置、幅を算出する。より具体的には、ステップ903でn=0、m=0としてImage4の注目するメッシュの番号を初期化し、ステップ904に進む。ステップ904では、Image4(n,m)の値が所定値より大きく、且つ、そのメッシュに隣接する8つのメッシュの値の中で最大値か否かを判定し、この両方の条件を満たす場合には、ステップ905に進む。それ以外の場合には、ステップ910に進む。この際の所定値は、車両を検出した場合に得られるであろう最小値を設定する。本実施の形態では、車両であれば1m以上の幅があるので、ΔX=0.25mであることを考慮し、所定値=4とした。
ステップ905では、次式(21)、(22)を用いて、注目しているメッシュ領域に対応する自車座標系での位置(Xt、Yt)を求める。
Xt = (m−M/2)×ΔX (21)
Yt = n×ΔY+ΔY/2 (22)
続くステップ906では、ステップ905で求めた(Xt、Yt)の周りに大きさΔXt=±1.25m、ΔYt=±2mのウィンドウを設定し、そのウィンドウ内に含まれる検出点データの内、ステップ206の「車両追跡処理」で認識車両の今回の位置を求めるのに用いなかったものを検索する。ステップ907では、設定したウィンドウ内に含まれる検出点データの値を用いて、次式(23)、(24)から今回検出の移動車両位置(Xt、Yt)及び幅Wtを算出する。
Figure 2005043375
ステップ908では、ステップ907で位置と幅を算出したものに対して、以下に示す2つの条件i)、ii)の両方を満たすか否かを判定する。両方の条件を満たす場合には、ステップ909で検出車両として登録し、その位置(Xt、Yt)、幅Wtを記憶する。
i) 設定したウィンドウに含まれる検出点データの数が所定値以上
ii)上式(23)で算出した位置の周辺(|Xt−Xvi(0)|<所定値、 且つ、|Yt−Yvi(0)|<所定値)に登録済みの認識車両無し。
ステップ910〜913で、次の注目メッシュの番号を設定すると共に、全てのメッシュについてこの処理が終了した場合には、この「移動車両検出処理」から抜ける。
図3におけるステップ208の「停止車両検出処理」は、前述のステップ208の「移動車両検出処理」におけるステップ901で自車座標系に展開するデータを移動検出点データとしたのに対し、展開するデータを停止検出点データとする点が異なる。しかし、それ以外の処理は全く同じなので、その処理の詳細に関する説明は省略する。
図3におけるステップ209の「道路曲率半径の推定処理」では、車両データである自車速度Vs(m/s)及びヨーレートω(rad/s)から次の式(25)を用いて道路曲率半径R(m)を算出する。
R = Vs/ω (25)
図3におけるステップ210では、ステップ201〜209で処理した結果求められた、車両の位置と相対速度及び幅を外部装置104に出力する。
尚、上記実施の形態では、周辺の四輪車を検出、追跡するために、式(19)で表されるようなマスクを用いたが、四輪車以外の物体についても同様の方法で検出、追跡することができる。すなわち、それぞれの検出、追跡したい物体に合わせて図16に示すようなマスクを設定し、それぞれのマスクに対応して式(20)に代わる積和演算方法を備えれば、二輪車や側壁といった車両以外の物体でも同様の処理で検出、追跡することができる。また、複数のマスクとそれぞれに対応した積和演算式、及び処理を複数備えれば、例えば四輪車と二輪車といった複数の物体を同時に検出、追跡することも可能となる。
さらに、本実施の形態では、レーダ手段として高感度且つ広い視野角をもったスキャン式レーザレーダを用いたが、特開2000−180540号公報に記載のような角度分解能の高い車載用電波レーダを用いても、同様の効果を得ることができる。
以上から明らかなように、この発明による車両周辺監視装置は次のような顕著な効果を奏するものである。
すなわち、この発明に係る車両周辺監視装置は、自車両周辺の所定角度にわたり電磁波を掃引照射し、その電磁波が物体に反射した反射波を検出することで周辺物体までの距離と方向を出力するレーダ手段と、レーダ手段の検出結果に基づき、自車両周辺にある物体の自車両に対する相対位置及びその変化量である相対速度を出力する認識手段と、を備え、認識手段は、レーダ手段により得られた検出点データを用いて物体位置を検出し、その物体の位置データである物体位置データを算出する物体検出手段と、過去に検出したそれぞれの物体について、過去の物体位置データから今回検出されるべき位置を推定する物体位置推定手段と、物体位置推定手段の出力する物体の推定位置のまわりに所定のウィンドウを設けるウィンドウ設定手段と、ウィンドウ設定手段により設定したウィンドウ内に含まれる検出点データを用いて今回の物体位置データを求め、過去に検出した物体位置データを用いて、その物体の自車に対する相対速度を算出する物体追跡手段と、を備えるので、上述した従来装置のように、複雑で多くの組み合わせについて条件判定することなく、推定位置周りのウィンドウに含まれる検出点データを用いて、過去の物体に対応する今回の物体位置を求めることにより、非常に簡単な処理で物体追跡を実現することが可能であり、広角化、高感度化により検出点数が増加しても効率よく物体を追跡することができる。加えて、従来装置のように組み合わせを考慮する必要が無く、必要処理量の見積もりが簡単になる。
また、認識手段は、自車情報を用いて、検出点データのそれぞれが停止物を検出したデータである停止検出点データかそれ以外のデータである移動検出点データかを判定する停止検出点判定手段を更に備え、物体追跡手段は、停止検出点判定手段の判定結果を用いて、過去に検出された物体の相対速度と自車速度の差が所定値未満の場合には、ウィンドウ設定手段により設定したウィンドウ内に含まれる停止検出点データを用い、相対速度と自車速度の差が所定値以上の場合には、設定したウィンドウ内に含まれる移動検出点データを用いて、今回の物体位置データを求め、過去に検出した物体位置データを用いて、その物体の自車に対する相対速度を算出するので、物体追跡の前に、各検出点データが停止検出点であるか否かを判定し、その判定結果を基にして停止検出点と移動検出点に分けて物体追跡を行うことにより、誤って停止検出点と移動検出点とを時系列上で同一のものと判断することを防止でき、物体追跡手段における追跡精度を向上させることができる。
さらにまた、物体検出手段は、物体追跡手段における今回の処理で物体位置データの算出に用いた検出点データを使わないので、物体追跡手段で求めた今回の物体位置付近に重複して物体を検出することを防止できる。
また、認識手段は、各検出点データが自車両の進行方向に並んでいる縦列検出点データか否かを判定する縦列検出点判定手段を備え、物体追跡手段は、縦列検出点判定手段の判定結果に基づき、縦列検出点データを用いないので、物体追跡の前に、各検出点データが縦に並んだ検出点(縦列検出点)であるか否かを判定し、物体追跡においてこれら縦列検出点を用いないことにより、誤ってガードレールや側壁のような道路構造物を車両や障害物と1つの物体として検出することを防止でき、物体追跡手段における検出精度を向上させることができる。また、縦列検出点を用いないので、隣接車線を走行する車両の側面と後面とを検出した場合でも、後面を検出した検出点データのみで車両までの距離を算出することにより、物体追跡における位置精度を向上させることができる。
さらに、認識手段は、各検出点データが道路曲線に沿って並んでいる道路曲線上検出点データか否かを判定する道路曲線上検出点判定手段を備え、物体追跡手段は、道路曲線上検出点判定手段の判定結果に基づき、道路曲線上検出点データを用いないので、物体追跡の前に、各検出点データが道路曲線に沿って並んでいる検出点(道路曲線上検出点)か否かを判定し、物体追跡においてこれら道路曲線上検出点を用いないことにより、誤ってガードレールや側壁のような道路構造物を車両や障害物と1つの物体として追跡することを防止でき、物体追跡における位置精度を向上させることができる。
この発明の実施の形態1に係る車両周辺監視装置の構成を表すブロック図である。 この発明の電子制御ユニットの機能的構成を表すブロック図である。 この発明の電子制御ユニットで実行されるソフトウェアの処理の流れを示すフローチャートである。 この発明による過去の検出点データの座標変換における処理の流れを示すフローチャートである。 この発明による検出点データの座標変換を説明するための図である。 この発明の「停止検出点判定処理」の詳細を説明するための図である。 この発明の「縦列検出点判定処理」の詳細を説明するための図である。 この発明の「道路曲線上検出点判定処理」の詳細を説明するための図である。 この発明の「車両追跡処理」の詳細を説明するための図である。 この発明の「移動車両検出処理」の詳細を説明するための図である。 この発明で使用するスキャン式レーザレーダを説明するための図である。 この発明による距離画像を説明するための図である。 この発明の「縦列検出点判定処理」におけるヒストグラム作成について説明するための図である。 この発明の「道路曲線上検出点判定処理」におけるヒストグラム作成について説明するための図である。 この発明によるマスク処理を説明するための図である。 この発明による四輪車以外の物体を検出、追跡するためのマスクの例を示す図である。
符号の説明
100 スキャン式レーザレーダ(レーダ手段)、101 車速センサ、102 ヨーレートセンサ、103 電子制御ユニット(認識手段)、111 検出点データ記憶手段、112 物体検出手段、113 縦列検出点判定手段、114 道路曲線上検出点判定手段、115 物体位置推定手段、116 ウィンドウ設定手段、117 物体追跡手段。

Claims (5)

  1. 自車両周辺の所定角度にわたり電磁波を掃引照射し、その電磁波が物体に反射した反射波を検出することで周辺物体までの距離と方向を出力するレーダ手段と、
    前記レーダ手段の検出結果に基づき、自車両周辺にある物体の自車両に対する相対位置及びその変化量である相対速度を出力する認識手段と、
    を備えた車両周辺監視装置において、
    前記認識手段は、
    前記レーダ手段により得られた検出点データを用いて物体位置を検出し、その物体の位置データである物体位置データを算出する物体検出手段と、
    過去に検出したそれぞれの物体について、過去の物体位置データから今回検出されるべき位置を推定する物体位置推定手段と、
    前記物体位置推定手段の出力する物体の推定位置のまわりに所定のウィンドウを設けるウィンドウ設定手段と、
    前記ウィンドウ設定手段により設定したウィンドウ内に含まれる検出点データを用いて今回の物体位置データを求め、過去に検出した物体位置データを用いて、その物体の自車に対する相対速度を算出する物体追跡手段と、
    を備えたことを特徴とする車両周辺監視装置。
  2. 前記認識手段は、自車情報を用いて、検出点データのそれぞれが停止物を検出したデータである停止検出点データかそれ以外のデータである移動検出点データかを判定する停止検出点判定手段を更に備え、
    前記物体追跡手段は、前記停止検出点判定手段の判定結果を用いて、過去に検出された物体の相対速度と自車速度の差が所定値未満の場合には、前記ウィンドウ設定手段により設定したウィンドウ内に含まれる停止検出点データを用い、前記相対速度と自車速度の差が所定値以上の場合には、設定したウィンドウ内に含まれる移動検出点データを用いて、今回の物体位置データを求め、過去に検出した物体位置データを用いて、その物体の自車に対する相対速度を算出する、
    ことを特徴とする請求項1に記載の車両周辺監視装置。
  3. 前記物体検出手段は、前記物体追跡手段における今回の処理で物体位置データの算出に用いた検出点データを使わないことを特徴とする請求項1又は請求項2に記載の車両周辺監視装置。
  4. 前記認識手段は、各検出点データが自車両の進行方向に並んでいる縦列検出点データか否かを判定する縦列検出点判定手段を備え、
    前記物体追跡手段は、前記縦列検出点判定手段の判定結果に基づき、縦列検出点データを用いないことを特徴とする請求項1から請求項3までの何れか1項に記載の車両周辺監視装置。
  5. 前記認識手段は、各検出点データが道路曲線に沿って並んでいる道路曲線上検出点データか否かを判定する道路曲線上検出点判定手段を備え、
    前記物体追跡手段は、前記道路曲線上検出点判定手段の判定結果に基づき、道路曲線上検出点データを用いないことを特徴とする請求項1から請求項4までの何れか1項に記載の車両周辺監視装置。
JP2004256763A 2004-09-03 2004-09-03 車両周辺監視装置 Expired - Fee Related JP3954053B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004256763A JP3954053B2 (ja) 2004-09-03 2004-09-03 車両周辺監視装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004256763A JP3954053B2 (ja) 2004-09-03 2004-09-03 車両周辺監視装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2000363014A Division JP3645177B2 (ja) 2000-11-29 2000-11-29 車両周辺監視装置

Publications (2)

Publication Number Publication Date
JP2005043375A true JP2005043375A (ja) 2005-02-17
JP3954053B2 JP3954053B2 (ja) 2007-08-08

Family

ID=34270227

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004256763A Expired - Fee Related JP3954053B2 (ja) 2004-09-03 2004-09-03 車両周辺監視装置

Country Status (1)

Country Link
JP (1) JP3954053B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007045299A (ja) * 2005-08-09 2007-02-22 Nissan Motor Co Ltd 走行制御装置
JP2007248346A (ja) * 2006-03-17 2007-09-27 Toyota Motor Corp 車両支援システム
JP2008026997A (ja) * 2006-07-18 2008-02-07 Denso Corp 歩行者認識装置及び歩行者認識方法
EP2071357A1 (en) 2007-12-14 2009-06-17 Hitachi Ltd. Radar apparatus and method of measuring azimuth angle of target
WO2011101988A1 (ja) * 2010-02-22 2011-08-25 トヨタ自動車株式会社 危険度算出装置
JP2012021883A (ja) * 2010-07-14 2012-02-02 Toshiba Corp 車両間隔検出システム、車両間隔検出方法及び車両間隔検出プログラム
JP2013253923A (ja) * 2012-06-08 2013-12-19 Denso Corp 車両判定装置、及び、プログラム
JP2014002012A (ja) * 2012-06-18 2014-01-09 Denso Corp レーダ装置、及び、プログラム
WO2021166893A1 (ja) * 2020-02-21 2021-08-26 株式会社デンソー 物標認識装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007045299A (ja) * 2005-08-09 2007-02-22 Nissan Motor Co Ltd 走行制御装置
JP2007248346A (ja) * 2006-03-17 2007-09-27 Toyota Motor Corp 車両支援システム
JP2008026997A (ja) * 2006-07-18 2008-02-07 Denso Corp 歩行者認識装置及び歩行者認識方法
EP2071357A1 (en) 2007-12-14 2009-06-17 Hitachi Ltd. Radar apparatus and method of measuring azimuth angle of target
US7760134B2 (en) 2007-12-14 2010-07-20 Hitachi, Ltd. Radar apparatus and method of measuring azimuth angle of target
JPWO2011101988A1 (ja) * 2010-02-22 2013-06-17 トヨタ自動車株式会社 危険度算出装置
CN102763146A (zh) * 2010-02-22 2012-10-31 丰田自动车株式会社 危险度计算装置
WO2011101988A1 (ja) * 2010-02-22 2011-08-25 トヨタ自動車株式会社 危険度算出装置
JP5382198B2 (ja) * 2010-02-22 2014-01-08 トヨタ自動車株式会社 危険度算出装置
US9135825B2 (en) 2010-02-22 2015-09-15 Toyota Jidosha Kabushiki Kaisha Risk degree calculation device
JP2012021883A (ja) * 2010-07-14 2012-02-02 Toshiba Corp 車両間隔検出システム、車両間隔検出方法及び車両間隔検出プログラム
JP2013253923A (ja) * 2012-06-08 2013-12-19 Denso Corp 車両判定装置、及び、プログラム
JP2014002012A (ja) * 2012-06-18 2014-01-09 Denso Corp レーダ装置、及び、プログラム
WO2021166893A1 (ja) * 2020-02-21 2021-08-26 株式会社デンソー 物標認識装置
JP2021135512A (ja) * 2020-02-21 2021-09-13 株式会社デンソー 物標認識装置
JP7283417B2 (ja) 2020-02-21 2023-05-30 株式会社デンソー 物標認識装置

Also Published As

Publication number Publication date
JP3954053B2 (ja) 2007-08-08

Similar Documents

Publication Publication Date Title
JP3645177B2 (ja) 車両周辺監視装置
US9934690B2 (en) Object recognition apparatus and vehicle travel controller using same
WO2018105179A1 (ja) 車載用画像処理装置
US11321950B2 (en) Apparatus and method for detecting lane information, and computer-readable recording medium storing computer program programmed to execute same method
JP6450294B2 (ja) 物体検出装置、物体検出方法、及びプログラム
JP5371273B2 (ja) 物体検知装置、周辺監視装置、運転支援システムおよび物体検知方法
US20150336575A1 (en) Collision avoidance with static targets in narrow spaces
JP2008026997A (ja) 歩行者認識装置及び歩行者認識方法
US8885889B2 (en) Parking assist apparatus and parking assist method and parking assist system using the same
JP2001167396A (ja) 車両用前方監視装置
US20210387616A1 (en) In-vehicle sensor system
JP2007310595A (ja) 走行環境認識装置
JP6547785B2 (ja) 物標検出装置
KR101180621B1 (ko) 차량 검출 방법 및 장치
JP2017207973A (ja) 検出装置および検出方法
JP2006012178A (ja) 駐車車両検知方法及び駐車車両検知システム
JP3954053B2 (ja) 車両周辺監視装置
US8031908B2 (en) Object recognizing apparatus including profile shape determining section
CN113376643A (zh) 距离检测方法、装置及电子设备
KR101704635B1 (ko) 레이더 및 영상 래스터 데이터를 이용한 목표물 탐지 방법 및 장치
JP4644590B2 (ja) 周辺車両位置検出装置および周辺車両位置検出方法
JP2015004543A (ja) 車両位置認識装置
JPH05113482A (ja) 車載用追突防止装置
US11906623B1 (en) Velocity estimation using light detection and ranging (LIDAR) system
JP2001215274A (ja) 車両周辺監視装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060425

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070123

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070222

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070404

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070424

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070425

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100511

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110511

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110511

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120511

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees