JP4118111B2 - Dangerous obstacle judgment device - Google Patents

Dangerous obstacle judgment device Download PDF

Info

Publication number
JP4118111B2
JP4118111B2 JP2002271961A JP2002271961A JP4118111B2 JP 4118111 B2 JP4118111 B2 JP 4118111B2 JP 2002271961 A JP2002271961 A JP 2002271961A JP 2002271961 A JP2002271961 A JP 2002271961A JP 4118111 B2 JP4118111 B2 JP 4118111B2
Authority
JP
Japan
Prior art keywords
vehicle
obstacle
host vehicle
distance
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2002271961A
Other languages
Japanese (ja)
Other versions
JP2004106701A (en
Inventor
義人 堀
正勝 野中
一矢 渡辺
匡彦 坂部
啓司 葛谷
健次 三浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Toyota Motor Corp
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Toyota Motor Corp, Aisin Corp filed Critical Aisin Seiki Co Ltd
Priority to JP2002271961A priority Critical patent/JP4118111B2/en
Publication of JP2004106701A publication Critical patent/JP2004106701A/en
Application granted granted Critical
Publication of JP4118111B2 publication Critical patent/JP4118111B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Regulating Braking Force (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、危険障害物判定装置に係り、特に、車両進行方向に存在する対象物が自車両にとって危険な障害物であるか否かを判定するうえで好適な危険障害物判定装置に関する。
【0002】
【従来の技術】
従来より、自車両に先行する先行車との追突の危険性を判断する危険判定装置が知られている(例えば、特許文献1参照)。この危険判定装置は、自車両と先行車との車間距離および相対速度並びに自車速に基づいて先行車との追突の危険性を判断する。具体的には、自車速が小さいほど追突の危険性が小さいと判断する。そして、追突の危険性が小さい場合は運転者に対して警報を発令するタイミングを遅らせ或いは警報発令を行わない。従って、上記従来の危険判定装置によれば、渋滞中に運転者が先行車との車間距離を詰めたい場合や他車が自車両の前方に割り込み進入した場合等に過剰に警報発令が行われるのを防止することが可能となる。
【0003】
【特許文献1】
特開平8−36696号公報。
【0004】
【発明が解決しようとする課題】
しかしながら、上記特許文献1に開示される装置の如く車速が小さいときに警報の発令タイミングを遅延等させる構成では、車速の小さい車両発進時にも同様に、車速が大きい場合と比較して追突の危険性が小さいと判断され、警報の発令タイミングが遅れ或いは警報が行われないこととなる。このため、上記特許文献1に開示される装置では、発進時に運転者の前方不注意やブレーキペダルとアクセルペダルとの踏み間違い等が生じた際に運転者に対して警報による注意喚起が行われないことがあり、自車両が不意に先行車等に追突する事態が生じ得る。
【0005】
本発明は、上述の点に鑑みてなされたものであり、車両発進時において適切に自車両にとって危険な障害物を判定することが可能な危険障害物判定装置を提供することを目的とする。
【0006】
【課題を解決するための手段】

【0008】
上記の目的は、車両進行方向に存在する対象物との距離を測定する測距手段を用いて前記対象物が自車両にとって危険な障害物であるか否かを判定する障害物判定手段と、前記障害物判定手段による判定を無効とすべく車両運転者によりオン操作される無効スイッチ手段と、を備える危険障害物判定装置であって、
自車両が発進状態にあるか否かを判別する発進判別手段と、
前記無効スイッチ手段前記障害物判定手段による判定無効とすべくオン操作されている状況下においても、前記発進判別手段により自車両が発進状態にあると判別される場合には、該障害物判定手段による判定を有効とする強制有効切替手段と、
を備える危険障害物判定装置により達成される。
【0009】
本発明において、障害物判定手段による障害物の判定は、通常、無効スイッチ手段が作動している場合には無効とされる。この場合には、車両進行方向に存在する対象物が危険な障害物として扱われることはない。一方、かかる状況下においても車両が発進状態にある場合には、障害物判定手段による障害物判定が有効とされる。対象物との距離が所定値を超える状態から所定値以下の状態へ小さくなる場合は、自車両が対象物に接近する傾向にありかつその距離が小さいので、自車両が発進するうえでその対象物は障害となり得る。従って、車両発進時において対象物との距離が所定値を超える状態から所定値以下の状態へ小さくなったとき、該対象物が自車両にとって危険な障害物であると判定することとすれば、無効スイッチが作動する場合にも車両発進時には適切に自車両にとって危険な障害物を判定し、その後の措置を講ずることができる。
【0010】
この場合、前記障害物判定手段は、前記発進判別手段により自車両が発進状態にあると判別される状況下において、前記測距手段により測定される前記距離が所定値を超える状態から該所定値以下の状態へ変化したとき、該対象物が自車両にとって危険な障害物であると判定することとしてもよい。
【0013】
更に、上記した危険障害物判定装置において、前記障害物判定手段は、前記発進判別手段により自車両が発進状態にあると判別される状況下において、前記測距手段により測定される前記距離が前記所定値以下であり、かつ、前記距離が時間と共に小さくなる傾向にあるとき、該対象物が自車両にとって危険な障害物であると判定することとしてもよい
【0014】
本発明において、車両が発進状態にある場合は、測距手段による対象物との距離が所定値以下でありかつ時間と共に小さくなる傾向にあるとき、該対象物が自車両にとって危険な障害物であると判定される。自車両と対象物との距離が時間と共に小さくなる傾向にある場合は、自車両が対象物に接近する傾向にあるので、その対象物との距離が所定値以下で小さいときには、自車両が発進するうえでその対象物は障害となり得る。従って、本発明によれば、車両発進時において適切に自車両にとって危険な障害物を判定することができる。
【0015】
尚、上記した危険障害物判定装置において、車両進行方向を撮影する撮像手段を備え、前記測距手段は、レーダ装置を用いて前記距離を測定すると共に、前記障害物判定手段は、また、前記発進判別手段により自車両が発進状態にないと判別される状況下においては、前記撮像手段の撮影した画像から抽出される対象物までの距離又は走行路の位置、及び、前記測距手段により測定された前記距離に基づいて、該対象物が自車両にとって危険な障害物であるか否かを判定することとしてもよい。
【0016】
これらの場合、上記した危険障害物判定装置において、前記障害物判定手段により前記対象物が自車両にとって危険な障害物であると判定された場合に運転者に対して警報を発する警報手段を備えることとすれば、自車両に生じた危険な状況を運転者に知らせることができる。
【0017】
また、上記した危険障害物判定装置において、前記障害物判定手段により前記対象物が自車両にとって危険な障害物であると判定された場合に自車両を強制制動させる自動制動手段を備えることとすれば、自車両に生じた危険な状況を制動により抑制・回避することができる。
【0018】
ところで、上記した危険障害物判定装置において、前記発進判別手段は、自車両が停止状態から所定車速に達するまでは自車両が発進状態にあると判別することとしてもよい。
【0019】
また、上記した危険障害物判定装置において、前記発進判別手段は、自車両が停止状態と判断された後、車両停止が解除されてから前記測距手段により測距される前記距離が時間と共に小さくなる傾向にあるときは自車両が発進状態にあると判別することとしてもよい。
【0020】
更に、上記した危険障害物判定装置において、前記発進判別手段は、自車両が停止する状況において変速機が駆動レンジにありかつブレーキの解除操作又はアクセルの実行操作が行われた後、所定時間が経過するまでは自車両が発進状態にあると判別することとしてもよい。
【0021】
【発明の実施の形態】
図1は、本発明の一実施例である車両に搭載される危険障害物判定装置10のシステム構成図を示す。本実施例の危険障害物判定装置10は、電子制御ユニット(以下、ECUと称す)12を備えており、ECU12により車両の進行方向に存在する他車両等の障害物を判定する。
【0022】
ECU12には、画像処理装置14が接続されている。画像処理装置14には、車室内のフロントウインドシールドガラス上部に配置されたカメラ16が接続されている。カメラ16は、ステレオタイプ型のカメラであり、少なくとも2台のカメラから構成されている。カメラ16は、配設部位から車両前方へ向けて所定角度に広がる所定の撮影可能領域を有し、車両前方の道路状況を撮影する。画像処理装置14は、カメラ16の撮影した画像を処理することにより、少なくとも2台のカメラの画角がオーバラップする領域(以下、画像処理可能領域と称す)に存在する立体対象物、および、走行路の白線・黄線等を抽出し、前方の障害物および走行車線領域を認識する。画像処理装置14は、認識した立体対象物までの距離や走行路の位置等の位置情報をECU12に供給する。ECU12は、画像処理装置14からの情報に基づいて車両前方に存在する立体対象物までの距離および走行路の位置を把握する。
【0023】
ECU12には、また、ミリ波レーダにより構成されるレーダ装置18が接続されている。レーダ装置18は、車体前部のフロントグリル近傍に鉛直方向に延びる回転軸を中心として回動することができるように配設されたレーダアンテナを有している。レーダアンテナは、指向性を有するアンテナであり、所定のビーム角の広がりをもって信号の送受信を行う。レーダ装置18は、回転軸を中心にしてレーダアンテナを回動させながら信号を送受信し、車両前方の検出可能領域内に存在する立体対象物を検知する。
【0024】
レーダ装置18には、ECU12の把握した走行路の位置情報および車両のヨーレート等から把握した車体幅の幅を有する車両推定進行軌跡の位置情報が供給される。レーダ装置18は、供給された車両の走行路または推定進行軌跡近傍の対象物のみを検知対象物として選別し、それ以外の対象物を検知対象物から除去する機能を有している。レーダ装置18は、検知した対象物のうち走行路または推定進行軌跡の近傍に位置する対象物の自車両に対する位置情報および相対速度情報をECU12に供給・出力する。ECU12は、レーダ装置18からの情報に基づいて立体対象物の位置および自車両と立体対象物との相対速度を把握する。
【0025】
ECU12には、速度センサ20が接続されている。速度センサ20は、車両の速度に応じた周期でパルス信号を発生する。速度センサ20の出力信号はECU12に供給されている。ECU12は、速度センサ20の出力信号に基づいて車速Vを検出する。
【0026】
ECU12には、また、情報・警報表示装置22およびブレーキ制御ECU24が接続されている。情報・警報表示装置22は、車両運転者に対して注意を喚起すると共に、警報を与えるスピーカ及びディスプレイを有している。また、ブレーキ制御ECU24には、車両に制動力を発生させるブレーキアクチュエータ26が接続されている。ブレーキ制御ECU24は、通常は、車両運転者のブレーキ操作に従ってブレーキアクチュエータ26を駆動する。
【0027】
ECU12は、自車両とカメラ16やレーダ装置18を用いて把握した対象物との関係に基づいて後に詳述する規則に従ってその対象物が自車両にとって危険な障害物であると判定する場合に、スピーカ及びディスプレイ、又は、ブレーキアクチュエータ26が駆動されるように情報・警報表示装置22およびブレーキ制御ECU24に対して駆動指令を行う。情報・警報表示装置22は、ECU12からの指令に従ってスピーカ及びディスプレイを駆動する。また、ブレーキ制御ECU24は、車両運転者のブレーキ操作とは別に、ECU12からの指令に従ってブレーキアクチュエータ26を駆動する。
【0028】
ECU12には、更に、車両運転者により操作可能に車室内に配設された無効スイッチ28が接続されている。無効スイッチ28は、ECU12による障害物判定自体を中止し、或いは、ECU12による障害物判定は許容される一方で情報・警報表示装置22によるスピーカやディスプレイの駆動及びブレーキアクチュエータ26の駆動を中止するためのスイッチである。ECU12は、無効スイッチ28のオン・オフ状態に応じて、障害物判定を実行・中止すると共に、スピーカやディスプレイ,ブレーキアクチュエータ26の駆動を実行・中止する。
【0029】
以下、本実施例の危険障害物判定装置10の動作について説明する。
【0030】
本実施例において、ECU12は、無効スイッチ28がオフ状態にある場合には、まず、画像処理装置14からの画像情報および車両推定進行軌跡に基づいて推定進行軌跡上に位置する対象物および走行路上に位置する対象物を抽出し、その対象物を制御物標として把握する。尚、かかる条件を満たす対象物が複数存在する場合には、それらの対象物のうち最も自車両に近い対象物を制御物標として把握する。
【0031】
次に、ECU12は、制御物標として把握した対象物が自車両から所定の距離内に位置する等、車両の走行に影響を与えるおそれのある危険な障害物であるか否かを判別する。カメラ16を用いて把握した対象物の位置情報とレーダ装置18を用いた対象物の位置情報とを融合させることにより自車両の障害物を検知し、更に、レーダ装置18等から得られた情報を基に危険な障害物を判定する。そして、その判定した危険度の軽重に応じて駆動指令を情報・警報表示装置22およびブレーキ制御ECU24に対して行うことにより、車両運転者に対して警告を与え、自車両を強制制動させる。
【0032】
一方、ECU12は、無効スイッチ28がオン状態にある場合には、原則として、無効スイッチ28がオフ状態にある場合と異なり、上記した車両前方に存在する対象物の抽出を行わず、車両に生じている危険度の判定を行わないと共に、危険度の軽重に応じた駆動指令の供給を情報・警報表示装置22やブレーキ制御ECU24に対して行わない。
【0033】
すなわち、無効スイッチ28がオフに操作されている場合は、運転者に対する注意喚起のためにスピーカやディスプレイが駆動され又は自動制動のためにブレーキアクチュエータ26が駆動され得る一方、無効スイッチ28がオンに操作されている場合は、スピーカやディスプレイ,ブレーキアクチュエータ26が駆動されることはない。従って、本実施例の危険障害物判定装置10においては無効スイッチ28のオフ操作を行うこととすれば、カメラ16およびレーダ装置18の双方を用いて精度よく車両に生じている危険度判定を行うことが可能となると共に、一方、無効スイッチ28のオン操作を行うこととすれば、運転者の操作によりスピーカやディスプレイ,ブレーキアクチュエータ26の駆動が禁止されるので、運転者の意思によりシステムの機能を禁止することが可能となる。
【0034】
図2は、本実施例におけるカメラ16の認知可能領域とレーダ装置18の検知可能領域との関係を模式的に表した図を示す。上記の如く、本実施例において、カメラ16は、車両の走行する道路面から見て高所となる車室内のフロントウインドシールドガラス上部に配設されている。このため、カメラ16においては、車両のボンネットやフード等の存在に起因して車体直前に対象物を認知できない死角領域(図2において梨地で示す領域;例えば3m程度)が生ずる。すなわち、自車両の車体直前の死角領域に対象物が位置する場合には、カメラ16を用いてその対象物を認識することは不可能である。また、画像処理装置14は、2台のカメラ16の画角がオーバラップする画像処理可能領域に存在する対象物を認識するので、その画像処理可能領域の限界位置よりも手前の領域に位置する対象物を認識することは不可能である。従って、これらの場合には、カメラ16およびレーダ装置18の双方を用いた車両における危険度判定を行うことができない。
【0035】
以下、画像処理可能領域の限界位置が車両先端から3mを超える位置であって死角領域に入らない場合には、その画像処理可能領域の限界位置と車両先端との距離を、また、画像処理可能領域の限界位置が車両先端から3m以下の位置であって死角領域に入る場合には、その死角領域の限界位置と車両先端との距離(尚、対象物が画像処理可能領域の限界位置を超える位置に存在しかつ死角領域から上方に存在する場合には、画像処理可能領域の限界位置と車両先端との距離)を、カメラ16の認知限界距離(図2において斜線で示す認知可能領域の下限値)と称す。尚、カメラ16の認知限界距離は、車両形状、カメラ16の配設位置、認知対象の高さを規定することにより自ずと定まるものである。また、図2には、画像処理可能領域の限界位置が車両先端から3m以下の位置であって死角領域に入る場合のみを示している。
【0036】
ここで、車両走行中に車両が対象物をカメラ16を用いて認知していた状態からその対象物がカメラ16の認知限界距離以下の位置へ進入することにより認知不可能な状態になった場合には、その移行時点でその対象物までの距離等がECU12に把握され得るので、その後は自車速SPD等の車両の走行状態等を用いることでその対象物までの距離を推定することができ、車両の危険度判定を継続することは可能である。
【0037】
しかしながら、かかる手法では、対象物が認知されている状態から認知されなくなることが必要であるので、先行車両等が自車両のカメラ16の認知限界距離以下に相対的に進入して停止した後に自車両が発進する場合には、カメラ16を用いて先行車両等の対象物までの距離を把握できないおそれがある。この点、車両発進時においては、カメラ16を用いて車両の危険度判定を行うことは不可能である。
【0038】
一方、上記の如く、本実施例において、レーダ装置18は、車体前部のフロントグリル近傍に配設されたレーダアンテナを有している。このため、レーダ装置18においては、車体直前に死角領域がほとんど生じない。従って、レーダ装置18を用いてカメラ16の死角領域や画像処理可能領域の限界位置よりも手前に位置する対象物を認識することは可能であり、その対象物に対する車両の危険度判定を行うことは可能である。そこで、本実施例の危険障害物判定装置10は、車両発進時において、レーダ装置18を用いて対象物を認識し、その認識結果に基づいてその対象物が自車両にとって危険な障害物であるか否かの判定を行うこととしている。
【0039】
図3は、上記の機能を実現すべく、本実施例においてECU12が実行する制御ルーチンの一例のフローチャートを示す。図3に示すルーチンは、その処理が終了するごとに繰り返し起動されるルーチンである。図3に示すルーチンが起動されると、まずステップ100の処理が実行される。
【0040】
ステップ100では、自車両が発進状態にあるか否かが判別される。車両停止が解除されてから車両が所定車速(例えば6km/h)に達するまでの期間中は、車両が発進状態にあると判断できる。従って、具体的には、▲1▼車両停止の継続する時間が例えば所定時間T0秒以上であるか否か、及び、▲2▼上記した▲1▼の条件が成立した後、現時点が車両停止が解除されてから車両が所定車速(例えば6km/h)に達するまでの期間中であるか否かが判別される。
【0041】
速度センサ20による車速検出が電磁ピックアップ方式で行われる場合、車両の実際の車速が例えば3km/h未満の低車速であるとその検出が困難である。従って、本ステップ100の処理において、車両停止は、速度センサ20による車速検出が不能となる程度に車速が低下した場合(例えば3km/h未満となった場合)に成立し、一方、車両停止の解除は、速度センサ20による車速検出が可能となる程度に車速が上昇した場合(例えば3km/h以上となった場合)に成立する。尚、所定時間T0は、通常、速度センサ20による車速検出が不能となる程度に車速が低下した後に車両が実際に停止すると判断される時間であり、例えば2秒に設定されている。
【0042】
本ステップ100において、上記▲1▼および▲2▼の条件が共に成立することにより自車両が発進状態にあると判別された場合は、次にステップ102の処理が実行される。一方、上記▲1▼および▲2▼の条件の何れかが成立しないことにより自車両が発進状態にないと判別された場合は、以後、何ら処理が進められることなく今回のルーチンは終了される。
【0043】
ステップ102では、レーダ装置18による情報に基づいて車両前方の推定進行軌跡内に対象物が存在するか否かが判別される。その結果、レーダ装置18により車両前方に対象物が存在しないと判別された場合は、今回のルーチンは終了される。一方、レーダ装置18により車両前方に対象物が存在すると判別された場合は、カメラ16が認知できない認知限界距離以下の領域を含めた車両前方に対象物が存在するので、次にステップ104の処理が実行される。ステップ104では、上記ステップ102において車両前方に存在すると判別された対象物までの距離Dを制御パラメータとして用いる処理が実行される。
【0044】
ステップ106では、上記ステップ104における対象物までの距離Dの時間変化から算出される自車両を基準とした当該対象物の速度(相対速度)が負値であるか否か、すなわち、距離Dが時間と共に小さくなる傾向にあり、自車両が当該対象物に接近しているか否かが判別される。その結果、自車両が対象物に接近していないと判別される場合は、今回のルーチンは終了される。一方、自車両が対象物に接近していると判別される場合は、次にステップ108の処理が実行される。
【0045】
ステップ108では、上記ステップ104における対象物までの距離Dが所定距離D0以下であるか否かが判別される。尚、所定距離D0は、カメラ16を用いて対象物を認知できるか否かの境界値としての認知限界距離であり、例えば2mに設定されている。その結果、D≦D0が成立しない場合は、カメラ16を用いた対象物検知が可能であるので、通常どおり画像処理装置14による情報とレーダ装置18による情報とを融合させることにより障害物判定を行うこととすればよい。従って、かかる判別がなされた場合は、今回のルーチンは終了される。一方、D≦D0が成立する場合は、カメラ16を用いた対象物認知が不可能であるので、レーダ装置18による情報のみに基づいて障害物判定を行う必要がある。従って、かかる判別がなされた場合は、次にステップ112の処理が実行される。
【0046】
ステップ112では、車両前方に存在する対象物が自車両にとって少なくとも軽度に危険な障害物であるか否か、具体的には、レーダ装置18による対象物までの距離Dが第1の所定距離D1以下であるか否かが判別される。尚、第1の所定距離D1は、対象物が自車両にとって軽度に危険な障害物であると判断できる最長距離であり、例えば1.5mに設定されている。その結果、D≦D1が成立しない場合は、対象物が自車両から第1の所定距離D1以内に存在しないと判断できるので、自車両に何ら危険が生じていないと判断できる。従って、かかる判別がなされた場合は、今回のルーチンは終了される。一方、D≦D1が成立すると判別された場合は、自車両に少なくとも軽度の危険が生じていると判断できるので、次にステップ114の処理が実行される。
【0047】
ステップ114では、情報・警報表示装置22に対して駆動指令を行うことにより、スピーカ及びディスプレイを用いて運転者に軽度の危険が生じていることを知らせる処理が開始される。本ステップ114の処理が実行されると、以後、情報・警報表示装置22のスピーカ及びディスプレイが駆動し、運転者に対して警報が行われる。
【0048】
ステップ116では、車両前方に存在する対象物が自車両にとって重度に危険な障害物であるか否か、具体的には、レーダ装置18による対象物までの距離Dが第2の所定距離D2以下であるか否かが判別される。尚、第2の所定距離D2は、対象物が自車両にとって重度に危険な障害物であると判断できる最長距離であって、車両が発進状態にある際に強制制動を行えばその障害物に接触することなく停止できると判断できる距離であり、上記した第1の所定距離D1よりも小さな例えば0.5mに設定されている。その結果、D≦D2が成立しない場合は、対象物が自車両から第2の所定距離D2を超えかつ第1の所定距離D1以下の位置に存在すると判断できるので、自車両に重度の危険は生じていないと判断できる。従って、かかる判別がなされた場合は、上記ステップ104以降の処理が実行される。一方、D≦D2が成立すると判別された場合は、自車両に重度の危険が生じていると判断できるので、次にステップ118の処理が実行される。
【0049】
ステップ118では、ブレーキ制御ECU24に対して駆動指令を行うことにより、ブレーキアクチュエータ26により車両を最大減速度で強制的に介入制動させる処理が開始される。本ステップ118の処理が実行されると、以後、ブレーキ制御ECU24によりブレーキアクチュエータ26が駆動され、車両が自動制動されることとなる。本ステップ118の処理が終了すると、次にステップ120の処理が実行される。
【0050】
ステップ120では、運転者によるブレーキ操作或いはステップ118の実行による自動介入制動により自車両が停止したか否かが判別される。その結果、未だ自車両が停止していないと判別された場合は、上記ステップ104以降の処理が実行される。一方、自車両が停止したと判別された場合は、今回のルーチンが終了される。
【0051】
上記図3に示すルーチンによれば、車両発進時、対象物までの距離Dがカメラ16の認知限界距離(=所定距離D0)以下である場合は、レーダ装置18を用いて検出される対象物までの距離情報のみに基づいて車両の危険判定を行うことができる。その結果、車両が発進する状況下、自車両と対象物とが相対的に接近する状態にあり、すなわち、両者間の距離Dが時間の経過に伴って小さくなっており、かつ、両者間の距離Dが第1の所定距離D1以下である場合には、その対象物が自車両にとって危険な障害物であると判定する。具体的には、両者間の距離Dが比較的大きい場合には、その対象物が自車両にとって軽度に危険な障害物であると判定する。また、上記した距離Dが比較的小さい場合には、その対象物が自車両にとって重度に危険な障害物であると判定する。
【0052】
自車両と対象物との距離Dが時間の経過に伴って小さくなっており、かつ、両者間の距離Dが第1の所定距離D1以下である場合は、自車両が対象物に接近する傾向にありかつその距離が小さいので、自車両が走行するうえでその対象物は障害となる。このため、本実施例によれば、対象物がカメラ16の認知限界距離以下に相対的に進入した状態で自車両が停止した後、自車両の運転者が対象物たる先行車両が発進したと思い込んで不注意で自車両を発進させた場合やアクセルペダルをブレーキペダルと間違えて踏み込むことにより自車両を誤って発進させてしまった場合等においても、カメラ16では認知不可能な認知限界距離以下に位置する対象物をレーダ装置18を用いて検知することができ、レーダ装置18のみを用いて自車両にとって危険な障害物を判定することができる。従って、本実施例の危険障害物判定装置10によれば、車両発進時において適切に自車両にとって危険な障害物の判定を行うことが可能となっている。
【0053】
本実施例において、対象物が自車両にとって危険な障害物であると判定されると、その後、その危険度が軽度である場合には運転者に対して注意喚起すべくスピーカ及びディスプレイを用いた警報が発せられ、また、その危険度が重度である場合には自車両を自動停止させるべくブレーキアクチュエータ26を用いた強制的な介入制動が行われる。このため、本実施例によれば、車両発進時に、軽度の危険が生じた際は車両運転者に対してその危険を知らせることができると共に、重度の危険が生じた際は運転者が障害物との接触回避操作を行うことができなかった場合にもその接触等を回避することができ、或いは、衝突等による衝撃を軽減することができるので、車両に生じた危険度に応じた適切な措置を講ずることが可能となっている。
【0054】
尚、本実施例において、上記図3に示すルーチンは、無効スイッチ28がオンに操作されている場合、すなわち、車両運転者がECU12による障害物判定自体を中止させ或いは情報・警報表示装置22によるスピーカやディスプレイの駆動及びブレーキアクチュエータ26の駆動を中止させている場合にも実行される。すなわち、無効スイッチ28がオンに操作されていても、車両発進時にはレーダ装置18のみを用いた障害物判定が行われると共に、スピーカやディスプレイ,ブレーキアクチュエータの駆動が行われる。
【0055】
従って、本実施例によれば、車両発進時においては無効スイッチ28のオン・オフ状態にかかわらず、車両に生じている危険をレーダ装置18を用いて適切に判定することができ、これにより、危険な障害物に対する措置を講ずることができる。このため、本実施例の危険障害物判定装置10によれば、無効スイッチ28がオン状態にあっても、車両発進時には運転者に対して車両に生じた危険を知らせることができ、運転者が障害物との接触回避操作を行うことができなかった場合にもその接触等を回避し、或いは、衝突等による衝撃を軽減することが可能となっている。
【0056】
ところで、上記の実施例においては、レーダ装置18が特許請求の範囲に記載した「測距手段」に、無効スイッチ28が特許請求の範囲に記載した「無効スイッチ手段」に、カメラ16及び画像処理装置14が特許請求の範囲に記載した「撮像手段」に、それぞれ相当している。
【0057】
また、上記の実施例においては、ECU12が、上記図3に示すステップ100の処理を実行することにより特許請求の範囲に記載した「発進判別手段」が、ステップ106及び108の処理を実行することにより特許請求の範囲に記載した「障害物判定手段」が、無効スイッチ28がオンとされている状況下において車両が発進する際にはレーダ装置18を用いた車両の危険判定を実行することにより特許請求の範囲に記載した「強制有効切替手段」が、上記ステップ114の処理を実行することにより特許請求の範囲に記載した「警報手段」が、上記ステップ118の処理を実行することにより特許請求の範囲に記載した「自動制動手段」が、それぞれ実現されている。
【0058】
尚、上記の実施例においては、車両が発進状態にあるか否かの判別を、▲1▼車両停止の継続時間が所定時間T0秒以上であるか否か、及び、▲2▼かかる▲1▼の条件が成立した後、現時点が、車両停止が解除されてから車両が所定車速(例えば6km/h)に達するまでの期間中であるか否かに基づいて行うこととしているが、本発明はこれに限定されるものではなく、上記▲1▼の条件が成立した後、自車両と対象物までの距離Dの時間変化から算出される自車両を基準とした当該対象物の相対速度が負値であるか否かに基づいて行うこととしてもよい。車両が発進すると、仮に前方の障害物が停止状態にあれば、両者の距離は小さくなり両者は接近する。すなわち、車両停止状態から、対象物との距離が小さくなり自車両が対象物に接近する場合には、車両が発進し始めたと判断できる。従って、上記した判別手法においても、車両が発進状態にあるか否かを判別できる。尚、この場合には、車両が発進状態にあるか否かを判別する前に、車両前方に存在する対象物を検知しておくことが必要であるが、車両の発進状態を判別するうえで速度センサ20の出力信号を用いることは不要であるので、速度センサ20を用いることなく車両が発進状態にあるか否かを判別できることとなる。
【0059】
また、車両が発進状態にあるか否かの判別を、車両停車状態において変速機がパーキングレンジ及びニュートラルレンジ以外の前進や後退のドライブレンジにありかつ運転者によるブレーキの解除操作又はアクセルの実行操作が行われた後、所定時間(例えば5秒)が経過するまでの期間中であるか否かに基づいて行うこととしてもよい。車両の変速機がドライブレンジにあり、かつ、ブレーキ解除操作またはアクセル実行操作が車両運転者により行われると、車両は走行する。このため、車両停止状態から変速機がドライブレンジにある状態でブレーキ解除操作等が行われれば、或いは、ブレーキ解除操作等が行われている状態で変速機がドライブレンジに移行すれば、車両は発進し始める。従って、かかる判別手法においても、車両が発進状態にあるか否かを判別できる。尚、この場合にも、車両の発進状態を判別するうえで速度センサ20の出力信号を用いることは不要である。
【0060】
また、上記の実施例において、レーダ装置18はミリ波レーダにより構成されるが、不感帯領域が存在しないレーダであり、かつ、カメラ16の認知限界距離以下においてゴーストによる誤検知の生ずることのないレーダであることが望ましい。更に、上記の実施例においては、ミリ波レーダによるレーダ装置18を用いているが、レーザレーダを用いた構成に適用することも可能である。
【0061】
【発明の効果】

【0062】
発明によれば、無効スイッチが作動する場合にも車両発進時には適切に自車両にとって危険な障害物を判定することができ、その結果、車両発進時には無効スイッチの作動有無にかかわらず危険な障害物に対する措置を講ずることができる。
【0063】
請求項記載の発明によれば、運転者に対して警報を発することで、自車両に生じた危険な状況を運転者に知らせることができる。
【0064】
また、請求項記載の発明によれば、車両を強制制動させることで、自車両に生じた危険な状況を抑制・回避することができる。
【図面の簡単な説明】
【図1】本発明の一実施例である車両に搭載される危険障害物判定装置のシステム構成図である。
【図2】本実施例におけるカメラの認知可能領域とレーダ装置の検知可能領域との関係を模式的に表した図である。
【図3】本実施例において、車両発進時に障害物判定を行うべく実行される制御ルーチンのフローチャートである。
【符号の説明】
10 危険障害物判定装置
12 電子制御ユニット(ECU)
14 画像処理装置
16 カメラ
18 レーダ装置
20 速度センサ
22 情報・警報表示装置
24 ブレーキ制御ECU
26 ブレーキアクチュエータ
28 無効スイッチ
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a dangerous obstacle determination apparatus, and more particularly to a dangerous obstacle determination apparatus suitable for determining whether or not an object existing in the vehicle traveling direction is a dangerous obstacle for the host vehicle.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, there has been known a risk determination device that determines the risk of a rear-end collision with a preceding vehicle preceding the host vehicle (see, for example, Patent Document 1). This risk determination device determines the risk of a rear-end collision with the preceding vehicle based on the inter-vehicle distance and relative speed between the own vehicle and the preceding vehicle and the own vehicle speed. Specifically, it is determined that the risk of rear-end collision is smaller as the vehicle speed is smaller. When the risk of rear-end collision is small, the timing for issuing a warning to the driver is delayed or no warning is issued. Therefore, according to the above-described conventional risk determination device, an excessive warning is issued when the driver wants to close the distance between the preceding vehicle and the other vehicle is interrupted and entered in front of the host vehicle during a traffic jam. Can be prevented.
[0003]
[Patent Document 1]
JP-A-8-36696.
[0004]
[Problems to be solved by the invention]
However, in the configuration in which the alarm timing is delayed when the vehicle speed is low as in the device disclosed in Patent Document 1 described above, the risk of rear-end collision is also greater when the vehicle starts at a low vehicle speed than when the vehicle speed is high. Therefore, it is determined that the performance is small, and the alarm issuing timing is delayed or the alarm is not performed. For this reason, in the device disclosed in the above-mentioned Patent Document 1, a warning is given to the driver when the driver is careless forward or when the brake pedal and the accelerator pedal are mistakenly pressed. In some cases, the vehicle may unexpectedly collide with a preceding vehicle.
[0005]
The present invention has been made in view of the above-described points, and an object of the present invention is to provide a dangerous obstacle determination device that can appropriately determine a dangerous obstacle for the host vehicle when the vehicle starts.
[0006]
[Means for Solving the Problems]

[0008]
The above purpose is ,car Obstacle determining means for determining whether or not the object is a dangerous obstacle for the host vehicle using distance measuring means for measuring the distance to the object existing in both traveling directions, and the obstacle determining means Disable judgment by Is turned on by the vehicle driver. A dangerous obstacle judging device comprising:
Start determination means for determining whether or not the host vehicle is in a start state;
Invalid switch means But Determination by the obstacle determination means The Invalid and As much as possible Even if the vehicle is determined to be in a start state by the start determination unit even under the situation being performed, a forced effective switching unit that makes the determination by the obstacle determination unit valid,
This is achieved by a dangerous obstacle determination device comprising:
[0009]
In the present invention, the obstacle determination by the obstacle determination means is normally invalidated when the invalid switch means is operating. In this case, an object existing in the vehicle traveling direction is not handled as a dangerous obstacle. On the other hand, when the vehicle is in a starting state even under such circumstances, the obstacle determination by the obstacle determination means is valid. When the distance from the object decreases from a state exceeding the predetermined value to a state below the predetermined value, the vehicle tends to approach the object and the distance is small. Things can be an obstacle. Therefore, when the distance from the object is reduced from a state exceeding a predetermined value to a state below a predetermined value when the vehicle starts, it is determined that the object is a dangerous obstacle for the host vehicle. Even when the invalid switch is activated, it is possible to appropriately determine an obstacle that is dangerous for the host vehicle when the vehicle starts, and to take subsequent measures.
[0010]
in this case ,in front The obstacle determining means is a state in which the distance measured by the distance measuring means exceeds a predetermined value and is less than or equal to the predetermined value in a situation where the start determining means determines that the host vehicle is in a starting state. It may be determined that the object is a dangerous obstacle for the host vehicle when the vehicle changes.
[0013]
In addition, the above did In the dangerous obstacle determination device, the obstacle determination means is configured such that the distance measured by the distance measurement means is less than or equal to the predetermined value in a situation where the start determination means determines that the host vehicle is in a start state. And when the distance tends to decrease with time, the object is determined to be a dangerous obstacle for the host vehicle. May be .
[0014]
In the present invention, when the vehicle is in a starting state, when the distance from the object by the distance measuring means is less than a predetermined value and tends to decrease with time, the object is an obstacle that is dangerous for the host vehicle. It is determined that there is. When the distance between the host vehicle and the target object tends to decrease with time, the host vehicle tends to approach the target object, so when the distance from the target object is smaller than a predetermined value, the host vehicle starts. In doing so, the object can be an obstacle. Therefore, according to the present invention, it is possible to appropriately determine an obstacle that is dangerous for the host vehicle when the vehicle starts.
[0015]
still, Above In the dangerous obstacle judging device, An image pickup unit that captures a vehicle traveling direction; and the distance measuring unit measures the distance using a radar device; The obstacle determination means may be configured to capture the imaging means in a situation where the start determination means determines that the host vehicle is not in a start state. The distance to the object extracted from the captured image or the position of the travel path, and the distance measured by the distance measuring means Based on the above, it may be determined whether or not the object is a dangerous obstacle for the host vehicle.
[0016]
In these cases, Above In the dangerous obstacle determination device, if the obstacle determination means includes alarm means for issuing an alarm to the driver when the object is determined to be a dangerous obstacle for the host vehicle, The driver can be informed of the dangerous situation that has occurred in the vehicle.
[0017]
Also, Above In the dangerous obstacle determination device, if the obstacle determination means includes an automatic braking means for forcibly braking the own vehicle when the object is determined to be a dangerous obstacle for the own vehicle, It is possible to suppress / avoid dangerous situations caused by braking.
[0018]
by the way, Above In the dangerous obstacle determination device, the start determination unit may determine that the host vehicle is in a start state until the host vehicle reaches a predetermined vehicle speed from a stopped state.
[0019]
Further, in the above-described dangerous obstacle determination device, the start determination unit may be configured such that the host vehicle is determined to be stopped. After the vehicle stop is released When the distance measured by the distance measuring means tends to decrease with time, it may be determined that the host vehicle is in a starting state.
[0020]
Furthermore, Above In the dangerous obstacle determination device, the start determination unit is configured to wait until a predetermined time elapses after the transmission is in the drive range and the brake release operation or the accelerator execution operation is performed in a situation where the host vehicle is stopped. It may be determined that the host vehicle is in a starting state.
[0021]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a system configuration diagram of a dangerous obstacle determination device 10 mounted on a vehicle according to an embodiment of the present invention. The dangerous obstacle determination device 10 of the present embodiment includes an electronic control unit (hereinafter referred to as an ECU) 12, and the ECU 12 determines obstacles such as other vehicles existing in the traveling direction of the vehicle.
[0022]
An image processing device 14 is connected to the ECU 12. The image processing device 14 is connected to a camera 16 disposed on the front windshield glass in the vehicle interior. The camera 16 is a stereotype camera, and is composed of at least two cameras. The camera 16 has a predetermined image-capturing region that spreads at a predetermined angle from the arrangement site toward the front of the vehicle, and images the road condition in front of the vehicle. The image processing device 14 processes an image captured by the camera 16 to provide a three-dimensional object existing in an area where the angle of view of at least two cameras overlap (hereinafter referred to as an image processable area), and A white line, a yellow line, etc. are extracted from the travel path, and obstacles ahead and a travel lane area are recognized. The image processing device 14 supplies the ECU 12 with position information such as the distance to the recognized three-dimensional object and the position of the travel path. The ECU 12 grasps the distance to the three-dimensional object existing in front of the vehicle and the position of the traveling path based on information from the image processing device 14.
[0023]
Also connected to the ECU 12 is a radar device 18 constituted by a millimeter wave radar. The radar device 18 has a radar antenna that is disposed in the vicinity of the front grille at the front of the vehicle body so as to be rotatable about a rotation axis extending in the vertical direction. The radar antenna is an antenna having directivity, and transmits and receives signals with a predetermined beam angle spread. The radar device 18 transmits and receives signals while rotating the radar antenna about the rotation axis, and detects a three-dimensional object existing in a detectable region in front of the vehicle.
[0024]
The radar device 18 is supplied with the position information of the estimated travel path having the width of the vehicle body ascertained from the position information of the travel path grasped by the ECU 12 and the yaw rate of the vehicle. The radar device 18 has a function of selecting only the target object in the vicinity of the supplied vehicle traveling path or the estimated traveling locus as a detection target object and removing other objects from the detection target object. The radar device 18 supplies and outputs to the ECU 12 position information and relative speed information of an object located in the vicinity of the traveling road or the estimated traveling locus among the detected objects. The ECU 12 grasps the position of the three-dimensional object and the relative speed between the host vehicle and the three-dimensional object based on information from the radar device 18.
[0025]
A speed sensor 20 is connected to the ECU 12. The speed sensor 20 generates a pulse signal at a cycle corresponding to the speed of the vehicle. The output signal of the speed sensor 20 is supplied to the ECU 12. The ECU 12 detects the vehicle speed V based on the output signal of the speed sensor 20.
[0026]
An information / alarm display device 22 and a brake control ECU 24 are also connected to the ECU 12. The information / alarm display device 22 has a speaker and a display for alerting the vehicle driver and giving an alarm. The brake control ECU 24 is connected to a brake actuator 26 that generates a braking force on the vehicle. The brake control ECU 24 normally drives the brake actuator 26 according to the brake operation of the vehicle driver.
[0027]
When the ECU 12 determines that the target object is a dangerous obstacle for the host vehicle in accordance with a rule described in detail later based on the relationship between the host vehicle and the target object grasped using the camera 16 or the radar device 18. A drive command is issued to the information / alarm display device 22 and the brake control ECU 24 so that the speaker and display or the brake actuator 26 is driven. The information / alarm display device 22 drives a speaker and a display in accordance with a command from the ECU 12. Further, the brake control ECU 24 drives the brake actuator 26 in accordance with a command from the ECU 12 separately from the brake operation of the vehicle driver.
[0028]
The ECU 12 is further connected to an invalid switch 28 disposed in the vehicle interior so as to be operable by the vehicle driver. The invalid switch 28 stops the obstacle determination itself by the ECU 12 or stops the driving of the speaker and the display and the driving of the brake actuator 26 by the information / alarm display device 22 while the obstacle determination by the ECU 12 is allowed. It is a switch. The ECU 12 executes / stops the obstacle determination and executes / stops driving of the speaker, the display, and the brake actuator 26 according to the ON / OFF state of the invalid switch 28.
[0029]
Hereinafter, the operation of the dangerous obstacle determination apparatus 10 of the present embodiment will be described.
[0030]
In the present embodiment, when the invalid switch 28 is in the OFF state, the ECU 12 firstly has an object located on the estimated traveling locus and on the traveling path based on the image information from the image processing device 14 and the vehicle estimated traveling locus. The object located at is extracted, and the object is grasped as a control target. In addition, when there are a plurality of objects satisfying such a condition, an object closest to the host vehicle is grasped as a control target.
[0031]
Next, the ECU 12 determines whether or not the object grasped as the control target is a dangerous obstacle that may affect the traveling of the vehicle, such as being located within a predetermined distance from the host vehicle. An obstacle of the host vehicle is detected by fusing the position information of the object grasped using the camera 16 and the position information of the object using the radar apparatus 18, and information obtained from the radar apparatus 18 and the like. Determine dangerous obstacles based on Then, by issuing a drive command to the information / alarm display device 22 and the brake control ECU 24 in accordance with the lightness of the determined risk, the vehicle driver is warned and the host vehicle is forcibly braked.
[0032]
On the other hand, when the invalid switch 28 is in the on state, the ECU 12 does not extract the object existing ahead of the vehicle as described above, unlike the case where the invalid switch 28 is in the off state. And the supply of a drive command according to the severity of the risk is not performed to the information / alarm display device 22 or the brake control ECU 24.
[0033]
That is, when the invalid switch 28 is turned off, the speaker or the display can be driven to alert the driver, or the brake actuator 26 can be driven for automatic braking, while the invalid switch 28 is turned on. When being operated, the speaker, the display, and the brake actuator 26 are not driven. Therefore, in the dangerous obstacle determination device 10 of this embodiment, if the invalid switch 28 is turned off, the risk level generated in the vehicle is accurately determined using both the camera 16 and the radar device 18. On the other hand, if the invalid switch 28 is turned on, the driving of the speaker, the display, and the brake actuator 26 is prohibited by the driver's operation. Can be prohibited.
[0034]
FIG. 2 is a diagram schematically showing the relationship between the recognizable area of the camera 16 and the detectable area of the radar device 18 in this embodiment. As described above, in the present embodiment, the camera 16 is disposed on the upper part of the front windshield glass in the passenger compartment, which is a high place when viewed from the road surface on which the vehicle travels. For this reason, in the camera 16, due to the presence of a hood, a hood, etc. of the vehicle, a blind spot region (a region indicated by a satin surface in FIG. 2; for example, about 3 m) cannot be recognized immediately before the vehicle body. That is, when an object is located in the blind spot area immediately before the vehicle body of the host vehicle, it is impossible to recognize the object using the camera 16. Further, since the image processing apparatus 14 recognizes an object existing in an image processable area where the angles of view of the two cameras 16 overlap, the image processing apparatus 14 is positioned in an area before the limit position of the image processable area. It is impossible to recognize the object. Therefore, in these cases, it is not possible to make a risk determination in a vehicle using both the camera 16 and the radar device 18.
[0035]
Hereinafter, when the limit position of the image processable area exceeds 3 m from the front end of the vehicle and does not enter the blind spot area, the distance between the limit position of the image processable area and the front end of the vehicle can be processed. When the limit position of the area is 3 m or less from the front end of the vehicle and enters the blind spot area, the distance between the limit position of the blind spot area and the front end of the vehicle (note that the object exceeds the limit position of the image processable area) If it is present at the position and above the blind spot area, the limit position of the image processable area and the distance between the front end of the vehicle and the recognition limit distance of the camera 16 (the lower limit of the recognizable area indicated by diagonal lines in FIG. 2). Value). Note that the recognition limit distance of the camera 16 is naturally determined by defining the vehicle shape, the placement position of the camera 16, and the height of the recognition target. FIG. 2 shows only the case where the limit position of the image processable area is 3 m or less from the front end of the vehicle and enters the blind spot area.
[0036]
Here, when the vehicle becomes unrecognizable by entering the position below the recognition limit distance of the camera 16 from the state in which the vehicle recognizes the object using the camera 16 while the vehicle is running. Since the ECU 12 can grasp the distance to the object at the time of the transition, the distance to the object can be estimated by using the traveling state of the vehicle such as the own vehicle speed SPD thereafter. It is possible to continue the risk determination of the vehicle.
[0037]
However, in this method, since it is necessary that the object is not recognized from the state in which the object is recognized, after the preceding vehicle or the like approaches relatively below the recognition limit distance of the camera 16 of the own vehicle and stops, When the vehicle starts, there is a possibility that the distance to an object such as a preceding vehicle cannot be grasped using the camera 16. In this regard, when starting the vehicle, it is impossible to determine the danger level of the vehicle using the camera 16.
[0038]
On the other hand, as described above, in the present embodiment, the radar apparatus 18 has a radar antenna disposed in the vicinity of the front grille at the front of the vehicle body. For this reason, in the radar apparatus 18, a blind spot area hardly occurs immediately before the vehicle body. Therefore, it is possible to recognize an object located in front of the blind spot area of the camera 16 or the limit position of the image processable area using the radar device 18 and to determine the risk of the vehicle with respect to the object. Is possible. Therefore, the dangerous obstacle determination apparatus 10 according to the present embodiment recognizes an object using the radar device 18 when the vehicle starts, and the object is an obstacle that is dangerous for the host vehicle based on the recognition result. It is decided to determine whether or not.
[0039]
FIG. 3 shows a flowchart of an example of a control routine executed by the ECU 12 in this embodiment in order to realize the above function. The routine shown in FIG. 3 is a routine that is repeatedly started each time the process is completed. When the routine shown in FIG. 3 is started, first, the process of step 100 is executed.
[0040]
In step 100, it is determined whether or not the host vehicle is in a starting state. It can be determined that the vehicle is in a starting state during a period from when the vehicle stop is released until the vehicle reaches a predetermined vehicle speed (for example, 6 km / h). Therefore, specifically, (1) whether or not the time for which the vehicle stops continues is, for example, a predetermined time T0 seconds or more, and (2) after the above condition (1) is satisfied, It is determined whether or not the vehicle is in a period from when the vehicle is released until the vehicle reaches a predetermined vehicle speed (for example, 6 km / h).
[0041]
When the vehicle speed detection by the speed sensor 20 is performed by the electromagnetic pickup method, it is difficult to detect the vehicle speed when the actual vehicle speed is a low vehicle speed of less than 3 km / h, for example. Therefore, in the processing of this step 100, the vehicle stop is established when the vehicle speed is lowered to such an extent that the vehicle speed cannot be detected by the speed sensor 20 (for example, when the vehicle speed is less than 3 km / h). The release is established when the vehicle speed increases to such an extent that the vehicle speed can be detected by the speed sensor 20 (for example, when the vehicle speed becomes 3 km / h or more). The predetermined time T0 is normally a time when it is determined that the vehicle will actually stop after the vehicle speed has dropped to such an extent that the vehicle speed cannot be detected by the speed sensor 20, and is set to 2 seconds, for example.
[0042]
In step 100, if it is determined that both of the above conditions (1) and (2) are satisfied and the host vehicle is in a starting state, the process of step 102 is executed next. On the other hand, if it is determined that one of the conditions (1) and (2) is not satisfied and the vehicle is not in a starting state, the current routine is terminated without any further processing. .
[0043]
In step 102, it is determined whether or not an object exists in the estimated traveling locus ahead of the vehicle based on information from the radar device 18. As a result, when it is determined by the radar device 18 that there is no object ahead of the vehicle, the current routine is terminated. On the other hand, if it is determined by the radar device 18 that an object is present in front of the vehicle, the object is present in front of the vehicle including an area that is less than the recognition limit distance that the camera 16 cannot recognize. Is executed. In step 104, processing using the distance D to the object determined to be present in front of the vehicle in step 102 as a control parameter is executed.
[0044]
In step 106, whether or not the speed (relative speed) of the object based on the host vehicle calculated from the time change of the distance D to the object in step 104 is a negative value, that is, the distance D is It tends to decrease with time, and it is determined whether or not the host vehicle is approaching the object. As a result, when it is determined that the host vehicle is not approaching the object, the current routine is terminated. On the other hand, if it is determined that the host vehicle is approaching the object, the process of step 108 is executed next.
[0045]
In step 108, it is determined whether or not the distance D to the object in step 104 is equal to or less than a predetermined distance D0. The predetermined distance D0 is a recognition limit distance as a boundary value as to whether or not the object can be recognized using the camera 16, and is set to 2 m, for example. As a result, when D ≦ D0 does not hold, the object detection using the camera 16 is possible, and therefore obstacle determination is performed by fusing information from the image processing device 14 and information from the radar device 18 as usual. You can do it. Therefore, when such a determination is made, the current routine is terminated. On the other hand, when D ≦ D0 is established, it is impossible to recognize the object using the camera 16, so it is necessary to perform obstacle determination based only on information from the radar device 18. Therefore, if such a determination is made, the process of step 112 is executed next.
[0046]
In step 112, whether or not the object existing in front of the vehicle is an at least mildly dangerous obstacle for the host vehicle, specifically, the distance D to the object by the radar device 18 is the first predetermined distance D1. It is determined whether or not: The first predetermined distance D1 is the longest distance at which the object can be determined to be a lightly dangerous obstacle for the host vehicle, and is set to 1.5 m, for example. As a result, when D ≦ D1 is not established, it can be determined that the object does not exist within the first predetermined distance D1 from the host vehicle, and therefore it can be determined that no danger has occurred in the host vehicle. Therefore, when such a determination is made, the current routine is terminated. On the other hand, if it is determined that D ≦ D1 is established, it can be determined that at least a slight danger has occurred in the host vehicle, and therefore the process of step 114 is executed next.
[0047]
In step 114, a process of notifying the driver that a slight danger has occurred using a speaker and a display is started by issuing a drive command to the information / alarm display device 22. When the processing of this step 114 is executed, the speaker and display of the information / alarm display device 22 are driven, and an alarm is given to the driver.
[0048]
In step 116, whether or not the object existing in front of the vehicle is a seriously dangerous obstacle for the host vehicle, specifically, the distance D to the object by the radar device 18 is equal to or less than the second predetermined distance D2. It is determined whether or not. The second predetermined distance D2 is the longest distance at which the object can be determined as an obstacle that is seriously dangerous for the host vehicle. If the vehicle is in a starting state, the second predetermined distance D2 is the obstacle. The distance can be determined to be able to stop without touching, and is set to 0.5 m, for example, which is smaller than the first predetermined distance D1 described above. As a result, if D ≦ D2 does not hold, it can be determined that the object is present at a position exceeding the second predetermined distance D2 and not more than the first predetermined distance D1 from the own vehicle. It can be determined that it has not occurred. Accordingly, when such a determination is made, the processing after step 104 is executed. On the other hand, if it is determined that D ≦ D2 is established, it can be determined that a serious danger has occurred in the host vehicle, and therefore the process of step 118 is executed next.
[0049]
In step 118, a drive command is issued to the brake control ECU 24, whereby the brake actuator 26 forcibly intervenes and brakes at the maximum deceleration is started. After the processing of step 118 is executed, the brake actuator 26 is driven by the brake control ECU 24 and the vehicle is automatically braked. When the process of step 118 is completed, the process of step 120 is executed next.
[0050]
In step 120, it is determined whether or not the host vehicle is stopped by a brake operation by the driver or automatic intervention braking by execution of step 118. As a result, if it is determined that the host vehicle has not yet stopped, the processing after step 104 is executed. On the other hand, if it is determined that the host vehicle has stopped, the current routine is terminated.
[0051]
According to the routine shown in FIG. 3 above, when the vehicle starts, if the distance D to the object is equal to or less than the recognition limit distance (= predetermined distance D0) of the camera 16, the object detected using the radar device 18 is used. It is possible to determine the danger of the vehicle based only on the distance information. As a result, the host vehicle and the object are relatively close to each other under the situation where the vehicle starts, that is, the distance D between the two becomes smaller with the passage of time, and between the two When the distance D is equal to or less than the first predetermined distance D1, it is determined that the object is a dangerous obstacle for the host vehicle. Specifically, when the distance D between the two is relatively large, it is determined that the target object is a lightly dangerous obstacle for the host vehicle. If the distance D is relatively small, it is determined that the object is an obstacle that is severely dangerous for the host vehicle.
[0052]
When the distance D between the host vehicle and the object decreases with time and the distance D between the two is equal to or less than the first predetermined distance D1, the host vehicle tends to approach the object. And the distance is small, the object becomes an obstacle when the host vehicle travels. For this reason, according to the present embodiment, after the subject vehicle has stopped in a state where the subject has entered relatively less than the recognition limit distance of the camera 16, the preceding vehicle, which is the subject of the subject driver, has started. Even if you start your vehicle inadvertently and carelessly, or if you accidentally start your vehicle by mistakenly depressing the accelerator pedal with a brake pedal, you will not be able to recognize it with the camera 16 or less. Can be detected using the radar device 18, and an obstacle dangerous for the host vehicle can be determined using only the radar device 18. Therefore, according to the dangerous obstacle determination device 10 of the present embodiment, it is possible to appropriately determine a dangerous obstacle for the host vehicle when the vehicle starts.
[0053]
In this embodiment, when it is determined that the target object is a dangerous obstacle for the host vehicle, the speaker and the display are used to alert the driver when the risk level is low. If an alarm is issued and the degree of danger is severe, forced intervention braking using the brake actuator 26 is performed to automatically stop the host vehicle. For this reason, according to this embodiment, when a minor danger occurs at the start of the vehicle, the danger can be informed to the vehicle driver, and when a serious danger occurs, the driver is obstructed. Even if the contact avoidance operation cannot be performed, the contact etc. can be avoided, or the impact due to the collision etc. can be reduced. Measures can be taken.
[0054]
In this embodiment, the routine shown in FIG. 3 is executed when the invalid switch 28 is turned on, that is, when the vehicle driver stops the obstacle determination itself by the ECU 12 or by the information / alarm display device 22. It is also executed when the driving of the speaker and the display and the driving of the brake actuator 26 are stopped. That is, even when the invalid switch 28 is turned on, obstacle determination using only the radar device 18 is performed at the time of starting the vehicle, and the speaker, the display, and the brake actuator are driven.
[0055]
Therefore, according to the present embodiment, when the vehicle starts, regardless of whether the invalid switch 28 is on or off, it is possible to appropriately determine the danger occurring in the vehicle using the radar device 18, thereby Measures against dangerous obstacles can be taken. For this reason, according to the dangerous obstacle determination device 10 of the present embodiment, even when the invalid switch 28 is in the on state, the driver can be informed of the danger that has occurred in the vehicle when starting the vehicle. Even when the contact avoidance operation with the obstacle cannot be performed, the contact or the like can be avoided, or the impact due to the collision or the like can be reduced.
[0056]
By the way, in the above embodiment, the radar device 18 is included in the “ranging unit” described in the claims, the invalid switch 28 is included in the “invalid switch unit” described in the claims, and the camera 16 and the image processing. The device 14 corresponds to “imaging means” described in the claims.
[0057]
In the above embodiment, the ECU 12 executes the process of step 100 shown in FIG. 3 so that the “start determination unit” described in the claims executes the processes of steps 106 and 108. Thus, the “obstacle determination means” described in the claims executes a vehicle danger determination using the radar device 18 when the vehicle starts in a situation where the invalid switch 28 is turned on. The “forced effective switching means” described in the claims executes the process of step 114, and the “alarm means” described in the claims executes the process of step 118. The “automatic braking means” described in the range is realized.
[0058]
In the above embodiment, it is determined whether or not the vehicle is in a starting state: (1) whether or not the duration of the vehicle stop is a predetermined time T0 seconds or more and (2) it takes (1) After the condition ▼ is established, the present time is determined based on whether the vehicle is in a period from when the vehicle stop is released until the vehicle reaches a predetermined vehicle speed (for example, 6 km / h). Is not limited to this, and after the above condition (1) is satisfied, the relative speed of the object based on the own vehicle calculated from the time change of the distance D between the own vehicle and the object is It is good also as performing based on whether it is a negative value. When the vehicle starts, if the obstacle in front is stopped, the distance between the two becomes small and the two approach each other. That is, it can be determined that the vehicle has started to start when the distance from the object decreases and the host vehicle approaches the object from the vehicle stop state. Therefore, also in the above-described determination method, it can be determined whether or not the vehicle is in a starting state. In this case, it is necessary to detect an object existing in front of the vehicle before determining whether or not the vehicle is in a starting state, but in determining the starting state of the vehicle. Since it is not necessary to use the output signal of the speed sensor 20, it is possible to determine whether or not the vehicle is in a start state without using the speed sensor 20.
[0059]
In addition, it is determined whether the vehicle is in a starting state. When the vehicle is stopped, the transmission is in a forward or reverse drive range other than the parking range and the neutral range, and the driver performs a brake release operation or an accelerator execution operation. It is good also as performing based on whether it is during the period until predetermined time (for example, 5 seconds) passes after performing. When the vehicle transmission is in the drive range and the brake release operation or the accelerator execution operation is performed by the vehicle driver, the vehicle travels. For this reason, if a brake release operation or the like is performed in a state where the transmission is in the drive range from the vehicle stop state, or if the transmission shifts to the drive range in a state where the brake release operation or the like is performed, the vehicle Start to start. Therefore, even with this determination method, it is possible to determine whether or not the vehicle is in a starting state. In this case as well, it is not necessary to use the output signal of the speed sensor 20 to determine the start state of the vehicle.
[0060]
In the above embodiment, the radar device 18 is constituted by a millimeter wave radar. However, the radar device 18 is a radar that does not have a dead zone, and does not cause false detection due to a ghost within the recognition limit distance of the camera 16. It is desirable that Furthermore, in the above-described embodiment, the radar device 18 using millimeter wave radar is used, but it can also be applied to a configuration using laser radar.
[0061]
【The invention's effect】

[0062]
Book According to the present invention, even when the invalid switch is activated, it is possible to appropriately determine a dangerous obstacle for the host vehicle when starting the vehicle, and as a result, a dangerous obstacle regardless of whether or not the invalid switch is activated when starting the vehicle. Measures can be taken.
[0063]
Claim 5 According to the described invention, it is possible to notify the driver of a dangerous situation occurring in the host vehicle by issuing an alarm to the driver.
[0064]
Claims 6 According to the described invention, by forcibly braking the vehicle, a dangerous situation occurring in the host vehicle can be suppressed and avoided.
[Brief description of the drawings]
FIG. 1 is a system configuration diagram of a dangerous obstacle determination device mounted on a vehicle according to an embodiment of the present invention.
FIG. 2 is a diagram schematically illustrating a relationship between a recognizable area of a camera and a detectable area of a radar apparatus in the present embodiment.
FIG. 3 is a flowchart of a control routine that is executed in order to perform obstacle determination when the vehicle starts in the present embodiment.
[Explanation of symbols]
10 Dangerous obstacle judgment device
12 Electronic control unit (ECU)
14 Image processing device
16 Camera
18 Radar equipment
20 Speed sensor
22 Information and warning display device
24 Brake control ECU
26 Brake actuator
28 Invalid switch

Claims (9)

車両進行方向に存在する対象物との距離を測定する測距手段を用いて前記対象物が自車両にとって危険な障害物であるか否かを判定する障害物判定手段と、前記障害物判定手段による判定を無効とすべく車両運転者によりオン操作される無効スイッチ手段と、を備える危険障害物判定装置であって、
自車両が発進状態にあるか否かを判別する発進判別手段と、
前記無効スイッチ手段前記障害物判定手段による判定無効とすべくオン操作されている状況下においても、前記発進判別手段により自車両が発進状態にあると判別される場合には、該障害物判定手段による判定を有効とする強制有効切替手段と、
を備えることを特徴とする危険障害物判定装置。
Obstacle determining means for determining whether or not the object is a dangerous obstacle for the host vehicle using distance measuring means for measuring the distance to the object existing in the vehicle traveling direction, and the obstacle determining means a dangerous obstacle determination device and a disabling switch means that will be turned on by the vehicle driver in order to invalidate the determination by,
Start determination means for determining whether or not the host vehicle is in a start state;
Even when the invalid switch means is turned on to invalidate the determination by the obstacle determination means, the obstacle determination means determines that the host vehicle is in a start state when the start determination means A forced effective switching means for validating the determination by the determination means;
A dangerous obstacle determination device comprising:
前記障害物判定手段は、前記発進判別手段により自車両が発進状態にあると判別される状況下において、前記測距手段により測定される前記距離が所定値を超える状態から該所定値以下の状態へ変化したとき、該対象物が自車両にとって危険な障害物であると判定することを特徴とする請求項記載の危険障害物判定装置。The obstacle determining means is a state in which the distance measured by the distance measuring means exceeds a predetermined value and is less than or equal to the predetermined value under a situation where the start determining means determines that the host vehicle is in a starting state. when changes to, the object is dangerous obstacle determination device according to claim 1, wherein determining that a dangerous obstacle for the vehicle. 前記障害物判定手段は、前記発進判別手段により自車両が発進状態にあると判別される状況下において、前記測距手段により測定される前記距離が前記所定値以下であり、かつ、前記距離が時間と共に小さくなる傾向にあるとき、該対象物が自車両にとって危険な障害物であると判定することを特徴とする請求項1又は2記載の危険障害物判定装置。The obstacle determining means is configured such that the distance measured by the distance measuring means is less than or equal to the predetermined value and the distance is less than or equal to the predetermined value in a situation where the start determining means determines that the host vehicle is in a starting state. 3. The dangerous obstacle determination apparatus according to claim 1, wherein when the object tends to decrease with time, the object is determined to be a dangerous obstacle for the host vehicle. 車両進行方向を撮影する撮像手段を備え、
前記測距手段は、レーダ装置を用いて前記距離を測定すると共に、
前記障害物判定手段は、また、前記発進判別手段により自車両が発進状態にないと判別される状況下においては、前記撮像手段の撮影した画像から抽出される対象物までの距離又は走行路の位置、及び、前記測距手段により測定された前記距離に基づいて、該対象物が自車両にとって危険な障害物であるか否かを判定することを特徴とする請求項1乃至3の何れか一項記載の危険障害物判定装置。
Comprising an imaging means for photographing the vehicle traveling direction;
The distance measuring means measures the distance using a radar device, and
The obstacle determining means may also determine a distance to a target object or a roadway to be extracted from an image captured by the imaging means in a situation where the start determining means determines that the host vehicle is not in a starting state . 4. The method according to claim 1, wherein it is determined whether or not the object is a dangerous obstacle for the host vehicle based on the position and the distance measured by the distance measuring means . The dangerous obstacle determination device according to one item .
前記障害物判定手段により前記対象物が自車両にとって危険な障害物であると判定された場合に運転者に対して警報を発する警報手段を備えることを特徴とする請求項1乃至の何れか一項記載の危険障害物判定装置。Any one of claims 1 to 4, characterized in that it comprises an alarm means for issuing an alarm to the driver when the object by the obstacle determining means is determined to be dangerous obstacle for the vehicle The dangerous obstacle determination device according to one item. 前記障害物判定手段により前記対象物が自車両にとって危険な障害物であると判定された場合に自車両を強制制動させる自動制動手段を備えることを特徴とする請求項1乃至の何れか一項記載の危険障害物判定装置。Any one of claims 1 to 5, characterized in that an automatic braking means for forcibly brake the vehicle if the object by the obstacle determining means is determined to be dangerous obstacle for the vehicle The dangerous obstacle judging device described in the item. 前記発進判別手段は、自車両が停止状態から所定車速に達するまでは自車両が発進状態にあると判別することを特徴とする請求項1乃至の何れか一項記載の危険障害物判定装置。The dangerous obstacle determination device according to any one of claims 1 to 6 , wherein the start determination unit determines that the host vehicle is in a start state until the host vehicle reaches a predetermined vehicle speed from a stopped state. . 前記発進判別手段は、自車両が停止状態と判断された後、車両停止が解除されてから前記測距手段により測距される前記距離が時間と共に小さくなる傾向にあるときは自車両が発進状態にあると判別することを特徴とする請求項1乃至6の何れか一項記載の危険障害物判定装置。The start determining means determines that the host vehicle is in a start state when the distance measured by the distance measuring means after the vehicle stop is released and the distance measured by the distance measuring means tends to decrease with time after the host vehicle is determined to be stopped. It is discriminate | determined that it exists in, The dangerous obstacle determination apparatus as described in any one of Claim 1 thru | or 6 characterized by the above-mentioned. 前記発進判別手段は、自車両が停止する状況において変速機が駆動レンジにありかつブレーキの解除操作又はアクセルの実行操作が行われた後、所定時間が経過するまでは自車両が発進状態にあると判別することを特徴とする請求項1乃至6の何れか一項記載の危険障害物判定装置。  The start discriminating means is such that the host vehicle is in a start state until a predetermined time elapses after the transmission is in the drive range and the brake release operation or the accelerator execution operation is performed in a situation where the host vehicle stops. The dangerous obstacle determination device according to any one of claims 1 to 6, wherein
JP2002271961A 2002-09-18 2002-09-18 Dangerous obstacle judgment device Expired - Lifetime JP4118111B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002271961A JP4118111B2 (en) 2002-09-18 2002-09-18 Dangerous obstacle judgment device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002271961A JP4118111B2 (en) 2002-09-18 2002-09-18 Dangerous obstacle judgment device

Publications (2)

Publication Number Publication Date
JP2004106701A JP2004106701A (en) 2004-04-08
JP4118111B2 true JP4118111B2 (en) 2008-07-16

Family

ID=32269120

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002271961A Expired - Lifetime JP4118111B2 (en) 2002-09-18 2002-09-18 Dangerous obstacle judgment device

Country Status (1)

Country Link
JP (1) JP4118111B2 (en)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007131092A (en) * 2005-11-09 2007-05-31 Toyota Motor Corp Obstacle sensing device and vehicle braking system with obstacle sensing device
JP4954960B2 (en) * 2008-10-03 2012-06-20 本田技研工業株式会社 Vehicle alarm device
JP5692694B2 (en) * 2010-03-05 2015-04-01 株式会社ユピテル In-vehicle electronic device and program
JP6260462B2 (en) 2014-06-10 2018-01-17 株式会社デンソー Driving assistance device
JP6229615B2 (en) * 2014-08-01 2017-11-15 マツダ株式会社 Vehicle driving support device and driving support method
JP6336408B2 (en) * 2015-03-11 2018-06-06 株式会社クボタ Travel control device
CN106462165B (en) * 2015-03-11 2019-09-03 株式会社久保田 Working truck and the travel controlling system for making working truck automatic running
JP6930152B2 (en) * 2017-03-14 2021-09-01 トヨタ自動車株式会社 Autonomous driving system
CN107444327A (en) * 2017-07-26 2017-12-08 中航爱维客汽车有限公司 One kind reversing early warning system and method
JP7077570B2 (en) * 2017-10-05 2022-05-31 いすゞ自動車株式会社 Alarm device
JP6538235B2 (en) * 2018-05-02 2019-07-03 株式会社クボタ Traveling control device
JP2019147553A (en) * 2019-06-04 2019-09-05 株式会社クボタ Travel control device and work vehicle
CN113119958A (en) * 2021-05-27 2021-07-16 广州小鹏自动驾驶科技有限公司 Automatic parking method and device
CN115214570B (en) * 2022-06-21 2023-06-06 佛山仙湖实验室 Vehicle hierarchical braking control method and system combining distance and time factors
CN115617077B (en) * 2022-12-02 2023-03-21 北京卓翼智能科技有限公司 Automatic obstacle avoidance unmanned aerial vehicle and automatic obstacle avoidance method

Also Published As

Publication number Publication date
JP2004106701A (en) 2004-04-08

Similar Documents

Publication Publication Date Title
CN111204333B (en) Vehicle front blind spot detection and warning system
US9965955B2 (en) Drive support apparatus
JP7132713B2 (en) Vehicle cruise control device, vehicle cruise control system, and vehicle cruise control method
JP4193765B2 (en) Vehicle travel support device
JP4161584B2 (en) Safety device for moving objects
US7184889B2 (en) Collision-prediction unit for a vehicle
JP4118111B2 (en) Dangerous obstacle judgment device
JP6036724B2 (en) Vehicle surrounding situation recognition device and vehicle control device
JP4640465B2 (en) Vehicle travel support device
JP4309843B2 (en) Method and apparatus for preventing vehicle collision
JP3984897B2 (en) Obstacle detection device for vehicles
JP4852941B2 (en) Car alarm system
JP5464333B2 (en) Front collision overlap amount control device
CN108602494B (en) Vehicle control device and vehicle control method
JP6478414B2 (en) Vehicle control device, vehicle control method, and vehicle control program
JP6828429B2 (en) Vehicle collision avoidance support device and vehicle collision avoidance support method
KR101552017B1 (en) Performance enhanced driver assistance systems and controlling method for the same
JP4876772B2 (en) Interrupting vehicle determination device
US20210300367A1 (en) Vehicle and vehicle control method
JP2020097346A (en) Travel control device for vehicle
JP2018122627A (en) Vehicle control device
JP3900814B2 (en) Driving support system
JP2004280453A (en) Vehicular right turn safety confirming system
JP5077183B2 (en) Collision prevention device
JP2005178622A (en) Safety controller of vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050512

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080328

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080415

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080422

R151 Written notification of patent or utility model registration

Ref document number: 4118111

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110502

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110502

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120502

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130502

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term