JP2008040795A - 車両の運転支援制御装置および方法 - Google Patents

車両の運転支援制御装置および方法 Download PDF

Info

Publication number
JP2008040795A
JP2008040795A JP2006214286A JP2006214286A JP2008040795A JP 2008040795 A JP2008040795 A JP 2008040795A JP 2006214286 A JP2006214286 A JP 2006214286A JP 2006214286 A JP2006214286 A JP 2006214286A JP 2008040795 A JP2008040795 A JP 2008040795A
Authority
JP
Japan
Prior art keywords
vehicle
driving support
support control
information
recognition device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006214286A
Other languages
English (en)
Other versions
JP4295298B2 (ja
Inventor
Shinya Otsuji
信也 大辻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2006214286A priority Critical patent/JP4295298B2/ja
Priority to US11/780,235 priority patent/US7769506B2/en
Priority to DE602007012388T priority patent/DE602007012388D1/de
Priority to EP07015101A priority patent/EP1886891B1/en
Publication of JP2008040795A publication Critical patent/JP2008040795A/ja
Application granted granted Critical
Publication of JP4295298B2 publication Critical patent/JP4295298B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14Adaptive cruise control
    • B60W30/16Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/15Road slope, i.e. the inclination of a road segment in the longitudinal direction
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/30Road curve radius
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4042Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/804Relative longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20Ambient conditions, e.g. wind or rain
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/50External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Regulating Braking Force (AREA)

Abstract

【課題】カメラ等を用いた前方認識装置2の出力情報に基く運転支援を、前方の道路形状により見通しが悪くても、安全に実行できる車両の運転支援装置を実現すること。
【解決手段】ナビゲーション装置1と、車両周辺の状況を撮影し特定の対象物までの距離と相対速度を算出できるカメラ等を用いた前方認識装置2と、車両走行状態を取得する車両に搭載されているセンサ群とを備え、前記ナビ装置1または前記カメラ等を用いた前方認識装置2から得られた走行環境情報によって、前記カメラ等を用いた前方認識装置の出力情報を基にした運転支援制御を継続するか中断するかを判定する。もし、それらセンサ群の情報により視認性が悪いと判断した場合は前記前方認識装置の出力情報を基にした運転支援制御を中断する。
【選択図】図4

Description

本発明は、カメラ等を用いた前方認識装置やナビゲーション装置等の道路情報入手手段を用いて運転支援を行う車両の運転支援制御装置および方法に関する。
現在、ACC(Automatic Cruise Control)を始めとして様々な運転支援を行う運転支援技術が実用化されている。運転支援装置ではレーダやカメラ画像認識に代表される外界認識センサを搭載して車両の周辺状況を認知・判断し、状況に基づいてドライバへ減速・停止を促す警報や通知を行ったり、車両の運転支援制御を行うシステムが実現されている。また、近年では、ナビゲーション装置(以下、ナビ装置)が、多くの車両に搭載されている。
本発明は、カメラに代表される外界認識センサを用い、前方の特定対象物(一時停止線や横断歩道、その他の路面マーカ等)を認識し、対象物までの距離を演算し、対象物地点での自車速度を目標速度に近づける運転支援制御を主たる対象技術とする。カメラ画像認識による周辺認識に基づく制御では、認識できる距離範囲が数十m以内と短く、対象物に接近した状態でないと正しい距離は把握できない。一方、ナビ装置の情報を利用すれば遠方においても自車の走行位置から対象地点までの距離を求めることができる。しかし、ナビ装置による自車位置推定結果は数m〜数十mと幅広い推定誤差を含む恐れがあるため、カメラ画像認識利用とは逆に、対象物に接近するに従い推定誤差の影響を受け正しく制御できない。このため、自動停止など、特定地点に到達するまでに大きい減速を緩やかに行う場合には、特許文献1に開示されているような切替えを行うことが望ましい。すなわち、目標地点が遠方にある場合はナビ情報を基にした距離情報を用い、近くなったら、より精度の高いカメラなど外界認識センサの情報に切替えて制御する運転支援である。
一方、外界認識センサを用いた運転支援制御を行う場合、一般には、センサの情報の信頼度が著しく低下する状況下ではその情報を用いた制御を中止する必要がある。例えば、特許文献2に開示されているように、カメラ画像認識装置を用いた運転支援制御では、雨天などの悪天候下で距離検出性能が低下するので、天候や道路状況によって車間距離制御または定速運転支援制御を中止する運転支援制御装置である。
特開2004−86363号公報 特開平10−81156号公報
視認性の影響でカメラ画像認識の認識性能を低下する要因は天候だけでなく、前方の道路形状による見通しの良し悪しの影響もある。見通しが悪い場合はカメラ自身が正常に動作していたとしても目標となる路面上の対象物を正しく検知できないため、そのような地点では通常のようにカメラ情報を頼りにした制御を実行するのは危険である。
本発明の目的は、カメラ等を用いた前方認識装置からの情報に基いて運転支援を行う車両の運転支援制御において、前方に、前方認識装置による見通しを悪化させるような道路形状がある場合にも、安全な範囲で運転支援を行うことができる運転支援制御装置および方法を提供することである。
本発明はその一面において、カメラ等を用いた前方認識装置および/またはナビゲーション装置等の道路情報入手手段から得た道路形状情報によって、前記前方認識装置の出力情報を基にした運転支援制御を継続するか中断するかを判断する判断手段を備える。
本発明の望ましい実施態様においては、ナビゲーション装置から、自車前方が見通せない道路形状であるとの情報を受信したとき、前記カメラ等を用いた前方認識装置の出力情報を基にした運転支援制御を中断すると判断する。
本発明の望ましい実施態様においては、自車前方が見通せない道路形状は、トンネル前、登り坂頂点前、および/またはブラインドカーブ前を含む。
本発明の望ましい実施態様においては、前記判断手段は、前記ナビゲーション装置が出力する特定地点までの距離が所定値以下になったとき、前記ナビゲーション装置の出力情報を利用しないように判断する。
本発明の望ましい実施態様においては、前記運転支援制御を中断するとき、車内に音で知らせる聴覚案内手段を備える。
本発明は他の一面において、前記前方認識装置および/または前記道路情報入手手段から得た道路形状情報によって、前記前方認識装置の出力情報の有効性を示す情報を付加する情報出力手段を備えたことを特徴とする。
本発明はさらに他の一面において、前記前方認識装置および/または前記道路情報入手手段から得た道路形状情報によって、前記道路情報入手手段の出力情報と前記前方認識装置の出力情報のうちいずれを優先して運転支援制御を実行するかを判定する優先度判断手段を備えたことを特徴とする。
本発明の望ましい実施態様においては、カメラ等を用いた前方認識装置と、ナビゲーション装置の出力情報のうち、いずれを優先して運転支援制御を行っているかを、車内のメータ部やナビゲーション装置の画面等に表示する。
本発明の望ましい実施態様によれば、カメラ等を用いた前方認識装置からの情報に基いて運転支援を行う車両の運転支援制御装置において、前方に、前方認識装置による見通しを悪化させるような道路形状がある場合にも、安全な範囲で運転支援を行うことができる運転支援制御装置および方法を提供することである。
本発明によるその他の目的と特徴は、以下に述べる実施例の中で明らかにする。
本発明の望ましい実施例について、以下、図面を参照して詳細に説明する。
本実施例では、運転支援制御の一例として、一時停止線に自動停止させる自動停止制御を前提として説明する。
図1は、本発明の実施例1による車両の運転支援制御装置の全体構成図である。図1に示すように、本実施例1に係る運転支援制御装置は、まず、自車走行位置からある特定地物地点までの道路形状から、自車前方の見通し状態を推定するナビ装置1を備えている。また、撮像データから自車周辺の特定地物までの距離を測定可能なカメラ等を用いた前方認識装置2と、その距離情報から自車が特定地物地点で目標速度になるように現走行位置における妥当な制御指令値を求める車速制御ECU(Electronic Control Unit)3を備えている。さらに、車速制御ECU3からの制御指令要求に応じて車速を制御するエンジンECU4およびブレーキECU5と、各々の車輪の回転数(車輪速)Vwを測定する車輪速センサ6を備え、各装置を接続する通信バス7とからシステムを構成している。
ナビ装置1は、地図データベースを有し、GPS(Global Positioning System)情報や他のセンサ情報から自車位置を推定し、地図データ中の特定の地物地点と自車位置との間の距離を算出することができる。図示しない地図データベースは、各道路地点、道路区間における一時停止線,交差点区間,トンネル,その他の制限速度情報などの地物情報を含み、他のセンサ情報としては、加速度センサやジャイロセンサなどがある。
本運転支援制御装置における一時停止制御処理の各構成要素における処理の流れについて以下に説明する。
ナビ装置1では、自車位置から前方の特定範囲の走行路経路情報を地図データベースから取得し、道路の形状情報(各ノード地点の位置とそれをつなぐリンク情報)とともに、この特定範囲内の道路属性情報、地物情報を取得する。道路属性情報、地物情報とは、例えば、各ノードにおける道路の曲率情報や勾配情報があり、他にも各ノード脇の建物などのオブジェクトの存在属性の情報であってもよい。
図2は、本発明の実施例1におけるナビ装置1の通常処理を示す処理フロー図である。本実施例においては、ナビ装置1は、一定周期間隔で以下の処理を行う。まず、ステップ201で、GPS情報や他のセンサ情報から自車位置を推定する。次に、ステップ202において、推定した自車位置から前方の特定距離内の地物情報を地図データベースから取得する。ステップ203では、自車走行中に予め定められた進行方向前方の特定距離内における一時停止線の有無を確認する。もし、範囲内に一時停止線が存在する場合は、ステップ204では、ナビ装置に基く一時停止線存在のフラグFnをONにし、ステップ205で一時停止線までの距離Lnを算出する。もし、一時停止線が存在しない場合は、ステップ206でフラグFnをOFFにし、ステップ207で距離Lnの数値を予め定めた大きな値、例えば、その値がとり得る最大値に設定する。そして、ステップ208において、それら情報を通信バス7上に送信する。
図3は、本発明の実施例1のカメラ等を用いた前方認識装置2における通常処理を示す処理フローである。前方認識装置2でも、ナビ装置1の処理と平行して以下の処理を一定周期毎に実行する。まず、ステップ301で、カメラの撮像画像から一時停止線の認識処理を行い、ステップ302で撮像画像内に一時停止線が存在するか否か判定する。もし、自車前方の撮像画像内から一時停止線の存在を検知すると、ステップ303で、カメラ認識に基く一時停止線存在フラグFcをONにして、ステップ304で、画像処理により一時停止線までの距離Lcを求める。もし、一時停止線が存在しない場合は、ステップ305でフラグFcをOFFにし、ステップ306では、距離Lcの数値を予め定めた大きな値、例えば、その値がとり得る最大値に設定する。そして、ステップ307において、それら情報を通信バス7上に送信する。
図4は、本発明の実施例1における車両の運転支援制御装置の構成図であり、特に、車速制御ECU3の具体的制御機能ブロックを示す図である。
車速制御ECU3は、一時停止制御用目標車速算出部31、その他の走行制御用目標車速算出部32、セレクタ33、および車速制御部34とで構成されている。一時停止制御用目標車速算出部31は、ナビ装置1と前方認識装置2からの入力情報であるフラグFn,距離Ln,曲率や勾配情報等の自車前方の道路形状情報Ir,およびフラグFc,距離Lcから、第1の目標車速Vr1を算出する。一方、その他の走行制御用目標車速算出部32は、一時停止制御以外、例えば、通常のACC制御に伴う目標車速など、第2の目標車速Vr2を算出する。セレクタ33は、各々の算出部31,32から目標車速Vr1,Vr2を入力し、例えば、最小値を選択し、最終の目標車速Vrを決定する。車速制御部34は、目標車速Vrを達成するために、エンジンECU4やブレーキECU5への制御要求指令値Ccを求める。
車速制御部34は、運転支援制御の状況を、車内のメータ部の表示画面8や、ナビ装置1の表示画面11に表示し、ドライバに案内する。詳細は後述するが、前方認識装置2の出力情報に基く運転支援制御の実行/中断の案内や、ナビ装置1と前方認識装置2の出力情報のうち、いずれに基いて運転支援制御を実行しているかや、これら両者の情報の併用に基く運転支援状況などである。
図5は、本発明の実施例1の車速制御ECU3の一時停止制御用目標車速算出部31における処理フロー図である。目標車速算出部31は、現走行位置における妥当な目標車速Vrを求めるために、以下の処理を一定周期(例えば、10ms)毎に起動し実行する。
目標車速算出部31は、ステップ501で、通信バス7を介して、ナビ装置1から送信されるフラグFn,距離情報Lnと、前方認識装置2から送信されるフラグFc.距離情報Lcを取得する。また、ステップ502で、車輪速センサ6の現在走行時の車輪速Vwを取得し、それらの値から装着タイヤ半径値を用いて、現在の自車速Vpを算出する。次に、ステップ503では、受信したフラグFnの情報から、ナビ装置1が一時停止線を所定範囲内に検知しているかどうかを確認する。もし、フラグFnがOFFを示す数値、例えば、ゼロであれば、ステップ504に進んで、所定範囲内に一時停止線は存在しないため、一時停止制御用目標速度Vstを最大値Vmaxとする。これは、例えば、低位優先回路で構成されるセレクタ33が、その他の走行制御用目標車速を選択することを意味する。他方、フラグFnがONを示す数値、例えば1であれば、ステップ505に進み、所定範囲内に一時停止線を検知したということで、詳細を後述する見通し判断処理を実行する。その結果、ステップ506にて見通しが良いと判断した場合は、ステップ507にて、前方認識装置2のフラグFcをチェックし、一時停止線を検知しているかどうかを確認する。
もし、カメラ等によるフラグFcがOFFを示す数値、例えばゼロであれば、前方認識装置2がまだ一時停止線を検知していないことを示しているので、ナビ装置1の情報に基づいて、一時停止運転支援制御を行う。この場合は、ステップ508にて、ナビ装置1による距離情報Lnが、ナビ装置1の性能上不可避な測定誤差以上であるか否かを判定する。すなわち、ナビ装置1による制御が不可能なほどに、停止線に近づいたか否かを判定する。もし、ナビ装置1からの一時停止線までの距離が測定誤差以下であれば、ナビ装置1による制御が不可能なほどに近づきすぎているので、ステップ511に進んで、一時停止制御処理をキャンセルするように、キャンセル要求信号のフラグをONにする。キャンセル要求信号のフラグがONになると、ステップ512において、車速制御部34は、一時停止制御処理を中止する。
他方、もし、ナビ装置1からの一時停止線までの距離が測定誤差以上であれば、ナビ装置1の出力情報に基く運転支援制御の実行が適切であり、ステップ509で、一時停止制御に用いる一時停止線までの距離Lsをナビ装置に基く距離Lnであるものとする。次に、ステップ510において、その時の距離Ls=Lnの値から、一時停止制御用目標速度Vstを算出する。この算出式は、一般式より式(1)で求める。この式におけるβは減速度であり、一時停止線にて停止するまでに一定の減速度で減速するように制御するものとする。
Vst=√(2βLs)………………………………………………………………(1)
もし、ステップ506,507の見通し判断の結果、フラグFcがONを示す数値、例えば1であれば、前方認識装置2が一時停止線を検知したことを示している。この場合、ナビ装置1の出力情報である距離Lnの値と、カメラ等を用いた前方認識装置2の出力情報である距離Lcの値の両者を用いることができる。そこで、距離Lnと距離Lcを基に一時停止制御を行う。ステップ513において、もし、距離Lnの値がナビ装置1の測定誤差以下であると判断すれば、前述したように、もはやナビ装置1での運転支援が不可能な近距離に在るので、前方認識装置2の距離情報Lcのみで制御を行うことになる。このとき、ステップ514において、もし、距離Lcの数値変化から、車両が一時停止線に近づき過ぎて、カメラの画角から既知のカメラの認識限界距離に達したと判定した場合は、車両は、十分に一時停止線に近づいたことを意味する。このため、ステップ516で、一時停止制御用目標速度Vstを0km/hとして与える。それ以外は、ステップ517にて、目標距離Lsの値は前方認識装置2の出力距離Lcであるとして、ステップ510において、その時の目標距離Ls=Lcの値から一時停止制御用目標速度Vstを算出する。ステップ513での判定結果が、もし、距離Lnの値がナビの測定誤差以上であれば、ステップ514で、目標距離Lsを後述するナビ装置1からの距離Lnと、前方認識装置2の出力距離Lcの両者から求める補間値として算出する。そして、ステップ510では、このようにして求められた目標距離Lsに基づいて、一時停止制御用目標速度Vstを算出する。
なお、この処理フローにおいて、ステップ507の判断処理を、ステップ505の前段に置いてもよい。
以下に、前述したステップ506,507の見通し判断処理について詳細に説明する。
車速制御ECU3は、ナビ装置1から受信する情報として、前述したような自車走行位置前方の道路形状情報、トンネルなど暗部に侵入する前の地点等の特殊地点情報のほか、ノードの曲率情報や勾配情報も受信する。もし、自車前方の複数のノードの曲率が左右にきつい曲率で曲がっている場合は、シケイン(Chicane)形状であると推定され、もし、それらノードの先に一時停止線がある場合は、カメラの視認性は悪いと予想する。したがって、ステップ505において、そのような自車前方のトンネル、曲率の変化を検知した場合は、その後のステップ506の判定で見通しは悪いと判定する。また、別の例として、自車前方の複数ノードの勾配情報により、一時停止線が勾配の数値が減少に転じた地点の先に存在する場合は、登り坂頂上の先、もしくは下り開始地点の先に存在すると推定される。したがって、その場合もカメラの視認性は悪いと予想し、ステップ506の判定で見通しは悪いと判定する。その他に、ノード脇のオブジェクトの存在情報と曲率情報から、ノード脇にオブジェクトが存在し局率が小さいきついカーブである場合、自車前方はブラインドカーブであると推定し、ステップ506の判定で見通しは悪いと判定する。
以下に、前述したステップ514のナビ装置1による距離情報Lnと、カメラ等を用いた前方認識装置2による距離情報Lcの両者を用いた目標距離の補間演算方法について具体的に説明する。
前方認識装置2の距離情報Lcを取得するようになったとき、ナビ装置1の距離情報Lnと前方認識装置2の距離情報Lcは、それぞれの測定精度の差から必ずしも一致しているとは限らない。このため、本実施例では、両方の距離情報を受信した当初は、まずは、ナビ装置1の距離情報Lnに比重を置くようにして一時停止線距離Lsを求める。そこから、時間とともに、前方認識装置2の距離情報Lcに比重を置くように補間して、一時停止線距離Lsを求める。ある時刻tの一時停止線距離Ls(t)の補間方法については、例えば、以下の式(2)で求める。
Ls(t)=x(t)×Ln(t)+(1−x(t))×Lc(t)…………(2)
ここで、x(t)=Lc(t)/Lc(0)、tは現在時刻,Lc(0)は、受信開始した時のカメラを用いた前方認識装置2からの距離情報である。
図6は、本発明の実施例1における上記式(2)による一時停止線距離Lsの算出状況を説明するグラフである。この図のように、両方の距離情報を受信した当初に、ナビ装置1の距離情報Lnと前方認識装置2の距離情報Lcに差があったとしても、滑らかに距離情報を補間することで制動時の挙動を安定させることができる。
すなわち、まず、時刻t0からt1までは、車両の現在位置と、一時停止線までの距離が遠く、目標距離Ls(t)を、ナビ装置1の距離情報Ln(t)から得ることになる。したがって、実太線で示すように、目標距離Ls(t)=Ln(t)である。次に、時点t1で、車両が、前方認識装置2内のカメラで、一時停止線を検知できるようになると、その後、時点t2で一時停止線に到達するまでの間、一点鎖線で示すカメラ等による前方認識装置2の距離情報Lc(t)の検出精度は、徐々に高まる。逆に、破線で示すナビ装置1の距離情報Ln(t)の検出精度は次第に低くなる。そこで、このt1〜t2の間には、両者の距離情報Ln(t)とLc(t)とから、上記式(2)による補間距離Ls(t)を求めて、これに基いて、一時停止線までの運転支援制御を実行するのである。
図7は、本発明の実施例1におけるドライバ向け表示装置の画面表示例である。ドライバには、現在の運転支援制御が、カメラ等を用いた前方認識装置2の情報によるものなのか、ナビ装置1の情報によるものなのかを伝える表示部700を持つようにする。この表示部は、図4で説明したメータコンソール上の表示画面8であっても良いし、ナビ装置1の表示画面11への表示であっても良く、ドライバへ伝わる位置であれば場所は問わない。図7では、ナビ装置1の画面11への表示を想定している。この表示部700において、701は、先行車の存在を表示し、702は、ACCの目標速度を表示している。ここで、例えば、一時停止線から遠方にあって、ナビ装置1の情報のみで運転支援制御中である時は、ナビ装置1の情報に基く制御中を示すアイコン703を点灯する。一方、カメラ等を用いた前方認識装置2の情報のみで制御している時は、カメラ等の情報による制御中を示すアイコン704を点灯する。図5のステップ514のように、ナビ装置1の情報と前方認識装置2の情報を共に用いて制御している間は、アイコン703,704の両方を点灯する。ナビ装置1の情報も前方認識装置2の情報も利用していない時は、両アイコンともに点灯しない。これらアイコンは、図7のように図形で表しても良いし、文字で表すものでもよい。また、アイコンの位置についても、認識可能な位置であれば、特に限定する必要はない。
また、図5のステップ512において、車速制御部34が、一時停止の運転支援制御を中止する場合、運転支援制御を中断したことをドライバに伝える警報音または音声情報を、車両に搭載している図示しないスピーカで案内する。
図8は、本発明の実施例2における車両の運転支援制御装置の構成図であり、特に、ナビ装置1と前方認識装置2からの情報の取扱いと、車速制御ECU3の具体的機能ブロックを示す図である。
本実施例2では、基本構成は、図4の実施例1と同様であるが、前方認識装置2において、ナビ装置1からの道路形状情報Irを受信し、前方認識装置2の出力情報の有効性情報Fcoを車速制御ECU3に送信する点が異なる。
ナビ装置1から前方認識装置2へ道路形状情報Irが送られ、前方認識装置2内で見通し判断した結果、前方認識装置2の出力に対応する有効性情報のフラグFcoを車速制御ECU3へ送信する。受信した車速制御ECU3の一時停止制御用目標車速算出部31において、図5に示した見通し判断処理ステップ505〜506を、本実施例2で受信するフラグFcoの状態値を見て判定する。すなわち、状態フラグFcoがONであれば、ステップ506で判定「Yes」へ、状態フラグFcoがOFFであれば、ステップ506で判定「No」へと遷移するように制御する。その他の処理は、図4及び図5の実施例1と同様であるため、重複説明は避ける。
図9は、本発明の実施例2の前方認識装置2における通常処理フロー図である。前方認識装置2において、以下の処理を一定周期毎に実行する。まず、ステップ901で、カメラの撮像画像から一時停止線の認識処理を行い、ステップ902で撮像画像内に一時停止線が存在するか否かを判定する。もし、自車前方の撮像画像内から一時停止線の存在を検知すると、ステップ903で、前方認識に基く一時停止線存在フラグFcをONにして、ステップ904で、画像処理により一時停止線までの距離Lcを求める。もし、一時停止線が存在しない場合は、ステップ905でフラグFcをOFFにし、ステップ906では、距離Lcの数値を予め定めた大きな値、例えば、その値がとり得る最大値に設定する。
前方認識装置2は、この処理と平行して常に一定周期でナビ装置1が出力する道路形状情報Irを受信しており、ステップ907で、その道路形状情報Irから自車前方における見通し状況を判定する。ナビ装置1の道路形状情報Irに基づく見通し判断を行い、ステップ908で見通し判定結果を出力する。状況の判断方法は、実施例1における図5のステップ505,506の処理と同様である。その結果、見通しが良いと判断した場合は、ステップ909において、車速制御ECU3に送信する前方認識装置2の有効性情報の見通しフラグFcoをONにする。悪いと判断した場合は、ステップ910において、見通しフラグFcoをOFFにする。そして、ステップ911において、カメラ等による前方認識装置2による認識情報フラグFc,距離情報Lc,および見通しフラグFcoを通信バス7上に送信する。
以下は、前述したように、図8の車速制御ECU3内の一時停止制御用目標車速算出部31において、図5に示した処理フローを実行する。このとき、見通し判断処理ステップ505〜506では、本実施例2で受信するフラグFcoの状態値を見て判定する。
図10は、本発明の実施例3による車速制御ECU3における処理フロー図である。
本実施例3では、基本構成は図1および図4であるものとする。ただし、本実施例3では、ナビ装置1は、目標地物までの距離を測定する機能は無いものとする。本実施例3でも、実施例1と同様に、運転支援制御装置における一時停止制御処理を前提に処理の流れについて説明する。図4の目標車速算出部31において、以下の処理を一定周期(例えば10ms)毎に実行するものとする。
目標車速算出部31は、ステップ101において、通信バス7を介して、前方認識装置2から送信されるフラグFc、距離Lcの情報を取得する。また、ステップ102において、車輪速センサ6の現在走行時の車輪速Vwを取得し、それらの値から装着タイヤ半径値を用いて、現在の自車速Vpを算出する。ステップ103では、受信したフラグFcの情報から、前方認識装置2が一時停止線を所定範囲内に検知しているかどうかを確認する。
もし、フラグFcがOFFを示す数値(例えば0)であれば、カメラの撮像領域内に一時停止線は存在しないため、ステップ104において、一時停止制御用の目標速度Vstを最大値Vmaxとし、その他の走行制御用目標車速Vr2の方が、セレクタ33にて選択され易いようにする。もし、フラグFcがONを示す数値(例えば1)であれば、カメラの撮像領域内に一時停止線を検知したということであり、ステップ105,106において、図5で詳述した見通し判断処理を実行する。
もし、その結果見通しが悪いと判断した場合は、ステップ107において、一時停止制御処理をキャンセルするように、キャンセル要求信号のフラグをONし、ステップ108において、車速制御部34は、一時停止制御処理を中止する。
一方、ステップ106において、見通しが良いと判断した場合は、ステップ109において、カメラ等を用いた前方認識装置2の距離情報Lcのみで制御を行う。その後、車両が一時停止線の間近に接近し他結果として、距離Lcの数値変化から、カメラの画角から、既知のカメラの認識限界距離に達すれば、ステップ110において、十分に一時停止線に近づいていると判断し、一時停止制御用の目標速度Vstを0とする。それ以外は、ステップ111において、目標距離Lsは前方認識装置2の認識距離Lcである(Ls=Lc)として、ステップ112で、そのときの停止位置までの距離Lsの値から一時停止制御用目標速度Vstを算出する。この算出式は、実施例1と同様に、式(1)で求める。
本実施例3においても、ステップ107の処理後、もしくはステップ108により処理が中断した時点において、運転支援制御処理を中断したことをドライバに伝える警報音、または運転支援制御処理の中断を表現する音声情報を、車両に搭載しているスピーカで案内する。
本発明の実施例1による車両上の運転支援制御装置の全体構成図。 本発明の実施例1におけるナビ装置1の通常処理を示す処理フロー図。 本発明の実施例1のカメラ等を用いた前方認識装置2における通常処理を示す処理フロー図。 本発明の実施例1における車両の運転支援制御装置の構成図。 本発明の実施例1の車速制御ECU3の一時停止制御用目標車速算出部31における処理フロー図。 本発明の実施例1における一時停止線距離の算出状況を説明するグラフ。 本発明の実施例1におけるドライバ向け表示装置の画面表示例。 本発明の実施例2における車両の運転支援制御装置の構成図。 本発明の実施例2の前方認識装置2における通常処理フロー図。 本発明の実施例3による車速制御ECU3における処理フロー図。
符号の説明
1…ナビゲーション装置、11…ナビ装置の表示画面、2…カメラ等を用いた前方認識装置、3…車速制御ECU、31…一時停止制御用目標車速算出部、32…その他の走行制御用目標車速算出部、33…セレクタ、34…車速制御部、4…エンジンECU、5…ブレーキECU、6…車輪速センサ、7…通信バス、700…運転支援用画面表示部、701…先行車表示部、702…ACC目標速度表示部、703…前方認識情報による運転支援制御の作動中を示すアイコン、704…ナビ装置の情報による運転支援制御の作動中を示すアイコン、8…表示画面。

Claims (20)

  1. 車両周辺の状況をモニタし特定の対象物までの距離を算出する前方認識装置と、自車前方の道路情報を入手する道路情報入手手段と、走行中の自車の速度を含む自車状態を取得するセンサと、前記前方認識装置,前記道路情報入手手段,および前記センサと接続され、前記前方認識装置の出力情報を基に運転支援制御を実行する車両の運転支援制御装置において、前記前方認識装置および/または前記道路情報入手手段から得た道路形状情報によって、前記前方認識装置の出力情報を基にした運転支援制御を継続するか中断するかを判断する判断手段を備えたことを特徴とする車両の運転支援制御装置。
  2. 請求項1において、前記道路情報入手手段は、外部からの電波を受信して自車前方の道路情報を入手するナビゲーション装置を含み、前記判断手段は、前記ナビゲーション装置から、自車前方が見通せない道路形状であるとの情報を受信したとき、前記前方認識装置の出力情報を基にした運転支援制御を中断するとの判断を行うことを特徴とする車両の運転支援制御装置。
  3. 請求項1または2において、前記前方認識装置は、カメラと、このカメラからの情報に基き自車前方の道路情報を認識する認識手段を備えたことを特徴とする車両の運転支援制御装置。
  4. 請求項1〜3のいずれかにおいて、前記判断手段を、前記前方認識装置内に設けたことを特徴とする車両の運転支援制御装置。
  5. 請求項2〜4のいずれかにおいて、前記自車前方が見通せない道路形状は、トンネル前、登り坂頂点前、および/またはブラインドカーブ前を含むことを特徴とする車両の運転支援制御装置。
  6. 請求項2〜5のいずれかにおいて、前記判断手段は、前記ナビゲーション装置が出力する特定地点までの距離が所定値以下になったとき、前記ナビゲーション装置の出力情報を利用しないように判断することを特徴とする車両の運転支援制御装置。
  7. 請求項1〜6のいずれかにおいて、前記運転支援制御を中断するとき、車内に音で知らせる聴覚案内手段を備えたことを特徴とする車両の運転支援制御装置。
  8. 車両周辺の状況をモニタし特定の対象物までの距離を算出する前方認識装置と、自車前方の道路情報を入手する道路情報入手手段と、走行中の自車の速度を含む自車状態を取得するセンサと、前記前方認識装置,前記道路情報入手手段,および前記センサと接続され、前記前方認識装置の出力情報を基に運転支援制御を実行する車両の運転支援制御装置において、前記前方認識装置および/または前記道路情報入手手段から得た道路形状情報によって、前記前方認識装置の出力情報の有効性を示す情報を付加する情報出力手段を備えたことを特徴とする車両の運転支援制御装置。
  9. 請求項8において、前記情報出力手段は、前記道路形状情報から、自車前方が見通せない道路形状であると認識したとき、前記前方認識装置の出力情報の有効性が低いことを示す情報を付加することを特徴とする車両の運転支援制御装置。
  10. 請求項9において、前記見通せない道路形状は、トンネル前、登り坂頂点前、および/またはブラインドカーブ前を含むことを特徴とする車両の運転支援制御装置。
  11. 車両周辺の状況をモニタし特定の対象物までの距離を算出する前方認識装置と、自車前方の道路情報を入手する道路情報入手手段と、走行中の自車の速度を含む自車状態を取得するセンサと、前記前方認識装置,前記道路情報入手手段,および前記センサと接続され、前記前方認識装置の出力情報を基に運転支援制御を実行する車両の運転支援制御装置において、前記前方認識装置および/または前記道路情報入手手段から得た道路形状情報によって、前記道路情報入手手段の出力情報と前記前方認識装置の出力情報のうちいずれを優先して運転支援制御を実行するかを判定する優先度判断手段を備えたことを特徴とする車両の運転支援制御装置。
  12. 請求項11において、前記優先度判断手段は、前記前方認識装置と前記道路情報入手手段から得た走行環境情報のうち、いずれか一方のみを用いる運転支援制御または両者を用いた運転支援制御を実行するかを含む判断を行うことを特徴とする車両の運転支援制御装置。
  13. 請求項12において、前記両者を用いた運転支援制御は、目標停止位置までの距離を、前記前方認識装置および前記道路情報入手手段の双方から得た走行環境情報を用いて演算する手段を備えたことを特徴とする車両の運転支援制御装置。
  14. 請求項11〜13のいずれかにおいて、前記道路情報入手手段はナビゲーション装置を含み、前記判断手段は、前記ナビゲーション装置が出力する特定地点までの距離が所定値以下になったとき、前記ナビゲーション装置の出力情報を利用しないと判断することを特徴とする車両の運転支援制御装置。
  15. 請求項14において、前記判断手段は、現在の走行位置がトンネルなど暗部に侵入する前の地点、上り坂頂点前、および/またはブラインドカーブ前を含む前方を見通せない道路形状であるとき、前記前方認識装置の出力情報を利用しないと判断することを特徴とする車両の運転支援制御装置。
  16. 請求項14または15において、前記利用しない出力情報を車内に案内する手段を備えたことを特徴とする車両の運転支援制御装置。
  17. 請求項12〜15のいずれかにおいて、前記運転支援制御が動作中に、この運転支援制御が、前記前方認識装置および/または前記ナビゲーション装置の出力情報の利用状況を車内に案内する手段を備えたことを特徴とする車両の運転支援制御装置。
  18. 車両周辺の状況をモニタするカメラと、このカメラからの情報に基き自車前方の道路情報を認識し特定の対象物までの距離を算出する前方認識装置と、自車前方の道路情報を入手するナビゲーション装置と、走行中の自車の速度を含む自車状態を取得するセンサと、前記前方認識装置,前記ナビゲーション装置,および前記センサと接続され、前記前方認識装置の出力情報を基に運転支援制御を実行する車両の運転支援制御装置において、前記前方認識装置および/または前記ナビゲーション装置から得た道路形状情報に基いて、前記運転支援制御に前記前方認識装置の出力情報を利用するか否かを判断する判断手段を備えたことを特徴とする車両の運転支援制御装置。
  19. 車両周辺の状況をカメラによってモニタし、このカメラからの情報に基き自車前方の道路情報を認識して特定の対象物までの距離を算出し、ナビゲーション装置によって自車前方の道路情報を入手し、自車内センサから走行中の自車の速度を含む自車状態を取得し、前記カメラ,前記ナビゲーション装置,および前記センサと接続され、前記カメラの出力情報を基に運転支援制御を実行する車両の運転支援制御方法において、前記カメラおよび/または前記ナビゲーション装置から得た道路形状情報に基いて、前記運転支援制御に前記カメラの出力情報を利用するか否かを判断することを特徴とする車両の運転支援制御方法。
  20. 請求項19において、前記運転支援制御を中断するとき、車内に音で知らせることを特徴とする車両の運転支援制御方法。
JP2006214286A 2006-08-07 2006-08-07 車両の運転支援制御装置 Expired - Fee Related JP4295298B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2006214286A JP4295298B2 (ja) 2006-08-07 2006-08-07 車両の運転支援制御装置
US11/780,235 US7769506B2 (en) 2006-08-07 2007-07-19 Driver assistance system controller and driver assistance control method for vehicles
DE602007012388T DE602007012388D1 (de) 2006-08-07 2007-08-01 Fahrerunterstützungssystemsteuerung und Fahrerunterstützungssteuerungsverfahren für Fahrzeuge
EP07015101A EP1886891B1 (en) 2006-08-07 2007-08-01 Driver assistance system controller and driver assistance control method for vehicles

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006214286A JP4295298B2 (ja) 2006-08-07 2006-08-07 車両の運転支援制御装置

Publications (2)

Publication Number Publication Date
JP2008040795A true JP2008040795A (ja) 2008-02-21
JP4295298B2 JP4295298B2 (ja) 2009-07-15

Family

ID=38571578

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006214286A Expired - Fee Related JP4295298B2 (ja) 2006-08-07 2006-08-07 車両の運転支援制御装置

Country Status (4)

Country Link
US (1) US7769506B2 (ja)
EP (1) EP1886891B1 (ja)
JP (1) JP4295298B2 (ja)
DE (1) DE602007012388D1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014021664A (ja) * 2012-07-17 2014-02-03 Toyota Motor Corp ふらつき判定装置
KR101414572B1 (ko) 2013-02-18 2014-08-06 주식회사 만도 차선 인식 보조 장치 및 그 보조 방법
JP2018173723A (ja) * 2017-03-31 2018-11-08 株式会社Subaru 車両の走行制御システム
JP2022064762A (ja) * 2020-10-14 2022-04-26 トヨタ自動車株式会社 車両制御装置及び車両制御方法
WO2023013345A1 (ja) * 2021-08-02 2023-02-09 株式会社デンソー 車両制御装置

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4816248B2 (ja) * 2006-05-23 2011-11-16 日産自動車株式会社 車両用運転操作補助装置
JP4871909B2 (ja) * 2008-04-25 2012-02-08 日立オートモティブシステムズ株式会社 物体認識装置、および物体認識方法
JP5441549B2 (ja) 2009-07-29 2014-03-12 日立オートモティブシステムズ株式会社 道路形状認識装置
KR20130005107A (ko) * 2011-07-05 2013-01-15 현대자동차주식회사 차간거리 자동 가변 시스템 및 그 방법
US9196164B1 (en) * 2012-09-27 2015-11-24 Google Inc. Pedestrian notifications
KR101518909B1 (ko) 2013-08-09 2015-05-15 현대자동차 주식회사 전방영상 및 네비게이션 기반 운행 장치 및 방법
WO2015056105A1 (en) 2013-10-14 2015-04-23 Mobileye Vision Technologies Ltd. Forward-facing multi-imaging system for navigating a vehicle
CN104554259B (zh) * 2013-10-21 2018-03-30 财团法人车辆研究测试中心 主动式自动驾驶辅助系统与方法
US9238407B1 (en) 2014-02-05 2016-01-19 Jose Brito Tire pressure dependent cruise control device
KR101621877B1 (ko) * 2015-01-20 2016-05-31 현대자동차주식회사 차량 데이터 수집 방법 및 장치
EP3351902B1 (en) * 2015-10-15 2023-08-02 Huawei Technologies Co., Ltd. Navigation system, device, and method

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3644149B2 (ja) 1996-09-10 2005-04-27 日産自動車株式会社 車間距離制御型定速走行装置
JP3878008B2 (ja) 2001-12-07 2007-02-07 株式会社日立製作所 車両用走行制御装置及び地図情報データ記録媒体
JP3888166B2 (ja) 2002-01-16 2007-02-28 三菱自動車工業株式会社 車両用運転支援装置
JP3969251B2 (ja) 2002-08-23 2007-09-05 トヨタ自動車株式会社 車両用運転補助装置
JP4134894B2 (ja) 2003-12-09 2008-08-20 株式会社デンソー 車両運転支援装置
JP4246084B2 (ja) 2004-02-17 2009-04-02 日産自動車株式会社 車両用走行制御装置
JP2005253642A (ja) 2004-03-11 2005-09-22 Aloka Co Ltd 超音波診断装置
JP4432801B2 (ja) * 2005-03-02 2010-03-17 株式会社デンソー 運転支援装置
JP4820712B2 (ja) * 2005-08-05 2011-11-24 アイシン・エィ・ダブリュ株式会社 路面標示認識システム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014021664A (ja) * 2012-07-17 2014-02-03 Toyota Motor Corp ふらつき判定装置
KR101414572B1 (ko) 2013-02-18 2014-08-06 주식회사 만도 차선 인식 보조 장치 및 그 보조 방법
JP2018173723A (ja) * 2017-03-31 2018-11-08 株式会社Subaru 車両の走行制御システム
US10640116B2 (en) 2017-03-31 2020-05-05 Subaru Corporation Traveling control system and method for vehicle
JP2022064762A (ja) * 2020-10-14 2022-04-26 トヨタ自動車株式会社 車両制御装置及び車両制御方法
JP7529526B2 (ja) 2020-10-14 2024-08-06 トヨタ自動車株式会社 車両制御装置及び車両制御方法
WO2023013345A1 (ja) * 2021-08-02 2023-02-09 株式会社デンソー 車両制御装置
JP7557439B2 (ja) 2021-08-02 2024-09-27 株式会社デンソー 車両制御装置及びプログラム

Also Published As

Publication number Publication date
EP1886891A3 (en) 2008-04-16
EP1886891B1 (en) 2011-02-09
DE602007012388D1 (de) 2011-03-24
US20080033625A1 (en) 2008-02-07
US7769506B2 (en) 2010-08-03
EP1886891A2 (en) 2008-02-13
JP4295298B2 (ja) 2009-07-15

Similar Documents

Publication Publication Date Title
JP4295298B2 (ja) 車両の運転支援制御装置
JP6036371B2 (ja) 車両用運転支援システム及び運転支援方法
US9714034B2 (en) Vehicle control device
CN105799700B (zh) 避免碰撞控制系统和控制方法
US10421451B2 (en) Driving assistance apparatus
JP4483589B2 (ja) 車両用情報提供装置
JP3087606B2 (ja) 自動車用車間距離計測装置及び方法
EP2019287B1 (en) Vehicle positioning information update device
US20110128136A1 (en) On-vehicle device and recognition support system
KR20190124119A (ko) 차량의 안전 전략 제공 장치 및 방법
US20120101704A1 (en) Method for operating at least one sensor of a vehicle and vehicle having at least one sensor
KR101470155B1 (ko) 충돌 경고 방법 및 장치
WO2007132860A1 (ja) 対象物認識装置
JP2006227905A (ja) 車両用情報報知装置
JP2021071908A (ja) 異常判定装置、車両支援システム、サーバ
US11204608B2 (en) Vehicle traveling control apparatus
JP2012078226A (ja) 車両用運転支援装置
JP2002222491A (ja) 自動車位置情報による自動車の制御方法
JP4225190B2 (ja) 車両運転支援装置
US20090212934A1 (en) Inter-vehicle communication device for communicating other vehicles and method for communicating between vehicles
JP4134803B2 (ja) 車載用電子装置
JP2011196346A (ja) 車載器
JP4483764B2 (ja) 運転支援システムおよびプログラム
JP2006226824A (ja) 車両用情報報知装置
JP2006252148A (ja) 車両用制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080425

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080916

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090407

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090409

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120417

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4295298

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120417

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120417

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120417

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130417

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140417

Year of fee payment: 5

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees