JP2005346382A - 境界線検出装置 - Google Patents

境界線検出装置 Download PDF

Info

Publication number
JP2005346382A
JP2005346382A JP2004164939A JP2004164939A JP2005346382A JP 2005346382 A JP2005346382 A JP 2005346382A JP 2004164939 A JP2004164939 A JP 2004164939A JP 2004164939 A JP2004164939 A JP 2004164939A JP 2005346382 A JP2005346382 A JP 2005346382A
Authority
JP
Japan
Prior art keywords
lane
boundary position
road
lane boundary
white line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004164939A
Other languages
English (en)
Other versions
JP4390631B2 (ja
Inventor
Makoto Nishida
誠 西田
Akihiro Watanabe
章弘 渡邉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Toyota Central R&D Labs Inc
Original Assignee
Toyota Motor Corp
Toyota Central R&D Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp, Toyota Central R&D Labs Inc filed Critical Toyota Motor Corp
Priority to JP2004164939A priority Critical patent/JP4390631B2/ja
Priority to US11/135,438 priority patent/US7265657B2/en
Priority to EP05011850A priority patent/EP1603097B8/en
Priority to DE602005004444T priority patent/DE602005004444T2/de
Publication of JP2005346382A publication Critical patent/JP2005346382A/ja
Application granted granted Critical
Publication of JP4390631B2 publication Critical patent/JP4390631B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/34Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating change of drive direction
    • B60Q1/346Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating change of drive direction with automatic actuation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/34Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating change of drive direction
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/161Decentralised systems, e.g. inter-vehicle communication
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Steering Control In Accordance With Driving Conditions (AREA)

Abstract

【課題】境界線検出装置において、本線走路と増加走路とを適正に判別して車両を正しい走路に沿って適正に走行可能とする。
【解決手段】カメラ11からの入力画像における所定の検出期間の画像情報に基づいて白線候補線を検出し、この白線候補線に基づいて本線走路101の白線201,202を選定する一方、本線走路101から増加する右折走路102の傾斜白線203が選定されたときには誤検出と判定して右折レーンモードを設定し、傾斜白線203として選定した白線のデータを所定期間にわたって採用せず、それ以前に選定した本線走路101の白線201,202を白線のデータとして採用する。
【選択図】 図2

Description

本発明は、車両に搭載されて走路を撮像するカメラからの入力画像に基づいて画像情報を取得し、この画像情報に基づいて路面上に描かれた境界線を検出する境界線検出装置に関するものである。
近年、車両前方の走路をカメラにより撮影し、このカメラが撮影した画像に基づいて路面上に描かれた境界線、つまり、白線を検出し、車両をこの白線により区分された走路を自動運転する装置が開発されている。この自動運転を実現するためには、走路を適正に検出する必要があり、カメラが撮影した画像を処理することにより走路、つまり、白線を検出する検出装置が必要となる。この種の検出装置として、例えば、下記特許文献1、2に記載されたものがある。
特許文献1に記載された「車両用走行車線認識装置」は、車両直前部の左右の画像情報から、直線成分を表すエッジ成分のエッジ点計数の最大値を計測し、この最大値に基づいて、最大値が周期的に変化している場合に破線レーンマーカと認識し、定常的な一定値の場合に実線レーンマーカと認識し、この左右のレーンマーカに関する認識結果から、自車両の走行車線を認識するものである。
また、特許文献2に記載された「車両用走行レーン検知装置」は、車両前部に設けられたビデオカメラから撮像された画像を処理して白線候補点を検出し、この白線候補点のうち白線と認識された白線候補点のみを選択してその検出率を算出し、一定量の検出率に基づいて白線の種類を判別するものである。
特開平08−320997号公報 特開2001−014595号公報
ところで、例えば、バイパス道路では、複数の本線走路が設けられると共に、前方の交差点で右折または左折するために増加する右折走路や左折走路が設けられており、この右折走路や左折走路などを含む全体の道路幅が広がり、これを区分する白線は、本線走路の白線から外側に屈曲するように描かれている。この場合、自車が走行する本線車線に対して、例えば、右に増加する右折走路があるとき、白線検出装置は、右折走路の白線を本線走路の白線と誤検出してしまうおそれがあり、検出した白線を本線走路のものか右折走路のものかを正しく判別しなければならない。上述した特許文献1、2の装置にあっては、この点について特に記載されておらず、走路を区分する白線を適正に検出することができないおそれがある。
本発明は、このような問題を解決するためのものであって、本線走路と増加走路とを適正に判別して車両を正しい走路に沿って適正に走行可能とした境界線検出装置を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明の境界線検出装置は、車両に搭載されて走路を撮像するカメラと、該カメラからの入力画像における画像情報に基づいて路面上に描かれた車線境界位置の候補線を検出する候補線検出手段と、該候補線検出手段が検出した前記車線境界位置の候補線に基づいて車線境界位置を選定する車線境界位置選定手段と、前記候補線検出手段が検出した前記車線境界位置の候補線に基づいて本線走路から増加する増加走路の車線境界位置を選定する増加車線境界位置選定手段と、該増加車線境界位置選定手段が前記増加走路の車線境界位置を選定したときに予め設定された所定期間にわたって前記車線境界位置選定手段または前記増加車線境界位置選定手段が選定した車線境界位置の採用を停止する増加処理手段とを具えたことを特徴とするものである。
また、本発明の境界線検出装置では、前記増加処理手段は、前記増加車線境界位置選定手段が前記増加走路の車線境界位置を選定したとき、該増加走路の車線境界位置が選定される以前の前記車線境界位置を採用することを特徴としている。
本発明の境界線検出装置では、前記増加車線境界位置選定手段は、前記車線境界位置に基づいて算出された走路曲率が予め設定された第1所定値より大きいとき、またはピッチ角が予め設定された所定範囲外にあり、且つ、前記走路曲率が前記第1所定値より小さい第2所定値より大きいときに、検出した前記車線境界位置を前記増加走路の車線境界位置と認定することを特徴としている。
本発明の境界線検出装置では、前記車線境界位置選定手段または前記増加車線境界位置選定手段が選定した車線境界位置の採用を停止する前記所定期間は、前記増加車線境界位置選定手段が前記増加走路の車線境界位置を選定したときの車両の走路位置から該車両が予め設定した所定距離だけ前進した期間であることを特徴としている。
本発明の境界線検出装置では、前記増加走路は、前記本線走路から前方の交差点を右折するための右折走路または左折するための左折走路であり、前記車線境界位置選定手段または前記増加車線境界位置選定手段が選定した車線境界位置の採用を停止する前記所定期間は、前記交差点を検出するまでの期間であることを特徴としている。
本発明の境界線検出装置によれば、カメラからの入力画像における画像情報に基づいて路面上に描かれた車線境界位置の候補線を検出し、この車線境界位置の候補線に基づいて車線境界位置を選定する一方、本線走路から増加する増加走路の車線境界位置を選定し、この増加走路の車線境界位置を選定したときには、所定期間にわたって車線境界位置選定手段または増加車線境界位置選定手段が選定した車線境界位置の採用を停止するので、増加走路の車線境界位置を選定したときには、所定期間にわたって選定した車線境界位置の採用を停止することで、本線走路と増加走路とを適正に判別して車両は増加走路の境界線位置に影響されることなく正しい走路に沿って走行することができ、車両を継続して適正に走行させることができる。
以下に、本発明にかかる境界線検出装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
図1は、本発明の一実施例に係る境界線検出装置が適用された車両制御装置のブロック構成図、図2は、本実施例の境界線検出装置のブロック構成図、図3は、カメラが撮像した画像の概略図、図4は、本実施例の境界線検出装置が出力する道路パラメータを説明するための概略図、図5は、本線走路及び右折走路を表す道路の平面図、図6−1は、画像処理後の本線走路の概略図、図6−2は、画像処理後の本線走路における増加部の概略図、図7は、本実施例の境界線検出装置による境界線検出制御のフローチャート、図8は、右折レーンモード判定処理を表すフローチャートである。
本実施例の境界線検出装置が適用された車両制御装置は、図1に示すように、カメラ11と、白線検出装置(境界線検出装置)12と、車両操舵制御装置13と、メインスイッチ(S/W)14と、車速センサ15と、パワーステアリング装置16と、表示装置17とを有しており、車両が走行する走路を区分する両側の白線を検出し、この白線に基づいて道路パラメータを算出し、この道路パラメータに基づいて車両を操舵することで、この車両を現在走行中の走路を維持して適正に走行させるものである。
カメラ11は、車両前方の走路が撮影できるように、例えば、ルームミラーの近傍に所定の俯角をもって固定されており、撮影した入力画像を白線検出装置12に出力する。このカメラ11は、車両から前方に所定距離だけ離間位置から遠方の位置までを撮影することができ、その画像は、図3に示すように、走路101を区分する左右の白線(境界線)201,202が上方位置で交差するハの字形状となる。
白線検出装置12は、カメラ11からの入力画像に基づいて路面上に描かれた左右の白線を検出し、この左右の白線の情報に基づいて道路パラメータを求めるものであり、図2に示すように、候補線検出手段としてのエッジ点抽出部21、エッジ線抽出部22、白線抽出部23と、車線境界位置選定手段としての白線選択部24と、道路パラメータ演算部25と、増加車線境界位置選定手段及び増加処理手段としての右折レーンモード判定部26と、道路パラメータ出力部27とを有している。この場合、白線検出装置12は、カメラ11が撮影した画像を幾何変換により走路を上方から見た平面視画像にして各種の処理を実行している。
そして、この白線検出装置12は、カメラ11からの入力画像を所定のサンプリング周期(例えば、200ms)で連続的に処理しており、車両走行方向に交差する水平方向(カメラ11の左右方向)にて、明るさが急激に変化する点をエッジ点として認識するものであり、エッジ点抽出部21は、カメラ11の入力画像から複数のエッジ点を抽出する。エッジ線抽出部22は、エッジ点抽出部21が抽出した複数のエッジ点に対して、例えば、ハフ変換を用いて白線候補線(車線境界位置の候補線)となる複数のエッジ線を抽出する。白線抽出部23は、エッジ線抽出部22が抽出した複数のエッジ線から左右一対となる複数組の白線候補線を抽出する。そして、白線選択部24は、白線抽出部23が抽出した複数組の白線候補線のなかから最も車線らしい2本、もしくは1本の白線を選定する。
道路パラメータ演算部25は、選定された2本の白線に基づいて、道路曲率R、車両のピッチ角φ、ヨー角θ、走路幅W、オフセット量gを5つの道路パラメータとして演算する。即ち、図4に示すように、車両10が、左右の白線201,202により区分された走路101を走行中であるとき、道路曲率Rは、左右の白線201,202の曲率の平均値であり、車両10の走行方向の右側に湾曲した場合が+、左側に湾曲した場合が−である。ピッチ角φは、走路の路面に対する車両(カメラ11の光軸)の前後方向の傾斜角度であり、平面視画像に変換した後の左右の白線201,202の傾斜角度から算出する。つまり、車両10が路面に水平な停止状態であるときのピッチ角φ=0とすると、このときの平面視画像では左右の白線201,202が平行な状態にある。一方、車両前部が下方に傾斜すると、平面視画像における左右の白線201,202がハの字形状に変化する一方、車両前部が上方に傾斜すると、平面視画像における左右の白線201,202が逆ハの字形状に変化するため、この白線201,202の角度に基づいてピッチ角φを算出することができる。ヨー角θは、カメラ11の固定位置にて、車両10の走路方向に対する左右の白線201,202の振れ角度の平均値であり、車両10の走行方向の右側に振れた場合が+、左側に振れた場合が−である。走路幅Wは、左右の白線201,202の中心の間隔であり、オフセット量gは走路101の中心と車両10の中心とのずれ量であり、走路101に対して車両10が右側にずれた場合が+、左側にずれた場合が−である。
また、右折レーンモード判定部26は、白線抽出部23が抽出した複数組の白線候補線のなかから本線走路に対して右側に増加する右折走路の白線を選定(増加車線境界位置選定手段)し、この右折走路の白線を選定したときに右折レーンモードを設定し、これ以降に白線選択部24が選定した白線の採用を所定期間だけ停止(増加処理手段)する。
例えば、一般に、バイパス道路では、図5に示すように、左右の白線201,202により区分された本線走路101に対して、前方の交差点を右折するための右折走路102を設けるために、右の白線202が右側に屈曲する傾斜白線203が描かれると共に、この傾斜白線203が左側に屈曲して白線202と平行となる右折白線204が描かれており、傾斜白線203に対応する白線201は途切れた状態となっている。このような本線走路101に対して右側に右折走路102が設けられた道路を車両10が走行する場合、カメラ11の撮影した入力画像に対して白線検出装置12が処理エリアAを画像処理すると、図6―1に示すように、2つの平行な白線201,202を検出することができる。一方、カメラ11の撮影した入力画像に対して白線検出装置12が処理エリアBを画像処理すると、図6―2に示すように、左側の白線201は検出することができるものの、右側の白線202を検出することができず、右折走路102のための傾斜白線203を検出することなる。そのため、車両10を現在走行中の本線走路101に沿って適正に走行させることができないおそれがある。
そこで、右折レーンモード判定部26は、白線抽出部23が抽出した複数組の白線候補線の中から選定した2つの白線の一方が右折走路102の傾斜白線203であると判定したときには、このときに選定した傾斜白線203のデータに基づいて算出した道路パラメータを採用せず、それ以前に選定した白線、つまり、本線走路101の白線201,202のデータに基づいて算出した道路パラメータを採用するようにしている。この場合、道路パラメータ演算部25が算出した道路曲率Rが予め設定された第1所定値より大きいとき、または、道路パラメータ演算部25が算出した車両のピッチ角φが予め設定された所定範囲外にあり、且つ、道路曲率Rが第1所定値より小さい第2所定値より大きいときに、選定した白線が右折走路の白線であると判定している。
そして、選定した白線が右折走路の白線であると判定されると、処理モードを通常レーンモードから右折レーンモードに変更する。通常レーンモードでは、所定の検出時間(例えば、1秒間)に複数(例えば、10個)時間的に連続して白線候補線が検出できたときに、これを白線として認識するようにしている。一方、右折レーンモードでは、同様に、所定の検出時間(例えば、1秒間)に複数(例えば、10個)時間的に連続して白線候補線が検出できたときに、これを白線として認識するものの、この選定した白線の情報の採用を所定期間にわたって停止することで、車両10が継続して本線走路101を走行して右折走路102の傾斜白線203を通過した後に、再び本線走路101の白線を検出することができる。
道路パラメータ出力部27は、道路パラメータ演算部25が算出した道路曲率R、車両のピッチ角φ、ヨー角θ、走路幅W、オフセット量gからなる道路パラメータと、右折レーンモード判定部26が判定した傾斜白線203の判定結果を車両操舵制御装置13に出力するものである。
また、車両操舵制御装置13は、白線検出装置12から出力された道路パラメータに基づいて車両の操舵量(操舵トルク)を設定するものである。即ち、車両10が走行する走路が右方にカーブしているときに、このカーブ道路を走行させるために必要な操舵量を決定し、パワーステアリング装置16を制御するものである。この車両操舵制御装置13には、メインスイッチ14が接続されており、このメインスイッチ14がON操作されているときに、車両10の操舵制御を実行する。また、この車両操舵制御装置13には車速センサ15が接続されており、車両操舵制御装置13は車速センサ15が検出した車速を加味して車両の操舵量を設定する。そして、車両操舵制御装置13に接続された表示装置17に、その制御状態が表示される。
ここで、上述した本実施例の白線検出装置による白線検出制御について、図7及び図8のフローチャートに基づいて説明する。
本実施例の白線検出装置12による白線検出制御において、図7に示すように、ステップS11にて、カメラ11からの画像を入力し、ステップS12にて、カメラ11からの入力画像に基づいて複数のエッジ点を抽出し、ステップS13にて、抽出された複数のエッジ点をハフ変換して複数のエッジ線を抽出し、ステップS14にて、抽出された複数のエッジ線から複数組の白線候補線を抽出し、ステップS15にて、複数組の白線候補線の中から最も車線らしい2本の白線を選定する。そして、ステップS16にて、選定された2本の白線に基づいて、道路曲率R、車両のピッチ角φ、ヨー角θ、走路幅W、オフセット量gを5つの道路パラメータとして演算する。
ステップS17では、検出フラグF1=1(ON)であるかどうかを判定する。即ち、通常レーンモード制御で、走路の白線が検出されている状態であれば、検出フラグF1=1(ON)であり、白線が、例えば、路面に描かれている白線が消えてしまっていたり、積雪などにより見えずに検出できていない状態であれば、検出フラグF1=0(OFF)である。このステップS17にて、検出フラグF1=1でなければ、ステップS25に移行する一方、検出フラグF1=1であれば、ステップS18に移行して右折レーンモードの判定制御を実行する。
図8に示すように、ステップS101にて、過去履歴バッファへ所定時間(例えば、5秒間)の道路パラメータ(道路曲率R、車両のピッチ角φ、ヨー角θ、走路幅W、オフセット量g)を格納する。そして、ステップS102では、この道路パラメータにおける道路曲率R及び車両のピッチ角φを用いてその異常判定を行う。即ち、まず、過去所定時間(例えば、5秒間)における道路曲率Rの平均値RA及びピッチ角φの平均値φAを算出する。次に、現在の道路曲率Rと過去の平均値RAとの差が第1閾値RBより大きいかどうかを判定する。また、現在のピッチ角φと過去の平均値φAとの差が第1閾値φBより大きいかどうか、また、現在のピッチ角φと過去の平均値φAとの差が第2閾値φSより小さいかどうかを判定する。この場合、第1閾値φBは第2閾値φSよりも大きく設定されている。
この判定にて、現在の道路曲率Rと過去の平均値RAとの差が第1閾値RBより大きければ、現在の走路が右方または左方へ異常に大きくカーブしていると推測することができ、道路曲率異常フラグF3=1とする。また、現在のピッチ角φと過去の平均値φAとの差が第1閾値φBより大きければ、車両が前方に傾斜していないのにも拘らずピッチ角が大きいため、平面視画像における左右の白線がハの字形状であり、左右の白線の角度が異常に大きいと推測することができ、ピッチ角第1異常フラグF4=1とする。更に、現在のピッチ角φと過去の平均値φAとの差が第2閾値φSより小さければ、車両が後方に傾斜していないのにも拘らずピッチ角が小さいため、平面視画像における左右の白線が逆ハの字形状であり、左右の白線の角度が異常に大きいと推測することができ、ピッチ角第2異常フラグF5=1とする。
上記した道路曲率R及びピッチ角φを用いた異常判定方法を簡単にまとめると、下記のものとなる。
R−RA>RB → F3=1
φ−φA>φB → F4=1
φ−φA>φS → F5=1
ステップS102で、道路パラメータにおける道路曲率R及びピッチ角φの異常判定を行った後、ステップS103では、道路パラメータにおける道路曲率Rの変化方向性の異常判定を行う。即ち、現在の道路曲率Rと過去の平均値RAとの差が第1閾値RBより小さい第2閾値RSより大きいかどうかを判定する。この判定にて、現在の道路曲率Rと過去の平均値RAとの差が第2閾値RSより大きければ、現在の走路が右方へカーブしていると推測することができ、右折道路曲率フラグF6=1とする。
R−RA>RS → F6=1
そして、ステップS104にて、上記設定した各フラグF3〜F6に基づいて右折レーンモードの判定を行う。即ち、道路曲率異常フラグF3=1であるか、または、ピッチ角第1異常フラグF4=1またはピッチ角第1異常フラグF5=1で且つ右折道路曲率フラグF6=1であるときは、白線の検出結果を右折による誤検出と判定する。右折による誤検出と判定した場合には、ステップS105に移行し、右折レーンモードフラグF2=1(ON)とする。一方、ステップS104にて、白線の検出結果を右折による誤検出ではないと判定したときには、右折レーンモードフラグF2は変更しない。
F3=1 or
(F4=1 or F5=1)and F6=1 → F2=1
即ち、この右折レーンモードの判定制御では、算出した道路曲率R及び車両のピッチ角φに基づいて選定した白線が右折走路102の白線であるかどうかを判定し、右折走路102の白線であると判定されたら、右折レーンモードフラグF2=1とする。即ち、右折レーンモードフラグF2=0と判定されたときに、検出フラグF1=1とすることで、選定した右折走路102の白線のデータに基づいて算出した道路パラメータを所定時間採用しない。
右折レーンモードの判定制御にて、選定した白線が右折走路102の白線であるかどうか判定され、右折レーンモードフラグF2が設定されると、図7に戻り、ステップS19にて、右折レーンモードフラグF2=1であるかどうかを判定する。このステップS19にて、前述した右折レーンモードの判定制御で、右折走路102の白線ではないと判定されていれば、右折レーンモードフラグF2=0であるため、ステップS25に移行し、算出した本線走路101の道路曲率R、車両のピッチ角φ、ヨー角θ、走路幅W、オフセット量gからなる道路パラメータと、検出フラグF1の状態(F1=0かF1=1)を車両操舵制御装置13に出力する。一方、ステップS19にて、前述した右折レーンモードの判定制御で、右折走路101の傾斜白線203であると判定されていれば、右折レーンモードフラグF2=1であるため、ステップS20に移行し、検出フラグF1=0とする。
ステップS21では、右折レーンモードフラグF2=1となった右折レーンモードに移行してからの経過時間(右折レーンモード時間)T1のカウントアップを開始する。そして、ステップS22にて、この右折レーンモード時間T1が予め設定された所定時間T1Sを越えたかどうかを判定し、右折レーンモード時間T1がこの所定時間T1Sを越えていなければ、ここまでの処理を繰り返し行う。そして、右折レーンモード時間T1が所定時間T1Sを越えたら、ステップS23にて、右折レーンモードフラグF2=0とし、ステップS24にて、右折レーンモード時間T1をリセットする。
ここで、右折レーンモード時間T1における所定時間T1Sとは、右折走路102の傾斜白線203を検出してから、車両10がこの傾斜白線203を完全に通過するまでの時間である。一般に、車線が増加するために描いた傾斜した白線の距離は所定長さ(例えば、20m)に設定されており、現在の車速からこの距離を通過する時間を算出している。つまり、右折走路102の傾斜白線203を検出したときの車両10の走路位置から、この車両10が所定距離走行して傾斜白線203を通過する期間は、検出した白線の情報を採用しないようにしている。そして、この期間が経過し、車両10傾斜白線203を通過したら、右折レーンモードを終了して通常レーンモードに戻る。
そして、ステップS25にて、算出した道路曲率R、車両のピッチ角φ、ヨー角θ、走路幅W、オフセット量gからなる道路パラメータと、検出フラグF1の状態(F1=0かF1=1)を車両操舵制御装置13に出力する。この車両操舵制御装置13は、入力した道路パラメータのデータに対して、検出フラグF1=0が同時に入力されると、この道路パラメータのデータを採用せず、前回に入力した道路パラメータのデータを採用して車両の操舵制御を実行し、検出フラグF1=1が同時に入力されると、この道路パラメータのデータをそのまま採用して車両の操舵制御を実行する。
このように本実施例の境界線検出装置にあっては、カメラ11からの入力画像における所定の検出期間の画像情報に基づいて路面上に描かれた白線候補線を検出し、この白線候補線に基づいて本線走路101の白線201,202を選定する一方、本線走路101から増加する右折走路102の傾斜白線203を選定し、この右折走路102の傾斜白線203が選定されたときには誤検出と判定して右折レーンモードを設定し、傾斜白線203として選定した白線のデータを所定期間にわたって採用せず、それ以前に選定した本線走路101の白線201,202を白線のデータとして採用している。
従って、検出した白線が傾斜白線203であるときは、右折誤検出と判定してこの検出データによる操舵制御(レーンキープ制御)を所定期間にわたってやめる一方、右折誤検出より以前に検出した本線走路101の白線201,202のデータによる操舵制御(レーンキープ制御)を継続することとなり、車両10は、右折走路102に惑わされることなく本線走路101を維持して適性に走行することができる。そして、右折誤検出と判定してから所定期間が経過すると、車両10はこの右折走路102の傾斜白線203を通過することから、この所定期間の経過後に白線検出を再開し、本線走路101の白線201,202を再び検出して操舵制御を実行することができ、車両10を継続して適正に走行させることができる。
また、検出した白線が本線走路101の白線201,202であるか、右折走路102の傾斜白線203であるかの判定を、道路曲率Rまたはピッチ角φに基づいて判定しており、出力する道路パラメータを用いることで、別の検出機器を不要として装置や制御プログラムの簡素化を図ることができる。この場合、現在の道路曲率Rと平均値RAとの差が第1閾値RBより大きければ、現在の走路が右方または左方へ異常に大きくカーブしていると推測することから、右折走路102の傾斜白線203であると判定している。また、現在のピッチ角φと過去の平均値φAとの差が第1閾値φBより大きかったり、現在のピッチ角φと過去の平均値φAとの差が第2閾値φSより小さいと、車両が傾斜していないのにも拘らずピッチ角が小さく、且つ、現在の道路曲率Rと過去の平均値RAとの差が第2閾値RSより大きければ、現在の走路が右方にカーブしていると推測することから、右折走路102の傾斜白線203であると判定している。従って、右折による白線の誤検出を高精度に判定することができる。
更に、右折誤検出を判定してこの検出データによる操舵制御を停止する所定期間を、右折走路102の傾斜白線203を検出した車両10の走路位置から、この車両10が所定距離走行して傾斜白線203を通過するまで期間としている。従って、右折走路102の傾斜白線203を検出してから所定期間が経過すると、車両10はこの傾斜白線203を通過して本線走路101の白線201,202を適正に検出することができる。
なお、上述した実施例では、右折を誤検出してから検出した白線のデータを採用しない期間を、右折走路102の傾斜白線203を検出してからこの傾斜白線203を通過するまでの時間としたが、傾斜白線203を検出してからこの傾斜白線203を通過するまで走行距離としても良く、この場合、車両10に搭載されている距離計を用いて計測すればよい。また、この期間を予め設定された所定時間や所定距離に限らず、右折走路102の前方にある交差点を検出するまでの期間としても良い。一般的に、交差点には横断歩道、停止線、信号機、歩道橋などが設けられており、カメラを用いてこれらを検出して右折レーンモードを解除するようにしても良い。
また、上述の実施例では、右折車線境界位置選定手段を右折レーンモード判定部26とし、算出した道路曲率Rまたは車両のピッチ角φに基づいて選定した2つの白線が右折走路102の傾斜白線203であると判定するように構成したが、道路曲率R及び車両のピッチ角φが各所定値より大きいときに右折走路102の傾斜白線203であると判定してもよく、また、この道路曲率Rやピッチ角φに相当する値に基づいて判定しても良い。更に、右折走路102の判定は、この方法に限定されるものではなく、例えば、右折走路102では、傾斜白線203が本線走路101の白線202から所定角度で屈曲した形状をなしているため、この形状を予め記憶しておき、検出した白線とこの傾斜白線203とを比較することで、右折走路102の傾斜白線203であると判定するようにしても良い。また、右折走路102特有の形状を記憶する場合、右折走路102における傾斜白線203に連続する右折白線204の形状などを記憶するようにしても良い。
また、白線検出装置12は、検出した白線に基づいて道路パラメータを算出し、この道路パラメータと共に検出フラグF1を出力することで、車両操舵制御装置13は、検出フラグF1=0が入力されると、同時に入力した道路パラメータを採用せずに前回に入力した道路パラメータを採用する一方、検出フラグF1=1が入力されると、同時に入力した道路パラメータを採用するように構成したが、この処理方法に限定されるものではない。例えば、検出した白線が右折走路102の白線203,204であると判定されたとき、道路パラメータを算出しなかったり、算出した道路パラメータを出力せずに、前回算出した本線道路101の白線201,202に基づいて算出した道路パラメータを出力するようにしても良い。
更に、上述の実施例では、本線走路101から右に増加する右折走路102があるバイパス道路において、白線を検出する手法について説明したが、本線走路101から左に増加する左折走路がある道路でも、本発明の白線検出装置を適用することができ、また、高速道路に限定されるものでもない。
以上のように、本発明にかかる境界線検出装置は、増加走路の車線境界位置を検出したらこの検出データの採用を所定期間停止するようにしたものであり、走路の形態に拘らず、いずれの境界線検出装置に有用である。
本発明の一実施例に係る境界線検出装置が適用された車両制御装置のブロック構成図である。 本実施例の境界線検出装置のブロック構成図である。 カメラが撮像した画像の概略図である。 本実施例の境界線検出装置が出力する道路パラメータを説明するための概略図である。 本線走路及び右折走路を表す道路の平面図である。 画像処理後の本線走路の概略図である。 画像処理後の本線走路における増加部の概略図である。 本実施例の境界線検出装置による境界線検出制御のフローチャートである。 右折レーンモード判定処理を表すフローチャートである。
符号の説明
11 カメラ
12 白線検出装置(境界線検出装置)
13 車両操舵制御装置
14 メインスイッチ
15 車速センサ
16 パワーステアリング装置
17 表示装置
21 エッジ点抽出部(候補線検出手段)
22 エッジ線抽出部(候補線検出手段)
23 白線抽出部(候補線検出手段)
24 白線選択部(車線境界位置選定手段)
25 道路パラメータ演算部
26 右折レーンモード判定部(増加車線境界位置選定手段、増加処理手段)
27 道路パラメータ出力部
101 本線走路
102 右折走路
201,202 本線白線(境界線位置)
203 傾斜白線(境界線位置)
204 右折白線(境界線位置)

Claims (5)

  1. 車両に搭載されて走路を撮像するカメラと、該カメラからの入力画像における画像情報に基づいて路面上に描かれた車線境界位置の候補線を検出する候補線検出手段と、該候補線検出手段が検出した前記車線境界位置の候補線に基づいて車線境界位置を選定する車線境界位置選定手段と、前記候補線検出手段が検出した前記車線境界位置の候補線に基づいて本線走路から増加する増加走路の車線境界位置を選定する増加車線境界位置選定手段と、該増加車線境界位置選定手段が前記増加走路の車線境界位置を選定したときに予め設定された所定期間にわたって前記車線境界位置選定手段または前記増加車線境界位置選定手段が選定した車線境界位置の採用を停止する増加処理手段とを具えたことを特徴とする境界線検出装置。
  2. 請求項1記載の境界線検出装置において、前記増加処理手段は、前記増加車線境界位置選定手段が前記増加走路の車線境界位置を選定したとき、該増加走路の車線境界位置が選定される以前の前記車線境界位置を採用することを特徴とする境界線検出装置。
  3. 請求項1記載の境界線検出装置において、前記増加車線境界位置選定手段は、前記車線境界位置に基づいて算出された走路曲率が予め設定された第1所定値より大きいとき、またはピッチ角が予め設定された所定範囲外にあり、且つ、前記走路曲率が前記第1所定値より小さい第2所定値より大きいときに、検出した前記車線境界位置を前記増加走路の車線境界位置と認定することを特徴とする境界線検出装置。
  4. 請求項1記載の境界線検出装置において、前記車線境界位置選定手段または前記増加車線境界位置選定手段が選定した車線境界位置の採用を停止する前記所定期間は、前記増加車線境界位置選定手段が前記増加走路の車線境界位置を選定したときの車両の走路位置から該車両が予め設定した所定距離だけ前進した期間であることを特徴とする境界線検出装置。
  5. 請求項1記載の境界線検出装置において、前記増加走路は、前記本線走路から前方の交差点を右折するための右折走路または左折するための左折走路であり、前記車線境界位置選定手段または前記増加車線境界位置選定手段が選定した車線境界位置の採用を停止する前記所定期間は、前記交差点を検出するまでの期間であることを特徴とする境界線検出装置。
JP2004164939A 2004-06-02 2004-06-02 境界線検出装置 Expired - Lifetime JP4390631B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2004164939A JP4390631B2 (ja) 2004-06-02 2004-06-02 境界線検出装置
US11/135,438 US7265657B2 (en) 2004-06-02 2005-05-24 Lane boundary detector
EP05011850A EP1603097B8 (en) 2004-06-02 2005-06-01 Lane boundary detector
DE602005004444T DE602005004444T2 (de) 2004-06-02 2005-06-01 Fahrbahnbegrenzungserkennung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004164939A JP4390631B2 (ja) 2004-06-02 2004-06-02 境界線検出装置

Publications (2)

Publication Number Publication Date
JP2005346382A true JP2005346382A (ja) 2005-12-15
JP4390631B2 JP4390631B2 (ja) 2009-12-24

Family

ID=34937145

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004164939A Expired - Lifetime JP4390631B2 (ja) 2004-06-02 2004-06-02 境界線検出装置

Country Status (4)

Country Link
US (1) US7265657B2 (ja)
EP (1) EP1603097B8 (ja)
JP (1) JP4390631B2 (ja)
DE (1) DE602005004444T2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008299570A (ja) * 2007-05-31 2008-12-11 Aisin Aw Co Ltd 運転支援装置
US7860652B2 (en) 2006-11-14 2010-12-28 Toyota Jidosha Kabushiki Kaisha Lane detecting apparatus
JP2012058948A (ja) * 2010-09-08 2012-03-22 Denso Corp 車両の逆走検知装置
JP2014144764A (ja) * 2013-01-30 2014-08-14 Toyota Motor Corp 区画線信頼度判定装置および運転支援制御装置
JP2015069288A (ja) * 2013-09-27 2015-04-13 日産自動車株式会社 自車位置認識装置
WO2019186692A1 (ja) * 2018-03-27 2019-10-03 日産自動車株式会社 自動運転車両の制御方法および制御装置

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004040143A1 (de) * 2004-08-19 2006-02-23 Robert Bosch Gmbh Verfahren und Vorrichtung zur Fahrerinformation
JP4659631B2 (ja) * 2005-04-26 2011-03-30 富士重工業株式会社 車線認識装置
DE102006047636A1 (de) * 2006-10-09 2008-04-10 Robert Bosch Gmbh Verfahren für die Steuerung eines Fahrerassistenzsystems
JP5124875B2 (ja) * 2008-03-12 2013-01-23 本田技研工業株式会社 車両走行支援装置、車両、車両走行支援プログラム
JP5124874B2 (ja) * 2008-03-12 2013-01-23 本田技研工業株式会社 車両走行支援装置、車両、車両走行支援プログラム
US20090284361A1 (en) * 2008-05-19 2009-11-19 John Boddie Driver scoring system with lane changing detection and warning system
JP5664152B2 (ja) * 2009-12-25 2015-02-04 株式会社リコー 撮像装置、車載用撮像システム及び物体識別装置
EP2347940A1 (en) * 2010-01-25 2011-07-27 Autoliv Development AB An object collision warning system and method for a motor vehicle
JP5258859B2 (ja) * 2010-09-24 2013-08-07 株式会社豊田中央研究所 走路推定装置及びプログラム
WO2012081096A1 (ja) * 2010-12-15 2012-06-21 トヨタ自動車株式会社 走行支援装置、走行支援方法、及び車輌
US9751529B2 (en) * 2011-06-09 2017-09-05 GM Global Technology Operations LLC Lane sensing through lane marker identification for lane centering/keeping
KR101436624B1 (ko) * 2013-02-07 2014-11-03 주식회사 만도 차선 유지 제어 시스템, 방법 및 컴퓨터 판독 가능한 기록 매체
JP2015005193A (ja) * 2013-06-21 2015-01-08 富士重工業株式会社 車両用運転支援装置
JP5874770B2 (ja) 2014-03-12 2016-03-02 トヨタ自動車株式会社 区画線検出システム
CN112839169B (zh) 2014-05-29 2023-05-09 株式会社尼康 驾驶辅助装置及摄像装置
US9830517B2 (en) * 2014-06-19 2017-11-28 Toyota Motor Engineering & Manufacturing North America, Inc. Road branch detection and path selection for lane centering
DE102014222836A1 (de) * 2014-11-10 2016-05-12 Robert Bosch Gmbh Verfahren zum Betreiben eines Fahrerassistenzsystems und Fahrerassistenzsystem
US9478137B1 (en) * 2015-06-17 2016-10-25 Ford Global Technologies, Llc Detecting and communicating lane splitting maneuver
KR101748269B1 (ko) * 2015-11-11 2017-06-27 현대자동차주식회사 자율 주행 차량의 조향 제어 방법 및 장치
CN106203398B (zh) * 2016-07-26 2019-08-13 东软集团股份有限公司 一种检测车道边界的方法、装置和设备
DE102016009304A1 (de) 2016-08-01 2018-02-01 Lucas Automotive Gmbh Steuerungs-System und Steuerungs-Verfahren zum Bestimmen einer Fahrbahn
WO2018179616A1 (ja) * 2017-03-27 2018-10-04 三菱電機株式会社 車両位置推定装置
CN109558765B (zh) * 2017-09-25 2022-02-08 比亚迪股份有限公司 汽车及车道线的检测方法、装置
JP6963490B2 (ja) * 2017-12-15 2021-11-10 株式会社デンソー 車両制御装置
US11273836B2 (en) 2017-12-18 2022-03-15 Plusai, Inc. Method and system for human-like driving lane planning in autonomous driving vehicles
US11130497B2 (en) 2017-12-18 2021-09-28 Plusai Limited Method and system for ensemble vehicle control prediction in autonomous driving vehicles
US20190185012A1 (en) 2017-12-18 2019-06-20 PlusAI Corp Method and system for personalized motion planning in autonomous driving vehicles
JP7131131B2 (ja) * 2018-06-29 2022-09-06 マツダ株式会社 車両用ライン検出装置および該方法
DE102018129270A1 (de) * 2018-11-21 2020-05-28 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Steuersystem zum automatisierten Bewegen eines Kraftfahrzeugs, Verfahren und Computerprogramm
CN111539907B (zh) * 2019-07-25 2023-09-12 毫末智行科技有限公司 用于目标检测的图像处理方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19507956C2 (de) * 1995-03-07 2002-11-07 Daimler Chrysler Ag Einrichtung zur Bestimmung des Fahrzeugabstandes von einer seitlichen Fahrbahnmarkierung
JP3304687B2 (ja) 1995-05-24 2002-07-22 日産自動車株式会社 車両用走行車線認識装置及び障害物検出装置・道路逸脱報知装置
EP0827127B1 (en) * 1996-08-28 2006-10-04 Matsushita Electric Industrial Co., Ltd. Local positioning apparatus, and method therefor
JP3373773B2 (ja) * 1998-01-27 2003-02-04 株式会社デンソー レーンマーク認識装置、車両走行制御装置および記録媒体
US6577334B1 (en) * 1998-02-18 2003-06-10 Kabushikikaisha Equos Research Vehicle control
JP2001014595A (ja) 1999-06-29 2001-01-19 Mitsubishi Motors Corp 車両用走行レーン検知装置
JP3780848B2 (ja) * 2000-12-27 2006-05-31 日産自動車株式会社 車両の走行路認識装置
JP4631197B2 (ja) 2001-04-09 2011-02-16 株式会社デンソー 分岐路判定装置、プログラム及び記録媒体
JP3729095B2 (ja) * 2001-06-29 2005-12-21 日産自動車株式会社 走行路検出装置
JP4092308B2 (ja) 2004-06-02 2008-05-28 トヨタ自動車株式会社 境界線検出装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7860652B2 (en) 2006-11-14 2010-12-28 Toyota Jidosha Kabushiki Kaisha Lane detecting apparatus
JP2008299570A (ja) * 2007-05-31 2008-12-11 Aisin Aw Co Ltd 運転支援装置
JP2012058948A (ja) * 2010-09-08 2012-03-22 Denso Corp 車両の逆走検知装置
JP2014144764A (ja) * 2013-01-30 2014-08-14 Toyota Motor Corp 区画線信頼度判定装置および運転支援制御装置
JP2015069288A (ja) * 2013-09-27 2015-04-13 日産自動車株式会社 自車位置認識装置
WO2019186692A1 (ja) * 2018-03-27 2019-10-03 日産自動車株式会社 自動運転車両の制御方法および制御装置
CN111867910A (zh) * 2018-03-27 2020-10-30 日产自动车株式会社 自动驾驶车辆的控制方法以及控制装置
US11097747B2 (en) 2018-03-27 2021-08-24 Nissan Motor Co., Ltd. Method and device for controlling autonomously driven vehicle
CN111867910B (zh) * 2018-03-27 2021-10-29 日产自动车株式会社 自动驾驶车辆的控制方法以及控制装置

Also Published As

Publication number Publication date
DE602005004444D1 (de) 2008-03-13
US7265657B2 (en) 2007-09-04
EP1603097B1 (en) 2008-01-23
EP1603097B8 (en) 2008-06-25
EP1603097A3 (en) 2006-09-27
US20050273260A1 (en) 2005-12-08
JP4390631B2 (ja) 2009-12-24
DE602005004444T2 (de) 2009-01-15
EP1603097A2 (en) 2005-12-07

Similar Documents

Publication Publication Date Title
JP4390631B2 (ja) 境界線検出装置
JP4092308B2 (ja) 境界線検出装置
JP5594246B2 (ja) 車線認識装置
JP6242573B2 (ja) 車路認識方法及びシステム
US10821975B2 (en) Lane division line recognition apparatus, lane division line recognition method, driving assist apparatus including lane division line recognition apparatus, and driving assist method including lane division line recognition method
JP6416293B2 (ja) 自動車に接近する対象車両を自動車のカメラシステムにより追跡する方法、カメラシステムおよび自動車
KR102485480B1 (ko) 가상 주차선 생성에 의한 주차 지원 장치 및 그 방법
JP4605145B2 (ja) 車線検出装置
JP4859760B2 (ja) カーナビゲーション装置、道路標識認識方法およびプログラム
JP5768666B2 (ja) 車両走行支援装置及び境界線認識装置
JP2011180982A (ja) 区画線検出装置
JP5760884B2 (ja) 車両の旋回予測装置
JP2005301603A (ja) 走行車線検出装置
JP7255345B2 (ja) 走行車線認識装置、走行車線認識方法およびプログラム
JP2012215564A (ja) 運転支援装置および運転支援方法
JP2010281781A (ja) 走行車線検出装置
JP6154348B2 (ja) 走行経路生成装置
JP5208016B2 (ja) 合流退出判定装置及び合流退出判定プログラム
JP2007085911A (ja) 車両位置判定装置、その制御方法及び制御プログラム
JP4225242B2 (ja) 走行路認識装置
JP2007022134A (ja) 車両用車線維持支援装置
EP2423048B1 (en) Light distribution control apparatus
KR102250800B1 (ko) 노면 객체 인식 기반의 차로 검출 장치 및 방법
JP2009205608A (ja) 車線認識装置、車両及び車線認識用プログラム
JP2005149023A (ja) 走行支援装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071030

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080513

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090929

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091006

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121016

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4390631

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121016

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121016

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121016

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131016

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250