JP2012171562A - 車線逸脱警報装置および車線逸脱警報システム - Google Patents

車線逸脱警報装置および車線逸脱警報システム Download PDF

Info

Publication number
JP2012171562A
JP2012171562A JP2011037669A JP2011037669A JP2012171562A JP 2012171562 A JP2012171562 A JP 2012171562A JP 2011037669 A JP2011037669 A JP 2011037669A JP 2011037669 A JP2011037669 A JP 2011037669A JP 2012171562 A JP2012171562 A JP 2012171562A
Authority
JP
Japan
Prior art keywords
lane
lane line
estimated
vehicle
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011037669A
Other languages
English (en)
Other versions
JP5281664B2 (ja
Inventor
Masato Imai
正人 今井
Takashi Okada
岡田  隆
Masao Sakata
雅男 坂田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Priority to JP2011037669A priority Critical patent/JP5281664B2/ja
Priority to CN201210033043.0A priority patent/CN102649408B/zh
Priority to US13/398,880 priority patent/US20120212612A1/en
Priority to EP12156185.6A priority patent/EP2492888B1/en
Publication of JP2012171562A publication Critical patent/JP2012171562A/ja
Application granted granted Critical
Publication of JP5281664B2 publication Critical patent/JP5281664B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10Path keeping
    • B60W30/12Lane keeping
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

【課題】分岐や料金所などの特殊な道路形状に起因した車線逸脱の誤警報や不警報を防止できる車線逸脱警報装置を得ること。
【解決手段】自車が車線から逸脱すると判定したときに警報信号を出力する車線逸脱警報装置であって、自車の車幅方向一方の区画線が不検出の場合に、他方の区画線の位置に基づいて一方の区画線の位置を第一の推定区画線として推定し、また、不検出前の前記一方の区画線の位置に基づいて不検出の一方の区画線の位置を第二の推定区画線として推定し、第一の推定区画線と第二の推定区画線を比較して車線逸脱の判定を行う。
【選択図】図7

Description

本発明は、車両の車線逸脱の判定をする車線逸脱警報装置に関する。
車載カメラにより車両の周囲を撮像し、撮像した画像中の物体(車両、歩行者など)や道路標示・標識(区画線などの路面ペイント、止まれなどの標識など)を認識するための技術が種々提案されている。例えば、車載カメラで道路上にペイントが施されている区画線を認識し、車線内の車両位置を求めることができれば、車両が車線から逸脱するときに運転者に警報を発したり、ステアリングやブレーキを制御したりして逸脱を抑制することが可能となる。
このように車両が車線を逸脱するときに警報を発するシステムとして、JIS(日本工業規格)のJIS D 0804とISO(国際標準化機構)のISO/DIS 17361で規格化されている車線逸脱警報システム(LDWS:Lane Departure Warning Systems)がある。このようなシステムを実現するためには、様々な種類の区画線(実線、破線、点線など)を車載カメラで認識する必要があるが、ときにはかすれやはがれなどで区画線が認識できない場合があり、このような場合でも対応可能なシステムが開発されている。
例えば、特許文献1には、片側の区画線のみを認識し、その片側の区画線までの距離が所定値以下の場合、他方側の区画線位置を推定し、逸脱判定を行う装置が開示されている。
特開2009−298362号公報
しかしながら、特許文献1においては、片側の区画線を誤認識している場合、他方側の区画線位置の推定も誤ってしまい、逸脱判定において誤警報や不警報となってしまう。例えば、図13に示すような高速道路の分岐点において、本線と分岐路の間の区画線1301(日本の場合は太い点線)がかすれて認識できないと、車両左側の実線1302を分岐路に沿って認識し続けるため、このときに右側が破線のすき間になると、認識している左側の実線1302を基準に右側の破線のすき間を点線1303のように補間する。その後、車両がC点まで到達すると点線1303を逸脱するため、本線を直進しているにもかかわらず警報を発生してしまい、誤警報となる。
本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、分岐や料金所などの特殊な道路形状に起因した車線逸脱の誤警報や不警報を防止できる車線逸脱警報装置を提供することにある。
上記課題を解決するため、本発明は、自車が車線から逸脱すると判定したときに警報信号を出力する車線逸脱警報装置であって、自車の車幅方向一方の区画線が不検出の場合に、他方の区画線の位置に基づいて不検出の一方の区画線の位置を第一の推定区画線として推定し、また、不検出前の一方の区画線の位置に基づいて不検出の一方の区画線の位置を第二の推定区画線として推定し、第一の推定区画線と第二の推定区画線を比較して車線逸脱の判定を行うことを特徴としている。
本発明によれば、分岐などの特殊な道路形状に起因する車線逸脱の誤警報および不警報を防止できる。
本発明に係る車線逸脱警報装置の第1の実施形態の概略図。 本発明に係る車線逸脱警報装置の第1の実施形態の処理を説明するフローチャート。 本発明の区画線検出部における区画線検出処理の内容を示す概略図。 本発明の区画線検出部における区画線までの距離算出処理の内容を示す概略図。 本発明の区画線位置推定処理の処理を説明するフローチャートの例。 第一および第二の推定区画線の推定方法を説明する図。 第一および第二の推定区画線の選択方法を説明する図。 車両後方を撮像する撮像装置の計測結果を前輪位置に補正する方法の一例を示す図。 本発明に係る車線逸脱警報装置の第2の実施形態の概略図。 本発明の区画線位置推定処理の処理を説明するフローチャートの例。 舵角が収束しているか否かを判定する方法の一例を示す図。 区画線位置が正しいか否かを判定する方法の一例を示す図。 本発明適用前の車線逸脱警報装置の処理内容の具体例を示す図。 本発明に係る車線逸脱警報装置の第2の実施形態の処理内容の具体例を示す図。 本発明に係る車線逸脱警報装置の第2の実施形態の処理内容の具体例を示す図。 本発明に係る車線逸脱警報装置の第3の実施形態の概略図。 本発明に係る車線逸脱警報装置の第3の実施形態の処理を説明するフローチャート。 本発明に係る車線逸脱警報装置の第3の実施形態の処理内容の具体例を示す図。 本発明に係る車線逸脱警報装置の第3の実施形態の処理内容の具体例を示す図。
次に、本発明の実施形態について図面を用いて説明する。
<第1の実施形態>
図1は、第1の実施形態における車線逸脱警報システムの概略図である。
車線逸脱警報システムは、車線逸脱警報装置100と、撮像装置1、舵角センサ4、車速センサ6、警報音発生部11、警報表示部12を備えている。
まず、車線逸脱警報装置100の構成と処理内容について説明する。
車線逸脱警報装置100は、区画線検出部2、区画線位置記憶部3、舵角記憶部5、車速記憶部7、区画線位置推定部8、第一の区画線位置推定部13、第二の区画線位置推定部14、逸脱判定部9、警報発生部10によって構成され、車線逸脱警報装置100の図示しないコンピュータにプログラミングされ、予め定められた周期で繰り返し実行される。
また、車線逸脱警報装置100は、撮像装置1により撮像された画像を入力し、さらに、舵角センサ4により検出された車両の舵角および車速センサ6により検出された車速を入力して、自車が走行する車線を逸脱する可能性があると判断したときに警報を外部の警報音発生部11や警報表示部12に出力する構成となっている。
撮像装置1は、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像素子によって自車外を撮像し、得られた画像をアナログデータのまま、もしくはデジタル処理してコンピュータで扱える画像データに変換して専用線などを用いて車線逸脱警報装置100に出力する。
区画線検出部2は、車載用の撮像装置1により取得した車外を撮像した画像データ(画像情報)を用いて道路上にペイントされている区画線(車道中央線、車線境界線(一対の左車線及び右車線など)、車道外側線など)を検出する。
区画線位置記憶部3は、区画線検出部2で検出された区画線の位置を過去複数個記憶する。なお、その記憶媒体としては、コンピュータ内部のRAM(Random Access Memory)が一般的である。
舵角センサ4には、ステアリングシャフトの回転角度を直接または間接的に計測する方法がある。
舵角記憶部5は、舵角センサ4の計測値を車内LAN(Local Area Network)などの通信手段を用いて入力した舵角の値を取得し、コンピュータ内部のRAMなどに過去複数個記憶する。
車速センサ6には、車両の前後左右各輪に装着された車輪速センサにより得られる値を平均して車速を検出する方法や、自車に搭載する加速度センサにより得られる自車の加速度の値を積分して車速を算出する方法などがある。
車速記憶部7は、車速センサ6の計測値を車内LANなどの通信手段を用いて入力した車速の値を取得し、コンピュータ内部のRAMなどに過去複数個記憶する。
区画線位置推定部8は、第一の区画線位置推定部13および第二の区画線位置推定部14によって構成され、第一の区画線位置推定部13により推定された第一の推定区画線と第二の区画線位置推定部14により推定された第二の推定区画線を比較して正しい推定区画線を選択する。
第一の区画線位置推定部13は、区画線検出部2により一方の区画線が検出できない場合に、他方の区画線位置を用いて第一の推定区画線を推定する。ここで、第一の推定区画線は、区画線検出部2により両側の区画線が検出できている間に車線幅を計算し、車線幅と他方の区画線位置に基づいて推定される。すなわち、第一の区画線位置推定部13は、区画線検出部2により車幅方向両側の区画線が検出できている間に車線幅を計算し、車線幅と他方の区画線位置に基づいて第一の推定区画線を推定する。
第二の区画線位置推定部14は、区画線検出部2により一方の区画線が検出できない場合に、区画線位置記憶部3により記憶されている不検出前の一方の区画線位置を用いて第二の推定区画線を推定する。ここで、第二の推定区画線は、時系列で記憶されている複数個の一方の区画線位置を用いて外挿する方法が一般的であるが、舵角や車速を用いて車両の走行軌跡を演算し、走行軌跡を考慮して推定すると精度が向上する。
逸脱判定部9は、区画線位置記憶部3により記憶された現在を含む過去の区画線位置と区画線位置推定部8により推定された区画線位置に基づいて車両が区画線を逸脱するか否かの判定を行う。なお、ここでの車線逸脱判定は、JIS規格(JIS D 0804)またはISO規格(ISO/DIS 17361)に対応することを想定している。
警報発生部10は、逸脱判定部9により車両が区画線を逸脱すると判定し、かつ警報抑制条件がない場合に警報信号を外部の警報音発生部11や警報表示部12に車内LANや専用線などの通信手段を用いて出力する。ここで、警報抑制条件とは、ウィンカー操作中、ウィンカー操作終了後所定時間内(例えば、2秒間)、車速が所定値以下(例えば、70km/h以下)などがある。
警報音発生部11は、警報発生部10から出力された警報信号に基づいて運転手に音で伝えるスピーカーなどである。警報表示部12は、警報発生部10から出力された警報信号に基づいて運転手に視覚的に伝えるディスプレイ、メーターパネル、警告灯などである。
なお、撮像装置1、車線逸脱警報装置100、警報音発生部11、警報表示部12で車線逸脱警報システムとする構成でもよい。
次に、車線逸脱警報装置100の処理内容について説明する。
図2は、車線逸脱警報装置100の処理内容を示すフローチャートである。
まず、処理201において、撮像装置1により撮像した画像をデジタル処理して画像データとして取り込む。ただし、撮像装置1がすでにデジタル処理している場合はその画像データを直接取り込む。
次に、処理202において、舵角と車速をそれぞれ舵角センサ、車速センサから車内LAN等の通信手段を用いて取得し、コンピュータ内部のRAMなどに過去複数個(例えば、過去200個分)記憶する。
次に、処理203において、処理201で取り込んだ画像データから道路上にペイントされている区画線を区画線検出部2により検出する。この区画線を検出する処理について具体的な方法を図3を用いて説明する。
図3(a)は、処理201で取り込んだ画像データであり、2本の区画線301および302が存在している。この区画線を検出するための一手法として、画像内のエッジ強度を計算して区画線を抽出する方法がある。ここで、エッジとは画像中で輝度値が急激に変わる点である。図3(b)は図3(a)のAからBに向かってエッジ強度を検出した結果であり、303および305のピークはそれぞれ道路から区画線に変わる点(輝度値が暗から明に急変する点)であり、304および306のピークはそれぞれ区画線から道路に変わる点(輝度値が明から暗に急変する点)である。このように、303と304の組み合わせ、305と306の組み合わせを見つけることで区画線の検出が可能である。また、区画線と撮像装置1の光軸との距離(区画線までの距離)を算出する。この区画線までの距離を算出する処理について具体的な方法を図4を用いて説明する。
図4(a)は、図3(a)と同様に、処理201で取り込んだ画像データであり、図4(b)は、図4(a)と同じ状況時の俯瞰図である。ここでは、2本の区画線401および402が存在しており、矢印403は撮像装置1の光軸、405は撮像装置1である。例えば、区画線402までの距離は矢印404で示すように、光軸403から区画線402のA点までの距離であり、図4(a)上でのA点の座標をエッジ強度のピークから求めて図4(b)の実際の座標系に変換して距離を算出する。なお、区画線までの距離は区画線内側の座標を用いるのではなく、区画線外側もしくは区画線中心の座標を用いてもよく、一貫して同じ定義であれば良い。また、区画線までの距離は画像内の各区画線に対して1つずつではなく、各区画線に対して複数個(例えば、10個)算出する構成としても良い。
次に、処理204において、処理203で検出した区画線の位置を区画線位置記憶部3によりコンピュータ内のRAMに記憶する。ここでは、過去複数回(例えば、過去100回分)の処理結果を記憶するものとする。
次に、処理205において、処理204で記憶してある過去の区画線位置情報と舵角、車速を用いて区画線位置を区画線位置推定部8により推定する。
具体的な処理内容を図5のフローチャートを用いて説明する。
まず、処理501において、区画線推定中フラグの状態から、現在区画線を推定中か否かを判定し、区画線を推定していない場合(区画線推定中フラグがOFF)は処理502に進み、区画線を推定している場合(区画線推定中フラグがON)は処理507に進む。
処理502において、一方の区画線が不検知か否かを判定し、一方の区画線が不検知の場合は処理503に進み、一方の区画線が不検知でない場合は一連の処理を終了する。
処理503において、第一の推定区画線を算出し、処理504において、第二の推定区画線を算出する。
第一の推定区画線および第二の推定区画線の算出方法の具体例を図6を用いて説明する。
図6は、片側2車線の道路の左側に分岐路が存在しており、車両600が左車線を直進する場合を想定している。なお、道路境界の区画線は実線で、車線境界の区画線は破線で、片側2車線道路と分岐路の境界の区画線は太い点線でペイントされているものとし、太い点線のペイント601はかすれなどが原因で画像認識による検出が不可能とする。また、車両に搭載する撮像装置は車両後方を撮像するものとする。
図6において、車両600が分岐路に差し掛かる前に、左右両側の区画線が検出できているときに走行中の車線の車線幅を計算し、B地点を通過して破線ペイント603が無くなると左側の区画線の検出結果(この場合は実線602を検出する)に対して車線幅分を考慮して推定線605のように第一の推定区画線を算出する。すなわち、他方の区画線である左側の区画線602の位置に基づいて、不検出の一方の区画線である推定線605を第一の推定区画線として推定する。
また、B地点を通過して破線ペイント603が無くなると、B地点以前で検出していた破線ペイント603の位置情報から推定線606のように外挿して第二の推定区画線を算出する。すなわち、区画線位置記憶部3に記憶されている不検出前の一方の区画線である破線ペイント603の位置に基づいて不検出の一方の区画線である推定線606を第二の推定区画線として推定する。
次に、処理505において、第一の推定区画線と第二の推定区画線を比較して、逸脱判定に用いるための推定区画線(逸脱判定用の推定区画線)を選択する。
推定区画線の選択方法の具体例を図7を用いて説明する。
図7(a)は、図6で説明した状況と同一であり、図7(b)は、片側2車線の道路を車両710が左車線を走行する場合を想定している。なお、道路境界の区画線は実線で、車線境界の区画線は破線であり、車両に搭載する撮像装置は車両後方を撮像するものとする。
図7(a)において、処理503および処理504により算出された第一の推定区画線705および第二の推定区画線706は、破線ペイント703が途切れるB地点から(すなわち、一方の区画線である破線ペイント703が不検出になる地点から)算出が開始され、所定距離だけ走行した後のC地点(ここでは再度破線ペイント704を検出し始める場所)において差分dを計算する。
差分dは、C地点における第二の推定区画線706と第一の推定区画線705との離間距離である。ここで、差分dが閾値よりも大きい場合には第二の推定区画線706を逸脱判定用の推定区画線として選択し、差分dが閾値以下の場合には第一の推定区画線705を逸脱判定用の推定区画線として選択する。
図7(a)に示す例では、差分dは閾値よりも大きく、第二の推定区画線706が逸脱判定用の推定区画線として選択される。したがって、車両700は、第一の推定区画線705に接近しても、後述する処理206の逸脱処理判定において車線を逸脱しないと判定され、処理207の警報発生処理において警報信号の出力はなされない。
図7(b)も図7(a)と同様に、処理503および処理504により算出された第一の推定区画線714および第二の推定区画線715は、破線ペイント712が途切れるB地点から(すなわち、一方の区画線である破線ペイント712が不検出になる地点から)算出が開始され、所定距離後のC地点(ここでは再度破線ペイント713を検出し始める場所)において差分dを計算する。
差分dは、C地点における第二の推定区画線715と第一の推定区画線714との離間距離である。ここで、差分dが所定値以上の場合には第二の推定区画線715を逸脱判定用の推定区画線として選択し、差分dが所定値以下の場合には第一の推定区画線714を逸脱判定用の推定区画線として選択する。
図7(b)に示す例では、差分dは閾値以下であり、第一の推定区画線714が逸脱判定用の推定区画線として選択される。したがって、車両700は、第一の推定区画線714に接近することによって、後述する処理206の逸脱処理判定で車線を逸脱すると判定され、処理207の警報発生処理で警報信号の出力がなされる。
ここで、図7で説明した2つの所定値に関して具体的に解説する。
まず、本装置はJIS規格(JIS D 0804)またはISO規格(ISO/DIS 17361)に対応することを想定しているため、それぞれの規格で定められている試験条件を合格する必要がある。この試験条件の一つに再現性試験があり、その合格条件は「幅30cmの区域内で警報を発すること」との表記があるため、規格を満たすためには、警報発生位置の誤差を30cm以内に抑える必要がある。例えば図7(a)の場合、第一の推定区画線705は間違った推定を行っており、第二の推定区画線706との距離が30cm以上離れてしまうと、第一の推定区画線705を用いて逸脱判定したときに結果的に30cm以上の警報発生位置の誤差が発生してしまう。すなわち、再び破線ペイント704を検出し始める地点Cにおいての差分dを30cm以内に設定すればよく、例えば、差分dの閾値は30cmに設定する。ただし、演算誤差などを考慮して少し小さく、例えば、差分dの閾値を25cmに設定してもよく、システム固有のパラメータとしてもよい。
また、図7におけるB地点からC地点までの所定距離は、各国の道路整備の基準(指針)にて定められており、例えば、日本の高速道路の場合は12m、米国では8m、イタリアでは7.5m、中国では9m、などとなっており、仕向け地毎にパラメータを切り替えることが望ましい。
次に、処理506において、区画線推定中フラグをONにして一連の処理を終了する。
次に、処理507において、推定している側の区画線が検出されて、かつ推定している区画線と検出された区画線の位置の差が所定値以内の場合(例えば、±0.3m以内)、処理508に進み、それ以外の場合は処理510に進む。
処理508において、区画線推定中フラグをOFFにして、処理509において、区画線の推定を中止し、新たに検出された区画線を対象に切り替えて一連の処理を終了する。
すなわち、処理507から処理509によって、一方の区画線の推定中に、区画線検出部2により一方の区画線が検出された場合に、その検出された一方の区画線の位置と逸脱判定用の推定区画線との位置が所定の範囲内のときは、推定を中止して、その検出された一方の区画線の位置を採用する。また、その検出された一方の区画線の位置と逸脱判定用の推定区画線との位置が所定の範囲外のときは、推定を継続して選択された逸脱判定用の推定区画線の位置を採用する処理が行われる。
例えば、図7(a)に示す例では、一方の区画線として逸脱判定用の推定区画線706が採用されている状態において、区画線検出部2により破線ペイント704が検出された場合に、その検出された破線ペイント704の位置と逸脱判定用の推定区画線706との位置が所定範囲内のときは、推定を中止して、その検出された破線ペイント704の位置を採用し、その破線ペイント704の位置に基づいて車線逸脱の判断が行われる。
次に、処理510において、区画線の推定を開始して所定距離以上走行したか否かを判定し、所定距離以上走行した場合(例えば、20m以上)は処理511に進み、所定距離以下の場合は処理513〜処理515に進んで区画線の推定処理を継続して一連の処理を終了する。
処理511において、区画線推定中フラグをOFFにして、処理512において、区画線の推定を中止し、推定していた側の区画線は不検知として一連の処理を終了する。すなわち、処理510から処理512では、推定を開始してから、所定の走行距離の間に、区画線検出部2によって一方の区画線を検出できなかったときは、推定を中止する処理が行われる。例えば、図7(a)に示す例では、B地点において区画線の推定を開始し、C地点を通過しても、区画線検出部2によって破線ペイント704を検出できなかった場合には、区画線の推定が中止される。
続いて、処理206において、処理203で検出した区画線および処理205で推定した区画線との距離に基づいて車両が逸脱するか否かを判定する逸脱判定処理が行われる。ここで、JIS規格(JIS D 0804)とISO規格(ISO/DIS 17361)では、車両前輪の外側と区画線までの距離に基づいて警報を発生するか否かを判定するため、撮像装置1で撮像した車両後方の映像から検出した区画線までの距離を車両前輪の外側から区画線までの距離に補正する必要がある。具体的には、図8を用いて説明する。
図8は、車両801が2本の区画線802および803の存在する道路を走行している場合を想定している。
車両の後方に設置された撮像装置804で算出された左区画線802までの距離d1を車両左前輪の外側から左区画線までの距離D1(補正後の区画線までの距離)に補正するためには、左区画線までの距離d1が算出された地点から車両前輪までの距離L、撮像装置804から車両左前輪の外側までの距離C1、および車両ヨー角θを用いると(1)式で計算できる。
D1=d1−L×tanθ−C1 (1)
同様に、車両の後方に設置された撮像装置804で算出された右区画線803までの距離d2を車両右前輪の外側から右区画線までの距離D2(補正後の区画線までの距離)に補正するためには、右区画線までの距離d2が算出された地点から車両前輪までの距離L、撮像装置804から車両右前輪の外側までの距離C2、および車両ヨー角θを用いると(2)式で計算できる。
D2=d2+L×tanθ−C2 (2)
逸脱判定部9は、上記の(1)、(2)式で求めた左右の区画線までの距離D1、D2を用いて車両が車線を逸脱するか否かを判定する。具体的には、D1またはD2が所定値以下(例えば、5cm以下)になった場合に逸脱したと判定する。
なお、車両ヨー角θの求め方としては、左右の区画線までの距離d1、d2の過去複数点の情報から最小二乗法により角度を求める方法や、1枚の撮像画像から直接区画線の角度を算出する方法がある。
最後に、処理207において、処理206で区画線を逸脱すると判定されたときに警報発生部10において警報信号を出力する警報発生処理が行われて、一連の処理を終了する。なお、警報を解除するタイミングは警報を発生して所定時間経過後(例えば、2秒後)とする方法がある。
なお、本実施例では車両の旋回を表すパラメータとして舵角を選択したが、車両の旋回量を直接表すパラメータとしてヨーレートを用いてもよく、ヨーレートの情報はヨーレートセンサの出力値から取得する方法がある。
以上説明したように、画像認識の情報と道路構造の特徴を用いて画像認識の誤認識を判定して正しい区画線を推定することができ、結果的に誤警報や不警報を防止することが可能となる。
<第2の実施形態>
図9は、第2の実施形態に係る車線逸脱警報装置100の概略図である。
図9は、第1の実施形態の構成(図1)において、第一の区画線位置推定部13および第二の区画線位置推定部14を削除した構成となっている。
次に、第2の実施形態の車線逸脱警報装置全体の処理内容について説明する。
車線逸脱警報装置100の処理内容を示すフローチャートは図2に示したものと同じであり、処理205の区画線位置推定処理が異なるため図10のフローチャートを用いて説明する。
まず、処理1001において、区画線推定中フラグの状態から、現在区画線を推定中か否かを判定し、区画線を推定していない場合(区画線推定中フラグがOFF)は処理1002に進み、区画線を推定している場合(区画線推定中フラグがON)は処理1006に進む。
処理1002において、処理202で記憶した舵角(車両の旋回を表すパラメータ)の所定時間内の変化が所定値(第一の閾値)よりも小さい場合(例えば、2秒間の変化が3度以内)、処理1003に進み、それ以外の場合は一連の処理を終了する。なお、処理202で記憶した舵角(車両の旋回を表すパラメータ)の所定走行距離内の変化が所定値(第一の閾値)よりも小さい場合(例えば、走行距離50mの変化が3度以内)、処理1003に進み、それ以外の場合は一連の処理を終了する構成としてもよい。ここで処理1003に進む条件は、ある所定時間または所定走行距離の間、舵角がほぼ一定、すなわち道路に沿って走行している場合である。具体的には、図11を用いて説明する。
図11は、ある道路を走行した時の舵角と舵角収束フラグ(このフラグがONのときに処理1003に進む)の時間変化を示したグラフである。まず、時間AからBの間は、舵角1101は上下に大きく変化しており、車線変更などを行っている可能性が高く、道路に沿って走行している可能性は低いため、舵角収束フラグ1102はOFFである。その後、時間Cにおいて、過去τの間(例えば、2秒間)の舵角変化がλ以内(例えば、3度以内)に収まっている場合、舵角収束フラグ1102をONにする。そして、時間Dにおいて過去τの間の舵角変化がλ以内に収まらなくなったところで舵角収束フラグ1102をOFFにする。
以上のような判定方法により、道路曲率が連続的に変化する場合を除いて、舵角収束フラグがONのときは道路に沿って走行している可能性が高いことが判定可能である。なお、図11において、横軸を走行距離とすれば、所定走行距離τ(例えば、50m)の舵角変化λで舵角収束フラグ1102を判定可能である。
なお、本実施例では車両の旋回を表すパラメータとして舵角を選択したが、車両の旋回量を直接表すパラメータとしてヨーレートを用いてもよく、ヨーレートの情報はヨーレートセンサの出力値から取得する方法がある。かかる方法の場合、例えば図1に示す舵角センサ4、舵角記憶部5に代えて、もしくは、加えて、ヨーレートセンサとヨーレート検出部が設けられる。
処理1003において、処理204で記憶してある区画線位置(区画線までの距離)の所定時間内の変化で、一方の区画線までの距離変化が所定値以上の場合(例えば、0.25秒間の変化が0.15m以上)、処理1004に進み、それ以外の場合は一連の処理を終了する。なお、処理204で記憶してある区画線位置(区画線までの距離)の所定走行距離内の変化で、一方の区画線までの距離変化が所定値以上の場合(例えば、走行距離1.2mの変化が0.03m以上)、処理1004に進み、それ以外の場合は一連の処理を終了する構成としてもよい。具体的には、図12を用いて説明する。
図12は、片側2車線の道路の左側に分岐路が設けられており、車両1200が左車線を直進する場合を想定している。なお、道路境界の区画線は実線で、車線境界の区画線は破線で、片側2車線道路と分岐路の境界の区画線は太い点線でペイントされているものとし、太い点線のペイント1201はかすれなどが原因で画像認識による検出が不可能とする。また、車両に搭載する撮像装置は車両後方を撮像するものとする。また、図12の道路状況の下に示したグラフはそれぞれ、左区画線までの距離の計測値、左区画線までの距離の傾き(距離変化量)、区画線位置異常判定フラグ(このフラグがONのときに処理1004に進む)の変化を示したグラフである。
図12において、車両1200が地点Aを通過すると、区画線検出部2は、太い点線ペイント1201を検出できないので、左側の区画線認識は分岐路の道路境界線1202を検出し始める。したがって、左区画線までの距離は、図12に示すグラフの実線1211のように変化する。
次に、左区画線までの距離1211を用いて、その傾きを計算すると実線1212のように、A地点を過ぎてから急激に立ち上がり、B地点を通過した後に一定の値を取るように変化する。ここで、傾き1212の計算方法は過去複数点の計測値から最小二乗法により求める方法のほか、前回の計測値との差分から求める方法や、1枚の画像から区画線の傾きを直接計算する方法もある。
次に、車両1200が地点Bに到達したときに左区画線までの距離の傾き1212が第二の閾値ω以上(例えば、横軸が時間であれば0.6以上、横軸が走行距離であれば0.025以上)なった場合に、区画線位置異常判定フラグをONにする。そして、車両1200が地点Cに到達して左区画線が検出できなくなった(区画線1202が車両1200から遠ざかるため)ところで区画線位置異常判定フラグをOFFにする。
なお、区画線位置異常判定フラグをOFFにする条件としてほかに、正常な位置に区画線を検出した場合(例えば、左右区画線までの距離の合計が既定の車線幅付近になった場合)などがある。
以上より、区画線までの距離の傾きで区画線位置の異常を判定する方法を説明したが、車両から区画線が遠ざかる速度を用いて区画線位置の異常を判定する方法としてもよい。また、第二の閾値ωは車速に応じて変化する値を設定してもよい。
処理1004において、処理1002および処理1003の判定結果から、現状は道路に沿って走行しているにもかかわらず、一方の区画線が自車から遠ざかる場合であるため、区画線推定中フラグをONして、処理1005において、他方の区画線位置に基づいて一方の区画線位置を推定する。
ここでの区画線位置の推定の具体的な方法は、他方の区画線の検出状態に応じて切り替える。まず、他方の区画線を検出している場合、一方の区画線が自車から遠ざかる前の位置において車線幅を計算し、他方の区画線と車線幅を用いて一方の区画線位置を推定する。また、破線のすき間などで他方の区画線を検出していない場合も同様に車線幅を用いて一方の区画線位置を推定するが、基準となる他方の区画線位置は過去の区画線位置から外挿して求める。
次に、処理1006において、推定している側の区画線が検出されて、かつ推定している区画線と検出された区画線の位置の差が所定値以内の場合(例えば、±0.3m以内)、処理1007に進み、それ以外の場合は処理1009に進む。
処理1007において、区画線推定中フラグをOFFにして、処理1008において、区画線の推定を中止し、新たに検出された区画線を対象に切り替えて一連の処理を終了する。
すなわち、処理1006から処理1008によって、一方の区画線の推定中に、区画線検出部2により一方の区画線が検出された場合に、その検出された一方の区画線の位置と逸脱判定用の推定区画線との位置が所定の範囲内のときは、推定を中止して、その検出された一方の区画線の位置を採用する。また、その検出された一方の区画線の位置と逸脱判定用の推定区画線との位置が所定の範囲外のときは、推定を継続して選択された逸脱判定用の推定区画線の位置を採用する処理が行われる。
次に、処理1009において、区画線の推定を開始して所定距離以上走行したか否かを判定し、所定距離以上走行した場合(例えば、20m以上)は処理1010に進み、所定距離以下の場合は処理1012に進んで区画線の推定処理を継続して一連の処理を終了する。
処理1010において、区画線推定中フラグをOFFにして、処理1011において、区画線の推定を中止し、推定していた側の区画線は不検知として一連の処理を終了する。すなわち、処理1009から処理1011では、推定を開始してから、所定の走行距離の間に、区画線検出部2によって一方の区画線を検出できなかったときは、推定を中止する処理が行われる。
以上説明したように、舵角と画像認識の情報を組み合わせることで、画像認識の誤認識を判定して正しい区画線を推定することができ、結果的に誤警報や不警報を防止することが可能となる。
次に、図13〜図15を用いて、車線逸脱警報装置100の一連の処理内容を実際の道路状況に当てはめて説明する。
図13は、片側2車線の道路の左側に分岐路が取りつけてあり、車両1300が左車線を直進する場合を想定している。なお、道路境界の区画線は実線で、車線境界の区画線は破線で、片側2車線道路と分岐路の境界の区画線は太い点線でペイントされているものとし、太い点線のペイント1301はかすれなどが原因で画像認識による検出が不可能とする。また、車両に搭載する撮像装置は車両後方を撮像するものとする。
まず、図13を用いて、本発明を適用しない場合の処理内容を説明する。
車両1300がB地点を通過すると、右側の破線のペイントが途切れ、左側の太い点線1301が検出不可能なため、分岐路の道路境界である実線1302のみの検出となる。このとき、遠ざかる左側の実線1302のみの検出となるため、右側の破線の途切れにより点線1303のように区画線を推定する。その後、車両1300がC地点に到達すると、右側の区画線推定位置に対して車両1300が逸脱するため、直進しているにもかかわらず警報を発してしまう。
以上のように、単純に検出している区画線の情報を用いて検出できていない区画線を推定すると、分岐のような特殊な道路形状の場所において誤った警報を発し、運転者に対して違和感や不安感を与えてしまう。
次に、図14および図15を用いて、本発明を適用した場合の処理内容を説明する。
図14は、基本的には図13の道路状況と同じであるが、車線境界の区画線が実線となっている。また、図14の道路状況の下に示したグラフはそれぞれ、舵角収束フラグ、区画線位置異常判定フラグの変化を示したグラフである。
まず、区画線位置推定部8は、車両1400がA地点を通過している時点では、自車の車幅方向両側に位置する一対の区画線の両方を検出している。そして、車両1400がB地点を通過すると、左側の太い点線1401が検出不可能のため、点線1401の代わりに分岐路の道路境界である実線1402の検出を開始する。
このとき、車両1400は道路に沿って走行しており(舵角収束フラグ1411がON)、遠ざかる左側の実線1402の検出となる。したがって、C地点で区画線位置異常判定フラグ1412がONになると、所定の走行距離又は所定時間内における車両の旋回を表すパラメータの変化量が予め設定された第一の閾値よりも小さく且つ区画線検出部2により検出された実線1402と車両1400との離間距離の変化量が予め設定された第二の閾値以上になり、左側の区画線検出結果が間違っていると判断し、車両右側の区画線位置(自車との離間距離の変化量が少ない側の区画線の位置)から左側の区画線1403(自車との離間距離の変化量が多い側の区画線である逸脱判定用の推定区画線)を推定する。ここでの区画線の推定方法は、例えば、両側の区画線が正常に検出できている地点Aにおける車線幅を計算しておき、この車線幅を用いて片側の区画線から反対側の区画線を推定する方法がある。
その後、車両1400がE地点に到達すると、区画線の推定を開始したC地点からの走行距離が所定値以上になるため、左側の区画線1403の推定を中止する。なお、車両1400がC地点からE地点までに到達する間に、推定している左側の区画線1403を逸脱する場合は警報発生部10により警報が発せられる。
以上のように、分岐のような特殊な道路形状の場所においても、区画線の検出結果の妥当性を判断して、誤検出と判断した場合は誤検出した区画線とは反対側の区画線位置から誤検出側の区画線を推定することが可能となる。
図15は、図13の道路状況と同じであり、下に示したグラフは図14で説明した内容と同様である。
まず、車両1500がB地点を通過すると、右側の区画線である破線1506がペイントのない部分になり、かつ左側の区画線1502が検出できているため、左側の区画線位置に基づいて右側の区画線を図の1503のように推定する。なお、車両1500がC地点に到達すると、区画線検出部2は、左側の区画線として分岐路の実線1502を検出するので、推定している区画線1503は徐々に車両1500に対して近づいてくる。
その後、車両1500がD地点に到達し、舵角収束フラグ1511がON、かつ区画線位置異常判定フラグ1512がONになると、所定の走行距離又は所定時間内における車両の旋回を表すパラメータの変化量が予め設定された第一の閾値よりも小さく且つ区画線検出部2により検出された実線1502と車両1500との離間距離の変化量が予め設定された第二の閾値以上になり、左側の区画線検出結果が間違っていると判断し、車両右側の区画線位置から左側の区画線1504を推定する。
ここで、D地点においては、右側の区画線は1503のように推定中のため、予めB地点より手前(不検出前)のペイントが施されている個所の区画線位置(不検出前の一方の区画線の位置)を記憶しておく。そして、道路に沿って走行しているので、まず右側の区画線を記憶してある区画線位置(不検出前の一方の区画線の位置)から一方の区画線(第一の逸脱判定用の推定区画線)1505を推定して破線1506に外挿する。そして、図14で説明した方法と同様の方法で車線幅を利用して、反対側の区画線(第二の逸脱判定用の推定区画線)1504を推定する。
次に、車両1500がE地点に到達し、右側の区画線を再度検出すると、一方の区画線1505の推定を中止する。さらに、車両1500がG地点に到達すると、左側の区画線の推定を開始したD地点からの走行距離が所定値以上になるため、左側の区画線1504の推定を中止する。なお、車両1500がB地点からG地点までに到達する間に、推定している区画線1503、1505、1504のいずれかを逸脱する場合は警報発生部10により警報が発せられる。
以上のように、分岐のような特殊な道路形状の場所においても、区画線の検出結果の妥当性を判断して、誤検出と判断した場合は誤検出した区画線とは反対側の区画線位置から誤検出側の区画線を推定することが可能となる。
<第3の実施形態>
図16は、第3の実施形態に係る車線逸脱警報装置100の概略図である。
図16は、第2の実施形態の構成(図9)において、ナビゲーション20および道路情報取得部21を加えた構成となっている。
ナビゲーション20は、カーナビゲーションシステムに代表される、地図上の自車位置を計算する装置であり、自車位置計算方法は公知のため説明は割愛する。ナビゲーション20は、自車近傍の走行予定路に特殊な道路形状(分岐路、合流路、料金所など)がある場合に、車内LANなどの通信手段を用いて道路の種別等の情報を車線逸脱警報装置100に出力する。
道路情報取得部21は、ナビゲーション20から車内LAN等の通信手段を用いて入力した情報を取得する。具体的な情報の中身としては、例えば、自車近傍の走行予定路に特殊形状道路(分岐路、合流路、料金所など)が存在するか否か、特殊形状道路の種別、分岐路および合流路の場合は本線との境界となる区画線(日本では太い点線)の長さ、料金所の場合は車線境界の区画線が無くなる位置や道路が拡幅し始める位置である。
次に、第3の実施形態の車線逸脱警報装置全体の処理内容について説明する。
図17は、車線逸脱警報装置100の処理内容を示すフローチャートであり、第2の実施形態のフローチャート(図2)において、処理1701および処理1702を加えたものになっている。
まず、処理1701において、ナビゲーション20から自車近傍の走行予定路に特殊形状道路がある場合に道路の種別等の情報を車内LAN等の通信手段を用いて取得する。
次に、処理1702において、処理1701で取得した道路情報に基づいて処理205の区画線位置推定処理で使用するパラメータの閾値を設定する。具体的には、第2の実施形態のフローチャート(図10)の処理1003で使用するパラメータの閾値を設定する。第2の実施形態においては自車が走行する道路形状がわからないため、一方の区画線までの距離変化がある程度大きくないと判定が困難であった。そこで、処理1702においては、自車近傍の走行予定路に特殊形状道路がある場合に一方の区画線までの距離変化の閾値を小さく設定する。例えば、区画線位置の所定時間内の変化であれば、0.25秒間の変化が0.1m以上(第1の実施形態では、0.25秒間の変化が0.15m以上)、区画線位置の所定走行距離内の変化であれば、走行距離1.2mの変化が0.02m以上(第1の実施形態では、走行距離1.2mの変化が0.03m以上)のように設定する。
以上のように、ナビゲーション等からの情報により、自車近傍の走行予定路に特殊形状道路があることが判断できると、特殊形状道路を判定するためのパラメータの閾値を小さく設定できるため、第1の実施形態に比べて早期に特殊形状道路を判定可能となる。さらに、特殊形状道路の判定確率も向上可能となる。
次に、図18および図19を用いて、車線逸脱警報装置100の一連の処理内容を実際の道路状況に当てはめて説明する。
図18は、片側2車線の道路の左側に分岐路が取りつけてあり、車両1800が左車線を直進する場合を想定している。なお、道路境界の区画線は実線で、車線境界の区画線は破線で、片側2車線道路と分岐路の境界の区画線は太い点線でペイントされているものとし、太い点線のペイント1801はかすれなどが原因で画像認識による検出が不可能とする。また、車両に搭載する撮像装置は車両後方を撮像するものとする。また、図18の道路状況の下に示したグラフはそれぞれ、舵角収束フラグ、区画線位置異常判定フラグの変化を示したグラフである。
図18において、まず、車両1800が分岐路に到達する以前のA地点において、ナビゲーション20から自車近傍の走行予定路に分岐路がある情報を取得する。続いて、車両1800がB地点を通過すると、右側の区画線が破線のペイントのない部分になり、かつ左側の区画線が検出できているため、左側の区画線位置に基づいて右側の区画線を図の1803のように推定する。なお、車両1800がC地点に到達すると左側の区画線の検出は分岐路の実線1802になるため、推定している区画線1803は徐々に車両に対して近づいてくる。
その後、車両1800がD地点に到達し、舵角収束フラグ1811がON、かつ区画線位置異常判定フラグ1812がONになると、左側の区画線検出結果が間違っていると判断し、車両右側の区画線位置から左側の区画線1804を推定する。ここで、D地点においては右側の区画線は1803のように推定中のため、予めB地点より手前のペイントが施されている個所の区画線位置を記憶しておき、道路に沿って走行しているので、まず右側の区画線を記憶してある区画線位置から1805のように外挿し、図14で説明した方法と同様の方法(車線幅を利用)で反対側の区画線を1804のように推定する。
次に、車両1800がE地点に到達し、右側の区画線を再度検出すると、1805の推定を中止する。さらに、車両1800がG地点に到達すると、左側の区画線を再度検出するため、左側の区画線1804の推定を中止する。ここで、第2の実施形態においては左側の推定区画線1804は所定距離走行後に中止する方式を採っているが、本実施例においては事前に分岐路であることがわかっているため、左側の区画線が再度検出されるまで推定を続ける方式としている。ただし、ナビゲーション20からの情報が間違っている可能性もあるため、例えば200m走行後に推定を中止する方式としてもよい。なお、車両1800がB地点からG地点までに到達する間に、推定している区画線1803、1805、1804のいずれかを逸脱する場合は警報発生部10により警報が発せられる。
以上のように、分岐のような特殊な道路形状の場所においても、区画線の検出結果の妥当性を判断して、誤検出と判断した場合は誤検出した区画線とは反対側の区画線位置から誤検出側の区画線を推定することが可能となる。また、事前に特殊形状道路を通過することがわかっている場合には、誤検出を早期にかつ確実に判断可能となり、安定して区画線の推定を行うことができる。
図19は、片側2車線の道路が料金所手前で道路幅が拡幅する場合で、車両1900が左車線を直進する場合を想定している。なお、道路境界の区画線は実線で、車線境界の区画線は破線でペイントされているものとする。また、車両に搭載する撮像装置は車両後方を撮像するものとする。また、図19の道路状況の下に示したグラフはそれぞれ、舵角収束フラグ、区画線位置異常判定フラグの変化を示したグラフである。
図19において、まず、車両1900が分岐路に到達する以前のA地点において、ナビゲーション20から自車近傍の走行予定路に料金所があり、道路が拡幅する情報を取得する。続いて、車両1900がB地点を通過すると、右側の区画線が破線のペイントのない部分になり、かつ左側の区画線が検出できているため、左側の区画線位置に基づいて右側の区画線を図の1902のように推定する。なお、車両1900がC地点に到達すると左側の区画線の検出は分岐路の実線1901になるため、推定している区画線1902は徐々に車両に対して近づいてくる。
その後、車両1900がD地点に到達し、舵角収束フラグ1911がON、かつ区画線位置異常判定フラグ1912がONになると、左側の区画線が道路の拡幅により遠ざかっていると判断し、右側の区画線1902の推定を中止する。
以上のように、料金所手前のような特殊な道路形状の場所においても、区画線の検出結果から急な道路拡幅を判断し、過った区画線の推定を防止することができるため、誤警報を防止することが可能となる。
以上説明したように、車両の舵角やヨーレートの情報から自車が道路に沿って走行しているか否かを判断し、区画線までの距離変化から特殊形状道路を判断することで誤った区画線の推定を防止し、結果として誤警報を防止することが可能となる。また、正しい区画線を推定することで不警報も防止することが可能となる。したがって、誤警報および不警報を防止することができるので、運転者に対して違和感を与えることのない車線逸脱警報装置を提供可能となる。
なお、本実施例においては、車両後方を撮像する撮像装置を用いて説明したが、車両前方を撮像する撮像装置でもよく、また、撮像装置の取付位置などが本実施例と異なっていてもよい。
以上のように、本発明の趣旨を逸脱しない範囲において、種々の様態で実施することができる。
1 撮像装置
2 区画線検出部
3 区画線位置記憶部
4 舵角センサ
5 舵角記憶部
6 車速センサ
7 車速記憶部
8 区画線位置推定部
9 逸脱判定部
10 警報発生部
11 警報音発生部
12 警報表示部
100 車線逸脱警報装置

Claims (18)

  1. 自車が車線から逸脱すると判定したときに警報信号を出力する車線逸脱警報装置であって、
    前記自車の車幅方向両側に位置する一対の区画線のうちの一方の区画線が不検出の場合に、他方の区画線の位置に基づいて前記一方の区画線の位置を第一の推定区画線として推定し、また、不検出前の前記一方の区画線の位置に基づいて不検出の前記一方の区画線を第二の推定区画線として推定し、前記第一の推定区画線と前記第二の推定区画線を比較して前記自車が前記車線から逸脱するか否かを判定することを特徴とする車線逸脱警報装置。
  2. 前記一方の区画線が不検出になってから所定距離だけ走行した地点における前記第一の推定区画線と前記第二の推定区画線との離間距離が閾値以下のときは前記自車が前記車線から逸脱すると判定し、前記離間距離が閾値よりも大きいときは前記自車が前記車線から逸脱しないと判定することを特徴とする請求項1に記載の車線逸脱警報装置。
  3. 車外を撮像する撮像装置で走行中に撮像した車外の画像に基づいて自車が車線から逸脱するか否かを判定し、逸脱すると判定した場合に警報信号を出力する車線逸脱警報装置であって、
    前記画像に基づいて前記自車が走行している車線の区画線の検出を行う区画線検出部と、
    該区画線検出部により検出された区画線の位置を記憶する区画線位置記憶部と、
    前記区画線検出部で前記自車の車幅方向両側に位置する一対の区画線のうちの一方の区画線が不検出の場合に、他方の区画線の位置に基づいて前記一方の区画線を第一の推定区画線として推定し、また、前記区画線位置記憶部に記憶されている不検出前の前記一方の区画線の位置に基づいて不検出の前記一方の区画線を第二の推定区画線として推定し、前記第一の推定区画線の位置と前記第二の推定区画線の位置を比較して前記第一の推定区画線と前記第二の推定区画線のいずれか一方を逸脱判定用の推定区画線として選択する区画線位置推定部と、
    該区画線位置推定部により選択された逸脱判定用の推定区画線の位置に基づいて前記自車が前記車線から逸脱するか否かを判定する逸脱判定部と、
    を有することを特徴とする車線逸脱警報装置。
  4. 前記区画線位置推定部は、前記一方の区画線が不検出になってから所定距離だけ走行した地点における前記第一の推定区画線と前記第二の推定区画線との離間距離に基づいて前記第一の推定区画線と前記第二の推定区画線のいずれか一方を逸脱判定用の推定区画線として選択することを特徴とする請求項3に記載の車線逸脱警報装置。
  5. 前記区画線位置推定部は、前記離間距離が閾値以下のときは前記第一の推定区画線を逸脱判定用の推定区画線として選択し、前記離間距離が閾値よりも大きいときは前記第二の推定区画線を逸脱判定用の推定区画線として選択することを特徴とする請求項4に記載の車線逸脱警報装置。
  6. 前記区画線位置推定部は、舵角と車速に基づいて前記自車の走行軌跡を算出し、該算出した走行軌跡と、前記区画線位置記憶部に記憶されている不検出前の前記一方の区画線の位置とに基づいて前記第二の推定区画線を推定することを特徴とする請求項3から請求項5のいずれか一項に記載の車線逸脱警報装置。
  7. 前記区画線位置推定部は、前記一方の区画線の推定中に前記区画線検出部により前記一方の区画線が検出された場合に、該検出された一方の区画線の位置と前記逸脱判定用の推定区画線との位置が所定の範囲内のときは前記推定を中止して前記検出された一方の区画線の位置を採用し、該検出された一方の区画線の位置と前記逸脱判定用の推定区画線との位置が所定の範囲外のときは前記推定を継続して前記選択された逸脱判定用の推定区画線の位置を採用することを特徴とする請求項3から請求項6のいずれか一項に記載の車線逸脱警報装置。
  8. 前記区画線位置推定部は、前記推定を開始してから、所定の走行距離の間に、前記区画線検出部により前記一方の区画線を検出できなかったときは、前記推定を中止することを特徴とする請求項7に記載の車線逸脱警報装置。
  9. 車外を撮像する撮像装置で走行中に撮像した車外の画像に基づいて自車が車線から逸脱するか否かを判定し、逸脱すると判定した場合に警報信号を出力する車線逸脱警報装置であって、
    前記画像に基づいて前記自車が走行している車線の区画線の検出を行う区画線検出部と、
    該区画線検出部により検出された区画線の位置を記憶する区画線位置記憶部と、
    所定の走行距離又は所定時間内における車両の旋回を表すパラメータの変化量が予め設定された第一の閾値よりも小さく且つ前記区画線検出部により検出された区画線と前記自車との離間距離の変化量が予め設定された第二の閾値以上の場合に、前記区画線位置記憶部により記憶されている区画線の位置に基づいて逸脱判定用の推定区画線を推定する区画線位置推定部と、
    該区画線位置推定部により推定した逸脱判定用の推定区画線の位置に基づいて前記自車が前記車線から逸脱するか否かを判定する逸脱判定部と、
    を有することを特徴とする車線逸脱警報装置。
  10. 前記区画線位置推定部は、前記区画線検出部により前記自車の車幅方向両側に位置する一対の区画線の両方を検出しているときは、前記区画線位置記憶部に記憶されている前記自車との離間距離の変化量が少ない側の区画線の位置に基づいて前記自車との離間距離の変化量が多い側の区画線である逸脱判定用の推定区画線を推定することを特徴とする請求項9に記載の車線逸脱警報装置。
  11. 前記区画線位置推定部は、前記区画線検出部により前記自車の車幅方向両側に位置する一対の区画線のうちの一方の区画線が不検出の場合に、前記区画線位置記憶部に記憶されている不検出前の前記一方の区画線の位置に基づいて不検出の前記一方の区画線を第一の逸脱判定用の推定区画線として推定することを特徴とする請求項9に記載の車線逸脱警報装置。
  12. 前記区画線位置推定部は、前記第一の逸脱判定用の推定区画線の位置に基づいて他方の区画線側の第二の逸脱判定用の推定区画線を推定することを特徴とする請求項11に記載の車線逸脱警報装置。
  13. 前記区画線位置推定部は、前記一方の区画線の推定中に前記区画線検出部により前記一方の区画線が検出された場合に、該検出された一方の区画線の位置と前記逸脱判定用の推定区画線との位置が所定の範囲内のときは前記推定を中止して前記検出された一方の区画線の位置を採用し、該検出された一方の区画線の位置と前記逸脱判定用の推定区画線との位置が所定の範囲外のときは前記推定を継続して前記選択された逸脱判定用の推定区画線の位置を採用することを特徴とする請求項9から請求項12のいずれか一項に記載の車線逸脱警報装置。
  14. 前記区画線位置推定部は、前記推定を開始してから、所定の走行距離の間に、前記区画線検出部により前記一方の区画線を検出できなかったときは、前記推定を中止することを特徴とする請求項13に記載の車線逸脱警報装置。
  15. 前記自車の舵角を検出して記憶する舵角記憶部と、前記自車の車速を検出して記憶する車速記憶部と、を備え、
    前記パラメータは、前記舵角であることを特徴とする請求項9から請求項14のいずれか一項に記載の車線逸脱警報装置。
  16. 前記自車のヨーレートを検出するヨーレート検出部と、前記自車の車速を検出して記憶する車速記憶部と、を備え、
    前記パラメータは、前記ヨーレートであることを特徴とする請求項9から請求項14のいずれか一項に記載の車線逸脱警報装置。
  17. 道路情報を取得する道路情報取得部を備え、
    前記区画線位置推定部は、前記区画線位置記憶部により記憶されている区画線の位置の代わりに、前記道路情報取得部により取得された道路情報に基づいて前記逸脱判定用の推定区画線を推定することを特徴とする請求項9から請求項16のいずれか一項に記載の車線逸脱警報装置。
  18. 前記請求項1から請求項17のいずれか一項に記載の車線逸脱警報装置、及び、該車線逸脱警報装置から出力された警報信号に基づいて運転者に情報を報知する警報音発生部と警報表示部の少なくとも一方を有することを特徴とする車線逸脱警報システム。
JP2011037669A 2011-02-23 2011-02-23 車線逸脱警報装置および車線逸脱警報システム Active JP5281664B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2011037669A JP5281664B2 (ja) 2011-02-23 2011-02-23 車線逸脱警報装置および車線逸脱警報システム
CN201210033043.0A CN102649408B (zh) 2011-02-23 2012-02-14 车道偏离警报装置以及车道偏离警报系统
US13/398,880 US20120212612A1 (en) 2011-02-23 2012-02-17 Lane Departure Warning Apparatus and Lane Departure Warning System
EP12156185.6A EP2492888B1 (en) 2011-02-23 2012-02-20 Lane departure warning apparatus and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011037669A JP5281664B2 (ja) 2011-02-23 2011-02-23 車線逸脱警報装置および車線逸脱警報システム

Publications (2)

Publication Number Publication Date
JP2012171562A true JP2012171562A (ja) 2012-09-10
JP5281664B2 JP5281664B2 (ja) 2013-09-04

Family

ID=45607120

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011037669A Active JP5281664B2 (ja) 2011-02-23 2011-02-23 車線逸脱警報装置および車線逸脱警報システム

Country Status (4)

Country Link
US (1) US20120212612A1 (ja)
EP (1) EP2492888B1 (ja)
JP (1) JP5281664B2 (ja)
CN (1) CN102649408B (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8594890B2 (en) 2011-06-17 2013-11-26 Clarion Co., Ltd. Lane departure warning device
JP2015165368A (ja) * 2014-03-03 2015-09-17 株式会社日本自動車部品総合研究所 走行区画線認識装置
JP2017033080A (ja) * 2015-07-29 2017-02-09 いすゞ自動車株式会社 方向指示器制御装置
JP2017159723A (ja) * 2016-03-08 2017-09-14 アイシン・エィ・ダブリュ株式会社 自動運転支援装置及びコンピュータプログラム
CN109677408A (zh) * 2017-10-18 2019-04-26 丰田自动车株式会社 车辆控制器
RU2767830C1 (ru) * 2019-05-15 2022-03-22 Ниссан Мотор Ко., Лтд. Способ помощи при вождении и устройство помощи при вождении

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012207981A1 (de) * 2012-05-14 2013-11-14 Robert Bosch Gmbh Verfahren zur Warnung eines Fahrers eines einspurigen Kraftfahrzeugs vor einem Verlassen der Fahrspur
WO2014104183A1 (ja) * 2012-12-26 2014-07-03 株式会社日本自動車部品総合研究所 境界線認識装置及び分岐路判定装置
CN104044508B (zh) * 2013-03-14 2016-01-27 怡利电子工业股份有限公司 行车安全距离显示方法
US9164511B1 (en) * 2013-04-17 2015-10-20 Google Inc. Use of detected objects for image processing
CN104112360B (zh) * 2013-04-22 2016-05-25 徐州工程学院 一种基于偏置磁场的车辆压车道实线抓拍装置及工作方法
CN103440785B (zh) * 2013-08-08 2015-08-05 华南师范大学 一种快速的车道偏移警示方法
KR101502511B1 (ko) * 2013-11-28 2015-03-13 현대모비스 주식회사 가상 차선 생성 장치와 방법 및 상기 장치를 구비하는 차선 유지 제어 시스템
CN107074316B (zh) * 2014-07-28 2019-05-14 罗伯特·博世有限公司 用于双轮机动车的信息提供装置以及流程
JP6456682B2 (ja) * 2014-12-25 2019-01-23 株式会社Soken 走行区画線認識装置
JP6363518B2 (ja) * 2015-01-21 2018-07-25 株式会社デンソー 区画線認識装置
JP6224029B2 (ja) * 2015-05-21 2017-11-01 富士通テン株式会社 画像処理装置および画像処理方法
JP6398951B2 (ja) * 2015-11-12 2018-10-03 マツダ株式会社 車線維持制御装置
KR102433791B1 (ko) * 2015-11-20 2022-08-19 주식회사 에이치엘클레무브 차선 이탈 경고 장치 및 방법
CN105835891A (zh) * 2016-01-26 2016-08-10 乐卡汽车智能科技(北京)有限公司 防止车道偏离的系统及方法
SE539816C2 (en) 2016-04-19 2017-12-05 Scania Cv Ab Method and control unit in a vehicle for estimating a stretch of a road based on a set of tracks of another vehicle
US20170330043A1 (en) * 2016-05-11 2017-11-16 Icatch Technology, Inc. Method and System for Synthesizing a Lane Image
US10647319B2 (en) * 2016-07-05 2020-05-12 Nissan Motor Co., Ltd. Travel control method and travel control device
CN109476308B (zh) * 2016-07-12 2019-12-31 日产自动车株式会社 行驶控制方法及行驶控制装置
CN111220197B (zh) * 2016-09-12 2022-02-22 上海沃尔沃汽车研发有限公司 车道线偏离报警系统的测试系统和测试方法
KR101976425B1 (ko) * 2016-09-22 2019-05-09 엘지전자 주식회사 차량 운전 보조 장치
JP6573594B2 (ja) * 2016-11-29 2019-09-11 株式会社Subaru 自動運転制御装置
JP6573595B2 (ja) * 2016-11-29 2019-09-11 株式会社Subaru 自動運転制御装置
US11262761B2 (en) 2017-02-03 2022-03-01 Honda Motor Co., Ltd. Vehicle control system, vehicle control method, and vehicle control program
JP6834657B2 (ja) * 2017-03-23 2021-02-24 いすゞ自動車株式会社 車線逸脱警報装置の制御装置、車両および車線逸脱警報制御方法
CN110431609B (zh) * 2017-03-27 2022-01-11 三菱电机株式会社 车辆位置推定装置
US11193782B2 (en) * 2017-03-27 2021-12-07 Mitsubishi Electric Corporation Vehicle position estimation apparatus
FR3066743B1 (fr) * 2017-05-29 2019-07-12 Valeo Schalter Und Sensoren Gmbh Assistance a la conduite d'un vehicule automobile a l'approche d'une barriere de peage
JP6663406B2 (ja) * 2017-10-05 2020-03-11 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
JP2019199143A (ja) * 2018-05-15 2019-11-21 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh Ecu及び車線逸脱警告システム
US11521337B2 (en) * 2018-10-29 2022-12-06 Mitsubishi Electric Corporation Map generation system, map generation method, and computer readable medium which generates linearization information calculates a reliability degree
KR20200090527A (ko) * 2019-01-21 2020-07-29 현대자동차주식회사 차선 인식 장치 및 그 방법
KR102034316B1 (ko) * 2019-01-29 2019-11-08 주식회사 만도 차량 위치 보정 시스템 및 방법, 그리고 카메라
JP7213149B2 (ja) * 2019-06-06 2023-01-26 本田技研工業株式会社 車両制御装置、車両、車両制御装置の動作方法およびプログラム
CN110598517B (zh) * 2019-06-25 2023-11-24 一汽奔腾轿车有限公司 一种弯道车道偏离的检测方法
WO2021014954A1 (ja) * 2019-07-24 2021-01-28 株式会社デンソー 表示制御装置及び表示制御プログラム
JP7277349B2 (ja) * 2019-12-12 2023-05-18 日立Astemo株式会社 運転支援装置、および、運転支援システム
EP4129787A4 (en) * 2020-03-31 2023-06-07 Huawei Technologies Co., Ltd. SELECTION PROCESS FOR KEY TARGET, DEVICE AND SYSTEM
US11688180B2 (en) * 2020-06-03 2023-06-27 Continental Autonomous Mobility US, LLC Lane departure warning without lane lines
CN112687109A (zh) * 2020-11-19 2021-04-20 泰州锐比特智能科技有限公司 应用云存储的变道提醒系统及方法
DE102022203827B3 (de) 2022-04-19 2023-05-17 Continental Autonomous Mobility Germany GmbH Verfahren zur Prüfung der Verletzung einer Grenze eines befahrbaren Bereichs durch ein Fahrzeug und Fahrerassistenzsystem
DE102022203826A1 (de) 2022-04-19 2023-10-19 Continental Autonomous Mobility Germany GmbH Verfahren zur Prüfung der Verletzung einer Grenze eines befahrbaren Bereichs durch ein Fahrzeug und Fahrerassistenzsystem
DE102022211931A1 (de) 2022-11-10 2024-05-16 Continental Autonomous Mobility Germany GmbH Verfahren zur Prüfung der Verletzung einer Grenze eines befahrbaren Bereichs durch ein Fahrzeug und Fahrerassistenzsystem
CN115775377B (zh) * 2022-11-25 2023-10-20 北京化工大学 图像和方向盘转向角度融合的自动驾驶车道线分割方法
DE102023004955A1 (de) 2022-12-06 2024-06-06 Mercedes-Benz Group AG System und Verfahren zur Vorhersage der Ego-Lane

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009143309A (ja) * 2007-12-12 2009-07-02 Toyota Motor Corp 車線維持支援装置
JP2009298362A (ja) * 2008-06-17 2009-12-24 Mazda Motor Corp 車両の車線逸脱警報装置
JP2010092416A (ja) * 2008-10-10 2010-04-22 Toyota Motor Corp 車線逸脱抑制装置
JP2010271999A (ja) * 2009-05-22 2010-12-02 Toyota Motor Corp 運転支援装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050192727A1 (en) * 1994-05-09 2005-09-01 Automotive Technologies International Inc. Sensor Assemblies
JP3885818B2 (ja) * 2005-05-27 2007-02-28 トヨタ自動車株式会社 車両逸脱判定装置
JP4939137B2 (ja) * 2006-07-19 2012-05-23 富士重工業株式会社 車線認識装置
EP2168079B1 (en) * 2007-01-23 2015-01-14 Valeo Schalter und Sensoren GmbH Method and system for universal lane boundary detection
JP4654208B2 (ja) * 2007-02-13 2011-03-16 日立オートモティブシステムズ株式会社 車載用走行環境認識装置
JP4933962B2 (ja) * 2007-06-22 2012-05-16 富士重工業株式会社 分岐路進入判定装置
JP2009143433A (ja) * 2007-12-14 2009-07-02 Toyota Motor Corp 車両挙動制御装置
JP5034985B2 (ja) * 2008-01-30 2012-09-26 株式会社豊田中央研究所 パラメータ推定装置
US8311283B2 (en) * 2008-07-06 2012-11-13 Automotive Research&Testing Center Method for detecting lane departure and apparatus thereof
JP4692613B2 (ja) * 2008-11-28 2011-06-01 トヨタ自動車株式会社 車載装置、及び当該装置で用いられる方法
JP4710981B2 (ja) * 2009-01-23 2011-06-29 トヨタ自動車株式会社 区画線認識装置、及び当該装置で用いられる区画線認識方法
KR101163446B1 (ko) * 2009-03-18 2012-07-18 기아자동차주식회사 가상 차선을 이용하는 차선 이탈 경보 방법 및 그에 따른 시스템
CN201400166Y (zh) * 2009-03-19 2010-02-10 创研光电股份有限公司 连接全球定位系统使用的车道偏离警示器
JP5066123B2 (ja) * 2009-03-24 2012-11-07 日立オートモティブシステムズ株式会社 車両運転支援装置
JP2010231337A (ja) * 2009-03-26 2010-10-14 Mazda Motor Corp 車両の車線逸脱警報装置
CN101704367A (zh) * 2009-11-03 2010-05-12 奇瑞汽车股份有限公司 一种车道偏离预警装置及预警方法
CN101804814B (zh) * 2010-01-08 2012-10-31 北京世纪高通科技有限公司 一种确定车道偏离的方法、装置和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009143309A (ja) * 2007-12-12 2009-07-02 Toyota Motor Corp 車線維持支援装置
JP2009298362A (ja) * 2008-06-17 2009-12-24 Mazda Motor Corp 車両の車線逸脱警報装置
JP2010092416A (ja) * 2008-10-10 2010-04-22 Toyota Motor Corp 車線逸脱抑制装置
JP2010271999A (ja) * 2009-05-22 2010-12-02 Toyota Motor Corp 運転支援装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8594890B2 (en) 2011-06-17 2013-11-26 Clarion Co., Ltd. Lane departure warning device
JP2015165368A (ja) * 2014-03-03 2015-09-17 株式会社日本自動車部品総合研究所 走行区画線認識装置
JP2017033080A (ja) * 2015-07-29 2017-02-09 いすゞ自動車株式会社 方向指示器制御装置
JP2017159723A (ja) * 2016-03-08 2017-09-14 アイシン・エィ・ダブリュ株式会社 自動運転支援装置及びコンピュータプログラム
CN109677408A (zh) * 2017-10-18 2019-04-26 丰田自动车株式会社 车辆控制器
RU2767830C1 (ru) * 2019-05-15 2022-03-22 Ниссан Мотор Ко., Лтд. Способ помощи при вождении и устройство помощи при вождении

Also Published As

Publication number Publication date
CN102649408A (zh) 2012-08-29
EP2492888B1 (en) 2016-10-12
CN102649408B (zh) 2015-05-20
JP5281664B2 (ja) 2013-09-04
EP2492888A2 (en) 2012-08-29
EP2492888A3 (en) 2015-01-07
US20120212612A1 (en) 2012-08-23

Similar Documents

Publication Publication Date Title
JP5281664B2 (ja) 車線逸脱警報装置および車線逸脱警報システム
CA2990775C (en) Vehicle position determination apparatus and vehicle position determination method
US8094001B2 (en) Vehicle lane departure warning system and method
JP5350297B2 (ja) 車両姿勢角算出装置及びそれを用いた車線逸脱警報システム
JP6416293B2 (ja) 自動車に接近する対象車両を自動車のカメラシステムにより追跡する方法、カメラシステムおよび自動車
US10964217B2 (en) Travel control method and travel control apparatus
WO2010035781A1 (ja) 車線判定装置及びナビゲーションシステム
US20100295668A1 (en) Driving support apparatus
JP2011118482A (ja) 車載装置および認知支援システム
EP2933790A1 (en) Moving object location/attitude angle estimation device and moving object location/attitude angle estimation method
JP4832489B2 (ja) 車線判定装置
WO2014007052A1 (ja) 車線逸脱判定装置,車線逸脱警報装置及びそれらを使った車両制御システム
US20070124030A1 (en) Systems for determining movement amount
JP2009245120A (ja) 交差点見通し検出装置
US20180373265A1 (en) Self-Position Estimation Device and Self-Position Estimation Method
CN103608217B (zh) 用于求取车辆与位于车辆侧面的对象之间的相对位置的方法
JP2019168432A (ja) 自車位置推定装置
US20170103271A1 (en) Driving assistance system and driving assistance method for vehicle
JP4876147B2 (ja) 車線判定装置及びナビゲーションシステム
JP5561469B2 (ja) ヨーレート補正装置、及びその方法
JP2009298362A (ja) 車両の車線逸脱警報装置
WO2019139084A1 (ja) 通知装置及び車載機
JP2013104861A (ja) 車載カメラ及び車載カメラシステム
KR101836810B1 (ko) 차로 판단 장치
JP2007286873A (ja) 車載周辺他車検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130124

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130430

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130524

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5281664

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250