JP2007164636A - 道路区画線検出装置 - Google Patents

道路区画線検出装置 Download PDF

Info

Publication number
JP2007164636A
JP2007164636A JP2005362407A JP2005362407A JP2007164636A JP 2007164636 A JP2007164636 A JP 2007164636A JP 2005362407 A JP2005362407 A JP 2005362407A JP 2005362407 A JP2005362407 A JP 2005362407A JP 2007164636 A JP2007164636 A JP 2007164636A
Authority
JP
Japan
Prior art keywords
road
line
road lane
marking
lane marking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005362407A
Other languages
English (en)
Other versions
JP4603970B2 (ja
Inventor
Makoto Nishida
誠 西田
Isamu Takai
勇 高井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Toyota Central R&D Labs Inc
Original Assignee
Toyota Motor Corp
Toyota Central R&D Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp, Toyota Central R&D Labs Inc filed Critical Toyota Motor Corp
Priority to JP2005362407A priority Critical patent/JP4603970B2/ja
Publication of JP2007164636A publication Critical patent/JP2007164636A/ja
Application granted granted Critical
Publication of JP4603970B2 publication Critical patent/JP4603970B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Steering Control In Accordance With Driving Conditions (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】撮像画像から抽出される分岐路を示した道路区画線が本線を示す道路区画線として継続して誤検出されるのを防止することにある。
【解決手段】カメラにより撮像された撮像画像に基づいて、道路上に描かれた本線を示す道路区画線を検出させる。また、カメラにより撮像された撮像画像に基づいて、本線と分岐する分岐路が存在するか否かを判別させる(ステップ108)。そして、かかる分岐路が存在すると判別された場合には、撮像画像から抽出される道路区画線の候補のうちに過去において検出された本線を示す道路区画線との高い連続性の有するものが存在するかを判定させ(ステップ116)、その連続性の高い道路区画線候補を本線を示す道路区画線として特定して、本線を示す道路区画線を検出させる(ステップ124)。
【選択図】図5

Description

本発明は、道路区画線検出装置に係り、特に、車両に搭載され、車両進行方向の路面を撮像する撮像手段により撮像された撮像画像に基づいて道路上に描かれた道路区画線を検出する道路区画線検出装置に関する。
従来から、道路上に描かれた車両の走行する車線を区切る白線などの道路区画線を検出する道路区画線検出装置が知られている(例えば、特許文献1参照)。この装置は、自車両に搭載された車両前方領域を撮像するカメラを備えており、そのカメラにより撮像された撮像画像を処理することにより道路区画線を検出する。具体的には、白線などの道路区画線が含まれる撮像画像からその道路区画線の特徴点として画像濃度が所定値以上に変化するエッジ点を複数抽出し、それら複数のエッジ点を互いに結ぶ線分のうち最も多くのエッジ点が集中する線分を道路区画線として検出する。また、この装置は、画像ごとの道路区画線を表すエッジ点の数の最大値(エッジ点計数最大値)が、時間をかけて周期的に変化する場合にはその道路区画線が破線で描かれていると認識し、定常的である場合にはその道路区画線が実線で描かれていると認識する。
特開平8−320997号公報
ところで、例えば高速道路などには、インターチェンジ出口やサービスエリアへの入口などに本線から分岐する分岐路が存在する。一般的に、本線と分岐路とが交わる分岐点のある道路においては、分岐路が実線で描かれる一方、その時点前まで道路端で実線で描かれていた本線が破線で描かれることとなる。すなわち、道路上に描かれる実線が、本線を表すものから分岐路を表すものへ変化する。この点、上記従来の装置の如く撮像画像から抽出した複数のエッジ点を互いに結ぶ線分のうち最も多くのエッジ点が集中する線分を道路区画線として検出する構成では、分岐路を示す道路区画線を本線を示す道路区画線として誤検出してしまい、その誤検出状態が長時間にわたって継続するおそれがある。特に、欧州では、日本と異なり、道路上の分岐点において本線を示す道路区画線と分岐路を示す道路区画線とが実際に互いに繋がれた状態で描かれていることが少なく、道路上に本線を示す道路区画線として描かれない欠落区間が極めて長くなるので、上記の不都合が生じ易くなる。
本発明は、上述の点に鑑みてなされたものであり、撮像画像から抽出される分岐路を示した道路区画線が本線を示す道路区画線として継続して誤検出されるのを防止して、本線を示す道路区画線を正確に検出することが可能な道路区画線検出装置を提供することを目的とする。
上記の目的は、車両進行方向の路面を撮像する撮像手段を備え、前記撮像手段により撮像された撮像画像に基づいて、道路上に描かれた道路区画線を検出する道路区画線検出装置であって、本線から分岐する分岐路の有無を判別する分岐路有無判別手段と、前記分岐路有無判別手段により前記分岐路が存在すると判別された場合に、現時点で前記撮像手段による撮像画像から抽出される道路区画線の候補について、現時点から少なくとも所定領域前の過去において前記撮像手段による撮像画像に基づいて検出されていた本線を示す道路区画線との連続性を判定する連続性判定手段と、前記連続性判定手段の判定結果から前記候補のうち前記本線を示す道路区画線との連続性の高いものを、現時点で前記撮像手段による撮像画像に基づいて検出される本線を示す道路区画線として特定する本線特定手段と、を備える道路区画線検出装置により達成される。
仮に道路上に描かれる実線が本線を示す道路区画線から分岐路を示す道路区画線へ両者を繋いだ状態で対象変化し、道路上に実際には道路区画線として描かれない本線の欠落区間が距離的に長い状況において、撮像画像に本線を示す道路区画線と分岐路を示す道路区画線とが区別なく道路区画線の候補として含まれることとなったときは、その現時点での撮像画像に含まれる分岐路を示す道路区画線は、直前領域の撮像画像に基づいて検出されていた道路区画線に繋がっているため、その道路区画線に対して画像上での位置や傾きについて極めて高い連続性を有する一方、現時点から本線の欠落区間程度の領域前の過去において撮像画像に基づいて検出されていた本線を示す道路区画線に対してはあまり高い連続性を有しない。これに対して、現時点での撮像画像に含まれる本線を示す道路区画線は、直前領域の撮像画像に基づいて検出されていた道路区画線に対して画像上での位置や傾きについてあまり高い連続性を有しない一方、現時点から本線の欠落区間程度の領域前の過去において撮像画像に基づいて検出されていた本線を示す道路区画線に対しては高い連続性を有するものとなる。
上記した態様の発明においては、本線から分岐する分岐路が存在する場合、現時点で撮像画像から抽出される道路区画線の候補について、現時点から少なくとも所定領域前の過去における撮像画像に基づいて検出されていた本線を示す道路区画線との連続性が判定される。そして、道路区画線の候補のうち本線を示す道路区画線との連続性の高いものが、現時点で撮像画像に基づいて検出される本線を示す道路区画線として特定される。従って、上記した本発明の如き構成によれば、分岐路を示した道路区画線が本線を示す道路区画線として継続して誤検出されるのが防止され、本線を示す道路区画線が正確に検出されることとなる。
ところで、上記した道路区画線検出装置において、前記連続性判定手段は、前記分岐路有無判別手段により前記分岐路が存在すると判別された場合に、現時点で前記撮像手段による撮像画像から抽出される道路区画線の候補について、現時点から所定フレーム数前までの過去において前記撮像手段による撮像画像に基づいて検出されていた本線を示す道路区画線の情報を基に平均化して得た仮想道路区画線との連続性を判定することとしてもよい。
この場合、前記所定フレーム数を車速に応じて変更するフレーム数変更手段を備えることとすれば、連続性判定に用いられる仮想道路区画線を得るうえで必要な現時点から過去における領域を車速にかかわらず一定に保つことができ、本線を示す道路区画線の検出精度を向上させることができる。
また、上記した道路区画線検出装置において、前記連続性判定手段は、前記分岐路有無判別手段により前記分岐路が存在すると判別された場合に、現時点で前記撮像手段による撮像画像から抽出される道路区画線の候補について、現時点から第1所定フレーム数前までを除いた第2所定フレーム数前までの過去において前記撮像手段による撮像画像に基づいて検出されていた本線を示す道路区画線の情報を基に平均化して得た仮想道路区画線との連続性を判定することとすれば、連続性判定に用いられる仮想道路区画線を得るうえで必要な領域から、現時点での撮像画像に含まれる本線を示す道路区画線との連続性の低い道路区画線が撮像画像に含まれる可能性の高い直前領域を排除することができるので、分岐路を示した道路区画線が本線を示す道路区画線として継続して誤検出されるのを更に防止することができる。
この場合、前記第1所定フレーム数は、本線の前記分岐路と交わる部分における道路上に描かれない欠落区間の長さに応じて設定されることとすればよい。
また、前記第1所定フレーム数及び前記第2所定フレーム数を共に車速に応じて変更するフレーム数変更手段を備えることとすれば、連続性判定に用いられる仮想道路区画線を得るうえで必要な過去における領域を車速にかかわらず一定に保つことができ、本線を示す道路区画線の検出精度を向上させることができる。
更に、上記した道路区画線検出装置において、現時点で前記撮像手段による撮像画像から抽出される道路区画線の候補、又は、現時点から過去において前記撮像手段による撮像画像に基づいて検出されていた本線を示す道路区画線の情報を基に平均化して得た前記仮想道路区画線の情報を道路曲率に応じて補正する補正手段を備えることとすれば、道路区画線候補と連続性判定に用いられる仮想道路区画線との関係を道路曲率に合わせることができるので、撮像画像に本線を示した道路区画線が含まれているにもかかわらず、カーブ路に起因してその本線を示した道路区画線が本線を示す道路区画線として検出されなくなる事態を回避することができる。
尚、上記した道路区画線検出装置において、前記分岐路有無判別手段は、前記撮像手段により撮像された撮像画像に基づいて、前記分岐路の有無を判別することとすればよい。
本発明によれば、分岐路において撮像画像から抽出されるその分岐路を示した道路区画線が本線を示す道路区画線として継続して誤検出されるのを防止することができ、これにより、本線を示す道路区画線を正確に検出することができる。
図1は、本発明の一実施例である車両に搭載される道路区画線検出装置10を備えるシステムの構成図を示す。本実施例の道路区画線検出装置10は、カメラ12及び画像処理部14を備えている。カメラ12は、車体前部のバンパやグリルに或いは車室内前部のアウタービューミラーのステイに配設されている。カメラ12は、車両前方の進行方向に向いた光軸を有し、車両前方の道路路面を含む所定領域を撮像する例えばCCDカメラである。
カメラ12には、画像処理部14が接続されている。カメラ12が撮像した撮像画像は、映像信号として画像処理部14に供給される。画像処理部14は、マイクロコンピュータを主体に構成されており、後に詳述する如く、カメラ12から送られてくる映像信号に基づいて、道路上に描かれている車両の走行する車線を区切る実線状や破線状の白線や黄線などの道路区画線を検出・推定する。そして、道路区画線検出装置10は、その画像処理部14において検出・推定した道路区画線に対する自車両の横位置を算出する。
本実施例のシステムは、上記した道路区画線検出装置10に接続する自動操舵制御装置16を備えている。自動操舵制御装置16は、自車両の操舵を制御する装置であって、マイクロコンピュータを主体に構成された電子制御ユニット(以下、操舵ECUと称す)18を備えている。
操舵ECU18には、操舵モータ20及び車速センサ22が接続されている。操舵モータ20は、操舵ECU18から供給される指令信号に従って車両を操舵させるためのトルクを発生する。車速センサ22は、車両の速度に応じた信号を出力する。操舵ECU18は、車速センサ22の出力信号に基づいて車速を検出する。また、操舵ECU18には、道路区画線検出装置10の算出した自車両の横位置情報が供給される。操舵ECU18は、自車両の横位置から例えば自車両が道路区画線から逸脱しそうになったときに、逸脱回避のための車速に応じた車両の自動操舵を実現すべく操舵モータ20に対して指令信号を供給する(逸脱回避制御)。
また、車速センサ22の出力信号は、上記した画像処理部14に供給されている。画像処理部14は、車速センサ22の出力信号に基づいて車速を検出し、その検出した車速情報に基づいて、カメラ撮像画像からの道路区画線検出処理を行う。
以下、本実施例の道路区画線検出装置10の動作について説明する。
本実施例の道路区画線検出装置10において、画像処理部14は、所定時間ごとに定期的にカメラ12の撮像した撮像画像を取得する。道路は一般にアスファルトで舗装されていることが多いので、取得した撮像画像には道路が輝度(明るさ)の低い色(主に黒色)で映し出される。一方、白線などの道路区画線は比較的高い輝度で道路に描かれるので、取得した撮像画像には道路区画線が輝度の高い色で映し出される。従って、道路と道路区画線を構成する物標との輝度差を利用して撮像画像から白線などの道路区画線を構成する物標を抽出することが可能である。
画像処理部14は、カメラ12からの撮像画像を1フレーム取得するごとに、その取得した1フレームの撮像画像から、その全体を所定間隔で左右方向に走査して輝度変化の大きい部位をエッジ点として抽出する。尚、このエッジ点の抽出は、撮像画像全体のうち道路区画線を構成する物標が存在する可能性が高い領域のみについて行うこととすれば、処理時間を短縮するうえでは好適であるが、撮像画像全体についてそのエッジ点抽出を行った後に、道路区画線を構成する物標が存在する可能性が高い領域のみをフィルタ処理することとしても、同様の効果を得ることができる。
画像処理部14は、1フレームの撮像画像からのエッジ点抽出を行った後、その抽出した輝度変化の大きい部位であるエッジ点のすべてを互いに結ぶことにより、道路区画線の候補としての線状のエッジ線の生成を試みる。道路区画線を構成する物標が実線状のものであるときは、1フレームの撮像画像からのエッジ点がその道路区画線に沿ってほとんど隙間なく現れる。また、道路区画線を構成する物標が破線状のものであるときは、破線の欠落部分(無線部)が存在するため、1フレームの撮像画像からのエッジ点が大きな隙間をあけて現れる可能性はあるが、この際にもそのエッジ点は破線の有線部分を繋いでその欠落部分を補うように道路区画線に沿って現れることとなる。
画像処理部14は、1フレームの撮像画像から生成した道路区画線の候補であるエッジ線のうち、撮像画像内の左右両側についてそれぞれ、単位距離当たりに所定数以上のエッジ点が存在するものがあるか否かを判別する。そして、所定数以上のエッジ点が存在するエッジ線があると判別したときは、後に詳述する如く、そのエッジ線のうち、過去のフレームの撮像画像に基づく検出道路区画線に対して高い連続性を有するものを道路上の道路区画線として検出・推定し、そして、その道路区画線に対する自車両の横位置を算出する。
図2は、本線から分岐する分岐路を有する道路の平面図を示す。ところで、例えば高速道路などには、インターチェンジ出口やサービスエリアへの入口,ジャンクションなどに図2(A)に示す如き本線から分岐する分岐路が存在する。一般的に、本線と分岐路とが交わる分岐点を有する道路においては、図2に示す如く、分岐路が実線で描かれる一方、その時点前まで道路端で実線で描かれていた本線がその分岐点だけ破線で描かれることとなる。すなわち、道路上に道路区画線として描かれる実線は、本線を表すものから分岐路を表すものへ変化する。この点、カメラ12の撮像画像から生成したエッジ線のうちエッジ点の数が最も多いものを常に道路区画線として検出するものとすると、分岐路を示す道路区画線を本線を示す道路区画線として誤検出することが起こり得、その誤検出状態が長時間にわたって継続してしまうおそれがある。
特に、欧州では、日本と異なり、図2(B)に示す如く、道路上の分岐点において本線を示す道路区画線(破線で描かれる)と分岐路を示す道路区画線(実線で描かれる)とが実際に互いに繋がれた状態で描かれていることが少なく、道路上に本線を示す道路区画線として描かれない欠落区間が極めて長くなるので、上記の不都合が生じ易くなる。また、日本では、図2(C)に示す如く、分岐点において本線を示す道路区画線(破線で描かれる)と分岐路を示す道路区画線(実線で描かれる)とが互いに繋がれた状態で一体に描かれていることが多く、上記の欠落区間が比較的短いので、上記の不都合は招じ難い一方、本線部分のかすれや消失などが生じたときには上記の不都合が生ずるおそれがある。
そこで、本実施例の道路区画線検出装置10は、現実には分岐路を示した道路区画線が本線を示す道路区画線として誤検出され続けるのを防止して、本線を示す道路区画線を正確に検出することに特徴を有している。以下、図3乃至図5を参照して、本実施例の特徴部について説明する。図3は、本実施例の道路区画線検出装置10において、カメラ12の撮像する撮像画像から本線を示す道路区画線を検出・推定する原理手法について説明するための図を示す。また、図4は、本実施例の道路区画線検出装置10において、本線を示す道路区画線と分岐路を示す道路区画線とが共に映し出された撮像画像から本線を示す道路区画線を検出・推定する具体的手法について説明するための図を示す。
本線と分岐路とが交わる分岐点を車両が通過する過程(以下、分岐点通過過程と称す)においては、カメラ12の撮像画像の検出処理領域に、まず、通常の車線幅を有する本線を示した道路区画線の両側が共に含まれるもの(図3における時刻(t−2))から、本線を示した道路区画線の一方側(図3において破線で描かれる側)と本線を示した道路区画線の他方側(図3において実線で描かれる側)に繋がる分岐路を示した道路区画線の一方側(図3において実線で描かれる手前側)との2本の線が少なくとも含まれるもの(図3における時刻(t−1))へ状況変化が生ずる。
上記の状況変化が生ずる前の時刻(t−2)においては、画像処理部14は、カメラ12の撮像画像を取得した場合、その撮像画像からエッジ点を抽出すると共に、道路区画線の候補として単位距離当たりに所定数以上のエッジ点が存在するエッジ線を生成し、そのうち最もエッジ点の数が多いエッジ線を道路区画線として検出することにより、道路区画線として、道路片側で本線を示した道路区画線(破線で描かれたもの)を検出すると共に、道路もう片側で本線を示した道路区画線(実線で描かれたもの)を検出する。この場合、検出する両側の道路区画線同士の幅は、通常の本線同士の車線幅程度となる。
また、分岐点において、図3(B)に示す如く本線を示す道路区画線の他方側と分岐路を示す道路区画線とが互いに繋がれた状態で一体に描かれており、本線の欠落区間が比較的短いときには、上記の状況変化が生じた後の時刻(t−1)において、画像処理部14は、カメラ撮像画像を取得した場合、その撮像画像からエッジ点を抽出すると共に、道路区画線の候補として単位距離当たりに所定数以上のエッジ点が存在するエッジ線を生成し、そのうち最もエッジ点の数が多いエッジ線を道路区画線として検出することにより、道路区画線として、道路片側(右側)で本線を示した道路区画線(破線で描かれたもの)を検出すると共に、道路もう片側(左側)で本線を示した道路区画線(実線で描かれたもの;矢印で示す)を検出する。この場合にも、検出する両側の道路区画線同士の幅は、通常の本線同士の車線幅程度となる。
一方、分岐点において、図3(C)に示す如く本線を示す道路区画線の他方側と分岐路を示す道路区画線とが互いに繋がれた状態で一体には描かれておらず、本線の欠落区間が比較的長いときには、上記の状況変化が生じた後の時刻(t−1)において、画像処理部14は、カメラ撮像画像を取得した場合、その撮像画像からエッジ点を抽出すると共に、道路区画線の候補として単位距離当たりに所定数以上のエッジ点が存在するエッジ線を生成し、そのうち最もエッジ点の数が多いエッジ線を道路区画線として検出することにより、道路区画線として、道路片側(左側)で本線を示した道路区画線(破線で描かれたもの)を検出すると共に、道路もう片側(右側)で分岐路を示した道路区画線(実線で描かれたもの;矢印で示す)を検出する。この場合には、検出する両側の道路区画線同士の幅が通常の本線同士の車線幅よりも広がることとなる。
次に、分岐点通過過程においては、カメラ撮像画像の検出処理領域に、本線を示した道路区画線の一方側(図3において破線で描かれる側)と分岐路を示した道路区画線の一方側(図3において実線で描かれる手前側)との2本の線が含まれるもの(図3における時刻(t−1))から、更に本線を示した道路区画線の他方側もが含まれるもの、すなわち、本線を示した道路区画線の一方側とその他方側と分岐路を示した道路区画線の一方側との3本の線が含まれるもの(図3において時刻t)へ状況変化が生ずる。
分岐点において、図3(B)に示す如く本線を示す道路区画線の他方側と分岐路を示す道路区画線とが互いに繋がれた状態で一体に描かれており、本線の欠落区間が比較的短いときには、上記の状況変化が生じた後の時刻tにおいては、画像処理部14は、カメラ撮像画像を取得した場合、その撮像画像からエッジ点を抽出すると共に、単位距離当たりに所定数以上のエッジ点が存在するエッジ線を生成することにより、道路片側(右側)での道路区画線の候補として本線を示した道路区画線(破線で描かれたもの)の一本だけを生成する一方、道路もう片側(左側)での道路区画線の候補として、分岐路を示した道路区画線(実線で描かれたもの)と更に本線を示した道路区画線(破線で描かれたもの)との2本を生成することとなる。
一方、分岐点において、図3(C)に示す如く本線を示す道路区画線の他方側と分岐路を示す道路区画線とが互いに繋がれた状態で一体には描かれておらず、本線の欠落区間が比較的長いときにも、上記の状況変化が生じた後の時刻tにおいて、画像処理部14は、カメラ撮像画像を取得した場合、その撮像画像からエッジ点を抽出すると共に、単位距離当たりに所定数以上のエッジ点が存在するエッジ線を生成することにより、道路片側(左側)での道路区画線の候補として本線を示した道路区画線(破線で描かれたもの)の一本だけを生成する一方、道路もう片側(右側)での道路区画線の候補として、分岐路を示した道路区画線(実線で描かれたもの)と更に本線を示した道路区画線(破線で描かれたもの)との2本を生成することとなる。
本実施例において、画像処理部14は、カメラ12の撮像画像を1フレーム取得するごとに、検出した道路区画線の情報(例えば、カメラ12の撮像画像内での位置情報や自車両に対する位置情報,曲率情報など)を内部メモリに記憶する。例えば上記の時刻(t−2)及び(t−1)においてはそれぞれ、道路両側でそれぞれ検出した道路区画線の情報を記憶する。尚、この一旦記憶した検出道路区画線情報は、新たに所定フレーム(例えば3〜10フレーム)分の検出道路区画線情報を記憶するまで継続して記憶される。この記憶された検出道路区画線の情報は、後に詳述する如く、次フレーム以降の撮像画像の処理においてエッジ線を生成して道路区画線を検出するうえで参照情報として利用されることにより、次フレーム以降での撮像画像の、その記憶された検出道路区画線の撮像画像内での位置とほぼ同一の位置近傍からの道路区画線の検出を行い易くする。
また、画像処理部14は、カメラ12の撮像画像を1フレーム取得するごとに、その撮像画像内に本線と交わる分岐路が存在する可能性が所定以上に高いか否かを判別する。尚、分岐路が存在する可能性が所定以上に高いか否かの判別は、撮像画像内の道路片側について単位距離当たりに所定数以上のエッジ点が存在するエッジ線が2本存在すること、かつ、それら2本のエッジ線が互いに所定角度以上異なる方向に向いていること(すなわち、所定角度以上のV字形をなしていること)などの所定条件が成立する場合に肯定される。具体的には、上記の如く道路片側に道路区画線の候補として所定数以上のエッジ点が存在するエッジ線が2本存在することを検出した場合には、次に、それら2本のエッジ線が互いに所定角度以上異なる方向に向いていることなどの条件が成立するか否かを判別する。そして、かかる条件が成立すると判別した場合は、撮像画像内に本線と交わる分岐路が存在する可能性が所定以上に高いと判定する。
画像処理部14は、分岐路が存在する可能性があまり高くないと判定した場合には、次に、現フレームの撮像画像からエッジ線として生成される道路区画線の候補が、内部メモリに情報記憶されている、その現フレームの撮像直前にカメラ12により撮像された現フレームの撮像領域の直前の領域が映し出される1フレーム前の過去フレームの撮像画像に基づく検出道路区画線に対して高い連続性(つながり)を有するか否かを判別する。
尚、この判別は、例えば、現フレームの撮像画像から生成される道路区画線候補の始端と過去フレームの撮像画像から検出された検出道路区画線の終端との画像内での横位置のずれ量が所定以下であり、かつ、その現フレームの道路区画線候補と過去フレームの検出道路区画線との画像内での傾き(方向)の変化量が所定以下に小さい場合に、高い連続性が存在するとして肯定されるものとすればよい。
そして、その判別の結果、現フレームの撮像画像から生成される道路区画線の候補のうちに、1フレーム前の過去フレームの撮像画像に基づく検出道路区画線に対して高い連続性を有するものがあるときは、その候補を道路区画線として検出する。
一般に、道路上の同じ車線を示す道路区画線は、カメラ12による一つのフレームの撮像領域に映し出される道路区画線とその撮像領域に隣接する撮像領域に映し出される部分とが連続的に繋がったものとなっている。従って、上記の構成によれば、現時点のカメラ撮像画像から路面ノイズに起因して道路片側において2本以上の道路区画線の候補が抽出されるときにも、その路面ノイズが道路区画線として誤検出されるのを排除して、道路区画線を正確に検出することが可能となる。
一方、本線から分岐する分岐路が存在する状況において、常に、上記の如く現フレームの撮像画像から生成される道路区画線の候補のうちその現フレームの撮像領域の直前の領域が映し出された1フレーム前の過去フレームの撮像画像に基づく検出道路区画線に対して高い連続性を有する候補を道路区画線として検出する手法では、分岐路を示す道路区画線を本線を示す道路区画線として誤検出する事態が頻繁に起こり得る。
すなわち、分岐点において、図3(B)に示す如く本線を示す道路区画線の他方側と分岐路を示す道路区画線とが互いに繋がれた状態で一体に描かれており、本線の欠落区間が比較的短いときには、現フレーム(時刻t)の撮像画像から生成される道路区画線の候補のうちの一本(同図において道路上に波線で描かれる本線を示した道路区画線)と1フレーム前の過去フレームの撮像画像に基づく検出道路区画線(同図において道路上に実線で描かれる本線を示した道路区画線)とが互いに高い連続性を有するものとなるため、上記の事態は生じ難い。しかし、分岐点において、図3(C)に示す如く本線を示す道路区画線の他方側と分岐路を示す道路区画線とが互いに繋がれた状態で一体には描かれておらず、本線の欠落区間が比較的長いときには、現フレーム(時刻t)の撮像画像から生成される道路区画線の候補のうちの一本(同図において道路上に波線で描かれる本線を示した道路区画線)が、1フレーム前の過去フレームの撮像画像に基づく検出道路区画線(同図において道路上に実線で描かれる分岐路を示した道路区画線)に対して高い連続性を有さない一方、その候補のうちの他方の一本(同図において道路上に実線で描かれる分岐路を示した道路区画線)が、その1フレーム前の過去フレームの撮像画像に基づく検出道路区画線に対して高い連続性を有することがあるため、上記の事態が生じ易い。
ここで、図3(C)に示す如き分岐点において、現フレーム(時刻t)の撮像画像から生成される道路区画線の候補のうちの一本(道路上に波線で描かれる本線を示した道路区画線)は、図3(D)に示す如く、直前の過去フレームの撮像画像に基づく検出道路区画線(同図において実線で示す分岐路を示した道路区画線)に対して高い連続性を有さない一方、現フレームの撮像領域よりも所定距離前の撮像領域が映し出された数フレーム前の過去フレームの撮像画像に基づく検出道路区画線(同図において道路上に実線で描かれる本線を示した道路区画線)に対しては高い連続性を有する。
そこで、画像処理部14は、分岐路が存在する可能性が所定以上に高いと判定した場合には、次に、現フレームの撮像画像からエッジ線として生成される道路区画線の候補のうちに、内部メモリに情報記憶されている、その現フレームの撮像前にカメラ12により撮像された現フレームの撮像領域よりも所定距離前の領域が映し出される所定フレーム前の過去フレームの撮像画像に基づく検出道路区画線を少なくとも考慮した仮想道路区画線に対して高い連続性を有するか否かを判別する。
尚、この仮想道路区画線は、内部メモリに情報記憶されている、現フレームを含まない所定フレーム数前まで(少なくとも分岐路が映し出される前における本線のみが映し出されていたフレームまで;例えば図4においては直前のフレーム(時刻t−1)から5フレーム(時刻t−5)前まで)の過去においてカメラ撮像画像に基づいて検出されていた各検出道路区画線の情報に基づいて次式(1)及び(2)に示す如く平均化して得られるものであればよい(図4参照)。また、上記の判別も、現フレームの道路区画線の候補の始端とその仮想道路区画線の終端との画像内での横位置のずれ量が所定以下であり、かつ、その現フレームの道路区画線候補とその仮想道路区画線との画像内での傾き(方向)の変化量が所定以下に小さい場合に肯定されるものとすればよい。
Figure 2007164636
Figure 2007164636
但し、Mは平均化を終了すべき現時点からのフレーム番号であり(図4に示す例ではM=5)、Offsett-nは過去の検出道路区画線の横位置(オフセット値)であり(n=1では1フレーム前のオフセット値)、また、Yawt-nは過去の検出道路区画線の傾き(ヨー値)である(n=1では1フレーム前のヨー値)。
そして、その判別の結果、現フレームの撮像画像から生成される道路区画線の候補のうちに、所定フレーム前までの過去フレームの撮像画像に基づく検出道路区画線を基に平均化して得た仮想道路区画線に対して高い連続性を有するものがあるときは、その候補を本線を示す道路区画線として選択特定し、本線を示す道路区画線を検出する。
一般に、道路上の本線を示す道路区画線は、その本線から分岐する分岐路が存在する分岐点において、比較的長い欠落区間を伴って連続性を有する。従って、上記の構成によれば、現時点(時刻t)のカメラ撮像画像から道路片側(図4において右側)において本線を示した道路区画線(破線で描かれたもの)と分岐線を示した道路区画線(実線で描かれたもの)との2本の候補が抽出されるときにも、その本線を示した道路区画線を本線を示す道路区画線として検出し易くなるので、その分岐路を示した道路区画線が本線を示す道路区画線として継続して誤検出されるのを防止して、本線を示す道路区画線を正確に検出することが可能となる。
図5は、本実施例の道路区画線検出装置10において画像処理部14が実行する制御ルーチンの一例のフローチャートを示す。図5に示すルーチンは、所定時間ごとに繰り返し起動されるルーチンである。図5に示すルーチンが起動されると、まずステップ100の処理が実行される。
ステップ100では、カメラ12が撮像し映像信号として出力する撮像画像を入力する処理が実行される。ステップ102では、上記ステップ100で入力した撮像画像の画面明るさ(輝度)を算出し、ステップ104では、その画面明るさに合わせて車線を区切る道路区画線を構成する物標のエッジ点を抽出する処理が実行される。そして、ステップ106では、上記ステップ104で抽出された複数のエッジ点を適宜結ぶことにより所定数以上のエッジ点が存在する線状のエッジ線を生成して道路区画線の候補を抽出する処理が実行される。
ステップ108では、上記の如き所定条件が満たされるか否かを判別することにより、上記ステップ100で入力した撮像画像内に本線と交わるその本線から分岐する分岐路が存在する可能性が所定以上に高いか否かが判別される。その結果、否定判定がなされた場合は、次にステップ110の処理が実行される。ステップ110では、通常どおり、道路左右両側それぞれについて、上記ステップ106で抽出された道路区画線候補のうち1フレーム前の直前フレームの撮像画像から検出されていた道路区画線に対して高い連続性を有するものを道路区画線として検出する処理が実行される。本ステップ110の処理が実行されると、以後、その検出された道路区画線の情報が内部メモリに所定期間だけ記憶されることとなる。
ステップ112では、上記ステップ100で検出した道路区画線に対する自車両の横位置を算出し、その情報を自動操舵制御装置16へ向けて出力する処理が実行される。本ステップ112の処理が実行されると、以後、その道路区画線に対する自車両の横位置情報を用いて自動操舵制御装置16において自車両の逸脱回避制御が行われる。本ステップ112の処理が終了すると、今回のルーチンは終了される。
また、上記ステップ108において肯定判定がなされた場合は、次にまずステップ114の処理が実行される。ステップ114では、上記ステップ100で入力された現フレームからその現フレームを含まないその現フレームの撮像領域よりも所定距離前の領域が映し出されている所定フレーム前までの過去フレームの撮像画像に基づく各検出道路区画線の情報を平均化して、仮想道路区画線を算出する処理が実行される。
ステップ116では、上記ステップ106で抽出された道路区画線候補のうちに上記ステップ114で算出された仮想道路区画線と高い連続性のあるものが存在するか否かが判別される。その結果、否定判定がなされた場合は、次にステップ118において、カメラ12の撮像画像内に本線と分岐する分岐路は存在しなかったと判定する。そして、ステップ110において、通常どおり上記の如く、道路左右両側それぞれについて、上記ステップ106で抽出された道路区画線候補のうち、1フレーム前の直前フレームの撮像画像から検出されていた道路区画線と高い連続性を有するものが道路区画線として検出されて、ステップ112において、その道路区画線検出結果に基づく情報が自動操舵制御装置16へ向けて出力される。
一方、上記ステップ116において肯定判定がなされた場合は、次にステップ120において、カメラ12の撮像画像内に本線と分岐する分岐路が存在すると判定する。そして、ステップ122では、今回のルーチン処理により上記ステップ100で1フレームの撮像画像が取得される直前に画像取得されていた数フレーム(上記の仮想道路区画線を算出するのに必要なフレーム数よりも少ない例えば1フレームや2フレーム)前までの分岐線を示している可能性の高い過去の道路区画線の情報を内部メモリから破棄する処理が実行される。また次に、ステップ124では、上記ステップ116において肯定判定に導いた、過去フレームの撮像画像に基づく各検出道路区画線の情報を平均化して得た仮想道路区画線と連続性のある道路区画線候補を本線を示す道路区画線として選択し特定する処理が実行される。本ステップ124の処理が実行されると、以後、その検出された道路区画線の情報が内部メモリに所定期間だけ記憶されることとなる。そして、ステップ112において、上記ステップ124において特定された本線を示す道路区画線の情報を含めた情報を自動操舵制御装置16へ向けて出力する処理が実行される。
上記図5に示すルーチンによれば、カメラ撮像画像内に本線と分岐する分岐路が映し出されている可能性があまり高くないときは、単位距離当たりに所定数以上のエッジ点が存在するエッジ線である道路区画線の候補のうち、通常どおり、現フレームの1フレーム前に取得された直前フレームの撮像画像から検出されていた道路区画線に対して高い連続性を有するものを道路上の本線を示す道路区画線として検出することができる。一方、カメラ撮像画像内に分岐路が映し出されている可能性が高くなったときは、単位距離当たりに所定数以上のエッジ点が存在するエッジ線である道路区画線の候補のうち、現フレームの1フレーム前に取得された直前フレームから所定フレーム(例えば5フレーム)前に取得された過去フレーム前までの撮像画像に基づいて検出されていた本線を示す各道路区画線の情報を平均化して得た仮想道路区画線に対して高い連続性を有するものを道路上において本線を示す道路区画線として検出することができる。
上記の如く、本線と分岐路とが交わる分岐点においては、道路に実線で描かれる道路区画線が本線を示すものから分岐路を示すものへ変化するが、この際、現フレーム(時刻t)の撮像画像から生成される道路区画線の候補のうち道路上に波線で描かれる本線を示した道路区画線は、直前の過去フレーム(時刻t−1)の撮像画像に基づく検出道路区画線(道路上に実線で描かれる分岐路を示した道路区画線)に対して高い連続性を有さない一方、現フレームの撮像領域よりも所定距離前の撮像領域が映し出された所定フレーム(例えば5フレームや10フレーム)前の過去フレームの撮像画像に基づく検出道路区画線(道路上に実線で描かれる本線を示した道路区画線)に対しては高い連続性を有するのが一般的である。
この点、本実施例の道路区画線検出装置10においては、道路に本線から分岐する分岐路が存在するときにも、上記の如き画像処理によって本線を示す道路区画線の検出処理が行われることで、一旦はカメラ撮像画像から道路上に実線で描かれた分岐路を示した道路区画線を本線を示す道路区画線として検出した場合(図3(C)や(D)における時刻t−1)にも、その直後に得られるフレーム画像からはその分岐路を示した道路区画線が本線を示す道路区画線として検出され難くなる。
従って、本実施例の道路区画線検出装置10によれば、自車両が道路本線に沿って分岐路が存在する分岐点を含めてそのまま通過する際に、カメラ撮像画像から抽出されるその分岐路を示した道路区画線が本線を示す道路区画線として継続して誤検出されるのを防止することができ、これにより、本線を示す道路区画線が分岐点手前で実線で描かれるものから分岐点で破線で描かれるものへ変化したとしても、その本線を示す道路区画線を正確に検出することが可能となっている。このため、本実施例のシステムによれば、自車両が本線に沿って走行すべきであるにもかかわらず分岐路に沿って走行するようになるのを回避することができ、本線を示す道路区画線の誤検出に起因した自車両の本線からの逸脱を回避することが可能となる。
尚、本実施例においては、現時点での1フレームの撮像画像から抽出された道路区画線の候補線が所定フレーム前までの過去の本線を示す道路区画線の情報を平均化して得た仮想道路区画線と高い連続性を有するか否かの判別は、常に行われる訳ではなく、その1フレームの撮像画像内に分岐路が存在する可能性が高いとき、すなわち、その1フレームの撮像画像からその画像内の片側(道路片側)について道路区画線の候補として単位距離当たりに所定数以上のエッジ点が存在するエッジ線が2本以上存在しかつ互いに所定角度以上異なる方向に向いているときに限り行われる。かかる構成によれば、上記した連続性の有無判別が常に行われる構成に比べて、画像処理部14におけるカメラ撮像画像の取得から道路区画線の検出までの処理負荷が軽減されると共に、その処理時間が比較的短くなる。従って、本実施例の道路区画線検出装置10においては、カメラ撮像画像の取得から道路区画線の検出までの処理が著しく増大してしまうのを回避することが可能となっている。
また、本実施例において、現フレームの撮像画像から抽出された道路区画線の候補のうちに、所定フレーム前までの過去の本線を示す道路区画線の情報を平均化して得た仮想道路区画線と高い連続性を有するものが存在して、本線を示す道路区画線が検出される場合、その現フレームの撮像画像が取得される直前に画像取得されていた数フレーム前までの過去の道路区画線の情報は内部メモリから破棄される。この場合、その現フレームの直前の数フレームは、検出道路区画線が分岐線を示している可能性の極めて高い撮像画像となる。このため、上記した本実施例の構成によれば、上記の如く分岐線を示している可能性の極めて高い道路区画線の情報を内部メモリから破棄することで、以後の本線を示す道路区画線の検出に際し、過去フレームの撮像画像から検出される検出道路区画線との連続性判定の精度を向上させる可能となり、その検出精度の向上を図ることが可能となっている。
ところで、上記の実施例においては、カメラ12が特許請求の範囲に記載した「撮像手段」に相当していると共に、画像処理部14が、図5に示すルーチン中ステップ108の処理を実行することにより特許請求の範囲に記載した「分岐路有無判別手段」が、ステップ114及び116の処理を実行することにより特許請求の範囲に記載した「連続性判定手段」が、ステップ124の処理を実行することにより特許請求の範囲に記載した「本線特定手段」が、それぞれ実現されている。
尚、上記の実施例においては、現フレームから抽出される道路区画線の候補との連続性判定に用いる上記の仮想道路区画線を算出するのに必要な過去のフレーム数を、予め一つに固定する必要はなく、車速に応じて変更することとしてもよい。具体的には、その仮想道路区画線を算出するのに必要な現フレームの撮像領域から手前の領域の距離がある程度固定されて所定範囲に収まるように、車速が低いほど多くし、車速が大きいほど少なくしてもよい。例えば、仮想道路区画線を算出するのに必要な現フレームの撮像領域から手前の領域の距離が20m程度に設定される状況においては、1秒間に10フレームの画像処理が行われる場合、上記した過去のフレーム数を、車速が150km/hであるときは5フレームとし、車速が75km/hであるときは10フレームとする。また、上記した過去のフレーム数を車速に応じてリニアに変更するだけでなく、車速に応じて段階的に変更することとしてもよい。尚、上記の仮想道路区画線を算出するのに必要な現フレームの撮像領域から手前の領域の距離は、本線の分岐点における欠落区間の長さを超える距離に設定されることとすればよい。
かかる変形例の構成によれば、現フレームから抽出される道路区画線の候補との連続性判定に用いる上記の仮想道路区画線を算出するうえで必要な現時点のフレーム撮像領域から手前の領域を車速にかかわらず一定に保つことができるので、本線を示す道路区画線の検出精度を向上させることが可能となる。尚、この場合、画像処理部14が、上記の仮想道路区画線を算出するのに必要な過去のフレーム数を車速に応じて変更することにより特許請求の範囲に記載した「フレーム数変更手段」が実現される。
また、上記の実施例においては、現フレームから抽出される道路区画線の候補との連続性判定に用いる上記の仮想道路区画線を算出するのに、その現フレームの直前のフレームから所定フレーム数前までの過去における撮像画像に基づく本線を示す各道路区画線の情報を用いることとしているが、図6に示す如く、現フレームの直前の数フレームを除くこととしてもよい。すなわち、仮想道路区画線を、内部メモリに情報記憶されている、現フレームを含まない第1フレーム数(例えば3フレーム;時刻t−3)前から第2フレーム数(例えば5フレーム;時刻t−5)前までの過去においてカメラ撮像画像に基づいて検出されていた各検出道路区画線の情報に基づいて次式(3)及び(4)に示す如く平均化して算出することとしてもよい。
Figure 2007164636
Figure 2007164636
但し、Mは平均化を終了すべき現時点からのフレーム番号であり(図6に示す例ではM=5)、sは平均化を開始すべき現時点からのフレーム番号であり(図6に示す例ではs=3)、Offsett-nは過去の検出道路区画線の横位置(オフセット値)であり(n=1では1フレーム前のオフセット値)、また、Yawt-nは過去の検出道路区画線の傾き(ヨー値)である(n=1では1フレーム前のヨー値)。
これは、現フレームの撮像画像から道路区画線の候補として分岐路を示した道路区画線と本線を示した道路区画線との2本が生成されるときは、その直前の数フレームの撮像画像には分岐路を示した道路区画線のみが映し出されかつその傾きが現フレームに映し出されている分岐路を示した道路区画線と高い連続性を有している可能性があるので、この直前の数フレーム分が仮想道路区画線の算出に考慮されると本線を示す道路区画線の検出精度が低下するからである。
すなわち、かかる変形例の構成によれば、道路区画線候補との連続性判定に用いる仮想道路区画線を得るうえで必要な領域から、現時点でのフレーム撮像画像に含まれる本線を示す道路区画線との連続性の低い道路区画線が撮像画像に含まれる可能性の高い直前領域が排除されるので、分岐路を示した道路区画線が本線を示す道路区画線として継続して誤検出されるのを更に防止することが可能となる。
また、かかる変形例においては、現フレームから抽出される道路区画線の候補との連続性判定に用いる上記の仮想道路区画線を算出するのに必要な過去のフレーム数を、予め一つに固定する必要はなく、車速に応じて変更することとしてもよく、また、その仮想道路区画線の算出に不要な現フレームの直前の過去のフレーム数も、予め一つに固定する必要はなく、車速に応じて変更することとしてもよい。具体的には、その仮想道路区画線を算出するのに必要な過去領域がある程度固定されて所定範囲に収まるように、両フレーム数とも、車速が低いほど多くし、車速が大きいほど少なくしてもよい。また、これらのフレーム数をそれぞれ車速に応じてリニアに変更するだけでなく、車速に応じて段階的に変更することとしてもよい。尚、上記の仮想道路区画線を算出するのに必要な現フレームの撮像領域から手前の領域の距離は、本線の分岐点における欠落区間の長さを超える距離に設定されることとすればよく、また、その仮想道路区画線を算出するのに不要な現フレームの撮像領域からの直前領域は、多くても本線の分岐点における欠落区間の長さに設定されることとすればよい。
かかる構成によれば、現フレームから抽出される道路区画線の候補との連続性判定に用いる上記の仮想道路区画線を算出するうえで必要な過去の領域を車速にかかわらず一定に保つことができるので、本線を示す道路区画線の検出精度を向上させることが可能となる。尚、この場合、画像処理部14が、上記の仮想道路区画線を算出するのに必要な過去のフレーム数及び不要な直前のフレーム数を車速に応じて変更することにより特許請求の範囲に記載した「フレーム数変更手段」が実現される。
また、上記の実施例においては、道路本線が直進路であるときにその直進路から分岐する分岐路がある場合を想定しているが、山間部などで多く見られる道路本線がカーブ路であるときにそのカーブ路から分岐する分岐路がある場合に対応することも可能である。
具体的には、道路本線のカーブ路から分岐する分岐路が存在する場合は、上記の実施例の如く単に、現フレームから抽出される道路区画線候補が、過去のフレームの撮像画像に基づいて検出されていた各道路区画線の情報を平均化して得た仮想道路区画線に対して高い連続性を有するか否かを判定して、現フレームから本線を示す道路区画線を検出する構成では、図7(A)に示す如く、道路区画線候補と仮想道路区画線との横位置ずれや傾きずれが生じて、本線を示す道路区画線を正確に検出することが困難となるおそれがある。そこで、例えば、カメラ撮像画像に基づいて検出した、本線を示した、分岐路が繋がる道路区画線とは反対側の道路区画線(図7に示す例では左側の道路区画線)の情報の過去数フレーム分を総合することにより道路本線のパラメータである曲率を求め、その道路曲率に応じて図7(B)に示す如く仮想道路区画線の横位置や傾きを補正する。尚、算出した仮想道路区画線の代わりに、現フレームの道路区画線候補の横位置や傾きを補正することとしてもよい。
かかる変形例によれば、実際の道路曲率に合わせて道路区画線候補とその候補の連続性判定に用いる仮想道路区画線との関係が補正されるので、現時点でのカメラ撮像画像に本線を示した道路区画線が含まれているにもかかわらず、カーブ路に起因してその本線を示した道路区画線が本線を示す道路区画線として検出されなくなる事態を回避することができ、本線を示す道路区画線の検出精度を向上させることが可能である。
尚、この場合、画像処理部14が、道路曲率に応じて道路区画線候補又は仮想道路区画線の情報を補正することにより特許請求の範囲に記載した「補正手段」が実現される。また、上記の道路曲率は、カメラ撮像画像の処理により得られる道路区画線の情報に基づいて算出するものに限らず、例えば、予め道路曲率情報が格納された地図情報とGPSなどを用いて検出される自車両の現位置とに基づいて、自車両の現位置に対応したものとして地図情報から読み出すものであってもよい。
また、上記の実施例においては、道路区画線候補の連続性判定に、過去のフレームの撮像画像に基づいて検出されていた各道路区画線の情報を平均化して得た仮想道路区画線を用いることとしているが、現フレームよりも時間的に前に得られた、少なくとも所定領域前の過去のフレームの撮像画像に基づいて検出されていた一つの道路区画線情報の情報を用いることとすればよく、例えば、その過去の一つの道路区画線との高い連続性を有する道路区画線候補を本線を示す道路区画線として特定することとしてもよい。尚、この場合にも、道路区画線候補の連続性判定に用いる現時点からの過去フレームの位置(時点)を車速に応じて変更するものであってもよい。
また、上記の実施例においては、カメラ12の撮像画像から道路上の白線等の道路区画線を検出する手法として、輝度変化を利用したエッジ点検出を用いることとしているが、本発明はこれに限定されるものではなく、例えば、円形検出フィルタやパターンマッチング,トップハット変換などを用いて道路区画線の示す特徴量を抽出することとしてもよい。
更に、上記の実施例においては、検出・推定した道路区画線を、自車両の横位置を算出する基準とし、自車両が道路区画線から逸脱しそうになったときにおける逸脱回避のための車両の自動操舵に用いることとしているが、本発明はこれに限定されるものではなく、自車両が道路区画線から逸脱しそうになったときにおける車両運転者へのスピーカ出力や表示出力を行う警報・警告制御に用いるものであってもよく、また、走行中に道路区画線に沿ってヘッドライトを点灯させるべくその点灯方向を切り替える制御に用いるものであってもよい。
本発明の一実施例である道路区画線検出装置を備えるシステムの構成図である。 本線から分岐する分岐路を有する道路の平面図である。 本実施例の道路区画線検出装置においてカメラ撮像画像から本線を示す道路区画線を検出する原理手法を説明するための図である。 本実施例の道路区画線検出装置において、本線を示す道路区画線と分岐路を示す道路区画線とが共に映し出された撮像画像から本線を示す道路区画線を検出・推定する具体的手法について説明するための図である。 本実施例の道路区画線検出装置において実行される制御ルーチンの一例のフローチャートである。 本発明の変形例の道路区画線検出装置において、本線を示す道路区画線と分岐路を示す道路区画線とが共に映し出された撮像画像から本線を示す道路区画線を検出・推定する具体的手法について説明するための図である。 本発明の変形例の道路区画線検出装置において、本線を示す道路区画線と分岐路を示す道路区画線とが共に映し出された撮像画像から本線を示す道路区画線を検出・推定する具体的手法について説明するための図である。
符号の説明
10 道路区画線検出装置
12 カメラ
14 画像処理部
22 車速センサ

Claims (8)

  1. 車両進行方向の路面を撮像する撮像手段を備え、前記撮像手段により撮像された撮像画像に基づいて、道路上に描かれた道路区画線を検出する道路区画線検出装置であって、
    本線から分岐する分岐路の有無を判別する分岐路有無判別手段と、
    前記分岐路有無判別手段により前記分岐路が存在すると判別された場合に、現時点で前記撮像手段による撮像画像から抽出される道路区画線の候補について、現時点から少なくとも所定領域前の過去において前記撮像手段による撮像画像に基づいて検出されていた本線を示す道路区画線との連続性を判定する連続性判定手段と、
    前記連続性判定手段の判定結果から前記候補のうち前記本線を示す道路区画線との連続性の高いものを、現時点で前記撮像手段による撮像画像に基づいて検出される本線を示す道路区画線として特定する本線特定手段と、
    を備えることを特徴とする道路区画線検出装置。
  2. 前記連続性判定手段は、前記分岐路有無判別手段により前記分岐路が存在すると判別された場合に、現時点で前記撮像手段による撮像画像から抽出される道路区画線の候補について、現時点から所定フレーム数前までの過去において前記撮像手段による撮像画像に基づいて検出されていた本線を示す道路区画線の情報を基に平均化して得た仮想道路区画線との連続性を判定することを特徴とする請求項1記載の道路区画線検出装置。
  3. 前記所定フレーム数を車速に応じて変更するフレーム数変更手段を備えることを特徴とする請求項2記載の道路区画線検出装置。
  4. 前記連続性判定手段は、前記分岐路有無判別手段により前記分岐路が存在すると判別された場合に、現時点で前記撮像手段による撮像画像から抽出される道路区画線の候補について、現時点から第1所定フレーム数前までを除いた第2所定フレーム数前までの過去において前記撮像手段による撮像画像に基づいて検出されていた本線を示す道路区画線の情報を基に平均化して得た仮想道路区画線との連続性を判定することを特徴とする請求項1記載の道路区画線検出装置。
  5. 前記第1所定フレーム数は、本線の前記分岐路と交わる部分における道路上に描かれない欠落区間の長さに応じて設定されることを特徴とする請求項4記載の道路区画線検出装置。
  6. 前記第1所定フレーム数及び前記第2所定フレーム数を共に車速に応じて変更するフレーム数変更手段を備えることを特徴とする請求項4又は5記載の道路区画線検出装置。
  7. 現時点で前記撮像手段による撮像画像から抽出される道路区画線の候補、又は、現時点から過去において前記撮像手段による撮像画像に基づいて検出されていた本線を示す道路区画線の情報を基に平均化して得た前記仮想道路区画線の情報を道路曲率に応じて補正する補正手段を備えることを特徴とする請求項2乃至6の何れか一項記載の道路区画線検出装置。
  8. 前記分岐路有無判別手段は、前記撮像手段により撮像された撮像画像に基づいて、前記分岐路の有無を判別することを特徴とする請求項1乃至7の何れか一項記載の道路区画線検出装置。
JP2005362407A 2005-12-15 2005-12-15 道路区画線検出装置 Active JP4603970B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005362407A JP4603970B2 (ja) 2005-12-15 2005-12-15 道路区画線検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005362407A JP4603970B2 (ja) 2005-12-15 2005-12-15 道路区画線検出装置

Publications (2)

Publication Number Publication Date
JP2007164636A true JP2007164636A (ja) 2007-06-28
JP4603970B2 JP4603970B2 (ja) 2010-12-22

Family

ID=38247433

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005362407A Active JP4603970B2 (ja) 2005-12-15 2005-12-15 道路区画線検出装置

Country Status (1)

Country Link
JP (1) JP4603970B2 (ja)

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009214786A (ja) * 2008-03-12 2009-09-24 Honda Motor Co Ltd 車両走行支援装置、車両、車両走行支援プログラム
JP2010205175A (ja) * 2009-03-05 2010-09-16 Nissan Motor Co Ltd 車線認識装置及び方法
JP2011198110A (ja) * 2010-03-19 2011-10-06 Toyota Motor Corp 車両制御装置
JP2011233151A (ja) * 2011-05-30 2011-11-17 Toyota Motor Corp 運転支援装置
US8306700B2 (en) 2008-03-12 2012-11-06 Honda Motor Co., Ltd. Vehicle travel support device, vehicle, and vehicle travel support program
JP2013097738A (ja) * 2011-11-04 2013-05-20 Toyota Motor Corp 車両走行支援装置
JP2014085693A (ja) * 2012-10-19 2014-05-12 Alpine Electronics Inc 車線監視システム及び車線監視方法
WO2014104183A1 (ja) * 2012-12-26 2014-07-03 株式会社日本自動車部品総合研究所 境界線認識装置及び分岐路判定装置
JP2014127027A (ja) * 2012-12-26 2014-07-07 Nippon Soken Inc 境界線認識装置
JP2014157429A (ja) * 2013-02-14 2014-08-28 Honda Motor Co Ltd 車両の走行支援装置
JP2015172903A (ja) * 2014-03-12 2015-10-01 トヨタ自動車株式会社 区画線検出システム
JP2015203992A (ja) * 2014-04-14 2015-11-16 本田技研工業株式会社 レーンマーク認識装置
WO2016158261A1 (ja) * 2015-04-02 2016-10-06 株式会社デンソー 画像処理装置
US9542607B2 (en) 2014-07-11 2017-01-10 Denso Corporation Lane boundary line recognition device and computer-readable storage medium storing program of recognizing lane boundary lines on roadway
US9589213B2 (en) 2014-02-14 2017-03-07 Denso Corporation Apparatus for recognizing turnoff from vehicle roadway
US9646214B2 (en) 2014-07-11 2017-05-09 Denso Corporation Lane boundary line recognition device and computer-readable storage medium storing program of recognizing lane boundary lines on roadway
WO2017082289A1 (ja) * 2015-11-12 2017-05-18 マツダ株式会社 車線維持制御装置
US9714034B2 (en) 2015-03-18 2017-07-25 Toyota Jidosha Kabushiki Kaisha Vehicle control device
WO2018008321A1 (ja) * 2016-07-06 2018-01-11 日産自動車株式会社 走行制御方法及び走行制御装置
JP2018005618A (ja) * 2016-07-04 2018-01-11 株式会社Soken 道路認識装置
JP2018067236A (ja) * 2016-10-21 2018-04-26 株式会社Soken 区画線認識装置
CN108367779A (zh) * 2015-12-02 2018-08-03 大众汽车有限公司 用于自动驾驶机动车的方法和装置
CN109624973A (zh) * 2017-10-05 2019-04-16 本田技研工业株式会社 车辆控制装置、车辆控制方法及存储介质
JP2019191741A (ja) * 2018-04-20 2019-10-31 株式会社Soken 区画線認識装置
JP2019206310A (ja) * 2018-05-30 2019-12-05 株式会社Soken 操舵角決定装置、および、自動運転車
WO2019235004A1 (ja) * 2018-06-07 2019-12-12 クラリオン株式会社 キャリブレーション装置及び電子ミラーシステム
JP2020032802A (ja) * 2018-08-28 2020-03-05 株式会社Subaru 車線維持制御装置
WO2020045232A1 (ja) * 2018-08-31 2020-03-05 株式会社デンソー 地図生成装置及び地図生成プログラム
JP2020038356A (ja) * 2018-08-31 2020-03-12 株式会社デンソー 地図生成装置及び地図生成プログラム
JP2020057069A (ja) * 2018-09-28 2020-04-09 株式会社Subaru 区画線認識装置
US10635911B2 (en) 2017-01-16 2020-04-28 Denso Corporation Apparatus and method for recognizing travel lane
US10691959B2 (en) 2017-01-16 2020-06-23 Soken, Inc. Estimating apparatus
CN114396933A (zh) * 2021-12-31 2022-04-26 广州小鹏自动驾驶科技有限公司 一种车道拓扑构建方法、装置、车辆和存储介质
CN115063759A (zh) * 2022-05-18 2022-09-16 广州文远知行科技有限公司 一种三维车道线检测方法、装置、交通工具及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6130809B2 (ja) 2014-04-25 2017-05-17 本田技研工業株式会社 車線認識装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08320997A (ja) * 1995-05-24 1996-12-03 Nissan Motor Co Ltd 車両用走行車線認識装置及び障害物検出装置・道路逸脱報知装置
JPH0991440A (ja) * 1995-09-26 1997-04-04 Toyota Motor Corp 車両用白線認識装置及び方法
JPH11232467A (ja) * 1998-02-18 1999-08-27 Aqueous Reserch:Kk 分岐認識装置及び分岐認識方法
JP2001289654A (ja) * 2000-04-11 2001-10-19 Equos Research Co Ltd ナビゲーション装置、ナビゲーション装置の制御方法、及びそのプログラムを記録した記録媒体
JP2002160598A (ja) * 2000-11-24 2002-06-04 Fuji Heavy Ind Ltd 車外監視装置
JP2004185425A (ja) * 2002-12-04 2004-07-02 Denso Corp レーンマーク識別方法及び装置
JP2005258846A (ja) * 2004-03-12 2005-09-22 Toyota Central Res & Dev Lab Inc 車線境界判定装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08320997A (ja) * 1995-05-24 1996-12-03 Nissan Motor Co Ltd 車両用走行車線認識装置及び障害物検出装置・道路逸脱報知装置
JPH0991440A (ja) * 1995-09-26 1997-04-04 Toyota Motor Corp 車両用白線認識装置及び方法
JPH11232467A (ja) * 1998-02-18 1999-08-27 Aqueous Reserch:Kk 分岐認識装置及び分岐認識方法
JP2001289654A (ja) * 2000-04-11 2001-10-19 Equos Research Co Ltd ナビゲーション装置、ナビゲーション装置の制御方法、及びそのプログラムを記録した記録媒体
JP2002160598A (ja) * 2000-11-24 2002-06-04 Fuji Heavy Ind Ltd 車外監視装置
JP2004185425A (ja) * 2002-12-04 2004-07-02 Denso Corp レーンマーク識別方法及び装置
JP2005258846A (ja) * 2004-03-12 2005-09-22 Toyota Central Res & Dev Lab Inc 車線境界判定装置

Cited By (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009214786A (ja) * 2008-03-12 2009-09-24 Honda Motor Co Ltd 車両走行支援装置、車両、車両走行支援プログラム
EP2251239A1 (en) * 2008-03-12 2010-11-17 Honda Motor Co., Ltd. Vehicle travel support device, vehicle, and vehicle travel support program
EP2251239A4 (en) * 2008-03-12 2011-04-06 Honda Motor Co Ltd DEVICE FOR SUPPORTING A VEHICLE VEHICLE, VEHICLE AND PROGRAM FOR SUPPORTING A VEHICLE TRIP
US8306700B2 (en) 2008-03-12 2012-11-06 Honda Motor Co., Ltd. Vehicle travel support device, vehicle, and vehicle travel support program
US8346427B2 (en) 2008-03-12 2013-01-01 Honda Motor Co., Ltd. Vehicle travel support device, vehicle, and vehicle travel support program with imaging device for recognizing a travel area
JP2010205175A (ja) * 2009-03-05 2010-09-16 Nissan Motor Co Ltd 車線認識装置及び方法
JP2011198110A (ja) * 2010-03-19 2011-10-06 Toyota Motor Corp 車両制御装置
JP2011233151A (ja) * 2011-05-30 2011-11-17 Toyota Motor Corp 運転支援装置
JP2013097738A (ja) * 2011-11-04 2013-05-20 Toyota Motor Corp 車両走行支援装置
JP2014085693A (ja) * 2012-10-19 2014-05-12 Alpine Electronics Inc 車線監視システム及び車線監視方法
WO2014104183A1 (ja) * 2012-12-26 2014-07-03 株式会社日本自動車部品総合研究所 境界線認識装置及び分岐路判定装置
JP2014127027A (ja) * 2012-12-26 2014-07-07 Nippon Soken Inc 境界線認識装置
US10891738B2 (en) 2012-12-26 2021-01-12 Nippon Soken, Inc. Boundary line recognition apparatus and branch road determination apparatus
US10002433B2 (en) 2012-12-26 2018-06-19 Nippon Soken, Inc. Boundary line recognition apparatus and branch road determination apparatus
JP2014157429A (ja) * 2013-02-14 2014-08-28 Honda Motor Co Ltd 車両の走行支援装置
US9589213B2 (en) 2014-02-14 2017-03-07 Denso Corporation Apparatus for recognizing turnoff from vehicle roadway
JP2015172903A (ja) * 2014-03-12 2015-10-01 トヨタ自動車株式会社 区画線検出システム
JP2015203992A (ja) * 2014-04-14 2015-11-16 本田技研工業株式会社 レーンマーク認識装置
US9646214B2 (en) 2014-07-11 2017-05-09 Denso Corporation Lane boundary line recognition device and computer-readable storage medium storing program of recognizing lane boundary lines on roadway
US9542607B2 (en) 2014-07-11 2017-01-10 Denso Corporation Lane boundary line recognition device and computer-readable storage medium storing program of recognizing lane boundary lines on roadway
US9714034B2 (en) 2015-03-18 2017-07-25 Toyota Jidosha Kabushiki Kaisha Vehicle control device
US10380435B2 (en) 2015-04-02 2019-08-13 Denso Corporation Image processing apparatus
CN107430821A (zh) * 2015-04-02 2017-12-01 株式会社电装 图像处理装置
JP2016197280A (ja) * 2015-04-02 2016-11-24 株式会社デンソー 画像処理装置
WO2016158261A1 (ja) * 2015-04-02 2016-10-06 株式会社デンソー 画像処理装置
JP2017088014A (ja) * 2015-11-12 2017-05-25 マツダ株式会社 車線維持制御装置
WO2017082289A1 (ja) * 2015-11-12 2017-05-18 マツダ株式会社 車線維持制御装置
US10266204B2 (en) 2015-11-12 2019-04-23 Mazda Motor Corporation Lane-maintaining control device
CN108367779A (zh) * 2015-12-02 2018-08-03 大众汽车有限公司 用于自动驾驶机动车的方法和装置
JP2018005618A (ja) * 2016-07-04 2018-01-11 株式会社Soken 道路認識装置
CN109476306A (zh) * 2016-07-06 2019-03-15 日产自动车株式会社 行驶控制方法及行驶控制装置
KR20190017925A (ko) * 2016-07-06 2019-02-20 닛산 지도우샤 가부시키가이샤 주행 제어 방법 및 주행 제어 장치
JPWO2018008321A1 (ja) * 2016-07-06 2019-05-23 日産自動車株式会社 走行制御方法及び走行制御装置
KR102035983B1 (ko) 2016-07-06 2019-10-23 닛산 지도우샤 가부시키가이샤 주행 제어 방법 및 주행 제어 장치
WO2018008321A1 (ja) * 2016-07-06 2018-01-11 日産自動車株式会社 走行制御方法及び走行制御装置
US10611374B2 (en) 2016-07-06 2020-04-07 Nissan Motor Co., Ltd. Drive control method and drive control apparatus
JP2018067236A (ja) * 2016-10-21 2018-04-26 株式会社Soken 区画線認識装置
US10691959B2 (en) 2017-01-16 2020-06-23 Soken, Inc. Estimating apparatus
US10635911B2 (en) 2017-01-16 2020-04-28 Denso Corporation Apparatus and method for recognizing travel lane
US10974722B2 (en) 2017-10-05 2021-04-13 Honda Motor Co., Ltd. Vehicle control apparatus, vehicle control method, and storage medium
JP2019067337A (ja) * 2017-10-05 2019-04-25 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
CN109624973A (zh) * 2017-10-05 2019-04-16 本田技研工业株式会社 车辆控制装置、车辆控制方法及存储介质
CN109624973B (zh) * 2017-10-05 2021-10-15 本田技研工业株式会社 车辆控制装置、车辆控制方法及存储介质
JP7078444B2 (ja) 2018-04-20 2022-05-31 株式会社Soken 区画線認識装置
JP2019191741A (ja) * 2018-04-20 2019-10-31 株式会社Soken 区画線認識装置
JP7078458B2 (ja) 2018-05-30 2022-05-31 株式会社Soken 操舵角決定装置、および、自動運転車
JP2019206310A (ja) * 2018-05-30 2019-12-05 株式会社Soken 操舵角決定装置、および、自動運転車
JP7226930B2 (ja) 2018-06-07 2023-02-21 フォルシアクラリオン・エレクトロニクス株式会社 キャリブレーション装置及び電子ミラーシステム
JP2019213108A (ja) * 2018-06-07 2019-12-12 クラリオン株式会社 キャリブレーション装置及び電子ミラーシステム
WO2019235004A1 (ja) * 2018-06-07 2019-12-12 クラリオン株式会社 キャリブレーション装置及び電子ミラーシステム
US11142198B2 (en) 2018-08-28 2021-10-12 Subaru Corporation Lane keep control apparatus
JP2020032802A (ja) * 2018-08-28 2020-03-05 株式会社Subaru 車線維持制御装置
CN112639916A (zh) * 2018-08-31 2021-04-09 株式会社电装 地图生成装置以及地图生成程序
JP2020038356A (ja) * 2018-08-31 2020-03-12 株式会社デンソー 地図生成装置及び地図生成プログラム
WO2020045232A1 (ja) * 2018-08-31 2020-03-05 株式会社デンソー 地図生成装置及び地図生成プログラム
JP7192704B2 (ja) 2018-08-31 2022-12-20 株式会社デンソー 地図生成装置及び地図生成プログラム
CN110991214A (zh) * 2018-09-28 2020-04-10 株式会社斯巴鲁 车道线识别装置
JP2020057069A (ja) * 2018-09-28 2020-04-09 株式会社Subaru 区画線認識装置
CN110991214B (zh) * 2018-09-28 2024-06-07 株式会社斯巴鲁 车道线识别装置
CN114396933A (zh) * 2021-12-31 2022-04-26 广州小鹏自动驾驶科技有限公司 一种车道拓扑构建方法、装置、车辆和存储介质
CN114396933B (zh) * 2021-12-31 2024-03-08 广州小鹏自动驾驶科技有限公司 一种车道拓扑构建方法、装置、车辆和存储介质
CN115063759A (zh) * 2022-05-18 2022-09-16 广州文远知行科技有限公司 一种三维车道线检测方法、装置、交通工具及存储介质

Also Published As

Publication number Publication date
JP4603970B2 (ja) 2010-12-22

Similar Documents

Publication Publication Date Title
JP4603970B2 (ja) 道路区画線検出装置
JP4248558B2 (ja) 道路区画線検出装置
JP4725391B2 (ja) 車両用視程測定装置、及び運転支援装置
US9424462B2 (en) Object detection device and object detection method
JP6364797B2 (ja) 画像解析装置、および画像解析方法
US10142595B2 (en) Driving assistance device and method of detecting vehicle adjacent thereto
EP2963634B1 (en) Stereo camera device
JP2011180982A (ja) 区画線検出装置
JP2006309313A (ja) 道路認識装置
JP4556133B2 (ja) 車両
JP3823782B2 (ja) 先行車両認識装置
JPH11139225A (ja) トンネル検出装置及びそれを用いた車両制御装置
JPH08136237A (ja) 走行路勾配算出装置および車速制御装置
JP2010020710A (ja) 路側固定物検出装置
JP2005202787A (ja) 車両用表示装置
JP2011033594A (ja) 車両用距離算出装置
JP2000306097A (ja) 道路領域判定装置
JP4614826B2 (ja) 道路区画線検出装置
JP2007018451A (ja) 道路区画線検出装置
JP2001357396A (ja) 画像処理装置および画像認識装置
JP4572826B2 (ja) 道路区画線検出装置
JP2008042759A (ja) 画像処理装置
JP5310162B2 (ja) 車両灯火判定装置
JP4598011B2 (ja) 車両用表示装置
JP6206334B2 (ja) 検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080611

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090701

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100421

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100921

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101004

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131008

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4603970

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131008

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131008

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250