JP2011203844A - 車両運転支援用処理装置及び車両運転支援装置 - Google Patents

車両運転支援用処理装置及び車両運転支援装置 Download PDF

Info

Publication number
JP2011203844A
JP2011203844A JP2010068522A JP2010068522A JP2011203844A JP 2011203844 A JP2011203844 A JP 2011203844A JP 2010068522 A JP2010068522 A JP 2010068522A JP 2010068522 A JP2010068522 A JP 2010068522A JP 2011203844 A JP2011203844 A JP 2011203844A
Authority
JP
Japan
Prior art keywords
vehicle
lane
lane departure
signal
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010068522A
Other languages
English (en)
Other versions
JP5414588B2 (ja
Inventor
Kosuke Imai
康介 今井
Kenji Furukawa
賢司 古川
Nobuyuki Ozaki
信之 尾崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2010068522A priority Critical patent/JP5414588B2/ja
Priority to CN2011800146205A priority patent/CN102804239A/zh
Priority to EP11758923A priority patent/EP2551835A1/en
Priority to PCT/JP2011/000298 priority patent/WO2011118110A1/ja
Publication of JP2011203844A publication Critical patent/JP2011203844A/ja
Priority to US13/618,870 priority patent/US20130063599A1/en
Application granted granted Critical
Publication of JP5414588B2 publication Critical patent/JP5414588B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Abstract

【課題】安定して車線逸脱を検出する車両運転支援用処理装置及び車両運転支援装置を提供する。
【解決手段】走行レーン301を走行する車両250の左右の後側方の画像データを取得する第1及び第2データ取得部110及び120と、車線逸脱検出部130と、を備えた車両運転支援用処理装置101が提供される。車線逸脱検出部130は、車線逸脱検出状態のときに、左右の後側方画像データに基づいて、走行レーンの左側境界310a及び右側境界320aと、車両と、の間の第1距離210dと、第2距離220dと、を推定し、第1距離及び第2距離の少なくともいずれかが基準値以下のときに、車両の運転者に警告を提供する、車両の操舵装置及び制動装置の少なくともいずれかを制御する、並びに、その車両以外の車両に信号を送信する、の少なくともいずれかのための第1信号を発生する第1信号発生動作を実施する。
【選択図】図1

Description

本発明は、車両運転支援用処理装置及び車両運転支援装置に関する。
車両が走行中の車線(レーン)から逸脱したことを運転者に警告する車線逸脱警報システム(LDWS:Lane Departure Warning System)がある。
例えば、特許文献1には、前方を撮影する車載カメラでは白線の認識精度が十分でない場合には、側方を撮影する車載カメラにより撮影した画像を利用して白線認識の精度を向上させる構成が提案されている。
しかしながら、安定して車線逸脱を検出するためには、改良の余地がある。
特開2008−250904号公報
本発明は、安定して車線逸脱を検出する車両運転支援用処理装置及び車両運転支援装置を提供する。
本発明の一態様によれば、走行レーンを走行する車両の左後方を撮像する左後方撮像部で撮像した左後方画像データを取得する第1データ取得部と、前記車両の右後方を撮像する右後方撮像部で撮像した右後方画像データを取得する第2データ取得部と、車線逸脱検出状態と車線逸脱検出抑制状態とを有する車線逸脱検出部と、を備え、前記車線逸脱検出部は、前記車線逸脱検出状態のときに、前記第1データ取得部で取得した前記左後方画像データに基づいて、前記走行レーンの、前記車両の左側の左側境界と、前記車両と、の間の第1距離を推定し、前記第2データ取得部で取得した前記右後方画像データに基づいて、前記走行レーンの、前記車両の右側の右側境界と、前記車両と、の間の第2距離を推定し、前記第1距離が予め定められた方法で導出される第1基準値以下、及び、前記第2距離が予め定められた方法で導出される第2基準値以下、の少なくともいずれかのときに、前記車両の運転者に警告を提供する、前記車両の操舵装置及び制動装置の少なくともいずれかを制御する、並びに、前記車両以外の車両に信号を送信する、の少なくともいずれかのための第1信号を発生する第1信号発生動作を実施することを特徴とする車両運転支援用処理装置が提供される。
本発明の別の一態様によれば、走行レーンを走行する車両の左後方を撮像する左後方撮像部で撮像した左後方画像データを取得する第1データ取得部と、前記車両の右後方を撮像する右後方撮像部で撮像した右後方画像データを取得する第2データ取得部と、車線逸脱検出状態と車線逸脱検出抑制状態とを有する車線逸脱検出部と、を備え、前記車線逸脱検出部は、前記車線逸脱検出状態のときに、前記第1データ取得部で取得した前記左後方画像データに基づいて、前記走行レーンの、前記車両の左側の左側境界と、前記車両と、の間の第1距離を推定し、前記第2データ取得部で取得した前記右後方画像データに基づいて、前記走行レーンの、前記車両の右側の右側境界と、前記車両と、の間の第2距離を推定し、前記第1距離が予め定められた方法で導出される第1基準値以下、及び、前記第2距離が予め定められた方法で導出される第2基準値以下、のいずれかのときに、前記車両の運転者に警告を提供する、前記車両の操舵装置及び制動装置の少なくともいずれかを制御する、並びに、前記車両以外の車両に信号を送信する、の少なくともいずれかのための第1信号を発生する第1信号発生動作を実施することを特徴とする車両運転支援用処理装置が提供される。
本発明の別の一態様によれば、上記のいずれかの車両運転支援用処理装置と、前記車両の前記左後方を撮像する前記左後方撮像部と、前記車両の前記右後方を撮像する前記右後方撮像部と、を備えたことを特徴とする車両運転支援装置が提供される。
本発明によれば、安定して車線逸脱を検出する車両運転支援用処理装置及び車両運転支援装置が提供される。
第1の実施形態に係る車両運転支援装置の動作を例示する模式図である。 第1の実施形態に係る車両運転支援装置の構成を例示する模式図である。 第1の実施形態に係る車両運転支援装置の動作の概要を例示するフローチャート図である。 第1の実施形態に係る車両運転支援装置の動作を例示するフローチャート図である。 第1の実施形態に係る車両運転支援装置の動作を例示するフローチャート図である。 第2の実施形態に係る車両運転支援装置の動作を例示するフローチャート図である。 第3の実施形態に係る車両運転支援装置の動作を例示するフローチャート図である。
以下に、本発明の各実施の形態について図面を参照しつつ説明する。
なお、本願明細書と各図において、既出の図に関して前述したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。
(第1の実施の形態)
図1は、第1の実施形態に係る車両運転支援装置の動作を例示する模式図である。
すなわち、図1(a)は、車両運転支援装置における左後方画像を例示し、図1(b)は、車両運転支援装置における右後方画像を例示している。図1(c)は、車両運転支援装置の動作を例示している。
図2は、第1の実施形態に係る車両運転支援装置の構成を例示する模式図である。
図1(c)に表したように、本実施形態に係る車両運転支援装置201は、車両250に搭載される。車両250は、走行レーン301(車線)を走行する。
車両運転支援装置201は、車両250の左後方を撮像する左後方撮像部210と、車両250の右後方を撮像する右後方撮像部220と、を備えることができる。
左後方撮像部210及び右後方撮像部220には、例えば、CMOSセンサやCCDセンサなどが用いられる。本実施形態はこれに限らず、左後方撮像部210及び右後方撮像部220には、任意の撮像装置を用いることができる。
なお、左後方撮像部210は、撮像した画像を左右反転させ、左右反転した像に対応する左後方画像データを出力する機能を有していても良い。また、右後方撮像部220は、撮像した画像を左右反転させ、左右反転した像に対応する右方向画像データを出力する機能を有していても良い。
図2に表したように、車両運転支援装置201は、車両運転支援用処理装置101を備える。
車両運転支援用処理装置101は、第1データ取得部110と、第2データ取得部120と、車線逸脱検出部130と、を有する。
第1データ取得部110は、走行レーン301を走行する車両250の左後方を撮像する左後方撮像部210で撮像した左後方画像データを取得する。第2データ取得部120は、車両250の右後方を撮像する右後方撮像部220で撮像した右後方画像データを取得する。
左後方撮像部210と第1データ取得部110との通信、及び、右後方撮像部220と第2データ取得部120との通信には、例えば電気的接続、光接続、及び、種々の無線の方法など、任意の方法が適用できる。
図1(c)に表したように、車線逸脱検出部130は、第1データ取得部110で取得した左後方画像データに基づいて、走行レーン301の、車両250の左側の左側境界310aと、車両250と、の間の第1距離210dを推定する。車線逸脱検出部130は、第2データ取得部120で取得した右後方画像データに基づいて、走行レーン301の、車両250の右側の右側境界320aと、車両250と、の間の第2距離220dを推定する。
そして、車線逸脱検出部130は、車線逸脱検出状態と、車線逸脱検出抑制状態と、を有する。
車線逸脱検出部130は、車線逸脱検出状態のときに、推定された第1距離210dが予め定められた方法で導出される第1基準値以下、及び、推定された第2距離220dが予め定められた方法で導出される第2基準値以下、の少なくともいずれかのときに、第1信号sg1を発生する第1信号発生動作を実施する。
または、車線逸脱検出部130は、車線逸脱検出状態のときに、推定された第1距離210dが予め定められた方法で導出される第1基準値以下、及び、推定された第2距離220dが予め定められた方法で導出される第2基準値以下、のいずれかのときに、第1信号sg1を発生する第1信号発生動作を実施する。すなわち、第1距離210dが第1基準値以下、かつ、第2距離220dが第2基準値以下、のときには第1信号発生動作を実施しないようにすることができる。
そして、後述するように、車線逸脱検出部130は、車線逸脱検出抑制状態のときには、上記の第1信号発生動作を実施しない。
なお、車線逸脱検出抑制状態は、例えば、車両250の方向指示器が動作状態であるとき、方向指示器が動作状態から非動作状態に移行した後の経過時間が予め定められた基準時間以下のとき、車両250の速度が予め定められた値以下のとき(例えば停車や徐行しているとき)、及び、走行レーン301の幅が所定の基準値よりも小さいとき、などを含むことができる。このようなときは、車線逸脱検出部130は、第1信号発生動作を実施しない。
本具体例では、車線逸脱検出部130は、演算部140と、第1信号発生部150と、を有している。
上記の第1距離210dの推定、第2距離220dの推定、第1距離210dと第1基準値との比較、及び、第2距離220dと第2基準値との比較、は、例えば、演算部140によって実施される。そして、第1信号sg1の発生は、演算部140の実行結果に基づいて、第1信号発生部150によって実施される。
第1信号sg1は、車両250の運転者に警告を提供する、車両250の操舵装置及び制動装置の少なくともいずれかを制御する、並びに、車両250以外の別の車両に信号を送信する、の少なくともいずれかのための信号である。
すなわち、車両250が走行レーン301を逸脱している、または、逸脱すると推定されるときに、車両運転支援用処理装置101は、LDWS結果の出力101oとして、上記の第1信号sg1を出力する。そして、それ以外のときは、LDWS結果として第1信号sg1を出力しない。すなわち、例えばLDWS結果として「正常」な状態に相当する、第1信号sg1とは別の信号を出力する。
本具体例では、第1信号sg1は、警告発生部260に供給される。警告発生部260は、第1信号sg1を取得し、第1信号sg1に基づいて、音信号、触覚信号、嗅覚信号及び光信号の少なくともいずれかを含む第2信号sg2を発生する。第2信号sg2は、車両250の運転者に提供される。
なお、車両運転支援装置201は、警告発生部260をさらに備えても良い。車両運転支援装置201が、警告発生部260をさらに備える場合に、車線逸脱検出部130が車線逸脱検出抑制状態のときには、第2信号sg2を発生する動作を実施しないことができる。すなわち、車両運転支援装置201は、例えば、車線逸脱検出部130が車線逸脱検出抑制状態である情報を任意の通信方法で入手し、それに基づき第2信号sg2の発生を抑制することができる。
このような構成を有する車両運転支援用処理装置101及び車両運転支援装置201は、安定して車線逸脱を検出することができる。
図1(c)に表したように、車両250が走行する走行レーン301は、左側境界310aと、右側境界320aと、を有する。左側境界310aは、例えば走行レーン301の左側の車線区分線(visible lane marking)である左車線区分線310の中心とされる。右側境界320aは、例えば走行レーン301の右側の車線区分線である右車線区分線320の中心とされる。なお、車線区分線は、雪などに覆われていないなど、運転者が運転中に直接視認できる境界線に、意図的に配置される誘導線が含まれる。車線区分線は、例えば、道路に設けられる白線などである。
また、左側境界310aは、走行レーン301の左側の道路の端を示す特徴物(incidental visible road feature)の位置としても良い。同様に、右側境界320aは、走行レーン301の右側の道路の端を示す特徴物の位置としても良い。なお、道路の端を示す特徴物は、車線の境界を明示することを目的としないが、これを暗示する道路面上の模様・構造であり、舗装の繋ぎ目、縁、縁石、軌道及び前の車両が残したわだちなどが含まれる。
以下では、説明を簡単にするために、走行レーン301に左車線区分線310及び右車線区分線320が設けられている場合であり、左側境界310aが左車線区分線310の中心とされ、右側境界320aが右車線区分線320の中心とされる場合として説明する。
図1(c)に表したように、左後方撮像部210は、左後方監視領域210rを撮像する。右後方撮像部220は、右後方監視領域220rを撮像する。
図1(a)及び図1(b)は、左後方撮像部210及び右後方撮像部220で撮像された画像をそれぞれ例示している。
図1(a)に表したように、左後方撮像部210によって撮像された左後方画像210pには、例えば、車両250の像250pと共に、左車線区分線310の像310pが表れている。なお、本具体例では、左車線区分線310よりもさらに左側の道路の端の像311pも表れている。
一方、図1(b)に表したように、右後方撮像部220によって撮像された右後方画像220pには、例えば、車両250の像250pと共に、右車線区分線320の像320pが表れている。なお、本具体例では、右車線区分線320よりもさらに右側の車線区分線の像321p、及び、さらに右側である道路の端の像322pも表れている。なお、像321p及び像322pは、車両250が走行中の走行レーン301の対向車線の車線区分線の像である。
後述するように、左後方撮像部210によって撮像された左後方画像210pの画像データに基づいて、左側境界310aと車両250との距離である第1距離210dが導出される。また、右後方撮像部220によって撮像された右後方画像220pの画像データに基づいて、右側境界320aと車両250との距離である第2距離220dが導出される。
そして、第1距離210d及び第2距離220dに基づいて、車両250の車線逸脱が検出され、車線逸脱警報に対応する第1信号sg1が生成される。そして、第1信号sg1に基づいて、音信号、触覚信号、嗅覚信号及び光信号の少なくともいずれかを含む第2信号sg2が、運転者に提供される。
第2信号sg2における音信号は、例えば、車両250に搭載されるスピーカ、チャイム及びブザーなどの音発生装置から発生する音を含むことができる。また、第2信号sg2における触覚信号は、運転者の接触、振動、力及び動きの間隔を刺激する触覚警報(haptic warning)を含むことができる。触覚警報は、例えば、ステアリングホイールの動き、ステアリングホイールの振動、シート、ペダルの振動などを含む。また、第2信号sg2における嗅覚信号は、例えば、香水臭、刺激臭、異臭及び眠気覚まし臭などの嗅覚に作用する種々の刺激を含む。また、第2信号sg2における光信号は、ランプの点灯やディスプレイなどの表示装置による光の変化などを含むことができる。なお、第2信号sg2の程度は、時間の経過と共に大きくなるように設定できる。これにより、車線逸脱を運転者により効果的に知らせることができる。
本実施形態においては、車両250の左右の後側方をそれぞれ別の撮像部(左後方撮像部210及び右後方撮像部220)によって撮像することにより、撮像の際に、車両250、及び、車両250以外の他の車両によって道路が遮蔽されることが抑制される。これにより、車両250の近くの道路の像が撮像できる。そして、車両250の近くの道路の像から車線の境界(左側境界310a及び右側境界320a)を検出できるので、安定した車線の検出が可能になる。
例えば、車両の前方を撮像するカメラを用いて車線検出を行う比較例の場合は、車両250以外の他の車両(例えば車両250の前を走行している車両)によって、道路の像が遮蔽され、例えば必要な車線区分線を撮像できないことが発生し易い。また、車両の前方を撮像する1つのカメラで左右の車線区分線を撮像する場合は、左右両方の車線区分線を1つのカメラで撮像するため、車両からみて遠くの車線区分線を撮像することになるため、画像の精度が低下し、車線区分線の検出が困難になる。
また、例えば、車両の後方を撮像するカメラを用いて車線検出を行う比較例においても同様であり、車両250及び他の車両などによって、道路の像が遮蔽され、必要な車線区分線を撮像できないことが発生し易い。また、車両からみて遠くの車線区分線を撮像することになるため、画像の精度が低下し、車線区分線の検出が困難になる。
さらに、前方と、一方の側方と、を撮像する比較例の場合は、他方の側方の側の車線区分線の検出の精度が低い。
これに対し、本実施形態においては、左と右との両方の後側方を撮像することで、他の車両によって車線区分線が遮蔽されることが抑制される。すなわち、車両は車線変更を行う場合を除いて、車線区分線の上を常時走行することはない。このため、車両250の左側の左車線区分線310は、他の車両で遮蔽されることが殆どなく、左後方撮像部210によって撮像される。同様に、車両250の右側の右車線区分線320は、他の車両で遮蔽されることが殆どなく、右後方撮像部220によって撮像される。
すなわち、図1(a)及び図1(b)に表したように、左車線区分線310と、右車線区分線320と、は、ほぼ常時撮像される。そして、車両250の近くから遠くまでの広い範囲において、左車線区分線310及び右車線区分線320が撮像される。このため、左車線区分線310及び右車線区分線320が安定して検出でき、検出の精度も高い。
図3は、第1の実施形態に係る車両運転支援装置の動作の概要を例示するフローチャート図である。
図3に表したように、本実施形態に係る車両運転支援装置201においては、車両250の左後方を撮像(ステップS210)し、右後方を撮像する(ステップS220)。左後方の撮像は左後方撮像部210により実施され、右後方の撮像は右後方撮像部220により実施される。なお、左後方の撮像、及び、右後方の撮像は、常時行われても良く、例えば、所定の間隔で、交互に行われても良い。
そして、左後方画像データを取得し(ステップS110)、右後方画像データを取得する(ステップS120)。左後方画像データの取得は、第1データ取得部110により実施され、右後方画像データの取得は、第2データ取得部120により実施される。なお、左後方画像データの取得、及び、右後方画像データの取得は、常時行われても良く、例えば、所定の間隔で、交互に行われても良い。
そして、左側境界310aと車両250との間の第1距離210dが推定され(ステップS131)、右側境界320aと車両250との間の第2距離220dが推定される(ステップS132)。第1距離210dの推定、及び、第2距離220dの推定は、例えば、演算部140によって実施される。なお、第1距離210dの推定、及び、第2距離220dの推定は、常時行われても良く、例えば、所定の間隔で、交互に行われても良い。
そして、推定された第1距離210d及び第2距離220dに基づいて、車両250の逸脱を判定する(ステップS140)。すなわち、第1距離210dと第1基準値との比較を行い、また、第2距離220dと第2基準値との比較を行う。そして、比較の結果、第1距離210dが予め定められた方法で導出される第1基準値以下、及び、第2距離220dが予め定められた方法で導出される第2基準値以下、の少なくともいずれかのときに、逸脱状態であると判定する。また、比較の結果、第1距離210dが予め定められた方法で導出される第1基準値以下、及び、第2距離220dが予め定められた方法で導出される第2基準値以下、のいずれかのときに、逸脱状態であると判定することもできる。
逸脱状態でないと判定されたときは、ステップS210及びステップS220に戻る。 そして、逸脱状態のときに、第1信号sg1を発生する(ステップS150)。すなわち、第1信号発生動作を実施する。
このような、逸脱の判定(ステップS140)と、第1信号sg1の発生(ステップS150)と、を含む動作(車線逸脱警報信号出力動作)(ステップS160)が、車両運転支援用処理装置101によって実施される。
すなわち、ステップS160においては、後述する条件に基づいて、ステップS140(逸脱の判定)及びステップS150(第1信号sg1の判定)を実施し、または、実施しない。ステップS140及びステップS150を実施しない場合は、ステップS210及びステップS220に戻る。
または、ステップS160においては、ステップS140を実施し、後述する条件に基づいて、ステップS150を実施し、または、実施しないように設定されても良い。ステップS150を実施しない場合は、ステップS210及びステップS220に戻る。
そして、ステップS150(第1信号sg1の発生)が実施された場合には、第1信号sg1に基づいて、音信号、触覚信号、嗅覚信号及び光信号の少なくともいずれかを含む第2信号sg2を発生する(ステップS260)。すなわち、車線逸脱警報を運転者に発する。第2信号sg2の発生は、警告発生部260により実施される。そして、ステップS210及びステップS220に戻る。
なお、車両運転支援装置201の全体の動作に関しての開始の信号が入力された場合に、上記の動作が実施され、また、終了の信号が入力された場合に、上記の動作を終了することができる。
なお、車両運転支援用処理装置101においては、上記のステップS110、S120、S131、S132、及びS160を含むステップS101が実施される。なお、ステップS160には、ステップS140及びS150が含まれる。
図4は、第1の実施形態に係る車両運転支援装置の動作を例示するフローチャート図である。
すなわち、同図は、車両運転支援用処理装置101の動作であるステップS101の具体的な一例を示している。
図4に表したように、本実施形態に係る車両運転支援装置201においては、まず、左後方画像データを取得する(ステップS110)。そして、例えば、必要に応じて、左後方画像データの画像の左右の反転を行う(ステップS111)。
そして、左側境界310aの検出として、以下を行う。すなわち、画像データにレンジフィルタ処理を施し、画像のエッジを抽出する(ステップS131a)。そして、抽出されたエッジに基づいて、車線候補位置を検出する(ステップS131b)。さらに、検出された車線候補位置から不正点を除去する(ステップS131c)。その結果に基づいて、左側境界310aの位置の座標列を生成する(ステップS131d)。なお、左側境界310aの位置の座標列を生成は、左側境界310aの位置に関する近似式の導出を含むことができる。これにより、左側境界310aが検出される。
さらに、検出された左側境界310aに関して、画像座標系から実世界座標系への変換を行う(ステップS131e)。そして、座標系が変換された左側境界310aに基づいて、第1距離210dを算出する(ステップS131f)。例えば、車両250の左前輪の位置における左側境界310aと、車両250と、の間の距離が第1距離210dとして算出される。
そして、逸脱速度を算出する(ステップS133)。すなわち、車両250が左側境界310aに接近する速度を算出する。なお、逸脱速度は、例えば、警報発生点での車両の車線境界(例えば左側境界310aまたは右側境界320a)に対して直角方向の接近速度である。
上記において、ステップS110及びステップS111が、左画像取得処理に相当し、ステップS131a〜ステップS131dが、左車線検出処理に相当し、ステップS131e、ステップS131f及びステップS133が、左車線距離推定処理(第1距離推定処理)に相当する。なお、ステップS131a〜ステップS131fが、図3に例示したステップS131に相当する。
一方、右後方画像データを取得する(ステップS120)。
そして、右側境界320aの検出として、以下を行う。すなわち、画像データにレンジフィルタ処理を施し、画像のエッジを抽出する(ステップS132a)。そして、抽出されたエッジに基づいて、車線候補位置を検出する(ステップS132b)。さらに、検出された車線候補位置から不正点を除去する(ステップS132c)。その結果に基づいて、右側境界320aの位置の座標列を生成する(ステップS132d)。この場合も、右側境界320aの位置の座標列を生成は、右側境界320aの位置に関する近似式の導出を含むことができる。これにより、右側境界320aが検出される。
さらに、検出された右側境界320aに関して、画像座標系から実世界座標系への変換を行う(ステップS132e)。そして、座標系が変換された右側境界320aに基づいて、第2距離220dを算出する(ステップS132f)。例えば、車両250の右前輪の位置における右側境界320aと、車両250と、の間の距離が第2距離220dとして算出される。
そして、逸脱速度を算出する(ステップS134)。すなわち、車両250が右側境界320aに接近する速度を算出する。
上記において、ステップS120が、右画像取得処理に相当し、ステップS132a〜ステップS132dが、右車線検出処理に相当し、ステップS132e、ステップS132f及びステップS134が、右車線距離推定処理(第2距離推定処理)に相当する。なお、ステップS132a〜ステップS132fが、図3に例示したステップS132に相当する。
なお、本具体例では、左側の画像において左右反転の処理が行われたが、左右反転の処理は、右側の画像において行われても良い。
このように、左車線検出処理では、左後側方画像データから、車両250の左側の左側境界310a(例えば車線区分線)の位置を検出する。そして、右車線検出処理では、右後側方画像から、車両250の右側の右側境界320a(例えば車線区分線)の位置を検出する。すなわち、画像処理によって、左右それぞれにおいて車両250に最も近い左側境界310a及び右側境界320aを検出する。このとき、車両250から最も近い境界だけでなく2番目以降に近い境界も検出しても良い。なお、このとき、左側(または右側)の画像を左右反転させることで右側(または左側)の画像に対する画像処理方法をそのまま適用することができるので、処理の並列化や回路の共通化が容易になる。
なお、左車線検出処理及び右車線検出処理においては、例えば、時系列画像を用いても良い。また、左右の一方の車線の境界の検出結果に基づいて、左右の他方の車線の境界の位置を推定し、または補正しても良い。
検出(推定)した左側境界310aの位置及び右側境界320aの位置は、座標列または近似式として保持することができる。
また、左車線検出処理及び右車線検出処理は、車両250の左右対称性を利用して、画像中の消失点座標を補正する処理を実施することができる。また、検出した左側境界310aの位置及び右側境界320aの位置に基づいて、画像中の消失点座標を補正する処理を実施しても良い。
そして、左車線距離推定処理(第1距離推定処理)及び右車線距離推定処理(第2距離推定処理)においては、検出した左側境界310aの位置及び右側境界320aの位置に関して、画像平面から、道路平面への座標変換行列(Homography行列)を用いて、画像座標系から実世界座標系への座標変換を行う。
そして、この座標変換によって得られる道路平面上の車線の境界のそれぞれ(左側境界310aの位置及び右側境界320aのそれぞれ)に関して2点を求めて、点と直線の公式から、画像に映っていない車両250の前輪位置から車線の境界までの距離を算出する。算出した距離の時系列情報から、現在または未来の車線の境界までの距離(第1距離210d及び第2距離220d)を推定する。
そして、距離の時系列情報から、逸脱速度を算出する。
なお、左車線距離推定処理(第1距離推定処理)及び右車線距離推定処理(第2距離推定処理)は、消失点座標補正の結果を用いて、画像座標系から実世界座標系への座標変換行列を補正する処理を実施することができる。
そして、運転者の運転操作の状態及び車両250の状態などに基づいて、警報抑制の判定を行う(ステップS140a)。警報抑制の状態であるときは、以下の逸脱の判定を実施しない、または、逸脱の判定の結果として、逸脱状態でないと判定する。警報抑制の判定の具体例に関しては、後述する。
そして、例えば警報抑制の判定結果が警報抑制状態でないとされた場合に、逸脱を判定する(ステップS140)。すなわち、算出された第1距離210d及び第2距離220dに基づいて逸脱を判定する。なお、後述するように、このときの判定の一部に、ステップS133及びステップS134で算出された逸脱速度が用いられる。
ステップS140において、第1距離210dが予め定められた方法で導出される第1基準値以下、及び、第2距離220dが予め定められた方法で導出される第2基準値以下、の少なくともいずれかのときに逸脱状態であると判定され、そのときに、第1信号sg1を発生する(ステップS150)。すなわち、第1信号発生動作を実施する。
また、ステップS140において、第1距離210dが第1基準値以下、及び、第2距離220dが第2基準値以下、のいずれかのときに逸脱状態であると判定され、そのときに、第1信号sg1を発生する(ステップS150)。すなわち、第1信号発生動作を実施する。
このように、警報抑制の判定(ステップS140a)、逸脱の判定(ステップS140)及び第1信号の発生(ステップS150)を含む車線逸脱警報信号出力動作(ステップS160)が実施される。
そして、第1信号sg1が発生された場合に、第1信号sg1に基づいて、第2信号sg2(車線逸脱警報)が運転者に報知される。
すなわち、例えば、逸脱方向に応じて、音、振動、臭い、光及び画面などへの表示などの少なくともいずれかによって、運転者に注意喚起を促す警報を発令する。この警報は、発生開始から所定の時間保持される。なお、警報が保持される時間を、例えば予め定められた方法によって導出される条件に基づいて変更することができる。また、警報の種類と程度を、例えば、予め定められた方法によって導出される条件に基づいて変更しても良い。例えば、警報の保持時間、警報の種類、及び、警報の程度の少なくともいずれかは、例えば、車線逸脱状態の発生頻度などによって、変更されても良い。
また、車両250の操舵装置及び制動装置の少なくともいずれかを制御しても良い。これにより、車線逸脱を回避することができる。また、車両250以外の車両に信号を送信することができる。これにより、例えば、車両250の周囲を走行中の別の車両が車線逸脱している(または車線逸脱しつつある)車両250を回避することを支援できる。
上記のように、逸脱の判定においては、車両250と、左右それぞれの車線の境界と、間の距離が、規定の値以下であれば車線逸脱と判定する。この規定の値は、逸脱速度によって可変とすることができる。
なお、車両250からみて、最も近い車線の境界だけでなく2番目以降に近い車線の境界も検出する場合において、車線の境界(例えば車線区分線)が二重線か否かを判定する処理を実施しても良い。そして、二重線であるときは、逸脱判定の危険度を大きくすることができる。
以下、警報抑制の判定(ステップS140a)の例について説明する。警報抑制の判定は、例えば、車線変更の際に警報を抑制する。
例えば、現在走行している車線から右側への車線変更が行われる場合には、例えば、以下の動作が行われる。以下では、警報抑制を行わない場合の例である。すなわち、まず、方向指示器が点灯され、車線変更動作が開始される。このときは、左側の逸脱は無く、右側の逸脱も無い。その後、右側の車線の境界(右側境界320a)へ車両250が接近する。このときには、左側の逸脱は無く、右側において逸脱状態であると判定される。その後、車両250は、右側の車線の境界(右側境界320a)をまたぐ。このとき、左側の逸脱は無く、例えば右側の車線境界は未検出状態となる。この後、右側の車線境界320aをまたぎ終わる。このときは、車両250は左側の車線の境界に近く、左側で逸脱状態と判定され、右側においては逸脱が無いと判定される。その後、方向指示器が消灯され車線変更動作が終了する。このとき、左側の逸脱が無く、右側の逸脱も無い。ここで、車線境界が未検出の場合も逸脱無しとする。
ここで、運転者が意図して車線変更の動作を実施する場合には、車線逸脱の警報を発生させないように、例えば、方向指示器の動作中は、警報報知を行わないように抑制することができる。すなわち、車線逸脱検出部130は、車両250の方向指示器が動作状態のときには、第1信号sg1を発生する第1信号発生動作を実施しない。
このように、車線逸脱検出抑制状態は、車両250の方向指示器が動作状態であるときを含み、車線逸脱検出抑制状態においては、車線逸脱検出部130は、第1信号発生動作を実施しない。
なお、方向指示器操作のタイミングによっては、右側の車線境界をまたぎ終わる前に方向指示器の動作が終了される場合がある。そこで、車線境界が未検出状態から車線境界の検出状態に推移した後、一定時間は逸脱距離だけでなく逸脱速度も車線逸脱判定の条件に加えることで、より実用状態を判定した車線逸脱警報を発生することができる。
すなわち、車線逸脱検出部130は、方向指示器が動作状態から非動作状態に移行した後の経過時間が予め定められた基準時間以下のときは、第1信号sg1を発生する第1信号発生動作を実施しないことができる。
すなわち、車線逸脱検出抑制状態は、方向指示器が動作状態から非動作状態に移行した後の経過時間が予め定められた基準時間以下のときを含み、車線逸脱検出抑制状態においては、車線逸脱検出部130は、第1信号発生動作を実施しないことができる。
なお、上記の各ステップは、技術的に可能な範囲で、順序の入れ替えが可能であり、また、同時に実施されても良い。また、各ステップ及び複数のステップを含む処理の少なくともいずれかは、繰り返して実施されても良い。
例えば、上記の警報抑制の判定(ステップS140a)と、上記の逸脱の判定(ステップS140)と、は、同時に並行して実施されても良く、例えば、逸脱の判定の実施の途上で、警報抑制の判定の結果が、逸脱の判定の実施の状態に反映されても良い。また、逸脱の判定の途上の結果を用いて、警報抑制の判定が実施されても良い。
図5は、第1の実施形態に係る車両運転支援装置の動作を例示するフローチャート図である。
すなわち、同図は、車両運転支援用処理装置101における車線逸脱警報信号出力動作(ステップS160)の具体例を示している。
車両運転支援用処理装置101は、以下の車線逸脱警報信号出力動作(ステップS160)に関して、以下の処理を行う。以下の処理は、車両運転支援用処理装置101の車線逸脱検出部130に組み込まれる例えば、演算部140において実施される。
以下の処理は、車両250の左側の車線に関する逸脱と、右側の車線に関する逸脱と、の両方に適用可能な処理である。以下では、まず、左側の車線に関する逸脱の場合として説明する。
図5に表したように、車両運転支援用処理装置101による車線逸脱警報信号出力動作(ステップS160)のオン(ON)とオフ(OFF)とは、車両運転支援用処理装置101の外部から車両運転支援用処理装置101に供給される動作信号に従う(ステップS501)。この動作信号は、例えば、CAN(Controller Area Network)等を経由して車両運転支援用処理装置101に供給される。
以下では、車線逸脱警報信号出力動作における処理結果の出力状態を、「LDWS結果601」ということにする。
動作信号がOFFのときは、車両運転支援用処理装置101は、LDWS結果601として「処理停止中」を出力する。そして、ステップS501に戻る。
そして、動作信号がONのときは、ステップS502に進む。ステップS502においては、車両250の車速が予め定められた閾値未満のときは、LDWS結果601として「処理停止中」を出力し、ステップS501に戻る。
そして、ステップS502において、車速が閾値以上のときはステップS503に進む。
このとき、閾値にヒステリシスを持たせることが望ましい。すなわち、車速が上昇中のときの閾値と、車速が下降中のときの閾値と、を変更することが望ましい。これにより、運転者により負担の少ない車線逸脱警告を提供できる。
このように、本具体例では、車線逸脱検出抑制状態は、車両250の速度が予め定められた値以下のときを含み、車線逸脱検出抑制状態においては、車線逸脱検出部130は、第1信号発生動作を実施しないことができる。
ステップS503においては、LDWS結果601の検出状態が、「処理停止中」の場合は、LDWS結果601として「処理停止中」を出力し、例えばステップS501に戻る。
そして、ステップS503において、LDWS結果601が「処理停止中」でない場合に、ステップS504に進む。
ステップS504においては、車両250の左右のいずれかのウインカ(方向指示器)がONのときは、LDWS結果601として「検出抑制」を出力する。または、左右のウインカの両方がOFFになってから予め定められた期間は、LDWS結果として、「検出抑制」を出力する。すなわち、左右のいずれかのウインカがONのときは、運転者が意図的に車両250の進行方向を変更しているときであり、この条件のときには、車線逸脱警告の対象から外すことができる。また、左右のウインカの両方がOFFになってから予め定められた期間は、例えば車両250の意図的な車線変更に要する時間とみなし、この場合も車線逸脱警告の対象から外すことができる。この期間として、例えば、2秒以上10秒以下とされ、例えば約5秒とされる。この期間は、運転者によって変更が可能でも良い。また、この期間は、車両の種類(乗用車、トラック、バス)によって変更が可能でも良い。
このように、本具体例では、車線逸脱検出抑制状態は、車両250の方向指示器が動作状態であるとき、または、方向指示器が動作状態から非動作状態に移行した後の経過時間が予め定められた基準時間以下のときを含む。そして、方向指示器が動作状態であるとき、または、方向指示器が動作状態から非動作状態に移行した後の経過時間が予め定められた基準時間以下のときは、第1信号sg1を発生する第1信号発生動作を実施しない。
そして、LDWS結果601として「検出抑制」を出力した後、例えば、ステップS501に戻る。なお、LDWS結果601として「検出抑制」を出力した後、例えば、ステップS502〜ステップS504のいずれかに戻っても良い。
一方、ステップS504において、左右のウインカの両方がOFFの場合に、ステップS505に進む。このとき、例えば、左右どちらかのウインカがON後は、左右ともOFFになってから予め定められた期間が終了後に、左右のウインカの両方がOFFのときに、ステップS505に進むことができる。
ステップS505においては、LDWS結果601が「検出抑制」である場合は、LDWS結果として「検出抑制」を出力し、例えば、ステップS501に戻る。なお、LDWS結果601として「検出抑制」を出力した後、例えば、ステップS502〜ステップS505のいずれかに戻っても良い。
一方、ステップS505において、LDWS結果601が「検出抑制」でないときには、ステップS506に進む。
ステップS506においては、予め保持している警報設定点パラメータWTと、逸脱速度Vdと、から、実行用警報設定点WTaを導出する。
すなわち、警報設定点パラメータWTに関する3つの範囲(警報設定点パラメータWTが、−0.3メートル未満、−0.3m以上0.75m以下、及び、0.75m超過)に基づいて、以下のようにして実用警報設定点WTaが導出される。
警報設定点パラメータWTが、−0.3m未満のときは、実行用警報設定点WTaを−0.3mとする。
そして、警報設定パラメータWTが、−0、3メートル(m)以上、0.75m以下のときは、実行用警報設定点WTaを警報設定点パラメータWTの値と等しくする。
そして、警報設定点パラメータWTが、0.75mよりも大きいときは、実行用警報設定点WTa=1.5×Vdとする。そして、そのときの実行用警報設定点WTa(=1.5×Vd)が0.75m未満のときは、実行用警報設定点WTaを0.75mとする。そして、実行用警報設定点WTa(=1.5×Vd)が0.75m以上1.5m以下のときは、実行用警報設定点WTaは1.5×Vdとする。そして、実行用警報設定点WTa(=1.5×Vd)が1.5mよりも大きいときは、実行用警報設定点WTaを1.5mとする。
そして、以上のように警報設定点パラメータWTの3つの範囲(−0.3メートル未満、−0.3m以上0.75m以下、及び、0.75m超過)において導出された実行用警報設定点WTaが警報設定点パラメータWTよりも大きい場合は、実行用警報設定点WTaを警報設定点パラメータWTの値にする。そして、導出された実行用警報設定点WTaが警報設定点パラメータWT以下の場合は、実行用警報設定点WTaを、導出された実行用警報設定点WTaの値のままとする。
そして、以上のように、ステップS506において導出された実行用警報設定点WTaに基づいて、距離(この場合は第1距離210d)と実行用警報設定点WTaとの比較が行われる(ステップS507)。
ステップS507においては、距離(この場合は第1距離210d)と、予め定められた方法で導出される第1基準値(実行用警報設定点WTa)と、が比較される。そして、距離(第1距離210d)が第1基準値(実行用警報設定点WTa)以下のときに、LDWS結果601として、警報(第1信号sg1の発生)を出力する。すなわち、第1信号発生動作を実施する。
そして、ステップS507において、距離(第1距離210d)が第1基準値(実行用警報設定点WTa)よりも大きいときは、LDWS結果601として、「正常」を出力する。そして、その後、例えば、ステップS501に戻る。なお、LDWS結果601として「正常」を出力した後、例えば、ステップS502〜ステップS504のいずれかに戻っても良い。
さらに、上記のステップS501〜S507が、右側の車線に関する逸脱に関しても同様に実施される。なお、例えば、上記の警報設定点パラメータWT、及び、上記の実行用警報設定点WTaの導出の方法は、左側の車線に関する逸脱と、右側の車線に関する逸脱と、で同じでも良く、また、異なっていても良い。すなわち、第1基準値と、第2基準値と、は互いに同じでも良く、異なっても良い。
なお、左側の車線に関するステップS501〜S507と、右側の車線に関するステップS501〜S507と、は、例えば並列して実施されても良く、また、例えば交互に実施されても良い。
上記のように、本具体例においては、ステップS502において、車速に基づいて処理の実行の有無を判断し、例えば、車両250が停止中または徐行中などの場合においては、車線逸脱警報を報知しない。これにより、運転者に必要のない警報を提供しないことで運転者への負担が軽減できる。
また、ステップS504において、ウインカの動作に基づいて処理の実行の有無を判断する。そして、このとき、ウインカの動作に対して一定の期間の警報発生の抑制時間を設けることで、例えば、車線変更などの場合に車線区分線を横切るときに不要な車線逸脱警報を発してしまうことを抑制し、運転者への負担が軽減できる。
また、ステップS506において、実行用警報設定点WTaの導出の際に、逸脱速度Vdを用いることで、例えば、車線変更などの場合に1つの車線区分線に接近し、その車線区分線を横切り、別の車線区分線に接近する場合などに、不要な車線逸脱警報を発してしまうことを抑制し、運転者への負担が軽減できる。
すなわち、第1基準値及び第2基準値の少なくともいずれかは、車両250の速度で変化することができる。
このように、本実施形態に係る車両運転支援用処理装置101及び車両運転支援装置201により、安定して車線逸脱を検出することができる。そして、不要な警報を運転者に提供することを抑制し、運転者により負担の少ない車線逸脱警報を提供できる。
(第2の実施の形態)
図6は、第2の実施形態に係る車両運転支援装置の動作を例示するフローチャート図である。
すなわち、同図は、本実施形態に係る車両運転支援用処理装置102における車線逸脱警報信号出力動作(ステップS160)の具体例を示している。本実施形態に係る車両運転支援用処理装置102の構成は、第1の実施形態における車両運転支援用処理装置101と同様とすることができるので説明を省略する。以下では、本実施形態に係る車両運転支援用処理装置102の動作に関して、車両運転支援用処理装置101とは異なる部分について説明する。
図6に表したように、車両運転支援用処理装置102においては、ステップS507以降の動作が、車両運転支援用処理装置101とは異なる。
車両運転支援用処理装置102においては、第1距離210dが第1基準値(実行用警報設定点WTa)よりも大きく、かつ、第2距離220dが第2基準値(実行用警報設定点WTa)よりも大きい場合に、LDWS結果601として、「正常」を出力する。すなわち、この場合は、左右の第1距離210d及び第2距離220dの両方が基準値よりも大きく、車線逸脱状態ではない。このため、不要な車線逸脱警報を発生させない。これにより、運転者に必要のない警報を提供しないことで運転者への負担が軽減できる。そして、LDWS結果601として「正常」を出力した後、例えば、ステップS501に戻る。また、例えば、ステップS502〜ステップS504のいずれかに戻っても良い。
そして、第1距離210dが第1基準値(実行用警報設定点WTa)以下、及び、第2距離220dが第2基準値(実行用警報設定点WTa)以下、の少なくともいずれかのときに、ステップS508に進む。
そして、ステップS508では、第1距離210dが第1基準値(実行用警報設定点WTa)以下であり、かつ、第2距離220dが第2基準値(実行用警報設定点WTa)以下である場合は、LDWS結果601として、「正常」を出力する。すなわち、この場合は、車両250が狭い道路を進行している状態に相当するため、車線逸脱状態ではない。このため、不要な車線逸脱警報を発生させない。
すなわち、本具例は、車線逸脱検出抑制状態が、走行レーン301の幅が所定の基準値よりも小さいときを含む例である。第1距離210dが第1基準値以下であり、かつ、第2距離220dが第2基準値よりも小さいときは、走行レーン301の幅が、車両250の幅、第1基準値、及び、第2基準値の合計の値よりも小さい場合に相当している。そして、そのときの走行レーン301の幅が、所定の基準値(この場合は、車両250の幅、第1基準値及び第2基準値の合計)よりも小さいときに、車両逸脱検出抑制状態と判定され、このようなときは、車線逸脱検出部130は、第1信号発生動作を実施しない。
このように、車両250が狭い道路を進行していときに、運転者に必要のない警報を提供しないことで運転者への負担が軽減できる。そして、LDWS結果601として「正常」を出力した後、例えば、ステップS501に戻る。また、例えば、ステップS502〜ステップS504のいずれかに戻っても良い。
そして、ステップS508において、第1距離210dが第1基準値(実行用警報設定点WTa)以下、及び、第2距離220dが第2基準値(実行用警報設定点WTa)以下の一方である場合に、LDWS結果601として、警報(第1信号sg1の発生)を出力する。すなわち、第1信号発生動作を実施する。
このように、本実施形態においては、第1距離210d及び第2距離220dの両方が基準値よりも大きいか、両方が小さいか、並びに、いずれか一方が小さいか、によって、車両250が進行している道路が狭い状態であるかどうかを判定し、不要な車線逸脱警報を発生はせず、より適切に車線逸脱警報を提供できる。
本実施形態に係る車両運転支援用処理装置102及びそれを用いた車両運転支援装置201により、安定して車線逸脱を検出することができる。そして、不要な警報を運転者に提供することを抑制し、運転者により負担の少ない車線逸脱警報を提供できる。
上記のように、本具体例におけるステップS508においては、逸脱の判定(ステップ140)が実施されると同時に、警報抑制の判定(ステップS140a)が実施されている。
このように、車線逸脱検出部130は、車線逸脱検出抑制状態(例えば車両250の速度が低い場合、方向指示器が動作中、及び、方向指示器の動作後の一定期間内など)のときに、第1距離及び第2距離の推定を実施せず、第1信号sg1も発生しないことができる。
さらに、車線逸脱検出部130は、第1データ取得部110で取得した左後方画像データに基づいて、走行レーン301の、車両250の左側の左側境界310aと、車両250と、の間の第1距離を推定し、第2データ取得部120で取得した右後方画像データに基づいて、走行レーン301の、車両250の右側の右側境界320aと、車両250と、の間の第2距離を推定し、第1距離が予め定められた方法で導出される第1基準値以下、及び、第2距離が予め定められた方法で導出される第2基準値以下であるときに、車線逸脱検出抑制状態(道幅が狭いとき)であると判定する。そして、車線逸脱検出抑制状態のときは、車線逸脱検出部130は、第1信号sg1を発生しない(第1信号sg1の発生を抑制する)ことができる。
(第3の実施の形態)
図7は、第3の実施形態に係る車両運転支援装置の動作を例示するフローチャート図である。
すなわち、同図は、本実施形態に係る車両運転支援用処理装置103における車線逸脱警報信号出力動作(ステップS160)の具体例を示している。本実施形態に係る車両運転支援用処理装置103の構成は、車両運転支援用処理装置101及び102と同様とすることができるので説明を省略する。以下では、本実施形態に係る車両運転支援用処理装置103の動作に関して、車両運転支援用処理装置102とは異なる部分について説明する。
図7に表したように、車両運転支援用処理装置103においては、ステップS508以降の動作が、車両運転支援用処理装置102とは異なる。
車両運転支援用処理装置103においては、ステップS508では、第1距離210dが第1基準値(実行用警報設定点WTa)以下、及び、第2距離220dが第2基準値(実行用警報設定点WTa)以下の一方である場合に、LDWS結果601として、警報(第1信号sg1の発生)を出力する。すなわち、第1信号発生動作を実施する。
そして、第1距離210dが第1基準値(実行用警報設定点WTa)以下であり、かつ、第2距離220dが第2基準値(実行用警報設定点WTa)以下である場合は、ステップS509に進む。
ステップS509においては、推定車線幅L1と、予め定められた方法により求められた車線幅閾値L2と、の比較を行う。推定車線幅L1は、車両250が走行している走行レーン301の幅に関する推定値であり、例えば、車両250の幅と、第1距離220dと、第2距離220dと、の合計である。車線幅閾値L2は、例えば、車両250の車速を基に予め定められた方法によって求められる。車線幅閾値L2は、車両250の車速が大きいと大きく設定され、車速が小さいときには小さく設定される。
そして、推定車線幅L1が車線幅閾値L2よりも小さいときは、LDWS結果601として、「正常」を出力する。すなわち、推定車線幅L1が車線幅閾値L2よりも小さいときは、車両250が車線幅閾値L2よりも狭い道路を進行している場合に相当する。このときは、車両250は逸脱状態ではないため、不要な車線逸脱警報を発生させない。これにより、運転者に必要のない警報を提供しないことで運転者への負担が軽減できる。そして、LDWS結果601として「正常」を出力した後、例えば、ステップS501に戻る。また、例えば、ステップS502〜ステップS504のいずれかに戻っても良い。
このように、車線逸脱検出抑制状態は、走行レーン301の幅(推定車線幅L1)が予め定められた方法で導出された基準値(車線幅閾値L2)よりも小さいときを含み、車線逸脱検出抑制状態においては、車線逸脱検出部130は、第1信号発生動作を実施しないことができる。
そして、推定車線幅L1が車線幅閾値L2以上であるときは、車両250が広い道路を進行しており、車線を逸脱状態であることに相当するので、LDWS結果601として、警報(第1信号sg1の発生)を出力する。すなわち、第1信号発生動作を実施する。
このように、本実施形態においては、推定車線幅L1と車線幅閾値L2とを比較することで、車両250が進行している道路の幅をより正確に把握でき、より適切に車線逸脱警報を提供できる。
本実施形態に係る車両運転支援用処理装置103及びそれを用いた車両運転支援装置201により、安定して車線逸脱を検出することができる。そして、不要な警報を運転者に提供することを抑制し、運転者により負担の少ない車線逸脱警報を提供できる。
なお、上記のステップS501〜S509は、技術的に可能な範囲で、順序の入れ替えが可能であり、また、同時に実施されても良い。また、各ステップ及び複数のステップを含む処理の少なくともいずれかは、繰り返して実施されても良い。
なお、本発明の実施形態に係る車両運転支援装置201においては、左後方撮像部210及び右後方撮像部220は、例えば、それぞれ車両250のサイドミラーに設置することができる。ただし、本発明の実施形態はこれに限らず、左後方撮像部210及び右後方撮像部220の車両250への設置場所は任意である。
左後方撮像部210の撮像範囲は、例えば、車両250が走行している走行レーン301に対して左側で隣接する左隣接車線を含むことができる。また、右後方撮像部220の撮像範囲は、例えば、車両250が走行している走行レーン301に対して右側で隣接する右隣接車線を含むことができる。
なお、左後方撮像部210で撮像された左後方画像は、例えば、車両250のダッシュボードなどに設けられる表示装置に表示され、運転者に呈示されても良い。同様に、右後方撮像部220で撮像された右後方画像は、例えば、車両250のダッシュボードなどに設けられる表示装置に表示され、運転者に呈示されても良い。なお、左後方撮像部210で撮像された左後方画像及び右後方撮像部220で撮像された右後方画像を表示装置に表示する場合、表示する領域と、左側境界310a及び右側境界320aを導出するための画像の領域と、は互いに同じでも良く、異なっていても良い。なお、表示装置は、左後方撮像部210で撮像した画像を左右反転させて表示する機能を有していても良い。また、表示装置は、右後方撮像部220で撮像した画像を左右反転させて表示する機能を有していても良い。
また、上記においては、説明を簡単にするために、左側境界310aが左車線区分線310の中心とされ、右側境界320aが右車線区分線320の中心とされる場合として説明したが、例えば、走行レーン301において左右いずれかの車線区分線が設けられていない場合には、左側境界310aや右側境界320aは、例えば、走行レーン301の左右の道路の端を示す特徴物の位置とされ、上記と同様の処理が実施される。
以上、具体例を参照しつつ、本発明の実施の形態について説明した。しかし、本発明は、これらの具体例に限定されるものではない。例えば、車両運転支援用処理装置に含まれるデータ取得部及び車線逸脱検出部、並びに、車両運転支援装置に含まれる撮像部及び警告発生部などの各要素の具体的な構成に関しては、当業者が公知の範囲から適宜選択することにより本発明を同様に実施し、同様の効果を得ることができる限り、本発明の範囲に包含される。
また、各具体例のいずれか2つ以上の要素を技術的に可能な範囲で組み合わせたものも、本発明の要旨を包含する限り本発明の範囲に含まれる。
その他、本発明の実施の形態として上述した車両運転支援用処理装置及び車両運転支援装置を基にして、当業者が適宜設計変更して実施し得る全ての車両運転支援用処理装置及び車両運転支援装置も、本発明の要旨を包含する限り、本発明の範囲に属する。
その他、本発明の思想の範疇において、当業者であれば、各種の変更例及び修正例に想到し得るものであり、それら変更例及び修正例についても本発明の範囲に属するものと了解される。
101、102、103…車両運転支援用処理装置、 101o…出力、 110…第1データ取得部、 120…第2データ取得部、 130…車線逸脱検出部、 140…演算部、 150…信号発生部、 201…車両運転支援装置、 210…左後方撮像部、 210d…第1距離、 210p…左後方画像、 210r…左後方監視領域、 220…右後方撮像部、 220d…第2距離、 220p…右後方画像、 220r…右後方監視領域、 250…車両、 250p…像、 260…警告発生部、 301…走行レーン、 310…左車線区分線、 310a…左側境界、 310p、311p…像、 320…右車線区分線、 320a…右側境界、 320p、321p、322p…像、 601…LDWS結果、 L1…推定車線幅、 L2…車線幅閾値、 Vd…逸脱速度、 WT…警報設定点パラメータ、 WTa…実行用警報設定点、 sg1…第1信号、 sg2…第2信号

Claims (9)

  1. 走行レーンを走行する車両の左後方を撮像する左後方撮像部で撮像した左後方画像データを取得する第1データ取得部と、
    前記車両の右後方を撮像する右後方撮像部で撮像した右後方画像データを取得する第2データ取得部と、
    車線逸脱検出状態と車線逸脱検出抑制状態とを有する車線逸脱検出部と、を備え、
    前記車線逸脱検出部は、前記車線逸脱検出状態のときに、
    前記第1データ取得部で取得した前記左後方画像データに基づいて、前記走行レーンの、前記車両の左側の左側境界と、前記車両と、の間の第1距離を推定し、
    前記第2データ取得部で取得した前記右後方画像データに基づいて、前記走行レーンの、前記車両の右側の右側境界と、前記車両と、の間の第2距離を推定し、
    前記第1距離が予め定められた方法で導出される第1基準値以下、及び、前記第2距離が予め定められた方法で導出される第2基準値以下、の少なくともいずれかのときに、前記車両の運転者に警告を提供する、前記車両の操舵装置及び制動装置の少なくともいずれかを制御する、並びに、前記車両以外の車両に信号を送信する、の少なくともいずれかのための第1信号を発生する第1信号発生動作を実施することを特徴とする車両運転支援用処理装置。
  2. 走行レーンを走行する車両の左後方を撮像する左後方撮像部で撮像した左後方画像データを取得する第1データ取得部と、
    前記車両の右後方を撮像する右後方撮像部で撮像した右後方画像データを取得する第2データ取得部と、
    車線逸脱検出状態と車線逸脱検出抑制状態とを有する車線逸脱検出部と、を備え、
    前記車線逸脱検出部は、前記車線逸脱検出状態のときに、
    前記第1データ取得部で取得した前記左後方画像データに基づいて、前記走行レーンの、前記車両の左側の左側境界と、前記車両と、の間の第1距離を推定し、
    前記第2データ取得部で取得した前記右後方画像データに基づいて、前記走行レーンの、前記車両の右側の右側境界と、前記車両と、の間の第2距離を推定し、
    前記第1距離が予め定められた方法で導出される第1基準値以下、及び、前記第2距離が予め定められた方法で導出される第2基準値以下、のいずれかのときに、前記車両の運転者に警告を提供する、前記車両の操舵装置及び制動装置の少なくともいずれかを制御する、並びに、前記車両以外の車両に信号を送信する、の少なくともいずれかのための第1信号を発生する第1信号発生動作を実施することを特徴とする車両運転支援用処理装置。
  3. 前記車線逸脱検出抑制状態は、前記車両の方向指示器が動作状態であるときを含み、
    前記車線逸脱検出抑制状態においては、前記車線逸脱検出部は、前記第1信号発生動作を実施しないことを特徴とする請求項1または2に記載の車両運転支援用処理装置。
  4. 前記車線逸脱検出抑制状態は、前記方向指示器が前記動作状態から非動作状態に移行した後の経過時間が予め定められた基準時間以下のときを含み、
    前記車線逸脱検出抑制状態においては、前記車線逸脱検出部は、前記第1信号発生動作を実施しないことを特徴とする請求項1〜3のいずれか1つに記載の車両運転支援用処理装置。
  5. 前記車線逸脱検出抑制状態は、前記車両の速度が予め定められた値以下のときを含み、
    前記車線逸脱検出抑制状態においては、前記車線逸脱検出部は、前記第1信号発生動作を実施しないことを特徴とする請求項1〜4のいずれか1つに記載の車両運転支援用処理装置。
  6. 前記車線逸脱検出抑制状態は、前記走行レーンの幅が予め定められた方法で導出された基準値よりも小さいときを含み、
    前記車線逸脱検出抑制状態においては、前記車線逸脱検出部は、前記第1信号発生動作を実施しないことを特徴とする請求項1〜5のいずれか1つに記載の車両運転支援用処理装置。
  7. 前記第1基準値及び前記第2基準値の少なくともいずれかは、前記車両の速度で変化することを特徴とする請求項1〜6のいずれか1つに記載の車両運転支援用処理装置。
  8. 請求項1〜7のいずれか1つに記載の車両運転支援用処理装置と、
    前記車両の前記左後方を撮像する前記左後方撮像部と、
    前記車両の前記右後方を撮像する前記右後方撮像部と、
    を備えたことを特徴とする車両運転支援装置。
  9. 前記第1信号を取得し、前記第1信号に基づいて、音信号、触覚信号、嗅覚信号及び光信号の少なくともいずれかを含む第2信号を発生する警告発生部をさらに備えたことを特徴とする請求項8記載の車両運転支援装置。
JP2010068522A 2010-03-24 2010-03-24 車両運転支援用処理装置及び車両運転支援装置 Expired - Fee Related JP5414588B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2010068522A JP5414588B2 (ja) 2010-03-24 2010-03-24 車両運転支援用処理装置及び車両運転支援装置
CN2011800146205A CN102804239A (zh) 2010-03-24 2011-01-20 车辆驾驶辅助用处理装置、车辆驾驶辅助装置及车辆装置
EP11758923A EP2551835A1 (en) 2010-03-24 2011-01-20 Processing device for assisting driving of vehicle, vehicle driving assisting device, and vehicle device
PCT/JP2011/000298 WO2011118110A1 (ja) 2010-03-24 2011-01-20 車両運転支援用処理装置、車両運転支援装置および車両装置
US13/618,870 US20130063599A1 (en) 2010-03-24 2012-09-14 Vehicle driving support processing device, vehicle driving support device and vehicle device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010068522A JP5414588B2 (ja) 2010-03-24 2010-03-24 車両運転支援用処理装置及び車両運転支援装置

Publications (2)

Publication Number Publication Date
JP2011203844A true JP2011203844A (ja) 2011-10-13
JP5414588B2 JP5414588B2 (ja) 2014-02-12

Family

ID=44672692

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010068522A Expired - Fee Related JP5414588B2 (ja) 2010-03-24 2010-03-24 車両運転支援用処理装置及び車両運転支援装置

Country Status (5)

Country Link
US (1) US20130063599A1 (ja)
EP (1) EP2551835A1 (ja)
JP (1) JP5414588B2 (ja)
CN (1) CN102804239A (ja)
WO (1) WO2011118110A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013196214A (ja) * 2012-03-16 2013-09-30 Alpine Electronics Inc 車線逸脱警報装置および車線逸脱警報の発生制御方法
JP2016081461A (ja) * 2014-10-22 2016-05-16 いすゞ自動車株式会社 警報装置
JP2016081462A (ja) * 2014-10-22 2016-05-16 いすゞ自動車株式会社 警報装置
US9965959B2 (en) 2016-04-11 2018-05-08 Fujitsu Ten Limited Lane departure warning apparatus
JP2018070077A (ja) * 2016-11-02 2018-05-10 株式会社東海理化電機製作所 撮影システム及び運転支援システム

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130016851A1 (en) * 2010-03-25 2013-01-17 Pioneer Corporation Pseudonoise generation device and pseudonoise generation method
US8823556B2 (en) * 2010-09-02 2014-09-02 Honda Motor Co., Ltd. Method of estimating intersection control
JP5389864B2 (ja) * 2011-06-17 2014-01-15 クラリオン株式会社 車線逸脱警報装置
US20140354450A1 (en) * 2012-02-10 2014-12-04 Yoshihiko Takahashi Warning device
KR20140061180A (ko) * 2012-11-13 2014-05-21 경북대학교 산학협력단 차량간 통신을 통한 차로 위치 결정 장치
JP6205644B2 (ja) * 2013-05-30 2017-10-04 市光工業株式会社 車両用サイドカメラ装置
JP6205643B2 (ja) * 2013-05-30 2017-10-04 市光工業株式会社 車両用ドアサイドカメラ支持装置
KR101906951B1 (ko) * 2013-12-11 2018-10-11 한화지상방산 주식회사 차선 검출 시스템 및 차선 검출 방법
EP2949548B1 (en) * 2014-05-27 2018-07-11 Volvo Car Corporation Lane keeping suppressing system and method
US10272838B1 (en) * 2014-08-20 2019-04-30 Ambarella, Inc. Reducing lane departure warning false alarms
DE102014116037A1 (de) * 2014-11-04 2016-05-04 Connaught Electronics Ltd. Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug
US11505292B2 (en) 2014-12-31 2022-11-22 FLIR Belgium BVBA Perimeter ranging sensor systems and methods
US11899465B2 (en) * 2014-12-31 2024-02-13 FLIR Belgium BVBA Autonomous and assisted docking systems and methods
JP6090381B2 (ja) * 2015-07-29 2017-03-08 横浜ゴム株式会社 衝突防止システム
JP6256509B2 (ja) * 2016-03-30 2018-01-10 マツダ株式会社 電子ミラー制御装置
JP6544341B2 (ja) * 2016-11-25 2019-07-17 トヨタ自動車株式会社 車両運転支援装置
JP6547969B2 (ja) * 2016-11-30 2019-07-24 トヨタ自動車株式会社 車両運転支援装置
JP6677822B2 (ja) * 2016-12-07 2020-04-08 本田技研工業株式会社 車両制御装置
CN106874842B (zh) * 2016-12-30 2020-07-03 长安大学 一种基于数字图像的汽车与路沿石距离检测方法
JP6834657B2 (ja) * 2017-03-23 2021-02-24 いすゞ自動車株式会社 車線逸脱警報装置の制御装置、車両および車線逸脱警報制御方法
JP6729463B2 (ja) * 2017-03-23 2020-07-22 いすゞ自動車株式会社 車線逸脱警報装置の制御装置、車両および車線逸脱警報制御方法
CN109383368A (zh) * 2017-08-09 2019-02-26 比亚迪股份有限公司 车辆以及车辆的防侧刮系统和方法
CN107672593A (zh) * 2017-08-26 2018-02-09 圣码智能科技(深圳)有限公司 防止车辆偏离导航的方法
CN108162866A (zh) * 2017-12-21 2018-06-15 宁波吉利汽车研究开发有限公司 一种基于流媒体外后视镜系统的车道识别系统及方法
CN108162867A (zh) * 2017-12-21 2018-06-15 宁波吉利汽车研究开发有限公司 一种车道识别系统及车道识别方法
US10773717B2 (en) * 2018-04-12 2020-09-15 Trw Automotive U.S. Llc Vehicle assist system
US10839139B2 (en) 2018-04-17 2020-11-17 Adobe Inc. Glyph aware snapping
CN110621541B (zh) * 2018-04-18 2023-03-28 百度时代网络技术(北京)有限公司 用于生成轨迹以操作自动驾驶车辆的方法和系统
US10586456B2 (en) * 2018-04-27 2020-03-10 TuSimple System and method for determining car to lane distance
US10832442B2 (en) * 2019-03-28 2020-11-10 Adobe Inc. Displaying smart guides for object placement based on sub-objects of reference objects
US10846878B2 (en) * 2019-03-28 2020-11-24 Adobe Inc. Multi-axis equal spacing smart guides
JP7116012B2 (ja) * 2019-06-06 2022-08-09 本田技研工業株式会社 車両制御装置、車両、車両制御装置の動作方法およびプログラム
US11023741B1 (en) * 2019-10-25 2021-06-01 7-Eleven, Inc. Draw wire encoder based homography
CN112380956B (zh) * 2020-11-10 2024-02-27 苏州艾氪英诺机器人科技有限公司 一种车道判断方法
CN112819711B (zh) * 2021-01-20 2022-11-22 电子科技大学 一种基于单目视觉的利用道路车道线的车辆反向定位方法
JP2022143412A (ja) * 2021-03-17 2022-10-03 株式会社東芝 画像処理装置および画像処理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004312638A (ja) * 2003-04-10 2004-11-04 Mitsubishi Electric Corp 障害物検知装置
JP2005346269A (ja) * 2004-06-01 2005-12-15 Toyota Motor Corp 車線逸脱警報装置
JP2007099124A (ja) * 2005-10-05 2007-04-19 Nissan Motor Co Ltd 車線逸脱防止装置及びその方法
JP2009277032A (ja) * 2008-05-15 2009-11-26 Mazda Motor Corp 車両の車線逸脱警報装置
JP2010002953A (ja) * 2008-06-18 2010-01-07 Mazda Motor Corp 車両の車線逸脱警報装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3183966B2 (ja) * 1992-04-20 2001-07-09 マツダ株式会社 車両の走行制御装置
GB9317983D0 (en) * 1993-08-28 1993-10-13 Lucas Ind Plc A driver assistance system for a vehicle
DE19507957C1 (de) * 1995-03-07 1996-09-12 Daimler Benz Ag Fahrzeug mit optischer Abtasteinrichtung für einen seitlichen Fahrbahnbereich
JP3390289B2 (ja) * 1995-06-16 2003-03-24 富士重工業株式会社 警報装置
JP3092804B1 (ja) * 1999-09-22 2000-09-25 富士重工業株式会社 車両用運転支援装置
DE60226817D1 (de) * 2001-08-23 2008-07-10 Nissan Motor Fahrassistenzsystem
JP3979339B2 (ja) * 2003-05-12 2007-09-19 日産自動車株式会社 車線逸脱防止装置
JP4513318B2 (ja) * 2003-12-10 2010-07-28 日産自動車株式会社 後側方画像制御装置および方法
EP1874041A4 (en) * 2005-04-15 2009-07-29 Nikon Corp PICTURE DEVICE AND DRIVE RECORDING SYSTEM
US20080080740A1 (en) * 2006-10-03 2008-04-03 Kaufmann Timothy W Systems, methods and computer products for lane keeping and handling of non-detected lane markers
JP2008250904A (ja) 2007-03-30 2008-10-16 Toyota Motor Corp 車線区分線情報検出装置、走行車線維持装置、車線区分線認識方法
KR100941271B1 (ko) * 2007-03-30 2010-02-11 현대자동차주식회사 자동차용 차선이탈 방지 방법
CN201234326Y (zh) * 2008-06-30 2009-05-06 比亚迪股份有限公司 车载视频监控装置
JP2010033108A (ja) * 2008-07-24 2010-02-12 Sony Corp 画像処理システム、撮像装置、画像処理方法及びコンピュータプログラム
CN101674151B (zh) 2008-09-09 2014-06-11 株式会社Ntt都科摩 资源分配方法、基站和移动通信终端
CN101494771A (zh) * 2008-11-19 2009-07-29 广东铁将军防盗设备有限公司 倒车辅助装置及其摄像装置以及图像合成显示方法
KR101163446B1 (ko) * 2009-03-18 2012-07-18 기아자동차주식회사 가상 차선을 이용하는 차선 이탈 경보 방법 및 그에 따른 시스템
US8301374B2 (en) * 2009-08-25 2012-10-30 Southwest Research Institute Position estimation for ground vehicle navigation based on landmark identification/yaw rate and perception of landmarks

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004312638A (ja) * 2003-04-10 2004-11-04 Mitsubishi Electric Corp 障害物検知装置
JP2005346269A (ja) * 2004-06-01 2005-12-15 Toyota Motor Corp 車線逸脱警報装置
JP2007099124A (ja) * 2005-10-05 2007-04-19 Nissan Motor Co Ltd 車線逸脱防止装置及びその方法
JP2009277032A (ja) * 2008-05-15 2009-11-26 Mazda Motor Corp 車両の車線逸脱警報装置
JP2010002953A (ja) * 2008-06-18 2010-01-07 Mazda Motor Corp 車両の車線逸脱警報装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013196214A (ja) * 2012-03-16 2013-09-30 Alpine Electronics Inc 車線逸脱警報装置および車線逸脱警報の発生制御方法
JP2016081461A (ja) * 2014-10-22 2016-05-16 いすゞ自動車株式会社 警報装置
JP2016081462A (ja) * 2014-10-22 2016-05-16 いすゞ自動車株式会社 警報装置
US9965959B2 (en) 2016-04-11 2018-05-08 Fujitsu Ten Limited Lane departure warning apparatus
JP2018070077A (ja) * 2016-11-02 2018-05-10 株式会社東海理化電機製作所 撮影システム及び運転支援システム

Also Published As

Publication number Publication date
JP5414588B2 (ja) 2014-02-12
US20130063599A1 (en) 2013-03-14
WO2011118110A1 (ja) 2011-09-29
CN102804239A (zh) 2012-11-28
EP2551835A1 (en) 2013-01-30

Similar Documents

Publication Publication Date Title
JP5414588B2 (ja) 車両運転支援用処理装置及び車両運転支援装置
JP4638370B2 (ja) 車線逸脱防止装置
EP3367366B1 (en) Display control method and display control device
JP6036839B2 (ja) 運転支援装置及び運転支援方法
KR101343331B1 (ko) 차량주변인지 지원장치
US8666644B2 (en) Drive assistance apparatus
JP5863607B2 (ja) 歩行者警告装置
JP2007261451A (ja) 車線追従支援装置
JP2014013524A (ja) 車両報知装置
JP2007122569A (ja) 車線逸脱防止装置
JP2017037473A (ja) 操舵支援装置
JP2017033542A (ja) 情報表示装置
JP6653439B2 (ja) 表示制御装置、投影装置、表示制御プログラム、および記録媒体
JP2014006700A (ja) 歩行者検出装置
JP6885022B2 (ja) 運転支援装置
JP2006171950A (ja) ヘッドアップディスプレイの表示制御装置およびプログラム
JP2017097522A (ja) 情報伝達装置、情報伝達方法およびプログラム
JP3760879B2 (ja) 車線逸脱警報装置
JP2010105502A (ja) 前方監視装置
JP2018139070A (ja) 車両用表示制御装置
JP2016031603A (ja) 車両用表示システム
JP2007265101A (ja) 車両用覚醒度推定装置
JP4862898B2 (ja) 車両用警報発生装置
JP2007022134A (ja) 車両用車線維持支援装置
JP2014186516A (ja) 走行路検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120806

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130729

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130926

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131015

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131112

LAPS Cancellation because of no payment of annual fees