JP2012128714A - 車両用周囲状況監視装置 - Google Patents

車両用周囲状況監視装置 Download PDF

Info

Publication number
JP2012128714A
JP2012128714A JP2010280361A JP2010280361A JP2012128714A JP 2012128714 A JP2012128714 A JP 2012128714A JP 2010280361 A JP2010280361 A JP 2010280361A JP 2010280361 A JP2010280361 A JP 2010280361A JP 2012128714 A JP2012128714 A JP 2012128714A
Authority
JP
Japan
Prior art keywords
vehicle
lane
detection unit
lane departure
roundabout
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010280361A
Other languages
English (en)
Other versions
JP5646980B2 (ja
JP2012128714A5 (ja
Inventor
Migaku Komoda
琢 薦田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Priority to JP2010280361A priority Critical patent/JP5646980B2/ja
Publication of JP2012128714A publication Critical patent/JP2012128714A/ja
Publication of JP2012128714A5 publication Critical patent/JP2012128714A5/ja
Application granted granted Critical
Publication of JP5646980B2 publication Critical patent/JP5646980B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

【課題】ラウンドアバウトの環状路を走行中、意図して車線逸脱したときに車線逸脱警報が出力される場合や、車線逸脱時に、後側方に接近車両が存在しても後側方警報が出力されない場合がある。
【解決手段】ラウンドアバウト検出部60が、車両1がラウンドアバウトの環状路を走行していることを検出したとき、警報出力制御部40が、警報出力部50から車線逸脱警報が出力されるのを抑制し、また、車線逸脱検出部10において、車両1が車線逸脱していると判断されたとき、警報出力制御部40が、警報出力部50から後側方警報が出力されるのを抑制するため、不要な警報の出力を抑制できるとともに、必要な警報を確実に出力できる。
【選択図】図1

Description

本発明は、車両に設置され、走行中の車線逸脱の発生や、車線逸脱時に後側方から接近する車両の存在を検出して、その警報を行う車両用周囲状況監視装置に関する。
近年、車両にカメラを設置し、進行方向のレーンマーカを観測した画像の中からレーンマーカを抽出し、このレーンマーカの位置と車両の挙動に基づいて車線逸脱の可能性を判断し、警報を出力する、LDW(Lane Departure Warning:以下、車線逸脱警報システムと呼ぶ)に関する技術(特許文献1)や、運転者に対して死角になる、車両の後側方を撮像した画像の中から接近車両を検出し、これを警報する、BSW(Blind Spot Warning:以下、後側方警報システムと呼ぶ)に関する技術(特許文献2)が提案されている。
特開2010−9361号公報 特開2002−104112号公報
このような車線逸脱警報システムや後側方警報システムが搭載された車両においては、運転者に不要な心配を与えないようにするため、不要な場面では警報が出力されないように、警報を抑制できることが望ましい。
一般に、車線逸脱警報システムは、運転者がウインカースイッチを操作しない状態で車線を逸脱する恐れがあるときに警報を出力する構成になっており、運転者がウインカースイッチを操作したとき、即ち、運転者が自らの意思で車線を逸脱したときには、車線逸脱警報を出力しない構成になっている。
また、一般に、後側方警報システムは、車線逸脱の意思を示すウインカースイッチの操作がなされたとき、ウインカーを出した側の車線に接近車両が存在したときに、警報を出力する構成になっている。即ち、運転者に車線逸脱の意思があるときのみ、後側方警報を出力する構成になっている。
ところで、欧米には、ラウンドアバウトと呼ばれる環状交差点がよく見られる。一般に、ラウンドアバウトは、複数車線からなる環状路と、その最外周車線から環状路の外側に向けて放射状に延びる複数の進入路、および退出路を有している。
ラウンドアバウトには、特有の交通ルールが存在する。即ち、ラウンドアバウトの進入路から環状路に進入した車両は、環状路を走行しながら、車線を逸脱して内周車線に移動し、環状路を走行した後、目的の退出路の手前において、車線を逸脱して最外周車線に移動し、退出路から退出する。
従って、ラウンドアバウトの環状路を走行する車両は、一般に、車線の逸脱を頻繁に行う必要がある。その際、ウインカースイッチ操作を行う余裕がない場合には、ウインカースイッチを操作せずに車線を逸脱するケースが多く発生する。
そのため、先述した車線逸脱警報システムや後側方警報システムが搭載された車両でラウンドアバウトの環状路を走行すると、ウインカースイッチを操作せずに車線を逸脱したときには、車線逸脱警報が出力されてしまう。
また、ウインカースイッチを操作せずに車線を逸脱したときには、後方から車両が接近しているときであっても、後側方警報が出力されない。
即ち、本来警報を出力すべきでない状況で警報を出力したり、本来警報を出力しなければならない状況で警報を出力しない状況が発生してしまう。
従来提案されている警報システムの中に、このようなラウンドアバウトの環状路を走行することを想定して、警報の出力を制御しているものはなかった。
本発明は上記事情に鑑みなされたもので、ラウンドアバウトの環状路を走行している車両において、車両の周囲状況の検出結果に基づいて、不要な警報の出力を抑制するとともに、警報が必要な場面では、警報を確実に出力することが可能な車両用周囲状況監視装置を提供することを目的とする。
本発明に係る車両用周囲状況監視装置は、ラウンドアバウトの環状路を走行していることや、ラウンドアバウトの環状路で車線を逸脱したことを検出して、必要な警報を必要なタイミングで出力するものである。
即ち、本発明に係る車両用周囲状況監視装置は、車両に搭載され、車両の車線逸脱と逸脱している方向とを検出する車線逸脱検出部、または車線逸脱検出部および車両に対する左右後側方からの接近車両を検出する接近車両検出部と、車線逸脱、または接近車両に対する警報を出力する警報出力部と、車線逸脱検出部の検出結果、または接近車両検出部の検出結果に基づいて、警報を、警報出力部から出力すべきか否かを判断する警報出力制御部と、車両が、複数車線からなる環状路とその最外周車線から環状路の外側に向けて放射状に延びる複数の進入路、および退出路とを有するラウンドアバウトの前記環状路を走行していることを検出するラウンドアバウト検出部と、を備え、警報出力制御部が、警報の出力を、下記(1)、または(2)のうちいずれかによって抑制することを特徴とする。
(1)車両が、車線逸脱検出部を有し、ラウンドアバウト検出部において、車両がラウンドアバウトの環状路を走行していることが検出されたときには、警報出力制御部が、車線逸脱検出部で検出された前記車線逸脱に対する警報の出力を抑制する
(2)車両が、車線逸脱検出部と前記接近車両検出部とを有し、ラウンドアバウト検出部において、車両がラウンドアバウトの環状路を走行していることが検出され、かつ、車線逸脱検出部において、車両が左右いずれかの車線を逸脱していることが検出されたときには、警報出力制御部が、車線を逸脱していない側の後側方からの接近車両に対する警報の出力を抑制する
このように構成された本発明に係る車両用周囲状況監視装置によれば、車線逸脱検出部を有する車両が、ラウンドアバウト検出部によって、ラウンドアバウトの環状路を走行していることを検出したとき、警報出力制御部の作用によって、車線逸脱検出部で検出された車線逸脱に対する警報が、警報出力部から出力されるのを抑制するため、また、車線逸脱検出部と接近車両検出部を有する車両が、ラウンドアバウト検出部によって、ラウンドアバウトの環状路を走行していることを検出し、車線逸脱検出部において、車両が左右いずれかの方向に車線を逸脱していることを検出したとき、警報出力制御部の作用によって、接近車両検出部で検出された後側方からの接近車両のうち、車線逸脱していない側の接近車両に対する警報が、警報出力部から出力されるのを抑制するため、ラウンドアバウトの環状路を走行中は不要な警報の出力を抑制することができるとともに、必要な警報のみを確実に出力することができる。
本発明に係る車両用周囲状況監視装置によれば、ラウンドアバウトの環状路を走行している車両において、車線逸脱や接近車両の検出結果に基づいて、不要な警報の出力を抑制できるとともに、警報が必要な場面では、警報を確実に出力することができる。
本発明の実施形態1に係る車両用周囲状況監視装置100の概略構成を示すブロック図である。 (a)本発明の実施形態1を構成するカメラが設置された車両の左側面図である。(b)図2(a)の上面図である。 本発明の実施形態1の動作の流れを示すフローチャートである。 ラウンドアバウトの構造を示す図である。 (a)反時計回りのラウンドアバウトの環状路で車線逸脱したことを検出する方法を示す図である。(b)時計回りのラウンドアバウトの環状路で車線逸脱したことを検出する方法を示す図である。 (a)本発明の実施形態1の変形例を構成するカメラが設置された車両の左側面図である。(b)図6(a)の上面図である。
以下、本発明に係る車両用周囲状況監視装置の実施形態について、図面を参照して説明する。
実施形態1
本実施形態は、ラウンドアバウトの環状路を走行中に、車線逸脱の発生や後側方の接近車両の存在を伝える警報の出力を抑制するとともに、警報が必要な場面では、その警報を確実に出力することが可能な、車両用周囲状況監視装置100に関するものである。
本実施形態の説明を行う前に、まず、ラウンドアバウトについて説明する。
ラウンドアバウトは、図4に示すように、複数車線からなる環状路110と、その最外周車線から環状路110の外側に向けて放射状に延びる複数の進入路・退出路120を有している。なお、ラウンドアバウトの環状路110には回転方向があり、図4の例では時計回りになっている。さらに、ラウンドアバウトに信号はない。
そのため、ラウンドアバウトには特有の交通ルールが存在する。即ち、進入路から環状路110に進入する車両1は、一時停止して環状路110を走行している車両の存在を確認した後、環状路110に進入する(図4のステップH)。その後、右後側方の安全確認を行って車線を逸脱し、環状路110の内側の車線に移動する(図4のステップI)。そして環状路110を周回した後、退出路の手前で左後側方の安全確認を行って車線を逸脱し、環状路110の最も外側の車線に移動する(図4のステップJ)。そして、目的の退出路から退出する(図4のステップK)。
なお、反時計回りの環状路を有するラウンドアバウトでも、ルールは同じである。
本実施形態は、このように、ラウンドアバウトの環状路を走行中に、警報の出力を制御することが可能な車両用周囲状況監視装置100に関する。
図1は、本発明の実施形態1に係る車両用周囲状況監視装置100の構成を示すブロック図を表す。
本実施形態に係る車両用周囲状況監視装置100は、車両1に設置され、車両1の車線逸脱を検出する車線逸脱検出部10と、車両1の左右後側方から車両1に接近している接近車両を検出する接近車両検出部20と、車線逸脱検出部10、および接近車両検出部20の起動、終了を指示する起動・終了指示部30と、車線逸脱検出部10、および接近車両検出部20の検出結果に応じて車線を逸脱したこと、または接近車両があることを、視覚的、または聴覚的な警報として出力する警報出力部50と、車線逸脱検出部10、および接近車両検出部20の検出結果に基づいて、警報出力部50から警報出力を行うか否かを判断する警報出力制御部40と、車両1がラウンドアバウトの環状路を走行していることを検出するラウンドアバウト検出部60とから構成される。
ここで、車線逸脱検出部10は、詳しくは、図2(a)、(b)に示すように車両1のルームミラー部に設置され、走行している道路領域を含む車両1の前方領域α内を撮像して画像化する前方監視カメラ12と、前方監視カメラ12で撮像した画像の中から、道路のレーンマーカを検出するレーンマーカ検出部14とからなる。
また、接近車両検出部20は、詳しくは、図2(a)、(b)に示すように車両1の左ドアミラー部に設置され、車両1の左後側方領域β内を撮像して画像化する左後側方監視カメラ22と、車両1の右ドアミラー部に設置され、車両1の右後側方領域γ内を撮像して画像化する右後側方監視カメラ24と、左後側方監視カメラ22と右後側方監視カメラ24で撮像した画像の中から障害物となる接近車両を検出する障害物検出部26からなる。
なお、車線逸脱検出部10と接近車両検出部20を構成するカメラは、図6(a)、(b)に示すように、車両1の後方ライセンスプレート付近に設置され、車両1の後側方領域δ内を撮像して画像化する1台の後方監視カメラ25によって構成してもよい。このとき、後方監視カメラ25は、レーンマーカ検出部14と障害物検出部26の両方に接続される。また、後方監視カメラ25には、車両1の左後側方部、もしくは右後側方部に存在する接近車両を、ともに撮像できるよう、上述した左後側方監視カメラ22、右後側方監視カメラ24に比べて画角の広いカメラが使用される。
さらに、ラウンドアバウト検出部60は、詳しくは、車両1の現在位置を検出する現在位置検出部62と、道路属性情報(道路種別や道路形態が数値で表現された情報)を含む地図情報が記憶された地図記憶部64と、現在位置の道路属性情報を取得する道路属性情報取得部66とからなる。なお、ラウンドアバウトの環状路を構成する道路リンクには、ラウンドアバウトを構成することを示す道路属性情報が付与されているものとする。
次に、本実施形態に係る車両用周囲状況監視装置100の作用について、図3のフローチャートに基づいて説明する。
図3のステップS2において、運転者の手元に置かれたスイッチ操作等によって、起動・終了指示部30から、車線逸脱検出部10と接近車両検出部20に対する起動指示が出ていることが確認されると、ステップS3において、現在位置検出部62の作用により、車両1が走行している場所の緯度と経度が検出され、検出された緯度と経度に基づいて、地図記憶部64が参照され、車両1の現在位置が特定される。
一方、ステップS2において、起動・終了指示部30から、車線逸脱検出部10と接近車両検出部20に対する起動指示が出ていないことが確認されると、再びステップS2に戻る。
ステップS3において車両1の現在位置が特定された後、ステップS4において、特定された現在位置情報に基づいて、道路属性情報取得部66の作用により、地図記憶部64に予め格納された道路属性情報のうち、特定された現在位置に対応する道路属性情報が読み出されることによって、車両1が走行している道路の道路属性情報が算出される。
次に、ステップS5において、車両1が、ラウンドアバウトの環状路にいるか否かが判断される。この判断は、ステップS4で算出した道路属性情報が、ラウンドアバウトに該当するか否かを判定することによって行われる。
ステップS5において、車両1がラウンドアバウトの環状路にいると判断されたとき(ステップS5がYesのとき)は、ステップS6に進み、警報出力制御部40の作用によって、車線逸脱警報の出力が抑制される。
なお、車線逸脱警報の出力を抑制するには、様々な方法があり、そのいずれを実施しても構わない。
即ち、車線逸脱検出部10の検出結果を警報出力制御部40に送信することを止めてもよいし、または警報出力制御部40で受信した車線逸脱検出部10の検出結果を無視してもよい。
一方、ステップS5において、車両1がラウンドアバウトの環状路にいないと判断されたとき(ステップS5がNoのとき)は、ステップS2に戻る。このとき、車両1は、ラウンドアバウトの環状路以外を走行しているものとして、車線逸脱警報の出力は続行される。
次に、ステップS7において、車線逸脱検出部10の作用により、車両1がラウンドアバウトの環状路で車線逸脱しているか否かを検出する。
ここでは、車線逸脱検出部10において、前方監視カメラ12で撮像した、車両1の進行方向前方の画像の中から、レーンマーカ検出部14で、画像処理によってレーンマーカの位置を検出し、検出したレーンマーカの位置が、時間とともにどのように変化するかを経時的に観測することによって、車線逸脱していることと、車線逸脱の方向を検出する。この方法を車線逸脱検出方法Aと呼ぶことにする。レーンマーカ検出部14において、画像処理でレーンマーカの位置を検出するには、例えば、特許文献1に記載された方法に従えばよく、ここでは詳細説明は省略する。
なお、このレーンマーカの位置の検出は、前方監視カメラ12ではなく、左後側方監視カメラ22で撮像された画像と右後側方監視カメラ24で撮像された画像を用いて行ってもよい。
この場合は、車両1の後方のレーンマーカの位置を、2台のカメラで検出することになるが、この処理は、前方監視カメラ12を用いてレーンマーカの位置を検出するのと同様の画像処理手順によって行うことができる。そして、検出したレーンマーカの位置の変化に基づいて、車線逸脱しているか否かと、その車線逸脱の方向を検出することができる。
さらに、このレーンマーカの位置の検出は、図6の後方監視カメラ25で撮像された画像を用いて行うことも可能である。後方監視カメラ25によってレーンマーカの位置の検出を行うには、先述した、前方監視カメラ12を用いてレーンマーカの位置を検出するときに用いた画像処理手順を適用すればよい。こうして、後方監視カメラ25で撮像された画像の中から検出された、レーンマーカの位置の変化に基づいて、車線逸脱しているか否かと、その車線逸脱の方向を検出することができる。
このようにして、車両1がラウンドアバウトの環状路を走行しているときに、車線逸脱していることと、その車線逸脱の方向が検出されると、警報出力制御部40の作用によって、車線逸脱していない側の後側方の接近車両に対する警報の出力が抑制される。
即ち、右側車線に車線逸脱していることが検出される(ステップS8がYesのとき)と、左後側方の接近車両に対する警報の出力が抑制され(ステップS9)、ステップS11に進む。
また、左側車線に車線逸脱していることが検出される(ステップS8がNoのとき)と、右後側方の接近車両に対する警報の出力が抑制され(ステップS10)、ステップS11に進む。
なお、左右いずれかの後側方の接近車両に対する警報の出力を抑制するには様々な方法があり、そのいずれを実施しても構わない。
即ち、左後側方監視カメラ22、または右後側方監視カメラ24のうち、車線逸脱していない側の後側方監視カメラの動作を停止させて、車線逸脱していない側の接近車両の検出を停止してもよいし、車線逸脱していない側の接近車両の検出結果を、接近車両検出部20から警報出力制御部40に送信することを止めてもよいし、または警報出力制御部40で受信した接近車両検出部20の検出結果のうち、車線逸脱していない側の接近車両の検出結果を無視してもよい。
次に、ステップS11において、左後側方監視カメラ22、および右後側方監視カメラ24で撮像した、車両1の後側方の画像のうち、車線逸脱していると判断された側の画像の中から、障害物検出部26において、接近車両の検出が行われる。
車両1の後側方を撮像した画像の中から接近車両を検出する画像処理手法については、例えば特許文献2の中に開示されており、こうした公知の方法を利用すればよい。
こうして、ステップS11において、車線逸脱している側の後側方に接近車両が検出されたときには、ステップS12において、警報出力部50から警報が出力され、ステップS2に戻る。
なお、図6の構成を採ったときは、後方監視カメラ25で撮像した画像の中から、接近車両の検出を行う。接近車両の検出は、上述した左後側方監視カメラ22、および右後側方監視カメラ24で撮像した画像の中から接近車両を検出する画像処理手法を適用して行えばよい。
そして、接近車両が検出されたときには、警報出力制御部40の作用によって、車線逸脱していない側の後側方の接近車両に対する警報が抑制される。
警報の出力を抑制するには様々な方法があり、そのいずれを実施しても構わない。
第1の方法は、後方監視カメラ25で撮像された画像の中から、車線逸脱している側の接近車両のみを検出する方法である。
即ち、後方監視カメラ25で撮像した画像は、車両1の左後側方と右後側方を広く撮像しているため、画像処理によって接近車両の検出を行うと、左右両側の接近車両が検出される。
従って、ステップS8において、左車線に逸脱していると判断されたときには、後方監視カメラ25で撮像された画像の中から、左車線側の接近車両のみを検出するように検出領域を制限して、警報が必要な領域に存在する接近車両のみを検出する。また、ステップS8において、右車線に逸脱していると判断されたときには、後方監視カメラ25で撮像された画像の中から、右車線側の接近車両のみを検出するように検出領域を制限して、警報が必要な領域に存在する接近車両のみを検出する。
このように、接近車両の検出領域を制限することによって、画像処理を行う領域のサイズが小さくなるため、処理速度が向上する。なお、接近車両が存在する可能性のある左右の領域は、予め実験によって求めて障害物検出部26に記憶しておき、検出された車線逸脱の方向に応じて、逸脱している側に設定された、接近車両の検出領域の内部のみで、接近車両の検出を行えばよい。
さらに、車線逸脱していない側の後側方の接近車両に対する警報の出力を抑制する第2の方法として、接近車両検出部20において、全ての接近車両を検出した後、車線逸脱していない側の接近車両の検出結果を警報出力制御部40に送信することを止めてもよい。
また、第3の方法として、接近車両検出部20において、全ての接近車両を検出した後、全ての検出結果を警報出力制御部40に送信し、警報出力制御部40にて、受信した検出結果のうち、車線逸脱していない側の接近車両の検出結果を無視してもよい。
警報出力部50から出力された、接近車両を知らせる警報に気づいた運転者は、車線逸脱を中止し、元の車線に戻る動作を行う。すると、ステップS7で車線逸脱が検出されず、ステップS14において警報の出力が停止する。
なお、上述した車線逸脱検出方法Aによると、レーンマーカの位置に基づいて車線逸脱を検出しているため、ラウンドアバウトの環状路に車線を識別するレーンマーカが引かれていないときには適用することができない。
そのため、以下の車線逸脱検出方法を適用してもよい。
即ち、ラウンドアバウトの環状路のサイズ(半径)と車速から想定される車両1の操舵角と、実際の操舵角とを比較して、ラウンドアバウトの環状路を走行しているときに車線逸脱しているか否かと、その車線逸脱の方向を判断する方法を適用してもよい。この方法を、車線逸脱検出方法Bと呼ぶことにする。
一般に、半径の小さいカーブを高速で走行するときほど、車両の操舵角は大きくなる。即ち、カーブの半径と車速がわかれば、操舵角を予測することが可能である。
本実施形態では、予め、車線逸脱検出部10の内部に、ラウンドアバウトの環状路の各車線の半径と、その車線をある車速で走行したときの操舵角の大きさの関係を測定して、結果を格納しておくものとする。その概念図を図5(a)、(b)に示す。
図5(a)は、反時計回りのラウンドアバウトの環状路の特定の車線を走行したときに予想される、車速と操舵角の分布を概念的に示したものである。また、図5(b)は、時計回りのラウンドアバウトの環状路の特定の車線を走行したときに予想される、車速と操舵角の分布を概念的に示したものである。
一般に、ラウンドアバウトの環状路の特定の車線を走行したときに、車速と操舵角を同時に、複数回計測してプロットすると、プロットされた点群は、一定の分布(以下、クラスターと称する)を形成する。
図5(a)に示したクラスターa、クラスターb、クラスターcは、車両1で反時計回りのラウンドアバウトの環状路の特定車線を走行したときに予想される、車速と操舵角の分布状態を表しており、クラスターaはラウンドアバウトの環状路の半径が小さい場合、クラスターcはラウンドアバウトの環状路の半径が大きい場合を示している。
また、図5(b)に示したクラスターd、クラスターe、クラスターfは、車両1で時計回りのラウンドアバウトの環状路の特定車線を走行したときに予想される、車速と操舵角の分布状態を表しており、クラスターdはラウンドアバウトの環状路の半径が小さい場合、クラスターfはラウンドアバウトの環状路の半径が大きい場合を示している。これらのクラスターaからクラスターfのサイズと位置は、事前に計測を行って、車線逸脱検出部10に格納しておく。
ラウンドアバウトの環状路を走行中に車線逸脱が発生すると、内側の車線に逸脱したときは、車線を逸脱せずに走行しているときに比べて操舵角がより一層大きくなるため、同じ車速に対する操舵角の大きさをプロットすると、図5の分布図に対して、操舵角が大きくなる方向にずれてプロットされる。このずれの大きさを検出して、ずれが所定値よりも大きいときに内側の車線に逸脱をしたと判断することができる。
一方、外側の車線に逸脱したときは、車線逸脱せずに走行しているときと比べて操舵角がより小さくなる、もしくは、逆方向に操舵するため、同じ車速に対する操舵角の大きさをプロットすると、図5(a)、(b)の分布図に対して操舵角が小さくなる方向、もしくは、操舵方向が逆になる方向にずれてプロットされる。このずれの大きさを検出して、ずれが所定値よりも大きいときに、外側の車線に逸脱したと判断することができる。
具体的には、ステップS5でラウンドアバウトの環状路を走行中であることが検出された後で、車線逸脱検出部10において、車速と操舵角の計測を繰り返して行い、所定回数の計測を行う毎に、車速と操舵角それぞれの移動平均を算出する。これは、突発的なノイズによる誤検出を防ぐためである。
次に、車線逸脱検出部10において、移動平均の算出結果を、図5(a)、(b)に相当するグラフ上にプロットし、プロットされた点の位置と、予め車線逸脱検出部10に格納しておいた、現在走行中のラウンドアバウトの環状路の半径と環状路の回転方向とから想定される、車速と操舵角の関係を示すクラスターの位置とを比較して、プロットされた点の位置が、想定されるクラスター内部に収まっていたら車線逸脱していないと判断し、プロットされた点の位置が想定されるクラスターに対して、操舵角が大きくなる方向に、所定値以上ずれていたら、内側の車線に逸脱したものと判断する。また、プロットされた点の位置が想定されるクラスターに対して、操舵角が小さくなる方向に所定値以上ずれていたら、外側の車線に逸脱したものと判断する。
ここで、ラウンドアバウトの環状路の回転方向と半径は、予め地図記憶部64に格納しておき、ステップS4において、道路属性情報取得部66によって読み出される。
なお、ラウンドアバウトの環状路を走行しているときの車線逸脱を検出する方法として、地図記憶部64に格納された、ラウンドアバウトの環状路110を構成する道路リンクの方向と、実際の車両1の進行方向とを、車線逸脱検出部10において比較することにより、ラウンドアバウトの環状路を走行しているときに車線逸脱しているか否かと、その車線逸脱の方向を判断する方法を適用してもよい。この方法を、車線逸脱検出方法Cと呼ぶことにする。以下、車線逸脱検出方法Cについて説明する。
車両1の実際の進行方向は、現在位置検出部62において、車両1の進行方向を常時モニタするジャイロセンサや車速センサの出力から求められる。
通常のカーナビゲーションシステムでは、ジャイロセンサや車速センサで求められた車両1の進行方向と、GPS信号によって求められた現在位置とが、現在位置検出部62に含まれるマップマッチング機能によって、地図記憶部64に格納された道路リンク上にマップマッチングされ、地図上の現在位置が特定される。
このジャイロセンサや車速センサで計測された、マップマッチングを行う前の車両1の進行方向を、マップマッチング後の現在位置に対応する道路リンクの方向と比較することによって、道路リンクの方向に対する車両1の方向のずれを算出し、このずれが所定値よりも大きいときは、車線逸脱していると判断し、さらに、前記ずれの符号に基づいて、車線逸脱の方向を判断することができる。
ここで、ラウンドアバウトの環状路を走行しているときに、レーンマーカの位置をカメラで検出して車線逸脱を検出する方法は、ラウンドアバウトの環状路にレーンマーカが引かれているときにのみ適用可能な方法であるため、地図記憶部64の中に、ラウンドアバウトの環状路におけるレーンマーカの有無に関する情報を予め格納しておき、現在走行中のラウンドアバウトの環状路にレーンマーカが引かれているときには、車線逸脱検出方法Aを実行し、レーンマーカが引かれていないときには、車線逸脱検出方法B、または車線逸脱検出方法Cを適用するようにして、車線逸脱の検出を行うこともできる。
もしくは、ラウンドアバウトの環状路を走行しているときに、最初に、レーンマーカ検出部14においてレーンマーカの検出を行い、レーンマーカが検出できたら車線逸脱検出方法Aを実行し、レーンマーカが検出できないときには、車線逸脱検出方法B、または車線逸脱検出方法Cを適用するようにして、車線逸脱の検出を行うこともできる。
このように構成された実施形態1に係る車両用周囲状況監視装置100によれば、ラウンドアバウト検出部60によって、車両1がラウンドアバウトの環状路を走行していることが検出されたときには、車線逸脱検出部10によって車線逸脱したことが検出されても、警報出力制御部40が、警報出力部50から車線逸脱警報が出力されるのを抑制するとともに、車線逸脱していない方向に接近車両検出部20によって接近車両が検出されても、警報出力制御部40が、警報出力部50から後側方警報が出力されるのを抑制する構成としたため、ラウンドアバウトの環状路を走行している車両1において、車線逸脱の発生や接近車両の有無について、不要な警報の出力を抑制するとともに、警報が必要な場面では、警報を確実に出力することができるようになる。
なお、本実施形態では、車両1が車線を逸脱したことを検出して後側方警報の制御を行ったが、これは、車線を逸脱する前に、車線を逸脱する可能性が高いことを検出して行ってもよい。
即ち、車線逸脱検出方法Aにおいては、車線逸脱検出部10では、道路領域を撮像した画像の中からレーンマーカの位置を検出し、検出したレーンマーカの位置の時間変化に基づいて車線を逸脱していることを検出したが、画像の中のレーンマーカの位置の時間変化を観測し、レーンマーカの位置が、車線を逸脱したときに観測されるレーンマーカの位置に近づいていると予測できるときには、車線を逸脱する可能性があると判断することができる。そして、車線を逸脱する可能性が高いことと、車線を逸脱する可能性のある方向が特定されたときは、図3のステップS9、またはステップS10において、後側方警報の抑制を行うことができる。
さらに、車線逸脱検出方法Bを実施したときは、ラウンドアバウトの環状路110を走行中に観測された車速と操舵角をプロットした点の位置が、時間とともに、想定されるクラスターに対して、操舵角が大きくなる方向、もしくは、小さくなる方向に、所定値以上ずれる可能性があると予測されるときには、車線を逸脱する可能性があると判断することができる。
また、車線逸脱検出方法Cを実施したときは、ラウンドアバウトの環状路110を構成する道路リンクの方向と実際の車両1の進行方向との差を、車線逸脱検出部10において比較して、道路リンクの方向と実際の車両1の進行方向とが、時間とともに、所定値以上ずれる可能性があると予測されたときには、車線を逸脱する可能性があると判断することができる。
また、本実施形態では、車線逸脱警報システムと、後側方警報システムが、ともに車両1に搭載された場合について説明したが、これらのシステムが、それぞれ単独で車両1に搭載された場合であっても、警報の対象は制限される(車線逸脱警報システムが単独で搭載されたときは、車線逸脱警報のみが出力され、後側方警報システムが単独で搭載されたときは、後側方警報のみが出力される)が、同様の効果を有する車両用周囲状況監視装置を実現することができるのは言うまでもない。
即ち、車線逸脱警報システムが単独で車両1に搭載され、図2の形態でカメラが設置されたときは、図1において、接近車両検出部20を削除した構成によって実現することができる。この場合、左後側方監視カメラ22と右後側方監視カメラ24は不要となり、車両1に設置されるカメラは、前方監視カメラ12のみとなる。また、図6の形態でカメラが設置された場合は、図1の前方監視カメラ12が、後方監視カメラ25に置き換わるとともに、接近車両検出部20が削除された構成となる。
また、後側方警報システムが、単独で車両1に搭載されたときは、図2の形態でカメラが設置された場合は、図1と同じ構成によって実現することができるし、左後側方監視カメラ22と右後側方監視カメラ24が、前方監視カメラ12を代用することによっても実現できる。即ち、図1において、車線逸脱検出部10を構成する前方監視カメラ12が削除され、左後側方監視カメラ22と右後側方監視カメラ24が、障害物検出部26に接続されるとともに、レーンマーカ検出部14にも接続される構成によっても実現することができる。また、図6の形態でカメラが設置されたときは、図1の前方監視カメラ12、左後側方監視カメラ22、右後側方監視カメラ24が削除され、後方監視カメラ25が、レーンマーカ検出部14と障害物検出部26に接続された構成となる。
ここで、実施形態1において、前方監視カメラ12、左後側方監視カメラ22、右後側方監視カメラ24、後方監視カメラ25の設置位置は、図2、図6に図示した場所に限る必要はなく、監視領域を規定する設計要件に照らして、適切な場所に設置すればよい。
なお、図6のように、1台の後方監視カメラ25のみからなる構成を採ることによって、1台のカメラのみで後側方警報システムに用いる画像を撮像することができるため、システムのコスト低減が図れる。
さらに、後方監視カメラ25は、車両1の後退時に、車両1の後方の映像を運転者に提示し、円滑な後退動作を支援するために用いる、所謂バックビューモニタシステムの撮像部としても利用することができるため、システムの共用化を図ることができ、システムの簡素化やコスト低減の効果を有する。
また、後方監視カメラ25は、車両1の後方のレーンマーカを撮像することができるため、前方監視カメラ12の代用とすることも可能である。即ち、後方監視カメラ25を1台設置するだけで、車線逸脱警報システムと後側方警報システムの画像入力部を構成することができ、これにより、システムの更なる簡素化やコスト低減が可能である。
なお、図2や図6の構成以外に、前方監視カメラ12、左後側方監視カメラ22、右後側方監視カメラ24、後方監視カメラ25の4台のカメラを設置して、車線逸脱警報システムと後側方警報システムを構成してもよい。
特に、車両の周囲に存在する死角領域の画像を撮像し、撮像された画像を見やすく変形して運転者に提示する車両周囲モニタシステムが設置された車両にあっては、車両に、既に複数のカメラが設置されているため、それらのカメラを車線逸脱警報システムと後側方警報システムの画像入力の用途に流用してもよい。
100 車両用周囲状況監視装置
10 車線逸脱検出部
12 前方監視カメラ
14 レーンマーカ検出部
20 接近車両検出部
22 左後側方監視カメラ
24 右後側方監視カメラ
26 障害物検出部
30 起動・終了指示部
40 警報出力制御部
50 警報出力部
60 ラウンドアバウト検出部
62 現在位置検出部
64 地図記憶部
66 道路属性情報取得部

Claims (8)

  1. 車両に搭載され、前記車両の車線逸脱と逸脱している方向とを検出する車線逸脱検出部、または前記車線逸脱検出部および前記車両に対する左右後側方からの接近車両を検出する接近車両検出部と、
    車線逸脱、または接近車両に対する警報を出力する警報出力部と、
    前記車線逸脱検出部の検出結果、または前記接近車両検出部の検出結果に基づいて、前記警報を、前記警報出力部から出力すべきか否かを判断する警報出力制御部と、
    前記車両が、複数車線からなる環状路とその最外周車線から前記環状路の外側に向けて放射状に延びる複数の進入路、および退出路とを有するラウンドアバウトの前記環状路を走行していることを検出するラウンドアバウト検出部と、を備え、前記警報出力制御部が、前記警報の出力を、下記(1)、または(2)のうちいずれかによって抑制することを特徴とする車両用周囲状況監視装置。
    (1)前記車両が、前記車線逸脱検出部を有し、前記ラウンドアバウト検出部において、前記車両がラウンドアバウトの環状路を走行していることが検出されたときには、前記警報出力制御部が、前記車線逸脱検出部で検出された前記車線逸脱に対する前記警報の出力を抑制する
    (2)前記車両が、前記車線逸脱検出部と前記接近車両検出部とを有し、前記ラウンドアバウト検出部において、前記車両がラウンドアバウトの環状路を走行していることが検出され、かつ、前記車線逸脱検出部において、前記車両が左右いずれかの車線を逸脱していることが検出されたときには、前記警報出力制御部が、車線を逸脱していない側の前記後側方からの接近車両に対する前記警報の出力を抑制する
  2. 前記ラウンドアバウト検出部によって、前記車両がラウンドアバウトの環状路を走行していることが検出されたときに、
    前記警報出力制御部が、前記車線逸脱検出部の検出結果の前記警報出力制御部への出力を停止すること、
    または、前記警報出力制御部が、前記車線逸脱検出部から前記警報出力制御部に対して出力された前記検出結果を無視することによって、前記警報の出力を抑制することを特徴とする請求項1に記載の車両用周囲状況監視装置。
  3. 前記車線逸脱検出部によって、前記車両がラウンドアバウトの環状路で車線逸脱していることが検出されたときに、前記接近車両検出部が、前記接近車両検出部の検出範囲を、車線逸脱している側の後側方のみに制限すること、
    または、車線逸脱していない側の前記接近車両検出部の検出結果を、前記警報制御判断部に出力しないこと、
    または、前記警報出力制御部が、前記車線逸脱検出部から前記警報出力制御部に対して出力された前記接近車両検出部の検出結果のうち、前記車線逸脱検出部によって検出された、車線逸脱していない側の前記接近車両検出部の検出結果を無視することによって、前記警報の出力を抑制することを特徴とする請求項1に記載の車両用周囲状況監視装置。
  4. 前記ラウンドアバウト検出部が、前記車両の現在位置を検出する現在位置検出部と、道路属性情報を含む地図情報が予め記憶された地図記憶部と、前記現在位置検出部で検出された前記車両の現在位置情報を、前記地図記憶部に照らし合わせて、前記車両の現在位置の道路属性情報を取得する道路属性情報取得部と、を有し、
    前記道路属性情報取得部から取得された前記道路属性情報に基づいて、前記車両がラウンドアバウトの環状路を走行していることを検出することを特徴とする請求項1から3のうちいずれか1項に記載の車両用周囲状況監視装置。
  5. 前記車線逸脱検出部が、前記車両の進行方向前方を観測する前方監視カメラ、前記車両の左右後側方を観測する後側方監視カメラ、または前記車両の後方を観測する後方監視カメラを備えるとともに、前記前方監視カメラ、前記後側方監視カメラ、または前記後方監視カメラで撮像した画像の中から、レーンマーカの位置を検出するレーンマーカ検出部を有し、
    前記車両がラウンドアバウトの環状路を走行しているときに、前記車線逸脱検出部が、前記レーンマーカの位置の検出を複数回行い、検出された前記レーンマーカの位置の変化に基づいて、前記車両の車線逸脱の発生と、前記車線逸脱の方向とを検出することを特徴とする請求項1から4のうちいずれか1項に記載の車両用周囲状況監視装置。
  6. 前記地図記憶部が、ラウンドアバウトの環状路の半径とラウンドアバウトの環状路の回転方向との情報を有するとともに、前記車線逸脱検出部が、前記車両の速度と操舵角とを測定する機能を有し、
    前記車両がラウンドアバウトの環状路を走行しているときに、前記車線逸脱検出部が、前記車両の速度と、前記地図記憶部から読み出された前記ラウンドアバウトの環状路の半径と回転方向とから、車線逸脱せずに前記ラウンドアバウトの環状路を走行できる操舵角を算出し、算出された前記操舵角と実際の操舵角とを比較することによって、前記車両が車線逸脱していることと、前記車線逸脱の方向とを検出することを特徴とする請求項1から4のうちいずれか1項に記載の車両用周囲状況監視装置。
  7. 前記車両がラウンドアバウトの環状路を走行しているときに、前記車線逸脱検出部が、前記車両の進行方向と、ラウンドアバウトの環状路を構成する道路リンクの方向との差に基づいて、前記車両の車線逸脱の発生と、前記車線逸脱の方向とを検出することを特徴とする請求項1から4のうちいずれか1項に記載の車両用周囲状況監視装置。
  8. 前記地図記憶部が、ラウンドアバウトの環状路にレーンマーカが引かれているか否か
    の情報を有し、
    前記車両がラウンドアバウトの環状路を走行しているときに、前記車線逸脱検出部が、前記地図記憶部から、前記ラウンドアバウトの環状路にレーンマーカが引かれているか否かの情報を読み出して、
    前記ラウンドアバウトの環状路にレーンマーカが引かれているときには、前記車線逸脱検出部が、前記レーンマーカ検出部によって検出された前記レーンマーカの位置の変化に基づいて、前記車両の車線逸脱の発生と、前記車線逸脱の方向とを検出し、
    前記ラウンドアバウトの環状路にレーンマーカが引かれていないときには、前記車線逸脱検出部が、前記車両の速度と、操舵角と、前記ラウンドアバウトの環状路の半径と、前記ラウンドアバウトの環状路の回転方向とに基づいて、または前記車両の進行方向と前記ラウンドアバウトの環状路を構成する道路リンクの方向との差に基づいて、前記車両の車線逸脱の発生と、前記車線逸脱の方向とを検出することを特徴とする請求項1から4のうちいずれか1項に記載の車両用周囲状況監視装置。
JP2010280361A 2010-12-16 2010-12-16 車両用周囲状況監視装置 Expired - Fee Related JP5646980B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010280361A JP5646980B2 (ja) 2010-12-16 2010-12-16 車両用周囲状況監視装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010280361A JP5646980B2 (ja) 2010-12-16 2010-12-16 車両用周囲状況監視装置

Publications (3)

Publication Number Publication Date
JP2012128714A true JP2012128714A (ja) 2012-07-05
JP2012128714A5 JP2012128714A5 (ja) 2014-01-16
JP5646980B2 JP5646980B2 (ja) 2014-12-24

Family

ID=46645641

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010280361A Expired - Fee Related JP5646980B2 (ja) 2010-12-16 2010-12-16 車両用周囲状況監視装置

Country Status (1)

Country Link
JP (1) JP5646980B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016157403A (ja) * 2015-02-26 2016-09-01 株式会社トヨタマップマスター 車両用ナビゲーション装置及びその方法、並びにナビゲーションするためのコンピュータプログラム及びこのプログラムを記憶した記憶媒体。
US9516277B2 (en) 2012-05-02 2016-12-06 GM Global Technology Operations LLC Full speed lane sensing with a surrounding view system
DE102015223481A1 (de) * 2015-11-26 2017-06-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Anpassung einer Lenkunterstützung eines Fahrzeugs
JP2017111498A (ja) * 2015-12-14 2017-06-22 株式会社デンソー 運転支援装置
JP2017536621A (ja) * 2014-11-04 2017-12-07 コノート、エレクトロニクス、リミテッドConnaught Electronics Ltd. 自動車両のドライバー支援システムを作動させるための方法、ドライバー支援システム、及び、自動車両
KR20200040150A (ko) * 2018-10-08 2020-04-17 주식회사 만도 차량 제어 장치, 차량 제어 방법 및 차량 제어 시스템
WO2022266858A1 (zh) * 2021-06-22 2022-12-29 华为技术有限公司 一种盲区检测方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005301884A (ja) * 2004-04-15 2005-10-27 Denso Corp 環状交差点の車両情報システム
JP2006178675A (ja) * 2004-12-21 2006-07-06 Nissan Motor Co Ltd 車線逸脱防止制御装置
JP2007139503A (ja) * 2005-11-16 2007-06-07 Alpine Electronics Inc ナビゲーション装置および車両位置確定方法
JP2008102615A (ja) * 2006-10-17 2008-05-01 Nissan Motor Co Ltd 運転支援システム及び警報出力方法
JP2008269399A (ja) * 2007-04-23 2008-11-06 Mazda Motor Corp 車両の車線逸脱警報装置
JP2009074986A (ja) * 2007-09-21 2009-04-09 Xanavi Informatics Corp 自車位置演算装置、自車位置演算方法、および、自車位置演算プログラム
JP2011159147A (ja) * 2010-02-02 2011-08-18 Toyota Motor Corp 運転支援装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005301884A (ja) * 2004-04-15 2005-10-27 Denso Corp 環状交差点の車両情報システム
JP2006178675A (ja) * 2004-12-21 2006-07-06 Nissan Motor Co Ltd 車線逸脱防止制御装置
JP2007139503A (ja) * 2005-11-16 2007-06-07 Alpine Electronics Inc ナビゲーション装置および車両位置確定方法
JP2008102615A (ja) * 2006-10-17 2008-05-01 Nissan Motor Co Ltd 運転支援システム及び警報出力方法
JP2008269399A (ja) * 2007-04-23 2008-11-06 Mazda Motor Corp 車両の車線逸脱警報装置
JP2009074986A (ja) * 2007-09-21 2009-04-09 Xanavi Informatics Corp 自車位置演算装置、自車位置演算方法、および、自車位置演算プログラム
JP2011159147A (ja) * 2010-02-02 2011-08-18 Toyota Motor Corp 運転支援装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9516277B2 (en) 2012-05-02 2016-12-06 GM Global Technology Operations LLC Full speed lane sensing with a surrounding view system
US9538144B2 (en) 2012-05-02 2017-01-03 GM Global Technology Operations LLC Full speed lane sensing using multiple cameras
JP2017536621A (ja) * 2014-11-04 2017-12-07 コノート、エレクトロニクス、リミテッドConnaught Electronics Ltd. 自動車両のドライバー支援システムを作動させるための方法、ドライバー支援システム、及び、自動車両
JP2016157403A (ja) * 2015-02-26 2016-09-01 株式会社トヨタマップマスター 車両用ナビゲーション装置及びその方法、並びにナビゲーションするためのコンピュータプログラム及びこのプログラムを記憶した記憶媒体。
DE102015223481A1 (de) * 2015-11-26 2017-06-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Anpassung einer Lenkunterstützung eines Fahrzeugs
JP2017111498A (ja) * 2015-12-14 2017-06-22 株式会社デンソー 運転支援装置
US10909848B2 (en) 2015-12-14 2021-02-02 Denso Corporation Driving assistance device
KR20200040150A (ko) * 2018-10-08 2020-04-17 주식회사 만도 차량 제어 장치, 차량 제어 방법 및 차량 제어 시스템
KR102581766B1 (ko) 2018-10-08 2023-09-22 주식회사 에이치엘클레무브 차량 제어 장치, 차량 제어 방법 및 차량 제어 시스템
WO2022266858A1 (zh) * 2021-06-22 2022-12-29 华为技术有限公司 一种盲区检测方法和装置

Also Published As

Publication number Publication date
JP5646980B2 (ja) 2014-12-24

Similar Documents

Publication Publication Date Title
JP5646980B2 (ja) 車両用周囲状況監視装置
US8666644B2 (en) Drive assistance apparatus
JP6428713B2 (ja) 情報表示装置
JP6112054B2 (ja) 電子機器、電子機器の制御方法及び電子機器の制御プログラム
JP6459220B2 (ja) 事故防止システム、事故防止装置、事故防止方法
JP4628683B2 (ja) 歩行者検出装置、及び、その歩行者検出装置を備えた車両用運転支援装置
WO2013051306A1 (ja) 脇見検出装置
JP4706315B2 (ja) 車両の運転支援システム
JP5691814B2 (ja) 運転支援装置
JP2008168827A (ja) 車線変更支援装置
JP2010092416A (ja) 車線逸脱抑制装置
JP2007128182A (ja) 車両事故防止装置、車両事故防止システム、車載装置及び車両事故防止方法
JP2012226618A (ja) 運転支援装置
WO2017018192A1 (ja) 情報表示装置
WO2017115371A1 (en) Apparatus and method for avoiding vehicular accidents
JP2003205805A (ja) 車両用運転支援装置
JP2005276056A (ja) ノーズビューモニタ装置
JP4255880B2 (ja) 車両間衝突防止支援システムおよび車両間衝突防止支援装置
JP6322109B2 (ja) 車両の走行制御装置
JP2015207177A (ja) 信号制御システム
JP5218174B2 (ja) 車両制御装置及び車両制御システム
JP4265992B2 (ja) 運転支援装置
JP2018537794A (ja) 支援付きの交通合流
KR101995054B1 (ko) V2v 통신을 이용한 카메라 영상 출력 및 저장 시스템 및 구현 방법
JP2013011939A (ja) 運転支援装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131125

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140723

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140729

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140919

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141014

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141106

R150 Certificate of patent or registration of utility model

Ref document number: 5646980

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees