JP2014089140A - 交差点案内システム、方法およびプログラム - Google Patents

交差点案内システム、方法およびプログラム Download PDF

Info

Publication number
JP2014089140A
JP2014089140A JP2012240029A JP2012240029A JP2014089140A JP 2014089140 A JP2014089140 A JP 2014089140A JP 2012240029 A JP2012240029 A JP 2012240029A JP 2012240029 A JP2012240029 A JP 2012240029A JP 2014089140 A JP2014089140 A JP 2014089140A
Authority
JP
Japan
Prior art keywords
intersection
visibility
point
landmark
total value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012240029A
Other languages
English (en)
Other versions
JP5935661B2 (ja
Inventor
Masao Maura
雅夫 眞浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Original Assignee
Aisin AW Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd filed Critical Aisin AW Co Ltd
Priority to JP2012240029A priority Critical patent/JP5935661B2/ja
Publication of JP2014089140A publication Critical patent/JP2014089140A/ja
Application granted granted Critical
Publication of JP5935661B2 publication Critical patent/JP5935661B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Navigation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】交差点までの経路において視認が容易な目印対象物を使用して交差点の案内を行う技術の提供。
【解決手段】交差点の目印となる複数の目印対象物を取得する目印対象物取得手段と、前記交差点までの経路内の複数の通過地点のそれぞれについて、当該通過地点から前記目印対象物を視認した場合の視認しやすさを示す視認容易度を取得する視認容易度取得手段と、複数の前記目印対象物のそれぞれについて、複数の前記通過地点それぞれにおける前記視認容易度の合計値を取得する合計値取得手段と、前記合計値に基づいて、複数の前記目印対象物のなかから前記交差点の案内に使用する前記目印対象物を選択する選択手段と、を備える。
【選択図】図6

Description

本発明は、交差点の位置を案内する交差点案内システム、方法およびプログラムに関する。
ナビゲーション装置において、所望する目的地を入力すると、出発地から目的地までの最適経路を探索する経路探索機能が備えられている。そして、探索結果に基づいて設定された案内経路をユーザI/F部画面に表示するとともに、右左折等の案内の対象となる交差点(以下、案内交差点という)に接近した場合には音声やユーザI/F部画面を用いた案内を行うことによって、ユーザを所望の目的地まで確実に案内する。ここで、案内交差点において右左折等の案内を行う際には、案内交差点をユーザに正確に特定させることが重要である。そこで、従来では案内交差点の目印となる目印対象物(例えば、店舗の看板等)を用いて案内を行うことが行われていた。また、目印対象物を用いて案内を行う場合には、案内を行う際にユーザから目印対象物が視認できていることが重要である。特開平10−177699号公報には、案内交差点の案内を行う開始時点においてカメラを用いて目印対象物(例えば、信号機)の有無を検出し、検出した目印対象物を用いて案内交差点の案内を行う技術が記載されている。
特開平10−177699号公報(第3頁、第4頁、図2)
しかしながら、特許文献1においては、案内を行う開始時点で視認できる目印対象物を案内することは可能であるが、案内中において目印対象物が視認できるか否かについては考慮されていない。ここで、ユーザが案内された目印対象物を探す行為は、案内開始時よりも案内開始後から一定時間経過した案内中に行われることが予想される。しかしながら、前記特許文献1の記載の技術では、案内中において目印対象物が視認できるか否かについては考慮されていないことから、ユーザが案内された目印対象物を発見することができないおそれがあった。また、目印対象物を発見しても、案内中に目印対象物が障害物に隠れて視認することができなくなるおそれもあった。その結果、ユーザが案内交差点を特定することができず、右左折操作のタイミングが遅れたり、案内経路を外れて走行する事態が生じていた。
本発明は、前記課題にかんがみてなされたもので、交差点までの経路において視認が容易な目印対象物を使用して交差点の案内を行う技術を提供することを目的とする。
前記の目的を達成するため、本発明において、目印対象物取得手段は、交差点の目印となる複数の目印対象物を取得する。視認容易度取得手段は、複数の目印対象物のそれぞれについて、複数の通過地点それぞれにおける視認容易度の合計値を取得する。合計値取得手段は、複数の通過地点のそれぞれについての視認容易度の合計値を、複数の目印対象物のそれぞれについて取得する。そして、選択手段は、視認容易度を合計した合計値に基づいて、複数の目印対象物のなかから交差点の案内に使用する目印対象物を選択する。
前記の構成において、選択手段は、案内を開始する地点だけでなく、交差点までの経路内に存在する複数の通過地点のそれぞれにおける視認容易度に基づいて案内に使用する目印対象物を選択する。従って、案内を開始する地点だけでなく、交差点までの経路において運転者が視認しやすい目印対象物を使用して交差点の案内を行うことができる。
具体的に、選択手段は、複数の通過地点のそれぞれにおける視認容易度の合計値に基づいて交差点の案内に使用する目印対象物を選択するため、交差点までの経路上における視認容易度の累積的な評価に基づいて目印対象物を選択できる。すなわち、複数の通過地点のそれぞれにおいて単に目印対象物が視認できたか否かを評価するのではなく、複数の通過地点のそれぞれにおいてどの程度視認することが容易であったかを示す視認容易度を累積的に評価することができる。例えば、運転者が確信をもって目印対象物が判別できるほど視認容易度が大きくないが、交差点までの経路内の大部分において安定して視認容易度が累積できる目印対象物についても、交差点までの経路の全域における視認しやすさを視認容易度の合計値に基づいて判断できる。すなわち、視認容易度の合計値に基づいて、目印対象物が判別できる程度に視認容易度が累積される否かを評価できる。
目印対象物取得手段は、交差点の目印となる目印対象物を取得すればよく、案内対象の交差点について目印対象物を取得すればよい。目印対象物とは、交差点とともに運転者が車両の前方の風景において視認できる物体である。目印対象物は、交差点の目印として機能するため、交差点に近い位置に存在し、かつ、特徴的な形状や模様を有することが望ましい。なお、目印対象物取得手段は、交差点と目印対象物との対応関係を規定したデータを記録媒体等から取得すればよい。
視認容易度取得手段は、交差点までの経路内に存在する複数の通過地点を取得し、当該取得した複数の通過地点のそれぞれについて視認容易度に取得すればよい。複数の通過地点は必ずしも交差点までの経路の全域に存在しなくてもよく、交差点までの経路のうち視認容易度の評価対象の区間に属する地点であってもよい。この場合でも、視認容易度の合計値に基づいて、評価対象の区間における目印対象物の判別しやすさを評価できる。視認容易度は、複数の通過地点のそれぞれにおいて、複数の目印対象物のそれぞれを視認した場合の視認しやすさを示す指標である。視認容易度は、値が大きいほど目印対象物が視認しやすいことを示す指標であり、視認容易度が大きいほど目印対象物が判別できる可能性が高くなる指標である。従って、複数の通過地点のそれぞれにおける視認容易度を合計した合計値に基づいて、経路全体における目印対象物の判別しやすさを評価できる。視認容易度は、実際に通過地点において視認した車両の前方の風景における目印対象物の像の状態(面積、鮮鋭度、遮蔽率等)に基づいて設定されてもよい。また、視認容易度は、通過地点において視認した車両の前方の風景における目印対象物の像の状態を地図情報に基づいて予測することにより設定されてもよい。
合計値取得手段は、複数の通過地点のそれぞれについての視認容易度を合計することにより合計値を取得すればよく、視認容易度を単純に合計してもよいし、通過地点ごとに重み付けを行った上で視認容易度を合計してもよい。選択手段は、視認容易度の合計値に基づいて交差点の案内に使用する目印対象物を選択すればよく、視認容易度の合計値に基づいて目印対象物を選択する手法は種々考えられる。例えば、選択手段は、視認容易度の合計値が最も大きい目印対象物を選択してもよいし、視認容易度の合計値が閾値以上の目印対象物のうち所定の条件を満足する目印対象物を選択してもよい。所定の条件とは、例えば目印対象物の知名度が最も大きいことであってもよいし、目印対象物が交差点に最も近いことであってもよいし、目印対象物が交差点における走行予定経路上の退出方向側に存在することであってもよい。目印対象物を使用して交差点の案内を行うとは、交差点についての案内内容と目印対象物とを対応付けた案内を行うことを意味する。案内を行う媒体は、画像であっても音声であってもよい。また、交差点に関する情報を案内すればよく、交差点自体の情報を案内してもよいし、交差点における車両の状態を案内してもよい。
また、合計値取得手段は、複数の通過地点のそれぞれにおける車両の推定滞在期間を取得し、推定滞在期間が長い通過地点ほど値が大きくなるように視認容易度を補正し、当該補正した視認容易度の合計値を複数の目印対象物のそれぞれについて取得してもよい。ここで、推定滞在期間が長くなる通過地点ほど、運転者が目印対象物を視認できる期間が長くなる。そのため、推定滞在期間が長い通過地点ほど値が大きくなるように視認容易度を補正することにより、運転者が目印対象物を視認できる期間が長い通過地点における視認容易度を重視して、交差点の案内に使用する目印対象物を選択できる。例えば、合計値取得手段は、過去における滞在期間を通過地点ごとに記録した履歴情報に基づいて、推定滞在期間を取得してもよい。また、一般に道路が混雑するほど通過地点での滞在期間が長くなるため、道路の混雑度に応じて推定滞在期間を取得してもよい。さらに、交差点から近い通過地点での滞在期間は交差点に備えられた信号機の状態に依存するため、信号機の状態に応じて推定滞在期間を取得してもよい。
また、合計値取得手段は、複数の通過地点のそれぞれにおける車両の推定車速を取得し、推定車速が小さい通過地点ほど値が大きくなるように視認容易度を補正し、当該補正した視認容易度の合計値を複数の目印対象物のそれぞれについて取得してもよい。ここで、推定車速が小さい通過地点ほど、運転者が目印対象物を視認する余裕があり、目印対象物を視認する可能性が高くなる。そのため、推定車速が小さい通過地点ほど値が大きくなるように視認容易度を補正することにより、運転者が目印対象物を視認する可能性が高い通過地点における視認容易度を重視して、交差点の案内に使用する目印対象物を選択できる。例えば、合計値取得手段は、現在の車速から減速して交差点にて停止する場合の推定車速を通過地点ごとに取得してもよい。むろん、合計値取得手段は、過去における車速を通過地点ごとに記録した履歴情報に基づいて、推定車速を取得してもよい。また、道路の混雑度に応じて推定車速を取得してもよいし、信号機の状態に応じて推定車速を取得してもよい。
さらに、合計値取得手段は、交差点までの距離が所定距離となる地点を終点とする交差点から遠い側の区間である評価区間に属する複数の通過地点のそれぞれの視認容易度を合計した合計値を取得してもよい。そして、選択手段は、視認容易度の合計値が最も大きい目印対象物を交差点の案内に使用する目印対象物として選択してもよい。これにより、交差点までの距離が所定距離となる地点を終点とする評価区間において、最も視認しやすい目印対象物を案内に使用することができる。従って、交差点までの距離が所定距離となる地点において目印対象物に基づいて確実に交差点を認識することができ、当該所定距離だけ交差点の手前側から交差点での運転操作に備えることができる。所定距離は、一定の値に設定されもよいし、交差点での運転操作が複雑であるほど長く設定されてもよいし、車速が大きいほど長く設定されてもよい。
また、選択手段は、交差点の案内を行う案内地点から交差点までに存在する通過地点について、案内地点に近い通過地点の順に視認容易度を合計した合計値を取得し、当該合計値が閾値以上となる通過地点が最も近い目印対象物を交差点の案内に使用する目印対象物として選択してもよい。これにより、案内地点に最も近い通過地点、すなわち交差点から手前側に最も遠い通過地点にて、判別できる目印対象物を案内に使用できる。従って、目印対象物を判別してから交差点に到達するまでの走行距離を長く確保することができ、交差点での運転操作に備えることができる。
さらに、視認容易度取得手段はデータベースから視認容易度を取得するとともに、当該データベースに予め視認容易度を記録する記録手段が備えられてもよい。この記録手段は、交差点までの経路内の複数の撮影地点のそれぞれにて車両の前方の風景を撮影した前方画像のそれぞれについて、目印対象物のテンプレート画像との類似度を取得し、当該類似度に基づく視認容易度を撮影地点に対応する通過地点と目印対象物とに対応付けてデータベースに記録してもよい。すなわち、公知のテンプレートマッチングを行うことにより、目印対象物のテンプレート画像と前方画像との類似度(マッチング度)を取得してもよい。テンプレートマッチングにおける前方画像とテンプレート画像との類似度は、前方画像と目印対象物の模範的な画像(運転者が目印対象物の像として記憶している画像)との類似度であり、類似度が大きいほど目印対象物が判別できる可能性が高くなる。従って、前方画像とテンプレート画像との類似度に基づいて視認容易度を取得することができる。また、前方画像は交差点までの経路内の複数の撮影地点にて撮影されるため、複数の撮影地点のそれぞれにおける前方画像とテンプレート画像との類似度に基づいて、複数の通過地点における視認容易度を記録することができる。なお、撮影地点は交差点までの経路上の地点であればよく、通過地点と同一の地点であってもよいし、通過地点と異なる地点であってもよい。
さらに、記録手段は、目印対象物の候補である複数の目印候補のそれぞれのテンプレート画像を取得し、いずれかの前方画像において、テンプレート画像との類似度が閾値以上となった類似領域が検出された目印候補を目印対象物として選択してもよい。すなわち、目印候補のうち、テンプレート画像との類似度が閾値以上となった類似領域が検出された目印候補を目印対象物として絞り込んでもよい。そして、記録手段は、交差点の案内を行う案内地点から数えてN(Nは2以上の整数)番目の撮影地点にて撮影した前方画像において類似領域が検出された場合に、M(MはN未満の自然数)番目の撮影地点にて撮影した前方画像内において目印対象物の像が存在する領域である候補領域を類似領域に基づいて推定してもよい。例えば、記録手段は、案内地点にN番目に近い撮影地点とM番目に近い撮影地点の位置関係と、前方画像を撮影したカメラの光学的な仕様に基づいて候補領域を推定してもよい。
以上の構成において、記録手段は、M番目の撮影地点にて撮影した前方画像内の候補領域とテンプレート画像との類似度を取得し、当該類似度に基づく視認容易度をM番目の撮影地点に対応する通過地点と目印対象物とに対応付けてデータベースに記録してもよい。これにより、M番目の撮影地点にて撮影した前方画像のうち、目印対象物の像が存在する可能性が高い候補領域とテンプレート画像とのテンプレートマッチングを行うことができる。M番目の前方画像の全域においてテンプレート画像とのテンプレートマッチングを行う必要がないため、視認容易度をデータベースに記録する処理を効率よく行うことができる。また、目印対象物の像が存在する可能性が高い候補領域とテンプレート画像とのテンプレートマッチングにより類似度を取得できるため、精度のよい類似度を取得できる。
さらに、通過地点は、交差点までの経路上において所定の長さを有する区間であってもよい。すなわち、選択手段は、交差点までの経路を構成する複数の区間のそれぞれについての視認容易度を合計した合計値に基づいて、案内に使用する目印対象物を選択してもよい。この場合、記録手段は、区間に属する前記撮影地点について取得した類似度の平均値を取得し、当該平均値に基づく視認容易度を当該区間と目印対象物とに対応付けてデータベースに記録してもよい。これにより、単一の区間についての視認容易度を、複数の撮影地点にて撮影した前方画像における目印対象物のテンプレート画像との類似度に基づいて記録することができるため、視認容易度の精度を向上させることができる。
さらに、本発明のように目印対象物を使用して交差点を案内する手法は、プログラムや方法としても適用可能である。また、以上のようなシステム、プログラム、方法は、単独の装置として実現される場合や、複数の装置によって実現される場合、車両に備えられる各部と共有の部品を利用して実現される場合が想定可能であり、各種の態様を含むものである。例えば、以上のような装置を備えたナビゲーションシステムや方法、プログラムを提供することが可能である。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、システムを制御するプログラムの記録媒体としても発明は成立する。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。
ナビゲーション装置のブロック図である。 道路の平面図および車両の前方の風景を示す模式図である。 (3A)〜(3D)は視認容易度DBに記録された視認容易度を示すグラフ、(3E)は推定車速を示すグラフ、(3F)は推定滞在期間を示すグラフ、(3G)は視認容易度の合計値を示すグラフである。 道路の平面図および前方画像を示す模式図である。 (5A)(5B)(5D)はテンプレートマッチングを説明する図、(5C)は候補領域を推定する様子を示す模式図である。 (6A)は交差点案内処理のフローチャート、(6B)は視認容易度記録処理のフローチャートである。
ここでは、下記の順序に従って本発明の実施の形態について説明する。
(1)ナビゲーション装置の構成:
(2)交差点案内処理:
(3)視認容易度記録処理:
(4)他の実施形態:
(1)ナビゲーション装置の構成:
図1は、本発明の一実施形態にかかる交差点案内システムとしてのナビゲーション装置10の構成を示すブロック図である。ナビゲーション装置10は、車両に備えられている。ナビゲーション装置10は、制御部20と記録媒体30とを備えている。制御部20は、CPUとRAMとROM等を備え、記録媒体30やROMに記憶されたプログラムを実行する。記録媒体30は、地図情報30aと視認容易度データベース(DB)30bと名称データベース(DB)30cと前方画像データベース(DB)30dとテンプレートデータベース(DB)30eとを記録する。
地図情報30aは、道路上に設定されたノードの位置等を示すノードデータと、ノード同士を接続する道路に対応するリンクについての情報を示すリンクデータと、ノード同士を接続する道路の幅方向の中央線上に設定された形状補間点の位置等を示す形状補間点データとを含んでいる。3本以上のリンクが接続するノードは交差点に対応する。リンクデータには、道路の幅を示す情報が含まれている。
視認容易度DB30bは、交差点付近に設けられた複数の通過区間(通過地点)のそれぞれについて、目印対象物の視認容易度を記録したデータベースである。図2は、交差点付近の道路を示す平面図である。同図は、交差点に対して車両が紙面下方から接近する様子を示す。図2に示すように、通過区間Xi(X1〜X8)は、交差点の手前に設けられた評価区間Uを構成する。通過区間Xiは、道路の方向における一定の長さkごとに評価区間Uを分割した区間である。評価区間Uは、交差点に対応するノードQから所定の第1距離Lsだけ手前の案内地点P0を始点とし、ノードQから所定の第2距離Le(<Ls)だけ手前の準備地点P1を終点とする区間である。また、評価区間Uは、車両が案内地点P0よりも手前を走行する段階において、車両から交差点までの経路の一部を構成する。
案内地点P0は、制御部20が交差点についての案内を開始させる地点である。準備地点P1は、交差点における運転操作の準備を開始すべき地点であり、第2距離Leは交差点までにレーン変更が可能な距離に設定されている。具体的に、第2距離Leは、交差点の手前においてレーン変更が禁止される区間の長さと、レーン変更に要する平均的な距離(実験値)と、運転者の余裕を確保するための一定の距離とを合計した距離とされている。
なお、案内地点P0は、交差点についての案内が終了する地点であってもよい。
図2の枠H1,H2は、それぞれ通過区間X2,X8を走行する車両の前方風景を示す。枠H1,H2に示すように、目印対象物A〜Dは、評価区間Uを走行する車両から交差点とともに視認できる地物である。例えば、施設の看板等が目印対象物A〜Dとなる。通過区間X2における車両の前方風景よりも、通過区間X2よりも交差点に近い通過区間X8における車両の前方風景の方が、目印対象物A〜Dの像が大きく視認しやすい。従って、目印対象物A〜Dが大きく視認できる通過区間Xiほど、視認容易度DB30bに記録される視認容易度が大きくなる傾向にある。
また、目印対象物A〜D同士の遮蔽や目印対象物A〜Dに対する他の地物の遮蔽が生じる。このような遮蔽は、目印対象物A〜Dと他の地物との位置関係と、目印対象物A〜Dを視認する方向とに依存するため、交差点からの距離に応じて目印対象物A〜Dの遮蔽率が変化する。例えば、通過区間X2における車両の前方風景よりも、通過区間X2よりも交差点に近い通過区間X8における車両の前方風景の方が、目印対象物Dが目印対象物Bによって遮蔽される遮蔽率が小さくなっている。目印対象物A〜Dが遮蔽される遮蔽率が小さいほど、目印対象物A〜Dが視認しやすくなる。従って、目印対象物A〜Dの遮蔽率が小さくなる通過区間Xiほど、視認容易度DB30bに記録される視認容易度が大きくなる傾向にある。
図3A〜3Dは、視認容易度DB30bに記録された視認容易度を示すグラフである。
図3A〜3Dの縦軸は視認容易度FZiを示し、横軸は案内地点P0から数えた通過区間Xiの番号iを示す。なお、Zは、任意の目印対象物A〜Dを表す符号である(Z=A〜D)。図3A〜3Dに示すように、目印対象物A〜Dについての視認容易度FZiが通過区間Xiごとに記録されている。なお、通過区間Xiは交差点に対する進入道路ごとに設定され、進入道路ごとに設定された通過区間Xiのそれぞれについて目印対象物Zごとに視認容易度FZiが記録されている。すなわち、視認容易度DB30bにおいて、交差点と進入道路との組み合わせごとに目印対象物Zと通過区間Xiとが対応付けられており、さらに目印対象物Zと通過区間Xiとの組み合わせごとに視認容易度FZiが対応付けられている。なお、進入道路とは、交差点に進入する直前に車両が走行する道路である。
名称DB30cは、目印対象物Zおよび当該目印対象物Zの候補となる目印候補の名称を記録したデータベースであり、目印対象物Zおよび目印候補の名称を読み上げた音声を記録したデータベースである。目印対象物A〜Dが看板である場合、当該看板を掲げる施設の名称が目印対象物A〜Dの名称となる。目印対象物Zの名称を読み上げた音声は、交差点の案内に使用される。前方画像DB30dは、後述するカメラ46によって車両の前方風景を撮影することにより得られた前方画像を蓄積するデータベースである。テンプレートDB30eは、交差点の目印となり得る目印候補の模範的な画像であるテンプレート画像を記録したデータベースである。目印候補とは、目印対象物Zの候補となる地物である。
車両は、GPS受信部41と車速センサ42とジャイロセンサ43と通信部44とユーザI/F部45とカメラ46とを備える。GPS受信部41は、GPS衛星からの電波を受信し、図示しないインタフェースを介して車両の位置を算出するための信号を制御部20に出力する。車速センサ42は、車両が備える車輪の回転速度に対応した信号を制御部20に出力する。ジャイロセンサ43は、車両に作用する角加速度に対応した信号を制御部20に出力する。制御部20は、GPS受信部41、車速センサ42、及びジャイロセンサ43等から出力された信号や地図情報30aに基づいて、公知のマップマッチングを行う。これにより、制御部20は、車両が現在走行している走行道路の幅方向の中央線上において車両の現在位置を特定する。さらに、制御部20は、ジャイロセンサ43からの出力信号等に基づいて車両の進行方向を特定する。
通信部44は、図示しないサーバと無線通信を行うための通信回路である。制御部20は、通信部44を介してサーバから渋滞情報を取得する。ユーザI/F部45は、ユーザの操作を受け付ける入力部と、音声を出力するスピーカと、映像を出力するディスプレイとを含む。カメラ46は、車両の前方風景を撮影し、当該前方風景を表す前方画像を生成するイメージセンサである。カメラ46が生成した前方画像は、図示しないインタフェースを介して制御部20に出力される。制御部20は、音声信号をスピーカに出力することにより、目印対象物Zを使用して交差点を案内する音声を出力させる。カメラ46は、水平方向において光軸に関して対称な光学系を有し、水平方向における視野の中央に光軸が存在する。カメラ46は、車両の幅方向の中央位置に備えられており、光軸が車両の進行方向と一致する。
制御部20は、交差点案内プログラム21を実行する。交差点案内プログラム21は、目印対象物取得部21aと視認容易度取得部21bと合計値取得部21cと選択部21dと案内制御部21eと記録部21fとを含む。
目印対象物取得部21aは、交差点の目印となる複数の目印対象物Zを取得する機能を制御部20に実行させるモジュールである。すなわち、目印対象物取得部21aは、走行予定経路を探索し、車両の走行道路が前方において接続している走行予定経路上の交差点のうち、案内対象となる交差点(直近交差点)を取得する。なお、案内対象となる交差点とは、例えば走行予定経路上を走行した場合に、車両の旋回角の絶対値が閾値以上となる交差点である。交差点における旋回角とは、交差点に進入する際に車両が走行する走行予定経路上の進入道路の方向(進入方向)に対して、交差点から車両が退出する走行予定経路上の退出道路の方向がなす角である。閾値(例えば30°)は、記録媒体30に記録されている。なお、制御部20は、交差点に対応するノードに最も近い進入道路内の形状補間点から当該ノードに向かうベクトルの方向を進入方向として特定し、交差点に対応するノードから当該ノードに最も近い退出道路内の形状補間点に向かうベクトルの方向を退出方向として特定する。また、走行道路は、直近交差点に対する進入道路となる。そして、制御部20は、車両の現在位置が直近交差点についての案内を開始する案内地点P0に対して基準距離dだけ手前の位置となった場合に、直近交差点と進入道路との組み合わせに対応付けられている複数の目印対象物Zを取得する。例えば、基準距離dは、案内に使用する目印対象物Zを選択する処理の所要期間において車両が走行する距離以上の長さに設定されており、記録媒体30に記録されている。
視認容易度取得部21bは、直近交差点までの経路内の複数の通過区間Xiのそれぞれについて、当該通過区間Xiから目印対象物Zを視認した場合の視認しやすさを示す視認容易度FZiを取得する機能を制御部20に実行させるモジュールである。すなわち、制御部20は、直近交差点と進入道路との組み合わせに対応付けられている通過区間Xiを取得し、当該通過区間Xiに対応付けられている視認容易度FZiを視認容易度DB30bから取得する。図2の例の場合、4個の目印対象物Zのそれぞれを、8個の通過区間X1〜X8から視認した場合の視認容易度FA1〜FA8(図3A),FB1〜FB8(図3B),FC1〜FC8(図3C),FD1〜FD8(図3D)が視認容易度DB30bから取得されることとなる。
合計値取得部21cは、複数の目印対象物Zのそれぞれについて、複数の通過区間Xiそれぞれにおける視認容易度FZiの合計値を取得する機能を制御部20に実行させるモジュールである。すなわち、合計値取得部21cの機能により制御部20は、直近交差点までの距離が第2距離Leとなる準備地点P1を終点とする評価区間Uに属する複数の通過区間Xiのそれぞれの視認容易度FZiを合計した合計値を取得する。
合計値取得部21cの機能により制御部20は、複数の通過区間Xiのそれぞれにおける車両の推定車速Viを取得し、推定車速Viが小さい通過区間Xiほど値が大きくなるように視認容易度FZiを補正し、当該補正した視認容易度FZiの合計値を複数の目印対象物Zのそれぞれについて取得する。具体的に、制御部20は、通過区間Xiの長さkを推定車速Viで除算することにより、通過区間Xiにおける車両の推定滞在期間k/Viを取得し、当該推定滞在期間k/Viを視認容易度FZiに乗じることにより、補正後の視認容易度kFZi/Viを取得する。つまり、合計値取得部21cの機能により制御部20は、複数の通過区間Xiのそれぞれにおける車両の推定滞在期間k/Viを取得し、推定滞在期間k/Viが長い通過区間Xiほど値が大きくなるように視認容易度FZiを補正する。
図3Eは推定車速Viを示すグラフであり、図3Fは推定滞在期間k/Viを示すグラフである。図3Eにおいて、縦軸は推定車速Viを示し、横軸は案内地点P0から数えた通過区間Xiの番号iを示す。図3Fにおいて、縦軸は推定滞在期間k/Viを示し、横軸は案内地点P0から数えた通過区間Xiの番号iを示す。図3E,3Fに示すように、推定車速Viが小さい通過区間Xiほど推定滞在期間k/Viが長くなり、視認容易度FZiは大きい値へと補正されることとなる。本実施形態において、合計値取得部21cの機能により制御部20は、通信部44を介して進入道路についての渋滞情報を取得し、当該渋滞情報が示す渋滞度に基づいて推定車速Viを取得する。具体的に、制御部20は、渋滞度が大きいほど、直近交差点での進路変更のために減速を完了する地点である予測減速完了地点を直近交差点から手前側に遠い位置に設定し、予測減速完了地点にて車速が所定値となるように減速する推定車速Viを取得する。例えば、制御部20は、現在の車速から理想的な減速度で減速した場合に予測減速完了地点にて車速が徐行速度(例えば5km/h)となり、当該予測減速完了地点から直近交差点までは徐行速度が継続する推定車速Viを取得してもよい。
図3Gは、目印対象物A〜Zのそれぞれについて、補正後の視認容易度kFZi/Viの合計値Eを示すグラフである。図3Gの縦軸は合計値Eを示す。同図に示すように、各通過区間Xiにおける補正後の視認容易度kFZi/Viが累積された値が合計値Eとなる。
選択部21dは、補正後の視認容易度kFZi/Viを合計した合計値Eに基づいて、複数の目印対象物Zのなかから直近交差点の案内に使用する目印対象物Zを選択する機能を制御部20に実行させるモジュールである。本実施形態において、選択部21dの機能により制御部20は、補正後の視認容易度kFZi/Viの合計値Eが最も大きい目印対象物Zを直近交差点の案内に使用する目印対象物Zとして選択する。図3Gの場合、制御部20は、目印対象物A〜Dのうち、補正後の視認容易度kFZi/Viの合計値Eが最も大きい目印対象物Dを選択する。
案内制御部21eは、選択した目印対象物Zを使用した直近交差点の案内をユーザI/F部45に実行させるモジュールである。本実施形態において、制御部20は、直近交差点を走行した直後に車両が走行する走行予定経路上の退出道路が存在する方向である退出方向を案内する。例えば、目印対象物Dの看板に対応する施設の名称が"Wストア"であり、退出方向が右折方向である場合に、制御部20は、"Wストアが在る交差点を右折です"という音声をユーザI/F部45に出力させる。また、制御部20は、車両の現在位置が案内地点P0と一致した場合に、直近交差点の案内をユーザI/F部45に開始させる。
以上の構成において、制御部20は、案内地点P0だけでなく、直近交差点までの経路内に存在する複数の通過区間Xiのそれぞれにおける視認容易度FZiに基づいて案内に使用する目印対象物Zを選択する。従って、案内地点P0だけでなく、直近交差点までの経路内の評価区間Uにおいて運転者が視認しやすい目印対象物Zを使用して直近交差点の案内を行うことができる。さらに、複数の通過区間Xiのそれぞれにおける視認容易度FZiの合計値Eに基づいて直近交差点の案内に使用する目印対象物Zを選択するため、直近交差点までの経路内の評価区間Uにおける視認容易度FZiを累積的に評価することができる。すなわち、複数の通過区間Xiのそれぞれにおいて単に目印対象物Zが視認できたか否かを評価するのではなく、複数の通過区間Xiのそれぞれにおいてどの程度が容易であったかを示す視認容易度FZiを累積的に評価することができる。例えば、運転者が確信をもって目印対象物Zが判別できるほど視認容易度FZiが大きくないが、直近交差点までの経路内の評価区間Uの大部分において安定して視認容易度FZiが累積できる目印対象物Zについても、評価区間Uの全域における視認しやすさを視認容易度FZiの合計値Eに基づいて判断できる。すなわち、視認容易度FZiの合計値Eに基づいて目印対象物Zが判別できる程度に視認容易度FZiが累積される否かを評価できる。
ここで、推定滞在期間k/Viが長くなる通過区間Xiほど、運転者が目印対象物Zを視認する可能性が高くなる。そのため、推定滞在期間k/Viが長い通過区間Xiほど値が大きくなるように視認容易度FZiを補正することにより、運転者が目印対象物Zを視認できる期間が長い通過区間Xiにおける視認容易度FZiを重視して、直近交差点の案内に使用する目印対象物Zを選択できる。また、推定車速Viが小さい通過区間Xiほど、運転者が目印対象物Zを視認する余裕があり、運転者が目印対象物Zを視認する可能性が高くなる。そのため、推定車速Viが小さい通過区間Xiほど値が大きくなるように視認容易度FZiを補正することにより、運転者が目印対象物Zを視認する可能性が高い通過区間Xiにおける視認容易度FZiを重視して、直近交差点の案内に使用する目印対象物Zを選択できる。
さらに、選択部21dの機能により制御部20は、直近交差点までの距離が第2距離Leとなる準備地点P1を終点とする評価区間Uに属する複数の通過区間Xiの視認容易度FZiを合計した合計値Eが最も大きい目印対象物Zを選択している。これにより、直近交差点までの距離が第2距離Leとなる準備地点P1にて終了する評価区間Uにおいて、最も視認しやすい目印対象物Zを案内に使用することができる。従って、直近交差点までの距離が第2距離Leとなる準備地点P1において目印対象物Zに基づいて確実に直近交差点を認識することができ、当該第2距離Leだけ直近交差点の手前側から直近交差点での運転操作に備えることができる。
次に、図4を用いて、制御部20が視認容易度DB30bに視認容易度FZiを記録する構成について説明する。図4は、道路の平面図である。記録部21fは、交差点までの経路内の複数の撮影地点SY(黒丸)のそれぞれにて車両の前方の風景を撮影した前方画像のそれぞれについて、目印対象物Zのテンプレート画像との類似度を取得し、当該類似度に基づく視認容易度FZiを撮影地点SYに対応する通過区間Xiと目印対象物Zとに対応付けて視認容易度DB30bに記録する機能を制御部20に実行させるモジュールである。本実施形態において、記録部21fの機能により制御部20は、車両が直近交差点に接近する場合に、当該直近交差点についての評価区間U内に車両の現在位置が存在する期間において、所定の時間周期ごとにカメラ46にて車両の前方の風景を撮影する。そして、制御部20は、カメラ46から出力された前方画像を取得し、当該取得した前方画像を前方画像DB30dに蓄積する。また、制御部20は、前方画像を撮影したタイミングにおける車両の現在位置を撮影地点SYとして特定するとともに、当該撮影地点SYを対応付けてから前方画像を前方画像DB30dに蓄積する。Yは、案内地点P0から数えた撮影地点SYの番号を示す。
評価区間Uにおける車速は一定ではないため、撮影地点SY同士の間隔は一定とならない。なお、制御部20は、評価区間Uにおける所定の走行距離周期ごとに撮影地点SYを設定し、当該撮影地点SYを車両が走行するごとに前方画像を撮影してもよい。また、制御部20は、少なくとも1個の撮影地点SYが通過区間Xiのそれぞれに属するように、前方画像を撮影する時間周期または走行距離周期を設定する。また、視認容易度FZiを視認容易度DB30bに記録する場合、直近交差点は走行予定経路上の交差点でなくてもよい。
記録部21fの機能により制御部20は、目印対象物Zの候補である複数の目印候補のそれぞれのテンプレート画像を取得し、いずれかの前方画像において、テンプレート画像との類似度が閾値以上となった類似領域が検出された目印候補を目印対象物Zとして選択する。すなわち、制御部20は、テンプレートDB30eに記録された目印候補のテンプレート画像を取得し、テンプレート画像と前方画像とのテンプレートマッチングを行う。
具体的に、制御部20は、前方画像において特徴点を検出し、当該検出した特徴点の分布がテンプレート画像における特徴点の分布と類似している前方画像内の領域を類似領域として検出する。
図5Aは、"W"の文字を表す看板であって、施設の名称として"Wストア"が対応付けられた目印候補D(将来的に目印対象物Dとして選択される目印候補)についてのテンプレート画像を示す。同図に示すように、テンプレート画像における"W"の文字の輪郭の屈曲点、および、所定長さ以上の直線の中点に特徴点C(白丸)が存在している。なお、テンプレート画像は、特徴点Cの分布を示す座標情報であってもよい。制御部20は、テンプレート画像における特徴点の分布と比較する比較領域を前方画像内に設定し、当該比較領域の前方画像内の位置と大きさと角度を変化させながら、テンプレート画像(比較領域と同一の大きさに変換したテンプレート画像)における特徴点の分布との類似度を取得する。そして、制御部20は、テンプレート画像における特徴点の分布との類似度が閾値以上となる特徴点の分布を有する比較領域を類似領域として検出する。類似度とは、テンプレート画像の全特徴点のうち比較領域の特徴点と位置が一致した特徴点の数を、テンプレート画像の全特徴点の数で除算した値である。閾値は、例えば目印候補の誤認識率が所定確率以下となる値であり、閾値ごとに誤認識率を調査した結果に基づいて設定されている。また、閾値(本実施形態では0.8)は、記録媒体30に記録されている。なお、類似度は、テンプレート画像の全特徴点のうち比較領域の特徴点と位置が一致した特徴点の数であってもよい。また、テンプレート画像の特徴点の位置と比較領域の特徴点の位置とが一致するとは、テンプレート画像の特徴点の位置と比較領域の特徴点の位置とが所定の許容誤差範囲以内であることを意味する。
図4の枠H3はN番目の撮影地点SNにて撮影した前方画像を示し、図4の枠H4はM番目の撮影地点SMにて撮影した前方画像を示す。撮影地点SNにて撮影した前方画像において目印候補Dの像の一部が他の目印候補Bの像によって遮蔽されている。図5Bは、撮影地点SNにて撮影した前方画像において設定された比較領域(一点鎖線)を示す図である。図5Aに示す目印候補Dのテンプレート画像に15個の特徴点が存在するが、そのうちの12個と位置が一致する特徴点が比較領域において検出できている。この場合、類似度は12/15(=0.8)となり、閾値以上となる。従って、図5Bに示す比較領域は類似領域K(図4の枠H3の一点鎖線)として検出され、目印候補Dは目印対象物Dとして選択されることとなる。
さらに、記録部21fの機能により制御部20は、交差点の案内を行う案内地点から数えてN(Nは2以上の整数)番目の撮影地点SNにて撮影した前方画像において類似領域Kが検出された場合に、M(MはN未満の自然数)番目の撮影地点SMにて撮影した前方画像内において目印対象物Dの像が存在する領域である候補領域J(図4の枠H4の二点鎖線)を類似領域Kに基づいて推定する。N番目の撮影地点SNにて撮影した前方画像において類似領域Kが検出された場合、M番目の撮影地点SNにて撮影した前方画像においても、目印対象物Dが存在すると推定できる。そこで、制御部20は、N番目の撮影地点SNとM番目の撮影地点SNと類似領域Kとカメラ46の光学的仕様(有効センササイズ、レンズの光学倍率等)とに基づいて、M番目の撮影地点SNにて撮影した前方画像において目印対象物Dの像が存在する領域である候補領域Jを推定する。
図5Cは、候補領域Jを推定する様子を示す模式図である。まず、記録部21fの機能により制御部20は、N番目の撮影地点SNと類似領域Kとカメラ46の光学的仕様とに基づいて、実空間において目印対象物Dが存在する領域(推定領域)を推定する。本実施形態では、図5Cに示すように、N番目の撮影地点SNと直近交差点(ノードQ)を結ぶ直線に直交する鉛直平面O上に目印対象物Dが存在することとする。制御部20は、N番目の撮影地点SNとカメラ46の光学的仕様に基づいて、N番目の撮影地点SNに存在するカメラ46のセンサs(破線)のうち、類似領域Kに対応する領域b(白枠)の外縁に投影される投影光r(一点鎖線)を鉛直平面Oまで追跡する。そして、制御部20は、鉛直平面O上において投影光rによって囲まれた領域を推定領域a(太線)として推定する。さらに、制御部20は、M番目の撮影地点SMとカメラ46の光学的仕様とに基づいて、推定領域aの外縁を通過する投影光f(一点鎖線)をM番目の撮影地点SMに存在するカメラ46sのセンサまで追跡する。そして、制御部20は、カメラ46s上において投影光fによって囲まれた領域c(白枠)に対応する前方画像内の領域を候補領域Jとして推定する。
記録部21fの機能により制御部20は、M番目の撮影地点SMにて撮影した前方画像内の候補領域Jとテンプレート画像との類似度を取得し、当該類似度に基づく視認容易度FZiをM番目の撮影地点SMに対応する通過区間Xiと目印対象物Dとに対応付けて視認容易度DB30bに記録する。すなわち、制御部20は、M番目の撮影地点SMにて撮影した前方画像内の候補領域Jとテンプレート画像とのパターンマッチングを行うことにより、候補領域Jとテンプレート画像との類似度を取得する。図4の枠H4に示すように、M番目の撮影地点SMにて撮影した前方画像内の候補領域J(二点鎖線)においてパターンマッチングを行われる。図5Dに示すように、M番目の撮影地点SMにて撮影した前方画像において目印対象物Dの像は他の目印候補Bの像によって大きく遮蔽されるが、類似度(8/15)を取得することができる。以上において、類似領域Kが検出されたN番目の撮影地点SN、および、M番目の撮影地点SMについて前方画像と目印対象物Dのテンプレート画像との類似度が取得できる。本実施形態において、制御部20は、すべての撮影地点SNにて撮影した前方画像において類似領域Kの検出を試みるととともに、N番目の撮影地点SNにて撮影した前方画像において類似領域Kが検出された場合に、N番目の撮影地点SNよりも案内地点P0に近いM番目の撮影地点SMにて撮影した前方画像において候補領域Jとテンプレート画像との類似度を取得する。
そして、記録部21fの機能により制御部20は、通過区間Xiに属する撮影地点SMについて取得した類似度の平均値を取得し、当該平均値に基づく視認容易度FZiを当該通過区間Xiと目印対象物Dとに対応付けて視認容易度DB30bに記録する。図4に示すように、単一の通過区間Xiにつき複数の撮影地点SMについての類似度が取得され得るが、制御部20は、複数の撮影地点SMについての類似度を平均することにより単一の通過区間Xiにつき単一の類似度を取得する。本実施形態において、制御部20は、通過区間Xiに属する撮影地点SMについて取得した類似度の平均値をそのまま視認容易度FZiとして視認容易度DB30bに記録する。以上においては、目印候補Dを目印対象物Dとして選択する処理を例示したが、同様の処理をすべての目印候補について実行する。すなわち、制御部20は、テンプレートDB30eにテンプレート画像が記録された目印候補のそれぞれについて、前方画像における類似領域Kおよび候補領域Jに対するテンプレート画像の類似度を記録するための処理を行う。なお、いずれの撮影地点SYにおいても類似領域Kが検出できなかった目印候補は目印対象物Zとしては選択されないこととなる。ただし、制御部20は、必ずしもすべての目印候補についてテンプレートマッチングを行わなくてもよく、地図情報30aに基づいて直近交差点から所定距離以内に存在する施設を取得し、当該施設に対応する目印候補についてのみテンプレートマッチングを行うようにしてもよい。なお、記録部21fの機能により制御部20は、N番目の撮影地点SNについての処理が完了すると、類似領域Kの検出有無に拘わらず、次に交差点に近い撮影地点SY(Y=N+1)にて撮影した前方画像において類似領域Kを検出する処理を実行する。以上の処理を繰り返して実行することにより、すべての撮影地点SYについて視認容易度FZiを記録していくことができる。
以上の構成において、M番目の撮影地点SMにて撮影した前方画像のうち、目印対象物Dの像が存在する可能性が高い候補領域Jとテンプレート画像とのテンプレートマッチングを行うため、M番目の前方画像の全域においてテンプレート画像とのテンプレートマッチングを行う必要がない。従って、視認容易度FZiを視認容易度DB30bに記録する処理を効率よく行うことができる。また、目印対象物Dの像が存在する可能性が高い候補領域Jとテンプレート画像とのテンプレートマッチングにより類似度を取得できるため、精度のよい類似度を取得できる。
(2)交差点案内処理:
図6Aは、交差点案内処理のフローチャートである。交差点案内処理は、車両が走行予定経路上の交差点(直近交差点)に接近した場合に実行される処理である。具体的に、制御部20は、直近交差点の案内を開始させる案内地点P0に対して基準距離dだけ手前の位置を車両が通過した場合に交差点案内処理を開始させる(図2)。
まず、合計値取得部21cの機能により制御部20は、渋滞度を取得する(ステップS100)。すなわち、制御部20は、通信部44を介して進入道路についての渋滞情報を取得し、当該渋滞情報が示す渋滞度を取得する。次に、合計値取得部21cの機能により制御部20は、直近交差点までの経路内に設定された評価区間Uにおける複数の通過区間Xiのそれぞれについて推定車速Vi(図3E)を取得する(ステップS110)。すなわち、制御部20は、渋滞度が大きいほど予測減速完了地点を直近交差点から手前側に遠い位置に設定し、予測減速完了地点にて車速が徐行速度となる推定車速Viを取得する。
さらに、視認容易度取得部21bの機能により制御部20は、複数の通過区間Xiのそれぞれの視認容易度FZiを取得する(ステップS120)。すなわち、制御部20は、複数の通過区間Xiのそれぞれに対応付けられている視認容易度FZi(図3A〜3D)を視認容易度DB30bから取得する。そして、合計値取得部21cの機能により制御部20は、複数の通過区間Xiのそれぞれの視認容易度FZiを補正する(ステップS130)。すなわち、制御部20は、通過区間Xiの長さkを推定車速Viで除算することにより、通過区間Xiにおける車両の推定滞在期間k/Vi(図3F)を取得し、当該推定滞在期間k/Viを視認容易度FZiに乗じることにより、補正後の視認容易度kFZi/Viを取得する。つまり、合計値取得部21cの機能により制御部20は、複数の通過区間Xiのそれぞれにおける車両の推定滞在期間k/Viを取得し、推定滞在期間k/Viが長い通過区間Xiほど値が大きくなるように視認容易度FZiを補正する。
次に、合計値取得部21cの機能により制御部20は、複数の通過区間Xiのそれぞれの補正後における視認容易度kFZi/Viの合計値E(図3G)を取得する(ステップS140)。すなわち、合計値取得部21cの機能により制御部20は、直近交差点までの距離が第2距離Leとなる準備地点P1を終点とする評価区間Uに属する複数の通過区間Xiのそれぞれにおける補正後の視認容易度kFZi/Viを合計した合計値Eを取得する。
さらに、選択部21dの機能により制御部20は、補正後の視認容易度kFZi/Viの合計値Eが最も大きい目印対象物Zを直近交差点の案内に使用する目印対象物Zとして選択する(ステップS150)。そして、案内制御部21eの機能により制御部20は、選択した目印対象物Zを使用した直近交差点の案内をユーザI/F部45に実行させる(ステップS160)。本実施形態において、制御部20は、交差点を走行した直後に車両が走行すべき走行予定経路上の退出道路が存在する退出方向を案内する音声とともに、選択した目印対象物Zの名称を読み上げた音声をユーザI/F部45に出力させる。なお、図2の基準距離dは、ステップS100〜S150の所要期間において車両が走行する距離よりも長く設定されればよい。
(3)視認容易度記録処理:
図6Bは、視認容易度記録処理のフローチャートである。視認容易度記録処理は、前方画像の撮影と並行して実行されてもよいし、前方画像DB30dに前方画像が蓄積された以降に実行されてもよい。本実施形態では、評価区間Uにおける複数の撮影地点SYのそれぞれにて撮影した前方画像が予め前方画像DB30dに蓄積されていることとする。また、視認容易度記録処理は、目印対象物Zの候補となる目印候補ごとに実行される処理であり、ある目印候補について視認容易度記録処理が終了すると次の目印候補についての視認容易度記録処理を開始させる。すべての目印候補(テンプレートDB30eにテンプレート画像が記録されたすべての目印候補)について視認容易度記録処理が完了すると、単一の直近交差点について視認容易度FZiの記録が完了することとなる。
まず、ステップS200において、記録部21fの機能により制御部20は、N番目の撮影地点SNにて撮影した前方画像にてテンプレートマッチングを行う(ステップS200)。すなわち、制御部20は、テンプレートDB30eに記録された目印候補のテンプレート画像を取得し、テンプレート画像と前方画像とのテンプレートマッチングを行う。具体的に、制御部20は、目印候補のテンプレート画像における特徴点の分布と比較する比較領域をN番目の撮影地点SNにて撮影した前方画像内に設定し、当該比較領域の前方画像内の位置と大きさと角度を変化させながら、テンプレート画像における特徴点の分布と、比較領域における特徴点の分布とを比較する。なお、Nは視認容易度記録処理を開始する段階で1にリセットされている。
次に、記録部21fの機能により制御部20は、N番目の撮影地点SNにて撮影した前方画像において類似領域Kが検出されたか否かを判定する(ステップS205)。すなわち、制御部20は、N番目の撮影地点SNにて撮影した前方画像において、目印候補のテンプレート画像との類似度が閾値以上となる比較領域(類似領域K)が検出されたか否かを判定する。類似度とは、目印候補のテンプレート画像の特徴点のうち比較領域の特徴点と位置が一致した特徴点の数を、テンプレート画像の全特徴点の数で除算した値である。
N番目の撮影地点SNにて撮影した前方画像において類似領域Kが検出されたと判定された場合(ステップS205:Y)、制御部20は、目印候補のテンプレート画像と類似領域Kとの類似度をN番目の撮影地点SNと対応付けて記録媒体30に記録する(ステップS220)。なお、制御部20は、N番目の撮影地点SNにて撮影した前方画像において類似領域Kが検出された目印候補を目印対象物Zとして選択する。目印対象物Zのテンプレート画像と類似領域Kとの類似度を記録すると、制御部20は、ステップS225以降の処理を実行するが、ステップS225以降の処理については後述することとする。
一方、N番目の撮影地点SNにて撮影した前方画像において類似領域Kが検出されたと判定されなかった場合(ステップS205:N)、制御部20は、Nに1を加算する(ステップS210)。すなわち、次に直近交差点に近い撮影地点SNを処理対象とする。そして、制御部20は、N番目の撮影地点SNが評価区間U内において最も直近交差点に近い撮影地点SYであるか否かを判定する(ステップS215)。N番目の撮影地点SNが評価区間U内において最も直近交差点に近い撮影地点SYであると判定しなかった場合(ステップS215:N)、制御部20は、処理の最初(ステップS200)にリターンする。すなわち、N番目の撮影地点SNにて撮影された前方画像において類似領域Kを検出し、類似領域Kが検出された場合には類似度を記録媒体30に記録する処理を繰り返して実行する。
以上の処理(ステップS200〜S220)を実行することにより、制御部20は、案内地点P0に近い撮影地点SYにて撮影された前方画像の順に類似領域Kを検出し、類似領域Kが検出された場合には類似度を記録媒体30に記録していくことができる。
Figure 2014089140
表1は、記録媒体30に記録された類似度の一例を示す表である。前方画像における目印対象物Zの像は、撮影地点SYが直近交差点に近くなるほど大きくなり、他の地物に遮蔽される可能性も低くなる。従って、ある撮影地点SYよりも直近交差点に近い範囲に属する撮影地点SYにて撮影した前方画像について連続して類似領域Kが検出され、ステップS220にて連続して類似度が記録される場合が多い(表1の例1)。また、ある撮影地点SYについて閾値と同等の類似度が記録され、直近交差点に近い撮影地点SYほど大きい類似度がステップS220にて記録される場合が多い。ただし、一時的に目印対象物Zの像が遮蔽される場合等には、ステップS220にて類似度が記録される撮影地点SYが不連続となる場合もある(表1の例2)。
ところで、ステップS200〜S220の処理だけでは、ステップS220にて閾値以上の類似度しか記録することができない。そこで、制御部20は、N番目の撮影地点SNについて目印対象物Zのテンプレート画像と類似領域Kとの類似度を記録すると(ステップS220)、ステップS225以降の処理を実行する。まず、制御部20は、Mに(N−1)を設定する(ステップS225)。すなわち、制御部20は、類似領域Kが検出された前方画像を撮影した撮影地点SNよりも案内地点P0に近く、かつ、当該撮影地点SNの次に直近交差点に近い撮影地点SMを処理対象として選択する。
次に、記録部21fの機能により制御部20は、M番目の撮影地点SMにて撮影した前方画像において類似領域Kが検出されたか否かを判定する(ステップS230)。ここで、MはNよりも小さいため、N番目の撮影地点SNにて撮影した前方画像よりも先に、M番目の撮影地点SMにて撮影した前方画像において類似領域Kが検出されたか否かが判定されていることとなる(ステップS205)。そして、M番目の撮影地点SMにて撮影した前方画像においても類似領域Kが検出されていれば、M番目の撮影地点SMについてすでにステップS220にて類似度が記録されていることとなる。
M番目の撮影地点SMにて撮影した前方画像において類似領域Kが検出されたと判定した場合(ステップS230:Y)、記録部21fの機能により制御部20は、ステップS210にてNに1を加算する。すなわち、制御部20は、M番目の撮影地点SMについて新たに類似度を記録する必要がないとして、N番目の撮影地点SNよりも直近交差点に近く、かつ、当該撮影地点SNの次に案内地点P0に近い撮影地点SYについて類似度を記録する処理へと移行する。なお、ステップS225にてM=0となった場合、制御部20は、ステップS230をスキップし、そのままステップS210にてNに1を加算する。
M番目の撮影地点SMにて撮影した前方画像において類似領域Kが検出されたと判定しなかった場合(ステップS230:N)、記録部21fの機能により制御部20は、M番目の撮影地点SMにて撮影した前方画像内にて候補領域Jを推定する(ステップS235)。すなわち、制御部20は、N番目の撮影地点SNとM番目の撮影地点SNと類似領域Kとカメラ46の光学的仕様とに基づいて、M番目の撮影地点SNに目印対象物Dの像が存在する領域である候補領域Jを推定する(図5C)。
次に、記録部21fの機能により制御部20は、M番目の撮影地点SMにて撮影した前方画像内において候補領域Jと目印対象物Zのテンプレート画像との類似度を取得する(ステップS240)。すなわち、制御部20は、M番目の撮影地点SMにて撮影した前方画像内の候補領域Jとテンプレート画像とのパターンマッチングを行うことにより、候補領域Jとテンプレート画像との類似度を取得する。
さらに、記録部21fの機能により制御部20は、目印対象物Zのテンプレート画像と候補領域Jとの類似度をM番目の撮影地点SMと対応付けて記録媒体30に記録する(ステップS245)。視認容易度記録処理においては、ステップS220とステップS245との双方において類似度が記録媒体30に記録されるが、表1に示すようにステップS220では閾値以上の類似度が記録されるのに対して、ステップS245では閾値未満の類似度が記録されることとなる。
次に、制御部20は、Mが1であるか否かを判定する(ステップS250)。すなわち、目印対象物Zのテンプレート画像と候補領域Jとの類似度を記録した撮影地点SMが直近交差点の案内を開始させる案内地点P0に最も近い撮影地点S1であったか否かを判定する。Mが1であると判定しなかった場合(ステップS250:N)、制御部20は、Mから1を減算する(ステップS255)。そして、制御部20は、ステップS230に戻る。すなわち、制御部20は、候補領域Jとの類似度を記録したM番目の撮影地点SMよりも案内地点P0に近く、かつ、当該撮影地点SMの次に直近交差点に近い撮影地点SYについて類似度を記録する処理へと移行する。一方、Mが1であると判定した場合(ステップS250:Y)、制御部20は、ステップS210にてNに1を加算する。
以上の処理(ステップS225〜S255)を実行することにより、制御部20は、類似領域Kが検出された撮影地点SYよりも案内地点P0に近い範囲において、直近交差点に近い順に処理対象の撮影地点SYを選択していき、当該選択した撮影地点SYにて撮影された前方画像内の候補領域Jと目印対象物Zのテンプレート画像との類似度をステップS245にて記録媒体30に記録していくことができる。従って、表1に示すように、目印対象物Zのテンプレート画像との類似度が閾値以上の類似領域Kが検出できなかった撮影地点SYについても、閾値の類似度を直近交差点に近い順に記録していくことができる。そして、案内地点P0に最も近い撮影地点S1について類似度を記録した場合(ステップS250:Y)、および、類似領域Kが検出された前方画像が撮影された撮影地点SMまでMがデクリメントされた場合(ステップS230:Y)に、N番目の撮影地点SNにて撮影した前方画像にて類似領域Kを検出する処理(ステップS200〜S220)に戻る。
以上のようにして、記録媒体30に類似度を記録する処理を繰り返して実行し、最終的に、N番目の撮影地点SNが評価区間U内において最も直近交差点に近い撮影地点SYであると判定した場合(ステップS215:Y)、記録部21fの機能により制御部20は、通過区間Xiごとに類似度を平均した視認容易度FZiを視認容易度DB30bに記録する(ステップS260)。すなわち、制御部20は、通過区間Xiに属する撮影地点SMについて取得した類似度の平均値を取得し、当該平均値を視認容易度FZiとして当該通過区間Xiと目印対象物Dとに対応付けて視認容易度DB30bに記録する。
(3)他の実施形態:
選択部21dの機能により制御部20は、直近交差点の案内を行う案内地点P0から直近交差点までに存在する通過区間Xiについて、案内地点P0に近い順に視認容易度FZiを合計した合計値Eを取得し、当該合計値Eが閾値以上となる通過区間Xiが案内地点P0に最も近い目印対象物Zを直近交差点の案内に使用する目印対象物Zとして選択してもよい。図3Gの場合、合計値Eが閾値E1となる通過区間Xiが最も案内地点P0に近い目印対象物Zは、目印対象物Bであり、目印対象物Bが直近交差点の案内に使用されることとなる。これにより、案内地点P0に最も近い通過区間Xi、すなわち直近交差点から手前側に最も遠い通過区間Xiにて、判別できる目印対象物Zを案内に使用できる。従って、直近交差点での運転操作に備える距離を長く確保することができる。なお、閾値E1は、目印対象物Zが何であるかを運転者が判別できる合計値Eであり、実験に基づいて設定されている。閾値E1は、記録媒体30に記録されている。なお、すべての通過区間Xiについての視認容易度kFZi/Viを合計した合計値Eが閾値E1に満たない目印対象物Zは、合計値Eが閾値以上となる通過区間Xiが案内地点P0から最も遠い目印対象物Zとなり、直近交差点の案内に使用する目印対象物Zとして選択されない。
さらに、選択部21dの機能により制御部20は、視認容易度FZiの合計値Eが閾値以上の目印対象物Zのうち所定の条件を満足する目印対象物Zを選択してもよい。所定の条件とは、例えば目印対象物Zの知名度が最も大きいことであってもよいし、目印対象物Zが直近交差点に最も近いことであってもよいし、目印対象物Zが直近交差点における走行予定経路上の退出方向側に存在することであってもよい。
また、視認容易度DB30bにおいて、視認容易度FZiは、所定の長さkを有する通過区間Xiごとに記録されなくてもよく、交差点までの経路上の通過地点ごとに記録されてもよい。例えば、記録部21fの機能により制御部20は、撮影地点SYのそれぞれについて取得した類似度をそのまま視認容易度FZiとし、当該視認容易度FZiを通過地点としての撮影地点SYに対応付けて視認容易度DB30bに記録してもよい。この場合、選択部21dの機能により制御部20は、通過地点としての撮影地点SYについての視認容易度FZiを合計した合計値Eに基づいて、直近交差点の案内に使用する目印対象物Zを選択すればよい。図4の場合、前方画像は所定の時間周期ごとに撮影されるため、車速が小さくなる区間ほど撮影地点SYの密度が高くなる。従って、合計値取得部21cの機能により制御部20は、視認容易度FZiを補正することなく単純に視認容易度FZiを合計することにより、車速が小さくなる区間における視認容易度FZiを重視した合計値Eを得ることができる。また、制御部20は、直近交差点までの全経路について視認容易度FZiを取得し、当該全経路について視認容易度FZiを合計した合計値Eに基づいて、直近交差点の案内に使用する目印対象物Zを選択してもよい。すなわち、通過区間Xiは、直近交差点までの全経路において設定されてもよい。
さらに、合計値取得部21cの機能により制御部20は、複数の通過区間Xiのそれぞれにおける車両の推定滞在期間を取得し、推定滞在期間が長い通過区間Xiほど値が大きくなるように視認容易度FZiを補正すればよく、必ずしも推定滞在期間は車速Viに基づいて特定されなくてもよい。例えば、制御部20は、過去における滞在期間を通過区間Xiごとに記録した履歴情報に基づいて、推定滞在期間を取得してもよい。また、一般に道路が混雑するほど直近交差点から近い通過区間Xiでの滞在期間が長くなるため、道路の混雑度に応じて履歴情報に基づく推定滞在期間を補正してもよい。さらに、直近交差点から近い通過区間Xiでの滞在期間は交差点に備えられた信号機の状態に依存するため、信号機の状態に応じて履歴情報に基づく推定滞在期間を補正してもよい。
さらに、視認容易度DB30bはナビゲーション装置10において作成されなくてもよく、通信や記録媒体を介してナビゲーション装置10から前方画像を取得可能なサーバにおいて視認容易度DB30bが作成されてもよい。そして、ナビゲーション装置10は、サーバにて作成された視認容易度DB30bを通信や記録媒体を介して取得すればよい。また、制御部20は、目印対象物Zを使用して交差点の案内する画像をユーザI/F部45のディスプレイに表示させてもよい。例えば、制御部20は、カメラ46にて撮影した前方画像をディスプレイに表示させるとともに、当該前方画像上において直近交差点についての案内画像と目印対象物Zの像とを接続する画像を重畳するようにしてもよい。
10…ナビゲーション装置、20…制御部、21…交差点案内プログラム、21a…目印対象物取得部、21b…視認容易度取得部、21c…合計値取得部、21d…選択部、21e…案内制御部、21f…記録部、30…記録媒体、30a…地図情報、30b…視認容易度DB、30c…名称DB、30d…前方画像DB、30e…テンプレートDB、41…GPS受信部、42…車速センサ、43…ジャイロセンサ、44…通信部、45…ユーザI/F部、46…カメラ、Z…目印対象物、E…合計値、FZi…視認容易度、J…候補領域、K…類似領域、P0…案内地点、Xi…通過区間。

Claims (10)

  1. 交差点の目印となる複数の目印対象物を取得する目印対象物取得手段と、
    前記交差点までの経路内の複数の通過地点のそれぞれについて、当該通過地点から前記目印対象物を視認した場合の視認しやすさを示す視認容易度を取得する視認容易度取得手段と、
    複数の前記目印対象物のそれぞれについて、複数の前記通過地点それぞれにおける前記視認容易度の合計値を取得する合計値取得手段と、
    前記合計値に基づいて、複数の前記目印対象物のなかから前記交差点の案内に使用する前記目印対象物を選択する選択手段と、
    を備える交差点案内システム。
  2. 前記合計値取得手段は、複数の前記通過地点のそれぞれにおける車両の推定滞在期間を取得し、
    前記推定滞在期間が長い前記通過地点ほど値が大きくなるように前記視認容易度を補正し、当該補正した前記視認容易度の前記合計値を複数の前記目印対象物のそれぞれについて取得する、
    請求項1に記載の交差点案内システム。
  3. 前記合計値取得手段は、複数の前記通過地点のそれぞれにおける車両の推定車速を取得し、
    前記推定車速が小さい前記通過地点ほど値が大きくなるように前記視認容易度を補正し、当該補正した前記視認容易度の前記合計値を複数の前記目印対象物のそれぞれについて取得する、
    請求項1または請求項2のいずれかに記載の交差点案内システム。
  4. 前記合計値取得手段は、前記交差点までの距離が所定距離となる地点を終点とする前記交差点から遠い側の区間である評価区間に属する複数の前記通過地点のそれぞれの前記視認容易度を合計した前記合計値を取得し、
    前記選択手段は、前記合計値が最も大きい前記目印対象物を前記交差点の案内に使用する前記目印対象物として選択する、
    請求項1から請求項3のいずれか一項に記載の交差点案内システム。
  5. 前記選択手段は、前記交差点の案内を行う案内地点から前記交差点までに存在する前記通過地点について、前記案内地点に近い順に前記視認容易度を合計した前記合計値を取得し、当該合計値が閾値以上となる前記通過地点が前記案内地点に最も近い前記目印対象物を前記交差点の案内に使用する前記目印対象物として選択する、
    請求項1から請求項3のいずれか一項に記載の交差点案内システム。
  6. 前記経路内の複数の撮影地点のそれぞれにて車両の前方の風景を撮影した前方画像のそれぞれについて、前記目印対象物のテンプレート画像との類似度を取得し、当該類似度に基づく前記視認容易度を前記撮影地点に対応する前記通過地点と前記目印対象物とに対応付けてデータベースに記録する記録手段を備え、
    前記視認容易度取得手段は、前記データベースから前記視認容易度を取得する、
    請求項1から請求項5のいずれか一項に記載の交差点案内システム。
  7. 前記記録手段は、前記目印対象物の候補である複数の目印候補のそれぞれの前記テンプレート画像を取得し、
    いずれかの前記前方画像において、前記テンプレート画像との前記類似度が閾値以上となった類似領域が検出された前記目印候補を前記目印対象物として選択し、
    前記交差点の案内を行う案内地点から数えてN(Nは2以上の整数)番目の前記撮影地点にて撮影した前記前方画像において前記類似領域が検出された場合に、M(MはN未満の自然数)番目の前記撮影地点にて撮影した前記前方画像内において前記目印対象物の像が存在する領域である候補領域を前記類似領域に基づいて推定し、
    M番目の前記地点にて撮影した前記前方画像内の前記候補領域と前記テンプレート画像との前記類似度を取得し、当該類似度に基づく前記視認容易度をM番目の前記撮影地点に対応する前記通過地点と前記目印対象物とに対応付けて前記データベースに記録する、
    請求項6に記載の交差点案内システム。
  8. 前記通過地点は前記経路上において所定の長さを有する区間であるとともに、
    前記記録手段は、複数の前記撮影地点のそれぞれにて撮影した前記前方画像のそれぞれについて、前記目印対象物の前記テンプレート画像との前記類似度を取得するとともに、
    前記区間に属する前記撮影地点について取得した前記類似度の平均値を取得し、当該平均値に基づく前記視認容易度を当該区間と前記目印対象物とに対応付けて前記データベースに記録する、
    請求項6または請求項7のいずれかに記載の交差点案内システム。
  9. 交差点の目印となる複数の目印対象物を取得する目印対象物取得工程と、
    前記交差点までの経路内の複数の通過地点のそれぞれについて、当該通過地点から前記目印対象物を視認した場合の視認しやすさを示す視認容易度を取得する視認容易度取得工程と、
    複数の前記目印対象物のそれぞれについて、複数の前記通過地点それぞれにおける前記視認容易度の合計値を取得する合計値取得工程と、
    前記合計値に基づいて、複数の前記目印対象物のなかから前記交差点の案内に使用する前記目印対象物を選択する選択工程と、
    を含む交差点案内方法。
  10. 交差点の目印となる複数の目印対象物を取得する目印対象物取得機能と、
    前記交差点までの経路内の複数の通過地点のそれぞれについて、当該通過地点から前記目印対象物を視認した場合の視認しやすさを示す視認容易度を取得する視認容易度取得機能と、
    複数の前記目印対象物のそれぞれについて、複数の前記通過地点それぞれにおける前記視認容易度の合計値を取得する合計値取得機能と、
    前記合計値に基づいて、複数の前記目印対象物のなかから前記交差点の案内に使用する前記目印対象物を選択する選択機能と、
    をコンピュータに実行させる交差点案内プログラム。
JP2012240029A 2012-10-31 2012-10-31 交差点案内システム、方法およびプログラム Expired - Fee Related JP5935661B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012240029A JP5935661B2 (ja) 2012-10-31 2012-10-31 交差点案内システム、方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012240029A JP5935661B2 (ja) 2012-10-31 2012-10-31 交差点案内システム、方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2014089140A true JP2014089140A (ja) 2014-05-15
JP5935661B2 JP5935661B2 (ja) 2016-06-15

Family

ID=50791146

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012240029A Expired - Fee Related JP5935661B2 (ja) 2012-10-31 2012-10-31 交差点案内システム、方法およびプログラム

Country Status (1)

Country Link
JP (1) JP5935661B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020030119A (ja) * 2018-08-23 2020-02-27 アイシン・エィ・ダブリュ株式会社 経路案内システムおよび経路案内プログラム
WO2021070238A1 (ja) * 2019-10-08 2021-04-15 三菱電機株式会社 地図表示制御装置および地図表示制御方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009146115A (ja) * 2007-12-13 2009-07-02 Honda Motor Co Ltd 車両の走行安全装置
JP2010286340A (ja) * 2009-06-11 2010-12-24 Alpine Electronics Inc 交差点案内情報作成装置
JP2012168114A (ja) * 2011-02-16 2012-09-06 Aisin Aw Co Ltd 案内装置、案内方法、および、案内プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009146115A (ja) * 2007-12-13 2009-07-02 Honda Motor Co Ltd 車両の走行安全装置
JP2010286340A (ja) * 2009-06-11 2010-12-24 Alpine Electronics Inc 交差点案内情報作成装置
JP2012168114A (ja) * 2011-02-16 2012-09-06 Aisin Aw Co Ltd 案内装置、案内方法、および、案内プログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020030119A (ja) * 2018-08-23 2020-02-27 アイシン・エィ・ダブリュ株式会社 経路案内システムおよび経路案内プログラム
JP7145007B2 (ja) 2018-08-23 2022-09-30 株式会社アイシン 経路案内システムおよび経路案内プログラム
WO2021070238A1 (ja) * 2019-10-08 2021-04-15 三菱電機株式会社 地図表示制御装置および地図表示制御方法
JPWO2021070238A1 (ja) * 2019-10-08 2021-04-15
JP7275294B2 (ja) 2019-10-08 2023-05-17 三菱電機株式会社 地図表示制御装置および地図表示制御方法

Also Published As

Publication number Publication date
JP5935661B2 (ja) 2016-06-15

Similar Documents

Publication Publication Date Title
US10204277B2 (en) Electronic device, traveling lane identifying system, and traveling lane identifying method
JP4506790B2 (ja) 道路情報生成装置、道路情報生成方法および道路情報生成プログラム
EP3496033A1 (en) Travel assistance device and computer program
JP6802035B2 (ja) 画像処理装置、警告装置、画像処理システム、画像処理方法
JP5625987B2 (ja) 案内装置、案内方法、および、案内プログラム
US7751970B2 (en) Information providing apparatus, information providing method, and computer product
JP6323074B2 (ja) 表示物情報表示装置
JP4677981B2 (ja) 自車位置特定方法及び自車位置特定装置
JP5565203B2 (ja) 交差点情報取得装置、交差点情報取得方法及びコンピュータプログラム
JP2005004442A (ja) 走行車線判別装置
CN110998684A (zh) 图像收集系统、图像收集方法、图像收集装置、记录介质、以及车辆用通信装置
JP5026237B2 (ja) ナビゲーション装置
JP5203747B2 (ja) ナビゲーション装置
JP5935661B2 (ja) 交差点案内システム、方法およびプログラム
US20220169257A1 (en) Display control device, display control method, and storage medium storing display control program
JPH10300494A (ja) 車輌位置検出装置および方法ならびに経路案内装置および方法
JP5067847B2 (ja) 車線認識装置及びナビゲーション装置
JP2005293479A (ja) 物体危険判定装置
JP5915155B2 (ja) レーン案内表示システム、方法およびプログラム
JP2017096635A (ja) 目的地設定システム、方法およびプログラム
JP2012159373A (ja) データ管理システム、データ管理方法、及びデータ管理プログラム
JP5549468B2 (ja) 地物位置取得装置、方法およびプログラム
JP2011174723A (ja) 案内誘導装置及び案内誘導方法
JP2008076366A (ja) ナビゲーション装置、ナビゲーション方法、及びナビゲーションプログラム
JP2007193652A (ja) ナビゲーション装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150320

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160105

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160302

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160425

R150 Certificate of patent or registration of utility model

Ref document number: 5935661

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees