JP2009245265A - 地図表示装置及び地図表示プログラム、並びにこれを用いたナビゲーション装置 - Google Patents

地図表示装置及び地図表示プログラム、並びにこれを用いたナビゲーション装置 Download PDF

Info

Publication number
JP2009245265A
JP2009245265A JP2008092448A JP2008092448A JP2009245265A JP 2009245265 A JP2009245265 A JP 2009245265A JP 2008092448 A JP2008092448 A JP 2008092448A JP 2008092448 A JP2008092448 A JP 2008092448A JP 2009245265 A JP2009245265 A JP 2009245265A
Authority
JP
Japan
Prior art keywords
information
drawing target
image
map
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008092448A
Other languages
English (en)
Other versions
JP5019129B2 (ja
Inventor
Takashi Ogawa
剛史 小川
Yuji Kawachi
裕司 河内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Original Assignee
Aisin AW Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd filed Critical Aisin AW Co Ltd
Priority to JP2008092448A priority Critical patent/JP5019129B2/ja
Publication of JP2009245265A publication Critical patent/JP2009245265A/ja
Application granted granted Critical
Publication of JP5019129B2 publication Critical patent/JP5019129B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】複数のプロセッサコアを効率的に使用して画像表示が完了するまでの処理時間を短縮させ、応答性に優れた地図表示装置及びナビゲーション装置を提供する。
【解決手段】情報の演算処理を行うプロセッサコア3を複数有する地図表示装置であって、地図表示に際しての描画対象毎に分けられた複数の描画対象情報を取得する描画対象情報取得手段と、複数のプロセッサコア3を用いて描画対象情報を処理して描画対象毎の描画画像を生成する描画画像生成手段と、描画対象毎の描画画像を合成して一つの表示画像を生成する表示画像生成手段と、表示画像を表示する表示手段と、描画画像生成手段による描画画像の生成に際して、それぞれのプロセッサコア3が演算処理を行うデータ量を均等にするように、複数の描画対象情報をそれぞれのプロセッサコア3に割り当てるデータ量調整手段と、を備える。
【選択図】図5

Description

本発明は、情報の演算処理を行うプロセッサコアを複数有する地図表示装置及び当該地図表示装置における地図表示プログラム、並びにこれを用いたナビゲーション装置に関する。
地図表示を伴う処理を実行するナビゲーション装置においては、近年、高性能化が著しく、例えば、道路周辺に存在する各種の施設や案内標識等をも含む、現実の道路状況を忠実に再現した高精度な地図(特に、三次元グラフィックス表示を伴う地図)がユーザに対して提供されるようになってきている。表示される地図が高精度なものになるにつれて、地図を表示するためのデータ量も膨大となるため、そのような膨大な情報を処理するためのプロセッサコアにも更なる高性能化が求められてきている。
このようなプロセッサコアの高性能化の要求に応えるため、プロセッサコアの動作周波数を増大させることにより動作速度の高速化を図ることが従来から行われてきている。しかし、プロセッサコアの動作周波数が高くなればなるほどそれに伴う消費電力も増大するため、プロセッサコアの正常動作を確保するためはより大きな冷却力が必要となり、動作周波数を増大させるのにも限界がある。よって、処理すべき情報量次第では、動作周波数を増大させることによってでは表示画像を表示させるまでの処理時間が長くなってしまう場合があるという問題があった。
そこで、プロセッサコアの動作周波数の増大に頼ることなく、膨大な情報を処理し得る技術が求められている。例えば、ナビゲーション装置に複数のプロセッサコアを搭載し、ナビゲーションに伴う各種の処理を各プロセッサコアで分散させて実行させることも考えられている。しかし現状では、複数のプロセッサコアを搭載したナビゲーション装置を開示した文献としては、以下の特許文献1が挙げられる程度である。
特開2007−241376号公報(段落0043及び図15)
しかし、特許文献1に記載されたナビゲーション装置では、一のプロセッサコアが主にナビゲーション動作の制御を実行し、他のプロセッサコアがオーディオ関係の制御を実行するように構成されているだけである。よって、ナビゲーションに伴う処理に関して見れば、複数のプロセッサコアを用いて、処理対象となる情報を具体的にどのように分散させて一つの処理を実行するかについては、何ら開示されてはいない。
本発明は、上記課題に鑑みてなされたものであり、複数のプロセッサコアを効率的に使用することにより、画像表示が完了するまでの処理時間を全体として短縮させ、応答性に優れた地図表示装置及びナビゲーション装置を提供することを目的とする。また、応答性に優れた地図表示を実現することができる地図表示プログラムを提供することを目的とする。
この目的を達成するための、本発明に係る情報の演算処理を行うプロセッサコアを複数有する地図表示装置の特徴構成は、地図表示に際しての描画対象毎に分けられた複数の描画対象情報を取得する描画対象情報取得手段と、複数の前記プロセッサコアを用いて前記描画対象情報を処理して前記描画対象毎の描画画像を生成する描画画像生成手段と、前記描画対象毎の前記描画画像を合成して一つの表示画像を生成する表示画像生成手段と、前記表示画像を表示する表示手段と、前記描画画像生成手段による前記描画画像の生成に際して、それぞれの前記プロセッサコアが演算処理を行うデータ量を均等にするように、複数の前記描画対象情報をそれぞれの前記プロセッサコアに割り当てるデータ量調整手段と、を備えた点にある。
上記の特徴構成によれば、地図表示に際しての描画対象毎に分けられた複数の描画対象情報を、複数のプロセッサコアを用いて処理して描画対象毎の描画画像を生成し、これらを合成して生成する一つの表示画像を表示する地図表示処理において、データ量調整手段が、それぞれのプロセッサコアが演算処理を行うデータ量を均等にするように、複数の描画対象情報をそれぞれのプロセッサコアに割り当てる。描画画像を生成するに際しての処理時間は、それぞれのプロセッサコアに割り当てられるデータ量に比例するため、上記の構成を採用することにより、それぞれのプロセッサコアの処理時間を均等化することができる。よって、地図表示が完了するまでの処理時間を全体として短縮することができる。したがって、応答性に優れた地図表示装置を提供することができる。
ここで、前記データ量調整手段は、データ量が最大となる前記プロセッサコアとデータ量が最小となる前記プロセッサコアとの間のデータ量の差を最小とするように、前記描画対象情報をそれぞれの前記プロセッサコアに割り当てると好適である。
この構成によれば、それぞれのプロセッサコアに割り当てられるデータ量のばらつきを最も小さくすことができるので、それぞれのプロセッサコアの処理時間のばらつきを最も小さくすることができる。よって、それぞれのプロセッサコアに描画対象情報を割り当てる複数の組み合わせの中で、最短の処理時間で地図表示を完了させることができる。
ここで、前記描画対象毎に生成される複数の前記描画画像のうちの一部を統合して統合画像を生成する統合画像生成手段を備え、前記表示画像生成手段は、前記統合画像と、前記描画対象毎の前記描画画像及び他の前記統合画像のいずれか一つ以上とを合成して前記表示画像を生成すると好適である。
この構成によれば、表示画像生成手段が描画対象毎の描画画像を合成して一つの表示画像を生成するのに先立ち、統合画像生成手段が描画画像のうちの一部を統合して統合画像を生成する。ここで、表示画像が生成される前の描画対象毎の描画画像は、表示画像の描画効率を向上させる目的で、地図表示装置が備えるメモリ上に専用に確保された所定の領域にそれぞれ一時的に格納される。そこで、上記の構成を採用して、描画画像のうちの一部を統合してメモリに格納するべき描画画像の数を減少させることで、メモリ上に専用に確保する領域の大きさを小さく抑えることができる。
ここで、前記統合画像生成手段は、前記描画対象毎の前記描画画像のうち、先に描画処理が終了する前記プロセッサコアにより生成される前記描画画像を統合すると好適である。
この構成によれば、未だ描画処理が終了していないプロセッサコアにおける当該描画処理と並行して、先に描画処理が終了したプロセッサコアにより生成された描画画像を統合する処理を実行することができる。したがって、一部の描画画像を統合する処理を介して表示画像を生成する場合において、地図表示が完了するまでの処理時間を全体として短縮することができる。
ここで、前記表示画像生成手段は、前記描画対象毎の前記描画画像を重ね合わせる順序に関する制約条件に従って、前記描画画像を重ね合わせて前記表示画像を生成し、前記データ量調整手段は、前記制約条件を満たす順序での前記描画画像の重ね合わせを可能とするように前記描画対象情報をそれぞれの前記プロセッサコアに割り当てると好適である。
この構成によれば、表示画像の生成に先行して統合画像が生成される場合においても、描画画像の重ね合わせ順序に関して、最終的に生成される表示画像が所定の条件を満たすことを可能とすることができる。よって、必要な情報を適切に表示させる表示画像を生成することができる。
この場合において、前記制約条件とは、一の描画対象の描画画像の上に、他の描画対象の描画画像が重ねられて必要な情報が隠れることを規制する条件となる。
本発明に係るナビゲーション装置の特徴構成は、これまで説明してきたような地図表示装置を備えた点にある。
この構成によれば、これまで説明してきたような地図表示装置のメリットを生かして、少なくとも地図表示に際して、応答性に優れたナビゲーション装置を提供することができる。
ここで、背景情報、道路情報及び名称情報を含んで構成される地図情報を記憶した地図情報記憶手段と、目的地までの案内経路を探索して、案内経路情報を生成する案内経路探索手段と、を備え、前記描画対象情報取得手段は、少なくとも前記背景情報、前記道路情報、前記名称情報及び前記案内経路情報を前記描画対象情報として取得すると好適である。
この構成によれば、少なくとも、地図情報記憶手段に記憶される地図情報を構成する背景情報、道路情報及び名称情報と、案内経路探索手段により生成される案内経路情報とが描画対象情報として取得されるので、適切に画像表示を伴う経路案内を行うことが可能で、かつ、応答性に優れたナビゲーション装置を提供することができる。
本発明に係る情報の演算処理を行うプロセッサコアを複数有する地図表示装置における地図表示プログラムの特徴構成は、地図情報を構成する描画対象毎に分けられた複数の描画対象情報を取得する描画対象情報取得ステップと、複数の前記プロセッサコアを用いて前記描画対象情報を処理して前記描画対象毎の描画画像を生成する描画画像生成ステップと、前記描画対象毎の前記描画画像を合成して一つの表示画像を生成する表示画像生成ステップと、前記表示画像を表示する表示ステップと、前記描画画像生成ステップによる前記描画画像の生成に際して、それぞれの前記プロセッサコアが演算処理を行うデータ量を均等にするように、複数の前記描画対象情報をそれぞれの前記プロセッサコアに割り当てるデータ量調整ステップと、をコンピュータに実行させる点にある。
この特徴構成によれば、地図表示に際しての描画対象毎に分けられた複数の描画対象情報を、複数のプロセッサコアを用いて処理して描画対象毎の描画画像を生成し、これらを合成して生成する一つの表示画像を表示する地図表示処理において、データ量調整ステップにおいて、それぞれのプロセッサコアが演算処理を行うデータ量を均等にするように、複数の描画対象情報をそれぞれのプロセッサコアに割り当てる。描画画像を生成するに際しての処理時間は、それぞれのプロセッサコアに割り当てられるデータ量に比例するため、上記の構成を採用することにより、それぞれのプロセッサコアの処理時間を均等化することができる。よって、地図表示が完了するまでの処理時間を全体として短縮することができる。したがって、応答性に優れた地図表示を実現することができる。
以下に、本発明に係る地図表示装置2を備えたナビゲーション装置1の実施形態について図面を参照して説明する。図1は、本発明に係るナビゲーション装置1のハードウェアの概略構成を示すブロック図であり、図2は、本発明に係るナビゲーション装置1のソフトウェアの概略構成を示すブロック図である。図3は、地図描画用のレイヤ構成を示す図である。図4は、描画画像、統合画像及び表示画像DPの間の関係を示す図であり、図5は、描画対象情報Dを描画対象単位でプロセッサコア3に割り当てる一例を示す図あり、図6は、各プロセッサコア3の演算処理を時間軸に沿って示したタイムチャートである。図7は、統合レイヤILに対応するデータがメモリ5上に確保される様子を示す図である。図8は、制約条件を満たす順序での描画レイヤの重ね合わせが不可能な割当の一例を示す図であり、図9は、データ量調整手段による描画対象情報の割当パターン決定方法を説明するためのテーブルである。
1.ナビゲーション装置の概略構成
本実施形態に係るナビゲーション装置1は、図1に示すように、三個のプロセッサコア3と、描画エンジン4と、メモリ5と、記憶装置6と、表示入力装置7と、音声出力装置8と、をハードウェア構成として備えている。また、このナビゲーション装置1は、GPS受信機21、方位センサ22、及び距離センサ23を備えている。これらはデジタル転送バス等の通信線9を介して相互に情報の送受信が可能なように接続されている。
また、このナビゲーション装置1は、図2に示すように、ナビゲーション用演算部11、自車位置情報取得部12、描画対象情報取得部13、画像処理部14及びデータ量調整部18の各機能部を備える。これらの各機能部は、記憶装置6に記憶されたソフトウェア(プログラム)として構成されており、情報の演算処理を行うプロセッサコア3を用いて、入力された情報に対して種々の処理を行う。ここで、記憶装置6は、例えば、ハードディスクドライブ、DVD−ROMを備えたDVDドライブ、CD−ROMを備えたCDドライブ等のように、情報を記憶可能な記録媒体とその駆動手段とを有する装置を備えており、地図データベースDBを格納している。以下では、本実施形態に係るナビゲーション装置1の各部の構成について詳細に説明する。
2.地図データベース
地図データベースDBは、所定の区画毎に描画対象毎に分けられた複数の描画対象情報Dが格納されたデータベースである。図2に示すように、地図データベースDBには、描画対象情報Dとして背景情報B、道路情報R及び名称情報Nが格納され、本実施形態においては、描画対象情報Dとして更に地物情報Fが格納されている。これらの描画対象情報Dにより、地図情報Mが構成される。本実施形態においては、この地図データベースDBが、本発明における地図情報記憶手段に相当する。
背景情報Bは、背景を描画するための情報である。具体的には、水域、緑地及び施設等の情報を有して構成されている。これらは、緯度及び経度で表現された地図上の位置情報や、それぞれのエリアの外形を示す形状の情報等を有して構成されている。
道路情報Rは、道路を描画するための情報である。具体的には、多数のノードの情報と、2つのノードを連結して道路を構成する多数のリンクの情報とを有して構成されている。ここで、各ノードは、緯度及び経度で表現された地図上の位置情報を有して構成され、各リンクは、道路の種別(高速道路、有料道路、国道、県道等の種別)やリンク長さ、道路幅等の情報を有して構成されている。道路情報Rは、ユーザにより外部から入力された目的地までの経路を探索するためにも用いられる。
名称情報Nは、名称を描画するための情報である。具体的には、地図に表示される地名、道路名、施設名等の情報を有して構成されている。これらは、緯度及び経度で表現された地図上の位置情報や、それぞれの名称に関する文字列情報等を有して構成されている。
地物情報Fは、地物を描画するための情報である。具体的には、道路上や道路周辺に設けられた道路標示、標識、トンネル等の情報を有して構成されている。これらは、緯度及び経度で表現された地図上の位置や地物種別、形態等に関する情報を有して構成されている。
これらの描画対象情報Dは、それぞれ縮尺毎に対応するレベルに応じた情報を有している。例えば道路情報Rに関しては、高縮尺に対応するレベルでは高速道路や主要国道に関する情報を主に有し、低縮尺に対応するレベルになるにつれて都道府県道や市道、更にはレーン数等に関する情報を主に有するものとなる。
また、地図データベースDBには、それぞれの描画対象情報Dに合わせて、対応するデータ量に関する情報が記憶されている。それぞれの描画対象情報Dのデータ量に関する情報は、データ量調整部18からの求めに応じて、データ量調整部18に出力される。
3.ナビゲーション用演算部
ナビゲーション用演算部11は、主にナビゲーション装置1としての案内機能を実行するためのアプリケーションプログラムに従って動作する演算処理手段である。ここで、アプリケーションプログラムは、自車位置情報取得部12により取得された自車位置情報Pや、地図データベースDBから抽出された地図情報M等を参照して動作する。そして、ナビゲーション用演算部11は、アプリケーションプログラムに従って出発地から目的地までの経路の探索を行い、案内経路情報Gを生成する。したがって、本実施形態においては、このナビゲーション用演算部11が案内経路探索手段として機能する。生成した案内経路情報Gは、描画対象情報取得部13へ出力される。また、ナビゲーション用演算部11は、このように探索された経路と自車位置情報Pとに基づいて、表示入力装置7及び音声出力装置8の一方又は双方を用いて経路誘導を行う。また、ナビゲーション用演算部11は、アプリケーションプログラムに従い、地図表示を行う範囲を決定する処理を行う。地図表示を行う範囲は、例えば、自車位置情報取得部12により取得された自車位置情報Pに基づいて自車位置周辺の所定範囲、或いは、表示入力装置7により入力された特定の地点周辺の所定範囲等とすることができる。決定された地図表示を行う範囲についての情報は、描画対象情報取得部13に出力される。また、ナビゲーション用演算部11は、アプリケーションプログラムに従い、画像処理部14により生成されて表示入力装置7に表示される表示画像DP上に、自車位置情報Pに基づいて自車位置マークを重ね合わせて表示する処理等も行う。
また、本実施形態においては、ナビゲーション用演算部11は、表示入力装置7及び音声出力装置8に接続されている。表示入力装置7は、液晶表示装置等の表示装置とタッチパネル等の入力装置が一体となったものである。表示入力装置7は、例えば目的地等の入力を受け付けてナビゲーション用演算部11に出力するとともに、表示画像生成部17から出力される表示画像DPを表示する。したがって、本実施形態においては、この表示入力装置7が、本発明における表示手段に相当する。また音声出力装置8は、スピーカ等を有して構成されており、ナビゲーションに伴う音声案内等を出力する。
4.自車位置情報取得部
自車位置情報取得部12は、自車両の現在位置を示す自車位置情報Pを取得する自車位置情報取得手段として機能する。ここでは、自車位置情報取得部12は、GPS受信機21、方位センサ22、及び距離センサ23と接続されている。ここで、GPS受信機21は、GPS(Global Positioning System)衛星からのGPS信号を受信する装置である。このGPS信号は、通常1秒おきに受信され、自車位置情報取得部12へ出力される。自車位置情報取得部12では、GPS受信機21で受信されたGPS衛星からの信号を解析し、自車両の現在位置(緯度及び経度)、進行方位、移動速度等の情報を取得することができる。方位センサ22は、自車両の進行方位又はその進行方位の変化を検出するセンサである。この方位センサ22は、例えば、ジャイロセンサ、地磁気センサ、ハンドルの回転部に取り付けた光学的な回転センサや回転型の抵抗ボリューム、車輪部に取り付ける角度センサ等により構成される。そして、方位センサ22は、その検出結果を自車位置情報取得部12へ出力する。距離センサ23は、自車両の車速や移動距離を検出するセンサである。この距離センサ23は、例えば、車両のドライブシャフトやホイール等が一定量回転する毎にパルス信号を出力する車速パルスセンサ、自車両の加速度を検知するヨー・Gセンサ及び検知された加速度を積分する回路等により構成される。そして、距離センサ23は、その検出結果としての車速及び移動距離の情報を自車位置情報取得部12へ出力する。
そして、自車位置情報取得部12は、これらのGPS受信機21、方位センサ22及び距離センサ23からの出力に基づいて、公知の方法により自車位置を特定する演算を行う。このようにして、自車位置情報取得部12は、緯度及び経度で表された自車両の現在位置の情報、及び自車両の進行方位の情報を含む自車位置情報Pを取得する。自車位置情報取得部12により取得された自車位置情報Pは、ナビゲーション用演算部11及び描画対象情報取得部13へ出力される。
5.描画対象情報取得部
描画対象情報取得部13は、地図表示に際しての描画対象毎に分けられた複数の描画対象情報Dを取得する描画対象情報取得手段として機能する。描画対象情報Dを取得するに際しては、ナビゲーション用演算部11において決定された地図表示を行う範囲について、指定された縮尺に応じたレベルの情報が描画対象毎に取得される。また、本実施形態においては、描画対象情報取得部13は、地図情報Mを構成する背景情報B、道路情報R、名称情報N及び地物情報F、ナビゲーション用演算部11により生成される案内経路情報Gの計五種類の情報を描画対象情報Dとして取得する。このようにして取得された描画対象情報Dは、画像処理部14に出力される。
6.画像処理部
画像処理部14は、描画対象情報取得部13から出力された描画対象情報Dを受け取り、画像処理を行う画像処理手段として機能する。画像処理部14は、描画対象毎の描画画像を生成する描画画像生成部15と、描画画像を合成して一つの表示画像DPを生成する表示画像生成部17と、を備える。本実施形態においては、更に、複数の描画画像のうちの一部を統合して統合画像を生成する統合画像生成部16を備える。本明細書においては、特に区別して使用しない限り、画像処理部14とは、描画画像生成部15と統合画像生成部16と表示画像生成部17とを合わせたものを意味するものとする。
6−1.描画画像生成部
描画画像生成部15は、複数のプロセッサコア3を用いて描画対象情報Dを処理して描画対象毎の描画画像を生成する描画画像生成手段として機能する。描画対象情報取得部13から出力された描画対象毎に分けられた複数の描画対象情報Dは、まず描画画像生成部15に入力される。描画画像生成部15は、受け取った描画対象情報Dに基づいて描画対象毎に描画画像を生成する。本実施形態においては、背景情報B、道路情報R、名称情報N、地物情報F及び案内経路情報Gの計五種類の情報が描画対象情報Dとされているので、これらに対応した五つの描画画像がそれぞれ生成する。これらの描画画像は、五つの描画レイヤ、具体的にはそれぞれ背景レイヤLb、道路レイヤLr、名称レイヤLn、地物レイヤLf及び案内経路レイヤLgとして生成する。つまり、本実施形態においては、この背景レイヤLb、道路レイヤLr、名称レイヤLn、地物レイヤLf及び案内経路レイヤLgが、本発明における描画対象毎の描画画像に相当する。なお、図3に示すように、これらの各レイヤは重ね合わされて一つの表示画像DPを生成する。
描画画像生成部15による描画対象毎の描画画像の生成に際しては、プロセッサコア3を用いて描画対象情報Dが処理される。このとき、描画画像の生成処理は、描画対象情報Dに基づいてプロセッサコア3が描画制御用信号を生成し、この描画制御用信号に従って描画エンジン4が描画することにより実行される。ここで、本実施形態に係るナビゲーション装置1は三個のプロセッサコア3を有しており、描画対象毎の描画対象情報Dは適宜分配されてそれぞれのプロセッサコア3に割り当てられる。描画対象情報Dのプロセッサコア3への割り当ては、データ量調整部18により実行される。データ量調整部18による描画対象情報Dのプロセッサコア3への割り当てについては後述する。
6−2.統合画像生成部
統合画像生成部16は、描画対象毎に生成される複数の描画画像のうちの一部を統合して統合画像を生成する統合画像生成手段として機能する。図4に、描画対象毎に生成される描画レイヤLb、Lr、Lf、Lg及びLnと統合レイヤILとの関係を示す。また、本実施形態においては、統合画像生成部16は、描画対象毎の描画画像のうち、先に描画処理が終了するプロセッサコア3により生成される描画画像を統合する。図5には、描画対象情報Dを描画対象単位でプロセッサコア3に割り当てる一例を示している。図中、それぞれの描画対象の横に括弧書きで記載した数字は、それぞれの描画対象情報Dのデータ量を示す数値である(その他の図に関しても同様である)。この例では、プロセッサコア3a及びプロセッサコア3bに割り当てられたデータ量の和(それぞれ30)はプロセッサコア3cに割り当てられたデータ量の和(15+15+10=40)よりも少ないので、プロセッサコア3a及びプロセッサコア3bにおける描画処理は、プロセッサコア3cにおける描画処理よりも先に終了する。そこで本例では、統合画像生成部16は、図6に示すように、プロセッサコア3aにより生成される背景レイヤLbと、プロセッサコア3bにより生成される道路レイヤLrとを統合させる処理を、プロセッサコア3aにおいて、プロセッサコア3cにおける名称レイヤLnの描画処理と並行して実行する。これにより、一部の描画画像(本例では、背景レイヤLb及び道路レイヤLr)を統合する処理を介して表示画像DPを生成する場合において、地図表示が完了するまでの処理時間を全体として短縮することができる。なお、本例では、背景レイヤLbと道路レイヤLrとを統合させる処理をプロセッサコア3aにおいて実行したが、同じく先に描画処理が終了するプロセッサコア3bが実行しても良い。
また、本実施形態においては、統合画像生成部16は、遅れて描画処理が終了するプロセッサコア3cにより生成される地物レイヤLf、案内経路レイヤLg及び名称レイヤLnを統合する処理をも実行する。以上のような統合画像生成部16の処理により、二つの統合レイヤILが生成する(図4を参照)。これらの統合レイヤILは、それぞれ背景レイヤLbと道路レイヤLrとが重ね合わされた統合レイヤIL1、及び地物レイヤLfと案内経路レイヤLgと名称レイヤLnとが重ね合わされた統合レイヤIL2として生成する。つまり、本実施形態においては、これらの統合レイヤILが、本発明における統合画像に相当する。生成した統合レイヤILは、図7に示すように、メモリ5上に専用に確保された所定の領域に格納される。このように、描画レイヤの一部を統合してメモリ5に格納することで、メモリ5上に専用に確保する領域の大きさを小さく抑えることができ、メモリ使用量を低減することができる。
6−3.表示画像生成部
表示画像生成部17は、描画対象毎の描画画像を合成して一つの表示画像DPを生成する表示画像生成手段として機能する。ここで、描画対象毎の描画画像を合成して一つの表示画像DPを生成する際には、描画対象毎の描画画像から直接表示画像DPを生成しても良いし、一部の描画対象の描画レイヤの統合レイヤILとその他の描画対象の描画レイヤとの組み合わせから表示画像DPを生成しても良い。本実施形態においては、描画対象毎の描画レイヤは統合画像生成部16により二つの統合レイヤILに統合されているので、表示画像生成部17は、図4に示すように、これら二つの統合レイヤIL1及びIL2を合成して表示画像DPを生成する。生成した表示画像DPは、表示入力装置7に出力される。
7.データ量調整部
データ量調整部18は、描画画像生成部15による描画画像の生成に際して、それぞれのプロセッサコア3が演算処理を行うデータ量を均等にするように、複数の描画対象情報Dをそれぞれのプロセッサコア3に割り当てるデータ量調整手段として機能する。ここで、描画対象情報Dは、描画対象単位で各プロセッサコア3に割り当てられる。したがって、「データ量を均等にする」とは、それぞれのプロセッサコア3が演算処理を行うデータ量を厳密に等しくすることまでは要求されず、データ量のばらつきを出来るだけ小さくすれば良いといった概念である。本実施形態においては、データ量調整部18は、データ量が最大となるプロセッサコア3とデータ量が最小となるプロセッサコア3との間のデータ量の差を最小とするように、描画対象情報Dをそれぞれのプロセッサコア3に割り当てる。
ところで、上述したように、表示画像DPは、描画対象毎に生成される複数の描画レイヤが重ね合わされて合成されることにより生成する一つの画像である。複数の描画レイヤを重ね合わせて表示画像DPを生成するに際しては、各描画レイヤを重ねる順序に関して所定の制約条件が課せられる。すなわち、ある一つの描画対象の描画レイヤの上に、その他の描画対象の描画レイヤが重ねられることにより、地図表示又はナビゲーションにおいて必要な情報が隠れてしまうことがないように規制される。例えば、背景レイヤLbを全ての描画レイヤの中で最下位層としなければならない、道路レイヤLrを少なくとも案内経路レイヤLgよりも下位層としなければならない、等の条件が課せられる。複数の描画レイヤから一段階で表示画像DPを生成する場合には、表示画像生成部17がこれらの制約条件を満たすように描画レイヤの順序を調整して表示画像DPを生成する。よって、その場合には、それぞれのプロセッサコア3で描画処理する描画対象を任意に割り振ったとしても、上記制約条件を満たす順序での描画レイヤの重ね合わせは常に可能である。
これに対して、本実施形態においては、描画対象毎に生成される複数の描画レイヤのうち、先に描画処理が終了するプロセッサコア3により生成される描画レイヤは、統合画像生成部16により統合されて統合レイヤILを生成する。また、遅れて描画処理が終了するプロセッサコア3により生成される描画レイヤも、統合画像生成部16により統合されて統合レイヤILを生成する。その後、表示画像生成部17により二つの統合レイヤILが合成されて表示画像DPが生成する。そのため、それぞれのプロセッサコア3で描画処理する描画対象を任意に割り振ったのでは、第一段階の画像統合処理において生成される統合画像に含まれる描画レイヤの組み合わせによっては、最終的に生成される表示画像DPが上記の制約条件を満たすことができなくなってしまう場合が生じ得る。例えば、図8に示すように、背景レイヤLbと案内経路レイヤLgとが先に描画処理が終了するプロセッサコア3a、3bにより生成され、道路レイヤLrが遅れて描画処理が終了するプロセッサコア3cにより生成される場合には、背景レイヤLbと案内経路レイヤLgとが先に統合されてしまい、その後道路レイヤLrを含む統合レイヤILと合成されて表示画像DPが生成されることになってしまう。それぞれの描画レイヤは統合レイヤILをまたいで順序を調整することはできないため、これでは、案内経路レイヤLgの上に道路レイヤLrが重ねられることにより、地図上に表示されるべき案内経路に関する情報が隠れてしまう。そこで、本発明におけるデータ量調整部18は、制約条件を満たす順序での描画レイヤの重ね合わせを可能とするように、描画対象情報Dをそれぞれのプロセッサコア3に割り当てる。つまり、データ量調整部18は、表示画像DPの生成に先行して統合レイヤILが生成される場合においても、最終的に生成される表示画像DPにおける描画レイヤの重ね合わせ順序が制約条件を満たすことになるように、描画対象情報Dをそれぞれのプロセッサコア3に割り当てる。
具体的には、描画対象毎の描画対象情報Dを、プロセッサコア3の個数に対応する数(本例では三個)のグループに分ける全ての組み合わせを、演算により割当パターンの候補として取得する。次に、グループ毎に、そこに含まれる描画対象情報Dのデータ量の和を演算により取得する。そして、データ量の和が最小になるグループと、データ量の和が二番目に小さくなるグループとを先に統合し、その後、これとデータ量の和が最大になるグループとを合成して表示画像DPを生成するとした場合において、上記制約条件を満たし得なくなってしまうものを、割当パターンの候補から除外する。残った割当パターンの候補の中で、データ量の和が最大のものと、データ量の和が最小のものとの間のデータ量の差が最も小さくなる組み合わせを割当パターンとして決定する。
更に具体的な例を図9に示す。この図に示すテーブルには、描画対象毎の描画対象情報Dを三つのグループに分ける組み合わせの例として、五通りの割当パターンが示されている。ここでは、そこに含まれる描画対象情報Dのデータ量の和が小さいものから順に、グループ1、グループ2、グループ3としている。グループ1及びグループ2に含まれる描画対象情報Dを処理するプロセッサコア3は、先に描画処理が終了するので、それぞれの割当パターンについて、グループ1とグループ2とを先に統合し、その後、これとグループ3とを合成して表示画像DPを生成するとした場合において、上述したような制約条件を満たし得るか否かを判別する。この判別方法については、図8に示した例を参照して既に説明したので、ここでは詳しい説明を省略する。本例では、割当パターン2及び割当パターン4は、制約条件を満たし得ないため割当パターンの候補から除外される。残った割当パターン1、割当パターン3及び割当パターン5を含む割当パターンの候補の中で、グループ3のデータ量の和とグループ1のデータ量の和との差が最も小さくなる割当パターン(本例では、割当パターン1)が、プロセッサコア3への描画対象毎の描画対象情報Dの割当パターンとして決定される。
これにより、必要な情報を確実に適切に表示させることができるとともに、地図表示を完了するまでの処理時間が短い、応答性に優れたナビゲーション装置1を提供することができる。
8.地図表示処理の手順
次に、本発明に係る地図表示装置2を備えたナビゲーション装置1において実行される地図表示処理の手順について説明する。図10は、本実施形態に係る地図表示処理の手順を示すフローチャートである。以下に説明する地図表示処理の手順は、上記のナビゲーション装置1の各機能部を構成するソフトウェア(プログラム)により実行される。このとき、ナビゲーション装置1が有するプロセッサコア3は、地図表示プログラムを実行するコンピュータとして動作する。
まず、ナビゲーション用演算部11は、地図表示を行う範囲を決定する(ステップ#01)。次に、描画対象情報取得部13は、決定された地図表示を行う範囲について、描画対象毎に描画対象情報Dを取得する(ステップ#02)。次に、データ量調整部18は、地図データベースDBから、それぞれの描画対象情報Dのデータ量を取得する(ステップ#03)。次に、データ量調整部18は、描画対象毎の描画対象情報Dを三つのグループに分ける全ての組み合わせを、演算により割当パターンの候補として取得する(ステップ#04)。次に、データ量調整部18は、グループ毎に、そこに含まれる描画対象情報Dのデータ量の和を演算により取得し(ステップ#05)、データ量の和により三つのグループの順列化を行う(ステップ#06)。次に、データ量調整部18は、一の組み合わせについて、データ量の和が最小になるグループと、データ量の和が二番目に小さくなるグループとを先に統合し、その後データ量の和が最大になるグループと合成して表示画像DPを生成するとした場合に、制約条件を満たし得るか否かを判別する(ステップ#07)。制約条件を満たし得ない場合(ステップ#07:No)、当該組み合わせを割当パターンの候補から除外する(ステップ#08)。一方、制約条件を満たし得る場合には(ステップ#07:Yes)、当該組み合わせを割当パターンの候補に残したままで、全ての組み合わせについてステップ#07の検討が終了したか否かを判別する(ステップ#09)。全ての組み合わせについて検討が終了していない場合(ステップ#09:No)、再度ステップ#07及びステップ#08を繰り返し実行する。全ての組み合わせについて検討が終了した場合(ステップ#09:Yes)、データ量調整部18は、残った割当パターンの候補の中で、データ量の和が最大のものと、データ量の和が最小のものとの間のデータ量の差が最も小さくなる組み合わせを割当パターンとして決定する(ステップ#10)。次に、データ量調整部18は、決定した割当パターンに従って、描画対象情報Dをそれぞれのプロセッサコア3に割り当てる(ステップ#11)。
次に、描画画像生成部15は、複数のプロセッサコア3を用いて描画対象情報Dを処理して描画対象毎の描画画像を生成する(ステップ#12)。このとき、それぞれのプロセッサコア3は、ステップ#11において割り当てられた描画対象情報Dの処理を行う。次に、統合画像生成部16は、描画対象毎に生成される複数の描画レイヤのうち、先に描画処理が終了するプロセッサコア3により生成される描画レイヤを統合して統合レイヤILを生成するとともに、遅れて描画処理が終了するプロセッサコア3により生成される描画レイヤを統合して統合レイヤILを生成する(ステップ#13)。次に、表示画像生成部17は、ステップ#13で生成した二つの統合レイヤILを合成して表示画像DPを生成する(ステップ#14)。最後に、表示画像生成部17は、生成した表示画像DPを表示入力装置7に出力して、表示入力装置7に表示画像を表示させる(ステップ#15)。以上で、地図表示処理を終了する。
これにより、必要な情報を確実に適切に表示させることができるとともに、表示を完了するまでの処理時間が短い、応答性に優れた地図表示を実現することができる。
〔その他の実施形態〕
(1)上記の実施形態においては、ナビゲーション装置1が三個のプロセッサコア3を有している場合を例に挙げて説明した。しかし、少なくとも二個のプロセッサコア3を有するナビゲーション装置1に適用することができる。
(2)上記の実施形態においては、データ量調整部18は、描画画像生成部15による描画画像の生成に際して、データ量が最大となるプロセッサコア3とデータ量が最小となるプロセッサコア3との間のデータ量の差を最小とするように、描画対象情報Dをそれぞれのプロセッサコア3に割り当てる例について説明した。しかし、少なくともそれぞれのプロセッサコア3間のデータ量のばらつきを出来るだけ小さくするように描画対象情報Dを割り当てれば、それぞれのプロセッサコア3の処理時間を略均等化することができ、地図表示を完了するまでの処理時間を短縮化することができる。
(3)上記の実施形態においては、統合画像生成部16は、描画対象毎に生成される描画画像のうち、先に描画処理が終了するプロセッサコア3により生成される描画画像を統合するとともに、遅れて描画処理が終了するプロセッサコア3により生成される描画画像を統合することにより、二つの統合画像を生成する例について説明した。しかし、描画処理が終了する順序によらず、描画対象毎に生成される複数の描画画像のうちの少なくとも一部を統合して統合画像を生成すれば、メモリ5上に専用に確保する領域の大きさを小さく抑えることができ、メモリ使用量を低減することができる。
(4)上記の実施形態においては、本発明に係る地図表示装置2をナビゲーション装置1に適用する場合を例に挙げて説明した。しかし、地図表示処理を伴うその他の各種装置にも適用することができる。
本発明は、情報の演算処理を行うプロセッサコアを複数有する地図表示装置及び当該地図表示装置における地図表示プログラム、並びにこれを用いたナビゲーション装置に好適に利用することができる。
本発明に係るナビゲーション装置のハードウェアの概略構成を示すブロック図 本発明に係るナビゲーション装置のソフトウェアの概略構成を示すブロック図 地図描画用のレイヤ構成を示す図 描画画像、統合画像及び表示画像の間の関係を示す図 描画対象情報を描画対象単位でプロセッサコアに割り当てる一例を示す図 各プロセッサコアの演算処理を時間軸に沿って示したタイムチャート 統合レイヤに対応するデータがメモリ上に確保される様子を示す図 制約条件を満たす順序での描画レイヤの重ね合わせが不可能な割当の一例を示す図 データ量調整部による描画対象情報の割当パターン決定方法を説明するためのテーブル 本発明に係る地図表示プログラムによる処理手順を示すフローチャート
符号の説明
1 ナビゲーション装置
2 地図表示装置
3 プロセッサコア
7 表示入力装置(表示手段)
12 ナビゲーション用演算部(案内経路探索手段)
13 描画対象情報取得部(描画対象情報取得手段)
15 描画画像生成部(描画画像生成手段)
16 統合画像生成部(統合画像生成手段)
17 表示画像生成部(表示画像生成手段)
18 データ量調整部(データ量調整手段)
DB 地図データベース(地図情報記憶手段)
D 描画対象情報
M 地図情報
B 背景情報
R 道路情報
N 名称情報
G 案内経路情報
Lb 背景レイヤ
Lr 道路レイヤ
Ln 名称レイヤ
Lg 案内経路レイヤ
IL 統合レイヤ(統合画像)
DP 表示画像

Claims (9)

  1. 情報の演算処理を行うプロセッサコアを複数有する地図表示装置であって、
    地図表示に際しての描画対象毎に分けられた複数の描画対象情報を取得する描画対象情報取得手段と、
    複数の前記プロセッサコアを用いて前記描画対象情報を処理して前記描画対象毎の描画画像を生成する描画画像生成手段と、
    前記描画対象毎の前記描画画像を合成して一つの表示画像を生成する表示画像生成手段と、
    前記表示画像を表示する表示手段と、
    前記描画画像生成手段による前記描画画像の生成に際して、それぞれの前記プロセッサコアが演算処理を行うデータ量を均等にするように、複数の前記描画対象情報をそれぞれの前記プロセッサコアに割り当てるデータ量調整手段と、
    を備えた地図表示装置。
  2. 前記データ量調整手段は、データ量が最大となる前記プロセッサコアとデータ量が最小となる前記プロセッサコアとの間のデータ量の差を最小とするように、前記描画対象情報をそれぞれの前記プロセッサコアに割り当てる請求項1に記載の地図表示装置。
  3. 前記描画対象毎に生成される複数の前記描画画像のうちの一部を統合して統合画像を生成する統合画像生成手段を備え、
    前記表示画像生成手段は、前記統合画像と、前記描画対象毎の前記描画画像及び他の前記統合画像のいずれか一つ以上とを合成して前記表示画像を生成する請求項1又は2に記載の地図表示装置。
  4. 前記統合画像生成手段は、前記描画対象毎の前記描画画像のうち、先に描画処理が終了する前記プロセッサコアにより生成される前記描画画像を統合する請求項3に記載の地図表示装置。
  5. 前記表示画像生成手段は、前記描画対象毎の前記描画画像を重ね合わせる順序に関する制約条件に従って、前記描画画像を重ね合わせて前記表示画像を生成し、
    前記データ量調整手段は、前記制約条件を満たす順序での前記描画画像の重ね合わせを可能とするように前記描画対象情報をそれぞれの前記プロセッサコアに割り当てる請求項1から4のいずれか一項に記載の地図表示装置。
  6. 前記制約条件は、一の前記描画対象の前記描画画像の上に、他の前記描画対象の前記描画画像が重ねられて必要な情報が隠れることを規制する条件である請求項5に記載の地図表示装置。
  7. 請求項1から6のいずれか一項に記載の地図表示装置を備えたナビゲーション装置。
  8. 背景情報、道路情報及び名称情報を含んで構成される地図情報を記憶した地図情報記憶手段と、
    目的地までの案内経路を探索して、案内経路情報を生成する案内経路探索手段と、を備え、
    前記描画対象情報取得手段は、少なくとも前記背景情報、前記道路情報、前記名称情報及び前記案内経路情報を前記描画対象情報として取得する請求項7に記載のナビゲーション装置。
  9. 情報の演算処理を行うプロセッサコアを複数有する地図表示装置における地図表示プログラムであって、
    地図情報を構成する描画対象毎に分けられた複数の描画対象情報を取得する描画対象情報取得ステップと、
    複数の前記プロセッサコアを用いて前記描画対象情報を処理して前記描画対象毎の描画画像を生成する描画画像生成ステップと、
    前記描画対象毎の前記描画画像を合成して一つの表示画像を生成する表示画像生成ステップと、
    前記表示画像を表示する表示ステップと、
    前記描画画像生成ステップによる前記描画画像の生成に際して、それぞれの前記プロセッサコアが演算処理を行うデータ量を均等にするように、複数の前記描画対象情報をそれぞれの前記プロセッサコアに割り当てるデータ量調整ステップと、
    をコンピュータに実行させる地図表示プログラム。
JP2008092448A 2008-03-31 2008-03-31 ナビゲーション装置及びナビゲーションプログラム Expired - Fee Related JP5019129B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008092448A JP5019129B2 (ja) 2008-03-31 2008-03-31 ナビゲーション装置及びナビゲーションプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008092448A JP5019129B2 (ja) 2008-03-31 2008-03-31 ナビゲーション装置及びナビゲーションプログラム

Publications (2)

Publication Number Publication Date
JP2009245265A true JP2009245265A (ja) 2009-10-22
JP5019129B2 JP5019129B2 (ja) 2012-09-05

Family

ID=41307063

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008092448A Expired - Fee Related JP5019129B2 (ja) 2008-03-31 2008-03-31 ナビゲーション装置及びナビゲーションプログラム

Country Status (1)

Country Link
JP (1) JP5019129B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012008743A (ja) * 2010-06-23 2012-01-12 Denso Corp 車両用表示装置
WO2020016990A1 (ja) * 2018-07-19 2020-01-23 三菱電機株式会社 画面生成装置及び画面生成方法
WO2020213379A1 (ja) * 2019-04-16 2020-10-22 株式会社デンソー 車両用装置、車両用装置の制御方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10334054A (ja) * 1997-05-29 1998-12-18 Hitachi Ltd 並列画像生成方法とそのためのデータ分割手法
JP2003099412A (ja) * 2001-09-21 2003-04-04 Hitachi Eng Co Ltd 超並列コンピュータ
JP2008020642A (ja) * 2006-07-12 2008-01-31 Fujitsu Ltd データ処理時間の予測方法及び処理時間予測装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10334054A (ja) * 1997-05-29 1998-12-18 Hitachi Ltd 並列画像生成方法とそのためのデータ分割手法
JP2003099412A (ja) * 2001-09-21 2003-04-04 Hitachi Eng Co Ltd 超並列コンピュータ
JP2008020642A (ja) * 2006-07-12 2008-01-31 Fujitsu Ltd データ処理時間の予測方法及び処理時間予測装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012008743A (ja) * 2010-06-23 2012-01-12 Denso Corp 車両用表示装置
WO2020016990A1 (ja) * 2018-07-19 2020-01-23 三菱電機株式会社 画面生成装置及び画面生成方法
US11195442B2 (en) 2018-07-19 2021-12-07 Mitsubishi Electric Corporation Screen generation device and screen generation method
WO2020213379A1 (ja) * 2019-04-16 2020-10-22 株式会社デンソー 車両用装置、車両用装置の制御方法
JP2020177072A (ja) * 2019-04-16 2020-10-29 株式会社デンソー 車両用装置、車両用装置の制御方法
CN113728376A (zh) * 2019-04-16 2021-11-30 株式会社电装 车辆用装置、车辆用装置的控制方法

Also Published As

Publication number Publication date
JP5019129B2 (ja) 2012-09-05

Similar Documents

Publication Publication Date Title
US7460952B2 (en) Navigation apparatus, and data processing method and computer program used therewith
JP5276780B2 (ja) 地図表示システム
US20070073471A1 (en) Data structure of proceeding control information, data structure of map information, storage medium storing the map information, information generating device, information generating method and navigating device
JP5590950B2 (ja) ナビゲーション装置および誘導経路探索方法
US20090150354A1 (en) Search devices, methods, and programs for use with navigation devices, methods, and programs
JP2012221459A (ja) 地図画像表示システム、地図画像表示装置、地図画像表示方法及びコンピュータプログラム
JP2009134429A (ja) 画像認識装置及び画像認識プログラム
US20100106740A1 (en) Search device, search method, and computer-readable medium that stores search program
JP4915379B2 (ja) 目的地設定装置及び目的地設定用プログラム
JPWO2010004612A1 (ja) 情報処理装置、情報作成装置、情報処理方法、情報作成方法、情報処理プログラム、情報作成プログラム、および記録媒体
EP2317282B1 (en) Map display device and map display method
JP5019129B2 (ja) ナビゲーション装置及びナビゲーションプログラム
JP2010281770A (ja) ナビゲーション装置およびアイコン表示方法
JP2000283772A (ja) 走行位置表示装置
US20090150065A1 (en) Search devices, methods, and programs for use with navigation devices, methods, and programs
JP4826922B2 (ja) 地図表示装置及び地図表示プログラム、並びにこれを用いたナビゲーション装置
JP2010054754A (ja) 地図データのデータ構造
JP5004026B2 (ja) 文字選択装置、ナビゲーション装置、及び文字選択プログラム
JP2007212836A (ja) 情報取得装置、情報表示装置及び情報取得方法等
JP4930795B2 (ja) ナビゲーション装置及びナビゲーションプログラム
EP2098826A2 (en) Destination selection support device and destination selection support program
JP2012181193A (ja) 乗り物のナビゲーション装置および方法
JP2003130669A (ja) ナビゲーションシステム及び経路探索方法のプログラム
JP2005338095A (ja) 経路選出方法
JP2000283777A (ja) 車載用ナビゲーション装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100311

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110714

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110908

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120517

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120530

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150622

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees