JP2016126668A - 3次元地図表示システム - Google Patents

3次元地図表示システム Download PDF

Info

Publication number
JP2016126668A
JP2016126668A JP2015001828A JP2015001828A JP2016126668A JP 2016126668 A JP2016126668 A JP 2016126668A JP 2015001828 A JP2015001828 A JP 2015001828A JP 2015001828 A JP2015001828 A JP 2015001828A JP 2016126668 A JP2016126668 A JP 2016126668A
Authority
JP
Japan
Prior art keywords
map
fine
dimensional map
model
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015001828A
Other languages
English (en)
Other versions
JP6512425B2 (ja
Inventor
定弘 小柴
Sadahiro Koshiba
定弘 小柴
翼 冨高
Tsubasa Tomitaka
翼 冨高
昌稔 荒巻
Masanori Aramaki
昌稔 荒巻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
GEO Technical Laboratory Co Ltd
Original Assignee
Aisin AW Co Ltd
GEO Technical Laboratory Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd, GEO Technical Laboratory Co Ltd filed Critical Aisin AW Co Ltd
Priority to JP2015001828A priority Critical patent/JP6512425B2/ja
Publication of JP2016126668A publication Critical patent/JP2016126668A/ja
Application granted granted Critical
Publication of JP6512425B2 publication Critical patent/JP6512425B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Instructional Devices (AREA)
  • Navigation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】 地物の外観の再現精度が異なる複数の地図モデルを併用して3次元地図を表示する際にユーザの混乱を低減する。【解決手段】 地図データベースとして、外観の再現精度が高い精細モデルと、低い簡易モデルとを用意する。交差点付近については、精細モデルのみで3次元地図を表示可能なように整備する。3次元地図を表示する際には、交差点付近に、精細モデルのみで3次元地図を表示すべき範囲を設定し、この範囲内は精細モデルで、その外は簡易モデルで描画する。このように、空間を明確に分けて精細モデルと簡易モデルとを使い分けることにより、ユーザは、3次元地図の外観の精度を容易に認識することができ、混乱なく3次元地図の表示内容を理解することが可能となる。【選択図】 図2

Description

本発明は、地物の外観の再現精度が異なる複数の3次元モデルを併用して3次元地図を表示する3次元地図表示システムに関する。
ナビゲーション装置やコンピュータの画面等に用いられる電子地図では、建物などの地物を3次元的に表現した3次元地図が用いられることがある。3次元地図は、通常、3次元モデルを透視投影などで3次元的に描くことによって表示される。
描画対象となる全ての地物に対して、外観を精度良く再現した3次元モデルを用意すれば、3次元地図のリアリティを向上させることが可能であるが、そのための負荷は多大なものとなってしまう。かかる負荷を軽減するための方法として、3次元地図では、重要度の高い地物には精度の高い3次元モデルを用意し、重要度の低い地物には精度の低い3次元モデルを用意することが行われている。
例えば、特許文献1は、建物の底面形状、高さ情報に基づいて簡易モデルを生成する技術を開示している。また、特許文献2は、視点からの距離に応じて3次元モデルを使い分けて表示する技術を開示している。
特開2002−298162号公報 特開2007−279757号公報
しかし、地物の外観の再現精度が高いモデルと、簡易モデルのように再現精度が低いモデルとが混在した地図データベースを用いて3次元地図を表示させると、ユーザに無用な混乱を与えることが見いだされた。3次元地図はリアリティの高い地図表示を実現できるため、ユーザは簡易モデルで表示された地物も現実に存在するものと錯覚し、かえって現在位置などの地理の把握が混乱してしまうことが生じるのである。簡易モデルによる地物を単色など明らかにリアリティの低い態様で表示したとしても、精度が高いモデルによる地物と簡易モデルとが混在している場合には、ユーザは、やはり現実の地形との照合に支障をきたすことが見いだされた。
例えば、図1は従来技術における3次元地図の表示例を示す説明図である。上側の図は、再現精度が高いモデル(以下、「精細モデル」と言うこともある)と、再現精度が低いモデル(以下、「簡易モデル」と言うこともある)とを混在して表示させた例である。図中の建物A,B,Cが簡易モデルによる地物である。かかる表示では、ユーザは、これらの建物A,B,Cも存在するものと錯覚し、地形との照合に支障をきたすことがある。
下段には、簡易モデルによる建物A,B,Cを単色で塗りつぶした例を示した。このように表示をした場合であっても、ユーザは、3次元地図の表示内容と現実の風景との相違に困惑し、地形との照合に支障をきたすことがあるのである。
本発明は、かかる課題に鑑み、地物の外観の再現精度が異なる複数の3次元モデルが混在する地図データを用いて3次元地図を表示する際に、再現精度をユーザが容易に認識可能とすることを目的とする。
本発明は、3次元地図を表示する3次元地図表示システムであって、
地図に含まれる地物の外観の再現精度が高い地図データである精細モデルと、前記精細モデルよりも地図に含まれる地物の外観の再現精度が低い地図データである簡易モデルとを格納する地図データベースと、
前記地図データベースを参照して、指定された視点、視線方向からみた3次元地図を表示する地図表示部とを備え、
前記地図表示部は、
前記精細モデルのみで3次元地図を表示可能な範囲として前記地物の形状に依存しない幾何学形状で予め定義された精細モデル描画範囲内において前記精細モデルによる3次元地図である精細3次元地図を描画する精細3次元地図描画部と、
前記精細モデル描画範囲外について、前記精細モデルも前記簡易モデルとして扱うことにより、前記簡易モデルによる3次元地図である簡易3次元地図を描画する簡易3次元地図描画部と、
該精細モデル描画範囲に対しては前記精細3次元地図が表示されるように、前記簡易3次元地図に前記精細3次元地図を合成して表示する画像合成部とを備える3次元地図表示システムとして構成することができる。
本発明によれば、精細モデルのみで3次元地図を表示可能な範囲、即ち精細モデル描画範囲を予め定義しておき、この範囲内については精細モデルによる3次元地図、その他の範囲については、精細モデルがある地物についても簡易モデルによる3次元地図を描画する。つまり、地物単位で精細モデルによる表示、簡易モデルによる表示を切り換えるのではなく、精細モデル描画範囲というまとまった領域単位で、精細モデル、簡易モデルによる表示を切り換えるのである。
こうすることにより、ユーザは、精細モデル描画範囲内の表示については、リアリティが十分に高いものであると容易に認識することができ、地形との照合などを混乱せずに行うことが可能となる。
しかも、本発明では、精細モデル描画範囲は幾何学形状で定義された領域であるから、3次元地図内で精細モデル描画範囲とその他の領域との境界は、直線や曲線などユーザが境界として認識しやすい形で現れる。この結果、ユーザは、精細モデル描画範囲か否かをより一層、容易に認識することが可能となる。
本発明の精細モデル描画範囲は、地物の形状に依存せずに定義されるものであるから、例えば、特定の地物の表面に精細モデル描画範囲の境界が現れることがある。本発明では、敢えてこのような不自然な表示を許容することにより、ユーザに対して、精細モデル描画範囲を容易に認識可能としているのである。
本発明において、地図を表示する対象としては、コンピュータ、ナビゲーションシステム、スマートフォン、携帯電話、タブレット端末など種々の電子機器のディスプレイが考えられる。
本発明において地物の外観の再現精度が異なるモデルは、3段階以上用意されていてもよい。その中の任意の2つが、上述した精細モデルと簡易モデルとに該当していればよい。
再現精度は、地物の形状の正確さ、外観を表すテクスチャが当該地物固有のものか汎用のものか、またテクスチャの解像度はどの程度かなどによって変動する。
精細モデル描画範囲を表す幾何学形状は任意に設定可能であるが、例えば、円筒、直方体、多角柱などの柱状形状としてもよいし、球状、楕円体などとしてもよい。
本発明において、地図表示部は、
前記精細モデル描画範囲に基づき、前記精細3次元地図および簡易3次元地図の少なくとも一方に対して、非表示とされるべき部分を特定するためのマスク画像を生成するマスク画像生成部を備え、
前記画像合成部は、前記マスク画像に基づいて、前記精細3次元地図および簡易3次元地図の一部を非表示とした上で前記合成を行うものとしてもよい。
このようにマスク画像を用いることにより、比較的容易に、精細モデル描画範囲の境界で精細3次元地図と簡易3次元地図とを切り分けて合成することが可能となる。
マスク画像は、精細3次元地図に対して非表示とされるべき部分、つまり精細モデル描画範囲外となっている部分を特定するものであってもよいし、簡易3次元地図に対して非表示とされるべき部分、つまり精細モデル描画範囲内となっている部分を特定するものであってもよい。
マスク画像の生成は、種々の方法で行うことができる。
例えば、精細モデル描画範囲の境界を3次元モデルが配置された仮想空間内に設定し、これを3次元地図の描画と同じ投影条件で描画することによってマスクすべき領域を特定するようにしてもよい。また、精細モデル描画範囲が特定の基準点から所定の距離という球体で定義されている場合には、投影された3次元地図の各ピクセルと基準点との距離を順次、計算してマスクすべきピクセルか否かを判断するようにしてもよい。かかる計算は、分岐判断などを含まない単純な処理であるため、比較的軽い負荷で全ピクセルに対する処理を終えることが可能である。
本発明の3次元地図表示システムにおいては、
前記地図表示部は、前記精細3次元地図および簡易3次元地図とを、異なる表示態様で表示するものとしてもよい。
こうすることによって、ユーザは、精細3次元地図と簡易3次元地図とを、より明瞭に区別することができる。
表示態様の変化としては、例えば、地物のテクスチャのオン・オフ、地物のソリッド表示とワイヤフレーム表示の切り替え、道路の色の変化、道路面の白線のオン・オフ、街路樹などの付属的地物の表示のオン・オフ、背景色のオフ・オンなどによって与えることができる。これらのうち一つを選択して用いても良いし、組み合わせて適用してもよい。また、この他の態様を適用してもよい。
本発明の3次元地図表示システムにおいては、
前記精細モデルは、予め設定された基準点または基準線を含む所定の範囲を整備範囲として整備されており、
前記精細モデル描画範囲は、前記整備範囲内で、前記基準点または基準線との相対的な位置関係で定義されているものとしてもよい。
このように基準点または基準線の周辺を整備範囲とし、精細モデル描画範囲も基準点または基準線との相対的な位置関係で定義することにより、基準点または基準線の周辺では精細モデルを用いたリアリティの高い3次元地図を提供することが可能となる。本発明では、精細モデル描画範囲外にある精細モデルは、3次元地図表示において簡易モデルとして扱われてしまうが、上記態様によれば、基準点または基準線の周辺では、精細モデルが無駄なく活用されることになる。
上記態様において、精細モデル描画範囲は、種々の定義が可能である。例えば、基準点を中心とする所定距離範囲内としてもよいし、基準点を重心とする矩形その他の形状としてもよい。また、基準線を用いる場合、基準線を中心軸とする半円柱、多角柱などの柱形状や、かかる半円柱の両端に半球を結合したカプセル状の形状などとしてもよい。
上述のように基準点を用いる場合、
前記基準点は、交差点の位置または前記基準線に基づいて設定されているものとしてもよい。
例えば、交差点の中心を基準点とする態様、交差点の中心から所定の距離離れた点を基準点とする態様などが考えられる。また、基準線を用いて基準点を設定してもよい。例えば、基準線の等分割点、基準線上に等間隔または所定の関数で定まる位置などを基準点とすることができる。
交差点は、地理の把握や経路案内などにおいて重要な地点である。上記態様によれば、交差点に基づいて基準点を設定するため、交差点周辺の3次元地図をリアリティの高い精細モデルによって提供することが可能となる。
本発明の3次元地図表示システムにおいては、
前記地図表示部は、前記精細モデル描画範囲の境界が路面上で視認可能な態様で前記3次元地図を表示するものとしてもよい。
ユーザは、現在位置や経路などを道路に基づいて認識するのが通常であるから、上記態様によれば、精細モデル描画範囲の境界をより直感的かつ明瞭に認識することができる。
境界を路面上で視認可能な態様としては、例えば、境界を白・黄色以外の色で路面に描く方法、精細モデル描画範囲内外で、道路の白線のオン・オフを切り換える方法、路面の色を変化させる方法などをとることができる。
本発明においては、上述した種々の特徴を必ずしも全て備えている必要はなく、適宜、その一部を省略したり、組み合わせたりして構成してもよい。
本発明は、その他、コンピュータによって3次元地図を表示する3次元地図表示方法として構成してもよいし、かかる表示をコンピュータに実行させるためのコンピュータプログラムとして構成してもよい。また、かかるコンピュータプログラムを記録したコンピュータが読み取り可能な記録媒体として構成してもよい。
従来技術における3次元地図の表示例を示す説明図である。 実施例における3次元地図の表示例を示す説明図である。 実施例における3次元地図の表示処理例を示す説明図である。 ナビゲーション装置の構成を示す説明図である。 精細モデルの整備範囲を示す説明図である。 経路案内処理のフローチャートである。 3次元地図表示処理のフローチャートである。 マスク画像生成処理のフローチャートである。 マスク領域を示す説明図である。 変形例としてのマスク画像生成処理のフローチャートである。 変形例(1)としてのマスク領域を示す説明図である。 変形例(2)としてのマスク領域を示す説明図である。 変形例(3)としてのマスク領域を示す説明図である。
本発明につき、ナビゲーション装置において、経路案内中にディスプレイ上に3次元地図を表示する3次元地図表示システムとして構成した実施例を説明する。実施例では、車載用のナビゲーション装置を例にとって説明するが、本発明の3次元地図表示システムは、この他、スマートフォン、携帯電話、タブレット端末などの携帯端末を利用した携帯可能なナビゲーション装置として構成することもできる。また、コンピュータ等のディスプレイに、経路探索、経路案内とは無関係に静的または動的に3次元地図を表示するためのシステムとして構成することも可能である。
また、本実施例では、スタンドアロンで稼働するシステムを例示するが、図中に示す各データベース等をサーバに格納し、サーバとナビゲーション装置とをネットワークで接続したシステムとして構成してもよい。ナビゲーション装置以外の態様をとる場合も同様である。
A.3次元地図表示例:
最初に実施例のナビゲーション装置による3次元地図の表示例について説明する。
図1は、従来技術における3次元地図の表示例を示す説明図である。上側の図は、再現精度が高いモデル(以下、「精細モデル」と言うこともある)と、再現精度が低いモデル(以下、「簡易モデル」と言うこともある)とを混在して表示させた例である。図中の建物A,B,Cが簡易モデルによる地物である。下段には、簡易モデルによる建物A,B,Cを単色で塗りつぶした例を示した。いずれの表示においても、精細モデルと簡易モデルとが混在した状態では、ユーザは、精細モデルをどの程度信頼してよいか困惑し、地理の把握等に支障を来すことがある。
図2は、実施例における3次元地図の表示例を示す説明図である。境界BL1、BL2で挟まれた中間の領域は、建物がワイヤフレームで表示され、道路の白線が省略され、全体に一様な背景色が施された3次元地図が表示される。これが簡易モデルによる3次元地図、即ち簡易3次元地図である。これに対し、境界BL1よりも手前の領域、および境界BL2よりも奥の領域では、建物にテクスチャが付され、道路の白線も表示され、街路樹などの付属のオブジェクトも表示されており、全体にリアリティの高い3次元地図が表示される。これが精細モデルによる3次元地図、即ち精細3次元地図である。本実施例では、図示するように、精細モデルのみで3次元地図を表示可能な範囲と、簡易モデルを用いる範囲とを、建物単位ではなく空間として明瞭に区別して表示する。こうすることによって、ユーザは、精細3次元地図が表示されている領域では、安心して地物の外観についても3次元地図の表示を信頼することができ、地理等の把握に活用することが可能となる。
図3は、実施例における3次元地図の表示処理例を示す説明図である。本実施例では、精細3次元地図と簡易3次元地図とを合成して3次元地図(図2参照)を表示する。図3中の左上には、精細モデルを用いて描画した精細3次元地図を示した。中央には、簡易モデルを用いて描画した簡易3次元地図を示した。右側は、画像を合成する際に、簡易3次元地図を透過させる部分を指定するためのマスク画像である。
合成に際しては、簡易3次元地図にマスク画像を適用し、マスク処理を行う。マスク処理では、簡易3次元地図のうち、マスク画像中の白いピクセルに対応する部分は、透明化される。透明化は、画像のアルファ値を書き換えることによって実現できる。
合成処理は、精細3次元地図と、マスク処理を施した簡易3次元地図とを合成する処理である。精細3次元地図を背景側に設定し、マスク処理を施した簡易3次元地図をその前景として描画するのである。マスク処理によって透明化された部分については、精細3次元地図が表示され、その他の部分については簡易3次元地図が表示されることになる。こうして図の下段に示した合成画像が実現されることになる。
上述のマスク処理は、合成処理前に簡易3次元地図全体に施しておく必要はなく、ピクセルごとにマスク処理と合成処理を実行するようにしてもよい。
図3の例では、簡易3次元地図の透明化する部分を特定するマスク画像を用いた。これに代えて、精細3次元地図の透明化する部分を特定するマスク画像を用いても良い。ちょうど図中のマスク画像の白黒を反転させた状態のマスク画像となる。かかるマスク画像をマスク処理として精細3次元地図に適用した上で、簡易3次元地図を背景、精細3次元地図を前景として合成処理を行っても同様の結果を得ることができる。
B.システム構成:
図4は、ナビゲーション装置10の構成を示す説明図である。ナビゲーション装置10は、ユーザに指定された出発地から目的地までの経路を案内する車載用の装置である。
ナビゲーション装置10は、内部にCPU、RAM、ROMなどを備えたコンピュータとしての構成を有しており、図示する種々の機能ブロックを有している。これらの機能ブロックは、それぞれの機能を実現するコンピュータプログラムをインストールすることによってソフトウェア的に構成することができるが、その一部または全部をハードウェア的に構成してもよい。以下、各機能ブロックの内容について説明する。
コマンド入力部12は、ナビゲーション装置10に対する操作を介してユーザからの指示を受け付ける。例えば、経路探索するための出発地、目的地の指定、地図を表示するための表示範囲(スケール)などの指示が含まれる。
道路ネットワークデータベース15は、道路をリンクおよびノードで表した経路探索用のネットワークデータを格納している。
経路探索部14は、道路ネットワークデータベース15を参照して、指定された出発地から目的地までの経路を探索する。経路探索の方法としては、ダイクストラ法など周知の種々の方法をとることができる。
位置検出部11は、GPS(Global Positioning System)などを用いてナビゲーション装置10が搭載された車両の位置を検出する。
地図表示パラメータ設定部13は、種々の情報に基づいて3次元地図を表示するためのパラメータを設定する。例えば、位置検出部11で検出された車両の位置に基づいて、透視投影のための視点を設定することができる。また、経路探索部14で探索された経路および車両の位置に基づいて、透視投影のための視線方向を設定することができる。さらに、ユーザからの指示に従って表示スケールを変化させ、または視点の高さまたは俯角を変化させられるようにしてもよい。こうして設定された表示パラメータは地図表示部20に受け渡される。
3次元地図を表示するための機能ブロックとして、ナビゲーション装置10は、地図データベース16および地図表示部20を備えている。これらの機能ブロックが、本発明における3次元地図表示システムに相当する構成となる。
地図データベース16には、簡易モデル16Aおよび精細モデル16Bとして地物の3次元形状を表す3次元地図データが格納されている。精細モデル16Bは、建物の3次元形状をほぼ正確に表し、その外観を表したテクスチャを格納している。また、道路については、白線を描くためのデータも格納されている。精細モデルとは、このように地物の外観の再現精度が高いモデルである。もっとも、再現精度は、精細モデル16Bの中でも建物等の重要度に応じて変動してもよい。
実施例では、精細モデル16Bは、全ての地域に対して備えられているのではなく、局所的に整備されている。後述するように、交差点を基準として設定された精細モデル整備範囲では、全ての建物について精細モデル16Bが用意されている。その他の範囲では、重要度の高い地物に対して精細モデルが用意されている。
簡易モデル16Aは、精細モデルよりも簡易な3次元モデルを格納する。本実施例では、2次元の地図データから自動生成された3次元モデルを簡易モデル16Aとして用いるものとした。建物については平面的な形状、即ち建物枠を建物の高さに応じて平行移動させて生成される柱状体が簡易モデルとなる。建物のテクスチャは用いない。また、道路については、2次元地図データに格納されている折れ線に、道路幅に応じた太さをもたせてポリゴン化することによって簡易モデルが生成される。地図データ16には、簡易モデル16Aとして2次元の地図データを格納しておき、3次元地図を表示する際に、リアルタイムに3次元モデルとしての簡易モデルを生成するようにしてもよい。
簡略化した形状とし、外観は典型的なテクスチャを用いるなどして整備することができる。道路の白線も省略して差し支えない。簡易モデルは、精細モデルのように散在的に整備されているのではなく、全地域に対して整備されている。
簡易モデル16A、精細モデル16Bは、別個のデータベースとして整備することもできるが、本実施例では、単一の地図データベース16内に簡易モデル16A、精細モデル16Bを格納し、両者を識別するための識別情報を付す方法をとっている。
地図表示部20には、更に以下の機能ブロックが備えられている。
簡易3次元地図描画部22は、簡易モデル16Aを用いた3次元地図、即ち簡易3次元地図を描画する。精細3次元地図描画部23は、精細モデル16Bを用いた3次元地図、即ち精細3次元地図を描画する。本実施例では、後述する通り、精細3次元地図を描画する範囲(以下、これを精細3次元地図描画範囲と呼ぶ)が定義されており、この範囲内については、精細3次元地図が描画される。その他の範囲に対しては、簡易3次元地図が描画される。従って、簡易3次元地図が描画される範囲内に精細モデルと簡易モデルとが整備された地物があれば、簡易3次元モデルを用いることになるし、精細モデルのみが整備された地物があれば、当該精細モデルを簡易モデルとして扱うことになる。図中で、精細モデル16Bから簡易3次元地図描画部22につながる破線の矢印は、精細モデルを簡易モデルとして扱う場合を表している。
精細3次元地図描画部23は、先に図2に例示したように、建物の外観を表すテクスチャ、道路の白線、街路樹などを含むリアリティの高い3次元地図を描画する。
これに対し、簡易3次元地図22は、建物をワイヤフレームで表現し、道路の白線および街路樹は省略し、全体を一様な背景色を施した3次元地図を描画する。簡易3次元地図の表現方法は、かかる態様に限られるものではなく、精細3次元地図と区別できる種々の態様をとることができる。例えば、建物や道路については精細3次元地図と同様の態様で描画し、全体に一様な背景色を施すようにしてもよい。
簡易3次元地図描画部22および精細3次元地図描画部23は、それぞれ簡易3次元地図、精細3次元地図を描画する範囲についてのみ3次元地図を描画する構成とすることもできるが、本実施例では、かかる区別なく全体の描画範囲について、それぞれ簡易3次元地図および精細3次元地図を描画するものとした。
マスク画像生成部24は、簡易3次元地図のうち透明化させる部分を特定するためのマスク画像を生成する。マスク画像の生成方法は、後述する。マスク画像は、精細3次元地図のうち透明化させる部分を特定するための画像とすることもできる。図中の精細モデル16Bからマスク画像生成部24につながる破線の矢印は、かかる場合の処理を表している。
画像合成部21は、精細3次元地図を背景に、簡易3次元地図を前景にして、マスク画像を用いたマスク処理を施した上で、両者を合成して表示する(図3参照)。
以上で説明した機能により、本実施例のナビゲーション装置10は、図2に示したように、精細3次元地図と、簡易3次元地図とを区別した形で表示することができる。
次に、以上の機能を実現するための処理内容について説明する。
C.精細モデルの整備範囲:
図5は、精細モデルの整備範囲を示す説明図である。先に説明した通り、本実施例では、精細モデルは局所的に用意されている。整備範囲は、交差点を基準として設定されている。
図中の点P0は交差点の中心のノードを表し、一点鎖線は、ここにつながるリンクを表している。ノード、リンクは、道路ネットワークデータベース15に格納されている。
実施例では、点P0からそれぞれのリンク上で所定距離だけ離れた点P1〜P4を基準点として設定する。そして、各基準点P1〜P4から所定の半径で描いた領域C1〜C4を設定し、この領域C1〜C4で覆われる範囲を精細モデルの整備範囲とする。領域C1〜C4に一部でも含まれる建物(図中のハッチングで付した建物B1、B2を除く建物)は精細モデルが整備されていることを表している。
精細モデルは、建物の重要度を考慮して、領域C1〜C4の外にある建物に対しても整備してもよい。図中の建物B1、B2がこれに該当する。精細モデルを整備するか否かの基準としては、例えば、ランドマーク等としてよく知られている建物、所定以上の高さの建物などを整備対象とすることができる。
実施例において、基準点P1〜P4と点P0との距離、および領域C1〜C4の半径は、精細モデルを用いた3次元地図を表示すべき領域の大きさと、精細モデルを整備する負荷を考慮して任意に設定することができる。本実施例では、それぞれ約50m程度とした。基準点P1〜P4と点P0との距離等は一定である必要はなく、道路種別、道路幅などを考慮して可変としてもよい。また、領域C1〜C4は、円形とする必要はなく、楕円、矩形など任意の形状を採用することができる。
D.経路案内処理:
図6は、経路案内処理のフローチャートである。図1に示した機能ブロック全体によって実現される処理であり、ハードウェア的にはナビゲーション装置10のCPUによって実行される処理である。
処理を開始すると、ナビゲーション装置10は、ユーザによる出発地、目的地の指定を入力する(ステップS10)。そして、指定された出発地から目的地に至る経路を探索する(ステップS11)。経路探索は、道路ネットワークデータを用いてダイクストラ法その他の周知の方法によって行うことができる。
経路の探索が完了すると、ナビゲーション装置10は、経路案内を開始する。
まず、車両の現在位置を検出し(ステップS12)、これに基づいて透視投影のための視点および視線方向を設定する(ステップS13)。設定は、種々の方法をとることができる。例えば、案内すべき経路上で、現在位置よりも所定距離だけ後方の位置を視点とすることができる。また、視線方向は経路上の進行方向とすることができる。
ナビゲーション装置10は、設定された視点、視線方向に基づいて3次元地図表示処理を実行する(ステップS14)。この処理は、簡易3次元地図、精細3次元地図を用いて視点、視線方向からの3次元地図(図2参照)をディスプレイに表示する処理である。処理内容の詳細については、後述する。
以上のステップS12以降の処理を、ナビゲーション装置10は、経路案内が終了するまで(ステップS15)、繰り返し実行する。
E.3次元地図表示処理:
図7は、3次元地図表示処理のフローチャートである。経路案内処理(図2)のステップS14に相当する処理であり、ナビゲーション装置10内に組み込まれた3次元地図表示システムとしての機能ブロック、即ち地図表示部20および地図データベース16によって実現される処理である。
処理を開始すると、ナビゲーション装置10は、視点、視線方向を入力する(ステップS20)。これらは、経路案内処理のステップS13で設定された値である。
そして、ナビゲーション装置10は、簡易モデルにより、簡易3次元地図を描画する(ステップS21)。具体的には、視点、視線方向に基づいて描画すべき範囲内の簡易モデルを読み込み、これを透視投影する。この際、建物はワイヤフレームで表し、道路については白線は省略する。また、街路樹などの付属的な地物は表示を省略する。そして、全体に一様な背景色を付す。
簡易3次元地図の描画態様を複数段階に変化させてもよい。例えば、視点から遠方では、建物の描画自体を省略したり、道路をポリゴンではなく線で描くようにする態様などが考えられる。
次に、ナビゲーション装置10は、精細モデルに基づき精細3次元地図を描画する(ステップS22)。具体的には、視点、視線方向に基づいて描画すべき範囲内の精細モデルを読み込み、これを透視投影する。本実施例では、精細モデルは整備範囲内で用意されているだけであり、精細モデルで描画できるのは一部の範囲に限られるから、精細3次元地図は、整備範囲外では地物がほとんど存在しない形の3次元地図となる。
精細3次元地図は、精細モデルが整備されている整備範囲のみを透視投影するようにしてもよいが、本実施例では、精細モデルが整備されていない範囲も含めて描画するものとした。次に示す理由により、この方が、処理が簡易となる利点があるからである。
本実施例では、先に図5に示した通り交差点の周辺で精細モデルが整備されている。従って、精細モデルの整備範囲は、透視投影によって描画される範囲内に一箇所ではなく複数箇所存在することがある。例えば、図2に示すように視点が交差点付近に設定されている場合、当該交差点が精細モデルの整備範囲に含まれるとともに、遠方に存在する次の交差点付近も精細モデルの整備範囲となっているのである。精細モデルの整備範囲のみに絞って透視投影を行おうとすれば、視野に入っている整備範囲を逐一抽出する処理が発生するが、精細モデルの整備範囲以外も含めて描画しておけば、こうした処理は回避できる。本実施例では、かかる理由から、精細モデルの整備範囲か否かを問わず、精細3次元地図の描画を行うものとした。
ナビゲーション装置10は、次にマスク画像生成処理を実行する(ステップS23)。これは簡易モデルのうち透明化する部分を特定するマスク画像を生成する処理である。視点、視線方向が変化すれば、それに応じてマスク画像も変化するため、実施例では、マスク画像は、3次元地図表示処理を実行するたびに生成するものとしている。視点、視線方向を事前に設定しておいたり、量子化によって視点、視線方向の採りうる値を制約できる場合には、採りうる視点、視線方向に対応したマスク画像を事前に用意しておいてもよい。 マスク処理の具体的な処理内容については後述する。
ナビゲーション装置10は、簡易3次元地図に、マスク画像を適用し、各ピクセルの透過率を表すアルファ値を設定する(ステップS24)。具体的には、図3に示したように、マスク画像の白いピクセルに対応する部分のアルファ値を透過状態に設定するのである。以下、この処理をマスク処理と呼ぶこともある。
最後にナビゲーション装置10は、精細3次元地図に簡易3次元地図を合成する(ステップS25)。図中に画像の合成方法を示した。本実施例では、簡易3次元地図と精細3次元地図を別々のレイヤに描画している。合成の際には、精細3次元地図のレイヤを背景に設定する。図中では精細3次元地図の画像をクロスハッチで示した。
そして、マスク処理を施すことによって透過部分が設定された簡易3次元地図のレイヤを前景に設定する。図中では、簡易3次元地図のうち、透明化された部分以外をハッチングで示した。
こうして両者を合成することにより合成画像が生成される。図示する通り、精細3次元地図(クロスハッチの部分)の一部に、簡易3次元地図(ハッチングの部分)が重畳された画像が表示されるのである。
F.マスク画像生成処理:
図8は、マスク画像生成処理のフローチャートである。3次元地図表示処理(図7のステップS23)に相当する処理である。本実施例では、精細モデルの整備範囲を定義する際に基準となった基準点(図5参照)から所定距離内の半球空間の内部を精細モデル描画範囲、即ち精細モデルで描画すべき範囲と定義する(マスクを施すべき範囲という意味で、マスク領域とも呼ぶことができる。)。そして、簡易3次元地図のうち、マスク領域に相当するピクセルを白、その他のピクセルを黒で表した画像をマスク画像として生成する。
処理を開始すると、ナビゲーション装置10は、視点、視線方向および視点から所定範囲内の基準点を入力する(ステップS30)。
上述の通り、マスク画像は、基準点との距離に基づいて生成されるため、対象となる基準点の数が増えるほど、マスク画像生成の負荷が大きくなる。かかる負荷を軽減するため、基準点を制限することが好ましい。例えば、視点、視線方向に基づき、視点の直後の基準点、および前方にある最も近い基準点を採用する方法が考えられる。この他、視点の前方については、視点から所定距離内の基準点のみを採用するようにしてもよい。
基準点を決めると、ナビゲーション装置10は、簡易3次元地図の画像内の処理対象ピクセルを決定する(ステップS31)。処理対象ピクセルは、図示するように左上から右上方向への走査を順に繰り返すなど、規則的な方法で選択することが好ましい。
次に、ナビゲーション装置10は、処理対象ピクセルと基準点の最短距離LPSを算出する(ステップS32)。基準点が複数存在する場合には、その中で最も距離が短いものが最短距離LPSとなる。
基準点との距離の算出方法は、次の通りである。まず、透視投影の条件に従って、視点から簡易3次元地図の処理対象ピクセルまでの距離LPVを算出する。処理対象ピクセルが建物の表面を表していれば、距離LPVは建物の存在を踏まえた値となる。
次に、視点から基準点の距離LVSを算出する。距離LVSは、一つの簡易3次元地図について処理する間は一定値となる。
図示するように、距離LPV、距離LVSは、三角形の2辺を構成する関係になり、視線方向が既知であれば視点から見た基準点方向と処理対象ピクセル方向の間の角度Aも既知となるから、距離LPSを算出することができる。距離LPSの算出は、分岐処理を介さない単純計算であるため、全ての画素について計算するための負荷は、大きなものとはならない。
ナビゲーション装置10は、上述の計算によって得られた距離LPSが閾値THよりも大きい場合は不透過(アルファ値=1)とし、閾値TH以下の場合は透過(アルファ値=0)と設定する(ステップS33)。ここで用いる閾値THは、マスク領域を決める半球の半径である。
ナビゲーション装置10は、ステップS31〜S33の処理を繰り返し実行することで(ステップS34)、マスク画像を生成する。
図9は、マスク領域を示す説明図である。仮装3次元空間の中で、マスク領域を表している。既に説明した通り、マスク領域は、基準点を中心とする半球状の領域である。ただし、そこに建物がある場合には、半球と建物との交点がマスク領域の境界となるため、図中の黒く塗りつぶした部分のような形状となる。この形状は、基準点の位置、マスク領域の半径、建物の位置によって変化する。
本実施例では、基準点を中心とする半球を精細モデル描画範囲とする例を示した。精細モデル描画範囲は、任意の形状を設定可能である。例えば、基準点を重心位置とする矩形等としてもよい。
G.効果および変形例:
以上で説明した実施例の3次元地図表示装置によれば、図2に例示したように、精細モデルによる3次元地図と、簡易モデルによる3次元地図とをユーザが容易に区別して認識することができる。従って、ユーザは、精細モデルで表示された範囲内については、3次元地図に表された建物の外観などを信頼することができ、混乱することなく地理等の把握を行うことが可能となる。
本実施例においては、上述した特徴の全てを備えている必要はなく、適宜、その一部を省略したり組み合わせたりしてもよい。
(1)実施例では、簡易モデル、精細モデルの2種類を併用する場合を例示したが、3種類以上の3次元モデルを用いるものとしてもよい。
(2)実施例においてハードウェア的に構成されている部分は、ソフトウェア的に構成することもでき、その逆も可能である。
(3)実施例では簡易3次元地図にマスク処理を施す例を示したが、精細3次元地図にマスク処理を施しても良い。
変形例として、円柱のマスク領域を精細モデルに設定した場合のマスク画像生成処理を以下に説明する。
図10は、変形例としてのマスク画像生成処理のフローチャートである。図8に対応する処理である。この処理は、実施例のように透視投影後の画像に基づいてマスク画像を生成するのではなく、透視投影前の3次元モデルを活用してマスク画像を生成する方法である。
処理を開始すると、ナビゲーション装置10は、視点、視線方向を入力する(ステップS40)。そして、精細モデルに対し、マスク画像生成用テクスチャを貼付する(ステップS41)。図中にマスク画像生成用テクスチャを例示した。ここでは、マスク領域は、基準点を中心とする円柱とする。精細モデルのうちこの円柱内に存在する建物の部分が、精細3次元地図に描画されるべき範囲ということになり、マスク画像に表されるべき部分ということになる。
そこで、マスク画像生成用テクスチャとして、マスク領域の円柱内に存在する部分(図中の建物1、建物2のハッチングの部分)を白、その他の部分を黒で表したテクスチャを貼付する。このテクスチャは、視点、視線方向の影響を受けないため、予め全ての地物に対して用意しておくことが可能である。
ナビゲーション装置10は、マスク画像生成用テクスチャの貼付が完了すると、その状態で透視投影を行うことによりマスク画像を描画する(ステップS42)。
変形例の方法によれば、予めマスク画像生成用テクスチャを用意しておくだけで、透視投影により任意の視点、視線方向のマスク画像を容易に生成することができる利点がある。
(4)実施例では半球状のマスク領域を用いたが、マスク領域の形状は任意に設定可能である。例えば、基準点を重心とする円柱、直方体などとしてもよい。
図11は、変形例(1)としてのマスク領域を示す説明図である。この例では、マスク領域を設定するための基準点を、交差点ではなく基準線に基づいて設定される。基準線として、この例では、道路に沿って設定された経路探索用のリンクを用いている。基準線は、リンクに限られず、道路を表すポリゴンの一辺としてもよいし、道路と無関係に任意に設定された線としてもよい。
上側の図には、基準点の設定例を示した。この例では、基準線の両端および4等分した各分割点の合計5点を基準点とした。基準点は、このように基準線を等分割した点として設定することができる。かかる態様の他、基準線の一端から等間隔または所定の関数で定まる位置に基準点を設定するようにしてもよい。
下側の図には、マスク領域の設定例を示した。この例では、実施例と同様、基準点を中心とする球体をマスク領域とした。図の例では、球体の半径を一定としているが、基準点ごとに変化させてもよい。
図12は、変形例(2)としてのマスク領域を示す説明図である。変形例(2)も基準線に基づいてマスク領域を設定した例である。この例では、基準線から所定の距離にあるカプセル形状をマスク領域として設定した。即ち、基準線を中心とする半円筒形の部分と、基準線の両端を基準とする半休状の部分とを組み合わせた形状である。
図13は、変形例(3)としてのマスク領域を示す説明図である。変形例(3)も基準線に基づいてマスク領域を設定した例である。この例では、基準線を中心とする半円筒形の部分をマスク領域とした。
基準線を用いたマスク領域は、変形例(1)〜(3)の他にも設定可能である。例えば、変形例(3)のように円筒形ではなく、基準線を中心軸とする多角柱、楕円柱などの形状としてもよい。
以上、本実施例の種々の変形例を示してきた。本発明については、ここに記載した実施例および変形例に限らず、さらに種々の変形例を構成することが可能である。
本発明は、地物の外観の再現精度が異なる複数の地図モデルを併用して3次元地図を表示するために利用することができる。
10…ナビゲーション装置
11…位置検出部
12…コマンド入力部
13…地図表示パラメータ設定部
14…経路探索部
15…道路ネットワークデータベース
16…地図データベース
16A…簡易モデル
16B…精細モデル
20…地図表示部
21…画像合成部
22…簡易3次元地図描画部
23…精細3次元地図描画部
24…マスク画像生成部
25…画像合成部

Claims (8)

  1. 3次元地図を表示する3次元地図表示システムであって、
    地図に含まれる地物の外観の再現精度が高い地図データである精細モデルと、前記精細モデルよりも地図に含まれる地物の外観の再現精度が低い地図データである簡易モデルとを格納する地図データベースと、
    前記地図データベースを参照して、指定された視点、視線方向からみた3次元地図を表示する地図表示部とを備え、
    前記地図表示部は、
    前記精細モデルのみで3次元地図を表示可能な範囲として前記地物の形状に依存しない幾何学形状で予め定義された精細モデル描画範囲内において前記精細モデルによる3次元地図である精細3次元地図を描画する精細3次元地図描画部と、
    前記精細モデル描画範囲外について、前記精細モデルも前記簡易モデルとして扱うことにより、前記簡易モデルによる3次元地図である簡易3次元地図を描画する簡易3次元地図描画部と、
    該精細モデル描画範囲に対しては前記精細3次元地図が表示されるように、前記簡易3次元地図に前記精細3次元地図を合成して表示する画像合成部とを備える3次元地図表示システム。
  2. 請求項1記載の3次元地図表示システムであって、
    前記地図表示部は、
    前記精細モデル描画範囲に基づき、前記精細3次元地図および簡易3次元地図の少なくとも一方に対して、非表示とされるべき部分を特定するためのマスク画像を生成するマスク画像生成部を備え、
    前記画像合成部は、前記マスク画像に基づいて、前記精細3次元地図および簡易3次元地図の一部を非表示とした上で前記合成を行う3次元地図表示システム。
  3. 請求項1または2記載の3次元地図表示システムであって、
    前記地図表示部は、前記精細3次元地図および簡易3次元地図とを、異なる表示態様で表示する3次元地図表示システム。
  4. 請求項1〜3いずれか記載の3次元地図表示システムであって、
    前記精細モデルは、予め設定された基準点または基準線を含む所定の範囲を整備範囲として整備されており、
    前記精細モデル描画範囲は、前記整備範囲内で、前記基準点または基準線との相対的な位置関係で定義されている3次元地図表示システム。
  5. 請求項4記載の3次元地図表示システムであって、
    前記基準点は、交差点の位置または前記基準線に基づいて設定されている3次元地図表示システム。
  6. 請求項1〜5いずれか記載の3次元地図表示システムであって、
    前記地図表示部は、前記精細モデル描画範囲の境界が路面上で視認可能な態様で前記3次元地図を表示する3次元地図表示システム。
  7. 3次元地図をコンピュータによって表示する3次元地図表示方法であって、
    前記コンピュータが実行するステップとして、
    地図に含まれる地物の外観の再現精度が高い地図データである精細モデルと、前記精細モデルよりも地図に含まれる地物の外観の再現精度が低い地図データである簡易モデルとを地図データベースに格納するステップと、
    前記地図データベースを参照して、指定された視点、視線方向からみた3次元地図を表示する地図表示ステップとを備え、
    前記地図表示ステップは、
    前記精細モデルのみで3次元地図を表示可能な範囲として前記地物の形状に依存しない幾何学形状で予め定義された精細モデル描画範囲内において前記精細モデルによる3次元地図である精細3次元地図を描画するステップと、
    前記精細モデル描画範囲外について、前記精細モデルも前記簡易モデルとして扱うことにより、前記簡易モデルによる3次元地図である簡易3次元地図を描画するステップと、
    該精細モデル描画範囲に対しては前記精細3次元地図が表示されるように、前記簡易3次元地図に前記精細3次元地図を合成して表示するステップとを備える3次元地図表示方法。
  8. 3次元地図をコンピュータに表示させるためのコンピュータプログラムであって、
    地図に含まれる地物の外観の再現精度が高い地図データである精細モデルと、前記精細モデルよりも地図に含まれる地物の外観の再現精度が低い地図データである簡易モデルとを地図データベースに格納する機能と、
    前記地図データベースを参照して、指定された視点、視線方向からみた3次元地図を表示する地図表示機能とを備え、
    前記地図表示機能は、
    前記精細モデルのみで3次元地図を表示可能な範囲として前記地物の形状に依存しない幾何学形状で予め定義された精細モデル描画範囲内において前記精細モデルによる3次元地図である精細3次元地図を描画する機能と、
    前記精細モデル描画範囲外について、前記精細モデルも前記簡易モデルとして扱うことにより、前記簡易モデルによる3次元地図である簡易3次元地図を描画する機能と、
    該精細モデル描画範囲に対しては前記精細3次元地図が表示されるように、前記簡易3次元地図に前記精細3次元地図を合成して表示する機能とをコンピュータに実現させるコンピュータプログラム。
JP2015001828A 2015-01-07 2015-01-07 3次元地図表示システム Expired - Fee Related JP6512425B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015001828A JP6512425B2 (ja) 2015-01-07 2015-01-07 3次元地図表示システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015001828A JP6512425B2 (ja) 2015-01-07 2015-01-07 3次元地図表示システム

Publications (2)

Publication Number Publication Date
JP2016126668A true JP2016126668A (ja) 2016-07-11
JP6512425B2 JP6512425B2 (ja) 2019-05-15

Family

ID=56359587

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015001828A Expired - Fee Related JP6512425B2 (ja) 2015-01-07 2015-01-07 3次元地図表示システム

Country Status (1)

Country Link
JP (1) JP6512425B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019128705A (ja) * 2018-01-23 2019-08-01 トヨタ自動車株式会社 自己位置推定装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07220055A (ja) * 1994-02-07 1995-08-18 Nissan Motor Co Ltd 鳥瞰図表示機能付ナビゲーションシステム
WO2007074829A1 (ja) * 2005-12-28 2007-07-05 Pioneer Corporation 地図データ表示装置及び表示制御方法
JP2009157053A (ja) * 2007-12-26 2009-07-16 Aisin Aw Co Ltd 立体地図表示ナビゲーション装置、立体地図表示システム及び立体地図表示プログラム
JP2013088176A (ja) * 2011-10-14 2013-05-13 Clarion Co Ltd ナビゲーション装置
JP2014219748A (ja) * 2013-05-02 2014-11-20 三菱電機株式会社 地図描画装置
JP2014219746A (ja) * 2013-05-02 2014-11-20 三菱電機株式会社 地図描画装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07220055A (ja) * 1994-02-07 1995-08-18 Nissan Motor Co Ltd 鳥瞰図表示機能付ナビゲーションシステム
WO2007074829A1 (ja) * 2005-12-28 2007-07-05 Pioneer Corporation 地図データ表示装置及び表示制御方法
JP2009157053A (ja) * 2007-12-26 2009-07-16 Aisin Aw Co Ltd 立体地図表示ナビゲーション装置、立体地図表示システム及び立体地図表示プログラム
JP2013088176A (ja) * 2011-10-14 2013-05-13 Clarion Co Ltd ナビゲーション装置
JP2014219748A (ja) * 2013-05-02 2014-11-20 三菱電機株式会社 地図描画装置
JP2014219746A (ja) * 2013-05-02 2014-11-20 三菱電機株式会社 地図描画装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019128705A (ja) * 2018-01-23 2019-08-01 トヨタ自動車株式会社 自己位置推定装置

Also Published As

Publication number Publication date
JP6512425B2 (ja) 2019-05-15

Similar Documents

Publication Publication Date Title
JP4964762B2 (ja) 地図表示装置および地図表示方法
US9549169B2 (en) Stereoscopic map display system
KR20130040773A (ko) 3차원 지도 묘화 시스템
WO2016117267A1 (ja) 3次元地図表示システム
KR102181451B1 (ko) 드로잉 데이터 생성 장치 및 드로잉 장치
JP5964771B2 (ja) 3次元地図表示装置、3次元地図表示方法、および、コンピュータプログラム
JP2018169824A (ja) 道路施設管理支援装置及び道路施設管理支援プログラム
JP5883723B2 (ja) 3次元画像表示システム
JP6022386B2 (ja) 3次元地図表示装置、3次元地図表示方法、および、コンピュータプログラム
US9609309B2 (en) Stereoscopic image output system
KR102527827B1 (ko) 디지털 지도의 동적 재-스타일링
JP6512425B2 (ja) 3次元地図表示システム
JP2006243458A (ja) 三次元地図表示装置および三次元地図表示プログラム
JP5883673B2 (ja) 3次元地図における地点指定システム
JP5837841B2 (ja) 3次元地図表示システム
JP6110807B2 (ja) 画像処理装置
JP2008157680A (ja) ナビゲーション装置
JP6091676B2 (ja) 3次元地図表示システム
JP2009276266A (ja) ナビゲーション装置
JP2004333155A (ja) 情報提示装置及び情報提示方法、並びにコンピュータ・プログラム
JP5964611B2 (ja) 3次元地図表示システム
JP6016684B2 (ja) 3次元地図表示システム
JP2004333993A (ja) ステレオ写真方式による立体視地図表示装置および方法
JP6316722B2 (ja) 表示制御装置および表示制御方法
KR20100037376A (ko) 시설물 상세 데이터를 입체 이미지로 디스플레이하는 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190318

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190327

R150 Certificate of patent or registration of utility model

Ref document number: 6512425

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees