JP2014235469A - パノラマ画像表示プログラム、パノラマ画像表示装置、パノラマ画像表示システム、および、パノラマ画像表示方法 - Google Patents

パノラマ画像表示プログラム、パノラマ画像表示装置、パノラマ画像表示システム、および、パノラマ画像表示方法 Download PDF

Info

Publication number
JP2014235469A
JP2014235469A JP2013114890A JP2013114890A JP2014235469A JP 2014235469 A JP2014235469 A JP 2014235469A JP 2013114890 A JP2013114890 A JP 2013114890A JP 2013114890 A JP2013114890 A JP 2013114890A JP 2014235469 A JP2014235469 A JP 2014235469A
Authority
JP
Japan
Prior art keywords
virtual object
panoramic image
information processing
point
panoramic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013114890A
Other languages
English (en)
Other versions
JP6228392B2 (ja
Inventor
鈴木 利明
Toshiaki Suzuki
利明 鈴木
悟史 吉良
Satoshi Kira
悟史 吉良
明宏 梅原
Akihiro Umehara
明宏 梅原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nintendo Co Ltd
Original Assignee
Nintendo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nintendo Co Ltd filed Critical Nintendo Co Ltd
Priority to JP2013114890A priority Critical patent/JP6228392B2/ja
Priority to US14/282,710 priority patent/US9904982B2/en
Publication of JP2014235469A publication Critical patent/JP2014235469A/ja
Application granted granted Critical
Publication of JP6228392B2 publication Critical patent/JP6228392B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/06Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/067Reshaping or unfolding 3D tree structures onto 2D planes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/161Indexing scheme relating to constructional details of the monitor
    • G06F2200/1614Image rotation following screen orientation, e.g. switching from landscape to portrait mode
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Instructional Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】興趣性の高いパノラマ画像を提示する。
【解決手段】情報処理システムは、地図上の地点に関連付けられる複数のパノラマ画像を表示装置に表示させる。ここで、複数のパノラマ画像のうちの少なくとも1つのパノラマ画像には所定の仮想オブジェクトが設定されている。情報処理システム1は、ユーザの操作に基づいて地図上の各地点から1つを現在地点として決定する。現在地点に関連付けられるパノラマ画像に仮想オブジェクトが設定されている場合、パノラマ画像の所定位置に仮想オブジェクトが配置される。情報処理システム1は、現在地点に関連付けられるパノラマ画像のうち、ユーザの操作に応じて決められる一部領域の画像を表示装置に表示させる。仮想オブジェクトが設定されているパノラマ画像が表示される場合において当該仮想オブジェクトに関する所定の条件が満たされたことに応じて、所定の情報処理が実行される。
【選択図】図6

Description

本発明は、パノラマ画像を表示するためのパノラマ画像表示プログラム、パノラマ画像表示装置、パノラマ画像表示システム、および、パノラマ画像表示方法に関する。
従来、現実世界を表すパノラマ画像を用いて、ユーザの操作に応じて視線方向を変化させて現実空間の画像を表示する技術がある(例えば、非特許文献1参照)。
"GoogleMaps Street View 'Explore the world at street level'"、[online]、[平成25年2月20日検索]、インターネット〈URL:http://maps.google.com/intl/en/help/maps/streetview/〉
従来においては、パノラマ画像を閲覧することができるのみであり、より興趣性の高いパノラマ画像のコンテンツを提示するという点では改善の余地があった。
それ故、本発明の目的は、興趣性の高いパノラマ画像を提示することができるパノラマ画像表示プログラム、パノラマ画像表示装置、パノラマ画像表示システム、および、パノラマ画像表示方法を提供することである。
上記の課題を解決すべく、本発明は、以下の(1)〜(20)の構成を採用した。
(1)
本発明の一例は、地図上の地点に関連付けられる複数のパノラマ画像を表示装置に表示させる情報処理装置のコンピュータにおいて実行されるパノラマ画像表示プログラムである。複数のパノラマ画像のうちの少なくとも1つのパノラマ画像には所定の仮想オブジェクトが設定されている。パノラマ画像表示プログラムは、地点決定手段と、仮想オブジェクト配置手段と、画像表示手段と、処理実行手段としてコンピュータを機能させる。
地点決定手段は、ユーザの操作に基づいて地図上の各地点から1つを現在地点として決定する。仮想オブジェクト配置手段は、現在地点に関連付けられるパノラマ画像に仮想オブジェクトが設定されている場合、パノラマ画像の所定位置に仮想オブジェクトを配置する。画像表示手段は、現在地点に関連付けられるパノラマ画像のうち、ユーザの操作に応じて決められる一部領域の画像を表示装置に表示させる。処理実行手段は、仮想オブジェクトが設定されているパノラマ画像が表示される場合において当該仮想オブジェクトに関する所定の条件が満たされたことに応じて、所定の情報処理を実行する。
上記(1)の構成によれば、ユーザが地点を移動しつつ視線方向を変化させる結果、オブジェクトに関する条件が満たされると情報処理が実行される。これによれば、ユーザは、パノラマ画像を単に閲覧するだけでなく、オブジェクトを見つけることに応じたインタラクティブな体験を得ることができる。したがって、情報処理システム1は興趣性の高いパノラマ画像を提供することができる。
(2)
画像表示手段は、情報処理装置または他の情報処理装置において予め用意されたパノラマ画像のデータを取得するとともに、情報処理装置または他の情報処理装置において予め用意された仮想オブジェクトのデータを取得し、取得したデータを用いてパノラマ画像の一部領域の画像を表示装置に表示させてもよい。
上記(2)の構成において、パノラマ画像のデータと、仮想オブジェクトのデータは、単一の情報処理装置に予め用意(記憶)されていてもよいし、それぞれ別の情報処理装置に予め用意(記憶)されていてもよい。
上記(2)の構成によれば、予め用意されたオブジェクトを用いることによって、パノラマ画像ともにオブジェクトを容易に表示することができる。
(3)
複数のパノラマ画像のうちの2以上のパノラマ画像に対してそれぞれ仮想オブジェクトが設定されていてもよい。処理実行手段は、所定の複数の仮想オブジェクトに関して所定の条件が満たされたことに応じて所定の情報処理を実行してもよい。
上記(3)の構成によれば、複数の地点に配置されるオブジェクトについて条件が満たされることによって所定の情報処理が実行される。これによって、オブジェクトが配置される複数の地点を通る経路等を考慮してユーザは操作を行うので、より興趣性の高いパノラマ画像を提供することができる。
(4)
処理実行手段は、仮想オブジェクトが表示装置に表示されることを条件として所定の情報処理を実行してもよい。
上記(4)の構成によれば、目標オブジェクトが設定される地点に到達するだけでなく、視線方向を目標オブジェクトの方へ向けたことに応じて所定の情報処理が実行される。これによれば、単に視点を移動させるだけではなく、視点を移動させつつ視線方向を動かすことがユーザに要求されるので、パノラマ画像を用いたコンテンツをより興趣性の高いものにすることができる。
(5)
処理実行手段は、表示装置に表示された仮想オブジェクトを指定する操作がユーザによって行われたことを少なくとも条件として所定の情報処理を実行してもよい。
上記(5)の構成によれば、実際にユーザがオブジェクトを指定したことに応じて所定の情報処理が実行されるので、ユーザがオブジェクトを発見したか否かをより確実に判断することができる。
(6)
処理実行手段は、仮想オブジェクトが設定されているパノラマ画像が表示されたことを条件として所定の情報処理を実行してもよい。
上記(6)の構成によれば、現在地点がオブジェクトが配置される地点であるか否かを判断することによって、所定の情報処理を実行するための条件を容易に判断することができる。
(7)
画像表示手段は、パノラマ画像のうちで表示される領域に対応する視線方向が、所定範囲の方向となることを条件として、当該パノラマ画像に設定される仮想オブジェクトを当該パノラマ画像とともに表示してもよい。
上記(7)の構成によれば、現在地点がオブジェクトが配置される地点に到達しただけではオブジェクトが表示されるとは限らない。そのため、オブジェクトを発見するためには、単に視点を移動させるだけではなく、視点を移動させつつ視線方向を動かすことがユーザに要求される。これによって、パノラマ画像を用いたコンテンツをより興趣性の高いものにすることができる。
(8)
パノラマ画像表示プログラムは、地図上におけるまたはパノラマ画像上における仮想オブジェクトの位置を示唆する示唆情報をパノラマ画像とともに表示装置に表示する示唆情報表示手段としてコンピュータをさらに機能させてもよい。
上記(8)の構成によれば、オブジェクトの位置を示唆する示唆情報がユーザに提示されることによって、パノラマ画像を用いたコンテンツをより興趣性の高いものにすることができる。
(9)
示唆情報表示手段は、示唆情報として、地図上における仮想オブジェクトの位置に基づいて決められるパノラマ画像上の位置に示唆オブジェクトを表示してもよい。
なお、上記「地図上におけるオブジェクトの位置に基づいて決められるパノラマ画像上の位置」とは、地図上におけるオブジェクトの位置から算出される、以下の位置であってもよい。
・現在地点からオブジェクトが配置される地点までの経路に基づいて決められる位置(経路はオブジェクトの位置から算出される)。
・地図上における現在地点からオブジェクトの位置(またはオブジェクトが配置される地点)への方向に基づいて決められる位置(方向はオブジェクトの位置から算出される)。
上記(9)の構成によれば、ユーザは、示唆オブジェクトの配置位置によって、オブジェクトの位置へ向かうために進むべき方向を知ることができる。
(10)
示唆情報表示手段は、示唆情報として、パノラマ画像上における仮想オブジェクトの位置を示唆する示唆オブジェクトを表示してもよい。示唆オブジェクトは、パノラマ画像上における示唆オブジェクトの位置から仮想オブジェクトへの方向を示してもよい。
上記(10)の構成によれば、ユーザは、示唆オブジェクトが示す方向によって、オブジェクトを表示するために視線方向を変化させるべき方向を知ることができる。
(11)
仮想オブジェクト配置手段は、仮想オブジェクトに関する所定の条件が満たされた場合、当該仮想オブジェクトを消去してもよい。
上記(11)の構成によれば、所定の条件が満たされた仮想オブジェクトが消去されるので、ユーザには仮想オブジェクトが取得されたように見え、条件が満たされたことをユーザにわかりやすく通知することができる。また、仮想オブジェクトが消去されることによって、パノラマ画像をより見やすく提供することができる。
(12)
処理実行手段は、所定の情報処理として、パノラマ画像に関する特典をユーザに付与する処理を実行してもよい。
上記(12)の構成によれば、ユーザに特典を付与することによって、パノラマ画像の興趣性を向上することができる。
(13)
仮想オブジェクトには、それが設定されるパノラマ画像に関連付けられる地点とは異なる地点が関連付けられていてもよい。処理実行手段は、仮想オブジェクトに関する所定の条件が満たされたことに応じて、当該仮想オブジェクトに関連付けられる地点を選択し、当該仮想オブジェクトが設定されているパノラマ画像に代えて、選択した地点に関連付けられるパノラマ画像を表示装置に表示する情報処理を実行してもよい。
上記(13)の構成によれば、パノラマ画像とともに表示されるオブジェクトに関する条件が満たされることに応じて、パノラマ画像の視点が他の地点へ移動する。このようなオブジェクトを配置することによって、地図上において離れた地点への移動が容易になるとともに、視点がワープするような感覚をユーザに与えることができ、興趣性の高いパノラマ画像を提供することができる。
(14)
画像表示手段は、現在地点とは異なる他地点に関連付けられるパノラマ画像に設定される仮想オブジェクトを他地点仮想オブジェクトとし、現在地点におけるパノラマ画像の視点から見たときの他地点仮想オブジェクトを表す追加仮想オブジェクトを、現在地点に関連付けられるパノラマ画像とともに表示装置に表示する追加仮想オブジェクト表示手段を有していてもよい。
上記(14)の構成によれば、現在地点が他地点オブジェクトが配置される地点でない場合であっても、現在地点からの他地点オブジェクトの位置および/または方向を追加オブジェクトによってユーザに知らせることができる。
(15)
パノラマ画像表示プログラムは、地図上における現在地点から他地点への方向に基づいて、現在地点に関連付けられるパノラマ画像に対する追加仮想オブジェクトの配置位置を決定する追加配置手段としてコンピュータをさらに機能させてもよい。
上記(15)の構成によれば、現在地点から見たときの他地点オブジェクトの方向を、追加オブジェクトの配置位置によってユーザに認識させることができる。
(16)
追加配置手段は、他地点における視点と他地点仮想オブジェクトとの地図上における位置関係に基づいて、現在地点に関連付けられるパノラマ画像に対する追加仮想オブジェクトの配置位置を決定してもよい。
上記(16)の構成によれば、追加オブジェクトの配置位置によって、現在地点における視点からの他地点オブジェクトの方向をより正確に表現することができる。
(17)
追加配置手段は、地図上における地点の位置を示す情報に基づいて算出される、現在地点から他地点までの距離に基づいて、現在地点に関連付けられるパノラマ画像に対する追加仮想オブジェクトの配置位置を決定してもよい。
上記(17)の構成によれば、追加オブジェクトの配置位置によって、現在地点における視点からの他地点オブジェクトの方向をより正確に表現することができる。
(18)
追加配置手段は、現在地点における視点から見たときの他地点仮想オブジェクトの向きを表すように、現在地点における視点から見た追加仮想オブジェクトの向きを決定してもよい。
上記(18)の構成によれば、現在地点における視点から見たときの他地点オブジェクトの向きと追加オブジェクトの向きとを合わせることができるので、他地点オブジェクトと追加オブジェクトとの対応をよりわかりやすくすることができる。
(19)
追加仮想オブジェクト表示手段は、現在地点に対して所定の条件を満たす他地点について他地点仮想オブジェクトが存在するか否かを判定し、他地点仮想オブジェクトが存在する場合、追加仮想オブジェクトをパノラマ画像とともに表示装置に表示してもよい。
上記(19)の構成によれば、現在地点に対して所定の条件を満たす他地点に設定される他地点オブジェクトについて追加オブジェクトが表示される。したがって、例えば現在地点に隣接する地点に配置される他地点オブジェクト等、適切な他地点オブジェクトについての追加オブジェクトを表示することができる。
(20)
処理実行手段は、所定の条件と同じ条件が追加仮想オブジェクトに関して満たされた場合であっても所定の情報処理を実行しないようにしてもよい。
上記(20)の構成によれば、地図における他地点オブジェクトの配置状態に影響を与えずに追加オブジェクトを配置することができる。
なお、本発明の別の一例は、上記(1)〜(20)のパノラマ画像表示プログラムを実行することによって実現される各手段と同等の手段を備えるパノラマ画像表示装置あるいはパノラマ画像表示システムであってもよいし、上記(1)〜(20)において実行されるパノラマ画像表示方法であってもよい。
本発明によれば、地図上の地点に配置したオブジェクトを用いてインタラクティブな体験をユーザに与えることによって、興趣性の高いパノラマ画像を提供することができる。
本実施形態に係る表示制御システムの一例を示すブロック図 端末装置とそれに表示される画像との一例を示す図 3次元空間に配置される立体モデルの一例を示す図 パノラマ画像を表示するために設定される3次元空間の一例を示す図 地図データの構成の一例を模式的に示す図 地図の一例を示す図 ゲームの開始時において端末装置3に表示される画像の一例を示す図 パノラマ画像とともに目標オブジェクトが表示される場合における画像の一例を示す図 示唆オブジェクトの一例を示す図 示唆オブジェクトの他の一例を示す図 図10に示す示唆オブジェクトが配置される場合における目標オブジェクトの一例を示す図 パノラマ画像とともに表示される追加オブジェクトの一例を示す図 地図空間の一例を上方から見た図 地図空間の一例を斜めから見た図 本実施形態において情報処理装置が実行する表示制御処理の流れの一例を示すフローチャート 図15に示すオブジェクト配置処理(ステップS5)の詳細な流れの一例を示すフローチャート
[1.情報処理システムの構成]
以下、本実施形態の一例に係るパノラマ画像表示システム、パノラマ画像表示装置、パノラマ画像表示プログラム、およびパノラマ画像表示方法について説明する。図1は、本実施形態に係るパノラマ画像表示システムの一例を示すブロック図である。図1において、パノラマ画像表示システムの一例である情報処理システム1は、情報処理装置2、および、端末装置3を備える。本実施形態における情報処理システム1は、地図上の複数の地点についてのパノラマ画像を表示装置(端末装置3)に表示するものである。
情報処理システム1は、パノラマ画像表示装置の一例である情報処理装置2を含む。情報処理装置2は、パノラマ画像を表示装置に表示させる表示制御処理等、情報処理システム1において実行される情報処理を実行する。情報処理装置2は、パーソナルコンピュータ、ゲーム装置、携帯端末、スマートフォン等、どのような形態の情報処理装置であってもよい。情報処理装置2は、端末装置3と通信可能である。情報処理装置2と端末装置3との通信は、有線であってもよいし無線であってもよい。
図1に示すように、情報処理装置2は、CPU11、メモリ12、および、プログラム記憶部13を備える。CPU11は、パノラマ画像表示プログラムの一例である所定の表示制御プログラムをメモリ12を用いて実行することによって、上記表示制御処理を実行する。なお、情報処理装置2は、情報処理を実行することができればどのような構成であってもよく、例えば情報処理の一部または全部が専用回路によって実行されてもよい。本実施形態においては、上記表示制御処理によって情報処理装置2が画像を生成し、生成された画像が情報処理装置2から端末装置3へ出力される。
プログラム記憶部13は、上記表示制御プログラムを記憶する。プログラム記憶部13は、CPU11がアクセス可能な任意の記憶装置である。プログラム記憶部13は、例えばハードディスク等の、情報処理装置2に内蔵される記憶部であってもよいし、例えば光ディスク等の、情報処理装置2に着脱可能な記憶部であってもよい。
情報処理システム1は端末装置3を含む。なお、図2には、端末装置3の一例が示されている。端末装置3は、表示部の一例であるLCD(液晶表示装置)14を有する。つまり、端末装置3は表示装置と言うことができる。本実施形態においては、端末装置3は、可搬型(携帯型とも言う)の表示装置である。端末装置3は、情報処理装置2から送信されてくる画像を受信し、画像をLCD14に表示する。
また、端末装置3は入力部を有する。入力部は、ユーザの操作を受け付け、ユーザの操作を表す操作データを生成する任意の装置である。本実施形態においては、端末装置3は、入力部として、操作部15、タッチパネル16、および、ジャイロセンサ17を備える。操作部15は、本実施形態においては、ボタンおよびスティックである。タッチパネル16は、表示部(LCD)14の画面上に設けられる。ジャイロセンサ17は、端末装置3の姿勢を算出するための姿勢センサの一例である。例えば他の実施形態においては、端末装置3は、ジャイロセンサ17に加えて(またはジャイロセンサ17に代えて)加速度センサおよび/または磁気センサを備えていてもよい。また、端末装置3の姿勢を算出する方法は任意であり、例えば他の実施形態においては、情報処理装置2は、端末装置3を撮像装置によって撮像し、撮影された画像を用いて端末装置3の姿勢を算出してもよい。
端末装置3は、上記入力部によって生成された操作データを情報処理装置2へ送信する。操作データは、例えば一定時間に1回の割合で繰り返し、端末装置3から情報処理装置2へ送信される。情報処理装置2は、操作データを入力として用いて上記表示制御処理を実行する。
上記情報処理システム1においては、端末装置3に対する入力に応じて情報処理装置2が情報処理(表示制御処理)を実行し、実行の結果得られた画像が端末装置3に表示される。このように、本実施形態においては、情報処理システム1は、入力機能、情報処理機能、および表示機能が複数の装置によって実現される構成である。なお、他の実施形態においては、情報処理システム1は、これらの機能を有する単一の情報処理装置(例えば、携帯ゲーム機や携帯電話機、スマートフォン、タブレット型端末、ノート型パーソナルコンピュータ等といった携帯型あるいは可搬型の情報処理装置、または、デスクトップ型パーソナルコンピュータ等といった据え置き型の情報処理装置)で構成されてもよい。また、他の実施形態においては、情報処理装置2の機能が複数の装置によって実現されてもよい。例えば、他の実施形態においては、情報処理装置2において実行される情報処理の少なくとも一部が、ネットワーク(広域ネットワークおよび/またはローカルネットワーク)によって通信可能な複数の装置によって分散して実行されてもよい。
また、本実施形態においては、表示装置と入力装置とが一体の端末装置3として構成される。ただし、他の実施形態においては、表示装置と入力装置とが別体として設けられてもよい。例えば、情報処理装置2は、端末装置3とは別の表示装置(例えば情報処理装置2と通信可能なテレビ)に画像を表示させてもよい。
[2.パノラマ画像の表示]
次に、本実施形態における画像を表示する処理の概要について説明する。本実施形態において、情報処理システム1は、パノラマ画像のうちの一部領域(ユーザによって操作される視線方向に応じた視野範囲内の領域)の画像を表示する。
(パノラマ画像)
本実施形態において、パノラマ画像とは、表示装置に表示される範囲よりも広い範囲の画像である。つまり、パノラマ画像については、基本的にはその一部の領域の画像が表示装置に表示される。本実施形態においては、パノラマ画像のうちで、上記視線方向に応じて決まる視野範囲に含まれる領域が、表示装置に表示される範囲(表示範囲)となる。パノラマ画像は、(表示装置に表示される際に)3次元空間における視線方向に応じて表示範囲を決定する処理が行われる画像と言うこともできる。表示範囲は、例えばユーザの操作に従って変化(移動)してもよい。表示範囲が移動する場合、パノラマ画像は、表示範囲が変化することによって視線の方向が変化する画像であるとも言える。上記のように、パノラマ画像は通常はその一部の領域(範囲)が表示されるものであるが、情報処理システム1は、パノラマ画像の全体を表示装置に表示する機能を有していてもよい。例えば情報処理システム1において複数の表示装置が用いられる場合には、一部の表示装置においてパノラマ画像の全体が表示されてもよい。
なお、本実施形態においては、上下方向(ピッチ方向)および左右方向(ヨー方向)に関して全方向(360°)の視野角を有するパノラマ画像が用いられる。ただし、パノラマ画像には死角があってもよく、例えば視野角が180°程度であってもよい。表示装置に表示される範囲(視野範囲)よりも広い範囲の画像は、パノラマ画像である。
(視線方向の操作)
図2は、端末装置3とそれに表示される画像との一例を示す図である。図2に示すように、本実施形態においては、現実世界を表すパノラマ画像(の一部の範囲)が端末装置3のLCD14に表示される。
本実施形態においては、視線方向は、ユーザが端末装置3の姿勢を変化させる操作によって制御される。例えば、図2に示すように、端末装置3が上下方向(ピッチ方向)または左右方向(ヨー方向)に回転すると、LCD14に表示される画像の視線方向(後述する仮想カメラの視線方向)は上下または左右に変化する。すなわち、LCD14に表示される画像が上下または左右にスクロールされ、パノラマ画像中の異なる範囲が表示される。具体的には、情報処理システム1は、ジャイロセンサ17によって検出される角速度に基づいて端末装置3の姿勢を算出し、算出された姿勢に基づいて視線方向を算出する。
このように、情報処理システム1は、端末装置3の姿勢に応じて視線方向を制御する。これによれば、ユーザは、周囲を見渡すように端末装置3の姿勢を変化させる操作によってパノラマ画像の表示範囲を変更でき、パノラマ画像が表す現実空間を見渡すことができるので、パノラマ画像の視点の場所に実際にいるかのような体験をすることができる。なお、本実施形態においては、情報処理システム1は、端末装置3の姿勢の変化量とパノラマ画像の視線方向の変化量とを一致させる。これによって、端末装置3の姿勢を変化させることによってパノラマ画像による現実空間を見渡す操作のリアリティが増す。
なお、他の実施形態においては、視線方向の制御はどのように行われてもよい。視線方向がユーザの入力によって制御される場合、入力方法は任意である。情報処理システム1は、例えば端末装置3が有する十字ボタンあるいはスティックに対する入力に応じて視線方向を制御してもよい。また、視線方向は、ユーザの入力によって制御される他、所定のアルゴリズムに従って自動的に制御されてもよい。
(パノラマ画像を表示する方法)
本実施形態においては、情報処理システム1は、パノラマ画像を表示するために仮想の3次元空間を設定し、3次元空間において立体モデルを配置する。そして、情報処理システム1は、立体モデルにパノラマ動画をテクスチャとして描画する方法によってパノラマ画像を表示する。以下、詳細を説明する。
図3は、3次元空間に配置される立体モデルの一例を示す図である。図3に示すように、本実施形態においては、パノラマ画像を描画するための立体モデルとして、8つの部分モデル21a〜21hが3次元空間に配置される。各部分モデル21a〜21hはそれぞれ、球面の一部である曲面状の形状であり、組み合わせると球を形成する。図3に示すように、上記8つの部分モデル21a〜21hは球状に配置される。
上記部分モデル21a〜21hにはそれぞれ、パノラマ画像の一部が描画される。ここで、パノラマ画像は上記部分モデル21a〜21hの数に応じて分割される。本実施形態においては、図3に示すように、パノラマ画像は部分A〜Hの8つに分割される。分割されたパノラマ画像は、それに対応する部分モデルの内側面に描画される。本実施形態においては、図3に示すように、分割された各パノラマ画像の部分A〜Hは、対応する部分モデル(部分モデル21a〜21hのいずれか)の内側面に描画される。
図4は、パノラマ画像を表示するために設定される3次元空間の一例を示す図である。なお、以下においては、8つの部分モデル21a〜21hが球状に配置されることによって形成されるモデルを「立体モデル21」と表記する。また、図4、図13および図14においては、図面を見やすくする目的で、実際に配置される各部分モデル21a〜21hの形状を示さず、各部分モデル21a〜21hによって形成される立体モデル21の外観形状を点線によって示すこととする。
情報処理システム1は、立体モデル21の内側に仮想カメラを配置する。ここでは、一例として、立体モデル21の中心位置Pに仮想カメラが配置される。また、上述のように、仮想カメラの視線方向Vは、端末装置3の姿勢に応じて決定される。本実施形態においては、仮想カメラの位置は固定であるとするが、他の実施形態においては、視線方向に応じて仮想カメラの位置が変化してもよい。
情報処理システム1は、仮想カメラ(視点)の位置Pから視線方向Vの方を見た立体モデル21(立体モデル21の内側面)の画像を生成する。すなわち、情報処理システム1は、上記3次元空間(立体モデル21)のうち、視線方向Vによって決められる視野範囲(図4に示す斜線領域22)の画像を生成し、表示装置に表示する。ここで、画像を生成する際、上述したように、情報処理システム1は、パノラマ画像をテクスチャとして立体モデル21の内側面に描画する。つまり、視野範囲に含まれる立体モデル21(各部分モデル21a〜21hのいくつか)の内側面に、パノラマ動画の一部が描画され、この視野範囲の画像が表示される。これによって、パノラマ画像のうち、仮想カメラの視野範囲に対応する範囲の画像が生成されて表示されることになる。
上述のように、本実施形態においては仮想カメラの視線方向Vはユーザの操作に応じて変化する。したがって、ユーザの操作に応じて仮想カメラの視野範囲が変化することによって、視野範囲に対応する表示範囲が変化する。すなわち、LCD14に表示されるパノラマ画像はユーザの操作に応じてスクロールする(図3参照)。
なお、仮想カメラの視野範囲は、視線方向Vに基づく任意の方法で決められる。例えば、視野範囲は、視線方向Vを中心とする所定の範囲となるように決められる。情報処理システム1は、視野範囲の大きさを変更するようにしてもよい。つまり、情報処理システム1は、LCD14に表示されるパノラマ画像について、ズームインまたはズームアウトを行うようにしてもよい。視野範囲の大きさは、例えばユーザの操作に応じて変更されてもよい。また、情報処理システム1は、端末装置3の姿勢がロール方向に変化することに応じて視野範囲を回転させてもよい。
また、図4に示すように、仮想空間には立体モデル21とともにオブジェクト23が配置されることがある(オブジェクトの詳細について後述する)。オブジェクト23は、立体モデル21の内側に配置される。そのため、仮想カメラの視野範囲内にオブジェクト23が位置する場合、LCD14には、パノラマ画像とともに(パノラマ画像に重ねて)オブジェクトが表示される。
なお、パノラマ画像上にオブジェクトを配置する方法は、本実施形態のように仮想空間内にオブジェクトを配置する方法に限らず、任意の方法であってよい。例えば、他の実施形態においては、情報処理システム1は、パノラマ画像に対してオブジェクトの画像を追加し、オブジェクトの画像が追加されたパノラマ画像を立体モデル21に描画することによって、パノラマ画像上にオブジェクトを配置してもよい。
本実施形態においては、パノラマ画像上に配置されるオブジェクトは、パノラマ画像と同様に予め用意されている。すなわち、本実施形態においては、パノラマ画像のデータおよびオブジェクトのデータ(オブジェクトを表示するために用いられる画像データ等)は、情報処理装置2において、あるいは、情報処理システム1と通信可能な外部のサーバ装置において、予め記憶されている。情報処理システム1は、これらのデータを必要に応じて取得し、取得したデータを用いてパノラマ画像およびオブジェクトの画像をLCD14に表示させる。なお、パノラマ画像のデータとオブジェクトのデータは、互いに異なる装置に記憶されていてもよい。また、オブジェクトは、予め用意されたものに限らず、ユーザによって生成されたものであってもよい。例えば、ユーザがパノラマ画像上の位置を指定し、指定した位置にオブジェクトが配置されてもよい。
[3.パノラマ画像と関連付けられる地図データ]
次に、本実施形態において用いられる地図データについて説明する。本実施形態においては、地図データが用意され、地図データが表す地図上における複数の地点についてそれぞれパノラマ画像が用意される。詳細は後述するが、ユーザは、地図上の地点を移動させることによって、視点の位置が異なる複数のパノラマ画像を表示させることができる。
図5は、地図データの構成の一例を模式的に示す図である。図5に示す点は、地図上においてパノラマ画像が関連付けられる地点を表す。また、点同士を結ぶ線分は、地点同士が接続されていることを表す。このように、地図データは、地図上における複数の地点と、地点同士の接続関係を示す。地図データにおける地点およびその接続関係は、例えば、地点を表すノードと、ノード同士を接続するリンクとによって表現されてもよい。
図5に示すように、地図データは、地図上に設定される地点を表す地点情報を地点毎に格納する。本実施形態においては、地点情報は、位置情報と接続情報とを含む。位置情報は、当該地点の地図上の位置を示す情報である。例えば、位置情報は、地図上における緯度経度を示す。
接続情報は、当該地点に接続される他の地点(隣接地点)を示す隣接情報を含む。隣接情報は、隣接地点を表すノードの情報であってもよいし、当該地点と隣接地点との接続を表すリンクの情報であってもよい。また、本実施形態においては、接続情報は、当該地点から見た隣接地点の地図上の方向を示す方向情報を含む。方向情報は例えば、地図上における北を0°とした、0°≦θ<360°の範囲の角度を示す。
本実施形態においては、地点に関してそれぞれパノラマ画像が関連付けられる。具体的には、地図データにおいては、地点情報に対して、パノラマ画像情報が関連付けて格納される(図5参照)。パノラマ画像情報は例えば、各パノラマ画像を識別可能な識別情報(ID)である。このように、本実施形態においては、複数のパノラマ画像が用意され、各パノラマ画像はそれぞれ地図上の地点に関連付けられる。なお、ある地点に関連付けられるパノラマ画像は、当該ある地点を視点として視点の周囲を撮影したパノラマ画像である。
また、本実施形態においては、図5に示すように、地図上の各地点に対応する各パノラマ画像のうちのいくつかのパノラマ画像には、オブジェクトが設定される(換言すれば、地図上のいくつかの地点にはオブジェクトが設定される)。本実施形態においては、オブジェクトが設定されるパノラマ画像と、オブジェクトが設定されないパノラマ画像とがある。
具体的には、地図データにおいては、パノラマ画像情報に対してオブジェクト情報が関連付けて格納される。オブジェクト情報は、立体モデル21が配置される仮想空間におけるオブジェクトの位置(仮想カメラの位置を基準とした位置)を示す情報を含む。また、オブジェクト情報は、オブジェクトを配置する向き、および/または、オブジェクトの種類あるいは形状を示す情報を含んでいてもよい。また、仮想空間においてオブジェクトは固定的に配置されてもよいし、予め定められたアルゴリズムに従って移動してもよい。オブジェクトが移動する場合、オブジェクト情報は、移動のためのアルゴリズム(あるいは移動軌跡)を示す情報を含んでいてもよい。
なお、地図データの構成は上記に限らず、地点に対してパノラマ画像が関連付けられ、少なくとも1つのパノラマ画像に対してオブジェクトが設定される任意の構成であってよい。例えば他の実施形態においては、地図データは、上記方向情報を含まない構成であってもよい。また、地図データは、上記の情報以外の情報をさらに含んでいてもよい。例えば地図データは、地点の高度に関する情報をさらに含んでいてもよい。高度に関する情報とは、例えば、地図上の建物の中に地点が設定される場合において、その地点が建物の何階か示す情報である。このように、地図データの地点は、道路上の地点に限らず、建物内の地点であってもよい。
[4.情報処理システムにおける情報処理]
(4−1:処理全体の流れ)
次に、情報処理システム1で実行される情報処理について説明する。本実施形態では、ユーザが地図上の地点を移動しつつ、ある地点(地点に関連付けられるパノラマ画像)に設定されたオブジェクト(目標オブジェクト)を見つけるゲームが行われる場合を例として説明する。図6は、地図の一例を示す図である。本実施形態におけるゲームは、スタート地点から視点を移動させ、目標オブジェクトが設定されるゴール地点に到達し、目標オブジェクトを見つける(目標オブジェクトを画面に表示する)ことを目的とする。
図7は、ゲームの開始時において端末装置3に表示される画像の一例を示す図である。図7に示すように、ゲームの開始時においては、所定のスタート地点が現在地点として設定され、スタート地点のパノラマ画像(スタート地点に関連付けられるパノラマ画像)の一部が表示される。また、目標オブジェクトを探すことをユーザに促すメッセージとして、「○○を探せ!」というメッセージが表示される。このメッセージは、目標オブジェクトを見つけるためのヒントとなるメッセージであってもよい。例えば、目標オブジェクトがコンビニエンスストアの近辺に配置される場合、「近くのコンビニエンスストアを探せ」というメッセージのように、配置オブジェクトの位置を示唆する情報が提示されてもよい。
ゲーム中において、情報処理システム1は、視線変更操作と、地点移動操作とを受け付ける。視線変更操作は、本実施形態においては、上述した端末装置3の姿勢を変更する操作である。また、地点移動操作は、パノラマ画像が表示される現在地点(視点)を移動する操作である。地点移動操作の具体的な操作方法は任意である。例えば、情報処理システム1は、移動可能な方向を示す方向オブジェクトをパノラマ画像とともに表示し、方向オブジェクトを指定する操作(例えば、画面上の方向オブジェクトをタッチする操作)を受け付けてもよい。このとき、ユーザが指定した方向オブジェクトが示す方向へ現在地点が移動する。また、情報処理システム1は、端末装置3が有する十字ボタンあるいはスティックに対する操作を地点移動操作として受け付けてもよい。このとき、十字ボタンあるいはスティックによって指定された方向へ現在地点が移動する。
上述のように、情報処理システム1は、視線変更操作に応じて表示範囲を変化させてパノラマ画像をLCD14に表示させる。また、情報処理システム1は、地点移動操作に応じて、移動後の地点に関連付けられたパノラマ画像を表示する。なお、本実施形態においては、地点移動操作に応じて、仮想カメラの位置が変更されるのではなく、立体モデル21に描画するパノラマ画像が変更される。つまり、移動前の地点のパノラマ画像に代えて移動後の地点のパノラマ画像が立体モデル21に描画されることによって、移動後の地点のパノラマ画像が表示される。これによって、ユーザには視点が移動しているように見える。
また、表示されるパノラマ画像にオブジェクトが設定されている場合には、情報処理システム1は、仮想空間において立体モデル21とともにオブジェクト(目標オブジェクト等)を配置する。図8は、パノラマ画像とともに目標オブジェクトが表示される場合における画像の一例を示す図である。目標オブジェクト24が設定されるパノラマ画像が表示される状態(目標オブジェクトが設定される地点が現在地点である状態)において、目標オブジェクト24が視野範囲内に含まれる場合には、図8に示すように、パノラマ画像とともに目標オブジェクト24がLCD14に表示される。
以上のように、ユーザは、視線変更操作と、地点移動操作とを行うことが可能である。ユーザは、視線方向を変化させつつ現在地点(視点)を移動させることで、目標オブジェクト24を探す。本実施形態においては、ユーザは、視線方向を変化させることで周囲を見回すとともに、視点を移動させることができるので、地図が表す現実空間を実際に歩いて目標を探しているかのような体験をすることができる。
本実施形態においては、ユーザが目標オブジェクト24を見つけたことに応じて、ゲームクリアとなり、所定の情報処理が実行される。本実施形態においては、目標オブジェクト24が画面に表示されたことを条件として(すなわち、視野範囲に目標オブジェクト24が含まれたことを条件として)、所定の情報処理が実行される。なお、詳細は後述するが、所定の情報処理が実行される条件(ゲームクリアの条件)は、目標オブジェクト24に関する任意の条件であってもよい。
本実施形態においては、上記所定の情報処理として、所定の特典を付与する情報処理が実行される。特典を付与する情報処理とは、例えば、パノラマ画像に関する特典を付与する処理であり、具体的な一例としては、おすすめ地点を追加する処理、あるいは、新たな地点(パノラマ画像)を追加する処理である。なお、本実施形態においては、おすすめ地点が登録されている場合、おすすめ地点を選択することによって(地点移動操作を行わなくても)現在地点をおすすめ地点に移動させることができる。上記おすすめ地点を追加する処理とは、おすすめ地点を新たに登録する処理である。また、新たな地点を追加する処理とは、地図データに新たな地点を追加するとともに、当該地点に関連付けられるパノラマ画像を追加する処理である。これによって、ユーザは、今まで行くことができなかった地点に移動し、その地点のパノラマ画像を閲覧することができるようになる。なお、上記情報処理の内容は任意であり、他の実施形態においては、後述する“(4−3:所定の情報処理)”で説明する情報処理が実行されてもよい。
以上のように、本実施形態においては、情報処理システム1は、ユーザの操作に基づいて地図上の各地点から1つを現在地点として決定する。また、情報処理システム1は、現在地点に関連付けられるパノラマ画像に所定のオブジェクト(目標オブジェクト24)が設定されている場合、パノラマ画像の所定位置にオブジェクトを配置し、当該パノラマ画像のうち、ユーザの操作に応じて決められる一部領域の画像を端末装置3に表示させる。そして、情報処理システム1は、オブジェクトが設定されているパノラマ画像が表示される場合において当該オブジェクトに関する所定の条件(オブジェクトが画面に表示されたこと)が満たされたことに応じて、所定の情報処理(特典を付与する処理)を実行する。上記によれば、ユーザが地点を移動しつつ視線方向を変化させる結果、オブジェクトに関する条件が満たされると情報処理が実行される。ユーザは、パノラマ画像を単に閲覧するだけでなく、オブジェクトを見つけることに応じたインタラクティブな体験を得ることができる。したがって、情報処理システム1は興趣性の高いパノラマ画像を提供することができる。
(4−2:オブジェクトに関する条件)
次に、オブジェクトに関する条件、すなわち、所定の情報処理が実行される条件(実行条件)について説明する。本実施形態においては、所定の情報処理は、目標オブジェクト24が表示装置に表示されることを条件として実行される。つまり、目標オブジェクト24が設定される地点に到達したことに加えて、視線方向を目標オブジェクト24の方へ向けたことが実行条件とされる。
ここで、本実施形態においては、現在地点がゴール地点に到達したからといって目標オブジェクト24が常に表示されるわけではない。つまり、目標オブジェクト24は、視線方向が所定範囲の方向となることを条件としてパノラマ画像とともに表示される。したがって、ユーザは、単に視点を移動させるだけでは目標オブジェクト24を見つけることができず、視点を移動させつつ視線方向を動かすことがユーザに要求される。これによって、本実施形態においては、パノラマ画像を用いたコンテンツをより興趣性の高いものにすることができる。
なお、他の実施形態においては、情報処理システム1は、目標オブジェクトがユーザによって指定されたことを条件として所定の情報処理を実行してもよい。例えば、画面上に表示された目標オブジェクトに対するタッチ入力が行われたことに応じて、所定の情報処理が実行されてもよい。これによれば、ユーザがオブジェクトを発見したか否かをより確実に判断することができる。
なお、オブジェクトに関する条件は上記に限らず、任意の条件であってもよい。例えば、他の実施形態においては、情報処理システム1は、目標オブジェクトが設定されているパノラマ画像が表示されたことを条件として、所定の情報処理を実行してもよい。つまり、目標オブジェクト24が実際に画面に表示されなくても、現在地点が目標オブジェクトが設定される地点に到達したことが上記実行条件とされてもよい。これによれば、上記条件を容易に判断することができる。また、これによっても本実施形態と同様、実際に街を歩いているような感覚で地図上の地点を移動して目標を探すという、従来にはない面白さのゲームを提供することができる。
また、本実施形態においては、1つの目標オブジェクトが設定される場合を例としたが、目標オブジェクトは複数設定されてもよい。このとき、情報処理システム1は、複数の目標オブジェクトについて所定の条件が満たされたことに応じて所定の情報処理を実行する。例えば、3つの目標オブジェクトが異なるパノラマ画像(異なる地点)に設定され、情報処理システム1は、各目標オブジェクトについて実行条件が満たされた場合、所定の情報処理を実行するようにしてもよい。これによれば、例えば、各目標オブジェクトの地点をどのような経路で通ればよいか等を考慮してユーザは操作を行うことになるので、ゲームの興趣性をより向上することができる。
(4−3:所定の情報処理)
本実施形態においては、上記実行条件が満たされたことに応じて実行される上記所定の情報処理は、上述したような特典を付与する処理である。ここで、所定の情報処理の内容は任意である。例えば他の実施形態においては、所定の情報処理は、現在地点を他の地点へ移動させる処理であってもよい。すなわち、情報処理システム1は、オブジェクトに対して、それが設定されるパノラマ画像に関連付けられる地点とは異なる地点を関連付けておく。オブジェクトに関する実行条件が満たされた(例えば画面に表示されたオブジェクトがタッチされた)ことに応じて、情報処理システム1は、当該オブジェクトに関連付けられる地点を選択し、選択した地点に関連付けられるパノラマ画像を端末装置3に表示する。つまり、現在地点のパノラマ画像(上記オブジェクトが設定されているパノラマ画像)に代えて、選択した地点に関連付けられるパノラマ画像を端末装置3に表示する。これによれば、ユーザは、パノラマ画像とともに表示されるオブジェクトを選択することによって、視点を他の地点へと移動させることができる。このようなオブジェクトを配置することによって、地図上において離れた地点への移動が容易になるとともに、視点がワープするような感覚をユーザに与えることができ、興趣性の高いパノラマ画像を提供することができる。
また、他の実施形態においては、目標オブジェクトに関する所定の条件が満たされた場合、情報処理システム1は、当該所定の条件が満たされた目標オブジェクトの表示形態を変更してもよい。具体的には、当該目標オブジェクトが消去されてもよいし、当該目標オブジェクトの色が変更されてもよいし、当該目標オブジェクトの形が変更されてもよい。これによって、条件が満たされたことをユーザにわかりやすく通知することができる。また、目標オブジェクトが消去される場合には、所定の条件が満たされることによって目標オブジェクトが取得されたように見せることができる。また、消去後においてパノラマ画像をより見やすくユーザに提示することができる。
(4−4:示唆情報)
本実施形態においては、情報処理システム1は、目標オブジェクトの位置(地図上における位置、または、パノラマ画像上における位置)を示唆するための示唆情報を表示する。上述したヒントのメッセージは示唆情報の一例である。また、本実施形態においては、ヒントのメッセージの他、示唆情報を表すオブジェクト(示唆オブジェクト)がパノラマ画像とともに表示される。以下、示唆オブジェクトについて説明する。
(目標オブジェクトの地図上での位置を示唆するオブジェクト)
図9は、示唆オブジェクトの一例を示す図である。なお、図9は、図6に示すスタート地点のパノラマ画像が表示される場合であって、視線方向が西側(図6の左側)を向く場合に表示される画像を示している。また、ここでは、図6に示すゴール地点に目標オブジェクトが設定されるものとして説明する。
図9においては、パノラマ画像とともに、風船を模した示唆オブジェクト25が表示される。図9に示す示唆オブジェクト25は、目標オブジェクトの地図上における位置(地点)を示唆する。具体的には、示唆オブジェクト25は、現在地点から目標オブジェクトの地点に到達するために進むべき方向(現在地点から移動すべき次の地点)を示している。示唆オブジェクト25は、現在地点からゴール地点までの経路を示唆するオブジェクトであるとも言える。図9においては、LCD14の画面の正面方向に表示される道路に沿った方向(西方向)に地点を移動させるとゴール地点に近づく(図6に示す点線の経路参照)。そのため、示唆オブジェクト25は、当該道路の上方に表示され、当該道路の方向を示唆している。したがって、ユーザは、このような示唆オブジェクト25を見つけた場合、示唆オブジェクト25が示唆する方向へ移動することで、ゴール地点に近づくことができる。
上記の示唆オブジェクト25を表示する場合、情報処理システム1は、現在地点からゴール地点までの経路を探索し、現在地点から移動可能な方向のうちで進むべき方向(換言すれば、現在地点から移動すべき次の地点)を経路に基づいて決定する。例えば図9の例においては、進むべき方向は西方向に決定される。そして、情報処理システム1は、決定された方向に対応するパノラマ画像上の位置に表示されるように、示唆オブジェクト25を仮想空間に配置する。これによって、示唆オブジェクト25を適切な位置に配置することができる。
なお、目標オブジェクトの地図上における位置(地点)を示唆する示唆オブジェクト25は、現在地点から移動すべき方向に代えて、現在地点から目標オブジェクトの位置(ゴール地点)への地図上における方向を示していてもよい。例えば、図6および図9に示す例においては、現在地点から移動すべき方向は西方向であるが、現在地点から目標オブジェクトの位置への地図上における方向は南西方向である。したがって、図6および図9に示す例において、示唆オブジェクト25は、南西方向を示すものであってもよい。例えば、図9において、示唆オブジェクト25は南西方向の位置に配置されてもよい。この場合でも本実施形態と同様、ユーザは、進むべき方向を示唆オブジェクト25から判断することができる。
現在地点から目標オブジェクトの位置への方向を示す示唆オブジェクトを表示する場合、情報処理システム1は、現在地点およびゴール地点の地図上における位置(緯度経度)に基づいて、当該方向を算出する。そして、算出された方向に対応するパノラマ画像上の位置に表示されるように、示唆オブジェクトを仮想空間に配置する。なお、地図上における目標オブジェクト24の位置は、ゴール地点の位置とは若干異なる(図6参照)。そのため、情報処理システム1は、現在地点およびゴール地点の位置関係に加えて、ゴール地点と目標オブジェクト24との位置関係(ゴール地点から目標オブジェクト24の位置までの距離および方向)を用いて、現在地点から目標オブジェクト24の位置への方向を算出してもよい。なお、地図上におけるゴール地点と目標オブジェクト24との位置関係は、上記仮想空間(上記立体モデル21が配置される仮想空間)における仮想カメラと目標オブジェクト24との位置関係に基づいて決定することができる。
以上のように、地図上における目標オブジェクトの位置を示唆する示唆オブジェクト25は、地図上における目標オブジェクトの位置に基づいて決められるパノラマ画像上の位置に表示される。示唆オブジェクト25の表示位置によって、ユーザは、目標オブジェクト24へ向かうために進むべき方向を知ることができる。
上記示唆オブジェクト25は、目標オブジェクトが設定されるゴール地点以外の任意の地点で表示されてもよい。また、情報処理システム1は、所定の条件が満たされた場合に示唆オブジェクト25を表示するようにしてもよい。この所定の条件とは、現在地点に関する条件(例えば、現在地点がゴール地点から所定基準以上離れていること、あるいは、現在地点がゴール地点から所定基準よりも近い位置にあること)であってもよい。また、所定の条件は、時間に関する条件(例えば、ゲーム開始から所定時間以上経過したこと)であってもよい。また、情報処理システム1は、示唆オブジェクト25を表示するか否かをユーザの指示に応じて決定してもよい。
(目標オブジェクトのパノラマ画像上での位置を示唆するオブジェクト)
図10は、示唆オブジェクトの他の一例を示す図である。また、図11は、図10に示す示唆オブジェクトが配置される場合における目標オブジェクトの一例を示す図である。図10に示す画像と図11に示す画像は同じパノラマ画像の異なる範囲であり、図11に示す表示範囲は、図10に示す表示範囲から視線方向を上に向けた場合における表示範囲である。
図10および図11に示す例においては、示唆オブジェクト26は、パノラマ画像上において、示唆オブジェクト26の位置から目標オブジェクト24への方向(ここでは上方向)を示すオブジェクトである。つまり、示唆オブジェクト26は、パノラマ画像上における目標オブジェクト24の位置を示唆する。パノラマ画像ではパノラマ画像の全領域が一度に表示されないので、視点がゴール地点に到達してもユーザは目標オブジェクト24を発見できない可能性もある。示唆オブジェクト26を配置することによって、目標オブジェクト24のヒントを与えることができ、ゲームの興趣性を向上することができる。なお、パノラマ画像を見る際、ユーザは多く時間、視線方向を略水平にしていると考えられる。そのため、図10および図11に示す例のように目標オブジェクト24が比較的上方に配置される場合、ユーザは目標オブジェクト24を見つけにくい。これに関して、情報処理システム1は、示唆オブジェクト26を表示することによって、目標オブジェクト24を見つけやすくすることができる。
上記の示唆オブジェクト26を表示する場合、情報処理システム1は、示唆オブジェクト26を配置する位置と、示唆オブジェクト26が示す方向とを予め設定しておいてもよい。また、示唆オブジェクト26は、目標オブジェクト24が設定されるパノラマ画像が表示される場合には常に画面に表示されるように、パノラマ画像上における配置位置が視線方向に応じて変化するように制御されてもよい。このとき、情報処理システム1は、示唆オブジェクト26から目標オブジェクト24への方向を逐次算出し、算出された方向を示すように目標オブジェクト24の向きおよび/または形状を変更してもよい。
また、上記示唆オブジェクト26は、目標オブジェクトが設定されるゴール地点のパノラマ画像が表示される状態において任意の条件で(あるいは常に)表示されてもよい。例えば、示唆オブジェクトは、時間に関する条件(例えば、ゲーム開始から所定時間以上経過したこと)が満たされた場合に表示されてもよい。また例えば、示唆オブジェクトは、視線方向に関する条件(例えば、視線方向が目標オブジェクト24の方向から所定基準以上離れていること)が満たされた場合に表示されてもよい。
以上のように、パノラマ画像上における目標オブジェクト24の位置を示唆する示唆オブジェクト26は、パノラマ画像上における示唆オブジェクト26の位置から目標オブジェクト24への方向を示すものであってもよい。このような示唆オブジェクト26によって、ユーザは、目標オブジェクト24を表示するために視線方向を変化させるべき方向を知ることができる。
なお、示唆オブジェクトの形状は任意である。例えば他の実施形態においては、現在地点から移動すべき方向を示す示唆オブジェクトとして、当該方向へ並んで配置される足跡の形状をしたオブジェクトが配置されてもよい。
(4−5:追加オブジェクト)
次に、追加オブジェクトについて説明する。本実施形態において、追加オブジェクトとは、ゴール地点以外の地点における視点から見たときの目標オブジェクトを表すオブジェクトである。本実施形態においては、目標オブジェクトが設定されるゴール地点に隣接する地点においては、現在地点における視点から見たときの目標オブジェクトを表す追加オブジェクトをパノラマ画像とともに表示する(図12参照)。追加オブジェクトによって、ユーザは、現在地点に隣接する地点に目標オブジェクトが配置されている(隣接する地点がゴール地点である)ことを認識することができる。以下、追加オブジェクトの詳細について説明する。
図12は、パノラマ画像とともに表示される追加オブジェクトの一例を示す図である。図12に示す画像は、図8に示す位置に目標オブジェクト24が配置される場合において、ゴール地点に隣接する地点において表示されるパノラマ画像である。図12に示すように、本実施形態においては、追加オブジェクト31は、現在地点から見た目標オブジェクト24を表すように、すなわち、現在地点から見て目標オブジェクト24の位置にあるように表示される。また、本実施形態において、追加オブジェクト31は、目標オブジェクト24と同じ形状である(図12においては向きは異なっている)。ただし、追加オブジェクト31は必ずしも目標オブジェクト24と同じ形状である必要は無い。追加オブジェクト31は、目標オブジェクト24と関連する形状(目標オブジェクト24と追加オブジェクト31との関連をユーザが認識することができる形状)であってもよい。また、本実施形態においては、画面に表示される目標オブジェクト24の向き(姿勢)と、追加オブジェクト31の向き(姿勢)とが異なっているが、他の実施形態においては、両者の向きは同じであってもよい。
以上のように、本実施形態においては、情報処理システム1は、現在地点におけるパノラマ画像の視点から見たときの目標オブジェクトを表す追加オブジェクトを、現在地点に関連付けられるパノラマ画像とともに端末装置3に表示する。ここで、本実施形態においては、ゴール地点以外の他の地点では目標オブジェクト24は表示されない。しかし、当該他の地点において追加オブジェクト31を表示することによって、現在地点の近く(ここでは隣接する地点)に目標オブジェクト24が設定されていることや、地図上における目標オブジェクト24の位置をユーザに知らせることができる。
(追加オブジェクトの配置方法)
図13および図14を参照して、追加オブジェクトの配置方法について説明する。図13および図14は、追加オブジェクトを配置する方法の一例を説明するための図である。図13は、地図が表す空間(地図空間と呼ぶ)の一例を上方から見た図であって、図14は、地図空間の一例を斜めから見た図である。なお、図13および図14が示す地図空間は、地図が表す空間を概念的に表したものであって、パノラマ画像の表示のために構築される仮想空間(立体モデル21が設定される仮想空間)とは異なる点に留意する。また、図13および図14では、理解の容易のために、立体モデル21に対応する球面を示しているが、上記仮想空間では、1つの立体モデル21が配置され、複数の立体モデル21が配置されるわけではない点に留意する。ただし、他の実施形態においては、地図空間に対応する仮想空間が設定され、地点毎に立体モデル21が設定されてもよい。
図13および図14において、位置P1は、現在地点における視点の位置(現在地点に関連付けられるパノラマ画像の視点の位置)である。位置P2は、ゴール地点における視点の位置(ゴール地点に関連付けられるパノラマ画像の視点の位置)である。なお、図14に示すように、本実施形態においては、地点と視点との位置関係は各パノラマ画像で一定であるとする。すなわち、本実施形態においては、地点の所定距離だけ上方に視点が配置されるものとする。
上述のように、本実施形態においては、現在地点がゴール地点に隣接する地点である場合、追加オブジェクトを配置する処理が実行される。追加オブジェクトの配置処理においては、情報処理システム1はまず、現在地点における視点位置P1とゴール地点における視点位置P2との地図空間での位置関係(「第1位置関係」と呼ぶ)を算出する。
本実施形態においては、第1関係として、視点位置P1から視点位置P2までの距離および方向が算出される。なお、本実施形態においては、地点と視点との位置関係が一定であるので、現在地点とゴール地点との位置関係がそのまま第1位置関係となる。したがって、情報処理システム1は、地図データに含まれる方向情報が示す方向を、視点位置P1から視点位置P2までの方向とする。また、本実施形態においては、情報処理システム1は、視点位置P1から視点位置P2までの距離を所定値とする。これによって、処理を高速化することができる。なお、他の実施形態においては、上記距離は、地図データに含まれる、現在地点およびゴール地点の緯度経度情報に基づいて算出してもよい。これによって、より正確に第1位置関係を算出することができる。また、他の実施形態においては、地点と視点との位置関係は、地点毎(パノラマ画像毎)に設定されていてもよい。このとき、情報処理システム1は、地点毎に設定される位置関係と、現在地点とゴール地点との位置関係とに基づいて第1位置関係を算出してもよい。
次に、情報処理システム1は、ゴール地点における視点位置P2と目標オブジェクト24の位置Poとの地図空間での位置関係(「第2位置関係」と呼ぶ)を決定する。本実施形態においては、第2位置関係として、視点位置P2から位置Poまでの距離および方向が決定される。第2位置関係は、立体モデル21が設定される上記仮想空間における、仮想カメラと目標オブジェクト24との位置関係に基づいて決定される。なお、上記の仮想空間における位置関係は、目標オブジェクト24を設定する際に予め設定されている。具体的には、地図空間における視点位置P2から位置Poへの方向は、仮想空間における仮想カメラから目標オブジェクト24への方向と対応するように(一致するように)決定される。また、地図空間における視点位置P2から位置Poまでの距離は、仮想空間における仮想カメラから目標オブジェクト24までの距離と対応するように決定される。ただし、視点位置P2から位置Poまでの距離の決定方法は任意であり、当該距離は、予め定められた値に決定されてもよい。
次に、情報処理システム1は、上記第1位置関係および第2位置関係に基づいて、追加オブジェクト31の配置位置Paを算出する。具体的には、情報処理システム1は、上記第1位置関係および第2位置関係に基づいて、視点位置P1から位置Poへの方向(図13および図14に示す一点鎖線に沿った方向)を算出する。追加オブジェクト31の位置Paは、視点位置P1から上記方向へ延ばした直線上に設定される。したがって、以下に説明する方法で視点位置P1から位置Paまでの距離が決定されることによって、位置Paが決定される。
ここで、本実施形態においては、追加オブジェクト31は、以下の2つの条件を満たすように設定される。
(条件1)視点位置P1から追加オブジェクト31を見たときの大きさが、視点位置P1から目標オブジェクト24を見たときの大きさと略同じになる。
(条件2)位置Paが、立体モデル21の内側の領域に対応する位置となる。
したがって、情報処理システム1は、上記の2つの条件を満たすように、視点位置P1から位置Paまでの距離と、追加オブジェクト31の大きさとを決定する。例えば、情報処理システム1は、視点位置P1から位置Paまでの距離を、上記(条件2)を満たす予め定められた値に設定し、上記(条件1)を満たすように、追加オブジェクト31の大きさを調整してもよい。
なお、上記(条件1)を満たすように追加オブジェクト31の位置および大きさが設定される場合には、目標オブジェクト24を表すオブジェクトとして追加オブジェクト31をよりリアルにすることができる。例えば、図14に示すように、視点位置P2から位置Poまでの距離よりも視点位置P1から位置Poまでの距離が長くなる場合には、追加オブジェクト31は目標オブジェクト24よりも小さく見えるように設定される。なお、上記(条件1)は、必ずしも考慮されなくてもよく、(条件2)のみを満たすように追加オブジェクト31が設定されもよい。例えば、処理の高速化を図る場合や、(条件1)を満たそうとすれば追加オブジェクト31が小さくなりすぎる場合等においては、(条件2)のみを満たすように追加オブジェクト31が設定されもよい。
以上のようにして、地図空間における追加オブジェクト31の位置Paが算出されると、情報処理システム1は、当該位置Paに対応する仮想空間の位置に追加オブジェクト31を配置する。これによって、追加オブジェクト31は、視点位置P1から目標オブジェクト24の位置Poへの方向に表示されることとなる(図12参照)。
以上のように、本実施形態においては、情報処理システム1は、地図上における現在地点から他地点(ゴール地点)への方向に基づいて、現在地点に関連付けられるパノラマ画像に対する追加オブジェクト31の配置位置を決定する。これによれば、現在地点から見たときの目標オブジェクト24の方向を、追加オブジェクト31の配置位置によってユーザに認識させることができる。
なお、他の実施形態においては、(視点位置P1から視点位置P2までの距離および後述する第2位置関係を用いずに)視点位置P1から視点位置P2への方向のみを用いて追加オブジェクト31の配置位置が決定されてもよい。この場合でも、現在地点から見たときの目標オブジェクト24の大まかな方向を追加オブジェクト31の配置位置によってユーザに認識させることができる。このように、追加オブジェクト31は、目標オブジェクト24に対応する正確な位置に必ずしも配置される必要はなく、現在の視点から目標オブジェクト24への方向を大まかに示すように配置されてもよい。
また、本実施形態においては、地図上における現在地点から他地点(ゴール地点)への方向に加えて、他地点における視点(位置P2)と目標オブジェクト24(位置Po)との地図上における位置関係(第2位置関係)に基づいて、追加オブジェクト31の配置位置が決定される。これによれば、追加オブジェクト31の配置位置によって、現在地点における視点からの目標オブジェクト24の方向をより正確に表現することができる。
なお、他の実施形態においては、上述のように、第1位置関係における距離は、地図データに含まれる、現在地点およびゴール地点の緯度経度情報に基づいて算出されてもよい。つまり、地点の位置情報に基づいて算出される、現在地点から他地点までの距離に基づいて、追加オブジェクト31の配置位置が決定されてもよい。これによれば、追加オブジェクト31の配置位置によって、現在地点における視点からの目標オブジェクト24の方向をさらに正確に表現することができる。
また、現在地点における視点位置P1から見たときの追加オブジェクト31の向き(姿勢)は、当該視点位置P1から見たときの目標オブジェクト24の向きを表すように(当該視点位置P1から見たときの目標オブジェクト24の向きと一致するように)、決定される。具体的には、情報処理システム1は、視点位置P1から目標オブジェクト24の位置Poへの方向と、視点位置P2から位置Poへの方向との角度差に基づいて追加オブジェクト31の向きを決定する。より具体的には、情報処理システム1は、追加オブジェクト31の向きを、視点位置P2から見た目標オブジェクト24の向きを上記角度差に応じた量だけ回転させた向きとする。このように、視点位置P1から見たときの目標オブジェクト24の向きと追加オブジェクト31の向きとを合わせることによって、目標オブジェクト24と追加オブジェクト31との対応をよりわかりやすくすることができる。また、目標オブジェクト24および追加オブジェクト31のリアリティを向上することができる。なお、他の実施形態においては、追加オブジェクト31の向きは、予め定められた向きに設定されてもよく、例えば、視点位置P2から目標オブジェクト24を見た向きと同じ向きに設定されてもよい。
(追加オブジェクトを配置する条件)
上記のように、本実施形態においては、情報処理システム1は、現在地点に対して所定の条件を満たす他地点について目標オブジェクト24が存在するか否かを判定し、目標オブジェクト24が存在する場合、追加オブジェクト31をパノラマ画像とともに端末装置3に表示する。これによれば、情報処理システム1は、例えば現在地点に隣接する地点に目標オブジェクト24が存在する等、適切な場合に追加オブジェクト31を表示することができる。なお、本実施形態においては、上記所定の条件は、現在地点に隣接することであった。ここで、他の実施形態においては、上記所定の条件は任意である。例えば、「現在地点から所定距離内にあること」が上記所定の条件として用いられてもよい。
また、他の実施形態においては、上記所定の条件は設定されなくてもよい。すなわち、情報処理システム1は、目標オブジェクト24が設定される地点以外の地点において(常に)追加オブジェクト31を表示するようにしてもよい。
また、上記実施形態においては、追加オブジェクトは、視点の位置が変更されて新たなパノラマ画像が表示される毎に、配置位置および向きが決定された。ここで、他の実施形態においては、追加オブジェクトは、パノラマ画像に対して予め設定されていてもよい。すなわち、他の実施形態においては、地図データにおいて、追加オブジェクトの配置位置(および向き)を示す情報が、パノラマ画像情報に関連付けて格納されてもよい。このとき、情報処理システム1は、当該情報を用いてパノラマ画像とともに追加オブジェクトを表示する。
(追加オブジェクトと目標オブジェクトの違い)
目標オブジェクト24に関しては、上述したように、当該目標オブジェクト24に関する所定の条件が満たされたことに応じて所定の情報処理が実行される。これに対して、追加オブジェクト31に関して上記所定の条件と同じ条件が満たされた場合であっても、上記所定の情報処理は実行されない。このように、本実施形態においては、追加オブジェクト31は、現在地点とは異なる他の地点におけるオブジェクトの目印であって、当該オブジェクトと同じ機能を有するものではない。追加オブジェクト31を目標オブジェクト24と異なる機能とすることによって、地図における目標オブジェクト24の配置状態に影響を与えずに追加オブジェクト31を配置することができる。
なお、他の実施形態においては、追加オブジェクト31は、目標オブジェクト24と同じ機能を有していてもよい。すなわち、情報処理システム1は、他地点のオブジェクトに設定される上記所定の条件と同じ条件が追加オブジェクト31に関して満たされた場合に上記所定の情報処理を実行するようにしてもよい。例えば、所定の情報処理として他の地点へ視点をワープさせる処理が実行されるワープオブジェクトを配置する場合、当該ワープオブジェクトについて追加オブジェクトを表示するようにしてもよい。このとき、画面に表示された追加オブジェクトが指定された場合には、ワープオブジェクトが指定される場合と同様に、他の地点へ視点をワープさせる処理が実行されてもよい。
[5.表示制御処理の詳細]
以下、本実施形態において情報処理システム1(情報処理装置2)で実行される表示制御処理の具体的な一例について説明する。図15は、本実施形態において情報処理装置2(CPU11)が実行する表示制御処理の流れの一例を示すフローチャートである。本実施形態においては、図15に示す一連の処理は、CPU11が、プログラム記憶部13に記憶される表示制御プログラムを実行することによって行われる。
なお、図15に示す表示制御処理が開始されるタイミングは任意である。本実施形態においては、パノラマ画像を再生する指示をユーザが行ったことに応じて表示制御プログラムの実行が開始される。このとき、表示制御プログラムは、適宜のタイミングでその一部または全部がメモリ12に読み出され、CPU11によって実行される。これによって、図15に示す一連の処理が開始される。なお、表示制御プログラムは、情報処理装置2内のプログラム記憶部13に予め記憶されているものとする。ただし、他の実施形態においては、情報処理装置2に着脱可能な記憶媒体から取得されてメモリ12に記憶されてもよいし、インターネット等のネットワークを介して他の装置から取得されてメモリ12に記憶されてもよい。
なお、図15に示すフローチャートにおける各ステップの処理は、単なる一例に過ぎず、同様の結果が得られるのであれば、各ステップの処理順序を入れ替えてもよいし、各ステップの処理に加えて(または代えて)別の処理が実行されてもよい。また、本実施形態では、上記フローチャートの各ステップの処理をCPUが実行するものとして説明するが、上記フローチャートにおける一部のステップの処理を、CPU以外のプロセッサや専用回路が実行するようにしてもよい。
表示制御処理のステップS1において、CPU11は、初期処理を実行する。本実施形態においては、CPU11は、初期処理として、地図データの取得処理と、スタート地点におけるパノラマ画像の取得処理とを実行する。すなわち、まずCPU11は、地図データを取得する。上述のように、地図データは、複数の地点について、地点情報と、パノラマ画像情報と、必要に応じてオブジェクト情報とを含む。CPU11は、情報処理装置2内の記憶部から地図データを取得してもよいし、情報処理装置2に着脱可能な記憶媒体から取得してもよいし、インターネット等のネットワークを介して他の装置から取得してもよい。また、表示制御処理の開始時において取得される地図データは、地図データの全体であってもよいし、一部の地域(例えば、スタート地点周辺の地域)に関するデータのみであってもよい。取得された地図データはメモリ12に記憶される。
また、CPU11は、スタート地点を選択し、スタート地点に関連付けられるパノラマ画像を取得する。スタート地点は、予め定められた地点が選択されてもよいし、複数の候補の中からユーザの指示に従って選択されてもよい。このとき、CPU11は、選択されたスタート地点を示すデータを現在地点データとしてメモリ12に記憶する。また、パノラマ画像は、情報処理装置2内の記憶部から取得されてもよいし、情報処理装置2に着脱可能な記憶媒体から取得されてもよいし、インターネット等のネットワークを介して他の装置から取得されてもよい。また、CPU11は、後述するオブジェクト配置処理(ステップS5)と同様の処理によって、立体モデル21が設定される仮想空間にオブジェクトを配置する。
ステップS2において、CPU11は、パノラマ画像のうち、端末装置3の姿勢に応じて決められる視野範囲の画像を生成し、生成した画像をLCD14に表示させる。本実施形態においては、CPU11は、上記“[2.パノラマ画像の表示]”で述べた方法に従って視野範囲の画像を生成する。具体的な処理としては、CPU11は、端末装置3から送信されてくる操作データ、ステップS1またはS6で取得されたパノラマ画像データ、および、後述するオブジェクト配置データ等を用いて、視野範囲の画像を生成する。次に、CPU11は、生成された画像をLCD14に表示させるべく、端末装置3へ出力(送信)する。端末装置3は、生成された画像を受信してLCD14に表示する。これによって、LCD14にパノラマ画像の一部が表示される。
ステップS3において、CPU11は、上記“(4−1:処理全体の流れ)”で説明した地点移動操作が行われたか否かを判定する。この判定は、端末装置3から送信されてくる操作データに基づいて行われる。ステップS3の判定結果が肯定である場合、ステップS4の処理が実行される。一方、ステップS3の判定結果が否定である場合、ステップS4〜S6の処理がスキップされて後述するステップS7の処理が実行される。
ステップS4において、CPU11は、現在地点を移動させる。すなわち、現在地点から地点移動操作で指定された方向へ接続される地点が、新たな現在地点とされる。CPU11は、新たな現在地点を表すデータを現在地点データとしてメモリ12に記憶する。
ステップS5において、CPU11は、オブジェクト配置処理を実行する。オブジェクト配置処理は、現在地点に関連付けられるパノラマ画像とともに表示すべきオブジェクトを仮想空間に配置する処理である。以下、図16を参照して、オブジェクト配置処理の詳細について説明する。
図16は、図15に示すオブジェクト配置処理(ステップS5)の詳細な流れの一例を示すフローチャートである。オブジェクト配置処理におけるステップS11において、CPU11は、現在地点に設定されるオブジェクトを配置する。本実施形態においては、上記目標オブジェクト24と示唆オブジェクト25および26とが必要に応じて配置される。目標オブジェクト24は、上記“[3.パノラマ画像と関連付けられる地図データ]”および“(4−1:処理全体の流れ)”で説明した方法で配置される。また、示唆オブジェクト25および26は、上記“(4−4:示唆情報)”で説明した方法で配置される。なお、配置すべきオブジェクトがない場合(現在地点にオブジェクトが設定されていない場合)、ステップS11の処理はスキップされる。
ステップS12において、CPU11は、現在地点に隣接する地点(隣接地点)を特定する。すなわち、CPU11は、現在位置データと地図データとをメモリ12から読み出し、読み出したデータを用いて隣接地点を特定する。
ステップS13において、CPU11は、ステップS12で特定した隣接地点に目標オブジェクトがあるか否かを判定する。この判定は、メモリ12に記憶されている地図データを参照して、隣接地点にオブジェクト情報が関連付けられているか否かによって行うことができる。ステップS13の判定結果が肯定である場合、ステップS14の処理が実行される。一方、ステップS13の判定結果が否定である場合、ステップS14の処理がスキップされ、CPU11はオブジェクト配置処理を終了する。
ステップS14において、CPU11は、追加オブジェクト31を配置する。追加オブジェクト31は、上記“(4−5:追加オブジェクト)”で述べた方法で配置される。ステップS14の後、CPU11はオブジェクト配置処理を終了する。なお、CPU11は、オブジェクト配置処理において配置されたオブジェクトとその位置および向き(仮想空間における位置および向き)とを示すデータをオブジェクト配置データとしてメモリ12に記憶する。
図15の説明に戻り、ステップS5のオブジェクト配置処理の次にステップS6の処理が実行される。ステップS6において、CPU11は、表示するパノラマ画像を、現在地点に関連付けられるパノラマ画像に変更する。すなわち、CPU11は、メモリ12から現在地点データおよび地図データを読み出し、地図データにおいて現在地点に関連付けられるパノラマ画像情報によって示されるパノラマ画像を取得する。次回に実行されるステップS2においては、取得されたパノラマ画像が立体モデル21に描画される。これによって、次回に実行されるステップS2においては、移動後の地点におけるパノラマ画像およびオブジェクトが表示される。
ステップS7において、CPU11は、目標オブジェクトに関する条件が満たされたか否かを判定する。この判定は、上記“(4−2:オブジェクトに関する条件)”で述べた方法で行われる。具体的には、CPU11は、上記操作データから算出される視線方向を示すデータと、オブジェクト配置データとを用いて、目標オブジェクト24が仮想カメラの視野範囲に含まれているか否かを判定する。ステップS7の判定結果が肯定である場合、ステップS8の処理が実行される。一方、ステップS7の判定結果が否定である場合、ステップS8の処理がスキップされ、ステップS9の処理が実行される。
ステップS8において、CPU11は、条件が満たされた目標オブジェクト24に応じた情報処理をメモリ12を用いて実行する。すなわち、上記“(4−3:所定の情報処理)”で述べた情報処理が実行される。
ステップS9において、CPU11は、パノラマ画像の表示処理を終了するか否かを判定する。この判定の具体的な方法は任意である。例えば、表示を停止する旨の指示がユーザによって行われた場合には、CPU11は、表示処理を終了すると判定し、ユーザによる指示がない場合には、表示処理を終了しないと判定する。ステップS9の判定結果が否定である場合、ステップS2の処理が再度実行される。以降、ステップS9において表示処理を終了すると判定されるまで、ステップS2〜S9の処理が繰り返し実行される。一方、ステップS9の判定結果が肯定である場合、CPU11は、図15に示す表示制御処理を終了する。
[6.変形例]
(追加オブジェクトに関する変形例)
上記実施形態においては、目標オブジェクト24に対応する追加オブジェクト31が配置される場合を例として説明したが、情報処理システム1は、仮想空間に配置される任意のオブジェクトについて追加オブジェクトを配置してもよい。つまり、追加オブジェクトが表すオブジェクトは、当該オブジェクトに関する所定の条件が満たされたことに応じて所定の情報処理が実行される目標オブジェクト24に限らず、任意のオブジェクトであってよい。例えば他の実施形態においては、パノラマ画像とともに単に表示されるだけのオブジェクトについて、追加オブジェクトが設定されてもよい。具体的には、パノラマ画像上にユーザがコメントを付すことができる場合、当該コメントを表すオブジェクトについて、追加オブジェクトが設定されてもよい。
(目標オブジェクトに関する変形例)
上記実施形態においては、パノラマ画像とともに表示される目標オブジェクトは、仮想のオブジェクト(仮想空間におけるオブジェクトを表す仮想オブジェクト)であった。ここで、他の実施形態においては、パノラマ画像とともに表示されるオブジェクトは、仮想オブジェクトに限らず、現実空間を表すオブジェクトであってもよい。例えば、情報処理システムは、現実空間を表す画像をオブジェクトとしてパノラマ画像上に配置してもよい。
本発明は、興趣性の高いパノラマ画像を提示すること等を目的として、例えばゲームシステム、ゲーム装置、およびゲームプログラム等に利用することが可能である。
1 情報処理システム
2 情報処理装置
3 端末装置
11 CPU
12 メモリ
13 プログラム記憶部
14 LCD
15 操作部
16 タッチパネル
17 ジャイロセンサ
21 立体モデル
23 オブジェクト
24 目標オブジェクト
25,26 示唆オブジェクト
31 追加オブジェクト

Claims (23)

  1. 地図上の地点に関連付けられる複数のパノラマ画像を表示装置に表示させる情報処理装置のコンピュータにおいて実行されるパノラマ画像表示プログラムであって、
    前記複数のパノラマ画像のうちの少なくとも1つのパノラマ画像には所定の仮想オブジェクトが設定されており、
    ユーザの操作に基づいて前記地図上の各地点から1つを現在地点として決定する地点決定手段と、
    現在地点に関連付けられるパノラマ画像に前記仮想オブジェクトが設定されている場合、パノラマ画像の所定位置に仮想オブジェクトを配置する仮想オブジェクト配置手段と、
    現在地点に関連付けられるパノラマ画像のうち、ユーザの操作に応じて決められる一部領域の画像を前記表示装置に表示させる画像表示手段と、
    前記仮想オブジェクトが設定されているパノラマ画像が表示される場合において当該仮想オブジェクトに関する所定の条件が満たされたことに応じて、所定の情報処理を実行する処理実行手段として前記コンピュータを機能させる、パノラマ画像表示プログラム。
  2. 前記画像表示手段は、前記情報処理装置または他の情報処理装置において予め用意されたパノラマ画像のデータを取得するとともに、前記情報処理装置または他の情報処理装置において予め用意された前記仮想オブジェクトのデータを取得し、取得したデータを用いて前記パノラマ画像の一部領域の画像を前記表示装置に表示させる、請求項1に記載のパノラマ画像表示プログラム。
  3. 前記複数のパノラマ画像のうちの2以上のパノラマ画像に対してそれぞれ仮想オブジェクトが設定されており、
    前記処理実行手段は、所定の複数の仮想オブジェクトに関して所定の条件が満たされたことに応じて所定の情報処理を実行する、請求項1または請求項2に記載のパノラマ画像表示プログラム。
  4. 前記処理実行手段は、前記仮想オブジェクトが前記表示装置に表示されることを条件として前記所定の情報処理を実行する、請求項1から請求項3のいずれか1項に記載のパノラマ画像表示プログラム。
  5. 前記処理実行手段は、前記表示装置に表示された前記仮想オブジェクトを指定する操作がユーザによって行われたことを少なくとも条件として前記所定の情報処理を実行する、請求項1から請求項3のいずれか1項に記載のパノラマ画像表示プログラム。
  6. 前記処理実行手段は、仮想オブジェクトが設定されているパノラマ画像が表示されたことを条件として前記所定の情報処理を実行する、請求項1から請求項3のいずれか1項に記載のパノラマ画像表示プログラム。
  7. 前記画像表示手段は、前記パノラマ画像のうちで表示される領域に対応する視線方向が、所定範囲の方向となることを条件として、当該パノラマ画像に設定される仮想オブジェクトを当該パノラマ画像とともに表示する、請求項1から請求項6のいずれか1項に記載のパノラマ画像表示プログラム。
  8. 地図上におけるまたはパノラマ画像上における前記仮想オブジェクトの位置を示唆する示唆情報をパノラマ画像とともに前記表示装置に表示する示唆情報表示手段として前記コンピュータをさらに機能させる、請求項1から請求項7のいずれか1項に記載のパノラマ画像表示プログラム。
  9. 前記示唆情報表示手段は、前記示唆情報として、地図上における前記仮想オブジェクトの位置に基づいて決められるパノラマ画像上の位置に示唆オブジェクトを表示する、請求項8に記載のパノラマ画像表示プログラム。
  10. 前記示唆情報表示手段は、前記示唆情報として、パノラマ画像上における前記仮想オブジェクトの位置を示唆する示唆オブジェクトを表示し、
    前記示唆オブジェクトは、パノラマ画像上における示唆オブジェクトの位置から前記仮想オブジェクトへの方向を示す、請求項8に記載のパノラマ画像表示プログラム。
  11. 前記仮想オブジェクト配置手段は、前記仮想オブジェクトに関する所定の条件が満たされた場合、当該仮想オブジェクトを消去する、請求項1から請求項10のいずれか1項に記載のパノラマ画像表示プログラム。
  12. 前記処理実行手段は、前記所定の情報処理として、パノラマ画像に関する特典をユーザに付与する処理を実行する、請求項1から請求項11のいずれか1項に記載のパノラマ画像表示プログラム。
  13. 前記仮想オブジェクトには、それが設定されるパノラマ画像に関連付けられる地点とは異なる地点が関連付けられており、
    前記処理実行手段は、仮想オブジェクトに関する所定の条件が満たされたことに応じて、当該仮想オブジェクトに関連付けられる地点を選択し、当該仮想オブジェクトが設定されているパノラマ画像に代えて、選択した地点に関連付けられるパノラマ画像を前記表示装置に表示する情報処理を実行する、請求項1から請求項11のいずれか1項に記載のパノラマ画像表示プログラム。
  14. 前記画像表示手段は、現在地点とは異なる他地点に関連付けられるパノラマ画像に設定される仮想オブジェクトを他地点仮想オブジェクトとし、現在地点におけるパノラマ画像の視点から見たときの他地点仮想オブジェクトを表す追加仮想オブジェクトを、現在地点に関連付けられるパノラマ画像とともに前記表示装置に表示する追加仮想オブジェクト表示手段を有する、請求項1から請求項13のいずれか1項に記載のパノラマ画像表示プログラム。
  15. 地図上における現在地点から前記他地点への方向に基づいて、現在地点に関連付けられるパノラマ画像に対する追加仮想オブジェクトの配置位置を決定する追加配置手段として前記コンピュータをさらに機能させる、請求項14に記載のパノラマ画像表示プログラム。
  16. 前記追加配置手段は、前記他地点における視点と前記他地点仮想オブジェクトとの地図上における位置関係に基づいて、現在地点に関連付けられるパノラマ画像に対する追加仮想オブジェクトの配置位置を決定する、請求項15に記載のパノラマ画像表示プログラム。
  17. 前記追加配置手段は、地図上における地点の位置を示す情報に基づいて算出される、現在地点から前記他地点までの距離に基づいて、現在地点に関連付けられるパノラマ画像に対する追加仮想オブジェクトの配置位置を決定する、請求項16に記載のパノラマ画像表示プログラム。
  18. 前記追加配置手段は、現在地点における視点から見たときの他地点仮想オブジェクトの向きを表すように、現在地点における視点から見た追加仮想オブジェクトの向きを決定する、請求項15から請求項17のいずれか1項に記載のパノラマ画像表示プログラム。
  19. 前記追加仮想オブジェクト表示手段は、現在地点に対して所定の条件を満たす他地点について他地点仮想オブジェクトが存在するか否かを判定し、他地点仮想オブジェクトが存在する場合、追加仮想オブジェクトをパノラマ画像とともに前記表示装置に表示する、請求項14から請求項18のいずれか1項に記載のパノラマ画像表示プログラム。
  20. 前記処理実行手段は、前記所定の条件と同じ条件が追加仮想オブジェクトに関して満たされた場合であっても前記所定の情報処理を実行しない、請求項14から請求項19のいずれか1項に記載のパノラマ画像表示プログラム。
  21. 地図上の地点に関連付けられる複数のパノラマ画像を表示装置に表示させるパノラマ画像表示システムであって、
    前記複数のパノラマ画像のうちの少なくとも1つのパノラマ画像には所定の仮想オブジェクトが設定されており、
    ユーザの操作に基づいて前記地図上の各地点から1つを現在地点として決定する地点決定部と、
    現在地点に関連付けられるパノラマ画像に前記仮想オブジェクトが設定されている場合、パノラマ画像の所定位置に仮想オブジェクトを配置する仮想オブジェクト配置部と、
    現在地点に関連付けられるパノラマ画像のうち、ユーザの操作に応じて決められる一部領域の画像を前記表示装置に表示させる画像表示部と、
    前記仮想オブジェクトが設定されているパノラマ画像が表示される場合において当該仮想オブジェクトに関する所定の条件が満たされたことに応じて、所定の情報処理を実行する処理実行部とを備える、パノラマ画像表示システム。
  22. 地図上の地点に関連付けられる複数のパノラマ画像を表示装置に表示させるパノラマ画像表示装置であって、
    前記複数のパノラマ画像のうちの少なくとも1つのパノラマ画像には所定の仮想オブジェクトが設定されており、
    ユーザの操作に基づいて前記地図上の各地点から1つを現在地点として決定する地点決定部と、
    現在地点に関連付けられるパノラマ画像に前記仮想オブジェクトが設定されている場合、パノラマ画像の所定位置に仮想オブジェクトを配置する仮想オブジェクト配置部と、
    現在地点に関連付けられるパノラマ画像のうち、ユーザの操作に応じて決められる一部領域の画像を前記表示装置に表示させる画像表示部と、
    前記仮想オブジェクトが設定されているパノラマ画像が表示される場合において当該仮想オブジェクトに関する所定の条件が満たされたことに応じて、所定の情報処理を実行する処理実行部とを備える、パノラマ画像表示装置。
  23. 地図上の地点に関連付けられる複数のパノラマ画像を表示装置に表示させる情報処理システムにおいて実行されるパノラマ画像表示方法であって、
    前記複数のパノラマ画像のうちの少なくとも1つのパノラマ画像には所定の仮想オブジェクトが設定されており、
    ユーザの操作に基づいて前記地図上の各地点から1つを現在地点として決定する地点決定ステップと、
    現在地点に関連付けられるパノラマ画像に前記仮想オブジェクトが設定されている場合、パノラマ画像の所定位置に仮想オブジェクトを配置する仮想オブジェクト配置ステップと、
    現在地点に関連付けられるパノラマ画像のうち、ユーザの操作に応じて決められる一部領域の画像を前記表示装置に表示させる画像表示ステップと、
    前記仮想オブジェクトが設定されているパノラマ画像が表示される場合において当該仮想オブジェクトに関する所定の条件が満たされたことに応じて、所定の情報処理を実行する処理実行ステップとを備える、パノラマ画像表示方法。
JP2013114890A 2013-05-31 2013-05-31 パノラマ画像表示プログラム、パノラマ画像表示装置、パノラマ画像表示システム、および、パノラマ画像表示方法 Active JP6228392B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013114890A JP6228392B2 (ja) 2013-05-31 2013-05-31 パノラマ画像表示プログラム、パノラマ画像表示装置、パノラマ画像表示システム、および、パノラマ画像表示方法
US14/282,710 US9904982B2 (en) 2013-05-31 2014-05-20 System and methods for displaying panoramic content

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013114890A JP6228392B2 (ja) 2013-05-31 2013-05-31 パノラマ画像表示プログラム、パノラマ画像表示装置、パノラマ画像表示システム、および、パノラマ画像表示方法

Publications (2)

Publication Number Publication Date
JP2014235469A true JP2014235469A (ja) 2014-12-15
JP6228392B2 JP6228392B2 (ja) 2017-11-08

Family

ID=51984595

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013114890A Active JP6228392B2 (ja) 2013-05-31 2013-05-31 パノラマ画像表示プログラム、パノラマ画像表示装置、パノラマ画像表示システム、および、パノラマ画像表示方法

Country Status (2)

Country Link
US (1) US9904982B2 (ja)
JP (1) JP6228392B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016220017A (ja) * 2015-05-20 2016-12-22 株式会社リコー コンテンツ提供システム、情報処理装置、プログラム、コンテンツ再生方法
JP2018530219A (ja) * 2015-09-02 2018-10-11 トムソン ライセンシングThomson Licensing 拡張されたシーンでナビゲーションを容易にする方法、装置及びシステム
EP3712750A1 (en) 2019-03-20 2020-09-23 Nintendo Co., Ltd. Image display system, image display program, and image display method
EP3712749A1 (en) 2019-03-20 2020-09-23 Nintendo Co., Ltd. Image display system, image display program, display control apparatus, and image display method

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9880634B2 (en) 2015-03-20 2018-01-30 Optim Corporation Gesture input apparatus, gesture input method, and program for wearable terminal
WO2017033777A1 (ja) * 2015-08-27 2017-03-02 株式会社コロプラ ヘッドマウントディスプレイシステムを制御するプログラム
WO2017091019A1 (en) * 2015-11-27 2017-06-01 Samsung Electronics Co., Ltd. Electronic device and method for displaying and generating panoramic image
US10226701B2 (en) * 2016-04-29 2019-03-12 Activision Publishing, Inc. System and method for identifying spawn locations in a video game
KR20180051288A (ko) * 2016-11-08 2018-05-16 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN108597034B (zh) * 2018-04-28 2022-11-01 百度在线网络技术(北京)有限公司 用于生成信息的方法和装置
EP3829159A1 (en) * 2019-11-29 2021-06-02 Ricoh Company, Ltd. Image capturing device, image communication system, and method for display control, and carrier means
CN115400429A (zh) * 2022-07-20 2022-11-29 网易(杭州)网络有限公司 位置信息的显示方法、装置和电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011076249A (ja) * 2009-09-29 2011-04-14 Sony Computer Entertainment Inc パノラマ画像表示装置およびパノラマ画像表示方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5942969A (en) * 1997-01-23 1999-08-24 Sony Corporation Treasure hunt game using pager and paging system
US6320495B1 (en) * 2000-03-24 2001-11-20 Peter Sporgis Treasure hunt game utilizing GPS equipped wireless communications devices
WO2002020111A2 (en) * 2000-09-07 2002-03-14 Omnisky Corporation Coexistent interaction between a virtual character and the real world
IL169934A (en) * 2005-07-27 2013-02-28 Rafael Advanced Defense Sys Real-time geographic information system and method
US8903430B2 (en) * 2008-02-21 2014-12-02 Microsoft Corporation Location based object tracking
US9766089B2 (en) * 2009-12-14 2017-09-19 Nokia Technologies Oy Method and apparatus for correlating and navigating between a live image and a prerecorded panoramic image
US9582166B2 (en) * 2010-05-16 2017-02-28 Nokia Technologies Oy Method and apparatus for rendering user interface for location-based service having main view portion and preview portion
US9480913B2 (en) * 2011-01-26 2016-11-01 WhitewaterWest Industries Ltd. Interactive entertainment using a mobile device with object tagging and/or hyperlinking
US8601380B2 (en) * 2011-03-16 2013-12-03 Nokia Corporation Method and apparatus for displaying interactive preview information in a location-based user interface
US8930141B2 (en) * 2011-12-30 2015-01-06 Nokia Corporation Apparatus, method and computer program for displaying points of interest
US20130178257A1 (en) * 2012-01-06 2013-07-11 Augaroo, Inc. System and method for interacting with virtual objects in augmented realities
US9270885B2 (en) * 2012-10-26 2016-02-23 Google Inc. Method, system, and computer program product for gamifying the process of obtaining panoramic images
US20140172640A1 (en) * 2012-12-19 2014-06-19 Wal-Mart Stores, Inc. Augmented reality shopping game

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011076249A (ja) * 2009-09-29 2011-04-14 Sony Computer Entertainment Inc パノラマ画像表示装置およびパノラマ画像表示方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016220017A (ja) * 2015-05-20 2016-12-22 株式会社リコー コンテンツ提供システム、情報処理装置、プログラム、コンテンツ再生方法
JP2018530219A (ja) * 2015-09-02 2018-10-11 トムソン ライセンシングThomson Licensing 拡張されたシーンでナビゲーションを容易にする方法、装置及びシステム
US11699266B2 (en) 2015-09-02 2023-07-11 Interdigital Ce Patent Holdings, Sas Method, apparatus and system for facilitating navigation in an extended scene
EP3712750A1 (en) 2019-03-20 2020-09-23 Nintendo Co., Ltd. Image display system, image display program, and image display method
EP3712749A1 (en) 2019-03-20 2020-09-23 Nintendo Co., Ltd. Image display system, image display program, display control apparatus, and image display method
US11069107B2 (en) 2019-03-20 2021-07-20 Nintendo Co., Ltd. Image display system, non-transitory storage medium having stored therein image display program, display control apparatus, and image display method for controlling a virtual camera based on movement of an apparatus
US11615569B2 (en) 2019-03-20 2023-03-28 Nintendo Co., Ltd. Image display system, non-transitory storage medium having stored therein image display program, display control apparatus, and image display method for controlling virtual camera based on rotation of a display device
US11752430B2 (en) 2019-03-20 2023-09-12 Nintendo Co., Ltd. Image display system, non-transitory storage medium having stored therein image display program, display control apparatus, and image display method

Also Published As

Publication number Publication date
JP6228392B2 (ja) 2017-11-08
US20140354683A1 (en) 2014-12-04
US9904982B2 (en) 2018-02-27

Similar Documents

Publication Publication Date Title
JP6228392B2 (ja) パノラマ画像表示プログラム、パノラマ画像表示装置、パノラマ画像表示システム、および、パノラマ画像表示方法
JP6329343B2 (ja) 画像処理システム、画像処理装置、画像処理プログラム、および画像処理方法
US20200302685A1 (en) Generating a Three-Dimensional Model Using a Portable Electronic Device Recording
JP6635037B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP6181993B2 (ja) 情報処理システム、情報処理装置、情報処理プログラム、および、情報の送受信方法
JP6092865B2 (ja) マップ特徴の顕著さをベースとした生成およびレンダリング
JP6235790B2 (ja) 表示制御システム、表示制御装置、表示制御プログラム、および表示制御方法
CN104350736B (zh) 附近位置信息的增强现实布置
JP7374313B2 (ja) 仮想環境における乗り物の運転方法、装置、端末及びプログラム
JP6030935B2 (ja) 情報処理プログラム、表示制御装置、表示システム及び表示方法
JP5745497B2 (ja) 表示システム、表示制御装置、情報処理プログラム及び表示方法
JP5915334B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR102523493B1 (ko) 가상 카메라 머신을 이용한 콘텐츠 제공 시스템 및 방법
JP2014217566A (ja) 宝探しゲーム配信システム
JP2008070705A (ja) 画像提供システムおよび画像提供サーバ装置
JP2013090257A (ja) 自由視点映像表示装置
JP2010039256A (ja) 表示システム、表示方法,及び移動体
JP2011039130A (ja) 連携表示装置、連携表示方法、及びプログラム
JP5357966B2 (ja) 情報システム、サーバ装置、端末装置、情報処理方法、およびプログラム
JP6691589B2 (ja) 情報処理システム及び表示方法
JP6051834B2 (ja) 映像出力装置、映像出力方法、及びプログラム
JP2009019970A (ja) ナビゲーション装置
US20220083309A1 (en) Immersive Audio Tours
JP6143871B2 (ja) 地図表示システム及び地図表示方法及びプログラム
JP6047197B2 (ja) 表示システム、表示制御装置、情報処理プログラム及び表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160405

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170314

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170516

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171002

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171013

R150 Certificate of patent or registration of utility model

Ref document number: 6228392

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250