JP2018200519A - 拡張現実表示システム、プログラム及び方法 - Google Patents

拡張現実表示システム、プログラム及び方法 Download PDF

Info

Publication number
JP2018200519A
JP2018200519A JP2017104156A JP2017104156A JP2018200519A JP 2018200519 A JP2018200519 A JP 2018200519A JP 2017104156 A JP2017104156 A JP 2017104156A JP 2017104156 A JP2017104156 A JP 2017104156A JP 2018200519 A JP2018200519 A JP 2018200519A
Authority
JP
Japan
Prior art keywords
unit
information
virtual
display data
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017104156A
Other languages
English (en)
Other versions
JP6275310B1 (ja
Inventor
光一 中村
Koichi Nakamura
光一 中村
一哉 麻野
Kazuya Asano
一哉 麻野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tectech Inc
Original Assignee
Tectech Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tectech Inc filed Critical Tectech Inc
Priority to JP2017104156A priority Critical patent/JP6275310B1/ja
Application granted granted Critical
Publication of JP6275310B1 publication Critical patent/JP6275310B1/ja
Priority to CN201880026460.8A priority patent/CN110537210B/zh
Priority to US16/617,193 priority patent/US10839218B2/en
Priority to PCT/JP2018/009280 priority patent/WO2018216312A1/ja
Publication of JP2018200519A publication Critical patent/JP2018200519A/ja
Priority to US17/007,699 priority patent/US11017235B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/216Input arrangements for video game devices characterised by their sensors, purposes or types using geographical information, e.g. location of the game device or player using GPS
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/53Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A63F13/5378Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen for displaying an additional top view, e.g. radar screens or maps
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/503Blending, e.g. for anti-aliasing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10Map spot or coordinate position indicators; Map reading aids
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10Map spot or coordinate position indicators; Map reading aids
    • G09B29/106Map spot or coordinate position indicators; Map reading aids using electronic means
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/10Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Hardware Design (AREA)
  • Business, Economics & Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Remote Sensing (AREA)
  • Mathematical Physics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Optics & Photonics (AREA)
  • Library & Information Science (AREA)
  • Processing Or Creating Images (AREA)
  • Instructional Devices (AREA)

Abstract

【課題】位置情報に基づく位置ゲームの多様化を図り、娯楽性をより向上させる。
【解決手段】現実世界を撮影した映像に、仮想的なオブジェクトを合成して表示する拡張現実表示システムであって、現実世界の映像を撮影するカメラ121と、カメラ121が撮影した時点の座標及び方位を位置情報として取得する位置情報取得部144と、撮影された現実世界の映像を構成する各画素に係る被写体間の相対距離を深度情報として解析する画像解析部145aと、位置情報取得部144が取得した位置情報に基づいて、現実世界における地理情報を含む現実地図情報M1上に仮想表示データを生成する仮想表示データ生成部145bと、深度情報に従って、カメラ121が撮影した映像に、仮想表示データ生成部145bが生成した仮想表示データを重畳させて表示させる合成処理部145gとを備える。
【選択図】図1

Description

本発明は、現実世界を撮影した映像に、仮想的なオブジェクトを合成して表示する拡張現実表示システム、プログラム及び方法に関する。
従来、携帯が可能で、無線通信による情報通信を行うスマートフォンや携帯電話、モバイルPCなどの情報処理装置が普及してきているとともに、GPS等の位置情報サービスが利用可能となるなど、多機能化が進んでいる。
近年、このような情報処理装置の携帯性と、位置情報サービスとを利用した、いわゆる位置ゲームが種々提案されている(例えば、特許文献1)。この特許文献1に開示された技術では、GPSなどから得られる実世界の現在地及びその変位をロールプレイングゲームで示される画面(仮想世界)の仮想位置及び仮想変位として表示し制御するとともに、イベントアイコンにその位置が重なると第2の仮想世界が表示されるゲームシステムを構築する。これにより、位置情報を利用し従来のゲーム方式或いは従来にはないゲーム方式と実際の位置情報を組み合わせることで新たなエンタテイメントの実現と、実際に歩行者が移動することで楽しく運動ができるシステムの提供が可能となる。
特開2001−70658号公報
ところで、上述した位置情報サービスと連携させた位置ゲームでは、仮想上の建物やキャラクターやクリーチャー等が登場する場合が多く、ゲームの演出上、ユーザーの現在位置の風景に建物やキャラクターを合成して表示する、いわゆる拡張現実(AR:Augmented Reality)表示機能を備えたものも提供されている。このような拡張現実表示機能によれば、ユーザーの現在位置の周囲の風景をスマートフォンやゲーム機に備えられたカメラで撮影し、撮影された実映像にコンピューターグラフィックスで描画された映像を合成して、あたかも周囲の風景内にキャラクター等が存在するような映像を提供することで、ゲームのリアリティーを高めることができる。
このような位置ゲームでは、ユーザーの現在位置から遠方に、仮想上の建物やキャラクターが存在している場合があり、そのような建物やキャラクターを実映像に合成するときには、合成する建物の手前の風景と、背後の風景とを前後させて重畳させて奥行きを表現する必要がある。ところが、カメラで撮影した映像は二次元的なデータであるため、映像内に映り込んだ物体についての距離感や前後関係などは情報として含まれておらず、上述したような奥行きを表現することが困難である。
そこで、本発明は、上記のような問題を解決するものであり、位置情報に基づく位置ゲームにおいて、拡張現実表示機能によって仮想上のオブジェクトを現実世界の実映像に中に重畳して合成する際に、簡単な処理で映像中の被写体の距離感や前後関係を適切に表示して、拡張現実の多様化を図り、より娯楽性を向上できるオブジェクト制御システム、プログラム及び方法を提供することを目的とする。
上記課題を解決するために、本発明のシステムは、現実世界を撮影した映像に、仮想的なオブジェクトを合成して表示する拡張現実表示システムであって、
現実世界の映像を撮影する撮影部と、
前記撮影部が映像を撮影した時点の座標及び方位を位置情報として取得する位置情報取得部と、
撮影された前記現実世界の映像を構成する各画素に係る被写体間の相対距離を深度情報として解析する画像解析部と、
前記位置情報取得部が取得した前記位置情報に基づいて、前記現実世界における地理情報を含む現実地図情報上に前記仮想的なオブジェクトを配置した状態を表した仮想表示データを生成する仮想表示データ生成部と、
前記深度情報に従って、前記撮影部が撮影した映像に、前記仮想表示データ生成部が生成した前記仮想表示データを重畳させて表示させる合成処理部と
を備えることを特徴とする。
また、本発明は、現実世界を撮影した映像に、仮想的なオブジェクトを合成して表示する拡張現実表示プログラムであって、コンピューターを、
現実世界の映像を撮影する撮影部と、
前記撮影部が映像を撮影した時点の座標及び方位を位置情報として取得する位置情報取得部と、
撮影された前記現実世界の映像を構成する各画素に係る被写体間の相対距離を深度情報として解析する画像解析部と、
前記位置情報取得部が取得した前記位置情報に基づいて、前記現実世界における地理情報を含む現実地図情報上に前記仮想的なオブジェクトを配置した状態を表した仮想表示データを生成する仮想表示データ生成部と、
前記深度情報に従って、前記撮影部が撮影した映像に、前記仮想表示データ生成部が生成した前記仮想表示データを重畳させて表示させる合成処理部として
機能させることを特徴とする。
さらに本発明は、現実世界を撮影した映像に、仮想的なオブジェクトを合成して表示する拡張現実表示方法であって、
現実世界の映像を撮影部が撮影するとともに、前記撮影部が映像を撮影した時点の座標及び方位を位置情報として位置情報取得部が取得するステップと、
前記位置情報取得部が取得した前記位置情報に基づいて、前記現実世界における地理情報を含む現実地図情報上に前記仮想的なオブジェクトを配置した状態を表した仮想表示データを仮想表示データ生成部が生成するステップと、
前記深度情報に従って、前記撮影部が撮影した映像に、前記仮想表示データ生成部が生成した前記仮想表示データを重畳させて合成処理部が表示させるステップと
を含むことを特徴とする。
なお、上記発明では、前記映像を構成する各画素を、それぞれの深度情報に基づいて、当該映像の奥行き方向に階層をなす複数のレイヤーに分配するレイヤー生成部をさらに設け、前記合成処理部が、前記位置情報に基づく前記撮影部及び前記仮想的なオブジェクト間の相対距離と、前記レイヤー部が生成したレイヤーに関する深度情報に従って前記仮想表示データを重畳させることができる。
また、上記発明において前記画像解析部は、物理的に離間された少なくとも2点における画像の視差に基づいて前記被写体間の相対距離を算出するようにしてもよい。さらには、上記発明では、前記画像を構成する画素の色及び前記画像中における位置と、前記位置情報と、前記画像解析部が算出した相対距離に関する情報との相関を相関情報として蓄積する学習処理部をさらに設けて、前記画像解析部が、前記相関情報を参照して、前記深度情報を解析するようにしてもよい。
さらには、上記発明において現実地図情報には、現実地図上に配置された建物又は地形の形状若しくは高さに関する情報が含まれ、前記学習処理部は、前記現実地図情報に含まれる建物又は地形の形状若しくは高さに関する情報に基づいて、前記相関情報を補正する機能を有することが好ましい。
実施形態に係るゲームシステムの全体構成を示す概念図である。 実施形態に係る現実地図情報M1と仮想地図情報M2の関係を示す説明図である。 実施形態に係る現実地図情報M1上におけるユーザー位置と仮想地図情報M2上のオブジェクトとの関係を示す説明図である。 実施形態に係る実画像及び拡張現実表示を示す説明図である。 実施形態に係る深度情報の解析処理を示す説明図である。 実施形態に係る深度情報の解析処理を示す説明図である。 実施形態に係る深度情報の解析処理におけるレイヤー処理を示す説明図である。 実施形態に係るゲームサーバー3の内部構成を示すブロック図である。 実施形態に係るスマートフォン1の内部構成を示すブロック図である。 実施形態に係る表示データ生成部の内部構成を示すブロック図である。 実施形態に係る認識機能モジュールによる認識処理の概要を示す説明図である。 実施形態に係るキャラクター移動とファンタジー化処理との関係を示す説明図である。 実施形態に係るファンタジー化処理との状態遷移を示す説明図である。 実施形態に係るファンタジー化処理の操作を示す説明図である。 実施形態に係る繰り返し往復移動によるポイント蓄積についての説明図である。 実施形態に係るファンタジー化処理における街区塗り操作を示す説明図である。 実施形態に係るポイント発行処理の手順を示すフローチャート図である。 実施形態に係る一括処理操作を示すシーケンス図である。 実施形態に係る一括処理操作の一例を示す説明図である。 実施形態に係る一括処理操作の一例を示す説明図である。
以下に添付図面を参照して、本実施形態に係るゲームシステム及びゲームプログラムの実施形態を詳細に説明する。
(システムの全体構成)
図1は、本実施形態に係るゲームシステムの全体構成を示す概念図である。本実施形態に係るゲームシステムは、図1に示すように、ユーザー10が使用する携帯端末装置であるスマートフォン1と、インターネット2上に設置されたゲームサーバー3とから概略構成される。なお、本実施形態では、スマートフォン1を携帯端末装置の一例として説明する。
ゲームサーバー3は、本実施形態では、ゲーム進行処理を行うサーバーであり、単一のサーバー装置、又は複数のサーバー装置群により実現することができ、複数の機能モジュールをCPU上に仮想的に構築し、それぞれの機能モジュールが協動して処理を実行する。また、このゲームサーバー3は、通信機能によりインターネット2を通じて、データ送受信を行うことができるとともに、Webサーバー機能によりブラウザソフトを通じてWebページの提示などを行うことができる。
スマートフォン1は、無線通信を利用した携帯可能な情報処理端末装置であり、無線基地局22等の中継点と携帯電話機が無線で通信し、通話やデータ通信等の通信サービスを移動しつつ受けることができる。この携帯電話機の通信方式としては、例えば、3G(3rd. Generation)方式、LTE(Long Term Evolution)方式、4G方式、FDMA方式、TDMA方式、CDMA方式、W−CDMAの他、PHS(Personal Handyphone System)方式等が挙げられる。また、このスマートフォン1は、デジタルカメラ機能、アプリケーションソフトの実行機能、GPS(Global Positioning System)などによる位置情報取得機能等、種々の機能が搭載され、タブレットPC等のモバイルコンピューターも含まれる。
位置情報取得機能は、自機の位置を示す位置情報を取得し、記録する機能であり、この位置情報取得機能としては、図1に示すように、例えば、GPSのように、衛星21からの信号によって自機の位置を検出する方法や、携帯電話の無線基地局22や、Wifi通信のアクセスポイントからの電波強度などによって位置を検出する方法が含まれる。
そして、このスマートフォン1は、情報を表示する表示部としての液晶ディスプレイを備えるとともに、ユーザーが入力操作を行うための操作ボタン等の操作デバイスを備え、この操作デバイスとしては、液晶ディスプレイに重畳されて配置され、液晶ディスプレイ上の座標位置を指定するタッチ操作などによる操作信号を取得する入力部としてのタッチパネルが含まれる。具体的にこのタッチパネルは、ユーザーの指先やペンなどを用いたタッチ操作による圧力や静電検知その他によって操作信号を入力する入力デバイスであり、グラフィックを表示する液晶ディスプレイと、この液晶ディスプレイに表示されたグラフィックの座標位置に対応した操作信号を受け付けるタッチセンサーとが重畳されて構成されている。
(各装置の内部構造)
次いで、上述したゲームシステムを構成する各装置の内部構造について説明する。図8は、本実施形態に係るゲームサーバー3の内部構成を示すブロック図であり、図9は、本実施形態に係るスマートフォン1の内部構成を示すブロック図である。なお、説明中で用いられる「モジュール」とは、装置や機器等のハードウェア、或いはその機能を持ったソフトウェア、又はこれらの組み合わせなどによって構成され、所定の動作を達成するための機能単位を示す。
(1)ゲームサーバー
先ず、ゲームサーバー3の内部構成について説明する。ゲームサーバー3は、インターネット2上に配置されたサーバー装置であり、インターネット2を通じて、各スマートフォン1とデータの送受信を行えるようになっている。ゲームサーバー3は、インターネット2を通じてデータ通信を行う通信インターフェース31と、利用者や利用者端末の権限を認証する認証部33と、各利用者端末の位置情報を収集して管理する位置情報管理部32と、ゲーム全体のゲーム進行処理、及び各ユーザーのゲーム進行処理を実行するゲーム進行処理部36と、仮想地図情報を生成する仮想地図情報管理部37と、各ユーザーに対してゲームデータを配信する34と種々のデータベース群を備えている。また、本実施形態に係るゲームサーバー3は、拡張現実表示システムのためのモジュールとして、深度情報管理部39を備えている。
データベース群としては、現実世界における地理情報を含む現実地図情報を記憶する現実地図記憶部としての現実地図データベース35aと、利用者に関する情報を蓄積するユーザーデータベース35bと、仮想地図情報、ゲーム全体のゲーム進行処理、及び各ユーザーのゲーム進行処理に関する情報を蓄積するゲーム用データベース35cと、発行したポイントを管理するポイントデータベース35dと、深度情報データベース35eとが含まれる。これらの各データベースとしては、単一のデータベースとしてもよく、複数のデータベースに分割し、相互にリレーションを設定することで各データ同士を紐付けたリレーショナルデータベースとすることができる。
現実地図データベース35aは、現実世界における地理情報を含む現実地図情報を記憶する記憶装置であり、山や谷、河川等の自然的な地理的要素、建物や道路、鉄道などの人工物、地名や住所、交通規制などが地理情報として記憶される。この現実地図情報には、地理情報に関する文字情報、例えば地名や行政区名称、街道名、河川・山岳等の名称などが含まれている。なお、この現実地図データベース35aは、ゲームサーバー3を運用するサービス提供者自身が所有・運用するものの他、他の地図サービス提供者が運用する地図データベースであってもよい。
ユーザーデータベース35bに蓄積される情報としては、利用者又は利用者が使用している携帯端末装置を特定する識別子(ユーザーID、端末ID)と、パスワード等とを紐付けた認証情報を含み、ユーザーIDに紐付けられた利用者の個人情報や、端末装置の機種なども含まれる。また、ユーザーデータベース35bには、利用者毎或いは利用者端末毎の認証履歴(アクセス履歴)や、ゲーム用データベース35cとのリレーションによりユーザー毎のゲーム進行に関する情報(緯度・経度等の現在位置、ゲーム中におけるステイタス、得点、利用履歴等)、ゲーム中に関する決済情報等も蓄積される。
ゲーム用データベース35cに蓄積される情報としては、仮想世界の地図情報、キャラクターやオブジェクトの特性、イベント処理に関する情報、グラフィック情報などがゲーム用データとして含まれるとともに、これらのゲーム用データと、現実地図に含まれる地理的要素や建物、道路、鉄道等とを関連づけるためのマッピングデータも含まれる。ポイントデータベース35dは、発行されたポイントをユーザー、ユーザー端末若しくはアプリケーションと紐付けて管理し、各ポイントの利用履歴を蓄積する。
深度情報データベース35eは、各スマートフォン1や情報収集車の車載カメラ等からアップロードされた映像・実画像と合わせて、それらの解析結果である深度情報を蓄積するデータベース装置である。この深度情報としては、各映像・実画像を構成する画素の色、輝度、及び画像中における座標位置と、位置情報(緯度・経度、標高、撮影方向、チルト角等)と、画像中における被写体間の相対距離に関する情報と、これらの情報相互の相関である相関情報が蓄積される。また、深度情報データベース35eには、各深度情報で特定された被写体の位置情報(緯度・経度、標高、高度)と、現実地図データベース35a中の現実地図情報に含まれる現実地図上に配置された建物又は地形の形状若しくは高さに関する情報とが含まれる。
認証部33は、通信インターフェース31を通じて、各スマートフォン1と通信セッションを確立させ、その確立された通信セッション毎に認証処理を行うモジュールである。この認証処理としては、アクセス者である利用者のスマートフォン1から認証情報を取得し、ユーザーデータベース35bを参照して、利用者等を特定し、それらの権限を認証する。この認証部33による認証結果(ユーザーID、認証時刻、セッションID等)は、ゲーム進行処理部36に送出されるとともに、ユーザーデータベース35bに認証履歴として蓄積される。
位置情報管理部32は、利用者端末装置側で取得されてゲームサーバー3に送信される位置情報を取得するモジュールであり、位置情報管理部32は、認証部33による認証処理によって特定されたユーザーやユーザー端末装置の識別子(ユーザーID、端末ID等)と、それらの位置情報とを紐付けてユーザーデータベース35bに利用履歴として蓄積する。ここで取得される位置情報としては、撮影部が映像を撮影した時点の座標(現実地図及び仮想地図上における緯度・経度・標高、撮影)及び撮影方位、その時点の日時も含まれる。
ゲーム進行処理部36は、仮想世界において、各ユーザーに対応する各キャラクター、及びモンスターやその他のオブジェクトが移動して、種々のイベント処理を発生させてゲームを進行させるモジュールであり、一定のルール・ロジック・アルゴリズムを含むゲームプログラムを実行し、キャラクターやオブジェクトの位置関係(接近・接触等)に応じて、対決バトルやミニゲーム、ムービーの再生、街区のファンタジー化等のイベント処理を発生させる。特に、ゲーム進行処理部36は、位置情報管理部32から取得される各ユーザーの位置情報に基づいて各ユーザーの現在位置と、各ユーザーが所有するポイント数に応じて、仮想世界においてキャラクターC1を移動させる処理、又は仮想世界におけるキャラクターの移動により得られる効果、例えば地図上のファンタジー化や、アイテムの入手など、実際にキャラクターC1が歩いたのと同等の効果が得られるようなイベント処理も実行する。
なお、ゲーム進行処理部36は、本実施形態では、スマートフォン1側のゲーム進行処理部141と協働するようになっており、ゲーム進行処理の一部をゲームサーバー3側で行い、グラフィック処理やイベント処理の一部をスマートフォン1側のゲーム進行処理部141で実行するようにしている。例えば、ゲームサーバー3側で、他のユーザーのキャラクターの位置や、オブジェクトの位置などに基づいて、発生し得るイベント処理を予測し、その発生条件をゲームサーバー3側で発生させ、その条件をスマートフォン1側に送信し、実際のイベント処理の発生やそのためのグラフィック処理は、ゲームサーバー3から受信した発生条件に基づいてスマートフォン1側で実行するようにしている。
仮想地図情報管理部37は、ゲーム進行処理部36によるゲーム進行に従って、図2に示すような、現実地図情報M1上の地理情報に対応した仮想地理情報上における他のユーザーのキャラクターや、建物等のオブジェクト座標情報を含む仮想地図情報M2の生成、蓄積及び配信を管理・制御するモジュールである。本実施形態では、ユーザー10が実際に現実地図情報M1上を移動した距離に応じてポイントTpが発行され、このポイントTpを消費することによって、仮想地図情報M2上をユーザー10に対応したキャラクターC1が移動し、その移動した経路に隣接するブロックB0をファンタジー化することができる。
このファンタジー化ブロックB0は、現実地図情報M1上に仮想的なオブジェクトを配置した状態を表した仮想表示データであり、このブロックB0によって、現実地図情報M1が部分的又は全体的に覆われることとなり、ブロックB0に覆われた部分には仮想地図情報M2上に配置された仮想的なオブジェクトが表示される。なお、図14(a)及び(b)にも示すように、このファンタジー化ブロックB0には、各ファンタジー化ブロックの表示位置に対応する現実地図情報M1の地理情報に関する文字情報が関連情報として、当該ファンタジー化ブロック上に視認可能に表示される。また、このファンタジー化ブロックB0は、立体表示された現実地図情報M1上に重畳合成される場合には、現実地図情報M1の立体表示に合わせて、同様の立体化処理されて3次元的な形状として表示される。このファンタジー化ブロックには、モンスターM0などの仮想的なオブジェクトが配置されており、現実地図情報M1上の現在位置においてカメラ121で実画像を撮影したときに、このモンスターM0等の仮想オブジェクトが、本実施形態の拡張表示処理によって、実画像に重畳されて表示される。
そして、このファンタジー化では、図14(a)及び(b)に示したように、ユーザーが画面上で、経路に隣接する街区に対応する形状に分割されたブロックB0をタッチすることによって、そのタッチされたブロックB0がファンタジー化され、仮想地図中の各種ブロックB2〜B5が現実地図情報M1上の街区に重畳されて表示される。
なお、ポイントTpは、ゲームサーバーにアクセスする頻度又は間隔に応じて、そのユーザーに対して付与してもよく、ユーザーによる決済操作やサーバー側の課金処理などによって、代金やポイントにより購入することもできる。さらにポイントTpは、ゲームにおける所定のイベントを完了したり、ミニゲームなどの得点や、キャラクターのレベルアップ、レベルクリアなどにより、適宜付与されるようにしてもよい。
なお、この仮想地図情報M2は、ゲームサーバー3側で生成する場合と、スマートフォン1側で生成する場合と、ゲームサーバー3とスマートフォン1の両者が協働して生成する場合とがあり、仮想地図情報管理部37は、ゲームサーバー3側で生成、或いは蓄積された仮想地図情報M2と、スマートフォン1側で生成、蓄積された仮想地図情報M2に関する情報を管理し、両者の仮想地図情報M2を比較し、必要に応じて仮想地図情報M2の全部又は一部をスマートフォン1側に配信して、両者の同期を図る。
ゲームサーバー3側で仮想地図情報M2を生成する場合、仮想地図情報管理部37は、現実地図データベース35aに蓄積された現実地図情報M1に含まれる地理的要素や建物、道路、鉄道等を取得するとともに、ゲーム用データベース35cに蓄積されたマッピングデータを参照し、現実地図情報M1に対応した仮想世界の地図情報、キャラクターやオブジェクトの特性(属性)、イベント処理に関する情報、グラフィック情報などに基づいて、仮想世界の地図情報をブロックB0単位で分割して生成する。
ゲームデータ配信部34は、ユーザーの現在位置に基づき、仮想地図情報管理部37による制御に従って、仮想地図情報管理部37が生成した仮想地図情報M2を同期させるべく、地図情報や仮想世界のグラフィックを、通信インターフェース31を通じて,各ユーザーに配信するモジュールである。なお、仮想世界のグラフィックは、現実地図情報M1に対応する街区毎にブロックに分割され、ブロック単位で配信される。なお、このブロックの分割は、ユーザーの仮想世界での移動速度、現実世界での移動速度、現実地図上又は仮想地図上の情報密度に応じて、その面積や形状が自動的に変化するようにしてもよい。例えば、ユーザーの移動速度が速い場合にはブロックの分割単位面積を大きくしたり、また、都心などのビルや店舗などが密集してその情報の密度が高い地域では、分割単位面積を小さくするようにしてもよい。
また、深度情報管理部39は、スマートフォン1側の画像解析部145aと協働して、各ユーザー端末や情報収集車の車載カメラ等からアップロードされた撮影画像を解析して深度情報を解析するモジュールであり、解析結果である深度情報を深度情報データベース35eに蓄積するとともに、解析結果である深度情報を、通信インターフェース31を通じて、各端末へ配信する機能を有する。また、深度情報管理部39は、学習処理部39aを備えており、この学習処理部39aでは、ディープラーニング学習機能によって、画像を構成する画素の、色及び画像中における位置と、撮影をした時点の位置情報と、画像解析部145aが算出した相対距離に関する情報との相関について、総勘定を参照して学習を行う。また、この学習処理部39aは、現実地図上に含まれた建物又は地形の形状若しくは高さに関する情報に基づいて、解析結果に含まれる相関情報を補正する機能を有している。
(2)スマートフォン1
次いで、スマートフォン1の内部構成について説明する。図9に示すように、スマートフォン1は、ゲームシステムのためのユーザーインターフェースに関するモジュールとして通信インターフェース11と、入力インターフェース12と、出力インターフェース13と、アプリケーション実行部14と、メモリ15とを備えている。
通信インターフェース11は、データ通信を行うための通信インターフェースであり、無線等による非接触通信や、ケーブル、アダプタ手段等により接触(有線)通信をする機能を備えている。入力インターフェース12は、マウス、キーボード、操作ボタンやタッチパネル12aなどユーザー操作を入力するデバイスである。また、出力インターフェース13は、ディスプレイやスピーカーなど、映像や音響を出力するデバイスである。特に、この出力インターフェース13には、液晶ディスプレイなどの表示部13aが含まれ、この表示部は、入力インターフェースであるタッチパネル12aに重畳されている。
メモリ15は、OS(Operating System)やファームウェア、各種のアプリケーション用のプログラム、その他のデータ等などを記憶する記憶装置であり、このメモリ15内には、ユーザーを識別するユーザーIDの他、ゲームサーバー3からダウンロードしたゲームアプリケーションデータを蓄積するとともに、アプリケーション実行部14で処理されたゲームデータ等が蓄積される。特に、本実施形態では、メモリ15には、ゲームサーバー3から取得した、仮想地図情報M2及び現実地図情報M1が格納されている。仮想地図情報M2は、現実地図情報M1中の街区に対応する形状に分割されたブロック単位で格納される。
アプリケーション実行部14は、一般のOSやゲームアプリケーション、ブラウザソフトなどのアプリケーションを実行するモジュールであり、通常はCPU等により実現される。このアプリケーション実行部14では、本発明に係るゲームプログラムが実行されることで、ゲーム進行処理部141、同期処理部142、イベント処理部143、表示制御部146、表示データ生成部145、位置情報取得部144が仮想的に構築される。
ゲーム進行処理部141は、ゲームサーバー3で実行されているゲームプログラムと同様のルール・ロジック・アルゴリズムにより、仮想世界において、各ユーザーに対応する各キャラクター、及びモンスターやその他のオブジェクトを移動させて、種々のイベント処理を発生させてゲームを進行させるモジュールであり、同期処理部142を通じて、ゲームサーバー3側のゲーム進行処理部36と同期しつつ、キャラクターやオブジェクトの位置関係(接近・接触等)に応じて、対決バトルやミニゲーム、ムービーの再生、街区のファンタジー化等のイベント処理を発生させる。
ゲーム進行処理部141は、本実施形態では、ゲームサーバー3側のゲーム進行処理部141と協働するようになっており、ゲーム進行処理の一部をゲームサーバー3側で行い、グラフィック処理やイベント処理の一部をスマートフォン1側のゲーム進行処理部141で実行するようにしている。例えば、イベント発生の条件などをゲームサーバー3側で発生させ、その条件をスマートフォン1側に送信し、実際のイベント処理の発生やそのためのグラフィック処理は、スマートフォン1側で実行する。
同期処理部142は、スマートフォン1側でのゲーム進行処理や画像解析処理と、ゲームサーバー3側でのゲーム進行処理や画像解析処理とを同期させるモジュールである。具体的には、ゲームサーバー3側で、他のユーザーのキャラクターの位置や、オブジェクトの位置などに基づいて、発生し得るイベント処理を予測し、その発生条件をゲームサーバー3側で発生させ、その条件をスマートフォン1側に送信し、この発生条件を同期処理部142で受信し、実際のイベント処理の発生やそのためのグラフィック処理は、ゲームサーバー3から受信した発生条件に基づいてスマートフォン1側のゲーム進行処理部141で実行する。このスマートフォン1側のゲーム進行処理部141で実行されたイベント処理の結果(バトルやミニゲームの勝敗や得点、街区のファンタジー化等)は、同期処理部142を通じてゲームサーバー3側のゲーム進行処理部141に通知され、その後のゲーム進行処理に反映される。
また、同期処理部142は、ゲームサーバー3側の深度情報管理部39と、スマートフォン1側の表示データ生成部145とを協働させて、各ユーザー端末や情報収集車の車載カメラ等から撮影画像をアップロードしたり、撮影画像解析を実行して深度情報を解析させる。また、同期処理部142は、解析結果である深度情報を、ゲームサーバー3側の深度情報データベース35eに蓄積させるとともに、解析結果である深度情報を各端末間で共有するためにインターネット2を通じて、各端末へ配信する。さらに、同期処理部142は、ゲームサーバー3側の学習処理部39aとスマートフォン1側の画像解析部145aとを協働させて、ディープラーニング学習機能によって、画像を構成する画素の、色及び画像中における位置と、撮影をした時点の位置情報と、画像解析部145aが算出した相対距離に関する情報との相関について相関情報を参照して学習させる。
また、イベント処理部143は、ゲーム進行処理部141が発生させたイベント処理と、位置情報取得部144が取得する自機の現在位置の移動速度とを監視し、現在位置の移動速度が所定値以上であり、且つゲーム進行処理部141が発生させたイベント処理が予め定められた一括処理可能イベントである場合に、当該イベントの処理において一括処理を許可するモジュールであり、ゲーム進行処理部141は、一括処理可能イベントにおいて、複数の定型的な操作に代えて一括終了操作を許可して、操作を省略してゲームを進行させることができるようになっている。同期処理部142は、イベント処理部143が省略した操作によって遂行したイベント処理についてゲームサーバー3側のゲーム進行処理部141に通知し、イベント処理の発生要件を満たしたイベント処理に対する操作が省略されてゲームが進行されたことをゲームサーバー3側に報告する。
位置情報取得部144は、現実世界における座標位置を選択して取得するモジュールであり、ユーザーの現在位置や他のユーザーの現在位置、人工衛星を利用した全地球測位システム (GPS:Global Positioning System)や、基地局からの電波強度及び基地局情報に基づく三角測位による基地局測位、WifiのSSID(Service SetID)及び電波状況と経度緯度を組み合わせたデータベースを利用したWifi測位等により取得する。
また、この位置情報取得部144は、ユーザー操作やゲーム進行によるイベント発生に基づく任意の座標位置を選択して、位置情報を取得したり、移動速度を測定したりすることができる。また、位置情報取得部144は、任意のオブジェクトの座標位置を取得する機能も備えており、各データベース35a〜cを検索して、現在の座標位置、或いは仮想地図上の座標位置、又はこれらの変位履歴を取得することができる。
特に、この任意のオブジェクトとしては、当該ユーザーの代理となるオブジェクトが代理オブジェクトとして現実地図情報上又は仮想地図情報上の任意の位置に設置された位置を各データベース35a〜cから検索して取得することができる。この代理オブジェクトは、ゲーム進行処理部36又は141によって、地図情報上の位置がゲーム進行に従って自動的に移動されるもので、特定のユーザーの現在位置と連動されたり、ゲーム進行に従って自動的に移動されたりする。
さらに、この位置情報取得部144による移動速度の測定では、加速度センサー16からの検出信号により、瞬間的な移動も検知可能となっており、所定の値以上の加速度が生じたときには、ユーザーが移動中であると判定する。また、移動速度の測定では、例えばユーザーが乗り物に乗って高速移動しているときには、GPSの値の変化で移動中であると判定する。この高速移動に関し、地下鉄等の地下や駅構内において、GPS信号が受信できない場合には、Wifiや3G・4G等の基地局の切り替わりや電波受信状態の変化から位置情報が更新されるのを監視し、歩行による通常の移動よりも大きく位置情報が変化したときに、ユーザーの移動を判定する。なお、この基地局の切り替わり等による移動判定では、位置情報の変化が不連続となることから、移動が判定された後の一定時間(例えば5分程度)は移動中であるとするなど、基地局間の距離や電波の変化量に応じ、一定の幅を持たせてユーザーの移動距離、移動速度を予測する。
また、本実施形態において位置情報取得部144は移動経路記録部144aを備えており、この移動経路記録部144aは、位置情報取得部144が取得した、ユーザーの現在位置や、他のユーザーの現在位置、任意のオブジェクトの座標位置など、各ユーザー又はオブジェクトの変位履歴に基づいて移動経路や移動速度を算出して記録するモジュールである。この移動経路記録部144aによる移動経路の算出は、例えば、サンプリングされた各位置を時系列順に、隣接する2点間を最短距離で接続して移動経路を決定したり、地理情報を参照して2点間における道順に沿って経路を決定したりすることができる。
表示データ生成部145は、表示部13aに表示させるための表示データを生成するモジュールである。表示データは、グラフィックデータの他、画像データや、文字データ、動画データ、音声その他のデータを組み合わせて生成されるデータである。特に、本実施形態に係る表示データ生成部145は、位置情報取得部144が取得したユーザーの現在位置に基づいて、現実地図情報M1上にユーザーの現在位置を示した現実表示データを生成する現実表示データ生成部と、位置情報取得部144が取得した現在位置に基づいて、ユーザーの現在位置に対応した仮想地図情報M2上にキャラクターを表した仮想表示データを生成する仮想表示データ生成部の機能を果たしている。この表示データ生成部145で生成された表示データの表示処理は、表示制御部146で制御される。
この表示データ生成部145は、仮想地図情報生成部を備えており、この仮想地図情報生成部は、ゲーム進行処理部141によるゲーム進行に従って、図2に示すような、現実地図情報M1上の地理情報に対応した仮想地理情報上における他のユーザーのキャラクターや、ファンタジー化ブロック等の座標情報を含む仮想地図情報M2を生成するモジュールである。仮想地図情報生成部は、メモリ15やネットワーク上の現実地図データベース35aに蓄積された現実地図情報M1に含まれる地理的要素や建物、道路、鉄道等を取得するとともに、メモリ15やゲーム用データベース35cに蓄積されたマッピングデータを参照し、現実地図情報M1に対応した仮想世界の地図情報、キャラクターやオブジェクトの特性、イベント処理に関する情報、グラフィック情報などに基づいて、仮想世界の地図情報を生成する。図2に示した例では、現実地図情報M1上の建物に対応した座標位置(座標範囲)に、森林や山、岩などの仮想的なオブジェクトが配置されている。
なお、本実施形態では、仮想地図情報M2をスマートフォン1側の仮想地図情報生成部で生成するようにしたが、ゲームサーバー3の仮想地図情報管理部37で、予め、或いはリアルタイムに、現実地図情報M1上の地理情報に対応した仮想地図情報M2を生成し、ゲームデータ配信部34によって各スマートフォン1に配信して、同期をとるようにしてもよい。
表示制御部146は、表示データ生成部145が生成した現実表示データと、仮想表示データとを、これら表示データの両方、選択されたいずれか、又は一方の一部分を他方に重畳させて表示する制御を実行するモジュールであり、表示部13aは、この表示制御部146の制御に従って現実表示データと仮想表示データとを表示する。
また、本実施形態における表示制御部146は、軌跡表示部を備えている。この軌跡表示部は、移動経路記録部144aが記録した当該ユーザーの移動経路や、他のユーザーの移動経路、任意のオブジェクト移動経路を、現実地図情報M1上又は仮想地図情報M2上に軌跡として表示させるモジュールである。この軌跡表示部による軌跡の表示は、例えば、サンプリングされた各位置を時系列順に、隣接する2点間を最短距離で接続して決定された移動経路を一定の幅を持たせて着色したり、地理情報を参照して2点間における道順に沿って決定された経路を一定の幅を持たせて着色したりすることができる。さらに、この軌跡表示部による軌跡の表示では、現実地図情報M1上又は仮想地図情報M2上において、各ユーザーやオブジェクトの移動経路に近接する区画又はオブジェクトを軌跡の一部として着色して表示させるようにしてもよい。
この区画としては、実際の地理情報や仮想の地理情報に基づいて区画された行政区、街区、都道府県、市町村などのブロック単位で着色して表示させることもできる。このブロック単位での着色においても、隣接する2点間を最短距離で接続して決定された移動経路に接触するブロックを着色したり、地理情報を参照して2点間における道順に沿って決定された経路に接触するブロックを着色したりすることができる。
さらに、本実施形態に係る表示データ生成部145は、図10に示すように、拡張現実表示システムに関わるモジュールとして、画像解析部145aと、仮想表示データ生成部145bと、拡張現実表示処理部145eとを備えている。
仮想表示データ生成部145bは、拡張現実として実画像に重畳されるコンピューターグラフィックス等の仮想表示データを生成するモジュールであり、位置情報取得部144が取得した位置情報に基づいて、現実世界における地理情報を含む現実地図情報上に仮想的なオブジェクトを配置した状態を表した仮想表示データを生成する。生成された仮想表示データは、拡張現実表示処理部145eに入力される。
画像解析部145aは、撮影された現実世界の映像(実画像)を構成する各画素に係る被写体間の相対距離を深度情報として解析するモジュールである。本実施形態において画像解析部145aは、視差解析部145cと、相対距離算出部145dとを備えている。
視差解析部145cは、物理的に離間された少なくとも2点における画像の視差を解析するモジュールであり、少なくとも2点の画像を比較して、画像内に映り込んでいる建物や地形を認識する。この視差解析部145cによる解析結果は相対距離算出部145dに入力される。相対距離算出部145dは、視差解析部145cが解析した画像の視差に基づいて被写体間の相対距離を算出し、拡張現実表示処理部145eに入力される。
拡張現実表示処理部145eは、深度情報に従って、撮影部が撮影した映像に、仮想表示データ生成部145bが生成した仮想表示データを重畳させて表示させるモジュールである。本実施形態において、拡張現実表示処理部145eは、レイヤー生成部145fと、合成処理部145gとを備えている。
レイヤー生成部145fは、映像を構成する各画素を、それぞれの深度情報に基づいて、当該映像の奥行き方向に階層をなす複数のレイヤーに分配するモジュールであり、相対距離算出部145dが算出した被写体間の相対距離に基づいて、レイヤーを生成する。合成処理部145gは、レイヤー生成部145fが生成したレイヤーに関する深度情報に従って、仮想表示データ生成部145bが生成した仮想表示データを実画像中に重畳させるモジュールである。
なお、本実施形態における視差解析や相対距離算出は、ディープラーニング認識処理によって行われる。このディープラーニング認識処理では、画像を構成する画素の、色及び画像中における位置と、撮影をした時点の位置情報と、画像解析部145aが算出した相対距離に関する情報との相関について相関情報を参照して、画素毎に被写体までの距離を深度情報として紐付ける認識を行う。
(システムの動作)
本実施形態では、ユーザーが移動して取得したポイントTpを消費することによって、その移動経路を仮想地図上において、キャラクターC1が移動するとともに、消費したポイントTpに応じた移動軌跡やファンタジー化ブロックとして記録及び表示するオブジェクト制御機能を備えている。また、ファンタジー化されたブロックではモンスターが出現し、このモンスターを退治するなどのイベント処理が発生され、その結果に応じてポイントTpが溜まったり、ファンタジー化領域が拡大されて位置ゲームが進行される。以下に各処理について説明する。
(1)ゲーム進行処理
本実施形態に係る位置ゲームでは、オブジェクト制御機能によってユーザーの現実世界における移動にリンクさせて仮想世界のキャラクターを移動させ、その移動軌跡に対応したブロックをファンタジー化することをゲームの基本的なコンセプトとしている。そして、本システムによる位置ゲームでは、ユーザーの現実世界における移動距離に応じてポイントTpを発行し、このポイントTpを消費させてユーザーに対応するキャラクターC1を、拡張現実世界内、或いは仮想世界内を移動させたり、街区に対応するブロックをファンタジー化させたり、ファンタジー化されたブロックに出現するモンスターとバトルをしたりなどのイベントを発生させることによってゲームを進行させる。
すなわち、ゲームサーバー3には、ポイント発行部38が設けられており、スマートフォン1側の位置情報取得部144で検出したユーザー10の移動距離に応じたポイントを発行する。ここでのポイントとは、交換価値を有する価値情報であり、ゲーム上の仮想世界で仮想上の通貨単位として取り扱われる。そして、本実施形態では、このポイント数に応じて、仮想世界においてキャラクターC1を移動させる処理、又は仮想世界におけるキャラクターの移動により得られる効果、例えば地図上のファンタジー化や、アイテムの入手など、実際にキャラクターC1が歩いたのと同等の効果が得られるようなイベント処理が実行されてゲームが進行されるようになっている。なお、このポイントの発行及びイベント処理を含むゲーム進行は、ゲーム進行処理部36,141が協働して実行され、そのゲームの進行過程やポイントは、ユーザーデータベース35b及びゲーム用データベース35cに記録される。
また、本実施形態では、ユーザーが移動した累積距離や地図上の特定施設へのアクセス回数、さらには既にファンタジー化したエリアを繰り返し往来することにより、ポイントが貯まるようになっている。例えば、図15に示すように、ユーザー10が、自宅(A地点)と勤務先のビルBldとの間を、通勤・通学等によって繰り返し往復しているとすると、その頻度に応じてポイントTpが付与され、このポイントTpを消費することによって、上述したファンタジー化処理が可能となる。すなわち、ポイントTpを消費することによって地点AとビルBldとの間のブロックがファンタジー化できるようになり、そのブロックをタッチすることにより現実地図上にファンタジー化されたブロックが重畳表示される。さらに本実施形態では、このように既にファンタジー化したエリアで取得されたポイントを用いて、図16(a)〜(c)に示すように、既に未踏地エリアのブロックB0uも、遠隔的にファンタジー化することができるようになっている。
なお、本実施形態では、この通勤・通学経路の軌跡については通行回数に応じて色が濃くなったり、ファンタジー化ブロックの状態が変化したりするようになっている。また、この軌跡の記録によって特定の施設(ここではビルBld)へのアクセス回数(往復回数)もカウントされ、そのカウントに応じてポイントが発行され、そのポイントを利用することで、種々の特典イベントの利用が可能となる。この特典イベントとしては、貯まったポイントにより未踏地のブロックをファンタジー化できたり、特典アイテムを入手できるようになっている。
また、本実施形態では、ファンタジー化されたブロックは時間経過或いはゲーム進行に応じて、その状態が遷移するようになっている。詳述すると、図12及び図13に示すように、ユーザー10の移動距離に応じてポイントTpが発行され、そのポイントTpを消費することによって、ユーザー10に対応するキャラクターC1が現実地図情報M1上が移動される。このキャラクターC1の移動により、その移動経路に沿った街区に対応するブロックは、ユーザーが画面上をタッチすることによりファンタジー化させることが可能となる(フェーズF1)。このファンタジー化の際には、ブロック毎にポイントTpが消費される。そして、このファンタジー化されたブロックは、図13に示すように、時間経過或いはゲーム進行に応じて、その状態が遷移される。
先ず、キャラクターC1の移動に伴い、その移動経路に隣接するブロックでは、未タップ状態ブロックB1として現実地図情報M1の情報が白地図として表示される。そして、この未タップ状態ブロックB1をタッチする「現地タップ」操作によって活性化ブロックB2のようにファンタジー化される(フェーズF1)。なお、このときポイントTpを消費することにより、未踏地のブロックをタッチする「遠隔街区タップ」操作に応じて、移動経路から離れた未踏地ブロックB6もファンタジー化することができる(フェーズF6)。なお、この遠隔街区タップによってファンタジー化された未踏地ブロックB6では、通常の現地タップによるファンタジー化とは異なる画像が表示される。
このファンタジー化された活性化ブロックB2は、時間が経過することにより森林等の植物が育成された「キラキラ状態」になるなどグレードアップされた活性化ブロックB3に遷移する(フェーズF2)。なお、ポイントTpを消費することによって入手される「促進剤」等の特典アイテムを使用することで、時間経過を待たずに即「キラキラ状態」に遷移させることができる。このグレードアップされて「キラキラ状態」に遷移した活性化ブロックB3では、そのブロックをタップすることによって、森林を伐採したり穀物を収穫したりするなどのイベント処理を実行できる。この収穫イベント処理によってポイントやアイテムが入手できるとともに、ファンタジー化がリセットされ、不活性ブロックB4に遷移する(フェーズF3)。この不活性ブロックB4では所定時間だけタップ操作が禁止されて一定時間ファンタジー化が不可となり、時間待ち状態となる。その後、この不活性ブロックB4において所定時間が経過すると活性化ブロック(未タップ状態)B5へと遷移され(フェーズF4)、再度タップ操作によるファンタジー化及び育成が可能となる(フェーズF5)。このようにファンタジー化されたブロックの状態が、サイクル的に次々と遷移されることにより、既に攻略した地域であってもゲーム性が維持されることとなる。
(2)拡張表示処理
次いで、本実施形態に係る拡張現実表示処理について説明する。図3〜図7に拡張現実表示処理の手順を示す。
上述したとおり、本実施形態では、図2に示すように、ユーザー10の現実地図情報M1上における移動にリンクさせて、仮想地図情報M2のキャラクターを移動させ、その移動軌跡に対応した区画(街区等)をブロック単位としてファンタジー化する。このファンタジー化されたブロックB0は、現実地図情報M1上に仮想的なオブジェクトを配置した状態を表した仮想表示データであり、このブロックB0によって、現実地図情報M1が部分的又は全体的に覆われることとなり、ブロックB0に覆われた部分には仮想地図情報M2上に配置された仮想的なオブジェクトが表示される。なお、このファンタジー化ブロックB0には、各ファンタジー化ブロックの表示位置に対応する現実地図情報M1の地理情報に関する文字情報が関連情報として、当該ファンタジー化ブロック上に視認可能に表示される。
また、図3に示すように、仮想地図情報M2上にはユーザー以外の仮想オブジェクトC2が配置され、その仮想地図上における位置に対応した現実世界の位置に、拡張現実として出現させるように、現実世界を撮影した映像(図4(a))に仮想オブジェクトC2を合成して表示させることができる(図4(b))。この拡張現実に関する表示処理では、スマートフォン1のカメラ121で撮影した実映像と、仮想表示データ生成部145bが生成したコンピューターグラフィックス等の仮想表示データを合成して、スマートフォン1等のタッチパネル12aに表示させる。
詳述すると、仮想表示データ生成部145bが、ユーザーの位置情報に基づいて、現実地図情報M1上に仮想的なオブジェクトC2を配置した状態を表した仮想表示データを生成する。一方、画像解析部145aは、カメラ121が撮影した実画像G1を構成する各画素に係る被写体間の相対距離を深度情報として解析する。この深度情報の解析に際し、画像解析部145aは、深度情報データベース35eにアクセスして、深度情報データベース35eに蓄積された学習処理部30aによる学習結果を参照する。
深度情報データベース35eには、画像解析部145aの視差解析部145cにおいて、図5及び図6に示すように、物理的に離間された少なくとも2点のカメラCm1及びCm2で撮影した画像G11及びG12の視差を解析して得られた被写体までの距離が、撮影場所における位置情報と関連付けられて蓄積されている。
すなわち、視差解析部145cは、2点のカメラCm1及びCm2で撮影した画像G11及びG12を比較して、画像G11及びG12内に映り込んでいる建物や地形等の被写体Ob1〜Ob5を認識する。この視差解析部145cが解析した画像G11及びG12の視差に基づいて、相対距離算出部145dにおいて、被写体Ob1〜Ob5間の相対距離を算出し、各被写体を構成する画素ごとの深度、すなわちカメラ位置から被写体までの距離(奥行き)を深度情報として算出する。
なお、本実施形態における視差解析や相対距離算出は、ディープラーニング認識処理によって行われる。このディープラーニング認識処理では、画像を構成する画素の、色及び画像中における位置と、撮影をした時点の位置情報(緯度、経度、高度、方角、日時等)と、画像解析部145aが算出した相対距離に関する情報との相関である相関情報を上記深度情報として蓄積する。そして、相対距離算出部145dは、解析対象となる画像について、撮影時の位置情報を参照しつつ、各画素の特徴点と合致する相関情報を抽出し、相関情報に紐付けられた深度情報を参照して、画素毎に被写体までの距離を認識する。
詳述すると、本実施形態では、物理的に離間された2つのカメラ装置によって撮影された画像や、撮影車に搭載された車載カメラ装置等によって走行しながら撮影された多数の画像を教師データとして、学習処理部39aが、画像を構成する画素ごとの特徴点を階層的に複数抽出し、抽出された特徴点の階層的な組合せパターンを深度情報として深度情報データベース35eに蓄積する。そして、スマートフォン1において拡張現実を表示する際には、カメラ121で撮影された実画像(ここでは1枚の画像)について、深度情報データベース35eに蓄積された深度情報を参照して、実画像内の被写体を認識し、それら被写体までの深度を算出する。
この学習処理部39aによる認識処理の概要を図11に示す。同図に示すように、学習処理部39aは多クラス識別器であり、複数種のオブジェクトの特徴が設定され、物理的に離間された2つのカメラ装置によって撮影された視差画像G11及びG12を解析し、複数のオブジェクトの中から特定の特徴点を含むオブジェクトObn(ここでは、「建物」)を検出する。この学習処理部39aは、入力ユニット(入力層)397、第1重み係数398、隠れユニット(隠れ層)399、第2重み係数390、及び出力ユニット(出力層)391を有する。
入力ユニット397には複数個の特徴ベクトル392が入力される。第1重み係数398は、入力ユニット397からの出力に重み付けする。隠れユニット399は、入力ユニット397からの出力と第1重み係数398との線形結合を非線形変換する。第2重み係数390は隠れユニット399からの出力に重み付けをする。出力ユニット391は、各クラス(例えば、高層ビル、低層住宅、空等)の識別確率を算出する。ここでは出力ユニット391を3つ示すが、これに限定されない。出力ユニット391の数は、物体識別器が検出可能な物体の数と同じである。また、この学習に際して、画素毎の特徴点と、現実地図上における位置情報とを関連付けて、重み付けを行うようにしてもよい。
そして、このようにして学習処理部39aが蓄積した、画素ごとの特徴点の階層的な組合せパターンを含む深度情報を参照して、画像解析部45aは、カメラ121で撮影された実画像に対し、特徴点の組合せパターンとの合致度に応じた識別確率を算出し、その算出結果に応じて画像中の被写体を認識し、カメラの位置から被写体までの距離を算出し、各被写体に含まれる画素毎の深度情報として出力する。
拡張現実表示処理部145eでは、画像解析部45aにおいて算出された被写体間の相対距離を含む深度情報に従って、カメラ121が撮影した映像(ここでは、1枚の実画像)に、仮想表示データ生成部145bが生成した仮想表示データ(ここではキャラクターC2の二次元表示データ)を重畳又は合成して表示させる。具体的には、図7に示すように、レイヤー生成部145fが、映像(実画像G1)を構成する各画素を、画素それぞれの深度情報に基づいて、当該実画像G1の奥行き方向に階層をなす複数のレイヤーLy1〜Ly5に分配した後、合成処理部145gにおいて、レイヤー生成部145fが生成した各レイヤーLy1〜Ly5それぞれの深度情報に従って、キャラクターC2の二次元表示データを、実画像中に重畳させる。
(3)ポイント発行処理
図17は、本実施形態に係る上記ポイント発行処理の手順を示すフローチャート図である。同図に示すように、ユーザー10のスマートフォン1では、ゲームプログラムの実行中、常時或いは定期的に位置情報の取得処理及び移動速度の算出処理を実行しゲームサーバー3に報告する(S101)。具体的には、位置情報取得部144が、加速度センサー16による検出値や、ユーザーの現在位置の変位、GPSによる緯度・経度、基地局からの電波強度及び基地局情報に基づく三角測位による基地局測位、WifiのSSID(Service SetID)及び電波状況と経度緯度を組み合わせたデータベースを利用したWifi測位等による基地局測位の変化を位置情報として取得する。
ユーザー端末から位置情報の報告を受けたゲームサーバー3では、ユーザー毎の累積経路を記録し(S201)、ユーザー毎の移動量(累積移動距離)を算出して蓄積している。この移動量が一定以上蓄積されるまで、累積経路の記録を継続し(S202における「N」)、一定上の移動量が蓄積されると(S202における「Y」)、その移動量に応じたポイント数が価値情報として発行される(S203)。この発行されたポイントは、ユーザーのスマートフォン1側でダウンロード等により受領される(S102)。
ユーザーのスマートフォン1側では、受領したポイントに応じてキャラクターC1を仮想地図情報M2上で移動させたり(S104)、そのポイントを貯めたりできる。また、継続してユーザー10が移動し続けて、ポイント発行を繰り返し(S103における「N」)、ポイントが一定量以上蓄積されると(S103における「Y」)、経路隣接ブロック路のファンタジー化或いは未踏地ブロックのファンタジー化をしたり、アイテムの購入などに使用したりなどの特典イベントの利用が可能となる(S105)。この特典イベントはポイント数に応じて選択的に利用が可能となり、ユーザーが利用可能な特典イベントを任意に選択し、利用要求の操作により実行される。この利用要求の操作は、ポイント数に応じたイベント発生処理に基づいて行われる。
ユーザーがイベントの利用を選択すると、それに伴いイベントが進展され、ユーザーによるタッチ操作により、隣接ブロックや未踏地ブロックのファンタジー化が行われ(S105)、その操作結果がゲームサーバー3に報告される。このイベント進展報告を受けたゲーム側では、進展されたイベントに基づいてゲームを進行させる処理を実行する(S204)。以上のポイント発行と、その蓄積及びポイント利用によるイベント進展をゲームが終了するまで(S106及びS205における「Y」)繰り返すことができる(S106及びS205における「N」)。
(4)一括入力操作処理
次いで、イベント時における一括入力処理について説明する。本実施形態において、ゲーム進行処理部141は、例えば、ファンタジー化したブロック上に存在するモンスターM0などに接近すると、そのモンスターと遭遇したとしてバトル等のイベント処理が実行される。このバトル等のイベント処理においても、モンスターM0等の仮想オブジェクトを、本実施形態の拡張表示処理によって、実画像に重畳させて画面上に表示させることができる。
本実施形態に係るゲーム進行処理部141には、イベント発生領域を通過中に、モンスターと遭遇しイベント処理が発生した場合に、そのイベント処理において、各モンスターに対して本来個別的に入力すべき操作を、単一の一括終了操作で遂行する入力インターフェース制御機能が備えられている。このゲーム進行処理部141では、通常、定型的なイベント処理において登場する複数の処理対象(モンスターM0等)のそれぞれに対して、ユーザー操作の入力を個別的に受け付ける個別入力ステップが実行されるが、ユーザーの選択操作に基づいて、この個別入力ステップに代えて、複数のモンスターを一括して処理する単一の一括終了操作の入力が可能となる一括終了操作ステップが設けられている。この一括終了操作の入力によって、複数のモンスターが全て処理された場合に当該イベント処理が遂行されたものとしてゲームを進行される。
ここで、通常行われる個別入力としては、図20に示すように、バトルに登場するモンスター一匹一匹に対して、タッチパネル上に斜線を素早く入力するスラッシュ操作や(同図(a))、タッチパネル上に○や×、△などの記号を描く(同図(b))など、モンスターの種別に応じたサインを入力する方法が挙げられる。なお、同図に示すような、モンスターM0などの仮想オブジェクトが登場するバトル画面などでも、モンスターM0等の仮想オブジェクトを、本実施形態の拡張表示処理によって、実画像に重畳させて画面上に表示させることができる。
一方、一括終了操作としては、例えば図19に示すように、スマートフォン1を傾斜させて、モンスターを一括して画面外へ排除する操作であったり、スマートフォン1を振ってモンスターを一括してショック死させる操作であったり、マイクに向かって息を吹きかけてマイクに風圧によるノイズ音を入力する操作であってもよい。なお、これら複数の処理対象であるモンスターには、処理完了に必要なしきい値としてライブポイントやレベルがそれぞれ設定されており、一括操作入力では、しきい値が所定の値以下であるモンスターのみが退治され、一定のしきい値を越えるモンスターに対しては、上述した個別入力が要求される。
このような一括入力操作処理について具体的に説明する。図18は、イベント処理に関する動作を示すシーケンス図である。先ず、ゲーム進行に際し、周期的に各スマートフォン1において位置情報を取得してゲームサーバー3に送信する(S401及びS301)。ゲームサーバー3側では、この送信された各ユーザーの移動距離に従ってポイントを発行し(S302)、発行されたポイントをスマートフォン1側に送信して、ユーザーに付与する(S303)。スマートフォン1側では、この付与されたポイントを受信し、ユーザー操作に基づいてポイントの利用することにより、キャラクターC1が仮想地図上を移動させたり、ブロックをファンタジー化したりできるようになる(S402)。
そして、バトルのイベント処理が発生したときに(S403の「Y」)、ユーザーが一括処理を選択した場合(S404の「Y」)、個別処理を省略して、一括終了操作にてイベントを進行させる。また、ユーザーが一括処理を選択しない場合には、通常通りの定型的な個別入力を要求する(S406)。なお、ここでは、ユーザーによる任意の選択操作により一括処理を実行できるようにしているが、例えば、スマートフォン1側において位置情報取得部144が取得する自機の現在位置の移動速度を監視し、ユーザーの移動速度が所定値以上である場合に、当該イベントの処理において強制的に一括処理を実行するようにしてもよい。この場合、ゲーム進行処理部141が、一括処理可能イベントにおいて、複数の定型的な操作に代えて一括終了操作を強制的に選択して、個別入力操作を省略してバトルを終了させてゲームを進行させる。このとき、ユーザーの移動速度が所定値以上である場合には、バトルに登場するモンスターのレベルを低減させて、一括終了の成功率を高めるようにしてもよい。
一方、一括処理にによって(S404の「Y」)、モンスターが全滅した場合(S405の「Y」)には、当該イベント処理が遂行されたとして同期処理部142を通じてゲームサーバー3側のゲーム進行処理部141に通知され(S407)、ゲームサーバー3側で同期処理がなされ(S304)、その実行されたイベント処理の結果が後のゲーム進行処理に反映される(S305)。他方、ステップS404で一括処理を選択しなかった場合(S404の「N」)、又は一括処理でモンスターが全滅しなかった場合(S405の「N」」)、個別定型入力を受け付け(S406)、通常通りのバトル展開と実行する。そして、バトルの終了後、その結果を、サーバー側に送信して同期処理を行い(S407)、この報告を受けたゲームサーバー3側では、同期処理がなされ(S304)、バトルの結果が、後のゲーム進行処理に反映される(S305)。
以上の処理は、ゲームが終了されるまで繰り返され(S408の「N」)、ゲーム処理の操作がなされたときに(S408の「Y」)、ゲームが終了される。
(作用・効果)
以上説明したように、本実施形態によれば、仮想世界において、ユーザーに対応するキャラクター及びその他のオブジェクトが移動して、種々のイベント処理を実行させてゲームを進行させるゲームシステムにおいて、拡張現実表示機能によって仮想上のオブジェクトを現実世界の実映像に中に重畳して合成する際に、簡単な処理で映像中の被写体の距離感や前後関係を適切に表示することができ、拡張現実の多様化を図り、より娯楽性を向上させることができる。
B0…ブロック
B0u…ブロック
B1…未タップ状態ブロック
B2…活性化ブロック
B3…グレードアップされた活性化ブロック
B4…不活性ブロック
B5…活性化ブロック(未タップ状態)
B6…未踏地ブロック
Bld…ビル
C1…キャラクター
M0…モンスター
M1…現実地図情報
M2…仮想地図情報
Tp…ポイント
1…スマートフォン
2…インターネット
3…ゲームサーバー
10…ユーザー
11…通信インターフェース
12…入力インターフェース
12a…タッチパネル
13…出力インターフェース
13a…表示部
14…アプリケーション実行部
15…メモリ
16…加速度センサー
21…衛星
22…無線基地局
31…通信インターフェース
32…位置情報管理部
33…認証部
34…ゲームデータ配信部
35a…現実地図データベース
35b…ユーザーデータベース
35c…ゲーム用データベース
35d…ポイントデータベース
35e…深度情報データベース
36,141…ゲーム進行処理部
37…仮想地図情報管理部
38…ポイント発行部
39…深度情報管理部
39a…学習処理部
45a…画像解析部
121…カメラ
141…ゲーム進行処理部
142…同期処理部
143…イベント処理部
144…位置情報取得部
144a…移動経路記録部
145…表示データ生成部
145a…画像解析部
145b…仮想表示データ生成部
145c…視差解析部
145d…相対距離算出部
145e…拡張現実表示処理部
145f…レイヤー生成部
145g…合成処理部
146…表示制御部
390,398…重み係数
391…出力ユニット
392…特徴ベクトル
397…入力ユニット
399…ユニット
上記課題を解決するために、本発明のシステムは、現実世界を撮影した映像に、仮想的なオブジェクトを合成して表示する拡張現実表示システムであって、
現実世界の映像を撮影する撮影部と、
前記撮影部が映像を撮影した時点の座標及び方位を位置情報として取得する位置情報取得部と、
撮影された前記現実世界の映像を構成する各画素に係る被写体間の相対距離を深度情報として解析する画像解析部と、
前記位置情報取得部が取得した前記位置情報に基づいて、前記現実世界における地理情報を含む現実地図情報上に前記仮想的なオブジェクトを配置した状態を表した仮想表示データを生成する仮想表示データ生成部と、
前記深度情報に従って、前記撮影部が撮影した映像に、前記仮想表示データ生成部が生成した前記仮想表示データを重畳させて表示させる合成処理部
物理的に離間された少なくとも2点で撮影された画像に基づいて、画像を構成する画素の、色及び画像中における位置と、撮影をした時点の位置情報と、前記相対距離に関する情報との相関について学習を行う学習処理部と
を備え
前記画像解析部は、前記撮影部が撮影した1枚の実画像について、前記学習処理部による学習結果を参照して当該実画像の深度情報を解析する
ことを特徴とする。
また、本発明は、現実世界を撮影した映像に、仮想的なオブジェクトを合成して表示する拡張現実表示プログラムであって、コンピューターを、
現実世界の映像を撮影する撮影部と、
前記撮影部が映像を撮影した時点の座標及び方位を位置情報として取得する位置情報取得部と、
撮影された前記現実世界の映像を構成する各画素に係る被写体間の相対距離を深度情報として解析する画像解析部と、
前記位置情報取得部が取得した前記位置情報に基づいて、前記現実世界における地理情報を含む現実地図情報上に前記仮想的なオブジェクトを配置した状態を表した仮想表示データを生成する仮想表示データ生成部と、
前記深度情報に従って、前記撮影部が撮影した映像に、前記仮想表示データ生成部が生成した前記仮想表示データを重畳させて表示させる合成処理部と、
物理的に離間された少なくとも2点で撮影された画像に基づいて、画像を構成する画素の、色及び画像中における位置と、撮影をした時点の位置情報と、前記相対距離に関する情報との相関について学習を行う学習処理部として
機能させ
前記画像解析部は、前記撮影部が撮影した1枚の実画像について、前記学習処理部による学習結果を参照して当該実画像の深度情報を解析する
ことを特徴とする。
さらに本発明は、現実世界を撮影した映像に、仮想的なオブジェクトを合成して表示する拡張現実表示方法であって、
現実世界の映像を撮影部が撮影するとともに、前記撮影部が映像を撮影した時点の座標及び方位を位置情報として位置情報取得部が取得するステップと、
前記位置情報取得部が取得した前記位置情報に基づいて、前記現実世界における地理情報を含む現実地図情報上に前記仮想的なオブジェクトを配置した状態を表した仮想表示データを仮想表示データ生成部が生成するステップと、
前記深度情報に従って、前記撮影部が撮影した映像に、前記仮想表示データ生成部が生成した前記仮想表示データを重畳させて合成処理部が表示させるステップと
物理的に離間された少なくとも2点で撮影された画像に基づいて、画像を構成する画素の、色及び画像中における位置と、撮影をした時点の位置情報と、前記相対距離に関する情報との相関について学習を行うステップと
を含み、
前記画像解析ステップでは、前記撮影部が撮影した1枚の実画像について、前記学習処理部による学習結果を参照して当該実画像の深度情報を解析する
をことを特徴とする。
上記課題を解決するために、本発明のシステムは、現実世界を撮影した映像に、仮想的なオブジェクトを合成して表示する拡張現実表示システムであって、
現実世界の映像を撮影する撮影部と、
前記撮影部が映像を撮影した時点の座標及び方位を位置情報として取得する位置情報取得部と、
撮影された前記現実世界の映像を構成する各画素に係る被写体間の相対距離を深度情報として解析する画像解析部と、
前記位置情報取得部が取得した前記位置情報に基づいて、前記現実世界における地理情報を含む現実地図情報上に前記仮想的なオブジェクトを配置した状態を表した仮想表示データを生成する仮想表示データ生成部と、
前記深度情報に従って、前記撮影部が撮影した映像に、前記仮想表示データ生成部が生成した前記仮想表示データを重畳させて表示させる合成処理部、
物理的に離間された少なくとも2点で撮影された画像に基づいて、画像を構成する画素色及び画像中における位置と、撮影をした時点の位置情報と、前記相対距離に関する情報との相関について学習を行う学習処理部と
を備え、
前記画像解析部は、前記撮影部が撮影した1枚の実画像について、前記学習処理部による学習結果を参照して当該実画像の深度情報を解析する
ことを特徴とする。
また、本発明は、現実世界を撮影した映像に、仮想的なオブジェクトを合成して表示する拡張現実表示プログラムであって、コンピューターを、
現実世界の映像を撮影する撮影部と、
前記撮影部が映像を撮影した時点の座標及び方位を位置情報として取得する位置情報取得部と、
撮影された前記現実世界の映像を構成する各画素に係る被写体間の相対距離を深度情報として解析する画像解析部と、
前記位置情報取得部が取得した前記位置情報に基づいて、前記現実世界における地理情報を含む現実地図情報上に前記仮想的なオブジェクトを配置した状態を表した仮想表示データを生成する仮想表示データ生成部と、
前記深度情報に従って、前記撮影部が撮影した映像に、前記仮想表示データ生成部が生成した前記仮想表示データを重畳させて表示させる合成処理部と、
物理的に離間された少なくとも2点で撮影された画像に基づいて、画像を構成する画素色及び画像中における位置と、撮影をした時点の位置情報と、前記相対距離に関する情報との相関について学習を行う学習処理部として
機能させ、
前記画像解析部は、前記撮影部が撮影した1枚の実画像について、前記学習処理部による学習結果を参照して当該実画像の深度情報を解析する
ことを特徴とする。
さらに本発明は、現実世界を撮影した映像に、仮想的なオブジェクトを合成して表示する拡張現実表示方法であって、
現実世界の映像を撮影部が撮影するとともに、前記撮影部が映像を撮影した時点の座標及び方位を位置情報として位置情報取得部が取得するステップと、
前記位置情報取得部が取得した前記位置情報に基づいて、前記現実世界における地理情報を含む現実地図情報上に前記仮想的なオブジェクトを配置した状態を表した仮想表示データを仮想表示データ生成部が生成するステップと、
前記深度情報に従って、前記撮影部が撮影した映像に、前記仮想表示データ生成部が生成した前記仮想表示データを重畳させて合成処理部が表示させるステップと、
物理的に離間された少なくとも2点で撮影された画像に基づいて、画像を構成する画素色及び画像中における位置と、撮影をした時点の位置情報と、前記相対距離に関する情報との相関について学習処理部が学習を行うステップと
を含み、
前記深度情報を解析するステップでは、前記撮影部が撮影した1枚の実画像について、前記学習処理部による学習結果を参照して当該実画像の深度情報を解析する
をことを特徴とする。
なお、上記発明では、前記映像を構成する各画素を、それぞれの深度情報に基づいて、当該映像の奥行き方向に階層をなす複数のレイヤーに分配するレイヤー生成部をさらに設け、前記合成処理部が、前記位置情報に基づく前記撮影部及び前記仮想的なオブジェクト間の相対距離と、前記レイヤー生成部が生成したレイヤーに関する深度情報に従って前記仮想表示データを重畳させることができる。

Claims (3)

  1. 現実世界を撮影した映像に、仮想的なオブジェクトを合成して表示する拡張現実表示システムであって、
    現実世界の映像を撮影する撮影部と、
    前記撮影部が映像を撮影した時点の座標及び方位を位置情報として取得する位置情報取得部と、
    撮影された前記現実世界の映像を構成する各画素に係る被写体間の相対距離を深度情報として解析する画像解析部と、
    前記位置情報取得部が取得した前記位置情報に基づいて、前記現実世界における地理情報を含む現実地図情報上に前記仮想的なオブジェクトを配置した状態を表した仮想表示データを生成する仮想表示データ生成部と、
    前記深度情報に従って、前記撮影部が撮影した映像に、前記仮想表示データ生成部が生成した前記仮想表示データを重畳させて表示させる合成処理部と
    を備えることを特徴とする拡張現実表示システム。
  2. 現実世界を撮影した映像に、仮想的なオブジェクトを合成して表示する拡張現実表示プログラムであって、コンピューターを、
    現実世界の映像を撮影する撮影部と、
    前記撮影部が映像を撮影した時点の座標及び方位を位置情報として取得する位置情報取得部と、
    撮影された前記現実世界の映像を構成する各画素に係る被写体間の相対距離を深度情報として解析する画像解析部と、
    前記位置情報取得部が取得した前記位置情報に基づいて、前記現実世界における地理情報を含む現実地図情報上に前記仮想的なオブジェクトを配置した状態を表した仮想表示データを生成する仮想表示データ生成部と、
    前記深度情報に従って、前記撮影部が撮影した映像に、前記仮想表示データ生成部が生成した前記仮想表示データを重畳させて表示させる合成処理部として
    機能させることを特徴とする拡張現実表示プログラム。
  3. 現実世界を撮影した映像に、仮想的なオブジェクトを合成して表示する拡張現実表示方法であって、
    現実世界の映像を撮影部が撮影するとともに、前記撮影部が映像を撮影した時点の座標及び方位を位置情報として位置情報取得部が取得するステップと、
    前記位置情報取得部が取得した前記位置情報に基づいて、前記現実世界における地理情報を含む現実地図情報上に前記仮想的なオブジェクトを配置した状態を表した仮想表示データを仮想表示データ生成部が生成するステップと、
    前記深度情報に従って、前記撮影部が撮影した映像に、前記仮想表示データ生成部が生成した前記仮想表示データを重畳させて合成処理部が表示させるステップと
    を含むことを特徴とする拡張現実表示方法。
JP2017104156A 2017-05-26 2017-05-26 拡張現実表示システム、プログラム及び方法 Active JP6275310B1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017104156A JP6275310B1 (ja) 2017-05-26 2017-05-26 拡張現実表示システム、プログラム及び方法
CN201880026460.8A CN110537210B (zh) 2017-05-26 2018-03-09 增强现实显示系统、程序以及方法
US16/617,193 US10839218B2 (en) 2017-05-26 2018-03-09 Augmented reality display system, program, and method
PCT/JP2018/009280 WO2018216312A1 (ja) 2017-05-26 2018-03-09 拡張現実表示システム、プログラム及び方法
US17/007,699 US11017235B2 (en) 2017-05-26 2020-08-31 Augmented reality display system, program, and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017104156A JP6275310B1 (ja) 2017-05-26 2017-05-26 拡張現実表示システム、プログラム及び方法

Publications (2)

Publication Number Publication Date
JP6275310B1 JP6275310B1 (ja) 2018-02-07
JP2018200519A true JP2018200519A (ja) 2018-12-20

Family

ID=61158295

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017104156A Active JP6275310B1 (ja) 2017-05-26 2017-05-26 拡張現実表示システム、プログラム及び方法

Country Status (4)

Country Link
US (2) US10839218B2 (ja)
JP (1) JP6275310B1 (ja)
CN (1) CN110537210B (ja)
WO (1) WO2018216312A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110221690A (zh) * 2019-05-13 2019-09-10 Oppo广东移动通信有限公司 基于ar场景的手势交互方法及装置、存储介质、通信终端
KR20200098312A (ko) * 2019-02-12 2020-08-20 한국항공우주산업 주식회사 Vr을 이용한 다기종 비행 훈련 시뮬레이터
KR20210030793A (ko) * 2019-09-10 2021-03-18 김용희 증강현실을 이용한 반려동물 동반 게임 제공장치 및 방법
JP2022505002A (ja) * 2019-10-15 2022-01-14 ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド 拡張現実データの表示方法、装置、機器、記憶媒体及びプログラム
JP2022153229A (ja) * 2021-03-29 2022-10-12 ナイアンティック, インコーポレイテッド 拡張現実環境におけるマルチユーザルート追跡
JP2023083693A (ja) * 2021-12-06 2023-06-16 本田技研工業株式会社 映像作成プログラム

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11010975B1 (en) 2018-03-06 2021-05-18 Velan Studios, Inc. Remote camera augmented reality system
US11195336B2 (en) * 2018-06-08 2021-12-07 Vulcan Inc. Framework for augmented reality applications
US12003585B2 (en) 2018-06-08 2024-06-04 Vale Group Llc Session-based information exchange
US10817582B2 (en) * 2018-07-20 2020-10-27 Elsevier, Inc. Systems and methods for providing concomitant augmentation via learning interstitials for books using a publishing platform
US11241624B2 (en) * 2018-12-26 2022-02-08 Activision Publishing, Inc. Location-based video gaming with anchor points
EP3951722A4 (en) * 2019-03-28 2022-05-11 NEC Corporation INFORMATION PROCESSING DEVICE, DISPLAY SYSTEM, DISPLAY METHOD AND NON-TRANSITORY COMPUTER-READABLE MEDIA ON WHICH A PROGRAM IS STORED
CN112037592A (zh) * 2019-06-03 2020-12-04 广东小天才科技有限公司 一种基于增强现实的学习交互方法和系统
CN110490131B (zh) * 2019-08-16 2021-08-24 北京达佳互联信息技术有限公司 一种拍摄设备的定位方法、装置、电子设备及存储介质
JP7349139B2 (ja) * 2019-11-06 2023-09-22 株式会社コナミデジタルエンタテインメント ゲームプログラム、端末装置、方法、およびゲームシステム
US20210144297A1 (en) * 2019-11-12 2021-05-13 Shawn Glidden Methods System and Device for Safe-Selfie
AU2021272457A1 (en) * 2020-05-11 2023-02-02 Niantic, Inc. Linking real world activities with a parallel reality game
US11325043B2 (en) * 2020-05-15 2022-05-10 Microsoft Technology Licensing, Llc Utilizing multiple input sources for generating gameplay locations
CN113760088A (zh) * 2020-06-04 2021-12-07 史克威尔·艾尼克斯有限公司 增强现实显示装置以及记录介质
JP7561009B2 (ja) * 2020-11-16 2024-10-03 任天堂株式会社 情報処理システム、情報処理プログラム、情報処理装置、および情報処理方法
CN113467616A (zh) * 2021-07-05 2021-10-01 浙江商汤科技开发有限公司 增强现实处理方法和相关装置、车辆、存储介质
US20230334792A1 (en) * 2022-04-18 2023-10-19 Mobeus Industries, Inc. Interactive reality computing experience using optical lenticular multi-perspective simulation
WO2023215637A1 (en) * 2022-05-06 2023-11-09 Mobeus Industries, Inc. Interactive reality computing experience using optical lenticular multi-perspective simulation
WO2024039887A1 (en) * 2022-08-19 2024-02-22 Mobeus Industries, Inc. Interactive reality computing experience using optical lenticular multi-perspective simulation
US20240075391A1 (en) * 2022-09-06 2024-03-07 Niantic, Inc. Content item for display in location-based game
CN115645925B (zh) * 2022-10-26 2023-05-30 杭州有九文化传媒有限公司 一种基于增强现实的游戏数据处理方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014044655A (ja) * 2012-08-28 2014-03-13 Premium Agency Inc 拡張現実システム、映像合成装置、映像合成方法及びプログラム
JP2014513822A (ja) * 2011-01-31 2014-06-05 マイクロソフト コーポレーション ゲーム・プレイにおける三次元環境モデルの使用
JP2015114757A (ja) * 2013-12-10 2015-06-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2016510465A (ja) * 2013-01-22 2016-04-07 マイクロソフト テクノロジー ライセンシング,エルエルシー 複合現実感の経験共有
JP2016047085A (ja) * 2014-08-27 2016-04-07 株式会社テクノクラフト キャラクター連携アプリケーション装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4124995B2 (ja) * 2001-10-31 2008-07-23 キヤノン株式会社 映像合成装置および情報処理方法
JP4061566B2 (ja) * 2001-11-06 2008-03-19 松下電器産業株式会社 ブラックバランス調整方法、および撮像装置
GB2396816A (en) 2002-12-17 2004-07-07 Pa Consulting Services Injection device
JP2006047085A (ja) 2004-08-04 2006-02-16 Denso Corp 赤外線センサ装置およびその製造方法
JP2006053694A (ja) 2004-08-10 2006-02-23 Riyuukoku Univ 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体
JP2013197881A (ja) * 2012-03-19 2013-09-30 Casio Comput Co Ltd 撮像装置及び撮像方法、画像表示装置及び画像表示方法、プログラム
JP2014174589A (ja) * 2013-03-06 2014-09-22 Mega Chips Corp 拡張現実システム、プログラムおよび拡張現実提供方法
JP5752219B2 (ja) 2013-12-12 2015-07-22 未来工業株式会社 ボックス支持具、ボックス支持装置及びボックス支持具の取着方法
US9761049B2 (en) * 2014-03-28 2017-09-12 Intel Corporation Determination of mobile display position and orientation using micropower impulse radar
WO2016064435A1 (en) * 2014-10-24 2016-04-28 Usens, Inc. System and method for immersive and interactive multimedia generation
US10600169B2 (en) * 2015-03-26 2020-03-24 Sony Corporation Image processing system and image processing method
US10419669B2 (en) * 2017-01-17 2019-09-17 Disney Enterprises, Inc. Omnistereoscopic panoramic video

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014513822A (ja) * 2011-01-31 2014-06-05 マイクロソフト コーポレーション ゲーム・プレイにおける三次元環境モデルの使用
JP2014044655A (ja) * 2012-08-28 2014-03-13 Premium Agency Inc 拡張現実システム、映像合成装置、映像合成方法及びプログラム
JP2016510465A (ja) * 2013-01-22 2016-04-07 マイクロソフト テクノロジー ライセンシング,エルエルシー 複合現実感の経験共有
JP2015114757A (ja) * 2013-12-10 2015-06-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2016047085A (ja) * 2014-08-27 2016-04-07 株式会社テクノクラフト キャラクター連携アプリケーション装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"ポケモンGO攻略まとめ", [ONLINE], JPN6017022812, 5 October 2016 (2016-10-05), ISSN: 0003661785 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200098312A (ko) * 2019-02-12 2020-08-20 한국항공우주산업 주식회사 Vr을 이용한 다기종 비행 훈련 시뮬레이터
KR102188313B1 (ko) * 2019-02-12 2020-12-08 한국항공우주산업 주식회사 Vr을 이용한 다기종 비행 훈련 시뮬레이터
US11762475B2 (en) 2019-05-13 2023-09-19 Guangdong Oppo Mobile Telecommunications Corp., Ltd. AR scenario-based gesture interaction method, storage medium, and communication terminal
CN110221690B (zh) * 2019-05-13 2022-01-04 Oppo广东移动通信有限公司 基于ar场景的手势交互方法及装置、存储介质、通信终端
CN110221690A (zh) * 2019-05-13 2019-09-10 Oppo广东移动通信有限公司 基于ar场景的手势交互方法及装置、存储介质、通信终端
KR20210030793A (ko) * 2019-09-10 2021-03-18 김용희 증강현실을 이용한 반려동물 동반 게임 제공장치 및 방법
KR102256973B1 (ko) * 2019-09-10 2021-05-27 김용희 증강현실을 이용한 반려동물 동반 게임 제공장치 및 방법
JP2022505002A (ja) * 2019-10-15 2022-01-14 ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド 拡張現実データの表示方法、装置、機器、記憶媒体及びプログラム
US11590423B2 (en) 2021-03-29 2023-02-28 Niantic, Inc. Multi-user route tracking in an augmented reality environment
JP7340746B2 (ja) 2021-03-29 2023-09-08 ナイアンティック, インコーポレイテッド 拡張現実環境におけるマルチユーザルート追跡
JP2022153229A (ja) * 2021-03-29 2022-10-12 ナイアンティック, インコーポレイテッド 拡張現実環境におけるマルチユーザルート追跡
JP2023083693A (ja) * 2021-12-06 2023-06-16 本田技研工業株式会社 映像作成プログラム
JP7350044B2 (ja) 2021-12-06 2023-09-25 本田技研工業株式会社 映像作成プログラム

Also Published As

Publication number Publication date
US20200401806A1 (en) 2020-12-24
US11017235B2 (en) 2021-05-25
JP6275310B1 (ja) 2018-02-07
CN110537210A (zh) 2019-12-03
US20200160055A1 (en) 2020-05-21
US10839218B2 (en) 2020-11-17
CN110537210B (zh) 2020-09-25
WO2018216312A1 (ja) 2018-11-29

Similar Documents

Publication Publication Date Title
JP6275310B1 (ja) 拡張現実表示システム、プログラム及び方法
JP6279135B1 (ja) 位置ゲーム用インターフェースシステム、プログラム及び制御方法
CN108601978B (zh) 游戏系统以及游戏程序
JP7043567B2 (ja) 入力インターフェースシステム及び位置ゲームシステム
JP6367450B1 (ja) 位置ゲーム用インターフェースシステム、プログラム及び制御方法
JP6223617B1 (ja) 仮想地図表示システム、プログラム及び方法
JP6279136B1 (ja) 位置ゲームにおけるオブジェクト制御システム、プログラム及び方法
WO2018190050A1 (ja) 位置ゲームにおけるオブジェクト制御システム、プログラム及び方法
JP6366773B1 (ja) 入力インターフェースプログラム、システム及び入力インターフェースの制御方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180109

R150 Certificate of patent or registration of utility model

Ref document number: 6275310

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250