JP2018200519A - 拡張現実表示システム、プログラム及び方法 - Google Patents
拡張現実表示システム、プログラム及び方法 Download PDFInfo
- Publication number
- JP2018200519A JP2018200519A JP2017104156A JP2017104156A JP2018200519A JP 2018200519 A JP2018200519 A JP 2018200519A JP 2017104156 A JP2017104156 A JP 2017104156A JP 2017104156 A JP2017104156 A JP 2017104156A JP 2018200519 A JP2018200519 A JP 2018200519A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- information
- virtual
- display data
- position information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/216—Input arrangements for video game devices characterised by their sensors, purposes or types using geographical information, e.g. location of the game device or player using GPS
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
- A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
- A63F13/5378—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen for displaying an additional top view, e.g. radar screens or maps
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
- A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
- A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/503—Blending, e.g. for anti-aliasing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
- G09B29/10—Map spot or coordinate position indicators; Map reading aids
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
- G09B29/10—Map spot or coordinate position indicators; Map reading aids
- G09B29/106—Map spot or coordinate position indicators; Map reading aids using electronic means
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
- G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Hardware Design (AREA)
- Business, Economics & Management (AREA)
- Environmental & Geological Engineering (AREA)
- Remote Sensing (AREA)
- Mathematical Physics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Optics & Photonics (AREA)
- Library & Information Science (AREA)
- Processing Or Creating Images (AREA)
- Instructional Devices (AREA)
Abstract
【解決手段】現実世界を撮影した映像に、仮想的なオブジェクトを合成して表示する拡張現実表示システムであって、現実世界の映像を撮影するカメラ121と、カメラ121が撮影した時点の座標及び方位を位置情報として取得する位置情報取得部144と、撮影された現実世界の映像を構成する各画素に係る被写体間の相対距離を深度情報として解析する画像解析部145aと、位置情報取得部144が取得した位置情報に基づいて、現実世界における地理情報を含む現実地図情報M1上に仮想表示データを生成する仮想表示データ生成部145bと、深度情報に従って、カメラ121が撮影した映像に、仮想表示データ生成部145bが生成した仮想表示データを重畳させて表示させる合成処理部145gとを備える。
【選択図】図1
Description
現実世界の映像を撮影する撮影部と、
前記撮影部が映像を撮影した時点の座標及び方位を位置情報として取得する位置情報取得部と、
撮影された前記現実世界の映像を構成する各画素に係る被写体間の相対距離を深度情報として解析する画像解析部と、
前記位置情報取得部が取得した前記位置情報に基づいて、前記現実世界における地理情報を含む現実地図情報上に前記仮想的なオブジェクトを配置した状態を表した仮想表示データを生成する仮想表示データ生成部と、
前記深度情報に従って、前記撮影部が撮影した映像に、前記仮想表示データ生成部が生成した前記仮想表示データを重畳させて表示させる合成処理部と
を備えることを特徴とする。
現実世界の映像を撮影する撮影部と、
前記撮影部が映像を撮影した時点の座標及び方位を位置情報として取得する位置情報取得部と、
撮影された前記現実世界の映像を構成する各画素に係る被写体間の相対距離を深度情報として解析する画像解析部と、
前記位置情報取得部が取得した前記位置情報に基づいて、前記現実世界における地理情報を含む現実地図情報上に前記仮想的なオブジェクトを配置した状態を表した仮想表示データを生成する仮想表示データ生成部と、
前記深度情報に従って、前記撮影部が撮影した映像に、前記仮想表示データ生成部が生成した前記仮想表示データを重畳させて表示させる合成処理部として
機能させることを特徴とする。
現実世界の映像を撮影部が撮影するとともに、前記撮影部が映像を撮影した時点の座標及び方位を位置情報として位置情報取得部が取得するステップと、
前記位置情報取得部が取得した前記位置情報に基づいて、前記現実世界における地理情報を含む現実地図情報上に前記仮想的なオブジェクトを配置した状態を表した仮想表示データを仮想表示データ生成部が生成するステップと、
前記深度情報に従って、前記撮影部が撮影した映像に、前記仮想表示データ生成部が生成した前記仮想表示データを重畳させて合成処理部が表示させるステップと
を含むことを特徴とする。
図1は、本実施形態に係るゲームシステムの全体構成を示す概念図である。本実施形態に係るゲームシステムは、図1に示すように、ユーザー10が使用する携帯端末装置であるスマートフォン1と、インターネット2上に設置されたゲームサーバー3とから概略構成される。なお、本実施形態では、スマートフォン1を携帯端末装置の一例として説明する。
次いで、上述したゲームシステムを構成する各装置の内部構造について説明する。図8は、本実施形態に係るゲームサーバー3の内部構成を示すブロック図であり、図9は、本実施形態に係るスマートフォン1の内部構成を示すブロック図である。なお、説明中で用いられる「モジュール」とは、装置や機器等のハードウェア、或いはその機能を持ったソフトウェア、又はこれらの組み合わせなどによって構成され、所定の動作を達成するための機能単位を示す。
先ず、ゲームサーバー3の内部構成について説明する。ゲームサーバー3は、インターネット2上に配置されたサーバー装置であり、インターネット2を通じて、各スマートフォン1とデータの送受信を行えるようになっている。ゲームサーバー3は、インターネット2を通じてデータ通信を行う通信インターフェース31と、利用者や利用者端末の権限を認証する認証部33と、各利用者端末の位置情報を収集して管理する位置情報管理部32と、ゲーム全体のゲーム進行処理、及び各ユーザーのゲーム進行処理を実行するゲーム進行処理部36と、仮想地図情報を生成する仮想地図情報管理部37と、各ユーザーに対してゲームデータを配信する34と種々のデータベース群を備えている。また、本実施形態に係るゲームサーバー3は、拡張現実表示システムのためのモジュールとして、深度情報管理部39を備えている。
次いで、スマートフォン1の内部構成について説明する。図9に示すように、スマートフォン1は、ゲームシステムのためのユーザーインターフェースに関するモジュールとして通信インターフェース11と、入力インターフェース12と、出力インターフェース13と、アプリケーション実行部14と、メモリ15とを備えている。
本実施形態では、ユーザーが移動して取得したポイントTpを消費することによって、その移動経路を仮想地図上において、キャラクターC1が移動するとともに、消費したポイントTpに応じた移動軌跡やファンタジー化ブロックとして記録及び表示するオブジェクト制御機能を備えている。また、ファンタジー化されたブロックではモンスターが出現し、このモンスターを退治するなどのイベント処理が発生され、その結果に応じてポイントTpが溜まったり、ファンタジー化領域が拡大されて位置ゲームが進行される。以下に各処理について説明する。
本実施形態に係る位置ゲームでは、オブジェクト制御機能によってユーザーの現実世界における移動にリンクさせて仮想世界のキャラクターを移動させ、その移動軌跡に対応したブロックをファンタジー化することをゲームの基本的なコンセプトとしている。そして、本システムによる位置ゲームでは、ユーザーの現実世界における移動距離に応じてポイントTpを発行し、このポイントTpを消費させてユーザーに対応するキャラクターC1を、拡張現実世界内、或いは仮想世界内を移動させたり、街区に対応するブロックをファンタジー化させたり、ファンタジー化されたブロックに出現するモンスターとバトルをしたりなどのイベントを発生させることによってゲームを進行させる。
次いで、本実施形態に係る拡張現実表示処理について説明する。図3〜図7に拡張現実表示処理の手順を示す。
上述したとおり、本実施形態では、図2に示すように、ユーザー10の現実地図情報M1上における移動にリンクさせて、仮想地図情報M2のキャラクターを移動させ、その移動軌跡に対応した区画(街区等)をブロック単位としてファンタジー化する。このファンタジー化されたブロックB0は、現実地図情報M1上に仮想的なオブジェクトを配置した状態を表した仮想表示データであり、このブロックB0によって、現実地図情報M1が部分的又は全体的に覆われることとなり、ブロックB0に覆われた部分には仮想地図情報M2上に配置された仮想的なオブジェクトが表示される。なお、このファンタジー化ブロックB0には、各ファンタジー化ブロックの表示位置に対応する現実地図情報M1の地理情報に関する文字情報が関連情報として、当該ファンタジー化ブロック上に視認可能に表示される。
図17は、本実施形態に係る上記ポイント発行処理の手順を示すフローチャート図である。同図に示すように、ユーザー10のスマートフォン1では、ゲームプログラムの実行中、常時或いは定期的に位置情報の取得処理及び移動速度の算出処理を実行しゲームサーバー3に報告する(S101)。具体的には、位置情報取得部144が、加速度センサー16による検出値や、ユーザーの現在位置の変位、GPSによる緯度・経度、基地局からの電波強度及び基地局情報に基づく三角測位による基地局測位、WifiのSSID(Service SetID)及び電波状況と経度緯度を組み合わせたデータベースを利用したWifi測位等による基地局測位の変化を位置情報として取得する。
次いで、イベント時における一括入力処理について説明する。本実施形態において、ゲーム進行処理部141は、例えば、ファンタジー化したブロック上に存在するモンスターM0などに接近すると、そのモンスターと遭遇したとしてバトル等のイベント処理が実行される。このバトル等のイベント処理においても、モンスターM0等の仮想オブジェクトを、本実施形態の拡張表示処理によって、実画像に重畳させて画面上に表示させることができる。
以上の処理は、ゲームが終了されるまで繰り返され(S408の「N」)、ゲーム処理の操作がなされたときに(S408の「Y」)、ゲームが終了される。
以上説明したように、本実施形態によれば、仮想世界において、ユーザーに対応するキャラクター及びその他のオブジェクトが移動して、種々のイベント処理を実行させてゲームを進行させるゲームシステムにおいて、拡張現実表示機能によって仮想上のオブジェクトを現実世界の実映像に中に重畳して合成する際に、簡単な処理で映像中の被写体の距離感や前後関係を適切に表示することができ、拡張現実の多様化を図り、より娯楽性を向上させることができる。
B0u…ブロック
B1…未タップ状態ブロック
B2…活性化ブロック
B3…グレードアップされた活性化ブロック
B4…不活性ブロック
B5…活性化ブロック(未タップ状態)
B6…未踏地ブロック
Bld…ビル
C1…キャラクター
M0…モンスター
M1…現実地図情報
M2…仮想地図情報
Tp…ポイント
1…スマートフォン
2…インターネット
3…ゲームサーバー
10…ユーザー
11…通信インターフェース
12…入力インターフェース
12a…タッチパネル
13…出力インターフェース
13a…表示部
14…アプリケーション実行部
15…メモリ
16…加速度センサー
21…衛星
22…無線基地局
31…通信インターフェース
32…位置情報管理部
33…認証部
34…ゲームデータ配信部
35a…現実地図データベース
35b…ユーザーデータベース
35c…ゲーム用データベース
35d…ポイントデータベース
35e…深度情報データベース
36,141…ゲーム進行処理部
37…仮想地図情報管理部
38…ポイント発行部
39…深度情報管理部
39a…学習処理部
45a…画像解析部
121…カメラ
141…ゲーム進行処理部
142…同期処理部
143…イベント処理部
144…位置情報取得部
144a…移動経路記録部
145…表示データ生成部
145a…画像解析部
145b…仮想表示データ生成部
145c…視差解析部
145d…相対距離算出部
145e…拡張現実表示処理部
145f…レイヤー生成部
145g…合成処理部
146…表示制御部
390,398…重み係数
391…出力ユニット
392…特徴ベクトル
397…入力ユニット
399…ユニット
現実世界の映像を撮影する撮影部と、
前記撮影部が映像を撮影した時点の座標及び方位を位置情報として取得する位置情報取得部と、
撮影された前記現実世界の映像を構成する各画素に係る被写体間の相対距離を深度情報として解析する画像解析部と、
前記位置情報取得部が取得した前記位置情報に基づいて、前記現実世界における地理情報を含む現実地図情報上に前記仮想的なオブジェクトを配置した状態を表した仮想表示データを生成する仮想表示データ生成部と、
前記深度情報に従って、前記撮影部が撮影した映像に、前記仮想表示データ生成部が生成した前記仮想表示データを重畳させて表示させる合成処理部、
物理的に離間された少なくとも2点で撮影された画像に基づいて、画像を構成する画素の、色及び画像中における位置と、撮影をした時点の位置情報と、前記相対距離に関する情報との相関について学習を行う学習処理部と
を備え、
前記画像解析部は、前記撮影部が撮影した1枚の実画像について、前記学習処理部による学習結果を参照して当該実画像の深度情報を解析する
ことを特徴とする。
現実世界の映像を撮影する撮影部と、
前記撮影部が映像を撮影した時点の座標及び方位を位置情報として取得する位置情報取得部と、
撮影された前記現実世界の映像を構成する各画素に係る被写体間の相対距離を深度情報として解析する画像解析部と、
前記位置情報取得部が取得した前記位置情報に基づいて、前記現実世界における地理情報を含む現実地図情報上に前記仮想的なオブジェクトを配置した状態を表した仮想表示データを生成する仮想表示データ生成部と、
前記深度情報に従って、前記撮影部が撮影した映像に、前記仮想表示データ生成部が生成した前記仮想表示データを重畳させて表示させる合成処理部と、
物理的に離間された少なくとも2点で撮影された画像に基づいて、画像を構成する画素の、色及び画像中における位置と、撮影をした時点の位置情報と、前記相対距離に関する情報との相関について学習を行う学習処理部として
機能させ、
前記画像解析部は、前記撮影部が撮影した1枚の実画像について、前記学習処理部による学習結果を参照して当該実画像の深度情報を解析する
ことを特徴とする。
現実世界の映像を撮影部が撮影するとともに、前記撮影部が映像を撮影した時点の座標及び方位を位置情報として位置情報取得部が取得するステップと、
前記位置情報取得部が取得した前記位置情報に基づいて、前記現実世界における地理情報を含む現実地図情報上に前記仮想的なオブジェクトを配置した状態を表した仮想表示データを仮想表示データ生成部が生成するステップと、
前記深度情報に従って、前記撮影部が撮影した映像に、前記仮想表示データ生成部が生成した前記仮想表示データを重畳させて合成処理部が表示させるステップと、
物理的に離間された少なくとも2点で撮影された画像に基づいて、画像を構成する画素の、色及び画像中における位置と、撮影をした時点の位置情報と、前記相対距離に関する情報との相関について学習を行うステップと
を含み、
前記画像解析ステップでは、前記撮影部が撮影した1枚の実画像について、前記学習処理部による学習結果を参照して当該実画像の深度情報を解析する
をことを特徴とする。
現実世界の映像を撮影する撮影部と、
前記撮影部が映像を撮影した時点の座標及び方位を位置情報として取得する位置情報取得部と、
撮影された前記現実世界の映像を構成する各画素に係る被写体間の相対距離を深度情報として解析する画像解析部と、
前記位置情報取得部が取得した前記位置情報に基づいて、前記現実世界における地理情報を含む現実地図情報上に前記仮想的なオブジェクトを配置した状態を表した仮想表示データを生成する仮想表示データ生成部と、
前記深度情報に従って、前記撮影部が撮影した映像に、前記仮想表示データ生成部が生成した前記仮想表示データを重畳させて表示させる合成処理部、
物理的に離間された少なくとも2点で撮影された画像に基づいて、画像を構成する画素の色及び画像中における位置と、撮影をした時点の位置情報と、前記相対距離に関する情報との相関について学習を行う学習処理部と
を備え、
前記画像解析部は、前記撮影部が撮影した1枚の実画像について、前記学習処理部による学習結果を参照して当該実画像の深度情報を解析する
ことを特徴とする。
現実世界の映像を撮影する撮影部と、
前記撮影部が映像を撮影した時点の座標及び方位を位置情報として取得する位置情報取得部と、
撮影された前記現実世界の映像を構成する各画素に係る被写体間の相対距離を深度情報として解析する画像解析部と、
前記位置情報取得部が取得した前記位置情報に基づいて、前記現実世界における地理情報を含む現実地図情報上に前記仮想的なオブジェクトを配置した状態を表した仮想表示データを生成する仮想表示データ生成部と、
前記深度情報に従って、前記撮影部が撮影した映像に、前記仮想表示データ生成部が生成した前記仮想表示データを重畳させて表示させる合成処理部と、
物理的に離間された少なくとも2点で撮影された画像に基づいて、画像を構成する画素の色及び画像中における位置と、撮影をした時点の位置情報と、前記相対距離に関する情報との相関について学習を行う学習処理部として
機能させ、
前記画像解析部は、前記撮影部が撮影した1枚の実画像について、前記学習処理部による学習結果を参照して当該実画像の深度情報を解析する
ことを特徴とする。
現実世界の映像を撮影部が撮影するとともに、前記撮影部が映像を撮影した時点の座標及び方位を位置情報として位置情報取得部が取得するステップと、
前記位置情報取得部が取得した前記位置情報に基づいて、前記現実世界における地理情報を含む現実地図情報上に前記仮想的なオブジェクトを配置した状態を表した仮想表示データを仮想表示データ生成部が生成するステップと、
前記深度情報に従って、前記撮影部が撮影した映像に、前記仮想表示データ生成部が生成した前記仮想表示データを重畳させて合成処理部が表示させるステップと、
物理的に離間された少なくとも2点で撮影された画像に基づいて、画像を構成する画素の色及び画像中における位置と、撮影をした時点の位置情報と、前記相対距離に関する情報との相関について学習処理部が学習を行うステップと
を含み、
前記深度情報を解析するステップでは、前記撮影部が撮影した1枚の実画像について、前記学習処理部による学習結果を参照して当該実画像の深度情報を解析する
をことを特徴とする。
Claims (3)
- 現実世界を撮影した映像に、仮想的なオブジェクトを合成して表示する拡張現実表示システムであって、
現実世界の映像を撮影する撮影部と、
前記撮影部が映像を撮影した時点の座標及び方位を位置情報として取得する位置情報取得部と、
撮影された前記現実世界の映像を構成する各画素に係る被写体間の相対距離を深度情報として解析する画像解析部と、
前記位置情報取得部が取得した前記位置情報に基づいて、前記現実世界における地理情報を含む現実地図情報上に前記仮想的なオブジェクトを配置した状態を表した仮想表示データを生成する仮想表示データ生成部と、
前記深度情報に従って、前記撮影部が撮影した映像に、前記仮想表示データ生成部が生成した前記仮想表示データを重畳させて表示させる合成処理部と
を備えることを特徴とする拡張現実表示システム。 - 現実世界を撮影した映像に、仮想的なオブジェクトを合成して表示する拡張現実表示プログラムであって、コンピューターを、
現実世界の映像を撮影する撮影部と、
前記撮影部が映像を撮影した時点の座標及び方位を位置情報として取得する位置情報取得部と、
撮影された前記現実世界の映像を構成する各画素に係る被写体間の相対距離を深度情報として解析する画像解析部と、
前記位置情報取得部が取得した前記位置情報に基づいて、前記現実世界における地理情報を含む現実地図情報上に前記仮想的なオブジェクトを配置した状態を表した仮想表示データを生成する仮想表示データ生成部と、
前記深度情報に従って、前記撮影部が撮影した映像に、前記仮想表示データ生成部が生成した前記仮想表示データを重畳させて表示させる合成処理部として
機能させることを特徴とする拡張現実表示プログラム。 - 現実世界を撮影した映像に、仮想的なオブジェクトを合成して表示する拡張現実表示方法であって、
現実世界の映像を撮影部が撮影するとともに、前記撮影部が映像を撮影した時点の座標及び方位を位置情報として位置情報取得部が取得するステップと、
前記位置情報取得部が取得した前記位置情報に基づいて、前記現実世界における地理情報を含む現実地図情報上に前記仮想的なオブジェクトを配置した状態を表した仮想表示データを仮想表示データ生成部が生成するステップと、
前記深度情報に従って、前記撮影部が撮影した映像に、前記仮想表示データ生成部が生成した前記仮想表示データを重畳させて合成処理部が表示させるステップと
を含むことを特徴とする拡張現実表示方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017104156A JP6275310B1 (ja) | 2017-05-26 | 2017-05-26 | 拡張現実表示システム、プログラム及び方法 |
CN201880026460.8A CN110537210B (zh) | 2017-05-26 | 2018-03-09 | 增强现实显示系统、程序以及方法 |
US16/617,193 US10839218B2 (en) | 2017-05-26 | 2018-03-09 | Augmented reality display system, program, and method |
PCT/JP2018/009280 WO2018216312A1 (ja) | 2017-05-26 | 2018-03-09 | 拡張現実表示システム、プログラム及び方法 |
US17/007,699 US11017235B2 (en) | 2017-05-26 | 2020-08-31 | Augmented reality display system, program, and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017104156A JP6275310B1 (ja) | 2017-05-26 | 2017-05-26 | 拡張現実表示システム、プログラム及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6275310B1 JP6275310B1 (ja) | 2018-02-07 |
JP2018200519A true JP2018200519A (ja) | 2018-12-20 |
Family
ID=61158295
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017104156A Active JP6275310B1 (ja) | 2017-05-26 | 2017-05-26 | 拡張現実表示システム、プログラム及び方法 |
Country Status (4)
Country | Link |
---|---|
US (2) | US10839218B2 (ja) |
JP (1) | JP6275310B1 (ja) |
CN (1) | CN110537210B (ja) |
WO (1) | WO2018216312A1 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110221690A (zh) * | 2019-05-13 | 2019-09-10 | Oppo广东移动通信有限公司 | 基于ar场景的手势交互方法及装置、存储介质、通信终端 |
KR20200098312A (ko) * | 2019-02-12 | 2020-08-20 | 한국항공우주산업 주식회사 | Vr을 이용한 다기종 비행 훈련 시뮬레이터 |
KR20210030793A (ko) * | 2019-09-10 | 2021-03-18 | 김용희 | 증강현실을 이용한 반려동물 동반 게임 제공장치 및 방법 |
JP2022505002A (ja) * | 2019-10-15 | 2022-01-14 | ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド | 拡張現実データの表示方法、装置、機器、記憶媒体及びプログラム |
JP2022153229A (ja) * | 2021-03-29 | 2022-10-12 | ナイアンティック, インコーポレイテッド | 拡張現実環境におけるマルチユーザルート追跡 |
JP2023083693A (ja) * | 2021-12-06 | 2023-06-16 | 本田技研工業株式会社 | 映像作成プログラム |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11010975B1 (en) | 2018-03-06 | 2021-05-18 | Velan Studios, Inc. | Remote camera augmented reality system |
US11195336B2 (en) * | 2018-06-08 | 2021-12-07 | Vulcan Inc. | Framework for augmented reality applications |
US12003585B2 (en) | 2018-06-08 | 2024-06-04 | Vale Group Llc | Session-based information exchange |
US10817582B2 (en) * | 2018-07-20 | 2020-10-27 | Elsevier, Inc. | Systems and methods for providing concomitant augmentation via learning interstitials for books using a publishing platform |
US11241624B2 (en) * | 2018-12-26 | 2022-02-08 | Activision Publishing, Inc. | Location-based video gaming with anchor points |
EP3951722A4 (en) * | 2019-03-28 | 2022-05-11 | NEC Corporation | INFORMATION PROCESSING DEVICE, DISPLAY SYSTEM, DISPLAY METHOD AND NON-TRANSITORY COMPUTER-READABLE MEDIA ON WHICH A PROGRAM IS STORED |
CN112037592A (zh) * | 2019-06-03 | 2020-12-04 | 广东小天才科技有限公司 | 一种基于增强现实的学习交互方法和系统 |
CN110490131B (zh) * | 2019-08-16 | 2021-08-24 | 北京达佳互联信息技术有限公司 | 一种拍摄设备的定位方法、装置、电子设备及存储介质 |
JP7349139B2 (ja) * | 2019-11-06 | 2023-09-22 | 株式会社コナミデジタルエンタテインメント | ゲームプログラム、端末装置、方法、およびゲームシステム |
US20210144297A1 (en) * | 2019-11-12 | 2021-05-13 | Shawn Glidden | Methods System and Device for Safe-Selfie |
AU2021272457A1 (en) * | 2020-05-11 | 2023-02-02 | Niantic, Inc. | Linking real world activities with a parallel reality game |
US11325043B2 (en) * | 2020-05-15 | 2022-05-10 | Microsoft Technology Licensing, Llc | Utilizing multiple input sources for generating gameplay locations |
CN113760088A (zh) * | 2020-06-04 | 2021-12-07 | 史克威尔·艾尼克斯有限公司 | 增强现实显示装置以及记录介质 |
JP7561009B2 (ja) * | 2020-11-16 | 2024-10-03 | 任天堂株式会社 | 情報処理システム、情報処理プログラム、情報処理装置、および情報処理方法 |
CN113467616A (zh) * | 2021-07-05 | 2021-10-01 | 浙江商汤科技开发有限公司 | 增强现实处理方法和相关装置、车辆、存储介质 |
US20230334792A1 (en) * | 2022-04-18 | 2023-10-19 | Mobeus Industries, Inc. | Interactive reality computing experience using optical lenticular multi-perspective simulation |
WO2023215637A1 (en) * | 2022-05-06 | 2023-11-09 | Mobeus Industries, Inc. | Interactive reality computing experience using optical lenticular multi-perspective simulation |
WO2024039887A1 (en) * | 2022-08-19 | 2024-02-22 | Mobeus Industries, Inc. | Interactive reality computing experience using optical lenticular multi-perspective simulation |
US20240075391A1 (en) * | 2022-09-06 | 2024-03-07 | Niantic, Inc. | Content item for display in location-based game |
CN115645925B (zh) * | 2022-10-26 | 2023-05-30 | 杭州有九文化传媒有限公司 | 一种基于增强现实的游戏数据处理方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014044655A (ja) * | 2012-08-28 | 2014-03-13 | Premium Agency Inc | 拡張現実システム、映像合成装置、映像合成方法及びプログラム |
JP2014513822A (ja) * | 2011-01-31 | 2014-06-05 | マイクロソフト コーポレーション | ゲーム・プレイにおける三次元環境モデルの使用 |
JP2015114757A (ja) * | 2013-12-10 | 2015-06-22 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2016510465A (ja) * | 2013-01-22 | 2016-04-07 | マイクロソフト テクノロジー ライセンシング,エルエルシー | 複合現実感の経験共有 |
JP2016047085A (ja) * | 2014-08-27 | 2016-04-07 | 株式会社テクノクラフト | キャラクター連携アプリケーション装置 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4124995B2 (ja) * | 2001-10-31 | 2008-07-23 | キヤノン株式会社 | 映像合成装置および情報処理方法 |
JP4061566B2 (ja) * | 2001-11-06 | 2008-03-19 | 松下電器産業株式会社 | ブラックバランス調整方法、および撮像装置 |
GB2396816A (en) | 2002-12-17 | 2004-07-07 | Pa Consulting Services | Injection device |
JP2006047085A (ja) | 2004-08-04 | 2006-02-16 | Denso Corp | 赤外線センサ装置およびその製造方法 |
JP2006053694A (ja) | 2004-08-10 | 2006-02-23 | Riyuukoku Univ | 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体 |
JP2013197881A (ja) * | 2012-03-19 | 2013-09-30 | Casio Comput Co Ltd | 撮像装置及び撮像方法、画像表示装置及び画像表示方法、プログラム |
JP2014174589A (ja) * | 2013-03-06 | 2014-09-22 | Mega Chips Corp | 拡張現実システム、プログラムおよび拡張現実提供方法 |
JP5752219B2 (ja) | 2013-12-12 | 2015-07-22 | 未来工業株式会社 | ボックス支持具、ボックス支持装置及びボックス支持具の取着方法 |
US9761049B2 (en) * | 2014-03-28 | 2017-09-12 | Intel Corporation | Determination of mobile display position and orientation using micropower impulse radar |
WO2016064435A1 (en) * | 2014-10-24 | 2016-04-28 | Usens, Inc. | System and method for immersive and interactive multimedia generation |
US10600169B2 (en) * | 2015-03-26 | 2020-03-24 | Sony Corporation | Image processing system and image processing method |
US10419669B2 (en) * | 2017-01-17 | 2019-09-17 | Disney Enterprises, Inc. | Omnistereoscopic panoramic video |
-
2017
- 2017-05-26 JP JP2017104156A patent/JP6275310B1/ja active Active
-
2018
- 2018-03-09 US US16/617,193 patent/US10839218B2/en active Active
- 2018-03-09 CN CN201880026460.8A patent/CN110537210B/zh active Active
- 2018-03-09 WO PCT/JP2018/009280 patent/WO2018216312A1/ja active Application Filing
-
2020
- 2020-08-31 US US17/007,699 patent/US11017235B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014513822A (ja) * | 2011-01-31 | 2014-06-05 | マイクロソフト コーポレーション | ゲーム・プレイにおける三次元環境モデルの使用 |
JP2014044655A (ja) * | 2012-08-28 | 2014-03-13 | Premium Agency Inc | 拡張現実システム、映像合成装置、映像合成方法及びプログラム |
JP2016510465A (ja) * | 2013-01-22 | 2016-04-07 | マイクロソフト テクノロジー ライセンシング,エルエルシー | 複合現実感の経験共有 |
JP2015114757A (ja) * | 2013-12-10 | 2015-06-22 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2016047085A (ja) * | 2014-08-27 | 2016-04-07 | 株式会社テクノクラフト | キャラクター連携アプリケーション装置 |
Non-Patent Citations (1)
Title |
---|
"ポケモンGO攻略まとめ", [ONLINE], JPN6017022812, 5 October 2016 (2016-10-05), ISSN: 0003661785 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200098312A (ko) * | 2019-02-12 | 2020-08-20 | 한국항공우주산업 주식회사 | Vr을 이용한 다기종 비행 훈련 시뮬레이터 |
KR102188313B1 (ko) * | 2019-02-12 | 2020-12-08 | 한국항공우주산업 주식회사 | Vr을 이용한 다기종 비행 훈련 시뮬레이터 |
US11762475B2 (en) | 2019-05-13 | 2023-09-19 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | AR scenario-based gesture interaction method, storage medium, and communication terminal |
CN110221690B (zh) * | 2019-05-13 | 2022-01-04 | Oppo广东移动通信有限公司 | 基于ar场景的手势交互方法及装置、存储介质、通信终端 |
CN110221690A (zh) * | 2019-05-13 | 2019-09-10 | Oppo广东移动通信有限公司 | 基于ar场景的手势交互方法及装置、存储介质、通信终端 |
KR20210030793A (ko) * | 2019-09-10 | 2021-03-18 | 김용희 | 증강현실을 이용한 반려동물 동반 게임 제공장치 및 방법 |
KR102256973B1 (ko) * | 2019-09-10 | 2021-05-27 | 김용희 | 증강현실을 이용한 반려동물 동반 게임 제공장치 및 방법 |
JP2022505002A (ja) * | 2019-10-15 | 2022-01-14 | ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド | 拡張現実データの表示方法、装置、機器、記憶媒体及びプログラム |
US11590423B2 (en) | 2021-03-29 | 2023-02-28 | Niantic, Inc. | Multi-user route tracking in an augmented reality environment |
JP7340746B2 (ja) | 2021-03-29 | 2023-09-08 | ナイアンティック, インコーポレイテッド | 拡張現実環境におけるマルチユーザルート追跡 |
JP2022153229A (ja) * | 2021-03-29 | 2022-10-12 | ナイアンティック, インコーポレイテッド | 拡張現実環境におけるマルチユーザルート追跡 |
JP2023083693A (ja) * | 2021-12-06 | 2023-06-16 | 本田技研工業株式会社 | 映像作成プログラム |
JP7350044B2 (ja) | 2021-12-06 | 2023-09-25 | 本田技研工業株式会社 | 映像作成プログラム |
Also Published As
Publication number | Publication date |
---|---|
US20200401806A1 (en) | 2020-12-24 |
US11017235B2 (en) | 2021-05-25 |
JP6275310B1 (ja) | 2018-02-07 |
CN110537210A (zh) | 2019-12-03 |
US20200160055A1 (en) | 2020-05-21 |
US10839218B2 (en) | 2020-11-17 |
CN110537210B (zh) | 2020-09-25 |
WO2018216312A1 (ja) | 2018-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6275310B1 (ja) | 拡張現実表示システム、プログラム及び方法 | |
JP6279135B1 (ja) | 位置ゲーム用インターフェースシステム、プログラム及び制御方法 | |
CN108601978B (zh) | 游戏系统以及游戏程序 | |
JP7043567B2 (ja) | 入力インターフェースシステム及び位置ゲームシステム | |
JP6367450B1 (ja) | 位置ゲーム用インターフェースシステム、プログラム及び制御方法 | |
JP6223617B1 (ja) | 仮想地図表示システム、プログラム及び方法 | |
JP6279136B1 (ja) | 位置ゲームにおけるオブジェクト制御システム、プログラム及び方法 | |
WO2018190050A1 (ja) | 位置ゲームにおけるオブジェクト制御システム、プログラム及び方法 | |
JP6366773B1 (ja) | 入力インターフェースプログラム、システム及び入力インターフェースの制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180109 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6275310 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R370 | Written measure of declining of transfer procedure |
Free format text: JAPANESE INTERMEDIATE CODE: R370 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |