WO2018216312A1 - 拡張現実表示システム、プログラム及び方法 - Google Patents

拡張現実表示システム、プログラム及び方法 Download PDF

Info

Publication number
WO2018216312A1
WO2018216312A1 PCT/JP2018/009280 JP2018009280W WO2018216312A1 WO 2018216312 A1 WO2018216312 A1 WO 2018216312A1 JP 2018009280 W JP2018009280 W JP 2018009280W WO 2018216312 A1 WO2018216312 A1 WO 2018216312A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
virtual
information
display data
real
Prior art date
Application number
PCT/JP2018/009280
Other languages
English (en)
French (fr)
Inventor
光一 中村
一哉 麻野
Original Assignee
株式会社テクテック
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社テクテック filed Critical 株式会社テクテック
Priority to CN201880026460.8A priority Critical patent/CN110537210B/zh
Priority to US16/617,193 priority patent/US10839218B2/en
Publication of WO2018216312A1 publication Critical patent/WO2018216312A1/ja
Priority to US17/007,699 priority patent/US11017235B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/216—Input arrangements for video game devices characterised by their sensors, purposes or types using geographical information, e.g. location of the game device or player using GPS
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A63F13/5378—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen for displaying an additional top view, e.g. radar screens or maps
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/503—Blending, e.g. for anti-aliasing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10—Map spot or coordinate position indicators; Map reading aids
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10—Map spot or coordinate position indicators; Map reading aids
    • G09B29/106—Map spot or coordinate position indicators; Map reading aids using electronic means
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels

Definitions

  • the present invention relates to an augmented reality display system, program, and method that synthesizes and displays a virtual object on a video image of the real world.
  • Patent Document 1 In recent years, various so-called position games using such portability of information processing apparatuses and position information services have been proposed (for example, Patent Document 1).
  • the current location in the real world obtained from GPS and the displacement thereof are displayed and controlled as a virtual position and a virtual displacement of a screen (virtual world) displayed in a role playing game, and an event icon A game system is constructed in which the second virtual world is displayed when the positions overlap.
  • augmented reality augmented reality
  • a landscape around the user's current position is photographed with a camera provided on a smartphone or game machine, and the image drawn with computer graphics is combined with the photographed actual image.
  • the reality of the game can be enhanced by providing an image in which characters and the like are present in the surrounding scenery.
  • the present invention solves the above-described problem.
  • a virtual object is superimposed on a real video in the real world by using an augmented reality display function.
  • Another object of the present invention is to provide an object control system, program, and method capable of appropriately displaying the distance feeling and the context of a subject in a video by simple processing, diversifying augmented reality, and further improving entertainment.
  • the system of the present invention is an augmented reality display system that synthesizes and displays a virtual object on a video obtained by photographing the real world, A shooting section to shoot real-world images, A position information acquisition unit that acquires, as position information, the coordinates and orientation at the time when the imaging unit has captured the video; An image analysis unit that analyzes a relative distance between subjects related to each pixel constituting the captured real-world image as depth information; Virtual display data generation for generating virtual display data representing a state in which the virtual object is arranged on real map information including geographical information in the real world based on the position information acquired by the position information acquisition unit And And a synthesis processing unit that superimposes and displays the virtual display data generated by the virtual display data generation unit on the video imaged by the imaging unit according to the depth information.
  • the present invention is an augmented reality display program that synthesizes and displays a virtual object on a video obtained by photographing the real world, A shooting section to shoot real-world images, A position information acquisition unit that acquires, as position information, the coordinates and orientation at the time when the imaging unit has captured the video; An image analysis unit that analyzes a relative distance between subjects related to each pixel constituting the captured real-world image as depth information; Virtual display data generation for generating virtual display data representing a state in which the virtual object is arranged on real map information including geographical information in the real world based on the position information acquired by the position information acquisition unit And According to the depth information, the virtual display data generated by the virtual display data generation unit is displayed on the video captured by the imaging unit so as to be superimposed and displayed.
  • the present invention is an augmented reality display method for combining and displaying a virtual object on a video image of the real world
  • a virtual display data generation unit displays virtual display data representing a state in which the virtual object is arranged on real map information including geographical information in the real world.
  • Generating step And a step of superimposing the virtual display data generated by the virtual display data generation unit on the video imaged by the imaging unit in accordance with the depth information and causing the synthesis processing unit to display the image.
  • the image processing apparatus further includes a layer generation unit that distributes each pixel constituting the video to a plurality of layers that form a hierarchy in the depth direction of the video based on depth information of the video.
  • the virtual display data can be superimposed according to the relative distance between the imaging unit and the virtual object based on the position information and the depth information about the layer generated by the layer unit.
  • the image analysis unit may calculate the relative distance between the subjects based on the parallax of the image at at least two points physically separated. Furthermore, in the above invention, a learning process for accumulating, as correlation information, a correlation between a color of a pixel constituting the image and a position in the image, the position information, and information on a relative distance calculated by the image analysis unit. A section may be further provided, and the image analysis section may analyze the depth information with reference to the correlation information.
  • the real map information includes information on the shape or height of a building or terrain placed on the real map
  • the learning processing unit includes the building or terrain included in the real map information. It is preferable to have a function of correcting the correlation information based on information on the shape or height.
  • FIG. 1 is a conceptual diagram showing the overall configuration of the game system according to the present embodiment.
  • the game system according to the present embodiment is schematically configured from a smartphone 1 that is a mobile terminal device used by a user 10 and a game server 3 installed on the Internet 2.
  • the smartphone 1 will be described as an example of a mobile terminal device.
  • the game server 3 is a server that performs game progress processing, and can be realized by a single server device or a plurality of server device groups, and a plurality of functional modules are virtually constructed on the CPU. Each function module cooperates to execute the process.
  • the game server 3 can perform data transmission / reception through the Internet 2 by a communication function, and can also present a web page through browser software by the web server function.
  • the smartphone 1 is a portable information processing terminal device using wireless communication, where a relay point such as the wireless base station 22 and a mobile phone communicate wirelessly and receive communication services such as calls and data communication while moving. Can do.
  • a communication system of this mobile phone for example, 3G (3rd. Generation) system, LTE (Long Terminal Evolution) system, 4G system, FDMA system, TDMA system, CDMA system, W-CDMA, PHS (Personal Handyphone System) ) Method.
  • the smartphone 1 is equipped with various functions such as a digital camera function, an application software execution function, a position information acquisition function using GPS (Global Positioning System), and includes a mobile computer such as a tablet PC.
  • the position information acquisition function is a function for acquiring and recording position information indicating the position of the own aircraft.
  • This position information acquisition function for example, as shown in FIG. This includes a method of detecting the position of the own device based on a signal, and a method of detecting the position based on radio wave intensity from a wireless base station 22 of a mobile phone or an access point of WiFi communication.
  • the smartphone 1 includes a liquid crystal display as a display unit for displaying information, and an operation device such as an operation button for a user to perform an input operation.
  • the operation device is superimposed on the liquid crystal display.
  • a touch panel is included as an input unit that is arranged and acquires an operation signal by a touch operation or the like that specifies a coordinate position on a liquid crystal display.
  • this touch panel is an input device for inputting an operation signal by pressure or electrostatic detection or the like by a touch operation using a user's fingertip or a pen, etc., and is displayed on a liquid crystal display for displaying a graphic and the liquid crystal display.
  • a touch sensor that receives an operation signal corresponding to the coordinate position of the graphic.
  • FIG. 8 is a block diagram showing the internal configuration of the game server 3 according to this embodiment
  • FIG. 9 is a block diagram showing the internal configuration of the smartphone 1 according to this embodiment.
  • the “module” used in the description refers to a functional unit that is configured by hardware such as an apparatus or a device, software having the function, or a combination thereof, and achieves a predetermined operation. .
  • the game server 3 is a server device arranged on the Internet 2, and can exchange data with each smartphone 1 through the Internet 2.
  • the game server 3 includes a communication interface 31 that performs data communication through the Internet 2, an authentication unit 33 that authenticates the authority of the user and the user terminal, and a location information management unit that collects and manages location information of each user terminal.
  • a game progress processing unit 36 for executing a game progress process for the entire game and a game progress process for each user
  • a virtual map information management unit 37 for generating virtual map information, and delivering game data to each user 34 and various database groups.
  • the game server 3 according to the present embodiment includes a depth information management unit 39 as a module for the augmented reality display system.
  • the database group includes a real map database 35a as a real map storage unit that stores real map information including geographical information in the real world, a user database 35b that stores information about users, virtual map information, and a game for the entire game.
  • a game database 35c for accumulating information related to the progress process and the game progress process of each user, a point database 35d for managing issued points, and a depth information database 35e are included.
  • Each of these databases may be a single database, or can be divided into a plurality of databases, and a relational database in which the respective data are linked by setting relations with each other.
  • the real map database 35a is a storage device that stores real map information including geographical information in the real world, natural geographical elements such as mountains, valleys, and rivers, artifacts such as buildings, roads, and railways, place names, Addresses, traffic regulations, etc. are stored as geographic information.
  • the real map information includes character information related to geographic information, such as place names, administrative district names, highway names, river / mountain names, and the like.
  • the real map database 35a may be a map database operated by another map service provider, in addition to those owned and operated by the service provider operating the game server 3 itself.
  • Information stored in the user database 35b includes authentication information in which a user or a mobile terminal device used by the user (identifier (user ID, terminal ID)) associated with a password is associated with the user, The personal information of the user associated with the ID, the model of the terminal device, and the like are also included.
  • the user database 35b includes an authentication history (access history) for each user or each user terminal, and information on game progress for each user (current position such as latitude / longitude, game, etc.) in relation to the game database 35c. (Status, score, usage history, etc.), settlement information regarding the game, etc. are also accumulated.
  • the information stored in the game database 35c includes virtual world map information, character and object characteristics, information on event processing, graphic information, and the like as game data. Also included is mapping data for associating the geographical elements and buildings, roads, railways, etc. included in the.
  • the point database 35d manages issued points in association with users, user terminals, or applications, and accumulates the usage history of each point.
  • the depth information database 35e is a database device that accumulates depth information, which is analysis results, together with video / actual images uploaded from each smartphone 1 or an in-vehicle camera of an information collection vehicle.
  • the depth information includes the color and brightness of pixels constituting each video / real image, the coordinate position in the image, position information (latitude / longitude, altitude, shooting direction, tilt angle, etc.), and the subject in the image. Information on the relative distance between them and correlation information that is a correlation between these pieces of information are accumulated.
  • the position information (latitude / longitude, altitude, altitude) of the subject specified by each depth information and the real map included in the real map information in the real map database 35a are arranged. Information on the shape or height of the building or terrain.
  • the authentication unit 33 is a module that establishes a communication session with each smartphone 1 through the communication interface 31 and performs an authentication process for each established communication session. As this authentication process, authentication information is acquired from the smartphone 1 of the user who is an accesser, the user is identified with reference to the user database 35b, and their authority is authenticated. The authentication result (user ID, authentication time, session ID, etc.) by the authentication unit 33 is sent to the game progress processing unit 36 and stored as an authentication history in the user database 35b.
  • the location information management unit 32 is a module that acquires location information acquired on the user terminal device side and transmitted to the game server 3.
  • the location information management unit 32 is a user specified by the authentication process by the authentication unit 33.
  • identifiers of user terminal devices (user ID, terminal ID, etc.) and their position information are linked and stored as usage history in the user database 35b.
  • the position information acquired here includes coordinates (latitude / longitude / elevation on the real map and virtual map, shooting) and shooting direction at the time when the shooting unit shot the video, and the date and time at that time.
  • the game progress processing unit 36 is a module in which each character corresponding to each user, a monster, and other objects move in the virtual world to generate various event processes and advance the game.
  • a game program including a logic algorithm is executed, and event processing such as confrontation battles, mini-games, movie playback, and fantasyization of a block is generated according to the positional relationship (approach, contact, etc.) of characters and objects.
  • the game progress processing unit 36 determines the character C1 in the virtual world according to the current position of each user based on the position information of each user acquired from the position information management unit 32 and the number of points owned by each user. Executes event processing that can obtain the same effect as when the character C1 actually walked, such as moving, or the effect obtained by moving the character in the virtual world, such as fantasy on the map, obtaining items, etc. To do.
  • the game progress processing unit 36 cooperates with the game progress processing unit 141 on the smartphone 1 side, and performs part of the game progress processing on the game server 3 side to perform graphic processing or Part of the event processing is executed by the game progress processing unit 141 on the smartphone 1 side.
  • an event process that can occur is predicted on the game server 3 side based on the position of another user's character, the position of an object, and the like, and the occurrence condition is generated on the game server 3 side.
  • the generation of the actual event processing and the graphic processing therefor are executed on the smartphone 1 side based on the generation conditions received from the game server 3.
  • the virtual map information management unit 37 follows the game progress by the game progress processing unit 36, as shown in FIG. 2, characters of other users on the virtual geographical information corresponding to the geographical information on the real map information M1, buildings, etc.
  • This is a module for managing and controlling the generation, accumulation and distribution of virtual map information M2 including the object coordinate information.
  • a point Tp is issued according to the distance that the user 10 has actually moved on the real map information M1, and by consuming this point Tp, the character C1 corresponding to the user 10 on the virtual map information M2 Moves, and the block B0 adjacent to the moved path can be converted into a fantasy.
  • This fantasyization block B0 is virtual display data representing a state in which a virtual object is arranged on the real map information M1, and the real map information M1 is partially or entirely covered by this block B0.
  • the virtual object arranged on the virtual map information M2 is displayed in the portion covered with the block B0.
  • the character information related to the geographical information of the real map information M1 corresponding to the display position of each fantasyized block is related information. Visible on the fantasy block.
  • the fantasy block B0 when the fantasy block B0 is superimposed and synthesized on the real map information M1 displayed in three dimensions, the same three-dimensional processing is performed in accordance with the three-dimensional display of the real map information M1 to obtain a three-dimensional shape. Is displayed.
  • a virtual object such as monster M0 is arranged, and when a real image is taken with the camera 121 at the current position on the real map information M1, the virtual object such as monster M0 is By the extended display processing of the present embodiment, the image is displayed superimposed on the actual image.
  • the point Tp may be given to the user according to the frequency or interval at which the game server is accessed, or may be purchased with a price or points by a user's settlement operation or server-side billing processing. it can. Furthermore, the point Tp may be appropriately given by completing a predetermined event in the game, scoring a mini game, improving the level of a character, clearing a level, or the like.
  • the virtual map information M2 may be generated on the game server 3 side, generated on the smartphone 1 side, or generated in cooperation with both the game server 3 and the smartphone 1,
  • the information management unit 37 manages the virtual map information M2 generated or stored on the game server 3 side and the virtual map information M2 generated and stored on the smartphone 1 side, and compares both virtual map information M2 Then, if necessary, all or part of the virtual map information M2 is distributed to the smartphone 1 side to synchronize the two.
  • the virtual map information management unit 37 acquires geographical elements, buildings, roads, railways, and the like included in the real map information M1 accumulated in the real map database 35a.
  • the mapping data stored in the game database 35c based on the map information of the virtual world corresponding to the real map information M1, the characteristics (attributes) of characters and objects, information on event processing, graphic information, etc.
  • the map information of the virtual world is generated by being divided into blocks B0.
  • the game data distribution unit 34 displays map information and graphics of the virtual world in order to synchronize the virtual map information M2 generated by the virtual map information management unit 37 according to the control of the virtual map information management unit 37.
  • the module is distributed to each user through the communication interface 31.
  • the graphic of the virtual world is divided into blocks for each block corresponding to the real map information M1, and distributed in units of blocks. Note that this block division is performed so that the area and shape automatically change according to the moving speed of the user in the virtual world, the moving speed in the real world, and the information density on the real map or virtual map. May be. For example, if the user's movement speed is fast, increase the block division unit area, or decrease the division unit area in areas where the density of information is high due to dense buildings and stores in the city center. It may be.
  • the depth information management unit 39 is a module that analyzes depth information by analyzing a captured image uploaded from each user terminal or an in-vehicle camera of an information collection vehicle in cooperation with the image analysis unit 145a on the smartphone 1 side.
  • the depth information that is the analysis result is stored in the depth information database 35e, and the depth information that is the analysis result is distributed to each terminal through the communication interface 31.
  • the depth information management unit 39 includes a learning processing unit 39a, and the learning processing unit 39a uses the deep learning learning function to determine the color of the pixels constituting the image, the position in the image, and the time when the image was captured.
  • the correlation between the positional information and the information on the relative distance calculated by the image analysis unit 145a is learned with reference to the general account.
  • the learning processing unit 39a has a function of correcting the correlation information included in the analysis result based on information on the shape or height of the building or terrain included on the real map.
  • the smartphone 1 includes a communication interface 11, an input interface 12, an output interface 13, an application execution unit 14, and a memory 15 as modules relating to a user interface for the game system.
  • the communication interface 11 is a communication interface for performing data communication, and has a function of performing contact (wired) communication by wireless, non-contact communication, cable, adapter means, or the like.
  • the input interface 12 is a device for inputting user operations such as a mouse, a keyboard, operation buttons, and a touch panel 12a.
  • the output interface 13 is a device that outputs video and sound, such as a display and a speaker.
  • the output interface 13 includes a display unit 13a such as a liquid crystal display, and the display unit is superimposed on a touch panel 12a that is an input interface.
  • the memory 15 is a storage device that stores an OS (Operating System), firmware, programs for various applications, other data, and the like.
  • OS Operating System
  • a game server In the memory 15, in addition to a user ID for identifying a user, a game server The game application data downloaded from 3 is accumulated, and the game data processed by the application execution unit 14 is accumulated.
  • the memory 15 stores virtual map information M2 and real map information M1 acquired from the game server 3.
  • the virtual map information M2 is stored in units of blocks divided into shapes corresponding to the blocks in the real map information M1.
  • the application execution unit 14 is a module that executes an application such as a general OS, a game application, or browser software, and is usually realized by a CPU or the like.
  • the game program according to the present invention is executed, so that the game progress processing unit 141, the synchronization processing unit 142, the event processing unit 143, the display control unit 146, the display data generation unit 145, and position information acquisition
  • the unit 144 is virtually constructed.
  • the game progress processing unit 141 moves each character, monster, and other objects corresponding to each user in the virtual world by the same rule logic algorithm as the game program executed on the game server 3, This is a module that generates various event processes and advances the game.
  • the synchronization processing unit 142 synchronizes with the game progress processing unit 36 on the game server 3 side, while maintaining the positional relationship (approach, contact, etc.) of the characters and objects. In response, event processing such as confrontation battles, mini-games, movie playback, and fantasy conversion of the block is generated.
  • the game progress processing unit 141 cooperates with the game progress processing unit 141 on the game server 3 side, performs part of the game progress processing on the game server 3 side, and performs graphic processing and event processing. A part of the processing is executed by the game progress processing unit 141 on the smartphone 1 side. For example, an event generation condition or the like is generated on the game server 3 side, the condition is transmitted to the smartphone 1 side, and actual event processing generation or graphic processing for that is executed on the smartphone 1 side.
  • the synchronization processing unit 142 is a module that synchronizes game progress processing and image analysis processing on the smartphone 1 side with game progress processing and image analysis processing on the game server 3 side. Specifically, the game server 3 predicts an event process that can occur based on the position of another user's character, the position of the object, etc., and causes the game server 3 to generate its occurrence condition. The condition is transmitted to the smartphone 1 side, the generation condition is received by the synchronization processing unit 142, and the actual event process generation and the graphic processing therefor are performed based on the generation condition received from the game server 3. This is executed by the progress processing unit 141.
  • the result of the event processing executed by the game progress processing unit 141 on the smartphone 1 side (the battle or mini-game win / loss, scoring, fantasyization of the block, etc.) is sent to the game progress processing unit on the game server 3 side through the synchronization processing unit 142. 141 and is reflected in subsequent game progress processing.
  • the synchronization processing unit 142 cooperates with the depth information management unit 39 on the game server 3 side and the display data generation unit 145 on the smartphone 1 side to capture a captured image from each user terminal, an in-vehicle camera of the information collection vehicle, or the like. Upload depth information or perform captured image analysis to analyze depth information.
  • the synchronization processing unit 142 accumulates the depth information that is the analysis result in the depth information database 35e on the game server 3 side, and also shares the depth information that is the analysis result between each terminal through the Internet 2 in order to share the information. Deliver to the terminal.
  • the synchronization processing unit 142 causes the learning processing unit 39a on the game server 3 side and the image analysis unit 145a on the smartphone 1 side to cooperate, and the color of the pixels constituting the image and the image in the image by the deep learning learning function. , The position information at the time of shooting, and the correlation between the relative distance calculated by the image analysis unit 145a is learned with reference to the correlation information.
  • the event processing unit 143 monitors the event processing generated by the game progress processing unit 141 and the moving speed of the current position of the own device acquired by the position information acquiring unit 144, and the moving speed of the current position is a predetermined value.
  • the module allows the batch processing in the processing of the event, and the game progress processing unit 141 In a batch processable event, a batch end operation is permitted instead of a plurality of routine operations, and the operation can be omitted to advance the game.
  • the synchronization processing unit 142 notifies the game progress processing unit 141 on the game server 3 side about the event processing performed by the operation omitted by the event processing unit 143, and the operation for the event processing that satisfies the event processing generation requirement is omitted. Report to the game server 3 that the game has progressed.
  • the position information acquisition unit 144 is a module that selects and acquires a coordinate position in the real world, and includes a current position of a user, a current position of another user, and a global positioning system (GPS) using an artificial satellite. Also, it is obtained by base station positioning by triangulation based on the radio field intensity and base station information from the base station, Wifi positioning using a database combining Wifi SSID (Service SetID) and radio wave status and longitude / latitude.
  • Wifi SSID Service SetID
  • the position information acquisition unit 144 can select an arbitrary coordinate position based on a user operation or an event occurrence due to game progress, and acquire position information or measure a moving speed.
  • the position information acquisition unit 144 also has a function of acquiring the coordinate position of an arbitrary object, searches the databases 35a to 35c, searches the current coordinate position, the coordinate position on the virtual map, or these A displacement history can be acquired.
  • the arbitrary object is obtained by searching the database 35a-c for the position where the object acting as the proxy of the user is set as the proxy object at the arbitrary position on the real map information or the virtual map information. be able to.
  • This proxy object is automatically moved in accordance with the progress of the game by the game progress processing unit 36 or 141, and is linked to the current position of a specific user or automatically moved according to the progress of the game.
  • instantaneous movement can also be detected by the detection signal from the acceleration sensor 16, and the user moves when an acceleration exceeding a predetermined value occurs. It is determined that it is in the middle.
  • the moving speed for example, when the user is moving at high speed on a vehicle, it is determined that the user is moving due to a change in the GPS value.
  • position information is updated as a result of switching of base stations such as WiFi and 3G / 4G and changes in radio wave reception status.
  • the position information changes more than the normal movement by walking, the user's movement is determined.
  • the mobile station is moving for a certain time (for example, about 5 minutes) after the movement is determined. According to the distance between stations and the amount of change in radio waves, the user's moving distance and moving speed are predicted with a certain width.
  • the position information acquisition unit 144 includes a movement route recording unit 144a
  • the movement route recording unit 144a is the current position of the user acquired by the position information acquisition unit 144 and the current state of other users.
  • This module calculates and records the movement path and movement speed based on the displacement history of each user or object, such as the position and the coordinate position of an arbitrary object.
  • the movement route is calculated by the movement route recording unit 144a by, for example, determining the movement route by connecting each sampled position in time series order with the shortest distance between two adjacent points, or referring to geographic information.
  • a route can be determined along a route between two points.
  • the display data generation unit 145 is a module that generates display data to be displayed on the display unit 13a.
  • the display data is data generated by combining graphic data, image data, character data, moving image data, audio and other data.
  • the display data generation unit 145 according to the present embodiment generates reality display data indicating the current position of the user on the real map information M1 based on the current position of the user acquired by the position information acquisition unit 144.
  • Functions of the display data generation unit and the virtual display data generation unit that generates virtual display data representing a character on the virtual map information M2 corresponding to the user's current position based on the current position acquired by the position information acquisition unit 144 Plays. Display processing of the display data generated by the display data generating unit 145 is controlled by the display control unit 146.
  • the display data generation unit 145 includes a virtual map information generation unit, and the virtual map information generation unit performs geography on the real map information M1 as shown in FIG. 2 according to the game progress by the game progress processing unit 141.
  • This is a module for generating virtual map information M2 including coordinate information such as characters of other users on the virtual geographic information corresponding to the information and fantasyized blocks.
  • the virtual map information generation unit obtains geographical elements, buildings, roads, railways, and the like included in the real map information M1 accumulated in the memory 15 and the real map database 35a on the network, and also includes the memory 15 and the game database 35c.
  • the virtual map information is generated based on the map information of the virtual world corresponding to the real map information M1, the characteristics of the characters and objects, the information related to the event processing, the graphic information, and the like.
  • virtual objects such as forests, mountains, and rocks are arranged at coordinate positions (coordinate ranges) corresponding to buildings on the real map information M1.
  • the virtual map information M2 is generated by the virtual map information generation unit on the smartphone 1 side.
  • the virtual map information management unit 37 of the game server 3 stores the real map information in advance or in real time.
  • the virtual map information M2 corresponding to the geographical information on M1 may be generated and distributed to each smartphone 1 by the game data distribution unit 34 to be synchronized.
  • the display control unit 146 displays the actual display data generated by the display data generation unit 145 and the virtual display data by superimposing both of the display data, one of the selected display data, or a part of one on the other.
  • the display unit 13a displays the real display data and the virtual display data in accordance with the control of the display control unit 146.
  • the display control unit 146 in the present embodiment includes a trajectory display unit.
  • the trajectory display unit displays the user's travel route recorded by the travel route recording unit 144a, the travel routes of other users, and an arbitrary object travel route as trajectories on the real map information M1 or the virtual map information M2.
  • This module The trajectory display by the trajectory display unit may be, for example, coloring a moving path determined by connecting each sampled position in chronological order and connecting two adjacent points with the shortest distance with a certain width.
  • the route determined along the route between two points with reference to geographic information can be colored with a certain width.
  • a section or an object close to the movement path of each user or object is colored and displayed as a part of the trajectory. It may be.
  • this section it can be colored and displayed in block units such as administrative districts, town blocks, prefectures, and municipalities that are partitioned based on actual geographic information or virtual geographic information. Also in coloring in this block unit, the block that contacts the moving route determined by connecting the two adjacent points with the shortest distance is colored, or determined along the route between the two points with reference to the geographical information The block that touches the route formed can be colored.
  • the display data generation unit 145 includes an image analysis unit 145a, a virtual display data generation unit 145b, and an augmented reality display processing unit 145e as modules related to the augmented reality display system. And.
  • the virtual display data generation unit 145b is a module that generates virtual display data such as computer graphics superimposed on a real image as augmented reality. Based on the position information acquired by the position information acquisition unit 144, the virtual display data generation unit 145b Virtual display data representing a state in which virtual objects are arranged on real map information including information is generated. The generated virtual display data is input to the augmented reality display processing unit 145e.
  • the image analysis unit 145a is a module that analyzes a relative distance between subjects related to each pixel constituting a photographed real world image (real image) as depth information.
  • the image analysis unit 145a includes a parallax analysis unit 145c and a relative distance calculation unit 145d.
  • the parallax analysis unit 145c is a module that analyzes the parallax of an image at at least two points physically separated, and compares at least two images and recognizes a building or terrain reflected in the image.
  • the analysis result by the parallax analyzer 145c is input to the relative distance calculator 145d.
  • the relative distance calculation unit 145d calculates a relative distance between subjects based on the parallax of the image analyzed by the parallax analysis unit 145c, and inputs the relative distance to the augmented reality display processing unit 145e.
  • the augmented reality display processing unit 145e is a module that superimposes and displays the virtual display data generated by the virtual display data generation unit 145b on the video captured by the imaging unit in accordance with the depth information.
  • the augmented reality display processing unit 145e includes a layer generation unit 145f and a composition processing unit 145g.
  • the layer generation unit 145f is a module that distributes each pixel constituting the video to a plurality of layers that form a hierarchy in the depth direction of the video based on the depth information, and the subject calculated by the relative distance calculation unit 145d Generate layers based on the relative distance between them.
  • the composition processing unit 145g is a module that superimposes the virtual display data generated by the virtual display data generation unit 145b on the actual image according to the depth information regarding the layer generated by the layer generation unit 145f.
  • parallax analysis and relative distance calculation in this embodiment are performed by deep learning recognition processing.
  • this deep learning recognition process reference is made to correlation information regarding the correlation between the color and the position in the image of the pixels constituting the image, the position information at the time of shooting, and the information regarding the relative distance calculated by the image analysis unit 145a. Then, recognition for associating the distance to the subject as depth information for each pixel is performed.
  • the object control function is used to link the movement of the virtual world by linking to the movement of the user in the real world, and to fantasyize the block corresponding to the movement trajectory.
  • the basic concept of the game point Tp is issued according to the movement distance of the user in the real world, and the character C1 corresponding to the user is consumed in the augmented reality world or the virtual world by consuming this point Tp.
  • the game progresses by generating events such as moving, fantasyizing the block corresponding to the block, or fighting monsters appearing in the fantasyized block.
  • the game server 3 is provided with a point issuing unit 38 and issues points according to the moving distance of the user 10 detected by the position information acquisition unit 144 on the smartphone 1 side.
  • the point is value information having exchange value, and is handled as a virtual currency unit in the virtual world on the game.
  • Event processing is performed so that an effect equivalent to that of the character C1 walking is obtained, and the game proceeds.
  • the game progress including the issuance of points and event processing is executed in cooperation with the game progress processing units 36 and 141, and the progress and points of the game are recorded in the user database 35b and the game database 35c.
  • points are accumulated by repeatedly traveling the accumulated distance traveled by the user, the number of times of access to a specific facility on the map, and the area that has already become fantasy. For example, as shown in FIG. 15, if the user 10 repeatedly travels between his / her home (point A) and his / her office building Bld by commuting or attending school, the point Tp is set according to the frequency. By giving and consuming the point Tp, the above-described fantasy conversion processing can be performed. That is, by consuming the point Tp, the block between the point A and the building Bld can be fantasyized, and the fantasyized block is superimposed and displayed on the real map by touching the block. Furthermore, in the present embodiment, using the points acquired in the already fantasyized area, as shown in FIGS. 16A to 16C, the block B0u in the unexplored area is also remotely connected to the fantasy. Can be made.
  • the commuting / commuting route trajectory becomes darker in color or changes the state of the fantasy block according to the number of times of traffic.
  • the number of accesses (number of round trips) to a specific facility (in this case, building Bld) is also counted by recording this trajectory, and points are issued according to the count, and various privilege events can be obtained by using the points.
  • a privilege event the block of the unexplored land can be converted into a fantasy by using the accumulated points, and a privilege item can be obtained.
  • the state of the fantasy-ized block is changed as time elapses or the game progresses. More specifically, as shown in FIGS. 12 and 13, a point Tp is issued in accordance with the moving distance of the user 10, and the character C1 corresponding to the user 10 is displayed on the real map information M1 by consuming the point Tp. Is moved. By the movement of the character C1, the block corresponding to the block along the movement route can be made fantasy by the user touching the screen (phase F1). At the time of this fantasy conversion, the point Tp is consumed for each block. Then, as shown in FIG. 13, the state of this fantasy-ized block is changed as time passes or the game progresses.
  • the information of the real map information M1 is displayed as a white map as the untapped block B1.
  • a “fantasy tap” operation of touching the untapped block B1 is converted into a fantasy like the activated block B2 (phase F1).
  • the unexplored block B6 away from the moving route can be converted into a fantasy according to the “remote block tap” operation of touching the unexplored block (phase F6). Note that in the unexplored block B6 that has been converted into a fantasy by the remote block tap, an image different from the fantasy conversion by a normal local tap is displayed.
  • This fantasyized activation block B2 transitions to an activated activation block B3 that has been upgraded, such as a “brilliant state” in which plants such as forests have been grown over time (phase F2).
  • an activated activation block B3 that has been upgraded, such as a “brilliant state” in which plants such as forests have been grown over time (phase F2).
  • privilege items such as “accelerator” obtained by consuming the point Tp
  • event processing such as cutting down a forest or harvesting grains can be executed. Points and items can be obtained by this harvesting event process, fantasyization is reset, and transition is made to the inactive block B4 (phase F3).
  • the tap operation is prohibited for a predetermined time, and the fantasyization cannot be performed for a predetermined time, and the time waiting state is entered. Thereafter, when a predetermined time elapses in the inactive block B4, the transition is made to the activated block (untapped state) B5 (phase F4), and fantasyization and breeding by the tap operation can be performed again (phase F5).
  • the state of the fantasy-like block is successively changed in a cycle, so that the game performance is maintained even in the already captured area.
  • the augmented reality display processing according to the present embodiment will be described.
  • 3 to 7 show the procedure of the augmented reality display process.
  • the character of the virtual map information M2 is moved by linking to the movement of the user 10 on the real map information M1, and the section (city block) corresponding to the movement locus is moved.
  • Etc. is converted into a fantasy as a block unit.
  • the fantasyized block B0 is virtual display data representing a state in which a virtual object is arranged on the real map information M1, and the real map information M1 is partially or entirely covered by the block B0. That is, a virtual object arranged on the virtual map information M2 is displayed in the portion covered with the block B0.
  • the character information related to the geographical information of the real map information M1 corresponding to the display position of each fantasy block is displayed as related information so as to be visible on the fantasy block.
  • a virtual object C2 other than the user is arranged on the virtual map information M2, and the reality is such that it appears as an augmented reality at a position in the real world corresponding to the position on the virtual map.
  • the virtual object C2 can be synthesized and displayed on the video of the world (FIG. 4A) (FIG. 4B).
  • the actual video captured by the camera 121 of the smartphone 1 and the virtual display data such as computer graphics generated by the virtual display data generation unit 145b are combined and displayed on the touch panel 12a of the smartphone 1 or the like.
  • the virtual display data generation unit 145b generates virtual display data representing a state in which the virtual object C2 is arranged on the real map information M1 based on the position information of the user.
  • the image analysis unit 145a analyzes, as depth information, a relative distance between subjects related to each pixel constituting the actual image G1 captured by the camera 121.
  • the image analysis unit 145a accesses the depth information database 35e and refers to the learning result by the learning processing unit 30a accumulated in the depth information database 35e.
  • the parallax analysis unit 145c of the image analysis unit 145a stores images G11 and G12 captured by at least two cameras Cm1 and Cm2 that are physically separated from each other.
  • the distance to the subject obtained by analyzing the parallax is stored in association with the position information at the shooting location.
  • the parallax analysis unit 145c compares the images G11 and G12 captured by the two cameras Cm1 and Cm2, and recognizes the objects Ob1 to Ob5 such as buildings and terrain reflected in the images G11 and G12. Based on the parallax of the images G11 and G12 analyzed by the parallax analyzer 145c, the relative distance calculator 145d calculates the relative distance between the subjects Ob1 to Ob5, and the depth for each pixel constituting each subject, that is, the camera position. The distance (depth) from the subject to the subject is calculated as depth information.
  • parallax analysis and relative distance calculation in this embodiment are performed by deep learning recognition processing.
  • this deep learning recognition process the color and position of the pixels constituting the image, the position information (latitude, longitude, altitude, direction, date, etc.) at the time of shooting, and the image analysis unit 145a calculated.
  • Correlation information which is a correlation with information on the relative distance, is accumulated as the depth information.
  • the relative distance calculation unit 145d extracts the correlation information that matches the feature point of each pixel while referring to the position information at the time of shooting for the image to be analyzed, and obtains the depth information associated with the correlation information.
  • the distance to the subject is recognized with reference to each pixel.
  • images taken by two physically separated camera devices, and a number of images taken while traveling by an in-vehicle camera device mounted on a photographing vehicle are used as teacher data.
  • the learning processing unit 39a hierarchically extracts a plurality of feature points for each pixel constituting the image, and accumulates the hierarchical combination pattern of the extracted feature points in the depth information database 35e as depth information.
  • it refers to the depth information stored in the depth information database 35e for the actual image (here, one image) taken by the camera 121, Are recognized, and the depth to these subjects is calculated.
  • FIG. 11 shows an outline of recognition processing by the learning processing unit 39a.
  • the learning processing unit 39a is a multi-class classifier and analyzes the parallax images G11 and G12 captured by two physically separated camera devices in which features of a plurality of types of objects are set. Then, an object Obn (here, “building”) including a specific feature point is detected from the plurality of objects.
  • the learning processing unit 39a includes an input unit (input layer) 397, a first weight coefficient 398, a hidden unit (hidden layer) 399, a second weight coefficient 390, and an output unit (output layer) 391.
  • the input unit 397 receives a plurality of feature vectors 392.
  • the first weighting factor 398 weights the output from the input unit 397.
  • the hidden unit 399 performs non-linear transformation on the linear combination of the output from the input unit 397 and the first weighting factor 398.
  • Second weighting factor 390 weights the output from hidden unit 399.
  • the output unit 391 calculates the identification probability of each class (for example, high-rise building, low-rise house, sky, etc.). Although three output units 391 are shown here, the present invention is not limited to this.
  • the number of output units 391 is the same as the number of objects that can be detected by the object discriminator. In this learning, weighting may be performed by associating feature points for each pixel with positional information on the real map.
  • the image analysis unit 45a refers to the depth information including the hierarchical combination pattern of the feature points for each pixel accumulated in the learning processing unit 39a in this manner, and the image analysis unit 45a applies to the real image captured by the camera 121.
  • the identification probability according to the matching degree with the combination pattern of the feature points is calculated, the subject in the image is recognized according to the calculation result, the distance from the camera position to the subject is calculated, and included in each subject Output as depth information for each pixel.
  • a virtual display data generation unit generates a video (here, one real image) captured by the camera 121 according to depth information including the relative distance between the subjects calculated by the image analysis unit 45a.
  • the virtual display data (here, the two-dimensional display data of the character C2) generated by 145b is superimposed or synthesized and displayed.
  • the layer generation unit 145 f displays each pixel constituting the video (actual image G1) in a hierarchy in the depth direction of the actual image G1 based on the depth information of each pixel.
  • the composition processing unit 145g After being distributed to a plurality of layers Ly1 to Ly5, the composition processing unit 145g superimposes the two-dimensional display data of the character C2 on the actual image according to the depth information of each layer Ly1 to Ly5 generated by the layer generation unit 145f.
  • FIG. 17 is a flowchart showing the procedure of the point issuing process according to this embodiment.
  • the smartphone 1 of the user 10 executes position information acquisition processing and movement speed calculation processing constantly or periodically during execution of the game program, and reports it to the game server 3 (S101).
  • the position information acquisition unit 144 is a base station by triangulation based on a value detected by the acceleration sensor 16, displacement of the current position of the user, latitude / longitude by GPS, radio wave intensity from the base station, and base station information. Changes in base station positioning, such as positioning, WiFi SSID (Service SetID) and WiFi positioning using a database that combines radio wave status and longitude / latitude, are acquired as position information.
  • WiFi SSID Service SetID
  • the game server 3 that has received the report of the position information from the user terminal records the accumulated route for each user (S201), and calculates and accumulates the movement amount (cumulative movement distance) for each user. Recording of the accumulated route is continued until the movement amount is accumulated more than a certain amount (“N” in S202), and when a certain amount of movement is accumulated (“Y” in S202), the movement amount is determined according to the movement amount.
  • the number of points is issued as value information (S203). The issued points are received by downloading or the like on the user's smartphone 1 side (S102).
  • the character C1 can be moved on the virtual map information M2 according to the received point (S104), and the point can be accumulated. Further, the user 10 continues to move and repeats point issuance (“N” in S103). If a certain amount or more of points are accumulated (“Y” in S103), the route adjacent block path becomes fantasy or It is possible to use privilege events such as making an unexplored block into a fantasy or using it to purchase items (S105).
  • This privilege event can be selectively used according to the number of points, and a privilege event that can be used by the user is arbitrarily selected, and is executed by a use request operation. This use request operation is performed based on event generation processing corresponding to the number of points.
  • the event When the user selects the use of the event, the event is progressed accordingly, the fantasyization of the adjacent block or the unexplored block is performed by the user's touch operation (S105), and the operation result is reported to the game server 3.
  • the game side Upon receiving the event progress report, the game side executes a process for advancing the game based on the progressed event (S204). The above point issuance, event accumulation by accumulation and use of points can be repeated until the game ends (“Y” in S106 and S205) (“N” in S106 and S205).
  • an event process occurs when a monster is encountered while passing through the event occurrence area, it should be originally input individually to each monster in the event process.
  • An input interface control function for performing the operation by a single batch end operation is provided.
  • an individual input step for individually receiving input of a user operation is normally executed for each of a plurality of processing objects (monster M0, etc.) appearing in a typical event process.
  • a batch end operation step that enables input of a single batch end operation for batch processing of a plurality of monsters.
  • the smartphone 1 is tilted and the monsters are collectively removed from the screen, or the smartphones are shaken and the monsters are shocked and killed. Or an operation of inputting a noise sound due to wind pressure into the microphone by blowing into the microphone.
  • live points and levels are set for these multiple processing target monsters as thresholds necessary for the completion of processing. The above-mentioned individual input is required for a monster that has been exterminated and exceeds a certain threshold.
  • FIG. 18 is a sequence diagram showing operations related to event processing.
  • position information is periodically acquired in each smartphone 1 and transmitted to the game server 3 (S401 and S301).
  • points are issued according to the transmitted movement distance of each user (S302), and the issued points are transmitted to the smartphone 1 side and given to the user (S303).
  • the smartphone 1 side the given point is received and the point is used based on the user operation, so that the character C1 can move on the virtual map or fantasy the block (S402).
  • a battle event process occurs (“Y” in S403)
  • a batch process (“Y” in S404)
  • the individual process is omitted and the event is advanced by a batch end operation.
  • a regular individual input as usual is requested (S406).
  • batch processing can be executed by an arbitrary selection operation by the user. For example, the moving speed of the current position of the own device acquired by the position information acquisition unit 144 on the smartphone 1 side is monitored, and the user When the movement speed of the event is equal to or higher than a predetermined value, the batch processing may be forcibly executed in the processing of the event.
  • the game progress processing unit 141 forcibly selects a batch end operation instead of a plurality of routine operations in the batch processable event, omits the individual input operation, ends the battle, and plays the game. Make it progress.
  • the level of monsters appearing in the battle may be reduced to increase the success rate of the collective end.
  • the game process on the game server 3 side through the synchronization processing unit 142 is determined that the event process has been performed. 141 is notified (S407), a synchronization process is performed on the game server 3 side (S304), and the result of the executed event process is reflected in the subsequent game progress process (S305).
  • the batch processing is not selected in step S404 ("N" in S404), or if the monster is not completely destroyed in the batch processing ("N” in S405), an individual fixed input is accepted (S406). Perform the battle development as usual.
  • an augmented reality display is performed in a game system in which a character and other objects corresponding to a user move in a virtual world to execute various event processes to advance the game.
  • a virtual object is superimposed on a real-world real image and synthesized with this function, the distance and context of the subject in the video can be displayed appropriately with simple processing. Can be improved and entertainment can be further improved.
  • Authentication unit 34 ... Game data distribution unit 35a ... Real map database 35b ... User database 35c ... Game database 35d ... Point database 35e ... Depth information database 36, 141 ... Game progress processing unit 37 ... Virtual place Figure information management unit 38 ... Point issuing unit 39 ... Depth information management unit 39a ... Learning processing unit 45a ... Image analysis unit 121 ... Camera 141 ... Game progress processing unit 142 ... Synchronization processing unit 143 ... Event processing unit 144 ... Location information acquisition unit 144a ... Travel path recording unit 145 ... Display data generation unit 145a ... Image analysis unit 145b ... Virtual display data generation unit 145c ... Parallax analysis unit 145d ... Relative distance calculation unit 145e ...
  • Augmented reality display processing unit 145f ... Layer generation unit 145g ... Synthesis Processing unit 146 ... Display control unit 390, 398 ... Weight coefficient 391 ... Output unit 392 ... Feature vector 397 ... Input unit 399 ... Unit

Abstract

【課題】位置情報に基づく位置ゲームの多様化を図り、娯楽性をより向上させる。 【解決手段】現実世界を撮影した映像に、仮想的なオブジェクトを合成して表示する拡張現実表示システムであって、現実世界の映像を撮影するカメラ１２１と、カメラ１２１が撮影した時点の座標及び方位を位置情報として取得する位置情報取得部１４４と、撮影された現実世界の映像を構成する各画素に係る被写体間の相対距離を深度情報として解析する画像解析部１４５ａと、位置情報取得部１４４が取得した位置情報に基づいて、現実世界における地理情報を含む現実地図情報Ｍ１上に仮想表示データを生成する仮想表示データ生成部１４５ｂと、深度情報に従って、カメラ１２１が撮影した映像に、仮想表示データ生成部１４５ｂが生成した仮想表示データを重畳させて表示させる合成処理部１４５ｇとを備える。

Description

拡張現実表示システム、プログラム及び方法
　本発明は、現実世界を撮影した映像に、仮想的なオブジェクトを合成して表示する拡張現実表示システム、プログラム及び方法に関する。
　従来、携帯が可能で、無線通信による情報通信を行うスマートフォンや携帯電話、モバイルＰＣなどの情報処理装置が普及してきているとともに、ＧＰＳ等の位置情報サービスが利用可能となるなど、多機能化が進んでいる。
　近年、このような情報処理装置の携帯性と、位置情報サービスとを利用した、いわゆる位置ゲームが種々提案されている（例えば、特許文献１）。この特許文献１に開示された技術では、ＧＰＳなどから得られる実世界の現在地及びその変位をロールプレイングゲームで示される画面（仮想世界）の仮想位置及び仮想変位として表示し制御するとともに、イベントアイコンにその位置が重なると第２の仮想世界が表示されるゲームシステムを構築する。これにより、位置情報を利用し従来のゲーム方式或いは従来にはないゲーム方式と実際の位置情報を組み合わせることで新たなエンタテイメントの実現と、実際に歩行者が移動することで楽しく運動ができるシステムの提供が可能となる。
特開２００１－７０６５８号公報
　ところで、上述した位置情報サービスと連携させた位置ゲームでは、仮想上の建物やキャラクターやクリーチャー等が登場する場合が多く、ゲームの演出上、ユーザーの現在位置の風景に建物やキャラクターを合成して表示する、いわゆる拡張現実（AR：Augmented Reality）表示機能を備えたものも提供されている。このような拡張現実表示機能によれば、ユーザーの現在位置の周囲の風景をスマートフォンやゲーム機に備えられたカメラで撮影し、撮影された実映像にコンピューターグラフィックスで描画された映像を合成して、あたかも周囲の風景内にキャラクター等が存在するような映像を提供することで、ゲームのリアリティーを高めることができる。
　このような位置ゲームでは、ユーザーの現在位置から遠方に、仮想上の建物やキャラクターが存在している場合があり、そのような建物やキャラクターを実映像に合成するときには、合成する建物の手前の風景と、背後の風景とを前後させて重畳させて奥行きを表現する必要がある。ところが、カメラで撮影した映像は二次元的なデータであるため、映像内に映り込んだ物体についての距離感や前後関係などは情報として含まれておらず、上述したような奥行きを表現することが困難である。
　そこで、本発明は、上記のような問題を解決するものであり、位置情報に基づく位置ゲームにおいて、拡張現実表示機能によって仮想上のオブジェクトを現実世界の実映像に中に重畳して合成する際に、簡単な処理で映像中の被写体の距離感や前後関係を適切に表示して、拡張現実の多様化を図り、より娯楽性を向上できるオブジェクト制御システム、プログラム及び方法を提供することを目的とする。
　上記課題を解決するために、本発明のシステムは、現実世界を撮影した映像に、仮想的なオブジェクトを合成して表示する拡張現実表示システムであって、
　現実世界の映像を撮影する撮影部と、
　前記撮影部が映像を撮影した時点の座標及び方位を位置情報として取得する位置情報取得部と、
　撮影された前記現実世界の映像を構成する各画素に係る被写体間の相対距離を深度情報として解析する画像解析部と、
　前記位置情報取得部が取得した前記位置情報に基づいて、前記現実世界における地理情報を含む現実地図情報上に前記仮想的なオブジェクトを配置した状態を表した仮想表示データを生成する仮想表示データ生成部と、
　前記深度情報に従って、前記撮影部が撮影した映像に、前記仮想表示データ生成部が生成した前記仮想表示データを重畳させて表示させる合成処理部と
を備えることを特徴とする。
　また、本発明は、現実世界を撮影した映像に、仮想的なオブジェクトを合成して表示する拡張現実表示プログラムであって、コンピューターを、
　現実世界の映像を撮影する撮影部と、
　前記撮影部が映像を撮影した時点の座標及び方位を位置情報として取得する位置情報取得部と、
　撮影された前記現実世界の映像を構成する各画素に係る被写体間の相対距離を深度情報として解析する画像解析部と、
　前記位置情報取得部が取得した前記位置情報に基づいて、前記現実世界における地理情報を含む現実地図情報上に前記仮想的なオブジェクトを配置した状態を表した仮想表示データを生成する仮想表示データ生成部と、
　前記深度情報に従って、前記撮影部が撮影した映像に、前記仮想表示データ生成部が生成した前記仮想表示データを重畳させて表示させる合成処理部として
機能させることを特徴とする。
　さらに本発明は、現実世界を撮影した映像に、仮想的なオブジェクトを合成して表示する拡張現実表示方法であって、
　現実世界の映像を撮影部が撮影するとともに、前記撮影部が映像を撮影した時点の座標及び方位を位置情報として位置情報取得部が取得するステップと、
　前記位置情報取得部が取得した前記位置情報に基づいて、前記現実世界における地理情報を含む現実地図情報上に前記仮想的なオブジェクトを配置した状態を表した仮想表示データを仮想表示データ生成部が生成するステップと、
　前記深度情報に従って、前記撮影部が撮影した映像に、前記仮想表示データ生成部が生成した前記仮想表示データを重畳させて合成処理部が表示させるステップと
を含むことを特徴とする。
　なお、上記発明では、前記映像を構成する各画素を、それぞれの深度情報に基づいて、当該映像の奥行き方向に階層をなす複数のレイヤーに分配するレイヤー生成部をさらに設け、前記合成処理部が、前記位置情報に基づく前記撮影部及び前記仮想的なオブジェクト間の相対距離と、前記レイヤー部が生成したレイヤーに関する深度情報に従って前記仮想表示データを重畳させることができる。
　また、上記発明において前記画像解析部は、物理的に離間された少なくとも２点における画像の視差に基づいて前記被写体間の相対距離を算出するようにしてもよい。さらには、上記発明では、前記画像を構成する画素の色及び前記画像中における位置と、前記位置情報と、前記画像解析部が算出した相対距離に関する情報との相関を相関情報として蓄積する学習処理部をさらに設けて、前記画像解析部が、前記相関情報を参照して、前記深度情報を解析するようにしてもよい。
　さらには、上記発明において現実地図情報には、現実地図上に配置された建物又は地形の形状若しくは高さに関する情報が含まれ、前記学習処理部は、前記現実地図情報に含まれる建物又は地形の形状若しくは高さに関する情報に基づいて、前記相関情報を補正する機能を有することが好ましい。
実施形態に係るゲームシステムの全体構成を示す概念図である。 実施形態に係る現実地図情報Ｍ１と仮想地図情報Ｍ２の関係を示す説明図である。 実施形態に係る現実地図情報Ｍ１上におけるユーザー位置と仮想地図情報Ｍ２上のオブジェクトとの関係を示す説明図である。 実施形態に係る実画像及び拡張現実表示を示す説明図である。 実施形態に係る深度情報の解析処理を示す説明図である。 実施形態に係る深度情報の解析処理を示す説明図である。 実施形態に係る深度情報の解析処理におけるレイヤー処理を示す説明図である。 実施形態に係るゲームサーバー３の内部構成を示すブロック図である。 実施形態に係るスマートフォン１の内部構成を示すブロック図である。 実施形態に係る表示データ生成部の内部構成を示すブロック図である。 実施形態に係る認識機能モジュールによる認識処理の概要を示す説明図である。 実施形態に係るキャラクター移動とファンタジー化処理との関係を示す説明図である。 実施形態に係るファンタジー化処理との状態遷移を示す説明図である。 実施形態に係るファンタジー化処理の操作を示す説明図である。 実施形態に係る繰り返し往復移動によるポイント蓄積についての説明図である。 実施形態に係るファンタジー化処理における街区塗り操作を示す説明図である。 実施形態に係るポイント発行処理の手順を示すフローチャート図である。 実施形態に係る一括処理操作を示すシーケンス図である。 実施形態に係る一括処理操作の一例を示す説明図である。 実施形態に係る一括処理操作の一例を示す説明図である。
　以下に添付図面を参照して、本実施形態に係るゲームシステム及びゲームプログラムの実施形態を詳細に説明する。
（システムの全体構成）
　図１は、本実施形態に係るゲームシステムの全体構成を示す概念図である。本実施形態に係るゲームシステムは、図１に示すように、ユーザー１０が使用する携帯端末装置であるスマートフォン１と、インターネット２上に設置されたゲームサーバー３とから概略構成される。なお、本実施形態では、スマートフォン１を携帯端末装置の一例として説明する。
　ゲームサーバー３は、本実施形態では、ゲーム進行処理を行うサーバーであり、単一のサーバー装置、又は複数のサーバー装置群により実現することができ、複数の機能モジュールをＣＰＵ上に仮想的に構築し、それぞれの機能モジュールが協動して処理を実行する。また、このゲームサーバー３は、通信機能によりインターネット２を通じて、データ送受信を行うことができるとともに、Ｗｅｂサーバー機能によりブラウザソフトを通じてＷｅｂページの提示などを行うことができる。
　スマートフォン１は、無線通信を利用した携帯可能な情報処理端末装置であり、無線基地局２２等の中継点と携帯電話機が無線で通信し、通話やデータ通信等の通信サービスを移動しつつ受けることができる。この携帯電話機の通信方式としては、例えば、３Ｇ（3rd. Generation）方式、ＬＴＥ（Long Term Evolution）方式、４Ｇ方式、ＦＤＭＡ方式、ＴＤＭＡ方式、ＣＤＭＡ方式、Ｗ－ＣＤＭＡの他、ＰＨＳ（Personal Handyphone System）方式等が挙げられる。また、このスマートフォン１は、デジタルカメラ機能、アプリケーションソフトの実行機能、ＧＰＳ（Global Positioning System）などによる位置情報取得機能等、種々の機能が搭載され、タブレットＰＣ等のモバイルコンピューターも含まれる。
　位置情報取得機能は、自機の位置を示す位置情報を取得し、記録する機能であり、この位置情報取得機能としては、図１に示すように、例えば、ＧＰＳのように、衛星２１からの信号によって自機の位置を検出する方法や、携帯電話の無線基地局２２や、Ｗｉｆｉ通信のアクセスポイントからの電波強度などによって位置を検出する方法が含まれる。
　そして、このスマートフォン１は、情報を表示する表示部としての液晶ディスプレイを備えるとともに、ユーザーが入力操作を行うための操作ボタン等の操作デバイスを備え、この操作デバイスとしては、液晶ディスプレイに重畳されて配置され、液晶ディスプレイ上の座標位置を指定するタッチ操作などによる操作信号を取得する入力部としてのタッチパネルが含まれる。具体的にこのタッチパネルは、ユーザーの指先やペンなどを用いたタッチ操作による圧力や静電検知その他によって操作信号を入力する入力デバイスであり、グラフィックを表示する液晶ディスプレイと、この液晶ディスプレイに表示されたグラフィックの座標位置に対応した操作信号を受け付けるタッチセンサーとが重畳されて構成されている。
（各装置の内部構造）
　次いで、上述したゲームシステムを構成する各装置の内部構造について説明する。図８は、本実施形態に係るゲームサーバー３の内部構成を示すブロック図であり、図９は、本実施形態に係るスマートフォン１の内部構成を示すブロック図である。なお、説明中で用いられる「モジュール」とは、装置や機器等のハードウェア、或いはその機能を持ったソフトウェア、又はこれらの組み合わせなどによって構成され、所定の動作を達成するための機能単位を示す。
（１）ゲームサーバー
　先ず、ゲームサーバー３の内部構成について説明する。ゲームサーバー３は、インターネット２上に配置されたサーバー装置であり、インターネット２を通じて、各スマートフォン１とデータの送受信を行えるようになっている。ゲームサーバー３は、インターネット２を通じてデータ通信を行う通信インターフェース３１と、利用者や利用者端末の権限を認証する認証部３３と、各利用者端末の位置情報を収集して管理する位置情報管理部３２と、ゲーム全体のゲーム進行処理、及び各ユーザーのゲーム進行処理を実行するゲーム進行処理部３６と、仮想地図情報を生成する仮想地図情報管理部３７と、各ユーザーに対してゲームデータを配信する３４と種々のデータベース群を備えている。また、本実施形態に係るゲームサーバー３は、拡張現実表示システムのためのモジュールとして、深度情報管理部３９を備えている。
　データベース群としては、現実世界における地理情報を含む現実地図情報を記憶する現実地図記憶部としての現実地図データベース３５ａと、利用者に関する情報を蓄積するユーザーデータベース３５ｂと、仮想地図情報、ゲーム全体のゲーム進行処理、及び各ユーザーのゲーム進行処理に関する情報を蓄積するゲーム用データベース３５ｃと、発行したポイントを管理するポイントデータベース３５ｄと、深度情報データベース３５ｅとが含まれる。これらの各データベースとしては、単一のデータベースとしてもよく、複数のデータベースに分割し、相互にリレーションを設定することで各データ同士を紐付けたリレーショナルデータベースとすることができる。
　現実地図データベース３５ａは、現実世界における地理情報を含む現実地図情報を記憶する記憶装置であり、山や谷、河川等の自然的な地理的要素、建物や道路、鉄道などの人工物、地名や住所、交通規制などが地理情報として記憶される。この現実地図情報には、地理情報に関する文字情報、例えば地名や行政区名称、街道名、河川・山岳等の名称などが含まれている。なお、この現実地図データベース３５ａは、ゲームサーバー３を運用するサービス提供者自身が所有・運用するものの他、他の地図サービス提供者が運用する地図データベースであってもよい。
　ユーザーデータベース３５ｂに蓄積される情報としては、利用者又は利用者が使用している携帯端末装置を特定する識別子（ユーザーＩＤ、端末ＩＤ）と、パスワード等とを紐付けた認証情報を含み、ユーザーＩＤに紐付けられた利用者の個人情報や、端末装置の機種なども含まれる。また、ユーザーデータベース３５ｂには、利用者毎或いは利用者端末毎の認証履歴（アクセス履歴）や、ゲーム用データベース３５ｃとのリレーションによりユーザー毎のゲーム進行に関する情報（緯度・経度等の現在位置、ゲーム中におけるステイタス、得点、利用履歴等）、ゲーム中に関する決済情報等も蓄積される。
　ゲーム用データベース３５ｃに蓄積される情報としては、仮想世界の地図情報、キャラクターやオブジェクトの特性、イベント処理に関する情報、グラフィック情報などがゲーム用データとして含まれるとともに、これらのゲーム用データと、現実地図に含まれる地理的要素や建物、道路、鉄道等とを関連づけるためのマッピングデータも含まれる。ポイントデータベース３５ｄは、発行されたポイントをユーザー、ユーザー端末若しくはアプリケーションと紐付けて管理し、各ポイントの利用履歴を蓄積する。
　深度情報データベース３５ｅは、各スマートフォン１や情報収集車の車載カメラ等からアップロードされた映像・実画像と合わせて、それらの解析結果である深度情報を蓄積するデータベース装置である。この深度情報としては、各映像・実画像を構成する画素の色、輝度、及び画像中における座標位置と、位置情報（緯度・経度、標高、撮影方向、チルト角等）と、画像中における被写体間の相対距離に関する情報と、これらの情報相互の相関である相関情報が蓄積される。また、深度情報データベース３５ｅには、各深度情報で特定された被写体の位置情報（緯度・経度、標高、高度）と、現実地図データベース３５ａ中の現実地図情報に含まれる現実地図上に配置された建物又は地形の形状若しくは高さに関する情報とが含まれる。
　認証部３３は、通信インターフェース３１を通じて、各スマートフォン１と通信セッションを確立させ、その確立された通信セッション毎に認証処理を行うモジュールである。この認証処理としては、アクセス者である利用者のスマートフォン１から認証情報を取得し、ユーザーデータベース３５ｂを参照して、利用者等を特定し、それらの権限を認証する。この認証部３３による認証結果（ユーザーＩＤ、認証時刻、セッションＩＤ等）は、ゲーム進行処理部３６に送出されるとともに、ユーザーデータベース３５ｂに認証履歴として蓄積される。
　位置情報管理部３２は、利用者端末装置側で取得されてゲームサーバー３に送信される位置情報を取得するモジュールであり、位置情報管理部３２は、認証部３３による認証処理によって特定されたユーザーやユーザー端末装置の識別子（ユーザーＩＤ、端末ＩＤ等）と、それらの位置情報とを紐付けてユーザーデータベース３５ｂに利用履歴として蓄積する。ここで取得される位置情報としては、撮影部が映像を撮影した時点の座標（現実地図及び仮想地図上における緯度・経度・標高、撮影）及び撮影方位、その時点の日時も含まれる。
　ゲーム進行処理部３６は、仮想世界において、各ユーザーに対応する各キャラクター、及びモンスターやその他のオブジェクトが移動して、種々のイベント処理を発生させてゲームを進行させるモジュールであり、一定のルール・ロジック・アルゴリズムを含むゲームプログラムを実行し、キャラクターやオブジェクトの位置関係（接近・接触等）に応じて、対決バトルやミニゲーム、ムービーの再生、街区のファンタジー化等のイベント処理を発生させる。特に、ゲーム進行処理部３６は、位置情報管理部３２から取得される各ユーザーの位置情報に基づいて各ユーザーの現在位置と、各ユーザーが所有するポイント数に応じて、仮想世界においてキャラクターＣ１を移動させる処理、又は仮想世界におけるキャラクターの移動により得られる効果、例えば地図上のファンタジー化や、アイテムの入手など、実際にキャラクターＣ１が歩いたのと同等の効果が得られるようなイベント処理も実行する。
　なお、ゲーム進行処理部３６は、本実施形態では、スマートフォン１側のゲーム進行処理部１４１と協働するようになっており、ゲーム進行処理の一部をゲームサーバー３側で行い、グラフィック処理やイベント処理の一部をスマートフォン１側のゲーム進行処理部１４１で実行するようにしている。例えば、ゲームサーバー３側で、他のユーザーのキャラクターの位置や、オブジェクトの位置などに基づいて、発生し得るイベント処理を予測し、その発生条件をゲームサーバー３側で発生させ、その条件をスマートフォン１側に送信し、実際のイベント処理の発生やそのためのグラフィック処理は、ゲームサーバー３から受信した発生条件に基づいてスマートフォン１側で実行するようにしている。
　仮想地図情報管理部３７は、ゲーム進行処理部３６によるゲーム進行に従って、図２に示すような、現実地図情報Ｍ１上の地理情報に対応した仮想地理情報上における他のユーザーのキャラクターや、建物等のオブジェクト座標情報を含む仮想地図情報Ｍ２の生成、蓄積及び配信を管理・制御するモジュールである。本実施形態では、ユーザー１０が実際に現実地図情報Ｍ１上を移動した距離に応じてポイントＴｐが発行され、このポイントＴｐを消費することによって、仮想地図情報Ｍ２上をユーザー１０に対応したキャラクターＣ１が移動し、その移動した経路に隣接するブロックＢ０をファンタジー化することができる。
　このファンタジー化ブロックＢ０は、現実地図情報Ｍ１上に仮想的なオブジェクトを配置した状態を表した仮想表示データであり、このブロックＢ０によって、現実地図情報Ｍ１が部分的又は全体的に覆われることとなり、ブロックＢ０に覆われた部分には仮想地図情報Ｍ２上に配置された仮想的なオブジェクトが表示される。なお、図１４（ａ）及び（ｂ）にも示すように、このファンタジー化ブロックＢ０には、各ファンタジー化ブロックの表示位置に対応する現実地図情報Ｍ１の地理情報に関する文字情報が関連情報として、当該ファンタジー化ブロック上に視認可能に表示される。また、このファンタジー化ブロックＢ０は、立体表示された現実地図情報Ｍ１上に重畳合成される場合には、現実地図情報Ｍ１の立体表示に合わせて、同様の立体化処理されて３次元的な形状として表示される。このファンタジー化ブロックには、モンスターＭ０などの仮想的なオブジェクトが配置されており、現実地図情報Ｍ１上の現在位置においてカメラ１２１で実画像を撮影したときに、このモンスターＭ０等の仮想オブジェクトが、本実施形態の拡張表示処理によって、実画像に重畳されて表示される。
　そして、このファンタジー化では、図１４（ａ）及び（ｂ）に示したように、ユーザーが画面上で、経路に隣接する街区に対応する形状に分割されたブロックＢ０をタッチすることによって、そのタッチされたブロックＢ０がファンタジー化され、仮想地図中の各種ブロックＢ２～Ｂ５が現実地図情報Ｍ１上の街区に重畳されて表示される。
　なお、ポイントＴｐは、ゲームサーバーにアクセスする頻度又は間隔に応じて、そのユーザーに対して付与してもよく、ユーザーによる決済操作やサーバー側の課金処理などによって、代金やポイントにより購入することもできる。さらにポイントＴｐは、ゲームにおける所定のイベントを完了したり、ミニゲームなどの得点や、キャラクターのレベルアップ、レベルクリアなどにより、適宜付与されるようにしてもよい。
　なお、この仮想地図情報Ｍ２は、ゲームサーバー３側で生成する場合と、スマートフォン１側で生成する場合と、ゲームサーバー３とスマートフォン１の両者が協働して生成する場合とがあり、仮想地図情報管理部３７は、ゲームサーバー３側で生成、或いは蓄積された仮想地図情報Ｍ２と、スマートフォン１側で生成、蓄積された仮想地図情報Ｍ２に関する情報を管理し、両者の仮想地図情報Ｍ２を比較し、必要に応じて仮想地図情報Ｍ２の全部又は一部をスマートフォン１側に配信して、両者の同期を図る。
　ゲームサーバー３側で仮想地図情報Ｍ２を生成する場合、仮想地図情報管理部３７は、現実地図データベース３５ａに蓄積された現実地図情報Ｍ１に含まれる地理的要素や建物、道路、鉄道等を取得するとともに、ゲーム用データベース３５ｃに蓄積されたマッピングデータを参照し、現実地図情報Ｍ１に対応した仮想世界の地図情報、キャラクターやオブジェクトの特性（属性）、イベント処理に関する情報、グラフィック情報などに基づいて、仮想世界の地図情報をブロックＢ０単位で分割して生成する。
　ゲームデータ配信部３４は、ユーザーの現在位置に基づき、仮想地図情報管理部３７による制御に従って、仮想地図情報管理部３７が生成した仮想地図情報Ｍ２を同期させるべく、地図情報や仮想世界のグラフィックを、通信インターフェース３１を通じて，各ユーザーに配信するモジュールである。なお、仮想世界のグラフィックは、現実地図情報Ｍ１に対応する街区毎にブロックに分割され、ブロック単位で配信される。なお、このブロックの分割は、ユーザーの仮想世界での移動速度、現実世界での移動速度、現実地図上又は仮想地図上の情報密度に応じて、その面積や形状が自動的に変化するようにしてもよい。例えば、ユーザーの移動速度が速い場合にはブロックの分割単位面積を大きくしたり、また、都心などのビルや店舗などが密集してその情報の密度が高い地域では、分割単位面積を小さくするようにしてもよい。
　また、深度情報管理部３９は、スマートフォン１側の画像解析部１４５ａと協働して、各ユーザー端末や情報収集車の車載カメラ等からアップロードされた撮影画像を解析して深度情報を解析するモジュールであり、解析結果である深度情報を深度情報データベース３５ｅに蓄積するとともに、解析結果である深度情報を、通信インターフェース３１を通じて、各端末へ配信する機能を有する。また、深度情報管理部３９は、学習処理部３９ａを備えており、この学習処理部３９ａでは、ディープラーニング学習機能によって、画像を構成する画素の、色及び画像中における位置と、撮影をした時点の位置情報と、画像解析部１４５ａが算出した相対距離に関する情報との相関について、総勘定を参照して学習を行う。また、この学習処理部３９ａは、現実地図上に含まれた建物又は地形の形状若しくは高さに関する情報に基づいて、解析結果に含まれる相関情報を補正する機能を有している。
（２）スマートフォン１
　次いで、スマートフォン１の内部構成について説明する。図９に示すように、スマートフォン１は、ゲームシステムのためのユーザーインターフェースに関するモジュールとして通信インターフェース１１と、入力インターフェース１２と、出力インターフェース１３と、アプリケーション実行部１４と、メモリ１５とを備えている。
　通信インターフェース１１は、データ通信を行うための通信インターフェースであり、無線等による非接触通信や、ケーブル、アダプタ手段等により接触（有線）通信をする機能を備えている。入力インターフェース１２は、マウス、キーボード、操作ボタンやタッチパネル１２ａなどユーザー操作を入力するデバイスである。また、出力インターフェース１３は、ディスプレイやスピーカーなど、映像や音響を出力するデバイスである。特に、この出力インターフェース１３には、液晶ディスプレイなどの表示部１３ａが含まれ、この表示部は、入力インターフェースであるタッチパネル１２ａに重畳されている。
　メモリ１５は、ＯＳ（Operating System）やファームウェア、各種のアプリケーション用のプログラム、その他のデータ等などを記憶する記憶装置であり、このメモリ１５内には、ユーザーを識別するユーザーＩＤの他、ゲームサーバー３からダウンロードしたゲームアプリケーションデータを蓄積するとともに、アプリケーション実行部１４で処理されたゲームデータ等が蓄積される。特に、本実施形態では、メモリ１５には、ゲームサーバー３から取得した、仮想地図情報Ｍ２及び現実地図情報Ｍ１が格納されている。仮想地図情報Ｍ２は、現実地図情報Ｍ１中の街区に対応する形状に分割されたブロック単位で格納される。
　アプリケーション実行部１４は、一般のＯＳやゲームアプリケーション、ブラウザソフトなどのアプリケーションを実行するモジュールであり、通常はＣＰＵ等により実現される。このアプリケーション実行部１４では、本発明に係るゲームプログラムが実行されることで、ゲーム進行処理部１４１、同期処理部１４２、イベント処理部１４３、表示制御部１４６、表示データ生成部１４５、位置情報取得部１４４が仮想的に構築される。
　ゲーム進行処理部１４１は、ゲームサーバー３で実行されているゲームプログラムと同様のルール・ロジック・アルゴリズムにより、仮想世界において、各ユーザーに対応する各キャラクター、及びモンスターやその他のオブジェクトを移動させて、種々のイベント処理を発生させてゲームを進行させるモジュールであり、同期処理部１４２を通じて、ゲームサーバー３側のゲーム進行処理部３６と同期しつつ、キャラクターやオブジェクトの位置関係（接近・接触等）に応じて、対決バトルやミニゲーム、ムービーの再生、街区のファンタジー化等のイベント処理を発生させる。
　ゲーム進行処理部１４１は、本実施形態では、ゲームサーバー３側のゲーム進行処理部１４１と協働するようになっており、ゲーム進行処理の一部をゲームサーバー３側で行い、グラフィック処理やイベント処理の一部をスマートフォン１側のゲーム進行処理部１４１で実行するようにしている。例えば、イベント発生の条件などをゲームサーバー３側で発生させ、その条件をスマートフォン１側に送信し、実際のイベント処理の発生やそのためのグラフィック処理は、スマートフォン１側で実行する。
　同期処理部１４２は、スマートフォン１側でのゲーム進行処理や画像解析処理と、ゲームサーバー３側でのゲーム進行処理や画像解析処理とを同期させるモジュールである。具体的には、ゲームサーバー３側で、他のユーザーのキャラクターの位置や、オブジェクトの位置などに基づいて、発生し得るイベント処理を予測し、その発生条件をゲームサーバー３側で発生させ、その条件をスマートフォン１側に送信し、この発生条件を同期処理部１４２で受信し、実際のイベント処理の発生やそのためのグラフィック処理は、ゲームサーバー３から受信した発生条件に基づいてスマートフォン１側のゲーム進行処理部１４１で実行する。このスマートフォン１側のゲーム進行処理部１４１で実行されたイベント処理の結果（バトルやミニゲームの勝敗や得点、街区のファンタジー化等）は、同期処理部１４２を通じてゲームサーバー３側のゲーム進行処理部１４１に通知され、その後のゲーム進行処理に反映される。
　また、同期処理部１４２は、ゲームサーバー３側の深度情報管理部３９と、スマートフォン１側の表示データ生成部１４５とを協働させて、各ユーザー端末や情報収集車の車載カメラ等から撮影画像をアップロードしたり、撮影画像解析を実行して深度情報を解析させる。また、同期処理部１４２は、解析結果である深度情報を、ゲームサーバー３側の深度情報データベース３５ｅに蓄積させるとともに、解析結果である深度情報を各端末間で共有するためにインターネット２を通じて、各端末へ配信する。さらに、同期処理部１４２は、ゲームサーバー３側の学習処理部３９ａとスマートフォン１側の画像解析部１４５ａとを協働させて、ディープラーニング学習機能によって、画像を構成する画素の、色及び画像中における位置と、撮影をした時点の位置情報と、画像解析部１４５ａが算出した相対距離に関する情報との相関について相関情報を参照して学習させる。
　また、イベント処理部１４３は、ゲーム進行処理部１４１が発生させたイベント処理と、位置情報取得部１４４が取得する自機の現在位置の移動速度とを監視し、現在位置の移動速度が所定値以上であり、且つゲーム進行処理部１４１が発生させたイベント処理が予め定められた一括処理可能イベントである場合に、当該イベントの処理において一括処理を許可するモジュールであり、ゲーム進行処理部１４１は、一括処理可能イベントにおいて、複数の定型的な操作に代えて一括終了操作を許可して、操作を省略してゲームを進行させることができるようになっている。同期処理部１４２は、イベント処理部１４３が省略した操作によって遂行したイベント処理についてゲームサーバー３側のゲーム進行処理部１４１に通知し、イベント処理の発生要件を満たしたイベント処理に対する操作が省略されてゲームが進行されたことをゲームサーバー３側に報告する。
　位置情報取得部１４４は、現実世界における座標位置を選択して取得するモジュールであり、ユーザーの現在位置や他のユーザーの現在位置、人工衛星を利用した全地球測位システム （ＧＰＳ：Global Positioning System）や、基地局からの電波強度及び基地局情報に基づく三角測位による基地局測位、ＷｉｆｉのＳＳＩＤ（Service SetID）及び電波状況と経度緯度を組み合わせたデータベースを利用したＷｉｆｉ測位等により取得する。
　また、この位置情報取得部１４４は、ユーザー操作やゲーム進行によるイベント発生に基づく任意の座標位置を選択して、位置情報を取得したり、移動速度を測定したりすることができる。また、位置情報取得部１４４は、任意のオブジェクトの座標位置を取得する機能も備えており、各データベース３５ａ～ｃを検索して、現在の座標位置、或いは仮想地図上の座標位置、又はこれらの変位履歴を取得することができる。
　特に、この任意のオブジェクトとしては、当該ユーザーの代理となるオブジェクトが代理オブジェクトとして現実地図情報上又は仮想地図情報上の任意の位置に設置された位置を各データベース３５ａ～ｃから検索して取得することができる。この代理オブジェクトは、ゲーム進行処理部３６又は１４１によって、地図情報上の位置がゲーム進行に従って自動的に移動されるもので、特定のユーザーの現在位置と連動されたり、ゲーム進行に従って自動的に移動されたりする。
　さらに、この位置情報取得部１４４による移動速度の測定では、加速度センサー１６からの検出信号により、瞬間的な移動も検知可能となっており、所定の値以上の加速度が生じたときには、ユーザーが移動中であると判定する。また、移動速度の測定では、例えばユーザーが乗り物に乗って高速移動しているときには、ＧＰＳの値の変化で移動中であると判定する。この高速移動に関し、地下鉄等の地下や駅構内において、ＧＰＳ信号が受信できない場合には、Ｗｉｆｉや３Ｇ・４Ｇ等の基地局の切り替わりや電波受信状態の変化から位置情報が更新されるのを監視し、歩行による通常の移動よりも大きく位置情報が変化したときに、ユーザーの移動を判定する。なお、この基地局の切り替わり等による移動判定では、位置情報の変化が不連続となることから、移動が判定された後の一定時間（例えば５分程度）は移動中であるとするなど、基地局間の距離や電波の変化量に応じ、一定の幅を持たせてユーザーの移動距離、移動速度を予測する。
 また、本実施形態において位置情報取得部１４４は移動経路記録部１４４ａを備えており、この移動経路記録部１４４ａは、位置情報取得部１４４が取得した、ユーザーの現在位置や、他のユーザーの現在位置、任意のオブジェクトの座標位置など、各ユーザー又はオブジェクトの変位履歴に基づいて移動経路や移動速度を算出して記録するモジュールである。この移動経路記録部１４４ａによる移動経路の算出は、例えば、サンプリングされた各位置を時系列順に、隣接する２点間を最短距離で接続して移動経路を決定したり、地理情報を参照して２点間における道順に沿って経路を決定したりすることができる。
　表示データ生成部１４５は、表示部１３ａに表示させるための表示データを生成するモジュールである。表示データは、グラフィックデータの他、画像データや、文字データ、動画データ、音声その他のデータを組み合わせて生成されるデータである。特に、本実施形態に係る表示データ生成部１４５は、位置情報取得部１４４が取得したユーザーの現在位置に基づいて、現実地図情報Ｍ１上にユーザーの現在位置を示した現実表示データを生成する現実表示データ生成部と、位置情報取得部１４４が取得した現在位置に基づいて、ユーザーの現在位置に対応した仮想地図情報Ｍ２上にキャラクターを表した仮想表示データを生成する仮想表示データ生成部の機能を果たしている。この表示データ生成部１４５で生成された表示データの表示処理は、表示制御部１４６で制御される。
　この表示データ生成部１４５は、仮想地図情報生成部を備えており、この仮想地図情報生成部は、ゲーム進行処理部１４１によるゲーム進行に従って、図２に示すような、現実地図情報Ｍ１上の地理情報に対応した仮想地理情報上における他のユーザーのキャラクターや、ファンタジー化ブロック等の座標情報を含む仮想地図情報Ｍ２を生成するモジュールである。仮想地図情報生成部は、メモリ１５やネットワーク上の現実地図データベース３５ａに蓄積された現実地図情報Ｍ１に含まれる地理的要素や建物、道路、鉄道等を取得するとともに、メモリ１５やゲーム用データベース３５ｃに蓄積されたマッピングデータを参照し、現実地図情報Ｍ１に対応した仮想世界の地図情報、キャラクターやオブジェクトの特性、イベント処理に関する情報、グラフィック情報などに基づいて、仮想世界の地図情報を生成する。図２に示した例では、現実地図情報Ｍ１上の建物に対応した座標位置（座標範囲）に、森林や山、岩などの仮想的なオブジェクトが配置されている。
　なお、本実施形態では、仮想地図情報Ｍ２をスマートフォン１側の仮想地図情報生成部で生成するようにしたが、ゲームサーバー３の仮想地図情報管理部３７で、予め、或いはリアルタイムに、現実地図情報Ｍ１上の地理情報に対応した仮想地図情報Ｍ２を生成し、ゲームデータ配信部３４によって各スマートフォン１に配信して、同期をとるようにしてもよい。
　表示制御部１４６は、表示データ生成部１４５が生成した現実表示データと、仮想表示データとを、これら表示データの両方、選択されたいずれか、又は一方の一部分を他方に重畳させて表示する制御を実行するモジュールであり、表示部１３ａは、この表示制御部１４６の制御に従って現実表示データと仮想表示データとを表示する。
　また、本実施形態における表示制御部１４６は、軌跡表示部を備えている。この軌跡表示部は、移動経路記録部１４４ａが記録した当該ユーザーの移動経路や、他のユーザーの移動経路、任意のオブジェクト移動経路を、現実地図情報Ｍ１上又は仮想地図情報Ｍ２上に軌跡として表示させるモジュールである。この軌跡表示部による軌跡の表示は、例えば、サンプリングされた各位置を時系列順に、隣接する２点間を最短距離で接続して決定された移動経路を一定の幅を持たせて着色したり、地理情報を参照して２点間における道順に沿って決定された経路を一定の幅を持たせて着色したりすることができる。さらに、この軌跡表示部による軌跡の表示では、現実地図情報Ｍ１上又は仮想地図情報Ｍ２上において、各ユーザーやオブジェクトの移動経路に近接する区画又はオブジェクトを軌跡の一部として着色して表示させるようにしてもよい。
　この区画としては、実際の地理情報や仮想の地理情報に基づいて区画された行政区、街区、都道府県、市町村などのブロック単位で着色して表示させることもできる。このブロック単位での着色においても、隣接する２点間を最短距離で接続して決定された移動経路に接触するブロックを着色したり、地理情報を参照して２点間における道順に沿って決定された経路に接触するブロックを着色したりすることができる。
　さらに、本実施形態に係る表示データ生成部１４５は、図１０に示すように、拡張現実表示システムに関わるモジュールとして、画像解析部１４５ａと、仮想表示データ生成部１４５ｂと、拡張現実表示処理部１４５ｅとを備えている。
　仮想表示データ生成部１４５ｂは、拡張現実として実画像に重畳されるコンピューターグラフィックス等の仮想表示データを生成するモジュールであり、位置情報取得部１４４が取得した位置情報に基づいて、現実世界における地理情報を含む現実地図情報上に仮想的なオブジェクトを配置した状態を表した仮想表示データを生成する。生成された仮想表示データは、拡張現実表示処理部１４５ｅに入力される。
　画像解析部１４５ａは、撮影された現実世界の映像（実画像）を構成する各画素に係る被写体間の相対距離を深度情報として解析するモジュールである。本実施形態において画像解析部１４５ａは、視差解析部１４５ｃと、相対距離算出部１４５ｄとを備えている。
　視差解析部１４５ｃは、物理的に離間された少なくとも２点における画像の視差を解析するモジュールであり、少なくとも２点の画像を比較して、画像内に映り込んでいる建物や地形を認識する。この視差解析部１４５ｃによる解析結果は相対距離算出部１４５ｄに入力される。相対距離算出部１４５ｄは、視差解析部１４５ｃが解析した画像の視差に基づいて被写体間の相対距離を算出し、拡張現実表示処理部１４５ｅに入力される。
　拡張現実表示処理部１４５ｅは、深度情報に従って、撮影部が撮影した映像に、仮想表示データ生成部１４５ｂが生成した仮想表示データを重畳させて表示させるモジュールである。本実施形態において、拡張現実表示処理部１４５ｅは、レイヤー生成部１４５ｆと、合成処理部１４５ｇとを備えている。
　レイヤー生成部１４５ｆは、映像を構成する各画素を、それぞれの深度情報に基づいて、当該映像の奥行き方向に階層をなす複数のレイヤーに分配するモジュールであり、相対距離算出部１４５ｄが算出した被写体間の相対距離に基づいて、レイヤーを生成する。合成処理部１４５ｇは、レイヤー生成部１４５ｆが生成したレイヤーに関する深度情報に従って、仮想表示データ生成部１４５ｂが生成した仮想表示データを実画像中に重畳させるモジュールである。
　なお、本実施形態における視差解析や相対距離算出は、ディープラーニング認識処理によって行われる。このディープラーニング認識処理では、画像を構成する画素の、色及び画像中における位置と、撮影をした時点の位置情報と、画像解析部１４５ａが算出した相対距離に関する情報との相関について相関情報を参照して、画素毎に被写体までの距離を深度情報として紐付ける認識を行う。
（システムの動作）
　本実施形態では、ユーザーが移動して取得したポイントＴｐを消費することによって、その移動経路を仮想地図上において、キャラクターＣ１が移動するとともに、消費したポイントＴｐに応じた移動軌跡やファンタジー化ブロックとして記録及び表示するオブジェクト制御機能を備えている。また、ファンタジー化されたブロックではモンスターが出現し、このモンスターを退治するなどのイベント処理が発生され、その結果に応じてポイントＴｐが溜まったり、ファンタジー化領域が拡大されて位置ゲームが進行される。以下に各処理について説明する。
（１）ゲーム進行処理
　本実施形態に係る位置ゲームでは、オブジェクト制御機能によってユーザーの現実世界における移動にリンクさせて仮想世界のキャラクターを移動させ、その移動軌跡に対応したブロックをファンタジー化することをゲームの基本的なコンセプトとしている。そして、本システムによる位置ゲームでは、ユーザーの現実世界における移動距離に応じてポイントＴｐを発行し、このポイントＴｐを消費させてユーザーに対応するキャラクターＣ１を、拡張現実世界内、或いは仮想世界内を移動させたり、街区に対応するブロックをファンタジー化させたり、ファンタジー化されたブロックに出現するモンスターとバトルをしたりなどのイベントを発生させることによってゲームを進行させる。
　すなわち、ゲームサーバー３には、ポイント発行部３８が設けられており、スマートフォン１側の位置情報取得部１４４で検出したユーザー１０の移動距離に応じたポイントを発行する。ここでのポイントとは、交換価値を有する価値情報であり、ゲーム上の仮想世界で仮想上の通貨単位として取り扱われる。そして、本実施形態では、このポイント数に応じて、仮想世界においてキャラクターＣ１を移動させる処理、又は仮想世界におけるキャラクターの移動により得られる効果、例えば地図上のファンタジー化や、アイテムの入手など、実際にキャラクターＣ１が歩いたのと同等の効果が得られるようなイベント処理が実行されてゲームが進行されるようになっている。なお、このポイントの発行及びイベント処理を含むゲーム進行は、ゲーム進行処理部３６，１４１が協働して実行され、そのゲームの進行過程やポイントは、ユーザーデータベース３５ｂ及びゲーム用データベース３５ｃに記録される。
　また、本実施形態では、ユーザーが移動した累積距離や地図上の特定施設へのアクセス回数、さらには既にファンタジー化したエリアを繰り返し往来することにより、ポイントが貯まるようになっている。例えば、図１５に示すように、ユーザー１０が、自宅（Ａ地点）と勤務先のビルＢｌｄとの間を、通勤・通学等によって繰り返し往復しているとすると、その頻度に応じてポイントＴｐが付与され、このポイントＴｐを消費することによって、上述したファンタジー化処理が可能となる。すなわち、ポイントＴｐを消費することによって地点ＡとビルＢｌｄとの間のブロックがファンタジー化できるようになり、そのブロックをタッチすることにより現実地図上にファンタジー化されたブロックが重畳表示される。さらに本実施形態では、このように既にファンタジー化したエリアで取得されたポイントを用いて、図１６（ａ）～（ｃ）に示すように、既に未踏地エリアのブロックＢ０ｕも、遠隔的にファンタジー化することができるようになっている。
　なお、本実施形態では、この通勤・通学経路の軌跡については通行回数に応じて色が濃くなったり、ファンタジー化ブロックの状態が変化したりするようになっている。また、この軌跡の記録によって特定の施設（ここではビルＢｌｄ）へのアクセス回数（往復回数）もカウントされ、そのカウントに応じてポイントが発行され、そのポイントを利用することで、種々の特典イベントの利用が可能となる。この特典イベントとしては、貯まったポイントにより未踏地のブロックをファンタジー化できたり、特典アイテムを入手できるようになっている。
　また、本実施形態では、ファンタジー化されたブロックは時間経過或いはゲーム進行に応じて、その状態が遷移するようになっている。詳述すると、図１２及び図１３に示すように、ユーザー１０の移動距離に応じてポイントＴｐが発行され、そのポイントＴｐを消費することによって、ユーザー１０に対応するキャラクターＣ１が現実地図情報Ｍ１上が移動される。このキャラクターＣ１の移動により、その移動経路に沿った街区に対応するブロックは、ユーザーが画面上をタッチすることによりファンタジー化させることが可能となる（フェーズＦ１）。このファンタジー化の際には、ブロック毎にポイントＴｐが消費される。そして、このファンタジー化されたブロックは、図１３に示すように、時間経過或いはゲーム進行に応じて、その状態が遷移される。
　先ず、キャラクターＣ１の移動に伴い、その移動経路に隣接するブロックでは、未タップ状態ブロックＢ１として現実地図情報Ｍ１の情報が白地図として表示される。そして、この未タップ状態ブロックＢ１をタッチする「現地タップ」操作によって活性化ブロックＢ２のようにファンタジー化される（フェーズＦ１）。なお、このときポイントＴｐを消費することにより、未踏地のブロックをタッチする「遠隔街区タップ」操作に応じて、移動経路から離れた未踏地ブロックＢ６もファンタジー化することができる（フェーズＦ６）。なお、この遠隔街区タップによってファンタジー化された未踏地ブロックＢ６では、通常の現地タップによるファンタジー化とは異なる画像が表示される。
　このファンタジー化された活性化ブロックＢ２は、時間が経過することにより森林等の植物が育成された「キラキラ状態」になるなどグレードアップされた活性化ブロックＢ３に遷移する（フェーズＦ２）。なお、ポイントＴｐを消費することによって入手される「促進剤」等の特典アイテムを使用することで、時間経過を待たずに即「キラキラ状態」に遷移させることができる。このグレードアップされて「キラキラ状態」に遷移した活性化ブロックＢ３では、そのブロックをタップすることによって、森林を伐採したり穀物を収穫したりするなどのイベント処理を実行できる。この収穫イベント処理によってポイントやアイテムが入手できるとともに、ファンタジー化がリセットされ、不活性ブロックＢ４に遷移する（フェーズＦ３）。この不活性ブロックＢ４では所定時間だけタップ操作が禁止されて一定時間ファンタジー化が不可となり、時間待ち状態となる。その後、この不活性ブロックＢ４において所定時間が経過すると活性化ブロック（未タップ状態）Ｂ５へと遷移され（フェーズＦ４）、再度タップ操作によるファンタジー化及び育成が可能となる（フェーズＦ５）。このようにファンタジー化されたブロックの状態が、サイクル的に次々と遷移されることにより、既に攻略した地域であってもゲーム性が維持されることとなる。
（２）拡張表示処理
　次いで、本実施形態に係る拡張現実表示処理について説明する。図３～図７に拡張現実表示処理の手順を示す。
　上述したとおり、本実施形態では、図２に示すように、ユーザー１０の現実地図情報Ｍ１上における移動にリンクさせて、仮想地図情報Ｍ２のキャラクターを移動させ、その移動軌跡に対応した区画（街区等）をブロック単位としてファンタジー化する。このファンタジー化されたブロックＢ０は、現実地図情報Ｍ１上に仮想的なオブジェクトを配置した状態を表した仮想表示データであり、このブロックＢ０によって、現実地図情報Ｍ１が部分的又は全体的に覆われることとなり、ブロックＢ０に覆われた部分には仮想地図情報Ｍ２上に配置された仮想的なオブジェクトが表示される。なお、このファンタジー化ブロックＢ０には、各ファンタジー化ブロックの表示位置に対応する現実地図情報Ｍ１の地理情報に関する文字情報が関連情報として、当該ファンタジー化ブロック上に視認可能に表示される。
　また、図３に示すように、仮想地図情報Ｍ２上にはユーザー以外の仮想オブジェクトＣ２が配置され、その仮想地図上における位置に対応した現実世界の位置に、拡張現実として出現させるように、現実世界を撮影した映像（図４（ａ））に仮想オブジェクトＣ２を合成して表示させることができる（図４（ｂ））。この拡張現実に関する表示処理では、スマートフォン１のカメラ１２１で撮影した実映像と、仮想表示データ生成部１４５ｂが生成したコンピューターグラフィックス等の仮想表示データを合成して、スマートフォン１等のタッチパネル１２ａに表示させる。
　詳述すると、仮想表示データ生成部１４５ｂが、ユーザーの位置情報に基づいて、現実地図情報Ｍ１上に仮想的なオブジェクトＣ２を配置した状態を表した仮想表示データを生成する。一方、画像解析部１４５ａは、カメラ１２１が撮影した実画像Ｇ１を構成する各画素に係る被写体間の相対距離を深度情報として解析する。この深度情報の解析に際し、画像解析部１４５ａは、深度情報データベース３５ｅにアクセスして、深度情報データベース３５ｅに蓄積された学習処理部３０ａによる学習結果を参照する。
　深度情報データベース３５ｅには、画像解析部１４５ａの視差解析部１４５ｃにおいて、図５及び図６に示すように、物理的に離間された少なくとも２点のカメラＣｍ１及びＣｍ２で撮影した画像Ｇ１１及びＧ１２の視差を解析して得られた被写体までの距離が、撮影場所における位置情報と関連付けられて蓄積されている。
　すなわち、視差解析部１４５ｃは、２点のカメラＣｍ１及びＣｍ２で撮影した画像Ｇ１１及びＧ１２を比較して、画像Ｇ１１及びＧ１２内に映り込んでいる建物や地形等の被写体Ｏｂ１～Ｏｂ５を認識する。この視差解析部１４５ｃが解析した画像Ｇ１１及びＧ１２の視差に基づいて、相対距離算出部１４５ｄにおいて、被写体Ｏｂ１～Ｏｂ５間の相対距離を算出し、各被写体を構成する画素ごとの深度、すなわちカメラ位置から被写体までの距離（奥行き）を深度情報として算出する。
　なお、本実施形態における視差解析や相対距離算出は、ディープラーニング認識処理によって行われる。このディープラーニング認識処理では、画像を構成する画素の、色及び画像中における位置と、撮影をした時点の位置情報（緯度、経度、高度、方角、日時等）と、画像解析部１４５ａが算出した相対距離に関する情報との相関である相関情報を上記深度情報として蓄積する。そして、相対距離算出部１４５ｄは、解析対象となる画像について、撮影時の位置情報を参照しつつ、各画素の特徴点と合致する相関情報を抽出し、相関情報に紐付けられた深度情報を参照して、画素毎に被写体までの距離を認識する。
　詳述すると、本実施形態では、物理的に離間された２つのカメラ装置によって撮影された画像や、撮影車に搭載された車載カメラ装置等によって走行しながら撮影された多数の画像を教師データとして、学習処理部３９ａが、画像を構成する画素ごとの特徴点を階層的に複数抽出し、抽出された特徴点の階層的な組合せパターンを深度情報として深度情報データベース３５ｅに蓄積する。そして、スマートフォン１において拡張現実を表示する際には、カメラ１２１で撮影された実画像（ここでは１枚の画像）について、深度情報データベース３５ｅに蓄積された深度情報を参照して、実画像内の被写体を認識し、それら被写体までの深度を算出する。
　この学習処理部３９ａによる認識処理の概要を図１１に示す。同図に示すように、学習処理部３９ａは多クラス識別器であり、複数種のオブジェクトの特徴が設定され、物理的に離間された２つのカメラ装置によって撮影された視差画像Ｇ１１及びＧ１２を解析し、複数のオブジェクトの中から特定の特徴点を含むオブジェクトＯｂｎ（ここでは、「建物」）を検出する。この学習処理部３９ａは、入力ユニット（入力層）３９７、第１重み係数３９８、隠れユニット（隠れ層）３９９、第２重み係数３９０、及び出力ユニット（出力層）３９１を有する。
　入力ユニット３９７には複数個の特徴ベクトル３９２が入力される。第１重み係数３９８は、入力ユニット３９７からの出力に重み付けする。隠れユニット３９９は、入力ユニット３９７からの出力と第１重み係数３９８との線形結合を非線形変換する。第２重み係数３９０は隠れユニット３９９からの出力に重み付けをする。出力ユニット３９１は、各クラス（例えば、高層ビル、低層住宅、空等）の識別確率を算出する。ここでは出力ユニット３９１を３つ示すが、これに限定されない。出力ユニット３９１の数は、物体識別器が検出可能な物体の数と同じである。また、この学習に際して、画素毎の特徴点と、現実地図上における位置情報とを関連付けて、重み付けを行うようにしてもよい。
　そして、このようにして学習処理部３９ａが蓄積した、画素ごとの特徴点の階層的な組合せパターンを含む深度情報を参照して、画像解析部４５ａは、カメラ１２１で撮影された実画像に対し、特徴点の組合せパターンとの合致度に応じた識別確率を算出し、その算出結果に応じて画像中の被写体を認識し、カメラの位置から被写体までの距離を算出し、各被写体に含まれる画素毎の深度情報として出力する。
　拡張現実表示処理部１４５ｅでは、画像解析部４５ａにおいて算出された被写体間の相対距離を含む深度情報に従って、カメラ１２１が撮影した映像（ここでは、１枚の実画像）に、仮想表示データ生成部１４５ｂが生成した仮想表示データ（ここではキャラクターＣ２の二次元表示データ）を重畳又は合成して表示させる。具体的には、図７に示すように、レイヤー生成部１４５ｆが、映像（実画像Ｇ１）を構成する各画素を、画素それぞれの深度情報に基づいて、当該実画像Ｇ１の奥行き方向に階層をなす複数のレイヤーＬｙ１～Ｌｙ５に分配した後、合成処理部１４５ｇにおいて、レイヤー生成部１４５ｆが生成した各レイヤーＬｙ１～Ｌｙ５それぞれの深度情報に従って、キャラクターＣ２の二次元表示データを、実画像中に重畳させる。
（３）ポイント発行処理
　図１７は、本実施形態に係る上記ポイント発行処理の手順を示すフローチャート図である。同図に示すように、ユーザー１０のスマートフォン１では、ゲームプログラムの実行中、常時或いは定期的に位置情報の取得処理及び移動速度の算出処理を実行しゲームサーバー３に報告する（Ｓ１０１）。具体的には、位置情報取得部１４４が、加速度センサー１６による検出値や、ユーザーの現在位置の変位、ＧＰＳによる緯度・経度、基地局からの電波強度及び基地局情報に基づく三角測位による基地局測位、ＷｉｆｉのＳＳＩＤ（Service SetID）及び電波状況と経度緯度を組み合わせたデータベースを利用したＷｉｆｉ測位等による基地局測位の変化を位置情報として取得する。
　ユーザー端末から位置情報の報告を受けたゲームサーバー３では、ユーザー毎の累積経路を記録し（Ｓ２０１）、ユーザー毎の移動量（累積移動距離）を算出して蓄積している。この移動量が一定以上蓄積されるまで、累積経路の記録を継続し（Ｓ２０２における「Ｎ」）、一定上の移動量が蓄積されると（Ｓ２０２における「Ｙ」）、その移動量に応じたポイント数が価値情報として発行される（Ｓ２０３）。この発行されたポイントは、ユーザーのスマートフォン１側でダウンロード等により受領される（Ｓ１０２）。
　ユーザーのスマートフォン１側では、受領したポイントに応じてキャラクターＣ１を仮想地図情報Ｍ２上で移動させたり（Ｓ１０４）、そのポイントを貯めたりできる。また、継続してユーザー１０が移動し続けて、ポイント発行を繰り返し（Ｓ１０３における「Ｎ」）、ポイントが一定量以上蓄積されると（Ｓ１０３における「Ｙ」）、経路隣接ブロック路のファンタジー化或いは未踏地ブロックのファンタジー化をしたり、アイテムの購入などに使用したりなどの特典イベントの利用が可能となる（Ｓ１０５）。この特典イベントはポイント数に応じて選択的に利用が可能となり、ユーザーが利用可能な特典イベントを任意に選択し、利用要求の操作により実行される。この利用要求の操作は、ポイント数に応じたイベント発生処理に基づいて行われる。
　ユーザーがイベントの利用を選択すると、それに伴いイベントが進展され、ユーザーによるタッチ操作により、隣接ブロックや未踏地ブロックのファンタジー化が行われ（Ｓ１０５）、その操作結果がゲームサーバー３に報告される。このイベント進展報告を受けたゲーム側では、進展されたイベントに基づいてゲームを進行させる処理を実行する（Ｓ２０４）。以上のポイント発行と、その蓄積及びポイント利用によるイベント進展をゲームが終了するまで（Ｓ１０６及びＳ２０５における「Ｙ」）繰り返すことができる（Ｓ１０６及びＳ２０５における「Ｎ」）。
（４）一括入力操作処理
　次いで、イベント時における一括入力処理について説明する。本実施形態において、ゲーム進行処理部１４１は、例えば、ファンタジー化したブロック上に存在するモンスターＭ０などに接近すると、そのモンスターと遭遇したとしてバトル等のイベント処理が実行される。このバトル等のイベント処理においても、モンスターＭ０等の仮想オブジェクトを、本実施形態の拡張表示処理によって、実画像に重畳させて画面上に表示させることができる。
　本実施形態に係るゲーム進行処理部１４１には、イベント発生領域を通過中に、モンスターと遭遇しイベント処理が発生した場合に、そのイベント処理において、各モンスターに対して本来個別的に入力すべき操作を、単一の一括終了操作で遂行する入力インターフェース制御機能が備えられている。このゲーム進行処理部１４１では、通常、定型的なイベント処理において登場する複数の処理対象（モンスターＭ０等）のそれぞれに対して、ユーザー操作の入力を個別的に受け付ける個別入力ステップが実行されるが、ユーザーの選択操作に基づいて、この個別入力ステップに代えて、複数のモンスターを一括して処理する単一の一括終了操作の入力が可能となる一括終了操作ステップが設けられている。この一括終了操作の入力によって、複数のモンスターが全て処理された場合に当該イベント処理が遂行されたものとしてゲームを進行される。
　ここで、通常行われる個別入力としては、図２０に示すように、バトルに登場するモンスター一匹一匹に対して、タッチパネル上に斜線を素早く入力するスラッシュ操作や（同図（ａ））、タッチパネル上に○や×、△などの記号を描く（同図（ｂ））など、モンスターの種別に応じたサインを入力する方法が挙げられる。なお、同図に示すような、モンスターＭ０などの仮想オブジェクトが登場するバトル画面などでも、モンスターＭ０等の仮想オブジェクトを、本実施形態の拡張表示処理によって、実画像に重畳させて画面上に表示させることができる。
　一方、一括終了操作としては、例えば図１９に示すように、スマートフォン１を傾斜させて、モンスターを一括して画面外へ排除する操作であったり、スマートフォン１を振ってモンスターを一括してショック死させる操作であったり、マイクに向かって息を吹きかけてマイクに風圧によるノイズ音を入力する操作であってもよい。なお、これら複数の処理対象であるモンスターには、処理完了に必要なしきい値としてライブポイントやレベルがそれぞれ設定されており、一括操作入力では、しきい値が所定の値以下であるモンスターのみが退治され、一定のしきい値を越えるモンスターに対しては、上述した個別入力が要求される。
　このような一括入力操作処理について具体的に説明する。図１８は、イベント処理に関する動作を示すシーケンス図である。先ず、ゲーム進行に際し、周期的に各スマートフォン１において位置情報を取得してゲームサーバー３に送信する（Ｓ４０１及びＳ３０１）。ゲームサーバー３側では、この送信された各ユーザーの移動距離に従ってポイントを発行し（Ｓ３０２）、発行されたポイントをスマートフォン１側に送信して、ユーザーに付与する（Ｓ３０３）。スマートフォン１側では、この付与されたポイントを受信し、ユーザー操作に基づいてポイントの利用することにより、キャラクターＣ１が仮想地図上を移動させたり、ブロックをファンタジー化したりできるようになる（Ｓ４０２）。
　そして、バトルのイベント処理が発生したときに（Ｓ４０３の「Ｙ」）、ユーザーが一括処理を選択した場合（Ｓ４０４の「Ｙ」）、個別処理を省略して、一括終了操作にてイベントを進行させる。また、ユーザーが一括処理を選択しない場合には、通常通りの定型的な個別入力を要求する（Ｓ４０６）。なお、ここでは、ユーザーによる任意の選択操作により一括処理を実行できるようにしているが、例えば、スマートフォン１側において位置情報取得部１４４が取得する自機の現在位置の移動速度を監視し、ユーザーの移動速度が所定値以上である場合に、当該イベントの処理において強制的に一括処理を実行するようにしてもよい。この場合、ゲーム進行処理部１４１が、一括処理可能イベントにおいて、複数の定型的な操作に代えて一括終了操作を強制的に選択して、個別入力操作を省略してバトルを終了させてゲームを進行させる。このとき、ユーザーの移動速度が所定値以上である場合には、バトルに登場するモンスターのレベルを低減させて、一括終了の成功率を高めるようにしてもよい。
　一方、一括処理にによって（Ｓ４０４の「Ｙ」）、モンスターが全滅した場合（Ｓ４０５の「Ｙ」）には、当該イベント処理が遂行されたとして同期処理部１４２を通じてゲームサーバー３側のゲーム進行処理部１４１に通知され（Ｓ４０７）、ゲームサーバー３側で同期処理がなされ（Ｓ３０４）、その実行されたイベント処理の結果が後のゲーム進行処理に反映される（Ｓ３０５）。他方、ステップＳ４０４で一括処理を選択しなかった場合（Ｓ４０４の「Ｎ」）、又は一括処理でモンスターが全滅しなかった場合（Ｓ４０５の「Ｎ」」）、個別定型入力を受け付け（Ｓ４０６）、通常通りのバトル展開と実行する。そして、バトルの終了後、その結果を、サーバー側に送信して同期処理を行い（Ｓ４０７）、この報告を受けたゲームサーバー３側では、同期処理がなされ（Ｓ３０４）、バトルの結果が、後のゲーム進行処理に反映される（Ｓ３０５）。
　以上の処理は、ゲームが終了されるまで繰り返され（Ｓ４０８の「Ｎ」）、ゲーム処理の操作がなされたときに（Ｓ４０８の「Ｙ」）、ゲームが終了される。
（作用・効果）
　以上説明したように、本実施形態によれば、仮想世界において、ユーザーに対応するキャラクター及びその他のオブジェクトが移動して、種々のイベント処理を実行させてゲームを進行させるゲームシステムにおいて、拡張現実表示機能によって仮想上のオブジェクトを現実世界の実映像に中に重畳して合成する際に、簡単な処理で映像中の被写体の距離感や前後関係を適切に表示することができ、拡張現実の多様化を図り、より娯楽性を向上させることができる。
　Ｂ０…ブロック
　Ｂ０ｕ…ブロック
　Ｂ１…未タップ状態ブロック
　Ｂ２…活性化ブロック
　Ｂ３…グレードアップされた活性化ブロック
　Ｂ４…不活性ブロック
　Ｂ５…活性化ブロック（未タップ状態）
　Ｂ６…未踏地ブロック
　Ｂｌｄ…ビル
　Ｃ１…キャラクター
　Ｍ０…モンスター
　Ｍ１…現実地図情報
　Ｍ２…仮想地図情報
　Ｔｐ…ポイント
　１…スマートフォン
　２…インターネット
　３…ゲームサーバー
　１０…ユーザー
　１１…通信インターフェース
　１２…入力インターフェース
　１２ａ…タッチパネル
　１３…出力インターフェース
　１３ａ…表示部
　１４…アプリケーション実行部
　１５…メモリ
　１６…加速度センサー
　２１…衛星
　２２…無線基地局
　３１…通信インターフェース
　３２…位置情報管理部
　３３…認証部
　３４…ゲームデータ配信部
　３５ａ…現実地図データベース
　３５ｂ…ユーザーデータベース
　３５ｃ…ゲーム用データベース
　３５ｄ…ポイントデータベース
　３５ｅ…深度情報データベース
　３６，１４１…ゲーム進行処理部
　３７…仮想地図情報管理部
　３８…ポイント発行部
　３９…深度情報管理部
　３９ａ…学習処理部
　４５ａ…画像解析部
　１２１…カメラ
　１４１…ゲーム進行処理部
　１４２…同期処理部
　１４３…イベント処理部
　１４４…位置情報取得部
　１４４ａ…移動経路記録部
　１４５…表示データ生成部
　１４５ａ…画像解析部
　１４５ｂ…仮想表示データ生成部
　１４５ｃ…視差解析部
　１４５ｄ…相対距離算出部
　１４５ｅ…拡張現実表示処理部
　１４５ｆ…レイヤー生成部
　１４５ｇ…合成処理部
　１４６…表示制御部
　３９０，３９８…重み係数
　３９１…出力ユニット
　３９２…特徴ベクトル
　３９７…入力ユニット
　３９９…ユニット

Claims (3)

  1. 　現実世界を撮影した映像に、仮想的なオブジェクトを合成して表示する拡張現実表示システムであって、
    　現実世界の映像を撮影する撮影部と、
    　前記撮影部が映像を撮影した時点の座標及び方位を位置情報として取得する位置情報取得部と、
    　撮影された前記現実世界の映像を構成する各画素に係る被写体間の相対距離を深度情報として解析する画像解析部と、
    　前記位置情報取得部が取得した前記位置情報に基づいて、前記現実世界における地理情報を含む現実地図情報上に前記仮想的なオブジェクトを配置した状態を表した仮想表示データを生成する仮想表示データ生成部と、
    　前記深度情報に従って、前記撮影部が撮影した映像に、前記仮想表示データ生成部が生成した前記仮想表示データを重畳させて表示させる合成処理部と
    を備えることを特徴とする拡張現実表示システム。
  2. 　現実世界を撮影した映像に、仮想的なオブジェクトを合成して表示する拡張現実表示プログラムであって、コンピューターを、
    　現実世界の映像を撮影する撮影部と、
    　前記撮影部が映像を撮影した時点の座標及び方位を位置情報として取得する位置情報取得部と、
    　撮影された前記現実世界の映像を構成する各画素に係る被写体間の相対距離を深度情報として解析する画像解析部と、
    　前記位置情報取得部が取得した前記位置情報に基づいて、前記現実世界における地理情報を含む現実地図情報上に前記仮想的なオブジェクトを配置した状態を表した仮想表示データを生成する仮想表示データ生成部と、
    　前記深度情報に従って、前記撮影部が撮影した映像に、前記仮想表示データ生成部が生成した前記仮想表示データを重畳させて表示させる合成処理部として
    機能させることを特徴とする拡張現実表示プログラム。
  3. 　現実世界を撮影した映像に、仮想的なオブジェクトを合成して表示する拡張現実表示方法であって、
    　現実世界の映像を撮影部が撮影するとともに、前記撮影部が映像を撮影した時点の座標及び方位を位置情報として位置情報取得部が取得するステップと、
    　前記位置情報取得部が取得した前記位置情報に基づいて、前記現実世界における地理情報を含む現実地図情報上に前記仮想的なオブジェクトを配置した状態を表した仮想表示データを仮想表示データ生成部が生成するステップと、
    　前記深度情報に従って、前記撮影部が撮影した映像に、前記仮想表示データ生成部が生成した前記仮想表示データを重畳させて合成処理部が表示させるステップと
    を含むことを特徴とする拡張現実表示方法。
PCT/JP2018/009280 2017-05-26 2018-03-09 拡張現実表示システム、プログラム及び方法 WO2018216312A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201880026460.8A CN110537210B (zh) 2017-05-26 2018-03-09 增强现实显示系统、程序以及方法
US16/617,193 US10839218B2 (en) 2017-05-26 2018-03-09 Augmented reality display system, program, and method
US17/007,699 US11017235B2 (en) 2017-05-26 2020-08-31 Augmented reality display system, program, and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-104156 2017-05-26
JP2017104156A JP6275310B1 (ja) 2017-05-26 2017-05-26 拡張現実表示システム、プログラム及び方法

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/617,193 A-371-Of-International US10839218B2 (en) 2017-05-26 2018-03-09 Augmented reality display system, program, and method
US17/007,699 Continuation US11017235B2 (en) 2017-05-26 2020-08-31 Augmented reality display system, program, and method

Publications (1)

Publication Number Publication Date
WO2018216312A1 true WO2018216312A1 (ja) 2018-11-29

Family

ID=61158295

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/009280 WO2018216312A1 (ja) 2017-05-26 2018-03-09 拡張現実表示システム、プログラム及び方法

Country Status (4)

Country Link
US (2) US10839218B2 (ja)
JP (1) JP6275310B1 (ja)
CN (1) CN110537210B (ja)
WO (1) WO2018216312A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11010975B1 (en) 2018-03-06 2021-05-18 Velan Studios, Inc. Remote camera augmented reality system
JP7349139B2 (ja) 2019-11-06 2023-09-22 株式会社コナミデジタルエンタテインメント ゲームプログラム、端末装置、方法、およびゲームシステム

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190378334A1 (en) * 2018-06-08 2019-12-12 Vulcan Inc. Augmented reality portal-based applications
US10817582B2 (en) * 2018-07-20 2020-10-27 Elsevier, Inc. Systems and methods for providing concomitant augmentation via learning interstitials for books using a publishing platform
US11241624B2 (en) * 2018-12-26 2022-02-08 Activision Publishing, Inc. Location-based video gaming with anchor points
KR102188313B1 (ko) * 2019-02-12 2020-12-08 한국항공우주산업 주식회사 Vr을 이용한 다기종 비행 훈련 시뮬레이터
WO2020195021A1 (ja) * 2019-03-28 2020-10-01 日本電気株式会社 情報処理装置、表示システム、表示方法、及びプログラムが格納された非一時的なコンピュータ可読媒体
CN110221690B (zh) 2019-05-13 2022-01-04 Oppo广东移动通信有限公司 基于ar场景的手势交互方法及装置、存储介质、通信终端
CN112037592A (zh) * 2019-06-03 2020-12-04 广东小天才科技有限公司 一种基于增强现实的学习交互方法和系统
CN110490131B (zh) * 2019-08-16 2021-08-24 北京达佳互联信息技术有限公司 一种拍摄设备的定位方法、装置、电子设备及存储介质
KR102256973B1 (ko) * 2019-09-10 2021-05-27 김용희 증강현실을 이용한 반려동물 동반 게임 제공장치 및 방법
JP2022505002A (ja) * 2019-10-15 2022-01-14 ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド 拡張現実データの表示方法、装置、機器、記憶媒体及びプログラム
US20210144297A1 (en) * 2019-11-12 2021-05-13 Shawn Glidden Methods System and Device for Safe-Selfie
CN115835914A (zh) * 2020-05-11 2023-03-21 奈安蒂克公司 将真实世界活动与平行现实游戏进行链接
US11325043B2 (en) * 2020-05-15 2022-05-10 Microsoft Technology Licensing, Llc Utilizing multiple input sources for generating gameplay locations
CN113760088A (zh) * 2020-06-04 2021-12-07 史克威尔·艾尼克斯有限公司 增强现实显示装置以及记录介质
JP2022079362A (ja) * 2020-11-16 2022-05-26 任天堂株式会社 情報処理システム、情報処理プログラム、情報処理装置、および情報処理方法
US11590423B2 (en) 2021-03-29 2023-02-28 Niantic, Inc. Multi-user route tracking in an augmented reality environment
JP7350044B2 (ja) 2021-12-06 2023-09-25 本田技研工業株式会社 映像作成プログラム
US20230334792A1 (en) * 2022-04-18 2023-10-19 Mobeus Industries, Inc. Interactive reality computing experience using optical lenticular multi-perspective simulation
WO2023215637A1 (en) * 2022-05-06 2023-11-09 Mobeus Industries, Inc. Interactive reality computing experience using optical lenticular multi-perspective simulation
WO2024039887A1 (en) * 2022-08-19 2024-02-22 Mobeus Industries, Inc. Interactive reality computing experience using optical lenticular multi-perspective simulation
CN115645925B (zh) * 2022-10-26 2023-05-30 杭州有九文化传媒有限公司 一种基于增强现实的游戏数据处理方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003143478A (ja) * 2001-10-31 2003-05-16 Canon Inc 映像合成装置および情報処理方法
JP2006053694A (ja) * 2004-08-10 2006-02-23 Riyuukoku Univ 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体
JP2013197881A (ja) * 2012-03-19 2013-09-30 Casio Comput Co Ltd 撮像装置及び撮像方法、画像表示装置及び画像表示方法、プログラム
US20150279103A1 (en) * 2014-03-28 2015-10-01 Nathaniel D. Naegle Determination of mobile display position and orientation using micropower impulse radar

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4061566B2 (ja) * 2001-11-06 2008-03-19 松下電器産業株式会社 ブラックバランス調整方法、および撮像装置
GB2396816A (en) 2002-12-17 2004-07-07 Pa Consulting Services Injection device
JP2006047085A (ja) 2004-08-04 2006-02-16 Denso Corp 赤外線センサ装置およびその製造方法
US8570320B2 (en) * 2011-01-31 2013-10-29 Microsoft Corporation Using a three-dimensional environment model in gameplay
JP5568610B2 (ja) * 2012-08-28 2014-08-06 株式会社プレミアムエージェンシー 拡張現実システム、映像合成装置、映像合成方法及びプログラム
US9342929B2 (en) * 2013-01-22 2016-05-17 Microsoft Technology Licensing, Llc Mixed reality experience sharing
JP2014174589A (ja) * 2013-03-06 2014-09-22 Mega Chips Corp 拡張現実システム、プログラムおよび拡張現実提供方法
JP2015114757A (ja) * 2013-12-10 2015-06-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP5752219B2 (ja) 2013-12-12 2015-07-22 未来工業株式会社 ボックス支持具、ボックス支持装置及びボックス支持具の取着方法
JP6293020B2 (ja) * 2014-08-27 2018-03-14 株式会社テクノクラフト キャラクター連携アプリケーション装置
WO2016064435A1 (en) * 2014-10-24 2016-04-28 Usens, Inc. System and method for immersive and interactive multimedia generation
WO2016152633A1 (ja) * 2015-03-26 2016-09-29 ソニー株式会社 画像処理システムおよび画像処理方法、並びにプログラム
US10419669B2 (en) * 2017-01-17 2019-09-17 Disney Enterprises, Inc. Omnistereoscopic panoramic video

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003143478A (ja) * 2001-10-31 2003-05-16 Canon Inc 映像合成装置および情報処理方法
JP2006053694A (ja) * 2004-08-10 2006-02-23 Riyuukoku Univ 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体
JP2013197881A (ja) * 2012-03-19 2013-09-30 Casio Comput Co Ltd 撮像装置及び撮像方法、画像表示装置及び画像表示方法、プログラム
US20150279103A1 (en) * 2014-03-28 2015-10-01 Nathaniel D. Naegle Determination of mobile display position and orientation using micropower impulse radar

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11010975B1 (en) 2018-03-06 2021-05-18 Velan Studios, Inc. Remote camera augmented reality system
JP7349139B2 (ja) 2019-11-06 2023-09-22 株式会社コナミデジタルエンタテインメント ゲームプログラム、端末装置、方法、およびゲームシステム

Also Published As

Publication number Publication date
JP2018200519A (ja) 2018-12-20
JP6275310B1 (ja) 2018-02-07
CN110537210B (zh) 2020-09-25
US10839218B2 (en) 2020-11-17
US20200401806A1 (en) 2020-12-24
US11017235B2 (en) 2021-05-25
US20200160055A1 (en) 2020-05-21
CN110537210A (zh) 2019-12-03

Similar Documents

Publication Publication Date Title
JP6275310B1 (ja) 拡張現実表示システム、プログラム及び方法
CN108601978B (zh) 游戏系统以及游戏程序
JP6279135B1 (ja) 位置ゲーム用インターフェースシステム、プログラム及び制御方法
JP7043567B2 (ja) 入力インターフェースシステム及び位置ゲームシステム
JP6367450B1 (ja) 位置ゲーム用インターフェースシステム、プログラム及び制御方法
JP6223617B1 (ja) 仮想地図表示システム、プログラム及び方法
WO2018190050A1 (ja) 位置ゲームにおけるオブジェクト制御システム、プログラム及び方法
JP6279136B1 (ja) 位置ゲームにおけるオブジェクト制御システム、プログラム及び方法
JP6366773B1 (ja) 入力インターフェースプログラム、システム及び入力インターフェースの制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18804984

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18804984

Country of ref document: EP

Kind code of ref document: A1