CN114642874A - 显示系统及服务器 - Google Patents

显示系统及服务器 Download PDF

Info

Publication number
CN114642874A
CN114642874A CN202111527959.7A CN202111527959A CN114642874A CN 114642874 A CN114642874 A CN 114642874A CN 202111527959 A CN202111527959 A CN 202111527959A CN 114642874 A CN114642874 A CN 114642874A
Authority
CN
China
Prior art keywords
virtual object
unit
image
display
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111527959.7A
Other languages
English (en)
Inventor
芹泽和实
小森谷一记
石川飒雅咖
谷森俊介
三浦正哉
田村康司
日比野清荣
向里菜
稻垣智也
狄勤莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN114642874A publication Critical patent/CN114642874A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/216—Input arrangements for video game devices characterised by their sensors, purposes or types using geographical information, e.g. location of the game device or player using GPS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Environmental & Geological Engineering (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种显示系统及服务器，所述显示系统具备显示装置和远程终端装置。显示装置具备拍摄器、图像识别部以及显示控制部。图像识别部识别拍摄器的拍摄图像内的现实物体，并且对识别到的各现实物体的在空间坐标上的位置进行识别。显示控制部使假想物体重叠显示于拍摄图像内的空间坐标上的指定位置。图像识别部识别拍摄图像内的、现实物体对假想物体的指定位置的姿势。显示控制部根据识别到的姿势执行对假想物体的图像处理。

Description

显示系统及服务器
技术领域
在本说明书中，公开了显示增强现实(AR，Augmented Reality)图像的显示系统、以及该系统所包括的服务器。
背景技术
以往以来，已知有使用了增强现实技术的显示装置。例如在日本特开2019-075125中，通过对假想(虚拟)物体(假想对象物)做出姿势(手势)，来进行对该假想对象物的图像处理。例如在头戴式显示器(HMD)的显示器上投影作为假想物体的文件夹图标(存储图标)。通过做出用手指捏住该立体图标等姿势，执行文件夹图标的展开等图像处理。
发明内容
考虑使用上述那样的增强现实技术来提供追踪并捕捉逃跑的假想物体等所谓的AR游戏的服务。在这样的情况下，若使作为逃跑者的假想物体的逃跑路径模式化，则难以维持游戏的魅力。另一方面，若制作用于使逃跑路径复杂化的算法，则提供AR游戏的系统的负荷有可能变得过大。
在本说明书中，公开了在提供AR游戏时能够抑制提供该游戏的系统的负荷并且维持AR游戏的魅力的显示系统及该系统所包括的服务器。
在本说明书中，公开了一种显示系统。该显示系统具备显示装置和操作装置。显示装置具备拍摄器、图像识别部以及显示控制部。拍摄器对现实世界的景象进行拍摄。图像识别部识别拍摄器的拍摄图像内的现实物体，并且对识别到的各现实物体的在空间坐标上的位置进行识别。显示控制部使假想物体重叠显示于拍摄图像内的空间坐标上的指定位置。图像识别部识别拍摄图像内的、现实物体对假想物体的指定位置的姿势。显示控制部根据识别到的姿势执行对假想物体的图像处理。另外，操作装置具备能够输入变更假想物体的指定位置的操作指令的输入部。
根据上述构成，例如，AR游戏中的成为追踪对象的假想物体由向操作装置输入操作指令的操作者来操作。由此，能够在不制作复杂的算法的情况下避免假想物体的逃跑路径的模式化。
另外，在上述构成中，可以是，显示系统还具备能够与显示装置及操作装置进行通信的服务器。在该情况下，显示装置配置于复合设施内，所述复合设施设置有具有各自不同的特定主题的多个设施。服务器具备存储部和发送部。所述存储部，将被设定为各设施内的角色的角色图像与复合设施的位置信息相关联地进行存储。发送部，将角色图像的数据和与该图像相关联的位置信息一起向显示装置发送。显示控制部选择与指定位置相应的角色图像来作为假想物体的图像并使其重叠显示于拍摄图像。
根据上述构成，能够将按照主题公园等设施的世界观的角色图像作为假想物体的图像进行显示。
另外，在上述构成中，可以是，姿势为指定位置处的捕捉动作。在该情况下，显示装置，在图像识别部识别到现实物体的捕捉动作时，向服务器发送捕捉通知。服务器具备奖励算出部，所述奖励算出部根据从假想物体的操作开始时间点到捕捉动作的识别时间点为止的逃跑期间，来确定对操作装置的操作者的奖励。
根据上述构成，作为对“分配时间来进行假想物体的操作”的激励，对假想物体的操作者给予奖励。
另外，在上述构成中，可以是，显示装置具备输入作为追踪假想物体的追踪游戏的追踪者的参加登记的输入部。在该情况下，操作装置具备输入作为假想物体的操作者的追踪游戏的参加登记的输入部。服务器具备参加者算出部，所述参加者算出部算出处于参加追踪游戏的期间中的追踪者及操作者的数量，并且取得操作者操作的假想物体和追踪者所持的显示装置的、在复合设施内的位置。奖励算出部根据捕捉动作的识别时间点下的所捕捉的假想物体周边的假想物体空间密度，来确定对操作者的奖励。
根据上述构成，例如，能够在假想物体空间密度高的状态即难以被捕捉的状态、和假想物体空间密度低的状态即容易被捕捉的状态下，给予不同的奖励。
另外，在上述构成中，可以是，奖励算出部基于捕捉动作的识别时间点下的所捕捉的假想物体周边的追踪者空间密度，来确定对操作装置的操作者的奖励。
根据上述构成，能够在追踪者空间密度高的状态即容易捕捉的状态、和追踪者空间密度低的状态即难以捕捉的状态下，给予不同的奖励。
另外，在本说明书中，公开了一种服务器。该服务器能够与显示装置及操作装置进行通信。显示装置能够执行使假想物体显示于对现实世界的景象进行拍摄而得到的拍摄图像中并对假想物体进行追踪的追踪游戏。操作装置具备能够输入对假想物体的操作指令的输入部。服务器具备存储部和发送部。存储部，将处于参加追踪游戏的期间中的显示装置的位置信息和由操作装置操作的假想物体的位置信息进行存储。发送部，基于预定的显示装置的位置信息，将该显示装置的周边的假想物体的位置信息向显示装置发送。
根据在本说明书中公开的显示系统及服务器，能够抑制提供AR游戏的系统的负荷并且维持AR游戏的魅力。
附图说明
以下将参照附图说明本发明的示例性实施方式的特征、优点以及技术和产业意义，在附图中同样的附图标记表示同样的要素，并且其中：
图1是例示利用本实施方式的显示系统的复合娱乐设施及其远处的房屋的图。
图2是说明复合娱乐设施内的角色显示区域的图。
图3是例示本实施方式的显示系统所包括的各设备的硬件构成的图。
图4是例示本实施方式的服务器的功能块的图。
图5示出智能手机作为显示装置的例子的图。
图6是例示本实施方式的显示装置的功能块的图。
图7是例示作为本实施方式的操作装置的远程终端装置的功能块的图。
图8是例示使用了本实施方式的显示系统的追踪游戏中的、追踪者流程的图。
图9是例示复合娱乐设施内的景象的图。
图10是例示通过显示装置拍摄图9的景象时的拍摄图像的图。
图11是例示假想物体的捕捉过程的图(1/2)。
图12是例示假想物体的捕捉过程的图(2/2)。
图13是例示使用了本实施方式的显示系统的追踪游戏中的、逃跑者流程的图。
图14是例示显示于远程终端装置的显示部的游戏图像的图。
图15是例示本实施方式的另一例的服务器的功能块的图。
图16是例示本实施方式的另一例的显示装置的功能块的图。
图17是例示作为本实施方式的另一例的操作装置的远程终端装置的功能块的图。
图18是例示使用了本实施方式的另一例的显示系统的追踪游戏中的、追踪者流程的图。
图19是例示使用了本实施方式的另一例的显示系统的追踪游戏中的、逃跑者流程的图。
图20是例示本实施方式的显示装置的另一例的图，是例示头戴式显示器的图。
具体实施方式
在图1中例示出利用本实施方式的显示系统的、复合娱乐设施10和房屋92。房屋92相对于复合娱乐设施10设置在远处，使用显示系统的操作者94处于房屋92。显示系统构成为包括设置于复合娱乐设施10的显示装置30及服务器70、和设置于房屋92的远程终端装置100(操作装置)。
<复合娱乐设施的构成>
在复合娱乐设施10设置有多个主题公园14、16、18。主题公园是指基于特定主题(题目)构成世界观，基于该世界观，综合地构成设备、事件、景观等并进行情景展现的设施。例如，主题公园14、16、18通过连络通路20而连接，复合娱乐设施10的到场者能够经由该连络通路20而往来于各个主题公园14、16、18。
在复合娱乐设施10设置有主题各不相同的主题公园。例如，在复合娱乐设施10设置有游乐园14、水族馆16、以及动物园18作为主题公园。
各主题公园14、16、18基于各自的主题来设定角色。角色按照各主题公园14、16、18的主题及世界观进行设定。例如，在游乐园14中，设定小丑、卡丁车等角色。例如，在水族馆16中，设定鱼、鲨鱼等角色。并且，例如在动物园18中，设定猴子、狮子、熊猫等角色。
如后所述，这些角色的图像(以下适当地记载为角色图像)被用作追踪游戏的逃跑者的图像，所述追踪游戏是能够在复合娱乐设施10内利用的AR游戏服务。
追踪游戏是复合娱乐设施10的到场者能够体验且使用了增强现实技术的“捉迷藏”那样的游戏。如后所述，在该追踪游戏中，将作为追踪对象的逃跑者的假想图像重叠于复合娱乐设施10内的拍摄图像中，将该重叠图像(AR图像)显示于显示装置30。作为追踪者的到场者为了捕捉该假想图像，而追赶假想图像。并且，在本实施方式的显示系统中，作为逃跑者的假想图像的操作通过远离复合娱乐设施10的远程终端装置100来进行。
到场者不仅能够在各主题公园14、16、18内和连络通路20通行，还能够在该设施10内通行。例如，连络通路20的外侧为能够散步的草地。在追踪游戏中，可追踪区域(追踪场地)例如设定为复合娱乐设施10的整个区域。并且，在追踪游戏中，如图2所例示的那样，复合娱乐设施10内的区域被假想地分割为多个区域(area)。例如，这些区域被划分为包括游乐园14的游乐园区域14A、包括水族馆16的水族馆区域16A、以及包括动物园18的动物园区域18A这三个区域。此外，这些区域的边界是假想的，没有设置围栏等物理性的边界单元。复合娱乐设施10的到场者能够向各区域自由地移动。
在追踪游戏中，设定为在各区域14A～18A显示的假想物体的图像(角色图像)不同。例如，在游乐园区域14A中针对游乐园14设定的角色图像被显示为假想物体图像。同样地，在水族馆区域16A中针对水族馆16设定的角色图像被显示为假想物体图像，在动物园区域18A中针对动物园18设定的角色图像被显示为假想物体图像。
这些主题公园14、16、18的角色图像的数据(角色图像数据)在与各主题公园14、16、18的识别记号及位置信息相关联的状态下，存储于服务器70(参照图4)的按照各主题公园的角色存储部82。服务器70例如设置于在复合娱乐设施10内设置的管理者用的大楼(未图示)。存储于按照各主题公园的角色存储部82的角色图像数据的详细情况在后面叙述。
返回图1，在复合娱乐设施10内设置有信标的发送器22。发送器22例如以等间隔的方式设置有多个。如后所述，通过由显示装置30的信标接收器37(参照图3)接收来自该发送器22的信号，从而能够取得显示装置30的当前位置。
在远离复合娱乐设施10的远处的房屋92内配置远程终端装置100。如以下详细叙述的那样，在本实施方式的显示系统中，在作为AR游戏的追踪游戏中，作为逃跑者的假想物体(角色)由远程终端装置100操作。也就是说，复合娱乐设施10的到场者作为追踪者参加追踪游戏，另一方面，作为追踪对象的假想物体由远离复合娱乐设施10的操作者94向远程终端装置100输入操作指令来操作。
<显示系统的各设备的构成>
在图3中例示出本实施方式的显示系统所包括的设备的硬件构成。本实施方式的显示系统构成为包括显示装置30、服务器70、以及远程终端装置100。
<服务器的构成>
参照图3，服务器70例如由计算机构成，例如配置于复合娱乐设施10(参照图1)的管理大楼内。另外，服务器70通过无线LAN等通信单元与显示装置30进行无线连接。并且，服务器70能够通过因特网等通信单元与远程终端装置100进行通信。
服务器70具备键盘、鼠标等输入部71、运算装置的CPU72、以及显示器等显示部73。另外，服务器70具备ROM74、RAM75以及硬盘驱动器76(HDD)作为存储装置。服务器70还具备管理信息的输入输出的输入输出控制器77。这些构成部件与内部总线78连接。
在图4中例示出服务器70的功能块。该功能块例如通过由CPU72执行存储于ROM74、HDD76、或者存储于DVD等计算机可读取的非暂时性的存储介质的程序而构成。
服务器70具备接收部83、参加者算出部84、奖励算出部85、3D模型提取部86、以及发送部87作为功能部。服务器70还具备追踪游戏参加者存储部80、设施地图存储部81、以及按照各主题公园的角色存储部82作为存储部。
在追踪游戏参加者存储部80存储AR游戏即追踪游戏的参加者信息。参加者包括追踪者和逃跑者。追踪者包括复合娱乐设施10的到场者中的、从该到场者所持的显示装置30申请了作为追踪游戏的追踪者的参加登记的到场者。另一方面，逃跑者包括从远程终端装置100申请了作为追踪游戏的逃跑者的参加登记的人。
在追踪游戏参加者存储部80存储处于参加追踪游戏的期间中的追踪者和逃跑者的信息。例如，作为追踪者信息，包括追踪者所持的显示装置30的识别记号和位置信息。另外，作为逃跑者信息，包括操作者94(参照图1)操作的远程终端装置100的识别记号和通过远程终端装置100操作的假想物体的位置信息。
在设施地图存储部81存储作为复合娱乐设施10内的地图信息的公园地图数据。例如，存储复合娱乐设施10内的连络通路20、设备等的位置信息作为公园地图数据。另外，存储水池12(参照图1)等禁止进入区域的位置信息。例如，禁止进入区域设定为逃跑者的禁止移动区域。
具体而言，在设施地图存储部81中，作为公园地图数据，复合娱乐设施10的地图数据在与位置信息相关联的状态下被存储。位置信息是所谓的世界坐标系上的位置信息。世界坐标系的位置信息包括能够使用GPS功能取得的纬度、经度、高度信息、能够使用信标功能取得的空间坐标信息。
此外，在设施地图存储部81存储图2所例示的、追踪游戏上的区域14A、16A、18A的数据。例如，在公园地图数据上，设定各区域14A、16A、18A的边界线，并且对由该边界线区划的各区域赋予按照区域14A、16A、18A而不同的识别记号。
在按照各主题公园的角色存储部82存储作为假想物体图像显示于显示装置30的逃跑者的图像、即角色图像的数据。作为主题公园14、16、18内的角色，按照各自的世界观来设定角色。例如，按照主题公园14、16、18，分别在按照各主题公园的角色存储部82存储遍及多个种类的角色图像数据。例如，针对一个主题公园，在按照各主题公园的角色存储部82存储10种以上且100种以下的角色图像数据。按照主题公园14、16、18，也就是说按照区域14A、16A、18A分别对上述角色图像数据赋予识别记号。并且，对各角色图像数据赋予固有的识别记号。
另外，将作为假想物体的角色图像数据和与该数据相关联的位置信息一起存储于按照各主题公园的角色存储部82。与角色图像数据相关联的位置信息包括允许显示该图像数据的复合娱乐设施10内的区域信息。以下，适当地将角色图像数据和与其相关联的位置信息数据统一记载为“假想物体数据”。
例如，如图2所例示，作为被赋予了与游乐园14对应的识别记号，且显示区域被设定为游乐园区域14A的角色图像15，包括踩球表演中的小丑的图像。另外，作为被赋予了与水族馆16对应的识别记号，且显示区域被设定为水族馆区域16A的角色图像17，包括游泳中的鱼的图像。同样地，作为被赋予了与动物园18对应的识别记号，且显示区域被设定为动物园区域18A的角色图像19，包括奔跑的猴子的图像。
角色的图像数据可以是3D模型数据。该3D模型数据例如包括角色的3D图像数据，该图像数据包括形状数据、纹理(texture)数据、以及动作数据。并且，该图像数据还包括假想物体的捕捉时的效果图像(effect image)的数据。
此外，在图2中，为了使图示明确，作为角色图像15、17、19，图示出了轮廓图，但角色图像15、17、19不限于该形态，可以显示角色图像15、17、19的3D图像。
参加者算出部84算出处于参加追踪游戏的期间中的参加者的人数等。参加者包括追踪者和逃跑者。另外，参加者算出部84取得处于参加追踪游戏的期间中的追踪者、更详细而言追踪者所持的显示装置30的在复合娱乐设施10内的位置信息。并且，参加者算出部84取得处于参加追踪游戏的期间中的操作者操作的逃跑者(假想物体)的在复合娱乐设施10内的位置信息。另外，例如，参加者算出部84参照追踪游戏参加者存储部80，算出后述的追踪者空间密度、逃跑者空间密度(假想物体空间密度)。
另外，对于处于(作为追踪者)参加追踪游戏的期间中的显示装置30，参加者算出部84基于该显示装置30的位置信息，提供其位置周边的假想物体(逃跑者)的位置信息。并且，参加者算出部84向处于(作为逃跑者)参加追踪游戏的期间中的远程终端装置100提供公园地图数据、和逃跑者及追踪者的位置信息。
3D模型提取部86从按照各主题公园的角色存储部82提取假想物体的图像数据即角色图像数据。将所提取的图像数据经由发送部87向显示装置30及远程终端装置100发送。
3D模型提取部86也可以将所有的区域14A、16A、18A的角色图像数据向显示装置30及远程终端装置100发送。例如根据各区域14A、16A、18A分别向显示装置30及远程终端装置100发送任意1种角色图像数据。
奖励算出部85算出对在追踪游戏中操作逃跑者的操作者给予的奖励。例如，基于逃跑时间算出奖励。另外，作为奖励算出的其他要素，包括被捕捉的时间点下的周围的逃跑者空间密度及追踪者空间密度。奖励例如可以是向复合娱乐设施10的入场费用的折扣服务。关于该奖励的算出在后面叙述。
<显示装置30的构成>
参照图1，显示装置30配置于复合娱乐设施10内，被该设施10的到场者(用户)利用。显示装置30能够显示使假想物体的图像与现实世界的景象重叠而得到的假想现实图像。
显示装置30可以是便携型的设备。例如，显示装置30是具备拍摄装置及显示部的智能手机、眼镜型的头戴式显示器(HMD)。
从现实世界的景象的显示方式这一观点出发，显示装置30能够分为视频透视型(VideoSee-Through)显示器(VST显示器)、和光学透视型(OpticalSee-Through)显示器(OST显示器)。在VST显示器中，摄像头等拍摄器对现实世界的景象进行拍摄，在显示部显示其拍摄图像。另一方面，OST显示器通过半反射镜等透视型的显示部对现实世界的景象进行视觉辨认，在该显示部投影假想物体。
上述的智能手机等、具备拍摄器35(参照图3)的显示装置30被分类为VST显示器。另外，上述的头戴式显示器(HMD)将眼镜的镜片作为显示部，对现实世界的景象进行视觉辨认，因此被分类为OST显示器。
在以下的实施方式中，如图5所例示的那样，作为显示装置30的例子，图示出便携型且VST显示器型的智能手机。该智能手机可以是复合娱乐设施10的到场者的所有物，也可以是出借给复合娱乐设施10的到场者的平板终端等租赁物品。
在图3中例示出显示装置30的硬件构成。显示装置30具备CPU31(中央运算装置)、加速度传感器32，陀螺仪传感器33、地磁传感器34、拍摄器35、GPS接收器36、以及信标接收器37。显示装置30还具备输入输出控制器39、系统存储器40、存储设备41、GPU(GraphicsProcessing Unit：图形处理单元)42、帧存储器43、RAMDAC(Random Access MemoryDigital-to-Analog Converter：随机存储器数/模转换器)44、显示控制部45、显示部46、以及输入部47。
系统存储器40是由CPU31执行的操作系统(OS)所使用的存储装置。存储设备41是外部存储装置，例如存储后述的用于使假想现实图像(AR图像)显示的程序。
能够通过加速度传感器32、陀螺仪传感器33、以及地磁传感器34来推定显示装置30的朝向及方位。加速度传感器32测定显示装置30的加速度。如图5所例示的那样，加速度传感器32能够分别计测正交的3个轴方向的加速度。即，与显示部46的显示面平行且轴彼此正交的X轴及Y轴、以及与显示部46的显示面正交的Z轴各自的轴向的加速度由加速度传感器32测定。加速度传感器32、陀螺仪传感器33、以及地磁传感器34例如由MEMS(MicroElectro Mechanical Systems：微机电系统)等所谓的微机器构成。
陀螺仪传感器33测定显示装置30的角速度。如图5所例示的那样，陀螺仪传感器33测定绕正交的3个轴的旋转。也就是说，绕X轴的旋转即俯仰角、绕Y轴的旋转即翻滚角、以及绕Z轴的旋转即方位角(也被称为偏航角)由陀螺仪传感器33测定。另外，地磁传感器34检测显示装置30的相对于磁北的倾斜。
拍摄器35例如是搭载于智能手机的摄像头设备，能够以静态画面和动态画面拍摄现实世界的景象。拍摄器35例如构成为包括CMOS、CCD等拍摄器件。并且，拍摄器35也可以是除了现实世界的拍摄以外还具备测定距拍摄器35的间隔距离的功能的所谓的RGB-D摄像头。作为测定间隔距离的功能，例如在拍摄器35中，除了上述的拍摄器件以外，还设置使用了红外线的测距机构。
GPU42是图像处理用的运算装置，主要在进行后述的图像识别时工作。帧存储器43是存储由拍摄器35拍摄，进而由GPU42进行了运算处理后的图像的存储装置。RAMDAC44将存储于帧存储器43的图像数据转换为面向作为模拟显示器的显示部46的模拟信号。
GPS接收器36从GPS卫星24(参照图1)接收定位信号即GPS信号。GPS信号包括纬度、经度、高度的位置坐标信息。信标接收器37接收从设置于复合娱乐设施10内的信标的发送器22输出的位置信号。
在此，GPS接收器36和信标接收器37的位置推定功能重复。因此，也可以在显示装置30仅设置GPS接收器36和信标接收器37中的任一方。
输入部47能够输入对拍摄器35的启动指令、拍摄指令。例如，输入部47可以是与显示部46一体化的触摸面板。
在图6中例示出显示装置30的功能块。该功能块例如通过由CPU31、GPU42执行存储于系统存储器40、存储设备41的程序而构成。或者，通过由CPU31、GPU42执行存储于DVD、计算机的硬盘等计算机可读取的非暂时性的存储介质的程序来构成图6所例示的功能块。
在图6中，在图3中也例示出的硬件构成的一部分与功能块混合存在的状态下示出显示装置30的构成。在图6中例示出拍摄器35、显示控制部45、输入部47、以及显示部46作为硬件构成。
另外，显示装置30具备位置信息取得部50、发送部52、接收部55、朝向方位推定部56、以及图像识别部58作为功能块。另外，显示装置30具备假想物体数据存储部57、和已学习模型存储部59作为存储部。这些功能块由CPU31、系统存储器40、存储设备41、GPU42、以及帧存储器43等构成。
位置信息取得部50从图3的GPS接收器36和信标接收器37中的至少一方取得显示装置30的当前位置的信息。该位置信息是所谓的世界坐标系的位置信息，在GPS信号的情况下，包含在由纬度、经度以及高度信息构成的空间坐标系上的位置信息中。另外，在接收到的位置信息是从信标信号取得的位置信息的情况下，作为世界坐标系的位置信息，例如将复合娱乐设施10的任意的地点作为原点的空间坐标系上的x坐标、y坐标以及z坐标包含在位置信息中。此外，在此，x坐标及y坐标可以是水平面上的正交坐标轴，另外，z坐标可以是铅直轴。
朝向方位推定部56推定显示装置30的朝向及方位。朝向方位推定部56构成为包括加速度传感器32(参照图3)、陀螺仪传感器33以及地磁传感器34。能够通过地磁传感器34检测显示装置30相对于磁北的倾斜。另外，通过加速度传感器32及陀螺仪传感器33，检测图5中所示的正交坐标系中的倾斜。结果，例如能够求出相对于磁北而言的拍摄器35的光轴的朝向。
图像识别部58接收拍摄器35的拍摄图像数据并进行图像识别。图像识别包括拍摄图像中的现实物体的识别、和识别到的现实物体与显示装置30的间隔距离的推定。在进行这样的图像识别时，例如，如上所述，拍摄图像数据除了拍摄现实世界的景象而得到的彩色图像数据以外，还包括该彩色图像数据的各像素的、距拍摄器35的间隔距离数据。
图像识别部58使用存储于已学习模型存储部59的图像识别用的学习模型，来进行拍摄图像中的现实物体的识别。在已学习模型存储部59中例如存储由外部的服务器等结束了学习(已学习)的图像识别用的神经网络。例如，准备作为包括复合娱乐设施10的屋外的图像数据的、图像内的各物体的已分割(segment)及已注释(annotation)的数据来作为训练用数据。使用该训练用数据，形成通过有教师学习进行了机器学习的多层神经网络，并存储于已学习模型存储部59。该神经网络例如可以是卷积神经网络(CNN)。
如上所述，拍摄器35是设置有测距功能的RGB-D摄像头，能够取得拍摄图像内的各像素的、距拍摄器35的间隔距离。能够使用该间隔距离，求出通过图像识别所识别的拍摄图像内的现实物体距拍摄器35的间隔距离。由此，针对拍摄图像内的各现实物体，能够得到以拍摄器35的预定点(例如焦点)为原点的、所谓的局部坐标系中的位置信息。
并且，若基于朝向方位推定部56推定的拍摄器35的朝向、和通过位置信息取得部50所取得的世界坐标系上的显示装置30的位置，则能够对拍摄图像中的现实物体求出世界坐标系上的位置(空间坐标系上的位置)。
此外，在拍摄图像中，虽然也拍摄在进深方向上位于远方的现实物体，但在追踪游戏中通常对追踪者附近的逃跑者(角色)进行捕捉。因此，例如，关于对拍摄图像的各像素求出的距离信息，在超过预定的间隔距离(例如100m)的情况下，也可以不对该像素求出世界坐标系上的位置。
在假想物体数据存储部57存储表示逃跑者的假想物体即角色的图像数据。可以在假想物体数据存储部57存储所有的区域14A、16A、18A的角色图像数据。例如，在假想物体数据存储部57，按照各区域14A、16A、18A分别存储任意1种角色图像数据。另外，使位置信息与这些角色图像数据相关联。例如，将能够作为假想物体而显示的位置坐标的范围与各角色图像数据相关联。
显示控制部45能够生成使假想物体的图像与现实世界的景象重叠而得到的增强现实图像(AR图像)并使其显示于显示部46。例如，显示控制部45使假想物体即角色的图像重叠于由拍摄器35拍摄现实世界的景象而得到的拍摄图像，并使该重叠图像显示于显示部46。显示部46例如可以是液晶显示器或有机EL显示器。
如后述的图10那样，显示控制部45生成使作为追踪游戏中的逃跑者的假想物体的图像与拍摄器35的拍摄图像重叠的增强现实图像。显示控制部45从服务器70取得逃跑者(假想物体)的位置信息(指定位置)。进而，显示控制部45使逃跑者的图像即角色图像重叠于拍摄图像内的指定位置。此时，作为重叠的角色图像，选择与指定位置相应的、即对指定位置所包括的区域14A、16A、18A设定的角色图像。
此外，在追踪游戏中通常对追踪者附近的逃跑者(角色)进行捕捉，所以，在指定位置超过了预定的间隔距离(例如100m)的情况下，对于与该指定位置对应的逃跑者，也可以不将角色图像重叠于拍摄图像。
<远程终端装置的构成>
远程终端装置100是由远离复合娱乐设施10的远处的操作者94(参照图1)操作的操作装置。虽然在图1中图示出一台远程终端装置100和一个操作者94，但能够使多台远程终端装置100与服务器70进行通信，因此，能够使多个操作者94作为逃跑者参加到追踪游戏中。
远程终端装置100(操作装置)例如可以是计算机。参照图3，远程终端装置100具备作为运算装置的CPU101、作为存储装置的系统存储器102以及存储设备104。
另外，远程终端装置100具备显示部106和控制在该显示部106的显示图像的显示控制部105。另外，远程终端装置100具备管理信息的输入输出的输入输出控制器103。远程终端装置100能够通过因特网等通信单元与服务器70进行通信。
远程终端装置100还具备进行信息输入的输入部107。输入部107例如是鼠标、键盘那样的能够输入对逃跑者的操作指令的设备。如后所述，对逃跑者的操作指令包括设定作为逃跑者的假想物体的位置(指定位置)的指令。
在图7中例示出远程终端装置100的功能块和图3的硬件构成。远程终端装置100具备发送部110、接收部111、假想物体数据存储部112、以及设施地图存储部113作为功能块。
在假想物体数据存储部112存储逃跑者的假想物体即角色的图像数据。角色图像数据与位置信息相关联。例如，将允许显示为表示逃跑者的假想物体的图像的、复合娱乐设施10上的位置坐标的范围与角色图像数据相关联地存储于假想物体数据存储部112。
在设施地图存储部113存储复合娱乐设施10的公园地图数据。该公园地图数据可以是与存储于服务器70(参照图4)的设施地图存储部81的公园地图数据相同的数据。
如后述的图14那样，显示控制部105生成在公园地图的图像即复合娱乐设施10的俯视图上重叠该设施10内的逃跑者及追踪者的图像而得到的游戏图像。例如，由服务器70提供逃跑者及追踪者的当前位置信息。显示控制部105使逃跑者及追踪者的图像重叠于公园地图上的由服务器70提供的当前位置。
<追踪游戏追踪者侧流程>
在图8中例示出使用了本实施方式的显示系统的AR游戏、即追踪游戏的追踪者侧的流程。在追踪者侧流程中，服务器70及显示装置30成为专门执行步骤的主体。在图8的各步骤中，由服务器70执行的步骤用(S)表示。另外，由显示装置30执行的步骤用(D)表示。
参照图4、图6、图8，该追踪者流程在向配置于复合娱乐设施10的显示装置30的输入部47输入了参加追踪游戏的参加登记申请的时间点启动。接收参加登记申请的输入，显示装置30的位置信息取得部50取得显示装置30的当前位置。该当前位置是世界坐标系上的位置坐标。另外，接收参加登记申请的输入，拍摄器35启动并拍摄复合娱乐设施10内的景象。
从发送部52向服务器70发送位置信息取得部50所取得的位置信息和从输入部47输入的参加登记信息(S10)。服务器70的接收部83将显示装置30的位置信息和参加登记信息向参加者算出部84发送。另外，接收部83将显示装置30的位置信息向3D模型提取部86发送。
3D模型提取部86从按照各主题公园的角色存储部82提取假想物体数据。如上所述，假想物体数据包括角色图像数据和与其相关联的位置信息数据(显示区域数据)。从发送部87向显示装置30发送该假想物体数据(S12)。
参加者算出部84使从接收部83接收到的位置信息和参加登记信息存储于追踪游戏参加者存储部80。并且，参加者算出部84从追踪游戏参加者存储部80取得参加追踪游戏的参加者的信息。该信息包括逃跑者的位置信息。逃跑者的位置信息可以是处于参加追踪游戏的期间中的所有逃跑者的位置信息。或者，逃跑者的位置信息也可以是距显示装置30在预定距离内的逃跑者的位置信息。例如，使参加者算出部84取得距显示装置30的位置在半径100m以内的区域的逃跑者的位置信息。该逃跑者的位置信息可以是世界坐标系的位置坐标信息。参加者算出部84将所取得的逃跑者的位置信息向显示装置30发送(S14)。
显示装置30的图像识别部58对拍摄器35的拍摄图像执行图像识别，并进行拍摄图像中的现实物体的分割和注释。并且，图像识别部58基于拍摄器35的测距功能，求出识别到的现实物体距显示装置30的间隔距离(S16)。
接着，图像识别部58通过朝向方位推定部56求出拍摄器35的光轴的朝向及方位(S18)。例如，图像识别部58求出拍摄器35的光轴相对于磁北的方位(角度)、和绕包括光轴的正交3个轴的旋转角(朝向)。
进而，图像识别部58通过位置信息取得部50求出显示装置30在世界坐标系上的位置(S20)。另外，图像识别部58求出拍摄图像内的现实物体在世界坐标系上的位置(S22)。将拍摄图像、在该图像内识别到的现实物体信息、以及该现实物体的世界坐标系上的位置信息向显示控制部45发送。
显示控制部45求出拍摄图像内所包含的逃跑者的位置坐标(S24)。例如，显示控制部45判定从服务器70发送来的多个逃跑者的位置坐标是否包含在拍摄图像内。
进而，显示控制部45使假想物体图像即角色图像重叠于拍摄图像内的逃跑者的位置(指定位置)(S26)。此外，此时重叠的角色图像基于逃跑者的位置信息来选择。例如，选择与包含逃跑者的位置的区域14A、16A、18A对应地设定的角色图像，使该图像重叠于拍摄图像。
在图9中例示出复合娱乐设施10内的景象。另外，在图10中示出了通过显示装置30的拍摄器35拍摄该景象，并在显示部46显示拍摄图像时的例子。在该例子中，拍摄图像中包含逃跑者的位置即指定位置(X1，Y1，Z1)，使角色图像19重叠于该指定位置。另外，在该例子中，示出了指定位置(X1，Y1，Z1)包含在动物园区域18A(参照图2)的例子，使对该区域设定的猴子的角色图像19重叠于拍摄图像。
进而，图像识别部58进行假想物体的捕捉判定(S28)。参照图11，在显示部46显示有角色图像19的状态下，追踪者的手120进入拍摄器35的拍摄视野内，也就是说，追踪者的手120进入显示部46的相对面侧。
并且，追踪者的手120被拍摄器35拍摄并由图像识别部58识别。如图12例示的那样，当作为拍摄图像内的现实物体的追踪者的手121的位置与假想物体的指定位置一致，并且通过手121做出预定的姿势时，图像识别部58识别该姿势。并且，如图12例示的那样，图像识别部58通过姿势的识别，判定为作为逃跑者的假想物体被追踪者捕捉到。总之，该姿势是在显示部46上用手120抓捕假想物体图像即角色图像那样的动作(捕捉动作)即可。图像识别部58在识别到对角色图像的捕捉动作时，图像识别部58经由发送部52向服务器70发送捕捉通知(S30)。捕捉通知包括作为追踪者的自身(显示装置30)的识别记号、进行捕捉的位置、以及捕捉到的逃跑者的识别记号。
另外，当通过图像识别部58判定为捕捉到逃跑者时，显示控制部45执行对假想物体的捕捉时的图像处理。例如如图12例示的那样，显示控制部45使表示角色图像19消失了的放射状的线图122显示于显示部46。
向服务器70的奖励算出部85发送捕捉通知。奖励算出部85对追踪者给予针对捕捉的奖励(S32)。例如，作为奖励，向显示装置30发送得分。在显示装置30的显示部46显示该得分。通过捕捉逃跑者，对于进行了捕捉的追踪者而言的追踪游戏结束。
另一方面，在步骤S28中图像识别部58判定为逃跑者(假想物体)没有被追踪者捕捉的情况下，返回步骤S14，再次从服务器70取得逃跑者的位置坐标。
这样，在追踪游戏中追踪者能够享受追赶显示于显示装置30的显示部46的假想物体(逃跑者)的游戏。并且，作为显示于显示部46的假想物体的图像，选择与该假想物体所处的区域14A、16A、18A对应的角色图像。另外，例如，当假想物体的位置坐标跨越区域时，所显示的角色图像发生变化。通过进行这样的显示控制，能够进行按照复合娱乐设施10的各主题公园14、16、18的世界观的情景展现。
<追踪游戏逃跑者侧流程>
在图13中例示出追踪游戏的逃跑者侧的流程。该流程的步骤专门由服务器70及远程终端装置100执行。在图13中，由服务器70执行的步骤用(S)表示，由远程终端装置100执行的步骤用(T)表示。参照图4、图7、图13，当向远程终端装置100的输入部107输入追踪游戏的参加登记申请时，图13的流程(逃跑者侧流程)启动。
远程终端装置100将参加登记信息向服务器70发送(S50)。参加登记信息包括远程终端装置100或其操作者94(参照图1)的识别记号。接收到参加登记信息的服务器70的接收部83将该信息向参加者算出部84发送。参加者算出部84使参加登记信息存储于追踪游戏参加者存储部80。
进而，参加者算出部84从追踪游戏参加者存储部80取得当前处于参加追踪游戏的期间中的所有追踪者的位置信息(S52)。接着，参加者算出部84将追踪者的附近设定为逃跑者的初始位置(S54)。在多个追踪者处于参加追踪游戏的期间中的情况下，随机地选择追踪者，并将其附近设定为逃跑者的初始位置。追踪者的附近是指例如距追踪者的位置在半径1m以内的范围。
进而，参加者算出部84从设施地图存储部81取得公园地图数据，经由发送部87向远程终端装置100发送该数据(S56)。另外，3D模型提取部86接受参加登记信息，将假想物体数据向远程终端装置100发送。
接着，参加者算出部84将逃跑者及追踪者的位置信息向远程终端装置100发送(S58)。追踪者的位置信息包括处于在复合娱乐设施10内参加追踪游戏的期间中的所有追踪者的位置信息。同样地，逃跑者的位置信息包括处于在复合娱乐设施10内参加追踪游戏的期间中的所有逃跑者的位置信息。另外，在步骤S54中设定的逃跑者的初始位置信息即自身的初始位置信息也包括在逃跑者的位置信息中。
在远程终端装置100中，在假想物体数据存储部112存储假想物体数据。另外，在设施地图存储部113存储公园地图数据。并且，显示控制部105将重叠有追踪者、和包括自身的逃跑者的假想物体图像的公园地图图像作为游戏图像生成并使其在显示部106显示(S60)。
在图14中例示出游戏图像。在该游戏图像中，角色图像15、17、19与公园地图图像上的逃跑者的位置坐标重叠。逃跑者的角色图像15、17、19根据逃跑者的位置包含在哪个区域14A、16A、18A来选择。与此相对，追踪者的角色图像125可以与区域14A、16A、18A无关地同样地设定。
另外，关于表示操作者经由远程终端装置100操作的逃跑者的角色图像19A，例如可以实施施加阴影等、能够与其他角色图像进行辨别的图像处理。
响应于在显示部106显示图14那样的游戏图像，操作者94(参照图1)以使得作为操作对象的逃跑者的角色图像19A能够从追踪者逃离的方式将操作指令向输入部107输入(S62)。也就是说，操作者94向输入部107输入将比当前位置远离追踪者的位置设定为逃跑者(假想物体)的指定位置那样的操作指令。
将输入的操作指令向服务器70发送。在此，奖励算出部85判定是否从作为追踪者的显示装置30发送了针对角色图像19A的捕捉通知(S64)。在没有针对角色图像19A发送捕捉通知的情况下，返回步骤S58。
另一方面，在步骤S64中，在针对角色图像19A向服务器70发送了捕捉通知时，奖励算出部85进行奖励的算出。
首先，奖励算出部85基于角色图像19A的逃跑期间，求出得分系数k1(S66)。逃跑期间例如表示从假想物体即角色图像19A的操作开始时间点到捕捉动作的识别时间点即捕捉通知的输出时间点为止的期间。得分系数k1与逃跑期间成正比地设定为高的值。
接着，奖励算出部85基于角色图像19A的捕捉时间点下的逃跑者密度，求出得分系数k2(S68)。逃跑者密度也可以称为假想物体空间密度，表示假想物体图像即角色图像19A周边的空间密度。例如，算出距捕捉到的角色图像19A的位置坐标在半径5m以内的假想物体(逃跑者)的空间密度作为逃跑者密度。此外，算出捕捉动作的识别时间点即捕捉通知的输出时间点下的假想物体(逃跑者)的空间密度作为逃跑者密度。
逃跑者密度越高，则越难以捕捉逃跑者。因此，设定为逃跑者密度越高则得分系数k2越低。例如，将得分系数k2设定为与逃跑者密度成反比的关系。
接着，奖励算出部85基于角色图像19A的捕捉时间点下的追踪者密度，求出得分系数k3(S70)。追踪者密度也可以称为追踪者空间密度，表示角色图像19A周边的追踪者的空间密度。例如，算出距角色图像19A的位置坐标在半径5m以内的显示装置30的空间密度作为追踪者密度。另外，算出对角色图像19A的捕捉动作的识别时间点即捕捉通知的输出时间点下的显示装置30的空间密度作为追踪者密度。
追踪者密度越高，则越容易捕捉逃跑者。因此，设定为追踪者密度越高则得分系数k3越高。例如，将得分系数k3设定为与追踪者密度成正比的关系。
进而，奖励算出部85算出对预定的基本点乘以得分系数k1、k2、k3而得到的得分并将其赋予远程终端装置100(S72)。例如，经由远程终端装置100操作逃跑者的操作者94(图1)在来到复合娱乐设施10时，能够享受与被赋予的得分相应的折扣服务。
根据以上所说明的显示系统，追踪游戏中的逃跑者的逃跑路径由远程终端装置100的操作者来决定。因此，能够避免逃跑者的逃跑路径的模式化。
另外，对于操作者而言，能够从远离复合娱乐设施10的场所参加到该设施10的活动中。并且，由于能够享受复合娱乐设施10的到场时的折扣服务，因此该服务成为操作逃跑者的激励，能够使足够数量的逃跑者加入到追踪游戏中。
并且，对于显示系统的提供者而言，无需制作设定逃跑者的逃跑路径的算法，因此能够相应地抑制开发成本。
<显示系统的另一例>
在图15～图17中示出本实施方式的显示系统的另一例。在该系统中，由服务器70制作使逃跑者即假想物体的图像与现实世界的拍摄图像重叠的重叠图像。另外，由服务器70制作使逃跑者及追踪者的图像与公园地图数据重叠的游戏图像。
参照图15，在服务器70，除了在图4中所示的功能块以外，还设置有显示控制部88。对于与图4重复的功能块，其功能相同，因此以下适当省略说明。显示控制部88具备显示装置30(参照图6)中的显示控制部45和远程终端装置100(参照图7)中的显示控制部105的功能。也就是说，显示控制部88生成显示于显示装置30的增强现实图像和显示于远程终端装置100的游戏图像。
另外，伴随于在服务器70设置有显示控制部88，如图16例示的那样，在显示装置30省略显示控制部45。另外，也省略假想物体数据存储部57。另外，如图17例示的那样，在远程终端装置100中，除了显示控制部105以外，还省略假想物体数据存储部112及设施地图存储部113。
在图18中例示出基于图15、图16的服务器70及显示装置30的追踪游戏的追踪者流程。关于附有与图8的追踪者流程相同的附图标记的步骤，其处理内容不发生改变，因此，以下适当省略说明。
当从显示装置30接收对追踪游戏的参加登记时，显示装置30向服务器70发送参加登记信息。该信息也包括显示装置30的位置信息。参加登记信息存储于服务器70的追踪游戏参加者存储部80。
进而，在步骤S16～S22中，通过显示装置30进行拍摄图像内的现实物体的识别，并求出这些现实物体的在世界坐标系上的位置信息。接着，将该带有位置信息的拍摄图像数据与显示装置30的位置信息一起向服务器70发送(S82)。进而，服务器70的显示控制部88求出包含在拍摄图像内的逃跑者的位置坐标(S84)。
在下一步骤S28中，在逃跑者没有被追踪者(也就是显示装置30的持有者)捕捉、即追踪游戏继续进行中的情况下，显示控制部88使逃跑者即假想物体的角色图像重叠于拍摄图像内的逃跑者的位置(S86)。重叠的角色图像基于逃跑者的位置来确定。例如，将与包含逃跑者的位置的区域14A、16A、18A对应地设定的角色图像重叠于拍摄图像。进而，将该重叠图像(AR图像)从服务器70向显示装置30发送(S88)。
在图19中例示出基于图15、图17的服务器70及远程终端装置100的追踪游戏的逃跑者流程。关于附有与图13的逃跑者流程相同的附图标记的步骤，其处理内容不发生改变，因此以下适当省略说明。
在步骤S58中，当服务器70的参加者算出部84从追踪游戏参加者存储部80取得追踪者及逃跑者的位置信息时，显示控制部88制作对公园地图图像添加了追踪者和逃跑者的角色图像的游戏图像(S90)。此外，对与发送该游戏图像的发送目的地的远程终端装置100对应的逃跑者添加阴影等识别图像。将所制作出的游戏图像向远程终端装置100发送(S92)，在远程终端装置100的显示部106显示。
根据上述实施方式，由于从显示装置30及远程终端装置100省略了显示控制部，因此，针对这些装置的、制作增强现实图像及游戏图像的负荷被减轻。
<显示装置的另一例>
在上述的实施方式中，作为显示装置30，例示了作为视频透视型显示器的智能手机，但本实施方式的显示装置30并不限于该方式。例如，如图20所例示那样的头戴式显示器(HMD)那样，显示装置30也可以由光学透视型显示器构成。
在该情况下，显示装置30构成为包括拍摄器35、与显示部46对应的半反射镜202、与显示控制部45及图像识别部58对应的投影器203、以及与位置信息取得部50对应的传感器单元201。
半反射镜202例如可以是眼镜、护目镜的镜片。半反射镜202使来自现实世界的光(像)透射至穿戴使用者。另一方面，配置于半反射镜202的上方的投影器203使假想物体的像投影到半反射镜202。由此，能够显示在现实世界的景象即复合娱乐设施10内的景象重叠了表示逃跑者的假想物体即角色的图像的增强现实图像。

Claims (6)

1.一种显示系统，具备显示装置和操作装置，
所述显示装置具备拍摄器、图像识别部以及显示控制部，
所述拍摄器对现实世界的景象进行拍摄，
所述图像识别部识别所述拍摄器的拍摄图像内的现实物体，并且对识别到的各所述现实物体的在空间坐标上的位置进行识别，
所述显示控制部使假想物体重叠显示于所述拍摄图像内的所述空间坐标上的指定位置，
所述图像识别部识别所述拍摄图像内的、所述现实物体对所述假想物体的所述指定位置的姿势，
所述显示控制部根据识别到的所述姿势执行对所述假想物体的图像处理，
所述操作装置具备能够输入变更所述假想物体的所述指定位置的操作指令的输入部。
2.根据权利要求1所述的显示系统，
还具备能够与所述显示装置及所述操作装置进行通信的服务器，
所述显示装置配置于复合设施内，所述复合设施设置有具有各自不同的特定主题的多个设施，
所述服务器具备存储部和发送部，
所述存储部，将被设定为各所述设施内的角色的角色图像与所述复合设施的位置信息相关联地进行存储，
所述发送部，将所述角色图像的数据和与该图像相关联的位置信息一起向所述显示装置发送，
所述显示控制部选择与所述指定位置相应的所述角色图像来作为所述假想物体的图像并使其重叠显示于所述拍摄图像。
3.根据权利要求2所述的显示系统，
所述姿势为所述指定位置处的捕捉动作，
所述显示装置，在所述图像识别部识别到所述现实物体的所述捕捉动作时，向所述服务器发送捕捉通知，
所述服务器具备奖励算出部，所述奖励算出部根据从所述假想物体的操作开始时间点到所述捕捉动作的识别时间点为止的逃跑期间，来确定对所述操作装置的操作者的奖励。
4.根据权利要求3所述的显示系统，
所述显示装置具备输入作为追踪所述假想物体的追踪游戏的追踪者的参加登记的输入部，
所述操作装置具备输入作为所述假想物体的操作者的所述追踪游戏的参加登记的输入部，
所述服务器具备参加者算出部，所述参加者算出部算出处于参加所述追踪游戏的期间中的所述追踪者及所述操作者的数量，并且取得所述操作者操作的所述假想物体和所述追踪者所持的所述显示装置的、在所述复合设施内的位置，
所述奖励算出部根据所述捕捉动作的识别时间点下的所捕捉的所述假想物体周边的假想物体空间密度，来确定对所述操作者的奖励。
5.根据权利要求4所述的显示系统，
所述奖励算出部基于所述捕捉动作的识别时间点下的所捕捉的所述假想物体周边的追踪者空间密度，来确定对所述操作装置的操作者的奖励。
6.一种服务器，能够与显示装置及操作装置进行通信，
所述显示装置能够执行使假想物体显示于对现实世界的景象进行拍摄而得到的拍摄图像中并对所述假想物体进行追踪的追踪游戏，所述操作装置具备能够输入对所述假想物体的操作指令的输入部，
所述服务器具备存储部和发送部，
所述存储部，将处于参加所述追踪游戏的期间中的所述显示装置的位置信息和由所述操作装置操作的所述假想物体的位置信息进行存储，
所述发送部，基于预定的所述显示装置的位置信息，将该显示装置的周边的所述假想物体的位置信息向所述显示装置发送。
CN202111527959.7A 2020-12-21 2021-12-14 显示系统及服务器 Pending CN114642874A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020211009A JP7405734B2 (ja) 2020-12-21 2020-12-21 表示システム及びサーバ
JP2020-211009 2020-12-21

Publications (1)

Publication Number Publication Date
CN114642874A true CN114642874A (zh) 2022-06-21

Family

ID=81992050

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111527959.7A Pending CN114642874A (zh) 2020-12-21 2021-12-14 显示系统及服务器

Country Status (3)

Country Link
US (1) US20220198760A1 (zh)
JP (1) JP7405734B2 (zh)
CN (1) CN114642874A (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6744597B1 (ja) * 2019-10-18 2020-08-19 トヨタ自動車株式会社 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置
US11954774B2 (en) 2021-08-29 2024-04-09 Snap Inc. Building augmented reality experiences with IoT devices
US11941231B2 (en) 2021-08-29 2024-03-26 Snap Inc. Camera interfaces to interact with IoT devices
US20230063194A1 (en) * 2021-08-29 2023-03-02 Yu Jiang Tham Controlling iot devices through ar object interaction

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6754678B2 (ja) * 2016-11-18 2020-09-16 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
GB201709199D0 (en) * 2017-06-09 2017-07-26 Delamont Dean Lindsay IR mixed reality and augmented reality gaming system
JP7142853B2 (ja) * 2018-01-12 2022-09-28 株式会社バンダイナムコ研究所 シミュレーションシステム及びプログラム
JP7041888B2 (ja) 2018-02-08 2022-03-25 株式会社バンダイナムコ研究所 シミュレーションシステム及びプログラム
US20210146265A1 (en) * 2019-11-17 2021-05-20 Nickolay Lamm Augmented reality system for enhancing the experience of playing with toys

Also Published As

Publication number Publication date
JP7405734B2 (ja) 2023-12-26
JP2022097830A (ja) 2022-07-01
US20220198760A1 (en) 2022-06-23

Similar Documents

Publication Publication Date Title
US11663789B2 (en) Recognizing objects in a passable world model in augmented or virtual reality systems
CN114642874A (zh) 显示系统及服务器
US11417069B1 (en) Object and camera localization system and localization method for mapping of the real world
US20140160162A1 (en) Surface projection device for augmented reality
CN105373224A (zh) 一种基于普适计算的混合现实游戏系统及方法
JP2021522603A (ja) 深度ヒントを使用した深度推定モデルの自己教師ありトレーニング
JP7432595B2 (ja) 連携仮想インターフェース
CN105393284A (zh) 基于人类身体数据的空间雕刻
CN105190703A (zh) 使用光度立体来进行3d环境建模
US11132005B2 (en) Unmanned aerial vehicle escape system, unmanned aerial vehicle escape method, and program
US11734898B2 (en) Program, information processing method, and information processing terminal
US10785621B1 (en) Systems and methods to provide an interactive space based on vehicle-to-vehicle communications
KR20200060361A (ko) 정보 처리 장치, 정보 처리 방법, 및 프로그램
US20220198762A1 (en) Display system, display device, and program
KR102396390B1 (ko) 증강 현실 기반의 3차원 조립 퍼즐을 제공하는 방법 및 단말
CN114648624A (zh) 显示系统、显示装置及程序
US11273374B2 (en) Information processing system, player-side apparatus control method, and program
JPWO2019087658A1 (ja) 情報処理装置、情報処理方法及びプログラム
KR101045989B1 (ko) 온라인 및 오프라인 편재형 게임 구현 시스템
CN113093915A (zh) 多人互动的控制方法、装置、设备及存储介质
US11776206B1 (en) Extended reality system and extended reality method with two-way digital interactive digital twins
US20230196693A1 (en) Controlling Augmented Reality Content Via Selection of Real-World Locations or Objects
KR102578814B1 (ko) 위치기반 게임을 이용한 ar 좌표 수집 방법 및 장치
TWI807732B (zh) 用於可互動擴增及虛擬實境體驗之非暫時性電腦可讀儲存媒體
US11816803B2 (en) Guidance display system and server of guidance display system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination