CN114648710A - 引导显示系统以及引导显示系统的服务器 - Google Patents

引导显示系统以及引导显示系统的服务器 Download PDF

Info

Publication number
CN114648710A
CN114648710A CN202111561990.2A CN202111561990A CN114648710A CN 114648710 A CN114648710 A CN 114648710A CN 202111561990 A CN202111561990 A CN 202111561990A CN 114648710 A CN114648710 A CN 114648710A
Authority
CN
China
Prior art keywords
display
unit
guidance
display device
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111561990.2A
Other languages
English (en)
Inventor
谷森俊介
芹泽和实
石川飒雅咖
小森谷一记
三浦正哉
田村康司
日比野清荣
向里菜
稻垣智也
狄勤莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN114648710A publication Critical patent/CN114648710A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1407—General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3461—Preferred or disfavoured areas, e.g. dangerous zones, toll or emission zones, intersections, manoeuvre types, segments such as motorways, toll roads, ferries
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096855—Systems involving transmission of navigation instructions to the vehicle where the output is provided in a suitable form to the driver
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开涉及引导显示系统以及引导显示系统的服务器。引导显示系统具备AR显示装置以及服务器。AR显示装置具备显示部以及能够使显示部显示对现实世界的风景重叠了引导用虚拟物体的图像而得到的增强现实图像的显示控制部。服务器与显示装置无线连接。再者，服务器具备按主题公园特有角色存储部、3D模型提取部以及发送部。按主题公园特有角色存储部中存储有针对主题公园所设定的角色的信息。3D模型提取部提取被设定为目的地的主题公园的角色作为引导用虚拟物体。发送部将提取出的引导用虚拟物体的图像数据发送给AR显示装置的显示控制部。

Description

引导显示系统以及引导显示系统的服务器
技术领域
在本说明书中公开引导显示系统及其服务器。
背景技术
以往，已知有使用增强现实(AR：Augmented Reality)技术的引导显示装置。例如在日本特开2014-20863中，在导航系统中使沿着到目的地的路径行进的角色(character)的图像重叠显示在现实世界的图像中。
发明内容
此外，例如在设置有多个主题公园(theme park)的综合娱乐设施内，有时按主题公园分别设定有角色，在进行以预定的主题公园为目的地的引导显示时，有可能会显示与该主题公园的世界观不符的角色图像。
于是，在本说明书中，公开一种能够在不损害成为目的地的主题公园等设施的世界观的情况下进行使用增强现实图像的引导显示的引导显示系统及其服务器。
在本说明书中，公开一种引导显示系统，其以基于特定的主题而构成的设施为目的地，进行到该目的地的引导显示。该系统具备显示装置以及服务器。显示装置具备显示部和显示控制部，显示控制部能够使显示部显示对现实世界的风景重叠了引导用虚拟物体的图像而得到的增强现实图像。服务器与显示装置无线连接。再者，服务器具备存储部、提取部以及发送部。在存储部中存储有针对设施所设定的角色的信息。提取部提取被设定为目的地的设施的角色作为引导用虚拟物体。发送部将提取出的引导用虚拟物体的图像数据发送给显示控制部。
根据上述构成，与目的地的设施(例如主题公园)对应的角色作为引导用虚拟物体而被显示，因此，能够不损害目的地设施的世界观地进行引导显示。
另外，在上述构成中，服务器也可以具备利用者计算部以及路径搜索部。利用者计算部计算基于各不相同的主题而构成的多个设施的各利用者密度。路径搜索部以多个设施中的在目的地设定时间点的利用者密度最小的设施为目的地，制作直到该目的地的引导路径。
根据上述构成，通过将比较空闲的设施(例如主题公园)设定为目的地，从而实现各设施的拥塞率的平滑化(缓解拥堵)。
另外，在上述构成中，提取部也可以提取在目的地设定时间点最接近显示装置的设施的角色作为送行用虚拟物体。在该情况下，发送部将提取出的送行用虚拟物体的图像数据发送给显示控制部。
根据上述构成，除了引导用虚拟物体之外，使送行用虚拟物体也能够显示于增强现实图像，由此，例如能够进行如在从离开的设施去往下一设施的途中有送行用虚拟物体陪伴这样的表演。
另外，在上述构成中，显示装置也可以具备拍摄现实世界的风景的拍摄部以及识别拍摄图像中包含的物体的图像识别部。在该情况下，当由图像识别部在拍摄图像中识别出警告对象物体时，显示控制部在显示部中强调显示警告对象物体。
根据上述构成，能够抑制显示装置的利用者接触(碰撞)警告对象物体。
另外，在上述构成中，路径搜索部也可以以使之成为回避警告对象物体的路径的方式制作引导路径。
根据上述构成，能够使显示装置的利用者回避(避开)警告对象物体。
另外，在上述构成中，也可以，当多个显示装置接近到预定的阈值距离以内时，路径搜索部重新制作各个引导路径以使得回避各个显示装置。
根据上述构成，能够使显示装置的利用者彼此间避免接触。
另外，在上述构成中，显示装置也可以是具备半透明反射镜(half mirror)的透光式显示器，半透明反射镜是现实世界的风景影像被透过并且引导用虚拟物体被投影的镜子。
另外，在本说明书中，公开一种引导显示系统的服务器，其与显示装置无线连接，显示装置能够显示使引导用虚拟物体的图像重叠于现实世界的风景而得到的增强现实图像。该服务器具备存储部、提取部以及发送部。在存储部中存储有针对基于特定的主题而构成的设施所设定的角色的信息。提取部提取被设定为目的地的设施的角色作为引导用虚拟物体。发送部将提取出的引导用虚拟物体的图像数据发送给显示装置。
根据本说明书中所公开的引导显示系统及其服务器，能够不损害目的地设施的世界观地进行使用增强现实技术的引导显示。
附图说明
以下，参照附图对本发明的示例性实施方式的特征、优点以及技术和产业意义进行说明，在附图中相同的附图标记表示相同的要素，并且其中：
图1是例示包括本实施方式涉及的引导显示系统的综合娱乐设施的图。
图2是例示本实施方式涉及的引导显示系统的显示装置和服务器的硬件结构的图。
图3是例示服务器的功能块(框)的图。
图4是以智能手机作为显示装置的例子并进而例示智能手机所检测的方位和朝向的基准坐标轴的图。
图5是例示显示装置的功能块的图。
图6是例示由用户设定目的地的情况下的引导显示过程(process)的初始设定流程(flow)的图。
图7是例示现实世界的风景的图。
图8是表示增强现实图像显示于AR显示装置时的例子的图。
图9是例示由服务器设定目的地的情况下的引导显示过程的初始设定流程的图。
图10是例示对警告对象物体施行了强调显示时的拍摄图像的图。
图11是例示回避警告对象物体的引导路径的图。
图12是例示用于回避AR显示装置的利用者彼此间的接触的引导路径的图。
图13是例示头戴式显示器(HMD)作为AR显示装置的一例的图。
图14是例示设置于车内的平视显示器(HUD)作为AR显示装置的一例的图。
具体实施方式
在图1中举例表示综合娱乐设施10。在该设施内利用本实施方式涉及的引导显示系统。综合娱乐设施10设置有多个主题公园12～18。主题公园是指以下设施：基于特定的主题(theme)构成世界观，基于该世界观，综合地构成、表演出设备、活动、景观等。主题公园12～18由连接通道20连接，利用者经由该连接通道20能够往来于各个主题公园12～18。
综合娱乐设施10设置有主题各不相同的主题公园。例如在综合娱乐设施10内，作为主题公园，设置有体育公园(athletic park)12、游乐园14、水族馆16和动物园18。主题公园12～18分别基于各自的主题设定虚拟物体角色。如后所述，该虚拟物体被用于向各个主题公园12～18引导AR显示装置30的利用者(用户)。
虚拟物体角色被设定为符合各个主题公园12～18的主题和世界观的角色。例如在体育公园12中，设定冒险家、突击队员、忍者等角色作为虚拟物体。例如在游乐园14中，设定小丑、卡丁车等角色作为虚拟物体。例如在水族馆16中，设定海豚、金鱼、鲨鱼等角色作为虚拟物体。再者，例如在动物园18中，设定大象、熊猫、企鹅等角色作为虚拟物体。设定的这些虚拟物体的信息存储于服务器70的按主题公园特有角色存储部82(参照图3)。稍后会对所存储的虚拟物体的信息的详情进行说明。
另外，例如这些主题公园12～18分别为收费设施，各个主题公园12～18的利用者被计测。该计测例如通过设置于各个主题公园12～18的进出门装置(未图示)进行。计测出的各主题公园12～18分别的利用者数量存储于服务器70的公园利用者存储部80(参照图3)。
在连结各个主题公园12～18的连接通道20上设置有信标(beacon)的发信器22(参照图1)。在连接通道20上，例如等间隔地设置有多个发信器22。例如，发信器22安装在引导显示用支柱28的上端。如后所述，AR显示装置30的信标接收器37(参照图2)接收来自该发信器22的信号，从而能够取得AR显示装置30的当前位置。
本实施方式涉及的引导显示系统构成为包括AR显示装置30以及服务器70。如以下详细所述，本实施方式涉及的引导显示系统以主题公园12～18为目的地，进行直到该目的地的引导显示。
＜服务器的构成＞
在图2中例示AR显示装置30以及服务器70的硬件结构。服务器70例如由计算机构成。服务器70通过无线局域网等通信途径与AR显示装置30无线连接。服务器70具备键盘和鼠标等输入部71、运算装置的CPU72以及显示器等显示部73。另外，服务器70具备ROM74、RAM75以及硬盘驱动器(HDD)76作为存储装置。再者，服务器70具备管理信息的输入和输出的输入输出控制器77。这些构成部件与内部总线78连接。
在图3中例示服务器70的功能块。该功能框图例如通过CPU72执行存储于ROM74、HDD76或者存储于DVD等非瞬时性的存储介质的程序来构成。
服务器70具备接收部83，接收部83接收AR显示装置30、进出门装置(未图示)等外部设备的信号。另外，服务器70具备从接收部83收取信号的利用者计算部84、路径搜索部85以及3D(三维)模型提取部86。再者，服务器70具备发送部87，发送部87将在服务器70内生成的信号发送给AR显示装置30等外部设备。
另外，服务器70具备公园利用者存储部80、设施地图存储部81以及按主题公园特有角色存储部82作为存储部。在公园利用者存储部80中存储各主题公园12～18的利用者数量和利用者密度。
在设施地图存储部81中存储综合娱乐设施10内的地图信息。例如存储综合娱乐设施10内的通道和设施等的位置信息等。此外，设置在连接通道20内的围栏、沿着连接通道20设置的水池等警告对象物体的属性信息和位置信息也存储于设施地图存储部81。再者，各主题公园12～18的面积信息也存储于设施地图存储部81。
在按主题公园特有角色存储部82中存储按主题公园12～18分别设定的角色的信息。所谓角色的信息，例如可以是各角色的3D模型数据。该3D模型数据例如包括角色的3D图像数据，该图像数据包括形状数据、纹理(texture)数据以及运动(motion)数据。
利用者计算部84基于从各主题公园12～18的进出门装置(未图示)发送来的进出游客信息，计算各主题公园12～18的利用者数量。计算出的利用者数量信息存储于公园利用者存储部80。
再者，利用者计算部84参照设施地图存储部81，计算各主题公园12～18的利用者密度(利用者数量/主题公园面积)。计算出的利用者密度信息存储于公园利用者存储部80。
另外，如后所述，在AR显示装置30的导航功能停止(关闭)时，利用者计算部84基于各主题公园12～18的利用者密度，设定该AR显示装置30的目的地。
路径搜索部85制作前往主题公园12～18中的由AR显示装置30的导航功能或者利用者计算部84设定为目的地的主题公园的路径(引导路径)。例如当从AR显示装置30发送来当前位置时，路径搜索部85基于存储于设施地图存储部81的综合娱乐设施10的地图信息，制作从AR显示装置30的当前位置到作为目的地的主题公园12～18的路径(引导路径)。引导路径数据例如包含从作为出发地的AR显示装置30的当前所在地到主题公园12～18中的作为目的地的主题公园的入口为止的引导路径的位置坐标信息。
3D模型提取部86提取主题公园12～18中的由AR显示装置30的导航功能或者利用者计算部84设定为目的地的主题公园的角色作为引导用虚拟物体。提取出的角色的虚拟物体数据、也即是说3D模型数据与引导路径一起从发送部87发送到AR显示装置30。
＜AR显示装置的构成＞
参照图1，AR显示装置30是被综合娱乐设施10的利用者(用户)利用的显示装置。AR显示装置30能够显示使虚拟物体的图像重叠于现实世界的风景而得到的虚拟现实(AR：Augmented Reality)图像。
可以基于各种角度将AR显示装置30进行分类。例如从能否携带、也即是说可携带性这一观点来讲，AR显示装置30能够分为便携式和固定式两种。
作为便携式的AR显示装置30，例如可举出智能手机、眼镜型的头戴式显示器(HMD)。另外，作为固定式的AR显示装置30，例如可举出平视显示器(HUD)，其设置于在主题公园12～18之间移动的车辆(移动出行(mobility))，使虚拟物体投影到该车辆的挡风玻璃上。
另外，从现实世界风景的显示方式这一观点来讲，AR显示装置30能够分为影像透视式(Video See-Through)显示器(VST显示器)和光学透视式(Optical See-Through)显示器(OST显示器)。VST显示器为，摄像头等拍摄器拍摄现实世界的风景，显示器显示该拍摄图像。另一方面，OST显示器为，可通过半透明反射镜等透视式显示部视认现实世界的风景，虚拟物体被投影于该显示部。
上述的智能手机等具备拍摄器35(参照图2)的AR显示装置30被分类于VST显示器。另外，上述的头戴式显示器(HMD)和平视显示器(HUD)以眼镜的镜片、挡风玻璃作为显示部，可视认现实世界的风景，因此被分类于OST显示器。
在图4中，作为AR显示装置30的例子，图示出便携式且VST显示器式的智能手机。该智能手机可以是综合娱乐设施10的利用者的所有物，也可以是对综合娱乐设施10的利用者出借的平板终端等租赁物品。
在图2中同时例示AR显示装置30的硬件结构和服务器70的硬件结构。AR显示装置30具备CPU(中央运算装置)31、加速度传感器32、陀螺仪传感器33、地磁传感器34、拍摄器35、GPS接收器36、信标接收器37、振动器38、输入输出控制器39、系统存储器40、储存器(storage)41、GPU42、帧存储器(frame memory)43、RAMDAC44、显示控制部45、显示部46以及输入部47。
系统存储器40是由CPU31执行的操作系统(OS)所使用的存储装置。储存器41是外部存储装置，例如存储后述的用于使虚拟现实图像(AR图像)进行显示的程序。
拍摄器35例如是搭载于智能手机的相机设备，能够通过静态图像和动态图像拍摄现实世界的风景。拍摄器35例如构成为包括CMOS、CCD等成像设备。再者，拍摄器35可以是所谓的RGB-D相机，其除了拍摄现实世界之外，还具备测量从拍摄器35的分离距离的功能。作为测量分离距离的功能，例如在拍摄器35中，除了上述的成像设备，还设置有使用红外线的测距机构。
GPU(Graphics Processing Unit，图形处理单元)42是图像处理用运算装置，主要在进行后述的图像识别时工作。帧存储器43是存储由拍摄器35拍摄到并进而由GPU42进行运算处理后的图像的存储装置。RAMDAC(Random Access Memory Digital-to-AnalogConverter，随机存储器数模转换器)44将存储于帧存储器43的图像数据转换为适于作为模拟显示器的显示部46的模拟信号。
利用加速度传感器32、陀螺仪传感器33以及地磁传感器34，能够推定AR显示装置30的朝向和方位。加速度传感器32测定AR显示装置30的加速度。如图4所示，加速度传感器32能够分别测量正交的3个轴方向的加速度。即，与显示部46的显示面平行且轴彼此正交的X轴和Y轴、以及与显示部46的显示面正交的Z轴的各个轴方向的加速度由加速度传感器32测定。加速度传感器32、陀螺仪传感器33以及地磁传感器34例如由MEMS(Micro ElectroMechanical Systems，微机电系统)等所谓的微机械构成。
陀螺仪传感器33测定AR显示装置30的角速度。如图4所示，陀螺仪传感器33测定围绕正交的3个轴的旋转。也即是说，作为围绕X轴的旋转的俯仰(pitch)角、作为围绕Y轴的旋转的翻滚(roll)角以及作为围绕Z轴的旋转的地平经度(azimuth)角(也称为偏航角)由陀螺仪传感器33测定。另外，地磁传感器34检测AR显示装置30的从磁北的倾斜。
GPS接收器36从GPS卫星24(参照图1)接收定位信号即GPS信号。GPS信号中包含纬度、经度、高度的位置坐标信息。信标接收器37接收来自以连接通道20为首设置在综合娱乐设施10内的信标的发信器22的位置信号。
在此，GPS接收器36和信标接收器37都具有位置推定功能。因此，也可以在AR显示装置30中仅设置GPS接收器36和信标接收器37中的任一方。
输入部47能够进行文字输入和/或后述的成为目的地的主题公园12～18的选择。例如，输入部47可以是与显示部46一体化的触摸面板。
显示控制部45能够使对现实世界的风景重叠了引导用虚拟物体的图像而得到的增强现实图像(AR图像)显示于显示部46。例如，显示控制部45从现实世界的拍摄图像中提取与引导路径(通道)相当的图像区域，进行使引导用虚拟物体的图像重叠于所提取出的图像区域的图像处理(渲染)，并使显示部46显示。显示部46例如可以是液晶显示器或者有机EL显示器。
在图5中例示AR显示装置30的功能框图。该功能框图例如通过CPU31、GPU42执行存储于系统存储器40、储存器41或者存储于DVD、计算机硬盘等非瞬时性的存储介质的位置推定程序来构成。
在图5中，将图2中也例示出的硬件结构的一部分与功能块以混合在一起的状态示出。在图5中，作为硬件结构，例示拍摄器35、显示控制部45以及显示部46。
另外，作为功能块，AR显示装置30具备位置推定部50、发送控制部51、发送部52、输入部53、导航功能部54、接收部55、朝向方位推定部56、虚拟物体加工部57、图像识别部58以及已学习模型存储部59。这些功能块由CPU31、系统存储器40、储存器41、GPU42以及帧存储器43等构成。
输入部53受理来自AR显示装置30的利用者的各种输入操作。该输入操作例如包括对于AR显示装置30的拍摄器35的拍摄操作、使导航功能启动的启动操作以及在导航功能执行时输入目的地的操作。
图像识别部58接收由拍摄器35得到的拍摄图像数据并进行图像识别。图像识别包括对拍摄图像中的物体的识别和对该物体与AR显示装置30的分离距离的推定。在进行这种图像识别的时候，如上所述，在拍摄图像数据中，例如除了拍摄现实世界的风景而得到的彩色图像数据之外，还包括该彩色图像数据内的各物体的从拍摄器35的分离距离数据。
图像识别部58使用存储于已学习模型存储部59的图像识别用学习模型进行拍摄图像的识别。在已学习模型存储部59中例如存储已由外部的服务器等学习好的图像识别用神经网络。例如，准备包括综合娱乐设施10在内的室外的图像数据、即图像内的各物体的分割和标注已完成的数据作为训练用数据。使用该训练用数据，形成通过有教师(监督)学习而被机器学习出的多层次的神经网络，并存储于已学习模型存储部59。该神经网络例如可以为卷积神经网络(CNN)。
虚拟物体加工部57基于由朝向方位推定部56求出的摄影角度(camera angle)，求取AR图像中显示的引导用虚拟物体的姿势和/或朝向。已图像识别的现实世界图像以及设定有姿势和朝向信息的引导用虚拟物体的3D数据被发送到显示控制部45。显示控制部45从现实世界图像中选择作为引导路径的一部分的通道部分，使引导用虚拟物体重叠于朝向目的地的行进方向前方。该重叠图像如后述的图8那样显示于显示部46。
＜由利用者进行目的地设定时的路径引导＞
在图6中例示由本实施方式涉及的引导显示系统进行的路径引导过程中的特别是初始设定时的流程图。在本例中，表示由AR显示装置30的利用者(用户)启动了导航功能时的例子，导航功能是AR显示装置30具有的功能。此外，在图6中，主要由服务器70执行的处理用(S)表示，主要由AR显示装置30执行的处理用(D)表示。
此外，该路径引导是在综合娱乐设施10(参照图1)内的主题公园之间移动时进行的。也即是说当用户在连接通道20上移动时提供以下说明的路径引导服务。
参照图3、图5、图6，当对AR显示装置30的输入部53输入了导航功能的启动操作时，导航功能部54启动。另外，发送控制部51参照由位置推定部50推定出的当前位置信息，判定AR显示装置30的当前位置是否在主题公园12～18外面(S10)。
在AR显示装置30的当前位置位于主题公园12～18内的情况下，图6的流程结束。另一方面，在AR显示装置30的当前位置位于主题公园12～18外的情况下，发送控制部51经由发送部52将AR显示装置30的当前位置和成为目的地的主题公园(以下适当记作目的地公园)的信息发送给服务器70(S12)。此外，在此，目的地公园由利用导航功能的利用者输入或选择。
服务器70的接收部83接收到的AR显示装置30的当前位置信息和目的地公园的信息被送给路径搜索部85。路径搜索部85搜索并制作从AR显示装置30的当前位置到目的地公园的引导路径(S14)。例如，搜索从当前位置到目的地公园的最短距离的路径，该路径成为引导路径。制作出的引导路径信息被送给发送部87。
另外，目的地公园的信息被送给3D模型提取部86。3D模型提取部86参照按主题公园特有角色存储部82，将针对目的地公园所设定的角色设定为引导用虚拟物体(S16)。在针对目的地公园预先设定的角色有多个的情况下，例如随机选出其中的任意角色。
被设定为引导用虚拟物体的相应角色的3D模型数据被送给发送部87。从发送部87向AR显示装置30发送引导路径的信息和引导用虚拟物体的3D模型数据(S18)。
接收到引导路径的信息和引导用虚拟物体的3D模型数据的AR显示装置30的显示控制部45使引导用虚拟物体的图像在由拍摄器35得到的拍摄图像中从AR显示装置30的当前位置起重叠显示在行进方向前方的位置上。行进方向前方是指，沿着引导路径从AR显示装置30朝向目的地公园的方向。例如，显示控制部45将由拍摄器35得到的拍摄图像中的被识别为通道的图像区域的偏向目的地公园地相距预定距离的地点设定为引导用虚拟物体的显示位置(重叠位置)(S20)。再者，显示控制部45使显示部46显示对现实世界的风景重叠了引导用虚拟物体而得到的重叠图像(AR图像)(S22)。
例如，在图7中例示连接通道20的透视图(perspective)。在该图中，例示站在通往动物园18方向的路径25和通往游乐园14方向的路径27的岔路口时的图。此外，在本例中，假设选择了动物园18作为目的地公园。如图8所示，当通过AR显示装置30的拍摄器35对该地点进行了拍摄时，由图像识别部58进行拍摄图像的识别，进行对路径25、指示牌26等的确定。
进而，在确定出的路径25上的从AR显示装置30偏向目的地公园(动物园18)分离开的位置，重叠作为引导用虚拟物体100的鹿的图像。此外，在图8中，为了使图示明确，用平面的轮廓(剪影)描绘了引导用虚拟物体100，但不限于该形式，也可以显示引导用虚拟物体100的3D图像。
当AR显示装置30沿着路径25向目的地公园前进时，相应地，引导用虚拟物体100也向前方移动。此时，可以显示如引导用虚拟物体100的鹿前进这样的动画。
如此，在本实施方式涉及的引导显示系统中，选择按照目的地公园的引导用虚拟图像，因此能够不损害目的地公园的世界观地进行路径引导。
＜用于缓解拥塞的路径引导＞
在图6的流程中，AR显示装置30的利用者使导航功能启动并设定了目的地公园，而本实施方式涉及的引导显示系统也能够用于缓解拥塞的目的。
在图9中例示用于缓解拥塞的路径引导过程中的特别是初始设定时的流程图。对于与图6的流程中的标号相同的步骤，因内容重复，故以下适当省略说明。
该流程在AR显示装置30的拍摄功能启动时开始。发送控制部51(参照图5)参照由位置推定部50推定出的当前位置，判定AR显示装置30的当前位置是否落在主题公园12～18外面(S10)。在AR显示装置30处于主题公园12～18内的情况下，本流程结束。
另一方面，在AR显示装置30处于主题公园12～18外的情况下，典型地是处于连接通道20的情况下，发送控制部51参照导航功能部54的工作状况，判定导航功能是否在执行(S30)。在导航功能正在执行的情况下，由于由利用者设定了目的地公园，因此本流程结束。
另一方面，在导航功能处于停止状态的情况下，发送控制部51将AR显示装置30的当前位置发送给服务器70(S32)。在服务器70中，利用者计算部84基于主题公园12～18的进出门装置(未图示)的进出游客数的信息，计算目的地公园设定时间点(也即是说当前时刻)的主题公园12～18的利用者数量。再者，利用者计算部84从设施地图存储部81取得主题公园12～18的面积，计算主题公园12～18的利用者密度(S34)。
由利用者计算部84求出目的地公园设定时间点(也即是说当前时刻)的主题公园12～18的利用者密度后，进而，利用者计算部84求取主题公园12～18中利用者密度最低的主题公园并将其设定为目的地公园(S36)。路径搜索部85制作从AR显示装置30的当前位置到所设定的目的地公园的引导路径。在步骤S36之后，以所设定的目的地公园为基准，执行与图6同样的路径引导流程(S16～S22)。
例如，一般来说综合娱乐设施10的利用者中包括如想看动物园18的大象这样的来访目的明确的利用者群体。另一方面，也会存在一定数量的以在综合娱乐设施10逗留预定时间为目的且并没有决定要去主题公园12～18中的哪个主题公园的利用者。通过将这种后者的利用者引导至比较空闲的主题公园12～18，能使各个主题公园12～18的拥塞率平滑化，其结果，能缓解拥塞。
＜送行用虚拟物体的显示＞
在上述的实施方式中，使针对目的地公园所设定的角色重叠显示于显示部46，而除此之外，显示控制部45也可以将主题公园12～18中的离AR显示装置30最近的主题公园的角色作为送行用虚拟物体重叠显示于显示部46。
例如参照图3，除了目的地公园之外，利用者计算部84还将离AR显示装置30的当前位置最近的主题公园12～18(以下适当记作最近的公园)的信息提供给3D模型提取部86。
3D模型提取部86如上述那样从按主题公园特有角色存储部82提取针对目的地公园所设定的角色的3D模型数据，并且也从该存储部82提取针对最近的公园所设定的角色的3D模型数据。目的地公园以及最近的公园的角色的3D模型数据与引导路径信息一起从发送部87发送到AR显示装置30。
AR显示装置的显示控制部45(参照图5)将目的地公园的角色作为引导用虚拟物体而使其重叠显示于显示部46，并且将最近的公园的角色作为送行用虚拟物体而使其重叠显示于显示部46。
送行用虚拟物体可以被施行如下处理：当与主题公园12～18中的设定有该虚拟物体的角色的主题公园相距预定距离时，则不再显示于显示部46。通过具备这种表演功能，例如能够进行如主题公园12～18中的刚刚离开的主题公园的角色从该公园起给利用者送行这样的表演。
＜警告对象物体应对控制＞
AR技术与VR(虚拟现实)技术不同，由于显示有现实世界的图像，因此所谓的沉浸感较低，而关注于虚拟物体100，利用者有可能会碰到围栏等障碍物。于是，显示控制部45也可以使显示部46对这些障碍物进行强调显示。
参照图5，在图像识别部58识别由拍摄器35得到的拍摄图像时，在拍摄图像中识别警告对象物体。警告对象物体的教师数据预先存储于已学习模型存储部59。警告对象物体例如包括围栏、水池等。
显示控制部45在使显示部46显示拍摄图像的时候，如图10所示，对作为警告对象物体的围栏102进行强调显示。在图10中围栏102被进行加影线处理。通过进行这种强调显示，能够提醒利用者注意。
另外，参照图3，当在设施地图存储部81中存储有警告对象物体的位置信息的情况下，如图11所示，路径搜索部85也可以制作引导路径以使其成为回避警告对象物体的路径。也即是说，虚拟物体100在显示部46上以回避警告对象物体的方式前进。在此，也可以在接近警告对象物体时，通过振动器38(参照图2)振动驱动，从而提醒利用者避开与警告对象物体接触。
另外，例如也可以进行如在将AR显示装置30的拍摄器35朝向警告对象物体侧时虚拟物体100跑出显示部46的边框外而变为不显示等表演，能够一边使得避免与警告对象物体的接触，一边利用虚拟物体100进行安全的路径引导。
＜避撞控制＞
如图12所示，从动物园18去往水族馆16的引导路径R1与从水族馆16去往动物园18的引导路径R2在移动过程中接近，利用者彼此可能会接触。于是，服务器70的路径搜索部85(参照图3)也可以在多个AR显示装置30接近到预定的阈值距离以内时，修正最初的引导路径，重新制作为使得避免碰撞的引导路径。
路径搜索部85接收综合娱乐设施10内的所有AR显示装置30的位置信息。路径搜索部85求取多个AR显示装置30的分离间隔，针对这些AR显示装置30中的接近到预定阈值距离(例如1米)以内的一对AR显示装置30A、30B(参照图12)，重新制作引导路径。
例如在将连接通道20作为右侧通行道路而通知给利用者的情况下，如图12所示，路径搜索部85以从最初的路径R1、R2向右偏的方式制作回避路径R11、R21。通过这种引导路径的重新制作，能够抑制利用者彼此碰撞。
＜带出设施外警告＞
另外，当AR显示装置30是限定在综合娱乐设施10内使用的出租设备的情况下，服务器70也可以基于AR显示装置30的位置信息，使位于综合娱乐设施10的场地外的AR显示装置30的显示部46显示警告图像。例如，显示控制部45使显示部46显示促使其返回综合娱乐设施10内的消息。
＜AR显示装置的其他例子＞
在上述的实施方式中，作为AR显示装置30，例示了作为影像透视式显示器的智能手机，而本实施方式涉及的AR显示装置30不限于该方式。例如也可以如图13中例示的头戴式显示器(HMD)那样，由光学透视式显示器构成AR显示装置30。
在该情况下，AR显示装置30构成为包括与显示部46对应的半透明反射镜114、与显示控制部45对应的投影仪116、以及与位置推定部50和朝向方位推定部56对应的传感器单元112。
半透明反射镜114例如可以是眼镜和/或护目镜的镜片。半透明反射镜114将来自现实世界的光(影像)投射到利用者处。另一方面，配置在半透明反射镜114上方的投影仪116使虚拟物体的影像投影到半透明反射镜114上。由此，能够显示引导用虚拟物体的图像重叠于现实世界的风景而得到的AR图像。
在进行虚拟物体的重叠显示时，由传感器单元112推定利用者的视线的朝向和方位。投影仪116基于该朝向和方位，求取引导用虚拟物体的3D模型的朝向和方位。
此外，在这种光学透视式显示器的情况下，存在没有设置拍摄现实世界风景的拍摄器35的情况，在这种情况下，需要针对该显示器，将以拍摄功能的启动为触发的图9的流程进行调整。例如将图9的流程的起始点设为步骤S10，也即是说，图9的流程变形为在利用者从主题公园12～18离开时启动流程。
另外，作为光学透视式显示器的AR显示装置30的其他例子，在图14中例示设置于车辆120等移动体(mobility)的作为固定式显示装置的平视显示器(HUD)。例如在主题公园12～18之间移动时，该车辆120在连接通道20上行驶。该车辆120例如可以是想要以家庭为单位进行移动的最多乘坐5人的小型车辆。
在该情况下，AR显示装置30构成为包括与显示部46对应的挡风玻璃124、与显示控制部45对应的投影仪126、以及与位置推定部50对应的GPS接收器122。
挡风玻璃124将来自现实世界的光(影像)投射到利用者处。另一方面，配置在挡风玻璃124下方的投影仪126使虚拟物体的影像投影到挡风玻璃124上。由此，能够显示引导用虚拟物体的图像重叠于现实世界的风景而得到的AR图像。

Claims (8)

1.一种引导显示系统，其以基于特定的主题而构成的设施为目的地，进行到该目的地的引导显示，所述引导显示系统具备：
显示装置，其具备显示部和显示控制部，所述显示控制部能够使所述显示部显示增强现实图像，所述增强现实图像是使引导用虚拟物体的图像重叠于现实世界的风景而得到的图像；以及
服务器，其与所述显示装置无线连接，
所述服务器具备：
存储部，其存储有针对所述设施所设定的角色的信息；
提取部，其提取被设定为目的地的所述设施的角色作为所述引导用虚拟物体；以及
发送部，其将提取出的所述引导用虚拟物体的图像数据发送给所述显示控制部。
2.根据权利要求1所述的引导显示系统，
所述服务器具备：
利用者计算部，其计算基于各不相同的主题而构成的多个所述设施的各利用者密度；以及
路径搜索部，其以多个所述设施中的在目的地设定时间点的利用者密度最小的所述设施为目的地，制作直到该目的地的引导路径。
3.根据权利要求2所述的引导显示系统，
所述提取部提取在目的地设定时间点最接近所述显示装置的所述设施的角色作为送行用虚拟物体，
所述发送部将提取出的所述送行用虚拟物体的图像数据发送给所述显示控制部。
4.根据权利要求3所述的引导显示系统，
所述显示装置具备：
拍摄部，其拍摄现实世界的风景；以及
图像识别部，其识别拍摄图像中包含的物体，
当由所述图像识别部在所述拍摄图像中识别出警告对象物体时，所述显示控制部在所述显示部中强调显示所述警告对象物体。
5.根据权利要求4所述的引导显示系统，
所述路径搜索部以使之成为回避所述警告对象物体的路径的方式制作所述引导路径。
6.根据权利要求5所述的引导显示系统，
当多个所述显示装置接近到预定的阈值距离以内时，所述路径搜索部重新制作各个所述引导路径以使得回避各个所述显示装置。
7.根据权利要求3所述的引导显示系统，
所述显示装置是具备半透明反射镜的透光式显示器，所述半透明反射镜是现实世界的风景影像被透过并且所述引导用虚拟物体被投影的镜子。
8.一种引导显示系统的服务器，其与能够显示使引导用虚拟物体的图像重叠于现实世界的风景而得到的增强现实图像的显示装置无线连接，所述引导显示系统的服务器具备：
存储部，其存储有针对基于特定的主题而构成的设施所设定的角色的信息；
提取部，其提取被设定为目的地的所述设施的角色作为所述引导用虚拟物体；以及
发送部，其将提取出的所述引导用虚拟物体的图像数据发送给所述显示装置。
CN202111561990.2A 2020-12-21 2021-12-17 引导显示系统以及引导显示系统的服务器 Pending CN114648710A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020211147A JP2022097904A (ja) 2020-12-21 2020-12-21 案内表示システム及び案内表示システムのサーバ
JP2020-211147 2020-12-21

Publications (1)

Publication Number Publication Date
CN114648710A true CN114648710A (zh) 2022-06-21

Family

ID=81993621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111561990.2A Pending CN114648710A (zh) 2020-12-21 2021-12-17 引导显示系统以及引导显示系统的服务器

Country Status (3)

Country Link
US (1) US11816803B2 (zh)
JP (1) JP2022097904A (zh)
CN (1) CN114648710A (zh)

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5964821A (en) * 1995-04-07 1999-10-12 Delco Electronics Corporation Mapless GPS navigation system with sortable destinations and zone preference
US7126581B2 (en) * 2002-06-13 2006-10-24 Panasonic Automotive Systems Company Of America Multimode multizone interface
US7460953B2 (en) * 2004-06-30 2008-12-02 Navteq North America, Llc Method of operating a navigation system using images
DE102008012411A1 (de) * 2008-03-04 2009-09-10 Universität Konstanz Interaktive Methode zur integrierten Darstellung schematischer Netzpläne und geographischer Karten
US7769596B1 (en) * 2008-04-16 2010-08-03 Sprint Communications Company, L.P. Intelligent service traffic management
US8493353B2 (en) * 2011-04-13 2013-07-23 Longsand Limited Methods and systems for generating and joining shared experience
EP2871608A4 (en) * 2012-07-09 2016-01-27 Lg Electronics Inc MOBILE TERMINAL AND ITS CONTROL METHOD
JP6025433B2 (ja) 2012-07-17 2016-11-16 株式会社ゼンリンデータコム 携帯ナビゲーション装置
US20140089862A1 (en) * 2012-09-21 2014-03-27 Microsoft Corporation Destination routing in a virtual world
JP6089360B2 (ja) * 2012-10-16 2017-03-08 アルパイン株式会社 ナビゲーション装置、アイコン表示方法およびナビゲーションプログラム
US9230415B2 (en) * 2012-10-19 2016-01-05 Diebold Self-Service Systems Division Of Diebold, Incorporated Time analysis of a banking system
US20150134738A1 (en) * 2013-11-13 2015-05-14 Hans Emihle Mayo Method and system for viewing multiple physical locations customer wait times at one instance from a portable electronic application via a communications network
JP6021089B2 (ja) * 2014-03-25 2016-11-02 パナソニックＩｐマネジメント株式会社 情報表示システム及び情報表示方法
US9892371B1 (en) * 2014-07-28 2018-02-13 ProSports Technologies, LLC Queue information transmission
US20160345137A1 (en) * 2015-05-21 2016-11-24 Toshiba America Business Solutions, Inc. Indoor navigation systems and methods
US10338377B1 (en) * 2015-07-06 2019-07-02 Mirrorcle Technologies, Inc. Head up display based on laser MEMS emissive film projection system
US20170248434A1 (en) * 2016-02-29 2017-08-31 Blake Dearring Best Car-top mount with population density estimation
US10294069B2 (en) * 2016-04-28 2019-05-21 Thyssenkrupp Elevator Ag Multimodal user interface for destination call request of elevator systems using route and car selection methods
US10429191B2 (en) * 2016-09-22 2019-10-01 Amadeus S.A.S. Systems and methods for improved data integration in augmented reality architectures
US11054272B2 (en) * 2017-05-11 2021-07-06 Disney Enterprises, Inc. Physical navigation guided via story-based augmented and/or mixed reality experiences
US10989922B2 (en) * 2017-12-29 2021-04-27 Letinar Co., Ltd. Augmented reality optics system with pin mirror
CN115552451A (zh) * 2020-05-08 2022-12-30 高通股份有限公司 用于增强现实的多层二次投影技术
US11625859B2 (en) * 2020-07-22 2023-04-11 Motorola Solutions, Inc. Method and system for calibrating a camera and localizing objects within the camera field of view
US11516634B2 (en) * 2020-09-29 2022-11-29 Verizon Patent And Licensing Inc. Methods and system for robust service architecture for vehicle-to-everything communications
US20220392168A1 (en) * 2021-06-06 2022-12-08 Apple Inc. Presenting Labels in Augmented Reality

Also Published As

Publication number Publication date
JP2022097904A (ja) 2022-07-01
US20220198763A1 (en) 2022-06-23
US11816803B2 (en) 2023-11-14

Similar Documents

Publication Publication Date Title
US11644832B2 (en) User interaction paradigms for a flying digital assistant
JP7329298B2 (ja) 検出された障壁に基づく車両のナビゲーション
US10546560B2 (en) Systems and methods for presenting virtual content in a vehicle
CN112146649B (zh) Ar场景下的导航方法、装置、计算机设备及存储介质
CN109588060B (zh) 控制传感器的方法和相应装置、车辆、系统以及计算机可读存储介质
US10896520B2 (en) System and method for moment capturing
CN111508222B (zh) 提供尖端行人辅助系统的方法及装置
KR102190743B1 (ko) 로봇과 인터랙션하는 증강현실 서비스 제공 장치 및 방법
JPWO2019131143A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN114648625A (zh) 显示系统、显示装置以及程序
JP7147775B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN114648624A (zh) 显示系统、显示装置及程序
US20220412741A1 (en) Information processing apparatus, information processing method, and program
CN114648710A (zh) 引导显示系统以及引导显示系统的服务器
WO2022190970A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、情報処理システム
KR101866464B1 (ko) 전자 레이싱 장치 및 그 동작방법
JP7361486B2 (ja) 情報提示装置、情報提示方法、及びプログラム
TW202215008A (zh) 藉由計算機系統的導航
CN113093915A (zh) 多人互动的控制方法、装置、设备及存储介质
JP7405734B2 (ja) 表示システム及びサーバ
US12026838B2 (en) Display system and server
KR101153127B1 (ko) 스마트 폰의 지리정보 표시장치
CN118235162A (zh) 信息处理装置、信息处理方法和程序
KR20190069199A (ko) 무인 자동차 가상체험 방법 및 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination