CN107367841A - 移动物体、系统和存储介质 - Google Patents

移动物体、系统和存储介质 Download PDF

Info

Publication number
CN107367841A
CN107367841A CN201710626607.4A CN201710626607A CN107367841A CN 107367841 A CN107367841 A CN 107367841A CN 201710626607 A CN201710626607 A CN 201710626607A CN 107367841 A CN107367841 A CN 107367841A
Authority
CN
China
Prior art keywords
immersion
unit
virtual objects
sensor
automobile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710626607.4A
Other languages
English (en)
Other versions
CN107367841B (zh
Inventor
迫田和之
佐古曜郎
佐古曜一郎
浅田宏平
荒谷勝久
渡邊弘
渡邊一弘
中村隆俊
竹原充
甲賀有希
花谷博幸
大沼智也
丹下明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107367841A publication Critical patent/CN107367841A/zh
Application granted granted Critical
Publication of CN107367841B publication Critical patent/CN107367841B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/082Selecting or switching between different modes of propelling
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/087Interaction between the driver and the control system where the control system corrects or modifies a request from the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/10Interpretation of driver requests or demands
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/38Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Combustion & Propulsion (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Instrument Panels (AREA)

Abstract

本发明涉及移动物体、系统和存储介质。提供一种移动物体,所述移动物体包括输入检测单元,所述输入检测单元被配置成检测来自外部的输入,获取单元,所述获取单元被配置成按照输入检测单元进行的检测的内容,获得由在远程位置的传感器检测的环境信息,和控制单元,所述控制单元被配置成按照获取单元获得的环境信息,控制除驱动致动器以外的致动器,所述驱动致动器与移动物体的移动相关。

Description

移动物体、系统和存储介质
本申请是2013年7月31日提交的发明名称为“移动物体、系统和存储介质”的中国专利申请201310326648.3的分案申请。
技术领域
本公开涉及移动物体、系统和存储介质。
背景技术
一般而言,适合于行驶的汽车包括诸如轮胎或发动机之类的驱动致动器。驾驶员通过手柄、刹车、加速踏板等,操纵驱动致动器,从而驱动汽车。
汽车还包括利用车载扬声器的音频系统,和使汽车中的环境更舒适的空调装置。近年来,还提供了利用车载显示器的汽车导航系统。这些系统是各自独立的,每个系统按照用户的操作工作。
作为对汽车设置的系统,例如,JP 2012-068481A提出一种实现增强现实的系统,其中与真实空间中的场景相应的信息被显示在透射式显示器上,以致所述信息被重叠在真实空间中的场景上。
JP 2009-023651A也提出一种利用抬头显示器的车用信息显示系统,所述抬头显示器把视频投影在车辆的挡风玻璃上,以致乘客能够在视觉上看到所述视频。
这样,各种独立的系统被安装在适合于行驶的汽车上。同时,在游戏机的领域中,已知模仿汽车的模拟驾驶游戏机。
例如,作为模仿汽车的模拟驾驶游戏机,JP 2008-246136A提供一种把视频投影在窗式显示装置上,并把车轮安装在滚轮上,以致游戏者能够在虚拟空间中更逼真地驾驶虚拟汽车的游戏机。
发明内容
然而,JP 2012-068481A、JP 2009-023651A和JP 2008-246136A都没有公开把用于实际行驶的真实汽车看作能够再现特定地点的空间临场感,并且能够提供沉浸感的装置(沉浸感提供装置)的技术。
设置在适合于行驶的汽车中的音频系统和空调装置无疑可以是用于再现空间临场感的致动器,不过它们是独立的系统,并且未被配置成交互地受控,以致再现远程位置的空间临场感。
于是,本公开提出一种新的改进的移动物体、系统和存储介质,所述移动物体、系统和存储介质能够在适合于行驶的汽车中,提供进入预定空间的沉浸感。
按照本公开的实施例,提供一种移动物体,包括输入检测单元,所述输入检测单元被配置成检测来自外部的输入,获取单元,所述获取单元被配置成按照输入检测单元进行的检测的内容,获得由在远程位置的传感器检测的环境信息,和控制单元,所述控制单元被配置成按照获取单元获得的环境信息,控制除驱动致动器以外的致动器,所述驱动致动器与移动物体的移动相关。
按照本公开的再一个实施例,提供一种系统,包括移动物体,和服务器,所述移动物体包括输入检测单元,所述输入检测单元被配置成检测来自外部的输入,获取单元,所述获取单元被配置成按照输入检测单元进行的检测的内容,从服务器获得由在远程位置的传感器检测的环境信息,和控制单元,所述控制单元被配置成按照获取单元获得的环境信息,控制除驱动致动器以外的致动器,所述驱动致动器与移动物体的移动相关,所述服务器包括第一接收单元,所述第一接收单元被配置成从布置在远程位置的传感器,接收利用该传感器检测的环境信息,第二接收单元,所述第二接收单元被配置成从移动物体,接收利用输入检测单元进行的检测的内容,和传输单元,所述传输单元被配置成按照利用第二接收单元接收的检测的内容,把利用第一接收单元接收的环境信息传送给移动物体。
按照本公开的另一个实施例,提供一种存储介质,所述存储介质具有保存于其上的程序,所述程序使计算机起以下作用:输入检测单元,所述输入检测单元被配置成检测来自外部的输入,获取单元,所述获取单元被配置成按照输入检测单元进行的检测的内容,获得由在远程位置的传感器检测的环境信息,和控制单元,所述控制单元被配置成按照获取单元获得的环境信息,控制除驱动致动器以外的致动器,所述驱动致动器与移动物体的移动相关。
按照上面说明的本公开的实施例,能够在适合于行驶的汽车中,提供进入预定空间的沉浸感。
附图说明
图1是说明按照本公开的实施例的沉浸感提供系统的概况的示图;
图2是图解说明普通汽车的结构的方框图;
图3是图解说明按照本实施例的沉浸式汽车的结构的方框图;
图4是图解说明按照本实施例的服务器的结构的方框图;
图5是图解说明按照本发明的沉浸式汽车中的模式切换处理的流程图;
图6是图解说明按照本发明,在沉浸式模式下获得关于目标点的环境信息的处理的流程图;
图7是图解说明按照本发明,在重建沉浸式空间时的AR显示的例子的示图;
图8是图解说明按照本实施例的变形例的沉浸式汽车的结构的方框图;
图9是说明按照本实施例的变形例的沉浸感提供系统的概况的示图;
图10是说明对在远程位置A的致动器组的影响的示图;
图11是图解说明按照本实施例的变形例的沉浸感提供系统的结构的例子的示图;
图12是图解说明按照本实施例的变形例的服务器的结构的方框图。
具体实施方式
下面参考附图,详细说明本公开的优选实施例。注意在说明书和附图中,功能和结构基本相同的构成元件用相同的附图标记表示,这些构成元件的重复说明被省略。
将按照以下顺序进行说明。
1.按照本公开的实施例的沉浸感提供系统的概况
2.基本结构
2-1.沉浸式汽车
2-2.服务器
3.操作处理
3-1.模式切换处理
3-2.环境信息获取处理
4.补充
5.结论
<1.按照本公开的实施例的沉浸感提供系统的概况>
首先参考图1,说明按照本公开的实施例的沉浸感提供系统的概况。图1是说明按照本公开的实施例的沉浸感提供系统的概况的示图。如图1中图解所示,按照本实施例的沉浸感提供系统设想大量的传感器组被布置在全球的各个地点。在图1中图解说明的例子中,例如,传感器组4A、4B和4C分别被布置在远程位置A、B和C。传感器组4A、4B和4C能够与服务器3进行数据通信,服务器3能够与沉浸式汽车1进行数据通信。
传感器组4包括能够获得远程位置的环境信息,比如图像信息、音频信息、温度信息、香气信息和风的状况的各种传感器(例如,图像传感器、麦克风、温度传感器、香气传感器和风量传感器),并把远程位置的环境信息传送给服务器3。每个传感器组4还保留关于每个传感器被布置在远程位置的哪个地点,和获得的环境信息是否与在相邻地点的另一个传感器的环境信息交互作用的信息,并在必要时,把这种信息传送给服务器3。
服务器3根据从各个远程位置传送的环境信息,掌握应组合并输出哪些环境信息,以再现特定远程位置的状态(空间临场感)。一旦从诸如沉浸式汽车1之类的再现特定地点的临场感,从而提供沉浸感的装置收到目标点的再现请求命令,服务器3就提取用于再现目标点的临场感的环境信息,并把提取的环境信息发送给诸如沉浸式汽车1之类的沉浸感提供装置。沉浸式汽车1有时向服务器3传送随时改变目标点的再现请求命令。在这种情况下,服务器3按照更新的目标点,顺序提取新的环境信息,并把新提取的环境信息顺序传送给沉浸式汽车1。
沉浸式汽车1是根据从服务器3接收的环境信息,再现特定地点的临场感,从而提供沉浸感的移动物体的例子。按照本实施例的沉浸式汽车1能够切换包括适合于普通行驶的驾驶模式(移动模式)和适合于享受进入特定地点的沉浸感的乐趣的沉浸式模式(沉浸模式)的两种模式。
注意适合于行驶的普通汽车未被配置成把模式切换成沉浸式模式,也不设想模式被切换成沉浸式模式。下面参考图2,说明普通汽车的结构。
(普通汽车的结构)
图2是图解说明普通汽车100的结构的方框图。如图2中图解所示,普通汽车100包括手柄111、刹车112、加速踏板113和驱动致动器114。汽车100还包括操作输入单元115、显示单元116、通信单元117、音频装置118、扬声器119和导航装置127。汽车100还包括空调操作输入单元120和空调装置121。
手柄111、刹车112和加速踏板113是用于驱动汽车的控制信息的驱动输入装置,并被连接到驱动致动器114,如图2中图解所示。驱动致动器114例如是轮胎、发动机等,是根据来自驱动输入装置的操作信息驱动的。
此外,许多普通汽车都具有安装在车上的音频系统。具体地,音频系统包括配置成从插入的光盘(CD)或者连接的数字音乐播放器,读取音频信号,并控制安装在汽车中的多个扬声器119再现音频信号的音频装置118。音频装置118控制扬声器119再现从通信单元117接收的无线电广播。
近年来,普通汽车常常具有安装在车上的,利用全球定位系统(GPS)的汽车导航系统。具体地,汽车导航系统包括导航装置127,导航装置127被配置成根据通信单元117从多颗GPS卫星接收的信号,测量当前位置,从而导航到用户指定的地点的行车路线。导航装置127可通过通信单元117连接到蜂窝系统,从而获得拥堵信息。导航装置127还能够按照用户操作,在显示单元116上显示地图信息,并显示到用户指定的地点的行车路线。
操作输入单元115是配置成接收用户作出的操作输入的装置(输入检测单元),例如可以是设置在显示单元116上的触摸传感器。操作输入单元115把用户输入的命令输出给音频装置118或者导航装置127。
显示单元116通常布置于在挡风玻璃之下的前部中央附近。显示单元116显示与音频系统相关的菜单屏幕、操作屏幕和再现屏幕,和与导航系统相关的菜单屏幕、操作屏幕和导航屏幕,等等。显示单元116包括例如液晶显示器(LCD)或者有机发光二极管(OLED)。
空调装置121按照配置成测量汽车中的温度的温度传感器(未示出),和用户从空调操作输入单元120输入的命令,控制从设置在汽车中的多个通风口吹出的风的温度和风量,以致控制汽车中的温度。空调操作输入单元120是配置成接收与空调相关的用户操作,并被布置于在挡风玻璃之下的前部中央附近的控制面板。所述控制面板包括温度设定按钮、风量调节按钮、开关通风口的开关、切换内外空气的开关,和开/关电源的开关。
(背景)
如在图2中图解所示,在上面说明的普通汽车100中,从驱动输入装置(手柄111、刹车112和加速踏板113)输入的操作信息只被传送给驱动致动器114。音频系统、导航系统和空调系统彼此独立。这样,普通汽车100一直未被用来集成和控制驱动致动器,和除驱动致动器以外的致动器,比如扬声器119、显示单元116和空调装置121。
同时,作为向用户提供好像当用户访问远程位置时,用户所感受到的空间临场感的技术,可以设想配置成宽广地覆盖用户的视场的显示装置,或者在用户周围布置许多多声道扬声器等的技术,以便打动用户的眼睛或耳朵。另外有效的是随同打动眼睛或耳朵的技术一起,实现一种打动感知香气、温度或风的其它感觉器官的技术。
为了在建筑物的房间中,实现打动用户的各种感觉器官的技术,需要大型设备,即,例如必须在房间的四壁布置显示装置,还设置大量的扬声器,并且必须根据详细的计算,设置香气发生器、空调装置和电扇等。
如果汽车的座舱被视为“用于再现空间临场感和提供沉浸感的空间(沉浸式空间)”,那么不必重新构成大型设备,因为汽车的座舱预先包括各种致动器。
然而,与在JP 2008-246136A中描述的游戏机不同,难以把普通的真实汽车100配置成集成和控制如上所述的各种致动器。尽管汽车100包括输入用于驱动汽车100的操作信息的驱动输入装置,比如手柄111、刹车112和加速踏板113,不过所述操作信息不被输出到汽车100之外。另外,汽车100难以根据操作信息,判断是接受还是拒绝从外部接收的信息。
此外,汽车100的挡风玻璃和侧窗必须足够透明,从而汽车100中的人能够透过挡风玻璃和侧窗向外眺望。由于这样会透过挡风玻璃和侧窗,看见汽车100之外的景色,因此难以利用汽车100再现远程位置的空间临场感,从而提供沉浸感。
于是,本公开的实施例提供沉浸感提供系统。按照本公开的各个实施例的沉浸感提供系统能够根据利用布置在特定地点的传感器组获得的环境信息,在浸沉式汽车中再现所述特定地点的临场感,从而提供沉浸感。浸沉式汽车不仅用作提供沉浸感的沉浸式空间,而且适合于普通行驶。
上面说明了按照本公开的实施例的沉浸感提供系统的概况。下面,将参考附图,详细说明包含在按照本实施例的沉浸感提供系统中的沉浸式汽车和服务的结构。
<2.基本结构>
[2-1.沉浸式汽车]
图3是图解说明按照本实施例的沉浸式汽车1的结构的方框图。如图3中图解所示,沉浸式汽车1包括利用控制单元10控制的手柄11、刹车12、加速踏板13、驱动致动器14、操作输入单元15、显示单元16、通信单元17(获取单元)、音频装置18、扬声器19、空调装置21、模式设定单元22、环境信息存储单元23、导航装置27、香气发生器24和沉浸式显示单元28。
由于手柄11、刹车12、加速踏板13、驱动致动器14、操作输入单元15、显示单元16、通信单元17、音频装置18、扬声器19、空调装置21和导航装置27的基本功能和上面参考图2说明的基本功能相同,因此这里省略对它们的说明。另外,按照本实施例的操作输入单元15可以是设置在显示单元16上的触摸传感器,或者可以是与沉浸式汽车1建立座舱中的有线/无线连接的普通信息终端,比如用户的智能电话机或平板终端。按照本实施例的多个扬声器19可被布置在座舱的侧面,另外可被布置在车座枕头上。通信单元17是配置成从服务器3,获得关于用户指定的特定地点(目标点)的环境信息的获取单元。
(沉浸式显示单元)
沉浸式显示单元28设置在沉浸式汽车1的座舱的整个内部,比如座舱的挡风玻璃、侧窗、后窗、顶篷、底板、侧面和前排座位的背面。沉浸式显示单元28还设置在前排座位的背面,以致坐在后排座位的乘客也能够欣赏沉浸式空间中的前方景色。如果沉浸式显示单元28为膜状,并被设置在挡风玻璃、侧窗等上,那么控制单元10可控制沉浸式显示单元28在普通行驶期间具有更高的透光率,以便不妨碍驾驶员。另一方面,在普通行驶期间,沉浸式显示单元28可被关闭,从而具有较高的透光率。沉浸式显示单元28还可以是可柔软变形的柔性显示器,以致沉浸式显示单元28可以与座舱的顶篷、底板、侧面、前排座位的背面等的表面形状一致。
(香气发生器)
香气发生器24包括从座舱的多个出口(未示出)发出预先保存的香气成分,或者通过组合用于产生香气的成分而产生的香气成分的功能。香气发生器24也可从空调装置21出风的通风口发出香气成分。
(环境信息存储单元)
环境信息存储单元23保存利用通信单元17,从服务器3接收的环境信息。
(控制单元)
控制单元10控制整个沉浸式汽车1。例如,按照本实施例的控制单元10按照从操作输入单元15输入的指示用户指定的特定地点(目标点)的命令,进行控制,以致控制单元17向服务器3请求用于再现目标点的空间临场感的信息(环境信息)。控制单元10还根据利用通信单元17从服务器3接收的环境信息,控制除驱动致动器14以外的致动器,比如沉浸式显示单元28、扬声器19、空调装置21或香气发生器24,从而提供进入目标点的沉浸感。
具体地,控制单元10根据包含在环境信息中的图像信息,控制沉浸式显示单元28,使通过拍摄目标点而获得的图像被显示在沉浸式显示单元28上。随后,控制单元10进行遮蔽控制,以降低设置在挡风玻璃等上的沉浸式显示单元28的透光率,以致座舱中的人不能看见外部的景色。
控制单元10根据包含在环境信息中的音频信息,进行控制,以致从扬声器19再现在目标点收集的声音。控制单元10还根据包含在环境信息中的香气信息,控制香气发生器24,从而再现在目标点检测到的香气。
控制单元10还根据包含在环境信息中的温度信息和风的状况,控制空调装置21的设定温度和风量,以致空调装置21再现目标点的温度和风的状况。
当用户操纵诸如手柄11、刹车12或加速踏板13之类的驱动输入装置时,控制单元10还包括作为输入检测单元的功能,所述输入检测单元被配置成对作为进入驱动致动器的输入的操作信息进行操作检测。在将在下面说明的移动模式期间,控制单元10把从驱动输入装置检测的操作信息传送给驱动致动器14,并进行控制。同时,在将在下面说明的沉浸式模式期间,控制单元10按照从驱动输入装置检测的操作信息,控制除驱动致动器14以外的致动器,从而在沉浸式空间中提供好像用户在目标点驾驶似的感觉
(模式设定单元)
可以设定模式设定单元22,以致只有当沉浸式汽车1的操作模式被设定成沉浸式模式时,才进行为了提供进入目标点的沉浸感,由控制单元10进行的上述控制。
模式设定单元22可把沉浸式汽车1的操作模式设定成适合于普通行驶的驾驶模式,和用于再现空间临场感,从而提供驾驶员享受的沉浸感的沉浸式模式(沉浸模式)之一。如在图3中图解所示,按照本实施例的沉浸式汽车1具有控制单元10,所述控制单元被配置成除了驱动致动器14之外,还能够集成和控制诸如沉浸式显示单元28、扬声器19和空调装置21之类的致动器。从而,模式的切换甚至使能够被驾驶的普通真实汽车可被用于再现沉浸式空间。模式设定单元22可按照用户从操作输入单元15输入的命令,设定沉浸式汽车1的操作模式。
-驾驶模式
当设定了驾驶模式时,模式设定单元22向控制单元10发出设定了驾驶模式的通知。所述通知使控制单元10可以根据来自驱动输入装置(比如手柄11、刹车12或加速踏板13)的操作信息,对驱动致动器14(比如刹车或发动机)进行驱动控制,和实际驱动沉浸式汽车1。
-沉浸式模式
当设定了沉浸式模式时,模式设定单元22向控制单元10发出设定了沉浸式模式的通知。收到该通知的控制单元10进行如上所述的控制,以提供进入目标点的沉浸感。具体地,生成请求用于再现目标点的空间临场感的信息(环境信息)的再现请求命令,并利用通信单元17传送给服务器3。控制单元10还根据从服务器3接收的环境信息,控制沉浸式显示单元28、扬声器19、空调装置21等。
模式设定单元22还向沉浸式显示单元28、扬声器19、空调装置21等发送设定了沉浸式模式的通知。收到所述通知的沉浸式显示单元28、扬声器19、空调装置21等被切换,以便按照控制单元10进行的再现空间临场感的控制工作。
收到设定了沉浸式模式的通知的控制单元10阻断从驱动输入装置(手柄11、刹车12和加速踏板13)到驱动致动器14(比如刹车和发动机)的操作信息的传送,以致当操作驱动输入装置时,汽车实际上不会行驶。同时,控制单元10可把来自驱动输入装置的操作信息用于控制目标点的空间临场感的再现。即,控制单元10可根据来自驱动输入装置的操作信息,控制沉浸式显示单元28、扬声器19、空调装置21等,从而提供好像用户在目标点驾驶似的感觉。
上面详细说明了按照本实施例的沉浸式汽车1的结构。下面,将参考图4说明按照本实施例的服务器3的结构。
[2-3.服务器]
图4是图解说明按照本实施例的服务器3的结构的方框图。如在图4中图解所示,服务器3包括控制单元30、传感器组通信单元31、索引数据库(DB)33、环境信息存储单元35和沉浸式汽车通信单元37。下面说明每种结构。
(传感器组通信单元)
传感器组通信单元31连接到布置在各个远程位置的传感器组4(参见图1),并进行数据通信。具体地,传感器组通信单元31从传感器组4接收传感器数据(环境信息),并把传感器数据输出给控制单元30。传感器组通信单元31可持续从传感器组4接收传感器数据,或者可在控制单元30发出获取指令的时候,接收传感器数据。
(沉浸式汽车通信单元)
沉浸式汽车通信单元37连接到沉浸式汽车1,并进行数据通信。具体地,沉浸式汽车通信单元37从沉浸式汽车1接收请求用于再现目标点的空间临场感的环境信息的再现请求命令,然后把所述环境信息输出给控制单元30。沉浸式汽车通信单元37还把利用控制单元30提取的环境信息传送给传送了再现请求命令的沉浸式汽车1。另外,在图1中图解所示的例子中,作为一个例子,服务器3连接到单个沉浸式汽车1,不过在本实施例中,沉浸式汽车的数目并不局限于此。服务器3自然可连接到多个沉浸式汽车1。
(控制单元)
控制单元30使环境信息存储单元35保存利用传感器组通信单元31接收的环境信息。在控制单元30使环境信息存储单元35保存环境信息之前,控制单元30可对环境信息进行压缩处理。随后,控制单元30把保存在环境信息存储单元35中的环境信息的索引信息登记在索引数据库33中。索引数据库33管理保存在环境信息存储单元35中的环境信息,从而易于搜索服务器3保持哪些环境信息。
一旦沉浸式汽车通信单元37从沉浸式汽车1收到再现请求命令,控制单元30就参考索引数据库33,确认关于指定的特定地点(目标点)的环境信息被保持在何处。当参照索引数据库33,并确认服务器3保持关于目标点的环境信息时,控制单元30获得关于目标点的环境信息,并把环境信息转换成适当的格式,以便把环境信息从沉浸式汽车通信单元37传送给沉浸式汽车1。为了传送给沉浸式汽车1而获得的环境信息可以是从传感器组4传送的实时(实际时间)环境信息,已保存在环境信息存储单元35中的过去的环境信息,或者它们的组合。
(索引数据库)
索引数据库33是管理何时从哪个传感器接收的环境信息被保存在哪个存储装置中的存储单元。具体地,索引数据库33把何时从哪个传感器接收的环境信息被保存在哪个存储单元(这里,环境信息存储单元35)中保存为每项环境信息的索引信息。
(环境信息存储单元)
环境信息存储单元35是配置成保存利用传感器组通信单元31接收的环境信息的存储单元。如上所述,将由环境信息存储单元35保存的环境信息包括图像信息、音频信息、香气信息和风的状况,并且可按控制单元30压缩环境信息的状态,保存环境信息。另外,待保存的信息的格式等没有特别的限制。
上面详细说明了按照本实施例的服务器3的结构。在图4中图解说明的例子中,服务器3的各种构成被布置在单上设备中,不过在本实施例中,所述布置并不局限于此。不用说各个结构可被分散地布置,不一定必须被布置在单一的物理场所中。下面将参考图5-7,详细说明按照本实施例的沉浸感提供系统的操作处理。
<3.操作处理>
[3-1.切换模式的处理]
图5是图解说明按照本实施例,沉浸式汽车1中的切换模式的处理的流程图。如图5中图解所示,首先,在步骤S103,沉浸式汽车1处于待用状态。待用意味汽车中没有乘客,或者沉浸式汽车1的钥匙未被插入的状态。
之后,当沉浸式汽车1的钥匙被插入,或者用户坐在驾驶座,以致待用状态被解除时,在步骤S106,控制单元10判断坐在驾驶座的用户是否有资格驾驶汽车。控制单元10可通过读取驾驶执照、参考预先记录的合格者信息(包括合格者的生物信息),识别面部(用户是成人还是儿童)等,判断用户是否符合条件。
之后,当判断用户有资格驾驶汽车时,在步骤S109,操作输入单元15根据用户操作,接收指示设定驾驶模式或沉浸式模式的命令。
之后,当命令指示设定驾驶模式时,在步骤S112,模式设定单元22把沉浸式汽车1的操作模式设定为驾驶模式。模式设定单元22还向控制单元10发出设定了驾驶模式的通知。
之后在步骤S115,控制单元10把从驱动输入装置接收的操作信息传送给驱动致动器,以控制驱动致动器,从而使沉浸式汽车1实际被驱动。
之后,在步骤116,一旦沉浸式汽车1的钥匙被拔出,或者从操作输入单元15进行了输入结束驾驶模式的命令的操作,控制单元10就结束驾驶模式。
相反,当在步骤S106,判定用户不是有资格驾驶汽车的人时,或者当在步骤S109中,收到指示设定了沉浸式模式的命令时,在步骤S118,控制单元10判断沉浸式汽车1是否处于停止状态。例如,控制单元10可根据变速杆(未示出)是否被放入停车挡,手刹是否被拉起,轮胎是否在转动等,判断沉浸式汽车1目前是否处于停止状态。这样,在把操作模式切换成沉浸式模式之前,判断沉浸式汽车1是否处于停止状态,以致当在能够实际行驶的汽车中切换模式时,能够确保安全。
之后,当确定沉浸式汽车1处于停止状态时,在步骤S121中,模式设定单元22把沉浸式汽车1的操作模式设定成沉浸式模式。模式设定单元22还向控制单元10发出设定了沉浸式模式的通知。一旦设定了沉浸式模式,控制单元10就阻断从驱动输入装置到驱动致动器14的操作信息的传送,如上所述。控制单元10还可把来自驱动输入装置的操作信息处理成沉浸式空间中的驾驶操作命令(命令确认)。
如果设定了沉浸式模式,那么控制单元10可控制显示单元16显示便利目标点的输入的屏幕。控制单元10还生成请求用于再现利用通过操作输入单元15的用户操作指定的特定地点(目标点)的空间临场感的环境信息的再现请求命令,把所述再现请求命令传送给服务器3,然后从服务器3获得环境信息。
之后,在步骤S124,控制单元10控制除驱动致动器14以外的致动器,根据从服务器3获得的环境信息,再现目标点的空间临场感,从而提供沉浸感。
一旦在步骤S127,沉浸式汽车1的钥匙被拔出,或者从操作输入单元15进行了操作,以致输入结束沉浸式模式的命令,控制单元10就结束沉浸式模式。
上面说明了按照本实施例的沉浸式汽车1的切换模式的处理。下面参考图6,详细说明当设定沉浸式模式时(已在S121中说明),关于目标点的环境信息的获取。
[3-2.获取环境信息的处理]
图6是图解说明按照本实施例,在沉浸式模式下,获得关于目标点的环境信息的处理的流程图。如图6中图解所示,首先在步骤S203,沉浸式汽车1的操作输入单元15检测诸如目标点的输入之类的各种命令。作为目标点的输入,例如,通过显示在显示单元16上的目标点输入屏幕,输入诸如目标点的地名(例如,城市名称或者地区名称)或地址,或者设施的名称(例如,站名、建筑物名称和公园名称)之类的文字。操作输入单元15可检测代表目标点的这种文字信息,作为位置信息。
之后在步骤S206,控制单元10根据利用操作输入单元15检测的目标点的位置信息,生成再现请求命令,所述再现请求命令请求将用于再现目标点的空间临场感的环境信息。
同时,在步骤S209,服务器3从布置在各个远程位置的传感器组,接收环境信息,所述环境信息是利用传感器组检测的数据(传感器数据)。服务器3还把接收的环境信息保存在环境信息存储单元35中,把保存的环境信息的索引信息登记在索引数据库33中。
之后在步骤S212,沉浸式汽车1的控制单元10把生成的再现请求命令从通信单元17传送给服务器3。
之后在步骤S215,服务器3根据接收的再现请求命令,获得从布置在所请求的目标点的传感器组接收的环境信息。
之后在步骤S218,服务器3把获得的环境信息传送给沉浸式汽车1。
之后在步骤S221,沉浸式汽车1的控制单元10把从服务器3接收的环境信息分解成每个致动器的再现要素数据。具体地,例如,控制单元10把从服务器3接收的环境信息分解成图像信息、音频信息、温度信息、风的状况(风量信息)等等。
之后在步骤S224,控制单元10根据各个分解的再现要素数据,控制除驱动致动器14以外的各个致动器。例如,通过进行控制,以致在目标点拍摄的图像被显示在设置于挡风玻璃、侧窗、顶篷等的沉浸式显示单元28上,控制单元10能够再现好像用户实际在用户指定的目标点似的临场感。
控制单元10还可通过进行控制,以致从布置在汽车中的扬声器19再现在目标点收集的声音,再现好像用户实际在所述目标点似的临场感。
通过控制空调装置21再现在目标点检测的温度,控制单元10能够进一步再现好像用户实际在所述目标点似的临场感。另外,控制空调装置21输出在目标点检测的风量,从而能够再现好像用户在目标点似的临场感。
之后,在步骤S227,沉浸式汽车1的控制单元10检测移动命令。移动命令可以是当用户操作驱动输入装置(手柄11、刹车12或加速踏板13),以便在目标点进行虚拟驾驶时输出的操作信息,或者可以是从操作输入单元15输入的下一个目标点的位置信息。
之后,在步骤S230,控制单元10判断环境信息存储单元23是否保存能够用于处理上述移动命令的环境信息。环境信息存储单元23保存在S218,从服务器3传送的环境信息。例如,当移动命令是从驱动输入装置输出的用于在目标点周围的虚拟驾驶的操作信息时,如果也已收到目标点周围的环境信息,那么能够处理该移动命令。
当环境信息存储单元23保存能够用于处理上述移动命令的环境信息时(S230/是),控制单元10提取所述环境信息,并重复在S221-S224中所示的处理。
相反,当环境信息存储单元23未保存能够用于处理上述移动命令的环境信息时(S230/否),控制单元10重复在S206-S218中所示的处理,重新从服务器3获得环境信息。之后,通过重复在S221-S224中所示的处理,按照来自驱动输入装置的操作信息,能够再现好像在目标点周围驾驶汽车似的空间临场感。控制单元10还可控制空调装置21出风,从而提供好像驾驶汽车似的感觉。
这样,通过重复在S206-S230中所示的上述处理,沉浸式汽车1能够不断改变沉浸式空间,用户能够从例如目标点开始虚拟驾驶。
上面详细说明了按照本实施例,在沉浸式模式下,获得关于目标点的环境信息的处理。下面,将说明向按照本实施例的沉浸感提供系统增加的一些补充。
<4.补充>
[4-1.AR显示]
在按照本实施例再现沉浸式空间时,控制单元10可在显示在沉浸式显示单元28上的图像上,类似于增强现实(AR)似地重叠关于图像中的对象(比如建筑物和自然物)的说明信息。这里,在图7中图解说明了AR显示的例子。
如图7中图解所示,当沉浸式汽车1在停车场等中处于停止状态时,设定沉浸式模式。一旦输入了目标点,就在图7中图解说明的真实空间中,遮蔽窗外的景色,然后在沉浸式显示单元28上,显示表示目标点的图像,如在图7的下图中图解所示。如在图7的下图中图解所示,显示指示所显示图像中的对象的说明信息(比如名称或历史)的指示41。说明信息的指示数据可包含在从服务器3接收的图像信息中。可按照用户的指令,在显示/不显示之间切换AR显示。
虽然在图7中图解说明的例子中,关于图像中的对象的说明信息被显示成图像,不过按照本实施例的控制单元10也可进行控制,以致从汽车中的扬声器19输出声音。
[4-2.输入命令的其它技术]
在上面说明的实施例中,目标点是通过操作输入单元15,作为文字信息输入的,驱动输入装置用于虚拟驾驶。不过,按照本公开的实施例的沉浸感提供系统中的命令输入技术并不局限于此。下面参考图8,说明能够把命令输入其中的另一种沉浸式汽车1'。
图8是图解说明按照本实施例的变形例的沉浸式汽车1'的结构的方框图。如图8中图解所示,除了在图3中图解说明的结构之外,按照本实施例的变形例的沉浸式汽车1'还包括麦克风25(下面称为麦克风25)、摄像机26、和传感器43、44和45。
麦克风25收集车内的声音,比如从用户发出的语音,并把所述声音输出给控制单元10。在这种情况下,控制单元10分析收集的用户的语音,从而检测输入的命令(比如目标点指定或者移动指令)。
摄像机26拍摄车内的视频,比如用户的视频,并把拍摄的图像输出给控制单元10。在这种情况下,控制单元10根据拍摄的图像,识别用户的动作、姿势、手势等,从而检测输入命令。
传感器43、44和45都被设置在驱动输入装置中,检测用户操作的力的大小(压力),并把所述大小输出给控制单元10。在这种情况下,控制单元10根据检测的压力,检测输入命令。设置在手柄11中的传感器43包括作为湿度传感器的功能,从而可检测其中用户的手出汗的情形。在这种情况下,例如,控制单元10可在用于再现沉浸式空间的各个致动器的控制的输出的强度上,反映利用湿度传感器获得的检测结果。例如,当目标点是酷热地区的一部分时,控制单元10控制空调装置21升高车内的温度。另外,当根据利用湿度传感器获得的检测结果,可确定用户未感到热(没有出汗)时,温度可被设定成更高的温度。
如上所述,按照本实施例的沉浸式汽车不仅能够接收来自操作输入单元15和驱动输入装置的操作输入,而且能够接收音频输入、手势输入、压力输入等。坐在除驾驶座以外的座位的用户也能够通过声音、手势等输入命令。
[4-3.对外部环境中的致动器的影响]
按照本实施例的沉浸感提供系统可被配置成具有从沉浸式汽车1对布置在各个远程位置的致动器组的影响。下面参考图9-10进行详细说明。
图9是说明按照本实施例的变形例的沉浸感提供系统的概况的示图。如在图9中图解所示,传感器组4A-4C和致动器组5A-5C分别被布置在远程位置A-C。
致动器组5A-5C根据来自沉浸式汽车1的指令,通过服务器工作。致动器组5A-5C例如是振动器或显示装置。例如,当在远程位置虚拟驾驶沉浸式汽车1时,布置在远程位置的扬声器可输出行驶声音,显示装置可显示沉浸式汽车1的行驶图像。服务器3可生成行驶声音和行驶图像,或者坐在沉浸式汽车1上的用户可指定行驶声音和行驶图像。
致动器组不仅可以是布置在现场的扬声器或显示装置,而且也可以是目前布置在远程位置的致动器组。具体地,如图10中图解所示,例如,致动器组可以是设置在信息处理终端50,比如目前在远程位置A的另一个用户持有的智能电话机中的扬声器51或显示单元53。
图10是说明对在远程位置A的致动器组的影响的示图。如在图10中图解所示,当在远程位置A,在道路上拿着能够与服务器3进行数据通信的信息处理终端50时,显示单元53显示通过利用设置在信息处理终端50的背面的摄像机(未示出)拍摄前方的道路而获得的前方的道路的图像。从而,显示单元53显示此时在所述道路上实际行驶的汽车56。此外,信息处理终端50能够从服务器3接收关于在远程位置A虚拟行驶的沉浸式汽车1的信息,并且能够把沉浸式汽车1的AR图像54重叠在真实空间中的道路的图像上。信息处理终端50还可从服务器3接收沉浸式汽车1的行驶声音,从而从扬声器51再现行驶声音。在远程位置A的用户从而能够享受观看目前在沉浸式空间中行驶的汽车的乐趣。
虽然说明了对位于目前在其中虚拟驾驶沉浸式汽车1的远程位置(目标点)的致动器组的影响,不过,按照本实施例的系统并不局限于此。可以影响在另一个位置的致动器组。例如,在本实施例中,当在多个沉浸式汽车内再现相同赛道的沉浸式空间,并且所述沉浸式汽车在所述赛道中虚拟地相互赛车时,能够根据该信息,在另一个地点再现该赛车。具体地,在本实施例中,可根据来自多个沉浸式汽车的驱动输入装置的各项操作信息等,生成和再现表示多个沉浸式汽车正在赛道中相互赛车的运动图像。另一个用户从而能够观看沉浸式空间中的赛车。
另外,作为对布置在远程位置的致动器组的影响的另一个例子,例如,沉浸式汽车1'中的用户可以通过布置在观光地的显示装置和扬声器,与目前在所述观光地的人交谈。
[4-4.系统的结构的其它例子]
如图1中图解所示,按照上面说明的本实施例的沉浸感提供系统包括单个服务器3,而这只是一个例子。不必说,按照本公开的实施例的沉浸感提供系统可包括多个服务器。下面参考图11-12进行详细说明。
图11是图解说明按照本实施例的变形例的沉浸感提供系统的结构例子的示图。如图11中图解所示,按照该变形例的沉浸感提供系统包括多个服务器3'A和3'B,沉浸式汽车1,和都布置在远程位置的传感器组4A、4B、4C、4D和4E。
服务器3'A和3'B连接到沉浸式汽车1,并且连接到传感器组。这里,在图11中图解所示的例子中,服务器3'A连接到传感器组4A-4C,而服务器3'B连接到传感器组4C-4E。这样,多个服务器3'A和3'B可连接到不同的传感器组,或者可连接到相同的传感器组。服务器3'的结构将在下面说明。
沉浸式汽车1从服务器3'A和/或服务器3'B,获得环境信息。沉浸式汽车1可把再现请求命令传送给预先设定的服务器3'之一,或者可把再现请求命令传送给所有的服务器3'。
这里,例如,服务器3'A未连接到传感器组4D和4E。从而,假定当从传感器组4D获得关于目标点的环境信息时,即使再现请求命令被传送给服务器3'A,也不能获得所述关于目标点的环境信息。另外假定沉浸式汽车1可不预先确定再现请求命令必须被传送给哪个服务器3',以便获得所述关于目标点的环境信息。
从而在本实施例中,理想的是例如服务器3'被配置成能够与另一个服务器进行数据通信。下面参考图12,说明服务器3'的结构。
(服务器3'的结构)
图12是图解说明按照本实施例的变形例的服务器3'的结构的方框图。如图12中图解所示,服务器3'都包括传感器组通信单元31、控制单元39、索引数据库33、环境信息存储单元35、沉浸式汽车通信单元37和另一个服务器通信单元34。由于已参考图4说明了传感器组通信单元31、索引数据库33、环境信息存储单元35和沉浸式汽车通信单元37,因此这里省略对它们的说明。
所述另一服务器通信单元34与别的服务器3'进行数据通信。例如,另一个服务器通信单元34从别的服务器3'B,接收关于保存在别的服务器3'B的存储单元中的环境信息的索引信息。
控制单元39控制各个服务器3'的结构。具体地,例如,控制单元39控制利用另一个服务器通信单元34从别的服务器3'B接收的索引信息被登记在索引数据库33中。
一旦沉浸式汽车通信单元37从沉浸式汽车1收到再现请求命令,控制单元39通过参照索引数据库33,确认哪个服务器保持关于指定的特定地点(目标点)的环境信息。
当确认用于处理再现请求命令的一项或所有各项环境信息被保持在别的服务器3'B中时,控制单元39就通过另一个服务器通信单元34访问别的服务器3'B,从而获得用于处理再现请求命令的环境信息。
另一方面,当确认用于处理再现请求命令的所述一项或所有各项环境信息被保持在别的服务器3'B中时,控制单元39可向沉浸式汽车1发送指令,以致再现请求命令被传送给别的服务器3'B。在这种情况下,响应所述指令,沉浸式汽车1可把再现请求命令传送给别的服务器3'B,从而能够获得用于处理再现请求命令的环境信息。
<5.结论>
如上所述,在按照本实施例的沉浸感提供系统中,能够根据从布置在特定地点的传感器组获得的环境信息,在沉浸式汽车中再现特定地点的空间临场感,从而提供沉浸感。沉浸式汽车还可用作用于提供沉浸感的沉浸式空间,并且可以用于普通行驶。
此外,按照本实施例的沉浸式汽车可以设定适用于普通行驶的驾驶模式,和用于再现空间临场感,从而使用户享受沉浸感的沉浸式模式(沉浸模式)之一。
本领域的技术人员应明白,根据设计要求和其它因素,可以产生各种修改、组合、子组合和变更,只要它们在所附的权利要求或其等同物的范围之内。
例如,在上述实施例中,通过观看显示在顶篷、底板和侧窗上的目标点的图像,即使在后排座位的用户也能够欣赏沉浸式空间。在这种情况下,在实际驾驶沉浸式汽车1的时候,可为在后排座位的用户再现沉浸式空间,只要所述再现不妨碍驾驶员。
在上述情况下,沉浸式汽车1可按照实际的交通拥堵情况,主要为在后排座位的用户控制沉浸式空间的再现。例如,控制单元10可以主要为在后排座位的用户控制沉浸式空间的再现,以致用户在导航装置27考虑到实际的交通拥堵情况计算的实际到达时间到达目的地。具体地,控制单元10可根据从布置在从当前位置到目的地的行车路线上的传感器组获得的环境信息,再现沉浸式空间,以致用户在实际到达时间到达目的地,从而可提供好像用户虚拟开车到目的地似的感觉。
从而即使在真实空间中,乘客处在交通拥堵中,在沉浸式空间中,所述乘客也可感到好像他或她一直在朝着目的地行驶似的。沉浸式汽车1控制沉浸式空间中的到达时间,以致沉浸式空间中的到达时间与在真实空间中,沉浸式汽车1到达目的地的时间一致。结果,能够减轻由真实空间中的到达时间和沉浸式空间中的到达时间之间的差距引起的压力。
上面说明的沉浸式汽车不仅可以是小汽车,而且可以是公共汽车、卡车和吉普车。沉浸式汽车还可以是诸如火车、单轨电车、电车、飞机、直升机和火箭之类的移动物体。
另外,还可如下构成本技术。
(1)一种移动物体,包括:
输入检测单元,所述输入检测单元被配置成检测来自外部的输入;
获取单元,所述获取单元被配置成按照输入检测单元进行的检测的内容,获得由在远程位置的传感器检测的环境信息;和
控制单元,所述控制单元被配置成按照获取单元获得的环境信息,控制除驱动致动器以外的致动器,所述驱动致动器与移动物体的移动相关。
(2)按照(1)所述的移动物体,其中获取单元按照利用输入检测单元检测的位置信息,获得利用传感器检测的环境信息,所述传感器被布置在利用位置信息指示的位置附近。
(3)按照(1)或(2)所述的移动物体,其中环境信息是利用传感器实时检测的。
(4)按照(1)-(3)任意之一所述的移动物体,其中传感器是布置在远程位置的传感器。
(5)按照(1)-(4)任意之一所述的移动物体,
其中输入检测单元根据文字输入或音频输入,检测位置信息,和
其中位置信息是地名、地址或者设施名称。
(6)按照(1)-(5)任意之一所述的移动物体,
其中除驱动致动器以外的致动器是设置在移动物体中的显示装置、空调装置、扬声器或者香气发生器,
其中控制单元按照用于再现远程位置的环境的环境信息,进行显示控制、温度控制、音频再现控制或者香气发生控制。
(7)按照(6)所述的移动物体,其中显示装置被设置在移动物体的挡风玻璃、侧窗、后窗、顶篷、侧面、底板和前排座位的背面中的至少一个或多个处。
(8)按照(1)-(7)任意之一所述的移动物体,还包括:
模式设定单元,所述模式设定单元把移动物体的操作模式设定成移动模式或沉浸式模式。
(9)按照(8)所述的移动物体,其中当模式设定单元设定移动模式时,控制单元根据给驱动致动器的输入,控制驱动致动器,所述输入是利用输入检测单元检测的。
(10)按照(8)所述的移动物体,其中当模式设定单元设定沉浸式模式时,控制单元按照给驱动致动器的输入和环境信息,控制除驱动致动器以外的致动器,所述输入是利用输入检测单元检测的。
(11)按照(10)所述的移动物体,其中输入检测单元检测对设置在移动物体中的手柄、加速踏板或刹车的用户操作,作为给驱动致动器的输入。
(12)按照(1)-(10)任意之一所述的移动物体,还包括:
传输单元,所述传输单元被配置成按照用户操作,向致动器传送操作指令,所述致动器被布置在检测环境信息的传感器附近。
(13)一种系统,包括:
移动物体,所述移动物体包括
输入检测单元,所述输入检测单元被配置成检测来自外部的输入,
获取单元,所述获取单元被配置成按照输入检测单元进行的检测的内容,从服务器获得由在远程位置的传感器检测的环境信息,和
控制单元,所述控制单元被配置成按照获取单元获得的环境信息,控制除驱动致动器以外的致动器,所述驱动致动器与移动物体的移动相关;和
服务器,所述服务器包括
第一接收单元,所述第一接收单元被配置成从布置在远程位置的传感器,接收利用该传感器检测的环境信息,
第二接收单元,所述第二接收单元被配置成从移动物体,接收利用输入检测单元进行的检测的内容,和
传输单元,所述传输单元被配置成按照利用第二接收单元接收的检测的内容,把利用第一接收单元接收的环境信息传送给移动物体。
(14)一种存储介质,所述存储介质具有保存于其上的程序,所述程序使计算机起以下作用:
输入检测单元,所述输入检测单元被配置成检测来自外部的输入;
获取单元,所述获取单元被配置成按照输入检测单元进行的检测的内容,获得由在远程位置的传感器检测的环境信息;和
控制单元,所述控制单元被配置成按照获取单元获得的环境信息,控制除驱动致动器以外的致动器,所述驱动致动器与移动物体的移动相关。
本公开包含与在2011年8月8日向日本专利局提交的日本优先权专利申请JP2012-175695中公开的主题相关的主题,该专利申请的整个内容在此引为参考。

Claims (20)

1.一种服务器,包括:
电路,被配置成:
与位于远处的用户装置和信息处理设备通信;
生成与从位于远处的用户装置接收的指令信息对应的虚拟对象显示信息,其中所述指令信息是针对由真实世界中的位置处的传感器检测到的环境信息的用户输入;以及
将所述虚拟对象显示信息发送给所述信息处理设备,以将与所述虚拟对象显示信息对应的虚拟对象叠加在真实世界中的所述位置的场景上。
2.根据权利要求1所述的服务器,其中所述电路进一步被配置成接收由位于真实世界中的所述位置处的传感器检测到的图像。
3.根据权利要求1所述的服务器,其中所述电路进一步被配置成接收由位于真实世界中的所述位置处的传感器检测到的声音。
4.根据权利要求1所述的服务器,其中所述虚拟对象是车辆。
5.根据权利要求1所述的服务器,其中基于所述用户输入确定所述虚拟对象。
6.根据权利要求1所述的服务器,其中所述电路进一步被配置成:
接收由位于真实世界中的所述位置处的传感器检测到的声音;以及
将所接收的声音发送给所述信息处理设备以再现所述声音。
7.根据权利要求6所述的服务器,其中所接收的声音是车辆的行驶声音。
8.一种方法,包括:
在服务器中:
与位于远处的用户装置和信息处理设备通信;
生成与从位于远处的用户装置接收的指令信息对应的虚拟对象显示信息,其中所述指令信息是针对由真实世界中的位置处的传感器检测到的环境信息的用户输入;以及
将所述虚拟对象显示信息发送给所述信息处理设备,以将与所述虚拟对象显示信息对应的虚拟对象叠加在真实世界中的所述位置的场景上。
9.根据权利要求8所述的方法,进一步包括:接收由位于真实世界中的所述位置处的传感器检测到的图像。
10.根据权利要求8所述的方法,进一步包括:接收由位于真实世界中的所述位置处的传感器检测到的声音。
11.根据权利要求8所述的方法,其中所述虚拟对象是车辆。
12.根据权利要求8所述的方法,其中基于所述用户输入确定所述虚拟对象。
13.根据权利要求8所述的方法,进一步包括:
接收由位于真实世界中的所述位置处的传感器检测到的声音;以及
将所接收的声音发送给所述信息处理设备以再现所述声音。
14.根据权利要求13所述的方法,其中所接收的声音是车辆的行驶声音。
15.一种非暂时性计算机可读介质,其上存储有计算机可执行指令集,所述计算机可执行指令集在被计算机执行时使得计算机执行包括以下步骤的步骤:
与位于远处的用户装置和信息处理设备通信;
生成与从位于远处的用户装置接收的指令信息对应的虚拟对象显示信息,其中所述指令信息是针对由真实世界中的位置处的传感器检测到的环境信息的用户输入;以及
将所述虚拟对象显示信息发送给所述信息处理设备,以将与所述虚拟对象显示信息对应的虚拟对象叠加在真实世界中的所述位置的场景上。
16.根据权利要求15所述的非暂时性计算机可读介质,所述步骤进一步包括:接收由位于真实世界中的所述位置处的传感器检测到的图像。
17.根据权利要求15所述的非暂时性计算机可读介质,所述步骤进一步包括:接收由位于真实世界中的所述位置处的传感器检测到的声音。
18.根据权利要求15所述的非暂时性计算机可读介质,其中所述虚拟对象是车辆。
19.根据权利要求15所述的非暂时性计算机可读介质,其中基于所述用户输入确定所述虚拟对象。
20.根据权利要求15所述的非暂时性计算机可读介质,所述步骤进一步包括:
接收由位于真实世界中的所述位置处的传感器检测到的声音;以及
将所接收的声音发送给所述信息处理设备以再现所述声音。
CN201710626607.4A 2012-08-08 2013-07-31 移动物体、系统和存储介质 Active CN107367841B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-175695 2012-08-08
JP2012175695A JP6102117B2 (ja) 2012-08-08 2012-08-08 移動体、システム、プログラム、および情報処理装置
CN201310326648.3A CN103581288B (zh) 2012-08-08 2013-07-31 移动设备、移动设备的控制方法以及沉浸感提供系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201310326648.3A Division CN103581288B (zh) 2012-08-08 2013-07-31 移动设备、移动设备的控制方法以及沉浸感提供系统

Publications (2)

Publication Number Publication Date
CN107367841A true CN107367841A (zh) 2017-11-21
CN107367841B CN107367841B (zh) 2021-02-26

Family

ID=50052197

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201310326648.3A Active CN103581288B (zh) 2012-08-08 2013-07-31 移动设备、移动设备的控制方法以及沉浸感提供系统
CN201710626607.4A Active CN107367841B (zh) 2012-08-08 2013-07-31 移动物体、系统和存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201310326648.3A Active CN103581288B (zh) 2012-08-08 2013-07-31 移动设备、移动设备的控制方法以及沉浸感提供系统

Country Status (3)

Country Link
US (3) US8914236B2 (zh)
JP (1) JP6102117B2 (zh)
CN (2) CN103581288B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113119863A (zh) * 2020-01-15 2021-07-16 未来(北京)黑科技有限公司 一种全车窗成像系统
CN114070344A (zh) * 2020-08-07 2022-02-18 Aptiv技术有限公司 具有侧通信信道的对象检测系统

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101923702B1 (ko) * 2012-01-20 2018-11-30 삼성전자주식회사 서버, 차량 제어 시스템 및 그 차량 제어 방법
JP2016503741A (ja) * 2012-12-21 2016-02-08 ハーマン ベッカー オートモーティブ システムズ ゲーエムベーハー 自動車用の入力装置
DE102014216159B4 (de) * 2014-08-14 2016-03-10 Conti Temic Microelectronic Gmbh Fahrerassistenzsystem
US9782672B2 (en) 2014-09-12 2017-10-10 Voyetra Turtle Beach, Inc. Gaming headset with enhanced off-screen awareness
US20150166086A1 (en) * 2015-02-24 2015-06-18 Electro-Motive Diesel, Inc. Windshield display system
CN105606378B (zh) * 2016-03-31 2019-02-12 深圳市安车检测股份有限公司 一种汽车列车制动性能检测台
WO2017209313A1 (ko) * 2016-05-30 2017-12-07 엘지전자 주식회사 차량용 디스플레이 장치 및 차량
US20170352185A1 (en) * 2016-06-02 2017-12-07 Dennis Rommel BONILLA ACEVEDO System and method for facilitating a vehicle-related virtual reality and/or augmented reality presentation
US10726640B2 (en) * 2016-11-15 2020-07-28 At&T Mobility Ii Llc Facilitation of smart communications hub to support driverless vehicles in 5G networks or other next generation networks
EP3343178B1 (de) * 2016-12-27 2019-08-07 Volkswagen AG Fahrerassistenzsystem, computerprogrammprodukt, signalfolge, fortbewegungsmittel und verfahren zur information eines anwenders eines fortbewegungsmittels
US10480345B2 (en) 2017-07-18 2019-11-19 United Technologies Corporation Wear indication sensor designs and methods of integration
US11362882B2 (en) * 2017-08-25 2022-06-14 Veniam, Inc. Methods and systems for optimal and adaptive urban scanning using self-organized fleets of autonomous vehicles
JP2019135122A (ja) * 2018-02-05 2019-08-15 トヨタ自動車株式会社 車両用遮光構造
US11107281B2 (en) * 2018-05-18 2021-08-31 Valeo Comfort And Driving Assistance Shared environment for vehicle occupant and remote user
CN108928213B (zh) * 2018-07-17 2022-04-19 深圳市汇川技术股份有限公司 控制面板的参数配置方法、控制面板及被控设备
CN113382892A (zh) * 2019-02-01 2021-09-10 本田技研工业株式会社 空间管理系统、移动体、程序及空间管理方法
CN112558305B (zh) * 2020-12-22 2022-10-18 华人运通(上海)云计算科技有限公司 显示画面的控制方法、装置、介质及抬头显示控制系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1066058A (ja) * 1996-06-11 1998-03-06 Masanobu Kujirada 実況映像提供システム
US20060095193A1 (en) * 2004-10-29 2006-05-04 Nissan Motor Co., Ltd. Vehicle operation support apparatus
CN101300460A (zh) * 2005-11-18 2008-11-05 通腾科技股份有限公司 显示交通信息的导航装置
CN101779206A (zh) * 2007-08-17 2010-07-14 星克跃尔株式会社 提供三维地图服务的方法和地理信息系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0944077A (ja) * 1995-07-27 1997-02-14 Honda Motor Co Ltd 自動車及び自動車の擬似走行システム装置
JP2001029506A (ja) * 1999-05-12 2001-02-06 Masanobu Kujirada 室内用運動装置
US6297732B2 (en) * 1999-09-08 2001-10-02 Precision Navigation, Inc. Radar/laser detection device with multi-sensing and reporting capability
JP2001222794A (ja) * 2000-02-09 2001-08-17 Yuichi Matsuda 目的地の映像も見ることが出来るカーナビケイション.システム。
JP2004005493A (ja) * 2002-04-24 2004-01-08 Vehicle Information & Communication System Center 運転者支援情報送信装置及び運転者支援情報受信装置ならびに運転者支援情報提供システム
US20030210806A1 (en) * 2002-05-07 2003-11-13 Hitachi, Ltd. Navigational information service with image capturing and sharing
JP4092494B2 (ja) * 2003-08-25 2008-05-28 山田技研株式会社 路面センサー及び路面の監視制御方法
JP2008246136A (ja) 2007-03-30 2008-10-16 Sega Corp ゲーム装置
JP4492702B2 (ja) * 2008-01-11 2010-06-30 トヨタ自動車株式会社 異常検出装置
JP4692595B2 (ja) 2008-08-25 2011-06-01 株式会社デンソー 車両用情報表示システム
KR20110016180A (ko) * 2009-08-11 2011-02-17 이종수 수륙양용 전투차량
WO2011071044A1 (ja) * 2009-12-08 2011-06-16 日本電気株式会社 振動子による触刺激を用いた情報提示装置
JP2012068481A (ja) 2010-09-24 2012-04-05 Asia Air Survey Co Ltd 拡張現実表現システムおよび方法
US8694251B2 (en) * 2010-11-25 2014-04-08 Texas Instruments Incorporated Attitude estimation for pedestrian navigation using low cost mems accelerometer in mobile applications, and processing methods, apparatus and systems
US20130297460A1 (en) * 2012-05-01 2013-11-07 Zambala Lllp System and method for facilitating transactions of a physical product or real life service via an augmented reality environment
US20140310277A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Suspending user profile modification based on user context

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1066058A (ja) * 1996-06-11 1998-03-06 Masanobu Kujirada 実況映像提供システム
US20060095193A1 (en) * 2004-10-29 2006-05-04 Nissan Motor Co., Ltd. Vehicle operation support apparatus
CN101300460A (zh) * 2005-11-18 2008-11-05 通腾科技股份有限公司 显示交通信息的导航装置
CN101779206A (zh) * 2007-08-17 2010-07-14 星克跃尔株式会社 提供三维地图服务的方法和地理信息系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113119863A (zh) * 2020-01-15 2021-07-16 未来(北京)黑科技有限公司 一种全车窗成像系统
CN114070344A (zh) * 2020-08-07 2022-02-18 Aptiv技术有限公司 具有侧通信信道的对象检测系统
US11774569B2 (en) 2020-08-07 2023-10-03 Aptiv Technologies Limited Object detection system with a side communication channel

Also Published As

Publication number Publication date
JP6102117B2 (ja) 2017-03-29
CN107367841B (zh) 2021-02-26
CN103581288A (zh) 2014-02-12
US9616901B2 (en) 2017-04-11
US20150032330A1 (en) 2015-01-29
US20150329122A1 (en) 2015-11-19
US8914236B2 (en) 2014-12-16
CN103581288B (zh) 2018-04-13
JP2014034255A (ja) 2014-02-24
US20140046505A1 (en) 2014-02-13
US9108642B2 (en) 2015-08-18

Similar Documents

Publication Publication Date Title
CN103581288B (zh) 移动设备、移动设备的控制方法以及沉浸感提供系统
CN104851330B (zh) 一种停车入位模拟训练方法及系统
US7756602B2 (en) Vehicle entertainment and gaming system
CN106184058B (zh) 终端、具有该终端的车辆和控制该车辆的方法
CN108349423A (zh) 用于车载系统的用户界面
CN107867296A (zh) 安装在车辆上的车辆控制装置和控制该车辆的方法
US20140207535A1 (en) Method and system for remote control of motor vehicles
CN108657089A (zh) 用于自动驾驶机动车辆的娱乐装置
CN103446756B (zh) 一种车载娱乐平台及车载娱乐平台控制方法
JP7437630B2 (ja) 表示装置、表示方法、及び車両
CN111798718A (zh) 一种基于虚拟现实的驾驶适应性训练方法、主机及装置
JP2003195941A (ja) 移動体を移動させるサービスを提供する方法
WO2022260922A1 (en) Stages of component controls for autonomous vehicles
CN107949772A (zh) 用于使由车辆行驶的路线主题化的方法和装置
CN110979202B (zh) 改变汽车风格的方法、装置以及系统
CN206532530U (zh) 一种车窗虚拟现实显示系统
EP4358524A1 (en) Mr service platform for providing mixed reality automotive meta service, and control method therefor
US11836874B2 (en) Augmented in-vehicle experiences
US20230286532A1 (en) Autonomous vehicle interactive experience platform
CN212933831U (zh) 一种轨道交通模拟仿真教学设备
CN207924671U (zh) 基于操纵力度的高精度仿真模拟装置及具有其的仿真模型
US20240095418A1 (en) System and method for an augmented-virtual reality driving simulator using a vehicle
US20230302374A1 (en) Entertainment system for a vehicle
WO2023218616A1 (ja) 情報処理方法及び情報処理装置
WO2023060528A1 (zh) 一种显示方法、显示设备、方向盘和车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant