CN117750004A - 信息管理装置、信息管理方法及存储介质 - Google Patents
信息管理装置、信息管理方法及存储介质 Download PDFInfo
- Publication number
- CN117750004A CN117750004A CN202311219156.4A CN202311219156A CN117750004A CN 117750004 A CN117750004 A CN 117750004A CN 202311219156 A CN202311219156 A CN 202311219156A CN 117750004 A CN117750004 A CN 117750004A
- Authority
- CN
- China
- Prior art keywords
- information
- user
- image
- occupant
- mobile body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007726 management method Methods 0.000 title claims abstract description 108
- 238000012545 processing Methods 0.000 claims description 25
- 238000004891 communication Methods 0.000 description 46
- 238000010586 diagram Methods 0.000 description 29
- 238000000034 method Methods 0.000 description 25
- 230000008569 process Effects 0.000 description 21
- 230000010365 information processing Effects 0.000 description 15
- 230000033001 locomotion Effects 0.000 description 13
- 238000001514 detection method Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 239000011521 glass Substances 0.000 description 8
- 230000004807 localization Effects 0.000 description 8
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 101100072571 Pisum sativum IM30 gene Proteins 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000037237 body shape Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0251—Targeted advertisements
- G06Q30/0265—Vehicular advertisement
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/215—Selection or confirmation of options
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Finance (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Game Theory and Decision Science (AREA)
- Marketing (AREA)
- Entrepreneurship & Innovation (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Mathematical Physics (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Navigation (AREA)
- Closed-Circuit Television Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Traffic Control Systems (AREA)
Abstract
提高对移动体的乘员和处于与移动体不同的场所的利用者这双方赋予的身临其境之感的信息管理装置、信息管理方法及存储介质。信息管理装置管理向第一装置和第二装置提供的信息,该第一装置搭载于供乘员搭乘的移动体,该第二装置在与移动体不同的场所被利用者利用,其中,信息管理装置具备:取得部,其从第一装置及第二装置取得信息;提供部,其基于由取得部取得的信息,针对第一装置及第二装置中的每个装置提供信息,由第一装置取得的信息包括移动体的室内图像、室外图像及移动体的室内声音信息,提供部基于由乘员设定的可否提供信息,向第二装置提供室内图像、室外图像及室内声音信息中的被设定为能够提供的信息。
Description
技术领域
本发明涉及信息管理装置、信息管理方法及存储介质。
背景技术
以往,关于在搭载于车辆等移动体的装置与在相对于移动体而言别的场所使用的装置之间进行通信并共享车外风景的图像等的研究不断推进(例如日本特开2020-94958号公报)。
发明内容
然而,在以往的技术中,存在如下课题:对移动体的乘员和处于与移动体不同的场所的利用者这双方而言,有时不能充分地感受到身临其境之感。
本申请的目的之一在于为了解决上述课题而提供能够提高对移动体的乘员和处于与移动体不同的场所的利用者这双方赋予的身临其境之感的信息管理装置、信息管理方法及存储介质。而且,本申请使利用者的视觉辨识性和乘员的安全性提高,进而更进一步改善交通的安全性而有助于可持续的运输系统的发展。
本发明所涉及的信息管理装置、信息管理方法及存储介质采用了以下的结构。
(1):本发明的一方案所涉及的信息管理装置管理向第一装置和第二装置提供的信息,该第一装置搭载于供乘员搭乘的移动体,该第二装置在与所述移动体不同的场所被利用者利用,其中,所述信息管理装置具备:取得部,其从所述第一装置及所述第二装置取得信息;以及提供部,其基于由所述取得部取得的信息,针对所述第一装置及所述第二装置中的每个装置提供信息,由所述第一装置取得的信息包括所述移动体的室内图像、室外图像及所述移动体的室内声音信息,所述提供部基于由所述乘员设定的可否提供信息,向所述第二装置提供所述室内图像、所述室外图像及所述室内声音信息中的被设定为能够提供的信息。
(2):在上述(1)的方案的基础上,所述提供部向所述第二装置提供用于使所述利用者确认与由所述第一装置提供的信息相关的信息的信息。
(3):在上述(2)的方案的基础上,所述提供部根据能够向所述利用者提供的信息的种类或信息量,使向所述第二装置提供的信息的输出形态不同。
(4):在上述(3)的方案的基础上,所述提供部向所述第二装置提供与所述信息的种类或所述信息量相应的广告信息。
(5):在上述(1)的方案的基础上,所述信息管理装置还具备费用管理部,该费用管理部管理与所述信息的提供相关的费用,所述费用管理部基于所述乘员、所述利用者、所述移动体的种类、能够向所述利用者提供的信息的种类、以及信息量中的至少一个,使与信息提供相关的费用不同。
(6):在上述(1)的方案的基础上,所述提供部在所述利用者产生取得来自所述第一装置的信息的请求的情况下,向所述乘员提供表示存在所述请求的信息,并取得由所述乘员设定的可否提供信息。
(7):在上述(1)的方案的基础上,所述提供部在向所述第二装置提供从所述第一装置取得的信息之前,从所述利用者对所述乘员进行通知。
(8):本发明的一方案所涉及信息管理方法,其中,信息管理装置管理向第一装置和第二装置提供的信息,该第一装置搭载于供乘员搭乘的移动体,该第二装置在与所述移动体不同的场所被利用者利用,所述信息管理方法使所述信息管理装置的计算机进行如下处理:从所述第一装置及所述第二装置取得信息;以及基于取得的所述信息,针对所述第一装置及所述第二装置中的每个装置提供信息,由所述第一装置取得的信息包括所述移动体的室内图像、室外图像及所述移动体的室内声音信息,基于由所述乘员设定的可否提供信息,向所述第二装置提供所述室内图像、所述室外图像及所述室内声音信息中的被设定为能够提供的信息。
(9):本发明的一方案所涉及的存储介质存储有程序,其中,信息管理装置管理向第一装置和第二装置提供的信息,该第一装置搭载于供乘员搭乘的移动体,该第二装置在与所述移动体不同的场所被利用者利用,所述程序使所述信息管理装置的计算机进行如下处理:从所述第一装置及所述第二装置取得信息;以及基于取得的所述信息,针对所述第一装置及所述第二装置中的每个装置提供信息,由所述第一装置取得的信息包括所述移动体的室内图像、室外图像及所述移动体的室内声音信息,基于由所述乘员设定的可否提供信息,向所述第二装置提供所述室内图像、所述室外图像及所述室内声音信息中的被设定为能够提供的信息。
根据上述(1)~(9)的方案,能够提高对移动体的乘员和处于与移动体不同的场所的利用者这双方赋予的身临其境之感。
附图说明
图1是表示信息处理系统和管理服务器的使用环境等的图。
图2是表示用户数据的内容的一例的图。
图3是第一装置的结构图。
图4是表示移动体中的第一装置的一部分的配置例的图。
图5是第二装置的结构图。
图6是用于说明与指向方向对应的图像的图。
图7是表示第一控制装置和第二控制装置的功能结构的第一例的图。
图8是表示第一控制装置和第二控制装置的功能结构的第二例的图。
图9是表示由信息处理系统执行的处理的一例的序列图。
图10是表示示出询问信息的图像的一例的图。
图11是表示示出请求结果的图像的一例的图。
图12是用于说明第一提供信息的例子的图。
图13是用于说明第二提供信息的例子的图。
图14是用于说明第三提供信息的例子的图。
图15是表示变形例中的管理服务器的功能结构的一例的图。
具体实施方式
以下,参照附图来说明本发明的信息管理装置、信息管理方法及存储介质的实施方式。以下,关于适用了信息管理装置的信息处理系统进行说明。信息处理系统例如包括搭载于供乘员搭乘的移动体的第一装置、在与移动体不同的场所被利用者利用的第二装置、以及信息管理装置。移动体例如是指车辆,但只要是乘员能够搭乘的移动体则也可以是任意的移动体(例如,船舶、飞翔体)。乘员主要是移动体的驾驶员,但也可以是驾驶员以外的乘员。
在第一装置与第二装置之间,由话筒收集的声音向对方侧发送并由扬声器播放,由此成为进行着电话通话这样的状态,而且,由第一装置的相机单元拍摄到的图像的一部分由第二装置显示,由此向第二装置侧提供MR(Mixed Reality)。由此,第二装置的利用者尽管处于与移动体不同的场所,却能够获得模拟搭乘于移动体这样的感觉(模拟乘车体验),乘员经由第一装置与模拟体验着向移动体的乘车的利用者进行会话,由此利用者能够获得实际上一起搭乘于移动体这样的感觉。以下,如上所述那样,有时将利用者就好像是实际上搭乘于移动体这样的模拟体验称作“进行模拟乘车”。第一装置与第二装置不需要是一对一的关系,可以通过多个第一装置中的一个与多个第二装置以一对多的关系匹配而作为信息处理系统进行动作。在后者的情况下,例如能够使一位乘员与多个利用者同时交流或使一位乘员与多个利用者依次交流。
<基本结构>
图1是表示信息处理系统1和管理服务器300的使用环境等的图。信息处理系统1包括:第一装置(移动体装置)100,其搭载于供乘员P搭乘的移动体M;以及第二装置(利用者装置)200,其在与移动体M不同的场所(不排除碰巧是靠近移动体的场所)被利用者U利用。第一装置100、第二装置200及管理服务器300分别经由网络NW互相通信。信息处理系统1可以包括管理服务器300,也可以不包括管理服务器300。网络NW例如包括互联网、WAN(WideArea Network)、LAN(Local Area Network)、移动通信网、蜂窝网等中的至少一个。管理服务器300是“信息管理装置”的一例。管理服务器300也可以由组装于云计算系统的服务器装置、存储装置实现。在该情况下,也可以通过云计算系统中的多个服务器装置、存储装置来实现管理服务器300的功能。搭载于移动体M的第一装置100也可以通过多个单元来实现。
管理服务器300管理向第一装置100和第二装置200分别提供的信息,并进行用于第一装置100和第二装置200各自通信的管理。管理服务器300例如具备通信装置310、取得部315、匹配处理部320、提供部330、费用管理部340及存储部350。取得部315、匹配处理部320、提供部330及费用管理部340例如通过CPU(Central Processing Unit)等硬件处理器执行程序(软件)来实现。这些构成要素中的一部分或全部也可以通过LSI(Large ScaleIntegration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)等硬件(包括电路部:circuitry)来实现,还可以通过软件与硬件的协同配合来实现。程序可以预先保存于HDD(Hard Disk Drive)、闪存器等存储装置(具备非暂时性的存储介质的存储装置),也可以保存于DVD、CD-ROM等能够装卸的存储介质(非暂时性的存储介质),并通过存储介质装配于驱动装置而安装。也可以是程序保存于管理服务器300,并通过连接于网络NW而适当更新。
通信装置310是用于连接于网络NW的通信接口。通信装置310与第一装置100之间的通信、以及通信装置310与第二装置200之间的通信例如适应TCP/IP(TransmissionControl Protocol/Internet Protocol)而进行。
取得部315经由网络NW取得通过第一装置100、第二装置200、其他外部装置发送的各种信息。
匹配处理部320通过例如CPU等处理器执行保存于存储介质的程序(命令群)而实现。例如,匹配处理部320例如在通信装置310从利用者U经由第二装置200或从乘员P经由第一装置100而接收到匹配请求的情况下,参照用户数据360而进行匹配利用者U与乘员P之间的匹配,并使用通信装置310向匹配成功的利用者U的第二装置200发送乘员P的第一装置100的通信识别信息,向匹配成功的乘员P的第一装置100发送利用者U的第二装置200的通信识别信息。在接收到这些通信识别信息的第一装置100与第二装置200之间,能够执行适应了例如UDP(User Datagram Protoco1)的实时性更高的通信。
提供部330在由取得部315取得的信息中基于各种信息来生成向第一装置100及第二装置200分别提供的信息,并将所生成的信息向对象装置发送。提供部330生成表示由匹配处理部320处理的处理结果、由费用管理部340管理的费用信息(核算信息)等的信息,并将所生成的信息向对象装置提供。
费用管理部340管理根据向利用者U提供的信息而向利用者U收取的费用、根据向移动体M的乘员P提供的信息而向乘员P收取的费用。费用管理部340例如也可以管理根据来自利用者U、乘员P的信息提供而向利用者U、乘员P支付的回报。费用管理部340也可以进行与利用者U及乘员P的核算相关的处理。
存储部350可以通过上述的各种存储装置、或者SSD(Solid State Drive)、EEPROM(Electrically Erasable Programmable Read Only Memory)、ROM(Read Only Memory)或RAM(Random Access Memory)等而实现。存储部350例如保存用户数据360、提供信息DB362、程序、以及其他各种信息。
图2是表示用户数据360的内容的一例的图。用户数据360包括乘员列表360A和利用者列表360B。在乘员列表360A中,例如,移动体M的乘员P的识别信息即乘员ID、其通信识别信息(IP地址等)、成为匹配对象的利用者U的识别信息即利用者ID、乘员所搭乘着的移动体信息、以及乘员设定的可否提供信息互相建立了对应关系。移动体信息例如包括搭载于移动体M的设备信息(搭载设备信息)、表示移动体M的大小、外形的车辆规格信息。在移动体信息中,可以包括以规定周期从移动体M发送的移动体M的当前位置、目的地、周边状况(例如在沿海的道路上行驶中)所相关的信息。在利用者列表360B中,例如,利用者ID、其通信识别信息(IP地址等)、成为匹配对象的乘员P、以及利用者信息互相建立了对应关系。在利用者信息中,可以包括与体型相关的信息(例如,身高、坐高)、能够预测体型的信息(例如,年龄)等。可否提供信息是移动体M能够提供的信息或不能提供的信息,例如由乘员P设定。可否提供信息可以按移动体M的搭载设备而设定,也可以按利用者U而设定。作为可否提供信息的例子,例如可举出“许可图像的提供”、“不许可声音的提供”、“许可室内图像的提供但不许可室外图像的提供”、“不许可乘员的图像的提供”、“不许可导航装置的使用”等,但不限定于此。在可否提供信息中,也可以包括用于使提供成为可能的费用(服务提供费用)。用户数据360只要包含这些信息则不限于图2所示的形态而也可以以任何形态生成。
在提供信息DB(数据库)362中,保存向利用者U或乘员P提供的各种信息。在各种信息中,例如包括地图信息、POI(Point OfInterest)信息、通过计算机处理而绘制的图像(例如,人物等的CG(Computer Graphics)图像、标记、记号、图标等图像)。POI信息例如是按地点的各种店铺、主题公园、地上物等所相关的信息,可以包含于地图信息。在各种信息中,可以包括声音信息。在提供信息DB362中,可以包括广告信息。在广告信息中,例如可以包括与移动体M相关的广告、与利用者U或乘员P相关的广告、以及其他与店铺的商品、服务相关的广告。插入的广告信息也可以相对于室内外的信息等另外管理,在之后存档分发时,与实时分发时的插入广告信息不同(例如,关门了的店铺变为最新的店铺,介绍的菜单成为最新的菜单等)。广告信息例如是动态画面、声音。
图3是第一装置100的结构图。第一装置100例如包括第一通信装置110、第一话筒120、外界传感器125、相机单元130、第一扬声器140、利用者显示装置150、HMI(Humanmachine Interface)160及第一控制装置170。第一控制装置170连接于在移动体M搭载的控制对象设备190。
第一通信装置110是用于与管理服务器300的通信装置310及后述的第二装置200的第二通信装置210各自经由网络NW而通信的通信接口。
第一话筒120至少收集乘员P发出的声音。第一话筒120可以设置于移动体M的室内,并具有也能够收集移动体M的外部的声音的灵敏度,也可以包括设置于移动体M的室内的话筒和设置于移动体M的外部的话筒。以下,有时将由设置于室内的话筒取得的声音信息称作“室内声音信息”。第一话筒120收集到的声音例如经由第一控制装置170通过第一通信装置110而向管理服务器300或第二装置200发送。在不能设定在移动体M的外部设置的话筒的情况下,也可以基于行驶信息(车速、加减速度、路面振动等)、周围的行驶环境,将室内声音信息加工而模拟生成室外声音信息。能够记录讲话者相对于移动体M的位置关系(讲话者是处于车室内还是处于车室外),也可以根据其位置关系而对收集到的声音进行处理。
外界传感器125检知移动体M的周边的物体的位置。外界传感器125例如是雷达装置、LIDAR(Light Detection and Ranging)传感器、以及其他各种接近传感器。雷达装置向移动体M的周边放射毫米波等电波,并且检测由物体反射的电波(反射波)来至少检测物体的位置(距离及方位)。雷达装置也可以通过FM-CW(Frequency Modulated ContinuousWave)方式来检测物体的位置及速度。LIDAR传感器向移动体M的周边照射光(或者波长与光相近的电磁波),并测定其散射光,基于从发光到受光的时间来检测距对象的距离。照射的光例如是脉冲状的激光。雷达装置、LIDAR传感器安装于移动体M的任意部位。外界传感器125也可以使用相机单元130的室外相机134的拍摄图像来检测周边物体。
相机单元130例如具备室内相机132和室外相机134。第一扬声器140输出经由第一通信装置110而取得的由利用者U发出的声音。关于相机单元130及第一扬声器140的配置等的详细情况,之后参照图4来说明。
利用者显示装置150假想地显示利用者U就好像是利用者U存在于移动体M的室内。例如,利用者显示装置150使全息图出现,并在与移动体M的镜子、窗户相当的部分显示利用者U。
HMI160是触摸面板、声音响应装置(智能体装置)等。HMI160接受乘员P对第一装置100的各种指示,并向乘员P提供各种信息。
第一控制装置170例如包括例如CPU等处理器、以及连接于处理器并保存有程序(命令群)的存储介质,并通过处理器执行命令群来控制第一装置100的各部分。
控制对象设备190例如是搭载于移动体M的引导到目的地的路径的导航装置、控制移动体M的转向及速度中的一方或双方而支援乘员P的驾驶的驾驶支援装置等车载设备。在控制对象设备190中,包括例如能够调整座位的位置(前后左右)、朝向、高度的座椅驱动装置。在通过第二装置200来观察影像的情况下,在第一装置100的相机单元130安装于座椅时,能够通过禁止座椅移动来抑制对影像带来的影响。即便是在容许座椅的移动的情况下,也可以进行画面角度变换等处理来应对,以免给座椅移动了的情况下的影像带来影响。在来自利用者U的意愿下想要观看现状的相机单元130的画面角度外的影像的情况下,也可以作为来自第二装置200侧的要求而控制座椅驱动装置。
图4是表示移动体M中的第一装置100的一部分的配置例的图。室内相机132例如借助配件132A而安装于副驾驶员座S2(“规定的座位”的一例)的颈枕,并设置于从副驾驶员座S2的靠背向移动体M的行进方向侧偏离一些的位置。室内相机132具有广角镜头,能够拍摄图中的由带阴影的区域132B表示的范围。室内相机132不仅能够拍摄移动体M的室内,也能够经由窗户而拍摄室外。在以下的说明中设为副驾驶员座S2是规定的座位,但规定的座位也可以是后部座位等其他座位。
室外相机134例如包括多个子室外相机134-1~134-4。通过将多个子室外相机134-1~134-4拍摄到的图像合成,可得到拍摄到移动体M的外部的全景图像这样的图像。室外相机134也可以代替这些(或除此之外还)包括设置于移动体M的车顶上的广角相机。作为室内相机132,也可以追加能够对副驾驶员座S2的后方进行拍摄的相机,后述的移动体图像通过第一控制装置170可以将一个以上的室内相机132拍摄到的图像结合而生成为360度的全景图像,也可以将室内相机132拍摄到的图像与室外相机134拍摄到的图像适当结合而生成为360度的全景图像。
第一扬声器140输出经由第一通信装置110而取得的利用者U的声音。第一扬声器140例如包括多个子第一扬声器140-1~140-5。例如,子第一扬声器140-1配置于仪表板中央部,子第一扬声器140-2配置于仪表板左端部,子第一扬声器140-3配置于仪表板右端部,子第一扬声器140-4配置于左侧车门下部,子第一扬声器140-5配置于右侧车门下部。第一控制装置170在使第一扬声器140输出利用者U的声音的情况下,例如使声音从子第一扬声器140-2及子第一扬声器140-4以同等程度的音量输出并使其他子第一扬声器关闭,由此对就座于驾驶员座S1的乘员P以从副驾驶员座S2听到声音的方式进行声像定位。声像定位的方法不限于音量的调整,也可以通过错开各个子第一扬声器输出的声音的相位来进行。例如,在以从左侧听到的方式进行声像定位的情况下,使从左侧的子第一扬声器输出声音的时机比从右侧的子第一扬声器输出相同的声音的时机稍早即可。
第一控制装置170在使第一扬声器140输出利用者U的声音的情况下,也可以对乘员P以从副驾驶员座S2上的与利用者U的头部的高度相应的高度的位置听到声音的方式进行声像定位,并使第一扬声器140输出利用者U发出的声音。在该情况下,第一扬声器140需要具有高度不同的多个子第一扬声器140-k(k是多个自然数)。
图5是第二装置200的结构图。第二装置200例如包括第二通信装置210、第二话筒220、检知装置230、第二扬声器240、移动体图像显示装置250、HMI260及第二控制装置270。检知装置230例如包括指向方向检知装置232、头部位置检知装置234及运动传感器236。
第二通信装置210是用于经由网络NW与管理服务器300的通信装置310及第一装置100的第一通信装置110分别通信的通信接口。
第二话筒220收集利用者U发送的声音。第二话筒220收集到的声音例如经由第二控制装置270通过第二通信装置210向第一通信装置110发送。
指向方向检知装置232是用于检知指向方向的装置。指向方向是指,利用者U的面部的朝向或视线的朝向、或者基于这双方而得到的朝向。以下,指向方向设为是水平面内的角度即不具有上下方向的成分的角度,但指向方向也可以是还包含上下方向的成分的角度。指向方向检知装置232也可以包括在后述的VR眼镜安装的物理传感器(例如加速度传感器、陀螺仪传感器等),也可以是检测利用者U的头部的多个位置的红外线传感器、或者拍摄利用者U的头部的相机。在任意的情况下,第二控制装置270均基于从指向方向检知装置232输入的信息来算出指向方向。有关于此,各种技术成为公知技术,因此省略详细的说明。
头部位置检知装置234是用于检知利用者U的头部的位置(高度)的装置。例如,在利用者U就座的椅子的周围设置的一个以上的红外线传感器或光学传感器被用作头部位置检知装置234。在该情况下,第二控制装置270基于有无由一个以上的红外线传感器或光学传感器检测的检测信号来检知利用者U的头部的位置。头部位置检知装置234也可以是安装于VR眼镜的加速度传感器。在该情况下,第二控制装置270通过对从加速度传感器的输出中减去重力加速度而得到成分进行积分来检知利用者U的头部的位置。这样取得的头部的位置的信息作为高度信息而向第二控制装置270提供。利用者的头部的位置也可以基于利用者U对HMI260的操作来取得。例如,利用者U也可以将身高以数字的形式向HMI260输入,也可以使用HMI260所包含的拨码开关来输入身高。在这些情况下,根据身高来计算头部的位置即高度信息。利用者U也可以向HMI260输入不是连续值而是体型:大/中/小这样的离散值。在该情况下,基于表示体型的信息来取得高度信息。也可以不特别取得利用者的头部的高度而是基于一般的成年人的体型(可以是按男女区别)而简易地取得利用者U的头部的高度。
运动传感器236是用于辨识利用者U进行的姿态操作的装置。例如,对利用者U的上半身进行拍摄的相机用作运动传感器236。在该情况下,第二控制装置从相机拍摄到的图像提取利用者U的身体的特征点(指尖、手腕、胳膊肘等),并基于特征点的动作来辨识利用者U的姿态操作。
第二扬声器240输出经由第二通信装置210而取得的由乘员P发出的声音。第二扬声器240例如具有将听到声音的方向变更的功能。第二控制装置270对利用者U以从副驾驶员座S2观察时的乘员P的位置听到声音的方式使第二扬声器输出声音。第二扬声器240可以包括多个子第二扬声器240-n(n是多个自然数),并通过第二控制装置270调整各个子第二扬声器240-n的音量来进行声像定位,也可以在VR眼镜中随附有耳机的情况下利用耳机的功能来进行声像定位。
移动体图像显示装置250显示相机单元130拍摄到的图像(也可以是进行了前述的结合处理的图像,以下称作移动体图像)中的从副驾驶员座观察时的与指向方向对应的图像。图6是用于说明与指向方向对应的图像的图。在该图的例子中,VR眼镜255中包括作为指向方向检知装置232、头部位置检知装置234的物理传感器、以及移动体图像显示装置250。第二控制装置270例如使利用者U的头部中心或VR眼镜255的中心为Ω,并使预先校准的方向为基准方向而将VR眼镜255所朝向的方向检知为指向方向φ。关于所涉及的功能,各种方法已经成为公知,因此省略详细的说明。
移动体图像显示装置250朝向利用者U显示移动体图像A1(在图中具有240度左右的角度,但也可以如前述那样通过结合处理来扩大画面角度)中的以指向方向φ为中心的+α/-α的角度范围的图像A2。
HMI260是触摸面板、声音响应装置(智能体装置)或上述的开关等。HMI260接受乘员P对第二装置200的各种指示。
第二控制装置270例如包括例如CPU等处理器、以及连接于处理器并保存有程序(命令群)的存储介质,并通过处理器执行命令群来控制第二装置200的各部分。第二装置200也可以是图5所示的全部的功能与VR眼镜一体构成。
<第一控制装置170和第二控制装置270的功能结构>
以下,说明第一控制装置170和第二控制装置270的功能结构。以下所示的第一例及第二例主要在第一控制装置170与第二控制装置270之间进行提供的信息的生成、发送等,管理服务器300管理乘员P与利用者U之间的模拟乘车的匹配。
[第一例]
图7是表示第一控制装置170和第二控制装置270的功能结构的第一例的图。在第一例中,第一控制装置170包括匹配请求/应允部171、声音输出控制部172、图像发送部173及搭载设备协作部174。第二控制装置270包括匹配请求/应允部271、声音输出控制部272、指向方向检知部273、头部位置检知部274、姿态输入检知部275、图像编辑部276及移动体图像显示控制部277。这些功能部例如通过CPU等处理器执行程序(命令群)来实现。这些构成要素中的一部分或全部也可以通过LSI、ASIC、FPGA、GPU等硬件(包括电路部:circuitry)来实现,也可以通过软件与硬件的协同配合来实现。
匹配请求/应允部171使用HMI160接受来自乘员P的匹配请求(模拟乘车请求)的输入,并将其向管理服务器300发送,使用HMI160接受针对从管理服务器300接收到的匹配请求的应允的输入,并将其向管理服务器300发送。匹配请求/应允部171以使匹配成立的利用者U的第二装置200为通信对方的方式控制第一通信装置110。匹配请求/应允部171例如也可以在针对从管理服务器300得到的匹配请求的应允时,从乘员P接受表示许可提供怎样的信息的可否提供信息的设定。
声音输出控制部172如前述那样控制第一扬声器140。
图像发送部173在开始与第二装置200之间的通信后,使用第一通信装置110向第二装置200发送移动体图像A1。也可以在移动体图像A1中例如包括由室内相机132拍摄到的室内图像和/或由室外相机134拍摄到的室外图像。
搭载设备协作部174基于从第二装置200输入的指示信号,来控制控制对象设备190。搭载设备协作部174也可以在从乘员P许可由利用者U进行的控制对象设备190的控制的情况下进行控制。
匹配请求/应允部271使用HMI260接受来自利用者U的匹配请求(模拟乘车请求)的输入,并将其向管理服务器300发送,使用HMI260接受针对从管理服务器300接收的匹配请求的应允的输入,并将其向管理服务器300发送。匹配请求/应允部271以使匹配成立的乘员P的第一装置100为通信对方的方式控制第二通信装置210。匹配请求/应允部271例如也可以在基于从管理服务器300得到的匹配结果(请求结果)向利用者U提示而使利用者U确认提供怎样的信息之后,从利用者U接受是否模拟乘车的指示。
声音输出控制部272如前述那样控制第二扬声器240。
指向方向检知部273基于指向方向检知装置232的输出,来检知指向方向φ。头部位置检知部274基于头部位置检知装置234的输出,来检知利用者U的头部的高度。头部位置可以表示为三维的坐标,也可以仅将头部的高度检知为头部位置。姿态输入检知部275基于运动传感器236的输出,来检知利用者U的姿态输入。
图像编辑部276例如进行从移动体图像A1截取从副驾驶员座S2观察时的与指向方向φ对应的图像A2的处理(图6)。在图6的例子中,示出了针对向利用者U的头部的左右动作的指向方向φ,但也可以进行将与针对头部的上下方向的动作的指向方向对应的图像截取的处理。移动体图像显示控制部277使移动体图像显示装置250显示由图像编辑部276截取的图像A2。此时,图像编辑部276也可以使移动体图像显示装置250显示从利用者U的头部的高度信息所示的高度观察时的与指向方向φ对应的图像。例如,图像编辑部276根据利用者U的头部的距基准位置的距离(例如,上方向的移动量或横向的移动量),使室内图像或室外图像切换显示。
[第二例]
图8是表示第一控制装置170和第二控制装置270的功能结构的第二例的图。与图7的第一例相比,不同点在于第一控制装置170包括图像编辑部175,第二控制装置270不包括图像编辑部276但包括指向方向发送部278。关于其他构成要素,基本上具有与第一例相同的功能,因此省略再次的说明。
指向方向发送部278使用第二通信装置210向第一装置100发送指向方向检知部273检知到的指向方向φ。
图像编辑部175进行从移动体图像A1截取从副驾驶员座观察时的与指向方向φ(从第二装置200发送来的指向方向)对应的图像A2的处理(图6)。此时,图像编辑部175也可以事先从第二装置200取得利用者U的头部的高度信息,并进行将从高度信息所示的高度观察时的与指向方向φ对应的图像A2截取的处理。
第二例中的图像发送部173使用第一通信装置110,向第二装置200发送由图像编辑部175截取的图像A2。而且,移动体图像显示控制部277使移动体图像显示装置250显示从第一装置100发送来的图像A2。
<与模拟乘车相关的处理>
接着,在实施方式中,具体说明利用者U向移动体M模拟乘车(乘员P让利用者U模拟乘车)情况下的由信息处理系统1执行的一系列处理。图9是表示由信息处理系统1执行的处理的一例的序列图。在图9的例子中,示出了在乘员P搭乘中的移动体M搭载的第一装置100、利用者U利用的第二装置200、以及管理服务器300中的处理。利用者U及乘员P为了接受信息处理系统1中的服务的提供而事先登记于管理服务器300,并登记于用户数据360。
在图9的例子中,第二装置200生成用于模拟乘车的请求(模拟乘车请求)(步骤S100),并将所生成的模拟乘车请求向管理服务器300发送(步骤S102)。在模拟乘车请求中例如也可以包括预先指定了乘员P的信息,也可以包括指定了行驶中的移动体M的当前位置、目的地或周边状况等的信息。作为更具体的模拟乘车请求的例子,例如可举出“想要向A女士/先生驾驶着的移动体模拟乘车”或“想要向在沿海的道路上行驶着的移动体模拟乘车”这样的请求。这些是上述的匹配请求的一例。
管理服务器300的匹配处理部320接收来自第二装置200的模拟体验请求,并执行基于用户数据360进行的匹配处理(步骤S104)。而且,提供部330在存在一个以上的匹配成功的移动体M的情况下,生成对全部的移动体M询问是否让模拟乘车的询问信息(步骤S106),并将所生成的信息向匹配成功的移动体M的第一装置100发送(步骤S108)。
第一装置100将从管理服务器300发送的询问信息显示于画面(步骤S110)。图10是示出表示询问信息的图像IM10的一例的图。关于图像IM10所包含的显示内容、布局等显示形态,并不限定于此。关于以后的其他图像的说明也同样。在图像IM10中,作为询问画面例如包括利用者信息显示区域AR11、可否提供选择区域AR12及开关显示区域AR13。在利用者信息显示区域AR11显示与存在模拟乘车请求的利用者U相关的信息。与利用者U相关的信息可以是利用者ID,也可以是乘员P能够识别利用者U的其他信息。
在可否提供选择区域AR12显示用于按乘员P向利用者U提供的信息来选择信息的内容的图像。在图10的例子中,关于室内图像、室外图像、通话(声音)及导航信息(从导航装置提供的信息),显示有选择是否许可向乘员P的信息提供的画面。通话(声音)是“室内声音信息”的一例。例如,乘员P也可以对利用者U进行通话、图像提供,但在具体而言不想让对方知晓到目的地的程度的情况下,许可通话、室内图像、室外图像的提供,拒绝导航信息的提供。由此,在例如利用者U实际搭乘于移动体M的情况下,根据导航信息可简单地知晓目的地,但在模拟乘车时不提供导航信息,由此能够对利用者U保密而去往目的地,能够让利用者U进行模拟乘车特有的惊奇体验。例如,关于不怎么亲密的利用者U,通过拒绝通话(声音)的提供,能够不会话而驾驶。作为选择可否提供的信息,不限定于图10的例子,可以包括例如由利用者U进行的导航操作、向其他控制对象设备190的操作的可否选择的信息、可以包括选择可否提供包含乘员P在内的图像的信息。由可否提供选择区域AR12选择出的提供信息的可否也可以在模拟乘车中变更。在开关显示区域AR13中例如包括图标IC11和图标IC12。图标IC11是接受乘员P许可利用者U的模拟乘车的开关。相反,图标IC12是接受乘员P拒绝利用者U的模拟乘车的开关。
返回图9,第一装置100接受基于上述的图10所示的图像IM10等进行的利用者U的可否提供设定(步骤S112),并将接受到的可否提供设定信息向管理服务器300发送(步骤S114)。步骤S110~S112的处理为了确保驾驶中的安全性也可以在移动体M停止了的情况下进行画面显示,也可以代替画面显示(或除此之外还)使用声音来通知存在模拟乘车请求这一情况,并接受可否提供设定。管理服务器300的提供部330基于从第一装置100得到的可否提供设定信息,来生成请求结果(回答结果)(步骤S116),并将表示所生成的请求结果的信息向第二装置200发送(步骤S118)。
第二装置200从管理服务器300接收请求结果,并将表示接收到的请求结果的信息显示于画面(步骤S120)。图11是示出表示请求结果的图像IM20的一例的图。在图像IM20中,作为请求结果画面例如包括乘员信息显示区域AR21、提供信息一览显示区域AR22及开关显示区域AR23。该图像IM20可以按每个许可了模拟乘车的乘员P(移动体M)生成,也可以进一步显示表示请求结果的一览的图像。
在乘员信息显示区域AR21显示与许可了模拟乘车请求的乘员P相关的信息。与乘员P相关的信息可以是乘员ID,也可以是利用者U能够识别乘员P的其他信息。在提供信息一览显示区域AR22一览显示由乘员P许可了的信息。在提供信息一览显示区域AR22可以显示基于许可了的信息的费用(服务利用费用)。在开关显示区域AR23中例如包括图标IC21~IC23。图标IC21是接受以显示于提供信息一览显示区域AR22的提供信息向显示于乘员信息显示区域AR21的乘员P的移动体M模拟乘车的开关。相反,图标IC22是接受不模拟乘车的开关。图标IC23是接受寻找其他乘员(移动体)的开关。在寻找其他乘员的情况下,可以从请求结果所包含的其他乘员选择,也可以输入其他请求条件而使管理服务器300再次进行匹配处理。
返回图9,第二装置200接受基于图像IM20进行的来自利用者U的选择指示(该情况在上述的图11示出)(步骤S122),并将接受到的指示信息向管理服务器300发送(步骤S124)。以下,说明利用者U进行了向乘员P的移动体M模拟乘车的指示的情况。管理服务器300基于来自第二装置200的指示,来管理第一装置100和第二装置的通信状况(步骤S126),并向第一装置100及第二装置200发送表示执行模拟乘车的信息(步骤S128、S130)。在步骤S126~S130的处理中,在利用者U选择了不模拟乘车的情况下,管理服务器300的提供部330将表示该意旨的信息向第一装置100发送而向乘员P通知。
接着,第一装置100及第二装置200相互进行通信而执行模拟乘车(步骤S132),当模拟乘车结束时,将表示通信结束了的信息向管理服务器300发送(步骤S134、S136)。在步骤S132的处理中,也可以在向第二装置200提供来自第一装置100的信息之前,第二装置200从利用者U对乘员P进行通知。由此,利用者U能够在自身的时机许可通信而开始通话、动态画面分发等信息提供。接着,管理服务器300的费用管理部340进行与第一装置100及第二装置200各自的服务利用相关的费用的核算处理。具体而言,费用管理部340基于提供信息的乘员P、利用者U、移动体M的种类、能够向利用者U提供的信息的种类及信息量中的至少1个,使与信息提供相关的费用不同。例如,在乘员P、利用者U是名人的情况下,将利用费用设定得比通常费用高,在移动体M为新车或稀少的车辆(rare car:稀有车)的情况下,将利用费用设定得比通常费用高。费用管理部340进行与设定的费用对应的核算处理。由此,本序列的处理结束。关于图9所示的步骤S112的处理(可否提供设定处理),也可以预先由乘员P按登记的每个利用者U设定。
<在模拟乘车时提供的信息>
接着,在模拟乘车时,关于向利用者U提供的信息分为几个例子来说明。以下的例子是在图9所示的步骤S132的处理中提供的信息,例如根据由利用者U进行的动作、能够向利用者U提供的信息的种类或信息量而向第二装置200提供的信息的输出形态不同。在以下的例子中,由乘员P许可了室内图像、室外图像及通话(声音)的提供。
<第一提供信息的例:室内图像>
图12是用于说明第一提供信息的例子的图。在图12的例子中,示出了在移动体M以外的场所(例如自己家的房间)等的椅子CH就座的利用者U、以及从利用者U利用的第二装置200(图12的例子中,VR眼镜一体型)提供的图像IM30的一例。图12的例子所示的利用者U的状态(就座于椅子CH的状态)示出刚执行模拟乘车后的初始状态,第一装置100及第二装置200将此时的利用者U的位置(基准姿势)辨识为基准位置。基准位置是假定为利用者U就座于副驾驶员座S2的位置。基准位置也可以通过第一控制装置170基于在用户数据360的利用者信息中登记的利用者U的身高或坐高信息等体型信息来使座椅驱动装置驱动,来进行修正以使室内相机132的高度适合利用者U的坐高(所谓的0点修正)。基准位置可以通过来自观察到图像IM30的利用者U的修正指示来修正。在基准位置中,可以包括利用者U就座于椅子CH朝向正面时的朝向信息。
例如,在就座于椅子CH的状态下朝向从利用者U(第二装置200)的基准位置起的任意的方向的情况下,根据该朝向由第一装置100的室内相机132拍摄到的图像作为室内图像IM30而提供。由此,利用者U能够取得从副驾驶员座S2观察时的任意的方向的室内图像。由第一话筒120取得的乘员P的声音、移动体M的车内及车外的声音的声音信息向利用者U提供。利用者U通过使用图像IM30、声音信息与乘员P会话,能够享受实际上搭乘于移动体M这样的会话。
在信息处理系统1中,说明了利用者U能够视觉辨识从副驾驶员座S2观察时的任意的方向的情况,但也可以根据例如匹配时的约定、乘员P的可否提供设定等,对利用者U能够视觉辨识的方向设置限制。例如,在乘员P侧有时产生可以提供移动体M的行进方向的风景或与驾驶员座S1相反侧的风景但不想显示自己的身姿这样的意愿。这是设想如下情况:乘员P与利用者U不是家人、友人这样的关系,而是回应想要确认移动体M的驾驶感或想要视觉辨识期望的街道的风景这样的需求。在该情况下,管理服务器300的匹配处理部320或提供部330基于匹配结果,设定这样的限制,第一控制装置170或第二控制装置270根据设定,遮蔽不让视觉辨识的角度范围,或者进行修正以免指向方向φ朝向被限制的方向。与这样的限制相关的信息与乘员P的隐私相关,因此也可以在第一装置100侧设定。而且,关于拒绝提供的信息,也可以通过利用者U进一步支付追加费用,在乘员P应允后提供。
移动体图像显示装置250也可以将相机单元130拍摄到的图像中的映有移动体M的室内的规定物品的部分置换为通过计算机处理绘制的图像(CG图像)而显示。图12所示的区域OB1是进行导航显示等的显示装置,是“规定物品”的一例。当直接显示对显示装置的显示画面拍摄得到的图像时有时图像模糊、在光的反射下视觉辨识性降低。因此,移动体图像显示装置250也可以从第一装置100取得用于构成所涉及的显示装置的显示画面的数据或通过移动体M中的计算机处理而绘制的图像数据,并将根据数据通过计算机处理而再绘制的图像或取得的图像数据嵌入相机单元130拍摄到的图像(进行了编辑的图像)而显示。在该情况下,在第一装置100与第二装置200之间关于成为规定物品的移动体M的室内的物品的位置预先共享,移动体图像显示控制部277基于例如指向方向φ来判定使移动体图像显示装置250显示的图像是否包括规定物品,在判定为包括规定物品的情况下如上述那样进行图像的置换。“规定物品”也可以是乘员P的头部或面部。在该情况下,也可以根据乘员P的显示来变更头像等CG图像。上述的图像数据(CG图像)等的至少一部分可以从管理服务器300的提供信息DB提供。
<第二提供信息的例:室外图像(头上图像)>
图13是用于说明第二提供信息的例子的图。在图13的例子中,示出了在利用者U的头部(第二装置200)的高度从基准位置起变高距离D1的情况下提供的图像IM40。在该情况下,第一装置100判定移动了的距离D1是否为阈值以上,在是阈值以上的情况下,从基于室内相机132的室内图像切换为基于室外相机134的室外图像而显示。在图13的例子中,距离D1为阈值以上,因此显示从移动体M的上部拍摄到的室外图像。由此,利用者U能够得到从移动体M之上探出头部眺望周边景色这样的在实际的乘车中不可能有的模拟乘车特有的体验。
上述的阈值也可以是固定值,可以根据移动体M的车辆规格而设定为可变。例如,第一装置100基于距离D1和保存于用户数据360的移动体信息所包含的车辆规格信息,在距基准位置的距离D1为车辆规格(车的外形)以上的情况下,切换为室外图像。由此,例如在向巴士等大型车辆模拟乘车的情况下,利用者U即便在同样地立起了的情况(移动了图13所示的距离D1的情况)下也保持室内图像不变,因此提供更接近现实的信息,因此能够不易给利用者U带来违和感。上述的阈值也可以考虑利用者U的体型而设定。
在利用者U的从椅子CH立起动作下,在人体构造上与就座的状态相比头部的位置向前方移动。然而,利用者U仅想向正上方立起,因此当与立起时的头的前方移动相配合而使室外图像向前方移动时,有可能给利用者U带来违和感。因此,第一装置100也可以在利用者U的头的位置由于立起而向前方移动了规定距离的情况下,进行修正处理以免使室外图像向前方移动。
在第二提供信息的例子中,对于图像IM40,表示导航信息的图像IM42、表示与周边的建筑物对应的POI信息(例如,店铺的信息)等的图像IM44也可以重叠显示于图像IM40。由此,能够提供更详细的信息。
第一装置100也可以在从室内图像切换为室外图像的情况下,进行根据声音的种类而使向第二装置200提供的声音的大小(音量)变化的修正。例如,在从室内图像切换为室外图像的情况下,第一装置100基于由安装于室内的第一话筒120取得的室内声音信息所包含的声音的频率等特征信息等来调整各声音。例如,第一装置100进行音响效果处理,该音响效果处理中,增大室内声音信息所包含的从车外发出的声音(例如,噪音噪声)、和/或、减小室内声音信息所包含从室内发出的声音(例如,乘员P的声音、室内音乐)。由此,根据图像IM40及声音,利用者U能够得到实际上头探出车外这样的感觉。在提供室外图像的状况下利用者U再次成为就座于椅子CH的状态的情况(距基准位置的距离D1小于阈值的情况)下,第一装置100切换为室内图像,并且进行使声音的大小与上述相反的声音的音响效果处理(或返回由第一话筒120得到的本来的声音)而向第二装置200提供。
<第三提供信息的例子:室外图像(侧边图像)>
图14是用于说明第三提供信息的例子的图。在图14中,与图13的例子相比,示出了提供不是头上的室外图像而是移动体M的侧边的室外图像的例子。因此,在图14中,主要以与图13的不同点为中心进行说明。
在图14的例子中,示出在利用者U的头部(第二装置200)的位置从基准位置横向移动了距离D2的情况下提供的图像IM50。在该情况下,第一装置100判定移动了的距离D2是否为阈值以上,在是阈值以上的情况下,从基于室内相机132的室内图像切换为基于室外相机134的室外图像而显示。在图14的例子中,距离D2为阈值以上,因此显示从移动后的方向的移动体M的侧部拍摄到的室外图像(更具体而言,稍朝向前方,因此是前方的图像)。由此,利用者U能够得到从移动体M的侧面(例如,侧边窗户)探出头部而眺望周边景色这样的模拟乘车特有的体验。上述的阈值也可以是固定值,可以根据移动体M的车辆规格信息而设定为可变。
在利用者U的横向移动中,也与立起动作同样地有时头的位置偏移,因此第一装置100也可以在是规定的偏移量的情况下进行修正以免图像中存在偏移。
在第三提供信息的例子中,也可以使图像IM50显示表示与由外界传感器125检测到的缘石等障碍物OBJ之间的距离的信息(例如,图像IM52、表示距离的数值)。在该情况下,第一装置100取得来自辨识移动体M的周边的物体的外界传感器125的信息,在向第二装置200提供室外图像时,提供表示由外界传感器125检知到的物体(障碍物OBJ)与移动体M之间的距离的图像IM52。由此,例如,利用者U观察乘员P从驾驶员座不能直接看到的成为死角的路肩附近的室外图像IM50,并通过会话向乘员P通知该内容,由此抑制与障碍物OBJ的接触,能够进行更恰当的驾驶。
第一装置100也可以代替表示距离的信息(或除此之外还)在移动体M与物体(障碍物OBJ)之间的距离为规定距离以内的情况下,向第二装置200提供表示移动体M与物体之间的距离接近的信息(例如,警报信息)。由此,能够催促利用者U基于车外图像进行周边的确认,能够更准确掌握乘员P的死角附近。
通过上述的提供信息,能够提供与利用者U的规定动作相应的模拟乘车的图像、声音。在上述的例子中,根据利用者的动作来切换图像(室内图像、室外图像)、声音(有、无音响效果处理),但也可以根据设置于第二装置200的切换按钮等机械式开关(操作部)、利用者U的姿态动作、设置于第一装置100的操作部、姿态动作等,不依赖于利用者U的动作地切换图像、声音。
上述的第一提供图像~第三提供图像可以向第一装置100提供。由此,乘员P能够更准确地掌握利用者U当前看着怎样的图像,能够进行更恰当的会话。
在实施方式中,第一装置100也可以生成利用者U就座于副驾驶员座S2(或后部座位)这样的图像,并使后视镜显示装置、窗户显示所生成的图像。在该情况下,第一控制装置170生成利用者U或与利用者U对应的人物形象就座于副驾驶员座S2这样的人物图像,并使后视镜显示装置显示所生成的图像。在该情况下,人物图像的姿势也可以根据从第二装置200得到的利用者U的动作而变更。第一控制装置170也可以在使后视镜显示装置152显示着人物图像的情况下,控制第一扬声器140以使声音从副驾驶员座S2附近输出。该声音例如是利用者U对第二话筒220发出、且由第二通信装置210发送并经由第一通信装置110而取得的声音。第一控制装置170例如使第一扬声器140输出对驾驶员座的乘员P以从副驾驶员座S2听到声音的方式进行了声像定位的声音。
<变形例>
在上述的信息处理系统1中,第一装置100及第二装置200的功能的至少一部分也可以设置于管理服务器300,管理服务器300的功能的至少一部分也可以设置于第一装置100或第二装置200。
例如,上述的图像编辑部276或(图像编辑部175)的功能、移动体图像显示控制部277的功能也可以设置于管理服务器侧。图15是表示变形例中的管理服务器300A的功能结构的一例的图。在图15的例子中,管理服务器300A例如具备通信装置310、取得部315、匹配处理部320、提供部330A、费用管理部340及存储部350。管理服务器300A与图1所示的管理服务器300相比,代替提供部330而设置有提供部330A。因此,以下,主要以提供部330A的功能为中心进行说明,其他结构部的说明省略。在图15所示的变形例的情况下,例如,由第一装置100及第二装置200取得的信息由管理服务器300A的取得部315取得,并由提供部330A提供与各装置对应的各种信息。
例如,提供部330A基于由乘员P设定的可否提供信息,向第二装置200提供室内图像、室外图像及室内声音信息中的被设定为能够提供的信息。例如,提供部330A除了具有与提供部330同样的功能的之外还具备图像编辑部332和移动体图像显示控制部334。图像编辑部332进行与上述的图像编辑部276(或图像编辑部175)同样的处理。例如,图像编辑部332取得由第一装置100拍摄到的图像,并基于由第二装置200的检知装置230检知到的利用者U的动作信息(头部的位置信息)等,通过规定动作的有无而切换室内图像和室外图像并将其向第二装置200提供。在该情况下,图像编辑部332也可以生成在室内图像、室外图像中重叠了其他信息(例如,导航信息、POI信息)的图像。
移动体图像显示控制部334向第二装置200提供由图像编辑部332生成的图像,并基于利用者U的动作来控制图像、声音的切换。例如,移动体图像显示控制部334也可以从第一装置100取得室内声音信息,并配合图像的切换而进行上述的声音的音响效果处理等,提供与向第二装置200提供的图像对应的声音。
提供部330A也可以在向第二装置200提供室外图像的情况下,提供与由外界传感器125检知到的物体(例如,障碍物)与移动体M之间的距离相关的信息。提供部330A也可以在移动体M与物体之间的距离为规定距离以内的情况下,向第二装置200提供表示移动体M与物体之间的距离接近的信息。提供部330A也可以在存在由利用者U取得来自第一装置100的信息的请求的情况下,向乘员提供表示存在请求的信息,并取得由乘员P设定的可否提供信息。提供部330A也可以向第二装置200提供用于让利用者U确认与由第一装置100提供的信息相关的信息的信息。提供部330A也可以根据由利用者U进行了可否设定的能够提供的信息的种类或信息量,而使向第二装置200提供的信息(图像、声音)的输出形态不同,并向第二装置200提供与信息的种类或信息量相应的广告信息。提供部330A也可以在向第二装置200提供从第一装置100取得的信息前,从利用者U对乘员P进行通知。
根据上述的变形例,关于提供的图像、声音,能够由管理服务器300A一元管理。由此,能够更准确地掌握提供的信息的种类、数据量、提供时间,能够恰当地管理服务使用费等。因此,例如,提供部330A也可以例如从提供信息DB362登记的广告信息中向第一装置100、第二装置200提供与提供的信息的种类或信息量相应的广告信息,并根据由乘员P或利用者U对广告的视听次数或视听时间等,使费用管理部340进行减轻模拟乘车服务的利用费用或支付回报等费用的调整。广告信息也可以是与移动体M相关的信息,在乘员P或利用者U为名人的情况下是与该人物相关的信息。
如变形例所示那样在管理服务器300A侧进行图像编辑、显示控制等,由此能够使第一装置100、第二装置200的处理负荷减轻。
<总结>
根据以上那样构成的信息处理系统1,能够提高对移动体M的乘员P、以及处于与移动体M不同的场所的利用者U这双方赋予的身临其境之感。根据实施方式,能够使利用者的视觉辨识性和乘员的安全性提高,进而更进一步改善交通的安全性而有助于可持续的运输系统的发展。在实施方式中,对利用者U显示从副驾驶员座观察时的与自身的指向方向φ对应的图像,因此利用者U能够视觉辨识犹如就座于副驾驶员座S2瞭望周围这样的风景。第一扬声器140对乘员P以从副驾驶员座S2听到声音的方式进行声像定位,输出利用者U发出的声音,由此乘员P能够以利用者U处于副驾驶员座S2这样的感觉与利用者U进行会话。而且,第二扬声器240对利用者U以从副驾驶员座S2观察时的乘员P的位置听到声音的方式进行声像定位,并输出乘员P发出的声音,由此利用者U能够以自身处于副驾驶员座S2这样的感觉进行与乘员P的会话。利用者U能够控制通过模拟乘车而能提供的信息。因此,能够通过利用者U的设定来控制基于乘员P进行的模拟乘车的体验等级、体验模式。
<利用例>
信息处理系统1能够以以下这样的形态利用。
(A)乘员P与利用者U是家人、友人等关系,向利用者U提供虚拟驾驶的形态。利用者U能够一边观看图像一边关于移动体M的周围的风景等与乘员P会话。
(B)乘员P是一般利用者,利用者U是道路引导服务、驾驶指导服务等的提供者的形态。利用者U能够一边观看移动体M的周围的风景一边进行在导航装置中不易知晓或未载置于地图这样的场所中的道路引导、进行驾驶操作的指导。
(C)在乘员P为名人,利用者U为一般利用者,并向利用者U提供基于商业的虚拟驾驶的形态。在该情况下,针对一位乘员P而与多个利用者U同时建立对应关系,例如来自利用者U侧的声音的传送可以设定为关闭。也可以通过利用者U支付追加费用而能够进行与乘员P的规定时间的通话。
以上使用实施方式说明了本发明的具体实施方式,但本发明丝毫不被这样的实施方式限定,在不脱离本发明的主旨的范围内能够施加各种变形及替换。
Claims (9)
1.一种信息管理装置,其管理向第一装置和第二装置提供的信息,该第一装置搭载于供乘员搭乘的移动体,该第二装置在与所述移动体不同的场所被利用者利用,其中,
所述信息管理装置具备:
取得部,其从所述第一装置及所述第二装置取得信息;以及
提供部,其基于由所述取得部取得的信息,针对所述第一装置及所述第二装置中的每个装置提供信息,
由所述第一装置取得的信息包括所述移动体的室内图像、室外图像及所述移动体的室内声音信息,
所述提供部基于由所述乘员设定的可否提供信息,向所述第二装置提供所述室内图像、所述室外图像及所述室内声音信息中的被设定为能够提供的信息。
2.根据权利要求1所述的信息管理装置,其中,
所述提供部向所述第二装置提供用于使所述利用者对与由所述第一装置提供的信息相关的信息进行确认的信息。
3.根据权利要求2所述的信息管理装置,其中,
所述提供部根据能够向所述利用者提供的信息的种类或信息量,使向所述第二装置提供的信息的输出形态不同。
4.根据权利要求3所述的信息管理装置,其中,
所述提供部向所述第二装置提供与所述信息的种类或所述信息量相应的广告信息。
5.根据权利要求1所述的信息管理装置,其中,
所述信息管理装置还具备费用管理部,该费用管理部管理与所述信息的提供相关的费用,
所述费用管理部基于所述乘员、所述利用者、所述移动体的种类、能够向所述利用者提供的信息的种类、以及信息量中的至少一个,使与信息提供相关的费用不同。
6.根据权利要求1所述的信息管理装置,其中,
所述提供部在所述利用者产生了取得来自所述第一装置的信息的请求的情况下,向所述乘员提供表示产生了所述请求的信息,并取得由所述乘员设定的可否提供信息。
7.根据权利要求1所述的信息管理装置,其中,
所述提供部在向所述第二装置提供从所述第一装置取得的信息之前,从所述利用者对所述乘员进行通知。
8.一种信息管理方法,其中,
信息管理装置管理向第一装置和第二装置提供的信息,该第一装置搭载于供乘员搭乘的移动体,该第二装置在与所述移动体不同的场所被利用者利用,
所述信息管理方法使所述信息管理装置的计算机进行如下处理:
从所述第一装置及所述第二装置取得信息;以及
基于取得的所述信息,针对所述第一装置及所述第二装置中的每个装置提供信息,
由所述第一装置取得的信息包括所述移动体的室内图像、室外图像及所述移动体的室内声音信息,
基于由所述乘员设定的可否提供信息,向所述第二装置提供所述室内图像、所述室外图像及所述室内声音信息中的被设定为能够提供的信息。
9.一种存储介质,其存储有程序,其中,
信息管理装置管理向第一装置和第二装置提供的信息,该第一装置搭载于供乘员搭乘的移动体,该第二装置在与所述移动体不同的场所被利用者利用,
所述程序使所述信息管理装置的计算机进行如下处理:
从所述第一装置及所述第二装置取得信息;以及
基于取得的所述信息,针对所述第一装置及所述第二装置中的每个装置提供信息,
由所述第一装置取得的信息包括所述移动体的室内图像、室外图像及所述移动体的室内声音信息,
基于由所述乘员设定的可否提供信息,向所述第二装置提供所述室内图像、所述室外图像及所述室内声音信息中的被设定为能够提供的信息。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022151156A JP2024046019A (ja) | 2022-09-22 | 2022-09-22 | 情報管理装置、情報管理方法、およびプログラム |
JP2022-151156 | 2022-09-22 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117750004A true CN117750004A (zh) | 2024-03-22 |
Family
ID=90276440
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311219156.4A Pending CN117750004A (zh) | 2022-09-22 | 2023-09-20 | 信息管理装置、信息管理方法及存储介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20240104604A1 (zh) |
JP (1) | JP2024046019A (zh) |
CN (1) | CN117750004A (zh) |
-
2022
- 2022-09-22 JP JP2022151156A patent/JP2024046019A/ja active Pending
-
2023
- 2023-09-20 CN CN202311219156.4A patent/CN117750004A/zh active Pending
- 2023-09-21 US US18/370,895 patent/US20240104604A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20240104604A1 (en) | 2024-03-28 |
JP2024046019A (ja) | 2024-04-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3794851B1 (en) | Shared environment for vehicle occupant and remote user | |
US11410634B2 (en) | Information processing apparatus, information processing method, display system, and mobile object | |
KR20180118545A (ko) | 운전자 지원 시스템 및 방법 | |
CN114258319A (zh) | 一种投影方法及装置、车辆及ar-hud | |
JP7402145B2 (ja) | 遠隔操作システム、移動ロボット、及び操作端末 | |
JP2010185761A (ja) | ナビゲーションシステム、道路地図表示方法 | |
JPWO2018087877A1 (ja) | 車両制御システム、車両制御方法、および車両制御プログラム | |
JP2019156298A (ja) | 車両遠隔操作装置及び車両遠隔操作方法 | |
CN113590070A (zh) | 导航界面的显示方法、装置、终端及存储介质 | |
KR20230065928A (ko) | 차량용 이미지 처리 장치 및 차량에 포함된 디스플레이에 시각 정보를 표시하는 방법 | |
JP2019200478A (ja) | サーバ、車両撮影システム及び車両撮影方法 | |
JP2019144756A (ja) | 車両遠隔操作装置、車両遠隔操作システム及び車両遠隔操作方法 | |
CN116385528B (zh) | 标注信息的生成方法、装置、电子设备、车辆及存储介质 | |
CN117750004A (zh) | 信息管理装置、信息管理方法及存储介质 | |
CN117750005A (zh) | 信息管理装置、信息管理方法及存储介质 | |
WO2021256483A1 (ja) | 制御装置、投影システム、制御方法及びプログラム | |
US20240105052A1 (en) | Information management device, information management method and storage medium | |
US20240087339A1 (en) | Information processing device, information processing system, and information processing method | |
WO2019087577A1 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
CN117178167A (zh) | 路径引导装置、路径引导方法以及路径引导程序 | |
US20240087334A1 (en) | Information process system | |
US20240085207A1 (en) | Information processing system | |
US20240085976A1 (en) | Information processing system | |
JP7402784B2 (ja) | 遠隔表示システム、ロボット、及び表示端末 | |
US20240083249A1 (en) | Information processing system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |