CN117692616A - 信息处理系统 - Google Patents

信息处理系统 Download PDF

Info

Publication number
CN117692616A
CN117692616A CN202311147063.5A CN202311147063A CN117692616A CN 117692616 A CN117692616 A CN 117692616A CN 202311147063 A CN202311147063 A CN 202311147063A CN 117692616 A CN117692616 A CN 117692616A
Authority
CN
China
Prior art keywords
user
communication device
image
mobile body
pointing direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311147063.5A
Other languages
English (en)
Inventor
丸山健太
尾中润一郎
小原润哉
石田雄亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN117692616A publication Critical patent/CN117692616A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0217—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for loud-speakers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0229—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

提供能够提高给移动体的乘员和处于与移动体不同的场所的利用者这双方带来的身临其境之感的信息处理系统。信息处理系统具备：第一装置，其搭载于供乘员搭乘的移动体；以及第二装置，其在与移动体不同的场所被利用者利用，其中，第一装置具有与第二装置的第二通信装置通信的第一通信装置和相机单元，第二装置具有：第二通信装置，其与第一通信装置通信；检知装置，其用于检知利用者的指向方向及姿态；以及显示装置，其显示相机单元所拍摄到的图像中的从规定的座位观察时的与指向方向对应的图像，第二装置基于检知到的指向方向及姿态，来决定利用者所指向的移动体的操作部和对操作部进行操作的操作内容。

Description

信息处理系统
技术领域
本发明涉及信息处理系统。
背景技术
以往，关于在搭载于车辆等移动体的装置与相对于移动体另外的场所中使用的装置之间进行通信而共享车外风景的图像等，不断推进研究(日本特开2020-94958号公报)。
在以往的技术中，存在如下情况：对于移动体的乘员和处于与移动体不同的场所的利用者这双方而言，不能充分感受到身临其境之感。
发明内容
本发明是考虑这样的情况而完成的，其目的之一在于，提供能够提高给移动体的乘员和处于与移动体不同的场所的利用者这双方带来的身临其境之感的信息处理系统。
本发明所涉及的信息处理系统采用了以下的结构。
(1)：本发明的一方案涉及一种信息处理系统，其具备：第一装置，其搭载于供乘员搭乘的移动体；以及第二装置，其在与所述移动体不同的场所被利用者利用，其中，所述第一装置具有：第一通信装置，其与所述第二装置的第二通信装置通信；以及具有一个以上的相机的相机单元，该相机单元至少包括室内相机，该室内相机设置于所述移动体的规定的座位上，且能够对从所述规定的座位观察时的所述移动体内进行拍摄，所述第二装置具有：所述第二通信装置，其与所述第一通信装置通信；检知装置，其用于检知所述利用者的指向方向及姿态；以及显示装置，其显示所述相机单元所拍摄到的图像中的从所述规定的座位观察时的与所述指向方向对应的图像，所述第二装置基于检知到的所述指向方向及所述姿态，来决定所述图像中的、所述利用者所指向的所述移动体的操作部和对所述操作部进行操作的操作内容，所述第二通信装置将所决定的对所述操作部进行操作的操作内容向所述第一通信装置发送。
(2)：在上述(1)的方案的基础上，所述显示装置根据所述姿态来将所述操作部的位置变更而显示。
(3)：在上述(1)的方案的基础上，所述显示装置根据所述姿态来将所述操作部的尺寸变更而显示。
(4)：在上述(1)的方案的基础上，所述显示装置使多个所述操作部中的能够由所述利用者操作的操作部凸显地显示。
(5)：在上述(1)的方案的基础上，所述第二装置基于对所述利用者设定的对所述移动体的操作部进行操作的操作权限，来决定所述图像中的允许所述利用者进行操作的所述移动体的操作部。
(6)：在上述(1)的方案的基础上，所述第一装置还具备显示器，该显示器显示对所述利用者所指向的所述操作部进行表示的图像。
(7)：在上述(1)的方案的基础上，所述第二通信装置将所述指向方向的信息向所述第一通信装置发送，所述第一装置还具有第一控制装置，该第一控制装置控制所述第一通信装置，以将所述相机单元所拍摄到的图像中的、与经由所述第一通信装置而取得的所述指向方向对应的图像选择性地向所述第二通信装置发送，所述第二装置的显示装置显示经由所述第二通信装置而取得的从所述规定的座位观察时与所述指向方向对应的图像。
(8)：在上述(1)的方案的基础上，所述第一通信装置将所述相机单元所拍摄到的图像向所述第二通信装置发送，所述第二装置还具有第二控制装置，该第二控制装置使所述相机单元所拍摄到的图像中的与所述指向方向对应的图像选择性地显示于所述显示装置。
(9)：在上述(1)的方案的基础上，所述显示装置是VR眼镜即虚拟现实眼镜的显示装置，所述检知装置包括安装于所述VR眼镜的物理传感器。
(10)：在上述(1)的方案的基础上，所述移动体是车辆，所述规定的座位是副驾驶员座。
根据(1)～(10)的方案，能够提高给移动体的乘员和处于与移动体不同的场所的利用者这双方带来的身临其境之感。
附图说明
图1是表示信息处理系统和管理服务器的使用环境等的图。
图2是表示用户数据的内容的一例的图。
图3是第一装置的结构图。
图4是表示移动体中的第一装置的一部分的配置例的图。
图5是第二装置的结构图。
图6是用于说明与指向方向对应的图像的图。
图7是表示第一控制装置和第二控制装置的功能结构的第一例的图。
图8是表示第一控制装置和第二控制装置的功能结构的第二例的图。
图9是表示与指向方向对应的图像的一例的图。
图10是表示定义移动体的操作权限的用户数据的内容的一例的图。
图11是表示将利用者具有操作权限的操作区域示出的图像的一例的图。
图12是表示将对利用者的姿态进行表示的指示图像H重叠显示于操作区域的方法的一例的图。
图13是表示根据利用者的姿态来变更对利用者U显示的操作区域的显示形态的方法的一例的图。
具体实施方式
以下，参照附图来说明本发明的信息处理系统的实施方式。信息处理系统包括搭载于乘员所搭乘的移动体的第一装置和在与移动体不同的场所由利用者利用的第二装置。移动体例如是车辆，但只要是乘员能够搭乘的移动体即可，也可以是任何移动体。另外，乘员主要是移动体的驾驶员，但也可以是驾驶员以外的乘员。
在第一装置与第二装置之间，由话筒收集到的声音向对方侧发送并由扬声器播放从而成为进行着电话通话那样的状态，而且，由第一装置的相机单元拍摄到的图像的一部分被第二装置显示，由此向第二装置侧提供MR(Mixed Reality)。第一装置与第二装置无需是一对一的关系，也可以是多个第一装置中的一个与多个第二装置以一对多的关系进行匹配，由此作为信息处理系统而进行动作。在后者的情况下，能够使例如一位乘员与多个利用者同时沟通或与多个利用者依次沟通。
<基本结构>
图1是表示信息处理系统1和管理服务器300的使用环境等的图。信息处理系统1包括：第一装置(移动体装置)100，其搭载于移动体M；以及第二装置(利用者装置)200，其由利用者U在与移动体M不同的场所(不排除碰巧是靠近移动体的场所)利用。第一装置100、第二装置200及管理服务器300分别经由网络NW而彼此通信。信息处理系统1可以包括管理服务器300，也可以不包括管理服务器300。
管理服务器300例如具备通信装置310、匹配处理部320及存储部350。在存储部350保存有用户数据360。
通信装置310是用于与网络NW连接的通信接口。需要说明的是，通信装置310与第一装置100之间的通信、以及通信装置310与第二装置200之间的通信例如适应TCP/IP(Transmission Control Protocol/Internet Protocol)而进行。
匹配处理部320通过例如CPU(Central Processing Unit)等处理器执行保存于存储介质的程序(命令群)来实现。存储部350是RAM(Random Access Memory)、HDD(Hard DiskDrive)、闪存器等。
图2是表示用户数据360的内容的一例的图。用户数据360例如包括：乘员清单360A，在该乘员清单360A中，乘员P的识别信息即乘员ID、该乘员ID的通信识别信息(IP地址等)、以及成为匹配对象的利用者U的识别信息即利用者ID互相建立了对应关系；以及利用者清单360B，在该利用者清单360B中，利用者ID、该利用者ID的通信识别信息(IP地址等)、以及成为匹配对象的乘员P互相建立了对应关系。用户数据360只要是包含这些信息即可，也可以不限于图2所示的形态而以任何形态生成。
匹配处理部320在通信装置310从利用者U经由第二装置200接收到匹配请求或从乘员P经由第一装置100接收到匹配请求的情况下，参照用户数据360而进行匹配利用者U与乘员P的匹配，并使用通信装置310向匹配到的利用者U的第二装置200发送乘员P的第一装置100的通信识别信息，向匹配到的乘员P的第一装置100发送利用者U的第二装置200的通信识别信息。在接收到这些信息的第一装置100与第二装置200之间，进行例如与UDP(UserDatagram Protocol)相适应的实时性更高的通信。
图3是第一装置100的结构图。第一装置100例如包括第一通信装置110、第一话筒120、相机单元130、第一扬声器140、利用者显示装置150、HMI(Human machine Interface)160及第一控制装置170。第一控制装置170与搭载于移动体M的控制对象设备190连接。
第一通信装置110是用于与管理服务器300的通信装置310、以及第二装置200的第二通信装置210分别经由网络NW进行通信的通信接口。
第一话筒120收集至少由乘员P发出的声音。第一话筒120可以是设置于移动体M的室内且具有也能够对移动体M的外部的声音进行收集的灵敏度的话筒，也可以包括设置于移动体M的室内的话筒和设置于移动体M的外部的话筒。第一话筒120所收集到的声音例如经由第一控制装置170而通过第一通信装置110向第二通信装置210发送。
相机单元130至少包括室内相机132，也可以包括室外相机134。第一扬声器140输出经由第一通信装置110取得的由利用者U发出的声音。关于相机单元130及第一扬声器140的配置等详细情况，之后参照图4来进行说明。
利用者显示装置150以仿佛利用者U存在于移动体M的室内的方式假想地显示利用者U。例如，利用者显示装置150使全息影像出现、或者在与移动体M的反射镜、车窗相当的部分显示利用者U。
HMI160是触摸面板、声音响应装置(智能体装置)等。HMI160接受乘员P对第一装置100进行的各种指示。
第一控制装置170例如包括例如CPU等处理器和与处理器连接且保存有程序(命令群)的存储介质，通过处理器执行命令群而控制第一装置100的各部分。
控制对象设备190例如是搭载于移动体M的导航装置、驾驶支援装置等。
图4是表示移动体M中的第一装置100的一部分的配置例的图。室内相机132例如经由配件132A而安装于副驾驶员座S2(“规定的座位”的一例)的颈枕，且设置于从副驾驶员座S2的靠背稍微向移动体M的行进方向侧偏离的位置。室内相机132具有广角透镜，且能够对图中的标注影线的区域132B所表示的范围进行拍摄。室内相机132不仅能够对移动体M的室内进行拍摄，也能够经由车窗而对室外进行拍摄。在以下的说明中设为副驾驶员座S2为规定的座位，但规定的座位也可以是后部座位等其他座位。
室外相机134例如包括多个子室外相机134-1～134-4。通过将多个子室外相机134-1～134-4所拍摄到的图像合成，能够获取对移动体M的外部进行拍摄得到的全景图像这样的图像。室外相机134也可以代替于此(或在此基础上还)包括设置于移动体M的车顶上的广角相机。需要说明的是，作为室内相机132，可以追加能够对副驾驶员座S2的后方进行拍摄的相机，也可以是，后述的移动体图像通过第一控制装置170将一个以上的室内相机132所拍摄到的图像结合而生成为360度的全景图像，还可以是，将室内相机132所拍摄到的图像与室外相机134所拍摄到的图像适当结合而生成为360度的全景图像。
第一扬声器140输出经由第一通信装置110而取得的利用者U的声音。第一扬声器140例如包括多个子第一扬声器140-1～140-5。例如，子第一扬声器140-1配置于仪表板中央部，子第一扬声器140-2配置于仪表板左端部，子第一扬声器140-3配置于仪表板右端部，子第一扬声器140-4配置于左侧车门下部，子第一扬声器140-5配置于右侧车门下部。第一控制装置170在使第一扬声器140输出利用者U的声音的情况下，例如从子第一扬声器140-2及子第一扬声器140-4以同等程度的音量输出声音，使其他子第一扬声器关闭，由此相对于就座于驾驶员座S1的乘员P以使该乘员P从副驾驶员座S2听到声音的方式进行声像定位。另外，声像定位的方法不限于音量的调整，也可以通过使从各个子第一扬声器所输出的声音的相位错开来进行。例如，在以从左侧听到的方式进行声像定位的情况下，使从左侧的子第一扬声器输出声音的时机比从右侧的子第一扬声器输出相同的声音的时机稍早即可。
另外，第一控制装置170也可以在使第一扬声器140输出利用者U的声音的情况下，相对于乘员P以使乘员P从副驾驶员座S2上的与利用者U的头部的高度相应的高度的位置听到声音的方式进行声像定位而使第一扬声器140输出利用者U发出的声音。在该情况下，第一扬声器140需要具有高度不同的多个子第一扬声器140-k(k为多个自然数)。
图5是第二装置200的结构图。第二装置200例如包括第二通信装置210、第二话筒220、检知装置230、第二扬声器240、移动体图像显示装置250、HMI260及第二控制装置270。检知装置230例如包括指向方向检知装置232、头部位置检知装置234及运动传感器236。
第二通信装置210是用于与管理服务器300的通信装置310、以及第一装置100的第一通信装置110分别经由网络NW通信的通信接口。
第二话筒220收集利用者U发出的声音。第二话筒220所收集的声音例如经由第二控制装置270而通过第二通信装置210向第一通信装置110发送。
指向方向检知装置232是用于检知指向方向的装置。指向方向是利用者U的面部朝向或视线的朝向、或者基于利用者U的面部朝向和视线的朝向这双方得到的朝向。或者，指向方向也可以是通过诸如利用者U将使用的终端装置倾斜的动作、滑动画面的动作等这样的手臂、手指的动作而指示的朝向。以下，设为指向方向是水平面内的角度、即不具有上下方向的成分的角度，但指向方向也可以是还包括上下方向的成分的角度。指向方向检知装置232可以是包括安装于后述的VR眼镜(goggle)的物理传感器(例如加速度传感器、陀螺仪传感器等)，也可以是对利用者U的头部的多个位置进行检测的红外线传感器、或对利用者U的头部进行拍摄的相机。无论在何种的情况下，第二控制装置270均基于从指向方向检知装置232输入的信息来算出指向方向。关于此公知各种技术，因此省略详细的说明。
头部位置检知装置234是用于检知利用者U的头部的位置(高度)的装置。例如，设置于利用者U所就座的椅子的周围的一个以上的红外线传感器、或者光学传感器用作头部位置检知装置234。在该情况下，第二控制装置270基于由一个以上的红外线传感器、或光学传感器检测的检测信号的有无来检知利用者U的头部的位置。另外，头部位置检知装置234也可以是安装于VR眼镜的加速度传感器。在该情况下，第二控制装置270也可以通过对从加速度传感器的输出减去重力加速度而得到的数据进行积分来检知利用者U的头部的位置。这样取得的头部的位置的信息作为高度信息而向第二控制装置270提供。利用者的头部的位置也可以基于利用者U对HMI260进行的操作来取得。例如，利用者U可以将身高以数字形式向HMI260输入，也可以使用HMI260所包含的拨码开关来输入身高。在这些情况下，根据身高来计算头部的位置即高度信息。另外，利用者U也可以不是连续值，而是将体型：大/中/小这样的离散值向HMI260输入。在该情况下，基于表示体型的信息来取得高度信息。另外，也可以不特殊取得利用者的头部的高度，而是基于一般的成人的体型(可以按男女而不同)来简易地取得利用者U的头部的高度。
运动传感器236是用于辨识利用者U所进行的姿态操作的装置。例如，对利用者U的上半身进行拍摄的相机用作运动传感器236。在该情况下，第二控制装置从相机所拍摄到的图像提取利用者U的身体的特征点(指尖、手腕、肘部等)，并基于特征点的运动来辨识利用者U的姿态操作。
第二扬声器240输出经由第二通信装置210而取得的由乘员P发出的声音。第二扬声器240例如具有变更听到声音的方向的功能。第二控制装置270相对于利用者U以使利用者U从副驾驶员座S2观察时的乘员P的位置听到声音的方式，使第二扬声器输出声音。第二扬声器240包括多个子第二扬声器240-n(n为多个自然数)，可以是，第二控制装置270通过调整各个子第二扬声器240-n的音量来进行声像定位，也可以是，在VR眼镜随附有头戴式耳机的情况下，利用头戴式耳机的功能来进行声像定位。
移动体图像显示装置250显示相机单元130所拍摄到的图像(可以是进行了前述的结合处理的图像，以下称作移动体图像)中的从副驾驶员座观察时的与指向方向对应的图像。图6是用于说明与指向方向对应的图像的图。在该图的例子中，VR眼镜255包括作为指向方向检知装置232、头部位置检知装置234的物理传感器、以及移动体图像显示装置250。第二控制装置270将预先校准之后的方向作为基准方向而将VR眼镜255所朝向的方向检知为指向方向φ。关于相关功能而已经公知各种方法，因此省略详细的说明。
移动体图像显示装置250将移动体图像A1(在图中具有240度左右的角度，但也可以如前述那样通过结合处理来扩展画面角度)中的以指向方向φ为中心的+-α的角度范围的图像A2朝向利用者U显示。
HMI260是触摸面板、声音响应装置(智能体装置)、或者上述的开关等。HMI260接受乘员P对第二装置200进行的各种指示。
第二控制装置270例如包括例如CPU等处理器和与处理器连接且保存有程序(命令群)的存储介质，通过处理器执行命令群来控制第二装置200的各部分。
<功能结构>
以下，说明第一控制装置170和第二控制装置270的功能结构。
[第一例]
图7是表示第一控制装置170和第二控制装置270的功能结构的第一例的图。在第一例中，第一控制装置170包括匹配请求/应允部171、声音输出控制部172、图像发送部173及搭载设备协作部174。第二控制装置270包括匹配请求/应允部271、声音输出控制部272、指向方向检知部273、头部位置检知部274、姿态输入检知部275、图像编辑部276及移动体图像显示控制部277。这些功能部例如通过CPU等处理器执行程序(命令群)来实现。这些构成要素中的一部分或全部可以由LSI(Large Scale Integration)、ASIC(ApplicationSpecific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(GraphicsProcessing Unit)等硬件(包括电路部：circuitry)实现，也可以通过软件与硬件的协同配合来实现。
匹配请求/应允部171使用HMI160接受来自乘员P的匹配请求的输入并将其向管理服务器300进行发送，或者使用HMI160接受针对从管理服务器300接收到的匹配请求进行的应允的输入并将其向管理服务器300发送。匹配请求/应允部171以将匹配成立了的利用者U的第二装置200设为通信对方的方式控制第一通信装置110。
声音输出控制部172如前述那样控制第一扬声器140。
图像发送部173使用第一通信装置110向第二装置200发送移动体图像A1。
搭载设备协作部174基于从第二装置200输入的指示信号，来控制控制对象设备190。
匹配请求/应允部271使用HMI260来接受来自利用者U的匹配请求的输入并将其向管理服务器300发送，或者使用HMI260来接受针对从管理服务器300接收到的匹配请求进行的应允的输入并将其向管理服务器300发送。匹配请求/应允部271控制第二通信装置210以将匹配成立了的乘员P的第一装置100设为通信对方。
声音输出控制部272如前述那样控制第二扬声器240。
指向方向检知部273基于指向方向检知装置232的输出，来检知指向方向φ。头部位置检知部274基于头部位置检知装置234的输出，来检知利用者U的头部的高度。头部位置可以表示为三维的坐标，也可以仅检知头部的高度作为头部位置。姿态输入检知部275基于运动传感器236的输出来检知利用者U的姿态输入。
图像编辑部276进行从移动体图像Al截取从副驾驶员座观察时的与指向方向φ对应的图像A2的处理(图6)。移动体图像显示控制部277使移动体图像显示装置250显示由图像编辑部276截取的图像A2。此时，图像编辑部276也可以使移动体图像显示装置250显示从利用者U的头部的高度信息所示的高度观察时的与指向方向φ对应的图像。
[第二例]
图8是表示第一控制装置170和第二控制装置270的功能结构的第二例的图。与图7的第一例相比，不同点在于，第一控制装置170包括图像编辑部175，第二控制装置270不包括图像编辑部276而包括指向方向发送部278。关于其他构成要素基本上具有与第一例相同的功能，因此省略再次的说明。
指向方向发送部278使用第二通信装置210将指向方向检知部273所检知的指向方向φ向第一装置100发送。
图像编辑部175进行从移动体图像A1中截取从副驾驶员座观察时的与指向方向φ(从第二装置200发送来的指向方向)对应的图像A2的处理(图6)。此时，图像编辑部175也可以预先从第二装置200取得利用者U的头部的高度信息，进行截取从高度信息所示的高度观察时的与指向方向φ对应的图像A2的处理。
第二例中的图像发送部173使用第一通信装置110来向第二装置200发送由图像编辑部175截取的图像A2。然后，移动体图像显示控制部277使移动体图像显示装置250显示从第一装置100发送来的图像A2。
<基于姿态进行的操作>
图9是表示与指向方向对应的图像的一例的图。图9所表示的图像是指，移动体图像显示装置250将相机单元130所拍摄到的图像中的从副驾驶员座观察时的与指向方向对应的图像(以下，有时称作“指向图像”)向利用者U显示出的图像。在图9的指向图像中，操作区域OA是将显示于移动体M的HMI160的操作区域直接(或简化地)向利用者U进行显示而得到的操作区域，使利用者U对HMI160的远程操作成为可能。如以下所详细说明那样，利用者U对操作区域OA实施的操作的内容通过第二通信装置210而向第一装置100发送，第一装置100使移动体M执行该操作内容。如图9所示那样，操作区域OA例如包括操作区域OA1～OA6等多个操作区域。
首先，第二装置200确定指向图像的操作区域OA1～OA6中的、与由指向方向检知部273检知到的利用者U的指向方向φ对应的操作区域。例如，在利用者U进行了“使自身的指向方向φ朝向表示‘周边检索’的操作区域OA1并用手指指向该操作区域OA1”的姿态的情况下，移动体图像显示装置250将存在于以移动体M为中心的规定距离内的店铺/设施信息重叠于指向图像，例如使该店铺/设施信息显示为地图。同时地，第二通信装置210将该操作信息向第一装置100发送，第一装置100根据接收该操作信息这一情况，将存在于以移动体M为中心的规定距离内的店铺/设施信息显示于移动体M的HMI160。图9是表示利用者U进行了向“周边检索”的姿态而结果处于移动体M的周边的店铺/设施信息显示为地图的场景。由此，乘员P即便在驾驶移动体M的期间，也无需自身操作HMI160便能够确认移动体M的周围的信息。
而且，在图9所示的场景中，第二装置200确定地图中的与由指向方向检知部273检知到的利用者U的指向方向φ对应的地点。例如，在图9的情况下，在地图上显示地点P1～P3，指向方向检知部273作为与利用者U的指向方向φ对应的地点而确定地点P1。在确定了地点P1的状态下，姿态输入检知部275检知到对该地点P1进行操作的利用者U的姿态的情况下，第二装置200执行与检知到的姿态对应的地点P1所对应的操作。例如，在图9的情况下，在利用者U进行了将手指指向地点P1的姿态的情况下，移动体图像显示装置250使与该地点P1对应的店铺的详细信息(例如菜单信息)重叠显示于指向图像。
另外，例如，在利用者U进行了“使自身的指向方向φ朝向表示‘音响’的操作区域OA2并用手指指向该操作区域OA2”的姿态的情况下，声音输出控制部272使第二扬声器240输出声音。同时地，第二通信装置210将该操作信息向第一装置100发送，第一装置100根据接收该操作信息这一情况而使移动体M的音响设备播放。例如，利用者U通过姿态来对操作区域OA2进行操作而选择播放的乐曲，声音输出控制部272使第二扬声器240播放所选择的乐曲。同时地，第二通信装置210将表示所选择的乐曲的信息向第一装置100发送，第一装置100使移动体M的音响设备播放该乐曲。由此，乘员P即便在驾驶移动体M的期间，也无需自身操作HMI160便能够听音乐。
另外，例如，在利用者U进行了“使自身的指向方向φ朝向表示‘设定’的操作区域OA3并用手指指向该操作区域OA3”的姿态的情况下，移动体图像显示装置250使与移动体M的设定变更相关的画面重叠显示于指向图像。利用者U通过在与移动体M的设定变更相关的画面上进一步进行姿态指示来变更移动体M的设定。同时地，第二通信装置210将该操作信息向第一装置100发送，第一装置100根据接收该操作信息这一情况来变更移动体M的设定。例如，利用者U通过姿态来对操作区域OA3进行操作而变更移动体M的空调设定，第二通信装置210将表示变更后的空调设定的信息向第一装置100发送。第一装置100基于表示变更后的空调设定的信息，来变更移动体M的空调设定。由此，乘员P即便在驾驶移动体M的期间，也无需自身操作HMI160便能够变更移动体M的空调设定。
另外，例如，在利用者U进行了“使自身的指向方向φ朝向表示‘导航’的操作区域OA4并用手指指向该操作区域OA4”的姿态的情况下，移动体图像显示装置250使与移动体M的导航设定的变更相关的画面重叠显示于指向图像。利用者U通过在与移动体M的导航设定的变更相关的画面上进一步进行姿态指示来变更移动体M的导航设定。同时地，第二通信装置210将该操作信息向第一装置100发送，第一装置100根据接收该操作信息这一情况而变更移动体M的导航设定。例如，利用者U通过姿态来对操作区域OA4进行操作而变更移动体M的目的地，第二通信装置210将表示变更后的目的地的信息向第一装置100发送。第一装置100基于表示变更后的目的地的信息，来变更移动体M的目的地。由此，乘员P即便在驾驶移动体M的期间，也无需自身操作HMI160便能够变更移动体M的目的地。
另外，例如，在利用者U进行了“使自身的指向方向φ朝向表示危险警示灯的操作区域OA5并用手指指向该操作区域OA5”的姿态的情况下，第二通信装置210将该操作信息向第一装置100发送，第一装置100根据接收该操作信息这一情况而使移动体M的危险警示灯闪烁。由此，乘员P即便在驾驶移动体M的期间，也无需自身操作HMI160便能够使危险警示灯闪烁而引起移动体M的周边车辆注意。
需要说明的是，上述的操作区域OA1～OA5只是一例，也可以使与移动体M的任意的控制相关的操作区域显示于移动体图像显示装置250，并使利用者U通过姿态来进行操作。例如，操作区域也可以包括用于开闭移动体M的车窗的操作区域、用于使移动体M的刮水器动作的操作区域、用于通过选择地点来选择所显示的店铺菜单并进行结算的操作区域等。
<操作权限>
如上述那样，在本实施方式中，移动体图像显示装置250使用于利用者U对移动体M进行远程操作的操作区域重叠显示于图像，但关于所有乘员P与利用者U的组合，有时不宜使利用者U对所有操作区域进行操作。更具体而言，优选的是，在乘员P与利用者U是亲密的关系的情况下，使利用者U操作较多的操作区域，另一方面，在乘员P与利用者U是疏远的关系的情况下，使利用者U操作较少的操作区域。于是，在本实施方式中，管理服务器300对于乘员P与利用者U的组合，将对该利用者U的操作区域的范围(即操作权限)进行定义的用户数据360C事先存储于存储部350，在乘员P与利用者U匹配了的情况下，参照该用户数据360C而使利用者U在操作权限的范围内对操作区域进行操作。
图10是表示定义移动体M的操作权限的用户数据360C的内容的一例的图。用户数据360C中，例如相对于乘员ID与利用者ID的组合，对应有与利用者ID对应的利用者的操作权限。用户数据360C例如也可以由乘员事先设定对各利用者赋予的操作权限。此时，若乘员对各利用者逐个地设定操作权限，则有时费工夫。因此，例如，也可以是，如用户数据360C的第二行及第三行所示那样，乘员对全部利用者(即“ALL”)一律设定赋予的操作权限，并且对于想要赋予更多的操作权限的利用者，单独设定操作权限。也可以相反地，乘员对全部利用者一律设定赋予的操作权限，并且对想要赋予更少的操作权限的利用者，单独设定操作权限。
图11是表示将利用者U具有操作权限的操作区域示出的图像的一例的图。图11所表示的图像例如是指，根据利用者U通过姿态来选择图9所表示的图像的地点P1而显示的图像。在图11中，新显示的操作区域OA包括操作区域OA1～OA5、以及用于选择菜单的操作区域OA6。
移动体图像显示装置250也可以通过仅将多个操作区域中的对利用者U赋予了操作权限的操作区域进行明示地显示，来提高利用者U的便利性。例如，如图11所示，在利用者U仅具有对移动体M的音响设备进行操作的权限的情况下，移动体图像显示装置250仅将与音响设备的操作对应的操作区域OA2凸显地显示。另外，例如，移动体图像显示装置250也可以仅将与音响设备的操作对应的操作区域OA2显示，而使其他操作区域为非显示。由此，能够提高选择操作区域而进行操作的利用者U的便利性。
<姿态的显示>
而且，移动体图像显示装置250也可以使表示由姿态输入检知部275检知到的利用者U的姿态的指示图像H重叠显示于操作区域。图12是表示将对利用者U的姿态进行表示的指示图像H重叠显示于操作区域的方法的一例的图。图12表示在图11所表示的图像中利用者U选择所显示的菜单项目中的一个的状况。
在该情况下，移动体图像显示装置250使表示利用者U的姿态的指示图像H重叠于利用者U通过姿态而选择出的菜单项目，并且第二通信装置210将表示利用者U选择了该菜单项目这一情况的指示信息向第一装置100发送。第一装置100根据接收该指示信息，使HMI160同样地显示表示利用者U的姿态的指示图像H。由此，乘员P能够实时地掌握由利用者U进行的操作。需要说明的是，在本实施方式中，移动体图像显示装置250作为表示利用者U的姿态的指示图像H而显示了手的图标，但本发明不限定于那样的结构。例如，移动体图像显示装置250也可以显示表示利用者U的手的设想位置的影子等，更一般地，以能够对操作区域中的、利用者U所指向的操作区域进行视觉辨识的形态显示即可。第一装置100也可以具备使显示于移动体图像显示装置250的图像(利用者U所观看着的图像)显示于HMI160的模式。
而且，移动体图像显示装置250也可以根据由姿态输入检知部275检知到的利用者U的姿态，来变更对利用者U显示的操作区域的显示形态。图13是表示根据利用者U的姿态来变更对利用者U显示的操作区域的显示形态的方法的一例的图。图13作为一例而示出利用者U进行了“捏着移动体图像显示装置250所显示的操作区域OA并使该操作区域OA移动”的姿态的状况。
例如，移动体图像显示装置250也可以当姿态输入检知部275检知到利用者U进行了“捏着操作区域OA并使该操作区域OA移动了”的姿态这一情况时，使表示利用者U的手的指示图像H变形而显示为捏着操作区域OA。在该情况下，移动体图像显示装置250使操作区域OA的位置向利用者U进行了该姿态的方向变更而显示。由此，利用者U能够变更图像中的操作区域OA的位置而视觉辨识自身想要着眼的图像区域。另外，在该情况下，也可以设置为限制操作区域OA的进深方向的移动、操作区域OA的画面的旋转、以及在将操作区域OA与利用者U的距离保持恒定的同时变更操作区域OA的位置。由此，能够防止操作区域OA的过度的摆动，能够提高使用感。
另外，例如，移动体图像显示装置250也可以当姿态输入检知部275检知到利用者U进行了“捏着操作区域OA并以规定的加速度以上的加速度使该操作区域OA移动”的姿态这一情况时，使操作区域OA为非显示。在该情况下，例如，移动体图像显示装置250使操作区域OA向利用者U进行了该姿态的方向淡出(fadeout)。由此，利用者U能够使不需要的操作区域OA为非显示而视觉辨识自身想要着眼的图像区域。
另外，例如，移动体图像显示装置250也可以当姿态输入检知部275检知到利用者U进行了“两手捏着操作区域OA并扩大(缩小)该操作区域OA”的姿态这一情况时，将操作区域OA的尺寸扩大(缩小)。由此，利用者U能够变更图像中的操作区域OA的尺寸而视觉辨识自身想要着眼的图像区域。
<其他>
在信息处理系统1中，说明了利用者U能够视觉辨识从副驾驶员座S2观察时的任意的方向的情况，但例如也可以通过匹配时的决定而对利用者U能够视觉辨识的方向设置限制。例如，在乘员P这侧，也可以提供移动体M的行进方向的风景、或者与驾驶员座S1相反侧的风景，但有时迫切希望不想要显示自己的身姿。这样做的缘由在于，设想到乘员P与利用者U不是家人、友人这样的关系，而是回应想要确认移动体M的驾驶感觉、或想要视觉辨识期望的街头的风景这样的需求的情况。在该情况下，在管理服务器300的匹配处理部320进行匹配处理时，设定了这样的限制，第一控制装置170或第二控制装置270根据设定而屏蔽不进行视觉辨识的角度范围、或者以不朝向指向方向φ被限制了的方向的方式进行修正。另外，与这样的限制相关的信息是与乘员P的隐私相关的信息，因此也可以在第一装置100这侧设定。
<总结>
根据以上那样构成的信息处理系统1，能够提高给移动体M的乘员P和位于与移动体M不同的场所的利用者U这双方带来的身临其境之感。对利用者U显示从副驾驶员座观察时的与自身的指向方向φ对应的图像，利用者U通过姿态来操作在图像上显示的操作区域，由此能够对移动体M的动作进行远程操作。而且，表示利用者U的姿态的图像也同样显示于移动体M的HMI，乘员P能够实时地掌握利用者U的操作。而且，通过使在图像上显示的操作区域的显示形态能够通过利用者U的姿态来变更，能够提高对于利用者U而言的便利性。
<利用例>
信息处理系统1能够以以下这样的方案利用。
(A)乘员P与利用者U是家人、友人等关系、且将虚拟驾驶向利用者U提供的方案。利用者U能够一边观看图像一边就移动体M的周围的风景等而与乘员P会话。
(B)乘员P为一般利用者、且利用者U为道路引导服务、驾驶指导服务等的提供者的方案。利用者U能够一边观看移动体M的周围的风景一边进行凭借导航装置的话难以明白、或者未载于地图那样的场所处的道路引导、进行驾驶操作的指导。
(C)乘员P为名人、且利用者U为一般利用者而将商业基调的虚拟驾驶向利用者U提供的方案。在该情况下，相对于一个乘员P而同时对应有多个利用者U，例如可以将来自利用者U这侧的声音的传送设定为关闭。
以上使用实施方式说明了本发明的具体实施方式，但本发明丝毫不被这样的实施方式限定，在不脱离本发明的主旨的范围内能够施加各种变形及替换。

Claims (10)

1.一种信息处理系统，其具备：
第一装置，其搭载于供乘员搭乘的移动体；以及
第二装置，其在与所述移动体不同的场所被利用者利用，
其中，
所述第一装置具有：
第一通信装置，其与所述第二装置的第二通信装置通信；以及
具有一个以上的相机的相机单元，该相机单元至少包括室内相机，该室内相机设置于所述移动体的规定的座位上，且能够对从所述规定的座位观察时的所述移动体内进行拍摄，
所述第二装置具有：
所述第二通信装置，其与所述第一通信装置通信；
检知装置，其用于检知所述利用者的指向方向及姿态；以及
显示装置，其显示所述相机单元所拍摄到的图像中的从所述规定的座位观察时的与所述指向方向对应的图像，
所述第二装置基于检知到的所述指向方向及所述姿态，来决定所述图像中的、所述利用者所指向的所述移动体的操作部和对所述操作部进行操作的操作内容，
所述第二通信装置将所决定的对所述操作部进行操作的操作内容向所述第一通信装置发送。
2.根据权利要求1所述的信息处理系统，其中，
所述显示装置根据所述姿态来将所述操作部的位置变更而显示。
3.根据权利要求1所述的信息处理系统，其中，
所述显示装置根据所述姿态来将所述操作部的尺寸变更而显示。
4.根据权利要求1所述的信息处理系统，其中，
所述显示装置使多个所述操作部中的能够由所述利用者操作的操作部凸显地显示。
5.根据权利要求1所述的信息处理系统，其中，
所述第二装置基于对所述利用者设定的对所述移动体的操作部进行操作的操作权限，来决定所述图像中的允许所述利用者进行操作的所述移动体的操作部。
6.根据权利要求1所述的信息处理系统，其中，
所述第一装置还具备显示器，该显示器显示对所述利用者所指向的所述操作部进行表示的图像。
7.根据权利要求1所述的信息处理系统，其中，
所述第二通信装置将所述指向方向的信息向所述第一通信装置发送，
所述第一装置还具有第一控制装置，该第一控制装置控制所述第一通信装置，以将所述相机单元所拍摄到的图像中的、与经由所述第一通信装置而取得的所述指向方向对应的图像选择性地向所述第二通信装置发送，
所述第二装置的显示装置显示经由所述第二通信装置而取得的从所述规定的座位观察时与所述指向方向对应的图像。
8.根据权利要求1所述的信息处理系统，其中，
所述第一通信装置将所述相机单元所拍摄到的图像向所述第二通信装置发送，
所述第二装置还具有第二控制装置，该第二控制装置使所述相机单元所拍摄到的图像中的与所述指向方向对应的图像选择性地显示于所述显示装置。
9.根据权利要求1所述的信息处理系统，其中，
所述显示装置是VR眼镜即虚拟现实眼镜的显示装置，
所述检知装置包括安装于所述VR眼镜的物理传感器。
10.根据权利要求1所述的信息处理系统，其中，
所述移动体是车辆，
所述规定的座位是副驾驶员座。
CN202311147063.5A 2022-09-12 2023-09-06 信息处理系统 Pending CN117692616A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-144359 2022-09-12
JP2022144359A JP7553521B2 (ja) 2022-09-12 2022-09-12 情報処理システム

Publications (1)

Publication Number Publication Date
CN117692616A true CN117692616A (zh) 2024-03-12

Family

ID=90132698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311147063.5A Pending CN117692616A (zh) 2022-09-12 2023-09-06 信息处理系统

Country Status (3)

Country Link
US (1) US20240085976A1 (zh)
JP (1) JP7553521B2 (zh)
CN (1) CN117692616A (zh)

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009038428A (ja) 2007-07-31 2009-02-19 Alpine Electronics Inc 画像描画装置
JP5029470B2 (ja) 2008-04-09 2012-09-19 株式会社デンソー プロンプター式操作装置
US20150042799A1 (en) 2013-08-07 2015-02-12 GM Global Technology Operations LLC Object highlighting and sensing in vehicle image display systems
JP6589496B2 (ja) 2015-09-17 2019-10-16 日本精機株式会社 車両用表示装置
JP6400879B2 (ja) 2016-07-15 2018-10-03 ナーブ株式会社 画像表示装置及び画像表示システム
US11182972B2 (en) * 2019-02-12 2021-11-23 Qualcomm Incorporated Virtual teleportation in fixed environments
JP2020142657A (ja) 2019-03-06 2020-09-10 三菱自動車工業株式会社 ヘッドアップディスプレイ
JP2020145612A (ja) 2019-03-07 2020-09-10 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JP7026074B2 (ja) 2019-03-20 2022-02-25 Kddi株式会社 自動運転車両の遠隔運転システム、方法およびプログラム
JP7214548B2 (ja) 2019-04-16 2023-01-30 日産自動車株式会社 情報処理装置及び情報処理方法
JP2022040819A (ja) 2020-08-31 2022-03-11 日産自動車株式会社 画像処理装置及び画像処理方法
US20230069742A1 (en) * 2021-08-27 2023-03-02 Toyota Motor Engineering & Manufacturing North America, Inc. Gazed based generation and presentation of representations
US20230314156A1 (en) * 2022-03-30 2023-10-05 Panasonic Intellectual Property Management Co., Ltd. Information presentation method, information presentation system, and computer-readable medium

Also Published As

Publication number Publication date
JP2024039760A (ja) 2024-03-25
JP7553521B2 (ja) 2024-09-18
US20240085976A1 (en) 2024-03-14

Similar Documents

Publication Publication Date Title
EP3794851B1 (en) Shared environment for vehicle occupant and remote user
US11094132B2 (en) System and method for presentation and control of augmented vehicle surround views
CN111480194B (zh) 信息处理装置、信息处理方法、程序、显示系统和移动物体
JP6077214B2 (ja) 画像処理装置、画像処理方法、プログラム、及び画像処理システム
JP2019156298A (ja) 車両遠隔操作装置及び車両遠隔操作方法
CN117692616A (zh) 信息处理系统
US20240085207A1 (en) Information processing system
JP7550823B2 (ja) 情報処理システム
KR101678088B1 (ko) 차량 및 차량의 제어 방법
CN117692618A (zh) 信息处理系统
JP2018067157A (ja) 通信装置およびその制御方法
US20240087339A1 (en) Information processing device, information processing system, and information processing method
CN117793632A (zh) 信息管理装置、信息管理方法及存储介质
JP7402784B2 (ja) 遠隔表示システム、ロボット、及び表示端末
US20240107184A1 (en) Information management device, information management method, and storage medium
JP2022142517A (ja) 画像表示制御装置、画像表示制御システム及び画像表示制御方法
US20240104604A1 (en) Information management device, information management method and storage medium
CN118647957A (zh) 信息处理装置和信息处理方法
JP2021150834A (ja) 音響出力装置、音響出力システム及び音響出力方法
JPWO2005040725A1 (ja) ナビゲーション装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination